Представлены описания основных этапов распознавания архивных документов с использованием искусственного интеллекта. Приведены примеры проектов по распознаванию и применяемых технологических инструментов.
Идентификаторы и классификаторы
- SCI
- История
В распознавании текстов можно выделить два основных направления: полное дословное распознавание исходного текста и целевое распознавание в тексте именованных сущностей – имен, дат, географических названий, типов действий, связей между ними и т. п. В последнем случае распознанная информация обычно служит основой для создания исследовательских баз данных, генеалогических и картографических построений, иных исследовательских проектов. Несмотря на многолетние усилия сотен специалистов и осуществление множества научных и практических проектов, проблема распознавания архивных документов в целом не решена.
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Seles A. A brave new world: artificial intelligence and archives [О дивный новый мир: искусственный интеллект и архивы] // 14th EASTICA General Conference and Seminar. 2019. URL: https://www.archives.go.jp/english/news/pdf/20191125_27e_01.pdf (дата обращения: 24.11.2023).
2. Calvo-Zaragozaa J., Gallego A.-J. A selectional auto-encoder approach for document image binarization [Выборочный подход автоматического кодирования для бинаризации изображений документов] // Published in Pattern Recognition. 2018. URL: https://arxiv.org/pdf/1706.10241.pdf (дата обращения: 24.11.2023).
3. Westphal F., Lavesson N., Grahn H. Document image binarization using recurrent neural networks [Бинаризация изображения документа с использованием рекуррентных нейронных сетей] // Proceedings - 13th IAPR International Workshop on Document Analysis Systems, DAS 2018. P. 263-268. URL: http://www.diva-portal.org/smash/get/diva2:1231250/FULLTEXT01.pdf (дата обращения: 24.11.2023).
4. Xu Y., Yin F., Zhang Z., Liu C.-L. et al. Multi-task layout analysis for historical handwritten documents using fully convolutional networks [Многозадачный анализ макета исторических рукописных документов с использованием полностью сверточных сетей] // Twenty-Seventh International Joint Conference on Artificial Intelligence (IJCAI). 2018. URL: https://www.researchgate.net/publication/326201381_Multi-task_Layout_Analysis_for_Historical_Handwritten_Documents_Using_Fully_Convolutional_Networks (дата обращения: 24.11.2023).
5. Fischer A., Wüthrich M., Liwicki M., Frinken V. Automatic transcription of handwritten medieval documents [Автоматическая расшифровка рукописных средневековых документов] // Conference: Proc. 15th Int. Conf. on Virtual Systems and Multimedia (VSMM’09). 2009. URL: https://www.researchgate.net/publication/228370463 (дата обращения: 24.11.2023).
6. Zhao L., Wu Z., Wu X., Wilsbacher G., Wang S. Background-insensitive scene text recognition with text semantic segmentation [Независимое от фона распознавание текста сцены с семантической сегментацией текста] // Computer Vision - ECCV 2022. ECCV 2022. Lecture Notes in Computer Science. Vol. 13685. URL: https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136850161.pdf (дата обращения: 24.11.2023).
7. Model Training [Модельное обучение] // READ-COOP SCE. URL: https://readcoop.eu/glossary/model-training/ (дата обращения: 24.11.2023).
8. Clérice T. Ground-truth free evaluation of HTR on old french and latin medieval literary manuscripts [Настоящая бесплатная оценка HTR на старофранцузских и латинских средневековых литературных рукописях] // CHR 2022: Computational Humanities Research Conference, December 12-14, 2022, Antwerp, Belgium. URL: https://ceur-ws.org/Vol-3290/long_paper2081.pdf (дата обращения: 24.11.2023).
9. Kiessling B. Kraken - a Universal Text Recognizer for the Humanities [Kraken - универсальный распознаватель текста для гуманитарных наук] // DataverseNL. 2019. V2. URL: https://dh-abstracts.library.virginia.edu/works/9912 (дата обращения: 24.11.2023).
10. Wick C., Reul C., Puppe F. Calamari - a high-performance Tensorflow-based deep learning package for optical character recognition [Calamari - высокопроизводительный пакет глубокого обучения на основе Tensorflow для оптического распознавания символов] // Digital Humanities Quarterly. 2020. Vol. 14. № 2. URL: http://www.digitalhumanities.org/dhq/vol/14/2/000451/000451.html (дата обращения: 24.11.2023).
11. Nockels J.,Gooding P., Ames S., Terras M. Understanding the application of handwritten text recognition technology in heritage contexts: a systematic review of Transkribus in published research [Понимание применения технологии распознавания рукописного текста в контексте наследия: систематический обзор Transkribus в опубликованных исследованиях] // Archival Science. 2022. 22. P. 367-392. 10.1007/s10502-022-09397-0 (дата обращения: 24.11.2023). DOI: 10.1007/s10502-022-09397-0(
12. Muehlberger G. Transforming scholarship in the archives through handwritten text recognition Transkribus as a case study [Преобразование научных знаний в архивах посредством распознавания рукописного текста Transkribus как практический пример] // Journal of Documentation. 2018. Vol. 75. Issue 5. P. 954-976.
13. Stokes P.A., Kiessling B. The eScriptorium VRE for manuscript cultures [eScriptorium VRE для рукописного культурного наследия] // Classics. 2021. Vol. 18. URL: https://classics-at.chs.harvard.edu/classics18-stokes-kiessling-stokl-ben-ezra-tissot-gargem/ (дата обращения: 24.11.2023).
14. Ströbel P.B. Flexible Techniques for Automatic Text Recognition of Historical Documents [Гибкие методы автоматического распознавания текста исторического документа] // University of Zurich. 2023. URL: https://www.researchgate.net/publication/372501015_Flexible_Techniques_for_Automatic_Text_Recognition_of_Historical_Documents (дата обращения: 24.11.2023).
15. Maarand M. BALSAC project registers have been processed! [Реестры проектов BALSAC обработаны!] // Teklia. 2022. URL: https://teklia.com/blog/202202-balsac/ (дата обращения: 24.11.2023).
16. Tarride S. Large Scale Genealogical information extraction from handwritten Quebec Parish Records [Крупномасштабное извлечение генеалогической информации из рукописных приходских записей Квебека] // Research square. 2022. 10.21203/rs.3.rs-2260181/v1 (дата обращения: 24.11.2023). DOI: 10.21203/rs.3.rs-2260181/v1(
17. Firmani D., Maiorino M., Merialdo P., Nieddu E. Towards knowledge discovery from the Vatican Secret Archives. In codice ratio - Episode 1: Machine transcription of the manuscripts [На пути к открытию знаний из секретных архивов Ватикана. В кодовом соотношении - Эпизод 1: Машинная расшифровка рукописей] // Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD ‘18). ACM, New York, NY, USA. 2018. URL: https://arxiv.org/abs/1803.03200 (дата обращения: 24.11.2023).
18. Ertl T., Schmidle W., Helmchen J., Duval T. Mapping. Medieval Vienna: The Social Topography of Vienna in the 15th Century [Картирование. Средневековая Вена: социальная топография Вены XV века] // Freie Universitat, Berlin. URL: https://www.geschkult.fu-berlin.de/e/fmi/bereiche/mittelalter/ab_ertl/Mapping-Vienna.html (дата обращения: 24.11.2023).
19. Karsvall O. Maskintolkning av handskrivna källmaterial [Машинная интерпретация рукописных исходных материалов]. RIKSARKIVET. URL: https://riksarkivet.se/htr (дата обращения: 24.11.2023).
20. How to make a complete collection accessible with Transkribus. A best-practice example from the Tyrolean State Archives [Как сделать полную коллекцию доступной с помощью Transkribus. Пример передового опыта из Тирольского государственного архива] // READ-COOP SCE. URL: https://readcoop.eu/success-stories/grundbuchblaetter/ (дата обращения: 24.11.2023).
21. Kermorvant C. Belfort city archives: a pilot project for automatic recognition of city council registers [Городские архивы Белфорта: пилотный проект автоматического распознавания реестров городского совета] // Teklia. 2022. URL: https://teklia.com/blog/202211-belfort-en/ (дата обращения: 24.11.2023).
22. Базарова Т., Димитров Д., Потанин М., Проскурякова М. Распознать и транскрибировать: автографы Петра Великого и технологии искусственного интеллекта // Воронцово поле. 2020. № 4. С. 64-71. URL: https://portal.historyrussia.org/img/news/VP_4.2020.pdf#page=33 (дата обращения: 24.11.2023). EDN: ZHDDCE
23. Владимир Аракчеев: Идея проекта Петру пришлась бы по душе // Российской историческое общество. 2021. URL: https://historyrussia.org/sobytiya/ideya-proekta-petruprishlas-by-po-dushe.html (дата обращения: 24.11.2023).
24. Сиренов А.В. Здесь мы видим действительно научный метод // Воронцово поле. 2020. № 4. С. 74-75. EDN: XFEPQV
25. Андреев А. Нейросеть поможет прочитать старинные рукописи // Стимул. 2023. URL: https://stimul.online/articles/science-and-technology/neyroset-pomozhet-prochitatstarinnye-rukopisi/ (дата обращения: 24.11.2023).
Выпуск
Другие статьи выпуска
Рассматривается зарубежный опыт регулирования требований к метаданным документов и разработки рекомендаций по внедрению стандартизированных метаданных, образующихся в процессах делопроизводства.
Рассматриваются результаты работы сотрудников ВНИИДАД по подготовке научного доклада «Применение искусственного интеллекта в управлении документами и в архивах: практика, тенденции и перспективы». Раскрываются актуальность и степень изученности темы. Сформулированы наиболее актуальные проблемы применения искусственного интеллекта в сфере архивного дела. Рассмотрены организационные формы внедрения интеллектуальных информационных систем и аспекты внедрения, на которые нужно обратить внимание.
Обосновывается актуальность выработки четких требований к организации документооборота в период общей цифровизации. Проанализированы основные нормативные документы, формулирующие требования к организации документооборота за последнее столетие. Отмечена их преемственность в сохранении определенных принципов и общих правил. Рассмотрен ряд современных региональных актов. Обоснована необходимость разработки новых методических документов, ориентированных на практических специалистов.
Анализируется опыт разработки Перечня документов, образующихся в процессе деятельности Министерства науки и высшего образования Российской Федерации и подведомственных ему организаций, с указанием сроков хранения. Обосновывается актуальность разработки современного Перечня документов и масштабность работы по его созданию с учетом разнообразия организаций, подведомственных Минобрнауки России. Рассматривается вопрос о формировании рабочей группы по рассмотрению проекта Перечня документов, ее деятельности и последующей апробации Перечня документов.
Статья посвящена подготовленным ВНИИДАД «Методическим рекомендациям по экспонированию архивных документов». Анализ опыта выставочной работы архивных учреждений выявил отсутствие единых методических подходов в этой сфере. Это потребовало выработать единую унифицированную методику экспонирования архивных документов с учетом современного законодательства Российской Федерации и накопленного за последние годы опыта выставочной деятельности государственных и муниципальных архивных учреждений, библиотек, музеев и научных организаций. Описывается структура Методических рекомендаций, отражающая этапы подготовки выставок архивных документов и музейных предметов, входящих в состав Архивного фонда Российской Федерации; специфику и особенности организации и проведения интернет-выставок; вопросы обеспечения сохранности экспонатов и их страхования при экспонировании в пределах Российской Федерации и за рубежом.
Рассматриваются результаты, полученные в рамках анкетирования государственных архивов Российской Федерации и организаций по основным направлениям работы с электронными аудиовизуальными документами (комплектование, обеспечение сохранности, учет, использование, программное обеспечение). Выделяются отдельные моменты в их практической работе, представляющие интерес для исследования проблем электронных аудиовизуальных документов как объектов архивного хранения.
Рассматривается опыт Гостелерадиофонда в части приема на хранение обязательного экземпляра аудиовизуальной продукции, а также делается попытка сравнения данного опыта с практикой, применяемой такими крупнейшими получателями обязательных экземпляров аудиовизуальной продукции федерального и регионального уровня, как Госфильмофонд России, РГАКФД, ГБУ «Государственный архив Республики Татарстан».
21 ноября 2023 года во Всероссийском научно-исследовательском институте документоведения и архивного дела (ВНИИДАД) состоялся круглый стол «Актуальные вопросы хранения электронных аудиовизуальных документов», организованный в рамках работы над темой Плана научно-исследовательских и опытно конструкторских работ (НИОКР) на 2023 год по подготовке аналитического обзора «Электронные аудиовизуальные и научно-технические документы как объекты архивного хранения».
Издательство
- Издательство
- ВНИИДАД
- Регион
- Россия, Москва
- Почтовый адрес
- 117393, город Москва, Профсоюзная ул., д.82
- Юр. адрес
- 117393, город Москва, Профсоюзная ул., д.82
- ФИО
- Кюнг Павел Алексеевич (ДИРЕКТОР)
- E-mail адрес
- mail@vniidad.ru
- Контактный телефон
- +7 (495) 3344646
- Сайт
- https://vniidad.ru