Джон Уолш - Создание инструмента научных исследований на основе XML - Проблемы и методология

В своем докладе я опишу процесс создания электронного исследовательского инструмента, имеющего в своей основе печатный библиографический указатель, который предназначен для использования в научных целях, а также проанализирую некоторые трудности, с которыми мы столкнулись в ходе реализации данного проекта, и расскажу об избранных нами вариантах решения возникших проблем. Проект разрабатывается Цифровой Библиотечной Программой университета Индианы при поддержке в форме гранта от Департамента Образования США. Наш проект предполагает перевод в электронный формат двадцатилетнего периода (1956—1975) библиографического указателя советского периода «Летопись журнальных статей», в котором собраны ссылки на статьи из более чем 1700 научных и популярных журналов из различных областей человеческих знаний, как точных, так и гуманитарных наук.

Этапы проекта:

Создание цифровых изображения 250 000 страниц текста с бумажных оригиналов печатного выпуска Летописи.

Обработка изображений страниц системой Оптического Распознавания Символов с целью получения редактируемого электронного текста.

Разработка DTD.

Программное и ручное кодирование текста, его корректирование и проверка на соответствие тредованиям XML.

Создание Web-основанного интерфейса для поиска, просмотра и визуального представления электронного варианта «Летописи журнальных статей».

Проект «Летопись журнальных статей» предполагает комбинацию технических требований, связанных с исследовательскими и научными электронными публикациями, а также проблем, связанных с XML.

Проблемы проекта:

Очень большие и сложные документы XML и DTD. XML документы научно- исследовательского содержания, такие как коллекции полных текстов литературных работ, обширные словари или указатели масштаба «Летописи журнальных статей», имеют тенденцию разрастаться до огромных размеров, от сотен мегабайтов до более чем гигабайта. Соответственно, многие широкоупотребляемые DTD электронных библиотек, такие как Инициатива Кодирования Текста (TEI) или Кодированные Архивные Описания (EAD) отличаются своими большими масштабами и сложностью. Мы пришли к выводу, что несмотря на то, что эти DTD действительны, не все доступные инструменты (редакторы, XML процессоры, хранилища информации, и т.д.) способны справиться с задачами обработки документов и DTD такого размера и сложности. Поддержка Unicode. В «Летописи журнальных статей» в основном используется русский язык и кириллический алфавит. Однако, в тексте присутствуют и другие языки — английский и греческий, в основном в форме ссылок на иностранные источники, что обусловливает использование добавочных алфавитов. Подобное сочетание языков и алфавитов характерно для академической среды. Стандарт Unicode разрешает многие проблемы, связанные с перемешиванием различных наборов символов в одном электронном документе. Одним из требований проекта является надежная система поддержки стандарта Unicode во всех инструментах, используемых в разработке этого и других проектов цифровых библиотек. Быстрые, гибкие и сложные инструменты поиска и индексирования. Для того, чтобы такие масштабные коллекции исследовательских данных как «Летопись журнальных статей» использовались в полную силу необходимы высококачественные инструменты поиска. Необходим быстрый поиск по ключевым словам по всему тексту документа, а также более сложный поиск, с использованием преимуществ структуры XML и кодировки.

В своей презентации я расскажу об этапах развития проекта, наших вариантах решения обозначенных выше проблем и инструментах, которые мы проанализировали, и которые мы создали. Я также продемонстрирую прототип Web-основанного интерфейса электронной версии «Летописи журнальных статей».

Данный доклад посвящен трудностям, с которыми мы столкнулись, и методологии и инструментам, применяемым Цифровой Библиотечной Программой университета Индианы в рамках реализации проекта «Летопись журнальных статей».

Некоторая вводная информация представлена на web-сайте проекта: ( http://webapp1.dlib.indiana.edu/letopis/index.jsp?lang=ru). Это кракий обзор проекта «Летопись журнальных статей»:

Цифровая Библиотечная Программа университета Индианы получила грант от Департамента Образования США в рамках Раздела IV «Технологическая программа» с целью перевода в электронный формат и представления на World Wide Web «Летописи журнальных статей» за период в двадцать лет (1956—1975 гг.