Сергей Попов - Вселенная. Краткий путеводитель по пространству и времени - от Солнечной системы до самых далеких галактик и от Большого взрыва до будущего Вселенной

Первый – это «сырые данные» (raw data): то, что напрямую считывается с детекторов (в случае большого количества таких данных они чаще всего не хранятся). Такая информация содержит множество артефактов, связанных с деталями устройства инструмента (поврежденные пиксели на матрице, известные виды шума или паразитного сигнала, изменение чувствительности приборов со временем). Работать с такой информацией, как правило, могут только специалисты, посвятившие достаточное время обработке данных с конкретного инструмента и знающие его особенности.

Сложные методы анализа позволяют выделять слабые сигналы на фоне шумов.

Следующий уровень – это «полуфабрикаты» (data products): информация, которая уже прошла первичную обработку. Во многих современных (особенно крупных) проектах это делается автоматически. Такая информация доступна для использования уже более широкому кругу исследователей, потому что она переведена в какой-то достаточно распространенный и хорошо описанный формат (например, FITS – Flexible Image Transport System, Гибкая система передачи изображений). Эти данные имеет смысл хранить для дальнейшего использования (в том числе в отдаленном будущем).

Наконец, третий уровень – это научные данные: полученные (и обычно опубликованные) научные результаты. Однако информация может быть использована и дальше для различных целей. Как правило, здесь для работы с данными уже не требуются специфические навыки и программы.

Астрономические данные необходимо хранить как можно дольше.

Особенность астрономических данных состоит в том, что они имеют ценность в течение весьма продолжительного времени. Это разительно отличается от ситуации в других областях физики, где всегда возможно провести новые, более точные эксперименты (на более качественном оборудовании, по новым методикам и т. д.). Поэтому прямые данные физических экспериментов, проведенных десятки лет назад, имеют обычно лишь историческую ценность – самые важные результаты этих опытов так или иначе опубликованы в научных статьях. В астрономии это не так. Астрономические данные надо хранить как можно дольше, поскольку для нас могут быть интересны даже данные тысячелетней давности из каких-нибудь китайских хроник. Поэтому во многих обсерваториях десятилетиями собирались для дальнейшего использования «стеклянные библиотеки» – снимки на фотографических пластинках. Скажем, именно стеклянная библиотека ГАИШ (Государственного астрономического института им. П. К. Штернберга) МГУ позволила в середине 1960-х гг. сразу же выявить переменность первого идентифицированного квазара 3С273.

Полный объем имеющихся астрономических данных в настоящее время оценивается в петабайты, а в ближайшие годы (благодаря появлению новых больших наблюдательных проектов) он превысит несколько десятков (или даже сотен!) петабайт. Сейчас объем данных удваивается примерно за год-два, что во многом связано с совершенствованием матриц (теперь счет идет на гигапиксели).

Идеальным примером «больших данных» (big data) в науке является Большой адронный коллайдер в ЦЕРН, поток данных с которого составляет более 10 петабайт в год. В астрономии первым проектом, столкнувшимся с действительно очень большим потоком данных в рамках единой наблюдательной программы, стали гравитационно-волновые детекторы LIGO (см. раздел 13.9 «Детекторы гравитационных волн»): после модернизации за год наблюдений накапливается примерно петабайт данных. Ожидается, что этот поток данных будет превзойден проектами SKA (см. раздел 13.4 «Радиотелескопы») и LSST. Последний станет крупнейшим обзорным телескопом в истории астрономии – с зеркалом диаметром более 8 м и ультрасовременной камерой с 3,2-гигапиксельной матрицей (тоже самой большой в истории). Пиковый поток сырых данных с камеры этого инструмента будет в ходе наблюдений достигать примерно 3 гигабайт в секунду, в то время как на SKA будет достигать порядка десятка терабайт в секунду!

Поток новых астрономических данных в ближайшем будущем составит более нескольких десятков петабайт в год.

Данные могут храниться в виде файлов (например, снимок какой-то области неба) или в виде баз данных (простейший пример – каталог объектов). Эти подходы довольно сильно отличаются: в первом случае это аналогично хранению отсканированной страницы текста в виде растрового изображения, а во втором – хранению уже распознанного текста, по которому возможен поиск. Второй способ существенно удобнее для пользователей, поскольку позволяет проводить быстрый поиск нужной информации и сопоставлять ее с другими данными. Поэтому важной задачей является хранение максимально возможного количества информации именно в виде баз.