Причина, по которой мы так часто предполагаем наличие статистической независимости, совсем не связана с реальным положением вещей. Мы ожидаем статистической независимости просто потому, что так удобнее – она упрощает занятия математикой. Она делает неразрешимое разрешимым. Статистическая независимость разделяет сложную вероятность на произведения индивидуальных вероятностей (а затем мы часто используем логарифм для превращения произведения вероятностей в сумму, поскольку нам всегда проще работать с суммами, чем с произведениями). Кроме того, нам проще научить начинающего азартного игрока тому, что последовательные подбрасывания монетки независимы друг от друга, чем провести серию достаточно масштабных экспериментов с условными вероятностями, необходимых для фактического подтверждения этого примечательного результата. Такой подход продолжает существовать, поскольку в целом сложная или суммарная вероятность всегда представляет собой произведение условных вероятностей (это гарантируется так называемым правилом умножения). Независимость сужает условные вероятности до безусловных. Исключение обусловленности исключает и статистическую зависимость.
Русский математик Андрей Марков совершил первый серьезный прорыв в области независимости или «белизны», когда занимался изучением событий, статистическим образом зависящих лишь от непосредственного прошлого. Это произошло более 100 лет назад. Мы до сих пор продолжаем разбираться с математикой цепей Маркова и находить в ней немало сюрпризов. Так, поисковые алгоритмы Google в значительной части основаны на поиске собственного вектора равновесия для конечной цепи Маркова. Модель поиска предполагает, что пользователь интернета случайным образом перескакивает с одной веб-страницы на другую, наподобие лягушки, скачущей с одного листа кувшинки на другой. Эти прыжки и скачки не являются статистически независимыми. Однако они являются вероятностными. Выбор следующей веб-страницы зависит от страницы, на которую вы смотрите в настоящий момент. В реальности путешествие по Сети может учитывать вероятностные зависимости, восходящие к нескольким ранее посещенным веб-сайтам. И можно быть уверенным в том, что человеческое мышление не представляет собой процесса Маркова. При этом независимость от одношаговой или даже двухшаговой закономерности Маркова обеспечила нам возможность моделирования разнообразных потоков данных, от молекулярной диффузии до синхронного перевода.
Для того чтобы продвинуться дальше простой модели Маркова, в которой будущее зависит лишь от настоящего, а не от прошлого, придется проделать большую работу. Однако для этой работы у нас уже есть достаточно мощные компьютеры. Кроме того, мотивированные теоретики наверняка дадут нам множество новых идей. Поэтому отказ от «костыля» статистической независимости способен подстегнуть получение еще большего количества подобных результатов.
Науке необходимо серьезнее относиться к своему любимому ответу на множество вопросов – «это зависит от множества факторов».
Определенность. Абсолютная истина. Точность
Ричард Сол Вурман
Архитектор, картограф, основатель TED Conference; автор книги Information Architects («Архитекторы информации»).
В 1543 году была опубликована книга Николая Коперника «О вращении небесных сфер», в которой есть великолепная диаграмма, иллюстрирующая основные принципы гелиоцентрической теории.
В наши дни эта диаграмма ни за что не была бы опубликована ни в одном научном журнале, поскольку она неверна. Орбиты планет на самом деле представляют собой не круги, а эллипсы; они лежат в разных плоскостях; масштаб диаграммы совершенно неправилен и не отражает точных расстояний между планетами или между планетой и Солнцем. Однако эта весьма приблизительная схема дала возможность развиваться новым идеям: Тихо Браге опубликовал свои расчеты, а это позволило Кеплеру придумать более точное определение нашей планетарной вселенной и произвести более корректные геометрические измерения.
Я предлагаю отказаться от трех описанных выше понятий, а вместо них обрести большую свободу научных действий в рамках теорий приближения. Именно такой путь даст ученым возможность видеть и открывать новые закономерности.
Иллюзия научного прогресса
Пол Саффо
Специалист в области технологий прогнозирования; консультирующий адъюнкт-профессор, Стэнфордский университет.
Читать дальше