Именно Гальтон ввел понятия регресса и корреляции. Статистическое понятие регресса возникло из исследования душистого горошка. Гальтон разделил партию семян на семь групп согласно размеру семени. Семена получающегося потомства показали ту же самую изменчивость, или разницу в размере, соответственно группам. Средний размер семени всей партии оставался постоянным, но значения размера отдельных групп далеко ушли от своей родительской группы в сторону этого среднего значения — математического ожидания группы. Таким образом, значения «регрессировали» в направлении среднего значения по совокупности. В 1885 году Гальтон обнаружил явление регресса и разобрался в нем, а в 1889 году он ввел связанную с этим понятием идею корреляции. Измеряя две взаимосвязанные переменные и отображая эти значения в виде графика, Гальтон обнаружил единую безразмерную величину, которая служила коэффициентом взаимосвязанности между этими двумя переменными. Этот коэффициент корреляции варьировался между +1 — идеальная положительная корреляция — до -1 — идеальная отрицательная корреляция. Когда этот коэффициент приближался к нулю, это означало, что между переменными нет никакой корреляции. Сам по себе коэффициент корреляции не мог доказать никакой причинной связи между переменными, но мог оправдать дальнейшие эксперименты, которые позволили бы обнаружить эту связь.
Гальтон занимался изучением наследования непрерывного изменения, в то время как Мендель изучал дискретное изменение, хотя ни один из них не знал ничего о работе другого. Грегор Мендель обучался математике и физике. В статье 1865 года он написал о возможном существовании генов, и в 1900 году на эту статью обратили внимание сторонники биометрии. Она привела к серьезной полемике, верные дарвинисты и сторонники биометрического движения по большей части отвергали понятие генетического материала. Пирсон считал эту идею излишне метафизической и не мог понять, как дискретный объект может демонстрировать непрерывные свойства. Вопрос не был решен до тех пор, пока в 1918 году Фишер не показал, что при достаточно большом числе генов в модели Менделя возникнут корреляции, изученные сторонниками биометрии. Это было похоже на дискретное биномиальное распределение, стремящееся к нормальному распределению при увеличивающемся числе испытаний.
Философские аргументы находятся за пределами наших возможностей, но важно подчеркнуть, что статистика развивалась не как независимая ветвь математики. Развитие статистики и инструментов аналитики было поставлено на службу социальным проблемам. В конце жизни Гальтон финансировал профессуру по евгенике (теперь «Генетика человека») в Лондонском университете. Первым профессором был Карл Пирсон (1857–1936), за которым следовал Роналд Эйлмер Фишер (1890–1962).
В 1901 году Пирсон и Гальтон основали журнал «Биометрика», который стал ведущим изданием в области статистики. На его страницах мы находим не только теорию регресса и корреляции Гальтона, но и критерий хи-квадрат Пирсона, разработанный им в 1900 году. Этот критерий позволил правильно оценить, насколько точно подходит теоретическое распределение к данным, к которым оно должно быть применено. В 1908 году B. C. Госсет, ученый-биолог, работавший на пивоваренных заводах Гиннесса в Дублине, ввел t-распределение для маленьких выборок. Он написал статью под псевдонимом «Студент», и t-тест иногда упоминается как «студенческий тест». Большая часть работ Пирсона потерялась в тени более поздних трудов Фишера, который разработал дисперсионный анализ — технику, первоначальным предназначением которой было проверять значение данных экспериментов. Поначалу он применялся для обработки данных случайных групп экспериментов, вроде тех, которые используются в сельском хозяйстве для проверки удобрений. Этот метод математически отделяет любой реальный «эффект» от любой случайной «ошибки». Если какой-то эксперимент показывает реальный эффект, то математический метод выявит интенсивность этого эффекта относительно ошибки.
В 1920-х годах статистика стала считаться математиками вполне законным предметом исследования, поскольку она приводила к большей точности и позволяла уточнять применяемые методы. Фишер изложил идеи относительно плана экспериментов и дисперсионного анализа в своей книге «Проект экспериментов» (1936). Она оказала большое влияние на ученых Англии и США. Они радикально изменили практику проведения экспериментов в тех науках, где приходится иметь дело с изменчивым материалом, который невозможно абсолютно точно повторить в лабораторных условиях.
Читать дальше