Владимир Савельев - Статистика и котики

КЛАСТЕРНЫЙ АНАЛИЗ

Кластерный анализ позволяет разбить ваши объекты на классы. При этом число классов может быть заранее неизвестным, либо вы точно знаете их количество. В первом случае ваш выбор — это метод иерархической кластеризации, который последовательно объединяет объекты в группы, основываясь на расстоянии между ними. Для второго случая необходим метод k-средних, который группирует ваши объекты вокруг так называемых центроидов.

Пример: представим себе, что вы занимаетесь онлайн-продажами, и вам необходимо выделить категории клиентов, для того чтобы организовать более эффективную таргетированную рекламу. Чтобы это сделать, вы можете запустить на своем сайте небольшой опросник и, собрав некоторые данные о посещаемости тех или иных страниц, провести кластерный анализ. Если у вас есть некоторые предположения о том, какие именно категории клиентов заходят к вам на сайт, ваш выбор k-средних. Если таких предположений нет — то можно обойтись иерархической кластеризацией.

ФАКТОРНЫЙ АНАЛИЗ

Факторный анализ позволяет сократить количество переменных, заменив их набором факторов. Кроме того, он может являться предварительной процедурой перед проведением регрессионного анализа в случае, если ряд предикторов коррелирует между собой.

Пример: предположим, вы разрабатываете батарею психологических тестов, предназначенную для диагностики способностей у школьников. После того, как вы составили ряд задач, а также провели их на выборке учащихся, вам необходимо будет провести факторный анализ. Если высокий балл по одной задаче, как правило, сопровождается высоким баллом по другой задаче, значит, за ними скорее всего стоит некоторый общий фактор. Этот фактор и будет указывать на уровень развития той или иной способности.

На сегодняшний день существует огромное количество программных продуктов, которые позволяют работать если не со всеми, то во всяком случае с большинством методов, о которых рассказывается в книге. В первом приближении их можно поделить на два класса: те, в которых все команды задаются с помощью текстового ввода (например R и Python ), и те, где конкретный метод выбирается с помощью меню. Поскольку рядовой пользователь достаточно редко имеет дело с командной строкой, мы остановимся только на втором классе программ. Самыми популярными из них можно считать следующие.

1. IBM SPSS — мощный пакет, способный справиться с абсолютным большинством статистических задач. Является платным, однако существует и бесплатная 14-дневная версия.

2. StatSoft Statistica — главный конкурент SPSS на отечественном рынке. Также является коммерческим продуктом.

3. R-commander — графический интерфейс для языка программирования R. Как и сам R, распространяется бесплатно.

4. PSPP — бесплатный аналог SPSS со схожим интерфейсом.

5. Microsoft Excel с надстройкой «Анализ данных». Как ни странно, позволяет делать довольно много интересных вещей. Но его интерфейс не является типичным для статистических программ.

Здесь мы рассмотрим, как работать с SPSS . Однако многие вещи, о которых пойдет речь ниже, подходят и для других статистических пакетов. В частности, для любой статистической программы с меню характерна вот такая последовательность работы:

1. Вбить данные в таблицу;

2. Найти нужный метод;

3. Выбрать переменные для анализа;

4. Отметить необходимые опции;

5. Нажать «ОК»;

6. Проинтерпретировать результаты.

При этом первый, пятый и шестой шаги практически полностью идентичны. В частности, когда вы вбиваете данные в таблицу, абсолютное большинство пакетов следуют следующему правилу:

«По строкам — объекты, по столбцам — переменные».

При этом если у вас присутствуют несвязанные выборки, то этот факт кодируется отдельной переменной, которая обозначает принадлежность объекта к той или иной группе (например, 0 — котик и 1 — кошечка). В свою очередь каждая связанная выборка обозначается отдельной переменной (например, «Размер до» и «Размер после»).

Остальные шаги отличаются некоторыми нюансами, которые зависят как от пакета, так и от метода. В частности, в SPSS выбор переменных осуществляется с помощью переноса их в отдельные поля, а, допустим, в Statistica — простым выделением мыши.

Итак, ниже будут приведены алгоритмы работы в программе IBM SPSS Statistics 24 (пробная русская версия с официального сайта). Они будут состоять из четырех разделов: