Скотт Пейдж - Модельное мышление. Как анализировать сложные явления с помощью математических моделей

Представьте, что у нас есть сто заявок на получение студенческого кредита, половина из которых были погашены, а половина – нет. По каждому кредиту нам известны две детали: превышал ли его размер 50 000 долларов и специализировался ли его получатель в инженерном деле или в гуманитарных науках. Это и есть два атрибута. С их помощью мы можем выделить четыре типа кредитов: крупные кредиты студентам со специализацией «инженерное дело», мелкие кредиты студентам со специализацией «инженерное дело», крупные кредиты студентам со специализацией «гуманитарные науки» и мелкие кредиты студентам со специализацией «гуманитарные науки».

Модель бинарной категоризации классифицирует каждый из четырех типов кредитов как выплаченный или невыплаченный. Одна модель может классифицировать мелкие кредиты как выплаченные, а крупные как невыплаченные. Другая может классифицировать кредиты студентам со специализацией «инженерное дело» как погашенные, а студентам со специализацией «гуманитарные науки» как непогашенные. Вполне вероятно, что каждая из этих моделей может быть правильной более чем в половине случаев и что эти две модели могут быть практически независимы друг от друга. Проблема возникает при попытке создать больше моделей. Существуют только шестнадцать уникальных моделей, которые соотносят четыре категории с двумя возможными исходами. Две классифицируют все кредиты как выплаченные или невыплаченные, у каждой из оставшихся четырнадцати есть полная противоположность. Всякий раз, когда модель обеспечивает правильную классификацию, ее противоположный вариант дает неправильную классификацию. Таким образом, из четырнадцати возможных моделей максимум семь могут быть правильными более чем в половине случаев. И если та или иная модель окажется правильной ровно в половине случаев, то же произойдет и с ее противоположностью.

Размерность наших данных ограничивает количество моделей, которые мы можем создать. У нас может быть максимум семь моделей. Мы не можем построить одиннадцать независимых моделей, не говоря уже о семидесяти семи. Даже если бы у нас были данные с более высокой размерностью (например, если бы мы знали возраст, средний балл, доход, семейное положение и адрес получателей кредита), категоризация, основанная на этих атрибутах, должна обеспечивать точные прогнозы. Каждое подмножество атрибутов должно быть релевантным тому, погашен ли кредит, и не связанным с другими атрибутами. В обоих случаях речь идет о сильных предположениях. Например, если между адресом, семейным положением и доходом наблюдается корреляция, то модели, в которых эти атрибуты поменяны местами, тоже должны коррелировать [44]. В случае строгой вероятностной модели независимость кажется обоснованной: разные модели порождают разные ошибки. Объяснение этой логики с помощью моделей категоризации позволяет осознать сложность построения множества независимых моделей.

Попытки формирования совокупности разноплановых, точных моделей сопряжены с аналогичной проблемой. Предположим, нам нужно создать ансамбль моделей категоризации, прогнозирующих уровень безработицы в пятистах городах среднего размера. Точная модель должна разделить города на категории таким образом, чтобы в рамках одной категории в них наблюдался схожий уровень безработицы. Кроме того, модель должна точно прогнозировать безработицу в каждой категории. Для того чтобы две модели обеспечивали разные прогнозы, они должны по-разному делить города на категории, по-разному составлять прогнозы, или и то и другое. Хотя эти два критерия не противоречат друг другу, могут возникнуть трудности с их удовлетворением. Если один вариант категоризации основан на среднем уровне образования, а другой – на среднем уровне дохода, они могут обеспечивать разбиение на аналогичные категории. Тогда обе модели будут точными, но не разнообразными. Формирование двадцати шести категорий с использованием первой буквы названия каждого города обеспечит разноплановую категоризацию, но, по всей вероятности, не позволит создать точную модель. Поэтому здесь снова напрашивается вывод, что на практике количество элементов «множества» обычно ближе к пяти, чем к пятидесяти.

Результаты эмпирических исследований прогнозирования согласуются с этим выводом. Хотя увеличение числа моделей повышает уровень точности (как и должно быть согласно теоремам), после формирования группы моделей предельный вклад каждой из них снижается. В компании Google обнаружили, что привлечение одного интервьюера для оценки кандидатов на вакантную должность (вместо случайного выбора) повышает вероятность найма высококвалифицированного сотрудника с 50 до 74 процентов, привлечение второго интервьюера повышает эту вероятность до 81 процента, привлечение третьего интервьюера – до 84 процентов, а четвертого – до 86 процентов. Наличие двадцати интервьюеров повышает вероятность всего до 90 процентов с небольшим. Это указывает на ограничение предельного количества значимых способов оценки потенциального сотрудника.