Роман Зыков - Роман с Data Science. Как монетизировать большие данные [litres]

На некоторое время я забросил рекомендации, пока не оказался в Wikimart.ru – тогда поездка в офис Netflix и рассказ Эрика Колсона об их технологиях сподвигли меня на полную смену технологий. На самом деле Wikimart.ru это было не нужно, все мои старые наработки успешно работали и на базах данных. Но именно Hadoop на тот момент открыл для меня границы невозможного – масштабирование вычислений вплоть до тысячи компьютеров одновременно. Мне не нужно было переписывать алгоритмы, ускорять их – достаточно было просто добавить еще компьютеров в кластер. Примерно через два года, в октябре 2012-го, я написал текст, оригинал которого представлен ниже.

Сервис рекомендаций для интернет-магазинов

Цель

Создать простой и быстрый облачный сервис рекомендаций товаров, который можно встраивать на сайт магазина без вмешательства во внутреннюю архитектуру сайта.

Монетизация

Магазины могут платить по следующей схеме в порядке приоритета:

• оплата за заказы. Есть идея использовать анализ мерчандайзинга для точного определения покупки рекомендованного товара;

• оплата за клики;

• оплата за допсервисы, такие как предоставление персональных рекомендаций в рассылки или офлайн-данные по рекомендациям.

Типы рекомендаций

Сервис может предоставлять следующие типы рекомендаций:

• поисковые рекомендации (внешний и внутренний поиск);

• наиболее популярные товары;

• товарные рекомендации (После просмотра купили, С этим товаром часто покупают);

• персональные рекомендации на сайте и в рассылках.

Техническое описание

Сервис должен быть разделен на четыре абсолютно независимых блока:

• сервис будет собирать данные на сайте интернет-магазина с помощью JS-трекеров. Данные логируются на отдельные серверы;

• отдельно скачиваются данные (если возможно) по наличию товаров в магазине, то есть обычные yml-файлы;

• раз в сутки или чаще данные обрабатываются при помощи MapReduce. Рассчитываются рекомендации и помещаются в БД или файлы;

• отдельный веб-сервис выдает рекомендации на сайте магазина. Важно: нужно показывать только те товары, которые есть в наличии в магазине.

Внедрение

Типовое внедрение должно включать установку JS-кода на сайт:

• трекера JS для сбора данных. Если установлен Google Analytics, то отдача важных событий на сайте (транзакция, добавление в корзину и т. д.);

• сниппета, который будет тянуть данные из веб-сервисов.

Это была полностью законченная идея создания сервиса рекомендаций для любого числа магазинов. В ноябре 2012-го на конференции ко мне подошел Николай Хлебинский и предложил делать такой сервис. Самое интересное, что моего текста он до этого не видел, но его заинтересовала моя презентация [115], а летом, за пару месяцев до этого, он писал мне письма с вопросами о моих наработках, которые я оставлял без ответа, потому что не хотел раскрывать свои идеи. Но наша встреча была вопросом времени и Колиного упорства. Следующим шагом мы образовали партнерство, расписали наши доли и подписали простое соглашение между собой: в итоге Николай Хлебинский становился генеральным директором компании, Андрей Чиж техническим директором, а я директором по аналитике. Я до конца декабря уже сделал первые алгоритмы, начальные строчки которых были написаны в фудкорте ТЦ «Гагаринский» в Москве. За восемь месяцев до этого у меня родилась дочь – я шел гулять с коляской, брал с собой раскладную табуретку и писал код на планшете, сидя на улице в мороз. А уже в марте 2013-го мы запустились [116]. Мы знали, что параллельно с нами идет разработка похожего проекта crossss.ru, и хотели запуститься до них – кто первый встал, того и тапки. И нам это удалось. В то время партнеры Retail Rocket хорошо дополняли друг друга, каждый занимался своим делом и делал его на отлично, а через какое-то время мы получили инвестиции от Impulse VC – я бы рекомендовал всем хорошим проектам обращаться к ним за инвестициями.

Вначале мы опасались конкурентной борьбы, но она оказалось интересной – самым главным нашим конкурентом оказалась внутренняя разработка в компаниях. Какой-то сотрудник или команда в интернет-магазине вызывались самостоятельно написать такой сервис – обычно через год такой клиент возвращался к нам с контрактом. Ближе к 2020 году тренд изменился, конкурентная борьба между сервисами усилилась. Магазины начали доверять внешним сервисам и аутсорсить автоматизацию маркетинга и рекомендации. Я считаю, что мы сделали большой вклад в развитие этого доверия на рынке.