Александр Загуменов - Как раскрутить и разрекламировать Web-сайт в сети Интернет

В блоке каждого сайта Апорт приводит информацию об одной – самой подходящей – из найденных на сайте страниц. При этом, кроме обычных для поисковых машин данных (адрес, заголовок, размер и дата файла и т. п.), система выдает цитаты из документа. Они выбираются из полного текста и содержат искомые слова. По цитатам зачастую легко понять, интересует вас документ или нет.

Здесь же вы найдете ссылку на реконструкцию полного текста документа. Она нужна, если документ недоступен на самом сайте.

Чтобы получить информацию обо всех остальных страницах, которые Апорт нашел на сайте, следует воспользоваться ссылкой, замыкающей блок результатов. Нажав указанную ссылку, вы откроете дополнительное окно с результатами поиска по данному сайту. Они разбиты на постраничные блоки данных.

Очевидно, что поиск может считаться успешным, если удается найти нужную информацию на одной из первых страниц с результатами поиска. В этом отношении очень важна сортировка полученных данных. Перечень основных критериев, которые Апорт учитывает при сортировке документов (сайтов), следующий:

• процентное соотношение искомых слов со всеми словами в тексте документа и расстояние между поисковыми словами;

• место в тексте, где встречаются поисковые слова (заголовок, описание, метатэг и т. п.);

• внешний вид шрифта, которым набраны в тексте искомые слова (размер, жирность, цвет);

• количество внешних ссылок из Internet на данный документ. Разработчики Апорта называют это количество Site Rank (Ранг сайта) или Page Rank (Ранг страницы);

• использование искомого слова в тексте ссылок из Internet на данный документ.

Окончательный процент соответствия документа запросу вычисляется как некая интегральная функция от всех этих показателей.

Последний из указанных критериев имеет самостоятельное значение. Если на какой-то сайт есть ссылка, состоящая, например, из слов «современная музыка», то естественно будет предположить, что эти слова (которые выбрал человек, писавший ссылку) могут достаточно точно описывать содержимое сайта.

Поэтому при поиске по слову «музыка» данный сайт должен получить довольно высокое место, поскольку по этому слову существуют ссылки на него с других ресурсов. Подобный подход значительно улучшает качество сортировки найденных документов. Кроме того, он приносит еще один очень интересный результат.

Представьте себе, что робот, добавляя в базу некий документ с сайта X, нашел ссылку на документ с другого сайта Y, который пока отсутствует в базе Апорта. Благодаря возможности находить документы и сайты по словам из ссылки Апорт сможет теперь найти сайт Y, хотя он еще не индексировался, а может быть, и не будет индексироваться (например, зарубежный ресурс). Эта замечательная возможность позволяет находить гораздо больше сайтов меньшими усилиями, используя запросы с русскими словами даже в зарубежных ресурсах, которые Апорт не индексирует.

Таким образом, индексирование ссылок, которое требует небольшого дополнительного времени, позволяет системе значительно расширить поисковое пространство. В итоге Апорт не только быстро добирается до различных «закоулков» русскоязычной части Internet, но и делает весьма широко доступной зарубежную Сеть, поскольку на многие интересные иностранные ресурсы есть ссылки и с российских сайтов.

В список ресурсов, индексируемых Апортом, может входить как целый сервер (например, www.rol.ru), так и его часть (например, www.company.ru/~vasya/). Последняя, однако, просуществует только до тех пор, пока родительский сервер не будет проиндексирован (www.company.ru в предыдущем примере). Родительский сервер поглотит дочерний ресурс, и тот станет его частью, потеряв самостоятельный статус.

В каждом самостоятельном ресурсе (обычно это сервер) периодически проверяется появление новых документов, изменение или удаление старых. Новые документы добавляются в базу данных, измененные удаляются из нее и добавляются уже в новом виде. Документы, которые не нашлись на сервере, из базы данных Апорта удаляются не сразу. Удаление происходит в том случае, если документ не доступен на сервере при нескольких обновлениях подряд. Таким образом, в целом база данных Апорта всегда содержит некоторое количество удаленных документов. Такой «исторический шлейф» не вреден, а иногда даже и полезен. Сохраняя его, Апорт позволяет иногда получить реконструкцию документа, который в оригинале уже отсутствует в Internet.