Игорь Новицкий - Аудит сайта за 5 минут

Для анализа конкурентов используем программы Promopult, Arsenkin, Megaindex… Полный перечень программ есть в методическом материале к книге.

Совет: «гонка за лидером» – прекрасный способ достичь быстрее вершин органического поиска.

3. Файл Robots. txt, мета – теги, schema.org, sitemap

Прежде чем приступить к аудиту, надо определиться, открыт ли сайт для индекса. Зачем нам делать «мартышкин» труд, если сайт не «видят» поисковые роботы. С этим нам поможет справиться файл robots. txt.

В строку поиска вводим следующее сокращение: site.ru/ robots. txt. Где site.ru домен сайта.

User-agent: *

Disallow: / – сайт закрыт от поиска. Смысла проводить аудит нет!

User-agent: Yandex

Disallow: / – сайт закрыт от поиска Яндекс. Аудит в Яндекс не проводим!

User-agent: Googlebot

Disallow: / – сайт закрыт от поиска Гугл. Аудит в Гугл не проводим!

User-Agent: *

Disallow: *.jpg

Disallow: *.png

Disallow: *.gif – сайт открыт для поиска! Анализируем сайт!

В последнем случае стоит обратить внимание на интернет – страницы, закрытые от поиска.

Закрыть от поиска надо обязательно:

1) технические страницы (дубли);

2) неканонические.

Оптимизатор может закрыть любую интернет – страницу от поиска по собственному желанию!

Анализируем файл robots. txt. Обращаем внимание на закрытые от индекса интернет – страницы.

Файл robots. txt закрывает от индекса сайт в целом. Мета – тег может закрыть от индекса интернет – страницу по выбору.

Нужный код вставляется между тегами

Оптимизаторы – практики часто используют мета – теги для управления индексацией сайта. Это быстро и более надежно. Почему? В практике автора были случаи, когда поисковые роботы Яндекса индексировали закрытую в файле robots. txt интернет – страницу. Получается, что robots. txt – это рекомендательный файл? Да, именно так! А мета – теги роботы поиска рассматривают в виде указательных директив.

Итак, при аудите проверяем не только файл robots. txt, но открытость для индекса страниц сайта по мета – тегам. Это можно сделать с помощью программ (ниже перечень) или выборочно по каждой странице: переходим на необходимую страницу, подводим курсор в правый верхний угол страницы (именно интернет – страницы), нажимаем правой кнопкой мыши, в панели ссылок выбираем «просмотреть код страницы», на уровне первого экрана анализируем наличие запрещающих мета – тегов.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.