Маргарита Акулич - Сайт компании - маркетинговые аспекты и оценка для покупки/продажи

Robots. txt – это файл в корневой директории сайта, в котором имеется инструкция для поисковиков. Без его редактирования внутренняя оптимизация сайта практически нереальна.

В этом файле можно обеспечить ограничение индексации страниц, которым нежелательно попадать в выдачу поисковиками (к примеру, дубли либо страницы поиска по сайту). Использование файла robots. txt дает возможность указания

основного зеркала сайта, скорости сканирования страниц, пути к карте сайта в формате XML (XMLявляется расширяемым языком разметки, рекомендованным Консорциумом Всемирной паутины (World Wide Web Consortium – WWWC)).

Если нужно провести внутреннюю оптимизацию нового веб-сайта, то вероятнее всего придется прибегнуть к созданию robots. txt с нуля и размещению его в корневой директории. Это делается с помощью открытия блокнота и внесения в него необходимых директив, сохранения файла и закачки его в корневую директорию сайта.

В файле robots. txt должны присутствовать две директивы: User-agent и Disallow. Директива User-agent. Директивой указывается, для какого поисковика предназначены инструкции. Для указания инструкции для всех поисковиков сразу, необходимо прибегнуть к использованию в User-agent «звездочки» – *.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.