Файл robots.txt помогает управлять доступом поисковых роботов к страницам сайта. Он сообщает ботам, что можно индексировать, а что нет. Это особенно важно для интернет-магазинов на базе OpenCart, где много страниц и параметров.

Что такое robots.txt?

Файл robots.txt находится в корневой папке сайта и содержит команды для поисковых роботов, определяя, какие разделы можно сканировать, а какие – нет. Это помогает избежать дублирования контента и защищает конфиденциальные данные.

Пример файла robots.txt с объяснениями

Ниже приведён пример файла и пояснения к каждой директиве.

Пример 1. Основное правило для всех роботов

User-agent: *

• Что делает: Правило применяется ко всем поисковым системам.
• Зачем нужно: Указывает, что все роботы должны следовать указанным правилам.

Пример 2. Блокировка страниц с личным кабинетом, партнеркой, оформлением заказа и поиском товаров

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search

• Что делают: Блокируют страницы с личным кабинетом, партнерской программой, оформлением заказа и поиском товаров.
• Зачем нужно: Эти страницы не должны индексироваться, так как содержат персональные данные или динамический контент.

Пример 3. Запрещаем индексацию страниц товаров с определённым параметром производителя

Disallow: /index.php?route=product/product*&manufacturer_id=

• Что делает: Запрещает индексацию страниц товаров с указанным параметром производителя.
• Зачем нужно: Помогает избежать дублирования страниц с одинаковым товаром, но с разными параметрами.

Пример 4. Блокировка административной и технической частей сайта

Disallow: /admin
Disallow: /catalog
Disallow: /system

• Что делают: Закрывают доступ к административной панели и техническим разделам сайта.
• Зачем нужно: Эти разделы не предназначены для публичного просмотра и могут содержать конфиденциальную информацию.

Пример 5. Блокировка страниц с параметрами пагинации

Disallow: *?page=*

• Что делает: Блокирует страницы с параметрами пагинации.
• Зачем нужно: Предотвращает создание множества похожих страниц с небольшими изменениями.

Пример 6. Блокировка параметров сортировки, порядка, лимита и фильтрации

Disallow: /*&sort=
Disallow: /*&order=
Disallow: /*&limit=
Disallow: /*&filter_name=
Disallow: /*&filter_sub_category=
Disallow: /*&filter_description=
Disallow: /*&tracking=

• Что делают: Блокируют страницы с параметрами сортировки, порядка, лимита и фильтрации.
• Зачем нужно: Исключение этих параметров помогает избежать дублирования контента и упрощает анализ сайта поисковиками.

Пример 7. Блокировка множества страниц с личными данными, заказами и регистрацией

Disallow: /*compare-products
Disallow: /*search
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*brands
Disallow: /*specials
Disallow: /*register

• Что делают: Запрещают индексацию множества страниц, связанных с личными данными, заказами, регистрацией и акциями.
• Зачем нужно: Эти страницы дублируют функции сайта или содержат личную информацию, не предназначенную для поисковой выдачи.

Пример 8. Блокировка страниц с UTM-метками

Disallow: *utm=

• Что делает: Блокирует страницы с UTM-метками.
• Зачем нужно: UTM-метки используются для отслеживания трафика и не добавляют ценности для поисковой выдачи.

Пример 9. Блокировка страниц с условиями использования и контактной информацией

Disallow: /terms
Disallow: /contact-us

• Что делают: Закрывают страницы с условиями использования и контактной информацией.
• Зачем нужно: Исключают данные страницы из индексации, если они не важны для поисковой выдачи.

Пример 10. Разрешение доступа к файлам тем оформления

Allow: /catalog/view/theme/*/

• Что делает: Разрешает доступ к файлам тем оформления в папке catalog.
• Зачем нужно: Шаблоны тем помогают поисковикам анализировать дизайн и структуру сайта, даже если основная папка заблокирована.

Как настроить robots.txt для OpenCart

1. Создайте файл: Откройте текстовый редактор и создайте новый файл с именем robots.txt.
2. Вставьте нужные команды: Используйте приведённый пример. Измените или добавьте команды по необходимости.
3. Разместите файл: Файл должен находиться в корневой папке сайта. Например, example.com/robots.txt.
4. Проверьте работу файла: Используйте онлайн-инструменты для проверки robots.txt. Это поможет убедиться, что поисковые роботы видят правильные правила.

Итог

Файл robots.txt – простой инструмент для управления индексацией сайта. Правильная настройка помогает избежать дублирования страниц и защищает конфиденциальные данные. Периодически проверяйте файл и обновляйте его при изменениях на сайте.