Як робиться з допомогою файлу robots.txt заборона індексації сторінок на сайті?

Добрий день!

Дана задача вирішується за допомогою команди Disallow.

Наведу конкретні приклади:

1. Якщо потрібно закрити конкретні сторінки (наприклад, адресу RSS стрічки):

User-agent: *
Disallow: /page1.html
Disallow: /posts/page2.html

2. Якщо потрібно закрити розділ сайту — на прикладі розділу posts закриємо саму сторінку сайт.ру/posts + усі сторінки типу сайт.ру/posts/page1.html, сайт.ру/posts/page2.html і т. д.:

User-agent: *
Disallow: /posts/

3. Якщо потрібно закрити всі сторінки або розділи (папки), в назві яких зустрічається слово ‘posts’:

User-agent: *
Disallow: posts

4. Якщо потрібно закрити динамічно генерирующиеся сторінки, які мають адреса сайт.ру/?page=xxx:

User-agent: *
Disallow: /*?page*

5. Якщо потрібно за допомогою robots txt заборонити індексацію сайту цілком (так, деколи і таке вимагається):

User-agent: *
Disallow: /

Також більш детально про файл robots txt можна почитати в моїй статті по вказаному посиланню.

В якості додаткової міри можна також використовувати мета-тег, якщо движок дозволяє його розмістити на окремих сторінках (для WordPress, зокрема, це робить плагін All in Seo Pack):

<meta name=”robots” content=”noindex”>

В цілому, заборона від індексації — дуже важлива річ в пошуковій оптимізації, так як більшість движків зараз створюють сторінки, на яких дублюється один і той же контент, і ці дублі дуже важливо закривати вищеописаними методами.

Соц закладки
Соц закладки