Мета-тег robots і його роль в правильній індексації сайту

Мета-тег robots допоможе знайти спільну мову з пошуковими роботами. Навіть не знаючи, навіщо потрібен мета-тег robots, тільки виходячи з його назви, вже можна зробити висновки про те, що він має якесь відношення до роботів пошукових систем. І це дійсно так.

Впровадження мета-тега robots в код веб-сторінки дає можливість вказати пошуковим роботам свої побажання з приводу індексування її вмісту і посилань, розташованих на ній.

Це може стати в нагоді в багатьох ситуаціях. Наприклад, при наявності на сайті дублювання контенту або для запобігання передачі ваги сторінок по посиланнях, розташованих на них.

Як скористатися можливостями мета-тега robots

Сторінка, до якої потрібно застосувати бажані умови індексування, повинна містити всередині тега <head> свого html-коду правильно оформлений мета-тег robots.

Структура Robots досить проста

Щоб він був правильно сприйнятий ботами пошукових систем, в даній конструкції вміст атрибута content ( ” ххххххххх ”) має складатися з однієї або декількох (через кому) стандартних директив:

index / noindex – вказує на необхідність індексації / ігнорування вмісту сторінки. 

follow / nofollow – аналізувати / ігнорувати посилання в межах веб-сторінки. 

all / none – індексувати / ігнорувати сторінку повністю. 

noimageindex – заборона індексації присутніх на сторінці зображень. 

noarchive – заборона на висновок в результатах пошуку посилання «Збережена копія», яка дає можливість переглядати збережену в кеші пошуковика копію сторінки (навіть якщо вона тимчасово недоступна або видалена з сайту). 

nosnippet – заборона на висновок в пошуковій видачі під назвою сторінки фрагмента тексту (сниппета), що описує її зміст. 

noodp – директива, яка повідомляє Google-боту про заборону використання в якості сниппета сторінки, опису з каталогу Open Directory Project (він же DMOZ).

Особливості використання мета-тега robots

Деякі  комбінації директив, які підтримуються цим мета-тегом взаємозамінні (тотожні). Наприклад, якщо потрібно заборонити індексування вмісту сторінки і всіх посилань на неї, можна використовувати в мета-тезі robots ” noindex, nofollow ” або ж директиву ” none ”.

Варіанти використання директив в мета-тегу robots

У зворотному випадку, коли потрібно індексувати все (в параметрі content мета-тега robots – ” index, follow ” або ” all ”), з’являється ще й третій варіант – взагалі не впроваджувати цей тег в код сторінки.

Мета-тег robots, що дозволяє повну індексацію

Трапляються окремі випадки, коли вказівки з приводу індексування потрібно повідомити тільки роботу якої-небудь однієї пошукової системи. Для цього потрібно замість ” robots ” вказати ім’я бота, якого стосуються вказівки в мета-тезі директиви. Наприклад, якщо Google повинен внести в свій індекс вміст сторінки, але при цьому не аналізувати посилання на неї:

Окремі вказівки для GoogleBot

 Важливо, щоб у вмісті атрибута content не було повторень чи будь-яких суперечок між директивами, оскільки в цьому випадку мета-тег може бути проігнорований пошуковим ботом.

Ще один момент, стосовно якого часто сперечаються веб-майстри – регістр, в якому прописується вміст мета-тега. Одні вважають, що правильно використовувати тільки прописні, інші – тільки маленькі. Але насправді прийнятні обидва варіанти, оскільки мета-тег нечутливий до регістру.

Навіщо потрібен мета-тег robots, якщо є файл robots.txt?

На перший погляд може здатися, що застосування цього мета-тега надає ті ж можливості, що і настройка файлу robots.txt. Але кілька відмінностей все ж є. І вони цілком можуть бути причинами, щоб віддати перевагу використанню мета-тега:

– мета-тег robots використовується для більш тонкої настройки індексації: можна закрити контент, але залишити відкритими посилання (в параметрі content мета-тега robots – ” noindex, follow ”) і навпаки. В robots.txt такої можливості немає.

– Вміст не індексувати, а контент – так. 

У ситуаціях, коли немає можливості отримати доступ до кореневої директорії веб-сайту, редагувати robots.txt не представляється можливим. Ось тоді-то і приходить на допомогу однойменний мета-тег.

Файли для керування індексацією сайту

В robots.txt можна закрити від індексації цілий каталог, щоб заборонити доступ ботів до всіх, що містяться в ньому сторінок, тоді як мета-тег доведеться використовувати для кожної з них. Виходить, що в такому разі зручніше зробити налаштування у файлі. Але якщо деякі сторінки всередині каталогу все ж потрібно залишити відкритими, зручніше використовувати мета-тег.

Для керування індексацією сторінок веб-сайту допустимо одночасно використовувати мета-тег robots і файл robots.txt. Вони можуть відповідати за вказівки пошуковим роботам з приводу різних веб-сторінок або ж дублювати команди один одного. Якщо в них будуть присутні суперечні директиви з приводу одних і тих же сторінок, роботи пошукових систем будуть приймати не завжди вірне рішення – за замовчуванням вибирати суворішу вказівку.

Залишити коментар

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *