Мета-тег robots допоможе знайти спільну мову з пошуковими роботами. Навіть не знаючи, навіщо потрібен мета-тег robots, тільки виходячи з його назви, вже можна зробити висновки про те, що він має якесь відношення до роботів пошукових систем. І це дійсно так.
Впровадження мета-тега robots в код веб-сторінки дає можливість вказати пошуковим роботам свої побажання з приводу індексування її вмісту і посилань, розташованих на ній.
Це може стати у пригоді в багатьох ситуаціях. Наприклад, при наявності на сайті дублювання контенту або для запобігання передачі ваги сторінок по посиланнях, розташованих на них.
Як скористатися можливостями мета-тега robots
Сторінка, до якої потрібно застосувати бажані умови індексування, повинна містити всередині тега <head> свого html-коду правильно оформлений мета-тег robots.
Структура Robots досить проста
Щоб він був правильно сприйнятий ботами пошукових систем, в даній конструкції вміст атрибута content ( ” ххххххххх ”) має складатися з однієї або декількох (через кому) стандартних директив:
index / noindex – вказує на необхідність індексації / ігнорування вмісту сторінки.
follow / nofollow – аналізувати / ігнорувати посилання в межах веб-сторінки.
all / none – індексувати / ігнорувати сторінку повністю.
noimageindex – заборона індексації присутніх на сторінці зображень.
noarchive – заборона на висновок в результатах пошуку посилання «Збережена копія», яка дає можливість переглядати збережену в кеші пошуковика копію сторінки (навіть якщо вона тимчасово недоступна або видалена з сайту).
nosnippet – заборона на висновок в пошуковій видачі під назвою сторінки фрагмента тексту (сниппета), що описує її зміст.
noodp – директива, яка повідомляє Google-боту про заборону використання в якості сниппета сторінки, опису з каталогу Open Directory Project (він же DMOZ).
Особливості використання мета-тега robots
Деякі комбінації директив, які підтримуються цим мета-тегом взаємозамінні (тотожні). Наприклад, якщо потрібно заборонити індексування вмісту сторінки і всіх посилань на неї, можна використовувати в мета-тезі robots ” noindex, nofollow ” або ж директиву ” none ”.
Варіанти використання директив в мета-тегу robots
У зворотному випадку, коли потрібно індексувати все (в параметрі content мета-тега robots – ” index, follow ” або ” all ”), з’являється ще й третій варіант – взагалі не впроваджувати цей тег в код сторінки.
Мета-тег robots, що дозволяє повну індексацію
Трапляються окремі випадки, коли вказівки з приводу індексування потрібно повідомити тільки роботу якої-небудь однієї пошукової системи. Для цього потрібно замість ” robots ” вказати ім’я бота, якого стосуються вказівки в мета-тезі директиви. Наприклад, якщо Google повинен внести в свій індекс вміст сторінки, але при цьому не аналізувати посилання на неї:
Окремі вказівки для GoogleBot
Важливо, щоб у вмісті атрибута content не було повторень чи будь-яких суперечок між директивами, оскільки в цьому випадку мета-тег може бути проігнорований пошуковим ботом.
Ще один момент, стосовно якого часто сперечаються веб-майстри – регістр, в якому прописується вміст мета-тега. Одні вважають, що правильно використовувати тільки прописні, інші – тільки маленькі. Але насправді прийнятні обидва варіанти, оскільки мета-тег нечутливий до регістру.
Навіщо потрібен мета-тег robots, якщо є файл robots.txt?
На перший погляд може здатися, що застосування цього мета-тега надає ті ж можливості, що і настройка файлу robots.txt. Але кілька відмінностей все ж є. І вони цілком можуть бути причинами, щоб віддати перевагу використанню мета-тега:
– мета-тег robots використовується для більш тонкої настройки індексації: можна закрити контент, але залишити відкритими посилання (в параметрі content мета-тега robots – ” noindex, follow ”) і навпаки. В robots.txt такої можливості немає.
– Вміст не індексувати, а контент – так.
У ситуаціях, коли немає можливості отримати доступ до кореневої директорії веб-сайту, редагувати robots.txt не представляється можливим. Ось тоді-то і приходить на допомогу однойменний мета-тег.
Файли для керування індексацією сайту
В robots.txt можна закрити від індексації цілий каталог, щоб заборонити доступ ботів до всіх, що містяться в ньому сторінок, тоді як мета-тег доведеться використовувати для кожної з них. Виходить, що в такому разі зручніше зробити налаштування у файлі. Але якщо деякі сторінки всередині каталогу все ж потрібно залишити відкритими, зручніше використовувати мета-тег.
Для керування індексацією сторінок веб-сайту допустимо одночасно використовувати мета-тег robots і файл robots.txt. Вони можуть відповідати за вказівки пошуковим роботам з приводу різних веб-сторінок або ж дублювати команди один одного. Якщо в них будуть присутні суперечні директиви з приводу одних і тих же сторінок, роботи пошукових систем будуть приймати не завжди вірне рішення – за замовчуванням вибирати суворішу вказівку.
