![Seo-файли і, що це і як використовувати (robots.txt sitemap.xml) Seo-файли і, що це і як використовувати](https://images-on-off.com/images/142/seofayliichtoetoikakispolzovat-b11a6ca7.jpg)
файл robots.txt
директиви robots.txt
Директиви - це правила або можна ще сказати команди для пошукових роботів. Найголовнішою є «User-agent», з її допомогою можна встановити правила для всіх роботів або для конкретного бота. Ця директива прописується спочатку, а після неї вказуються всі інші правила.
Ще однією обов'язковою директивою є «Disallow», з її допомогою закриваються розділи і сторінки сайту, а її протилежністю є директива «Allow», яка навпаки примусово дозволяє індексувати зазначені розділи і сторінки сайту.
«Sitemap» - директива, яка вказує шлях до файлу sitemap.xml, шлях необхідно вказувати повністю з протоколом, прописувати цю директиву дозволяється в будь-якому місці файлу.
Для спрощення написання правил існують спеціальні символьні оператори:
Після знайомства з основними директивами і спеціальними операторами вже можна накидати вміст простенького файлу robots.txt.
файл sitemap.xml
Необхідно відзначити, що sitemap.xml не обов'язковий, і пошукові системи можуть його не враховувати, але в той же час все пошуковики говорять про те, що наявність файлу бажано і допомагає правильно індексувати сайт, особливо, якщо сторінки створюються динамічно або на сайті складна структура вкладеності.
Висновок напрошується один: що файли robots.txt і sitemap.xml необхідні. Правильна настройка індексації - це один з факторів знаходження сторінок сайту на більш високих місцях в пошуковій видачі, а це мета будь-якого більш-менш серйозного сайту.
![Seo-файли і, що це і як використовувати (robots.txt sitemap.xml) Seo-файли і, що це і як використовувати](https://images-on-off.com/images/142/seofayliichtoetoikakispolzovat-e958e241.jpg)
![Seo-файли і, що це і як використовувати (розділи сторінки сайту) Seo-файли і, що це і як використовувати](https://images-on-off.com/images/142/seofayliichtoetoikakispolzovat-6e8388bf.jpg)
![Seo-файли і, що це і як використовувати (розділи сторінки сайту) Seo-файли і, що це і як використовувати](https://images-on-off.com/images/142/seofayliichtoetoikakispolzovat-715d251f.jpg)
![Seo-файли і, що це і як використовувати (robots.txt sitemap.xml) Seo-файли і, що це і як використовувати](https://images-on-off.com/images/142/seofayliichtoetoikakispolzovat-371655a5.jpg)