Вот наиболее полный и подробный файл robots.txt для современной версии CMS WordPress.
Здесь yourdomain.com замените на ваш домен (пример нашего сайта: https://poznayu.com/robots.txt):
User-agent: *
Disallow: /cgi-bin
Disallow: */wp-
Disallow: */?
Disallow: /*?*
Disallow: *&s=
Disallow: /search
Disallow: /search/
Disallow: /author/
Disallow: */trackback/
Disallow: /trackback/
Disallow: /comments/
Disallow: */comments/
Disallow: */attachment/*
Disallow: *?attachment_id=
Disallow: /goto/
Disallow: /readme.html
Disallow: /xmlrpc.php
Disallow: */rss
Disallow: */feed
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */*/feed
Disallow: /tag/
Disallow: */tag
Disallow: */*/tag/*/
Disallow: */*/tag
Disallow: /page/
Disallow: /page/*/?s=
Disallow: */page
Disallow: */*/page/*/
Disallow: */*/page
Disallow: */embed
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /*/*.png
Allow: /*/*.jpg
Allow: /*/*.jpeg
Allow: /*/*.gif
Allow: /*/*.svg
Allow: /*/*.pdf
Allow: /wp-content/uploads/
Sitemap: https://yourdomain.com/sitemaps.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Yandex
Disallow: /cgi-bin
Disallow: */wp-
Disallow: */?
Disallow: /*?*
Disallow: *&s=
Disallow: /search
Disallow: /search/
Disallow: /author/
Disallow: */trackback/
Disallow: /trackback/
Disallow: /comments/
Disallow: */comments/
Disallow: */attachment/*
Disallow: *?attachment_id=
Disallow: /goto/
Disallow: /readme.html
Disallow: /xmlrpc.php
Disallow: */rss
Disallow: */feed
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */*/feed
Disallow: /tag/
Disallow: */tag
Disallow: */*/tag/*/
Disallow: */*/tag
Disallow: /page/
Disallow: /page/*/?s=
Disallow: */page
Disallow: */*/page/*/
Disallow: */*/page
Disallow: */embed
Allow: /feed/turbo/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /*/*.png
Allow: /*/*.jpg
Allow: /*/*.jpeg
Allow: /*/*.gif
Allow: /*/*.svg
Allow: /*/*.pdf
Host: https://yourdomain.com/
Sitemap: https://yourdomain.com/sitemaps.xml
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: bingbot
Crawl-delay: 1
Я, Итан Картер – американский разработчик и технический автор с более чем 20-летним опытом в системном и прикладном программировании. Мой основной профиль — низкоуровневая разработка на Assembler: 22 года практики, включая глубокую работу с оптимизацией кода, архитектурой процессоров и производительностью критичных по скорости решений. Я защитил PhD dissertation по Assembler, а также более 18 лет работаю с ASP.NET, создавая корпоративные веб-системы, API и масштабируемые backend-решения.
Дополнительно я имею 9 лет опыта в C++ и C#, а также 7 лет практики программирования микроконтроллеров на Assembler. Благодаря моему сочетанию академической подготовки и прикладного инженерного опыта я могу писать статьи на стыке архитектуры ПО, низкоуровневой оптимизации и современной разработки, делая сложные технические темы понятными для профессиональной аудитории.
Thanks on your marvelous posting! I seriously enjoyed reading it, you can be a great author.I will be sure to bookmark your
blog and will come back sometime soon. I want to encourage yourself to continue your
great writing, have a nice morning!
you are welcome ) thanks
Excellent post. I was checking continuously this blog and I’m impressed!
Very helpful info specially the last part 🙂 I care
for such info a lot. I was looking for this particular info
for a long time. Thank you and good luck.
wonderful post, very informative. I’m wondering why the opposite specialists of this sector do not notice this.
You should proceed your writing. I’m confident, you have
a huge readers’ base already!