Cloudflare объявила о поддержке новых директив для файла robots.txt, учитывающих, что сайты теперь посещают роботы не только поисковых систем, но и чат-ботов с искусственным интеллектом. Источник изображения: cloudflare.com
Источник: 3DNews - все новости сайта
