PRexplore

Еще одну тихую революцию, архиважную, тем не менее, для издателей, сеошников и диджитальщиков совершил Cloudflare, представив обновления в файле robots.txt — инструкции для поисковых роботов, которую записывают в корневую папку каждого сайта с 90-х. Файл за десятилетия стал отраслевым стандартом и служит добровольным руководством для поисковых систем и ботов по сканированию сайтов. Именно в robots.txt владелец сайта может указать, разрешено ли поисковым системам и ботам индексировать контент и выводить его в результатах поиска. Тем же самым файлом руководствуются и боты, собирающие информацию для обучения ИИ-моделей или для нейро-ответов в браузерах. И прежде тумблер работал только в положениях вкл.–выкл., так что разгул вороватого ИИ поставил владельцев сайтов перед сложной дилеммой: закрыться от ИИ-ботов и одновременно перестать индексироваться совсем, или смириться с падением трафика, воровством контента и медленным умиранием.

Cloudflare этот порочный круг разорвал, расширив выбор в протоколе robots.txt до трех сценариев:

🔘Поиск: позволяет индексировать контент для традиционных поисковых систем, которые ссылаются на первоисточники

🔘AI-input: позволяет использовать материал в генерации нейро-ответов, саммари и резюме

🔘AI-train: дает право использовать контент для обучения моделей ИИ

Разработчик сделал новое ПО на публичной лицензии, надеясь, что оно распространится и станет новым отраслевым стандартом. Cloudflare заявляет, что директивы будут автоматически применены к миллионам доменов, которые уже используют ее управляемый сервис robots.txt.

Впрочем, эксперты настроены скептично: они не верят, что какая-то декларация о намерениях в .txt, по сути, не имеющая юридической силы, остановит ИИ-компании, готовые убивать за беспрепятственный доступ к новой информации. Но в Cloudflare убеждены, что их решение даст задокументированное доказательство нарушения, годное для судебных разбирательств, а ответчикам не позволит ускользнуть, ссылаясь на положения о «добросовестном использовании», так что ждет шквала судебных исков о попранных авторских парвах.

Дальнейшая судьба robots.txt будет зависеть только от действий техногигантов, в частности, Google, универсальные алгоритмы которой, собирающие контент одновременно для ИИ и поиска, будут больше всего конфликтовать с новыми директивами — только владельцам ботов решать, выполнять им «добровольные» директивы или просто игнорировать.

#тренды

Сегодня о том, каким будет завтра.
Подписаться 🧬

Please open Telegram to view this post

VIEW IN TELEGRAM

The Cloudflare Blog

Giving users choice with Cloudflare’s new Content Signals Policy

Cloudflare’s Content Signals Policy gives creators a new tool to control use of their content.

👍13🤔4⚡2❤1😈1

www.group-telegram.com/id/prexplore.com/3114

1.31K viewsSep 26 at 12:21

Еще одну тихую революцию, архиважную, тем не менее, для издателей, сеошников и диджитальщиков совершил Cloudflare, представив обновления в файле robots.txt — инструкции для поисковых роботов, которую записывают в корневую папку каждого сайта с 90-х. Файл за десятилетия стал отраслевым стандартом и служит добровольным руководством для поисковых систем и ботов по сканированию сайтов. Именно в robots.txt владелец сайта может указать, разрешено ли поисковым системам и ботам индексировать контент и выводить его в результатах поиска. Тем же самым файлом руководствуются и боты, собирающие информацию для обучения ИИ-моделей или для нейро-ответов в браузерах. И прежде тумблер работал только в положениях вкл.–выкл., так что разгул вороватого ИИ поставил владельцев сайтов перед сложной дилеммой: закрыться от ИИ-ботов и одновременно перестать индексироваться совсем, или смириться с падением трафика, воровством контента и медленным умиранием.

Cloudflare этот порочный круг разорвал, расширив выбор в протоколе robots.txt до трех сценариев:

🔘Поиск: позволяет индексировать контент для традиционных поисковых систем, которые ссылаются на первоисточники

🔘AI-input: позволяет использовать материал в генерации нейро-ответов, саммари и резюме

🔘AI-train: дает право использовать контент для обучения моделей ИИ

Разработчик сделал новое ПО на публичной лицензии, надеясь, что оно распространится и станет новым отраслевым стандартом. Cloudflare заявляет, что директивы будут автоматически применены к миллионам доменов, которые уже используют ее управляемый сервис robots.txt.

Впрочем, эксперты настроены скептично: они не верят, что какая-то декларация о намерениях в .txt, по сути, не имеющая юридической силы, остановит ИИ-компании, готовые убивать за беспрепятственный доступ к новой информации. Но в Cloudflare убеждены, что их решение даст задокументированное доказательство нарушения, годное для судебных разбирательств, а ответчикам не позволит ускользнуть, ссылаясь на положения о «добросовестном использовании», так что ждет шквала судебных исков о попранных авторских парвах.

Дальнейшая судьба robots.txt будет зависеть только от действий техногигантов, в частности, Google, универсальные алгоритмы которой, собирающие контент одновременно для ИИ и поиска, будут больше всего конфликтовать с новыми директивами — только владельцам ботов решать, выполнять им «добровольные» директивы или просто игнорировать.

#тренды

Сегодня о том, каким будет завтра.
Подписаться 🧬