OpenAI, Google, Microsoft және Anthropic компаниялары 30 қазанда ортақ белгіні қолдайтынын мәлімдеді. Оның көмегімен сайт иесі өз материалдарын генеративті жасанды интеллектті оқытуға пайдалануға бір жазбамен тыйым сала алады. Қазір бұл үшін әр компанияның краулерін, яғни сайттарды аралап, мәтін жинайтын бағдарлама-роботтарды жеке-жеке бұғаттауға тура келеді.
Жаңа баптау robots.txt файлына жазылады. Бұл – сайттың қызметтік файлы, онда иесі роботтарға қай бөлімдерді оқуға болатынын көрсетеді. Тыйым салу үшін арнайы __usage_ai-training атауын көрсетіп, қажетті бөлімдерді жапса жеткілікті. Мысалы, бүкіл сайтта оқытуға тыйым салып, баспасөзге арналған бөлімді ашық қалдыруға болады. Ереже тек генеративті модельдерге, яғни мәтін жазатын және сурет жасайтын модельдерге қатысты.
Компаниялардың мерзімі әртүрлі. Microsoft мұндай белгілерді 2027 жылғы 1 ақпаннан бастап ескереді және сайт иелеріне оларды 1 наурызға дейін баптап қоюға кеңес береді. Google белгіні 2027 жылы қолдамақ. Егер сайтта Google-дың өз механизмі – Google-Extended үшін бөлек тыйым бұрыннан тұрса, басымдық соған беріледі. OpenAI қолдауды «алдағы айларда» енгізуге уәде етті. Стандарт жобасын Anthropic қызметкері жазған, компания оны енгізуге кіріскенін хабарлады.
Microsoft бұған қоса екінші баптауды енгізеді. Ол ЖИ сервисі пайдаланушының сұрағына жауап беру үшін бетке кіретін жағдайларға арналған. Сайт иесі мұны рұқсат ете алады, тек Microsoft-тың өз сервистерімен – Copilot, Bing-тегі ЖИ жауаптарымен және Microsoft 365-пен шектей алады немесе мүлде тыйым сала алады. Компания тыйым сайттың ЖИ сервистеріндегі көрінуін азайтатынын ескертеді, алайда Bing-тің кәдімгі іздеу нәтижелеріндегі орнына әсер етпейді.
Бұл техникалық бұғаттау емес, сайт иесінің қалауы ғана. Белгі роботтардың сайтқа кіруіне кедергі келтірмейді және серверге түсетін жүктемені азайтпайды. Ол компанияға мәтіндерді оқытуға алуға бола ма, жоқ па, соны ғана хабарлайды. Баптау кез келген сайтта, соның ішінде қазақстандық БАҚ, блогтар мен интернет-дүкендерде бірдей жұмыс істейді.
Құжат әзірге IETF-те жоба мәртебесінде тұр. IETF – интернет стандарттарын әзірлейтін және robots.txt форматына жауап беретін халықаралық ұйым. Жобаның қолданылу мерзімі 2027 жылғы 3 мамырға дейін. ЖИ-ді бөтен мәтіндермен рұқсатсыз оқытуға бола ма деген дау бұрыннан бері жүріп келеді: баспагерлер мен авторлар әзірлеушілерге қарсы сотқа жүгінуде. Мысалы, Britannica энциклопедиясы OpenAI-ға қарсы талап арыз берген.
