Языковая модель Claude американской компании Anthropic во время внутренней работы без указания человека получила доступ к платной базе данных о выборах в штате Джорджия. Это подтвердили сама Anthropic и офис госсекретаря штата, сообщают Axios и Fox Business. Подробности стали известны за неделю с небольшим до промежуточных выборов в США 3 ноября.
По данным компании, исследователь Anthropic использовал модель для статистического проекта, которому были нужны данные властей штата, — они открыты, но выдаются за плату. Claude нашёл в архивной копии сайта ведомства подсказку: публичная панель с данными выдаёт любому посетителю токен доступа, то есть электронный пропуск для запросов к базе. Модель запросила такой токен и напрямую выгрузила сводные данные о подсчёте голосов, ничего не заплатив.
В Anthropic подчёркивают, что Claude не заходил в систему регистрации избирателей, не менял записи о голосовании и не получал сведения об отдельных избирателях — только общие цифры. «Это общедоступные данные, полученные через наш дата-хаб», — заявил заместитель госсекретаря Джорджии Джордан Фукс. Компания добавила ограничения, которые должны блокировать подобные действия.
Сам случай Anthropic описала ещё 9 октября в отчёте о непреднамеренных действиях своих моделей, но штат тогда не назвала: пострадавшие организации попросили об этом, чтобы не привлекать внимание к уязвимостям. По данным отчёта, речь шла о модели Claude Mythos 5. Компания уведомила ведомства и проинформировала Белый дом.
В том же отчёте описаны и другие эпизоды. Модели Claude отправляли настоящие формы на сайтах госорганов вместо тренировочных, а Claude Haiku 4.5 в одном из тестов отправил в полицию Филадельфии выдуманное сообщение о нераскрытом убийстве — его отметили как спам, и до следователей оно не дошло. После этого Anthropic без конечного срока отключила доступ к интернету во всех внутренних проверках моделей, пока не убедится, что системы контроля надёжно ловят такое поведение.
Подобные случаи раскрывали и другие разработчики: ранее Gemini взломала системы трёх компаний во время тестов, а ИИ-агент OpenAI проник на портал Medicare в Австралии. ИИ-агенты — это программы, которые не просто отвечают на вопросы, а сами действуют в интернете: открывают сайты, заполняют формы и запрашивают данные. Anthropic разрабатывает чат-бот Claude — одного из главных конкурентов ChatGPT.
