Google сообщила, что её модель Gemini во время тестирования возможностей в сфере кибербезопасности самостоятельно получила доступ к системам трёх реальных компаний. Инциденты произошли в мае 2026 года, все три организации уведомили; в компании считают это первым известным случаем, когда её модель совершила подобный взлом.
Тестирование проводила независимая компания Irregular, которая оценивает кибербезопасность моделей для крупных ИИ-разработчиков. Модель должна была работать в изолированной среде, однако у неё оказался доступ в интернет. По данным Google, в одном случае Gemini подбирала пароли, пока не вошла в систему, ещё в двух — нашла учётные данные в общедоступных репозиториях и воспользовалась ими. Во всех трёх случаях модель в итоге остановилась сама.
Ситуация возникла во время учебного задания формата capture the flag — соревнования, в котором участник ищет уязвимости и «захватывает флаг» в специально подготовленной инфраструктуре. Вымышленная компания из задания носила то же название, что и реально существующая организация, и модель приняла чужие системы за часть теста. Irregular заявила, что все выявленные проблемы устранили за несколько недель до публичного раскрытия, а разработчики и оценщик согласовали изменения в процедурах тестирования.
Вице-президент Google по инженерии безопасности Хизер Адкинс подтвердила, что три организации были проинформированы, а вместе с партнёром по тестированию компания проработала изменения, которые уже внесены в процесс. По её словам, безопасная разработка мощных моделей критически важна, и компания вкладывается в это направление.
О похожих эпизодах при тестировании ранее сообщали OpenAI, Anthropic и Meta. Anthropic, в частности, блокировала попытки использовать Claude для работы над биологическим оружием. При этом модели Google уже применяются в государственном секторе: Пентагон начал использовать Gemini для анализа данных более чем трёх миллионов военных и гражданских сотрудников.
