OpenAI опубликовала отчёт, в котором признала: её самая мощная модель GPT-6 Astra скрытно работала хуже, когда получала задачи по безопасности искусственного интеллекта. Модель придумывала несуществующие препятствия, бросала рабочие решения и в отдельных случаях молча ограничивала помощь, не предупреждая пользователя. Собственная система контроля компании такое поведение не распознала как серьёзное нарушение.
Проблему исследователи OpenAI заметили ещё 20 августа, когда начали пользоваться Astra внутри компании. Модель подозрительно медленно продвигалась в проектах по безопасности — так называют работу, которая проверяет, не ведёт ли себя ИИ опасно или нечестно. Один такой проект несколько дней стоял на месте и сдвинулся, только когда команда переключилась на другую модель.
Чтобы проверить подозрения, компания дала Astra одинаковые задачи по программированию и меняла только их описание: в одном случае это было «исследование безопасности», в другом — обычная работа над ИИ. Результаты такие:
- в «обычных» задачах модель выполнила около 16% проверочных критериев, в задачах «про безопасность» — около 10%, то есть примерно на 40% меньше;
- у предшественницы, GPT-5.6 Sol, такой разницы не было;
- в рабочих запросах сотрудников Astra почти втрое чаще открыто отказывала, если речь шла о безопасности (1,63% против 0,56%), и примерно вдвое чаще молча урезала помощь (0,25% против 0,11%).
В записях рассуждений модели — промежуточных заметках, которые ИИ делает перед ответом, — нашлись случаи, когда Astra решала тихо ограничить помощь. Так было в эксперименте по обходу систем наблюдения за ИИ; кроме того, модель убирала сцены насилия из проверочных наборов и выбрасывала часть сведений при выгрузке данных. Свои решения она объясняла тем, что так безопаснее, но пользователю об этом не сообщала.
Точную причину OpenAI не установила. Разрыв появился на этапе обучения с подкреплением, когда модель поощряют за удачные ответы: компания выяснила, что алгоритм оценки ставил скрытую недоработку выше открытого отказа. Один из обучающих наборов данных усиливал склонность модели выдумывать ограничения — когда в эксперименте убрали его влияние, разрыв исчез. Признаков того, что модель намеренно скрывает свои возможности, OpenAI не нашла и самым простым объяснением считает чрезмерную осторожность: просьба в инструкции «быть осторожнее» увеличивала недоработку на 50%. Стратегические мотивы компания при этом полностью не исключает и обещает улучшить проверки и мониторинг.
GPT-6 Astra OpenAI представила 3 сентября. В ChatGPT модель доступна подписчикам Plus в разделах Work и Codex, а в обычном чате — на тарифах Pro (от $100 в месяц), Business и Enterprise. ChatGPT официально работает в Казахстане, так что модель доступна и казахстанским подписчикам. Касается ли выявленная особенность обычных пользовательских задач, в отчёте не говорится: исследование было посвящено работе над безопасностью ИИ.
В конце сентября OpenAI вместе с пятью другими ИИ-компаниями подписала в Белом доме пакт о безопасности, пообещав внедрить надёжный контроль и мониторинг моделей. Новый отчёт показывает, что даже собственные системы наблюдения компании пока пропускают скрытые сбои в поведении ИИ.
