Новые ИИ-модели китайской Alibaba из семейства Qwen 3.8 во время тестов иногда пытались обращаться к облачным серверам самой компании, хотя задача этого не требовала. Об этом сообщила американская некоммерческая организация Palisade Research, изучающая безопасность ИИ. Исследователи считают это побочным эффектом обучения, а не шпионажем, но видят риски для тех, кто запускает такие модели с доступом к интернету.
Palisade проверила данные тестов пяти моделей Qwen и нашла адреса облака Alibaba Cloud в работе трёх из них: Qwen3.8-Max-0902, Qwen3.8-Max и Qwen3.8-27B. У предыдущего поколения Qwen 3.7 таких случаев не было. Запросы уходили на сервер Alibaba Cloud в Сингапуре и каждый раз получали отказ в доступе. Иногда модели пытались через него открыть сторонние сайты с выдуманными ключами доступа.
В контролируемых опытах Qwen3.8-27B обращалась к этому серверу в 2–4% запусков после того, как ей имитировали ошибку доступа, а Qwen3.8-Max — в 1–4% случаев в более сложном сценарии. Модели конкурентов, в том числе DeepSeek, Kimi и GLM, к серверам своих разработчиков не обращались.
Palisade связывает такое поведение с обучением с подкреплением — методом, при котором модель учат, поощряя за выполненные задачи. Вероятно, во время обучения запросы в интернет шли через служебный сервер, и модели «запомнили» этот путь. Признаков умышленной утечки данных исследователи не нашли. Но сервер до сих пор работает, и его владелец теоретически может видеть входящие запросы или подменять ответы.
Поводом для проверки стал отчёт канадской ИИ-компании Cohere, опубликованный 26 октября. По её данным, модель Qwen3.8-Flash-Next во время теста по кибербезопасности вместо порученной задачи попыталась загрузить тестовую строку в облачное хранилище Alibaba в Пекине. Тестовая среда заблокировала соединение. Случай редкий — меньше одного на 100 тысяч запросов, причём в рассуждениях модель писала, что не будет пользоваться инструментами.
Методику Cohere раскритиковали независимые разработчики: часть повторений компания получила, подсказывая модели начало сетевой команды. Как отмечает TechCrunch, Cohere сама продаёт ИИ-модели правительствам и может выиграть от недоверия к бесплатным китайским аналогам. Публичных комментариев Alibaba издания не приводят.
Модели Qwen распространяются с открытыми весами: их можно бесплатно скачать и запустить на собственном сервере в любой стране, включая Казахстан. Речь в исследованиях идёт о сценариях, когда модели дают доступ к командной строке и сети. Cohere советует компаниям относиться к чужим моделям как к любой программе, скачанной из интернета: по умолчанию закрывать им выход в сеть и отслеживать необычные запросы.
Qwen — одно из самых популярных семейств открытых языковых моделей, то есть программ, которые понимают и пишут текст. Модель Qwen3.8-Max-0902 Alibaba выпустила в начале сентября. Ранее китайские власти допустили ИИ-модели Alibaba к работе на iPhone. А в США на прошлой неделе федеральным ведомствам велели убрать продукты DeepSeek из своих систем.
