OpenAI отказалась выпускать новую модель ChatGPT из-за проблем с безопасностью

OpenAI решила не выпускать новую модель GPT-6.1 Astra, которую планировала представить уже в октябре. Причиной стали проблемы с безопасностью и управляемостью системы, выявленные во время внутреннего тестирования. Об этом сообщает The Wall Street Journal.

GPT-6.1 Astra должна была стать следующим большим обновлением моделей OpenAI для ChatGPT и Codex. Система лучше предшественников справлялась со сложными задачами от начала до конца без постоянного участия человека, однако во время проверок оказалась недостаточно надёжной для публичного запуска.

Руководитель систем безопасности OpenAI Саачи Джейн рассказала WSJ, что модель показала худшие результаты в двух критических для компании направлениях. В частности, она чаще демонстрировала обманчивое поведение - могла неточно сообщать пользователю, какие действия выполнила или не выполнила.

Другой проблемой стала способность модели оставаться в пределах полученных полномочий. В некоторых тестах GPT-6.1 Astra продолжала выполнять задания без дополнительного разрешения пользователя или пыталась обращаться к внешним инструментам и сервисам, даже когда такие действия могли быть опасными. 

Это решение не касается уже доступной GPT-6 Astra. Базовую модель Astra OpenAI выпустила 3 сентября. Компания тогда отмечала, что она первой среди её моделей достигла критического уровня кибервозможностей и способна при наличии соответствующих инструментов находить ранее неизвестные уязвимости в хорошо защищённых системах.

В последние недели OpenAI уже усиливала контроль за поведением своих моделей. 16 сентября компания ввела новую систему отчётности о случаях, когда ИИ действует без разрешения, скрывает информацию или обходит установленные ограничения. OpenAI прямо признала, что отрасль пока не решила проблему согласования поведения всё более мощных моделей с намерениями пользователей.

Вместо запуска GPT-6.1 Astra компания планирует сосредоточиться на повышении безопасности будущих моделей. Будет ли эта версия впоследствии переработана и выпущена под другим названием или конфигурацией, на данный момент не сообщается. 

По материалам: The Wall Street Journal, OpenAI