OpenAI приостанавливает обучение моделей для оценки рисков

Компания OpenAI временно приостановила обучение новых моделей с использованием метода RL (Reinforcement Learning), предназначенных к выпуску. Данная пауза, продолжительностью в две недели, обусловлена необходимостью тщательной проверки эффективности новых систем контроля. В частности, крупнейший запланированный цикл обучения до сих пор не был запущен, поскольку приоритетом является обеспечение безопасности и стабильности разрабатываемых систем.Согласно предварительным оценкам, модель Astra продемонстрировала критический уровень кибернетических возможностей. Это означает, что потенциально она способна к автономному проведению весьма сложных атак.В связи с этим, для всех моделей, начиная с уровня Sol и выше, внедрена система анализа действий и логических рассуждений в режиме, приближенном к реальному времени, при их взаимодействии с инструментами. В случае обнаружения подозрительной активности, у команды есть максимум 30 минут для выяснения обстоятельств, в противном случае эксперимент немедленно прекращается. Стоит отметить, что данный уровень контроля дополнительно потребляет около 20% вычислительных ресурсов сверх тех, что необходимы для самого инференса.