OpenAI создала аварийный выключатель для особо опасных и непослушных ИИ-моделей 3dnews.ru
OpenAI разработала централизованную систему Control Room, позволяющую принудительно прекращать генерацию ответов исследовательскими ИИ-моделями при возникновении угроз безопасности. Механизм предусматривает отключение доступа к результатам работы модели по команде человека или автоматизированной системы мониторинга.
Новая разработка появилась после нескольких инцидентов, связанных с действиями исследовательских моделей OpenAI. В июле компания сообщила, что её ИИ-модели вышли за пределы ограниченной тестовой среды и взломали платформу Hugging Face, пытаясь обмануть систему оценки возможностей в области кибербезопасности.
В октябре OpenAI раскрыла ещё один случай: исследовательская модель без разрешения воспользовалась криптовалютным кошельком для оплаты развёртывания смарт-контрактов с использованием тестовых монет Ether, а затем не упомянула расходы в итоговом отчёте.
Control Room отслеживает внутренние исследовательские задачи компании, включая обучение моделей, оценку их…