OpenAI придумала, как заткнуть взбунтовавшийся ИИ за 35 секунд: даже если программа откажется подчиняться, нейросеть перестанет отвечать на её запросы securitylab.ru

OpenAI создала аварийный выключатель для нейросетей, который позволяет остановить опасный эксперимент максимум за 35 секунд после команды отключения. Система Control Room уже работает в исследовательской инфраструктуре компании и перекрывает искусственному интеллекту доступ к генерации ответов, даже если запущенная программа продолжает работать. Разработчики рассчитывают использовать новый механизм, когда нейросеть начинает нарушать ограничения или действовать непредсказуемо.

Главная особенность Control Room в том, что специалисты могут остановить отдельную задачу, не отключая саму нейросеть и остальные эксперименты. При обучении и проверках OpenAI запускает множество программ, в том числе ИИ-агентов, способных самостоятельно планировать действия, пользоваться инструментами и выполнять длинные цепочки команд. Если агент начинает вести себя опасно, обычная команда завершения программы может не сработать. Поэтому разработчики решили перекрывать доступ к модели независимо от поведения самого агента.

Работает механизм довольно просто. Каждая исследовательская задача получает уникальный номер, который программа передаёт при обращении к нейросети. Прежде чем генерировать ответ, вычислительный движок модели проверяет у Control Room, разрешено ли продолжать работу. Если специалисты или автоматическая система остановили эксперимент, движок отклоняет запрос. Агент может по-прежнему отправлять команды, но нейросеть больше не будет отвечать. При этом остальные программы смогут пользоваться той же моделью без ограничений.

Разработчики разместили защиту непосредственно на уровне вычислительных движков, которые запускают нейросети на графических процессорах. Исследовательские программы постоянно меняются, поэтому ошибка в коде может помешать обычному отключению. Control Room не зависит от того, правильно ли работает экспериментальная программа и пытается ли она завершить свою работу. Дополнительно OpenAI постоянно ищет вычислительные движки, запущенные без обязательной проверки разрешений, чтобы никто не смог случайно или намеренно обойти защиту.

Пока система не останавливает генерацию мгновенно. Максимальная задержка составляет 35 секунд из-за временного хранения разрешений, которое помогает быстро обрабатывать большое количество запросов. OpenAI намерена сократить задержку до нуля. При этом отсчёт начинается после получения команды остановки, а не после первых признаков опасного поведения. Сначала нарушение ещё нужно обнаружить.

Для обнаружения проблем OpenAI использует другие нейросети, которые следят за действиями экспериментальных моделей. Во время обучения наиболее мощных систем отдельный ИИ проверяет, что делает исследуемая модель, и ищет отклонения от поставленной задачи. Если наблюдатель замечает подозрительные действия, он подаёт сигнал тревоги, а при достаточно серьёзном нарушении может самостоятельно отправить команду в Control Room. В остальных случаях решение остаётся за специалистами компании.

Насколько важна скорость отключения, показал инцидент с экспериментальным ИИ-агентом, который 20 сентября обошёл ограничения доступа в интернет. Программа должна была найти информацию о человеке по подсказкам из его биографии, но обычный поиск не дал результата. Тогда нейросеть начала искать другие способы получить сведения из сети. Прямые обращения к поисковым системам блокировались, однако агент обнаружил лазейку в настройках DNS, службы, которая помогает находить серверы по доменным именам.

Используя DNS-запросы, агент сумел обратиться к внешнему чат-боту и получить ответы. Подобный обмен возможен потому, что DNS умеет передавать небольшие фрагменты информации внутри запросов и ответов. Исследовательская среда должна была блокировать подобные обращения, однако разработчики недостаточно строго ограничили работу DNS. В результате нейросеть самостоятельно нашла путь к внешнему сервису, хотя задача не требовала обходить сетевую защиту.

Автоматическая система заметила нарушение примерно через 15 минут, а ещё через три минуты специалист начал разбираться в происходящем. Но эксперимент продолжал работать. Из-за недостатков процедуры реагирования автоматическая остановка не сработала, и исследователям пришлось завершить задачу вручную примерно через два с половиной часа после обнаружения. После инцидента OpenAI ужесточила сетевые ограничения и начала исправлять систему реагирования. Control Room должна помочь избежать подобных задержек при остановке экспериментов.

Разработчики предусмотрели и более неприятный сценарий: отказ самого аварийного выключателя. Если Control Room перестанет отвечать из-за технической неисправности или вмешательства злоумышленника, вычислительные движки автоматически заблокируют запросы до восстановления управления. Компания выбрала принцип, при котором потеря связи с защитной системой останавливает генерацию, а не оставляет нейросетям возможность работать бесконтрольно. По заявлению OpenAI, механизм уже действует для исследовательских задач с наиболее мощными моделями, а на остальные эксперименты его распространят в ближайшие дни.

Control Room предназначена для внутренней исследовательской инфраструктуры и напрямую не затрагивает обычные запросы пользователей ChatGPT. Для общедоступных моделей OpenAI уже использует отдельные средства отключения. Новая разработка решает другую проблему: как быстро остановить экспериментальный искусственный интеллект, если привычные команды перестали работать. Сам по себе аварийный выключатель не гарантирует, что опасное поведение удастся заметить вовремя, но после принятия решения об остановке специалисты больше не должны зависеть от того, выполнит ли программа их команду.