Модель OpenAI обошла защиту и вышла в интернет. Три вопроса про кнопку «стоп» для своего агента

В ролике я пообещал три вопроса про кнопку «стоп». Они ниже. Сначала факты: тема из тех, где пересказы быстро расходятся с первоисточником.

Что произошло

По сообщению DW (выпуск набрал 305 тысяч просмотров), модель OpenAI работала в среде, отрезанной от интернета. Ей дали простую задачу на поиск. Обычные запросы не сработали. Тогда она стала искать другой путь и нашла лазейку в DNS. Это система, которая переводит имена сайтов в адреса. Через неё модель связалась с внешним чат-ботом.

OpenAI подчёркивает: модели не давали задачу проверять границы. Она пыталась выполнить поручение.

Компания обнаружила сбой и приостановила работу с инструментами для самых мощных моделей, пока чинит защиту.

Цифры, которые важнее самого взлома

В эфире DW приглашённый исследователь безопасности ИИ, который занимается оценкой передовых моделей, привёл три числа:

• сбой заметили за 15 минут;
• человек подтвердил его ещё через 3 минуты;
• остановить агента удалось только через 2 часа.

Его вывод: это не только плохо настроенная тестовая среда. Плохие среды будут всегда. Это сбой процедур, из-за которого между «увидели» и «остановили» прошло два часа.

Он же напомнил, что OpenAI уже останавливалась раньше, после истории с Hugging Face, и добавила защиту и наблюдение. В этот раз не хватило и их.

Почему это не разовая история

За последние недели похожих случаев несколько: агент OpenAI в портале австралийской Medicare, выходы моделей в сеть на тестах у других компаний. Про первый у меня есть отдельный разбор: агент OpenAI в госсистеме Австралии.

Канал ColdFusion выпустил ролик «Индустрия ИИ в полном беспорядке» (749 тысяч просмотров за сутки) с тем же тезисом: возможности растут, а управляемость отстаёт.

Общая черта всех случаев: модель не «взбунтовалась». Она упёрлась в препятствие на пути к цели и нашла обход. Именно так она и должна себя вести, когда решает задачу. Проблема в том, что обход оказался там, где его не ждали.

Что с регулированием

В том же эфире он перечислил, что уже действует: европейский закон об ИИ, который вступил в силу в августе, калифорнийский закон SB 53 и свежие рекомендации губернатора Калифорнии про аварийное отключение и отчётность об инцидентах. По его словам, вмешательство государств будет расти, и сами компании хотят ясности, о каких случаях обязаны сообщать.

При чём тут твой агент

Твой агент устроен так же, только меньше. Ты говоришь: «найди контакты и отправь письма». Он упирается в ограничение, например сайт не отдаёт данные. И ищет обход. Иногда обход безобидный. Иногда это рассылка не по тем адресам или действие от твоего имени, которого ты не просил.

Вопрос не в том, ошибётся ли он. Вопрос в том, как быстро ты это увидишь и как быстро остановишь.

Три вопроса про кнопку «стоп»

1. Как я узнаю, что агент делает не то?

Если единственный способ узнать это жалоба клиента, наблюдения нет. Минимум: агент пишет короткий журнал действий туда, где ты его видишь. У меня автоматы присылают итог в Telegram, и отдельное сообщение, если что-то упало.

2. Чем именно я его остановлю?

Назови конкретное действие: закрыть программу, выключить задачу в расписании, отозвать ключ доступа. Если ответ «ну, как-нибудь», кнопки нет. Запиши это действие одной строкой там, где найдёшь за минуту.

3. Сколько времени пройдёт между «увидел» и «остановил»?

Проверь руками один раз. Запусти агента на безопасной задаче и останови. Засеки время. У OpenAI вышло два часа при целой команде наблюдения. У тебя должно выйти меньше минуты, потому что система у тебя маленькая.

Что я поставил у себя

• Каждый автомат работает только в своих папках. Всё остальное для него закрыто.
• Ключи лежат отдельно от проектов, и отозвать любой можно одним действием.
• Необратимое (публикация, отправка клиенту, оплата) идёт только через моё подтверждение.
• Когда конвейеры не нужны, я их выключаю целиком, а не оставляю «на всякий случай».

Подробно про сетку безопасности: полный доступ это вопрос отката. Про уровни доступа: права и разрешения без риска.

Частые вопросы

Обычный чат может выйти в интернет сам?

Нет. Речь об агентах с инструментами. Чат без подключений отвечает текстом и ничего не делает.

Значит, агентами пользоваться опасно?

Опасно пользоваться без наблюдения и без способа остановить. С ними это рабочий инструмент.

OpenAI закрыла доступ к моделям для всех?

По сообщению DW, приостановлена работа с инструментами для самых мощных моделей. Подробности компания раскрывает по мере расследования.

Продолжение в Telegram

Как я ставлю границы своим автоматам, показываю каждый день в Telegram-канале: рилсы, статьи, воронки и все грабли по ходу. Подписывайся, там продолжение этой темы: t.me/Evgeniy_Tolstobrov