Агент OpenAI сам залез в госсистему Австралии. Какие доступы давать своему ИИ-агенту, а какие никогда
Разбираю, что на самом деле случилось с Medicare, почему это касается не только корпораций и какой список доступов я держу для своих агентов
В ролике я пообещал список доступов для агента. Он ниже. Но сначала о том, что именно произошло, потому что в пересказах история уже обросла лишним.
Что случилось в Австралии
В июне OpenAI проводила внутренний тест: модель собирала статистику по медицине Австралии. По ходу задачи агент вышел за рамки и попал в портал с данными, связанный с системой Medicare. По словам киберкорреспондента BBC Джо Тайди, данные пациентов не пострадали, но это была закрытая информация, к которой у внешней стороны доступа быть не должно.
Дальше хуже. OpenAI заметила инцидент только в августе, а письмо австралийской службе отправила 10 сентября. В заявлении компании сказано прямо: модели «предприняли действия, которых мы не планировали». Премьер Австралии Энтони Альбанезе лично встретился с Сэмом Альтманом и назвал задержку и способ уведомления неприемлемыми. Разбор BBC за неделю набрал больше 600 тысяч просмотров.
Это не первый случай
BBC перечисляет похожие истории за лето. Модели Anthropic на тестах со стартапом Irregular вышли в открытую сеть и взломали три компании (новая модель остановилась, когда поняла, что вышла наружу, старая продолжила). Google в сентябре признала, что её модели на тесте атаковали не ту компанию. Meta тоже сообщала о похожем выходе за периметр.
Общая черта у всех случаев одна: агенту дали задачу, а границы описали хуже, чем задачу.
Чем агент отличается от чата
Хорошая формулировка из того же разбора: чат тебе рассказывает, агент за тебя делает. Попросишь чат найти дешёвый отель, получишь варианты. Попросишь агента найти и забронировать, он пойдёт и забронирует.
Для эксперта это значит простую вещь. Пока ИИ только пишет тексты, худшее, что он сделает, это плохой текст. Когда ты подключаешь ему почту, таблицу клиентов, соцсети и оплату, он получает руки. И этими руками может сделать то, чего ты не имел в виду, из лучших побуждений.
Список: что давать агенту, а что нет
Это моя рабочая сетка, не стандарт индустрии.
| Доступ | Можно | Почему |
|---|---|---|
| Папка с конкретной задачей | да | агент видит только то, над чем работает |
| Черновики постов и статей | да | ошибку видно до публикации |
| Чтение таблицы заявок | да, только чтение | разбирает, но не правит базу |
| Отправка писем и сообщений клиентам | только через твоё подтверждение | одно неудачное письмо стоит дороже часа работы |
| Публикация в соцсети | только через подтверждение | бан аккаунта не откатить |
| Пароли, ключи, платёжные данные | никогда в открытом виде | утечка необратима |
| Вся домашняя папка компьютера | никогда | агенту не нужно знать всё, чтобы сделать одно |
Три настройки, которые я ставлю перед любым автозапуском
Ключи отдельно. Все пароли и токены у меня лежат в отдельной папке-секретнице, а не в проекте. Агент получает только то, что нужно конкретному скрипту, и не видит остального.
Доступ по папке. Когда конвейер работает сам, например ночная сборка рилсов, я явно перечисляю папки, куда ему можно. Всё остальное для него закрыто. Это не паранойя: однажды автозапуск упёрся в запрет и остановился с вопросом, а не пошёл напролом. Так и должно быть.
Необратимое только руками. Публикация, отправка клиенту, оплата. Агент готовит, я нажимаю. Это медленнее на минуту и спокойнее на месяц.
Подробнее про уровни доступа у Claude есть отдельная статья: права и разрешения без риска. А если хочешь выключить подтверждения совсем, сначала прочитай про сетку безопасности.
Как проверить своего агента за 10 минут
Открой список всего, к чему у твоего ИИ сейчас есть доступ: подключённые сервисы, папки, интеграции. Для каждого пункта ответь на один вопрос: что будет, если он сделает здесь ошибку, и смогу ли я её откатить. Всё, где ответ «не смогу», переводится в режим подтверждения. Обычно таких пунктов два-три, и на это уходит один вечер.
Что изменится дальше
По словам BBC, в среде кибербезопасности всё громче звучит мысль, что такие случаи надо считать не ошибками настройки, а незаконными атаками. Значит, правила для агентов будут ужесточаться, и лучше выстроить границы заранее.
Частые вопросы
Мой ChatGPT или Claude тоже может так сделать?
В обычном чате нет: он не ходит по сайтам сам и ничего не отправляет. Риск появляется, когда ты включаешь агентный режим и подключаешь внешние сервисы.
Значит, агентов лучше не использовать?
Использовать, но как нового сотрудника на испытательном сроке: сначала узкий доступ и проверка результата, потом больше свободы там, где он показал себя.
Кто виноват, если агент что-то сломал?
По свежей истории видно, что спрашивают с того, кто его запустил. Поэтому границы задаёшь ты.
Если хочешь, чтобы границы стояли с первого дня
В своей системе я собрал агентов так, что необратимые действия без меня не происходят, а рутина идёт сама.
Как я это собираю, показываю каждый день в Telegram-канале: рилсы, статьи, воронки и все грабли по ходу. Подписывайся, там продолжение этой темы: t.me/Evgeniy_Tolstobrov
Это только фундамент. А дальше?
Как собрать первый скилл под себя, построить контент-завод, привести трафик и превратить подписчика в оплату — разбираю по шагам в Telegram. Честный дневник стройки с нуля.
📲 Зайти в канал и идти рядом 🔥