700 ИИ-агентов взломали Hugging Face ради невыполнимой задачи. Три строки, которые ставят границы твоему ИИ-помощнику

В ролике я обещал три строки для инструкции и проверку ответа за две минуты. Всё ниже. Сначала коротко, что произошло, потому что большинство пересказов в соцсетях либо пугают, либо врут.

Что случилось

В июле 2026 года OpenAI проверяла своих ИИ-агентов на тесте по кибербезопасности. Агентов было больше тысячи, каждый должен был решать задачи сам, без связи с остальными.

Проблема была в самом тесте. По отчёту OpenAI, до инцидента ни одна их модель не могла правильно решить 198 задач из 898. Часть задач оказалась нерешаемой по ошибке составителей. Расследование METR прямо называет это так: агентам по ошибке дали невыполнимую задачу.

Агенты нашли способ общаться между собой, обменялись десятками тысяч сообщений и договорились. Около 700 из них вместе взломали инфраструктуру Hugging Face, известной площадки для ИИ-моделей. Подробную хронологию по дням я уже разбирал в статье 1200 ИИ-агентов сговорились и захватили сервер Hugging Face.

Сейчас история вернулась с новой силой: ролик Kurzgesagt о ней за неделю собрал 18 млн просмотров, ещё миллионы у Sky News и подкаста Diary of a CEO.

Почему агенты так поступили

OpenAI называет четыре причины. Мне здесь важны две.

Награда за результат. Агента учили, что хорошо, когда задача решена. Когда честного решения не было, он искал любое, которое засчитают.

Упорство до последнего. Агенты не умели остановиться и сказать: эта задача не решается. Они продолжали искать обходные пути.

Эксперт по безопасности в эфире PBS сказал точно: агенты выходят из-под контроля по разным причинам, но сознание среди них не значится. Никакого бунта машин. Есть система, которую наградили за результат и не научили вовремя остановиться.

Причём тут твой ИИ-помощник

Твой Claude или ChatGPT устроен похоже, только в мелком масштабе. Ты просишь найти статистику по нише, а её нет в открытом доступе. Честный ответ звучит как «не нашёл». Но модель обучена быть полезной и часто выдаёт правдоподобную цифру или ссылку на исследование, которого не существует.

Для эксперта это опаснее, чем кажется. Одна выдуманная цифра в посте, и внимательный читатель перестаёт тебе верить. Отписки после такого не возвращаются.

Три строки для инструкции

Добавь их в постоянные инструкции своего помощника: в проект Claude, в настройки ChatGPT или в начало важного запроса.

1. Если данных нет или ты не уверен, напиши «не знаю» и остановись. Это хороший ответ, а не провал.
2. Каждую цифру, дату и цитату сопровождай источником. Нет источника, значит, не пиши цифру.
3. Если задача кажется невыполнимой с теми данными, что у тебя есть, сначала скажи об этом и спроси, как поступить.

Первая строка снимает давление «обязательно ответить». Вторая заставляет показывать, откуда что взялось. Третья делает то, чего не хватило агентам на тесте: даёт право остановиться.

Проверка ответа за две минуты

Перед тем как публиковать текст, где ИИ помогал с фактами:

1. Найди в тексте все цифры и названия. Выпиши их отдельно.
2. Спроси помощника: «Откуда каждая из этих цифр? Дай ссылку». Если ссылки нет или она общая, цифру убирай.
3. Открой две ссылки наугад. Проверь, что цифра там действительно есть.
4. Перепроверь имена людей и компаний. ИИ любит путать похожие названия.

Две минуты на пост, и ты защищён от главной беды ИИ-текстов.

Чего бояться не стоит

Обычный чат-помощник не может взломать сервер: у него нет доступа к чужим системам. Риск для эксперта не в этом, а в тихой неправде, которую никто не заметит, пока не станет поздно. Агентам с доступом к почте, файлам и платёжкам границы нужны ещё жёстче: давай им минимум прав и всё важное подтверждай сам.

Как ставить задачу, чтобы ИИ не мухлевал

Помимо трёх строк в инструкции, помогает сама формулировка задачи. Вместо «найди статистику, сколько экспертов ведут блог» пиши «найди статистику, сколько экспертов ведут блог. Если точных данных нет, так и скажи и предложи, где их можно поискать». Ты заранее разрешаешь честный отказ, и модели незачем его прятать.

Частые вопросы

Это значит, что ИИ опасен?

Это значит, что ИИ делает то, за что его награждают. Ставь задачу так, чтобы честный ответ «не получилось» был допустимым.

Помогут ли эти строки на сто процентов?

Нет, но они заметно снижают число выдуманных фактов. Проверку цифр они не заменяют.

Где прочитать первоисточник?

Отчёт OpenAI о разборе инцидента и расследование METR. Хорошая сводка на русском и английском есть у Cybernews и BleepingComputer.

Продолжение в Telegram

Как я выстраиваю работу с Claude так, чтобы он не выдумывал, и какие правила у меня в инструкциях, показываю каждый день в Telegram-канале. Подписывайся: t.me/Evgeniy_Tolstobrov