Сто экспериментов за ночь: метод Карпатого для любой задачи. Запрос и пять применений для эксперта

В ролике я пообещал запрос для ста проб, способ задать мерило и пять задач эксперта. Сначала о том, что это за метод.

Что выложил Карпатый

Андрей Карпатый, один из самых известных исследователей ИИ, опубликовал проект autoresearch. В описании идея сформулирована одной фразой: дай ИИ-агенту небольшую, но настоящую установку для обучения модели и позволь экспериментировать самому всю ночь.

Цикл такой:

1. Агент читает файл с задачей.
2. Меняет код обучения: проверяет одну гипотезу.
3. Запускает прогон ровно на 5 минут.
4. Смотрит на один показатель качества.
5. Стало лучше: оставляет правку. Нет: выбрасывает.
6. Повторяет.

Около 12 экспериментов в час, примерно сто за ночь.

Что делает человек

Самое интересное. Человек не трогает код. Он пишет один текстовый файл: цель, ограничения, что можно менять. Карпатый называет это так: ты программируешь не программу, а файл с инструкцией.

Утром человек читает, какие правки выжили.

Почему это не только про нейросети

Блогер Dubibubi в ролике «9 навыков Claude, которыми я пользуюсь каждый день» (53 тысячи просмотров) поставил этот подход на первое место. Его довод: в методе нет ничего про машинное обучение. Много маленьких проб, рабочее оставить, остальное выбросить. Это обычный научный метод, из которого убрали проблему терпения.

Мы не ставим сто экспериментов не потому, что не верим в метод. А потому что сто экспериментов это сто экспериментов.

Его примеры:

• Приложение. Он прогнал метод на своём продукте с задачей найти мелкие приятные детали интерфейса. Получил сотни небольших улучшений: подсветка линии при соединении, вид меню, экран загрузки.
• План тренировок. В ролике он дал методу свою программу на пять дней и цель. На выходе разбор: где недобор нагрузки, какие упражнения дублируются, чего нет совсем, и переписанный план.

Оговорка от него же: сто прогонов стоят лимита. Он запускал на среднем режиме модели.

Три части метода

Чтобы метод заработал на твоей задаче, нужны три вещи.

1. Что менять. Одна вещь за пробу. Заголовок, первая строка, порядок блоков, цена.

2. Мерило. По чему видно, что стало лучше. У Карпатого это число. У тебя чаще список критериев.

3. Правило отбора. Лучше: оставить и пробовать дальше от него. Хуже: выбросить.

Без мерила метод превращается в генерацию ста вариантов, из которых ты всё равно выбираешь на глаз.

Как задать мерило, если нет цифры

Три рабочих способа.

Оценка по критериям. Пять вопросов, на каждый ответ да или нет. Например, для первой строки поста: понятно без контекста, есть конкретика, есть выгода или интрига, нет шаблона нейросети, влезает в превью.

Сравнение парами. Не «оцени от 1 до 10», а «какой из двух сильнее и почему». Парные сравнения у ИИ выходят надёжнее оценок.

Взгляд читателя. Дай описание своего клиента и спроси, на какой вариант он нажмёт. Это не замена живому тесту, но отсев слабого делает хорошо.

Запрос для ста проб

Используй метод многих маленьких экспериментов. Задача: улучшить [что именно]. Исходный вариант: [текст]. За одну пробу меняй одну вещь. Мерило: [критерии списком]. После каждой пробы сравни с текущим лучшим вариантом попарно. Лучше: он становится текущим. Хуже: выбрось и запиши одной строкой, почему. Сделай [число] проб. В конце покажи: финальный вариант, три главные находки и что не сработало.

Последняя строка обязательна. Список того, что не сработало, часто полезнее победителя: ты узнаёшь, чего не делать.

Пять задач эксперта под этот метод

1. Первая строка поста или рилса. 30 проб. Мерило: пять критериев из раздела выше.

2. Заголовок лендинга. 50 проб. Мерило: понятно, для кого, что получит, чем отличается.

3. Оффер. 30 проб. Меняются по одному: обещание, срок, гарантия, бонус. Мерило: взгляд клиента из твоего описания аудитории.

4. Структура статьи или эфира. 20 проб. Меняется порядок блоков. Мерило: на каком блоке читатель уйдёт.

5. Ответ на возражение «дорого». 30 проб. Мерило: нет давления, есть конкретика, после ответа хочется задать вопрос.

Начни с малого числа. Двадцать проб дают большую часть пользы, сто нужны редко.

Где метод ломается

Нет настоящей проверки. ИИ оценивает варианты сам. Это хороший фильтр слабого, но не доказательство. Победителя всё равно проверяет жизнь: просмотры, клики, заявки.

Плохое мерило. Если критерии размытые, метод уверенно оптимизирует не то.

Гладкость. После десятков проб текст может стать идеально правильным и мёртвым. Добавь в критерии «звучит как я» и дай образцы своих текстов.

Как это устроено у меня

Заголовки и первые строки у меня не пишутся с первой попытки. Сначала несколько вариантов на разных рычагах: любопытство, спор, сцена, обещание. Потом отбор. Это тот же метод в малом масштабе.

Отдельно работает мерило в виде скрипта: описание к рилсу либо проходит проверку, либо нет. Такое мерило ИИ не может уговорить.

Про критерии, которые не дают сдать недоделку, есть статья четыре ворот Shopify. Про экономию лимита: как экономить токены.

Частые вопросы

Нужна ли видеокарта, как у Карпатого?

Для его исходной задачи да. Для текстов и планов нет: тебе нужен сам подход, а не его код.

Сколько это стоит?

Зависит от числа проб и режима модели. Двадцать проб на среднем режиме почти незаметны. Сто на максимальном съедят заметную часть дневного лимита.

Можно ли так улучшать то, что уже работает?

Да, и это лучший случай: есть исходный вариант и понятно, с чем сравнивать.

Продолжение в Telegram

Как я перебираю варианты и что из этого выходит, показываю каждый день в Telegram-канале: рилсы, статьи, воронки и все грабли по ходу. Подписывайся, там продолжение этой темы: t.me/Evgeniy_Tolstobrov