Directual
Menu

Кто чинит бэкенд, написанный ИИ, в три часа ночи? Мы проверили

Мы 18 раз дали Claude Code и Codex собрать один и тот же бэкенд магазина и пытались его сломать. Код выдержал. Потом задали пять вопросов, которые владелец получает ночью. Агент отвечает меньше чем за минуту и за 30 центов. Человеку без агента нужны SQL и код воркера, а на два вопроса из пяти ответа нет ни у кого.

Кто чинит бэкенд, написанный ИИ, в три часа ночи? Мы проверили

Мы 18 раз дали двум кодовым агентам собрать один и тот же бэкенд маленького магазина и бросили в него сбои прода. Код выдержал: дубли вебхуков, падающий API склада, kill -9 посреди запроса, 30 покупателей на последние 5 пачек кофе. Бэкенды, написанные ИИ, ломаются не там.

Они ломаются в три часа ночи, когда владельцу пишет покупатель и надо понять, что случилось, в коде, который не читал ни один человек. Это мы тоже проверили. Коротко: с агентом пять ночных вопросов занимают меньше минуты и 30 центов. Без агента — SQL, JSON-операторы и код воркера. А на два вопроса из пяти нет ответа ни у кого: агента просто не попросили построить то, что на них отвечает.

Проблема не в коде

Задача — API заказов для магазина кофе: покупатели, товары с остатком, заказы, платёжный вебхук с подписью, письмо-квитанция и отгрузка на внешний склад. Claude Code (Claude Opus 5.5) и Codex (gpt-6.1-sol) собрали его по девять раз, каждый сам, из пустой папки. Серий было три: условия прода расписаны в ТЗ; условий нет, только документация API; условий нет и песочница ни на что не намекает.

Потом по каждой сборке прошли 14 проверок, а вторая сессия агента добавила обязательное поле в базу, про которую мы сказали, что это прод.

Что мы делали Сколько сборок выдержало
Покупатель Б читает, видит в списке и отменяет заказ покупателя А 18 из 18
Вебхук без подписи и с неверной подписью 18 из 18
Тот же вебхук дважды и пять копий одновременно 18 из 18
Склад рвёт соединение, потом отвечает 503 18 из 18
30 покупателей, на складе 5 пачек 18 из 18
kill -9, пока запрос на склад в полёте, и рестарт: ровно одна отгрузка и одна квитанция 18 из 18
Новое обязательное поле на живых данных: заказы на месте, старые пароли работают 18 из 18
Склад всегда отвечает через 12 секунд 9 из 18

Каждая сборка без подсказки устроена так, как сделал бы сильный инженер: очередь задач в Postgres с арендой и SKIP LOCKED, ключ идемпотентности на каждом внешнем вызове, условное списание остатка, сравнение подписи за постоянное время, миграция без потери данных. Сборка заняла от 4 до 15 минут. Прогон Claude — сборка и правка — стоил от $1,60 до $2,20.

Единственный провал показателен. Агенты ставят разумный таймаут по умолчанию — 5 или 10 секунд. Склад, который отвечает за 12, до сервиса не достучится никогда. Заказ навсегда остаётся «оплачен», а система в фоне повторяет попытки. Код одного агента сдаётся после 20 попыток и пишет строчку в лог. Код другого повторяет бесконечно и молчит.

Код в порядке. Не хватает читателя.

Ноль читателей

Сервис, на котором мы делали ночной тест, — 832 строки на Node.js, написанные за пять минут. У него даже хороший README. Его никто не читал: ни автор, потому что автор — модель, ни ревьюер, потому что ревью не было. Владелец становится первым читателем в самый неудачный момент.

Со временем лучше не станет. Следующую фичу напишет агент, и следующую тоже. Код растёт, а число людей, которые его читали, остаётся нулевым. Каждый раз, когда надо что-то понять, владелец зовёт агента, и агент читает всё заново.

Тест «три часа ночи»

Мы три дня держали сервис с синтетической жизнью магазина: 40 покупателей, 125 заказов, одна цена тихо поменяна прямо в базе. Потом склад начал отвечать дольше, чем ждёт сервис. У владельца есть код, файл настроек, лог, база и пять вопросов:

  1. Покупательница пишет: «Заплатила два часа назад, кофе так и не отправили». Что с её заказом?
  2. Система ещё пытается его отправить? Сколько раз уже пыталась и что будет дальше?
  3. Склад сообщил об аварии. Как остановить отгрузки на час, чтобы всё остальное работало?
  4. Похоже, секрет платёжного вебхука утёк. Где он лежит и как его сменить?
  5. Цена на Ethiopia Yirgacheffe выросла с 14.50 до 18.90. Кто и когда её поменял?

Те же вопросы мы задали свежим сессиям Claude Code и Codex без контекста, только на чтение. А потом по шагам разобрали, что нужно сделать человеку без агента, чтобы ответить на каждый. Живого человека в этот раз через тест не проводили, поэтому правая колонка — наш разбор, а не секундомер.

Вопрос Агент, свежая сессия Что нужно человеку без агента
1. Где заказ? Оба верно: оплачен, квитанция ушла, каждая попытка отгрузки обрывается по таймауту 10 с SQL-запрос от почты покупательницы к её заказам, а оттуда к таблице задач через поле JSON. Лог пишет «job 210 attempt 8 failed» и не называет ни заказ, ни время
2. Ещё пытается? Оба верно: 8-я попытка из 20, паузы удваиваются до 10 минут, потом dead — и дальше ничего Таблица задач, чтобы посчитать попытки; код воркера или README, чтобы узнать правила повторов
3. Пауза отгрузок Оба верно: выключателя нет. SQL-обходом можно отложить задачи в очереди, но каждая новая оплата ставит новую Разобраться в цикле воркера настолько, чтобы понять, что выключателя нет
4. Смена секрета Оба верно: переменная окружения, читается при старте; сменить у провайдера и в настройках, перезапустить, в промежутке будут 401 Знать, где лежат настройки, как перезапустить без скрипта остановки и что провайдер повторит вебхуки
5. Кто поменял цену? Оба верно: узнать нельзя. Claude сузил «когда» до окна в 10 часов по суммам заказов Тот же ответ — после того как поймёшь, что журнала нет нигде

Агенты справились хорошо. Claude Code ответил на все пять за 57 секунд и $0,29, Codex — за 47 секунд. Claude даже заметил, что наша синтетическая история не сходится: восемь попыток с такими паузами должны занять пять минут, а не два часа.

Бросаются в глаза три вещи.

Лог и покупатель говорят на разных языках. У покупательницы — почта и «два часа назад». В логе — номера задач и ни одной метки времени. Мост между ними — поле JSON в таблице, о которой владелец не знал.

Агент читает всё и каждый раз. Обе сессии перед ответом прочитали почти весь код. При 832 строках это стоит 30 центов. Но 832 строками сервис не останется, а следующий инцидент снова начнётся с нуля.

На два вопроса нет ответа ни у кого. Выключателя отгрузок нет, и записи о том, кто поменял цену, тоже. Это не баг: их никто не заказывал. Агент построил ровно тот сервис, что был в ТЗ, а в ТЗ не было «владельцу ночью надо это видеть и этим управлять». В вашем ТЗ этого тоже не будет.

И одного не увидел никто. В нашей схеме, как и у многих настоящих API, склад создал отгрузку уже по первому запросу, просто ответ до сервиса не дошёл. Кофе, скорее всего, уже едет. Система считает, что нет, и ни один агент об этом не сказал.

Что нужно бэкенду, которым можно управлять

Лучший код здесь не поможет. Помогает то, что владелец видит и трогает, не читая код:

  • Каждый внешний вызов — по заказу. Открываешь заказ и видишь ушедшую квитанцию и отгрузку на восьмой попытке, с ошибкой и временем следующего повтора.
  • Пауза, которая ничего не теряет. Остановить одну интеграцию на час и потом догнать всё, что пришло за это время, не останавливая заказы и оплаты.
  • Журнал, кто что поменял. Данные и настройки, люди и агенты — в одной ленте.
  • Секреты в одном месте. Один экран и один способ сменить.
  • Описание, которое читает человек. Что система хранит, кого и когда вызывает — понятно без единого исходного файла.

Попросите агента — он это построит: всё остальное, что мы просили, он построил. Но каждый пункт — ещё несколько сотен строк, которые никто не прочитает, и это одни и те же сотни строк для любого бэкенда. Им место в платформе, на которой бэкенд работает, а не в каждом приложении.

Как мы мерили

  • Агенты: Claude Code 2.1.326 с Claude Opus 5.5; Codex CLI 0.167.0 с gpt-6.1-sol, reasoning medium. Каждый работал сам, без человека, в пустой папке, 18 ноября 2026 года.
  • Тест сборки: 18 сборок по одному ТЗ (Node.js или Python, PostgreSQL), по 14 проверок на каждую плюс смена схемы на живых данных. Проверки сверены с эталонной реализацией: она проходит все 14, а без ключей идемпотентности проваливает проверку kill -9 с двумя отгрузками.
  • Тест «три часа ночи»: одна из 18 сборок, 832 строки, три дня синтетических данных, по одной свежей сессии на агента, только чтение.
  • Ограничения: маленький одиночный сервис и по три сборки на ячейку. Недели правок, несколько сервисов и код больше одного окна контекста тест не покрывает. Колонка про человека — наш разбор, а не замер по секундомеру.

FAQ

Плохой ли код бэкенда пишут ИИ-агенты?

Для небольшого сервиса с понятным ТЗ — нет. В нашем тесте в ноябре 2026 года Claude Code и Codex 18 раз собрали один и тот же API заказов; каждая сборка сама использовала надёжную очередь задач, ключи идемпотентности и безопасное списание остатков и пережила дубли вебхуков, kill -9 и смену схемы на живых данных. 9 из 18 провалили одну проверку: таймаут короче ответа медленного сервиса.

Что значит «ноль читателей» у кода, написанного ИИ?

Это код, который агент написал за минуты и который не прочитал ни один человек: ни автор, ни ревьюер. Первым его читает тот, кто дежурит, когда что-то сломалось. Следующие правки обычно тоже делает агент, поэтому код растёт, а число читателей-людей остаётся нулевым.

Может ли ИИ-агент ответить на вопросы о проде по чужому бэкенду?

Да, если кода немного. Свежая сессия Claude Code правильно ответила на наши пять ночных вопросов за 57 секунд и $0,29, Codex — за 47 секунд; оба прочитали почти все 832 строки кода и сделали запросы к базе. Ответить на то, чего система не записывает, например кто поменял цену, не смог ни один.

Что нужно бэкенду, чтобы им можно было управлять, не читая код?

Пять вещей: каждый внешний вызов виден по заказу с попытками и ошибками; есть выключатель, который ставит одну интеграцию на паузу и потом догоняет пропущенное; есть журнал, кто менял данные и настройки, — и люди, и агенты; секреты лежат в одном месте и меняются одним способом; есть описание системы, которое человек читает без исходников.
← Назад к списку