AI-Driven подход «Harness Engineering»: наступившее будущее или лишь метод с ограничениями?

AI-Driven подход «Harness Engineering»: наступившее будущее или лишь метод с ограничениями?

В статье обсуждается подход «Harness Engineering», при котором человек формулирует задачу, задаёт ограничения, пишет тест кейсы, ревьюит результат и проводит финальные проверки, а все изменения в коде делает агент.

Эксперимент

Автор статьи провёл эксперимент, в котором проверил, как работает этот подход на реальной задаче. Роль агента заключалась в создании и изменении кода, переносе и адаптации существующих частей, написании тестов и сборке вспомогательной инфраструктуры.

Результаты

Эксперимент показал, что агент хорошо отработал на объёмной инженерной рутине, но не поразил архитектурными открытиями. Лучше всего сработали такие куски работы, как перенос и адаптация уже существующего кода, генерация boilerplate и связующего кода, построение тестовой инфраструктуры.

Ограничения

Однако были выявлены ограничения этого подхода. Агент не принимает архитектурные решения, зелёные тесты не гарантируют, что агент понял систему, и существует риск согласованной ошибки, когда код, мок и тест согласованы друг с другом, но не совпадают с реальным контрактом.

Выводы

Подход «Harness Engineering» лучше всего работает на типовых инженерных задачах, где есть рабочие примеры, понятные интерфейсы и много механической работы. На сложных и слабо определённых задачах человек всё ещё необходим.

Читать оригинал