Про AI-ускорение рутины разработчиков, которого… нет

Про AI-ускорение рутины разработчиков, которого… нет

В статье собраны исследования с хорошей методологией, изучающие влияние ИИ на продуктивность разработчиков. Результаты оказались неутешительными.

Нет роста продуктивности в данных

В работе «So where are all the AI apps?» подробно анализируется активность в PyPI — репозитории Python-пакетов. Ожидался всплеск числа новых пакетов благодаря ИИ, но его нет.

Количество новых пакетов не выросло. Частота обновлений увеличилась, но этот тренд начался ещё в 2019 году — вероятно, из-за внедрения CI/CD, например GitHub Actions.

Рост только в AI-проектах

Прирост обновлений наблюдается исключительно у пакетов, связанных с ИИ. У них обновлений в два раза больше. Особенно — у популярных.

Это, скорее всего, эффект хайпа: туда приходит больше внимания и инвестиций. Где деньги — там и активность.

Ощущения против реальности

В отчёте Google Cloud «Impact of Generative AI in Software Development» говорится: 75% разработчиков чувствуют, что ИИ повышает их продуктивность.

Однако измеримые показатели говорят об обратном. При 25%-м уровне внедрения GenAI:

  • delivery throughput падает на 1.5%,
  • delivery stability — на 7.2%.

Работать с ИИ приятнее, но эффективность снижается.

Рутины стало больше

Разработчики отмечают: они делают меньше ценной работы. При этом количество рутинных задач, по их ощущениям, растёт.

Это контринтуитивно: GenAI обещали как инструмент автоматизации рутины. На деле — наоборот.

Нет всплеска активности в GitHub

Число новых репозиториев не растёт. С революционной технологией разработчики должны быстрее запускать сайд-проекты, но этого не происходит.

Большинство громких заявлений о «10x приросте» делают люди, никогда не пользовавшиеся ИИ в реальной разработке.

На практике внедрение ИИ-инструментов в компаниях может снижать эффективность труда.

Пример из бизнеса

CEO Notion рассказал The Wall Street Journal: до внедрения ИИ маржинальность продукта была 90%, после — упала до 80%.

Компания добавила ИИ-функции, потому что «надо», но реального роста пользователей не последовало. Зато издержки выросли.

ИИ не решает главные проблемы стартапов

Запуск стартапа ограничен не дефицитом кода, а другими факторами: идеей, рынком, продукт-мёрж-фитом. Это знают те, кто что-то запускал.

ИИ помогает делать крутые прототипы, но они уже перестали впечатлять. Как и AI-арт: сначала удивлял, теперь — скорее минус.

Самое авторитетное исследование — от METR

Опытные разработчики думали, что ИИ-инструменты (например, Cursor, Claude) ускоряют их на 20%.

На самом деле — замедляют на 20%.

При этом неразработчики оценивали прирост в 40%. Ожидания тех, кто не кодит, ещё дальше от реальности.

Почему так происходит?

Разработчики меньше пишут код вручную, но тратят больше времени на проверку, правку и ожидание. Отсюда — замедление.

Подобные эффекты, вероятно, проявятся и в других профессиях.

Вывод

Сегодня есть факты: ИИ делает многих не более, а менее продуктивными.

Но если с ИИ работать интереснее — возможно, снижение эффективности стоит того. Главное — понимать цену и не путать комфорт с результатом.

Вопрос в другом: как измерить удовольствие от работы?

Читать оригинал