В биологических исследованиях уверенность нейросетей зачастую опережает реальное научное понимание. Это создаёт иллюзию прогресса, но на деле может приводить к системным ошибкам. Как избежать ловушек при применении ИИ в науке — разбор на примерах.

Успех AlphaFold: не только заслуга алгоритмов

Главный прорыв ИИ в биологии — AlphaFold. Однако его успех не сводится к мощным нейросетям. Модель опирается на Protein Data Bank (PDB), базу данных, собираемую с 1970-х годов.

Ключевую роль сыграл конкурс CASP, где десятилетиями эксперты проверяли точность предсказаний структур белков. Без строгих стандартов верификации даже самые производительные GPU не дали бы достоверных результатов.

Сегодня многие команды применяют ИИ в условиях, когда данных недостаточно или они низкокачественны. В медицине, например, электронные медкарты часто считаются золотой жилой. Но настоящие прорывы требуют новых биомаркеров и лабораторных исследований, которые остаются недофинансированными.

Ложная точность: пример из Nature Communications

В одной из публикаций Nature Communications нейросеть предсказывала функции ферментов на основе 22 миллионов последовательностей. На первый взгляд — идеальная модель: качественное обучение, валидация, тестирование.

Однако микробиолог Валери де Креси-Лагар обнаружила ошибки. Для ферментов, которые она изучала более 10 лет, модель выдала заведомо неверные результаты. Аудит выявил системные проблемы:

• Data Leakage: 135 якобы новых ферментов уже присутствовали в известных базах. Модель не предсказывала — она просто распознавала.
• Биологическая абсурдность: модели приписывали бактериям, например E. coli, способность синтезировать вещества, которые они физически производить не могут.
• Переобучение: 12 разным ферментам была ошибочно присвоена одна и та же узкая функция.

Показатели точности могут быть безупречными, но результат — биологически бессмысленный. Без глубокой экспертной проверки такие ошибки проходят через рецензирование и закрепляются как научные факты.

Каскады ошибок в данных

Систематические смещения в данных приводят к каскадным искажениям. Пример — приложение Zoe для отслеживания COVID-19. Оно не включало в чек-лист симптомы длительного ковида, такие как усталость и «туман в голове».

Люди с этими симптомами переставали отмечаться в приложении. Алгоритм интерпретировал это как выздоровление, искажая статистику.

Другая проблема — объединение биологических путей из разных источников в одну модель. В результате получается схема, невозможная в реальной клетке. Это интерполяция в пустоте: ИИ соединяет точки, не понимая причинно-следственных связей.

Что стоит учитывать разработчикам

При работе в сложных научных областях важно помнить:

• Понимание механизма важнее архитектуры. Инвестиции в научную основу эффективнее, чем погоня за SOTA-моделями. ИИ не создаст новую парадигму без участия экспертов.
• Чёткая спецификация данных. Необходимо фиксировать происхождение данных, их ограничения и границы применимости.

ИИ в науках — мощный, но вторичный инструмент. Без качественной лабораторной базы и вовлечения профильных учёных на всех этапах мы рискуем построить целую индустрию на фундаменте из статистических ошибок.

Почему в биологических проектах уверенность нейронок часто опережает реальное научное понимание, и какие выводы из этого стоит сделать разработчикам.

Главный триумф AI в биологии - AlphaFold. Проект не возник из ниоткуда, он опирается на Protein Data BankPDBбазу данных, которую начали собирать еще в 1970-х. Успех модели обеспечили не только алгоритмы, но и десятилетия работы конкурса CASP, где эксперты верифицировали предсказания структур белков. Без жестких стандартов качества никакое GPU не дало бы результата. Многие команды пытаются применять ИИ там, где данных либо недостаточно, либо они не подходят. В медицине принято считать электронные медкарты золотой жилой, но для прорывов нужны новые биомаркеры и лабораторные исследования, которые сейчас недофинансированы.

Почему высокие показатели точности нейросетей в биологии бывают ложными?

Показательный пример — публикация вNature Communications, где нейросеть предсказывала функции ферментов на основе 22 млн последовательностей. Все было идеально : обучение, валидация, тесты.

Ошибки обнаружились, когда статью прочитала микробиолог Валери де Креси-Лагар. Она обнаружила, что для ферментов, которые она изучала 10 лет, модель выдала заведомо ложный результат. При детальном аудите вскрылись следующие системные ошибки:

• Data Leakage:135 якобы новых ферментов уже были в известных базах. Модель просто узнала их, а не предсказала.
• Биологическая абсурдность:модели приписывали синтез веществ бактериям например, E. coli, которые физически не способны на это.
• Переобучение:12 разным ферментам была присвоена одна и та же узкая функция.

Показатели нейросети могут быть идеальными, но по факту это будет являться биологически мусором. И ведь без глубокой экспертизы такие ошибки проходят через рецензирование, превращаясь в научный факт.

Каскады ошибок

Если в данных есть систематическое смещение, увеличение выборки только усугубит ошибку, например, приложение Zoe для отслеживания COVID-19. Оно не учитывало симптомы длительного ковида, такие как, туман в голове и усталость, потому что их не было в чек-листе. В итоге статистика по выздоровлению была ложной. Люди просто переставали пользоваться приложением, а алгоритм считал их здоровыми.

Разработчики часто объединяют биологические пути из разных статей в одну модель. В итоге получается схема, которая никогда не могла бы существовать в одной живой клетке. Это интерполяция в пустоте, ИИ соединяет точки, не понимая причинно-следственных связей.

Что это дает разработчику

Если вы работаете над проектом в любой сложной области, стоит учитывать следующие моменты:

• Инвестиции в понимание механизмов важнее, чем погоня за SOTA-архитектурой. Нейросеть не создаст новую парадигму сам по себе.
• Подробная спецификация данных: Нужно четко фиксировать, откуда взяты данные, какие у них ограничения и где их нельзя применять.

ИИ в науках о мощный инструмент, но вторичный, без качественной лабораторной базы и участия профильных ученых на каждом этапе мы рискуем построить индустрию на фундаменте из статистических ошибок.