На протяжении десятилетий искусственный интеллект (artificial intelligence, AI) оценивали по одному критерию: превосходит ли он человека. От шахмат до математики, от программирования до написания эссе — способности ИИ тестируют в соревновании с людьми, выполняющими отдельные задачи.

Такой подход заманчив: сравнение ИИ и человека по чётким, однозначным задачам легко стандартизировать, сопоставлять и оптимизировать. Оно порождает рейтинги и громкие заголовки.

Но есть проблема: ИИ почти никогда не используется так, как его тестируют. Хотя исследователи и компании начали переходить от статичных тестов к более динамичным методам оценки, эти новшества решают лишь часть проблемы. Дело в том, что ИИ по-прежнему оценивают вне реальных команд и рабочих процессов, где его эффективность проявляется на самом деле.

ИИ тестируют в вакууме, а применяют в сложных, неоднозначных условиях, где он взаимодействует с несколькими людьми. Его реальная производительность (или её отсутствие) проявляется только со временем. Из-за этого мы неверно оцениваем возможности ИИ, упускаем системные риски и искажаем представление о его экономических и социальных последствиях.

Чтобы исправить ситуацию, пора отказаться от узких тестов и перейти к оценке ИИ в реальных условиях — в командах, процессах и организациях, и на более длительных временных отрезках. С 2022 года я изучаю внедрение ИИ в малом бизнесе и организациях сферы здравоохранения, гуманитарной помощи, некоммерческих и образовательных учреждениях в Великобритании, США и Азии, а также в ведущих экосистемах разработки ИИ в Лондоне и Кремниевой долине. Я предлагаю новый подход, который называю ХАЙК-тестами — оценкой ИИ в контексте человеческой деятельности (Human–AI, Context-Specific Evaluation).

Что происходит, когда ИИ подводит

Для правительств и компаний оценки ИИ выглядят объективнее, чем заявления вендоров. Они помогают решить, достаточно ли хороша модель для реального применения. Представьте, что ИИ показывает впечатляющие результаты в самых передовых тестах — 98% точности, рекордная скорость, убедительные ответы. На этом основании организация решает внедрить систему, вкладывая значительные деньги и ресурсы.

Но затем выясняется, что реальная эффективность сильно отстаёт от заявленной. Например, множество одобренных FDA моделей ИИ способны анализировать медицинские снимки быстрее и точнее, чем радиолог-эксперт. Однако в отделениях рентгенологии больниц — от Калифорнии до окраин Лондона — я видел, как персоналу приходится тратить дополнительное время, чтобы сопоставить выводы ИИ с местными стандартами отчётности и национальными нормами. То, что в тестах выглядело как инструмент для повышения продуктивности, на практике замедляло работу.

Стало ясно: тесты не отражают, как принимаются реальные медицинские решения. Больницы полагаются на мультидисциплинарные команды — радиологов, онкологов, физиков, медсестёр, — которые совместно обсуждают случаи. План лечения редко зависит от одного решения: он меняется по мере поступления новой информации. Решения рождаются в диалоге, где учитываются профессиональные нормы, пожелания пациента и общая цель — долгосрочное выздоровление. Неудивительно, что даже самые точные модели ИИ терпят неудачу, сталкиваясь с реальными, сложными процессами клинической работы.

Та же картина — в других отраслях. Как только ИИ попадает в реальную рабочую среду, его эффективность падает, несмотря на блестящие результаты в стандартизированных тестах.

Когда высокие оценки не подтверждаются на практике, ИИ быстро отправляют в так называемое «кладбище ИИ». Потери огромны: тратятся время, деньги и усилия. А повторяющиеся неудачи подрывают доверие организаций к ИИ — а в критических сферах, таких как здравоохранение, — и общественное доверие к технологии в целом.

Когда тесты дают неполную и вводящую в заблуждение картину, у регуляторов возникают слепые зоны. Контроль строится на метриках, не отражающих реальность. А риски испытаний ИИ в чувствительных условиях ложатся на плечи организаций и правительств, у которых часто нет достаточных ресурсов и поддержки.

Как создавать лучшие тесты

Чтобы сократить разрыв между тестами и реальной эффективностью, нужно оценивать ИИ в тех условиях, где он будет работать. Главные вопросы: может ли ИИ быть полезным участником команды? И приносит ли он устойчивую, коллективную пользу?

В ходе своих исследований я видела, как несколько организаций уже экспериментально переходят к тем самым ХАЙК-тестам, которые я предлагаю.

ХАЙК-тесты меняют подход к оценке ИИ в четырёх аспектах:

• Единица анализа — от индивидуальной эффективности к эффективности команды и рабочего процесса
• Временной горизонт — от разовых тестов к оценке долгосрочного влияния
• Критерии успеха — от точности и скорости к результатам для организации, качеству координации и способности выявлять ошибки
• Системные эффекты — от отдельных результатов к последствиям на всех этапах процесса

Первый шаг — изменение единицы анализа. Например, в одной британской больнице в 2021–2024 годах вопрос сместился с «повышает ли ИИ точность диагностики» на «как его присутствие влияет на работу мультидисциплинарной команды». Оценивались не только точность, но и координация, обсуждения, коллективные решения. Участники — как внутри, так и за пределами больницы — определяли метрики: влияет ли ИИ на совместное мышление, помогает ли замечать упущенные аспекты, укрепляет или ослабляет координацию, меняет ли подходы к рискам и соблюдению норм.

Этот сдвиг принципиален. Он особенно важен в критических сферах, где системные эффекты важнее точности отдельной задачи. Он также важен для экономики: помогает пересмотреть завышенные ожидания резкого роста производительности, основанные на улучшении выполнения отдельных операций.

После этого ХАЙК-тесты могут учитывать временной фактор.

Современные тесты похожи на школьные экзамены — разовые, стандартизированные проверки точности. Но профессиональную компетентность оценивают иначе. Молодых врачей и юристов проверяют непрерывно, в реальных процессах, под контролем, с обратной связью. Оценка идёт во времени и в контексте, потому что компетентность — это отношение. Если ИИ должен работать рядом с профессионалами, его влияние нужно оценивать на длинной дистанции, по результатам многократного взаимодействия.

Я видела такой подход в одной из гуманитарных организаций. В течение 18 месяцев ИИ оценивали в реальных процессах, уделяя особое внимание обнаружимости ошибок — насколько легко команда замечает и исправляет их. Такой «длинный» учёт ошибок позволил создать контекстные защитные механизмы и укрепить доверие к системе, несмотря на неизбежные сбои ИИ.

Долгосрочная оценка также выявляет системные последствия, которые упускают краткосрочные тесты. ИИ может превосходить одного врача в узкой диагностике, но не улучшать коллективное принятие решений. Хуже того — он может вводить искажения: привязывать команду к правдоподобным, но неполным ответам, увеличивать когнитивную нагрузку или создавать дополнительные неэффективности, сводя на нет выигрыш во времени. Эти побочные эффекты, невидимые при обычных тестах, ключевые для понимания реального влияния ИИ.

Да, ХАЙК-подход делает тестирование сложнее, затратнее и труднее стандартизировать. Но продолжать оценивать ИИ в идеальных условиях, далёких от реальной работы, — значит не понимать, на что он действительно способен. Чтобы внедрять ИИ ответственно, нужно измерять то, что важно: не только что может модель в одиночку, но и что она даёт — или разрушает — в руках реальных людей и команд.

For decades, artificial intelligence has been evaluated through the question of whether machines outperform humans. From chess to advanced math, from coding to essay writing, the performance of AI models and applications is tested against that of individual humans completing tasks. 

This framing is seductive: An AI vs. human comparison on isolated problems with clear right or wrong answers is easy to standardize, compare, and optimize. It generates rankings and headlines. 

But there’s a problem: AI is almost never used in the way it is benchmarked. Although   researchers and industry have started to improve benchmarking by moving beyond static tests to more dynamic evaluation methods, these  innovations resolve only part of the issue. That’s because they still evaluate AI’s performance outside the human teams and organizational workflows where its real-world performance ultimately unfolds. 

While AI is evaluated at the task level in a vacuum, it is used in messy, complex environments where it usually interacts with more than one person. Its performance (or lack thereof) emerges only over extended periods of use. This misalignment leaves us misunderstanding AI’s capabilities, overlooking systemic risks, and misjudging its economic and social consequences.

To mitigate this, it’s time to shift from narrow methods to benchmarks that assess how AI systems perform over longer time horizons within human teams, workflows, and organizations. I have studied real-world AI deployment since 2022 in small businesses and health, humanitarian, nonprofit, and higher-education organizations in the UK, the United States, and Asia, as well as within leading AI design ecosystems in London and Silicon Valley. I propose a different approach, which I call HAIC benchmarks—Human–AI, Context-Specific Evaluation.

What happens when AI fails 

For governments and businesses, AI benchmark scores appear more objective than vendor claims. They’re a critical part of determining whether an AI model or application is “good enough” for real-world deployment. Imagine an AI model that achieves impressive technical scores on the most cutting-edge benchmarks—98% accuracy, groundbreaking speed, compelling outputs. On the strength of these results, organizations may decide to adopt the model, committing sizable financial and technical resources to purchasing and integrating it. 

But then, once it’s adopted, the gap between benchmark and real-world performance quickly becomes visible. For example, take the swathe of FDA-approved AI models that can read medical scans faster and more accurately than an expert radiologist. In the radiology units of hospitals from the heart of California to the outskirts of London, I witnessed staff using highly ranked radiology AI applications. Repeatedly, it took them extra time to interpret AI’s outputs alongside hospital-specific reporting standards and nation-specific regulatory requirements. What appeared as a productivity-enhancing AI tool when tested in a vacuum introduced delays in practice. 

It soon became clear that the benchmark tests on which medical AI models are assessed do not capture how medical decisions are actually made. Hospitals rely on multidisciplinary teams—radiologists, oncologists, physicists, nurses—who jointly review patients. Treatment planning rarely hinges on a static decision; it evolves as new information emerges over days or weeks. Decisions often arise through constructive debate and trade-offs between professional standards, patient preferences, and the shared goal of long-term patient well-being. No wonder even highly scored AI models struggle to deliver the promised performance once they encounter the complex, collaborative processes of real clinical care.

The same pattern emerges in my research across other sectors: When embedded within real-world work environments, even AI models that perform brilliantly on standardized tests don’t perform as promised. 

When high benchmark scores fail to translate into real-world performance, even the most highly scored AI is soon abandoned to what I call the “AI graveyard.” The costs are significant: Time, effort and money end up being wasted. And over time, repeated experiences like this erode organizational confidence in AI and—in critical settings such as health—may erode broader public trust in the technology as well. 

When current benchmarks provide only a partial and potentially misleading signal of an AI model’s readiness for real-world use, this creates regulatory blind spots: Oversight is shaped by metrics that do not reflect reality. It also leaves organizations and governments to shoulder the risks of testing AI in sensitive real-world settings, often with limited resources and support. 

How to build better tests 

To close the gap between benchmark and real-world performance, we must pay attention to the actual conditions in which AI models will be used. The critical questions: Can AI function as a productive participant within human teams? And can it generate sustained, collective value? 

Through my research on AI deployment across multiple sectors, I have seen a number of organizations already moving—deliberately and experimentally—toward the HAIC benchmarks I favor. 

HAIC benchmarks reframe current benchmarking in four ways: 

1.     From individual and single-task performance to team and workflow performance (shifting the unit of analysis)

2.     From one-off testing with right/wrong answers to long-term impacts (expanding the time horizon)

3.     From correctness and speed to organizational outcomes, coordination quality, and error detectability (expanding outcome measures)

4.     From isolated outputs to upstream and downstream consequences (system effects)

Across the organizations where this approach has emerged and started to be applied, the first step is shifting the unit of analysis. 

For example, in one UK hospital system in the period 2021–2024, the question expanded from whether a medical AI application improves diagnostic accuracy to how the presence of AI within the hospital’s multidisciplinary teams affects not only accuracy but also coordination and deliberation. The hospital specifically assessed coordination and deliberation in human teams using and not using AI. Multiple stakeholders (within and outside the hospital) decided on metrics like how AI influences collective reasoning, whether it surfaces overlooked considerations, whether it strengthens or weakens coordination, and whether it changes established risk and compliance practices. 

This shift is fundamental. It matters a lot in high-stakes contexts where system-level effects matter more than task-level accuracy. It also matters for the economy. It may help recalibrate inflated expectations of sweeping productivity gains that are so far predicated largely on the promise of improving individual task performance. 

Once that foundation is set, HAIC benchmarking can begin to take on the element of time. 

Today’s benchmarks resemble school exams—one-off, standardized tests of accuracy. But real professional competence is assessed differently. Junior doctors and lawyers are evaluated continuously inside real workflows, under supervision, with feedback loops and accountability structures. Performance is judged over time and in a specific context, because competence is relational. If AI systems are meant to operate alongside professionals, their impact should be judged longitudinally, reflecting how performance unfolds over repeated interactions. 

I saw this aspect of HAIC applied in one of my humanitarian-sector case studies. Over 18 months, an AI system was evaluated within real workflows, with particular attention to how detectable its errors were—that is, how easily human teams could identify and correct them. This long-term “record of error detectability” meant the organizations involved could design and test context-specific guardrails to promote trust in the system, despite the inevitability of occasional AI mistakes.

A longer time horizon also makes visible the system-level consequences that short-term benchmarks miss. An AI application may outperform a single doctor on a narrow diagnostic task yet fail to improve multidisciplinary decision-making. Worse, it may introduce systemic distortions: anchoring teams too early in plausible but incomplete answers, adding to people’s  cognitive workloads, or generating downstream inefficiencies that offset any speed or efficiency gains at the point of the AI’s use. These knock-on effects—often invisible to current benchmarks—are central to understanding real impact. 

The HAIC approach, admittedly promises to make benchmarking more complex, resource-intensive, and harder to standardize. But continuing to evaluate AI in sanitized conditions detached from the world of work will leave us misunderstanding what it truly can and cannot do for us. To deploy AI responsibly in real-world settings, we must measure what actually matters: not just what a model can do alone, but what it enables—or undermines—when humans and teams in the real world work with it.

 Angela Aristidou is a professor at University College London and a faculty fellow at the Stanford Digital Economy Lab and the Stanford Human-Centered AI Institute. She speaks, writes, and advises about the real-life deployment of artificial-intelligence tools for public good.