Инженерно-математическая школа (ИМШ) — совместный образовательный проект VK и НИУ ВШЭ — готовит специалистов в области машинного обучения, высоконагруженных систем и искусственного интеллекта. Студенты участвуют в реальных проектах, решают прикладные задачи и создают технологии, уже сейчас востребованные в индустрии.
Мы расскажем о трёх студенческих разработках, которые продемонстрировали высокую научную и практическую ценность. Эти проекты не только укрепили резюме своих авторов, но и получили применение в продуктах VK.
Русскоязычный бенчмарк для визуально-языковых моделей
Англоязычные бенчмарки плохо подходят для оценки отечественных моделей: они не учитывают российский культурный контекст — от исторических событий до известных личностей.
Под руководством наставников ИМШ студент разработал собственный бенчмарк, ориентированный на русскоязычные и культурно релевантные задачи. С его помощью была определена open source-модель, наилучшим образом понимающая контекст. Сейчас этот бенчмарк используется специалистами VK для оценки и сравнения VLM-моделей.
Проект помог углубить знания в области машинного и глубокого обучения, особенно в сфере языковых моделей. Анализ современных статей, изучение методов оценки моделей и практическая реализация — всё это стало ценным опытом.
Поддержка куратора, старшего преподавателя НИУ ВШЭ и руководителя группы мультимодальных моделей в VK Александра Рогачёва, сыграла ключевую роль: он помогал структурировать идеи, давал обратную связь и делился актуальными материалами.
В фокусе нашей команды — разработка и применение визуально-языковых моделей для решения задач поиска, рекомендаций, рекламы и модерации. Наличие русскоязычных бенчмарков позволяет быстрее понимать, какие модели подходят для реальных продуктов, а где требуется дообучение.
Александр Рогачёв, руководитель группы мультимодальных языковых моделей в VK
Линейный механизм внимания для нейросетей
Механизм внимания — основа современных трансформеров. Однако его вычислительная сложность растёт квадратично с длиной последовательности, что делает обучение и инференс дорогими.
Команда студентов ИМШ вместе с преподавателями работает над созданием линейного механизма внимания с поддержкой двунаправленности. Он не требует сложной низкоуровневой оптимизации и может значительно снизить нагрузку на оборудование.
Если проект увенчается успехом, новые архитектуры станут доступнее для внедрения — как в научных, так и в промышленных условиях.
Участие в разработке углубило понимание архитектур нейросетей и научило осознанно подходить к программированию. Важной частью процесса стало постоянное задавание вопроса: «Почему?» — это помогает выявлять скрытые допущения и строить интуитивное понимание.
Рекомендация от участника: работайте с первоисточниками — статьями и официальными реализациями. Также полезны лекции ПМИ ВШЭ и книга Андрея Буркова «The Hundred-Page Machine Learning Book».
Психолингвистический анализ текстов с помощью ИИ
Современные языковые модели не умеют различать тонкие нюансы эмоционального состояния. Фразы «я зол» и «у меня всё плохо» воспринимаются одинаково, а смена настроения в диалоге остаётся незамеченной. Это делает ИИ непригодным для задач вроде психологической поддержки или анализа кризисных состояний.
Студенты ИМШ разрабатывают специализированный инструмент, способный оценивать эмоциональное состояние собеседника — как это делает психолог. Система анализирует отдельные фрагменты речи, выделяет эмоции и отслеживает их динамику.
Проект потребовал перевести неформализованные психологические концепции на язык машинного обучения. Также была полностью разработана архитектура веб-приложения для разметки данных — от базы данных до интерфейса, с поддержкой многоуровневой разметки, ролевой модели и контроля качества.
Научная работа по проекту заняла первое место на конкурсе НИРС ВШЭ по психологии. Разработка стала полноценным продуктом, который часто упоминается на собеседованиях.
Те, кто сможет улучшить понимание психологии моделями, откроют новые возможности для применения LLM. Ребята прошли весь путь — от интервью с экспертами до выкатки модели. Их уровень соответствует синьору или техлиду.
Кирилл Каймаков, ведущий разработчик отдела больших языковых моделей VK
Как попасть в ИМШ
В ИМШ могут участвовать студенты НИУ ВШЭ, обучающиеся на профильных ИТ-направлениях. Участники работают над реальными задачами VK и получают стипендию — 40 000 рублей в месяц.
Программа бесплатна, но количество мест ограничено. Следите за объявлениями на официальной странице проекта и в социальных сетях.