У вас столбец «город» с 800 уникальными значениями. One-hot encoding превратит его в 800 бинарных столбцов, создав разреженную матрицу и модель, которая переобучится уже на третьей эпохе. Label encoding присвоит значениям числа от 0 до 799, но модель может ошибочно интерпретировать это как порядок: будто Москва (0) «меньше» Владивостока (799). Frequency encoding укажет на частоту, но проигнорирует целевую переменную — например, Москва и Петербург могут быть частыми, но сильно отличаться по конверсии.

Что такое target encoding

Target encoding — это способ кодирования категориальных признаков, при котором каждое значение заменяется агрегированной статистикой целевой переменной по этой категории. Для регрессии — средним значением, для классификации — долей положительного класса. Например, город «Москва» с конверсией 12% становится числом 0.12, а «Тюмень» с конверсией 8% — 0.08.

Идея проста, но таит опасность: если посчитать среднее по всей обучающей выборке и использовать его в тех же данных, возникнет утечка целевой переменной (target leakage). Модель будет переобучаться, показывая завышенные метрики на трейне и проваливаясь на новых данных.

Как работает: базовая формула

Для каждого значения категории c вычисляется сглаженное среднее:

где count(c) — количество наблюдений категории, mean_target(c) — среднее значение целевой переменной в категории, global_mean — общее среднее по выборке, m — параметр сглаживания (smoothing).

Сглаживание предотвращает переуверенность в редких категориях. Например, если категория встретилась один раз с target=1, без сглаживания её код будет 1.0 — что нереалистично. Сглаживание «подтягивает» такие значения к global_mean.

При m=0 сглаживания нет. При m=100 категории с менее чем 100 наблюдениями будут близки к глобальному среднему. Типичные значения m — от 10 до 300, подбираются на валидации.

Проблема: target leakage

Главная ошибка — использовать статистику по всей обучающей выборке для кодирования той же выборки. Каждая строка участвует в расчёте своего признака, и модель фактически подглядывает ответ.

Особенно критично для редких категорий. Например, город с тремя наблюдениями и target=1 везде получит код 1.0. Модель запомнит эти строки, вместо обобщения.

Решение 1: Leave-One-Out (LOO)

Для каждой строки i среднее считается по всем строкам категории, кроме самой строки i. Это снижает утечку, но не устраняет её полностью — оставшиеся N-1 строк всё ещё коррелируют с целевой переменной.

Решение 2: K-Fold Target Encoding (рекомендуется)

Обучающая выборка делится на K фолдов. Для строк фолда k encoding вычисляется только по другим фолдам — без участия строк из k. При K=5 утечка практически отсутствует.

Для тестовой выборки encoding рассчитывается по всей обучающей — это допустимо, так как тест не участвует в обучении.

Готовые реализации

В библиотеке category_encoders (совместимой с sklearn) можно использовать TargetEncoder с кросс-валидацией. При использовании cross_val_score и пайплайнов encoder обучается только на train-фолде — это безопасно.

Но если вручную вызвать encoder.fit_transform(X_train, y_train), возникнет утечка, так как статистики считаются по всему X_train.

Когда target encoding лучше альтернатив

• Высокая кардинальность. IP-адреса, почтовые индексы, ID товаров, user agents — тысячи или десятки тысяч уникальных значений. One-hot encoding создаст слишком много столбцов, label encoding не передаст смысла. Target encoding сжимает всё в один информативный числовой признак.
• Древесные модели. XGBoost, LightGBM, CatBoost хорошо работают с target encoding, так как строят сплиты по порогам. Например: «если encoding города > 0.15, идём влево» — то есть «если конверсия выше 15%».

CatBoost реализует target encoding автоматически (ordered target statistics) с защитой от утечки. Если вы используете CatBoost, отдельное кодирование не нужно — просто передайте категориальные признаки через параметр cat_features.

• Линейные модели. Target encoding здесь тоже применим, но эффект слабее — линейные модели могут извлечь столько же информации из one-hot при достаточном объёме данных. Основное преимущество — снижение размерности при высокой кардинальности.

Когда target encoding не нужен

1. Низкая кардинальность (менее 10–15 значений). Для признаков вроде пола, дня недели или типа устройства лучше использовать one-hot — он не создаёт риска утечки и не усложняет модель.
2. Мало данных. Если в категории всего 5 наблюдений, среднее — это шум. Сглаживание поможет, но лучше сгруппировать редкие значения в «другое» и применить one-hot.
3. Целевая переменная — непрерывная с высокой дисперсией. Среднее будет зашумлённым. Рассмотрите медиану или quantile encoding.

Что ещё можно кодировать кроме среднего

Target encoding не ограничивается средним. Можно использовать и другие агрегаты:

std — показывает стабильность целевой переменной в категории. Например, город с mean=0.1 и std=0.02 — стабильно низкая конверсия; с std=0.15 — нестабильный, среднее не показательно.

count — частота категории. Сам по себе может быть полезным признаком: популярные и редкие города могут вести себя по-разному.

Для каждого агрегата применяйте тот же K-Fold подход, чтобы избежать утечки. Но помните: чем больше признаков на основе целевой переменной, тем выше риск переобучения — даже при правильной валидации.

• Считайте encoding с помощью K-Fold на трейне (K=5 или K=10). Никогда не используйте fit_transform на всей обучающей выборке.
• Для теста и прода — применяйте encoding на основе статистик по всему трейну. Сохраняйте маппинг (словарь «категория → значение») как артефакт модели.
• Новые категории (не встречавшиеся в трейне) заменяйте на global_mean, а не на 0 или NaN.
• Подбирайте параметр m (smoothing) на валидации. Обычно — от 10 до 100 для средних датасетов, от 100 до 500 для больших.
• Мониторьте drift. Если распределение категорий на проде сместилось (например, появился новый город с 30% трафика), encoding устаревает. Периодическое переобучение — важная практика.

Привет, Хабр!

У вас столбец «город» с 800 уникальными значениями. One‑hot encoding превратит его в 800 бинарных столбцов, разреженную матрицу имодель, которая переобучится на третьей эпохе. Label encoding присвоит числа от 0 до 799, но модель решит, что Москва (0) «меньше» Владивостока (799), хотя никакого порядка между городами нет. Frequency encoding скажет, что Москва и Питер похожи, потому что обе встречаются часто, хотя по целевой переменной могут отличаться кардинально.

Target encoding— подход, при котором каждое значение категории заменяется агрегатом целевой переменной по этой категории. Для задачи регрессии — средним, для классификации — средней вероятностью положительного класса. Город «Москва» с конверсией 12% превращается в число 0.12. «Тюмень» с конверсией 8% — в 0.08.

Идея простая. Но и ловушка тут тоже простая: если считать среднее по всей обучающей выборке и подставлять в неё же — модель увидит утечку из целевой переменной (target leakage), переобучится и покажет нереалистично высокие метрики на трейне. Разберём, как делать правильно.

Как работает: базовая формула

Для каждого значения категории c вычисляем:

Гдеcount(c)— сколько раз категория встречается в обучающей выборке,mean_target(c)— среднее значение целевой переменной для этой категории,global_mean— среднее по всей выборке,m— параметр сглаживания (smoothing).

Сглаживаниеm— ключевой элемент. Без него категория, встретившаяся один раз с target=1, получит encoding=1.0, что конечно странновато, одно наблюдение ничего не говорит о категории. Сглаживание подтягивает редкие категории к глобальному среднему: чем меньше наблюдений, тем ближе encoding кglobal_mean.

Приm=0сглаживания нет (голое среднее по категории). Приm=100категории с менее чем 100 наблюдениями будут почти неотличимы от глобального среднего. Типичные значенияm— от 10 до 300, подбирается на валидации.

Проблема: target leakage

Большинство допускают ошибку именно тут.

Строка из обучающей выборки участвует в подсчёте среднего, которое потом используется как признак этой же строки. Модель фактически подглядывает в ответ. На трейне метрики будут завышены, а на реальных данных модель провалится.

Особенно опасно для категорий с малым количеством наблюдений. Если город встретился 3 раза, а target у всех трёх = 1, encoding = 1.0. Модель запоминает эти три строки через encoding, вместо того чтобы обобщать.

Решение 1: Leave‑One‑Out (LOO)

Для каждой строки i среднее считается по всем строкам категории, кроме самой строки i:

Строка не участвует в вычислении своего собственного encoding. Утечка существенно снижается, но не исчезает полностью, оставшиеся N-1 строк категории всё ещё коррелируют с таргетом.

Решение 2: K‑Fold Target Encoding (рекомендуемый)

Обучающая выборка делится на K фолдов. Для строк фолда k encoding считается по строкам всех остальных фолдов:

Каждая строка кодируется статистиками, вычисленными без её участия. При K=5 утечка практически равна нулю.

Для тестовой выборки encoding считается по всей обучающей:

Готовые реализации

Вcategory_encoders(популярная библиотека, совместимая со sklearn):

cross_val_scoreс пайплайном автоматически fit‑ит encoder только на train‑фолде. Это правильное поведение, утечки нет. Но если вы вручную вызоветеencoder.fit_transform(X_train, y_train)и потом передадите в модель — утечка будет, потому чтоfit_transformсчитает статистики по всемуX_train.

Когда target encoding лучше альтернатив

• Высокая кардинальность.IP‑адреса, почтовые индексы, ID товаров, user agents — тысячи и десятки тысяч уникальных значений. One‑hot encoding физически не справится (миллионы столбцов), label encoding не несёт информации. Target encoding сжимает тысячи категорий в один числовой столбец с высокой предсказательной силой.
• Древесные модели.XGBoost, LightGBM, CatBoost — target encoding хорошо работает именно с ними, потому что деревья строят сплиты по порогу. Числовое значение encoding даёт дереву осмысленный порог: «если encoding города > 0.15, идём в левое поддерево», то есть «если конверсия в этом городе выше 15%».

Кстати, CatBoost реализует target encoding внутри (ordered target statistics) и делает это автоматически, с защитой от утечки. Если используете CatBoost,то отдельный target encoding не нужен, передавайте категории напрямую с указаниемcat_features.

• Линейные модели.Target encoding работает и здесь, но менее выражен эффект — линейная модель может извлечь из one‑hot encoding столько же информации (при достаточном количестве данных). Преимущество target encoding для линейных моделей — в сокращении размерности при высокой кардинальности.

Когда target encoding не нужен

1. Низкая кардинальность(< 10–15 уникальных значений). One‑hot encoding справится, не создаст проблем с размерностью, и не добавит риска утечки. Для пола, дня недели, типа устройства — не усложняйте.
2. Мало данных.Если в категории 5 наблюдений, средний таргет по ним — шум, а не сигнал. Сглаживание поможет (подтянет к глобальному среднему), но при совсем малых выборках лучше сгруппировать редкие категории в «другое» и применить one‑hot.
3. Целевая переменная — непрерывная с высокой дисперсией.Среднее по категории будет зашумлённым. Рассмотрите медиану вместо среднего или quantile encoding.

Что ещё можно кодировать кроме среднего

Target encoding не ограничивается средним. Можно использовать любую агрегатную функцию, и комбинация нескольких даёт модели больше информации:

std— насколько стабилен таргет внутри категории. Город с mean=0.1 и std=0.02 — стабильно низкая конверсия. Город с mean=0.1 и std=0.15 — нестабильный, средняя не показательна.

count— сколько наблюдений. Сам по себе полезный признак: частота категории коррелирует с поведением (популярный город отличается от редкого).

Для каждого дополнительного агрегата — тот же K‑Fold подход для защиты от утечки. Дополнительные столбцы не бесплатны: чем больше признаков на основе таргета, тем выше риск переобучения, даже с K‑Fold.

• Считайте encoding по K‑Fold на трейне (K=5 или K=10). Не fit_transform на всём трейне.
• Для теста и прода — encoding по статистикам всего трейна. Сохраняйте маппинг (словарь категория‑значение) как артефакт модели.
• Новые категории (не встречались в трейне) — заменяйте наglobal_mean. Не на 0, не на NaN — на среднее по выборке.
• Подбирайтеm(smoothing) на валидации. Типичный диапазон — 10–100 для средних датасетов, 100–500 для больших.
• Мониторьте drift. Если распределение категорий на проде сместилось (появился новый город с 30% трафика), encoding устаревает. Периодическое переобучение — супер важная штука.

Если вам важно не просто знать термины, а собирать признаки без утечек и получать модели, которым можно доверять,загляните в каталог— там можно выбрать обучение под свои задачи.

По ряду курсов можно бесплатно пройти тестирование и оценить свой текущий уровень. До 30 апреля за прохождение теста действуетскидка 15%на обучение.

Чтобы лучше понять, как данные влияют на поведение модели и качество предсказаний, начните с этих открытых уроков:

• 13 апреля, 20:00«Архитектура доверия: качество данных».Записаться.
• 29 апреля, 20:00«Деревья решений для задач классификации и регрессии».Записаться.