Что будет, если убрать proxy-цель из трейдингового ML-пайплайна и оптимизировать напрямую то, что реально важно в торговле?

Большинство систем алгоритмической торговли на основе машинного обучения построены по одной схеме: модель предсказывает будущую доходность, направление движения цены или другой промежуточный сигнал. Затем отдельный модуль превращает этот прогноз в торговую позицию. На первый взгляд, такая архитектура логична — она разделяет ответственность и использует цели, которые легко оптимизировать.

Но в ней есть структурная проблема.

На обучении модель минимизирует MSE (среднеквадратичную ошибку) или кросс-энтропию. В реальной торговле стратегию оценивают по коэффициенту Шарпа, просадке и издержкам. Эти пространства слабо связаны. Высокая точность предсказания следующего бара не гарантирует прибыльную торговлю — особенно вне обучающей выборки, где мелкие колебания рынка принципиально непредсказуемы.

Именно этот разрыв — между тем, что оптимизируется, и тем, по чему оценивается — лёг в основу проекта DiffQuant.

Ключевая идея: весь путь от рыночных признаков до итоговой торговой метрики — это единый дифференцируемый вычислительный граф. Обратное распространение loss.backward() обновляет веса не через промежуточную цель, а напрямую через торговую механику: mark-to-market PnL, транзакционные издержки и коэффициент Шарпа.

Код открыт на GitHub. Данные доступны на HuggingFace. Все результаты из статьи можно воспроизвести.

Проблема proxy-цели

Классическая схема: на обучении — MSE, на оценке — Sharpe. Этот архитектурный разрыв вызывает три ключевые проблемы.

Проблема 1: разные пространства ошибок. Модель, точно предсказывающая мелкие колебания, не гарантирует прибыльные позиции. Более того, высокая точность на слабых движениях часто приводит к гиперактивной стратегии с разрушительным оборотом.

Проблема 2: отсутствие сигнала о размере позиции. MSE-модель учится угадывать направление, но не знает, насколько агрессивно входить. Размер позиции задаётся внешними эвристиками, не участвующими в обучении.

Проблема 3: издержки вне графа. Комиссии и проскальзывания применяются после обучения, на этапе бэктеста. Модель не видит их и не может научиться учитывать.

DiffQuant решает все три проблемы: позиция, издержки и торговая метрика становятся частью вычислительного графа.

Дифференцируемый торговый симулятор

Можно ли представить торговый результат как последовательность тензорных операций, через которые пройдёт градиент? В случае DiffQuant — да.

На каждом шаге симулятор вычисляет:

• Позицию модели;
• Прибыль и убыток (PnL);
• Транзакционные издержки;
• Коэффициент Шарпа.

Все операции реализованы как тензорные вычисления в PyTorch. Градиент проходит от Шарпа обратно через PnL, позицию и backbone модели.

Ключевая сложность — транзакционные издержки, зависящие от модуля изменения позиции. Обычный модуль |x| недифференцируем в нуле — именно там, где модель часто находится в начале обучения. Чтобы сохранить дифференцируемость, используется сглаженная аппроксимация.

Она совпадает с |x| при больших значениях и остаётся гладкой вблизи нуля. Это устраняет разрывы в субградиенте и снижает риск численных нестабильностей на ранних эпохах.

Архитектура политики

iTransformer: внимание по каналам, а не по времени

В качестве backbone используется iTransformer (Liu et al., ICLR 2024). В отличие от классического Transformer, где токены — временные шаги, iTransformer рассматривает токенами признаковые каналы. Весь временной ряд по каждому признаку кодируется в один токен, а внимание работает между каналами.

Это осмысленная индуктивная гипотеза для финансовых данных: устойчивые связи между ценой, объёмом и волатильностью носят межканальный характер. Локальные временные паттерны менее воспроизводимы.

Текущая конфигурация: d_model=32, n_layers=4, n_heads=2, d_ff=64. Общее число параметров — 52 354.

Direction × Gate: торговать и торговать ли вообще

Выход policy head — произведение двух независимых сигналов:

• Direction — альфа-сигнал, указывает направление;
• Gate — сигнал, определяющий, стоит ли входить в позицию.

Когда уверенность модели низка, gate стремится к нулю, и итоговая экспозиция близка к нулю — независимо от направления. Это дифференцируемый аналог action masking из RL.

Gate-смещение инициализируется значением −1.0. В начале обучения модель стартует в near-flat режиме. Позиции открываются только при достаточной уверенности. Это стабилизирует ранние эпохи и предотвращает переобучение на шуме.

Скользящий rollout без look-ahead

На каждом шаге модель видит только прошлое — контекстное окно. Нормализация признаков пересчитывается на каждом шаге только по этому окну.

Так исключается утечка будущей информации, которая часто скрывается в нормализации.

Гибридный loss: почему одного Шарпа недостаточно

Прямая оптимизация Шарпа приводит к патологическим режимам:

• Модель перебалансируется каждый бар, съедая результат комиссиями (churning);
• Flat collapse — модель уходит в постоянный кэш, Sharpe формально конечен;
• На бычьем датасете — buy-and-hold;
• Terminal exposure — весь риск переносится в конец горизонта;
• Drawdown blindness — высокая доходность ценой неприемлемой просадки.

Гибридный loss включает компоненты, подавляющие эти эффекты:

• −Sharpe — основная цель;
• Штраф за оборот — борьба с churning;
• Контроль просадки внутри эпизода;
• Штраф за открытую позицию в конце горизонта;
• Мягкое удержание доли flat-состояния;
• Штраф за систематический long/short bias.

Последний компонент оказался критически важным. Без него модель, обученная на бычьем BTC (2024–2025), устойчиво дрейфовала в long-only поведение. Штраф за bias не позволяет модели принимать рыночный тренд за универсальный закон.

Просадка считается в лог-пространстве для числовой устойчивости. Доля flat-состояния аппроксимируется дифференцируемо через сигмоиду.

Mirror augmentation: симметричное обучение на асимметричных данных

Обучающий период (январь 2024 – март 2025) для BTC преимущественно бычий. Без дополнительных мер модель учится просто держать LONG.

Чтобы устранить это смещение, в train loop включена mirror augmentation: на части батчей ценовые каналы и траектория цены инвертируются. Растущий рынок становится падающим, и наоборот.

Важно: инвертируются и признаки, и ценовая динамика в симуляторе одновременно. Иначе возникает противоречивый градиент, дестабилизирующий обучение.

Результат: при полностью бычьем train-режиме модель демонстрирует ненулевую short-экспозицию:

• Test (июль–сентябрь 2025): short fraction = 17.3%
• Backtest (октябрь–декабрь 2025): short fraction = 20.9%

Без аугментации short_fraction был близок к нулю.

Эксперимент: данные, сплиты, конфигурация

Инструмент: BTCUSDT Binance Futures (USDⓈ-M perpetual)

Исходное разрешение: 1-минутные бары, close-time convention

Период: 2021-01-01 – 2025-12-31

Агрегация: до 30-минутного таймфрейма с origin="epoch". Итого: 87 648 баров. После нарезки на неперекрывающиеся эпизоды со stride=24 — 3 647 sample-эпизодов.

Временные сплиты

• Train: 2024-01-01 → 2025-03-31 (градиентные обновления)
• Val: 2025-04-01 → 2025-06-30 (отбор checkpoint)
• Test: 2025-07-01 → 2025-09-30 (out-of-sample оценка)
• Backtest: 2025-10-01 → 2025-12-31 (финальная hold-out оценка)

Обучающее окно намеренно ограничено 15 месяцами, чтобы минимизировать distribution shift. Расширение на более ранние данные — первый рекомендованный ablation.

Конфигурация основного эксперимента

910 train-эпизодов — намеренно малая выборка. При stride=horizon_len=24 каждый sample покрывает отдельное 12-часовое окно. Модель с 52K параметрами на 910 независимых эпизодах — capacity-constrained. Такая архитектура хуже подходит для запоминания шумной микроструктуры рынка.

Динамика обучения

Обучение проходит через три фазы:

Фаза 1 (эпоха 2): гиперактивность. Turnover/bar = 0.0335, flat = 1.6%. Модель торгует почти каждый бар. Комиссии съедают весь результат. Val Sharpe = −6.49.

Фаза 2 (эпоха 8): flat collapse. Модель уходит в кэш: flat fraction = 77.5%, turnover ≈ 0. Безопасно, но бесполезно.

Фаза 3 (эпоха 12+): рабочий компромисс. Flat_target-регуляризация не даёт оставаться в кэше. Val Sharpe переходит в положительную зону и продолжает расти.

К лучшему checkpoint (эпоха 30) val Sharpe достиг +1.254. Обучение ещё не сошлось — потенциал для дополнительных эпох остаётся.

Walk-forward оценка: test и backtest

Оценка использует единый непрерывный walk-forward протокол — как при live-торговле. Нет сбросов, нет отдельной логики.

Test: июль–сентябрь 2025 (3 месяца)

Sharpe (ann.) = +1.73, Return = +8.22%, MaxDD = 6.10%

Распределение позиций: Long 66.9%, Short 17.3%, Flat 15.8%

Mean |position| = 0.125 — модель работает с частичной экспозицией.

Backtest: октябрь–декабрь 2025

Sharpe (ann.) = +1.15, Return = +6.91%, MaxDD = 7.91%

Распределение позиций: Long 53.3%, Short 20.9%, Flat 25.8%

Mean |position| = 0.123. Рост доли flat — реакция на более сложный рынок. Short-экспозиция сохраняется.

Что именно показывают результаты

9.1 Оба held-out периода — положительные

Test (+1.73) и backtest (+1.15) показали положительный Sharpe и доходность после всех издержек. Один квартал может быть случайностью. Два последовательных — уже сигнал. Не доказательство, но основание для продолжения исследований.

9.2 Direction accuracy ≈ 50% — не слабость

Точность направления: 50.65% (test), 50.56% (backtest). Это не случайность, а признак правильно поставленной задачи.

Ключевое — асимметрия возвратов:

• Correct avg ret — высокий;
• Incorrect avg ret — низкий по модулю.

Модель не угадывает бары. Она управляет экспозицией: открывается, когда ожидаемая доходность превышает издержки. Gate-механизм фильтрует слабые сигналы, повышая качество исполненных сделок.

9.3 Осторожный режим во втором периоде

Снижение активности (flat fraction с 15.8% до 25.8%) совпадает с более сложным рынком. Стратегия не увеличивает риск — наоборот, gate снижает экспозицию в неопределённости.

9.4 Asymmetric learning работает

На бычьем train-периоде модель выучила симметричное поведение: short-фракция 17–21% в обоих evaluation-кварталах. Без mirror augmentation она стремилась к нулю.

9.5 Gate остаётся низким

Mean gate ≈ 0.12–0.13. Модель никогда не работает с полной экспозицией. Большинство позиций — частичные. Это соответствует консервативному профилю риска.

Ограничения

Один инструмент. Все результаты — только на BTCUSDT. Переносимость на другие активы не проверена.

Упрощённая модель издержек. Комиссии и проскальзывания — равномерные. Для крупных позиций требуется учёт market impact (реализован, но не задействован).

Чувствительность к гиперпараметрам. Веса loss, длина окна, признаки и параметры обучения взаимодействуют нелинейно. Это не plug-and-play, а исследовательская постановка.

Малая статистическая база. Два квартала — сигнал, но недостаточно для сильных выводов о стабильности.

Нет live execution layer. Проект — исследовательский фреймворк, не production-ready. Подключение к брокеру требует дополнительной инженерии.

Архитектура проекта и дальнейшее развитие

DiffQuant — открытая исследовательская лаборатория, а не разовый эксперимент. Код позволяет быстро проверить гипотезы и воспроизвести результаты.

Приоритетные направления

• Мультиактивный портфель. Текущая архитектура — под один актив. Расширение потребует cross-asset attention и портфельного Sharpe.
• Более сложные целевые функции. Перспективны Calmar-ориентированные цели, conditional drawdown penalties и режимно-зависимое взвешивание.
• Дополнительные backbones. Реализованы LSTM, PatchTST, Mamba. Планируются benchmarks в идентичной постановке.
• Online data pipeline. Запланирован сбор данных через Binance WebSocket для paper trading и live-мониторинга.

Связанные работы

Buehler et al. (2019). Deep Hedging. Основа для обучения политик через дифференцируемую финансовую цель. DiffQuant адаптирует подход от хеджирования к альфа-генерации.

Liu et al. (2024). iTransformer. Backbone модели. Внимание по признаковым каналам.

Moody & Saffell (2001). Learning to Trade via Direct Reinforcement. Первая формулировка прямой оптимизации PnL. DiffQuant расширяет её до end-to-end дифференцируемого пайплайна.

Khubiev et al. (2026). Finance-Grounded Optimization For Algorithmic Trading. Близкая работа: использует Sharpe, PnL и MaxDD как loss. Отличие — в DiffQuant градиент проходит через торговую механику, а не только через голову предсказания.

Заключение

DiffQuant — попытка устранить структурный разрыв между предсказанием и торговлей.

Вместо схемы «предсказание → отдельная торговля» — единый дифференцируемый граф: признаки → позиция → симулятор → метрика → градиент.

Эксперимент показал:

• End-to-end дифференцируемый пайплайн реализуем на PyTorch;
• Гибридный loss выводит модель из патологий — гиперактивности и flat collapse;
• Mirror augmentation обеспечивает симметричное long/short поведение даже на бычьем train;
• Два последовательных held-out квартала дали положительный результат после всех издержек.

Это не готовая торговая система. Но это основание утверждать, что подход заслуживает серьёзного изучения.

Ценность проекта — не в «готовой кнопке», а в открытой, воспроизводимой платформе для исследования: что происходит, когда торговая цель становится частью градиента.

P.S. — для тех, кто дочитал до конца

DiffQuant — не продукт, не сигнал, не торговый робот. Это экспериментальная исследовательская платформа с одной целью: что будет, если убрать proxy-цель и поставить торговую механику прямо в градиент?

Проект публикуется не потому что задача решена, а потому что она открыта. Два положительных квартала — сигнал, но не доказательство. Модель чувствительна к гиперпараметрам, обучена на одном активе, не обобщалась.

Всё это — не оговорка, а принципиальная часть статьи.

Зачем публиковать? Чтобы сообщество увидело и улучшило. Если вы получили другой результат — это ценно. Если нашли слабое место — ещё ценнее. Если улучшили loss или backbone — я хочу об этом знать.

Код открыт. Данные открыты. Протокол воспроизводим.

Это приглашение к исследованию, а не обещание прибыли.

Что будет, если убрать proxy-цель из трейдингового ML-пайплайна и оптимизировать напрямую то, что реально важно в торговле?

Большинство систем алгоритмической торговли на основе машинного обучения устроены по одной и той же схеме: модель предсказывает будущую доходность, вероятность движения цены или другой промежуточный сигнал, после чего отдельный слой правил превращает этот прогноз в торговую позицию. На первый взгляд схема выглядит естественно с разделением ответственности и с обучением на том, что хорошо оптимизируется.

Но в ней есть структурная проблема.

На обучении мы минимизируем MSE (mean squared error, среднеквадратичную ошибку) или кросс-энтропию. В реальной торговле стратегию оценивают по Sharpe ratio, просадке, оборотным издержкам. Эти два пространства связаны слабее, чем принято думать. Хорошая точность предсказания следующего бара не гарантирует хороший торговый результат особенно в out-of-sample режиме, где мелкие колебания рынка предсказать нельзя в принципе.

Именно этот разрыв между тем, что модель оптимизирует, и тем, по чему её оценивают, лежит в основе проектаDiffQuant.

Ключевая идея: весь путь от сырых рыночных признаков через позицию модели до итоговой торговой метрики это единый дифференцируемый вычислительный граф.loss.backward()обновляет веса не через proxy-цель, а через саму торговую механику mark-to-market PnL (profit and loss, торговый результат), транзакционные издержки и коэффициент Шарпа.

Код открыт наGitHub. Данные наHuggingFace. Любой результат из этой статьи можно воспроизвести.

Содержание

1. Проблема proxy-цели
2. Дифференцируемый торговый симулятор
3. Архитектура политики
4. Гибридный loss: почему одного Шарпа недостаточно
5. Mirror augmentation: симметричное обучение на асимметричных данных
6. Эксперимент: данные, сплиты, конфигурация
7. Динамика обучения
8. Walk-forward оценка: test и backtest
9. Что именно показывают результаты
10. Ограничения
11. Архитектура проекта и дальнейшие направления

1. Проблема proxy-цели

Классическая трейдинговая ML-схема:

На обучении MSE. На оценке Sharpe. Этот архитектурный разрыв порождает несколько конкретных проблем.

Проблема 1: разные пространства ошибок.Модель, точно предсказывающая мелкие колебания, не гарантирует прогнозирование прибыльных позиций. Более того высокая accuracy на малоамплитудных движениях часто ведёт к гиперактивной стратегии с разрушительным оборотом.

Проблема 2: нет сигнала о размере позиции.MSE-модель учится угадывать направление, но не знает, насколько агрессивно входить. Размер позиции задаётся внешними эвристиками, которые не участвуют в обучении.

Проблема 3: издержки вне графа.Комиссия и проскальзывания применяются пост-фактум, на этапе бэктестинга. Модель не знает об их существовании и не может научиться их учитывать.

Данный проект решает все три проблемы одновременно: позиция, издержки и торговая метрика становятся частью вычислительного графа.

2. Дифференцируемый торговый симулятор

Центральный вопрос: можно ли записать торговый результат как набор тензорных операций, через которые пройдёт градиент?

В случае DiffQuant - да.

Для каждого шага горизонтасимулятор вычисляет:

Все четыре операции это обычные тензорные вычисления в PyTorch. Градиент проходит от коэффициента Шарпа обратно через PnL, через позицию и через backbone модели.

Нетривиальная деталь: транзакционные издержки содержат. Обычный модуль недифференцируем в нуле и именно там, где модель часто находится в начале обучения или вблизи flat-состояния. Для сохранения-дифференцируемости используется сглаженная аппроксимация:

При большихона совпадает с обычным модулем. В окрестности нуля остаётся гладкой, что исключает разрывы в субградиенте и снижает риск численных нестабильностей в ранних эпохах, когда политика часто находится вблизи flat-состояния.

3. Архитектура политики

Полный вычислительный граф выглядит так:

iTransformer: внимание по каналам, а не по времени

В качестве backbone используетсяiTransformer(Liu et al., ICLR 2024 Spotlight). В отличие от классического Transformer, где токенами служат временны́е шаги, iTransformer инвертирует постановку: токеном становится канал признаков. Весь временной ряд одного канала кодируется в единый токен, а механизм внимания работает над каналами.

Для финансовых данных это осмысленная индуктивная гипотеза: устойчивые взаимосвязи между ценой, объёмом и волатильностью носят межканальный характер. Локальные временны́е шаблоны это вещь менее воспроизводимая.

В текущей конфигурации:d_model=32,n_layers=4,n_heads=2,d_ff=64итого52 354 параметра.

Direction × Gate: торговать и торговать ли вообще

Выход policy head это произведение двух независимых сигналов:

• - направленный альфа-сигнал, кодирует куда торговать;
• - gate-сигнал, кодирует торговать ли вообще.

Когда уверенность модели низка,, и итоговая экспозициянезависимо от направления. Это дифференцируемый аналог action masking из RL.

Инициализация gate-bias = −1.0.В начале обучения модель стартует в near-flat режиме. Позиции открываются только тогда, когда накопленный градиентный сигнал действительно оправдывает экспозицию. Это существенно стабилизирует ранние эпохи так как без этой детали первые итерации переобучаются на шуме.

Скользящий rollout без look-ahead

На каждом шаге горизонта модель видит исключительно прошлое контекстное окно. Нормализация пересчитывается на каждом шаге только по этому окну:

Утечка будущей информации в трейдинговых задачах часто прячется именно в нормализации. Здесь она исключена.

4. Гибридный loss: почему одного Шарпа недостаточно

Прямая оптимизация Шарпа звучит элегантно, но на практике быстро приводит к нескольким патологическим режимам:

Модель перебалансируется каждый бар, съедая результат комиссиями

Flat collapse

Модель уходит в постоянный кэш, Sharpe формально конечен

На бычьем датасете модель сводится к buy-and-hold

Terminal exposure

Весь риск переносится в конец горизонта

Drawdown blindness

Высокая средняя доходность ценой неприемлемой просадки

Гибридный loss адресует каждую из этих патологий отдельным членом:

• - основная торговая цель;
• - штраф за оборот, борется с churning;
• - контроль просадки внутри эпизода;
• - штраф за открытую позицию в конце горизонта;
• - мягкое удержание доли flat-состояния вблизи целевой;
• - штраф за систематический long/short bias.

О компоненте: он оказался критически важным.В ранних конфигурациях без этого штрафа модель, обученная на преимущественно бычьем BTC 2024–2025, устойчиво дрейфовала в long-only поведение. Это не баг, а закономерная адаптация к данным. Штраф за bias не даёт модели принять рыночный тренд за универсальный закон.

Просадка считается в лог-пространстве для числовой устойчивости на длинных горизонтах:

Доля flat-состояния аппроксимируется дифференцируемо через сигмоиду:

5. Mirror augmentation: симметричное обучение на асимметричных данных

Обучающий период (январь 2024 - март 2025) для BTC в значительной мере бычий. Модель, обученная напрямую на таких данных, без дополнительных мер неизбежно обнаруживает простой эвристический сигнал: рынок чаще растёт, следовательно, дефолтная позиция будет LONG.

Для устранения этого смещения в train loop включенаmirror augmentation: на части батчей ценовые каналы и траектория цены инвертируются зеркально. Растущий рынок превращается в падающий, и наоборот. Важно: инвертируются и признаки, и сама ценовая динамика в симуляторе одновременно. Если инвертировать только цены при неизменных признаках, то получается противоречивый градиент, который дестабилизирует обучение.

Итог: при полностью бычьем train-режиме модель на held-out периодах демонстрируетненулевую short-экспозицию:

• Test (июль–сентябрь 2025): short fraction =17.3%
• Backtest (октябрь–декабрь 2025): short fraction =20.9%

Во многих предыдущих конфигурациях без аугментации short_fraction был близок к нулю.

6. Эксперимент: данные, сплиты, конфигурация

Инструмент

BTCUSDT Binance Futures (USDⓈ-M perpetual)

Исходное разрешение

1-минутные бары, close-time convention

2021-01-01 – 2025-12-31

ResearchRL/diffquant-data

Агрегация до 30-минутного таймфрейма сorigin="epoch"выравниванием: 87 648 баров. После нарезки на неперекрывающиеся эпизоды соstride=24- 3 647 sample-эпизодов.

Временны́е сплиты

Назначение

2024-01-01 → 2025-03-31

Градиентные обновления

2025-04-01 → 2025-06-30

Отбор checkpoint во время обучения

2025-07-01 → 2025-09-30

Out-of-sample оценка

2025-10-01 → 2025-12-31

Финальная hold-out оценка

Ключевое решение: обучающее окно намеренно ограничено 15 месяцами (январь 2024 - март 2025), а не всем доступным историческим рядом с 2021 года. Цель заключается в том чтобы удержать train-режим достаточно близко к evaluation-периодам и минимизировать distribution shift. Расширение на более ранние данные это первый рекомендованный ablation.

Конфигурация основного эксперимента

Почему маленькая модель и неперекрывающиеся эпизоды?910 train-эпизодов это намеренно малая выборка. Приstride=horizon_len=24каждый sample покрывает отдельное 12-часовое рыночное окно, не пересекаясь с другими. Модель с 52K параметрами на 910 независимых эпизодах capacity-constrained была выбрана специально, так как она хуже приспособлена к запоминанию шумной рыночной микроструктуры.

7. Динамика обучения

Одна из самых показательных частей эксперимента это не финальные метрики, а то, как именно модель приходит к рабочему режиму.

Val Sharpe

Val Return

Turnover/bar

Рис. 1. Train Loss по эпохам показывает монотонное снижение с 0.1503 до отрицательных значений (loss включает −Sharpe, поэтому отрицательный loss соответствует положительному Sharpe).

Рис. 2. Validation Sharpe (ann.) по эпохам. Лучший checkpoint быд на 30 эпохе, val Sharpe = +1.254. Модель ещё не сошлась к концу run’а.

Обучение проходит черездве последовательные патологические фазы, прежде чем найти рабочий режим:

Фаза 1 (эп. 2): гиперактивность.Модель слишком активна: turnover/bar = 0.0335, flat = 1.6%. Портфель торгует почти каждый бар, комиссии съедают весь результат. Val Sharpe = −6.49.

Фаза 2 (эп. 8): flat collapse.Найдя, что активная торговля убыточна, модель уходит в противоположную крайность: flat fraction = 77.5%, turnover ≈ 0. Это безопасный, но торгово бесполезный режим.

Фаза 3 (эп. 12+): рабочий компромисс.Flat_target-регуляризация не даёт модели оставаться в кэше. Val Sharpe переходит в положительную зону и продолжает расти.

Рис. 3. Доля времени в flat (кэш) по эпохам. Хорошо виден путь через flat collapse (пик 77.5% на эп. 8) и возврат к рабочему режиму (13.2% к эп. 30).

Рис. 4. Validation Max Drawdown по эпохам. По мере роста активности Sharpe растёт, а так же вместе с ним умеренно растёт и просадка (до ~7% к концу обучения).

Рис. 5. Turnover/bar по эпохам. После начального скачка (0.0335 на эп. 2) стабилизируется в диапазоне 0.01-0.014 это торгово разумный уровень.

Важное наблюдение:лучший checkpoint сохранён на последней эпохе (30), и val Sharpe продолжал расти к концу run’а. Это согласуется с гипотезой о недосходимости и указывает на потенциал дополнительных эпох, но это вопрос, требующий отдельной абляции и дополнительных исследований.

8. Walk-forward оценка: test и backtest

Как training validation, так и финальная оценка используютединый непрерывный walk-forward протокол, тот же, что применялся бы при live-торговле:

Нет отдельной evaluation-логики. Нет эпизодных сбросов. Один и тот жеWalkForwardEvaluatorработает и при обучении (каждыеval_freqэпох), и при финальной оценке.

Test: июль–сентябрь 2025 (out-of-sample, 3 месяца)

Рис. 6. Walk-forward оценка на test-периоде (фактическое окно: 2025-07-02 → 2025-09-29): кривая капитала (white line), daily PnL (bar chart), underwater equity, распределение позиций Long/Short и динамика gate-сигнала. Sharpe=+1.73, Return=+8.22%, MaxDD=6.10%.

Sharpe (ann.)

Sortino (ann.)

Total Return

Max Drawdown

Commission paid

Rebalances

Long / Short / Flat

66.9% / 17.3% / 15.8%

Mean |position|

Direction accuracy

Correct avg ret

Incorrect avg ret

Рис. 7. Анализ позиций на test-периоде: гистограмма весов (Long/Short/Flat), CDF (cumulative distribution function) |position| с exit threshold=0.05 и круговая диаграмма соотношения. Mean gate=0.125 сообщает о том, что модель работает с частичной экспозицией, а не просто полным рычагом.

Backtest: октябрь–декабрь 2025 (финальный hold-out)

Рис. 8. Walk-forward оценка на backtest-периоде (фактическое окно: 2025-10-02 → 2025-12-30). Sharpe=+1.15, Return=+6.91%, MaxDD=7.91%. Заметен сложный ноябрьский период с откатом до −3%, после которого стратегия восстановилась и завершила квартал в плюсе.

Sharpe (ann.)

Sortino (ann.)

Total Return

Max Drawdown

Commission paid

Rebalances

Long / Short / Flat

53.3% / 20.9% / 25.8%

Mean |position|

Direction accuracy

Correct avg ret

Incorrect avg ret

Рис. 9. Анализ позиций на backtest-периоде. Mean gate=0.123. Flat fraction вырос до 25.8% - модель стала осторожнее в менее определённом рыночном режиме, но сохранила ненулевую short-экспозицию (20.9%).

9. Что именно показывают результаты

9.1 Оба held-out периода: положительные

Первичный результат прост: и test (+1.73), и backtest (+1.15) показали положительный Sharpe и положительную доходность после полного учёта комиссий (2.50% и 2.60% соответственно).

Один положительный out-of-sample квартал может быть потенциальной случайностью. Два последовательных непересекающихся квартала это уже более содержательный сигнал. Не доказательство готовой стратегии, но достаточное основание для продолжения исследований.

9.2 Direction accuracy ≈ 50% и это не слабость

Direction accuracy на test 50.65%, на backtest 50.56%. Наивно это выглядит как “почти случайное угадывание”. Но точнее как правильно поставленная задача.

Ключевые числа:

Correct avg ret

Incorrect avg ret

Асимметрия

Модель не предсказывает следующий бар. Она управляет экспозицией: открывается тогда, когда expected return превышает expected cost, и остаётся в кэше или берёт частичную позицию в остальное время. Gate-механизм фильтрует сделки с низкой уверенностью, улучшая signal-to-noise ratio исполненных позиций.

9.3 Осторожный режим во втором периоде

Между test и backtest прослеживается систематический сдвиг в сторону большей осторожности:

Показатель

Flat fraction

Mean |position|

Active days

Снижение активности совпадает с более сложным рыночным режимом (ноябрьский откат виден на equity curve). Важно: стратегия не компенсирует ухудшение условий увеличением риска. Наоборот gate-сигнал снижает экспозицию в неопределённых ситуациях.

9.4 Asymmetric learning работает

На обучающем периоде (бычий BTC 2024–2025) модель тем не менее выучила симметричное поведение: short-фракция 17-21% в оба evaluation-квартала. Без mirror augmentation в большинстве предыдущих экспериментах short_fraction стремился ожидаемо к нулю.

9.5 Gate остаётся низким по всей траектории

Mean gate ≈ 0.12-0.13 на обоих периодах. Модель никогда не работает с полной экспозицией. CDF |position| показывает, что большинство позиций частичные. Это соответствует консервативному профилю риска, заданному lambda_bias и flat_target регуляризацией.

10. Ограничения

Честное описание ограничений важнее, чем замалчивание.

Один инструмент.Все результаты получены только на BTCUSDT. Никаких выводов о переносимости на другие активы из этой статьи сделать пока нельзя.

Упрощённая модель издержек.Commission и slippage применяются равномерно. Для позиций, достаточных для движения рынка, необходим квадратичный market impact (параметрmarket_impact_etaв SimulatorConfig реализован.

Чувствительность к гиперпараметрам.Веса loss-функции, длина train-окна, состав признаков и параметры обучения взаимодействуют нелинейно. Это не plug-and-play рецепт, а исследовательская постановка, требующая систематической настройки.

Малая статистическая база.Два квартала достаточно для содержательного сигнала, но недостаточно для сильных заявлений о статистической значимости.

Нет live execution layer.Проект является исследовательским фреймворком, не production-ready системой. Подключение к брокерскому API требует инженерной работы за пределами текущего scope.

11. Архитектура проекта и дальнейшее развитие

DiffQuant изначально строился какоткрытая исследовательская лаборатория, а не как один удачный эксперимент. Ключевые свойства архитектуры кода:

Перед запуском основного обучения доступна sanity-проверка:

Приоритетные направления развития

Мультиактивный портфель.Текущая архитектура оптимизирует одну позицию. Расширение на портфель требует cross-asset attention и портфельного Sharpe с учётом корреляций. Дифференцируемый симулятор обобщается естественно:.

Более богатые objective-функции.Гибридный loss это первое приближение. Перспективны Calmar-ориентированные цели, conditional drawdown penalties и режимно-зависимое взвешивание-коэффициентов.

Дополнительные backbones.LSTM-энкодер реализован, но полноценного benchmark против iTransformer в идентичной постановке ещё нет. Запланированы PatchTST, Mamba и линейные варианты attention.

Online data pipeline.Scheduled сбор данных (Binance WebSocket → feature pipeline → model inference) для paper trading и live мониторинга.

Быстрый старт

Связанные работы

Buehler et al. (2019). Deep Hedging.Quantitative Finance.Фундаментальный фреймворк для обучения нейросетевых политик через дифференцируемую финансовую цель. DiffQuant адаптирует эту парадигму от хеджирования деривативов к направленной альфа-генерации.

Liu et al. (2024). iTransformer.ICLR 2024 Spotlight.Backbone основного эксперимента. Рассматривает каждый признаковый канал как токен, захватывая межканальные зависимости.

Moody & Saffell (2001). Learning to Trade via Direct Reinforcement.IEEE TNN.Оригинальная формулировка прямой оптимизации PnL как цели обучения, до эпохи deep learning. DiffQuant расширяет этот подход на полностью дифференцируемый end-to-end пайплайн.

Khubiev et al. (2026). Finance-Grounded Optimization For Algorithmic Trading.arXiv:2509.04541.Ближайшая параллельная работа: вводит Sharpe, PnL и MaxDD как loss-функции для задачи предсказания доходностей. DiffQuant отличается тем, что градиент проходит через саму торговую механику, а не только через голову предсказания.

Заключение

DiffQuant это попытка устранить структурный разрыв и перейти от прогнозирования цен к прямой оптимизации торговых решений квантовой ML-модель.

Вместо схемы «сначала предсказываем, потом отдельно торгуем» → единый дифференцируемый граф: признаки → позиция → симулятор → торговая метрика → градиент.

Текущий эксперимент демонстрирует несколько конкретных вещей:

• End-to-end дифференцируемый торговый пайплайн технически реализуем на стандартном PyTorch;
• Гибридный loss успешно выводит модель из двух типичных патологий: гиперактивности и flat collapse;
• Симметричное long/short поведение восстанавливается mirror augmentation даже при полностью бычьем train-режиме;
• Два последовательных held-out квартала дали положительный результат после учёта комиссий и проскальзываний.

Это не основание говорить о готовой торговой системе. Это основание утверждать, что сам подход заслуживает серьёзного дальнейшего исследования.

Именно в этом ценность проекта: не как «готовая кнопка», а как открытая воспроизводимая исследовательская платформа для честного изучения того, что происходит, когда trading objective наконец ставится внутрь самого градиента.

P.S. - для тех, кто дочитал до конца

Если вы ожидали увидеть здесь систему, которую достаточно склонировать, запустить и сразу использовать как готовый торговый инструмент, то важно сразу уточнить: эта статья не об этом.

DiffQuant находится на самой ранней стадии исследований. Это не продукт. Это не сигнал. Это не торговый робот. Этоэкспериментальная исследовательская платформас конкретной постановкой проблемы: что происходит, если убрать proxy-цель из трейдингового ML-пайплайна и поставить торговую механику прямо внутрь градиента.

Я публикую это сейчас не потому что считаю задачу решённой, а именно потому что онане решена. Два положительных held-out квартала это сигнал, заслуживающий внимания, но не основание для сильных заявлений. Модель обучена на одном инструменте, на конкретном историческом окне, с конкретным набором гиперпараметров. Она чувствительна к ним. Она не обобщалась на другие активы. Статистической базы для выводов о стабильности пока недостаточно.

Всё это написано в разделе “Ограничения” и для меня это принципиально важная часть статьи, а не формальная оговорка.

Зачем тогда публиковать?

Потому что такие проекты становятся лучше именно тогда, когда их видит профессиональное сообщество. Если вы запустили эксперимент и получили другой результат, то это ценно. Если вы нашли слабое место в архитектуре или в протоколе оценки, то это ещё ценнее. Если вы взяли кодовую базу, добавили свой backbone или переписали loss, и это сработало лучше, то я обезательно хочу об этом знать.

Код открыт. Данные открыты. Протокол воспроизводим.

Это приглашение к исследованию, а не обещание прибыли.

GitHub:github.com/YuriyKolesnikov/diffquantDataset:huggingface.co/datasets/ResearchRL/diffquant-data