Меня зовут Денис, я алгоритмический трейдер и разработчик.

Когда я только начинал в алготрейдинге, мне хотелось использовать машинное обучение. Но тогда я почти ничего не знал о ML и Data Science. Сейчас я уже разбираюсь, но понимаю, что не все трейдеры готовы тратить месяцы на изучение этих тем.

Поэтому я создал библиотеку dquant — чтобы прогнозировать волатильность без углублённого знания ML. Достаточно знать Python и уметь получать сырые данные: open, close, high, low, volume.

Это не полный гайд, а базовый пример. За подробностями — в документацию.

Процесс из двух шагов

1. Подготовка сырых данных (open, close, high, low, volume)
2. Обучение и прогноз — всего 3 строки кода

Что происходит под капотом

1. Данные разделяются на входные и выходные
2. Из входных данных генерируются фичи, из выходных — таргеты
3. Выборка делится на обучающую и валидационную
4. Обучение может остановиться досрочно, если модель начинает переобучаться
5. После обучения выводится график ошибок

Модель можно использовать сразу или сохранить для последующего применения.

Все зависимости (pandas, numpy, xgboost, lightgbm, matplotlib) устанавливаются автоматически.

Быстрый старт: прогноз волатильности EURUSD

Для получения данных используем Yahoo Finance. Сначала установим библиотеку yfinance.

Само обучение и прогноз занимают 3 строки. До этого — только получение данных.

Что вы увидите

• График обучения: ошибка на train и validation
• Красная гистограмма — историческая волатильность
• Зелёная гистограмма — прогноз на следующие 20 баров

Готово. Результат можно использовать для установки стопов или калибровки размера позиции.

Разбор кода

Первая строка

Создаём класс VolClustXGB, использующий модель XGBoost. Первые два аргумента — пустой словарь и default=True. Это означает, что будут использоваться гиперпараметры по умолчанию. early_stopping=True — обучение остановится, если начнётся переобучение.

Если вы хотите задать свои гиперпараметры, укажите default=False и передайте непустой словарь. Но это не обязательно — библиотека создавалась как раз для тех, кто не хочет углубляться в ML.

Вторая строка

Здесь происходит разметка данных и обучение.

• df — сырые данные
• input_bars=70 — модель использует 70 баров на входе. После обучения именно столько данных нужно подавать для прогноза
• horizon=20 — прогноз на 20 баров вперёд. Для часовых данных — это 20 часов
• trees_count=200 — максимальное количество деревьев. При early_stopping=True обучение остановится раньше, если начнётся переобучение
• show_results=True — после обучения отобразится график ошибок на обучающей и валидационной выборках

Третья строка

Модель обучена — делаем прогноз.

• df.iloc[-70:].copy() — последние 70 баров, которые подаются на вход модели
• show=True — отображает результат на графике. Аргумент можно опустить, если график не нужен

Результат всегда записывается в переменную rez, независимо от того, показан ли график.

Проблема с Yahoo Finance

Библиотека yfinance не позволяет получать внутридневные данные за период больше 730 дней. Чтобы получить больше данных, можно использовать MetaTrader 5. Чем больше данных — тем дольше обучение, но точность прогнозов обычно выше.

Для работы с MetaTrader 5:

1. Установите и запустите MetaTrader 5 (например, через брокера FxPro)
2. Установите Python-библиотеку MetaTrader5

Сохранение модели

Обученную модель можно сохранить и использовать позже — например, для торговли в реальном времени.

Как попробовать прямо сейчас

Запустить код можно прямо в браузере через Jupyter Notebook.

Библиотека dquant с открытым исходным кодом (лицензия MIT). Если найдёте баг или хотите новую функцию — создавайте Issue. Отвечаю оперативно.

Привет, друзья! Меня зовут Денис, я алгоритмический трейдер и разработчик.

Когда я пришёл в алготрейдинг, мне очень хотелось быстро применить машинное обучение. Но для этого нужно было разбираться в ML и Data Science, а я только начинал. Сейчас я уже разбираюсь, но знаю, что далеко не все трейдеры готовы тратить на это месяцы.

Специально для тех, кто хочет попробовать ML для прогноза волатильности без глубоких знаний, я сделал библиотеку dquant.

Теперь можно обучить модель, вообще не разбираясь в feature engineering, сплитах и гиперпараметрах. Нужны лишь знания python и уметь достать сырые данные (open, close, high, low, volume).

Это не полноценный гайд, это лишь базовый пример, для более полной информациейвоспользуйтесь документацией.

Весь процесс состоит из 2-х этапов:

1. Подготовка сырых данных (open, close, high, low, volume)
2. Обучение и прогноз (3 строки кода)

Что происходит под капотом?:

1. Данные разделяются на входные и выходные
2. Из входных данных создаются  фичи, из выходных - таргеты
3. Данные разделяются на обучающую и валидационную выборки
4. Обучение может остановится раньше времени, если модель начинает переобучаться
5. В конце обучения выводится график ошибок

Дальше использовать модель для прогнозов или можно сохранить модель и использовать позже.

Готово. Зависимости (pandas, numpy, xgboost, lightgbm, matplotlib) тянутся автоматически.

Проверить:

Быстрый старт: прогноз волатильности EURUSD за 3 строки с Yahoo Finance

С помощью Yahoo Finance мы сможем получить ценовые данные за определенный период. Для начала нужно будет установить python библиотеку yfinance.

УстановкаYahoo Finance

Код на python

Сам процесс обучения и прогнозирования занимает 3 строки, до этого нужно достать сырые данные.

Что вы увидите:

• График обучения (ошибка на train/validation)
• Красная гистограмма — историческая волатильность
• Зелёная гистограмма — прогноз на следующие 20 баров

Готово. Можно сразу ставить стопы или калибровать размер позиции.

Разберем код из самой библиотеки dquant подробнее.

Первая строка

Создаем классVolClustXGB, он использует модельXGBoost (eXtreme Gradient Boosting). Первым и вторым аргументом будет пустой словарь иdefault=True. Это значит что при обучении будут использоваться гиперпараметры по умолчанию.early_stopping=Trueзначить что обучение автоматически прекратится, когда модель начнем переобучаться.

Если вы хотите добавить свои гиперпараметры(для этого нужно разбираться в ML), то нужно поставитьdefault=Falseи словарь должен быть не пустым. Например:

Но также можно обойтись и дефолтным примером, если вы не забираетесь в ML. Как раз для вас было и создана эта библиотека.

Вторая строка

Здесь происходит и разметка данных и обучение.

Первым аргументом мы подаем наши сырые данныеdf.

Второй аргументinput_bars=70— это количество баров, на входе. Это наши входные данные, на которых будет обучаться наша модель. После обучения именно столько данных нам нужно будет подавать на вход нашей модели, чтобы получить предсказание.

Третий аргументhorizon=20— это количество шагов нашего предсказания. В нашем случае мы научим модель предсказывать волатильность на 20 баров вперед. Учитывая то, что у нас часовые данные, предсказываем мы на 20 часов вперед.

Четвертый аргументtrees_count=200— это максимально количество деревьев, на котором мы будем обучать нашу модель. У насearly_stopping=Trueеще в первой строке, то есть модель перестанет обучаться, если начнется переобучение, даже если мы поставим 1000 или 10000 деревьев.

Пятый аргументshow_results=Trueзначит, что после обучения будет показан график, на котором будет видно снижение ошибки на тренировочных и на валидационных данных.

Третья строка

И наконец, третья строка. Модель уже обучена и мы предсказываем волатильность.

Первый аргументdf.iloc[-70:].copy()— наши входные данные. Наша модель принимает на вход 70 баров, мы сами её так обучили. В данном примере мы просто берем последние 70 баров из наших данных, которые мы импортировали.

Второй аргументshow=True— показывает результат прогнозирования на графике. Если вы не хотите этого, то просто не указывайте этот аргумент.

Результат прогнозирования запишется в переменнуюrezв любом случает, хотите ли вы результат на графике или нет.

Проблема Yahoo Finance

Yfinance не позволяет получить внутридневные данные за промежуток более чем 730 дней. Мы можем воспользоваться MetaTrader 5, чтобы получить больше данных. Чем больше данных, тем дольше модель будет обучаться, но тем лучше будут прогнозы.

Чтобы взять данные из MetaTrader 5 нужно его сначала установить и открыть. Выбираете любого брокера(у меня FxPro), устанавливаете MetaTrader 5 себе на компьютер.

После этого нужно будет еще установить python библиотеку MetaTrader5.

Пример с MetaTrader 5

Сохранение модели

Как попробовать прямо сейчас

Вы можете запустить этот код прямо у себя в браузеречерез Jupiter Notebook

• GitHub
• Сайт
• Документация
• Telegram-канал проекта
• PyPI

Библиотека полностью открытая (MIT). Если найдёте баг или захотите фичу — создавайте Issue, я отвечаю быстро.