Подглядывание в A B тестах: как не потерять достоверность данных Хабр

Это очень полезный инструмент, особенно для разработчиков советников. Думаю, остальные данные теста, такие как средняя прибыльная сделка, максимальное количество непрерывных проигрышей и так далее, вполне понятны и объяснения тут не нужны. Баров в истории — количество баров в истории, показывает глубину истории, на основе которой производилось моделирование. Во вкладке «Результаты» доступен список всех сделок, совершенных советником за время теста. При тестировании по всем тикам объём сгенерированных тиков может быть довольно большим, поэтому терминал может потреблять довольно много ресурсов. В ходе теста в тестере стратегий я увидел его высокие показатели и это при том, что он является довольно рискованным мартингейлом.

Символ и период

Метод обычно юзается для контроля над уровнем ошибки первого рода в условиях, когда анализ данных проводится несколько раз в течение эксперимента. A/B тестирование позволяет принимать обоснованные решения о том, какие функции или изменения наилучшим образом способствуют улучшению пользовательского опыта и повышению конверсии. Однако, несмотря на кажущуюся простоту проведения таких экспериментов, существует ряд подводных камней, которые могут серьезно исказить результаты. Один из самых заметных и опасных — это так называемая проблема peeking или подглядывания. Эта проблема возникает, когда аналитики и маркетологи начинают слишком рано анализировать данные теста, не дожидаясь его завершения. Такое поведение может привести к неверным выводам и решениям, которые, в свою очередь, могут нанести ущерб бизнесу.

Для оптимизации эксперта Вам необходимо открыть Оптимизатор MT4

Чтобы не упускать драгоценные недели и месяцы на изучение стратегии, сделать это можно, протестировав её на истории. И если в стандартном терминале тестировать можно автоматические системы, то в специальной программе Forex Tester 3 работать можно именно с ручными. Программа очень удобная в использовании, так как её разработчики постарались максимально приблизить её интерфейс к терминалу MT4. И чтобы совсем не осталось вопросов по тестированию ручных стратегий, мы предлагаем ознакомиться с обзором по работе с обновлённой программой Forex Tester 3. Спред – можно задать любое значение или же использовать текущий спред по паре.

Как тестировать советников в MT4 с настройками, результатами и анализом

Как всегда в этом разделе я решил предоставить на общий взор экспериментальный тест эксперта UNIMILLION. Сам эксперт я описывал ранее в разделе советников, так что углубляться не буду. Если посмотреть тесты эксперта в тестере стратегий казалась что вот он настоящий Грааль. Конечно, график доходности не был идеальным, но сам факт уверенного роста, причем с настройками по умолчанию полагал высокие надежды на его работу. Такого рода факторы заставили нашу команду принять решение о детальном тестировании эксперта на демо счете.

Открываем тестер стратегий клавишами «Ctrl» + «R», либо выберите «Вид» → «Тестер стратегий». MetaTrader 4, имеет встроенный тестер советников, в котором происходит тестирование торговых роботов, экспертов и индикаторов. тестирование советников Разработчиками не раз отмечалось, что подобное тестирование, очень грубое вне зависимости от используемых настроек. Я надеюсь, что статья поможет вам в отладке, тестировании и оптимизации советников.

  1. Мы начнем статью с рассмотрения некоторых общих ошибок в коде, которые часто встречаются при написании советника.
  2. Эта проблема возникает, когда аналитики и маркетологи начинают слишком рано анализировать данные теста, не дожидаясь его завершения.
  3. Теперь же под тестирование индикаторов отведена отдельная кнопочка.
  4. Например, если аналитик проверяет данные дважды, p-value может удвоиться, а при пяти проверках — увеличиться в 3,2 раза, а при 10,000 проверках — увеличиться в двенадцать раз.

Для тестирования ручных стратегий, достаточно настроить эти пункты и приниматься за дело. В случае если мы имеем дело с автоматизированными советниками, придется настроить еще и «Свойства эксперта», поэтому, нажимаем кнопку Expert properties (Свойства эксперта) и приступаем к настройке. На момент тестирования советников, депозит можно не пополнять. На важно, чтобы в терминале были реальные котировки с реального рынка Forex. Тем самым мы увеличиваем вероятность получения реалистичных данных.

Более подробно режимы генерации тиков описаны в отдельном разделе. В МТ4 по умолчанию встроены данные MetaQuotes, но они считаются некачественными. Поэтому трейдеры используют сторонние сервисы для загрузки информации. Чтобы добавить робота на график, открывают навигатор и перетаскивают инструмент в окно выбранной валютной пары. Из графика доходности можно понять, что в советнике используются принципы мартингейла.

Тестер стратегий в терминале MT5, на текущий момент, самый технологичный и точный. В дальнейшем, Вы можете загрузить эти настройки в своего эксперта на реальном графике. Информация о параметрах торговых операций доступна в разделах Торговля и История. Подробная информация о показателях представлена в разделе «Отчет о тестировании». Чтобы использовать настройки комиссии текущего торгового счета, включите опцию «Использовать предопределенные комиссии».

Многие применяют в своих советниках контроль закрытия бара, то есть специально выжидают момент открытия новой свечи и открытие ордеров совершается только в этот момент. Но часто советники используют стопы, тейки, тралы, которые могут сработать в любой момент внутри свечи. Итак, чтобы приступить к тестированию советника открываем тестер стратегий или нажимаем Ctrl+R. Ранее я делал его детальный обзор в разделе советники, где был проведен тест на истории, а так же рассказаны варианты его оптимизации.

Включая в свою торговую стратегию очередной индикатор, хотели бы вы заранее убедиться в том, что он действительно работает для Вашей стратегии? А может, Вы бы просто хотели узнать, не перерисовывает ли индикатор сигналы и можно ли ему доверять в процессе торговли? Наверняка, эта информация окажется более чем полезной для трейдера – и с недавних пор он может её получить. Но для начала необходимо определить тот самый параметр, изменение которого повлечёт улучшение работоспособности системы. Именно для этого создана уникальная в своём роде программа EA Analyzer от компании StrategyQuant.

Результаты – в данной вкладке показаны совершенные советником операции, по открытию/закрытию и модификации ордеров. Вы можете провести одиночный прогон результатов для формирования полного отчета по позициям. Верхняя часть окна содержит название финансового инструмента и период графика. Ниже отображается информация о текущем положении курсора на графике. Информация по индикаторам, открытым в своих подокнах, отображается в отдельных блоках.

После того как выбран советник, необходимо провести дополнительную настройку тестирования и входных параметров. – Разные результаты тестов в разных ДЦ объясняются разными котировками. – У каждого брокера свой спред и своя спецификация контрактов, поэтому результаты могут отличаться кардинально. Более подробно о получаемой в результате тестирования информации можно узнать в разделе «Где посмотреть результаты тестирования».

В целях проведения тестового прогона и оптимизации на исторических данных в терминале MetaTrader 4 компанией MetaQuotes был создан тестер стратегий. Он представляет собой многофункциональное окно с соответствующими параметрами для проведения бэк-тестирования и оптимизации на исторических данных торговых алгоритмов написанных на языке MQL. Оптимизация – это всего лишь процесс подстройки входных параметров нашего эксперта, от которых зависит эффективность или прибыльность нашей стратегии, реализованной в советнике. В ходе тестирования во вкладке График будет рисоваться график. Если поведение на каких-то участках графика непонятно – скачет, резко падает (см. график в пункте 6), то на нижней шкале можно посмотреть примерную дату, когда происходили эти действия.

Здесь устанавливаются определенные ограничения, при выполнении которых, будет производиться пропуск оптимизационного прогона и начинаться следующий с другими входными параметрами. Значения устанавливаются в новых пунктах, так есть значение 10 будет равнозначно 1 пункту. В отрытом терминале необходимо на верхней панели выбрать «Сервис – Архив котировок» или просто нажать на клавиатуре F2. График оптимизации – в данной вкладке представлены результаты произведенной оптимизации в виде графика зависимости определенных показателей. Если вы планируете торговать на рынке Форекс при помощи автоматизированных торговых систем, то вы должны знать и понимать на чём базируется данный вид торговли.

Разобрались с назначением каждой переменной во входных параметрах советника. Для этого, скачанный архив с Иланом и SET – файлом настроек распаковываете, все файлы копируете в ту папку, где установлен торговый терминал MT 4, после чего перезапускаете МетаТрейдер 4. Сегодня мы опишем метод тестирования советников в программе MetaTrader 4 с качеством 99%. Ранее в родном тестере терминала можно было получить результаты с качеством 90%.

Здесь обращаю внимание на то, что, щёлкнув дважды на левую кнопку мыши по паре нужно выбрать период 1 минута. Это позволит получить котировки при данном способе наилучшего качества. Про оптимизацию в торговом терминале MetaTrader 4 мы подробно расскажем в будущих наших статьях. А сейчас давайте разберём как подготовить котировки для бэк-теста при помощи стандартных инструментов терминала MetaTrader 4. Результаты тестирования на форвард-периоде отображаются на отдельной вкладке «Форвард».

По традиции сегодня хочу поделиться с вами еще одним тестом эксперта, обзор которого мы делали в разделе Советники форекс. Так же  к эксперту был прикручен мартингейл что бы прибыль была гораздо больше. Ранее я делал обзор данного эксперта в разделе «Советников форекс» поэтому с более детальной настройкой и оптимизацией параметров вы можете ознакомиться в соответствующей статье. Сегодня по традиции я хотел бы ознакомить вас с результатами тестирования эксперта Чистильщик. Ранее я делал обзор  данного эксперта, и как выяснилось, советник был иностранного производства и создан в 2011 году. Отчет о тестировании можно сохранить, нажав в любой области вкладки на правую кнопку мыши и в выпадающем меню выбрать «Сохранить как отчёт».

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *