Блог им. rfynututkm

Как оценить торговую систему?



     Заметка продолжает вот этот ряд, наставляющий новичка на тяжкую правду: smart-lab.ru/blog/533326.php (как делать торговую систему), smart-lab.ru/blog/531726.php (трейдинг должен быть дедуктивным), smart-lab.ru/blog/532375.php (гипотезы надо не щадить), smart-lab.ru/blog/533056.php (за математикой желательна физика).

     Как оценивать систему? То есть предположим, что уже есть система, на тестере. Есть важные показатели стратегии, есть не очень. Прибыльность, максимальный дродаун, максимальный период просадки – это всем понятно. Менее очевидно, но важны: средняя прибыль на сделку и профит-фактор. Если тестер показал меньше определенных значений, торговая система не работает. И неважно, какая там прибыль. Вообще неважно, хоть 500% годовых.

      Средняя прибыль на сделку важна, потому что это показатель хрупкости системы.

     Если у вас на стадии теста средняя прибыль вышла 0.02% на сделку, это, весьма вероятно, приговор. В конкретных цифрах это, например, средняя прибыль в 10 единиц с контракта ценой 50000 единиц. Такая прибыль висит на соплях. Если чуть подует ветерок – повысятся комиссии, спреды, чуть изменится рынок – она опрокинется. При этом тестер может нарисовать вам любую прибыль, но вы должны быть умнее его. Начиная от 0.1%  уже терпимо для гиперликвидов (на Московской бирже последние десять лет это были фьючерсные контракты на доллар и индекс РТС, сейчас еще брент). Проверял – терпимо, работает. На менее ликвидных инструментах показатель должен быть сильно больше.

     Среднее время в позиции связано со средней прибылью на сделку. Осторожно, если времени мало. Если стратегия трендовая, не хфт и паттерн, то поза держится, как правило, минимум 5-10 часов, лучше больше, вообще чем больше – тем лучше. Если меньше, то трендовуха не работает. Если чудом работает, быстро умрет.

      Если прибыльность сильно зависит от транзакционных издержек, стратегия, скорее всего, не работает.

     Что значит – сильно зависит? Если эти издержки стоят вам 10% прибыли, то нормально. Если 50%, вы играете что-то очень хрупкое. Дайте время – ваша китайская ваза разлетится вдребезги. 

     Профит-фактор показывает соотношение выигранных денег к проигранным. И это тоже показатель хрупкости. Можно представить, что тестер нарисует вам систему с прибылью, но профит-фактором, например, 1.2. На истории, может быть, вы и вышли на прибыль. За счет того, что выигрыши и проигрыши встали не как попало, а в некий очень удачный ряд.  В реале ничего хорошего не будет. Скорее даже потеряете деньги, чем заработаете. Стремитесь к профит-фактору 2. Если не получается, ладно: система с профит-фактором около 1.5 позволяла зарабатывать (личный опыт, пара лет реальных торгов). Но стремитесь к 2. В реале все окажется хуже, но выживете.

     В жанре охотничьих баек трейдеров слышал «а вот у моей торговли профит-фактор 10 на евро-долларе». Если это трендовая торговля, то нет. Не верю. С такой цифрой на такой паре рассказчик стал бы долларовым миллиардером. Если нет миллиарда, то это байки. И по косвенным признакам рассказчик производил впечатление слегка сумасшедшего… Так что стремимся к 2. Не соглашаемся на меньшее, чем 1.5.

     Продолжительность просадки даже важнее, чем ее глубина.

    Речь о допустимом лимите. Сколько времени живой человек готов торговать в убыток? Дело не столько в ощущении дискомфорта (хотя комфорт, наверное, лучше), сколько в прагматике. Рано или поздно любая система сломается. Нельзя торговать сломанные системы. Но если у вас плановая просадка полтора года, как вы поймете – система уже умерла, или просто уснула и плохо пахнет? Вот год прошел, у вас минус. Два года. Проснется ли система? А если не проснется, вы готовы принять, что два года  раздавали на бирже свое имущество неустановленным лицам, считая это своей профессией? Лучше окунуться глубоко, но быстро вынырнуть, чем месяцы и годы лежать под водой. Мы не подлодки, чтобы залегать на дно надолго. 



***

         На всякий случай, группа в ВК: vk.com/dengi_bez_durakov

         вторая группа, не про биржу: vk.com/filosofia_bez_durakov

         и блог на Comon: www.comon.ru/user/voldemort/blog/

★23
24 комментария
Ральф Винс. Математика управления капиталом. Там все написано с формулами, расчетами и прочим.
avatar
PSH, с формулами написано, но далеко не все. 
avatar
PSH, там все написано с расчетом, что система — вечна и не сломается. Более того, будет работать всегда примерно одинаково. Это презумпция Винса, он слишком сильно математик и, боюсь, недостаточно практик. Отсюда — чудовищные риски. Играя по Винсу, трейдер рано или поздно сольет почти все — либо на угасании системы, либо на черном лебеде. Я себе представляю, что сказал бы про такое Нассим Талеб...
Александр Силаев, да какой он к черту математик, целая книга вокруг одной формулы школьного уровня. 
avatar
SergeyJu, вам виднее ))
SergeyJu, ну уж не одной и не школьного :). Но вообще да, текста там, действительно, много лишнего, вся книга укладывается в одну страницу формул в маткаде :). Но весь текст тредстартера там, все-таки, описан формулами, это удобней :)
avatar
PSH, вот еще одна такая же книжка про «управление капиталом». Куча страниц вокруг одной формулы. 
Райан Дж. Биржевая игра. Сделай миллионы – играя числами
avatar
Александр Силаев, насчет рисков, конечно, да, книжки хорошо про такое писать, а вот торговать не очень :)
avatar
профит-фактор 10 на евро-долларе. Не верю. С такой цифрой на такой паре рассказчик стал бы долларовым миллиардером. Если нет миллиарда, то это байки. 

Пересиживайте просадки, закрывайте только когда выйдет в плюс. В этом случае профит-фактор будет равен бесконечности)
В крайнем случае, очень широкий стоп поможет довести профит-фактор и более 10.
Так что этот коэффициент вообще не показатель в отрыве от других метрик.
Мне кажется, важно разделить основу «системы» и саму «систему».
Основа это прогноз и важно убедиться, что у нас хороший прогноз, а прогноз означает, что у нас есть модель, а значит у нас модель хорошая. Тут нет пф, срсделки etc. Полагаю, что это более важно, чем следующая более техническая часть системы, когда мы оцениваем всякие метрики по серии сделок или эквити.
avatar
Sergey Pavlov, конечно, ядро системы важнее. Но такие вещи, как профит-фактор или средняя сделка — относятся к ядру системы. Пусть у нас профитный прогноз, но средний профит 10 пунктов, это же нельзя играть обычным людям. Это видно на серии именно — но это характеристики не только серии, то и «ядра».

Не поленился, прочитал все статьи тредстартера по ссылкам
Статьи, безусловно, очень правильные и написаны достаточно легким для понимания языком. Но я всегда в таких случаях задаюсь вопросом, зачем это все написано?
Если у тредстартера есть своя школа алготрейдинга и он ее подобным образом презентует, тогда все понятно. Люди тут часто задают вопросы «куда пойти учиться» — вот, например, сюда. Не факт, что будет польза (да это и не только от школы зависит), но хоть не засрут голову всякой ерундой типа «классического ТА», «индикаторов» и уж совсем откровенной дичью вроде «тактика адверза» и пару-тройку полезных мыслишек вроде «трейдинг должен быть дедуктивным» подкинут.

avatar
PSH, пока что чистая благотворительность и общительность. Ну и тоска по писанине, что ли, в самом первом посте я писал, откуда пришел. А насчет школы — может быть, посмотрим… у меня перед этим был пост про околорынок. Автоследование, роботы — это было. Такого околорынка у меня еще не было. Может быть, в нем самое счастье, а?

В целом согласен. Однако средний п/у желательно смотреть раздельно по каждому тестовому году. Так, в один год могут быть сильные движения и средняя сделка 0,2-0,5. Год с боковиком может быть 0,05. На фьючересе Si считаю возможным торговать минимальную среднюю за отдельный год из выборки в 10 лет от 0,07. Опять же основные проблемы это проскальзывания. Если система не пробойная п/у может быть еще меньше. Собираю статистику по проскальзываниям, отдельный пост скоро будет.
Кирилл Глухов, как-то так. Я округляю предел до 0.1 в среднем, но ввожу понятие «плохой год бывает», и там может быть хуже.
Для себя сформировал 2 показателя:

1. процент профитных дней в общем количестве торговых дней > 75%
2. профит на сделку > пяти комиссий

все остальное — шлак, вне зависимости от размера профита
Сергей Симонов, пункт 2 конечно же, пункт 1 для трендовух сложновато будет
Александр Силаев, оба пункта сомнительны. Кроме комиссов есть проскальзывание. 
avatar
SergeyJu, ну я по контексту понял, что слово комисс как бы включает проскальзывание. Странно считать одно без другого.
Хорошо, по делу всё. Качественно. Плюсанул бы )
avatar
Главный показатель — стабильность эквити на OOS.
Еще MAE хороший показатель эджа.
avatar
robomakerr, 
Еще MAE хороший показатель эджа.
Сможете развернуть мысль?
Дмитрий Овчинников, максимальная просадка в течение сделки. Показывает точность входа, сколько вы пересиживаете перед тем как зафиксировать прибыль. В недостижимом идеале равна нулю. Если превышает прибыль в сделке, то плохо.
avatar
robomakerr, я бы лучше использовал показатели, которые использовал Сатоши Накамото, а именно お任せ или даже лучше взять нормированную おまかせ.
Вот эти вещи действительно работают…
avatar

теги блога Александр Силаев

....все тэги



UPDONW
Новый дизайн