Перевірка та тестування вперед: важливість кореляції

Трейдери, котрі прагнуть спробувати торгову ідею на ринку, який часто продає, часто роблять помилку, повністю покладаючись на результати тестування, щоб визначити, чи буде система вигідною. Хоча бектестування може надати торговцям цінну інформацію, воно часто вводить в оману, і це лише одна частина процесу оцінки.

Тестування поза вибіркою та тестування продуктивності надають додаткове підтвердження ефективності системи та можуть показати справжні кольори системи до того, як реальні гроші з’являться на лінії. Для визначення життєздатності торгової системи життєво важливим є хороший взаємозв’язок між результатами тестування на зворотній бік, результатів вибірок та прямих результатів тестування.

Основи бектестування

Повторне тестування стосується застосування торгової системи до історичних даних для перевірки ефективності роботи системи протягом зазначеного періоду часу. Багато сучасних торгових платформ підтримують бектестування. Трейдери можуть перевірити ідеї кількома натисканнями клавіш і отримати уявлення про ефективність ідеї, не ризикуючи коштами на торговому рахунку. Повторне тестування може оцінити прості ідеї, наприклад, про те, як кросовер з ковзною середньою діяв би на історичних даних, або більш складні системи з різноманітними входами та тригерами.

Поки ідея може бути кількісно визначена, вона може бути перевірена. Деякі трейдери та інвестори можуть звернутися до досвіду кваліфікованого програміста, щоб переробити ідею у перевірну форму. Зазвичай це передбачає програміста, кодує ідею власною мовою, розміщеною на торговій платформі. Програміст може включати визначені користувачем вхідні змінні, які дозволяють трейдеру “налаштувати” систему.

Прикладом цього може бути проста система кросинговеру із ковзною середньою, зазначена вище: Трейдер міг би ввести (або змінити) довжину двох ковзних середніх, що використовуються в системі. Трейдер міг здійснити бектест, щоб визначити, які довжини ковзних середніх мали б найкращі результати з історичних даних.

Оптимізаційні дослідження

Багато торгових платформ також дозволяють проводити дослідження з оптимізації. Це передбачає введення діапазону для зазначеного введення і дозволяючи комп’ютеру «розраховувати», щоб з’ясувати, який вхід мав би найкращі результати. Оптимізація з кількома змінними може обчислювати дві або більше змінних, щоб визначити, які комбінації досягли б найкращого результату.

Наприклад, трейдери можуть сказати програмі, які дані вони хотіли б додати до своєї стратегії; тоді їх було б оптимізовано до їх ідеальних ваг, враховуючи перевірені історичні дані.

Повторне тестування може бути захоплюючим тим, що збиткову систему часто можна чарівним чином перетворити на машину для заробляння грошей з кількома оптимізаціями. На жаль, налаштування системи для досягнення найбільшого рівня минулої прибутковості часто призводить до системи, яка буде погано працювати в реальній торгівлі. Ця надмірна оптимізація створює системи, які добре виглядають лише на папері.

Підгонка кривої – це використання оптимізаційної аналітики для створення найбільшої кількості виграшних угод із найбільшим прибутком за історичними даними, використаними в тестовий період. Хоча це виглядає вражаюче в результатах зворотного тестування, підгонка кривої веде до ненадійних систем, оскільки результати, по суті, розроблені спеціально для конкретних даних та періоду часу.

Перевірка та оптимізація забезпечують багато переваг для трейдера, але це лише частина процесу оцінки потенційної торгової системи. Наступним кроком трейдера є застосування системи до історичних даних, які не використовувались на початковій фазі зворотного тестування.

Взірці порівняно з позапрофільними даними

Під час тестування ідеї на історичних даних вигідно зарезервувати часовий період історичних даних для цілей тестування. Початкові історичні дані, на яких ідея перевіряється та оптимізується, називаються даними вибірки. Зарезервований набір даних відомий як дані поза вибіркою. Це налаштування є важливою частиною процесу оцінки, оскільки воно забезпечує спосіб перевірки ідеї на даних, які не були компонентом в оптимізаційній моделі.

Як результат, на ідею ніяк не вплинуть дані, що не належать до вибірки, і трейдери зможуть визначити, наскільки ефективно система може працювати з новими даними, тобто в реальній торгівлі.

До того, як розпочати будь-яке тестування або оптимізацію, трейдери можуть виділити відсоток історичних даних, які слід зарезервувати для тестування поза вибіркою. Одним із методів є розподіл історичних даних на третини та розподіл однієї третини для використання при тестуванні поза вибіркою. Для початкового тестування та будь-якої оптимізації слід використовувати лише дані зразка.

На малюнку нижче показано часовий рядок, коли третина історичних даних зарезервована для тестування поза вибіркою, а дві третини використовуються для тестування у вибірці. Незважаючи на те, що на малюнку нижче зображені дані поза вибіркою на початку тесту, типові процедури мали б частину поза вибіркою безпосередньо перед початком виконання.

Співвідношення відноситься до подібності між результатами та загальними тенденціями двох наборів даних. Показники кореляції можуть бути використані при оцінці звітів про ефективність стратегії, створених протягом періоду тестування (функція, яку надає більшість торгових платформ). Чим сильніше взаємозв’язок між ними, тим більша ймовірність того, що система буде добре працювати при прямому тестуванні продуктивності та реальних операціях.

Малюнок нижче ілюструє дві різні системи, які були протестовані та оптимізовані на даних вибірки, а потім застосовані до даних поза вибіркою. Діаграма зліва показує систему, яка була чітко пристосована для належної роботи з даними вибірки і повністю не спрацювала з даними поза вибіркою. Діаграма праворуч показує систему, яка добре показала дані як у зразках, так і поза ними.

Після того, як торгова система була розроблена з використанням даних вибірки, вона готова застосовуватися до даних, що не належать до вибірки. Трейдери можуть оцінити та порівняти результати роботи між даними вибірки та поза вибіркою.

Якщо існує невелика кореляція між тестуванням вибірки та поза вибіркою, як ліва діаграма на малюнку вище, цілком ймовірно, що система була надмірно оптимізована і не матиме належних результатів в реальній торгівлі. Якщо існує сильна кореляція результатів, як це видно на правій діаграмі, наступний етап оцінки включає додатковий тип тестування поза вибіркою, відомий як пряме тестування продуктивності.

Основи передового тестування продуктивності

Форвардне тестування продуктивності, також відоме як торгівля папером, надає торговцям ще один набір даних, що не належать до вибірки, на основі яких можна оцінити систему. Форвардне тестування продуктивності є моделюванням фактичної торгівлі і передбачає дотримання логіки системи на реальному ринку. Це також називається торгівлею папером, оскільки всі операції здійснюються лише на папері; тобто входи та виходи з торгівлі документуються разом із будь-якими прибутками або збитками для системи, але реальні угоди не виконуються.

Важливим аспектом передового тестування продуктивності є точне дотримання логіки системи; в іншому випадку стає важко, а то й неможливо точно оцінити цей етап процесу. Трейдери повинні бути чесними щодо будь-яких торгових входів і виходів і уникати поведінки, як торгівля вишнями чи не включаючи торгівлю на папері, обґрунтовуючи те, що “я ніколи б не взяв цю торгівлю”. Якщо торгівля відбулася б за логікою системи, вона повинна бути задокументована та оцінена.

Багато брокерів пропонують змодельований торговий рахунок, де можна розміщувати торги та розраховувати відповідний прибуток та збитки. Використання імітованого торгового рахунку може створити напівреалістичну атмосферу, на якій можна практикувати торгівлю та додатково оцінювати систему.

На малюнку вище також показані результати попереднього тестування продуктивності на двох системах. Знову ж таки, система, представлена ​​в лівій діаграмі, не справляється значно далі, ніж початкове тестування даних у вибірці. Однак система, показана на правильній діаграмі, продовжує ефективно працювати на всіх етапах, включаючи передове тестування продуктивності. Система, яка показує позитивні результати з хорошим співвідношенням між вибіркою, поза вибіркою та прямим тестуванням продуктивності, готова до впровадження на реальному ринку.

Суть

Повторне тестування є цінним інструментом, доступним на більшості торгових платформ. Поділ історичних даних на кілька наборів для забезпечення тестування у вибірці та поза вибіркою може надати трейдерам практичні та ефективні засоби оцінки торгової ідеї та системи. Оскільки більшість трейдерів використовують методи оптимізації для зворотного тестування, важливо потім оцінити систему на чистих даних, щоб визначити її життєздатність.

Продовження вибіркового тестування з передовим тестуванням продуктивності забезпечує ще один рівень безпеки перед тим, як вивести систему на ринок, ризикуючи реальними готівками. Позитивні результати та хороша кореляція між зворотним тестуванням у вибірці та поза вибіркою та прямим тестуванням продуктивності збільшує ймовірність того, що система буде ефективно працювати в реальній торгівлі.