Анализ данных о ставках без самообмана: проверка вне выборки
Больше данных не делает правило верным. Проверьте его на ставках, которых оно не видело, и посчитайте, сколько правил вы перебрали.
Анализ данных для беттора означает просеивание прошлых цен и результатов в поисках правила, на которое стоит ставить, а затем проверку правила на ставках, которых оно не видело. Статья Pinnacle описывает модель для ставок как систему, способную определить непредвзятые опорные точки, чтобы вычислить вероятность всех исходов, и добавляет, что её нужно тестировать и поддерживать. Ловушка в объёме: проверьте достаточно правил, и лучшее из них будет похоже на преимущество. Допустим, 250 правил без преимущества проверены каждое на своих 200 независимых ставках по коэффициентам 2,00 с фиксированной суммой ставки; лучшее в среднем даёт +19,87 % на ставку (гипотетически). Страница разбирает данные, переменные, эту ловушку и то, что журнал ставок позволяет проверить на бирже ставок (betting exchange) вроде Orbit Exchange.
Откуда берутся данные
Статья Pinnacle о построении модели для ставок называет два способа собрать данные: «самостоятельно или используя другие опубликованные данные в интернете». Охват данных является вопросом решения. Та же статья спрашивает: «стоит ли учитывать все матчи или только игры лиги?» и отвечает, что это решение «определяется вашей целью». Значит, сначала цель, а таблица потом.
Собственные экраны брокеров, такие как выписки, аналитика и графики истории цен, у разных брокеров различаются. Страница об инструментах брокеров описывает, что каждый из них выводит на экран, поэтому здесь это не повторяется. В интерфейсе Orbit есть экран «Account Statement» и экран «Betting Profit & Loss».
Одно условие стоит рядом с любым разговором о данных. Условия MadMarket и условия BetInAsia запрещают пользователю применять «любого робота, паука или иной автоматизированный механизм» для получения или индексации информации сервиса.
Какие переменные и почему
Меньше, с объяснением и с проверкой на дрейф.
Статья Pinnacle описывает цикл. Читайте его как цикл, а не как строгий рецепт. Шаги:
- Поставьте цель, потому что «без цели вас могут захлестнуть числа».
- Соберите данные самостоятельно или из других опубликованных данных в интернете.
- Выберите форму модели. Совет статьи: «Мы рекомендуем не усложнять».
- Перечислите её допущения и их пределы; например, «средние и стандартные отклонения предполагают, что события распределены нормально», и это нужно проверить.
- Проверьте, насколько она чувствительна к результатам, и поддерживайте её со временем, потому что «её нужно поддерживать по мере течения времени».
Какие переменные включить, решаете вы. Статья AsianConnect об анализе с помощью ИИ перечисляет данные, которые такой инструмент может обрабатывать: прошлые результаты, статистика игроков, тенденции команд, показатели дома и в гостях, травмы, владение мячом, реализация ударов и движения рынка. Другая статья AsianConnect говорит: «Владение мячом измеряет только одно», так что число из списка может измерять меньше, чем подразумевает его название.
MadMarket предлагает калькулятор Пуассона как пример модели, которую кормят вручную. Вы вводите ожидаемые значения, например голы в футболе, и он возвращает десять самых вероятных счётов, ранжированных от самой высокой вероятности к самой низкой. Он показывает, как мало нужно простой модели и как многое держится на числах, которые вы вводите.
Данные ещё и устаревают. AsianConnect пишет о киберспорте, что обновление игры делает прежние результаты «менее предсказательными» и что исторические данные нужно сочетать с недавними результатами на текущей версии. Другая статья AsianConnect говорит, что несколько первых матчей сезона составляют малую выборку. Я бы взял две переменные, которые могу объяснить, а не двенадцать, которые не могу, потому что двенадцать является ещё двенадцать мест, где история льстит правилу, а модель, чей результат нельзя проследить до входных данных, нельзя починить, когда она перестаёт работать.
Ловушка лучшего из многих
Почему победитель конкурса правил обычно просто везунчик.
Попробуйте достаточно правил, и одно из них будет выглядеть блестяще. Какое именно, история ответить не может.
Несколько простых определений, в словах этого сайта. Проверка «на истории» означает прогон правила по уже сыгранным ставкам. Вне выборки означает прогон на ставках, которых оно не видело. Переобучение является выбором правила потому, что оно хорошо показало себя на истории. Риск в числе правил, которые вы перебрали, поэтому считайте их и храните в записи и проигравшие правила.
Гипотетически. Каждое правило проверено на своих 200 независимых ставках по коэффициентам 2,00 (шанс выигрыша 50 %) с фиксированной суммой ставки, без преимущества. Полоса показывает точную ожидаемую ценность лучшего результата среди N правил.
Показать таблицу данных
| Проверено правил | Лучшая средняя доходность на ставку |
|---|---|
| 1 правило | 0,00 % |
| 10 правил | +10,87 % |
| 50 правил | +15,87 % |
| 250 правил | +19,87 % |
Десять правил, ни у одного нет преимущества
Допустим, вы проверяете десять правил, каждое на своих 200 независимых ставках по коэффициентам 2,00, и ни у одного нет преимущества. Лучшее из них в этом расчёте всё равно в среднем даёт +10,87 % на ставку. Выберите его и поставьте на следующие 200, и у него нет причин повториться.
Материалы Pinnacle описывают то же везение с других сторон. Автор материалов Pinnacle пишет, что история ставок с положительной ожидаемой ценностью всё же заканчивалась убытком в части симуляций, а диапазон возможной доходности сужается по мере роста истории. Одна статья говорит, что даже за целый сезон «случайность всё равно влияет на итоговое число очков команды», а другая описывает «периоды выше и ниже ожиданий, длящиеся тысячи ставок». Гость подкаста Pinnacle говорит, что когда модель оценивают по метрикам ошибки, нужно «большое число испытаний вне выборки», чтобы убедиться, что увиденное «статистически значимо». Сколько ставок это означает для вашего правила, отдельный вопрос, и дорожная карта безубыточности начинает его, не называя порога.
Подгонка под прошлое не является планом
Правило, подходящее к прошлому, не является планом на следующую ставку, а большинство беттеров остаются в проигрыше. Страница объясняет, как проверять правило. Она не говорит, на какое правило ставить.
Что позволяет проверить ваш собственный журнал ставок
Ваша собственная запись является тестовым набором, и вы строите его, не трогая данные брокера. Одна статья Pinnacle советует «документировать наши ставки и искать странные закономерности в таблице». В Orbit Exchange есть экран «Account Statement». Журнал того, что вы намеревались сделать, является отдельной записью, и вести её вам. Сравнение взятой цены с ценой закрытия является задачей страницы о цене закрытия, и эта страница её не трогает. Какие столбцы нужны журналу и как часто его читать, написано на странице о рабочей рутине, а страница об оценке справедливой цены описывает, откуда берётся вероятность, стоящая за правилом.
Статья Pinnacle измеряет беттора тем, насколько точно предсказанная ожидаемая ценность следует за фактической доходностью «на достаточном объёме выборки». В журнале эти два значения лежат рядом, поэтому записывайте правило до ставок, которые оно охватывает, а когда меняете правило, начинайте новый счёт, а не продолжайте старый.
Короткие ответы
Что такое бэктестинг в ставках на спорт?
Бэктестинг означает проигрывание правила, записанного заранее, на прошлых ценах и прошлых результатах, чтобы увидеть, что оно сделало бы. Слабое место здесь цена. Для теста нужны коэффициенты, которые были доступны, когда вы поставили бы, а не коэффициенты закрытия. Статья Pinnacle формулирует проблему цен закрытия так: «это ретроспективное упражнение; мы не можем знать коэффициенты закрытия матча, пока он не начался». Сначала запишите правило, проверьте его один раз на ставках, на которых оно не строилось, и храните запись о каждом правиле, которое вы пробовали.
Что такое переобучение модели для ставок?
Переобучение (overfitting) является выбором правила потому, что оно хорошо показало себя на истории, которая была у вас перед глазами. Тогда правило несёт в себе везение этой истории вместе с тем, что в ней реально. Диаграмма в разделе о ловушке показывает самый чистый случай: правила вообще без преимущества, и лучшее из многих всё равно в среднем даёт положительную доходность на истории, из которой оно выбрано. Вне выборки у него нет причин повторяться.
Сколько ставок нужно, чтобы проверить стратегию?
Статья Pinnacle спрашивает, достаточно ли большая выборка один сезон, а другая описывает отрезки выше и ниже ожиданий, длящиеся тысячи ставок. Гость подкаста Pinnacle, говоря о моделях, оцениваемых по метрикам ошибки, называет нужным «большое число испытаний вне выборки». Страница о цене закрытия приводит минимум, который AsianConnect предлагает для отслеживания ценности закрывающей линии, а дорожная карта показывает, как долго проявляется даже настоящее преимущество. Эта страница порога не задаёт.
Что читать дальше
Математика, на которой всё это стоит, выборка и дисперсия, описана на дорожной карте. Страница калькуляторов перечисляет, что предлагают сайт и брокеры, а конвертер коэффициентов превращает любую цену в вероятность. Правилу нужно место, где на него ставят, и глубина рынка говорит, чего стоит цена при большой сумме. Чтобы открыть саму дверь, путь на Orbit Exchange объясняет, какие брокеры это делают, а сравнение брокеров ставит их рядом.