Data mining w zakładach bez oszukiwania siebie: testuj poza próbą
Więcej danych nie czyni reguły prawdziwą. Przetestuj ją na zakładach, których nigdy nie widziała, i policz, ile reguł przetestowano.
Data mining dla gracza to przesiewanie dawnych kursów i wyników w poszukiwaniu reguły wartej obstawiania, a potem sprawdzenie jej na zakładach, których nie widziała. Artykuł firmy Pinnacle opisuje model zakładów jako system, który potrafi wskazać bezstronne punkty odniesienia, by określić prawdopodobieństwo wszystkich wyników, a potem mówi, że trzeba go testować i utrzymywać. Pułapką jest liczba: przetestuj dość reguł, a najlepsza z nich wygląda jak przewaga. Załóżmy, że 250 reguł bez przewagi testuje się każdą na własnych 200 niezależnych zakładach po kursie 2,00, ze stałymi stawkami; najlepsza daje średnio +19,87% na zakład (hipotetycznie). Ta strona omawia dane, zmienne, tę pułapkę i to, co dziennik zakładów pozwala przetestować na giełdzie zakładów (betting exchange), takiej jak platforma Orbit Exchange.
Skąd biorą się dane
Artykuł firmy Pinnacle o budowie modelu zakładów podaje dwa sposoby zbierania danych: „samodzielnie lub z innych opublikowanych danych w internecie”. Zakres jest kwestią oceny. Ten sam artykuł pyta: „czy brać pod uwagę wszystkie mecze, czy tylko ligowe?” i odpowiada, że decyzja jest „zależna od tego, jaki masz cel”. Najpierw więc cel, a dopiero potem arkusz.
Własne ekrany brokerów, takie jak wyciągi, analityka i wykresy historii kursów, różnią się między brokerami. O tym, co każdy z nich pokazuje na ekranie, przeczytasz na stronie o narzędziach brokerów, więc nie jest to tu powtarzane. Interfejs platformy Orbit ma ekran „Account Statement” i ekran „Betting Profit & Loss”.
O jednym warunku trzeba pamiętać w każdej rozmowie o danych. Warunki brokerów MadMarket i BetInAsia zakazują użytkownikowi, każde z osobna, używania „jakiegokolwiek robota, pająka lub innego zautomatyzowanego mechanizmu” do pobierania lub indeksowania informacji z serwisu.
Które zmienne i dlaczego
Mniej zmiennych, wyjaśnionych i sprawdzanych pod kątem dryfu danych.
Artykuł firmy Pinnacle przedstawia cykl. Czytaj go jako cykl, a nie sztywny przepis. Kroki:
- Wyznacz cel, bo „Bez celu możesz zostać zasypany liczbami”.
- Zbierz dane, samodzielnie lub z innych opublikowanych danych w internecie.
- Wybierz postać modelu. Rada artykułu: „Zalecamy nie komplikować zbytnio.”
- Wypisz jego założenia i ich granice; na przykład „średnie i odchylenia standardowe zakładają, że zdarzenia mają rozkład normalny”, co trzeba sprawdzić.
- Sprawdź, jak wrażliwy jest na wyniki, i utrzymuj go w miarę upływu czasu, ponieważ „trzeba go utrzymywać w miarę upływu czasu”.
To, które zmienne wchodzą, zależy od ciebie. Artykuł brokera AsianConnect o analizie z użyciem AI wymienia dane, które takie narzędzie potrafi przetworzyć: dawne wyniki, statystyki zawodników, trendy drużyn, bilanse u siebie i na wyjeździe, kontuzje, posiadanie piłki, skuteczność strzałów i ruchy rynku. Inny artykuł brokera AsianConnect mówi: „Posiadanie piłki mierzy tylko jedną rzecz”, więc liczba z tej listy może mierzyć mniej, niż sugeruje jej nazwa.
Broker MadMarket oferuje kalkulator Poissona jako jeden z przykładów modelu zasilanego ręcznie. Wpisujesz wartości oczekiwane, takie jak bramki w piłce nożnej, a on zwraca dziesięć najbardziej prawdopodobnych wyników, uszeregowanych od najwyższego do najniższego prawdopodobieństwa. Pokazuje, jak mało potrzebuje prosty model i jak wiele zależy od liczb, które wpisujesz.
Dane też się starzeją. Broker AsianConnect pisze o esporcie, że aktualizacja gry czyni wcześniejsze wyniki „mniej predykcyjnymi” i że dane historyczne trzeba łączyć z niedawnymi wynikami w obecnej wersji. Inny artykuł brokera AsianConnect mówi, że kilka pierwszych meczów w sezonie to mała próba. Wolałbym wziąć dwie zmienne, które potrafię wyjaśnić, niż dwanaście, których nie potrafię, bo dwanaście to dwanaście dodatkowych miejsc, w których historia może pochlebić regule, a modelu, którego wyniku nie da się wyprowadzić z danych wejściowych, nie naprawisz, gdy przestanie działać.
Pułapka najlepszej z wielu
Dlaczego zwycięzca konkursu reguł to zwykle szczęście.
Wypróbuj dość reguł, a jedna z nich będzie wyglądać znakomicie. Która to będzie, tego historia nie rozstrzygnie.
Kilka prostych definicji, słowami tego serwisu. Testowanie „na historii” to uruchomienie reguły na zakładach już rozegranych. Poza próbą to uruchomienie jej na zakładach, których nigdy nie widziała. Przeuczenie to wybranie reguły dlatego, że dobrze wypadła na historii. Ryzykiem jest liczba wypróbowanych reguł, więc policz je i trzymaj przegrane w zapisie.
Hipotetycznie. Każda reguła jest testowana na własnych 200 niezależnych zakładach po kursie 2,00 (50% szans na wygraną), ze stałymi stawkami, bez przewagi. Słupek to dokładna wartość oczekiwana najlepszego wyniku spośród N reguł.
Pokaż tabelę z danymi
| Przetestowane reguły | Najlepszy średni zwrot na zakład |
|---|---|
| 1 reguła | 0,00% |
| 10 reguł | +10,87% |
| 50 reguł | +15,87% |
| 250 reguł | +19,87% |
Dziesięć reguł, żadna z przewagą
Załóżmy, że testujesz dziesięć reguł, każdą na własnych 200 niezależnych zakładach po kursie 2,00, i żadna nie ma przewagi. Najlepsza z nich i tak daje w tym obliczeniu średnio +10,87% na zakład. Wybierz ją i obstawiaj na następnych 200, a nie ma powodu, by to się powtórzyło.
Materiały firmy Pinnacle opisują to samo szczęście z innych stron. Jeden z autorów materiałów firmy Pinnacle pisze, że historia zakładów o dodatniej wartości oczekiwanej mimo to kończyła się stratą w części symulacji, a przedział możliwych zwrotów zawęża się wraz z długością historii. Jeden artykuł mówi, że nawet w całym sezonie „losowość nadal wpływa na końcową sumę punktów drużyny”, a inny opisuje „okresy wyników powyżej i poniżej oczekiwań trwające tysiące zakładów”. Gość podcastu firmy Pinnacle mówi, że przy ocenie modelu miarami błędu chcesz mieć „dużą liczbę prób poza próbą”, by mieć pewność, że to, co widzisz, jest „statystycznie istotne”. Ile zakładów to oznacza dla twojej reguły, to osobne pytanie. Zaczynasz je na mapie drogowej progu opłacalności, bez podawania progu.
Dopasowanie do przeszłości to nie plan
Reguła dopasowana do przeszłości nie jest planem na następny zakład, a większość graczy kończy na minusie. Ta strona wyjaśnia, jak przetestować regułę. Nie mówi, którą regułę obstawiać.
Co pozwala przetestować twój własny dziennik zakładów
Twój własny zapis to zbiór testowy i budujesz go, nie dotykając danych brokera. Jeden z artykułów firmy Pinnacle sugeruje, byśmy „dokumentowali swoje zakłady i szukali dziwnych wzorców w arkuszu”. Platforma Orbit Exchange ma ekran „Account Statement”. Dziennik twoich zamiarów jest osobnym zapisem i to ty go prowadzisz. Porównanie wziętego kursu z zamknięciem opisano na stronie o kursie zamknięcia, a ta strona tego nie dotyka. To, jakich kolumn potrzebuje dziennik i jak często go czytać, opisano na stronie o rutynie pracy, a skąd bierze się prawdopodobieństwo stojące za regułą, przeczytasz w tekście o szacowaniu uczciwego kursu.
Artykuł firmy Pinnacle ocenia gracza po tym, jak blisko przewidywana wartość oczekiwana odpowiada rzeczywistemu zwrotowi „przy wystarczającej wielkości próby”. W dzienniku obie leżą obok siebie, więc zapisz regułę przed zakładami, które obejmuje, a gdy zmieniasz regułę, zacznij nowe liczenie, a nie kontynuację starego.
Krótkie odpowiedzi
Czym jest backtesting w zakładach sportowych?
Backtesting to odtworzenie zapisanej z góry reguły na dawnych kursach i dawnych wynikach, by zobaczyć, co by zrobiła. Słabym punktem jest kurs. Test potrzebuje kursów dostępnych w chwili, w której padłby zakład, a nie kursów z zamknięcia. Artykuł firmy Pinnacle ujmuje problem kursów zamknięcia tak: „to ćwiczenie wsteczne; nie możemy znać kursów zamknięcia meczu, dopóki się nie zacznie”. Najpierw zapisz regułę, przetestuj ją raz na zakładach, z których nie została zbudowana, i prowadź zapis każdej wypróbowanej reguły.
Czym jest przeuczenie modelu zakładów?
Przeuczenie (overfitting) to wybranie reguły dlatego, że dobrze wypadła na historii, którą masz przed sobą. Reguła niesie wtedy szczęście tej historii razem z tym, co w niej prawdziwe. Wykres w sekcji o pułapce pokazuje najczystszy przypadek: reguły bez żadnej przewagi, a najlepsza z wielu i tak daje średnio dodatni zwrot na historii, z której ją wybrano. Poza próbą nie ma powodu, by to się powtórzyło.
Ile zakładów potrzeba, by przetestować strategię?
Artykuł firmy Pinnacle pyta, czy jeden sezon to wystarczająco duża próba, a inny opisuje okresy wyników powyżej i poniżej oczekiwań trwające tysiące zakładów. Gość podcastu firmy Pinnacle, mówiąc o modelach ocenianych miarami błędu, stwierdza, że chcesz mieć „dużą liczbę prób poza próbą”. Sugerowane przez brokera AsianConnect minimum do śledzenia wartości linii zamknięcia (closing line value) podano na stronie o kursie zamknięcia, a ile czasu nawet prawdziwa przewaga potrzebuje, by się ujawnić, pokazano na mapie drogowej. Ta strona nie wyznacza progu.
Dokąd dalej
Matematykę, która leży pod tym wszystkim, czyli próbę i wariancję, znajdziesz, wracając do mapy drogowej. Kalkulatory strony i brokerów wymieniono na stronie z kalkulatorami, a dowolny kurs zamienisz na prawdopodobieństwo w konwerterze kursów. Reguła potrzebuje miejsca, w którym da się ją obstawiać, a ile kurs wart jest przy dużej stawce, mówi tekst o głębokości rynku. Aby otworzyć same drzwi, to, którzy brokerzy to robią, wyjaśnia strona o drodze na platformę Orbit Exchange, a porównanie brokerów zestawia ich obok siebie.