Le data mining des paris sans vous tromper : testez hors échantillon
Plus de données ne rendent pas une règle vraie. Testez-la sur des paris qu’elle n’a jamais vus, et comptez combien de règles vous avez essayées.
Le data mining, pour un parieur, c’est passer au crible des cotes et des résultats passés pour trouver une règle qui vaut la peine d’être jouée, puis la vérifier sur des paris qu’elle n’a jamais vus. Un article de Pinnacle décrit un modèle de paris comme un système capable d’identifier des repères non biaisés pour déterminer la probabilité de toutes les issues, puis dit qu’il doit être testé et entretenu. Le piège est le volume : testez assez de règles et la meilleure d’entre elles ressemblera à un avantage. Supposons 250 règles sans avantage, testées chacune sur ses propres 200 paris indépendants à des cotes de 2,00, à mises fixes ; la meilleure rapporte en moyenne +19,87 % par pari (hypothétique). Cette page couvre les données, les variables, ce piège, et ce qu’un journal de paris vous permet de tester sur un exchange de paris tel qu’Orbit Exchange.
D’où viennent les données
Un article de Pinnacle sur la construction d’un modèle de paris donne deux façons de collecter des données : « by yourself, or by using other published data online ». Le périmètre relève du jugement. Le même article demande « should you consider all matches or just their league games? » et répond que le choix est « determined by what your aim is ». L’objectif vient donc en premier, et le tableur en second.
Les écrans propres aux brokers, comme les relevés, les analyses et les graphiques d’historique des cotes, diffèrent d’un broker à l’autre. La page des outils des brokers couvre ce que chacun affiche à l’écran, donc cela n’est pas répété ici. L’interface d’Orbit comporte un écran « Account Statement » et un écran « Betting Profit & Loss ».
Une condition doit figurer à côté de tout propos sur les données. Les conditions de MadMarket et de BetInAsia interdisent chacune à un utilisateur d’utiliser « any robot, spider or other automated mechanism » pour récupérer ou indexer des informations du service.
Quelles variables, et pourquoi
Peu nombreuses, expliquées, et contrôlées pour repérer la dérive.
L’article de Pinnacle expose un cycle. Lisez-le comme un cycle et non comme une recette stricte. Les étapes :
- Fixez un objectif, car « Without an aim you could be overwhelmed with numbers ».
- Collectez les données, vous-même ou à partir d’autres données publiées en ligne.
- Choisissez une forme pour le modèle. Le conseil de l’article : « Our recommendation is not to overcomplicate. »
- Listez ses hypothèses et leurs limites ; par exemple, « averages and standard deviations assume events are normally distributed », ce qu’il faut tester.
- Testez sa sensibilité aux résultats, et entretenez-le au fil du temps, car « it needs to be maintained as time progresses ».
Les variables qui entrent relèvent de votre choix. L’article d’AsianConnect sur l’analyse avec l’IA liste les données qu’un tel outil peut traiter : résultats passés, statistiques des joueurs, tendances des équipes, bilans à domicile et à l’extérieur, blessures, possession, conversion des tirs et mouvements de marché. Un autre article d’AsianConnect dit « Possession measures only one thing », si bien qu’un chiffre de la liste peut mesurer moins que son nom ne le suggère.
MadMarket propose un calculateur de Poisson comme exemple de modèle alimenté à la main. Vous saisissez des valeurs espérées, comme des buts au football, et il renvoie les dix scores les plus probables classés de la plus haute à la plus basse probabilité. Il montre combien un modèle simple demande peu et combien repose sur les chiffres que vous tapez.
Les données se périment aussi. AsianConnect écrit, à propos de l’esport, qu’une mise à jour d’un jeu laisse les résultats précédents « less predictive », et qu’il faut combiner les données historiques avec les performances récentes sous la version actuelle. Un autre article d’AsianConnect dit que quelques premiers matchs d’une saison sont un petit échantillon. Je prendrais deux variables que je peux expliquer plutôt que douze que je ne peux pas, parce que ces douze sont douze endroits de plus où l’historique peut flatter la règle, et qu’un modèle dont on ne peut pas remonter la sortie jusqu’aux entrées est un modèle qu’on ne peut pas réparer quand il cesse de fonctionner.
Le piège du meilleur parmi beaucoup
Pourquoi le vainqueur d’un concours de règles est le plus souvent de la chance.
Essayez assez de règles et l’une d’elles paraîtra brillante. Laquelle, voilà la question à laquelle l’historique ne peut pas répondre.
Quelques définitions simples, dans les mots du site. Tester « sur l’historique », c’est faire passer une règle sur des paris déjà joués. Hors échantillon, c’est la faire passer sur des paris qu’elle n’a jamais vus. Le surajustement, c’est choisir une règle parce qu’elle a bien fonctionné sur l’historique. Le risque, c’est le nombre de règles que vous avez essayées : comptez-les, et gardez les perdantes dans vos archives.
Hypothétique. Chaque règle est testée sur ses propres 200 paris indépendants à des cotes de 2,00 (une probabilité de gain de 50 %), à mises fixes, sans avantage. La barre est la valeur espérée exacte du meilleur résultat parmi N règles.
Afficher le tableau de données
| Règles testées | Meilleur rendement moyen par pari |
|---|---|
| 1 règle | 0,00 % |
| 10 règles | +10,87 % |
| 50 règles | +15,87 % |
| 250 règles | +19,87 % |
Dix règles, aucune avec un avantage
Supposons que vous testiez dix règles, chacune sur ses propres 200 paris indépendants à des cotes de 2,00, et qu’aucune n’ait d’avantage. La meilleure rapporte quand même +10,87 % par pari en moyenne dans ce calcul. Choisissez-la, jouez-la sur les 200 paris suivants : elle n’a aucune raison de se répéter.
Les ressources de Pinnacle décrivent la même part de chance sous d’autres angles. Un contributeur aux ressources de Pinnacle écrit qu’un historique de paris à valeur espérée positive s’est quand même terminé en perte dans une part des simulations, et que l’éventail des rendements possibles se resserre à mesure que l’historique s’allonge. Un article dit que, même sur une saison entière, « randomness does still influence a side's final points total », et un autre décrit des « periods of over and under performance lasting thousands of bets ». Un invité d’un podcast de Pinnacle dit que, lorsqu’un modèle est jugé sur des mesures d’erreur, il faut « a large number out of sample trials » pour s’assurer que ce que vous voyez est « statistically significant ». Combien de paris cela représente pour votre règle est une autre question, et la feuille de route du seuil d’équilibre l’ouvre sans donner de seuil.
Un ajustement au passé n’est pas un plan
Une règle qui colle au passé n’est pas un plan pour le prochain pari, et la plupart des parieurs finissent en perte. Cette page explique comment tester une règle. Elle ne dit pas quelle règle jouer.
Ce que votre propre journal de paris vous permet de tester
Votre propre historique de paris est un jeu de test, et vous le construisez sans toucher aux données d’un broker. Un article de Pinnacle suggère de « Document our bets and look for any strange patterns on the spreadsheet ». Orbit Exchange propose un écran « Account Statement ». Le journal de ce que vous aviez prévu est un relevé à part, qu’il vous revient de tenir. Comparer la cote que vous avez prise à la clôture est le travail de la page sur la cote de clôture, que cette page laisse de côté. Les colonnes dont le journal a besoin, et la fréquence à laquelle le lire, sont sur la page sur la routine de travail, et la page sur l’estimation d’un prix juste explique d’où vient la probabilité derrière une règle.
Un article de Pinnacle mesure un parieur à la façon dont la valeur espérée prévue suit de près le rendement réel « over a sufficient sample size ». Le journal est l’endroit où les deux se retrouvent côte à côte : écrivez donc une règle avant les paris qu’elle couvre, et quand vous changez une règle, ouvrez un nouveau décompte, pas la suite de l’ancien.
Réponses courtes
Qu’est-ce que le backtesting en paris sportifs ?
Le backtesting consiste à rejouer sur des cotes et des résultats passés une règle écrite à l’avance, pour voir ce qu’elle aurait fait. Le point faible, c’est la cote. Le test a besoin des cotes qui étaient proposées au moment où vous auriez parié, pas des cotes à la clôture. Un article de Pinnacle formule ainsi le problème pour les cotes de clôture : « it's a retrospective exercise; we can't know the closing odds for a match until it kicks off ». Écrivez la règle d’abord, testez-la une seule fois sur des paris dont elle n’est pas issue, et gardez la trace de chaque règle essayée.
Qu’est-ce que le surajustement (overfitting) dans un modèle de paris ?
Le surajustement consiste à choisir une règle parce qu’elle a bien fonctionné sur l’historique que vous aviez sous les yeux. La règle emporte alors la chance de cet historique en plus de ce qu’il contient de réel. Le graphique de la section sur le piège montre le cas le plus net : des règles sans aucun avantage, et la meilleure parmi beaucoup affiche quand même un rendement moyen positif sur l’historique d’où elle a été tirée. Hors échantillon, elle n’a aucune raison de se répéter.
Combien de paris faut-il pour tester une stratégie ?
Un article de Pinnacle demande si une saison est un échantillon assez grand, et un autre décrit des périodes de surperformance et de sous-performance qui durent des milliers de paris. Un invité d’un podcast de Pinnacle, à propos de modèles jugés sur des mesures d’erreur, dit qu’il faut « a large number out of sample trials ». La page sur la cote de clôture donne le minimum suggéré par AsianConnect pour suivre la valeur par rapport à la clôture (CLV), et la feuille de route montre combien de temps met même un vrai avantage à apparaître. Cette page ne fixe aucun seuil.
Où aller ensuite
Pour les mathématiques qui sous-tendent tout cela, l’échantillon et la variance, retournez à la feuille de route. La page des calculateurs liste ce que le site et les brokers proposent, et le convertisseur de cotes transforme n’importe quelle cote en probabilité. Une règle a besoin d’un endroit où être jouée, et la profondeur de marché dit ce que vaut une cote pour une mise importante. Pour ouvrir la porte elle-même, la voie d’accès à Orbit Exchange explique quels brokers le font, et la comparaison des brokers les met côte à côte.