자신을 속이지 않는 베팅 데이터 마이닝: 표본 밖에서 검증
데이터가 많다고 규칙이 참이 되지는 않습니다. 한 번도 본 적 없는 베팅에서 시험하고, 시험한 규칙의 수를 세세요.
베터(bettor)에게 데이터 마이닝은 과거 가격과 결과를 훑어 베팅할 만한 규칙을 찾고, 그 규칙을 한 번도 본 적 없는 베팅에서 확인하는 것을 뜻합니다. Pinnacle 북메이커의 한 기사는 베팅 모델을 모든 결과의 확률을 정하기 위해 편향 없는 기준점을 찾아내는 체계로 설명하며, 이어서 그것을 시험하고 유지해야 한다고 말합니다. 함정은 양입니다. 충분히 많은 규칙을 시험하면 그중 최고가 우위처럼 보입니다. 우위 없는 규칙 250개를 각각 배당률(odds) 2.00의 독립된 베팅 200번, 고정 베팅 금액으로 시험한다고 가정하면, 가장 좋은 규칙은 베팅당 평균 +19.87%입니다(가상의 수치). 이 페이지는 데이터, 변수, 그 함정, 그리고 Orbit Exchange 플랫폼 같은 베팅 거래소(betting exchange)에서 베팅 기록으로 시험할 수 있는 것을 다룹니다.
데이터의 출처
베팅 모델 구축에 관한 Pinnacle 북메이커의 한 기사는 데이터를 모으는 두 가지 방법을 제시합니다. “직접 모으거나 온라인에 공개된 다른 데이터를 쓰는 것”. 범위는 판단의 문제입니다. 같은 기사는 “모든 경기를 고려할지, 리그 경기만 볼지”를 묻고, 그 결정이 “목표에 따라 정해진다”고 답합니다. 그러므로 목표가 먼저이고 스프레드시트는 그다음입니다.
명세서, 분석, 가격 이력 차트처럼 브로커 자체의 화면은 브로커마다 다릅니다. 브로커 도구 페이지는 각 브로커가 화면에 올려 두는 것을 다루므로 여기서는 되풀이하지 않습니다. Orbit 플랫폼의 인터페이스에는 “Account Statement” 화면과 “Betting Profit & Loss” 화면이 있습니다.
데이터 이야기에는 조건 하나가 따라붙습니다. MadMarket 브로커와 BetInAsia 브로커의 약관은 각각 사용자가 “어떠한 로봇, 스파이더 또는 그 밖의 자동화된 수단”으로 서비스의 정보를 가져가거나 색인하는 것을 금지합니다.
어떤 변수를, 왜
적게, 설명 가능하게, 시간에 따른 변화를 확인하며.
Pinnacle 북메이커의 기사는 순환 과정을 제시합니다. 엄격한 조리법이 아니라 순환으로 읽으세요. 단계는 다음과 같습니다.
- 목표를 세웁니다. “목표가 없으면 숫자에 압도될 수 있기” 때문입니다.
- 데이터를 모읍니다. 직접 모으거나 온라인에 공개된 다른 데이터를 씁니다.
- 모델의 형태를 고릅니다. 기사의 조언은 이렇습니다. “우리의 권고는 지나치게 복잡하게 만들지 않는 것이다.”
- 가정과 그 한계를 나열합니다. 예를 들어 “평균과 표준편차는 사건이 정규분포를 따른다고 가정하며”, 이는 시험해야 합니다.
- 결과에 얼마나 민감한지 시험하고, 시간이 지나도 유지합니다. “시간이 지나면서 유지 관리가 필요하기” 때문입니다.
어떤 변수를 넣을지는 내가 정합니다. AI를 이용한 분석에 관한 AsianConnect 브로커의 기사는 그런 도구가 처리할 수 있는 데이터를 나열합니다. 과거 결과, 선수 통계, 팀 추세, 홈과 원정 기록, 부상, 점유율, 슈팅 전환율, 마켓 움직임입니다. 또 다른 AsianConnect 브로커의 기사는 “점유율은 단 한 가지만 측정한다”고 말하며, 목록의 숫자가 이름이 시사하는 것보다 덜 측정할 수 있다는 뜻입니다.
MadMarket 브로커는 손으로 입력하는 모델의 한 예로 푸아송 계산기를 제공합니다. 축구의 골 같은 기댓값을 입력하면 확률이 높은 순서대로 가장 가능성 높은 점수 열 개를 돌려줍니다. 단순한 모델에 필요한 것이 얼마나 적은지, 그리고 입력하는 숫자에 얼마나 많은 것이 달려 있는지 보여 줍니다.
데이터는 낡기도 합니다. AsianConnect 브로커는 e스포츠에 대해 게임 업데이트가 이전 결과를 “예측력이 낮게” 만들며, 과거 데이터를 현재 버전의 최근 성적과 결합해야 한다고 씁니다. 또 다른 AsianConnect 브로커의 기사는 시즌 초반의 몇 경기는 작은 표본이라고 말합니다. 저라면 설명할 수 있는 변수 두 개를 설명할 수 없는 열두 개보다 택하겠습니다. 열두 개는 기록이 규칙을 돋보이게 할 자리가 열두 곳 더 생기는 것이고, 출력을 입력까지 거슬러 추적할 수 없는 모델은 작동을 멈췄을 때 고칠 수 없기 때문입니다.
여럿 중 최고의 함정
규칙 경연의 승자가 대개 운인 이유.
규칙을 충분히 많이 시험하면 그중 하나는 눈부셔 보입니다. 어느 것인지는 기록이 답할 수 없는 문제입니다.
이 사이트의 말로 몇 가지 정의입니다. “기록에서” 시험한다는 것은 이미 치러진 베팅에 규칙을 돌려 본다는 뜻입니다. 표본 밖은 규칙이 한 번도 본 적 없는 베팅에 돌려 본다는 뜻입니다. 과적합(overfitting)은 기록에서 잘 맞았다는 이유로 규칙을 고르는 것입니다. 위험은 시험한 규칙의 수이므로 그 수를 세고, 진 규칙도 기록에 남기세요.
가상의 수치. 각 규칙은 배당률 2.00(이길 확률 50%)의 독립된 베팅 200번에서 시험하며, 베팅 금액은 고정이고 우위는 없습니다. 막대는 N개 규칙 중 최고 결과의 정확한 기댓값입니다.
데이터 표 보기
| 시험한 규칙 수 | 베팅당 최고 평균 수익 |
|---|---|
| 규칙 1개 | 0.00% |
| 규칙 10개 | +10.87% |
| 규칙 50개 | +15.87% |
| 규칙 250개 | +19.87% |
규칙 열 개, 우위는 하나도 없음
규칙 열 개를 각각 배당률 2.00의 독립된 베팅 200번에서 시험하고 어느 것에도 우위가 없다고 가정합니다. 그중 최고는 이 계산에서 여전히 베팅당 평균 +10.87%입니다. 그것을 골라 다음 200번에 걸면 되풀이될 이유가 없습니다.
Pinnacle 북메이커의 자료는 같은 운을 다른 각도에서 설명합니다. Pinnacle 북메이커 자료의 한 기고자는 기댓값이 양인 베팅 기록도 일부 시뮬레이션에서는 손실로 끝났고, 기록이 길어질수록 가능한 수익의 범위가 좁아진다고 씁니다. 한 기사는 한 시즌 전체에 걸쳐서도 “무작위성은 여전히 팀의 최종 승점 합계에 영향을 준다”고 말하고, 다른 기사는 “수천 번의 베팅에 걸쳐 이어지는 평균 이상 또는 이하의 성과 구간”을 설명합니다. Pinnacle 북메이커 팟캐스트의 한 게스트는 모델을 오차 지표로 평가할 때 보이는 것이 “통계적으로 유의한지” 확인하려면 “표본 밖 시행이 많이 필요하다”고 말합니다. 그것이 내 규칙에서 베팅 몇 번을 뜻하는지는 별개의 질문이며, 손익분기 로드맵이 기준치를 주지 않고 그 질문을 시작합니다.
과거에 맞춘 것은 계획이 아닙니다
과거에 들어맞는 규칙은 다음 베팅을 위한 계획이 아니며, 대부분의 베터는 결국 잃습니다. 이 페이지는 규칙을 시험하는 방법을 설명합니다. 어떤 규칙에 베팅해야 하는지는 알려 주지 않습니다.
내 베팅 기록으로 시험할 수 있는 것
내 기록은 시험용 데이터 세트이며, 브로커의 데이터를 건드리지 않고 만들 수 있습니다. Pinnacle 북메이커의 한 기사는 “베팅을 기록하고 스프레드시트에서 이상한 패턴을 찾을 것”을 제안합니다. Orbit Exchange 플랫폼에는 “Account Statement” 화면이 있습니다. 내가 의도한 바를 적은 기록은 별개의 기록이며 내가 보관합니다. 내가 받은 가격을 마감과 비교하는 일은 마감 가격 페이지의 몫이고, 이 페이지는 건드리지 않습니다. 기록에 필요한 열과 읽는 빈도는 실전 루틴 페이지에 있고, 규칙 뒤의 확률이 어디서 오는지는 공정 가격을 추정하는 페이지가 다룹니다.
Pinnacle 북메이커의 한 기사는 예측한 기댓값이 “충분한 표본 크기에 걸쳐” 실제 수익을 얼마나 가깝게 따라가는지로 베터를 평가합니다. 기록은 둘이 나란히 놓이는 곳이므로, 규칙은 그것이 다루는 베팅보다 먼저 적어 두고, 규칙을 바꾸면 이전 집계를 이어 가지 말고 새로 세기 시작하세요.
짧은 답변
스포츠 베팅에서 백테스트란 무엇입니까?
백테스트는 미리 써 둔 규칙을 과거 가격과 과거 결과에 다시 적용해 그 규칙이 무엇을 했을지 보는 것입니다. 약한 고리는 가격입니다. 시험에는 마감 때의 배당률이 아니라 베팅했을 시점에 나와 있던 배당률이 필요합니다. Pinnacle 북메이커의 한 기사는 마감 가격의 문제를 이렇게 말합니다. “이는 사후적인 작업이다. 경기가 시작되기 전에는 그 경기의 마감 배당률을 알 수 없다.” 규칙을 먼저 쓰고, 그 규칙을 만들 때 쓰지 않은 베팅에서 한 번 시험하고, 시도한 모든 규칙의 기록을 남기세요.
베팅 모델에서 과적합이란 무엇입니까?
과적합(overfitting)은 눈앞에 있는 과거 기록에서 잘 맞았다는 이유로 규칙을 고르는 것입니다. 그러면 그 규칙은 그 안에 있는 실체뿐 아니라 그 기록의 운도 함께 지니게 됩니다. 함정을 다룬 섹션의 차트가 가장 깨끗한 경우를 보여 줍니다. 우위가 전혀 없는 규칙들인데도 그중 가장 좋은 규칙은 그것을 고른 기록에서 여전히 평균적으로 플러스 수익을 냅니다. 표본 밖에서는 그것이 되풀이될 이유가 없습니다.