Data og notation

Hvert spil i = 1, …, N registreres som (t_i, s_i, v_i): tidspunkt, starter s_i ∈ {A, K} (randomiseret ved møntkast) og udfald v_i ∈ {A, K, O}, hvor O er uafgjort. Spillene antages uafhængige af hinanden. Blandt de n afgjorte spil (dem med en vinder) skriver vi y_t = 1 hvis Kristian vandt spil nr. t i tidsorden, ellers 0.

Grundmodellen: tre mulige udfald

Da uafgjort er et reelt udfald, er den fulde model for ét spil ikke binomial men trinomial: spillet ender A, K eller O med sandsynligheder (p_A, p_K, p_O), som summer til 1. Antages spillene ens fordelt, er udfaldstællingerne (n_A, n_K, n_O) multinomialfordelte. Som prior bruger vi Dirichlet(1,1,1) — den uniforme fordeling over alle mulige (p_A, p_K, p_O) — og fordi Dirichlet er konjugeret til multinomialfordelingen, er posterior blot “tællingerne plus én”:

(p_A, p_K, p_O) | data ~ Dirichlet(1+n_A, 1+n_K, 1+n_O)

Heraf følger to nyttige marginaler. For det første er uafgjort-andelen p_O | data ~ Beta(1+n_O, 2+n_A+n_K) — det er tallet i “Uafgjort-andel”-feltet. For det andet gælder en pæn aggregeringsegenskab for Dirichletfordelingen: styrkeparameteren

φ = p_K / (p_K + p_A)  —  “chancen for at K vinder, givet at spillet afgøres”

er a posteriori Beta(1+n_K, 1+n_A)-fordelt og uafhængig af p_O. Med andre ord: spørgsmålet “hvem er bedst?” kan besvares ved kun at se på de afgjorte spil, uden at der går information tabt, og uden at antagelsen om uafgjortes fordeling blander sig. Det er derfor, binomialanalysen nedenfor er legitim — men den fulde beskrivelse af et spil kræver trinomialmodellen, og bemærk at P(p_K > p_A | data) = P(φ > ½ | data), så de to formuleringer giver samme svar.

Frekventistisk test af lige styrke

Under nulhypotesen H₀: φ = ½ (lige gode) er antallet af Kristian-sejre X ~ Bin(n, ½). Testen er eksakt: ingen normalapproksimation, vi regner direkte i binomialfordelingen. Den tosidede p-værdi er sandsynligheden for at se noget mindst lige så ekstremt som det observerede, målt ved punktsandsynlighed:

p = Σ P(X = i)  over alle i med  P(X = i) ≤ P(X = k_obs)

(“method of small p-values” — den sædvanlige definition af tosidet eksakt test, når fordelingen er symmetrisk som her svarer det til at fordoble halesandsynligheden).

Bayesiansk analyse af φ

Posterior er som nævnt φ | data ~ Beta(1+n_K, 1+n_A) — kurven i figuren. Hvor en frekventistisk p-værdi svarer på “hvor overraskende er data, hvis I er lige gode?”, svarer posterioren direkte på “hvad tror vi om φ nu?”. Det rapporterede 95 %-kredibelinterval er de midterste 95 % af fordelingen (2,5 %- til 97,5 %-fraktilen), og “P(bedst | data)” er arealet af posterioren på den vindende side af ½:

P(φ > ½ | data) = 1 − I_½(1+n_K, 1+n_A)

hvor I_x(a,b) er den regulariserede ufuldstændige betafunktion (betafordelingens fordelingsfunktion). Et kredibelinterval må — i modsætning til et konfidensinterval — gerne læses som “φ ligger i intervallet med 95 % sandsynlighed”.

Dynamisk model: kan styrkeforholdet drive over tid?

Den statiske model antager, at φ er den samme i december som i juli. Måske bliver den ene af jer bedre! Det modellerer vi med en state-space-model: en skjult tilstand — styrken — udvikler sig langsomt, og hvert spil er en støjfyldt observation af den. Lad φ_t være styrken ved det t’te afgjorte spil, og arbejd på log-odds-skalaen θ_t = logit(φ_t) = log(φ_t/(1−φ_t)), som er ubegrænset og derfor egnet til en random walk:

θ_t = θ_t−1 + ε_t,  ε_t ~ iid N(0, σ²)   (tilstand)
y_t | θ_t ~ Bernoulli(logit⁻¹(θ_t))   (observation)

σ styrer, hvor hurtigt styrken kan ændre sig: pr. spil ændres log-odds typisk med ±σ. Over fx 100 spil akkumulerer det til en standardafvigelse på σ·√100; med σ = 0,07 svarer det til at φ kan vandre i størrelsesordenen ±15 procentpoint på 100 spil. σ = 0 betyder ingen drift — så er modellen præcis den statiske.

Var observationsligningen gaussisk og lineær, ville Kalmanfilteret give den eksakte posterior. Med binære observationer er det kun en approksimation (via linearisering, som i EKF). I stedet udnytter vi, at tilstanden er éndimensional: diskretisér θ på et grid med 101 punkter på [−2,5; 2,5] (dvs. φ fra ca. 7,6 % til 92,4 %), hvorved modellen bliver en hidden Markov-model med 101 tilstande. I en HMM kan posterioren beregnes eksakt (op til diskretiseringen) med forward–backward-algoritmen: forward-gennemløbet (“filtrering”) beregner fordelingen af θ_t givet spillene til og med tid t; backward-gennemløbet opgraderer til “glatning”, dvs. fordelingen givet alle spil — det er den, kurven viser: E[φ_t | y_1:n] med punktvise 2,5 %- og 97,5 %-fraktiler som bånd. Initialfordelingen er uniform på griddet.

Hvor stor skal σ så være? Det afgør vi med empirisk Bayes: for hver kandidat i {0; 0,03; 0,07; 0,15; 0,30} beregner forward-gennemløbet som biprodukt den marginale likelihood p(y_1:n | σ) — sandsynligheden for hele den observerede spilrække, når tilstanden er integreret ud. “auto” vælger kandidaten med størst marginal likelihood. Forskellen i log marginal likelihood mellem bedste driftmodel og σ = 0 er en log-Bayes-faktor: omkring 0 betyder ingen evidens for drift, over ca. 1 nogen evidens, over ca. 3 klar evidens (svarende til likelihoodforhold på hhv. ~1, ~3 og ~20). Bemærk at driftmodellen kun ser de afgjorte spil, dvs. den beskriver drift i φ_t; uafgjort-andelen p_O antages konstant.

Den grå stiplede kurve i figuren er et rent empirisk glidende gennemsnit (centreret vindue på 21 afgjorte spil, tegnet ved vinduets midte) — godt som “rå” reference, men i modsætning til modellen skelner det ikke mellem ægte drift og tilfældig variation.

Startereffekt

Fordi starteren randomiseres ved møntkast, er “hvem starter” uafhængig af alt andet — en startereffekt kan derfor tolkes kausalt, som i et randomiseret forsøg. Vi rapporterer to ting. Først den simple: andelen af afgjorte spil vundet af starteren, testet mod ½ med samme eksakte binomialtest som ovenfor. Dernæst odds ratio fra 2×2-tabellen starter × vinder. Odds er sandsynlighed delt med modsandsynlighed, p/(1−p), og

OR = odds(K vinder | K starter) / odds(K vinder | A starter)

OR = 1 betyder ingen startereffekt; OR = 2 betyder, at odds for sejr fordobles ved at starte. Estimatet bruger Haldane–Anscombe-korrektionen (+½ i alle fire celler, robust mod nul-celler), og 95 %-intervallet er Wald-intervallet på log-skala: exp(log OR ± 1,96·SE) med SE = √(1/a+1/b+1/c+1/d). Det er samme OR, man ville få som exp(β) i en logistisk regression af vinder på starter. Søjlerne nedenfor viser de fire betingede vinderandele direkte.

Tragtdiagrammet

Føringen D_m = (antal K-sejre) − (antal A-sejre) efter m afgjorte spil ændres med ±1 pr. spil. Er I lige gode (φ = ½, ingen drift), er D_m en symmetrisk simpel random walk: E[D_m] = 0 og SD(D_m) = √m. Det grå bånd ±1,96·√m viser altså, hvor føringen “burde” ligge under H₀. Båndet er punktvist: ved hvert enkelt m er der 95 % sandsynlighed for at ligge indenfor — men set over hele forløbet vil selv en H₀-sti krydse båndet noget oftere, så et enkelt kortvarigt udbrud er ikke i sig selv bevis.

Forbehold

Modellerne antager uafhængighed mellem spil og (indenfor hver model) ens fordeling. Kigger man løbende på statistikken og “stopper når det ser signifikant ud”, inflateres fejlrisikoen — det klassiske sequential peeking-problem; Bayes-faktorer og posteriorer er mindre følsomme overfor det end p-værdier, men ikke immune. Og med ca. 180 afgjorte spil kan kun forskelle på mere end ±7-8 procentpoint fra ½ skelnes fra støj.