Peter Grünwald krijgt ERC Advanced Grant voor onderzoek naar revolutionaire statistische theorie

Peter Grünwald, senior onderzoeker in de Machine Learning onderzoeksgroep van het Centrum Wiskunde & Informatica (CWI) en hoogleraar Statistisch Leren aan de Universiteit Leiden heeft een ERC Advanced Grant gekregen voor zijn onderzoek naar de ontwikkeling van een nieuwe, revolutionaire theorie over statistiek.

Publicatiedatum
11 april 2024

Grünwald zal de prestigieuze topsubsidie van 2,5 miljoen euro gebruiken voor de ontwikkeling van een nieuwe, robuustere en flexibelere statistische theorie, gebaseerd op het nieuwe concept van de ‘e-waarde’. Dit zal leiden tot betrouwbaardere methoden om te bepalen of wetenschappelijke resultaten statistisch wel of niet significant zijn. Kortom: de e-waarde is de nieuwe p-waarde.

Replicatiecrisis, p-waarden en betrouwbaarheidsintervallen

Of experimentele resultaten significant zijn en niet door toeval zijn ontstaan, wordt traditioneel bepaald aan de hand van p-waarden, een methodologie die grotendeels in de jaren ‘30 van de 20e eeuw is ontwikkeld. Later werd dit uitgebreid met betrouwbaarheidsintervallen - foutbalken rond grafieken die bijvoorbeeld veel gebruikt werden door het RIVM tijdens de COVID pandemie briefings om de onzekerheid over het precieze aantal besmette mensen uit te drukken.

"Maar p-waarden en betrouwbaarheidsintervallen zijn niet geschikt voor de manier waarop wetenschap vandaag de dag wordt bedreven", zegt Grünwald. "Beide zijn uitgevonden voor eenmalig onderzoek. Het is niet correct om nieuwe gegevens toe te voegen en de p-waarde of het interval vervolgens opnieuw te berekenen, maar dat gebeurt wel voortdurend in modern onderzoek. Als bijvoorbeeld een experimentele uitkomst van een medicijnstudie veelbelovend is, maar niet significant, breiden wetenschappers het experiment vaak uit door meer deelnemers toe te voegen. Als men dit proces blijft herhalen, zal het resultaat door puur toeval uiteindelijk een kleine p-waarde opleveren en significant lijken." In de praktijk leidt dit tot te veel vals-positieve wetenschappelijke conclusies - een fenomeen dat bekend is geworden als de 'replicatiecrisis'.

Peter Grunwald in front of whiteboard
Peter Grünwald in zijn kantoor bij CWI.

E-waarde

Volgens Grünwald hebben we in de praktijk veel meer flexibiliteit nodig dan de traditionele methoden kunnen bieden. In wezen vereisen al deze methoden - gebaseerd op p-waarden, maar ook bijvoorbeeld de populaire "Bayesiaanse" technieken - dat de onderzoeker van tevoren details specificeert die men niet wil of kan specificeren: het totale aantal deelnemers aan een onderzoek, het aantal onderzoeken, de kosten en baten van bepaalde beslissingen, wat men zou doen als de dingen niet gaan zoals gepland (bijvoorbeeld als het geld onverwacht opraakt), enzovoort. Dit maakt ze zeer inflexibel en gevoelig voor onjuist gebruik.

Grünwalds onderzoeksvoorstel is gericht op een revolutionaire nieuwe statistische theorie -gebaseerd op de e-waarde- waarin al deze gegevensverzamelings- en beslissingsaspecten van tevoren onbekend mogen zijn. Grünwald: "De E-waarde berekent hoeveel bewijs je hebt tegen een bepaalde hypothese. Het is een waarde tussen nul en oneindig. Hoe hoger de waarde, hoe groter het bewijs dat de uitkomsten significant zijn ("het medicijn werkt", "het fenomeen is niet toevallig ontstaan"). In de praktijk wordt significantie in eenmalige situaties meestal geassocieerd met een p-waarde kleiner dan 0,05. Dit komt overeen met een E-waarde groter dan 20, dus je kunt zeggen dat als de E-waarde groter is dan 20, de uitkomst als significant kan worden geaccepteerd. Maar je kunt nu gegevens toevoegen zo lang als je wilt, stoppen wanneer je wilt en de E-waarde opnieuw berekenen, en nog steeds de interpretatie handhaven dat een E-waarde groter dan 20 betekent dat de resultaten significant zijn. Op dezelfde manier kun je op e-waarden gebaseerde betrouwbaarheidsintervallen maken die op elk moment geldig zijn: ze zijn geldig ongeacht wanneer of hoe vaak je ernaar kijkt."

Op e-waarden gebaseerde methoden zijn pas in 2019 ontstaan. Inmiddels kunnen ze worden gebruikt om verschillende eenvoudige maar belangrijke statistische problemen op te lossen. Grünwald speelde een essentiële rol in hun snelle ontwikkeling. Grünwald: "Een deel van het voorstel is om methoden te ontwikkelen voor complexere toepassingen van de e-waarde. Maar ik zal vooral een algemene wiskundige theorie van flexibele statistiek ontwikkelen. Ik ben erg blij dat de EU heeft besloten dit radicale voorstel te financieren. Het zal statistiek zowel veiliger als flexibeler maken - waardoor we betrouwbaardere conclusies kunnen trekken op basis van minder gegevens.”

Over Peter Grünwald

Peter Grünwald is senior onderzoeker in de Machine Learning-groep bij het CWI in Amsterdam, die hij leidde van 2016 tot 2023. Momenteel is hij lid van het Management Team van CWI. Daarnaast is hij parttime (0,2 fte) hoogleraar Statistisch Leren aan het Mathematisch Instituut van de Universiteit Leiden. Hij heeft vele subsidies ontvangen (waaronder NWO VIDI en VICI), was medevoorzitter van grote internationale machine learning conferenties en is mede-ontvanger van de Van Dantzig prijs (2010), de hoogste Nederlandse prijs in statistiek en operations research. Hij heeft een grote belangstelling voor de grondslagen van de statistiek en geeft regelmatig lezingen voor zowel een deskundig als een niet-deskundig publiek over de problemen en moeilijkheden rond traditionele statistische methoden.

Over de ERC Advanced Grant

De ERC Advanced Grant-financiering is een van de meest prestigieuze en competitieve EU-financieringsprogramma's (in 2023 werden slechts 10 subsidies op het gebied van wiskunde in de hele EU gefinancierd, op een totaal van 255 toekenningen). Het biedt onderzoekers de kans om ambitieuze, nieuwsgierigheidsgedreven projecten uit te voeren die kunnen leiden tot grote wetenschappelijke doorbraken. Ze worden toegekend aan gevestigde, toonaangevende onderzoekers met een bewezen staat van dienst van belangrijke onderzoeksprestaties in de afgelopen tien jaar. De financiering stelt deze onderzoekers in staat om hun meest innovatieve en ambitieuze ideeën te onderzoeken.

Meer informatie