ACM CCS Distinguished Paper Award voor onderzoek naar privacy in AI

Hoe kunnen we machinelearningmodellen trainen met gevoelige gegevens, zonder informatie prijs te geven over de personen van wie die gegevens afkomstig zijn? CWI-onderzoekers Marten van Dijk en promovendus Murat Bilgehan Ertan ontvingen tijdens ACM CCS 2026 in Den Haag een Distinguished Paper Award voor hun artikel 'Fundamental Limitations of Favorable Privacy–Utility Guarantees for DP-SGD'.

'Differentially Private Stochastic Gradient Descent' (DP-SGD) is een veelgebruikte methode om privacy te beschermen bij het trainen van AI-modellen. Tijdens het trainen voegt deze methode zorgvuldig gekalibreerde willekeurige ruis toe, waardoor het moeilijker wordt om vast te stellen of de gegevens van een bepaald persoon in de trainingsdataset waren opgenomen. Er is sprake van een afweging: meer ruis versterkt de privacybescherming, maar het kan ook de nauwkeurigheid van het resulterende model verminderen.

Ondergrens aan ruis voor privacy

De onderzoekers tonen wiskundig aan dat DP-SGD een fundamentele beperking heeft onder standaard worstcasescenario's voor mogelijke aanvallers. Ze leiden een ondergrens af voor de hoeveelheid ruis die nodig is om sterke privacygaranties te bieden. Hoewel deze ondergrens daalt naarmate het aantal trainingsstappen toeneemt, gebeurt dat uiterst langzaam: zelfs bij zeer grote aantallen trainingsstappen blijft de benodigde hoeveelheid ruis aanzienlijk. Hun experimenten bevestigen dat deze hoeveelheden ruis de nauwkeurigheid van modellen onder realistische trainingsomstandigheden aanzienlijk kunnen verminderen.

Marten van Dijk en promovendus Murat Bilgehan Ertan (beiden CWI en VU) ontvingen in november 2026 tijdens ACM CCS 2026 in Den Haag een Distinguished Paper Award.
Marten van Dijk en promovendus Murat Bilgehan Ertan (beiden CWI en VU) ontvingen in november 2026 tijdens ACM CCS 2026 in Den Haag een Distinguished Paper Award.

Afwegingen

Belangrijk is dat de bevindingen niet betekenen dat het onmogelijk is om machinelearningmodellen te trainen met behoud van privacy. Ze laten eerder zien dat DP-SGD fundamentele beperkingen heeft onder standaard worst-case-aannames over privacy. Door deze beperkingen expliciet te maken, biedt het onderzoek een betere basis om de afweging tussen privacy en nauwkeurigheid te beoordelen bij de ontwikkeling van machinelearningsystemen die met gevoelige gegevens worden getraind.

Computer Security bij CWI

Marten van Dijk leidt de onderzoeksgroep Computer Security (CSY) van CWI en is bijzonder hoogleraar Secure and Intelligent Computing aan de Vrije Universiteit Amsterdam. Murat Bilgehan Ertan is promovendus bij de onderzoeksgroep Computer Security van het CWI en is ook verbonden aan de Vrije Universiteit Amsterdam. De CSY-onderzoeksgroep van het CWI bestudeert hoe veilige computeromgevingen kunnen worden ontwikkeld, waaronder veilige machinelearningsystemen, met behulp van formele methoden en cryptografische bewijzen.

Promovendus Murat Bilgehan Ertan (CWI en VU) spreekt tijdens ACM CCS 2026 in Den Haag, november 2026.
Promovendus Murat Bilgehan Ertan (CWI en VU) spreekt tijdens ACM CCS 2026 in Den Haag, november 2026.

Headerfoto: Marten van Dijk, Murat Bilgehan Ertan en andere prijswinnaars tijdens ACM CCS 2026 in Den Haag, november 2026.

Foto's: Shirui Shen van CWI's Computer Security onderzoeksgroep.