Visiting Professor Nava Tintarev over AI, bias en onderzoekssamenwerkingen

Het CWI Visiting Programme is bedoeld om onderzoekers iets te bieden wat in de academische wereld kostbaar is: tijd, ruimte en nieuwe wetenschappelijke ontmoetingen. In mei kwam Nava Tintarev, hoogleraar Explainable AI, via dit programma naar CWI. Tijdens haar verblijf werkte ze samen met onderzoekers aan responsible AI en organiseerde ze mede een symposium over bias in AI.

Nava Tintarev is hoogleraar aan Maastricht University, voorzitter van de InformaticaTafel en bestuurslid van het Informatics Platform Netherlands (IPN). Voordat ze zich in Nederland vestigde, studeerde en werkte ze in verschillende landen, waaronder Zweden, Australië, Engeland, Schotland en Spanje. Ze heeft een bachelor in computer science en volgde daarnaast een minor in psychologie.

In haar hoogleraarschap komen deze twee kanten van haar expertise samen. Haar werk combineert computerwetenschap met onderzoek naar hoe mensen technologie ervaren en gebruiken. “Ik onderzoek onder meer hoe AI-systemen hun aanbevelingen beter kunnen uitleggen,” zegt Tintarev. “Denk aan Spotify of Netflix, waar je als gebruiker aanbevelingen krijgt voor bepaalde muziek, films of series. Vaak zie je wát het systeem aanbeveelt, maar niet waarom.”

Tintarev ontwikkelt interactieve uitleg voor zulke systemen. Daarmee kunnen gebruikers beter begrijpen hoe een aanbeveling tot stand komt, en kunnen ze die aanbeveling aanpassen of ter discussie stellen. Het doel is AI te ontwikkelen die niet alleen technisch goed werkt, maar mensen ook meer inzicht en controle geeft.

Tijdens je verblijf bij CWI organiseerde je samen met professor Laura Hollink van de Human-Centered Data Analytics-groep een symposium over bias in AI. Je gaf daar een keynote met de titel “Whom are you explaining to, and why?” Waarom is die vraag zo belangrijk?

“Uitleg kan nuttig zijn, maar mensen zijn het er niet altijd over eens waarom die uitleg nuttig is. Als mensen om verschillende redenen uitleg willen, kan dat ook betekenen dat de uitleg zelf verschillend moet zijn. Mensen begrijpen uitleg bovendien beter wanneer die op hen is afgestemd.”

Hoe groot is het probleem van bias in AI, waarbij systemen bepaalde patronen of groepen kunnen bevoordelen of benadelen?

“Het is enorm. En het is systematisch. We leven al in een wereld die niet in balans is. Sommige mensen hebben bijvoorbeeld meer kans dan anderen om een banklening te krijgen.

Wanneer je een groot taalmodel ontwikkelt, neem je beslissingen over wat je wel en niet meeneemt in het ontwerp. Het model kan vervolgens bepaalde patronen versterken en andere juist onderdrukken. En natuurlijk hebben mensen ook vooroordelen. Een bankmedewerker die inschat wie wel of geen lening krijgt, kan bevooroordeeld zijn, maar een AI-systeem kan dat ook zijn.

Als wetenschapper zie ik bias in data. We weten bijvoorbeeld dat hartaanvallen bij vrouwen lange tijd vaak niet werden herkend. Dat kwam niet noodzakelijk door bewuste discriminatie, maar door de data waarop medische kennis en besluitvorming waren gebaseerd. Als bias zichtbaar wordt gemaakt, kun je er iets aan doen.

Met mijn bezoek aan CWI hoop ik mensen samen te brengen die verschillende onderdelen van het AI-proces bestuderen: van de data waarmee systemen worden getraind, hoe modellen worden gebouwd en geëvalueerd, tot de manier waarop de uitkomsten worden uitgelegd en in de praktijk worden gebruikt.

Het symposium over bias in AI was helemaal volgeboekt, met deelnemers van bijna elke Nederlandse universiteit, uit verschillende disciplines, en van organisaties zoals banken, de Autoriteit Persoonsgegevens en TNO. We willen helpen een Nederlandse gemeenschap rond responsible AI op te bouwen.”

Wat hoop je uit je bezoek aan CWI te halen?

“Met Laura verken ik mogelijkheden om deze onderzoekslijn voort te zetten. Dat betekent ook dat we kijken naar mogelijkheden om samen onderzoeksfinanciering aan te vragen. Maar belangrijker nog: dit is een moment om na te denken over vragen als: doen we het juiste onderzoek, en welke vragen zouden we eigenlijk moeten stellen?

Daarnaast heb je echt ruimte in je agenda nodig om vrij te kunnen denken. In mijn dagelijkse werk is mijn tijd gevuld met administratie, onderwijs, begeleiding en de andere verantwoordelijkheden die horen bij een hoogleraarschap. Ik zit ook in verschillende commissies. Door al die vergaderingen zijn mijn dagen vaak versnipperd, waardoor het moeilijk is om langere periodes te vinden waarin je je op één ding kunt concentreren. Hier heb ik minder verplichtingen. Ik heb tijd om te lezen, te schrijven en te praten met mensen die ik normaal niet zou ontmoeten.”

Wat is je het meest bijgebleven van je tijd bij CWI?

“CWI is echt ingericht op wetenschap. Mensen krijgen hier veel vrijheid om te lezen, na te denken en nieuwe ideeën te ontwikkelen. Er is hier ook heel veel expertise aanwezig.”

Wat wordt mogelijk tijdens een visiting programme dat moeilijker te bereiken is via gewone vergaderingen of conferenties?

“Je kunt op een veel diepere manier expertise uitwisselen. Het is zoveel makkelijker om samen een onderzoeksvoorstel in te dienen, of om samen ergens aan te werken, als je elkaar kent en vertrouwt, elkaars werk kent en daar een dieper begrip van hebt.

Er is veel wat online kan, maar je kunt de zaadjes pas echt planten als je op dezelfde plek bent.”

Foto: Paul Roberts/CWI