Veel bestaande datasets voor onderzoek naar haatspraak bevatten vooral korte berichten met expliciete scheldwoorden en beledigingen. En dat is eigenlijk best vreemd, vindt Davide Ceolin, leider van CWI's Human-Centered Data Analytics groep. “Haatberichten zijn vaak verwant met claims die onjuist of misleidend kunnen zijn. Deze kunnen de haatdragende boodschap versterken.”
CWI-postdoc Benjamin Ocampo en Ceolin liepen hier tegenaan toen ze samen met collega’s van de Rijksuniversiteit Groningen onderzoek wilden doen naar het herkennen van haatspraak. Ze wilden nagaan of AI-taalmodellen (LLM’s) menselijke moderatoren kunnen ondersteunen bij het tegengaan van haatspraak en misinformatie in online content. “Om de samenhang tussen haatspraak en misinformatie te onderzoeken, hadden we data nodig”, legt Ocampo uit. “Dat bleek een grote uitdaging.”
Eerste gecombineerde dataset
Eerst probeerden de onderzoekers bestaande datasets voor haatspraak en misinformatie te combineren. “Maar deze sets waren geen goede weerspiegeling van de praktijk”, zegt Ocampo. Daarom bouwden ze voort op een bestaande dataset met echte berichten van een white-supremacyforum, waaraan ze informatie toevoegden over welke claims het controleren waard zijn. Het resultaat is een van de eerste datasets die informatie over haatspraak en check-worthiness combineren. Met check-worthiness bedoelen de onderzoekers een verifieerbare uitspraak die vanwege mogelijke maatschappelijke betekenis of publieke belangstelling controle verdient.
“Op basis van de gecombineerde dataset ontwikkelden we een raamwerk dat menselijke beoordeling combineert met AI om beweringen te detecteren die gecontroleerd moeten worden”, zegt Ceolin. De groepsleider benadrukt dat het AI-model alleen kijkt of een bewering het controleren waard is, niet of het om misinformatie gaat.
Daarbij is het belangrijk om feiten van meningen te onderscheiden. Omdat het onderscheid tussen die twee onduidelijk kan zijn, worden normaliter meerdere menselijke beoordelaars ingezet bij het annoteren van onderzoeksdata. Bij de methode van Ceolin en Ocampo neemt een LLM een deel van dat werk over. Zijn mens en AI het eens, dan wordt het label overgenomen. Zijn ze het oneens, dan beslist een tweede menselijke beoordelaar. “De eindbeslissing blijft dus in mensenhanden”, zegt Ceolin.
Meer haat en intimidatie
Tests van deze werkwijze lieten zien dat het AI-taalmodel en de menselijke beoordelaar het in een substantieel deel van de gevallen eens waren met elkaar. “Vervolgens zochten we uit hoe haatspraak en feitelijke claims zich tot elkaar verhouden”, legt Ocampo uit. “We zagen dat haatberichten met claims die het controleren waard zijn, gemiddeld meer haat en intimidatie bevatten.”
Helpt informatie over claims die het controleren waard zijn een AI-model ook om haatspraak beter te herkennen? Dat bleek het geval, zagen de onderzoekers. “Het AI-taalmodel krijgt de claims die het verifiëren waard zijn als invoer. Door het model deze extra informatie mee te geven, herkennen grote AI-taalmodellen haatspraak nauwkeuriger”, zegt Ceolin.
Haatspraak tegengaan
De nieuwe dataset biedt ook mogelijkheden voor vervolgonderzoek, vertelt Ocampo. “We beschikken nu over de juiste elementen om te gaan experimenteren met het counteren van haatberichten. Denk aan een LLM die meteen reageert op het bericht met de mededeling: dit is een claim die gecheckt is en niet blijkt te kloppen.”
Wat doet het met onderzoekers om voor hun werk zoveel haatdragende berichten te moeten lezen? Ceolin en Ocampo halen hun schouders op. “Je moet het niet persoonlijk opvatten. We weten waar het vandaan komt”, zegt Ocampo. “En we zijn het wel gewend omdat we hier veel onderzoek naar doen”, vult Ceolin aan. “Maar het zijn wel zaken waar we over praten binnen onze groep.”
Meer informatie
Over de studie: When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech
