LEESTIJD: 4 MINUTEN

FOTO: ANP / ANDRE BORGES

ONDERZOEK
Krijgt content moderation
de geest terug in de fles?

TEKST BERT PLATZER

Emillie de Keulenaar (1992) behaalde een bachelor aan de Universiteit Leiden, en een master aan het University College London, beide op het vlak van politieke filosofie. Ze behaalde een research master New Media and Digital Culture aan de Universiteit van Amsterdam, waar ze sinds 2017 onderzoeker is bij het Open Intelligence Lab. Sinds 2021 is ze onderzoeksconsultant bij het Innovation Network van de Verenigde Naties en promovenda aan de RUG.

Het is de taak van ‘contentmoderators’ desinformerende, haatzaaiende en intimiderende
‘content’ – in woord en beeld – te controleren en offline te halen als dat nodig is.
Emillie de Keulenaar onderzoekt bij de RUG hoe social media omgaan met online extremisme,
zoals van de Bolsonaro-aanhangers op Telegram. En voor de VN onderzoekt ze hoe moderation
kan worden ingezet voor vredesmissies.


‘Sociale media vinden dat ze alleen intermediairs zijn
en geen verantwoording dragen voor wat er gezegd wordt op
hun platforms’

Extremistisch gedachtegoed, complottheorieën en nepnieuws op internet: het lijken moderne problemen, die we het hoofd proberen te bieden met het modereren van content. Speech moderation is echter iets van alle tijden, zegt Emillie de Keulenaar. ‘Content moderation wordt geassocieerd met internet en hoe social media de uitingen weren die ze kwalificeren als extreem of onacceptabel, maar het heeft een veel langere geschiedenis. Na de Tweede Wereldoorlog had je de denazificatie, om de terugkeer van historisch nationaalsocialisme te voorkomen. Dekolonisatie, demilitarisatie en decommunisatie zijn daarmee vergelijkbaar. En in de westerse politiek had je tegen extreem rechts het cordon sanitaire.’

Engelse termen
De Keulenaar studeerde politieke filosofie en intellectuele geschiedenis én nieuwe media en digitale cultuur. Ze combineert deze twee wetenschapsgebieden om te onderzoeken hoe moderatiebeleid ontstaat en hoe als onacceptabel beschouwde content van een platform wordt verwijderd – deplatforming noemt ze dat – of weer opnieuw opduikt.

Wie zich afvraagt waarom er zoveel Engelse termen over tafel vliegen: we praten Engels. De achternaam van De Keulenaar mag dan Nederlandser klinken dan een fietsbel, die taal spreekt ze niet meer zo goed. ‘Mijn vader was Nederlands, mijn moeder Braziliaans. Ik ben in Nederland geboren, maar mijn moeder werkt voor de Braziliaanse ambassade, dus we verhuisden veel en ik heb hier eerder nooit echt gewoond. Wel in Brazilië, Italië, Thailand en Vietnam.’

De Keulenaar is aan de RUG verbonden als promovenda. ‘In mijn promotieonderzoek onderzoek ik de historische traditie van content moderation als politiek en sociaal project, en hoe dat zich op internet manifesteert. En ik bestudeer de langetermijneffecten van modereren op internet. Als content van het platform wordt gehaald, waar gaat het dan heen? De grote vraag is dus: hoe duurzaam is modereren en waar ligt de balans tussen censuur en een open dialoog?’

Bolsonaro
Op de social media van Bolsonaro-aanhangers keek ze naar de normalisering van zijn ideeën. ‘Tussen 1964 en 1985 was Brazilië een militaire dictatuur, daarna werd het land weer een democratie. Bolsonaro werd gezien als een bedreiging voor de democratie in de zin dat hij heel positief was over de dictatuur. Zijn presidentschap en zijn poging aan de macht te blijven werden versterkt door het verspreiden van het idee dat Brazilië moest terugkeren naar een militaire dictatuur. In Brazilië is dat heel controversieel.’

De Keulenaars onderzoek legde een zwak punt van social media-platforms bloot. ‘Ik heb de uitingen van Bolsonaro’s aanhangers op verschillende platforms bekeken, omdat platforms verschillen in de mate van tolerantie voor extreme politieke opvattingen. Op Telegram wordt bijvoorbeeld weinig tot niet gemodereerd, terwijl Facebook juist heel weinig tolereert. Maar toch zijn ideeën en initiatieven die op Telegram werden geplaatst, bijvoorbeeld om het parlement te bestormen, verspreid op andere platforms, min of meer in codetaal.

Facebook, Twitter en YouTube zitten voor hun content moderation vast in een Amerikaans perspectief. Daardoor keken ze vooral naar desinformatie over de verkiezingen in plaats van naar Braziliaans pro-militarisme, waarmee men in Amerika niet bekend is. Dat hielp de beweging van Bolsonaro zich te consolideren. Het laat zien hoe belangrijk het is dat beleid voor content moderatie nationaal is georganiseerd.’




Massaschietpartijen
Haar onderzoek laat bovendien zien hoe sociale media een rol vervullen in het normaliseren van extreem gedachtegoed, terwijl ze ooit zijn opgericht vanuit een Amerikaans, libertair idee van vrijheid van meningsuiting. ‘Ze vinden dat ze alleen intermediairs zijn en geen verantwoording dragen voor wat er gezegd wordt op hun platforms. Maar in 2018 werd dat argument onhoudbaar omdat plegers van massaschietpartijen hun manifesto's op sociale media propageerden, er fake news schandalen waren in de VS en de hate speech toenam. Dus versterkten ze de content moderation, maar werden ze geconfronteerd met het probleem dat ze geen platform voor iedereen konden zijn als ze te veel modereerden.’

Vredesmissies
Bij de Innovation Cell van de Verenigde Naties werkt De Keulenaar samen met softwareontwikkelaars aan een praktische toepassing voor haar onderzoek: een tool voor vredesmissies. 'Het functioneert als een soort app of website waarop peace builders en mediators conflicten kunnen monitoren op internet. Niet alleen op social media, maar ook op andere platforms. Je kijkt dan naar niveaus van hate speech, hoe beide kanten het conflict schetsen, wat hun narratieven zijn, wat de historische premissen zijn die ze gebruiken om hun positie te onderbouwen. Met de data die leden van vredesmissies zo te zien krijgen, kunnen ze bepalen hoe ze moeten ingrijpen in het conflict, om de kloof van wederzijds onbegrip te dichten. Dat kan door beide kanten van aanvullende informatie te voorzien, bijvoorbeeld informatie die beide kampen negeren of door die hun argumenten van context voorziet. Zo proberen ze gedeelde visies te creëren.’

Terug in de fles?
Het doet de vraag rijzen wat de toekomst van extreme politieke bewegingen en de verspreiding van complottheorieën is: krijgen we de geest ooit nog terug in de fles? ‘Dat is de vraag die aan de basis van mijn promotieonderzoek ligt', zegt De Keulenaar. 'Kun je echt iets deplatformen? En hoe duurzaam is dat? Sinds internet er is, is het extreme content ontnemen bij een platform veel moeilijker geworden dan toen het medialandschap nog werd gedomineerd door kranten, televisie en radio, omdat er toen veel meer controle door bijvoorbeeld de staat en journalisten was. Tot dusverre maakt content moderation bepaalde ideeën minder prominent, maar het laat ze niet verdwijnen.’

FOTO: ANP / ANDRE BORGES


LEESTIJD: 4 MINUTEN
ONDERZOEK
Krijgt content moderation
de geest terug in de fles?

TEKST BERT PLATZER

Emillie de Keulenaar (1992) behaalde een bachelor aan de Universiteit Leiden, en een master aan het University College London, beide op het vlak van politieke filosofie. Ze behaalde een research master New Media and Digital Culture aan de Universiteit van Amsterdam, waar ze sinds 2017 onderzoeker is bij het Open Intelligence Lab. Sinds 2021 is ze onderzoeksconsultant bij het Innovation Network van de Verenigde Naties en promovenda aan de RUG.


Sociale media vinden dat ze alleen intermediairs zijn en geen verantwoording dragen voor wat er gezegd wordt op hun platforms

Extremistisch gedachtegoed, complot-theorieën en nepnieuws op internet: het lijken moderne problemen, die we het hoofd proberen te bieden met het modereren van content. Speech moderation is echter iets van alle tijden, zegt Emillie de Keulenaar. ‘Content moderation wordt geassocieerd met internet en hoe social media de uitingen weren die ze kwalificeren als extreem of onacceptabel, maar het heeft een veel langere geschiedenis. Na de Tweede Wereldoorlog had je de denazi-ficatie, om de terugkeer van historisch nationaalsocialisme te voorkomen. Dekolonisatie, demilitarisatie en decommuni-satie zijn daarmee vergelijkbaar. En in de westerse politiek had je tegen extreem rechts het cordon sanitaire.’

Engelse termen
De Keulenaar studeerde politieke filosofie en intellectuele geschiedenis én nieuwe media en digitale cultuur. Ze combineert deze twee wetenschapsgebieden om te onderzoeken hoe moderatiebeleid ontstaat en hoe als onacceptabel beschouwde content van een platform wordt verwijderd – deplatforming noemt ze dat – of weer opnieuw opduikt.

Wie zich afvraagt waarom er zoveel Engelse termen over tafel vliegen: we praten Engels. De achternaam van De Keulenaar mag dan Nederlandser klinken dan een fietsbel, die taal spreekt ze niet meer zo goed. ‘Mijn vader was Nederlands, mijn moeder Braziliaans. Ik ben in Nederland geboren, maar mijn moeder werkt voor de Braziliaanse ambassade, dus we verhuisden veel en ik heb hier eerder nooit echt gewoond. Wel in Brazilië, Italië, Thailand en Vietnam.’

De Keulenaar is aan de RUG verbonden als promovenda. ‘In mijn promotieonderzoek onderzoek ik de historische traditie van content moderation als politiek en sociaal project, en hoe dat zich op internet manifesteert. En ik bestudeer de lange-termijneffecten van modereren op internet. Als content van het platform wordt gehaald, waar gaat het dan heen? De grote vraag is dus: hoe duurzaam is modereren en waar ligt de balans tussen censuur en een open dialoog?’

Bolsonaro
Op de social media van Bolsonaro-aanhangers keek ze naar de normalisering van zijn ideeën. ‘Tussen 1964 en 1985 was Brazilië een militaire dictatuur, daarna werd het land weer een democratie. Bolsonaro werd gezien als een bedreiging voor de democratie in de zin dat hij heel positief was over de dictatuur. Zijn presidentschap en zijn poging aan de macht te blijven werden versterkt door het verspreiden van het idee dat Brazilië moest terugkeren naar een militaire dictatuur. In Brazilië is dat heel controversieel.’

De Keulenaars onderzoek legde een zwak punt van social media-platforms bloot. ‘Ik heb de uitingen van Bolsonaro’s aanhangers op verschillende platforms bekeken, omdat platforms verschillen in de mate van tolerantie voor extreme politieke opvattingen. Op Telegram wordt bijvoorbeeld weinig tot niet gemodereerd, terwijl Facebook juist heel weinig tolereert. Maar toch zijn ideeën en initiatieven die op Telegram werden geplaatst, bijvoorbeeld om het parlement te bestormen, verspreid op andere platforms, min of meer in codetaal.

Facebook, Twitter en YouTube zitten voor hun content moderation vast in een Amerikaans perspectief. Daardoor keken ze vooral naar desinformatie over de verkiezingen in plaats van naar Braziliaans pro-militarisme, waarmee men in Amerika niet bekend is. Dat hielp de beweging van Bolsonaro zich te consolideren. Het laat zien hoe belangrijk het is dat beleid voor content moderatie nationaal is georganiseerd.’


Massaschietpartijen
Haar onderzoek laat bovendien zien hoe sociale media een rol vervullen in het normaliseren van extreem gedachtegoed, terwijl ze ooit zijn opgericht vanuit een Amerikaans, libertair idee van vrijheid van meningsuiting. ‘Ze vinden dat ze alleen intermediairs zijn en geen verantwoording dragen voor wat er gezegd wordt op hun platforms. Maar in 2018 werd dat argument onhoudbaar omdat plegers van massaschietpartijen hun manifesto's op sociale media propageerden, er fake news schandalen waren in de VS en de hate speech toenam. Dus versterkten ze de content moderation, maar werden ze geconfronteerd met het probleem dat ze geen platform voor iedereen konden zijn als ze te veel modereerden.’

Vredesmissies
Bij de Innovation Cell van de Verenigde Naties werkt De Keulenaar samen met softwareontwikkelaars aan een praktische toepassing voor haar onderzoek: een tool voor vredesmissies. 'Het functioneert als een soort app of website waarop peace builders en mediators conflicten kunnen monitoren op internet. Niet alleen op social media, maar ook op andere platforms. Je kijkt dan naar niveaus van hate speech, hoe beide kanten het conflict schetsen, wat hun narratieven zijn, wat de historische premissen zijn die ze gebruiken om hun positie te onderbouwen. Met de data die leden van vredesmissies zo te zien krijgen, kunnen ze bepalen hoe ze moeten ingrijpen in het conflict, om de kloof van wederzijds onbegrip te dichten. Dat kan door beide kanten van aanvullende informatie te voorzien, bijvoorbeeld informatie die beide kampen negeren of door die hun argumenten van context voorziet. Zo proberen ze gedeelde visies te creëren.’

Terug in de fles?
Het doet de vraag rijzen wat de toekomst van extreme politieke bewegingen en de verspreiding van complottheorieën is: krijgen we de geest ooit nog terug in de fles? ‘Dat is de vraag die aan de basis van mijn promotieonderzoek ligt', zegt De Keulenaar. 'Kun je echt iets deplatformen? En hoe duurzaam is dat? Sinds internet er is, is het extreme content ontnemen bij een platform veel moeilijker geworden dan toen het medialandschap nog werd gedomineerd door kranten, televisie en radio, omdat er toen veel meer controle door bijvoorbeeld de staat en journalisten was. Tot dusverre maakt content moderation bepaalde ideeën minder prominent, maar het laat ze niet verdwijnen.’

Het is de taak van ‘contentmoderators’ desinformerende, haatzaaiende en intimiderende ‘content’ – in woord en beeld – te controleren en offline te halen als dat nodig is. Emillie de Keulenaar onderzoekt bij de RUG hoe social media omgaan met online extremisme, zoals van de Bolsonaro-aanhangers op Telegram. En voor de VN onderzoekt ze hoe moderation
kan worden ingezet voor vredesmissies.