Over Catherine de Vries en Jesse Frederik
Vooropgesteld: ik zou ook nerveus worden als Jesse Frederik een weekend lang ging checken of ik mijn werk wel goed deed.
Ik hoop dat ik in zo’n situatie eerlijk zou reageren. Ik ben niet geschokt dat er wel eens iets kan schorten aan empirisch-statistisch politicologisch onderzoek – dat lijkt me namelijk een ontzettend ingewikkeld vakgebied. Ik schrijf dit omdat ik teleurgesteld was door de zwakke reactie van Catherine de Vries op Frederiks kritiek op haar boek, De symfonie van onvrede. In haar repliek gingen een heleboel dingen mis die ik hier wil benoemen.
Mijn eigen priors: ik vind de migratie-‘discussie’ in Nederland op zijn best waanzin, en op zijn slechtst een vernislaagje op xenofobie en racisme. Ik geloof niet dat het succes van extreemrechts en radicaal rechts komt door objectieve problemen die met migratie samenhangen. Maar ook als mensen hardop zeggen “ik stem op de PVV want ik wil van al die buitenlanders af” betekent dat niet dat er verder niets meer te verklaren valt – waarom laten ze daar bijvoorbeeld nu hun stem door bepalen, terwijl ze dat vroeger niet deden?
Wat dat betreft stond ik bij voorbaat sympathiek tegenover het betoog van Catherine de Vries in De symfonie van onvrede: ik vermoed dat er een analyse mogelijk is van de opkomst van radicaal-rechtse xenofobe partijen die níet puur neerkomt op ‘anti-migratiestandpunten zijn een gegeven, en meer migranten betekent meer radicaal-rechts’.
Frederiks kritiek
Hoe verstandig en goed geïnformeerd ik ook ben: mijn meninkjes zijn allemaal lekenpoliticologie en -duiding. De toegevoegde waarde van serieuze onderzoekers is dat ze erover nadenken hoe je dit soort vermoedens kunt toetsen. De Vries’ eigen vermoeden is dat de opkomst van extreemrechts causaal samenhangt met het terugtrekken van de overheid. Één element in haar onderbouwing, dat een centrale rol speelt in het hoofdstuk van haar boek over Italië, is een ‘natuurlijk experiment’: een interventie van de Italiaanse overheid droeg specifiek voor gemeenten onder de 5000 inwoners bij aan de verschraling van publieke voorzieningen daar. In gemeenten onder de 5000 inwoners nam vervolgens de steun voor extreemrechts méér toe dan in gemeenten boven de 5000 inwoners. Zo gezegd wijst dat op een causaal verband.
Frederiks kritiek op dit experiment is dat de data die haar onderzoek gebruikt helemaal geen ‘knip’ laten zien rond 5000 inwoners (i.e. gemeenten vlak onder de 5000 inwoners zijn niet méér naar radicaal-rechts bewogen dan gemeenten er vlak boven); dat het gemeten ‘effect’ al optreedt voor de hervorming; dat als je andere getallen dan 5000 neemt om de populaties te verdelen – zelfs als je bijvoorbeeld gemeenten boven 7000 en onder 7000 inwoners neemt en álle gemeenten onder de 5000 inwoners buiten beschouwing laat! – je nog stééds een significant ‘effect’ meet; en dat je hetzelfde effect kunt meten in een context waar de interventie überhaupt niet heeft plaatsgevonden (nl. in Frankrijk). Frederik concludeert dat de data een veel simpeler verhaal vertellen, waarbij je die overheidsinterventie gewoon kunt vergeten: namelijk dat radicaal-rechts sneller is gegroeid in kleinere gemeenten dan in grote.
En nu De Vries weer
De Vries’ repliek begint met de verzekering dat ze een groot voorstander is van open debat en kritische journalistiek. Ze heeft ook met Gijs Groenteman en Marianne Zwagerman gepraat, dat hoort er allemaal bij. Maar bij wat Frederik is gaan doen wil ze “een grens trekken”.
“Niet bij stevige kritiek of debat, maar bij een werkwijze waarin selectieve lezingen van de literatuur, AI-gestuurde interpretaties en journalistieke polemiek leiden tot verkeerde conclusies. Frederiks stuk bevat verschillende feitelijke onjuistheden, selectieve interpretaties en methodologische tekortkomingen. Wat daarbij vooral wringt, is dat tijdens de correspondentie met Frederik na mijn optreden in zijn podcast een situatie ontstond waarin ik als wetenschapper journalistieke kritiek en AI-gegenereerde analyses over mijn eigen onderzoek moest gaan fact-checken.”
Spoiler: in de rest van haar stuk zal ze er mijns inziens niet in slagen een feitelijke onjuistheid te noemen. Het kan natuurlijk best dat Frederik iets over het hoofd heeft gezien, maar in plaats van haar betoog daarop te richten, lijkt De Vries zich er boos over te maken dat hij zo zijn best heeft gedaan. Het gekeuvel van Groenteman en het burn-it-all-down populisme van Zwagerman, dat is rolvaste journalistiek; de grens ligt bij een brutale aap die denkt dat hij op een technisch wetenschappelijk artikel kan ingaan.
‘Een karikatuur van het boek’
De Vries vindt dat Frederik haar in de mond legt dat ze ontkent dat zorgen over migratie belangrijk zijn voor steun aan radicaal-rechtse partijen. Zij ontkent niet dat migratie belangrijk is, maar ze vindt het vooral het punt “waar andere zorgen samenkomen”. Frederik versmalt dit tot een “of-of” frame.
Het onaardige antwoord daarop is dat De Vries dat frame zelf regelmatig meebrengt. In het FD schreef ze na de overwinning van de PVV:
“Een harde kern van radicaal-rechtse stemmers zal zeker worden gedreven door kritiek op het migratiebeleid. Toch is dit niet de reden waarom grote groepen kiezers van het politieke midden opschuiven richting radicaal-rechtse partijen. Een belangrijkere drijfveer is de uitholling van publieke voorzieningen.”
Nu was haar punt ook toen niet dat migratie er geheel níet toe deed, maar dat EVP-leider Manfred Weber het mis had als hij dacht dat Europa de opkomst van radicaal-rechts alleen kon stuiten door immigratie aan te pakken. Maar voor een wetenschapper die beweert een of-of-frame te willen vermijden, is ‘het is niet A, B is belangrijker’ op z’n best vrij belabberde communicatie.
Wat ook niet helpt, is dat De Vries in haar boek migratie níet noemt waar je dat wél zou verwachten van iemand die migratie een belangrijke oorzaak vindt van de opmars van radicaal-rechts. Zie bijvoorbeeld de inleiding:
“De boodschap van dit boek is dat er onder de melodieën van radicaal-rechts een dieper ritme ligt dat de toon zet: de gestage afbraak van publieke voorzieningen, veroorzaakt door de politieke keuzes van middenpartijen – het afschudden van hun ideologische veren, de uitverkoop van de staat aan de markt en het herdefiniëren van de kiezers als consument.”
De Vries noemt (im)migratie uiteraard veel, maar altijd in discursieve termen: als frame, als symbool, als iets waarop onvrede wordt geprojecteerd, et cetera. Dat vind ik op zichzelf allemaal best – je kunt migratie ‘als onderwerp’ politicologisch serieus nemen zonder mee te gaan in de gedachte dat migratie een objectief probleem is waar alles mee begint. Maar dat betekent wel dat er een inhoudelijk verschil is tussen De Vries’ benadering en die van Frederik, en dat Frederik dat verschil gewoon behoorlijk netjes samenvat – zij het soms een beetje schertsend. Zíj denkt dat de ‘onderliggende’ oorzaken elders liggen dan bij migratie; híj denkt dat de eenvoudiger verklaring wel degelijk hout snijdt – dat migratie wel degelijk een oorzaak is van de opkomst van radicaal-rechts, in de zin dat veel mensen tegen immigratie zijn en dat hoe meer immigratie er is, hoe meer zorgen zij zich erom maken.
Dat is een interessante en complexe discussie, waarin ik zogezegd ‘a priori’ meer aan De Vries’ kant sta maar waarin Frederiks argumenten mij sterk en relevant lijken. Frederik neemt bijvoorbeeld data mee die laten zien dat zorgen over migratie de aantallen asielverzoeken opmerkelijk goed volgen. Ik snap dan ook niet zo goed waarom De Vries zich zo miskend voelt. Zij en Frederik hebben verschillende causale opvattingen; het is volgens mij interessanter die uit te vechten dan erboven te gaan staan.
‘Een karikatuur van de wetenschappelijke discussie’
De Vries vindt dat Frederik niet alleen haar boek verkeerd leest, maar de hele wetenschappelijke discussie. Ze zwaait met een lange lijst namen van politicologen die onderzoek hebben gedaan naar migratie-opvattingen. “Van Holsteyn, Irwin, Pellikaan, De Lange, Van der Meer, Van der Brug, Fennema en Tillie […] Dancygier, Dinas, Golder, Maxwell, Norris, en Schaub. Voor lezers die dit zelf willen nalezen, heb ik aan het einde van dit stuk een uitgebreide literatuurlijst opgenomen.”
Die aanmoediging lijkt me niet gemeend, van iemand die liever met Gijs Groenteman en Marianne Zwagerman te maken heeft dan met Jesse Frederik. Het lijkt er meer op dat hier het expertise-argument alvast in stelling gebracht wordt: ‘kom maar terug als je dit allemaal hebt doorgeakkerd, Jesse.’
Ik wil best geloven dat Frederik het gehele veld van de politicologie over anti-migratiepartijen niet volledig recht doet in zijn stuk, al valt me bij herlezing ervan op dat hij over dat veld ook weer niet zo veel zegt. Hij suggereert wel duidelijk dat anti-migratieopvattingen als verklaring voor anti-migratiestemmen niet zo populair zijn, en zegt dat dat gevoel hem ook bekroop bij het boek van De Vries. Zijn kritiek gaat vervolgens niet over de toestand van het hele veld, maar over haar boek. Met het oog daarop komt De Vries’ lange reeks verwijzingen op mij niet over alsof ze vóór haar vakgebied staat, maar eerder alsof ze erachter probeert te schuilen.
In het artikel waar Frederik op inzoomt, klagen De Vries en haar mede-auteurs dat politicologen zich bij de verklaring van de opkomst van radicaal-rechts steeds maar op globalisering en migratie richten, en te weinig kijken naar publieke dienstverlening. Dit is een aanwijzing dat De Vries zelf een andere verklaringsrichting zoekt dan haar vakgenoten meestal doen. Het kan dus zijn dat Frederik ongelijk heeft over het veld als geheel, maar des te meer over De Vries.
‘De discussie over één specifiek artikel’
Op naar het springende punt. De Vries is er niet van gediend dat Frederik het in zijn hoofd heeft gehaald een discussie aan te gaan over ‘één specifiek artikel’, en dan ook nog eens precies dat van haarzelf.
Het gaat om:
“één specifiek peer-reviewed onderzoeksartikel dat ik samen met drie co-auteurs publiceerde in de American Journal of Political Science (Cremaschi, Rettl, Cappelluti, en mijzelf uit 2025). Het betreffende onderzoek kwam tot stand na vijf jaar gezamenlijk werk, is uitgebreid besproken op wetenschappelijke conferenties in de politicologie en economie, kritisch gelezen door collega-onderzoekers uit beide disciplines, en heeft vervolgens meerdere rondes van peer review doorlopen (een proces waarbij wetenschappers anoniem het werk van anderen beoordelen).”
Na de reeks verwijzingen in de vorige sectie van haar repliek, is dit de volgende ronde gewichtigdoenerij. Nu wil ik echt niet schamper doen over wetenschappelijke instituties. Conferenties zijn goed, dingen kritisch laten lezen door collega-onderzoekers is goed, peer review is goed. Maar iedereen die met die heilzame processen te maken heeft gehad, weet ook dat ze geen toverkrachten bezitten. Conferenties kunnen slaperig zijn, collega-onderzoekers kunnen het druk hebben, en peer reviewers zijn notoir grillige wezens.
Al deze instituties dienen niettemin een doel, en ze maken het inderdaad waarschijnlijker dat het eindresultaat deugt. De bevindingen van een artikel in een hoog aangeschreven peer reviewed tijdschrift hebben in beginsel terecht meer gezag dan die van een goede onderzoeksjournalist die het zonder die extra waarborgen moet doen. Allemaal tot je dienst. Tegelijkertijd is niets aan dit proces een troefkaart tegen duidelijke en goed onderbouwde kritiek. Frederiks kritiek is duidelijk en goed onderbouwd. Het kan dus zeker niet blijven bij ‘ja maar ik heb een peer-review-harnas’.
In afwachting van De Vries’ inhoudelijke antwoord worden we nog even getrakteerd op volstrekt niet terzake doende argumenten als: “Het bredere wetenschappelijke debat valt niet te reduceren tot een discussie over één statistisch model.” Ja, gunst, je zou maar eens iets tot iets reduceren. Zo wordt er de hele tijd om de hete brij heen gedraaid.
Frederik is er zo van overtuigd dat de conclusies van het onderzoek niet deugen dat hij een heranalyse bij het betreffende tijdschrift heeft ingediend. Dáár gaat De Vries écht reageren, belooft ze; want dat is “de meest geschikte plek voor een uitgebreide methodologische discussie over aannames, onderzoeksdesigns en statistische interpretaties”. Stuk Rood Vlees is, bij besluit van De Vries, wel een geschikt forum om de lezer op een ondoenlijk literatuurdieet te zetten, maar niet om de inhoudelijke discussie te voeren.
Rookgordijnen van statistisch jargon
Nou vooruit, ze wil hier wel “een aantal centrale methodologische punten” aanstippen. En dan wordt duidelijk wat de lezer al aan de voorafgaande tweeduizend woorden treuzelen had kunnen vermoeden: dat De Vries inhoudelijk met lege handen staat. Een poging de lezer bang te maken met de woorden “klassieke regression discontinuity-logica” en “difference-in-differences design” moet verhullen dat Frederik haar artikel harstikke goed gelezen heeft.
De ‘difference-in-differences’ analyse zegt dat gemeenten onder de 5000 inwoners meer naar radicaal-rechts opschoven dan gemeenten erboven. De Vries gebruikt dit in haar boek als onderbouwing voor het idee dat de verschraling van publieke voorzieningen in gemeenten kleiner dan 5000 inwoners invloed had op de groei van radicaal-rechts daar. Frederik denkt dat dit niet klopt, en één van zijn argumenten is dat er rond de 5000 inwoners niks bijzonders gebeurt. Nu heeft De Vries zélf gekeken naar wat er rond die grens gebeurt. “In Online Appendix H rapporteren wij deze analyses ook expliciet en transparant”, schrijft ze. Ze vergeet wel te vermelden wat de ‘expliciete en transparante’ conclusie daar is, namelijk: Frederik heeft gelijk, rond die grens gebeurt niets.
De Vries herhaalt de redenen die ze in het oorspronkelijke artikel noemt om zich hier niet te druk om te maken. Als je te dicht rond de drempelwaarde gaat kijken, heb je gewoon te weinig gemeentes over; er is wat onduidelijkheid rond de precieze data waarop de overheid haar hervorming baseerde, dus misschien gaat daar wat mis; en de andere statistische instrumenten tonen het vermoede effect nog altijd wél aan. Kortom, volgens haar is het niet per se een probleem dat we rond die grens niks zien.
Die redenering was in eerste instantie misschien genoeg; maar Frederik hield het niet bij de opmerking dat appendix H curieus genoeg geen effect liet zien waar je dit zou verwachten. Voor hem was deze constatering aanleiding te gaan spelen met de statistische instrumenten waar De Vries wél op vertrouwt, en te laten zien dat die belangrijke grens van 5000 daar bij nader inzien geen werk doet. Dat doet hij door te laten zien dat je evengoed andere getallen én trouwens ook andere jaartallen (die niets met de overheidsinterventie te maken hebben) had kunnen gebruiken. Deze statistische ‘placebo’s’ leiden tot hetzelfde soort bevinding als de oorspronkelijke getallen. Dat past goed bij zijn alternatieve verklaring: kleinere gemeenten bewegen sneller naar radicaal-rechts dan grotere.
De Vries vindt deze redenering problematisch. “Zoals experts op dit gebied, Eggers en collega’s in een artikel uit 2024, uiteenzetten, zijn placebo-tests alleen informatief wanneer de analyse[s] voldoende vergelijkbaar zijn met [de] oorspronkelijke analyse en design.” Eggers en collega’s zijn ongetwijfeld experts op dit gebied. Dat betekent wederom niet dat je je kunt verschuilen achter hun artikel, simpelweg op basis van handengewapper over dat er ‘iets aan de hand is’ met placebo-tests. Waarom blijft De Vries op cruciale momenten steeds steken in algemeenheden? Wil ze de lezer zelf aanmoedigen om te lezen wat er mis kan gaan met placebo-tests, om vervolgens zelf te bedenken welk van die problemen van toepassing zou kunnen zijn op Frederiks stuk? Of is het een rookgordijn – statistiek is moeilijk, dus neem maar van mij aan dat Jesse Frederik wel iets fout gedaan zal hebben?
Statistiek is moeilijk, en veel van het jargon gaat mij ver boven de pet. Ik vind het bijvoorbeeld lastig uit het artikel van Eggers c.s. te halen waar het aan schort in Frederiks redenering. Volgens mij is De Vries echter niet eerlijk in haar waarschuwing. Dit is mijn beste poging er chocola van te maken. De Vries zegt dat we van Eggers leren dat je de placebo-grenzen niet ‘willekeurig’ moet kiezen. De enige alinea in Eggers’ stuk waar ik iets uit kan halen dat daarop lijkt, is deze (mijn samenvatting volgt meteen erna):
“Studies using regression discontinuity designs (RDDs) very often include a placebo test in which the basic design is replicated at arbitrarily chosen “fake cutoffs” that do not affect any treatment (e.g., Folke, Persson, and Rickne 2016). In many cases, it is not clear what if any assumption these tests inform. Cattaneo, Idrobo, and Titiunik (2020, 89) describe them as tests of the continuity of potential outcomes, which is the key identification assumption behind most RDDs. But typically the concern is not that the CEF is jumpy everywhere; rather, we are concerned that the CEF is discontinuous at the threshold because the treatment might induce precise sorting or might be paired with another treatment. A placebo test using cutoffs elsewhere is not informative about these threats. Fake-cutoff placebo tests are potentially more informative about the unbiasedness (or more generally coverage rates) of the estimation procedure: when we apply it to a CEF we know is continuous (i.e., away from the threshold), how often do we reject the null? As such, researchers should test many fake cutoffs (not just a handful as shown in Cattaneo, Idrobo, and Titiunik [2020]) to report a credible estimate of the false positive rate, and they should discuss whether (due to differences in, for example, the curvature of the CEF, dependence across units, or the density of observations) the false positive rate might be different at the threshold versus elsewhere.”
Mijn vertaling-slash-interpretatie van deze waarschuwing is als volgt. Er zijn situaties waarin een andere (‘placebo’-)drempelwaarde kiezen leerzaam kan zijn, maar er zijn er ook waar dat eigenlijk niet zo relevant is. Stel dat je te maken hebt met een verband dat beschreven wordt door een functie die ergens discontinu is, en dat je een verklaringsmodel hebt dat zegt waaróm ze precies op dat punt discontinu is. Een criticus zou kunnen vermoeden dat er een ándere variabele is die die discontinuïteit verklaart. In dat geval is het kiezen van een ‘placebo’-waarde elders niet zo’n zinvolle toets, omdat het de bron van de mogelijke verwarring niet aanpakt. Wat leert het je dan immers om te weten dat de functie ergens ánders misschien óók discontinu is? Wanneer we echter weten dat het verband in kwestie continu is – de grafiek maakt geen ‘sprong’ rond de drempelwaarde – dan zou je je kunnen afvragen of je conclusies gevoelig zijn voor het ‘spelen’ met die drempelwaarde. Dat is wel relevant. Eerlijk spelen vereist dan wel dat je genoeg alternatieve drempelwaardes gebruikt.
Als ik dit allemaal goed begrijp, is Frederiks gebruik van statistische placebo’s in Eggers’ boekje een voorbeeld van correct gebruik. Er ís namelijk geen discontinuïteit bij 5000 inwoners – dat zou De Vries wel gewild hebben natuurlijk! – en Frederik laat zien dat in vergelijking met twintig andere drempelwaarden (gekozen tussen 1000 en 50 000 inwoners) de statistische instrumenten die De Vries gebruikt niks bijzonders laten zien rond 5000 inwoners.
Ten slotte wuift De Vries Frederiks vergelijking met Frankrijk als placebo-casus weg: ook daar hebben hervormingen plaatsgevonden “waarin gemeentegrootte en intergemeentelijke samenwerking een belangrijke rol speelden.” Einde argument. In tegenstelling tot bij haar vorige punten ben ik er nu zelf wel klaar mee het potentiële argument zelf uit haar tekst te moeten peuteren alvorens erop in te gaan. Het is me hier immers zoals gezegd meer te doen om de wijze waarop ze de discussie probeert te vermijden dan om het beslechten van die discussie zelf.
Ik durf op basis van De Vries’ weerwoord wel een voorspelling aan: als het tijdschrift hier op een of andere manier een oordeel over gaat vellen, gaat Jesse Frederik gelijk krijgen. De Vries is namelijk, wanneer ze wél goed beslagen ten ijs komt, helemaal niet zo’n slechte of onwillige communicator. Dat ze er niet in slaagt uit te leggen wat er schort aan Frederiks argumentatie is niet omdat ze niet kan schrijven, en gezien de lengte van haar stuk is het ook niet omdat het haar allemaal niks kan schelen. De overgebleven verklaring is dat ze eigenlijk wel weet dat ze het mis heeft.
‘AI, journalistiek en bewijsvoering’
Een laatste aanwijzing daarvoor zie ik in de modale werkwoorden die domineren wanneer ze in haar laatste sectie Frederiks openlijke gebruik van AI bij het schrijven van zijn commentaar bekritiseert.
“Code kan technisch correct draaien. Maar de onderliggende logica van het statistische model met bijbehorende aannames hoeft niet juist te zijn. Methodologische kritiek kan plausibel ogen zonder dat zij daadwerkelijk aansluit op het onderzoeksdesign dat wordt bekritiseerd, of zonder dat cruciale statistische aannames zijn getoetst.”
Dat kan inderdaad, en dat hoeft inderdaad niet, en dat kan. Een maatschappelijke discussie over AI in de wetenschap lijkt me overigens prima, maar dit is daarvoor geen aanleiding. Frederik begrijpt wat hij zegt, neemt verantwoordelijkheid voor zijn argumenten en conclusies, en is er alleen eerlijk over dat hij zelf niet in één weekendje alle relevante R-code had kunnen schrijven. Tenzij De Vries concreet wordt over wáár AI Frederik op het verkeerde been heeft gezet, is dit is de laatste in een reeks afleidingsmanoeuvres.
Juist
De Vries besluit haar repliek met een reeksje ‘juist’s. Ze maakt zich zorgen over “de manier waarop journalistiek, AI-gegenereerde analyses en wetenschappelijke kritiek hier door elkaar zijn gaan lopen.” Dus “juist omdat De Correspondent zichzelf profileert als een platform voor zorgvuldige, onafhankelijke journalistiek”, heeft ze drie suggesties: je moet extra verifiëren en transparant en terughoudend zijn “juist wanneer AI wordt ingezet”, je moet het debat en onderzoek zorgvuldig en evenwichtig weergeven, en je moet “juist bij complexe maatschappelijke fenomenen” bereid zijn je aannames te herzien.
Ik voeg er daar graag een paar aan toe. Juist wanneer je als academicus een publieksboek schrijft moet je niet piepen over rolverwarring. Juist als je vreest dat wetenschappelijke expertise onvoldoende wordt gewaardeerd, moet je die waardering verdienen in plaats van op je strepen te gaan staan. En wanneer iemand je werk serieus genoeg neemt om het zorgvuldig te bekritiseren, moet je die kritiek met open vizier tegemoet treden. Juist als wetenschapper.