Gelezen: gevecht tegen onzinstatistiek

Stel, je krijgt als wetenschapper een zak met geld, onbeperkte tijd en personeel. Welk onderzoek zou je dan doen? Stephan Smeekes kreeg die vraag voorgelegd van weekblad Observant en weet het wel: ‘onzinverbanden’ in big data onderzoeken. 

Door Yuri Meesen

Wist je dat mensen die veel kaas eten een grotere kans hebben om te sterven door verstrikking in hun beddengoed? En dat de kans op verdrinking na een val in een zwembad groter is in jaren waarin veel films van Nicholas Cage uitkomen?

Onzin natuurlijk. ‘Onderzoekers hebben voor de grap deze variabelen in een programma gestopt’, zegt Stephan Smeekes, datawetenschapper bij de School of Business and Economics van Maastricht University. ‘Toevallig zijn er meer mensen verdronken na een val in het zwembad in jaren met veel Nicholas Cage-films. Als dit een paar jaar achter elkaar ongeveer hetzelfde verloop heeft, duiken er sterke verbanden op als je de variabelen analyseert met statistische programma’s.’ Dat het om een ‘onzinverband’ gaat is niet altijd duidelijk. Zeker als het om enorme hoeveelheden data gaat.

Kleur van je haar

Niet alleen voor de wetenschap, ook voor bedrijven zijn correcte verbanden interessant, omdat ze daarmee precies de eigenschappen en wensen van hun (potentiële) klanten in kaart kunnen brengen, weet Smeekes. ‘Hiermee kunnen ze heel gericht adverteren. Maar denk ook aan verzekeringsmaatschappijen. Zij willen nu al graag je leeftijd en postcode weten; jonge mensen en inwoners van een drukke stad betalen een hogere premie omdat de kans op schade groter is.’ Big data kunnen tot in het kleinste detail onthullen welke eigenschappen en kenmerken ook riskant zijn: filmvoorkeuren, beroepen, of misschien wel iets totaal onverwachts zoals de kleur van je haar?

Juiste manier analyseren

Maar dan moeten de gelegde verbanden wel kloppen, stelt Smeekes. En daar kom je natuurlijk alleen achter als de big data op de juiste manier worden geanalyseerd. ‘De klassieke (SPSS-) methodes van statistici zijn niet meer geschikt voor de grote hoeveelheden gegevens die nu beschikbaar zijn, dus tegenwoordig komen er steeds vaker ingewikkelde computertechnieken aan te pas. Deze machine-learningtechnieken zijn in eerste instantie ontwikkeld om plaatjes en handschriften te herkennen uit enorme hoeveelheden: bijvoorbeeld om foto’s van katten uit duizenden plaatjes te halen.’

Ze kunnen ook patronen vinden in economische data, maar daar gaat het vaak mis. ‘De algoritmes maken connecties die ze niet zouden moeten maken. Zo is er voor de jaren 1971 tot en met 1990 een duidelijke relatie gevonden tussen het kindersterftecijfer in Egypte, het bruto-inkomen van Amerikaanse boeren en de hoeveelheid geld in Honduras. Ik zou graag willen kijken hoe ik de methodes en algoritmes kan aanpassen, zodat het programma zelf kan leren en ontdekken of iets onzin is. Daarvoor moet ik de wiskunde achter het algoritme helemaal uitschrijven en analyseren. Daar heb ik vooral ontzettend veel tijd voor nodig.’

Data en Covid-19

De onbetrouwbaarheid van de resultaten die nu opduiken is gevaarlijk, zegt Smeekes. ‘Als uit computeranalyses blijkt dat geslacht invloed heeft op het aantal schadeclaims bij verzekeringsmaatschappijen, dan moeten ze het – los van alle ethische aspecten – wel héél zeker weten als ze de premies gaan aanpassen. Hetzelfde geldt als de politie daderprofielen opstelt op basis van grote hoeveelheden data. Of als er bijvoorbeeld geprobeerd wordt de effectiviteit van bepaalde medicijnen tegen Covid-19 af te leiden door het combineren van veel verschillende data.’De betrouwbaarheid van deze resultaten vaststellen is daarom het tweede deel van zijn droomonderzoek. ‘Ik wil kunnen zeggen: “Met een zekerheid van x procent kunnen we stellen dat de resultaten uit de analyse overeenkomen met de werkelijkheid”. Als dat percentage heel hoog is kun je de kleinste en gekste details meenemen in bijvoorbeeld economische voorspellingen.’


Yuri Meesen is redacteur van Observant, onafhankelijk weekblad van Maastricht University.

Deze bijdrage komt uit IP #7/2020. Het gehele nummer kun je hier lezen.