Een steekproef kan vertekenend zijn. Stel je houdt een enquête over mobieltjes en je belt een groepje mensen op hun mobiele telefoon met de vraag of ze een mobiele telefoon hebben. Dan antwoordt een groot percentage waarschijnlijk bevestigend. Maar het kan nog erger, zo blijkt uit de steekproef die het bureau Ecorys heeft gehouden onder de schippers over hun brandstofverbruik en of het wel effect heeft gehad dat er geld is gestoken in het programma Voortvarend Besparen.
Ik ben vast geen goede journalist, want ik ga niet onmiddellijk de resultaten van deze ‘steekproef’ van de daken schreeuwen, maar ben eerst maar eens rustig gaan kijken hoe ze gemeten hebben of liever: hoe ze ‘gestoken’ hebben. Want dat is wat: een steekproef. Argeloos ben je rustig aan het varen. Hangt er opeens een helikopter boven je schip. Commando’s glijden langs touwtjes op het dek, komen met veel misbaar de woning binnen en even later zie je ze met dozen vol boekhouding naar buiten komen. De commandant excuseert zich voor zijn mannen. Breed lachend licht hij toe: “Even checken of je eindelijk eens wat zuiniger bent gaan varen, beste man.” Dat is niet gebeurd hoor, maar dat is wel een echte steekproef. Keurige schippers willekeurig lastig vallen met vragen over hun besparing op de brandstof.
Ecorys heeft een zogenaamde steekproef gehouden. ‘Zogenaamd’ betekent hier: ‘maar niet echt hoor’. Het is namelijk helemaal geen steekproef. Het is een enquête. Een steekproef is een deel van het geheel direct benaderen, een enquête is iedereen benaderen en maar hopen dat veel mensen de moeite nemen om te reageren.
Een enquête klinkt toch wel heel wat minder spectaculair. Een enquête met een respons van 4,8 %. Op zich kun je daar wel iets mee. Dit zegt ons namelijk dat 95,2 % van de geënquêteerden niet of niet behoorlijk heeft gereageerd. Zijn dat mensen die de afgelopen drie jaar voortvarend hebben bespaard? Dat kun je niet weten, maar waarschijnlijk was het animo om aandacht te besteden aan brandstofbesparing bij de niet-antwoorders een stuk kleiner dan bij de wel-antwoorders. Nog waarschijnlijker is dat het verreweg de meesten geen donder interesseert, als ze eerst maar eens een fatsoenlijke vrachtprijs kunnen toucheren.
Het verneukeratieve is om het achteraf een steekproef te noemen, zodat je daar de statistische methoden van een steekproef op los kunt laten. Maar het was geen steekproef dus in de prullenmand met al die berekeningen. Het ademt een wetenschappelijk karakter uit, maar dat is het niet. Ze kunnen het niet laten op het ministerie dat ooit onderzoeksbureaus liet ‘bewijzen’ dat de Betuwelijn rendabel zou zijn: we kopen een onderzoek dat aantoont dat we gelijk hadden.
Dat rapport was dus weggegooid geld. Was dan ook het programma Voortvarend Besparen weggegooid geld? Voor zo ver je dat kunt afleiden uit een enquête onder 280 schippers, zie je dat het bij hen enig effect heeft gehad. Voor de rest zegt het niks.
Het had heus wel wetenschappelijk gekund hoor. Neem twee representatieve controlegroepen en volg hun brandstofverbruik door de jaren heen. Eén groep bestook je met info over je Voortvarend Besparen programma, de ander laat je gewoon z’n gang gaan. Dan kun je zien wat voor effect zo’n programma heeft. Dat de overheid voorlicht over nut en noodzaak van brandstofbesparing is prima. Maar dat voortvarende gegoochel met cijfertjes kunnen ze ons beter besparen.
Michel Gonlag
