‘Publiek niet lastig vallen met marges’

 Door Wouter van Loon
Boer Zoekt Vrouw brak zondag 31 januari opnieuw het kijkcijferrecord. Volgens Stichting Kijkonderzoek (SKO) stemden 5,2 miljoen kijkers af op het datingprogramma, honderdduizend meer dan de week ervoor. Ook persbureau Novum pikte het nieuws op. Maar was het record wel een echt record?

De SKO is verantwoordelijk voor de methode van het kijkcijferonderzoek. Op haar site legt de stichting in een rapport van 83 kantjes verantwoording af over de manier waarop het onderzoek wordt uitgevoerd. Kort samengevat: een ‘representatief samengesteld testpanel’ heeft een kastje op de tv aangesloten, dat alle gegevens registreert. Er nemen ongeveer 1200 huishoudens deel aan het onderzoek, wat betekent dat ongeveer 2800 personen meedoen. Alle ‘kastjeskijkers’ moeten, wanneer de tv aangaat, inloggen op het kijkkastje en aangeven hoeveel gasten er meekijken, met een maximum van 99 personen. Met een knop op de afstandsbediening kan worden aangegeven wanneer er bijvoorbeeld koffie wordt gehaald en er dus niet naar de tv wordt gekeken. Het kastje registreert naar welk programma wordt gekeken en geeft dat door naar het onderzoekscentrum. De mogelijke afwijking van de steekproef wordt niet in het rapport vermeld, dus is niet te controleren of het nieuwe record in de marge van het onderzoek valt.

Onderzoeksmethode
Statisticus Jelke Bethlehem, gespecialiseerd in onderzoeksmethodes en werkzaam bij de Universiteit van Amsterdam, bekeek voor FHJ Factcheck het rapport. Volgens hem zit het kijkonderzoek goed in elkaar. “Over de representativiteit hoef je je geen zorgen te maken. Daar wordt heel goed naar gekeken, het panel wordt continu afgestemd op gegevens van het CBS.” Waar Bethlehem zich meer zorgen over maakt, is de afhankelijkheid van het panel. “Hoe weet de SKO dat de kastjeskijkers echt kijken en niet voor de tv in slaap zijn gevallen zonder dat te hebben aangegeven? En hoe weet je dat het aantal ingevulde gasten klopt?”
Volgens Bas de Vos, directeur van de SKO, zijn er voldoende controlemechanismen. “Als er lang niks gebeurt met de tv, gaan de alarmbellen af. En ook wanneer er 99 kijkers worden toegevoegd als dat niet realistisch is. Daarnaast bellen we steekproefsgewijs na of de informatie die we hebben binnengekregen wel klopt.”

Marges
De Vos wil niet zeggen wat de marges van het onderzoek zijn. “Wij willen het publiek daar niet mee lastig vallen. Het gaat er om dat we betrouwbare cijfers aanleveren, met de marges wordt het verhaal alleen maar onoverzichtelijk.”
Volgens statisticus Bethlehem zou het goed kunnen dat de honderdduizend extra kijkers die voor het kijkcijferrecord zorgden binnen de marge van het onderzoek vallen. “Ik weet dat bij politieke peilingen waarbij het panel even groot is, de afwijking ongeveer drie procent is.”

Om er achter te komen hoe groot de marges van het onderzoek van de SKO ongeveer zijn, is Lex Olivier wel bereid om een berekening te maken. Hij is ombudsman van MOA, een centrum dat de kwaliteit van marktonderzoeken bewaakt. “We leven met zestien miljoen mensen in Nederland. Daarvan valt een gedeelte af, omdat ze bijvoorbeeld te jong zijn of in een verzorgingstehuis zitten. Dus laten we zeggen dat de onderzoekspopulatie van Stichting Kijkonderzoek  tien miljoen Nederlanders bevat . Er waren ongeveer vijf miljoen kijkers, dus ongeveer vijftig procent keek naar Boer Zoekt Vrouw.” Omdat niet precies bekend is hoe groot de onderzoekspopulatie is, gebruiken we in de berekening een ruimer panel, zodat de marge in elk geval niet te hoog uitvalt.  “Laten we uitgaan van een panel van 3500 mensen”, stelt Olivier voor. “De echte kijkcijfers liggen dan ongeveer tussen de 48 en 51 procent.” (Voor berekening, zie volgende alinea) De berekening is vrij ruw, benadrukt de ombudsman. “Er wordt twee keer hetzelfde panel geraadpleegd, daar gaat deze berekening niet van uit. Daardoor ontstaan andere afwijkingen dan wanneer er twee keer naar een verschillend panel wordt gekeken. Maar dat zal aan dit overallbeeld niet veel veranderen.”

Berekening
In het boekje ‘Publiceren over onderzoek’, uitgegeven door de Vereniging voor Marktonderzoekbureaus, staat uitgelegd hoe de marge van een steekproef kan worden berekend. Daarvoor gebruikt de vereniging de volgende formule:

M=K *(√((p*(100-p)/n))

Waarbij geldt:
M=de marge, die werkt twee kanten op. Bij een uitkomst van vijftig procent en een marge van één procent liggen de echte cijfers dus ongeveer tussen 49 en 51 procent.
K=de zekerheid waarmee je iets over de marge kunt zeggen. In dit geval is voor 95 procent gekozen, de gebruikelijke waarde voor K. Daarvoor geldt volgens ‘Publiceren over onderzoek’: K=1.96.
P=percentage dat uit de steekproef komt.
N=aantal bevraagde personen.

In het geval van de berekening van Olivier geldt:
K=1.96
P=50
N=3500

Dat leidt tot de volgende formule:
M=1.96*(√((50*(100-50)/3500))
M=1.66
Het ‘universumpercentage’ ligt dus tussen de 48.34 en 51.66 met een betrouwbaarheid van 95 procent.

Kijkcijferrecord?
Een simpel rekensommetje laat zien dat de honderdduizend extra kijkers binnen de berekende marges vallen: als de steekproef uitwijst dat er vijf miljoen kijkers waren, keken er in werkelijkheid ongeveer tussen de 4,8 miljoen en 5,1 miljoen mensen. Een verschil van driehonderdduizend kijkers. Van een nieuw record kun je bij honderdduizend extra kijkers dus niet spreken, denkt Olivier. “Voor je een afwijking kunt vaststellen, moet het verschil in dit geval ongeveer 350.000 kijkers zijn.”
Leoni van de Schraaf, coördinator van de entertainment redactie van Novum, is bekend met de marge van ongeveer drie procent. “Maar wij gaan uit van de cijfers van de SKO.” Het nieuws komt niet uit een persbericht van de SKO, aldus Van de Schraaf. “We gaan daar zelf achteraan. Elke week vergelijken we de kijkcijfers met die van de voorgaande week. In dit geval bleek er een record te zijn en dus hebben we het gemeld. De SKO is dag en nacht met de cijfers bezig, dus we gaan ervan uit dat het klopt.”

Conclusie
De honderdduizend extra kijkers die volgens het onderzoek van de SKO naar Boer Zoekt Vrouw keken, vallen binnen de marge van het onderzoek, die zo’n driehonderdduizend kijkers bedraagt. Je kunt dan ook moeilijk spreken van een nieuw kijkcijferrecord.

Bronnen:

http://boulevard.nieuws.nl/627716

Jelke Bethlehem (statisticus)

Bas de Vos (Directeur Stichting Kijkonderzoek)

Lex Olivier (Ombudsman MOA)

Leoni van de Schraaf (Coördinator entertainmentredactie Novum)

Advertenties

1 reactie

Opgeslagen onder Uncategorized

Een Reactie op “‘Publiek niet lastig vallen met marges’

  1. Pingback: Op de feiten « Wouter studeert af…

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s