Een testmethode uit 1948

AD_logo-fc-verloop2Door Lars Verpalen

Artikelen van Wikipedia zijn vaak slecht leesbaar, aldus het Algemeen Dagblad op 5 september op zijn website. De Universiteit van Twente (UT) heeft hier onderzoek naar gedaan samen met het web-applicatiebedrijf Babbletics aan de hand van de ‘Flesch-Reading Ease-test’. Maar hoe betrouwbaar is een onderzoek als de methode stamt uit de jaren veertig en al jaren geleden is achterhaald?

Het zijn harde cijfers die uit het onderzoek ‘Readability of Wikipedia’ komen. Volgens het AD blijkt dat na het onderzoeken van miljoenen pagina’s 73,5 procent van alle schrijfsels ‘redelijk moeilijk tot zeer moeilijk’ te lezen is. Gemiddeld krijgt een artikel een score van 51,2, wat in de Flesch-Reading methode neerkomt op ‘redelijk moeilijk’.  Om normaal gelezen te kunnen worden, zou ieder artikel een score tussen 60 en 70 moeten behalen.

Engelse pagina’s

Eerst eens een blik op de cijfers door het UT-onderzoek erbij te pakken van Teun Lucassen, Roald Dijkstra en Jan Maarten Schraagen. Snel blijkt dat het onderzoek alleen over de Engelse pagina’s van Wikipedia gaat; dat was in de berichtgeving niet naar voren gekomen. De uitkomsten zouden voortkomen uit het onderzoeken van miljoenen pagina’s. Wat blijkt: van het totaal aantal Wikipedia-pagina’s van 2.955.210 (op het moment van het onderzoek) zijn er meer dan een miljoen weggelaten, omdat deze bestonden uit artikelen van vijf zinnen of korter. Zo blijven er 1.710.752 artikelen over die meegenomen zijn in het onderzoek; er dus geen sprake van meerdere miljoenen. De overige uitkomsten komen in ieder geval overeen met de uitkomsten in het onderzoek.

Maar wat houdt de methodiek van de onderzoekers in? En wanneer is een tekst goed of juist minder goed leesbaar? De onderzoekers maakten gebruik van de Flesch-Reading Ease-test. Deze test beoordeelt de leesbaarheid van artikelen op twee criteria: de lengte van zinnen en de lengte van woorden. Een langere zin of een langer woord betekent volgens de test een moeilijkere leesbaarheidsgraad. Met die variabelen toegevoegd in een formule vormt zich een getal tussen de nul en honderd, wat zich laat vertalen van heel moeilijk leesbaar (nul) tot heel gemakkelijk (honderd).

Heeft leesbaarheid dan uitsluitend te maken met de lengte van zinnen en woorden? Uit een analyse van hoogleraar communicatie Carel Jansen en hoogleraar taalbeheersing Leo Lentz uit 2008 blijkt al snel het tegendeel. Zij behandelen de Flesch-formule als decennia-oude methode en geven het commentaar weer dat deze methode vorige eeuw al kreeg. ,,Opvallend genoeg duurde het een hele tijd, zeker in het Nederlandse taalgebied, voordat er door taalbeheersers vraagtekens werden gezet bij de wetenschappelijke onderbouwing van de leesbaarheidsformules. Maar toen was de kritiek ook niet mis te verstaan: (…)Maar het belangrijkste bezwaar tegen leesbaarheidsformules betrof de suggestie die de formules wekken dat het een koud kunstje zou zijn om een tekst begrijpelijker te maken. Je knipt een aantal zinnen doormidden, vervangt hier en daar een komma door een punt, kiest een aantal woorden die korter zijn dan wat er stond, en klaar is Kees. Kijk maar: volgens de formule is je tekst ineens een stuk eenvoudiger te begrijpen geworden.’’

Oorzaak-gevolg

Het oorzaak-gevolg-verband tussen de lengte van zinnen en woorden en de leesbaarheid van teksten wordt door Jansen en Lentz hard onderuit gehaald. Zij stellen bijvoorbeeld dat zaken als zinsmoeilijkheid, woordmoeilijkheid en samenhang tussen tekstelementen totaal niet worden meegerekend in de test. De leesbaarheid van artikelen kan door mensen thuis op internet net zo gemakkelijk onderzocht worden als in het universitair onderzoek. Echter blijft dit volgens de hoogleraren ‘oude wijn in nieuwe zakken’. ,,De wetenschappelijke basis is, ondanks de moderne technologie, nog net zo pover als in de jaren vijftig.’’

De Flesch-Reading Ease-test blijkt inderdaad uit 1948 te stammen en al vele malen achterhaald door betere formules. Zo is er LSA (Latent Semantic Analysis) dat woorden en teksten beoordeelt op hun samenhang en betekenis, of Coh-Metrix, dat teksten ’op zulke abstracte factoren als ‘verteltijd’, ‘intenties’, ‘ruimte’ en ‘personages’ analyseert en nagaat in hoeverre de verschillende zinnen in een fragment op die factoren samenhangen. “Dat is zowel methodisch als theoretisch een hele stap verder dan een berekening van het aantal woorden en lettergrepen in een zin”, aldus Lentz en Jansen. Ook deze beide formules zijn overigens op het wereldwijde web toegankelijk.

Zoveel stappen zijn er dus al gemaakt na de Flesch-test van meer dan zestig jaar oud en nog steeds blijft een grote variabele in de analyse van de hoogleraren open; de voorkennis van de lezer. ,,Lezers hebben de meeste moeite met het begrijpen van wat er niét gezegd wordt, met de verzwegen vooronderstellingen van de auteurs’’, verklaart Lentz. Dat deze in een dergelijk onderzoek als van de UT niet wordt meegenomen, is te begrijpen. Dat echter meerdere nieuwe methodes en de kennis over de zwakte van de huidige methodiek is genegeerd, is een moeilijk te verklaren keuze.

Meerdere media hebben de berichtgeving over het onderzoek van elkaar overgenomen. De discutabele betrouwbaarheid van het onderzoek zelf is de journalisten moeilijk te verwijten. Het is begrijpelijk dat zij er vanuit kunnen gaan dat informatie uit een universitair onderzoek actueel is en klopt. Echter, het kort checken van de in de artikelen gebruikte methode (de Flesch-test) had hen snel op het jaartal 1948 gebracht en wellicht ook aan het denken gezet.

‘Niets waard’

Hoogleraar Lentz vindt het merkwaardig dat een dergelijk onderzoek plaatsvindt op basis van enkel de Flesch-test. ,,Eigenlijk slaat het nergens op. De waarde van zo’n onderzoek is nul.’’ Lentz ziet de methode nog wel regelmatig gebruikt worden en wijt dat vooral aan onwetendheid: ,,Want Flesch is al lang achterhaald en zo’n onderzoek is gewoon niets waard.’’

AD-webredacteur Coen Brandhorst kan zich het artikel nog wel herinneren, maar geeft toe het ‘klakkeloos’ over te hebben genomen van de Telegraaf. ,,Als internetredactie hebben we geen tijd om zaken zo ver te checken, zo word je wel vaker voor het karretje gespannen.’’ Hij besluit om na het horen van de feiten het bericht van de website af te halen.

Bronnen:

http://repository.ubn.ru.nl/bitstream/2066/68295/1/68295.pdf

http://nederl.blogspot.nl/2012/09/de-leesbaarheid-van-wikipedia.html

http://www.ad.nl/ad/nl/5595/Digitaal/article/detail/3311455/2012/09/05/Artikelen-Wikipedia-vaak-slecht-leesbaar.dhtml

http://www.uic.edu/htbin/cgiwrap/bin/ojs/index.php/fm/article/view/3916/3297

About these ads

Een reactie plaatsen

Opgeslagen onder Algemeen Dagblad (AD)

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s