Het PRIMA-onderzoek van het NIGZ: de kleren van de keizer en een ethisch vraagstuk

Drs. Bob van der Meer
Expertisecentrum voor Veiligheid, Rosmalen
24-08-2009

Inleiding

Hieronder volgt informatie over de indiening van het onder-zoeksvoorstel Proef-implementatie antipestbeleid (PRIMA) basisscholen door NIGZ bij ZonMw; het commentaar op de opzet van dit onderzoek en de resultaten die het onderzoek uitein-delijk heeft opgeleverd. Tot slot een aantal vragen dienaan-gaande.

Het onderzoeksvoorstel NIGZ

- Het Nationaal Instituut voor Gezondheidsbevordering en Ziektepreventie (NIGZ) maakt in 2000 de onderzoeksopzet, getiteld 'Proef-implementatie Anti-pestbeleid (PRIMA) basisscholen' en dient het bij subsidieverstrekker ZonMw in. Kosten: € 533 651,--.

- Ik word, als een van de twee deskundigen, door ZonMw gevraagd het NIZW-voorstel te beoordelen.

- Uit het voorstel wordt duidelijk dat het een direct vervolg is op het eerder door ZonMw gefinancierde trial die door TNO-PG werd uitgevoerd (1).

- Het nieuwe voorstel, de Proef-implementatie, is, volgens de tekst, gebaseerd op een antipestprotocol dat eerder door Olweus is ontwikkeld en in meerdere trials succesvol is ge-bleken. Achter deze opmerking wordt echter abusievelijk het jaartal 1991 geplaatst. In de referenties staat het juiste jaartal: 1993.

- Ook wordt in de tekst ten onrechte de term vijfsporenaan-pak aan Dan Olweus toegekend, in plaats van aan de bedenker van deze term B. van der Meer (2).

- Mijn oordeel over het onderzoeksvoorstel is vernietigend (3). Enkele citaten:

"Het probleem is dat alles wat de onderzoekers nu wensen in het eerste onderzoek (het TNO-Pgonderzoek) had kunnen worden gedaan en dat in de nieuwe aanvraag (de PRIMA-onderzoeks-aanvraag) eigenlijk alles onduidelijk is".

"Er is ook nog steeds geen zicht op de effecten van de in-terventies, waarbij aangetekend moet worden dat het onduide-lijk is welke interventies nu wel of niet worden toegepast. Waarschijnlijk heeft dit te maken met het feit dat men zich baseert op de onderzoeksmethode van Dan Olweus, wiens aanpak niet specifiek meet welke interventies effect hebben gehad en welke niet".
"Wil men echter het probleem oplossen - en willen de onder-zoekers dat, is de vraag - dan is het absoluut noodzakelijk na te gaan welke interventies welke effecten opleveren zodat andere scholen geïnformeerd kunnen worden over wat wel onder welke condities werkt".

"In dit verband is het zorgelijk dat ook binnen het voorlig-gende onderzoek wordt gewerkt met controlegroepen. Het is echter de vraag of het wel zinvol is om met controlegroepen te (gaan) werken, terwijl in het vorige onderzoek is aange-toond dat ook de controlegroepen aan de slag wilden gaan met de aanpak van pesten".

"Afgezien hiervan (de subsidiegever bewust informatie ont-houden, toevoeging bvdm), is absoluut onduidelijk wat er nu precies op de scholen gebeurt, wie welke activiteit naar welke doelgroep uitvoert en/of op welke wijze ouders, leer-krachten, leerlingen, de medezeggenschapsraad, oudervereni-ging, IB-er, directie waarbij wordt ingeschakeld dan wel op welke wijze alle betrokken partijen (pester, slachtoffer, de zwijgende middengroep, de leerkrachten en de ouders) worden geprofessionaliseerd".

"Samenvattend, een meer-van-hetzelfde onderzoek en het
rechtbreien van fouten uit het vorige onderzoek, met dezelf-de fouten".

Met de gefundeerde kritiek wordt niets gedaan.
Het onderzoek zelf wordt in handen gegeven van TNO-Leiden. De volgende TNO-medewerkers worden op het onderzoek gezet: A. van Dorst, K. Wiefferink, E. Dusseldorp, F. Galindo Gar-re, M. Crone en Th. Paulussen als eindverantwoordelijke.

De PRIMA-onderzoeksresultaten

De uiteindelijke PRIMA-onderzoeksresultaten zijn, zoals
voorspeld, desastreus:

Tabel 1: Aantal gepesten en pesters experimentele en contro-lescholen, jaar 2005-2006.

                         experimentele   controle-
                         scholen         scholen

              aantal     21% naar 14%    21% naar 16%
              gepesten   (daling 31%)    (daling 25%)

jaar                          niet significant
2005-2006

              aantal     8% naar 6%       7% naar 6%
              pesters    (daling 22%)     (daling 15%)

                              niet significant

Tabel 2: Aantal gepesten en pesters experimentele en contro-lescholen, jaar 2006-2007.

jaar          gegevens over het aantal gepesten
2006-2007     en het aantal pesters ontbreken/
              worden niet gegeven

Tabel 3: Aantal gepesten en pesters experimentele en contro-lescholen, jaren 2005-2006 en 2006-2007.

jaren         aantal      22% naar 9%     24% naar 10%
2005-2006     gepesten    (daling 60%)    (daling 59%)
2006-2007
                              niet significant

      
              aantal      7% naar 5%      8% naar 4%      
              pesters     (daling  )       (daling   )

                              niet significant

Welzijn van leerlingen

Terwijl in het onderzoeksvoorstel met geen woord wordt ge-rept over het meten van de factor welzijn van leerlingen, onderverdeeld naar: houding ten opzichte van school, plezier op school en zelfbeeld, wordt gesteld dat: "Zowel in het eerste als in het tweede leerjaar werd een significante re-latie gevonden tussen enerzijds afname in pesten en gepest worden en anderzijds toename van psychosociaal welzijn. Dat wil zeggen dat kinderen als gevolg van minder pesten en ge-pest worden een positievere attitude ten opzichte van school gaan ontwikkelen, meer plezier gaan ervaren en een positie-ver zelfbeeld ontwikkelen. Daarnaast ervaren ze minder negatieve gevoelens, minder psychosomatische klachten en tonen ze minder agressief gedrag".

Commentaar

De problemen met deze bewering zijn tweeledig. In de eerste plaats worden de namen van de meetinstrumenten niet gegeven. In de tweede plaats worden de resultaten op deze instrumen-ten van de leerlingen van de experimentele scholen niet ge-geven. En tot slot worden de resultaten op deze instrumenten van de leerlingen van de controlescholen ook niet gegeven. Als ze bij hen niet zijn afgenomen, zeggen bovenstaande ge-gevens niets en moeten ze worden weggelaten.

Onjuistheden

In de Conclusie (pagina 4) staat een eerste onjuistheid. Als volgt:
"Op de scholen die met de PRIMA-methode hebben gewerkt én bij de controlescholen is het aantal kinderen dat wordt ge-pest en kinderen die anderen pesten in twee jaar sterk ge-daald. Op scholen die werkten volgens de PRIMA-methode zijn deze dalingen groter dan bij de controlescholen; voor gepest worden is dit verschil statistisch significant, voor pesten niet".
Deze bewering is onjuist. Volgens eerdere opgave (tabel 1 en 3) zijn beiden niet significant.
 
In de Conclusie (pagina 4) staat een tweede onjuistheid. Als volgt:
"Het effect van PRIMA is het sterkst aantoonbaar onder leer-lingen die voor het eerste jaar deelnemen aan het project".
Ook deze conclusie is onjuist. Volgens eerdere opgave (tabel 1 en 3) zijn beiden niet significant.

In de Conclusie (pagina 4) moeten tot slot vragen worden ge-steld bij de volgende constatering:
"Het belang van dit resultaat wordt onderstreept door het in dit onderzoek gevonden verband tussen enerzijds de afname van pesten en gepest worden en anderzijds de toename in psy-chosociaal functioneren van leerlingen. Door die afname ontwikkelen de leerlingen een positievere attitude ten opzichte van school, een positiever zelfbeeld en gingen meer plezier ervaren. Daarnaast rapporteerden de leerlingen minder nega-tieve gevoelens, minder psychosomatische klachten en minder agressief gedrag.

De vragen zijn:
- Welke tests zijn hiervoor gebruikt (validiteit en betrouwbaarheid)?
- Waar is het resultatenoverzicht?
- Wat voor zin heeft het om bewuste tests bij de leerlingen van de experimentele scholen en ze niet bij de leerlingen van de controlescholen af te nemen?

De controlescholen hebben niet stilgezeten

Tot slot de zin: "Een belangrijke bevinding is dat ook de controlescholen in dezelfde periode niet stil hebben gezeten".

Commentaar

Dit had geen belangrijke bevinding mogen of moeten zijn en is het ook niet. Het was al een conclusie uit het eerste onderzoek. Het was niet alleen al een conclusie uit het eer-ste onderzoek, het was ook nog een forse kritiek op het on-derzoeksvoorstel (3) en voor mij een reden om te pleiten het PRIMA-onderzoek niet uit te (laten) voeren en in plaats daarvan het onderzoeksvoorstel 'Stimulering van prosociaal gedrag in het basisonderwijs, concept-voorstel voor interventie-onderzoek ter vermindering van pestgedrag
(Mooij, 2000) ervoor in de plaats te stellen.

Aanvullende informatie

De samenvatting van de onderzoeksresultaten van het PRIMA-onderzoek rammelt van alle kanten. Voor een goed beeld van de resultaten is derhalve de volgende informatie noodzake-lijk:
- Tabel 2: Het aantal gepesten en pesters experimentele en controlescholen, jaar 2006-2007, in percentages en signifi-cantie.
- De namen en andere relevante informatie van de instrumen-ten om het welzijn van leerlingen van de controlescholen te meten.
- De resultaten van de leerlingen van de controlescholen op de instrumenten om het welzijn van de leerlingen van deze scholen te meten.
- De argumenten om het welzijn van de leerlingen van de con-trolescholen niet te meten.

De kleren van de keizer, waarna de ethiek

Zoals voorspeld heeft ook dit tweede - het op voorstel van NIGZ door TNO uitgevoerde - onderzoek, dat een aantal jaren heeft geduurd en € 533 651 heeft gekost, niets opgeleverd. En nu komen de kleren van de keizer.
Het persbericht dat het NIZW op 1 februari 2008 uitbrengt rept met geen woord over het volledig mislukken van het on-derzoek, waarna de PRIMA-methode gebaseerd wordt op de aan-pak die de psycholoog en wetenschapper Dan Olweus uit Noor-wegen heeft ontwikkeld, wiens methode, nog steeds volgens het persbericht, succesvol was geïntroduceerd onder meer in Noorwegen, Canada, Finland en België en nu ook naar de Ne-derlandse situatie is aangepast.
De NIGZ-PRIMA-onderzoeksaanvraag was, zoals we eerder hebben gezien, gebaseerd op de methode van Dan Olweus. Het NIGZ-on-derzoek is, zoals voorspeld, volledig mislukt. Hoe durft men dan alsnog te spreken over de succesvolle Dan Olweus metho-de?

Het gaat nog verder en dan wordt het echt onethisch. Mede-werkers van GG en GD-en en Onderwijsbegeleidingsdiensten worden door het NIGZ uitgenodigd deel te nemen aan een train de trainers-cursus om zich te bekwamen in de succesvolle prima-methode. Hiervoor wordt per deelnemer € 2650,-- ge-vraagd. Eenmaal opgeleid gaan ze zelf op zoek naar scholen voor basisonderwijs die zij twee jaar op een structurele aanpak van pesten begeleiden. De scholen betalen hier € 7 000,-- voor. Lukt het een ondersteuner een school te vinden, dan draagt hij/zij per school een eenmalig licentie-bedrag van € 500,-- aan het NIGZ. Lukt dit niet binnen twee jaar, dan moet de ondersteuner tegen betaling weer in revisie.

Bob van der Meer

Noten
1 Buijs, G.J., Jong, A. de, Paulussen, T., Wijngaarden, J. (2002). Landelijk actieprogramma Schoolgezondheidsbeleid. Woerden: NIGZ.
2 Dit stuk is opvraagbaar bij Dit e-mail adres is beschermd door spambots, u heeft Javascript nodig om dit onderdeel te kunnen bekijken .
3 Dit stuk is eveneens op te vragen bij Dit e-mail adres is beschermd door spambots, u heeft Javascript nodig om dit onderdeel te kunnen bekijken .