Advies 2014-05

Advies van … 2014 van het LOWI in de zaak van … van … 2013 tegen het (aanvankelijk) besluit van het … Bestuur van … van … 2013.

1. De Klacht

Op … 2013 heeft … (hierna Klager) een klacht ingediend bij het LOWI tegen het voorgenomen besluit van … 2013 van het … Bestuur van … (hierna Bestuur) inzake de op … 2013 door Klager ingediende klacht tegen … (hierna Beklaagde) wegens de mogelijkheid van fabricatie en/of falsificatie van onderzoeksresultaten in drie wetenschappelijke artikelen, te weten (1) …, (2) …, en (3) … samen met co-auteur … .

In het voorgenomen besluit neemt het Bestuur het advies van de ad hoc Commissie Wetenschappelijke Integriteit (hierna CWI) over en stelt het vast er in onvoldoende mate aanwijzingen zijn dat is gehandeld in strijd met normen van wetenschappelijke integriteit, echter dat sloppy science niet valt uit te sluiten.

In het CWI-advies wordt geconcludeerd dat de onderzoeksresultaten in deze drie artikelen weliswaar praktisch onmogelijk zijn, maar dat de CWI niet heeft kunnen vaststellen of er sprake is geweest van manipulatie van onderzoeksgegevens, omdat “de gegevens van de experimenten (…) niet meer te achterhalen blijken te zijn dan wel vernietigd zijn”. De CWI adviseert het Bestuur om een expression of concern bij de artikelen te laten plaatsen in de tijdschriften waarin de artikelen zijn gepubliceerd.

Klager is het op procedurele en inhoudelijke gronden niet eens met het voorgenomen besluit en het onderliggende CWI-advies. Naar de mening van Klager had de CWI archiefonderzoek moeten (laten) verrichten naar de experimenten, zoals die zijn verricht in …, meer onderzoeksassistenten moeten horen, andere artikelen van Beklaagde moeten bestuderen en de ruwe databestanden van de drie artikelen moeten laten onderzoeken.

Inhoudelijk is Klager het niet eens met de conclusie van de CWI dat sprake is geweest van sloppy science, respectievelijk van questionable research practices (QRP), nu Beklaagde kwestieuze onderzoekpraktijken juist met klem heeft ontkend. Naar de mening van Klager zijn er duidelijke aanwijzingen dat de statistische evidentie voor problemen in de artikelen, in het bijzonder de perfecte lineariteit van de statistische verbanden, niet verklaard kunnen worden uit … door Klager nader beschreven QRP en dat de handelwijze van beklaagde niet moet worden gecategoriseerd als QRP, maar als schending van wetenschappelijke integriteit. Een expression of concern is daarom een onvoldoende middel om de geconstateerde onregelmatigheden in de drie artikelen te kwalificeren.

Klager verzoekt het LOWI om een nader en grondig onderzoek te doen naar de mogelijkheid van fabricatie en/of falsificatie van de onderzoeksgegevens, waarbij zowel meer onderzoeksassistenten gehoord dienen te worden, archiefonderzoek in (…) universiteiten dient te worden verricht en waar mogelijk de ruwe databestanden opnieuw dienen te worden onderzocht.

2. De procedure

In zijn vergadering van 6-9-2013 heeft het LOWI besloten dat de klacht voor behandeling door het LOWI in aanmerking komt en dit per e-mail aan Klager en Bestuur meegedeeld. Het Bestuur werd in de gelegenheid gesteld om binnen vier weken een verweerschrift in te dienen. Het Bestuur heeft op 28-10- 2013 zijn verweer naar het LOWI verzonden, waarna Klager de gelegenheid om hierop een reactie te geven heeft benut op 17-11- 2013. Op 26-11-2013 ziet het Bestuur af van een eventuele laatste reactie.

Op 8-10-2013 heeft het LOWI een informatief gesprek gehouden met …, die als deskundige in eerste aanleg advies gegeven heeft aan de CWI over de statistische onregelmatigheden in de drie betwiste artikelen.

Eveneens op 8-10-2013 heeft het LOWI een informatief gesprek gehad met Klager, waarbij Klager een toelichting heeft gegeven op zijn procedurele en inhoudelijke klachtonderdelen. Nadat Beklaagde op de mogelijkheid is gewezen om zich als derde belanghebbende in de klachtprocedure van het LOWI te voegen en Beklaagde dit heeft gedaan, heeft het LOWI op 12-11-2013 informatieve gesprekken gevoerd respectievelijk met Beklaagde en met twee door Klager genoemde onderzoeksassistenten, … en ….

Onderwerp van het gesprek met de onderzoeksassistenten was de wijze waarop de experimenten in … werden verricht en op welke wijze de gegevens werden geregistreerd. Een verslag van alle informatieve gesprekken is aan partijen en betrokkenen verzonden.

Na deze informatieve gesprekken heeft het LOWI nadere schriftelijke vragen gesteld aan Beklaagde en diens co-auteur, …, waarop door beiden is geantwoord op 6-1resp. 5-1- 2014. Op 19-1- 2014 heeft Klager per brief gereageerd op de schriftelijke verklaringen van Beklaagde en co-auteur …. Op 2-2- 2014 gaf Beklaagde per brief een laatste reactie op Klager’s brief van 19-1- 2014.

Op 26-11- 2013 heeft het LOWI aan …, hoogleraar in de stochastiek en en bekend met het betreffende vakgebied van de betwiste artikelen , per e-mail verzocht een deskundigenadvies te geven over de statistische uitkomsten van het onderzoek van Beklaagde, met daarin geformuleerd schriftelijk vier specifieke vragen. Na zijn aanvaarding heeft het LOWI hem in december2013 het dossier en de USB-stick met de onderzoeksgegevens van het artikel uit … van … en , gepubliceerd in … toegezonden.

Op 16-1- 2014 ontving het LOWI van … het gevraagde deskundigenrapport, dat vervolgens voor commentaar werd doorgestuurd aan partijen en Beklaagde voor commentaar. Het Bestuur zag af van commentaar.

Beklaagde en Klager hebben schriftelijk op het deskundigenrapport gereageerd op 25-2- resp.26-2- 2014. De commentaren zijn door het LOWI aan partijen en Beklaagde gezonden.

Op 10-2- 2014 heeft een hoorzitting plaatsgevonden, waarbij aanwezig waren van de zijde van (1) het Bestuur:
…, ad hoc voorzitter CWI, en …, secretaris; (2) Klager; en (3) Beklaagde, vergezeld van …. Van de zijde van het LOWI waren aanwezig Prof. dr. mr. C.M.J. Schuyt, Voorzitter, Prof. mr. E.H. Hondius, plv. Vz, Prof. dr. J. Hartog, Prof. dr. J.W.M. van der Meer, Prof. dr. J. Reedijk, allen leden, en mevrouw Mr. dr. E.G. van Arkel, secretaris. Het verslag van de hoorzitting is aan alle aanwezigen gezonden met het verzoek dit op feitelijke onjuistheden te corrigeren. Hierna is het onderzoek gesloten.

3. Standpunten van partijen

3.1 Het standpunt van Klager

Klager onderscheidt in zijn klachtbrief van … 2013 twee soorten klachten tegen het aanvankelijk besluit van het Bestuur.

1. Inhoudelijk:

Beklaagde noch CWI hebben een verklaring kunnen vinden voor de praktisch onmogelijke lineariteit van de resultaten in 42 steekproeven, zoals gepubliceerd in de artikelen van Beklaagde uit …, … en …. Gangbare Questionable Research Practices (QRP) kunnen geen verklaring bieden voor deze patronen in de drie artikelen.

Klager is het niet eens met het advies van de CWI, die de suggestie van … heeft overgenomen dat de onwaarschijnlijke patronen van lineariteit in de … artikelen het resultaat zouden zijn van QRP. De meest gangbare QRP zijn niet toepasselijk op de drie artikelen van Beklaagde. Deze QRP zijn:

• verkeerd afronden van p-waarden, waardoor niet-significante uitkomsten als significant worden voorgesteld;
• het bijdraaien van onderzoeksgegevens, waardoor extra gegevens worden verzameld, nadat een eerdere analyse een niet-significant resultaat heeft laten zien;
• het selectief en heimelijk verwijderen van gegevens van proefpersonen (zgn. outliers) om tot significante resultaten te komen;
• het selecteren van de afhankelijke variabele.

De CWI sluit niet uit dat er sprake is van sloppy science (QRP), maar naar de mening van Klager kan ook slordigheid onmogelijk de perfecte lineariteit in deze resultaten verklaren. Hierdoor wordt fabricatie en falsificatie van onderzoeksgegevens door Beklaagde des te waarschijnlijker. Klager verzoekt het LOWI om grondig en onafhankelijk onderzoek te doen naar deze mogelijkheid.

2. Procedureel

Klager formuleert de navolgende klachten over het onderzoek van CWI.

Het CWI- onderzoek

• heeft te lang geduurd; en
• houdt geen rekening met de inconsistentie in de verklaringen van Beklaagde over de verzameling van onderzoeksgegevens voor de artikelen …, … en ….

Daarnaast heeft de CWI

• geen archiefonderzoek gedaan naar deze dataverzameling;
• onvoldoende getuigen (onderzoeksassistenten) gehoord en geen onderzoek gedaan naar nog bestaande digitale bestanden met onderzoeksgegevens;
• geen onderzoek gedaan naar andere artikelen van Beklaagde;
• geen onderzoek gedaan naar de ruwe databestanden.

Klager verzoekt LOWI alsnog een grondig onderzoek naar deze gegevens en databestanden te doen.

3.2 Het standpunt van het Bestuur

Ten aanzien van de procedurele bezwaren van Klager stelt het Bestuur dat de vertraging van het onderzoek wordt betreurd, maar dat door ziekte van Beklaagde, gestaafd door de bedrijfsarts, voor een langere tijd contact met Beklaagde moest worden vermeden.

Het horen van getuigen is bewust beperkt gebleven, omdat enerzijds het aantal personen dat van vermoede schending van wetenschappelijke integriteit kennis neemt zo veel mogelijk beperkt moet blijven, anderzijds de CWI na het horen van een aantal hoofdpersonen, onder wie co-auteur …, niet verwachtte dat het horen van meer beoordelaars bij de experimenten (voornamelijk onderzoeksassistenten) tot meer inzicht in het handelen van Beklaagde zou leiden.

Het Bestuur richt zich op de … artikelen waar de CWI zich op grond van de klacht toe heeft beperkt; deze … betwiste artikelen waren in de klacht van Klager genoemd en diens klacht dient te worden beoordeeld naar de feitelijke inhoud ervan. Naar het oordeel van het Bestuur is de CWI geen opsporingsinstantie die buiten de klacht om andere wetenschappelijke artikelen hoeft te onderzoeken of archiefonderzoek hoeft te verrichten naar andere dataverzamelingen. Alleen indien daar aanleiding toe bestaat is naar de mening van het Bestuur een groter onderzoek wenselijk of noodzakelijk.

Ten aanzien van de inhoudelijke klacht verwijst het Bestuur naar het advies van de CWI. Hierin wordt gesteld dat de lineariteit in de onderzoeksresultaten statistisch gezien praktisch onmogelijk is en ook niet verklaard kan worden door Beklaagde zelf, en voorts dat het patroon niet gevonden wordt door ander onderzoek en hoogst uitzonderlijk blijft.

De bevindingen en het advies van de CWI bieden echter naar het oordeel van het Bestuur onvoldoende steun voor een verstrekkend oordeel als schending van wetenschappelijke integriteit, nu essentiële gegevens van de experimenten niet meer te achterhalen zijn dan wel zijn vernietigd.

Hoewel de deskundige in eerste aanleg, …, niet uitsluit dat sprake is van sloppy science en QRP, biedt het deskundigenadvies naar het oordeel van het Bestuur onvoldoende aanknopingspunten om aan te nemen dat sprake is van zodanige vorm van manipulatie van gegevens dat kan worden gesproken van wetenschappelijk wangedrag of fraude.

Hierbij wijst het Bestuur op een bepaling in de Nederlandse Gedragscode Wetenschapsbeoefening, dat “pas van wangedrag sprake is wanneer de onderzoeker verder gaat dan fouten en slordigheden en zijn handelwijze niet bijstelt na ernstige en gefundeerde kritiek”. De uitkomsten van het onderzoek en het advies van de CWI waren echter toch zo ernstig dat het Bestuur het advies van de CWI heeft overgenomen om een expression of concern te laten plaatsen in de betreffende tijdschriften.

3.3. Het standpunt van Beklaagde

Volgens Beklaagde springt Klager in zijn beschuldigingen te snel tot de door Klager gewenste conclusies, die naar de mening van Beklaagde dan ook onjuist zijn: er wordt slechts uitgegaan van de juistheid van de door Klager geopperde hypothese en andere verklaringen worden genegeerd. Klager’s veronderstellingen over de onderzoeksgedragingen van Beklaagde en over de omstandigheden waaronder de experimenten zijn uitgevoerd berusten niet op feitelijke kennis daarvan en leiden derhalve tot onjuiste conclusies.

Tijdens zijn ziekte heeft Beklaagde overigens meegewerkt aan het onderzoek van de CWI. Ten slotte heeft hij door een gedwongen verhuizing naar een kleinere huisvesting de vragenlijsten met “ruwe” gegevens van zijn onderzoekingen vernietigd, zoals ook andere collega’s onder gelijke omstandigheden hebben gedaan, in de veronderstelling dat na een bepaald tijdsverloop dergelijke lijsten hun relevantie verliezen.

Er zijn geen inconsistenties in de acknowledgements ten aanzien van onderzoeksassistenten, zoals deze onderzoeksassistenten ook niet de ware bedoelingen en hypothesen achter elk experiment hoefden te kennen om toch de instructies te kunnen opvolgen. Veel experimenten waarvan verslag werd gedaan in de … artikelen zijn in … uitgevoerd en niet uitsluitend in …. Dat de co-auteur … zich een aantal van de uitgevoerde experimenten in … niet kan herinneren acht Beklaagde goed te verklaren uit zowel het tijdsverloop sinds deze experimenten werden uitgevoerd en de experimenten veelal op elkaar leken. Hij concentreerde zich op zijn eigen werk, terwijl Beklaagde dat deed op zijn werk.

Ten aanzien van de inhoudelijke constatering van de onverwacht sterke lineariteit betwist Beklaagde of de lineariteit in alle experimenten even evident is. Lineariteit kan naar de mening van Beklaagde een probleem zijn, als het zich vaak voordoet (“accumulates”), maar niet als het slechts af en toe optreedt. Lineariteit kan een deel van het onderzochte verschijnsel zijn dat zich (eventueel later) uit de feiten laat vaststellen.

Om die reden is Beklaagde er niet geheel van overtuigd dat de lineariteit het kwestieuze karakter van zijn onderzoeksgegevens aantoont. Daartegenover staat dat de methoden waarmee QRP worden aangetoond zelf vaak dubieus zijn en is het “appels met peren” vergelijken. Beklaagde vindt de overtuiging van Klager dat diens methode error-proof is opmerkelijk.

Samenvattend acht Beklaagde de beschuldigingen aan zijn adres ongerechtvaardigd. De toon en de stijl van Klager’s brieven zijn irriterend en diens veronderstellingen over de werkwijze van Beklaagde zonder meer onjuist. Klager redeneert naar zijn eigen van te voren vaststaande conclusie.

4. Overwegingen van het LOWI

Het LOWI is een adviesorgaan dat is opgericht op initiatief van het KNAW, NWO en VSNU.

4.1 Algemene opmerkingen

Het LOWI adviseert de bij het LOWI aangesloten instellingen (KNAW, NWO, VSNU en Stichting Sanquin) over door de besturen van voornoemde instellingen genomen (voorlopig) besluiten inzake schending van wetenschappelijke integriteit na een (ontvankelijke) klacht hierover bij het LOWI.

Het LOWI baseert zijn oordeel over schending van wetenschappelijke integriteit op – doch niet uitsluitend – de normen van wetenschappelijke integriteit die primair zijn af te leiden uit de Nederlandse Gedragscode Wetenschapsbeoefening 2004 herzien in 2012 (VSNU).

Hiernaast laat het LOWI zich ook leiden door de Notitie Wetenschappelijke Integriteit 2001 (KNAW, NWO, VSNU) en de Notitie Wetenschappelijk Onderzoek: dilemma’s en verleidingen, 2005 tweede druk (KNAW) dat een uitwerking is van de Notitie Wetenschappelijke Integriteit van 2001, alsook door internationale normen vastgelegd in Best Practices for Ensuring Scientific Integrity and Preventing Misconduct 2007 (OECD), The European Code of Conduct for Research Integrity 2010 (ESF, ALLEA), The Singapore Statement on Research Integrity 2010, en The Montreal Statement 2013.

Het gaat hier niet om nieuwe maar om bekende en reeds lang voor codificatie bestaande normen van wetenschapsbeoefening waaraan werd – en wordt – afgewogen wanneer en onder welke omstandigheden sprake is van schending van wetenschappelijke integriteit. Het uitgangspunt bij de beoordeling van schending van wetenschappelijke integriteit voor het LOWI is in beginsel de Nederlandse Gedragscode Wetenschapsbeoefening 2004/2012 (hierna ook Gedragscode).

Schending van deze (inter)nationale normen leidt niet per definitie tot een schending van wetenschappelijke integriteit. Er kan sprake zijn van (verwijtbaar) onzorgvuldig handelen zonder dat dit resulteert in schending van wetenschappelijke integriteit.

Bij de vraag of sprake is van schending van wetenschappelijke integriteit kan het LOWI gewicht toekennen aan deskundigenoordelen. Het LOWI is echter niet gebonden aan deze oordelen, ook niet wanneer de deskundigen zich uitspreken over schending van wetenschappelijke integriteit. Uitsluitend het LOWI is bevoegd te oordelen over klachten aangaande de procedure en de inhoud van vermoede schendingen van wetenschappelijke integriteit.

Het LOWI is niet bevoegd om te oordelen over civielrechtelijke kwesties noch wetenschappelijke controversen. Bij schending van wetenschappelijke integriteit is het derhalve van belang onderscheid te maken tussen schending van wetenschappelijke integriteit enerzijds, en bekritiseerbare of slechte wetenschap anderzijds. Bij kritiseerbare en slechte wetenschap is veelal sprake van een interpretatieverschil c.q. een verschil van mening over een wetenschappelijk oordeel.

Deze dienen te worden bediscussieerd en beslecht in het daartoe geëigende forum van wetenschappelijke tijdschriften, bij voorkeur in het tijdschrift waarin het bekritiseerde artikel is verschenen. Het LOWI is noch uitgerust noch bevoegd om als arbiter op te treden in wetenschappelijke controversen.

4.2 Overwegingen van het LOWI ten aanzien van de procedurele klachten

Het LOWI acht de uitleg van het Bestuur ten aanzien van de vertraging die het CWI-onderzoek heeft opgelopen door de ziekte van Beklaagde aanvaardbaar, nu de bedrijfsarts contacten en andere activiteiten tijdens de ziekte van Beklaagde ten zeerste heeft afgeraden. De klacht van Klager is ten aanzien hiervan ongegrond.

Het LOWI volgt het Bestuur eveneens in de stelling dat geen uitvoerig archiefonderzoek in … Universiteiten hoefde te worden verricht noch dat andere dan de … betwiste artikelen van Beklaagde hoefden te worden onderzocht, nu het Bestuur en in casu de CWI een klacht dient te behandelen naar de feitelijke beschuldigingen zoals in de klacht vermeld. De bewijslast van de beschuldigingen is aan Klager.

Anders dan Klager wellicht veronderstelt in zijn vergelijking met de integriteitsschendingen van Stapel en Smeesters is een CWI geen opsporingsinstantie of zelfstandige onderzoekscommissie, die uitvoerig op eigen onderzoek uit dient te gaan. In deze door Klager genoemde gevallen was reeds een bekentenis van fraude gedaan door Beklaagde(n).

In de onderhavige procedure wordt de beschuldiging door Beklaagde betwist en is het aan Klager om de juistheid van zijn beweringen tegenover Beklaagde aan te tonen. De klacht van Klager in dit opzicht daarom ongegrond.

De klacht van Klager dat onvoldoende getuigen zijn gehoord, dat meer onderzoeksassistenten hadden kunnen worden gehoord en dat digitale onderzoekbestanden hadden moeten worden onderzocht, gaat uit van de veronderstelling dat de CWI méér inzicht had verkregen in de gevolgde handelwijze van Beklaagde.

Het LOWI deelt de mening van de CWI dat dit niet per se het geval zou zijn geweest. Het LOWI heeft zelf twee door Klager genoemde en door de CWI niet gehoorde onderzoeksassistenten tijdens informatieve gesprekken naar de werkwijze tijdens de experimenten in … gevraagd. Uit deze gesprekken zijn geen aanwijzingen voortgekomen dat tijdens de gegevensverzameling opmerkelijke zaken of verdachte handelingen plaatsgevonden hebben.

Integendeel, de beschrijvingen van de onderzoeksassistenten gaven een bevestiging van de mening van Beklaagde dat de assistenten zelf niet op de hoogte waren gesteld van het doel en de hypothesen van de experimenten en gaven een goed beeld van de wijze waarop experimenten werden uitgevoerd en de data automatisch werden opgeslagen en omgezet in SPSS-files. Ook deze klacht is ongegrond.

Wel volgt het LOWI Klager in zijn klacht dat Beklaagde onvoldoende heeft duidelijk gemaakt – ook niet ten overstaan van het LOWI – op welke wijze zijn dataverzamelingen tot stand zijn gekomen, en waar en wanneer de in de … artikelen vermelde experimenten precies zijn verricht. De vermelding van Beklaagde dat hij zijn “ruwe” data (vragenlijsten) vanwege een verhuizing heeft “gedumpt” biedt onvoldoende rechtvaardiging voor het feit dat – zoals de CWI terecht constateert – “essentiële gegevens van de experimenten niet meer zijn te achterhalen dan wel zijn vernietigd”.

De eisen in de Nederlandse Gedragscode Wetenschapsbeoefening 2004/2012 en de te volgen c.q. toepasselijke Rules of the American Psychological Association (APA) dat onderzoeksgegevens ter controle moeten worden bewaard zijn duidelijk genoeg. Zij worden niet opzij gezet doordat collega’s eveneens hun ruwe data bij de verhuizing gedumpt hebben of dat niet alle onderzoekspsychologen de afgelopen tien jaar de regels van de APA strikt gevolgd hebben. Deze klacht is terecht opgeworpen en derhalve gegrond en zal in onderstaand oordeel van het LOWI worden meegewogen onder 5.

4.3 Overwegingen van het LOWI ten aanzien van de inhoudelijke klacht

De essentie van de klacht van Klager komt naar de mening van het LOWI neer op de geconstateerde lineariteit in de … artikelen gepresenteerde uitkomsten van de gerapporteerde experimenten. De geconstateerde lineariteit is statistisch zó perfect, dat die alle wetten van de waarschijnlijkheid tart. De oorspronkelijke analyse van Klager, … (september 2012), die aanleiding gaf tot het indienen van de klacht bij het Bestuur, acht het LOWI overtuigend genoeg om zich nader af te vragen hoe deze zeer onwaarschijnlijke mate van lineariteit tot stand kan zijn gekomen.

Toeval kan het niet zijn, maar aanwijzingen dat er aanwijsbare manipulaties met de onderzoeksgegevens zijn verricht, zijn er door de CWI niet gevonden, mogelijkerwijs omdat “niet alle onderzoeksgegevens konden worden achterhaald dan wel zijn vernietigd”.

De CWI heeft echter het advies gevolgd van de deskundige …, dat niet kan worden uitgesloten dat sprake is van QRP, die in dit wetenschappelijke veld naar de mening van deze deskundige gebruikelijk, zo niet “prevalent” zijn. Er is niet voldaan aan de strenge eisen van goed wetenschappelijk onderzoek, dat afdoende verantwoording aflegt van onder andere de gevolgde en van te voren vastgelegde protocollen van onderzoek, van dataprocessing en statistical analysis (zie Report to the CWI, … …).

Klager bestrijdt in zijn klachtschrift bij het LOWI van … 2013 uitvoerig de stelling van deze deskundige dat de in alle experimenten gevonden onwaarschijnlijke patronen van lineariteit verklaard kunnen worden door QRP. Hierbij gaat Klager uitvoerig en naar het oordeel van het LOWI overtuigend in op vier veel voorkomende kwestieuze onderzoekspraktijken, met name:

• verkeerd afronden van p-waarden, waardoor niet-significante uitkomsten als significant worden voorgesteld;
• het bijdraaien van onderzoeksgegevens, waardoor extra gegevens worden verzameld, nadat een eerdere analyse een niet-significant resultaat heeft laten zien;
• het selectief en heimelijk verwijderen van gegevens van proefpersonen (zgn. outliers) om tot significante resultaten te komen;
• het selecteren van de afhankelijke variabele.

Voor geen van deze QRP zijn aanwijzingen of gedragsindicatoren gevonden, waarbij opgemerkt dient te worden dat er zoveel assistenten mee hebben geholpen aan de gegevensverzameling dat het uiterst onwaarschijnlijk is dat uit al deze onderzoeksverrichtingen door manipulaties van al deze separate betrokkenen zo’n rechtlijnig verband valt te verwachten. Of zoals deskundige … opmerkte: “als je wilt manipuleren, dan zou je dat nooit op deze, te opvallende, manier doen.”

Geen van deze QRP zou bovendien een verklaring kunnen bieden voor de hoogst onwaarschijnlijke lineariteit in de gevonden uitkomsten onder de conditie “local” en “global” en in de controlegroep. Gevraagd naar de kritiek op zijn QPR-verklaring door Klager adviseerde … in zijn gesprek met het LOWI de discussie over de mogelijke verklaringen voor de onwaarschijnlijke verbanden voor het wetenschappelijke forum naar voren te brengen, de analyse van Klager in het desbetreffende tijdschrift te publiceren en de wetenschappelijke gemeenschap in kennis te stellen van de gevonden merkwaardige verbanden.

Het LOWI, aan wie door Klager een oordeel is gevraagd over de mogelijke schending van wetenschappelijke integriteit, kan echter niet volstaan met deze op zich waardevolle suggestie om de wetenschappelijk onderbouwde kritiek van Klager op de … artikelen van Beklaagde in de openbaarheid van een wetenschappelijk forum aan de orde te stellen.

De vraag waar het LOWI zich vervolgens voor gesteld zag door de naar het oordeel van het LOWI relevante kritiek op de onvoldoende QPR-verklaring van de lineariteit spitste zich derhalve toe op de vraag op welke andere dan QPR- wijze de geconstateerde onwaarschijnlijk grote lineariteit van de verbanden tot stand kon zijn gekomen. Deze vraag werd voorgelegd aan een andere deskundige, …, hoogleraar in de stochastiek en mathematisch statisticus.

4.4. Het deskundigenadvies van …

Het LOWI heeft vier specifieke vragen voorgelegd aan bovengenoemde deskundige, aan wie tevens werd gevraagd de empirische gegevens te analyseren, met behulp van een USB stick, waarop de gegevensbestanden waren bewaard van de experimenten die zijn gerapporteerd in het artikel van Beklaagde en …. uit ….

De door het LOWI gestelde vragen luiden als volgt:

1. Kloppen de data, zoals weergegeven in het artikel …, met die in de ruwe dataset, m.a.w. kan men op basis van de ruwe data komen tot de in de tabellen weergegeven correlaties?
2. Is er iets “verdachts” te bemerken in deze ruwe dataset?
3. Kan de verklaring van de zeer onwaarschijnlijke statistische samenhang mogelijkerwijs toch verklaard worden uit sloppy science, in casu de selection bias, zoals deskundige … veronderstelt in zijn expert witness ten behoeve van het …-onderzoek?
4. Door Klager wordt deze sloppy science-these op grond van nauwkeurige statistische analyse weersproken en weerlegd; maar als deze weerlegging statistisch klopt, wat is er dan wel aan de hand, indien verder geen gedragsindicatoren zijn vastgesteld of vast te stellen, die op frauduleus handelen wijzen?

Het deskundigenadvies van … is aan partijen en Beklaagde toegezonden. Samengevat komt zijn antwoord op de vier vragen van het LOWI – vervat in citaten – hierop neer:

Ad 1.:

“Het was mogelijk de statistische analyse van … et al. met de gegevens op de USB-stick te herhalen. De resultaten komen exact overeen met die in het artikel. De data files geven redelijk uitvoerige informatie over de experimenten, in het gebruikelijke format van een regel per proefpersoon per experiment, en een kolom per variabele. De files bevatten per proefpersoon aanmerkelijk meer informatie dan gebruikt in de bovenvermelde analyse in … et al. De data files geven de indruk afkomstig te zijn van een degelijk uitgevoerd experiment.”

Ad 2.:

“Men kan niet zeggen dat bij een eerste beschouwing van de files iets verdachts is. De klacht van Klager nodigt echter uit tot het beschouwen van de relatie tussen de … gemiddelde responsen in de … condities in de … afzonderlijke experimenten. Het feit dat in alle … experimenten de gemiddelde meting in de control conditie nagenoeg gelijk is aan het gemiddelde van de gemiddelde metingen in de condities local en global is als verdacht aan te merken. Ik ben het wat dit betreft eens met Klager en met … dat het zeer onwaarschijnlijk is dat het systematisch patroon heeft kunnen ontstaan in data verkregen in de experimentele situatie beschreven in … et al. (…) Een exact lineair verband in alle (uiteenlopende) experimenten lijkt onwaarschijnlijk, maar dit lineaire verband is niet de reden om de resultaten in het artikel als verdacht aan te merken. De verdenking is gebaseerd op het feit dat de gemeten afwijkingen van lineariteit niet de variatie vertonen die ze statistisch zouden moeten vertonen, gegeven de variatie in de individuele datapunten. (…) De verdenking is dat deze specifieke dataset is gemanipuleerd, waardoor onbedoelde, statistisch zeer onwaarschijnlijke patronen in de data zijn ontstaan.”

(Hierna volgt de kwantitatieve illustratie van de bewuste verschillen tussen de gemiddelden voor alle … experimenten, waarbij de gemiddelden ook zijn berekend voor de afzonderlijke waarden van de subgroepen mannelijke en vrouwelijke proefpersonen).

Het deskundigenadvies vervolgt (samengevat en wederom vervat in citaten):

“Voor ieder van de … experimenten heeftKlager de p-waarden berekend voor de standaard statistische toets voor de nul-hypothese dat de … populatiegemiddelden een lineair verband vertonen. Er zijn twee mogelijkheden: het lineair verband bestaat (de nulhypothese is correct) of het lineair verband bestaat niet. (….) De door Klager gevonden p-waarden liggen echter voor alle (x-aantal)experimenten in de nabijheid van 1. In grootte zouden deze waarden vergelijkbaar moeten zijn met (x-aantal)… willekeurig gekozen getallen tussen 0 en 1 of kleiner.

Groter is slechts mogelijk als de data niet verkregen zijn in de experimentele set up als beschreven in het artikel van Beklaagde uit … . Dat voor alle (x-aantal)… experimenten de waarde boven de 0.8 en voor de meeste zelfs boven 0.9 ligt, is een sterke aanwijzing dat de data zijn aangepast, op een manier die een lineair verband tussen de gemiddelden heeft veroorzaakt. (….) De eindconclusie blijft staan in de vorm van een grote waarschijnlijkheid dat de data is gemanipuleerd.”

Ad 3.:

“Sloppy science of selection bias kunnen naar mijn overtuiging niet leiden tot de verdachte patronen (…) Uit de stukken die het LOWI mij ter beschikking heeft gesteld heb ik geen vorm van sloppy science gevonden die tot de verdachte patronen zouden kunnen leiden. Ik heb zelf ook niet zo’n manier kunnen bedenken. Het lijkt me dat alleen doelgericht ingrijpen in de volledige dataset tot dit resultaat kan leiden. Uiteraard ben ik mij bewust van het feit dat wat vandaag onduidelijk is morgen duidelijk zou kunnen worden.”

Ad 4.:

“Het is onmogelijk deze vraag met zekerheid te beantwoorden. De eenvoudigste verklaring voor de patronen is dat de data files zijn aangepast om de gemiddelden in de … experimentele groepen local-control-global op vooraf gestelde targets te brengen. Deze targets zijn dan blijkbaar lineair gekozen (….). Ik benadruk dat uit de datafiles op geen enkele manier is af te leiden dat de bovenstaande bewerkingen daadwerkelijk zijn uitgevoerd.

Evenmin kan gezegd worden wanneer en door wie deze bewerkingen zouden zijn uitgevoerd. Ik beschrijf ze om aan te geven dat het zeer wel mogelijk is de data te bewerken zodat de gewenste en verwachte conclusies kunnen worden getrokken. Een bewerking van de data nadat de gemiddelden op de gehele datafile waren uitgerekend lijkt mij het waarschijnlijkst scenario. (….)”

“Tenslotte is de verdenking zelf niet het lineair verband, maar de te geringe statistische afwijkingen van het lineaire verband in de steekproefdata. Het kwantificeren van de mate waarin getallen in de eerste rij van Tabel
… te klein zijn, vereist een meer dan standaard kennis van statistische methoden, zoals aanwezig bij Klager, maar niet te verwachten bij niet-specialisten in de statistiek.”

4.5 Reacties van Klager en Beklaagde op het deskundigenadvies van …

Het deskundigenadvies van … is aan partijen voorgelegd met het verzoek hierop te reageren. Het Bestuur heeft hiervan geen gebruik gemaakt. Beklaagde en Klager daarentegen hebben wel gereageerd en daarbij verschillende conclusies getrokken uit het deskundigenadvies.

Beklaagde zag in het deskundigenadvies een bevestiging van zijn stelling dat het mogelijk is dat onderzoeksresultaten bevindingen representeren die in de werkelijkheid kunnen worden gevonden. Het deskundigenadvies laat zien dat Klager “jumped to inappropriate conclusions” en dat er geen bewijs is gevonden voor zijn beschuldiging.

Het deskundigenadvies is voorts voorzichtig door te stellen dat wat vandaag niet kan worden verklaard (i.e. de hoogst onwaarschijnlijke lineariteit) later wellicht toch kan worden begrepen. Het deskundigenadvies stelt volgens Beklaagde dat het niet mogelijk is om frauduleus gedrag in deze zaak te bewijzen.

Nu er ook geen aanwijzingen zijn, zoals het deskundigenadvies aangeeft, van “sloppy science” is Beklaagde van mening dat de expression of concern in het voorlopig besluit van het Bestuur ten onrechte als een adequate maatregel is voorgesteld. Als de resultaten van zijn onderzoek mogelijk zijn, zij het zeer onwaarschijnlijk, zoals het deskundigenadvies stelt, dan is een publieke veroordeling van dit werk niet gepast.

Slechts indien de bevindingen van het huidige onderzoek niet zullen worden herhaald (gerepliceerd) in nieuw onderzoek door Beklaagde zal hij de huidige artikelen naar alle waarschijnlijkheid terugtrekken.

Klager trekt totaal andere conclusies uit hetzelfde deskundigenadvies. Naar de mening van Klager bevestigt het deskundigenadvies de accuratesse van de statistische bevindingen in de oorspronkelijke analyse van Klager van … 2012 en van de conclusie van de CWI dat de data in de … artikelen van Beklaagde “praktisch onmogelijk zijn”.

Het rapport concludeert, aldus Klager, dat er een grote waarschijnlijkheid is dat de data is gemanipuleerd en dat er geen vorm van “sloppy science” is gevonden, die tot de verdachte problemen zouden kunnen leiden.

Alleen “doelgericht ingrijpen in de volledige data set kan tot dit resultaat leiden” waarbij “ene bewerking van de data nadat de gemiddelden op de gehele data file waren uitgerekend het waarschijnlijkst scenario lijkt”. Hiermee blijkt, aldus Klager, de analyse van het deskundigenadvies de voornaamste klacht van Klager bij het LOWI te ondersteunen, namelijk dat de gevonden zeer onwaarschijnlijke patronen niet veroorzaakt kunnen zijn door QRP.

Het LOWI voegt hier aan toe dat de primaire klacht van Klager echter de lineariteit van de verbanden betrof. De analyse van de deskundige … heeft in aanvulling hierop wel duidelijk gemaakt dat deze lineaire patronen specifiek zijn voor de primaire analyse in het … artikel en niet terugkomen in de subsets van de data, zoals seksegroepen.

“In de analyses”, zo vervolgt Klager, “bekijkt de deskundige … de lineariteit voor mannen en vrouwen afzonderlijk. Daar is inderdaad iets zeer merkwaardigs aan te zien. Bij mannen en vrouwen apart is er van verdachte lineariteit namelijk geen sprake. De patronen voor seksegroepen zijn vrij willekeurig en bij experiment … is er bij mannen en vrouwen zelfs sprake van een volledige afvlakking van mannen tussen “low” en “medium”, en een afvlakking voor vrouwen tussen “medium” en “high”. Het curieuze aan deze patronen is dat de mannen- en vrouwengroep elkaar zonder enige uitzondering lijken te compenseren, zodat de … gemiddelden van de hele groep telkens op de lijn blijven liggen. Het is onmogelijk voor te stellen dat echte proefpersonen een patroon laten zien waarin kleine groepen onbekenden hun scores aanpassen aan de gemiddelde scores van een andere groep proefpersonen.”

Klager trekt hieruit de conclusie dat het patroon alleen door doelbewuste manipulaties van het databestand veroorzaakt kan zijn: “Het verdachte patroon treedt dus op in … steekproeven die in de … artikelen worden gerapporteerd. Omdat men de gemiddelden hiervoor moet berekenen is de enige persoon die deze handeling kan hebben uitgevoerd de persoon die de data verwerkt heeft, oftewel …”. In een appendix heeft Klager de grafische weergave van de gemiddelden van de vrouwen- en de mannengroepen en voor de gehele groep in de experimenten … in het …-artikel aangegeven.

4.6 Het oordeel van het LOWI ten aanzien van de inhoudelijke klacht

4.6.1

Hoewel er bij het LOWI een aanvankelijke aarzeling bestond om onderzoekers te beoordelen uitsluitend op grond van waarschijnlijkheidsredeneringen, indien daar geen gedragsindicatoren van enige vorm van manipulatie van gegevens tegenover staan, wordt in dit huidige geval een overtuigende statistische analyse gegeven van de zeer onwaarschijnlijke, zo niet onmogelijke uitkomsten van de experimenten in … artikelen van Beklaagde, ondersteund door de afwezigheid van enige vorm van verantwoording van de ruwe data bestanden, zoals die in vragenlijsten zijn verkregen, en door de afwezigheid van een overtuigende verantwoording door Beklaagde van de wijze waarop de gegevens van de experimenten in de voorliggende periode zijn verzameld en bewerkt. De beschikbaar gestelde SPSS files geven hier onvoldoende uitsluiting over.

4.6.2

Gezien het deskundigenadvies van … en de eerdere analyses van Klager is het zo goed als uitgesloten dat de gepresenteerde zeer onwaarschijnlijke patronen kunnen worden toegeschreven aan QRP.

Hoewel het advies van de CWI sloppy science niet geheel uitsloot, waarop de CWI haar voorzichtige conclusie baseerde dat “het onmogelijk is om vast te stellen of sprake is van bewuste of opzettelijke manipulatie van onderzoeksgegevens”, komt het LOWI thans, op basis van de statistische analyses van …, tot de conclusie dat QRP als verklaring van de gevonden patronen wel dienen te worden uitgesloten.

Het LOWI hecht ook veel waarde aan de door de deskundige … gegeven aanvullingen dat niet lineariteit per se het probleem is, maar “het feit dat de gemeten afwijkingen van lineariteit niet de variatie vertonen die ze statistisch zouden moeten vertonen, gegeven de variatie in de individuele datapunten”. Deze conclusie wordt nog versterkt door de additionele analyse – ook additioneel ten opzichte van de eerdere analyses van Klager – van de normaal uitziende scores van … van mannelijke en vrouwelijke proefpersonen.

Hoewel het rapport van deskundige … aangeeft dat op basis van de bestudeerde SPSS-files niet kan worden vastgesteld door wie en op welke wijze data zijn gemanipuleerd, acht het LOWI de auteurs van het … artikel hiervoor verantwoordelijk; zij konden of hadden moeten weten dat de in het … artikel gepresenteerde samenhangen door menselijke hand waren bijgesteld.

4.6.3

Gezien het deskundigenadvies van … is de conclusie, ook voor het LOWI, onontkoombaar dat voor de uitkomsten van dit onderzoek in het …-artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld. Als voornaamste redengeving hiertoe ziet het LOWI:

a) niet per se de lineariteit van de verbanden – die zou in de echte wereld mogelijkerwijs kunnen bestaan – maar de extreem geringe variatie van de gemiddelden van de controlgroep;

b) de verdachte lineariteit treedt wel op voor de gehele onderzochte groepen, maar niet voor de subgroepen, met name niet voor de scores van de subgroepen mannen en vrouwen;

c) deze uitkomsten en zeer onwaarschijnlijke patronen kunnen niet verkregen worden via QRP: de stelling van Klager wordt hiermee bevestigd en de aarzeling van de CWI op dit punt onaannemelijk geacht.

Het LOWI merkt hierbij op dat de gevonden verdachte patronen ook niet kunnen zijn ontstaan tijdens de data- verzameling, want het LOWI acht het uitgesloten dat door de vele onderzoeksassistenten die bij de dataverzameling van deze experimenten betrokken zijn geweest, dergelijke uitzonderlijke statistische verbanden tot stand zouden kunnen zijn gekomen.

Daar komt bij dat Beklaagde geen goede verantwoording heeft kunnen geven voor de wijze waarop de data zijn verzameld enerzijds en dat hij de ruwe gegevens heeft vernietigd (“gedumpt”) anderzijds, ook al was dit 5 jaar geleden wellicht gebruikelijk in dit wetenschappelijke veld. De uitleg van Beklaagde en zijn verdediging van de gevonden resultaten – gezien de beschuldiging – worden door het LOWI onbevredigend en onvoldoende geacht.

5. Oordeel en advies van het LOWI

5.1

De conclusie dat er gemanipuleerd moet zijn met onderzoeksgegevens acht het LOWI onontkoombaar; de gevonden variëteit in de scores van de controlegroep is onwaarschijnlijk klein en kan niet verklaard worden uit sloppy science of QRP; er moet ingegrepen zijn bij de presentatie van de uitkomsten van de … experimenten, die zijn beschreven in het artikel ….

Op grond hiervan én daarbij mede op grond van de inadequate verantwoording van de dataverzameling en van de oorspronkelijke data, is sprake van schending van wetenschappelijke integriteit;

5.2

LOWI adviseert het Bestuur om het voorlopig besluit te heroverwegen in die zin dat een expression of concern niet volledig recht doet aan de conclusie van het door het LOWI aan deskundige … gevraagde deskundigenadvies, omdat enerzijds “sloppy science” niet kan worden vastgesteld, en er anderzijds meer aan de hand moet zijn geweest dan QRP: onderzoeksgegevens moeten bewust zijn bijgesteld want deze kunnen met zeer grote waarschijnlijkheid nooit de uitkomsten vertonen, zoals die thans in het artikel zijn opgenomen. Het LOWI acht hiervoor de Beklaagde als hoofdauteur van de artikelen verantwoordelijk.

5.3

LOWI adviseert het Bestuur om aan de redactie van het tijdschrift waarin het artikel … is verschenen, schriftelijk te verzoeken tot terugtrekking van het artikel … en daarbij – indien Klager en deskundige … daarmee kunnen instemmen en al of niet op verzoek van Klager resp. deskundige geanonimiseerd – de analyse van … van Klager, tezamen met het deskundigenadvies van … (die beide reeds door het LOWI ter beschikking zijn gesteld aan het Bestuur) met dit verzoek mee te zenden.

Namens het LOWI

Dr. mr. C.J.M. Schuyt, voorzitter

Mr. Dr. E.G. van Arkel, secretaris