1  Preregistraties

Onderzoekspracticum bachelor thesis (PB9966)
Onderzoekspracticum scriptieplan (PM9514)
Auteurs

Gjalt-Jorn Peters & Sally A.M. Hogenboom
5 September 2023

Preregistratie - ofwel het vooraf vastleggen van je onderzoeksplannen - is één van de ‘best practices’ van werken volgens de Open Sciences principes. Daarnaast dragen preregistraties bij aan alle vijf de basisprincipes van de Nederlandse Gedragscode Wetenschappelijke Integriteit. Preregistraties zijn dus een goed idee maar welke soorten zijn er precies? Wat zijn de voor- en nadelen van preregistraties? En hoe voer je een preregistratie uit?

1.1 Wat zijn preregistraties?

De bekendste vorm van preregistratie is het vooraf (publiek) vastleggen van je onderzoeksplannen. Veelal gebeurd dit op een gestructureerde manier, bijvoorbeeld doormiddel van het invullen van een preregistratieformulier. Een preregistratieformulier biedt je niet alleen de gelegenheid om te beschrijven wat je precies wilt gaan doen en hoe, maar ook waarom. Zo wordt je gemotiveerd om tot in detail te onderbouwen waarom je denkt dat je gekozen aanpak een goede manier is om je onderzoeksvragen te beantwoorden.

Met het vastleggen van je onderzoeksplannen in een preregistratieformulier worden vaak ook de bestanden die bij het betreffende project horen bevroren. Dit omvat allerlei componenten van je methode (e.g., vragenlijsten, computertaken, stimuli, ethische aanvraag, protocollen, proefpersoon werving, etc.) en je pilot analyses (e.g., pilot data, analysesscrpts, ruwe resultaten etc.). Kortom, alles wat nodig is om het onderzoek te kunnen uitvoeren! Door deze informatie vooraf (publiekelijk) vast te leggen verklein je als onderzoeker de kans op ongewenste onderzoekspraktijken (zie Paragraaf 1.2).

Moet je dan echt alles preregistreren? Nee, dat hoeft niet! De Nederlandse Universiteiten opereren onder het credo ‘Zo open als mogelijk, zo gesloten als nodig’. Dit uitgangspunt stelt je in de gelegenheid om slectief gegevens openbaar te maken. Zo dienen bijvoorbeeld persoonsgegevens, conform de wet Algemene Verordering Gegevensbescherming, ten alle tijden privé te blijven. Een optie is dan om slechts geanonimiseerde persoonsgegevens en/of wervingsprotocollen te preregisteren.

Samenvattend is een preregistratie een gestructureerde manier om je onderzoeksplannen (publiekelijk) vast te leggen. Voor extra informatie zie het Center for Open Science.

1.2 Voordelen

Vanuit pragmatisch oogpunt zijn preregistratieformulieren heel nuttig om je plannen te structureren, omdat ze zijn ontwikkeld om een hele serie aan belangrijke punten te beschrijven voor verschillende typen onderzoek. Preregistratieformulieren voor systematische reviews helpen je bijvoorbeeld om goed na te denken over je screening, extractie en synthese. Terwijl preregistratieformulieren voor kwalitatieve onderzoeken je juist helpen om goed na te denken over bijvoorbeeld je werving, initiële codestructuur en codeerinstructies. Preregistratieformulieren voor kwantitatieve onderzoeken helpen je juist weer om gedetailleerd te beschrijven hoe je omgaat met screening, randomisatie en data (voor)bewerking.

Vanuit wetenschappelijk oogpunt hebben preregistraties ook veel voordelen. Preregistraties maken het bijvoorbeeld mogelijk om het vertrouwen in sommige analyses te vergroten. Dit omdat er minder onzichtbare flexibiliteit is bij de onderzoekers (‘Researcher degrees of freedom’). Zonder preregistratie worden veel beslissingen over de analyses pas genomen nadat de data zijn verzameld. Hierdoor kunnen onderzoekers zich (on)bewust laten beinvloeden door de gevonden data/uitkomsten. Als je vooraf je analyseplan openbaar maakt is die kans veel kleiner. Je kunt nog steeds je analyses aanpassen, maar dan moet je ook uitleggen waarom je dat doet, zodat het proces transparant is en andere onderzoekers kunnen beoordelen of je niet naar een bepaalde uitkomst toewerkt.

Samenvattend zijn preregistraties dus een zeer krachtig hulpmiddel om als wetenschapper zorgvuldig, onafhankelijk, verantwoordelijk, eerlijk en transparant te werk te gaan. Een preregistratie is daarmee een essentieel onderdeel van het uitvoeren van wetenschappelijk onderzoek volgens de Nederlandse Gedragscode Wetenschappelijke Integriteit. Of, zoals Feynman zei, een krachtig hulpmiddel om jezelf niet voor de gek te houden:

The first principle is that you must not fool yourself – and you are the easiest person to fool. So you have to be very careful about that. After you’ve not fooled yourself, it’s easy not to fool other scientists. You just have to be honest in a conventional way after that. Feynman, 1974

1.3 Nadelen

Eigenlijk zijn er geen nadelen van het preregistreren van je onderzoek, maar toch wordt een preregistratie soms als keurslijf/gevangenis ervaren. Bij het invullen van preregistratieformulieren is het daarom belangrijk om je twee dingen te realiseren.

Het eerste is dat preregistraties plannen zijn. Je kunt altijd van die plannen afwijken. De waarde van preregistraties is dat je het afwijken van je plannen expliciet maakt, waardoor het onderbouwen van elke afwijking een logisch onderdeel van het onderzoeksproces wordt. Dit werd ooit treffend beschreven in de blogpost Preregistration: a plan, not a prison.

Het tweede is dat preregistratieformulieren niet zijn opgesteld om een oordeel te vellen over ‘goed’ of ‘slecht’ onderzoek. Sommige onderzoekspraktijken hebben duidelijke voordelen maar zijn tegelijkertijd vaak niet praktisch haalbaar door gebrek aan middelen en/of expertise. Denk bijvoorbeeld aan het laten uitvoeren van de analyse door meerdere onafhankelijke analisten die blind zijn voor het onderzoeksdoel. Het is niet erg wanneer dit niet haalbaar is voor je geplande onderzoek. Wetenschap is mensenwerk, en pragmatische, contextuele en politieke overwegingen spelen een rol bij het ontwerpen, uitvoeren en rapporteren over wetenschappelijk onderzoek. Een preregistratie is van toegevoegde waarde doordat je deze overwegingen expliciet maakt en beslissingen onderbouwt.

1.4 Tussentijdse registraties

Hoe je vooraf over je onderzoek denkt, kan gedurende het uitvoeren van je onderzoek veranderen, bijvoorbeeld omdat je nieuwe literatuur leest, met deelnemers interacteert, of ziet hoe bepaalde procedures verlopen. Het is daarom vaak nuttig om niet alleen vooraf, maar ook tijdens en na het onderzoek je perspectief te registreren. Een registratie is een momentopname van een onderzoek, die net als een preregistratie bestaat uit een verzameling bestanden en een formulier die je samen bevriest. Eigenlijk zijn preregistraties een speciale vorm van registraties, waarbij een preregistratie een registratie is die voorafgaand aan het uitvoeren van je onderzoek plaatsvindt.

Door herhaaldelijk een registratie vast te leggen, geef je inzicht in hoe je perspectief verandert tijdens het uitvoeren van je onderzoek. Je kunt bovendien garanderen dat je kunt verwijzen naar een set bestanden zoals ze op een bepaald moment zijn. In kwalitatief onderzoek kun je dit bijvoorbeeld gebruiken om veranderingen in je coderingen van de data inzichtelijk te maken. Bovendien kunnen eenmaal geregistreerde gegevens niet meer worden veranderd. Je kunt dit dus ook gebruiken om te voorkomen dat er opzettelijk of per ongeluk iets verandert aan een set bestanden (i.e., een backup).

1.5 Preregistraties Uitvoeren

Preregistraties kun je op verschillende manieren uitvoeren en op verschillende plekken registreren. Hieronder bespreken we een aantal populaire opties.

1.5.1 Open Science Framework

De gemakkelijkste manier om een preregistratie te doen is via het Open Science Framework. Dit platform voor Open Science is gratis, gebruiksvriendelijk, en wordt onderhouden door een nonprofit (Center for Open Science).

Je kunt op https://osf.io een account maken. Ben je onderzoeker? Dan is het handig om je OSF account gelijk aan je ORCID te koppelen!

Als je een account hebt kun je een project aanmaken. In dit nieuwe project is een van de tabs “Registrations”, en daar kun je op “New registration” klikken om een nieuwe registratie toe te voegen. Zoals je hier al ziet wordt er geen onderscheid gemaakt tussen preregistraties en andere registraties: dit wordt alleen bepaald door het moment waarop je de registratie doet. Je kunt er voor kiezen je registratie ‘onder embargo’ te zetten. Dit betekent dat je (pre)registratie nu nog privé is en pas op een later moment openbaar wordt gemaakt.

Je kunt het beste een formulier gebruiken dat zo goed mogelijk past bij het type onderzoek dat je wilt gaan uitvoeren. Elk formulier is namelijk afgestemd op aspecten die voor dat type onderzoek relevant zijn. Een overzicht van beschikbare preregistratieformulieren is beschikbaar via het Open Science Framework; OSF. Als er geen formulier is dat goed bij jouw type onderzoek past, dan kun je altijd het Inclusive General-Purpose Registration Form (het ‘Inclusieve algemene registratieformulier’) gebruiken.

Naast het invullen van een (pre)registratie kun je in je project bestanden uploaden. Je kunt direct vanuit je eigen computer bestanden uploaden naar OSF maar ook koppelingen maken met Github, OneDrive, Dropbox en andere add-ons. Wanneer je de (pre)registratie bevriest worden alle bestanden - inclusief die in de add-ons - automatisch bevroren. Houd er rekening mee dat de OU alleen met Microsoft een verwerkersovereenkomst heeft, dus niet alle add-ons mogen gebruikt worden!

1.5.2 PreReg in Psychology

Voor het preregistreren van alle types psychologisch onderzoek kun je terecht bij PreReg in Psychology.

1.5.3 Dutch Trial Register

Naast het Open Science Framework bestaan er ook andere diensten om je preregistraties met te registreren. Voor Nederlandse Randomized Controlled Trials - een medische vorm van experimenteel onderzoek - bestaat bijvoorbeeld het Dutch Trial Register.

1.5.4 PROSPERO

Voor het registeren van Systematic Reviews van gezondheidsonderzoek bestaat er bijvoorbeeld PROSPERO.

1.5.5 Geavanceerd: preregr

Wil je je preregistratie geschikt maken voor verwerking door mens- en machine? Bekijk dan het preregr-package voor R! Met het preregr-package kun je rechtstreeks binnen R een preregistratie kunt uitvoeren. Daarnaast kun je ook nieuwe preregistratieformulieren specificeren. Dit kan nuttig zijn als je merkt dat er voor een bepaald type onderzoek eigenlijk nog geen geschikt preregistratieformulier bestaat. Het komen tot een nieuw preregistratieformulier kun je ook weer door middel van een studie doen, bijvoorbeeld een Delphi studie of een systematische review, die je dan ook weer kunt preregisteren.

Onderstaande “vignettes” (i.e., mini-handleidingen) geven meer informatie over hoe je met deze functionaliteit aan de slag kunt: