Bij een onderzoek moet je rekening houden met validiteit en betrouwbaarheid. Maar wat is dat precies en wat is het verschil? En hoe zorg je dat je onderzoek valide en betrouwbaar is?

Validiteit

Validiteit betekent dat je meet wat je moet meten. Anders gezegd, kloppen de resultaten uit het onderzoek met de werkelijkheid.
Je uitdaging bij validiteit is dat je moet aantonen dat je geen fouten hebt gemaakt bij de uitvoering van je onderzoek. Iets minder streng geformuleerd: je moet aantonen dat de kans op het maken van fouten zo klein mogelijk is.

Betrouwbaarheid

Betrouwbaarheid betekent dat de waarneming zelf nauwkeurig zijn.
In de boekjes over onderzoek wordt betrouwbaarheid vaak gedefinieerd als de kans dat het onderzoek dezelfde resultaten zal opleveren als het opnieuw wordt uitgevoerd door iemand anders. Dit werkt niet bij praktijkgericht onderzoek omdat deze aan veranderingen onderhevig is.
In de praktijk heeft gebrek aan betrouwbaarheid in een onderzoek vooral te maken met slordigheid en een gebrek aan waarnemingsvermogen.

Verwerking

Bij de beoordeling van een onderzoeksrapport of scriptie speelt validiteit en betrouwbaarheid een grote rol. Laat de wijze waarop je de validiteit en betrouwbaarheid hebt geborgd expliciet aan bod komen.
Of je beschrijft dit per deelvraag of je beschrijft dit in een aparte paragraaf na de uitwerking van de opzet van je onderzoek per deelvraag.
In je plan van aanpak beschrijf je wat je je hebt voorgenomen en na je onderzoek beschrijf je in je onderzoeksrapport of scriptie wat je hebt gedaan om de validiteit en betrouwbaarheid te borgen.

Validiteit borgen

Er zijn zeven manieren om de validiteit van je onderzoek te borgen:

  • afbakening
  • onderzoeksmethoden
  • begrippen
  • selectie van vragen
  • representativiteit
  • goede en juiste vragen
  • omstandigheden onderzoek

Let op: kijk wat bruikbaar is in jouw onderzoeksrapportage of scriptie, je hoeft echt niet alle toepassingen op te nemen.
Hieronder werken we de zeven toepassingen uit. Hou goed in het oog dat validiteit gaat over meten wat je moet meten.

Afbakening

Baken je onderzoek goed af, maak het niet te breed. Hoe breder je onderzoek, hoe groter de kans dat de validiteit van je onderzoek afneemt. Je moet immers met meer variabelen in je onderzoek rekening houden.
Actie: neem in je onderzoek en rapportage een paragraaf ‘Afbakening’ op. Beschrijf wat je wel en wat je niet onderzoekt. Deze actie dwingt je om goed over de scope van je onderzoek na te denken.

Onderzoeksmethoden

Kies de onderzoeksmethodieken die het beste passen bij datgene wat je wilt onderzoeken. Dat betekent dat je in je onderzoeksopzet moet beredeneren waarom je voor een methode of methoden kiest.
Actie: beschrijf per deelvraag welke methode of methoden je hebt gebruikt om antwoord op je deelvraag te krijgen. Maak hierbij gebruik van onderzoeksliteratuur en verwijs hier ook naar.

Begrippen

Zorg dat je cijfers kloppen en de definities eenvoudig zijn gedefinieerd van wat je gaat onderzoeken. Dus definieer begrippen als levertijd, kwaliteit, efficiency, faalkosten en dergelijke voordat je met je echte onderzoek begint.
Bespreek die definities ook met de opdrachtgever en begeleiders, zodat alle betrokkenen duidelijkheid hebben over wat je precies gaat onderzoeken.
Actie: zoek in bijvoorbeeld drie bronnen de definitie van een begrip, schrijf dit kort op, verwijs naar de bronnen en kies of formuleer de uiteindelijke definitie die je gaat gebruiken. Verifieer de uiteindelijke definitie bij je opdrachtgever.

Selectie van vragen

De vragen die je gaat stellen voor je onderzoek of items die je gaat gebruiken voor je itemlist moeten passen bij het onderzoek. Welke resultaten gaat jouw onderzoek opleveren?
Actie: beschrijf per vraag of item wat de relevantie hiervan is.
Waarom stel je deze vraag? Wat denk je dat het gaat opleveren? Hoe gaat het helpen in het beantwoorden van de deelvragen en uiteindelijk de hoofdvraag?
Advies om deze onderbouwing op te nemen in een bijlage en daarnaar te verwijzen in je hoofdtekst.

Representativiteit

Zorg dat je onderzoek altijd representatief is, dus vraag niet alleen de baas, maar ook de medewerkers. Niet alleen de afdeling die last heeft van het probleem, maar ook de afdeling die het wellicht veroorzaakt.
Actie: beschrijf welke doelgroep(en) je gaat onderzoeken en onderbouw je keuze.

Goede en juiste vragen

Stel de goede vragen en let op de juistheid: meet je wat je moet meten, maar ook begrijpen de respondenten je vragen. Dus controleer of de geënquêteerden de vragen begrijpen.
Actie: voor je je enquête verstuurd of interviews ga houden, voer je eerst een (pre-)test uit. Je test je vragen eerst bij één of twee potentiële respondenten.
Actie: je kan je vragen voorleggen aan een kritische mede-onderzoeker.
Let op dat je je actie vastlegt, de resultaten beschrijft, bijvoorbeeld de aanpassingen die je doorvoert, en dat je de actie bevestigd krijgt door betrokkenen (in de bijlage).

Omstandigheden onderzoek

Wanneer je data verzamelt, ben je afhankelijk van de medewerking van je respondenten. Wanneer ze jouw vragen beantwoorden, moeten ze zich vertrouwd voelen. Ze moeten hun eigen antwoorden geven en niet sociaal-wenselijke antwoorden, want dat beïnvloedt jouw onderzoek.
Ook moeten ze voldoende tijd nemen voor je onderzoek. Zijn ze gehaast, dan kan dat invloed hebben op de resultaten.
Actie: beschrijf de omstandigheden waaronder jouw onderzoek plaats vindt of vond in een aparte paragraaf.

De bovenstaande powerpoint kan je hier downloaden.

 

Betrouwbaarheid borgen

Er zijn vijf manieren om de betrouwbaarheid van je onderzoek te borgen:

  • resultaten laten checken
  • triangulatie
  • omvang onderzoek
  • kwaliteit respondenten
  • methodisch verwerken

Ook hier: kijk wat bruikbaar is in jouw onderzoeksrapportage of scriptie, je hoeft echt niet alle toepassingen op te nemen.
Hieronder werken we de vijf toepassingen uit. Hou goed in het oog dat betrouwbaarheid gaat over de nauwkeurigheid van de waarnemingen.

Resultaten laten checken

De lezer moet er zeker van zijn dat je je conclusies baseert op de juiste resultaten. Laat daarom de resultaten checken door betrokken respondenten. Dit geldt met name bij gespreksverslagen van interviews. Stuur je gespreksverslag naar de respondent en vraag om een akkoord, liefst per mail. De mail zet je achter het gespreksverslag.
Bij een enquête kan je de resultaten van je enquête laten checken door een kritische mede-onderzoeker.
Actie: check van de resultaten vastleggen en opnemen in de bijlagen van de onderzoeksrapportage.

Triangulatie

Triangulatie betekent dat je meerdere bronnen gebruikt om iets vast te stellen.
Dus niet alleen het jaarverslag lezen, maar ook met de controller spreken.
Niet alleen het proces observeren, maar ook in de systemen kijken.
Op die manier bouw je een extra check in om zeker te stellen dat je zaken goed hebt weergegeven.
Actie: beschrijf in de paragraaf ‘Validiteit en betrouwbaarheid’ in de onderzoeksopzet op welke wijze je triangulatie hebt toegepast.

Omvang onderzoek

Hoe meer mensen je kan betrekken bij je onderzoek, hoe betrouwbaarder je onderzoek.
Echter, hoe meer mensen je gaat bevragen, hoe langer de doorlooptijd van je onderzoek.
Kortom, je moet balans vinden. Je moet precies zoveel mensen bevragen als nodig is voor een betrouwbaar onderzoek.
Steekproefcalculators en dataverzadiging of saturatie.
Actie: de omvang van je onderzoek beschrijven bij de uitwerking van je onderzoek per deelvraag.

Kwaliteit respondenten

De kwaliteit van je respondenten beïnvloedt de kwaliteit van je onderzoek.
Welke mensen ga je betrekken? Op welke manier betrek je deze mensen bij je onderzoek? Hoe nodig je ze uit? Wat is jouw relatie als onderzoeker met je respondenten? En wanneer de respons tegenvalt, hoe ga je dan de respons vergroten?
Actie: de kwaliteit van je respondenten beschrijven bij de uitwerking van je onderzoek per deelvraag.

Methodisch verwerken

De objectiviteit van je onderzoek wil je zo groot mogelijk laten zijn.
Je wilt voorkomen dat jouw subjectiviteit als onderzoeker een rol heeft gespeeld.
Om deze reden moet je de resultaten uit je onderzoek op een methodische wijze verwerken. Gebruik software en beschrijf hoe je dit hebt toegepast. Bij enquêtes kan je gebruik maken van SPSS. Bij interviewverslagen kan je gebruik maken van Kwalitan, QDA, Nvivo of Atlas.ti..
Actie: de wijze waarop je je data verwerkt beschrijven bij de uitwerking van je onderzoek per deelvraag.

1 Comment
  1. Alles in de roos: goedkeuren.
    Alles op een kluitje naast de roos: systematische afwijking (kromme loop bijvoorbeeld).
    Puntenwolk rondom de roos: onnauwkeurig geschoten.
    Puntenwolk naast de roos: beroerde schutter met dat geweer met kromme loop.
    En daarna vertalen naar samenhang data.

Leave a Reply