Validiteit en betrouwbaarheid

Bij een onderzoek moet je rekening houden met validiteit en betrouwbaarheid. Maar wat is dat precies en wat is het verschil? En hoe zorg je dat je onderzoek valide en betrouwbaar is?

Het verschil tussen betrouwbaarheid en validiteit is simpel:

  • Een onderzoek is niet valide als het verkeerde gemeten is, of als de meting verkeerd is geïnterpreteerd.
  • Een onderzoek is onbetrouwbaar als er verkeerd gemeten is. Het resultaat van het onderzoek correspondeert niet met de werkelijkheid.

Een onderzoek moet zowel valide als betrouwbaar zijn, want in beide gevallen zijn de antwoorden op de onderzoeksvragen niet bruikbaar.

Voorbeelden van niet valide onderzoek:

  1. Je vragen zijn niet goed verdeeld. Je meet bijvoorbeeld alleen de kwaliteit in de winterperiode. Wat je wilde meten was de kwaliteit van een proces. Wat je werkelijk gemeten hebt is de kwaliteit in de winter, die misschien afwijkt van de kwaliteit in de herfst als het een stuk drukker is. Dit wordt ook wel ‘bias’ genoemd. De gevonden resultaten zijn niet representatief. Er is blijkbaar een verschil tussen de ‘winterkwaliteit’ en de ‘herfstkwaliteit’.
  2. Je meet een gemiddelde, zonder de spreiding te meten. De levertijd van een afdeling moet bijvoorbeeld 7 dagen zijn. Daar rekenen de klanten op. Nu ga je meten en je constateert dat het gemiddelde over een half jaar 7,2 dagen is.  Je meting is 100% correct en je concludeert dat de afdeling vrijwel perfect presteert. In werkelijkheid waren de levertijden echter anders verdeeld en veel meer gespreid: de helft van de afleveringen was te vroeg, (3 dagen), en de andere helft te laat, (11 dagen) waardoor klanten zeer ontevreden zijn. Dus je mat het gemiddelde, in plaats van de echte afleverkwaliteit.
  3. Een definitiefout. Je moet onderzoek doen naar de doorlooptijd van de productie van tafels. De opdrachtgever wil weten of de tafels sneller, dus met minder arbeidsuren gemaakt kunnen worden. Maar jij gaat meten hoe lang de klanten op hun tafels moeten wachten, de levertijd dus, en die meet je zeer nauwkeurig. Je kunt de levertijd korter maken door met meer mensen tegelijk aan een tafel te werken, maar daar gaan de kosten (het aantal arbeidsuren dat de opdrachtgever moet betalen voor een tafel) niet mee omlaag. Dus je mat de productietijd in klokuren, terwijl je op zoek was naar de productietijd in arbeidsuren. Er is dus een verschil tussen doorlooptijd, uitgedrukt in tijdseenheden, en productietijd, uitgedrukt in geld (de kosten van de arbeidsuren).
  4. Geen objectieve omstandigheden. Als je medewerkers vragen stelt in aanwezigheid van hun leidinggevende krijg je misschien sociaal wenselijke antwoorden, die je netjes noteert en vastlegt. Maar wat je wilde meten was de mening van de medewerkers, en in werkelijkheid mat je wat de medewerkers denken dat ze moeten vinden van hun baas. Er is dus een verschil tussen de privémening en de bedrijfsopvattingen.
  5. Fouten in de analyse en de conclusies. Je wilt de kwaliteit van een proces meten door het aantal klachten van klanten te registreren. Dat doe je zorgvuldig, maar de fout die hier gemaakt wordt is dat er niet een lineair verband is tussen het aantal klachten en de fouten die in een proces gemaakt worden. Niet alle klanten nemen de moeite om te klagen en het kan zelfs zo zijn dat klanten te boos zijn om een klacht in te dienen.

Hoe voorkom je dergelijke fouten?

  1. Zorg dat je onderzoek altijd representatief is, dus vraag niet alleen de baas, maar ook de medewerkers. Niet alleen de afdeling die last heeft van het probleem, maar ook de afdeling die het wellicht veroorzaakt. Als je onderzoek niet representatief is voor het hele jaar, omdat je bijvoorbeeld alleen in mei en juni metingen kan doen, geef dat dan aan en doe een onderbouwde aanname over het verschil tussen de gemeten periode en de rest van het jaar.
  2. Zorg dat je cijfertjes kloppen en de definities van wat je gaat onderzoeken. Dus definieer begrippen als levertijd, kwaliteit, efficiency, faalkosten en dergelijke voordat je met je echte onderzoek begint. Bespreek die definities ook met de opdrachtgever en begeleiders, zodat alle betrokkenen duidelijkheid hebben over wat je precies gaat onderzoeken.
  3. Zorg voor omstandigheden waarbij jouw vragen tot hun recht komen. Dus controleer of de geënquêteerden de vragen begrijpen, of er een veilige omgeving is en of privacy gegarandeerd kan worden.
  4. Let op het verschil tussen correlatie en causaliteit. Dus het verschil tussen het verband tussen twee waarnemingen en oorzaak-gevolgredeneringen. Klassiek voorbeeld: als er meer ijs wordt verkocht zijn er meer verdrinkingen. Verdrinken mensen omdat ze ijs kopen, of is er een verband tussen de temperatuur aan de ene kant en zwemmen en ijs eten aan de andere?

In bovenstaande voorbeelden van validiteit kloppen alle waarnemingen, maar worden verkeerde conclusies getrokken.

Betrouwbaarheid gaat over de nauwkeurigheid van de waarnemingen zelf.

In boekjes over onderzoek wordt betrouwbaarheid vaak gedefinieerd als de kans dat het onderzoek dezelfde resultaten zal opleveren als het opnieuw wordt gedaan door iemand anders. Bij praktijkgericht onderzoek is dat vaak niet haalbaar, omdat de organisatie snel verandert en omdat het onderzoek zelf al een effect heeft op de werkelijkheid. Stel je voor dat je de mensen vraagt of ze ooit hebben gehoord over de ophanden zijnde veranderingen van de werkwijze. Die vraag kan je ze niet een tweede maal stellen en dan dezelfde antwoorden krijgen.

In de praktijk heeft gebrek aan betrouwbaarheid vooral te maken met slordigheid en een gebrek aan waarnemingsvermogen.

Voorbeelden van niet betrouwbaar onderzoek:

  1. Slordigheid van de waarnemer: Tijdens een interview wordt niet goed opgelet en milligram opgeschreven, terwijl de geïnterviewde microgram zei. Een factor duizend verschil.
  2. Slordigheid of desinteresse van de medewerkers. Je vraagt hen bij te houden welke fouten er tijdens het proces worden gemaakt. Daarvoor heb je een formulier gemaakt waarop ze 10 verschillende fouten mogen aankruisen, maar de mensen vullen alleen maar de eerste twee vakjes in. Resultaat is een fout beeld van de kwaliteit van het proces.
  3. Geen begrip voor of kennis van de gevoeligheden van de organisatie. Er is een kans dat een medewerker niet de hele waarheid vertelt of juist bepaalde zaken aandikt, die de naïeve onderzoeker niet in de gaten heeft.

Er zijn twee maatregelen die de betrouwbaarheid kunnen bevorderen:

  1. Laat de betrokkenen altijd je conclusies en meetgegevens lezen. Dus vraag de geïnterviewde om je verslag te controleren. Heeft hij dat echt gezegd? Heb je het goed begrepen? Vraag de projectleider om te bevestigen wat je hebt geconstateerd over de projecten die je hebt onderzocht.
  2. Maak gebruik van triangulatie. Dat betekent dat je meerdere bronnen gebruikt om iets vast te stellen. Dus niet alleen het jaarverslag lezen, maar ook met de controller spreken. Niet alleen het proces observeren, maar ook in de systemen kijken. Op die manier bouw je een extra check in om zeker te stellen dat je zaken goed hebt weergegeven.

Geef een reactie

Waarom?

Wij willen bijdragen aan het verbeteren van de kwaliteit van het afstuderen. Betere resultaten in een korte tijd. Afstuderen moet zinvol en leuk zijn in plaats van een soort zware eindstrijd aan het einde van een opleiding. Het moet juist het kroontje op je opleiding worden, de scriptie moet iets zijn waar je trots op kunt zijn.

Hoe?

Naast ons dagelijks werk hebben wij te maken met afstudeerders en hun afstudeerscripties. Dat doen wij in de rollen van opdrachtgever, afstudeerbegeleider en examinator. In de loop van de jaren hebben wij een enorme hoeveelheid ervaring opgebouwd. Die kennis en ervaring zetten we in bij onderwijsinstellingen, maar in toenemende mate ondersteunen we afstudeerders ook buiten de instellingen om.

Wat?

Om die reden ontsluiten we onze kennis via deze website. En bieden we onze diensten aan. Je kan onze hulp vragen. Maar je kan ook een handzaam boek kopen.

Kijk ook eens …

Op Managementmodellensite.nl vind je heel veel modellen die je kunnen helpen bij je onderzoek. Daarnaast vind je er ook boeken, artikelen en ondersteunende tools.

Op Reflectiesite.nl staat een keur aan reflectietools. Reflectie op het onderzoeksproces en reflectie op je persoonlijke ontwikkeling is een belangrijk onderdeel bij het afstuderen.