Category Archives for "blog"

Wat betekent betrouwbaarheid?

Wat betekent betrouwbaarheid?

De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?

Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.

Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.

De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.

Validiteit-en-betrouwbaarheid

Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.

Foutenmarge: 

Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.

Homogeniteit van de onderzoekspopulatie:

De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.

Tips voor het analyseren en rapporteren van onderzoek

tips analyseren rapporten onderzoek

Tips voor het analyseren en rapporteren van onderzoek

Na het formuleren van je doelen, ontwerpen van het onderzoeksinstrument en het verzamelen van informatie is het tijd om de data te analyseren en te rapporteren. Een aantal dingen waarmee je rekening moet houden bij het analyseren en het rapporteren van je onderzoek:

tips analyseren rapporten onderzoek
  • Analyseren en rapporteren gaan in de praktijk hand in hand samen, terwijl het eigenlijk twee aparte stappen zijn die los van elkaar gedaan kunnen worden. Door de stappen tegelijkertijd uit te voeren houd je overzicht en bespaar je tijd.
  • Voordat je aan de analyse begint is het slim om te controleren of het veldwerk goed is uitgevoerd en geregistreerd. Je kijkt of je voldoende respons hebt, naar de representativiteit van je respons en of je voldoende informatie hebt kunnen verzamelen (vooral bij kwalitatief).
  • Omschrijf je onderzoeksgroep. Vooral bij kwantitatief onderzoek kun je vragen krijgen over hoe je tot je conclusies en gegevens bent gekomen.
  • De kern van de analyse en rapportage is het beantwoorden van je deelvragen. Bedenk daarom steeds of de informatie ook echt de deelvraag beantwoord en of het echt iets toevoegt.
  • Bij kwalitatief onderzoek ga je de antwoorden groeperen naar onderwerp/deelvraag. Bij kwantitatieve methoden ga je kijken naar percentages, gemiddelde scores en verbanden met een dataverwerkingsprogramma als excel of spss.
  • Bepaal de juiste vorm voor je rapportage. Bedenk hierbij wat het doel is van het rapport (informeren, overtuigen, aanzetten tot actie etc.) en wie de doelgroep is. Enkele mogelijke vormen vind je in mijn blog hierover.
  • Leg verbanden tussen de details en conclusies in je verslag. Welke antwoorden op deelvragen versterken elkaar? Waar zie je verbanden door het hele onderzoek? Trek de paragrafen en hoofdstukken bij elkaar met deze verbanden en conclusies.
  • Projectevaluatie: een checklist

    projectevaluatie checklist

    Projectevaluatie: een checklist

    Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

    Projectevaluatie fase 1: Bij de start van het project

    • Hoe ziet de doelgroep eruit?
    • Wat zijn de behoeften?
    • Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
    • Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
    • Wat is de beginsituatie?
    • Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
    • Wat zijn leerpunten van vorige projecten?
    • Welk probleem wil je oplossen met het project?
    • Hoe doe je dat het beste?/Wat is het meest geschikte instrument?
    • Wat zijn de kansen/mogelijkheden, bedreigingen, sterktes en zwaktes? (SWOT)
    projectevaluatie checklist


    Projectevaluatie fase 2: Tussentijds

    • Wat is je doelbereik vergeleken met de beginsituatie? (onderzocht bij de start van
    • de regeling)
    • Welke effecten heeft het project tot nu toe?
    • Welke aanpassingen moet je doen om je doelen beter te bereiken?
    • Wat heb je tot nu toe geleerd van het project en waar kun je dat toepassen?

    Projectevaluatie fase 3: Na afloop van het project

    • Wat is je doelbereik vergeleken met de beginsituatie en halverwege het project?
    • Welke effecten heeft het project?
    • Wat zijn succesfactoren van het project?
    • Wat heb je geleerd van het project (verbeterpunten) en waar kun je dat toepassen?

    Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

    1 2 3 8