Nieuwsbrief

Blijf op de hoogte van Vide en neem een gratis abonnement op Vide Nieuws: onze nieuwsbrief.

  1. Home
  2. Activiteiten
  3. Overzicht van activiteiten

Kwaliteit van evaluatie onderzoek (2/6/04)

Seminar ‘Quality matters in evaluation’, 2 juni 2004.

Vide, Inteval, Ministerie van Financien & WODC Justitie
 
De kwaliteit van evaluaties stond centraal tijdens een bijeenkomst op 2 juni ten huize van de Rijksacademie Voor Economie en Financi�n te Den Haag voor leden van Inteval, een internationaal genootschap van onderzoekers, beleidsevaluatoren en � analisten, leden van Vide, de ambtelijke top van het DG Rijksbegroting, het hoofd van de directie doelmatigheidsonderzoek van de Rekenkamer en een aantal onderzoekers (van o.a. het WODC). Voorzitter was Frans Leeuw, in het dagelijks leven naast Vide-voorzitter, ook directeur WODC-Justitie en hoogleraar aan de Universiteit Utrecht.
 
Andr� de Jong (Directeur-generaal Rijksbegroting) opende en ging in op de aloude performance paradox die weer heel actueel is. Momenteel worden er bij Financi�n karrenvrachten met evaluaties aangemeld, maar de kwaliteit daarvan laat te wensen over. Iedereen, beleidsmakers voorop, onderschrijft het belang van evaluaties om meer resultaatgericht te werken. Hij schetste een somber beeld waarbij het aantal evaluaties wel toeneemt, maar deze niet bijdragen aan effectiever en evidence based beleid. Niet alleen externe factoren verklaren dit probleem, maar ook evaluatoren dragen daaraan bij. Zo hield De Jong een pleidooi voor onderzoek waarin, zoveel mogelijk, de counterfactual gearticuleerd wordt: waar zouden we zijn wanneer dit of dat (stukje) beleid niet was ingevoerd? Een terechte vraag, die ook veel discussie opleverde. Daarnaast gaf hij aan dat ook de onafhankelijkheid van evaluaties vaak in het geding is en dat er een capaciteitsprobleem is. Aan de toegankelijkheid van evaluaties en de bruikbaarheid valt volgens hem ook nog het nodige te verbeteren.
 
Na de intro presenteerden de beide buitenlandse experts (dr. John Mayne, tot voor kort Auditor �General Canada) en prof. Dr.Rob Schwarts (Haifa University) hun boek. Quality Matters� fraai, krachtig overzicht van bevindingen in tal van landen en organisaties. In dit boek gaan ze na waarom kwaliteitsbewaking voor evaluatieonderzoek moet ( er is toch te veel shoddy en shabby werk op de markt), hoe dit aangepakt wordt, wat de relatieve betekenis van soorten standaarden, afspraken, protocollen, peer reviews enz. En���.. hoe een en ander te verbeteren is. Met aanbevelingen, met beperkingen.
 
Vervolgens presenteerde Ton Berkhout van Financi�n de eerste bevindingen en aanpak van de evaluatie van de Rijksregeling voor Prestatiegegevens en Evaluatieonderzoek. Hierop werd door Ray Rist ( Voorzitter Inteval, Worldbank) en Peter van der Knaap (AR) gereageerd. De kwaliteitscriteria voor evaluatie, zoals die in Nederland zijn geformuleerd, blijken moeilijk in praktijk gebracht te kunnen worden. De vraag werd opgeworpen of er wel uniforme kwaliteitscriteria gehanteerd kunnen worden of dat sprake zou moeten zijn van richtlijnen. Immers, zo werd gesteld, voor elk evaluatieontwerp zouden andere criteria moeten gelden. Andere aanwezigen waren van mening dat wel degelijk minimum-kwaliteitsnormen gehanteerd kunnen worden. De hamvraag of de RPE nu heeft bijgedragen aan een verbeterde evaluatiepraktijk in Nederland werd o.a. gesteld door de dagafsluiter Hans Hufen, maar deze vraag kon nog niet beantwoord worden. Dit stelt de evaluatiegemeenschap in Nederland voor een belangrijke uitdaging op welke manier de kwaliteit van evaluaties � door Ray Rist benoemd als technische geschiktheid en bruikbaarheid � nu daadwerkelijk verbeterd kan worden.
printen Terug naar het overzicht Stuur het door

Nieuwsbrief

Blijf op de hoogte van Vide en neem een gratis abonnement op Vide Nieuws: onze nieuwsbrief.