Cercetarea evaluativă în educaţie

Olimpius ISTRATE
director de programe, TEHNE - Centrul pentru Dezvoltare şi Inovare în Educaţie
email: olimpius.istrate [at] tehne.ro

Aproape toate proiectele şi programele educaţionale, derulate pe diverse niveluri ale sistemului de învăţământ - reforma educaţiei, diferite servicii educaţionale, inovaţii în practica didactică, schimbări instituţionale, în sistemul de formare a cadrelor didactice, în curriculum etc. - ajung la un moment dat în stadiul în care se pune problema eficienţei lor.

Pentru a evidenţia gradul de eficienţă a unui program sau proiect, pentru a stabili dacă o politică are impactul dorit sau dacă o intervenţie inovatoare îndeplineşte criterii satisfăcătoare de eficacitate, pentru a determina modul în care eforturile pot fi optimizate sau dacă o iniţiativă merită să fie continuată, se recurge la cercetări de tip evaluativ (evaluation research).

Acest tip special de cercetare, importantă în mod special pentru dezvoltarea educaţiei la nivel macro, este abordată în demersul de faţă la intersecţia dintre domeniul evaluării de programe sociale şi domeniul cercetării în ştiinţele educaţiei.

1. Evaluarea de programe sociale şi educaţionale

Contextul social, politic şi economic al ultimelor două decenii a favorizat la nivel european o "explozie" de intervenţii majore orientate către îmbunătăţirea performanţelor, calităţii, rezultatelor în învăţământ, sănătate, protecţie socială. În consecinţă, domeniul evaluării de programe sociale şi educaţionale a cunoscut un puseu, interesul practicienilor şi teoreticienilor găsind resurse în experienţa americană de conceptualizare şi derulare a evaluărilor de programe (Velea, 2003).

În cadrul sistemului de educaţie, termenul de program se foloseşte pentru a desemna un set de practici sau intervenţii la nivelul unei componente sau al întregului sistem, menite să aibă un impact pozitiv asupra rezultatelor procesului instructiv-educativ.

Evaluarea de programe ar consta, după unii teoreticieni, în aprecierea sistematică a operaţiilor şi/sau a rezultatelor unui program sau unei politici, raportate la un set de standarde explicite sau implicite, reprezentând astfel principalul mijloc de îmbunătăţire a programului sau politicii (Carol Weiss). Din perspectiva altor autori, evaluarea semnifică "acumularea sistematica de fapte pentru a oferi informaţii despre realizările unui program în raport de efort, eficacitate şi eficienţă, în fiecare stadiu al dezvoltării lui" (Trippodi, Fellin, Epstein).

Mai concis, şi în acord cu Scriven (1967), putem spune că evaluarea de programe educaţionale înseamnă aprecierea meritelor sau valorii unui program educaţional.

Scopul principal al evaluării de programe este de a oferi feedback în ce priveşte impactul sau rezultatele şi de a informa factorii de decizie despre eficacitatea programului şi despre pertinenţa ipotezelor care stau la baza unei intervenţii sociale (Kettner, Moroney, Martin, 1999: 220). Evaluatorii îşi construiesc o serie de "întrebări de evaluare" care le ghidează parcursul evaluativ: Programul s-a derulat conform cu obiectivele planificate? Ce rezultate au fost atinse? Ce tipuri de rezultate produce? Ce impact a avut programul? Pentru a construi o imagine completă, evaluarea nu trebuie să se rezume doar la rezultate sau impact, ci să se intereseze şi de scopurile programului, de strategia de implementare, de activităţile propriu-zise şi de modul în care vor fi utilizate rezultatele (Velea, 2003: 56). Astfel, printre întrebările relevante se mai pot enunţa: Programul îndeplineşte criteriile de eficacitate; merită costurile angajate? Cum a fost condus programul? Cât de bine au fost respectate cerinţele iniţiale? Ce fel de utilizare dorim să producem (instrumentală/ conceptuală)? Cum şi cui vor fi comunicate rezultatele? etc.

2. Evaluarea de programe versus cercetarea în educaţie

Evaluarea diferă de cercetare prin: (a) formularea problemei de cercetat, (b) modul în care îşi stabileşte obiectivele principale, ca rezultat al consultării cu factori de decizie, beneficiari şi practicieni, (c) intenţia de utilizare a rezultatelor pentru ameliorarea programelor, precum şi modul de diseminare, (d) contextul "agitat", cu influenţe politice multiple, în care se desfăşoară de cele mai multe ori evaluarea, (e) raportarea către o audienţă formată din persoane care nu lucrează în cercetare şi (f) criteriile de apreciere a calităţii şi/sau utilităţii cercetării . Analitic, diferenţele se pot nuanţa luând în calcul diverse criterii :

În timp, sofisticarea teoriei şi practicii evaluării a condus la apropierea de cercetare, evaluarea făcând recurs din ce în ce mai des la aceeaşi logică a demersului investigativ. În perspectivă pragmatică, utilitatea demersurilor evaluative pentru ameliorarea activităţilor, proiectelor şi programelor din domeniul ştiinţelor sociale determină acordarea unei atenţii sporite metodologiei de evaluare şi potenţarea tuturor metodelor de cercetare în cadrul evaluării.

Punctele comune, care se regăsesc atât în cadrul cercetărilor cât şi în proiectarea şi desfăşurarea cercetărilor de tip evaluativ, se înscriu preponderent în sfera metodologică. La rândul lor, evaluatorii utilizează toată gama de metode şi instrumente de cercetare pentru a colecta informaţii - interviuri, chestionare, teste de cunoştinţe şi abilităţi, inventare de atitudini, observaţia, analiza de conţinut, examinarea evidenţelor. Designul clasic al evaluării utilizează intensiv experimentul randomizat, care presupune măsurarea variabilelor relevante în cel puţin două grupuri echivalente, dintre care unul a fost expus programului de evaluat. Cercetările evaluative actuale se orientează către o multitudine de metode, pe care adesea le utilizează concomitent: focus-grup, studiu de caz, survey post-program, analiză longitudinală, studiu de corelaţie etc. Spre exemplificare, redăm comparativ modul de utilizare al metodei focus-grup în principalele sale arii de aplicaţie - în opinia lui Morgan (1998: 14) - printre care regăsim cercetarea evaluativă şi cercetarea de tip academic:

Circumstanţele politice şi audienţa specifică - factori de decizie, finanţatori, diverşi beneficiari direcţi sau indirecţi - determină în mare măsură standardele cercetărilor evaluative: uneori, acestea pot fi "destul de bune", în sensul că răspund chestiunilor relevante pentru politică, chiar dacă sub aspect ştiinţific nu se ridică la nivelul pe care l-ar fi cerut o comunitate academică (Rădoi, 2004: 50). Din acest punct de vedere, al participării semnificative a beneficiarilor - aceştia având valori şi priorităţi diverse (Bernstein, 1976: 7) -, o cercetare evaluativă poate fi privită ca "un construct al celor implicaţi" (Rădoi, 2004: 98).

3. Cercetarea evaluativă: repere conceptuale şi metodologice

Cercetarea evaluativă devine un instrument din ce în ce mai important de monitorizare, evaluare, ameliorare, dezvoltare a sistemelor de educaţie şi formare. Din punct de vedere al conţinutului, aprecierea calităţii şi analizele de tip teoretic şi empiric ale factorilor care determină eficienţa în educaţie devin nucleul tare al cercetărilor evaluative derulate în acest domeniu. Metodologic, cercetarea evaluativă denotă un tip de evaluare care face apel la proceduri riguroase de cercetare. Ea constă în aprecierea retrospectivă a intervenţiilor şi programelor educaţionale, cu scopul ameliorării acestora, luării deciziilor sau (mai rar) realizată în vederea alimentării dezbaterilor publice cu privire la componente ale politicilor educaţiei.

Scopul principal al cercetărilor evaluative realizate în educaţie este de a testa (1) dacă programele educaţionale servesc scopurile pentru care au fost iniţiate şi (2) pertinenţa ameliorării unor componente şi/sau lărgirii eşantionului de instituţii implicate. După Shadish, Cook şi Leviton (1999: 48), pentru atingerea scopului evaluării unui program, evaluatorii pot pune întrebări despre:

1. beneficiarii reali sau potenţiali, necesităţile şi dorinţele lor;
2. input-urile în program, ca buget şi personal;
3. structura şi procesele interne ale programului, incluzând activităţi, organizare internă şi modelul programului care schiţează relaţiile dintre aceste aspecte;
4. variabilele din afara programului care îl afectează: legislaţie, regulamente sau suport politic şi organizatoric local etc.
5. schimbări la nivelul societăţii şi beneficiarilor;
6. costurile şi beneficiile programului.

Etapele principale pe care le presupune cercetarea evaluativă, ca tip special de cercetare constând în "a observa pentru a judeca", sunt (1) culegerea de informaţii şi (2) judecata sau decizia (Van der Maren, 1999). Diferite modele de evaluare presupun paşi diferiţi, însă cele două etape compun orice "sintaxă" a planului de evaluare. Michael Scriven sugerează nouă paşi pe care trebuie să-i parcurgă evaluarea (Scriven, 1972, apud Velea, 2003: 58-59):

1. caracterizarea programului care urmează a fi evaluat;
2. clarificarea concluziilor care se aşteaptă a fi formulate;
3. cercetarea şi identificarea relaţiilor cauzale: acţiuni-efecte;
4. identificarea şi analiza consecinţelor în ansamblu;
5. evaluarea costurilor;
6. identificarea şi analiza obiectivelor programului;
7. compararea programului cu alţi competitori;
8. analiza de nevoi ca fundament pentru aprecierea importanţei programului;
9. formularea unor judecăţi de ansamblu privind programul.

Pentru evaluarea programelor de mare anvergură, UNESCO (2005) propune cinci etape semnificative: (1) elaborarea mandatului si a termenilor de referinţa: problematica, scopul evaluării, condiţii de implementare, metodologia colectării datelor; (2) elaborarea proiectului: analiza programului existent si a evaluărilor preliminare, formularea ipotezelor, scopurile si întrebările evaluative, strategia de colectare si analiza a datelor, valorificarea rezultatelor; (3) implementarea proiectului: colectarea si analiza datelor, elaborarea proiectului; (4) utilizarea rezultatelor; (5) evaluarea evaluării.

Mai aproape de cercetările de tip experimental, Bernstein (1976) acordă atenţie unor etape de proiectare considerate problematice pentru scopul în care se desfăşoară cercetarea evaluativă şi activitatea de analiză a datelor: (1) specificarea ipotezei de cercetare, (2) selectarea eşantionului adecvat pentru testarea ipotezei, (3) selectarea, alocarea şi menţinerea subiecţilor în grupurile experimentale, (4) alegerea unui sistem care poate furniza estimări rapide ale efectelor imediate ale programului, estimări mai precise, intermediare, şi estimări ale efectelor pe termen lung, (5) selectarea surselor de informaţie şi/sau procedurilor analitice care pot servi la ameliorarea strategiilor de proiectare ce se dovedesc inadecvate în contextul unor constrângeri particulare ale cercetării.

În majoritatea cazurilor, pentru designul şi dezvoltarea unei cercetări evaluative se folosesc concomitent teoriile şi cercetările din ştiinţele sociale, evaluări anterioare, aşteptările beneficiarilor şi practicienilor, cunoştinţele şi experienţa evaluatorului în programe sau evaluări similare. Într-o încercare de aducere la un numitor comun, putem spune că cercetarea evaluativă în educaţie presupune utilizarea adecvată a metodelor şi tehnicilor de cercetare pentru a aprecia şi a îmbunătăţi planificarea, calitatea, eficacitatea şi eficienţa unor programe educaţionale. În cazul demersurilor de cercetare de tip academic, cercetătorul formulează o ipoteză pe care o va verifica pe parcurs, utilizând metode şi tehnici riguroase. În cercetarea evaluativă, ipotezele de cercetare sunt negociate cu managerii de program, finanţatorii şi alţi beneficiari, iar viziunile diferite asupra modului în care activităţile pot conduce la atingerea scopului programului determină evaluatorul să-şi decanteze permanent ipoteza de cercetare în viziunea unor noi sensuri ale obiectivelor stabilite. Demersul cercetătorului care evaluează un program este de tip iterativ - instrumentele sunt ajustate conform cu feedbackul primit, noi instrumente sunt dezvoltate pentru a surprinde aspecte ale programului aduse în prim-plan de discuţiile cu beneficiarii sau, adesea, noi seturi de argumente sunt construite pentru a susţine coerenţa şi unitatea recomandărilor formulate în diverse stadii ale cercetării evaluative.

4. Ameliorare şi decizie în urma cercetării evaluative

Raţiunea principală a proiectării şi derulării cercetărilor evaluative vizează formularea recomandărilor pentru ameliorare şi decizie (Van der Maren, 1999).

Direcţia ameliorativă presupune finalitatea praxiologică - practicienilor educaţiei li se arată modalitatea de a compara ceea ce fac cu ceea ce s-ar putea face, pentru a înţelege cauzele unor eventuale nerealizări şi insatisfacţii. Un alt nivel vizat de cercetările evaluative pentru ameliorare este cel al programelor educaţionale guvernamentale. Domeniul evaluării programelor guvernamentale în vederea îmbunătăţirii lor este adus în prim-plan de Wholey din două motive: pentru că acestea sunt mijloacele fundamentale prin care societatea îşi exprimă problemele sociale - în consecinţă îmbunătăţirea acestor programe este esenţială pentru soluţionarea problemelor sociale - şi pentru că programele sociale sunt rareori duse la bun sfârşit, datorită factorilor politici, sociali şi economici implicaţi în crearea şi în întreţinerea lor (Wholey, 1993, Wholey & White, 1973, apud Shadish et alii, 1999: 223).

Cercetarea evaluativă pentru decizie valorifică tehnicile şi metodele de cercetare pentru a obţine o serie de informaţii care permit întemeierea pe date verificate, credibile a reformelor sau modificărilor aduse programelor şi proiectelor sociale şi educaţionale.

În această perspectivă, cercetarea evaluativă transcende limitele unui simplu exerciţiu tehnic sau metodologic, dobândind semnificaţii politice prin consecinţele importante pe care le are asupra programelor sociale, instituţiilor guvernamentale, bugetelor şi actorilor de pe scena politică. Când cercetătorii examinează efectele unui program social, fac declaraţii cu nuanţe politice; de asemenea, stabilirea obiectivelor şi metodelor de cercetare, interpretarea datelor şi alegerea seturilor de variabile relevante, dar în mod special elaborarea recomandărilor - toate acestea sunt alegeri care presupun un substrat politic semnificativ (Weiss, 1987, apud Weiss, 1991: 211). De asemenea, în cazul multor programe, nevoia de suport politic pentru iniţierea şi desfăşurarea lor determină stabilirea unor obiective nerealiste, construite astfel pentru a obţine susţinere şi a concilia facţiuni sau grupuri politice (Weiss, 1991, p.216). În consecinţă, în cadrul unei cercetări evaluative, evaluatorii sunt puşi adesea în situaţia de a disocia între obiectivele de faţadă şi cele reale, între declaraţiile de imagine publică şi cele care arată direcţia în care se îndreaptă echipa programului. În plus, o cercetare asupra nevoilor reale ale grupului ţintă sau procesului de ameliorat constituie o opţiune de luat în calcul de către evaluator în fazele incipiente ale evaluării unui program.

Raportul de cercetare evaluativă pentru decizie pune în evidenţă valoarea unui program pentru sistemul de educaţie şi pentru beneficiarii acestuia; cei care iau decizii pot stabili în cunoştinţă de cauză continuarea sau întreruperea programului, îmbunătăţirea unor componente (ameliorarea) şi lărgirea cadrului intervenţiei sau, eventual, sistarea activităţilor ineficiente. Facilitarea utilizării rezultatelor obţinute în urma cercetării evaluative se constituie astfel ca o etapă deosebit de importantă. În afara publicării rezultatelor în forumurile publice şi menţinerii contactului cu toţi potenţialii beneficiari, o utilizare adecvată a rezultatelor evaluării se poate asigura prin modul de redactare a rapoartelor finale, destinate factorilor de decizie, rapoarte care includ sinteze, suplimente la raport, recomandări de acţiune şi de folosire a informaţiilor prezentate.

După modelul strategiilor schimbării în rezolvarea problemelor sociale (Shadish et alii, 1999, pp. 458-461), în încercarea de ameliorare a programelor din sistemul de educaţie ca urmare a derulării cercetărilor evaluative, se pot adopta diverse strategii: (a) de tip "incremental" -îmbunătăţirea sau schimbarea succesivă a elementelor şi proiectelor componente, în general de la periferia unui program -, (b) planificarea şi desfăşurarea de proiecte demonstrative, ce utilizează metode alternative cu potenţial inovator, în încercarea de a le impune valoarea şi, odată validate, de a le generaliza şi extinde la nivelul unui program, (c) punerea sub semnul întrebării a ipotezelor centrale pe care este construit un program şi căutarea alternativelor radicale, mai apropiate de realitatea mediului educaţional şi de problemele sale. Astfel, în funcţie de tipul de program evaluat, de metodologia de cercetare construită şi de scopul evaluării, rezultatele unei cercetări evaluative îşi pot găsi modalitatea optimă de a fi puse în valoare şi utilizate în scopul pentru care au fost generate.

EXTRASE:

Extras 1: Van Der Maren, Jean-Marie. La recherche applique en pedagogie. Paris-Bruxelles: De Boek & Larcier, 1999, pp. 60-61.

Dintr-o perspectivă pragmatică, evaluarea este deci esenţial concentrată pe efectivitate, adică pe cantitatea şi nivelul obiectivelor atinse. În acelaşi timp, problema nu se pune atât asupra rezultatului, adică raportul dintre criteriul aşteptat şi cel atins, ci mai ales se pune accentul asupra procesului, altfel spus, al eficienţei. Odată ce a existat constant o distanţă între ceea ce era vizat şi ceea ce s-a obţinut, problema este să se facă o analiză a procesului care a dus la această distanţare pentru ca, pe viitor, să se reducă sau să se şteargă această discrepanţă. [...]

Nu de rare ori, luarea unei măsuri riguroase [ca urmare a cercetării evaluative - n.n.] este prea dificil de realizat pentru că practicianul care "vede" bine că "asta nu merge" aşteaptă ca experţii în domeniu să aibă timp să ia măsurile, să le analizeze şi să le valideze. Practicianul care "simte" o problemă încearcă să o rezolve, sau cel puţin să-i atenueze efectele, odată ce le-a perceput, chiar dacă nu ştie să explice pe deplin sursa problemei. Practicianul este ca un medic de campanie într-o regiune izolată - trebuie să amelioreze durerea înainte de a fi primit rezultatele analizelor de laborator.

Extras 2: Shadish, W.R. Jr., Cook,T.D., Leviton, L.C. Fundamentele evaluarii programelor. Teorii ale practicii. Bucureşti: FIMAN, 1999, p. 227.

Guvernul este prea des risipitor, ineficace sau impasibil la nevoile publice. [...]

Evaluarea realizează pentru guvern ceea ce profitul realizează în sectorul privat - asigură păreri critice în legătură cu atingerea sau ratarea atingerii obiectivului de către program, la fel cum auditul şi controlul fac pentru buget, iar controalele de conformitate pentru administraţie (Horst, Nay, Scanlon & Wholey, 1974).

Factorii de decizie politică şi managerii programelor au nevoie repede de opinii critice deoarece orice curs al acţiunii are mai multe rezultate posibile şi orice faptă are o eroare inerentă asociată. Nu putem prevedea cu siguranţă ce rezultate vor urma anumitor politici şi nici nu trebuie să fim încrezători că implementarea politicii se va conforma planului. Ambii factori implică faptul că determinarea cât mai repede a efectelor este necesară pentru îndeplinirea şi, eventual, redirecţionarea obiectivelor programului. Resursele limitate disponibile pentru satisfacerea nevoilor sociale grave şi impactul semnificativ, dar în mare parte previzibil, al politicilor naţionale necesită cunoaşterea din timp a opiniilor critice despre efectele pozitive şi negative ale programelor în funcţiune, pentru a asigura planificarea şi managementul eficient al programului. (Wholey et alii, 1970)

Bibliografie:

1. Bernstein, Ilene N. (ed.). Validity issues in evaluative research. Beverly Hills/ London: Sage Publications, 1976.
2. Birckmayer, J.D. & Weiss, C. Theory-Based Evaluation in Practice. In: Evaluation Review. Vol. 24, No. 4 (pp. 407-431). New York: Sage Publications, 2000.
3. Kettner, P., Moroney, R., Martin, L. Designing and Managing Programs. An Effectiveness-Based Approach. London: Sage Publications, 1999.
4. Morgan, D. L. Focus Group Kit. London: Sage Publications, 1998.
5. Rădoi, Mireille. Evaluarea politicilor publice. Bucureşti: Tritonic, 2004.
6. Shadish, W.R. Jr., Cook, T.D., Leviton, L.C. Fundamentele evaluarii programelor. Teorii ale practicii. Bucuresti: FIMAN, 1999.
7. Tripodi, T., Fellin, Epstein, I. Social Program Evaluation, Illinois: University of Michigan, F.E. Peacock Publishers, 1986.
8. UNESCO. Internal Oversight Service. [available online: http://www.unesco.org/ios]. UNESCO, 2005.
9. Van Der Maren, Jean-Marie. La recherche applique en pedagogie. Paris-Bruxelles: De Boek & Larcier, 1999.
10. Vedung, Evert. Public Policy and Program Evaluation. New Brunswick/ London: Transaction Publishers, 2000.
11. Velea, Luciana Simona. Programe sociale şi evaluarea lor. În: Istrate, I. (coord.) Comunităţi în mişcare: Programe şi intervenţii sociale. Botoşani: Fundaţia Naţională pentru Dezvoltare Comunitară, 2003.
12. Weiss, Carol H. Evaluation Research in the Political Context: Sixteen Years and Four Administration Later. In: McLaughlin, M. & D.C. Phillips (ed.). Evaluation and Education: At Quarter Century. Chicago: University of Chicago Press, 1991.
13. Weiss, Carol H. Evaluation. (Second Edition). New Jersey: Prentice Hall, 1998.
14. Wisler, Carl. Designing Evaluation. [available online: http://www.gao.gov/policy/10_1_4.htm] U.S. Government Accounting Office - Program Evaluation and Methodology Division: GAO/PEMD, 1991.
15. Worthen, B.R., Sanders, J.R., Fitzpatrick, J.L. Program Evaluation: Alternative Approaches and Practical Guidelines. Second Edition. New York: Longman Publishers, 1997.

Extras din:
Istrate, Olimpius. Cercetarea evaluativa in educatie. In: Cristea, S. (coord.) Curriculum pedagogic. Bucureşti: Editura Didactică şi Pedagogică, 2006.

Pentru alte informaţii şi suport în domeniul evaluării de programe sociale şi/sau educaţionale:
  >> www.tehne.ro/educatie/contact.html <<.