Centre for Innovation in Education

Centre for Innovation in Education   (TEHNE Romania)
TEHNE.ro   >   programs   >   education programmes evaluation



Programs
Projects
Activities
Partners and Collaborators
About TEHNE
Contact

 
 
 
 
 

Evaluarea programelor sociale si/sau educationale
(Social and educational programmes evaluation)

Simona Velea
cercetător, Institutul de Stiinte ale Educatiei
consultant, TEHNE - Centrul pentru Dezvoltare si Inovare in Educatie

email: simona [at] ise.ro

Evaluarea programelor sociale constituie un domeniu nou, care s-a bucurat însă de mare interes din partea cercetătorilor, practicienilor, finanțatorilor, factorilor de decizie. Interesul si nevoia crescândă de evaluare, fondurile alocate programelor sociale și educaționale și cercetării evaluative au stimulat dezvoltarea rapidă a domeniului.

Prima parte a acestui material prezintă un scurt istoric al constituirii domeniului, punctând momentele importante ale evoluției teoriilor și practicilor evaluării de programe. Luând în considerare specificul limbajului științelor sociale și noutatea domeniului, am considerat necesară definirea conceptele-cheie și descrierea procesualității evaluării.

Partea a doua prezintă o sinteză a caracteristicilor diferitelor stadii de dezvoltare a domeniului și o analiză comparativă a acestora. Pentru o analiză detaliată, este propus modelul evaluării prin împuternicire (en., empowerment evaluation), luând în considerare noutatea sa și elementele de originalitate pe care le aduce, dar și limitele teoretice și practice. Opțiunea pentru această abordare este justificată de concepția evaluării drept proces de învățare, care dezvoltă competențele tuturor celor implicați în program de a se autoevalua, de a evalua activitatea și rezultatele echipei de proiect, de a participa la procesul de evaluare. Evaluarea nu este gândită ca mecanism de control și sancțiune, ci ca activitate firească, utilă, ca element intrinsec al programului. Evaluarea prin împuternicire ajută participanții "să se ajute ei înșiși", să își amelioreze activitatea și rezultatele prin autoevaluare și reflecție. Caracteristica sa principală este aceea că promovează o cultură a învățării și a evaluării.

1. Ce este un program social?

Un program social este definit ca set de activități sau de proiecte orientate spre un obiectiv/grup de obiective, în care resursele umane, materiale si financiare sunt coerent organizate pentru a produce bunuri/servicii sau schimbări ale mediului, ca răspuns la anumite nevoi. Ciclul de viață al unui program cuprinde mai multe etape: inițierea, dezvoltarea si consolidarea sau proiectarea, implementarea, monitorizarea și evaluarea. Elementele structurale ale unui program sunt: scopuri și obiective, activități, resurse umane, materiale și procedurale și de timp, beneficiari/populație-țintă, sistem managerial, componentă de evaluare/autoevaluare.În Statele Unite, programele sunt principalul mijloc de implementare a unei politici și de structurare a bugetului la nivel federal. În Uniunea Europeană, politicile sunt implementate prin fonduri structurale care încearcă să creeze un echilibru de dezvoltare socio-economică în interiorul Uniunii (Fondul de dezvoltare regională, Fondul agricol, Fondul pentru pescuit, Fondul social). Programele europene au o magnitudine mai mică decât în Statele Unite.

Ce este un proiect?

Un termen utilizat uneori ca sinonim este acela de proiect. Proiectele sunt definite ca un set de acțiuni planificate pe o durată determinată de timp care urmăresc atingerea unor obiective. Conform accepțiunii Comisiei Europene (1986), proiectul înseamnă "un grup de activități care trebuie realizate într-o secvență logică, pentru a atinge un set de obiective prestabilite, formulate de client; proiectul este prima subdiviziune a programului".

Programele și proiectele au structuri asemănătoare: obiective, populație-țintă, resurse, plan de activități, durată de desfășurare, echipă de lucru. Există însă și diferențe: bugetul proiectului este de regulă, fix, iar cel al programului este flexibil, global; durata proiectelor este mai mică decât a programelor. Programele sunt un mijloc de implementare a unei politici, iar proiectele sunt componente ale programului. Rolul echipei programului este de coordonare și supervizare, în timp ce echipa de proiect are rol de implementare.

2. Evaluarea programelor/ proiectelor sociale și educaționale. Scurt istoric

Cu toate că, în opinia unor autori (Shadish, Cook, Leviton, 1999), "evaluarea modernă de programe sociale a apărut în anii '60", încercări aparținând acestui domeniu au fost inițiate încă din secolul al XIX-lea. C. Weiss identifica un studiu evaluativ datând din 1833, în Europa, care a încercat să demonstreze măsura în care programele educaționale au determinat scăderea ratei delicvenței juvenile. Concluzia studiului a fost că nu există nici o corelație între program și rata delicvenței. În America de Nord, în 1845 a fost efectuat un studiu evaluativ prin care au fost administrate teste scrise pentru toate disciplinele de bază din școală ("Boston Survey"). Rezultatele acestor studii nu au fost însă valorificate. La începutul secolului al XX-lea s-a dezvoltat o mișcare favorabilă testelor psihologice și educaționale, impunându-se ideea ca testele au o legitimitate și că oferă informații relevante.

Un moment important în dezvoltarea evaluării programelor sociale si educaționale, în ordine cronologică, este localizat temporal în anii '30 - '50 și este caracterizat prin dezvoltarea modelului evaluării centrate pe obiective (R. Tyler) și prin mișcarea în favoarea acreditării unităților de învățământ.

În deceniile 6, 7, 8, se înregistrează o schimbare de optică la nivelul evaluării: scade interesul pentru obiective si pentru instrumentele de testare, pentru măsurare și crește interesul pentru conceptualizarea evaluării. Trebuie menționat că dezvoltarea domeniului evaluării programelor sociale și educaționale a avut loc mai mult în Statele Unite ale Americii, prin influența contextului politic și economic. In aceasta perioada s-au inițiat diverse programe sociale în învățământ, sănătate, programe de combatere a sărăciei, de asistență pentru bătrâni. "Majoritatea programelor au fost lansate cu speranțe mari si investiții enorme" (Shadish, Cook, Leviton, pag.4). S-au dezvoltat sistemele de protecție socială, iar politicile sociale au devenit o preocupare majoră a statului. Au fost alocate mari fonduri bugetare pentru inițierea și dezvoltarea de programe sociale. Bell (1983) estima că fondurile cheltuite în toate programele sociale au crescut de 600 de ori până în 1979, față de 1950.

Anii '80 - '90 se caracterizează prin consolidarea bazelor teoretice ale evaluării programelor sociale si educaționale, prin dezvoltarea unor programe de pregătire a evaluatorilor - "profesionalizarea evaluării" - și preocupări pentru metaevaluare, pentru definirea unor standarde de apreciere a evaluării programelor sociale si educaționale.

Dezvoltarea programelor sociale, investițiile financiare și umane pe care le-au implicat au dus la creșterea nevoii de evaluare, cu scopul controlului calității serviciilor/produselor, justificării investițiilor, analizei efectelor și impactului programelor sau aprecierea măsurii în care acestea au servit la ameliorarea sau rezolvarea unei probleme. Din perspectiva economică, a crescut interesul pentru modul în care au fost cheltuite fondurile și pentru eficiență (analiza cost-beneficiu). Din perspectivă managerială a apărut interesul pentru coordonarea eficientă a programelor, însă puțini manageri aveau experiența în acest domeniu. Din perspectivă politică, în Statele Unite, evaluarea a apărut ca soluție pentru conflictul de interese între autoritățile locale și cele federale, acestea din urmă dorind o mai mare putere asupra programelor sociale.

La aceste aspecte se adaugă unele preocupări de natură intelectuală. Criticii sociali au observat destul de repede punctele slabe ale unor programe, căutând apoi soluții pentru ameliorare. În acest sens, ei aveau nevoie de date evaluative privind organizarea și implementarea programului, eficiența, eficacitatea, punctele sale slabe sau punctele forte. Toate aceste aspecte au făcut necesară apariția unei noi categorii profesionale. La sfârșitul anilor '60, cererile de feedback asupra programelor sociale au depășit oferta de personal existentă, determinându-i pe mulți dintre absolvenții de științe sociale să se orienteze spre evaluare. Numărul persoanelor specializate in științele sociale a crescut. Evaluarea de programe sociale si educaționale "a răspuns unei necesități a momentului", iar "evaluarea profesionistă a devenit o alternativa viabilă de carieră, față de cariera academica" (Shadish, Cook, Leviton, 1999, pag.8). Evaluarea este o profesie, cu toate că evaluarea de programe nu reprezintă un domeniu de activitate complet profesionalizat. Un indicator al profesionalizării este si apariția unor reviste de specialitate, a unor asociații profesionale si a standardelor profesionale.

În Europa, evaluarea programelor sociale și educaționale s-a dezvoltat la începutul anilor '80, în contextul integrării europene. În România, domeniul evaluării programelor sociale și educaționale se află la început, deoarece obiectul său - programele sociale și educaționale - au apărut în urmă cu aproximativ un deceniu. Primele evaluări de programe au fost cele realizate cu asistență internațională (de ex., programul Phare). Primul program care a cuprins și o componentă de monitorizare și evaluare a fost PAEM - Programul de Măsuri Active pentru Combaterea Șomajului, administrat de Fundația Internațională pentru Management, în perioada 1994-1997.

3. Delimitări conceptuale și metodologice

Evaluatorii definesc diferit unii termeni sau interpretează diferit anumite abordări. Evaluarea este, în general, o activitate de echipă, de aceea o armonizare a accepțiunilor termenilor, strategiilor și modelelor teoretice este necesară, în vederea ameliorării comunicării și colaborării. Este important ca membrii echipei să împărtășească o viziune comună asupra procesului de evaluare, astfel încât activitățile lor să fie complementare în atingerea acelorași scopuri.

Întrebările generale recomandate echipei de evaluatori pentru a preveni și diminua diferențele de abordări teoretice și metodologice sunt descrise în continuare.

Ce este evaluarea?

Există moduri diferite de a defini evaluarea:

  • determinare a gradului de realizare a obiectivelor;
  • culegere de informații pentru adoptarea unor decizii;
  • apreciere a meritului, valorii unui proiect sau program;

Evaluarea înseamnă "aprecierea sistematica a operațiilor și/sau a rezultatelor unui program sau unei politici, raportate la un set de standarde explicite sau implicite, un mijloc care contribuie la îmbunătățirea programului sau politicii" (Carol Weiss, 1998). Din perspectiva altor autori, evaluarea înseamnă, acumularea sistematica de fapte, pentru a oferi informații despre realizările unui program in raport de efort, eficacitate si eficiență, în fiecare stadiu al dezvoltării lui" (Trippodi, Fellin, Epstein, pag.12). Aceiași autori consideră evaluarea ca fiind o "tehnică managerială care furnizează feedback informativ administratorilor programelor" (idem, pag.7). Prin urmare, evaluarea reprezintă un proces de apreciere a valorii, meritului si calității unui proces, produs sau rezultat.

Ce evaluăm (care este obiectul evaluării)?

Obiectul evaluării îl constituie:

  • componentele programului (obiective, resurse umane, materiale, procedurale (strategii de acțiune) si de conținut, populația-țintă, timpul, sistemul managerial si propriul sistem de evaluare);
  • proiectul programului;
  • implementarea programului;
  • rezultatele, efectele (impactul programului).

Care sunt funcțiile și scopurile evaluării?

  • oferă informații pentru adoptarea de decizii: utilitatea - evaluare formativă
  • controlul calității - evaluare sumativă
  • dezvoltă cunoștințe noi (apropiere de cercetare). Daniel Stufflebeam nu este de acord cu apropierea dintre cele două concepte, fiind de părere că dezvoltarea de cunoștințe noi este apanajul cercetării și că asemănarea celor două activități creează dificultăți.

Evaluarea servește unor scopuri diferite, care presupun criterii de evaluare diferite sau cel puțin ierarhizări diferite ale criteriilor. Evaluatorii ar trebui să menționeze și să explice clar scopurile evaluării, iar metaevaluarea să analizeze consensul, claritatea și implicațiile acestora. Rolul evaluării se manifesta in trei direcții, după cum susține Chelimsky: controlul calității programului, ameliorarea sa si, din punct de vedere epistemic, acumularea de noi cunoștințe teoretice in acest domeniu.

Ce întrebări va adresa evaluarea?

În mod tradițional, evaluarea va adresa întrebări privind rezultatele unui program sau proiect educațional, dar nu trebuie să se rezume la acestea, ci să se intereseze și de scopurile programului, de proiectul/ strategia de implementare, de activitățile propriu-zise. Metaevaluarea poate analiza întrebările care au fost adresate, dacă sunt cele adecvate, dacă sunt complete etc.

Ce informații sunt necesare?

Este important să culegem date cantitative și calitative, de la diferite categorii de beneficiari. Este, de asemenea, foarte important echilibrul dintre descrieri, observații, judecăți și recomandări.

Cui servește evaluarea?

  • Care este audiența, care sunt categoriile de beneficiari ai rezultatelor evaluative?
  • Care sunt așteptările și nevoile de informare ale publicului?

De regulă, există mai multe categorii de beneficiari ai evaluării, iar nevoile lor de informare sunt diferite. De exemplu, evaluarea unei inovații educaționale sau evaluarea unor programe școlare interesează profesorii, elevii, părinții, factorii de decizie, politicienii, managerii școlari, editorii, sponsorii, cercetătorii și nu în ultimul rând, cetățenii - plătitori de taxe și impozite.

Prin urmare, proiectul unei evaluări trebuie să reflecte diferitele categorii de public, nevoile, interesele și așteptările lor și modalitățile prin care se încearcă răspunsul la aceste nevoi. Dacă aceste aspecte sunt lăsate la voia întâmplării, este foarte probabil ca evaluarea să eșueze în a răspunde nevoilor diferitelor categorii de beneficiari. Un raport de evaluare proiectat să răspundă nevoilor unor beneficiari nu va fi la fel de util și altei categorii de public țintă.

Un exemplu în acest sens îl constituie evaluarea unui program de ameliorare a accesului la educație al copiilor defavorizați, inițiat în Statele Unite în 1967. Două categorii de persoane interesate de evaluarea acestui proiect - educatorii și politicienii, aveau așteptări foarte diferite: educatorii erau interesați de "cum" pot reuși proiectele individuale de acest tip, iar politicienii de "ce" s-a realizat în ansamblu, "cât" s-a realizat din ceea ce s-a propus.

Comisia de evaluare a decis asupra tipurilor de așteptări și a întrebărilor evaluative, fără a acorda atenție nevoilor de informare diferite. Pe baza rapoartelor de evaluare realizate de fiecare școală în parte, comisia de evaluare a încercat elaborarea unui raport integrator, fără a ține seama de faptul că un singur raport de evaluare nu ar fi fost suficient de comprehensiv sau de adecvat fiecărei categorii de beneficiari. Rezultatul a fost dezastruos, însă a demonstrat importanța identificării și analizei nevoilor de informare.

Culegerea datelor și elaborarea raportului sunt direct influențate de nevoile de informare, interesele și așteptările beneficiarilor. Dacă evaluatorii acordă atenție acestor aspecte, există premise pentru a satisface criteriile de relevanță, importanță, scop și timp.


Extras din:
Velea, Luciana-Simona. Evaluarea programelor sociale si educationale. In: Istrate, I. (coord.) Comunități în mișcare: Programe și intervenții sociale. București: Editura Agata, 2004.

Other information and support for education programmes evaluation:
  >> www.tehne.ro/education/contact.html <<.


TEHNE.ro   >   programs   >   education programmes evaluation
  ©   Centre for Innovation and Development in Education (TEHNE Romania)
 
  VPS Windows