Evaluarea programelor sociale şi/sau educationale

Luciana-Simona VELEA
cercetător, Institutul de Ştiinţe ale Educaţiei
consultant, TEHNE - Centrul pentru Dezvoltare şi Inovare în Educaţie
email: simona [at] ise.ro

Evaluarea programelor sociale constituie un domeniu nou, care s-a bucurat însă de mare interes din partea cercetătorilor, practicienilor, finanţatorilor, factorilor de decizie. Interesul si nevoia crescândă de evaluare, fondurile alocate programelor sociale şi educaţionale şi cercetării evaluative au stimulat dezvoltarea rapidă a domeniului.

Prima parte a acestui material prezintă un scurt istoric al constituirii domeniului, punctând momentele importante ale evoluţiei teoriilor şi practicilor evaluării de programe. Luând în considerare specificul limbajului ştiinţelor sociale şi noutatea domeniului, am considerat necesară definirea conceptele-cheie şi descrierea procesualităţii evaluării.

Partea a doua prezintă o sinteză a caracteristicilor diferitelor stadii de dezvoltare a domeniului şi o analiză comparativă a acestora. Pentru o analiză detaliată, este propus modelul evaluării prin împuternicire (en., empowerment evaluation), luând în considerare noutatea sa şi elementele de originalitate pe care le aduce, dar şi limitele teoretice şi practice. Opţiunea pentru această abordare este justificată de concepţia evaluării drept proces de învăţare, care dezvoltă competenţele tuturor celor implicaţi în program de a se autoevalua, de a evalua activitatea şi rezultatele echipei de proiect, de a participa la procesul de evaluare. Evaluarea nu este gândită ca mecanism de control şi sancţiune, ci ca activitate firească, utilă, ca element intrinsec al programului. Evaluarea prin împuternicire ajută participanţii "să se ajute ei înşişi", să îşi amelioreze activitatea şi rezultatele prin autoevaluare şi reflecţie. Caracteristica sa principală este aceea că promovează o cultură a învăţării şi a evaluării.

1. Ce este un program social?

Un program social este definit ca set de activităţi sau de proiecte orientate spre un obiectiv/grup de obiective, în care resursele umane, materiale si financiare sunt coerent organizate pentru a produce bunuri/servicii sau schimbări ale mediului, ca răspuns la anumite nevoi. Ciclul de viaţă al unui program cuprinde mai multe etape: iniţierea, dezvoltarea si consolidarea sau proiectarea, implementarea, monitorizarea şi evaluarea. Elementele structurale ale unui program sunt: scopuri şi obiective, activităţi, resurse umane, materiale şi procedurale şi de timp, beneficiari/populaţie-ţintă, sistem managerial, componentă de evaluare/autoevaluare.În Statele Unite, programele sunt principalul mijloc de implementare a unei politici şi de structurare a bugetului la nivel federal. În Uniunea Europeană, politicile sunt implementate prin fonduri structurale care încearcă să creeze un echilibru de dezvoltare socio-economică în interiorul Uniunii (Fondul de dezvoltare regională, Fondul agricol, Fondul pentru pescuit, Fondul social). Programele europene au o magnitudine mai mică decât în Statele Unite.

Ce este un proiect?

Un termen utilizat uneori ca sinonim este acela de proiect. Proiectele sunt definite ca un set de acţiuni planificate pe o durată determinată de timp care urmăresc atingerea unor obiective. Conform accepţiunii Comisiei Europene (1986), proiectul înseamnă "un grup de activităţi care trebuie realizate într-o secvenţă logică, pentru a atinge un set de obiective prestabilite, formulate de client; proiectul este prima subdiviziune a programului".

Programele şi proiectele au structuri asemănătoare: obiective, populaţie-ţintă, resurse, plan de activităţi, durată de desfăşurare, echipă de lucru. Există însă şi diferenţe: bugetul proiectului este de regulă, fix, iar cel al programului este flexibil, global; durata proiectelor este mai mică decât a programelor. Programele sunt un mijloc de implementare a unei politici, iar proiectele sunt componente ale programului. Rolul echipei programului este de coordonare şi supervizare, în timp ce echipa de proiect are rol de implementare.

2. Evaluarea programelor/ proiectelor sociale şi educaţionale. Scurt istoric

Cu toate că, în opinia unor autori (Shadish, Cook, Leviton, 1999), "evaluarea modernă de programe sociale a apărut în anii '60", încercări aparţinând acestui domeniu au fost iniţiate încă din secolul al XIX-lea. C. Weiss identifica un studiu evaluativ datând din 1833, în Europa, care a încercat să demonstreze măsura în care programele educaţionale au determinat scăderea ratei delicvenţei juvenile. Concluzia studiului a fost că nu există nici o corelaţie între program şi rata delicvenţei. În America de Nord, în 1845 a fost efectuat un studiu evaluativ prin care au fost administrate teste scrise pentru toate disciplinele de bază din şcoală ("Boston Survey"). Rezultatele acestor studii nu au fost însă valorificate. La începutul secolului al XX-lea s-a dezvoltat o mişcare favorabilă testelor psihologice şi educaţionale, impunându-se ideea ca testele au o legitimitate şi că oferă informaţii relevante.

Un moment important în dezvoltarea evaluării programelor sociale si educaţionale, în ordine cronologică, este localizat temporal în anii '30 - '50 şi este caracterizat prin dezvoltarea modelului evaluării centrate pe obiective (R. Tyler) şi prin mişcarea în favoarea acreditării unităţilor de învăţământ.

În deceniile 6, 7, 8, se înregistrează o schimbare de optică la nivelul evaluării: scade interesul pentru obiective si pentru instrumentele de testare, pentru măsurare şi creşte interesul pentru conceptualizarea evaluării. Trebuie menţionat că dezvoltarea domeniului evaluării programelor sociale şi educaţionale a avut loc mai mult în Statele Unite ale Americii, prin influenţa contextului politic şi economic. In aceasta perioada s-au iniţiat diverse programe sociale în învăţământ, sănătate, programe de combatere a sărăciei, de asistenţă pentru bătrâni. "Majoritatea programelor au fost lansate cu speranţe mari si investiţii enorme" (Shadish, Cook, Leviton, pag.4). S-au dezvoltat sistemele de protecţie socială, iar politicile sociale au devenit o preocupare majoră a statului. Au fost alocate mari fonduri bugetare pentru iniţierea şi dezvoltarea de programe sociale. Bell (1983) estima că fondurile cheltuite în toate programele sociale au crescut de 600 de ori până în 1979, faţă de 1950.

Anii '80 - '90 se caracterizează prin consolidarea bazelor teoretice ale evaluării programelor sociale si educaţionale, prin dezvoltarea unor programe de pregătire a evaluatorilor - "profesionalizarea evaluării" - şi preocupări pentru metaevaluare, pentru definirea unor standarde de apreciere a evaluării programelor sociale si educaţionale.

Dezvoltarea programelor sociale, investiţiile financiare şi umane pe care le-au implicat au dus la creşterea nevoii de evaluare, cu scopul controlului calităţii serviciilor/produselor, justificării investiţiilor, analizei efectelor şi impactului programelor sau aprecierea măsurii în care acestea au servit la ameliorarea sau rezolvarea unei probleme. Din perspectiva economică, a crescut interesul pentru modul în care au fost cheltuite fondurile şi pentru eficienţă (analiza cost-beneficiu). Din perspectivă managerială a apărut interesul pentru coordonarea eficientă a programelor, însă puţini manageri aveau experienţa în acest domeniu. Din perspectivă politică, în Statele Unite, evaluarea a apărut ca soluţie pentru conflictul de interese între autorităţile locale şi cele federale, acestea din urmă dorind o mai mare putere asupra programelor sociale.

La aceste aspecte se adaugă unele preocupări de natură intelectuală. Criticii sociali au observat destul de repede punctele slabe ale unor programe, căutând apoi soluţii pentru ameliorare. În acest sens, ei aveau nevoie de date evaluative privind organizarea şi implementarea programului, eficienţa, eficacitatea, punctele sale slabe sau punctele forte. Toate aceste aspecte au făcut necesară apariţia unei noi categorii profesionale. La sfârşitul anilor '60, cererile de feedback asupra programelor sociale au depăşit oferta de personal existentă, determinându-i pe mulţi dintre absolvenţii de ştiinţe sociale să se orienteze spre evaluare. Numărul persoanelor specializate in ştiinţele sociale a crescut. Evaluarea de programe sociale si educaţionale "a răspuns unei necesităţi a momentului", iar "evaluarea profesionistă a devenit o alternativa viabilă de carieră, faţă de cariera academica" (Shadish, Cook, Leviton, 1999, pag.8). Evaluarea este o profesie, cu toate că evaluarea de programe nu reprezintă un domeniu de activitate complet profesionalizat. Un indicator al profesionalizării este si apariţia unor reviste de specialitate, a unor asociaţii profesionale si a standardelor profesionale.

În Europa, evaluarea programelor sociale şi educaţionale s-a dezvoltat la începutul anilor '80, în contextul integrării europene. În România, domeniul evaluării programelor sociale şi educaţionale se află la început, deoarece obiectul său - programele sociale şi educaţionale - au apărut în urmă cu aproximativ un deceniu. Primele evaluări de programe au fost cele realizate cu asistenţă internaţională (de ex., programul Phare). Primul program care a cuprins şi o componentă de monitorizare şi evaluare a fost PAEM - Programul de Măsuri Active pentru Combaterea Şomajului, administrat de Fundaţia Internaţională pentru Management, în perioada 1994-1997.

3. Delimitări conceptuale şi metodologice

Evaluatorii definesc diferit unii termeni sau interpretează diferit anumite abordări. Evaluarea este, în general, o activitate de echipă, de aceea o armonizare a accepţiunilor termenilor, strategiilor şi modelelor teoretice este necesară, în vederea ameliorării comunicării şi colaborării. Este important ca membrii echipei să împărtăşească o viziune comună asupra procesului de evaluare, astfel încât activităţile lor să fie complementare în atingerea aceloraşi scopuri.

Întrebările generale recomandate echipei de evaluatori pentru a preveni şi diminua diferenţele de abordări teoretice şi metodologice sunt descrise în continuare.

Ce este evaluarea?

Există moduri diferite de a defini evaluarea:

• determinare a gradului de realizare a obiectivelor;
• culegere de informaţii pentru adoptarea unor decizii;
• apreciere a meritului, valorii unui proiect sau program;

Evaluarea înseamnă "aprecierea sistematica a operaţiilor şi/sau a rezultatelor unui program sau unei politici, raportate la un set de standarde explicite sau implicite, un mijloc care contribuie la îmbunătăţirea programului sau politicii" (Carol Weiss, 1998). Din perspectiva altor autori, evaluarea înseamnă, acumularea sistematica de fapte, pentru a oferi informaţii despre realizările unui program in raport de efort, eficacitate si eficienţă, în fiecare stadiu al dezvoltării lui" (Trippodi, Fellin, Epstein, pag.12). Aceiaşi autori consideră evaluarea ca fiind o "tehnică managerială care furnizează feedback informativ administratorilor programelor" (idem, pag.7). Prin urmare, evaluarea reprezintă un proces de apreciere a valorii, meritului si calităţii unui proces, produs sau rezultat.

Ce evaluăm (care este obiectul evaluării)?

Obiectul evaluării îl constituie:

• componentele programului (obiective, resurse umane, materiale, procedurale (strategii de acţiune) si de conţinut, populaţia-ţintă, timpul, sistemul managerial si propriul sistem de evaluare);
• proiectul programului;
• implementarea programului;
• rezultatele, efectele (impactul programului).

Care sunt funcţiile şi scopurile evaluării?

• oferă informaţii pentru adoptarea de decizii: utilitatea - evaluare formativă
• controlul calităţii - evaluare sumativă
• dezvoltă cunoştinţe noi (apropiere de cercetare). Daniel Stufflebeam nu este de acord cu apropierea dintre cele două concepte, fiind de părere că dezvoltarea de cunoştinţe noi este apanajul cercetării şi că asemănarea celor două activităţi creează dificultăţi.

Evaluarea serveşte unor scopuri diferite, care presupun criterii de evaluare diferite sau cel puţin ierarhizări diferite ale criteriilor. Evaluatorii ar trebui să menţioneze şi să explice clar scopurile evaluării, iar metaevaluarea să analizeze consensul, claritatea şi implicaţiile acestora. Rolul evaluării se manifesta in trei direcţii, după cum susţine Chelimsky: controlul calităţii programului, ameliorarea sa si, din punct de vedere epistemic, acumularea de noi cunoştinţe teoretice in acest domeniu.

Ce întrebări va adresa evaluarea?

În mod tradiţional, evaluarea va adresa întrebări privind rezultatele unui program sau proiect educaţional, dar nu trebuie să se rezume la acestea, ci să se intereseze şi de scopurile programului, de proiectul/ strategia de implementare, de activităţile propriu-zise. Metaevaluarea poate analiza întrebările care au fost adresate, dacă sunt cele adecvate, dacă sunt complete etc.

Ce informaţii sunt necesare?

Este important să culegem date cantitative şi calitative, de la diferite categorii de beneficiari. Este, de asemenea, foarte important echilibrul dintre descrieri, observaţii, judecăţi şi recomandări.

Cui serveşte evaluarea?

• Care este audienţa, care sunt categoriile de beneficiari ai rezultatelor evaluative?
• Care sunt aşteptările şi nevoile de informare ale publicului?

De regulă, există mai multe categorii de beneficiari ai evaluării, iar nevoile lor de informare sunt diferite. De exemplu, evaluarea unei inovaţii educaţionale sau evaluarea unor programe şcolare interesează profesorii, elevii, părinţii, factorii de decizie, politicienii, managerii şcolari, editorii, sponsorii, cercetătorii şi nu în ultimul rând, cetăţenii - plătitori de taxe şi impozite.

Prin urmare, proiectul unei evaluări trebuie să reflecte diferitele categorii de public, nevoile, interesele şi aşteptările lor şi modalităţile prin care se încearcă răspunsul la aceste nevoi. Dacă aceste aspecte sunt lăsate la voia întâmplării, este foarte probabil ca evaluarea să eşueze în a răspunde nevoilor diferitelor categorii de beneficiari. Un raport de evaluare proiectat să răspundă nevoilor unor beneficiari nu va fi la fel de util şi altei categorii de public ţintă.

Un exemplu în acest sens îl constituie evaluarea unui program de ameliorare a accesului la educaţie al copiilor defavorizaţi, iniţiat în Statele Unite în 1967. Două categorii de persoane interesate de evaluarea acestui proiect - educatorii şi politicienii, aveau aşteptări foarte diferite: educatorii erau interesaţi de "cum" pot reuşi proiectele individuale de acest tip, iar politicienii de "ce" s-a realizat în ansamblu, "cât" s-a realizat din ceea ce s-a propus.

Comisia de evaluare a decis asupra tipurilor de aşteptări şi a întrebărilor evaluative, fără a acorda atenţie nevoilor de informare diferite. Pe baza rapoartelor de evaluare realizate de fiecare şcoală în parte, comisia de evaluare a încercat elaborarea unui raport integrator, fără a ţine seama de faptul că un singur raport de evaluare nu ar fi fost suficient de comprehensiv sau de adecvat fiecărei categorii de beneficiari. Rezultatul a fost dezastruos, însă a demonstrat importanţa identificării şi analizei nevoilor de informare.

Culegerea datelor şi elaborarea raportului sunt direct influenţate de nevoile de informare, interesele şi aşteptările beneficiarilor. Dacă evaluatorii acordă atenţie acestor aspecte, există premise pentru a satisface criteriile de relevanţă, importanţă, scop şi timp.

Extras din:
Velea, Luciana-Simona. Evaluarea programelor sociale si educationale. In: Istrate, I. (coord.) Comunităţi în mişcare: Programe şi intervenţii sociale. Bucureşti: Editura Agata, 2004.

Pentru alte informaţii şi suport în domeniul evaluării de programe sociale şi/sau educaţionale:
  >> www.tehne.ro/educatie/contact.html <<.