ANALIZA SISTEMELOR DE EVALUARE DIGITALE

Transcription

1 Investeşte în oameni! Proiect cofinanţat din Fondul Social European prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane Axa prioritară nr. 1: Educaţia şi formarea profesională în sprijinul creşterii economice şi dezvoltării societăţii bazate pe cunoaştere Domeniul major de intervenţie 1.1.: Acces la educaţie şi formare profesională iniţială de calitate Titlu proiect: Instrumente digitale de ameliorare a calităţii evaluării în învăţământul preuniversitar Cod contract: POSDRU/1/1.1/S/3 ID Proiect: 3074 Beneficiar: Ministerul Educaţiei, Cercetării, Tineretului şi Sportului Manager proiect: GABRIELA GUŢU ANALIZA SISTEMELOR DE EVALUARE DIGITALE Proiectare şi realizare a unui studiu Sistemul naţional de evaluare din învăţămantul preuniversitar Autori: SOFTWIN Pagina 1

2 Cuprins Introducere... 3 Evaluarea asistată de calculator componentă a instruirii asistate de calculator... 4 Programe de evaluare asistată de calculator... 6 Testare computerizată: terminologie... 6 De ce testarea computerizată?... 8 Avantajele şi limitele evaluării asistate de calculator... 9 Caracteristicile şi calităţile generale ale unui test... 9 Diverse metode de evaluare cu ICT Evaluare in laborator de informatica Evaluare prin sisteme de management a examinarilor Evaluare in cadrul produselor educationale (softuri) Evaluare online la distanta Evaluare online pentru certificare Evaluare cu sisteme de voting (Hand-held student response systems) Principalele functionalitati ale unui sistem de evaluare digital Concluzii Bibliografie Pagina 2

3 Introducere Actualmente, în domeniul educaţiei, sunt utilizate tot mai frecvent metode inovative de evaluare asistate de calculator. Intr-un sens extins, IAC (instruirea asistata de calculator) si e-learning se refera la folosirea tehnologiilor informatice si de comunicatii, precum si a mediilor pentru distribuirea materialelor didactice si pentru imbunatatirea proceselor de predare, invatare, asimilare a cunostintelor si deprinderilor si de evaluare a elevilor. EAC (evaluarea asistata de calculator) sau evaluarea online se refera la folosirea calculatoarelor pentru a livra, marca si analiza teste, teme pentru acasa, proiectele sau examinarile. Utilizarea testelor în variantă computerizată are o serie de avantaje faţă de testarea obişnuită: obiectivitate maximă, standardizare maximă, înregistrare automată a rezultatelor, flexibilitate tehnologică, evaluare sistematică pe teme cu depistarea temelor ce trebuie repetate, economie de resurse în cazul numărului mare de cursanţi etc. In continuare vom analiza specificul evaluarii asistate de calculator, specificul testelor in varianta computerizata precum si diferite moduri si modele de implementare a evaluarii asistate de calculator. Pagina 3

4 Evaluarea asistată de calculator componentă a instruirii asistate de calculator Instruirea asistată de calculator, (IAC) introduce modificări majore în învăţământul tradiţional în evaluarea şi autoevaluarea performanţelor elevilor. În procesul de învăţare asistată de calculator se identifică câteva direcţii, cu implicatiile de rigoare: introducerea calculatorului în şcoală - presupune existenţa calculatoarelor şi a personalului didactic calificat din punct de vedere tehnic. integrarea calculatorului în procesul de instruire - cunoaşterea de către profesor a modalităţilor pedagogico-metodice de introducere a lui la clasă. preocuparea pentru asigurarea unei evaluări obiective. Evaluarea asistată de calculator - EAC crează premise pentru o evaluare modernă, obiectivă şi presupune existenţa unor programe care să testeze cunoştinţele elevilor şi să evalueze răspunsurile acestora. Evaluarea asistată de calculator (e-assessment in limba engleza) poate fi folosita pentru a evalua abilitati cognitive si practice. Abilitatile cognitive si cunostintele sunt evaluare cu ajutorul aplicatiilor software de tip e-testing, pe cand abilitatile practice sunt evaluate prin intermediul e-portofolio sau a software-urilor de tip simulare. Un sistem de e-testing cuprinde doua componente principale: un motor de evaluare programat (software); si o banca de itemi. Dezvoltarea si popularizarea, in special in sistemele de invatamant europene si in SUA a modalitatilor de evaluare asistata de calculator a dus si la dezvoltarea unor standarde globale in ceea ce priveste itemii utilizati. Un astfel de standard este IMS Question and Test Interoperability specification (QTI), standard ce permite utilizarea si distribuirea itemilor in varii sisteme de evaluare digitale. Elementele cheie ale EAC sunt băncile de itemi. O banca de itemi poate contine si sute de mii de itemi, clasificati si incadrati dupa multiple criterii si descrisi prin metadate. Prin metadate intelegem informatii ce descriu date. In acest domeniu, metadatele descriu efectiv obiectele (itemii) cu scopul de a gasi, a strange si a livra continutul adecvat la momentul oportun. Din punct de vedere al structurii întrebărilor itemii pot fi: închişi de tip corect/greşit, adevărat/fals, da/nu, cu alegere multiplă şi cei de tip pereche. deschişi desenele lacunare, propoziţiile lacunare, eseurile. Pagina 4

5 După locul de desfăşurare, EAC se poate realiza: în clasă, fiind inclusă în programului obişnuit de instruire - se utilizează îndeosebi testele de progres în laboratoare speciale testele sunt sumative şi conţin un număr mare de itemi. Profesorul centralizează rezultatele (de ex. pe o foaie de calcul Excel), sau le printează. Se realizează un feed-back automat pentru utilizatori. Online unde locul de desfasurare poate fi acasa, la scoala, oriunde exista un calculator cu acces la internet. Modalitatea cea mai des intalnita de sustinere a unui examen online este prin intermediul testelor de tip chestionar. Acestea pot presupune raspunsuri de tip da / nu ( adevarat / fals ) sau selectarea uneia sau mai multor variante corecte de raspuns dintre mai multe posibile (teste de tip single choice sau multiple choice). Fara a pune accent pe creativitate, testele de tip chestionar permit o evaluare cu un nivel inalt de obiectivitate, fiind aplicabile oricarei discipline. Daca aceste teste nu sunt incarcate in prealabil intr-un sistem de evaluare digitala sau incluse intr-un software educational, atunci ele pot presupune din partea profesorului un efort destul de mare in pregatirea intrebarilor si variantelor de raspuns. Un astfel de test poate avea atribuit un timp global limitat (alocat tuturor intrebarilor puse elevului) sau un interval temporal limitat pentru fiecare intrebare in parte (de exemplu, intrebarile cu grad crescut de dificultate pot avea timpi mai mari alocati). In ceea ce priveste evaluarea testelor, amintim mai jos cateva modalitati de evaluare automata a testelor de tip chestionar: Cuantificarea numarului de raspunsuri corecte din numarul total de intrebari; Cautarea partilor gresite dintr-un raspuns (penalizarea cu un punctaj negativ a fiecarei erori din cadrul raspunsului); Cautarea partilor corecte dintr-un raspuns (punctarea fiecarui raspuns partial corect); Combinata: punctarea partilor corecte din raspuns si depunctarea celor incorecte; Statistica: acordarea unui punctaj pozitiv sau negativ la fiecare intrebare, in functie de proportia de raspunsuri corecte / gresite. Un sistem de evaluare online poate permite ca testul sa fie sustinut simultan de toti elevii sau fiecare elev sa-si activeze examinarea / sesiunea de testare dupa ce si-a indeplinit anumite teme prealabile obligatorii (spre ex. Examenul poate fi sustinut doar daca a obtinut un anumit punctaj la altul conex). Securizarea modulului de testare este foarte importanta pentru ca studentii sa nu aiba acces in afara perioadei de examinare decat la testele pregatitoare puse la dispozitie la fiecare disciplina. Pagina 5

6 Programe de evaluare asistată de calculator Crearea unui program educaţional pentru evaluarea cunoştinţelor implică cunoaşterea unor limbaje de programare cum ar fi Pascal (Borland Delphi), C (Borland C++ Builder), folosirea unor interfaţe HTML, XML, sau a unor medii de dezvoltare Microprogram Visual C++. NET, Visual Basic etc. Indiferent de limbajul sau de mediul vizual se urmăresc aceleaşi etape: vizualizarea testului; parcurgerea itemilor; selectarea răspunsului; aşteptarea răspunsului corect; afişarea în funcţie de punctajul obţinut a unui mesaj de feedback (pozitiv sau negativ) calcularea notei elevului Testare computerizată: terminologie În literatura pedagogică există un şir de termeni şi concepte de evaluare, definite în mod diferit. Evaluare Măsurare şi apreciere a progreselor elevilor la trei niveluri: cunoaştere şi înţelegere, aplicare şi integrare, in functie de obiectivele stabilite. Cursant Termen umbrelă, utilizat сu referire la elevi, studenţi sau oricare alte persoane adulţi, care au fost cuprinşi / înscrişi la cel puţin o lecţie / un test într-un sistem de elearning. Testare tehnică de examinare / evaluare / verificare a cunoştinţelor. Sistem automatizat de testare / testare electronică / testare computerizată (termen umbrelă etesting) termen generalizator pentru produse de verificare şi/sau control şi/sau evaluare / autoevaluare, şi/sau notare asistată de calculator, în sistem computerizat autonom, sau bazate pe tehnologii de reţea (Web, Internet, Intranet) a cunoştinţelor obţinute sub orice formă de învăţământ, instruire, educaţie (tradiţională sau electronică). Test un set de subiecte / probe / sarcini / probleme / itemi al căror scop constă în verificarea cunoştinţelor cursanţilor. Se disting teste docimologice şi teste pedagogice; Testele pedagogice desemnează, în general, teste de cunoştinţe care sunt probe standardizate utilizate în procesele de instruire pentru a măsura progresele sau dificultăţile din activitatea de învăţare. Testul docimologic este un set de probe sau întrebări cu ajutorul cărora se verifică şi se evaluează nivelul asimilării cunoştinţelor şi al capacităţilor de a opera cu ele, prin raportarea răspunsurilor la o scară de apreciere etalon, elaborată în prealabil. Testele docimologice, ca Pagina 6

7 parte a testelor pedagogice, sunt folosite la concursuri, examene finale, acţiuni de promovare etc. Item / probă / problemă / sarcină / întrebare de test este cea mai mică entitate identificabilă a unui test de evaluare didactică, corelată cu unul sau mai multe obiective operaţionale deduse dintr-un obiectiv didactic general. De fapt, itemul poate fi unitate independentă de studiu. Itemul are un nume, un obiectiv, un grad de dificultate, un punctaj, un enunţ, o descriere, o poziţie în test, se referă la o materie. Itemii pot fi: simple întrebări, un enunţ urmat de o întrebare, exerciţii şi probleme, întrebări structurate, eseuri etc. Itemii pot fi de tip închis (cu răspuns predefinit) şi de tip deschis (cu răspuns liber, formulat de cursant). Totodată, există diferite tipuri de itemi conform variantei expunerii: alegerea unui răspuns corect sau a mai multora, aranjarea itemilor în ordinea corespunzătoare, completarea golurilor etc. utilizate în evaluarea didactică asistată de calculator. După modul în care se integrează în desfăşurarea procesului didactic deosebim trei situaţii în care testările sunt utile: a. Instruirea trebuie să fie anticipată de o pretestare pentru a identifica deprinderile practice pe care le posedă cursantul înainte de a începe instruirea propriu-zisă şi nivelul de competenţă (capacitatea de a parcurge materialul de studiu); pentru a concentra atenţia cursantului asupra importanţei subiectelor care trebuie învăţate, pentru a stabili nivelul iniţial de la care începe asimilarea de cunoştinţe. Asemenea teste numite teste de intrare preced o decizie, un moment de lecţie, de regulă fără notă. Ele determină nivelul de familiarizare cu o temă concretă, care dintre întrebări trebuie explicate din nou sau explorate suplimentar. b. Pe parcursul instruirii se va proceda la o testare formativă / de autoevaluare care să evalueze progresul înregistrat de cursant; să determine necesitatea şi să ofere îndrumările corective/adiţionale; să asigure reconcentrarea atenţiei cursantului asupra rezultatelor dorite de programul de instruire. c. La finele instruirii are loc o evaluare sumativă care cuprinde: testarea calitativă şi cantitativă a învăţării de către cursant a materiei predate; luarea unor decizii privind acreditarea cunoştinţelor acumulate, continuarea la un nivel avansat a procesului de învăţare sau remedierea cunoştinţelor insuficient sau greşit acumulate şi înţelese; pregătirea cursantului pentru aplicarea unor cunoştinţe asimilate în cadrul unei alte situaţii de instruire. Aceste teste numite finale sau docimologice au o serie de particularităţi care le plasează separat de testele formative atât în faza de elaborare, cât şi în cea de desfăşurare. Testul docimologic este o alternativă şi o cale de eficientizare a evaluării tradiţionale, este o probă standardizată ce asigură o obiectivitate mai mare în procesul de evaluare. Docimologice pot fi numite doar acele teste pedagogice, care continuă şi prelungesc evaluarea specifică până la acordarea efectivă a unui calificativ sau a unei note şi care ierarhizează, clasifică elevii după performanţele obţinute, după prestaţia de moment sau cumulativă. Reacţie inversă (feed-back) comunicarea dintre profesor şi cursant care urmează din acţiunile operatorului sau a procesului dinainte planificat. In cadrul sistemelor de evaluare Pagina 7

8 digitale, feed-back-ul este asigurat si de catre aplicatie, in functie de performanta cursantului la testul respectiv. Testarea computerizată a cunoştinţelor trebuie privita ca tendinţă generală şi ca variantă modernă de evaluare a cunoştinţelor în urma unor procese de învăţare / instruire clasică sau electronică deschisă la distanţă. Atât elaborarea, cât şi aplicarea acestor teste computerizate, trebuie efectuate în anumite condiţii care diferă de la un tip de test la altul. De ce testarea computerizată? Argumentele care aduc in lumina avantajele testării computerizate faţă de cea clasică sunt multe şi importante. E-testing poate fi utilizat pentru realizarea diferitelor activităţi didactice de examinare, evaluare sau autoevaluare, colectarea de statistici privind gradul de asimilare a cunoştinţelor, feed-back operativ, comunicarea cu cei examinaţi etc. Dar cel mai important este că permite oricărui cadru didactic realizarea unor teste cu maximă precizie şi profesionalism în doar câteva minute, utilizând colecţii profesionale de itemi, elaborate de experţi. Testarea electronică poate fi efectuată la cerere, în mod repetat, încurajând învăţarea prin repetarea subiectelor evidenţiate de testare ca fiind deficitare; permite monitorizarea rapidă a progresului unui număr mare de cursanţi; utilizarea unor bănci de teste, cu mixarea întrebărilor şi răspunsurilor care pot preveni copierile la examene; includerea unui număr mare de diverse tipuri de întrebări într-un test, acoperind mai bine materia studiată. Un alt motiv pentru evaluarea cu ajutorul calculatoarelor este nevoia de obiectivitate a evaluării, care impune standardizarea acesteia. În locul răspunsurilor libere, care sunt analizate şi notate de o persoană, în multe domenii pot fi utilizate metode de testare care elimină / diminuează mult factorul subiectiv. Printre dezavantajele examinării asistate de calculator vom menţiona: limitarea posibilităţilor de testare a abilităţilor, accentul fiind pus pe memorare şi recunoaştere; costuri ridicate în faza iniţială; cunoştinţe suplimentare în zona de informatică; limitările sistemelor computerizate privind itemii deschisi şi altele. Drept urmare, evaluarea automată este recomandată doar pentru unele discipline, la altele fiind necesară atât testarea electronică, cât şi evaluarea clasică. Însă acestea sunt dificultăţi de moment, căci în societatea informaţională modernă toată lumea va fi familiarizată cu calculatorul, iar dezvoltarea sistemelor de inteligenţă artificială, de testare adaptivă etc. va face posibilă administrarea de calculator şi a răspunsurilor la itemi deschisi. Pagina 8

9 Avantajele şi limitele evaluării asistate de calculator Evaluarea asistata de calculator este utilizata la scara larga in sistemele educationale din tarile dezvoltate, si prezinta o serie de avantaje evidente in fara evaluarii / examinarii traditionale de tip creion/hartie. Printre aceste avantaje enumeram: costuri reduse pe termen lung, feedback instantaneu pentru elevul / studentul examinat / evaluat, flexibilitate in ceea ce priveste locatia si perioada, obiectivitate crescuta a notarii (notarea efectuata de sistem este mult mai obiectiva decat cea umana), varietate a intrebarilor (care pot incluse interactivitate si elemente multimedia) Exista insa si dezavantaje, sau limite. Sistemele de evaluare digitale sunt costisitoare din punct de vedere a implementarii si nu se preteaza tuturor tipurilor de evaluare / examinare, in primul rand prin faptul ca nu pot evalua raspunsuri deschise. Costul cel mai mare nu este insa cel tehnic, ci este acela de a produce si crea itemi de evaluare de calitate. Principalele avantaje ale EAC Obiectivitatea evaluării rezultatelor şcolare. Feed-back rapid atât pentru elev cât şi pentru profesor. Oferă posibilitatea unei diagnoze. Elevii îşi expun în mod independent cunoştinţele. Metodă rapidă şi eficientă de evaluare. Permite adaptarea testelor la nivelul intelectual al elevilor. Dispar emoţiile. Principalele limite ale EAC Necesitatea existenţei bazei materiale, Există pericolul fraudei. Caracteristicile şi calităţile generale ale unui test Printre caracteristicile importante ale testelor se consideră: scopul testului şi conţinutul obiectului / materiei studiate; obiectivele testului; numărul de itemi şi limita de timp fie pentru fiecare item separat, fie a sesiunii integrale de testare; generarea aleatoare a testelor sau generarea monitorizată; acelaşi test pentru toţi membrii unui grup sau teste diferite, dar echivalente; cu îndrumări suplimentare în cadrul desfăşurării sesiunii de testare (teste formative de autoevaluare) sau nu; cu colectarea datelor privind modul de parcurgere a testului de către fiecare cursant sau nu; modalitatea de prezentare a rezultatelor etc. La implementarea testului pe calculator trebuie sa se aiba in vedere urmatoarele elemente: modul de reprezentare vizuală a testului pe ecran; modul de operare (funcţionare a testului), Pagina 9

10 opţiunile instructorului; opţiunile cursantului; procedurile de rezolvare sigură a unor probleme neprevăzute etc. Scopul testului este de a evalua si a atesta cunostinte esentiale insusite de elev dupa parcurgerea unui continut educational. Trebuie stabilit care este continutul educational care va fi verificat de testul respectiv si care sunt obiectivele testului. Obiectivele testului constau in testarea cunostintelor acumulate de elev prin parcurgerea continutului educational. De asemenea, trebuie stabilit tipul de intrebari folosite in cadrul testului: selectarea unui raspuns dintre mai multe posibile; completarea raspunsului; raspuns scurt; sau bifarea raspunsului corect. Nu se recomanda utilizarea testelor cu raspuns de tip adevarat / fals sau teste care sa solicite elevului un raspuns sub forma unui eseu. Printre calităţile generale ale testului electronic putem menţiona: fidelitatea, validitatea, interpretabilitatea, gradul de predictibilitate al testului. Fidelitatea testului (stabilitate, repetabilitate, consistenţă internă). Formele de calculare a fidelităţii diferă şi în funcţie de caracteristicile măsurate de test. Metoda fidelităţii test retest evaluează gradul în care scorurile obţinute la un test de aceeaşi persoană sunt identice de la o administrare la alta. Validitatea testului (validitate de criteriu, de conţinut, conceptuală, de aspect). Validarea unui test reprezintă un complex de măsurători pentru a răspunde la întrebarea: în ce măsură, cât de bine testul măsoară ceea ce îşi propune să evalueze. Orice test educaţional destinat utilizării în practică trebuie să fie perceput de cei examinaţi ca fiind adecvat domeniului în care este aplicat (validitate de aspect). Totodată, validitatea este şi o evidenţă a consecinţelor reale şi potenţiale ale utilizării acţiunilor de interpretare a scorurilor testului şi de utilizare a informaţiilor astfel obţinute. Consistenţa internă a testului constă în calcularea coeficienţilor de consistenţă internă ce determină măsura în care itemii testului se referă la acelaşi lucru. În consecinţă, dacă testul măsoară o caracteristică bi sau multidimensională, ar trebui calculată consistenţa internă a fiecăreia dintre scalele testului. Pentru a asigura comparabilitatea, testele, precum şi itemii testului, trebuie construiti pe principii uniforme. Conform acestor principii, parametrii şi criteriile de evaluare, precum şi tipurile de subiecte, trebuie să fie aceleaşi pentru fiecare test. Rezultatele unui test sunt compatibile doar dacă se respectă anumite criterii stabilite anterior. Pentru a asigura repetabilitatea şi verificarea unui test, regulile de evaluare a experimentului trebuie să rămână pe cât posibil, simple. Conţinutul itemilor trebuie să fie atent ales, pentru a nu include indicii privind răspunsul corect. Crearea de itemi buni poate fi dificilă şi durabilă în timp. Pentru a preveni ghicirea răspunsurilor, deseori este necesară o analiză atentă şi profundă a răspunsurilor greşite. Anume acesta ar trebui să constituie domeniul formulării variantelor de răspunsuri eronate în itemuri. Dacă vrem să uniformizăm condiţiile în care are loc examenul, este foarte importantă standardizarea testului, unicitatea lui. Standardizarea testelor înseamnă nu doar a Pagina 10

11 metodelor, ci şi standardizarea tehnicilor de administrare, de cotare şi de interpretare a răspunsurilor. Dificultatea itemului este definită în funcţie de procentul de persoane care răspunde corect la el. În procesul de construire a unui test, cerinţa principală în alegerea itemurilor cu un grad de dificultate adecvat, este ca testul să nu constituie o dificultate majoră pentru majoritatea celor examinaţi, dar nici să nu fie rezolvabil de marea lor majoritate. Printre alţi factori care intervin şi influenţează reacţia subiectului la conţinutul testului şi care astfel pot interfera cu obiectivul acestuia, cu ceea ce îşi propune testul să măsoare, sunt: conţinutul testului; formatul testului în relaţie cu viteza de lucru, maniera de răspuns, uşurinţa sau dificultatea de a face faţă acestui format; modelul de parcurgere a itemurilor; limita de timp, cultura etc. Diverse metode de evaluare cu ICT Evaluare in laborator de informatica Presupune existenta unei retele de calculatoare legate la un calculator master (al profesorului) si existenta pe toate calculatoarele a unui sistem informatic de evaluare. Modul de testare este simplu: de pe calculatorul master se publica catre calculatoarele din retea (deci din laborator) testul care trebuie rezolvat. Elevii stau fiecare la cate un calculator si primesc astfel spre rezolvare testul in acelasi timp. Calculatoarele pot fi setate astfel incat fiecare elev sa fie nevoit sa introduca username si parola proprie, pentru ca rezultatele testului sa fie salvate in foldere dedicate fiecarui elev. Pagina 11

12 Un exemplu pentru un astfel de program educational este SyncronEyes (SmarthTechnologies) ce ofera profesorului posibilitatea sa-si organizeze activitatea la orele de laborator, sa ghideze instruirea si sa interactioneze cu elevii. Acest program ii ofera profesorului posibilitatea urmatoarelor operatii: organizarea studentilor pe grupuri de maximum zece monitorizarea activitatii studentilor posibilitatea de a face vizibil ceea ce apare pe ecranul unui calculator (al profesorului sau al unui student) catre un alt student sau catre un grup chat cu studentii / posibilitatea de raspuns la intrebarile acestora transfer de fisiere crearea de teste grila distribuirea testelor catre studenti pentru a fi rezolvate si corectarea lor automata. In momentul in care profesorul lanseaza un test, pe ecranele elevilor se deschide automat cate o fereastra de navigator continand intrebarile testului si acoperind celelalte ferestre deschise. Dupa ce elevul raspunde la intrebari, fereastra navigatorului se inchide automat, iar rezultatele se colecteaza pe calculatorul profesorului. Evaluare prin sisteme de management a examinarilor Sistemul de management al examinarilor Questionmark Perception ofera profesorilor posibilitatea sa creeze intrebari, sa le organizeze in examene, teste grila, chestionare. Pot programa elevii sa dea examene, pot distribui testele intr-o varietate de modalitati, si, la sfarsit, pot vizualiza rezultatele in 12 tipuri de rapoarte. Acest sistem este o adevarata platforma software, incluzand mai multe module, care pot fi instalate separat: Questionmark Perception Authoring Manager permite crearea, modificarea si publicarea intrebarilor si examenelor. Intrebarile sunt organizate intr-o baza de date, asupra careia sunt posibile operatiile clasice de adaugare, stergere si editare. Este Pagina 12

13 posibil sa se redacteze intrebari care contin animatii Flash. Intrebarile pot fi organizate in colectii. Questionmark Perception Server Software permite publicarea testelor, gestiunea participantilor, programarea examenelor, editarea prin intermediul unei interfete web si raportarea rezultatelor. Questionmark Secure are rol de securizare a transmiterii de date in timpul unei testari. Questionmark Perception Office Connector transforma fisierele create cu aplicatiile din pachetul Office in tutoriale interactive, permitand sustinerea examenelor direct din cadrul acestei aplicatii instalate pe calculatorul local. Perception Content Package este o aplicatie ruland pe calculatorul local care permite exportul informatiilor despre examinarile sustinute cu unelte Perception catre alte aplicatii, pentru a putea fi usor referentiate, indexate si programate. Perception To Go ofera oportunitati de examinare a oamenilor aflati in calatorie, permitand utilizatorilor de la distanta sa se sincronizeze cu serverul web de pe calculatorul local. Questionmark Perception ofera o modalitate facila de a evalua cunostintele, abilitatile si aptitudinile, contribuind in acelasi timp la imbunatatirea procesului de invatare. Evaluare in cadrul produselor educationale (softuri) Majoritatea produselor de tip software educational abordeaza, pe langa predarea unor concepte si a unor informatii, si fixarea precum si evaluarea cunostintelor dobandite. Unele produse de acest gen propun chiar de la inceputul modulului de predare (a lectiei) un set de itemi prin care evalueaza de fapt daca elevul poseda cunstintele necesare pentru a- si insusi noile informatii (teste pre-rechizite sau predictive). In functie de performata obtinuta de elev la aceste teste pre-rechizite, va permis (sau nu) accesul catre continutul nou. Dupa parcurgerea notiunilor noi urmeaza un alt set de exercitii, pentru consolidare. Acesti itemi pot fi de mai multe tipuri: Single-choice Multiple-choice Adevarat / fals, Da / nu Potrivire de elemente Completarea raspunsului de la tastatura Stabilire de corespondente intre seturi de liste Desenarea unor figuri geometrice Colorarea anumitor portiuni dintr-un desen dat Ordonarea anumitor elemente Drag & drop Pagina 13

14 Exemplu de item de evaluarece presupune desenarea unor figuri geometrice Pot exista si itemi de complexitate crescuta, de tipul itemilor problem solving, in care pentru acceasi sarcina / problema sunt evaluati pe rand toti pasii pe care trebuia sa-i parcurga elevul, de la citirea si intelegerea enuntului pana la alegerea metodei de rezolvare, inventarul de instrumente si formule, pana la obtinerea rezultatului. La finalul unui capitol / lectie din cadrul unui produs de tip software educational exista de obicei si un test de evaluare, care curpinde mai multi itemi organizati pe nivele de dificultate. Rezultatele testului de evaluare de la finalul capitolului demonstreaza gradul de insusire si intelegere a cunostintelor abordate in acel capitol. Evaluare online la distanta Evaluarea la distanta presupune accesarea de catre utilizatori a unei platforme educationale de tip LMS (Learning Management System sistem de management al învăţării) prin internet sau intranet. Un sistem de management al învăţării (de obicei abreviat ca LMS) este o aplicaţie software pentru administrarea, documentarea, urmărirea şi raportarea activităţilor de instruire, desfăşurate în clasă sau ca evenimente online, programelor de e-learning şi a conţinutului educaţional. Un LMS eficient şi robust ar trebui să fie capabil de următoarele acţiuni şi funcţionalităţi: Pagina 14

15 Să centralizeze şi să automatizeze administrarea Să utilizeze self-service si servicii auto-ghidate Să asambleze şi livreze conţinut de învăţare rapid Să consolideze iniţiativele de formare pe o platformă web scalabilă Să suporte portabilitate şi standardele definite pentru domeniu Să permită personalizarea conţinutului şi reutilizarea cunoştinţelor. LMS-urile variază de la sistemele de gestionare a rezultatelor formării şi instruirii, până la aplicaţii software pentru distribuirea de cursuri pe Internet, cu funcţionalităţi de colaborare online. Activităţile de training din sectorul Corporate utilizează sisteme de tip LMS pentru a automatiza evidenţa rezultatelor şi înscrierea angajaţilor. Din dimensiunile şi modulele mari care pot fi incluse într-un sistem de tip LMS amintim: self-service al studenţilor (înscrierea studenţilor online la activităţi de instruire susţinute de un trainer/instructor), flux de lucru de tip workflow pentru activităţi de instruire (de ex. notificări ale utilizatorilor, aprobări ale superiorului, managementul listei de aşteptare), furnizarea de instruire online în regim de autoinstruire (de ex. Instruire asistată de calculator), evaluare online, managementul formării profesionale continue, învăţare colaborativă (de ex. partajare de aplicaţii şi forumuri de discuţii) şi managementul resurselor de instruire (de ex. instructiru, facilităţi, echipamente). Unele sisteme LMS sunt de tip web-based pentru a facilita accesul la conţinutul educaţional şi administrare. LMS-urile sunt folosite în diverse industrii reglementate (de ex. servicii financiare sau farmaceutice) datorită faptului că formarea trebuie să respecte anumite standarde. LMS-urile sunt utilizate şi în cadrul instituţiilor educaţionale pentru a îmbunătăţi şi sprijini procesul de instruire în clasă şi pentru a oferi cursuri către mai mulţi cursanţi din întreaga lume. Unii producători de LMS includ în produsele lor şi sisteme de management al performanţei, care cuprind evaluări ale angajaţilor, managementul competenţelor angajaţilor, analiza aptitudinilor, plan al carierei precum şi evaluări pe mai multe niveluri (de ex. evaluări de tip 360 grade). Tehnicile moderne includ acum instruire bazată pe competenţe pentru identificarea lacunelor în învăţare şi selecţia potrivită a materialelor de învăţare. LMS-urile satisfac cerinţe educaţionale, administrative şi de implementare. În timp ce un LMS pentru mediul Corporate va avea multe caracteristici comune cu un VLE (virtual learning environment) utilizat de instituţii educaţionale, fiecare dintre aceste sisteme satisface însă nevoi punctuale, specifice. Sistemele tip VLE folosite în instituţii educaţionale de învăţământ superior şi inferior permit instructorilor-profesori să administreze cursurile proprii, să facă schimb de informaţii cu studenţii în cadrul unui curs care durează mai multe săptămâni şi să se întâlnească de mai multe ori în cadrul acestei perioade. În mediul Corporate un curs este de regulă mult mai scurt şi poate fi finalizat în cadrul unei singure sesiuni. Caracteristicile comune pentru ambele tipuri de LMS-uri includ: Managementul utilizatorilor, rolurilor, cursurilor, instructorilor, facilităţilor şi rapoartelor generate Calendarul cursurilor Traseul de învăţare / instruire Mesagerie şi notificări către studenţi / cursanţi Pagina 15

16 Evaluare şi testare înainte şi după instruire Afişarea scorurilor obţinute şi a rezultatelor Notarea sau acordarea de calificative pentru lucrări în cadrul cursurilor Livrarea cursurilor în mod web-based sau blended Mai jos sunt enumerate câteva funcţionalităţi ale unui modul de testare din cadrul unui sistem de tip LMS: editor de teste care permite crearea şi editarea de colecţii de întrebări crearea şi editarea criteriilor de clasificare a colecţiilor de întrebări crearea de sesiuni de testare în cadrul cărora se pot genera teste diferite, dar având aceeaşi structură de întrebări astfel încât cursanţii să nu primească toţi acelaşi test; testele au întrebări preluate aleator din seturi de întrebări organizate în funcţie de anumite criterii considerate relevante; Parametrii care se pot configura la crearea unei sesiuni de testare: nume sesiune de testare; descriere sesiune testare; dacă se permite numai o înscriere / ofertă / utilizator; daca autoînscrierea e permisă; numărul de întrebări per test (câte întrebări va avea fiecare din testele generate); numărul de întrebări pe pagină; dacă navigarea la pagina anterioară este permisă; numărul de teste ce vor fi generate; timpul maxim pe care cursantul testat îl are la dispoziţie pentru a completa testul; scorul minim ce trebuie obţinut de cursant pentru a promova testul; posibilitatea de a opta pentru a primi pe notificări legate de rezultatele obţinute la teste; perioada de valabilitate a testului în care studentul se poate înscrie la test; înscriere grupuri şi utilizatori la sesiunea de testare; selectare colecţii de întrebari cu anumite clasificări; stabilire ponderi întrebări din fiecare colecţie; stabilire număr întrebări din fiecare colecţie; la tipul de întrebare eseu, evaluarea răspunsului de către instructor. Alte funcţionalităţi: posibilitatea de a opta pentru a primi pe notificări legate de rezultatele obţinute la teste; administrarea de teste utilizatorilor la distanţă; administrarea de teste utilizatorilor în sala de instruire sub supervizarea instructorilor; rapoarte şi statistici detaliate: o câţi utilizatori sunt conectaţi la un moment dat; o statistici pe utilizator referitoare la sesiunile de testare; o statistici generale pe teste, statistici pe reguli, statistici pe grupuri; Pagina 16

17 o teste date toate testele date la o sesiune de testare, detalii legate de răspunsurile utilizatorului comparativ cu răspunsurile corecte, posibilitatea de export în pdf a testului; o rapoartele pot fi exportate, având posibilitatea de a alege anumiţi parametri, cum ar fi perioada de timp la care se referă raportul, grupurile de utilizatori, activitatea de instruire, formatul de export al raportului. interfaţa de administrare; interfaţa multilingvă (română, engleză, franceză, rusă) şi cu posibilitatea de personalizare; suport în utilizarea aplicaţiei prin ajutorul contextual pus la dispoziţie în fiecare pagină. În piaţa sistemelor de management al instruirii găsim deopotrivă sisteme LMS de tip opensource şi sisteme LMS comerciale. Dintre LMS-urile open-source amintim atutor, Moodle, Sakai, iar LMS-uri comerciale sunt Blackboard, Desire2Learn, QuestionMark. Evaluare online pentru certificare Brainbench este o companie cu o foarte buna recunoastere internationala care ofera solutii de masurare si evaluare a competentelor, aptitudinilor si cunostintelor. Siteul Brainbench este specializat in sustinerea de teste online, fiind destinat deopotriva specialistilor in formarea continua, angajatorilor si persoanelor care doresc sa-si verifice cunostintele sau sa obtina un certificat de competenta intr-un anumit domeniu. Testele Brainbench sunt ogranizate pe mai multe niveluri de dificultate, fiecare test continand 40 de intrebari, pentru fiecare raspuns fiind acordat un timp de maximum 3 minute (in caz de neincadrare, se trece automat la urmatoarea intrebare din test). Timpul ramas pentru raspunsul la o intrebare este afisat in coltul din dreapta-sus al navigatorului (in numar de secunde), utilizatorul fiind avertizat printr-un mesaj special cand a intrat in ultimele 30 de secunde. Nu exista posibilitatea intoarcerii si modificarii raspunsurilor date inaintea intrebarii curente. In general, intrebarile sunt de tip single choice. Utilizatorul este avertizat inainte de inceperea testului daca este posibil sa existe si raspunsuri multiple choice. In timpul desfasurarii unui test, utilizatorul are dreptul sa faca o pauza de 15 minute. La sfarist este afisat un feedback pentru testul dat, care specifica punctajul obtinut, la ce procent din testele date anterior a fost obtinut un punctaj mai mic decat actualul, in cat timp a fost dat testul si care a fost timpul mediu de raspuns la o intrebare din cadrul testului. Fiecare teste poate fi dat de mai multe ori intr-un interval de 90 de zile (la fiecare noua sustinere existand alte intrebari). Din cadrul contului sau personal, fiecare utilizator isi poate modifica profilul, sustine un test, vedea toate testele date pana in momentul curent, cere un certificat in cazul in care a trecut un examen sau parcurge instrumentele din cadrul Learning center-ului. Pagina 17

18 Evaluare cu sisteme de voting (Hand-held student response systems) In ultima perioada, o crestere deosebita s-a inregistrat in ultimii ani in utilizarea deviceurilor de raspuns instantaneu (of hand held student response devices), denumite si clickers sau sisteme de voting. Acestea permit cadrului didactic sa evalueze intregul grup de elevi, sa faca sondaje rapid si foarte usor. Aceste device-uri folosesc fie tehnologie radio die infra rosu pentru a comunica cu un receptor central care este de obicei atasat unui calculator. In multe scoli din strainatate, aceste device-uri sunt folosite in combinatie cu tabele interactive. Aceste device-uri sunt de obicei de dimensiunea unui mouse sau telefon mobil. Cele mai multe au cateva taste (fie numerice, fie variante A, B, C etc.). Cele mai complexe dispun de ambele tipuri de taste, si chiar de un display similar telefoanelor mobile. In strainatate exista chiar si telefoane mobile speciale care functioneaza ca un device de voting. Pagina 18

19 Principalele functionalitati ale unui sistem de evaluare digital Evaluarea sau examinarea reprezinta actul didactic complex, integrat intregului proces de invatamant, care urmareste masurarea cantitatii cunostintelor dobandite, ca si valoarea, nivelul, performantele si eficienta acestora la un moment dat, oferind solutii de perfectionare a actului didactic. A evalua rezultatele scolare inseamna a determina masura in care obiectivele programului de instruire au fost atinse, precum si eficienta metodelor de predare-invatare. Aceasta este punctul de final dintr-o succesiune de actiuni cum sunt: stabilirea scopurilor pedagogice, proiectarea si executarea programului de relizare a scopurilor sau masurarea rezultatelor aplicarii programului. Esenta evaluarii este cunoasterea efectelor actiunii desfasurate, pentru ca pe baza informatiilor obtinute, aceasta activitate sa poata fi ameliorata in timp. Evaluarea inseamna deci: masurarea, interpretarea, apresierea rezultatelor si adoptarea deciziei. Din analiza relatiilor dintre evaluarea rezultatelor scolare si procesul de instruire se desprind functiile evaluarii. Aceste functii privesc sarcinile, obiectivele, rolul si destinatia evaluarii. Functia de constatare stabileste daca o activitate instructiva s-a derulat in conditii optime, o cunostinta a fost asimilata, o deprindere a fost achizitionata. Functia de informare este instiintata societatea prin diferite mijloace cu privire la stadiul pregatirii populatiei scolare. Functia diagnostica vizeaza depistarea lacunelor si greselilor elevilor si inlaturarea acestora; arata valoarea, nivelul si performantele elevilor la un moment dat. Functia prognostica evidentiaza performantele viitoare ale elevilor si sprijina decizia de orientare profesionala; prevede, probabilistic, valoarea, nivelul si performantele ce ar putea fi obtinute in etapa viitoare de pregatire a elevului. Functia de selectie permite clasificarea si/sau ierarhizarea elevilor; este functia de comparatie in raport cu care se asigura ierarhizarea elevilor dupa valoarea si performantele obtinute. Functia de certificare releva competentele si cunostintele elevilor la finele unui ciclu/forme de scolarizare. Functia motivationala stimuleaza activitatea de invatare a elevilor si se manifesta prin valorificarea pozitiva a feed-back-ului oferit de evaluare, in sensul aprecierii propriei activitati. Functia pedagogica pentru elev are caracter stimulativ, de intarire a rezultatelor, de formare a unor abilitati, de orientare scolara si profesionala, iar pentru professor evidentiaza ceea ce a realizat si ce are de realizat pe viitor. Pagina 19

20 Sistemele de evaluare digitale urmaresc aceleasi functii ale evaluarii. Principalele functionalitati ale unui sistem de evaluare digital sunt: 1. Generarea testelor conform unor criterii 2. Cautare de teste / itemi 3. Administrare a testelor (autoadministrare sau administrare de catre profesor) 4. Creare de teste si de itemi 5. Rapoarte de performanta, istoric 6. Statistici de progres / regres, analiza a rezultatelor Concluzii Utilizarea calculatorului în procesul de evaluare creează condiţii pentru o evaluare obiectivă Evaluarea asistată de calculator reprezintă o alternativă la evaluarea făcută de cadrul didactic, asigurând condiţii egale de testare pentru toţi elevii-studenţii-candidaţii. Introducerea EAC oferă opţiunea cursurilor la distanţă, în care administrarea examenelor şi a rezultatelor este foarte rapidă. Testarea asistată nu urmăreşte reducerea performanţelor elevilor, ci asigură flexibilitate şi eficienţă a evaluării superioară probelor tradiţionale. Bibliografie 1. Adrian Adascalitei Instruire asistata de calculator. Didactica informatica, Editura Polirom, Mihaela Brut Instrumente pentru E-Learning. Ghidul informatic al profesorului modern, Editura Polirom, Romita B. Iucu Instruirea scolara. Perspective teoretice si aplicative. Editura Polirom, Petru Lisievici Evaluarea in invatamant. Teorie, practica, instrumente. Editura Aramis, Musata Bocos, Dana Jucan Teoria si metodologia instruirii. Teoria si metodologia evaluarii, Editura Paralela 45, 2008 Pagina 20