Huglægt mat hlutlægt mat: Val prófatriða

Transcription

1 Huglægt mat hlutlægt mat: Val prófatriða A. Skriflegt próf með blöndu huglægra og hlutlægra prófatriða nýtist betur en annað námsmat í fjölmörgum tilfellum, einkum þegar ná þarf til margra hæfniþátta á stuttum tíma. Vönduð og fjölbreytt prófverkefni ættu að tryggja réttmæti og áreiðanleika. B. Til að tryggja réttmæti séu prófatriði samin og valin með hliðsjón af markmiðum og inntaki námskeiðs: Markmið > Hæfniviðmið (learning outcomes) > inntak, efni > nám og kennsla (námsferlið) > námsmat (próf og annað eftir því hvert samhengið er). Getur verið spurning um hugarfar: Prófa hvað nemandinn kann eða prófa hvað nemandinn kann ekki? C. Hvað er metið í hverju prófatriði? (Þekking, minni, kunnátta, skilningur, leikni, greining, gagnrýnin hugsun, skapandi hugsun, problem solving...) D. Hver metur? Hverjir meta? Samkvæmt hvaða viðmiðum? E. Vægi spurninga, fjöldi af hverri gerð, fyrirgjöf og niðurstöður. Á að nota frádrátt vegna ágiskana? F. Niðurstöður, ætti að taka mið af væntanlegri dreifingu einkunna? G. Þyngd og greiningarhæfi prófatriða (Sjá nánar hér fyrir aftan) H. Hvar fer námsmat fram? Aðstæður skipta máli. Gerðir fjölvalsprófatrið (Selection-type; fixed choice) A. Krossaspurningar (Multiple choice items) eru langmest notaða sniðið af fjölvalsverkefnum í prófum. Haga má krossaspurningum þannig að þær meti víðtæk hæfniviðmið (learning outcomes/lo). Með þeim má prófa þekkingu (minni), skilning, beitingu og ýmiss konar túlkun og úrlausnarhæfileika (problem solving skills). En það er bundið við að próftaki skrifar ekki eitt einasta orð, heldur merkir við rétt svar eða réttasta svarið. Aðrir svarmöguleikar teljast villusvör (distractors). Svarmöguleikar eru jafnan 3, 4 eða 5, stundum fleiri. Ekki er mælst til að réttir svarmöguleikar feli í sér fleiri en eitt rétt svar, þ.e. gert sé ráð fyrir að nemendur merki ýmist við einn, tvo eða fleiri svarmöguleika. Dæmigerð krossaspurning samanstendur af stofni (stem) og 1

2 svarmöguleikum (alternatives). Almennt er talið vandasamt að semja krossaspurningar. Þættir sem þarf að huga að eru orðalag, málskilningur próftaka, virkni allra svarmöguleika o.fl. (Sjá nánar á eftir). Dæmigerð framsetning á krossaspurningu með fjórum svarmöguleikum: Stofninn í krossaspurningu, settur fram sem spurning, ófullkláruð fullyrðing eða problem sem próftaki á að túlka og bregðast við; stundum með mynd, töflu, grafi o.s.frv. Í svarmöguleikum er ýmist eitt óyggjandi rétt svar eða nauðsynlegt að merkja við réttasta svarið. a) ( ) Villusvar (distractor) b) ( ) Réttasta svarið c) ( ) Villusvar (distractor) d) ( ) Villusvar (distractor) B. Satt ósatt spurningar (True-false items, Alternative-response). Geta tekið á sig mismunandi myndir og merkingu eftir því hvert samhengið er, en meginreglan að nemandi velur milli tveggja valkosta. Stundum fylgja viðbótarverkefni, t.d. að nemanda sé ætlað að rökstyðja svar sitt eða umorða fullyrðingar sem séu rangar þannig að þær verði sannar. Heppilegt getur verið að setja fram safn af skyldum S/Ó spurningum (cluster-type true-false format). Dæmi um framsetningu: Hvaða fullyrðingar geta staðist (eru sannar) og hverjar ekki (eru ósannar) um normaldreifingu og normalkúrfu? Merktu í viðeigandi reiti: Dreifing gagnanna er alltaf samhverf um meðaltalið (miðjuna) Normalkúrfan er óendanleg í báðar áttir úr frá meðaltalinu Því minna sem gildið er á σ (eða s) þeim mun flatari er kúrfan Tvær normalkúrfur með mismunandi talnadreifingu geta aldrei haft mismunandi meðaltöl Staðalfrávikið gefur vísbendingar um hæð og breidd kúrfunnar er Satt Ósatt C. Pörunarverkefni (Matching items). Jafnan sett fram sem tveir samhliða dálkar þar sem verkefnið felst í að tengja orð, tákn, myndir eða setningar í vinstri dálki við orð, tákn, myndir eða setningar í hægri dálki. Jafnan gert þannig að nemandi færi rétta tölu eða bókstaf í viðeigandi reit í vinstri dálkinum. Til að tryggja áreiðanleika er ekki hafður sami fjöldi atriða í dálkunum tveimur og tekið fram í fyrirmælum að hvert atriði eða svar í 2

3 hægri dálki geti tengst einu eða fleiri atriðum í vinstri dálki eða jafnvel engu þeirra. Ráðlagt að hafa atriðin ekki fleiri en 10, hafa þau innbyrðis skyld (homogeneous) og raða þeim í lógíska röð, t.d. stafrófsröð eða númeraröð eftir því hvert efnið er. Dæmi um framsetningu pörunarverkefnis: Í dálki A eru talin upp einkenni, tákn eða þ.u.l. Nemandi fær fyrirmæli um að skrá í eyðuna viðeigandi bókstaf eða númer sem á við atriði í hægri dálki. Hvert atriði eða svar í hægri dálki getur tengst einu eða fleiri atriðum í vinstri dálki eða jafnvel engu þeirra. Dálkur A Dálkur B A. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki B. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki C. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki D. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki E. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki F. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki G. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki D. Túlkunarverkefni (Interpretive Content dependent Linked). Gefur möguleika á að meta flóknari hæfniviðmið en krossaspurningar, réttrangt spurningar og pörunarspurningar gera jafnan. Þetta spurningasnið er oft notað með innfyllingaratriðum, þ.e. þar sem nemendur eiga að svara með því að skrifa texta. Í túlkunarverkefnum fá nemendur efni (introductory material), t.d. texta (gæti verið lýsing á ferli, klausa úr grein...), töflu, skýringarmynd, tákn, graf, kort eða annars konar mynd. Verkefnið felst svo í að túlka samhengi, merkingu eða upplýsingar sem koma fram í kynningarefninu. Dæmi: Lestu eftirfarandi lýsingu og svaraðu svo spurningum sem fylgja: Texti úr fræðibók, t.d. um sólkerfið og afstöðu sólar og jarðar eftir mismunandi árstíðum á suðurhveli og norðuhveli jarðar Verkefni geta verið krossaspurningar, rétt rangt, tengja eða merkja inn á myndir 3

4 Nokkur atriði til að gæta að A. Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsþátt sbr. hæfniviðmið (learning outcome). Hefur með réttmæti að gera. B. Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika að gera. C. Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity). Forðast orðaglamur. Hefur með áreiðanleika að gera. D. Ekki endurtaka sömu orð og orðasambönd í öllum svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt. E. Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist örugglega. Hefur með áreiðanleika að gera. F. Ekki má orka tvímælis hvert er rétta svarið. En oft þarf að árétta að nemendur eigin að merkja við réttasta svarið í hverju prófverkefni. G. Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið, t.d. hvað varðar einkenni, lengd o.s.frv. Ekki mega leynast vísbendingar í spurningaforminu. Hafa má breytilega lengd á réttu svörunum til að forðast vísbendingar. H. Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari. Gera villusvör (distracters) freistandi svarmöguleika. I. Forðast að nota möguleikann allt ofanritað er rétt ; gallaður af því nóg er að sjá að tvö svör eru rétt eða að a.m.k. eitt er rangt. Sumir nemendur eru að flýta sér og sjá að fyrsti möguleikinn er réttur og merkja við hann, horfa svo ekki á hitt. Möguleikinn Ekkert af þessu er rétt er varasamur. Hann er ekki staðfesting á hvort nemandi veit eða veit ekki. J. Hafa breytilega staðsetningu á rétta möguleikanum. Nota handahófskennda aðferð. K. Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum. 4

5 L. Prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv. M. Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð. N. Gætt sé að stafsetningu og greinarmerkjasetningu. O. Hafa hugfast að krossaspurningar einar og sér duga ekki til að meta allt sem skiptir máli. Það er því ólíklegt að þær tryggi hátt réttmæti, þótt áreiðanleiki (stöðugleiki) sé hugsanlega mikill. P. BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR TELJI PRÓFSEMJANDI ÞESS ÞÖRF OG EF KUNNÁTTA OG AÐSTÆÐUR LEYFA ÞAÐ! Að semja opnar spurningar A. Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsþátt sbr. hæfniviðmið (learning outcome). Hefur með réttmæti að gera. B. Velja spurningagerð sem hæfir best því sem á að meta. C. Prófum nokkrar opnar spurningar um myglusveppi. Byggjum á lesefni sem við höfum: - Stuttar spurningar (Short-answer item) um myglusveppi, sveppaeitur og áhrif þess. Eða annað efni. - Styttri ritgerðaspurningar (Restricted-response) sem reyna á skilning, beitingu, greiningu... - Lengri ritgerðaspurningar (Extended-response) sem reyna á gagnrýna hugsun, skapandi hugsun, skilning, beitingu, greiningu... D. Mikilvægt að reyna að tryggja réttmæti og áreiðanleika við prófgerð? Hvernig? Að meta gæði prófatriða A. Þyngdarstig prófatriðis: Hve mörg % nemenda svara því rétt? Skiptum nemendahópnum í þrennt. Skoðum úrlausnir efsta þriðjungs (t.d. 33 nemendur) og 5

6 neðsta þriðjungs (33 nemendur). Segjum að 22 úr efsta hópnum svari atriðinu rétt og 9 úr neðsta hópnum (22+9). Þá er þyngdarstigið 31/66 = 47%. Spurningin er þeim mun erfiðari sem þessi tala er nær 0. B. Greiningarhæfi (greinihæfni): Samanburður á fjölda sem svaraði rétt í hærri hópi (þ.e. 33 efstu) og fjölda sem svaraði rétt í lægri hópi (33 lægstu). Notum sömu tölur, þ.e. að 22 í hærri hópnum hafi svarað rétt og 9 úr lægri hópnum. Þá getum við reiknað greiningarhæfi þannig: (22-9)/33 = 13/33 = 0,39. Greiningarhæfi er mest þegar útkoman er 1,0. Þá er þyngdarstigið 50%. Heimildir (bæði við fjölvalsspurningar og opnar spurningar): Burton, S.J., Sudweeks, R.R., Merrill, P.F. & Wood, B. (1991). How to prepare better multiple-choice test items: Guidelines for university faculty. Brigham Young University Testing Servises. Finnst sem pdf-skjal á Netinu. Frary, R.B. (1988). Formula scoring for multiple-choice tests (Correction for guessing). Educational Measurement: Issues and Practice, 7 (2), Gronlund, N.E. og Waugh, C.K. (2009). Assessment of student achievement (9. útgáfa). Upper Saddle River: Pearson. Haladyna, T.M, Downing, S.M & Rodriguez, M.C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), Finnst sem pdf-skjal á Netinu. Nitko, A.J. (2001). Educational assessment of students. New Jersey: Merrill Prentice Hall. Miller, M.D., Linn, R.L. og Gronlund, N.E. (2008). Measurement and assessment in teaching (10. útgáfa). Upper Saddle River: Merrill/Pearson. 6