3 ÁREIÐANLEIKI 3. verkefni Í mælifræði er fengist við fræðilegar og tæknilegar undirstöður sálfræðilegra prófa. Kjarninn í allri fræðilegri og hagnýtri umræðu í mælifræði eru áreiðanleiki og réttmæti. Svör við fræðilegum spurningum um áreiðanleika og réttmæti sálfræðilegra prófa eru sótt í kenningar innan mælifræði. Hagnýting sálfræðilegra prófa endurspeglar beint hin fræðilegu svör. Uppistaða kenninga í mælifræði er útlistun á gefnum forsendum innan þeirra og stærðfræðilegum sönnunum á kennisetningum innan þeirra. Dæmi um kennisetningu innan klassískrar raungildiskenningar (classical true score theory) í mælifræði 1 er að hægt sé að meta raungildi (true score) út frá mældum gildum (observed values). Sambandi raungilda og mældra gilda er hægt að lýsa á eftirfarandi hátt: X = R + V eða R = X V Hér að ofan er X mælt gildi, R raungildi og V villuþáttur eða skekkja mælingar. Til að meta hversu vel tekst til að nálgast raungildi út frá mældu gildi þarf að reikna áreiðanleika (stöðugleika) mælingar. Hægt er að fara nokkrar leiðir til þess en sameiginlegt þeim öllum er mat á því hversu mikil áhrif ýmsir tilviljanabundnir þættir hafa á niðurstöðuna. Áreiðanleikastuðlar endurspegla stöðugleika mælinga. Þegar próf er lagt fyrir einstakling er frammistaða hans mæld á ákveðnum tímapunkti með atriðasafni við tilteknar aðstæður. Margir þættir geta haft áhrif á frammistöðu í prófinu. Ef annað úrtak ariða er notað úr þýði allra hugsanlegra atriða og prófið lagt fyrir við aðrar aðstæður er líklegt að ekki fengist nákvæmlega sama niðurstaða. Í klassískri raungildiskenningu er gengið út frá því að meðaltal allra hugsanlegra mældra gilda sé rétt og óskekkt mat á raungildi. Í hagnýtum aðstæðum er próf lagt fyrir í eitt skipti og ályktanir dregnar út frá þessari einu fyrirlögn. Áreiðanleikastuðull er notaður til að meta hversu góð nálgun mælt gildi er á raungildi. Gengið er út frá því að frávik mældra gilda frá raungildi séu tilviljanabundin. 2 1 Gulliksen, H. (1950). Theory of mental tests. New York: Wiley. 2 Í klassískri raungildiskenningu er ekki fjallað um kerfisbundnar skekkjur.
Í samræmi við það sem sagt hefur verið hér að framan væri röksemdarfærslan fyrir mati á áreiðanleika mælinga á þessa leið. 3 Gert er ráð fyrir að til sé ein tala, raungildi, fyrir eiginleika eða færni einstaklinga. Niðurstaða mælingar sem er án nokkurrar skekkju gefur þessa tölu. Skekkja er ávallt til staðar við endurtekna prófun. Því er einungis hægt að nálgast þessa einu tölu. Nákvæmni í nálguninni ákvarðast af áreiðanleika mælitækis sem er notað. Af framangreindum ástæðum er ekki við því að búast að endurteknar mælingar með sama prófi gefi nákvæmlega sömu niðurstöðu. Þvert á móti eru tiltekin líkindi fyrir því að niðurstaða prófs lendi á tilteknu bili. Þetta bil ákvarðast af staðalvillu mælinga (prófsins). Staðalvilla vísar til staðalfráviks villuþátta samfara mælingum. Ein staðalvilla samsvarar einu staðalfráviki undir bjölludreifðum villuþáttum. Með vitneskju um staðalvillu mælitalna er hægt að reikna vik- eða öryggismörk þeirra. Óáreiðanlegt próf hefur stærri staðalvillu en áreiðanlegt próf. Hér verður ekki farið í gegnum gefnar forsendur í klassískri raungildiskenningu. Við látum nægja þá staðhæfingu að hægt sé að draga margvíslegar hagnýtar ályktanir út frá gefnum skilyrðum klassískrar raungildiskenningar. 4 Þegar þessi skilyrði eru raunhæf í tilteknum prófaðstæum hljóta ályktanir út frá þeim að vera réttar. Að svo miklu leyti sem þær eru óraunhæfar í tilteknum prófaðstæðum fáum við skakka mynd af því sem við mælum með prófum sem samin eru út frá þessari kenningu. Áreiðanleikastuðlar Fjórar tegundir áreiðanleikastuðla hafa mest verið notaðir til að meta áreiðanleika prófa: Endurprófunaráreiðanleiki (test-retest reliability) Fylgni hliðstæðra útgáfa prófa (alternate-forms reliability) Helmingunaráreiðanleik (split-half reliability) Innri áreiðanleiki (Kuder-Richardson; alfastuðull) Endurprófunaráreiðanleiki (test-retest reliability) er fylgni milli heildartalna sama prófs sem lagt er fyrir tvisvar með ákveðnu millibili. Þessi tegnund áreiðanleikastuðuls skiptir máli þegar mælitæki er notað til að meta stöðu próftaka yfir tiltekið tímabil. Yfirleitt er fylgni reiknuð milli tveggja heildartalna prófsins með eins til fimm vikna millibili. Ákvörðun um hversu langur tími er látinn líða milli fyrirlagna fer meðal annars eftir því hvernig á að nota prófið. Þegar tvær hliðstæðar útgáfur sama prófs (alternate forms reliability) hafa verið útbúnar er hægt að nota fylgni á milli þeirra til að meta áreiðanleika. Til að tvær útgáfur sama prófs geti talist hliðstæðar er nauðsynlegt að meðaltal og dreifing stiga á þeim sé eins eða a.m.k. keimlík. Jafnframt er gerð sú krafa að fylgni hliðstæðra útgáfa prófs hafi sömu eða svipaða fylgni við ytri viðmið. Það gæti verið annað próf sem metur það sama. Jafnvel þó þessum skilyrðum sé fullnægt er þó ekki víst að tvær útgáfur prófsins séu eins. Tvær hliðstæðar útgáfur prófs er nálgun að fræðilegu skilyrði til að meta áreiðanleika prófs með eins útgáfum þess (parallel forms 3 Sjá nánar í Nunnally, J. C. og Bernstein, I.H. (1994). Psychometric theory (3. útg.). New York: McGraw-Hill, Inc. 4 Sjá nánar í Allen, M. J. og Wendy, M. Y. (1979). Introduction to measurement theory. Prospect Heights, Illinois: Waveland Press, Inc.
reliability). Hugmyndin hér að baki er að séu útgáfur prófsins eins jafngildi fylgni á milli þeirra áreiðanleikastuðli. Í framkvæmd hefur verið stuðst við hliðstæðar útgáfur sama prófs, aðallega vegna þess hversu erfitt er að útbúa algerlega eins útgáfur sama prófs. 5 Ef allir próftakar fá sömu mældu gildin á tveimur hliðstæðum útgáfum prófs er engin skekkja samfara mælingunum. Áreiðanleikastuðull er 1. Ef fylgnin er engin milli mældra gilda á tveimur hliðstæðum prófum er áreiðanleikastuðullinn 0. Prófið er fullkomlega óáreiðanlegt. Fremur óalgengt er að tvær útgáfur sama prófs séu útbúnar og því sjaldgæft að sjá mat á áreiðanleika prófs út frá fylgni tveggja hliðstæðra útgáfa prófs. 6 Þegar helmingunaráreiðanleiki (split-half reliability) er reiknaður er atriðum prófs skipt í tvo helminga eftir tiltekinni reglu og fylgni reiknuð milli prófhelminga. Ein regla til að skipta atriðum prófs í helminga er að setja öll oddatöluatriði saman og öll atriði auðkennd með jöfnum tölum saman. Mismunandi aðferðir til að skipta atriðum í tvo hópa eru líklegar til að gefa mismunandi niðurstöðu. Þess vegna getur helmingunaráreiðanleiki aldrei orðið nákvæmur mælikvarði á áreiðanleika prófs. Samband er á milli áreiðanleika prófs og fjölda atriða í prófi. Almennt á við að því lengra sem prófið er þeim mun áreiðanlegra er það. Þegar helmingunaráreiðanleiki er reiknaður er fjöldi atriða helmingi minni en í prófinu í heild. Því þarf að leiðrétta helmingunaráreiðanleika þannig að hann endurspegli áreiðanleika prófs í fullri lengd. Til þess er notuð Spearman-Brown formúla: r nn nrtt = 1+ ( n 1) r tt r nn Áætlaður stuðull rtt Reiknaður áreiðanleikastuðull n Margföldunarstuðull Ef áreiðanleiki 15 atriða prófs er til dæmis 0,40 getum við notað Spearman-Brown formúluna til að reikna hvaða áhrif það hefur á áreiðanleika að tvöfalda fjölda atriða. Með því að setja inn í formúluna fáum við að áætlaður áreiðanleikastuðull verður 0,57. Nokkrir stuðlar eru notaðir til að meta innri áreiðanleika prófs. Kuder-Richardson áreiðanleikastuðull (KR-20) er notaður þegar atriði eru metin á tvískiptum kvarða (gefið er rétt eða rangt fyrir atriði). Þegar kvarðinn til að meta atriði er lengri (t.d. 0, 1 og 2) er alfastuðull Cronbachs notaður. Kuder-Richardson 21 áreiðanleikastuðull (KR-21) er notaður til að námunda lægsta mögulega KR-20 fyrir tiltekið atriðasafn. Munurinn á KR-20 og helmingunaráreiðanleika (split-half reliability) er sá að KR-20 er reiknaður út frá öllum atriðum prófs. Eftirfarandi formúla er notuð til að reikna KR-20 stuðulinn: 5 Sjá nánar í Allen, M. J. og Wendy, M. Y. (1979). Introduction to measurement theory. Prospect Heights, Illinois: Waveland Press, Inc. 6 Þó þekkist það, þegar helmingunaráreiðanleiki er reiknaður, að tvær hliðstæðar útgáfur prófs séu útbúnar úr tveimur helmingum prófsins. Síðan er fylgni reiknuð á milli hliðstæðra útgáfa prófsins og fylgnin leiðrétt með Spearman-Brown formúlunni til að reikna helmingunaráreiðanleikastuðul.
Alfastuðul má túlka sem meðaltal allra mögulegra helmingunar- áreiðanleikastuðla. Þessi stuðull er náskyldur KR-20 eins og sést í formúlunni sem er notuð til að reikna hann: 2 2 n SDt SDi rtt = n 2 SD 1 t Áreiðanleikastuðlar kvarða og matstækja eru mikilvægir, bæði í rannsóknum og hagnýtum aðstæðum. Í hagnýtum aðstæðum eru áreiðanleikastuðlar notaðir til að reikna staðalvillu mælinga. Staðalvilla mælinga er síðan notuð til að reikna vikmörk um mælitölur. Í rannsóknum eru áreiðanleikastuðlar mikilvægir til að meta og túlka fylgnistuðla. Áreiðanleikastuðlar setja fylgnistuðlum efri mörk. Röksemdarfærslan er á þá leið að hægt er að líta á áreiðanleikastuðla sem fylgni prófs við sjálft sig. Ekkert getur haft hærri fylgni en við sjálft sig. Ef áreiðanleiki tveggja kvarða er ekki hár er r tt = n n SD 2 t 2 1 SDt pq r tt n pq 2 SD t Áreiðanleikastuðull (KR-20) Fjöldi atriða í prófi Summa hlutfalls með rétt (p) og röng (q) svör Staðalfrávik (í öðru veldi) ekki hægt að búast við hárri fylgni á milli þeirra. Þetta verður því að hafa í huga þegar fylgnistuðlar milli kvarða eru túlkaðir í rannsóknum. Af sama meiði eru sú staðreynd að áreiðanleiki setur viðmiðsréttmæti efri mörk. Viðmiðsréttmæti er fylgni milli tiltekins kvarða og ytra viðmiðs. Yfirleitt er ytra viðmiðið annað próf eða kvarði sem á að mæla það sama og tiltekinn kvarði. Það á því við um stærð réttmætis- eða fylgnistuðla af þessu tagi að þeir eru tengdir áreiðanleika kvarðanna eða prófanna sem eru notuð. Þetta er gjarnan orðað almennt á þá leið að ekkert próf geti verið réttmætt ef það er óáreiðanlegt eða að áreiðanleiki sé nauðsynlegt (en þó ekki nægjanlegt) skilyrði réttmætis. Þessar staðhæfingar eru með öðrum orðum raktar til þess að áreiðanleiki setji fylgnistuðlum efri mörk. Síðan má bæta því við að viðunandi áreiðanleiki tryggir ekki viðunandi réttmæti. Þar þarf að koma fleira til. Hægt er að leiðrétta fylgni tveggja kvarða þegar áreiðanleiki annarrar eða beggja breytanna er ekki nógu hár. Eftirfarandi formúla leiðréttir fyrir lágum áreiðanleika. r12 r ( leiðréttur) = r11 r22 Í formúlunni stendur r 11 fyrir áreiðanleikastuðul kvarða 1, r 22 fyrir áreiðanleikastuðul kvarða 2 og r 12 fyrir fylgni á milli kvarðanna tveggja. Notagildi leiðréttingar fylgnistuðla með formúlunni hér að ofan felst meðal annars í því að hægt er að meta hver fylgni milli tveggja kvarða væri ef engin skekkja fylgdi mælingum. Í próffræði er þessi leiðrétting stundum notuð til að taka ákvarðanir um val á kvörðum til að nota í forspá. Á grundvelli leiðréttingar á fylgnistuðlum milli kvarða og viðmiðs er ákveðið hvaða kvarða á að vinna áfram með til að bæta fylgni milli kvarðans og tiltekins viðmiðs. Þegar formúlan hér að ofan hefur verið notuð er áreiðanleiki kvarðans bættur með því að fjölga atriðum í honum og þar með fylgni (réttmæti) við ytra viðmið.
Staðalvilla Æskilegt er að setja niðurstöðu úr sálfræðilegum prófum á tiltekið bili sem ákvarðast af staðalvillu mælinga eða áreiðanleika prófsins. Þegar vikmörk eru sett á niðurstöðu prófs er auðveldara að samræma og túlka niðurstöður úr mörgum prófum. Jafnframt er minni hætta á oftúlkun eða rangtúlkun niðurstaðna úr prófum. Þegar staðalvilla mælitalna er reiknuð fyrir kvarða eða próf er stuðst við staðalfrávik mælitalna og áreiðanleikastuðul fyrir tiltekinn kvarða eða undirpróf. Eftirfarandi formúla er notuð til að mæla staðalvillu mælitalna: SV = SF t 1 r nn Hér stendur SV fyrir staðalvillu, SF t fyrir staðalfrávik mælitalna og r tt fyrir áreiðanleikastuðul prófs eða kvarða. Á greindarprófi Wechslers fyrir börn á leikskólaog skólaaldri er meðaltal greindartölu 100 og staðalfrávik 15. Áreiðanleikastuðull fyrir heildartölu greindar er 0,92. Til að að setja 68% vikmörk á greindartölu prófsins reiknum við staðalvillu mælitölunnar samkvæmt formúlunni hér að framan. Staðalvillan er 4,2. Ef við hefðum fengið greindartöluna 95 við fyrirlögn prófsins hjá tilteknu barni væru vikmörk þeirrar mælitölu því 95 ±4,2 eða 90,8 99,2. Það eru því 68% líkindi á því að raungildi greindartölu liggi á þessu bili fyrir þetta tiltekna barn. 7 Til að setja 95% vikmörk um mælitöluna margföldum við staðalvilluna með z-gildinu 1,96. Þá fáum við út 8,2. Það eru því 95% líkindi á því að raungildi greindartölu liggi á bilinu 86,8 103,2. Í hagnýtum aðstæðum eru þessi bil venjulega námunduð að heilum tölum þ.e. 95% vikmörk um greindartöluna 95 væru því 87 103. Áreiðanleikastuðlar í SPSS Í SPSS er algengast að þrjár tegundir áreiðanleikastuðla séu reiknaðir: (a) innri áreiðanleiki (alfastuðull), (b) helmingunaráreiðanleiki (split-half reliability), og (c) endurprófunaráreiðanleiki (test-retest reliability). Þessir stuðlar eru mest notaðir þegar áreiðanleiki kvarða eða prófa er metinn í hagnýtum aðstæðum eða í rannsóknum. Hægt er að reikna aðra tegundir áreiðanleikastuðla í SPSS en notkun þeirra er sérhæfðari (Guttman, Parallel, Strict Parallel). Að auki er hægt að reikna stuðla í SPSS til að meta samræmi eða samkvæmni matsmanna (Kendall W, Kappa, Interrater reliability, Intraclass correlation coefficient). Þessir stuðlar eru túlkaðir á svipaðan hátt og eiginlegir áreiðanleikastuðlar. Alfastuðull Sennilega er algengast að alfastuðull sé reiknaður í SPSS. Aðferðin við það er einföld og sú sama fyrir alla áreiðanleikastuðla í SPSS. Þessi leið er farin í valrönd: Analyze Scale Reliability. Þegar smellt er á Reliability opnast glugginn á mynd 3.1. Breyturnar í breytuhólfinu vinstra megin í glugganum eru færðar yfir í breytuhólfið hægra megin. Þetta er gert þegar allar tegundir af áreiðanleikastuðlum eru reiknaðir í SPSS. Breyturnar sem birtast í breytuhólfinu til vinstri eru allar breytur í gagnasniði. Í þessu dæmi eru allar breyturnar (nr67, nr68, nr15, nr25 o.s.frv.) staðhæfingar úr þroskalista sem metnar eru á þriggja þrepa kvarða (hafa gildin 0, 1 eða 2). Ef hakað er í reitinn neðst til vinstri í glugganum (List item labels) birtast nöfn breyta og lýsingar á heitum þeirra í niðurstöðuskrá. Á mynd 3.1 hefur ekki verið hakað í þennan reit. 7 Túlkun vikmarka í hagnýtum aðstæðum er almennt með þessum hætti. Réttari túlkun er þó að 68% vikmarka sem útbúin eru með sama hætti innihaldi raungildi.
Reiknaður er áreiðanleiki fyrir hvern kvarða fyrir sig. Kvarðar samanstanda af tilteknum fjölda atriða eða spurninga. Þær breytur (atriði) sem tilheyra sama kvarða eru færðar á milli breytuhólfa. Ef athuga á áreiðanleika nokkurra kvarða þarf að endurtaka þetta fyrir atriði hvers kvarða fyrir sig. Mynd 3.1. Úrvinnslugluggi til að reikna áreiðanleika. Þegar breytur hafa verið færðar á milli breytuhólfa er tegund áreiðanleikastuðuls valin í flettivalseðlinum neðst til vinstri í glugganum á mynd 3.1. Hægt er að velja á milli nokkurra tegunda áreiðanleikastuðla. Í flestum tilvikum er verið að velja á milli Alpha og Split-half. Þegar áreiðanleikastuðull (Alpha) hefur verið valinn er smellt á hnappinn Statistics. Þar er hægt að velja lýsandi tölfræði fyrir atriði og kvarða. Sömuleiðis er hægt að velja þar tölfræði sem er meðal annars notuð til að reikna áreiðanleikastuðla. Loks er hægt að reikna tölfræði sem nýtist í atriðagreiningu þegar kvarðar eða próf eru búin til. Þegar smellt er hnappinn Statistics birtist glugginn á mynd 3..2. 1 2 1. Lýsandi tölfræði fyrir atriði (Item) og kvarða (Scale). Áhrif þess að fjarlægja atriði úr kvarða á áreiðanleika og lýsandi tölfræði (Scale if item deleted). Mikið notað í atriðagreiningu. 3 5 4 2. Fylgni (Correlations) og samdreifni (Covariance) milli atriða. Mikið notað í atriðagreiningu. 3. Lýsandi tölfræði fyrir atriði í kvarða. 4. Aðferðir til að prófa hvort munur er á meðaltölum og athuga samkvæmni í mati matsmanna (t.d. Kendall W). 5. Aðferð til að athuga samkvæmni í mati þriggja eða fleiri matsmanna (Intraclass correlation coefficient). Mynd 3.2. Valkostir þegar áreiðanleikastuðlar eru reiknaðir.
Þegar atriðagreining (item analysis) er gerð þarf að nota flesta þá tölfræði sem hægt er að haka við í hólfum 1, 2, 3 og 4 á mynd 3.2. Þar fást upplýsingar um eiginleika atriðanna, hvort þau mynda einsleitt atriðasafn og hvort líklegt sé að þau meti sömu hugsmíð. Þegar eingöngu á að reikna áreiðanleikastuðul fyrir kvarða sem er notaður í rannsókn er yfirleitt látið nægja að haka við lýsandi tölfræði fyrir atriði og kvarða (hólf 1). Í atriðagreiningu (þegar atriði eru valin í kvarða) er jafnan hakað að auki við valkostina í hólfi 2 og 3. Í glugganum á mynd 3.2 (hólf 5) er einnig hægt að reikna samkvæmni eða samræmi í mati á samfelldum breytum á milli þriggja eða fleiri matsmanna (Intraclass correlation). Þessi stuðull ásamt tveimur öðrum (Kappa og Kendall W) er notaður til að athuga samkvæmni í mati matsmanna. Þegar hakað hefur verið við þá tölfræði sem óskað er eftir í glugganum á mynd 3.2 (Item, Scale og Scale if item deleted) er smellt á hnappinn Continue og síðan OK. Þá skilar forritið niðurstöðum í niðurstöðuskrá. Á myndum 3.3 til 3.5 hefur þetta verið gert og tíu staðhæfingar úr þroskalista notaðar í atriðagreiningunni. Hver staðhæfing er metin á þriggja þrepa raðkvarða. Gefið er 0, 1 eða 2 fyrir hverja staðhæfingu. Reliability Statistics Cronbach's Alpha N of Items,881 10 Mynd 3.3. Alfastuðull í niðurstöðuskrá. Fremst í niðurstöðuskránni er lítil tafla með alfastuðli (mynd 3.3). Alfastuðull fyrir staðhæfingarnar tíu er 0,881. Almennt er þetta viðunandi áreiðanleikastuðull. Engar algildar reglur eru til um hversu hár áreiðanleikastuðull á að vera. Til að meta þetta verður að skoða hvað á að gera við niðurstöður eða um hvað er ályktað. Í flestum aðstæðum er þó talið viðunandi þegar alfastuðull er hærri en 0,80. Lægsta gildi stuðulsins er 0,0 og það hæsta 1,0. 8 Eftir því sem alfastuðullinn verður lægri þeim mun alvarlegri verða afleiðingar fyrir ályktanir sem dregnar eru á grundvelli niðurstaðna í rannsóknum. Þetta er vel skiljanlegt þegar haft er í huga að villudreifing er þeim mun meiri eftir því sem stuðullinn er lægri. Þetta hefur áhrif á alla tölfræði sem er reiknuð. Næst í niðurstöðuskránni kemur tafla þar sem lýst er hvaða áhrif það hefur á meðaltal (Scale Mean if Item Deleted) og dreifingu (Scale Variance if Item Deleted) heildartölu kvarða ef tiltekin staðhæfing (atriði) er felld úr kvarðanum (mynd 3.4). Þar á eftir (Corrected Item-Total Correlation) er lýst leiðréttri fylgni hverrar staðhæfingar (atriðis) við heildartölu kvarða og hvaða áhrif það hefur á áreiðanleikastuðul að fella tiltekna staðhæfingu (atriði) úr kvarðanum. 9 Þetta er mikilvæg tafla og ætti ávallt að skoða. Almennt á við að eftir því sem fylgni atriðis er hærri við heildartölu þeim mun betra. Í kvörðum er sóst eftir því að atriði hans séu einsleit og þar með líklegra að þau meti sömu hugsmíð. Í töflunni á mynd 3.4 sést að lægsta fylgni staðhæfingar (atriðis) við heildartölu (Corrected Item-Total Correlation) er 0,423. Þegar dálkurinn lengst til 8 Ef alfastuðull er neikvæður ætti að athuga hvort öll atriði í kvarða eru skráð eins. 9 Fylgnin er leiðrétt því hvert atriði er hluti af heildartölu kvarða. Ef þetta er ekki leiðrétt verður fylgni atriðis við heildartölu of há.
hægri er skoðaður (Cronbach s Alpha if Item Deleted) sést að áreiðanleiki allra staðhæfinganna (atriðanna) tíu breytist lítið þó einstök atriði séu fjarlægð úr kvarðanum. Þegar fylgni atriðis við heildartölu kvarða er lægri en 0,30 í atriðagreiningu er yfirleitt ástæða til að skoða hvort fjarlægja á atriði úr kvarðanum. Lág fylgni atriðis við heildartölu kvarða bendir til þess að atriðið eigi lítið sameiginlegt með öðrum atriðum í kvarðanum. Þetta er þó ekki algilt. Dæmi um það væri atriðasafn til að meta þroska barna á breiðu aldursbili. Við þær aðstæður er ekki við því að búast að öll atriði hafi háa fylgni við heildartölu á öllum aldursbilum. Eigi að síður getur verið réttlætanlegt og stundum nauðsyn að hafa slík atriði í þroskakvarða. Þegar hakað er við samantekt tölfræði fyrir atriði (Summaries) í glugganum til vinstri á mynd 3.2 breytist framsetning á alfastuðli (sjá mynd 3.5). Í stað eins stuðuls eru komnir tveir. Og þeir eru sjaldan nákvæmlega eins. Annar (Cronbach s Alpha) er eins og áður en nýr hefur bæst við (Cronbach s Alpha Based on Standardized Items). Skýringin á þessu byggist á smávægilegum mun á forsendum við útreikninga á alfastuðli. Gengið er út frá viðbótarforsendu við útreikning á staðlaðri útgáfu alfastuðuls. Fyrri stuðullinn er yfirleitt birtur í ritsmíðum (Cronbach s Alpha). Reliability Statistics Cronbach's Alpha Based on Cronbach's Alpha Standardized Items N of Items,881,880 10 Mynd 3.5. Tvær tegundir alfastuðuls í niðurstöðuskrá.
Item-Total Statistics Scale Mean if Item Deleted Scale Variance if Item Deleted Corrected Item-Total Correlation Cronbach's Alpha if Item Deleted nr4 11,257 21,390,717,861 nr14 10,801 24,120,572,873 nr15 10,875 24,719,423,882 nr25 11,799 23,029,580,872 nr27 11,185 21,083,737,859 nr35 11,455 23,330 Reliability Statistics,559,873 nr45 11,970 23,394,602,870 Cronbach's Alpha Part 1 Value nr55 11,036 22,832,618,869 N of Items nr65 10,896 23,246,631,868 Part 2 Value nr75 11,298 21,833,651,866 N of Items Total N of Items Mynd Correlation 3.4. Between Tengsl Forms atriða við heildartölu kvarða í niðurstöðuskrá. Spearman-Brown Coefficient Guttman Split-Half Coefficient Equal Length Unequal Length,775 5,778 5 10,828,906,906,906 Mynd 3.6. Helmingunaráreiðanleiki í niðurstöðuskrá. Helmingunaráreiðanleiki Þegar helmingunaráreiðanleiki er reiknaður er atriðum prófs skipt í tvo helminga eftir ákveðinni reglu og fylgni reiknuð milli prófhelminga. Ein regla til að skipta atriðum prófs í helminga er að setja öll oddatöluatriði saman og öll atriði auðkennd með jöfnum tölum saman.vinsældir helmingunaráreiðanleika helgast fyrst og fremst af því að fyrir almenna notkun tölva var fljótlegra að reikna hann en aðra tegundir áreiðanleikastuðla. Samfara almennri notkun tölva og forrita eins og SPSS er mun algengara að alfastuðull sé notaður. Enda má túlka alfastuðul sem meðaltal allra mögulegra helmingunaráreiðanleikastuðla. Samband er á milli áreiðanleika prófs og fjölda atriða í prófi. Almennt á við að því lengra sem prófið er þeim mun áreiðanlegra er það. Þegar helmingunaráreiðanleiki er reiknaður er fjöldi atriða helmingi minni en í prófinu í heild. Því þarf að leiðrétta helmingunaráreiðanleika þannig að hann endurspegli áreiðanleika prófs í fullri lengd. Þetta er gert með Spearman-Brown formúlu (sjá umfjöllun framar í kaflanum). Aðferðin við að reikna helmingunaráreiðanleika í SPSS er sú sama og þegar alfastuðull er reiknaður ( Analyze Scale Reliability). Breytur eru færðar á milli breytuhólfa, Split-half valinn í flettivalseðli og smellt á OK hnappinn. Þá birtist taflan á mynd 3.6 í niðurstöðuskrá. Í töflunni kemur fram að alfastuðull fyrir annan helming atriða (Part 1 Value) er 0,775 (reiknaður eins og kynnt var hér að framan en fimm fyrstu atriði flutt á milli
breytuhólfa) en 0,778 fyrir hinn (Part 2 Value). Þessir stuðlar verða lægri en alfastuðull fyrir öll atriðin (samtals tíu) þar sem tengsl eru á milli fjölda atriða og alfastuðuls. Notagildi þessara stuðla er ekki mikið en þeir gefa þó til kynna hversu einsleit atriði eru í hvorum helmingi. Í töflunni á mynd 3.6 er lítill munur þar á. Þess vegna er ekki ástæða til að hafa miklar áhyggjur af skiptingu atriðanna í helminga í þessu sýnishorni. Pearson fylgni á milli helminga (Correlation Between Forms) er 0,828. Í töflunni kemur einnig fram að það eru fimm atriði í hvorum helmingi (N of Items). Þegar Spearman-Brown formúlan hefur verið notuð til að leiðrétta fylgni milli helminga kemur fram að áreiðanleiki er 0,906 (Spearman-Brown Coefficient Equal Length). Þegar heildarfjöldi atriða er oddatala er ekki hægt að hafa sama fjölda atriða í báðum helmingum. Í slíkum tilvikum er neðri talan (Unequal Length) notuð. Þegar sami fjöldi atriða er í báðum helmingum eru þessar tölur eins. Neðst í töflunni er aðferð Guttman notuð til að reikna helmingunaráreiðanleika (Guttman Split-Half Coefficient). Þessi stuðull er yfirleitt ekki birtur í ritsmíðum en þegar það er gert er tekið fram að um Guttman helmingunaráreiðanleika sé að ræða. Þegar helmingunaráreiðanleiki er reiknaður í SPSS er fyrsti helmingur atriða í kvarða (til dæmis 1. 5. atriði í tíu atriða kvarða) sett saman en hin í annan helming (til dæmis 6. 10. atriði í tíu atriða kvarða). Þegar atriðum er raðað í helminga með öðrum hætti (t.d. oddatöluatriði sett saman í einn helming og önnur atriði í annan helming) er líklegt að helmingunaráreiðanleiki verði önnur tala. Það er meðal annars af þessari ástæðu sem alfastuðull er oftar gefinn upp í rannsóknum þar sem hægt er að túlka hann sem meðaltal allra hugsanlegra helmingunaráreiðanleikastuðla. Þegar stöðluð matstæki eru notuð í rannsóknum þar sem áreiðanleikastuðull liggur fyrir í handbók með matstækinu er eigi að síður ástæða til að gefa upp áreiðanleikastuðul fyrir matstækið í því gagnasafni sem er notað í rannsókninni. Þetta stafar af því að áreiðanleikastuðlar eru tengdir gögnum sem eru notuð til að reikna þessa stuðla. Áreiðanleikastuðlar eru ekki hluti af innbyggðum eiginleika matstækis. Ef áhugi er fyrir því að skipta atriðum með öðrum hætti en sjálfgefið er í SPSS er hægt að fara tvær leiðir til þess. Í fyrsta lagi er hægt að færa atriði á milli breytuhólfa eftir tiltekinni reglu þar sem tekið er mið af því að hvernig helmingunaráreiðanleikastuðull er reiknaður í SPSS (fyrri helmingur myndaður með því að setja fyrstu atriði saman í helming). Hin leiðin er að nota skipanaskrá til þess. 10 Ef áhugi er til dæmis fyrir því að reikna helmingunaráreiðanleika tíu atriða þar sem oddatöluatriði mynda annan helming og önnur atriði (jafnar tölur) mynda hinn helminginn er byrjað á því að færa oddatöluatriði (nr. 1, 3, 5, 7, og 9) á milli breytuhólfa en síðan hin atriðin (nr. 2, 4, 6, 8 og 10). Þegar þetta er gert fyrir sömu atriði og áður birtist taflan á mynd 3.7. Niðurstaðan er svipuð og áður en ekki eins. Niðurstaðan er svipuð vegna þess að Reliability Statistics Cronbach's Alpha Part 1 Value,792 N of Items 5 Part 2 Value,761 N of Items 5 Total N of Items 10 Correlation Between Forms,827 10 Þá er Spearman-Brown búin til heildartala Coefficient fyrir hvorn Equal helming Lengthfyrir sig, Pearson fylgni reiknuð á milli heildartalnanna,905 og Spearman-Brown formúlan notuð til að Unequal reikna helmingunaráreiðanleika. Length,905 Guttman Split-Half Coefficient,905 Mynd 3.7. Helmingunaráreiðanleiki í niðurstöðuskrá.
atriðin tíu eru einsleit. Þegar þannig hagar ekki til getur munað nokkru eftir því hvernig atriðum er raðað í helminga. Eins getur svarmynstur (t.d. að öftustu atriðum í kunnáttuprófi er ekki svarað) haft áhrif á helmingunaráreiðanleika. Í töflunni á mynd 3.7 er helmingunaráreiðanleiki 0,905 (Equal Length). 11 Alfastuðull fyrir fimm oddatöluatriði er 0,792 (í stað 0,775 áður) og 0,761 fyrir hin atriðin fimm (í stað 0,778 áður). Samkvæmni í mati Þegar tveir eða fleiri matsmenn eru fengnir til að meta sömu einstaklingana með tilliti til einhverra eiginleika er gagnlegt að reikna einn stuðul sem lýsir því hversu gott samræmi er í mati þeirra. Dæmi um þetta eru fjórir kennarar sem meta sömu prófúrlausnir 10 nemenda. Hér er spurt hversu mikið samræmi er í einkunnagjöf kennaranna. Annað dæmi væri að skoða samræmi í mati nokkurra dómara sem gefa stig á tilteknum kvarða fyrir frammistöðu í fimleikum. Þriðja dæmið væri að skoða samræmi milli tveggja eða fleiri sem meta sömu hegðun út frá tilteknum viðmiðum. Í félagsvísindum er hægt að tína til mörg dæmi af þessum toga. Þrír stuðlar eru einkum notaðir til að lýsa samkvæmni eða samræmi á milli matsmanna: (a) Kendall W, (b) Kappastuðull Cohens, og (c) Intraclass correlation coefficient (ICC). Það fer síðan eftir því á hvaða formi gögnin eru hvaða stuðull er notaður hverju sinni. Þegar meta á samkvæmni í mati á tveimur raðkvörðum (ordinal scale) er Kendall W notaður. Stuðullinn tekur gildi á bilinu 0,0 (ekkert samræmi) til 1,0 (fullkomið samræmi). Kappastuðull Cohens er notaður þegar meta á samkvæmni í mati á flokkaeða nafnakvörðum (nominal scale). ICC stuðullinn (Intraclass correlation coefficient) er svipaður hefðbundnum áreiðanleikastuðlum að því leyti að hann gefur til kynna stöðugleika og tekur gildi á bilinu 0,0 til 1,0. Mismunandi aðferðir eru notaðar við að reikna þennan stuðull eftir rannsóknaraðstæðum hverju sinni. Almennt á við að stuðulinn er hægt að nota þegar meta á samkvæmni nokkurra matsmanna á samfelldum kvarða. Þessi leið er farin í valrönd þegar Kappastuðull er reiknaður: Analyze Descriptive Statistics Crosstabs. Þegar þetta er gert birtist gluggi þar sem viðeigandi breytum er komið fyrir. Smellt er á Statistics hnappinn og hakað við reitinn Kappa. Síðan er smellt á Continue og OK hnappinn. Hægt er fara tvær leiðir til að reikna Kendall W. Önnur er sú sama og þegar áreiðanleikastuðlar eru reiknaðir ( Analyze Scale Reliability). Smellt er á Statistics hnappinn og hakað við Friedman chi-square undir fyrirsögninni ANOVA Table. Hin leiðin er þessi: Analyze Nonparametric Statistics K Related Samples. Þegar reikna á ICC (Intraclass correlation coefficient) er byrjað á því að fara sömu leið og þegar áreiðanleikastuðlar eru reiknaðir: Analyze Scale Reliability. Í glugganum sem birtist er hakað í reitinn Intraclass correlation coefficient. Fyrir neðan þennan reit eru tveir flettivalseðlar. Í öðrum þeirra (Model) er viðeigandi aðferð valin til að reikna stuðulinn en í hinum (Type) er stuðullinn skilgreindur. Ef nota á ICC til að meta samkvæmni milli matsmanna verður notandinn að átta sig á þeim mun sem er 11 Aðferð Guttman við að reikna helmingunaráreiðanleika gefur sömu niðurstöðu eða 0,905.
á mismunandi aðferðum við útreikning hans. Ágætt umfjöllun um þetta efni er í Shrout og Fleiss (1979). 12 12 Shrout, P.E. og Fleiss, J.L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86 (2), 420-428.
3. VERKEFNI ÁREIÐANLEIKI GAGNASKRÁ. Í þessu verkefni er gagnaskráin 3. verkefni notuð. Skráin er á þjónustusíðu námskeiðsins (www.hi.is). Í henni eru 27 breytur (a1 til a27). Atriðin eru úr hæfnisprófi fyrir börn. Þegar gagnaskráin hefur verið skoðuð og leiðrétt (ef þörf er á því) á að vista gagnaskrána þannig að ekki sé hægt að gera breytingar á henni. Síðan er tekið afrit af gagnaskránni og unnið í því áfram. LÝSING Á VERKEFNI. Tilgangur þessa verkefnis er þjálfun í að reikna og túlka áreiðanleikastuðla. Notuð eru 27 atriði (a1 til a27) úr hæfnisprófi fyrir börn til að reikna mismunandi áreiðanleikastuðla og athuga samband þeirra við fjölda atriða. Verkefnið er í þremur liðum. Í A. hluta eru notaðar mismunandi aðferðir til að reikna helmingunaráreiðanleika. Í B. hluta er staðalvilla mælinga (standard error of measurement) og vikmörk reiknuð á grundvelli áreiðanleikastuðla. Síðan er áreiðanleikastuðull áætlaður ef atriðum er fækkað um helming. Þar er Spearman-Brown formúlan notuð. Í C. hluta er alfastuðull (alpha coefficient) reiknaður og skoðað samband á milli alfastuðuls og fjölda atriða í prófi. VINNA Í VERKEFNINU. Mikilvægt er að verkefnið hafi verið unnið áður en mætt er í verklegan tíma.
A. Helmingunaráreiðanleiki 1. Farið þessa leið í gagnasniði (Data View) til að fá yfirlit breyta í gagnaskránni: File Display Data File Information Working File Skoðið gagnaskrána (t.d. með Frequncies skipuninni) og undirbúið tölfræðiúrvinnslu með sama hætti og gert var í A. hluta 1. og 2. verkefnis. 2. Hver er helmingunaráreiðanleiki (split-half reliability) atriðanna 27 í gagnaskránni? 3. Farið þessa leið í valrönd: Analyze Scale Reliability Breytur eru færðar á milli breytuhólfa og Split-half stuðullinn valinn í flettivalseðli. Síðan er smellt á hnappinn Statistics og hakað við Item, Scale, og Scale if item deleted. Loks er smellt á OK hnappinn. Þá birtast töflur í niðurstöðuskrá. Hver er alfastuðull fyrir hvorn helming fyrir sig? Hvað segir alfastuðull fyrir hvorn helming um einsleitni atriðanna? Hver er helmingunaráreiðanleiki atriðanna? 4. Skoðið hvernig atriðum er skipt í helminga. Í neðanmálsgrein með töflu í niðurstöðuskrá (taflan Scale Statistics) kemur fram hvernig atriðum er skipt í helminga. Það fer eftir stillingum í forritinu hvaða atriði lenda í hvorum helming fyrir sig. SPSS notar alltaf sömu aðferð við skiptingu atriða í helminga. Fyrstu atriði fara í annan helming en atriði sem koma þar á eftir fara í hinn helminginn. 5. Ef breytum í úrvinnslugluggum er raðað eftir röð þeirra í gagnaskrá (stillingin File þegar þessi leið er farin í valrönd: Edit Options Smellt á File í flipanum General) fara atriði a1 til a14 í fyrri helming en atriði a15 til a27 í hinn helminginn. Breytið röð atriðanna í úrvinnslugluggum og reiknið helmingunaráreiðanleika að nýju. Farið þessa leið í valrönd til að breyta röð breyta í úrvinnslugluggum: Edit Options. Helmingunaráreiðanleiki verður ekki sá sami. Hvaða ályktun má draga af því? 6. Reiknið helmingunaráreiðanleika að nýju. Hafið oddatöluatriði (a1, a3, a5 o.s.frv) í öðrum helming en atriði með jöfnum tölum (a2, a4, a6 o.s.frv.) í hinum helmingnum. Hver er helmingunaráreiðanleiki þegar atriðunum er skipt með þessum hætti? 7. Hægt er að fara tvær leiðir til að gera þetta. Farið báðar leiðirnar. Fyrri leiðin felst í því að nota skipanaskrá. Fyrst eru tvær heildartölur búnar til úr hvorum helming fyrir sig og síðan er reiknuð fylgni milli heildartalnanna. Fylgnin er síðan leiðrétt með Spearman- Brown formúlunni. Síðari leiðin er kynnt hér á eftir. 8. Byrjið á því að opna skipanaskrá (Syntax). Þegar þangað er komið eru eftirfarandi skipanir skrifaðar: COMPUTE heild1=a1+a3+a5+a7+a9+a11+a13+a15+a17+a19+a21+a23+a25+a27. COMPUTE heild2=a2+a4+a6+a8+a10+a12+a14+a16+a18+a20+a22+a24+a26. Framkvæmið þessar skipanir. Nú eiga tvær nýjar breytur, heild1 og heild2, að vera komnar í gagna- og breytusnið. Til að reikna fylgni á milli þeirra er þessi leið farin: Analyze Correlate Bivariate
Flytjið breyturnar heild1 og heild2 í breytuhólfið og smellið á OK hnappinn. Fylgnin birtist í niðurstöðuskrá. Leiðréttið fylgnina með Spearman-Brown formúlunni. Hver er helmingunaráreiðanleikinn? 9. Reiknið nú helmingunaráreiðanleikann í gegnum valseðla forritsins. Farið þessa leið í valrönd: Analyze Scale Reliability Færið oddatöluatriði fyrst yfir í breytuhólfið (a1, a3, a5, a7 o.s.frv.) og síðan atriði með jöfnum tölum (a2, a4, a6, a8 o.s.frv.). Smellið á OK hnappinn og berið niðurstöður í niðurstöðuskrá saman við niðurstöður ykkar í 7. lið. Er fylgni milli helminga sú sama með aðferðunum tveimur? Er helmingunaráreiðanleiki sá sami með báðum aðferðum?
B. Staðalvilla og vikmörk 1. Í inngangi að 3. verkefni hér á undan eru gefnar formúlur til að reikna staðalvillu mælinga, vikmörk og áætla áreiðanleika með Spearman-Brown formúlunni. Notið þessar formúlur og vasareikni til að svara eftirfarandi þremur spurningum. Heildartala prófsins er reiknuð eins og í A. hluta hér á undan en öll atriði notuð að þessu sinni. Vistið skrána þegar heildartalan hefur verið reiknuð. 2. Hver er staðalvilla mælinga (standard error of measurement) heildartölu prófsins? Notið helmingunaráreiðanleikastuðull sem fékkst þegar annar helmingur prófs var myndaður úr oddatöluatriðum en hinn úr atriðum með jöfnum tölum. 3. Hver eru 68% og 95% vikmörk um heildartölu prófsins? Til að reikna 95% vikmörk er staðalvilla mælinga margfölduð með z-gildinu 1,96. Hvers vegna er 1,96 notað til að finna 95% vikmörk? 4. Hver verður áætlaður áreiðanleikastuðull ef atriðum er fækkað um helming í prófinu? Notið Spearman-Brown formúlu.
C. Alfastuðull og fjöldi atriða 1. Hver er alfastuðull (alpha coefficient) atriðanna 27? Sama leið er farin í SPSS forritinu til að reikna helmingunaráreiðanleika (split-half) og alfastuðul (alpha coefficient). Þið veljið einfaldlega Alpha í valmynd í stað Split-half. Hvers vegna er helmingunaráreiðanleiki og alfastuðull ekki eins? 2. Reiknið alfastuðul fyrir 2 atriði (a1 og a2), 3 atriði (a1, a2 og a3), 4 atriði (a1, a2, a3, a4) o.s.frv. Útbúið töflu og mynd þar sem fram kemur samband fjölda atriða og áreiðanleikastuðuls. Túlkið niðurstöðurnar. 3. Hér er ekkert nýtt á ferðinni. Alfastuðull er reiknaður í forritinu eins og áður. Byrjað er með 2 atriði, síðan 3, þá 4 o.s.frv. Niðurstöðurnar eru skráðar í töfluna á næstu síðu. Þegar taflan hefur verið fyllt er gert myndrit af sambandi áreiðanleika og fjölda atriða. Fjöldi atriða er á X-ás og alfastuðull á Y-ás. Þetta er hægt að gera í Excel eða SPSS. 13 4. Hvað er hægt að segja um sambandið milli atriðafjölda og alfastuðuls út frá myndritinu? Fjöldi atriða 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Alfastuðull 13 Athugið að slá verður þessi gögn inn í Excel eða SPSS til búa til mynd.