CONSISTENŢA INTERNĂ A UNUI INSTRUMENT. O DECIZIE DIFICILĂ.

CONSISTENŢA INTERNĂ A UNUI INSTRUMENT. O DECIZIE DIFICILĂ. George Marian URSACHI Universitatea Alexandru Ioan Cuza din Iaşi Iaşi, România ursachi83@yahoo.com Ioana Alexandra URSACHI căs. HORODNIC Universitatea Alexandru Ioan Cuza din Iaşi Iaşi, România ursachi_ioana_alexandra@yahoo.com Abstract Research instruments must simultaneously fulfill two conditions: to be valid and to be reliable. If validity is more difficult to obtain and demonstrate, for reliability there were developed a series of estimators that provide guidance on the level of internal consistency of the instrument. Among these, one of the most used is Cronbach's Alpha. In practice, however, is difficult to make comparisons between different values of Alpha, primarily due to differences between samples and secondly because, since we know nothing about the distribution of the estimator we can not say anything about the importance of differences between two or more values, whether these differences are significant. This paper proposes and applies a possible way to overcome these difficulties, using the GAUSS programming language that allows simulation of a large number of samples from the original sample. The results show that with this technique we can approximate with greater precision the real value of the estimator among the population and we can express significance of the differences between two or more values of the estimator. Keywords Reliability, Internal consistency, Cronbach's Alpha, Simulation. 1. INTRODUCERE Toate tipurile de cercetări se folosesc în demersurile lor de instrumente de cercetare. Pentru a furniza informaţii folositoare acestea trebuie să îndeplinească simultan două condiţii esenţiale: să fie valide şi să fie de încredere. 1.1. Validitatea unui instrument Validitatea descrie în ce măsură un instrument măsoară cu adevărat ceea ce îşi propune să măsoare. Există două mari tipuri de validitate: internă şi externă. Validitatea externă se referă la capacitatea aplicării cu încredere a rezultatelor studiului în cazul altor persoane şi situaţii şi la asigurarea faptului că 482

acele condiţii sub care studiul a fost desfăşurat sunt reprezentative situaţiei şi perioadei de timp la care se aplică rezultatele [1]. Validitatea internă este analizată prin prisma a trei abordări: validitate de conţinut, validitatea criteriilor şi validitatea constructului. Validitatea de conţinut reprezintă cel mai slab nivel al validităţii şi se adresează relevanţei şi reprezentativităţii itemilor. Validitatea de criteriu este cea mai puternică formă de validitate şi se stabileşte atunci când instrumentul poate fi comparat cu alte măsurări validate ale aceluiaşi fenomen. Validitatea constructului implică demonstrarea relaţiei dintre conceptul studiat şi constructul sau teoria relevantă. 1.2. Încrederea unui instrument Încrederea este legată de calitatea măsurătorilor şi are, în practica uzuală sensul de consistenţă sau repetabilitate a măsurătorilor. Încrederea nu poate fi calculată cu exactitate ci doar estimată. Din acest motiv au apărut de-a lungul timpului mai multe tipuri de încredere, fiecare cu o varietate de modalităţi de estimare a nivelului de încredere. Există patru mari tipuri de estimatori de încredere, fiecare estimând încrederea în moduri diferite. Încrederea Inter-Rater sau Inter-Observator - folosită pentru a desemna gradul în care diferiţi observatori oferă estimări similare ale aceluiaşi fenomen; Încrederea test-retest - folosită pentru a arăta consistenţa unei măsurători în două momente diferite de timp; Încrederea test paralel - folosită pentru a arăta consistenţa rezultatelor a două teste construite în aceiaşi manieră şi din acelaşi domeniu; Consistenţa internă - folosită pentru a arăta consistenţa rezultatelor între itemii ce alcătuiesc un test. În cazul consistenţei interne se foloseşte un singur instrument de măsură, administrat unui singur grup de oameni, cu o singură ocazie. În fapt se estimează încrederea instrumentului estimând cât de mult itemii care vizează acelaşi construct obţin rezultate similare. Se studiază consistenţa rezultatelor pentru itemi diferiţi ai aceluiaţi construct, în timpul măsurării. Există un număr larg de metode de a estima consistenţa internă, dintre care ne vom opri asupra a două dintre ele, cu cea mai mare relevanţă pentru lucrarea propusă. Testul split-half În cadrul acestui test se împart aleator toţi itemii ce măsoară acelaşi construct în două grupe. Se calculează scorurile pentru fiecare jumătate, iar estimatorul split-halt est rezultatul corelaţiei dintre cele două scoruri totale. Cronbach s Alpha 483

Cronbach s Alpha este practic echivalentul matematic al mediei tuturor valorilor estimatorului split-half posibile, pentru toate combinaţiile de diviziuni posibile. Metodele de estimare a încrederii instrumentelor de măsurare au însă şi unele limite. De exemplu calcularea încrederii prin metoda test-retest poate fi supusă unei erori dacă respondenţii au mai fost testaţi anterior. Mai mult, evenimentele ce au intervenit între cele două momente de administrare pot influenţa apariţia unor răspunsuri diferite şi să contribuie la o validitate externă eronată [1]. 2. CRONBACH S ALPHA Introdus pentru prima dată în 1937 de Kuder şi Richardson, pentru scale dihotomice şi generalizat în 1951 de Cronbach, estimatorul Cronbach s Alpha a fost şi este unul din cei mai folosiţi estimatori. În ultimul timp însă cercetătorii devin din ce în ce mai sceptici cu privire la puterea de estimare a acestui indicator, existând un număr în creştere de studii care îşi dovedesc relevanţa şi corespondenţa cu realitatea, dar care obţin un nivel destul de scăzut al estimatorilor de încredere pentru instrumentele folosite. Cronbach s Alpha este pus sub semnul întrebării de mulţi ani, modul de interpretare a rezultatelor sale şi utilizarea excesivă pentru a verifica încrederea unui instrument de cercetare fiind subiecte de îndelungi dezbateri şi controverse. Dacă iniţial erau considerate de încredere instrumentele ce obţineau un scor de minim 0.70, o serie de autori asemeni lui Bernardi [2] în 1994 vin să ne valideze ca fiind de încredere şi cercetări cu valoarea lui Alpha mai mica de 0.70. Alţii precum Iacobucci şi Duhachek [3] sunt mai precauţi în interpretarea rezultatului şi ne sugerează să luam în calcul probabilitatea coeficientului Alpha şi să considerăm acest coeficient ca făcând parte din intervalul său de încredere, nu ca valoare fixă. Astfel, dacă intervalul coboară prea jos, este posibil ca instrumentul să nu prezinte un grad ridicat de încredere, chiar dacă valoarea estimatorului său este peste 0.70 de exemplu. În caz invers, chiar dacă valoare lui Alpha este sub 0.70, intervalul său de încredere poate trece de acest prag, deci Alpha s-ar putea afla în acea zonă şi instrumentul să fie valid, caz care ar explica şi demonstraţii de genul celei făcute de Bernardi [2]. O serie de alţi autori precum Christmann şi Van Aelst [4] încearcă să îmbunătaţească puterea estimatorului Cronbach s Alpha prin eliminarea sensibilităţii acestuia faţă de unii factori perturbatori (outlieri în acest caz). Prin aceste modificări cei doi creează un estimator mai precis, care va estima nivelul de încredere al majorităţii datelor obţinute, eliminând datele cu alte surse. Alţii precum Tarkkonen, Puntanen si Vehkalahti [5] merg mai departe, construind un estimator mai puternic, cu o arie de acoperire mai largă, pentru care Cronbach s Alpha este doar un caz particular, unidimensional. Puterea de estimare a acestui nou estimator este mult mai mare, deoarece depăşeşte problemele de particularitate pe care Cronbach s Alpha le are şi trebuie să le îndeplineacă. 484

În ultimii ani numeroşi autori se centrează pe ridicarea valorii estimatorului Alpha prin manevrarea unor factori interni cum ar fi numărul de itemi, numărul de constructe, felul scalei, formativă sau reflectivă etc. 3. MODEL PROPUS După cum se poate uşor observa din preocuparile autorilor citaţi mai sus, multe din problemele ridicate ar putea fi rezolvate dacă s-ar cunoaşte distribuţia acestui estimator. Acest lucru este însa imposibil de realizat pentru populaţia vizată din moment ce se analizează doar un eşantion. Pentru o posibilă rezolvare a unora dintre probleme, în cadrul acestei lucrări propunem o simulare a distribuţiei estimatorului, cu ajutorul limbajului de programare GAUSS şi pornind de la un eşantion pe care il considerăm reprezentativ pentru populaţia vizată. Pentru a putea exemplifica utilitatea şi modul de lucru al programului propus, în cadrul lucrării de faţă am folosit o bază de date standard, din cadrul exemplelor incluse în pachetul SPSS. Această bază de date conţine notele acordate de un număr de 8 arbitri unui eşantion de 300 de indivizi. Pentru a uşura înţelegerea algoritmului şi scrierea acestuia am folosit doar 3 variabile (notele a 3 arbitri). În acest fel am obţinut o bază de date cu 3 variabile, pentru un număr de 300 de indivizi. Programul a fost scris astfel încât să poată fi utilizat pentru documente excel. Din acest motiv, prima acţiune pe care o execută este de a traduce fişierele excel în fişiere utilizate de programul GAUSS, care sunt salvate, pentru a se lucra în continuare pe ele. În următoarea etapa este calculată valoarea estimatorului Cronbach pentru eşantionul dat. Mai departe urmează partea de noutate adusă de program şi anume partea de Bootstrap pentru aflarea unei distribuţii aproximative a estimatorului Cronbach s Alpha. Bootsrap-ul, introdus în 1979 de Efron este un procedeu bazat pe simularea de tip Monte Carlo şi este folosit în general pentru testarea ipotezelor privind distribuţiile unor indicatori, pentru obţinerea de intervale de încredere, pentru estimarea erorilor standard sau pentru diminuarea erorilor [6]. Bootstrap-ul presupune extragerea de eşantioane pornind de la eşantionul iniţial, presupus reprezentativ. Astfel, în cazul de faţă, se realizează 1000 de extrageri din eşantionul reprezentativ şi în acest mod procedeul ne oferă informaţii echivalente cu cazul în care ar fi extrase 1000 de eşantioane din populaţia studiată. Astfel obţinem o distribuţie a estimatorului, distribuţie cu ajutorul căreia putem să ne pronunţăm în ceea ce priveşte diferenţele dintre două valori ale estimatorului pentru eşantioane diferite, putem determina probabilitatea ca valoarea estimatorului să se afle peste sau sub o anumită valoare. Se calculează şi eroarea standard, quantilele 5% şi 95%, media tuturor celor 1000 de valori ale estimatorului şi probabilitatea ca valoarea estimatorului să se afle peste o anumită valoare (in acest caz am ales 0.85, dar poate fi aleasă orice valoare). Rezultatele pe care ni le furnizează programul şi output-ul cu frecvenţa, care ne oferă o imagine asupra distribuţiei sunt următoarele: 485

Point Estimate or Original Crombachs Alpha: 0.88533551 Bootstrapped Standard Error: 0.012537096 5% Quantile: 0.86354381 95% Quantile: 0.90473000 Monte Carlo average 0.88476260 Probability of being above 0.85000000 : 0.99600000 Fig.1. Graficul frecvenţelor pentru estimatorul Cronbach s Alpha Astfel, valoarea estimatorului Cronbach pentru eşantionul analizat este 0.88533551, valoare verificată şi cu ajutorul programului SPSS, unde am obţinut 0.8853. Eroarea standard pentru distribuţia obţinută este 0.012537096, valoare care poate fi folosită pentru diverse teste. Având valorile quantilelor 5% şi 95%, putem afirma că 90% din valorile estimatorului analizat se vor încadra în intervalul 0.86354381 0.90473000. Media tuturor celor 1000 de valori ale estimatorului este 0.88476260, foarte apropiată de valoarea calculată pentru eşantionul iniţial, considerat reprezentativ. Probabilitatea ca valoarea estimatorului Cronbach s Alpha pentru instrumentul analizat, pe un eşantion din populaţia analizată să fie mai mare de 0.85 este de 99,6%. Acest rezultat poate fi foarte util în situaţia în care avem două instrumente cu valori ale lui Cronbach s Alpha apropiate şi nu ştim pe care să îl alegem. Rulând acest program pentru ambele instrumente putem determina care are o probabilitate mai mare de a se situa peste o valoare pe care o considerăm noi importantă. 486

În etapa următoare am vrut să determinăm dacă există o diferenţă între valoarea obţinută pentru prima jumatate de eşantion şi valoarea obţinută pentru cea de-a doua jumătate a eşantionului şi dacă această diferenţă este semnificaitivă. Acest tip de demers este foarte util atunci când dorim să aflăm dacă există diferenţe în ceea ce priveşte valoarea estimatorului de încredere între grupuri diferite din cadrul populaţiei (de exemplu între femei şi bărbaţi sau între liceeni şi studenţi) şi dacă aceste diferenţe sunt semnificative. Prima etapă este similară celei descrise mai sus pentru întregul eşantion, însă de data aceasta se realizează pentru fiecare subeşantion în parte. Rezultatele sunt următoarele: -------------------GROUP 1----------------------------- Point Estimate or Original Crombachs Alpha: 0.90330664 Bootstrapped Standard Error: 0.015396301 5% Quantile: 0.87258965 95% Quantile: 0.92273594 Monte Carlo average 0.90147538 -------------------GROUP 2----------------------------- Point Estimate or Original Crombachs Alpha: 0.86402942 Bootstrapped Standard Error: 0.022407484 5% Quantile: 0.81921042 95% Quantile: 0.89846773 Monte Carlo average 0.86184204 Se poate cu uşurinţă observa că, intuitiv, între cele două grupuri există o diferenţă în ceea ce priveşte valoarea estimatorului de încredere, care este 0.90330664 pentru prima jumatate a eşantionului şi 0.86402942. De asemenea există diferenţe şi între media tuturor celor 1000 de valori obţinute în fiecare caz şi între nivelul quantilelor pentru fiecare din cele două subgrupuri. Următorul pas a constat în realizarea unui test T Student, în ambele sale variante, atât cu varianţe egale (Pooled t test) cât şi cu varianţe inegale (Welch t test) pentru a determina dacă cele două valori obţinute există diferenţe semnificative statistic. Rezultatele sunt urmatoarele: Teststatistic using the pooled Variance: 14.446978 Teststatistic using the Welch Test: 14.446978 Întrucât valoarea obţinută, 14.447 este mai mare decât valoarea tabelară de 2.576 (p=0.005), putem afirma cu o probabilitate de 99% că cele două valori diferă semnificativ. Acest rezultat este deosebit de util în situaţia în care ne dorim să aflăm dacă există diferenţe semnificative în ceea ce priveşte valorile estimatorului de încredere între grupuri diferite din cadrul eşantionului. Atunci când ele există putem merge mai departe să cautăm motivele acelor diferenţe. Ultimul pas a fost compararea valorilor estimatorului obţinut în fiecare caz cu o valoare prestabilită, în acest caz 0.9, pentru a determnia dacă există diferenţe 487

statistic semnificative între aceste valori obţinute şi valoarea prestabilită. Rezultatele sunt urmatoarele: Teststatistic whether alpha1 is different from 0.9: 2.1476863 Teststatistic whether alpha2 is different from 0.9: 16.052931 În acest caz putem observa că valoarea testului obţinută pentru primul eşantion, de 2.148 este mai mică decât valoarea teoretică pentru p=0.005, de 2.576, fapt care ne arată că valoarea estimatorului pentru primul eşantion, de 0.90330664 nu este semnificativ diferită de 0.9. Pentru cel de-al doilea subgrup, valoarea testului t obţinută este de 16.053, mai mare decât valoarea teoretică de 2.576, ceea ce reprezintă că valoarea estimatorului pentru acest subgrup, de 0.86402942, este semnificativ diferită de 0.9. Aceste rezultate sunt utile atunci când ne dorim ca instrumentul nostru să se încadreze intre anumite limite ca valoare a estimatorului de încredere şi obţinem valori apropiate de acele limite. Cu ajutorul acestui tip de test putem determina dacă valorile obţinute diferă semnificativ de limita care ne interesează. 4. CONCLUZII Lucrarea de faţă propune un model pentru depăşirea unor obstacole în ceea ce priveşte alegerea, adoptarea sau respingerea unui instrument de cercetare, folosind un limbaj de programare şi tehnici de simulare specifice domeniului Econometriei aplicate în domeniul Marketing. În mod uzual, atunci când se alege un anumit instrument de cercetare se compară nivelul obţinut de estimatorul de încredere Cronbach s Alpha cu un prag standard, în funcţie de precizia dorită (0.7 sau 0.8 sau 0.9). În cazul în care valoarea obţinută este peste acel prag instrumentul este acceptat. Ce ne facem însă atunci când există situaţii la limită? De exemplu dacă pragul este 0.9 şi noi obţinem 0.895. Acest model ne oferă o soluţie, prin posibilitatea determinării semnificativităţii diferenţei dintre cele două valori. Un alt caz il reprezintă două instrumente cu valori apropiate ale lui Cronbach s Alpha. Modelul propus ne permite atât compararea acestor valori cu unele praguri cât şi identificarea probabilităţii fiecăruia din cele două instrumente de a obţine o valoare peste un anumit prag dat, în cadrul populaţiei analizate. O altă utilitate majoră a modelului propus constă în posibilitatea stabilirii existenţei unei diferenţe semnificative între două grupuri diferite din cadrul eşantionului, în ceea ce priveşte valoarea estimatorului Cronbach s Alpha. Acest lucru permite fundamentarea unor decizii ulterioare privind cele două grupuri. Demersuri de acest tip au mai fost făcute şi de Gajewski, Boyle şi Thompson [7] în Medicină, de Neudecker [8] în Statistică şi de Kistner şi Muller [9] în Psihologie, lucrarea de faţă fiind prima care propune un astfel de demers în domeniul Marketing. 488

Acknowledgments This work was supported by the European Social Fund in Romania, under the responsibility of the Managing Authority for the Sectorial Operational Programme for Human Resources Development 2007-2013 [grant POSDRU/88/1.5/S/47646] Referinţe bibliografice [1] Roberts P., Reliability and Validity in research, Nursing Standard, 2006. [2] Bernardi Richard A., Validating research results when Cronbach s is below.70: A methodological procedure, Educational & Psychological Measurement, 1994. [3] Iacobucci Dawn and Duhachek Adam, Advancing Alpha: Measuring Reliability with Confidence, Department of Marketing, Northwestern University, 2003. [4] Christmann A., Robust Estimation of Cronbach s Alpha, University of Dortmund, april 2005. [5] Vehkalahti Kimmo, Puntanen Simo, Tarkkonen Lauri, Estimation of reliability: a better alternative for Cronbach s alpha, Department of Matemetics and Statistics, University of Helsinki, february 2006. [6] Colin Cameron A., Trivedi Pravin K., Microeconometrics, Cambridge University Press, 2005. [7] Gajewski Byron J., Boyle Diane K., Thompson Sarah, How a Bayesian Might Estimate the Distribution on Cronbach s Alpha From Ordinal-Dynamic Scaled Data: A Case Study Measuring Nursing Home Resident Quality of Life, European Journal of Research Methods for Behavioral and Social Sciences, april 2010. [8] Neudecker Heinz, On the Asymptotic Distribution of the Natural Estimator of Cronbach s Alpha with Standardised Variates under Nonnormality, Elipticity and Normality, School of Economics and Business, University of Amsterdam, 2010. [9] Kistner Emily O., Muller Keith E., Exact Distribution of Interclass Correlation and Cronbach s Alpha with Gaussian Data and General Covariance, Psychometrika, sept. 2004. 489