Evaluarea tipurilor de erori intr-un studiu stiintific

Transcription

1 MINISTERUL SANATATII AL REPUBLICII MOLDOVA UNIVERSITATEA DE STAT DE MEDICINA SI FARMACIE NICOLAE TESTEMITANU Catedra Medicina Sociala si Management Sanitar Nicolae Testemitanu «A P R O B» Sef catedra Medicina Sociala si Management Sanitar Nicolae Testemitanu, d.h.s.m., prof. universitar, Dumitru Tintiuc Proces verbal nr.1 din Evaluarea tipurilor de erori intr-un studiu stiintific Nota de curs Chisinau,

2 Autori: Leonid Margine, conferentiar universitar; Andrei Usatii, conferentiar universitar; Elena Raevschi, conferentiar universitar; Diaconu Ana, membru al cercului stiintific; Spinu Dorin, membru al cercului stiintific. Responsabil editor: Dumitru Tintiuc, doctor habilitat in medicina, profesor universitar. Recenzenti: Tudor Grejdeanu, doctor habilitat in medicina, profesor universitar; Constantin Jucovschi, medic-statistician. Aceasta lucrare evidentiaza toate tipurile de erori ce pot fi comise la fiecare din etapele unei cercetari stiintifice. Prin intermediul acestui studiu atentionam toti cercetatorii despre riscurile la care pot fi supusi atat premeditat, cat si nepremeditat in executarea unei cercetari. Luand in considerare rezultatele acestei lucrari persoanele implicate in studiile biostatistice vor avea sansa sa comita mai putine erori, sa proiecteze un studiu stiintific conform normelor didactice si sa obtina rezultate adecvate, concrete si reprezentative. Aceasta recomandare metodica este prevazuta pentru studentii USMF N.Testemiţanu, rezidenti, masteranzi, doctoranzi, cursanti, inclusiv cercetatori implicati in studii stiintifice care nu sunt neaparat din domeniul medical. 2

3 Evaluarea tipurilor de erori intr-un studiu stiintific Cuprins Introducere...(4) Capitolul I. Asigurarea corectitudinii unui studiu stiintific. Particularitati si riscuri...(5) 1.1 Initierea si proiectarea studiului stiintific...(6) 1.2 Observarea statistica...(6) 1.3 Prelucrarea si analiza datelor...(9) 1.4 Calcularea, compararea, interpretarea indicatorilor si prezentarea rezultatelor..(11) Capitolul II. Evaluarea tipurilor de erori intr-un studiu stiintific...(12) 2.1 Evaluarea erorilor proiectarii studiului...(12) 2.2 Evidentierea tipurilor de erori la etapa culegerii datelor... (13) 2.3 Erorile etapei de prelucrare si analiza a datelor statistice...(16) 2.4 Analiza si relevarea erorilor etapei finale a studiului stiintific...(17) Concluzii...(20) Bibliografie...(21) 3

4 Actualitatea temei: INTRODUCERE In orice studiu stiintific, indiferent de tipul si nivelul de dovezi, exista riscul de a comite diferite erori la fiecare din etapele cercetarii. Drept rezultat, adesea fara constientizarea acestui lucru de catre autor, se pot obtine indicatori si concluzii false, irosirea in zadar a energiei, timpului, sanatatii si resurselor financiare. Aceasta lucrare are ca obiectiv descrierea parcurgerii corecte a unui studiu stiintific de la initiere pina la prezentarea rezultatelor cu specificarea particularitatilor si riscurilor de a gresi la fiecare din etapele studiului. Deasemenea, pune in evidenta toate tipurile de erori posibile intr-un studiu stiintific pentru a proteja cercetatorii, si in general domeniul stiintific, de studii si rezultate false. In lucrare vom elucida erorile posibile la toate etapele studiului, in special la cele din prima etapa, deoarece un studiu corect selectat, organizat si planificat evita erorile initiale si contribuie substantial la afisarea unor rezultate reale. Exemplu: constructia unei case este analogic crearii unui studiu. Daca temelia casei este pusa intr-un mod adecvat conform tuturor rigorilor, atunci demararea lucrarilor de constructie vor decurge fara a intalni dificultati si rezultatul va fi cu certitudine unul de incredere. In cazul in care in cadrul lucrarilor de planificare si constructie sunt comise anumite greseli atunci rezulatul, nu asigura increderea si siguranta acestor lucrari. Scopul: Evaluarea tuturor tipurilor de erori intru asigurarea corectitudinii unui studiu stiintific si evitarea obtinerii indicatorilor falsi si formarea concluziilor gresite. Obiective 1. Evidentierea particularitatilor si riscurilor de a gresi la fiecare etapa a studiului stiintific; 2. Evaluarea erorilor proiectarii studiului culegerii datelor prelucrarii si analizei datelor statistice compararii, interpretarii si prezentarii rezultatelor studiului Materiale si metode : Materialele didactice utilizate sunt sursele bibliografice, in special suporturi de curs, programe analitice in biostatistica si metodologia studiilor stiintifice. Metodele : 1. analitica metoda de prezentare si exemplificare a riscurilor si tuturor erorilor studiului stiintific; 2. biostatistica metoda care permite analiza fenomenelor medico-sociale, criteriilor si metodelor de selectie a esantionului de studiu; 3. istorica folosirea surselor bibliografice in timp cu exemple de erori comise si rezultate false a studiilor; 4. matematica folosirea formulelor matematice in evidentierea si calcularea limitelor admisibile/neadmisibile a indicatorilor statistici. 4

5 Importanta stiintifica: Prezentul studiu scoate in evidenta particularitatile fiecarei etape a unei cercetari stiintifice, toate tipurile de erori ce pot fi comise in cadrul diferitor studii stiintifice. Prin intermediul acestui studiu atentionam toti cercetatorii despre riscurile la care pot fi supusi atat premeditat, cat si nepremeditat in executarea unui studiu. Luand in considerare rezultatele acestei lucrari persoanele implicate in studiile biostatistice vor avea sansa sa comita mai putine erori, sa proiecteze un studiu stiintific conform normelor didactice si sa obtina rezultate adecvate, concrete si reprezentative. Valoarea aplicativa: Continutul acestui studiu va avea aspect de recomandare metodica pentru toti cei care sunt initiati in studii biostatistice, studentii USMF N.Testemiţanu, rezidenti, masteranzi, doctoranzi, cursanti, inclusiv cercetatori implicati in studii stiintifice care nu sunt neaparat din domeniul medical. Totodata, studiul curent va avea aspect si de nota de curs pentru studentii de la medicina care studiaza Biostatistica si Metodologia cercatarii stiintifice. Continutul acestui studiu va fi plasat pe site-ul catedrei Medicina Sociala si Managament Sanitar Nicolae Testemitanu si va fi utilizat in cadrul prelegerilor, seminarelor si lucrarilor practice. Cuvinte cheie: erori, cercetare stiintifica, unitate statistica, totalitate statistica, esantion, ipoteza, eroare standart, erori de tip I, erori de tip II. CAPITOLUL I ASIGURAREA CORECTITUDINII UNUI STUDIU STIINTIFIC. PARTICULARITATI SI RISCURI Cercetarea ştiinţifică este definită ca investigaţie, studiu, în vederea descoperirii şi punerii în evidenţă a noi cunoştinţe (legitati, fenomene, procese etc.) şi posibilitatea de verificare a acestora. Noţiunea de cercetare, de regulă, este corelată cu noţiunea de ştiinţă, deoarece ştiinţa nu se realizează în afara cercetării. Cercetarea reprezintă una din funcţiile ştiinţei, a doua funcţie fiind interpretarea. Pentru cercetare aspectele definitorii sunt investigarea realităţii concrete, în mod sistematic şi pe baza observaţiei şi experimentului, urmărind descrierea calitativă de ordin logic, cât şi înregistrarea cantitativă de ordin matematic. Etapele unui studiu sunt urmatoarele: 1. Initierea si proiectarea studiului stiintic; 2. Observarea statistica (culegerea datelor); 3. Prelucrarea si analiza datelor; 4. Calcularea indicatorilor, compararea, interpretarea şi prezentarea rezultatelor studiului. [5, 6, 8, 9] 5

6 1.1 Initierea si proiectarea studiului stiintific Etapa initiala a unui studiu studiu stiintific consta din lansarea unei ipoteze stiintifice a temei de cercetat a carei abordare presupune o cunoastere prealabila a domeniului privind rezultatele asteptate si notiunile controversate, aceasta fiind fondul problemei. Ipoteza de studiu se formulează la începutul cercetării în urma observaţiilor personale şi a documentatiei de specialitate. Ipotezele investigate, cele statistice, cit si cele stiintifice trebuie prespecificate si mentionate explicit, in mod special daca nu sunt auto-evidente, sau daca se testeaza mai mult decit o singura ipoteza. Daca nu se investigheaza nici o ipoteza prespecificata, trebuie conturat adecvat caracterul exploratoriu al studiului. Formularea temei si scopului cercetarii sunt parti component a etapei initiale a proiectarii studiului. Aceste elemente trebuie sa fie concrete, clare, complete si succinte atat pentru autor, cat si pentru toti carora le este destinat acest studiu. In timpul realizarii proiectului unui studiu stiintific, este important ca scopul studiului, rezultatele masurarilor primare si secundare sa fie formulate decent in protocolul initial al studiului si deasemenea incluse adecvat in manuscriptul final al cercetarii. Intru indeplinirea scopului studiului: sunt elaborate obiectivele cercetarii. Initial se defineste clar obiectul major al cercetarii. Autorul trebuie sa se aprecieze cu urmatoarele intrebari: Se studiaza un fenomen nou de sanatate? Se evalueaza un procedeu diagnostic? Se urmaresc factori cauzali în producerea unei îmbolnaviri? Ce arie de interes prezinta rezultatele? Ce rezultate se doresc a se obtine? Obiectivul major este urmat de obiectivele secundare ale studiului care sunt elaborate in continuitate si servesc drept punct de reper in evaluarea obiectivului major, cit si studierea altor fenomene biologice în cadrul aceluiasi studiu.[5, 7, 9] In continuare autorul defineste tipul studiului, colectivitatea tinta, unitatile de observatie, selectia esantionului, randomizarea grupurilor de lucru. 1.2 Observarea statistica In etapa a doua a studiului, proiectarea observarii statistice sau culegerea datelor este caracterizata prin acţiunea de culegere de la unităţile statistice a informaţiilor referitoare la caracteristicile urmărite, după criterii riguros stabilite, asa zisele criterii de omogenitate. Ca criterii de omogenitate in biostatistica pot servi: Efectele medico-sociale Factorii de risc Date cronografice Varsta Sexul Mediul de resedinta Starea sociala si economica Studiile Factorii ereditari Bolile concomitente 6

7 Standardele de tratament si de investigatii Metodele diferitelor investigatii, interventii, etc Altele In dependent de scopul si tipul cercetarii autorul trebuie sa se aprecieze si sa selecteze criteriile caracteristice de omogenitate a unitatilor statistice si esantionului de studiu cercetat. Reuşita acestei etape depinde de înregistrarea corectă a unui volum suficient de date relevante pentru studiul respectiv. Culegerea datelor trebuie să se realizeze la nivelul fiecărei unităţi a colectivităţii. Pentru a asigura buna desfăşurare a acestei activităţi, observarea statistică trebuie organizată după un program care cuprinde o serie de elemente metodologice şi organizatorice: stabilirea scopului observării, care precizează aspectele ce trebuie clarificate în urma studiului. Scopul observării este subordonat scopului general al cercetării statistice. Din această perspectivă vor fi selectate doar informaţiile caracteristice cu adevărat necesare, care vor fi supuse prelucrărilor ulterioare. obiectul observării este reprezentat de colectivitatea statistică despre care urmează să se culeagă date. Aceasta coincide cu colectivitatea statistică generală, în cazul observărilor totale sau este o subcolectivitate a acesteia, în cazul observărilor parţiale. Colectivitatea supusă observării trebuie definită şi delimitată în timp şi spaţiu. Colectivităţile complexe şi de volum mare pot fi observate pe subcolectivităţi. unităţile de observare reprezintă elementul constitutiv al colectivităţii statistice investigate. Ele se definesc şi se culeg în funcţie de scopul cercetării. precizarea caracteristicilor (variabilelor) statistice, despre care se vor culege datele de la unităţile colectivităţii. Caracteristicile se înregistrează sub formă de răspunsuri la întrebările fixate în chestionare sau formulare pentru culegerea datelor. Este important să fie înregistrate caracteristicile relevante din punctul de vedere al scopului cercetării. timpul observării este momentul sau perioada producerii fenomenului analizat. Pentru observările statice este un "moment critic", care este bine să corespundă unei maxime stabilităţi a colectivităţii analizate. Pentru înregistrările dinamice, timpul observării reprezintă o perioadă de timp. Are ca scop stabilirea uşoară a unităţilor de observaţie. locul observării este de regulă chiar locul producerii fenomenului. Diferă de acesta atunci când datele sunt preluate din diferite publicaţii etc. formularele observării, însoţite de instrucţiuni de completare, asigură culegerea datelor într-o formă unitară, sistematizată, facilitând prelucrările ulterioare. [9, 14] Alegerea esantionului de studiu Dupa cum s-a mai mentionat, un studiu exhaustiv (cuprinzând toti subiectii populatiei tinta) este, de regula, aproape nerealizabil. Se impune asadar constituirea unui esantion (subansamblu al populatiei tinta) care trebuie sa aiba urmatoarele calitati: Reprezentativitate (esantionul comparabil din punct de vedere al caracteristicilor cu populatia tinta la care se extrapoleaza rezultatele); 7

8 Comparabilitate (daca studiul se face pe doua sau mai multe grupe, esantionarea trebuie sa realizeze grupuri comparabile); Compatibilitate ( esantionul trebuie sa fie compatibil cu si sa reiasa din scopul, obiectivele si tipul de studiu ales). [3, 4, 8] Pentru o lucrare de calitate statistica superioara este crucial sa considere a priori efectul si estimarea marimii esantionului si sa dasfasoare in mod corespunzator calcularea puterii statistice inca in etapa planificarii statistice, pentru a se asigura ca studiul este inzestrat cu sufiecienta putere statistica pentru detectarea efectului tratamentului investigat si pentru evitarea erorilor de tip II posibile. In continuare, volumul esantionului folosit trebuie mereu mentionat in articol si retragerile potentiale in orice faza a studiului trebuiesc inregistrate in protocolul studiului si articolul cercetarii. [8] Am luat in consideratie formulele cele mai des utilizate in biostatistica in calcularea volumului esantionului reprezentativ. Cochran, W. G in manualul sau propune urmatoarea formula: ; unde n volumul esantionului reprezentativ; t coeficientul testului de semnificatie; p incidenta fenomenului; - eroarea maxim admisa.[2] Nota. A. Serenko si V. Ermakova inlocuiesc lipsa fenomenului ( ) prin contraprobabilitatea producerii fenomenului ( ). Astfel formula capata urmatoarele forme:, pentru valori calitative;, pentru valori cantitative. [15] O alta formula este cea a lui Taro-Yamane, care nu tine cont de incidenta fenomenului si lipsa acestuia, ci numai de volumul totalitatii statistice (N) si eroarea maxim admisa: ; unde n volumul esantionului reprezentativ, N totalitatea statistica, maxim admisa. [11] - eroarea Mult mai potrivita studiilor biostatistice este formula recomandata de P. Muresan, care reprezinta o sinteza a ambelor formule, tinind cont atit de volumul totalitatii statistice, cit si de incidenta si lipsa fenomenului: ; unde n volumul esantionului reprezentativ; t coeficientul testului de semnificatie; p incidenta fenomenului; N totalitatea statistica; - eroarea maxim admisa, 1 - p probabilitatea lipsei fenomenului. [10] Selectarea esantioanelor intimplatoare, randomizarea, metoda oarba trebuiesc folosite astfel incit sa se evite potentiale inclinari, tendinte, preferinte, cu toate ca acest 8

9 standart de aur nu este aplicabil pentru toate felurile de studii si proiecte de cercetare. Cu toate acestea, trebuie sa fim constienti de faptul ca toate tehnicile statistice bazate pe deductie sunt valide doar pe esantioane intimplatoare, si nu sunt neaparat corecte si pentru datele colectate cu anumite preferinte. Daca sunt folosite grupe control, atunci la inceput trebuie demonstrata echivalenta si comparabilitatea grupelor de studiu, pentru a se asigura ca nu se folosesc materiale heterogene partial ori in mod inerent, care nu e comparabil. In acest caz, diferentele posibile dupa interventie in mod logic nu pot fi atribuite tratamentului supus investigarii, cu exceptia cazului cind sunt folosite adecvat tehnici multivariabile pentru a ajusta studiul acestor factori confuzi. Cu toate acestea, folosirea testelor de semnificatie statistica pentru compararea echilibrului de referinta a grupelor de studiu ( o practica obisnuita) nu este neaparat adecvata si nici oportuna. Doar prin demonstrarea faptului ca nu exista diferente statistice semnificative intre grupele de studiu la inceput, nu se poate spune ca grupele sunt echivalente, in particular in studiile cu esantioane mici care nu au suficienta putere statistica. Estimarea probabilitatii obtinerii datelor se poate realiza doar in baza valorii de adevar a ipotezei nule, si nu invers. Astfel, este necesar sa se realizeze ajustari pentru confuziile importante. [1, 8] 1.3 Prelucrarea si analiza datelor Etapa a treia a studiului prevede prelucrarea si analiza datelor. Datele adunate sau observate se referă de cele mai multe ori la fiecare unitate statistică în parte. Pentru a putea caracteriza colectivitatea supusă studiului este necesar să prelucrăm datele. Prelucrarea include mai multe operaţiuni succesive, cum ar fi: verificarea; codificarea; sortarea; gruparea; prezentarea (prin tabele, grafice şi serii) a datelor. Autorul verifica datele capatate in prima etapa a studiului, le codifica la necesitate, apoi le sorteaza/ordoneaza in seriile de variabile in ordine ascendenta sau descendenta. In continuare este obligat sa calculeze indicatorii caracteristici si anume: indicatorii tendintei centrale : media aritmetica modulul mediana indicatori simpli ai variatiei : amplitudinea devierea(abaterea) de la medie indicatorii sintetici ai variatiei dispersia devierea standard coeficientul de variatie.[9, 14] Anume indicatorii sintetici exprima variatia totala a seriei de variatie. Intr-un studiu stiintific corect planificat-organizat si efectuat valorile individuale inregistrate sunt egal 9

10 dispersat pe de o parte si, de alta a valorii centrale. Astfel de distributie se numeste simetrica sau normala. Repartizarea variabilelor corespunde curbei/ schemei Gauss-Laplace si are forma de clopot. Fig. 1. Graficul distributiei normale a variabilelor intr-o serie de variatie Pe grafic se observa ca valoarea medie a caracteristii are cea mai mare frecventa relativa, iar pe masura ce valorile se indeparteaza de valoarea medie frecventa lor relativa scade. Astfel, prin intermediul graficului noi putem calcula a cita parte din valori se afla in anumite intervale. In intervalul se contin 68,26% din numarul total de cazuri (adica suma frecventelor relative ale valorilor ce intra in acest interval reprezinta 68,26%), in intervalul 95,45% din numarul total de cazuri, in intervalul - 99,73% din numarul total de cazuri. Valorile situate in afara acestor limite sunt considerate nereprezentative si constituie nivelul de semnificatie al studiului. Acest nivel se noteaza cu simbolul α. In biostatistica sunt utilizate niveluri de semnificatie de 5%, 1%, 0.1%. [4, 7, 9, 18] Distributia normala are o importanta enorma in studierea biostatisticii, deoarece marea majoritate a fenomenelor biologice sunt caracterizate anume de o asemenea serie de frecvente. Ea este folosita la interpretarea rezultatelor studiilor stiintifice. Devierea standard permite sa apreciem gradul de omogenitate a seriei variabile si, totodata daca media aritmetica este reprezentativa. Atunci cand dispersia este cuprinsa intre si corespunzator coeficientul de variatie (Cv) are valori cuprinse intre 0% si 20%, seria variabila are un grad inalt de omogenitate si media este reprezentativa. Daca devierea standard(sd) are valori mai mari de 0.2 ( 20% ), atunci variabila are un grad unic de omogenitate si reprezentativa. Acest fapt indica comiterea erorilor de selectie, de omogenitate etc. [5, 10] Urmatorul pas obligatoriu, pe care cercetatorul trebuie sa-l intreprinda este testarea indicatorilor obtinuti in studiu, prin calcularea erorii standard ( ES,, ). Eroarea standard stabileste cu cat, a gresit cercetatorul calculcand indicatorii intr-o cercetare partiala (esantion) fata de rezultatele pe care el le-ar fi obtinut intr-o cercetare integrala. 10

11 Pentru variabile cantitative (valori medii) eroarea standard ( ) are urmatoarea formula:, unde - devierea standard, n volumul esationului. Pentru variabile calitative (indicatori relativi) eroarea standard ( ) are urmatoarea formula: esationului.[10, 12, 14, 19], unde p incidenta fenomenului in totalitatea statistica; n volumul Indicatorii relativi obtinuti sunt considerati siguri atunci cand ES calculata, inmultita cu 10 are o valoare mai mica decat insusi indicatorul relativ. Pentru valorile medii este folosita valoarea procentuala a erorii standard. O valoare a lui mai mica de 3% indica faptul ca media este sigura si reprezentativa.valorile ES obtinute prin calcul si cuprinse in limitele mentionate asigura cercetatorul de corectitudinea studiului efectuat. [14] Nu se permite publicarea rezultatelor cercetarii fara a prezenta eroarea lui.[10] In continuare, cercetatorul,in dependenta de tipul de studiu ales, grupeaza datele in tabele, le reprezinta prin grafice si diagrame. 1.4 Calcularea, compararea, interpretarea indicatorilor si prezentarea rezultatelor A IV-a si ultima etapa a realizarii unei cercetarii stiintifice consta in calcularea indicatorilor, compararea, interpretarea si prezentarea rezultatelor studiului. Intr-un studiu corect proiectat si organizat trebuie sa existe o relatie între obiectivele prestabilite, ipoteza propusa si modalitatile de analiza ale datelor. Trebuie evitata devierea spre date atractive, altele decât cele utile pentru atingerea obiectivului prestabilit. În aceasta etapa a studiului se va raspunde la urmatoarele întrebari: Ipoteza a fost confirmata sau respinsa? Analiza numerica a fost suficienta? Care este semnificatia rezultatelor? Se va tine cont de erorile sistematice, de pierdutii din vedere sau nonrespondenti. Prezentarea rezultatelor începe cu o noua trecere în revista a literaturii recente pentru a evita pierderea din vedere a unor publicatii majore pe parcursul studiului. Prezentarea rezultatelor se face prin parametrii statistici care permit compararea sau raportarea lor la alte studii si în vederea eventualei reproductibilitati a rezultatelor, astfel discutia rezultatelor trebuie complet diferentiata de prezentarea bruta a acestora; ea va cuprinde: - Interpretarea si confruntarea cu date din literatura. - Cum au fost influentate rezultatele de pierdutii din vedere? - Pot fi extrapolate rezultatele obtinute pe subiectii esantionului la întreaga populatie tinta? Care este aceasta? - În cazul respingerii ipotezei de lucru, pot fi propuse alte ipoteze (care evident vor trebui testate prin noi studii)? 11

12 - Discutarea rolului eventualelor erori sistematice în rezultatele obtinute. [5, 16] Modalitatea de prezentare a unei lucrari este diferita, în functie de tipul lucrarii redactate: lucrare originala, revista, teza, etc. CAPITOLUL II EVALUAREA TIPURILOR DE ERORI INTR-UN STUDIU STIINTIFIC 2.1 Evaluarea erorilor proiectarii studiului Cea mai importanta faza a oricarui studiu este faza proiectarii si planificarii, asa cum un proiect adecvat si complet al studiului constituie baza unei cercetari sanatoase. Erorile si omisiunile ce au loc in etapa proiectarii pot avea un impact negativ vast asupra validitatii, exactitatii si sigurantei rezultatelor studiului, asa cum ele afecteaza toate etapele consecutive ale investigatiei. Erorile statistice si omiterile ce pot fi comise in etapa proietarii studiului: 1) Scopurile studiului si masurarile primare nu sunt elocvent numite si nu sunt clare; 2) Nu s-a mentionat a-priori sau nu s-a realizat o descriere clara a ipotezei nule investigate; 3) Nu s-a realizat o estimare a totalitatii statistice tinta luata in studiu; 4) Nu sunt clar apreciate criteriile de selectie si de omogenizare ale esantionului; 5) Nu s-a raportat echivalenta initiala a caracteristicilor de referinta si comparabilitatea grupelor de studiu; 6) Testarea neadecvata a echivalentei caracteristicilor de referinta 7) Nu se raporteaza numarul de participanti sau de observatii ( volumul esantionului). Nu se prognozeaza retragerile din studiu; 8) Nu s-a realizat o estimare a-priori a volumului esantionului/ a efectului de volum (calcularea puterii studiului); 9) Folosirea si raportarea incorecta a randomizarii. Metoda de randomizare nu este clar specificata; 10) Folosirea si raportarea incorecta a metodei oarbe. [1, 8] Lansarea ipotezelor investigate sunt pre-specificate si mentionate explicit de catre autor. Scopul studiului, rezultatele masurarilor primare trebuie sa fie formulate decent in protocolul initial al studiului. Este necesar ca la etapa initiala autorul sa se aprecieze cu totalitatea statistica tinta din care se va selecta esantionul de studiu. Autorul este obligat de a folosi aceleasi unitati de masurare atat al lotului de studiu cat si a lotului martor, pentru a asigura comparabilitatea loturilor. Pregatirea instrumentelor de culegere a datelor (chestionare, fise de codificare, etc.) inaintea definirii clare a ipotezei, scopului, obiectivelor, tipului si structurii studiului este o eroare neadmisibila. De asemenea,la etapa proiectarii 12

13 studiului autorul trebuie sa se aprecieze cu criteriile de selectie a unitatilor statistice, astfel asigurand omogenitatea studiului. Exemplu Autorul si-s pus scopul sa demostreze ipoteza conform careia: Managementul serviciului chirurgical de ambulator este prioritar managementului serviciului stationar pentru pacientii tratati cu aceleasi maladii, conform nomenclatorului. Autorul a selectat doua loturi de studii : ambulator experimental si stationar-martor, omogenizandu-le numai dupa criteriul nozologii, astfel nu s-a luat in consideratie alte criterii importante precum: varsta, boli asociate, sexul, etc. In acest mod, lotul de ambulator era alcatuit prioritar de persoane de varsta apta de munca (peste 70%), fara patologii asociate, pe cand lotul de stationar martor era alcatuit preponderent din persoane de varsta a treia, pensionari, invalizi, cu mai multe patologii asociate. Este evident, chiar si fara calcularea indicatorilor, ca rezultatele studiului vor fi in favoarea managementului serviciului chirurgical de ambulator, insa acestea putin probabil sa fie adevarate. De etapa de proiectare tin si erorile de reprezentativitate a studiului stiintific. Autorul trebuie sa se aprecieze cu numarul de unitati statistice( participanti sau observanti) luat in studiu, astfel creand esantionul cu un volum si o putere suficienta pentru ca rezultatele primite sa fie reprezentative pentru totalitatea statistica generala. In functie de volumul totalitatii statistice general si particularitatile ei specifice, autorul va folosi una din formulele de calcul al volumului esantionului reprezentativ ( vezi capitolul I). Este important ca cercetatorul sa se asigrure de posibilele pierderi pe parcursul studiului: retrageri, non-raspunderii, decesuri, etc. Recomandam ca la volumul minim calculat al esantionului reprezentativ sa fie luate cu o rezerva de 2-5 % unitati, in special in studiile de durata (cohorta).[16] Tot in etapa de proiectare, cercetatorul trebuie sa se aprecieze ferm cu tipul studiului, pentru a evita erorile legate de randomizarea incorecta, raportarea incorecta a metodei oarbe. Nota: Pentru o proiectare sanatoasa a unui studiu stiintific si evitarea erorilor se recomanda consultarea/ antrenarea unui statistician acreditat in etapele timpurii ale realizarii studiului.[8] 2.2 Evidentierea tipurilor de erori la etapa culegerii datelor Erorile de observare (înregistrare) se întâlnesc în procesul de culegere a datelor statistice şi se pot datora obiectului observării, anchetatorului, mijloacelor de înregistrare, metodei de culegere a datelor sau condiţiilor externe. Pot fi de două feluri: sistematice si întâmplătoare. Erorile sistematice au o incidenţă redusă, dar afectează într-o măsură însemnată autenticitatea datelor culese. Provin, de regulă, din interpretarea incorectă a instrucţiunilor de culegere a datelor, neînţelegerea scopului observării sau necunoaşterea unor noţiuni. Un bias = eroare sistematica - este un factor care poate surveni în conceperea, executia sau analiza unui studiu, conducând la o alterare a estimarii rezultatelor.[5, 17, 18] 13

14 Cele mai frecvente erori sistematice sunt: 1. Erorile sistematice de selectie, care reprezinta o eroare în stabilirea criteriilor de incluziune a subiectilor într-un grup al unui studiu comparativ. Sursa acestor erori variaza în functie de modul de selectie a subiectilor luati în studiu (modul de culegere a datelor) Culegerea expus nonexpus (cohorta) eroare sistematica prin nonraspuns generat de subiectii care abandoneaza studiul fie prin deces fie datorita riscurilor legate de factorul de expunere sau boala; eroare sistematica de supraveghere apare când un factor de risc influenteaza direct detectabilitatea bolii. Culegere caz martor eroare sistematica de nonraspuns; eroare sistematica de diagnostic apare atunci când calitatea detectarii diagnosticului este legata de cunoasterea prealabila a asocierii între factorul de risc si boala; eroare de admisie apare la studiile care se desfasoara în mediul spitalicesc si este legata de probabilitatea diferita de a fi admis la spital a cazurilor fata de martori; eroare sistematica de supravietuire apare prin omiterea din grupul de studiu a celor care decedeaza precoce. Pentru a evita aceste erori trebuie : Sa se selecteze cazurile si martorii fara a se cunoaste statutul lor legat de factorul de expunere; Sa se selecteze cazurile expuse si nonexpuse fara a se cunoaste statutul lor legat de boala luata în studiu; Sa se utilizeze o definitie precisa si unica a cazurilor bazate pe criterii diagnostice obiective; Sa se selecteze toate cazurile dintr-o anumita zona (arie definita) si sa se aleaga martorii din aceeasi zona. 2. Erori sistematice de informare (sau observare) se produc în cursul culegerii datelor privind expunerea la un factor sau privind prezenta bolii si duc la estimarea gresita a asocierii acestora. Ele rezulta în general dintr-o modalitate de masurare sau un instrument de masurare defectuos. Eroare sistematica de memorizare deriva dintr-o diferenta a preciziei de reamintire a expunerii la factorul de risc între reprezentantii grupului de studiu si martor; Eroare sistematica de investigare prin care se genereaza erori în culegerea informatiilor erori legate de calitatea interviului (generate de cunoasterea prealabila sau suspiciunea prealabila a investigatorului privind asociatia între factorul de risc si boala; Eroare sistematica legata de calitatea datelor disponibile; Eroare sistematica de omisiune: voita (minciuna); nepremeditata (uitare). 14

15 Pentru a preveni aceste erori sistematice va trebui: Sa se aleaga si sa se instruiasca corect investigatorii; Sa se defineasca un cadru precis al observatiei; Sa se utilizeze tehnici de protectie a calitatii informatiilor (metoda simplu, dublu, triplu orb); Sa se aleaga instrumentele de estimare cele mai performante si valide (cu buna sensibilitate si specificitate). [5, 9] În timp ce aceste doua categorii de erori sistematice pot fi eliminate doar din startul cercetarii, si nu mai sunt corectabile dupa culegerea datelor, cea de a treia categorie: 3. Erorile sistematice de confuzie pot fi corectate si în cursul analizei, prin identificarea cu ajutorul unor instrumente statistice specifice a factorilor de confuzie. Acestia reprezinta factorii care pot influenta independent riscul de a face boala, producând alterarea rezultatelor prin mixarea efectului independent la expunerea studiata. Pentru ca un factor sa poata fi considerat de confuzie, trebuie sa fie asociat atât expunerii cît si bolii. Drept exemplu poate servi asocierea între consumul de cafea si riscul crescut pentru infarctul miocardic, se produce în parte prin frecventa de asociere a fumatului la consumul de cafea. Independent de consumul de cafea, fumatul este si el un factor de risc pentru infarctul miocardic. Controlul factorilor de confuzie se poate realiza atât în etapa de concepere, derulare cît si de analiza a studiului. Se bazeaza pe întelegerea caracteristicilor factorilor de confuzie (restrictionarea criteriilor de incluziune a populatiei luate în studiu, sumare, stratificarea randomizarii sau analiza stratificata si multivariata). Trebuie însa din nou mentionat, ca un factor poate sa fie de confuzie, numai daca difera ca distributie între grupele luate în studiu; ca atare, daca analiza se face între grupe continând subiecti cu acelasi nivel al factorilor de confuzie, atunci efectul de confuzie poate fi considerat controlat. [8] Erorile întâmplătoare au caracter aleator şi survin, de regulă, datorită lipsei de concentrare a persoanei care efectuează înregistrarea, copierea sau codificarea datelor. Deşi apare relativ frecvent, acest tip de eroare influenţează doar în mică măsură acurateţea rezultatelor. Erorile sistematice si cele intimplatoare pot fi prevenite printr-o mai bună instruire a personalului care efectuează observarea şi pot fi diminuate prin aplicarea riguroasă a controlului statistic. Controlul cantitativ este un control de volum al datelor prin care se verifica completitudinea acestora. Acest control presupune: verificarea primirii tuturor formularelor; verificarea completarii rubricilor. Controlul calitativ presupune verificarea naturii calitative a datelor culese. Acesta poate fi aritmetic si logic.[9] 15

16 2.3 Erorile etapei de prelucrare si analiza a datelor statistice In procesul de prelucrare a datelor trebuie eliminate la maximum erorile sistematice care ar putea modifica rezultatele cu atenţie specială pentru: a nu modifica metoda de lucru în cursul studiului; a se urmări cu atenţie evoluţia subiecţilor ţinând cont de cei pierduţi din vedere (subiecţii care nu sunt prezenţi în studiu la data prevăzută pentru evaluare şi astfel prezintă date incomplete); a se urmări şi verifica datele transpuse pe calculator pentru eliminarea eventualelor erori de culegere. Atunci cand descriem din punct de vedere statistic sau prezentam datele studiilui, ar trebui sa fim constienti de folosirea unitatilor de masura statistice adecvate pentru tendinta centrala si dispersia. Daca sa folosim mediile aritmetice si deviatiile standard, atunci ar trebui sa fie evident ca datele sunt aproximativ normal distribuite si nu sunt oblice. In mod contrar, aceste masurari nu pot fi utilizate cu sens pentru descrierea datelor. In orice caz, deviatiile standard mai probabil ar trebui sa fie raportate in paranteze [de ex. media( SD)] decat folosind expresia media ± SD, dat fiind faptul ca ultima expresie poate fi confundata cu un interval de incredere de 95% de catre cititor. Pentru datele oblice, ca de multe ori in cazul cercetarilor biologice si medicale, e mai convenabil de a aloca mediane,cuartile sau intervale, cu toate ca trebuie sa constientizam ca intervalul este sensibil la aberatii si prin urmare poate sa nu fie potrivit ca rezumat statistic. Odata cu aplicarea consecutiva a testelor nonparametrice pentru analiza datelor statistice, ar trebui sa fie evitat momentul de a oferi medii si deviatii standard, deoarece acesti parametri sunt, conform definitiei, netestati de catre un test non-parametric si prin urmare nu are sens sa descriem datele obiectului de ancheta. In cazul dat ar trebui sa li se ofere preferinta medianelor,intervalelor sau intervalele intercuartile. Totusi, nu este suficient doar sa prezentam valorile medii fara a oferi careva masuri de variabilitate a datelor. [8] Eroarea standard a mediei (Es), cu toate ca este foarte comuna si eronat folosita pentru descrierea statistica ( probabil pentru ca face ca datele sa para mai putin variate), nu este descriptiva din punct de vedere statistic, dar mai degraba este o metoda dedusa folosita pentru estimarile statistice. Totusi, nu este potrivit sa prezentam media impreuna cu eroarea standard a mediei ca o masura a dispersiei. In aceeasi ordine de idei, este necesar ca oricare notiune de ± folosita in text, tabele, diagrame sau figuri sa fie specifica atunci cand apare, si o descriere corespunzatoare este data sensului erorilor de bare in ilustratiile grafice. Pentru obiectivele primare si rezultatele principale ale studiului, intervalele de incredere ar trebui sa fie estimate oricand este posibil, asa cum o singura valoare probabilistica nu acorda informatie semnificativa despre magnitudinea sau marimea efectului. Astfel aplicarea corecta a tehnicilor de estimare statistica poate sa extinda considerabil informatia continuta in studiu pentru cititori. Daca e sa folosim estimarea statistica cu scopul de a compara grupele, intervalul de incredere ar trebui mai degraba sa fie acordat pentru diferentele intre grupuri, decat pentru fiecare grup in parte. 16

17 Valori p ar trebui sa fie raportate mai degraba ca valori obtinute exact decat cu alocari arbitrare de praguri, de ex. p=ns, p< 0.05 sau p>0.05. Totusi, informatia numerica nu ar trebui alocata unui nivel nereal de precizie, care nu poate fi justificat de esantionul studiului. [8, 19] Prezentam erorile statistice si defectele relationate cu prezentarea datelor studiului: 1. Descrierea neadecvata grafica sau numerica a datelor de baza a. Media, dar fara vreo indicatie despre variabilitatea datelor b. Notatia SE in loc de SD pentru a descrie datele c. Utilizarea mediei SD pentru descrierea datelor necorespunzatoare d. Incapacitatea de a defini notiunea ± pentru descrierea variabilitatii sau utilizarea barelor de eroare neetichetate 2. Raportarea nepotrivita sau insuficienta a rezultatelor a. Rezultatele oferite doar ca valori ale lui p, fara indicarea intervalelor de incredere b. Intervalele de incredere oferite mai degraba pentru fiecare grup decat pentru contraste c. p=ns, p<0.05 sau alte praguri arbitrare in loc de raportarea valorilor concrete ale lui p 3. Informatie numerica pentru un nivel de incredere nereal. [6, 8] 2.4 Analiza si relevarea erorilor etapei finale a studiului stiintific La realizarea analizei statistice a datelor si la aplicarea testelor de semnificatie statistica ori a tehnicilor de estimare, este important, ca in mintea celui care le aplica, fiecare metoda sa fie bazata pe citeva presupuneri, care trebuie sa fie satisfacute, cel putin aproximativ, pentru a obtine rezultate corecte si pe inteles. Din nefericire, chiar si procedurele simple si elementare precum popularele teste-t sau chi-patrat sund frecvent folosite gresit in cercetarile medicale, pentru ca presupunerile acestor teste nu sunt evaluate suficient inainte de aplicare. Mai mult, la aplicarea testelor t sau chi-patrat, cercetatorul trebuie sa fie atent la alegerea variantei de test mai potrivite, asa cum fiecare test exista in mai multe forme. Daca numarul asteptat de elemente intr-o celula este mai mic de 5, tehnicile chi-patrat ar trebui evitate, asa cum aproximatia lor nu mai e sigura in aceste circumstante. Daca esantionul e mic, corectia continuitatii Yates ar trebui folosita, dar e preferential ca testele exacte in genere sa nu sa se foloseasca, in cazul in care urmarim sa obtinem rezultate sigure. In continuare, marea varietate de tehnici statistice disponibile la moment inseamna ca alegerea celei mai potrivite si mai puternice in cazul specific nu e intotdeauna o chestie triviala, asa cum trebuie sa fie considerate cit mai multe detalii. [6,8] Daca un studiu contine multe obiective ce necesita multe teste statistice este important verificarea ratei rezultatelor fals-pozitive si potentiala inflatie a erorii de tip I prin aplicarea corectiei adecvate a comparatiilor-multiple. In mod deosebit este important constientizarea 17

18 faptului ca compararea a mai mult decit doua grupe necesita folosirea metodelor de analiza parametrica si non-parametrica a variantei sub forma aplicarii repetate a testului pentru 2 grupe ceea ce mareste riscul rezultatelor fals-pozitive ale testelor. Analiza post-hoc a subgrupelor, care nu sunt prespecificate in protocolul initial al studiului deasemenea ar trebui evitate, asa cum lasa impresia shopping-ului de rezultate semnificative statistic. Mai mult, aplicarea tehnicilor multivariate trebuie sa fie obligatorie daca se asuma prezenta unor factori confuzi sau daca grupele de studiu nu se potrivesc adecvat in baza caracteristicilor de referinta. [1, 6] Erori statistice si omisiuni la analiza datelor: 1) Folosirea unor teste statistice neadecvate a. Incompatibilitatea testului statistic cu tipul de date examinate; b. Teste nepereche pentru date preche si viceversa; c. Folosirea neadecvata a metodelor parametrice d. Folosirea unui test neadecvat ipotezei investigate 2) Inflatia erorii de tip I a. Nu a fost realizata corectia comparatiei multiple; b. Analiza neadecvata post-host a subgrupelor; 3) Erori tipice cu testul-t Student a. Nu se demontreaza presupunerele testului; b. Folosirea testului t-pereche pentru esantioane cu volum diferit; c. Comparari multiple de tip pereche a unui numar de grupe mai mare de 2; d. Folosirea testului-t nepereche pentru date pereche sau invers; 4) Erori tipice cu testul chi-patrat a. Nu a fost folosita corectia continuitatii Yates pentru numere mici; b. Folosirea testului cind numarul de elemente intr-o celula mai mic ca 5 c. Lipsa mentionarii explicite a ipotezei nule testate 5) Nu au fost folosite tehnici multivariate pentru ajustari in prezenta factorilor confuzi. La etapa finala a unui proces de cercetare stiintifica, atunci cand se interpreteaza rezultatele datelor analizate, este esential sa fie aplicate cele mai potrivite si puternice teste statistice, aceasta evitand crearea unor concluzii sprijinite insuficient de catre datele studiului. In cazul in care se acorda semnificatie efectelor, trebuie sa ne asiguram ca a fost atribuit un test de semnificatie statistica. Daca rezultatele nu elucideaza semnificatia statistica, este crucial de atras atentie la crearea concluziilor, asa cum lipsa semnificatiei statistice nu inseamna ca in mod invariabil nu a existat nici un efect sau chiar absolut nici o diferenta. Drept exemplu poate marimea esantionului a fost prea mica pentru a proteja semnificatia statistica, cu toate ca rezultatele posibil sa contina constatari clinice importante sau sa dea un impuls util pentru alti cercetatori, si viceversa : diferentele semnificative statistic pot sa nu fie semnificative clinic, iar diferentele clinice pot sa nu fie semnificative statistic. Atunci cand sunt folosite volume ale esantioanelor mici si cand obtinem rezultate ale testelor nesemnificative, ar trebui luata in consideratie posibila eroare de tip II precum si 18

19 mentiune suficienta a problemei referitoare la testarea semnificatiei multiple si riscul crescut a unor false rezultate pozitive. Daca un studiu nu este ajustat la potentialii factori de confuzie sau bias aceasta, de asemenea trebuie pusa in discutie atunci cand interpretam rezultatele. In cele ce urmeaza prezentam cele mai importante erori statistice si capcane relationate cu interpretarea constatarilor studiului: 1.Interpretarea gresita a rezultatelor a. nesemnificativ interpretat precum nici un efect sau nici o diferenta b. Tragerea concluziilor nesustinute de datele studiului c. Semnificatie sustinuta fara a mentiona datele analizate sau teste statistice 2.Interpretarea insuficienta a rezultatelor a. Desconsiderarea erorii tip II la atestarea rezultatelor nesemnificative b. Lipsa discutiei problemei la efectuarea testului de semnificatie multipla c. Incapacitatea de a discuta sursele posibilului bias si a factorilor confuzionali. [1, 8, 17] 19

20 CONCLUZII 1. In aceasta lucrare au fost pe larg evaluate cele mai des observate si comise erori statistice, defecte sau capcane intalnite in stiinta medicala cu scopul de a ajuta cercetatorii medicali sa efectueze lucrari corecte din punct de vedere biostatistic, sa conduca la imbunatatirea calitatii statistice a cercetarilor publicate. 2. Cercetatorii medicali trebuie sa fie incurajati sa studieze mai multe despre statistica, asa cum multe studii puncteaza o lipsa de cunostinte din domeniul statisticii printre cadrele medicale. Consultarea cu un statistician si interactiunea cu persoane experte calificate de obicei are loc cand planificarea si proiectarea unui studiu e demult facuta. Aceasta ingreuneaza procesul de corectare a deficientelor statistice, care au avul loc in etapele anterioare. 3. Statisticienii trebuie implicati de la bun inceput, la design-ul studiului, asa cum greselile la acest nivel au consecinte majore, afectind negativ toate etapele ce urmeaza ale cercetarii medicale. 20

21 BIBLIOGRAFIA 1. Clark Glenn T., Roseann Mulligan. Fifteen common mistakes encountered in clinical research, Jan 2011; 55(1): Cochran W. G. Sampling Techniques, New York: John Wiley and Sons, Glanz S. Medico-biological statistics: М: Practica, p. 4. Isaic-Maniu A., Mitruţ C., Voineagu V. Statistica generală. /model/index2.asp (citat martie 2011) 5. Popa L. Aspecte generale privind cercetarea ştiinţifică. http// (citat martie 2011) 6. Slutsky David J., Statistical Errors in Clinical Studies, J Wrist Surg. Nov 2013; 2(4): Sullivan L. M. Essentials of Biostatistics in Public Health, Strasak Alexander M. et al., Statistical errors in medical research a review of common pitfalls, Swiss Med Wkly, 2007; 137: Tintiuc D., Biostatistica si metodologia cercetarii stiintifice. Chişinău, Tintiuc D., Grossu Iu. Sănătate Publică şi Management. Chişinău, Yamane T. Statistics: An Introductory Analysis. New York: Harper and Row, Зайцев В.М., Лифляндский В.Г. и др. Прикладная медицинская статистика. СПб., Кучеренко В.З., Агарков Н.М. и др.социальная гигиена и организация здравоохранения (Учебное пособие) Москва, Лисицын Ю.П. Общественное здоровье и здравоохранение. Учебник для вузов. М.: ГЭОТАР-МЕД, Серенко A.Ф., Eрмакова В.В. Социальная гигиена и организация здравоохранения, ors-38.ppt s/medicine_research_slides_topic16.pdf 21