Analiza de itemi
Consistenta interna (Cronbach alfa)
Introducere în analiza de itemi.
Una din conditiile fundamentale a unui instrument de evaluare psihologica este aceea de a fi sigur si consistent. 414f54e Exprimat cu alte cuvinte, aceasta însemna ca itemii din care este constituit (întrebari sau sarcini de alta natura) sa contribuie la constituirea semnificatiei unui construct psihic anume: scala unui chestionar, scorul la o caracteristica psihica de performanta, etc. În mod practic si direct exprimat, un instrument este sigur si consistent atunci când itemii din care este compus coreleaza, fiecare dintre ei, cu rezultatul aditiv al tuturor itemilor (scala, scorul global). Foarte adesea, atunci când se lucreaza la elaborarea unui test psihologic, itemii nu functioneaza asa cum ne-am fi asteptat. În unele cazuri constatam confuzii si imprecizii în întelegerea lor, alteori sunt prea usori sau prea dificili. Dincolo de corectiile concrete care se pot face (modificari de cuvinte, eliminarea negatiilor, etc.) exista proceduri statistice care permit o analiza sistematica a itemilor si care ajuta la ameliorarea caracteristicilor psihometrice ale unui test. Aceste proceduri, cunoscute sub numele de "analiza de itemi". Dat fiind faptul ca în acest caz se analizeaza mai multe variabile simultan, analiza de itemi face parte din statistica multivariata.
Analiza de itemi în sprijinul consistentei interne si fidelitatii
Întrebarile unui chestionar sau itemii unui test de performanta sunt conceputi pentru a masura un anumit atribut (atitudine, factor, comportament, cunostinta). Consistenta interna se defineste ca proprietatea itemilor de a corela cu "scorul global" al testului sau scalei din care face parte. Din moment ce toti itemii trebuie sa reflecte un anumit atribut, ei trebuie sa manifeste o varianta comuna, sa coreleze unii cu altii si, în acelasi timp sa coreleze fiecare individual cu scorul care reflecta atributul respectiv. Corelatia dintre un item si scorul total, din care se omite acel item, ne ofera o indicatie cu privire la relevanta itemului respectiv pentru rezultatul global al testului. Atunci când fiecare item este relevant, putem spune ca testul respectiv este are "consistenta interna".
O alta fateta a consistentei unui instrument este siguranta sa în aplicari repetate. Ea poate fi descrisa ca stabilitate a scorului atunci când acel instrument, sau o forma alternativa echivalenta, este aplicata acelorasi subiecti.
Fara a fi singura procedura statistica utilizabil în astfel de situatii, coeficientul Cronbach alfa este de departe cel mai cunoscut dintre toate, fiind utilizat ca un indicator al preciziei de masurare a unui test, al consistentei interne si fidelitatii unui instrument psihologic. În mod normal, valoarea indicelui Cronbach alfa tinde sa creasca pe masura ce numarul itemilor creste. Utilizarea unor teste cu muti itemi este neconvenabila din mai multe motive. Unul dintre acestea este timpul consumat cu aplicarea lor, altul, poate fi inutilitatea de a pastra itemi a caror contributie la scorul global este nula, mica sau, dimpotriva, merg în alta directie decât acesta. Identificarea si eliminarea acestor itemi, ori modificarea lor în spiritul atributului masurat, este unul dintre obiectivele analizei de itemi. Ea are un caracter recursiv, cu evaluari succesive ale relatiilor dintre itemi si dintre itemi si scorul global, si operarea selectiei itemilor în functie de relatia lor cu acesta. Criteriul de baza pentru aceasta operatie este valoarea indicelui Cronbach alfa, care are o plaja de variatie între 0 si 1. O scala, pentru a fi considerata consistenta, trebuie sa atinga o valoare cât mai aproape de 1, nivelul de 0.70 fiind acceptat ca prag limita de catre cei mai multi cercetatori. Oricum, valoarea lui Cronbach alfa nu poate fi mai mica de 0.60.
Utilizarea improprie a analizei de itemi
Atunci când o scala este utilizata pentru a masura cunostinte asupra unui anumit subiect, pentru alt scop decât cel de selectie sau evaluare comparativa între indivizi, utilizarea indicelui Cronbach alfa nu este adecvata. O valoare redusa a acestuia nu poate însemna ca itemii nu masoara un anumit tip consistent de cunostinte (fapt incontestabil din moment ce fac parte dintr-un univers de cunoastere bine definit) ci mai degraba ca subiectii au raspuns la întâmplare. Mai departe, în cazul în care raspunsurile la o anumita întrebare sunt corecte pentru cea mai mare parte a subiectilor, sau pentru toti, desi am fi tentati sa apreciem acest fapt ca o expresie pozitiva a "corelatiei itemului cu scorul global", avem de a face mai degraba cu un item prea usor, care nu este suficient de discriminativ pentru a fi pastrat.
Chiar si în acest tip de situatii, totusi, analiza de itemi poate fi folositoare ca modalitate de identificare a itemilor gresit formulati, a celor nerelevanti, sau, pur si simplu pentru a scoate în evidenta erorile tipice pe care le fac subiectii la anumite întrebari.
Analiza de itemi cu SPSS
Procedura de analiza se lanseaza din meniul Statistics-Scale-Reliability Analysis..., care deschide urmatoarea caseta de dialog:
Variabilele care contin valorile itemilor de analizat vor fi trecute în lista Items.
Atentie, variabilele trebuie sa contina valori care exprima semnificatia raspunsului în raport cu scala globala, si nu raspunsul efectiv al subiectului. De exemplu, daca variantele de raspuns sunt codificate cu 1, respectiv 2, pot exista întrebari pentru care varianta "1" aduce un punct la scala iar varianta "2" aduce zero puncte la scala. Într-o asemenea situatie, pentru analiza de itemi valorile codificate de raspuns vor fi transformate în valori corespunzatoare (0 si 1). În acelasi mod se va opera si pentru itemii care au mai multe variante de raspuns, cum este cazul scalelor de tip Likert. Codurile conventionale ale variantelor de raspuns vor fi transformate în valori, în functie de semnificatia contributiei lor la construirea scorului global.
În lista Model se poate alege unul dintre urmatoarele modele de analiza:
Alfa. Calculeaza Cronbach alfa care pentru date dihotomice este echivalent cu coeficientul Kuder-Richardson 20 (KR20)
Split-half. Pentru corelatia dintre forme paralele, coeficientul de fidelitate Guttman, coeficientul Spearman-Brown, coeficientul alfa pentru fiecare jumatate.
Modele Gutman. Coeficientii lambda, de la 1 la 6
Modele paralele si strict paralele. Testele pentru gradul de corespondenta (goodness-of-fit), varianta comuna, si alte caracteristici ale raporturilor dintre itemi.
Pentru analiza de consistenta interna se alege modelul Alfa.
În continuare, se fac setari de analiza prin deschiderea casetei Statistics:
În zona Descriptives se vor
bifa optiunile:
Item (analiza fiecarui item separat);
Scale (analiza scorului global)
Scale if item deleted (analiza scorului fara contributia unui anumit item)
În zona Inter-item se va bifa Corelations, pentru a obtine matricea de corelatii dintre itemi.
Summaries permite calcularea unor indicatori descriptivi pentru fiecare dintre itemii analizati (media, varanta, covarianta, corelatii)
În practica, bifarea optiunilor marcate pe caseta din imaginea de mai sus ofera informatiile cele mai importante pentru analiza itemilor unui test. Celelalte optiuni sunt explicitate în Help-ul casetei si pot fi utilizate pentru o analiza mai rafinata a datelor.
În continuare vom analiza un set de 10 itemi ipotetici, alesi doar în scop didactic. Pentru o scala reala acest numar ar fi cu totul insuficient. Ca regula generala, numarul itemilor din faza de dezvoltare a unui astfel de instrument ar trebui sa aiba cel putin dublul numarului de itemi pe care îl preconizam la final. si aceasta pentru ca analiza de itemi este un proces reiterativ care are drept scop selectarea itemilor adecvati pentru constituirea unei scale cu cel mai ridicat nivel de consistenta interna posibila.
Rularea procedurii, cu setarile de mai sus ne ofera urmatoarele categorii de informatii:
Un tabel cu indicatori descriptivi, media si abaterea standard a itemilor. Analiza valorilor permite evidentierea tendintei centrale si a împrastierii raspunsurilor pentru fiecare item în parte.
Matricea de intercorelatii a itemilor ofera o imagine a gradului de asociere dintre itemi. Valorile sunt utile, pe de o parte pentru a sesiza itemii care tind sa aiba relatii negative cu ceilalti, fiind un semn al unei posibile probleme de construire respectivilor itemi. Din tabelul alaturat rezulta ca itemii i_02 si i_03 tind sa se asocieze negativ cu majoritatea celorlalti itemi. Pe de alta parte, valori extrem de ridicate ale unor corelatii, aproape de 1, ar putea sugera ca itemii respectivi prezinta un grad de similitudine care nu justifica utilizarea lor în aceeasi scala (ar putea fi, de exemplu itemi formulati extrem de asemanator).
Un set de indicatori statistici descriptivi la nivelul întregii scale.
În fine, cea mai importanta dintre categoriile de informatii,
tabelul relatiilor dintre itemi si scorul global. Doua dintre
coloanele alaturate au o importanta particulara: Corected Item-Total Correlation
(corelatia dintre item si scorul global) si Alpha if Item Deleted (valoarea lui Cronbach alfa, daca
respectivul item ar fi eliminat).
Daca privim prima dintre aceste doua coloane, observam ca doi dintre itemi (i_03 si i_09) au corelatii negative cu scorul global. Cu alte cuvinte, ei nu aduc informatie utila în raport cu atributul masurat ci, dimpotriva, merg într-o alta directie decât acesta. În primul rând trebuie sa verificam daca valorile itemului respectiv au fost corect codificate. Daca da, atunci singura solutie posibila este eliminarea itemilor în cauza. Observam, de asemenea, ca itemul i_02 are o corelatie extrem de mica cu scorul global (0.015). Contributia sa la scorul global este extrem de mica. Cu alte cuvinte, nici nu strica dar nici nu ajuta.
Pe ultima linie a imaginii gasim valoare lui Cronbach alfa, care este 0.457, o valoare care este modesta în raport cu nivelul necesar (0.70) dar care poate fi crescuta prin eliminarea itemilor nepotriviti, în primul rând a celor care coreleaza negativ cu scorul global.
Urmatoarea faza este reluarea prelucrarii, cu eliminare itemilor negativi. În general nu este recomandabila eliminarea mai multor itemi simultan, dar itemii negativi pot fi scosi fara remuscari. Iata care este rezultatul eliminarii itemilor 3 si 9 asupra consistentei interne:
Ca urmare a noii iteratii, se observa ca itemul i_02, care anterior avea o corelatie pozitiva dar extrem de mica, a dobândit o corelatie negativa cu scala. Ca urmare, va fi eliminat. În orice caz, chiar si itemii pozitivi, care au corelatii cu scala mai mici de 0.1 nu trebuie pastrati, pentru simplul motiv ca nu contribuie la constructul psihologic vizat, fiind doar consumatoare de timp în aplicarea instrumentului. De altfel, se si observa ca prin eliminarea acestui singur item, valoarea lui Cronbach alfa creste la 0.75.
Se reia prelucrarea fara itemul i_02 si se obtine urmatoarea configuratie de rezultate:
Datele indica o valoarea Cronbach alfa de 0.757. În plus, daca privim ultima coloana de cifre, vedem ca prin eliminarea oricarui item nu am obtine o valoare mai ridicata decât aceasta.
Cu ocazia iteratiilor succesive, se vor elimina mai întâi itemii având o corelatie negativa cu scorul global, iar apoi cei cu corelatii mici, nerelevante. Cu cât avem mai multi itemi în aceasta faza, cu atât avem posibilitatea sa pastram itemi care coreleaza mai intens cu scala si, deci, sa atingem un nivel mai ridicat de consistenta interna. Este de la sine înteles ca în cazul în care construim un instrument ale carui întrebari se adreseaza unor "scale" diferite, consistenta interna se va evalua separat pentru setul de întrebari corespunzator fiecarei scale.
O scala "consistenta intern" ne ofera garantia ca întrebarile instrumentului nostru "merg împreuna", masoara acelasi "construct" psihologic. Atentie, însa, acest lucru nu ne permite înca sa afirmam ca masoara exact ceea ce n-am propus sa masoare. Aceasta problema va fi rezolvata ulterior prin studii de validare.
Asa cum concluziile studiilor statistice sunt mai sigure atunci când sunt efectuate pe esantioane mai mari, acelasi principiu se aplica si în cazul constructiilor scalelor: cu cît mai multi itemi cu atât mai bine pentru consistenta scalei.
Numarul itemilor necesari pentru a completa o scala care nu a atins valoarea acceptabila a indicelui Cronbach alfa poate fi estimat cu ajutorul formulei Spearman-Brown:
Unde
αx este valoarea curenta a lui Cronbach alfa
αk este nivelul dorit al lui Cronbach alfa
k este factorul de multiplicare a scalei pentru a se obtine αk
Într-un mod similar, se poate estima valoarea lui Cronbach alfa (αk) care ar fi atinsa pornind de la un anumit nivel calculat al acestuia αx si un anumit factor de multiplicare al numarului de itemi (k):
Exemplu:
Avem o scala cu 20 de itemi si αx=0.50
Câti itemi ar trebui adaugati pentru a atinge un nivel α de 0.70?
Deci pentru a atinge un α de 0.70 va trebui sa avem o scala de 20*2.33≈47 itemi, ceea ce înseamna ca ne vor mai trebui 27 de itemi pe lânga cei 20 deja existenti (estimare valabila pentru situatia în care noii itemi ar avea aceeasi corelatie inter-itemi cu cei deja existenti).
Pentru acelasi caz, cu cât ar creste α daca am adauga 30 de itemi:
k=(nr. itemi initiali+nr. itemi noi)/nr. itemi noi=(20+30)/20=2.5
Desigur, se presupune ca noii itemi adaugati vor fi la fel de "buni" ca si cei deja utilizati. De aceea este posibil ca rezultatul formulei sa fie o estimare usor optimista dar nu mai putin utila.
|
