Analiza de itemi
Consistenta interna (Cronbach alfa)
Introducere īn analiza de itemi.
Una din conditiile fundamentale a unui instrument de evaluare psihologica este aceea de a fi sigur si consistent. 414f54e Exprimat cu alte cuvinte, aceasta īnsemna ca itemii din care este constituit (īntrebari sau sarcini de alta natura) sa contribuie la constituirea semnificatiei unui construct psihic anume: scala unui chestionar, scorul la o caracteristica psihica de performanta, etc. Īn mod practic si direct exprimat, un instrument este sigur si consistent atunci cānd itemii din care este compus coreleaza, fiecare dintre ei, cu rezultatul aditiv al tuturor itemilor (scala, scorul global). Foarte adesea, atunci cānd se lucreaza la elaborarea unui test psihologic, itemii nu functioneaza asa cum ne-am fi asteptat. Īn unele cazuri constatam confuzii si imprecizii īn īntelegerea lor, alteori sunt prea usori sau prea dificili. Dincolo de corectiile concrete care se pot face (modificari de cuvinte, eliminarea negatiilor, etc.) exista proceduri statistice care permit o analiza sistematica a itemilor si care ajuta la ameliorarea caracteristicilor psihometrice ale unui test. Aceste proceduri, cunoscute sub numele de "analiza de itemi". Dat fiind faptul ca īn acest caz se analizeaza mai multe variabile simultan, analiza de itemi face parte din statistica multivariata.
Analiza de itemi īn sprijinul consistentei interne si fidelitatii
Īntrebarile unui chestionar sau itemii unui test de performanta sunt conceputi pentru a masura un anumit atribut (atitudine, factor, comportament, cunostinta). Consistenta interna se defineste ca proprietatea itemilor de a corela cu "scorul global" al testului sau scalei din care face parte. Din moment ce toti itemii trebuie sa reflecte un anumit atribut, ei trebuie sa manifeste o varianta comuna, sa coreleze unii cu altii si, īn acelasi timp sa coreleze fiecare individual cu scorul care reflecta atributul respectiv. Corelatia dintre un item si scorul total, din care se omite acel item, ne ofera o indicatie cu privire la relevanta itemului respectiv pentru rezultatul global al testului. Atunci cānd fiecare item este relevant, putem spune ca testul respectiv este are "consistenta interna".
O alta fateta a consistentei unui instrument este siguranta sa īn aplicari repetate. Ea poate fi descrisa ca stabilitate a scorului atunci cānd acel instrument, sau o forma alternativa echivalenta, este aplicata acelorasi subiecti.
Fara a fi singura procedura statistica utilizabil īn astfel de situatii, coeficientul Cronbach alfa este de departe cel mai cunoscut dintre toate, fiind utilizat ca un indicator al preciziei de masurare a unui test, al consistentei interne si fidelitatii unui instrument psihologic. Īn mod normal, valoarea indicelui Cronbach alfa tinde sa creasca pe masura ce numarul itemilor creste. Utilizarea unor teste cu muti itemi este neconvenabila din mai multe motive. Unul dintre acestea este timpul consumat cu aplicarea lor, altul, poate fi inutilitatea de a pastra itemi a caror contributie la scorul global este nula, mica sau, dimpotriva, merg īn alta directie decāt acesta. Identificarea si eliminarea acestor itemi, ori modificarea lor īn spiritul atributului masurat, este unul dintre obiectivele analizei de itemi. Ea are un caracter recursiv, cu evaluari succesive ale relatiilor dintre itemi si dintre itemi si scorul global, si operarea selectiei itemilor īn functie de relatia lor cu acesta. Criteriul de baza pentru aceasta operatie este valoarea indicelui Cronbach alfa, care are o plaja de variatie īntre 0 si 1. O scala, pentru a fi considerata consistenta, trebuie sa atinga o valoare cāt mai aproape de 1, nivelul de 0.70 fiind acceptat ca prag limita de catre cei mai multi cercetatori. Oricum, valoarea lui Cronbach alfa nu poate fi mai mica de 0.60.
Utilizarea improprie a analizei de itemi
Atunci cānd o scala este utilizata pentru a masura cunostinte asupra unui anumit subiect, pentru alt scop decāt cel de selectie sau evaluare comparativa īntre indivizi, utilizarea indicelui Cronbach alfa nu este adecvata. O valoare redusa a acestuia nu poate īnsemna ca itemii nu masoara un anumit tip consistent de cunostinte (fapt incontestabil din moment ce fac parte dintr-un univers de cunoastere bine definit) ci mai degraba ca subiectii au raspuns la īntāmplare. Mai departe, īn cazul īn care raspunsurile la o anumita īntrebare sunt corecte pentru cea mai mare parte a subiectilor, sau pentru toti, desi am fi tentati sa apreciem acest fapt ca o expresie pozitiva a "corelatiei itemului cu scorul global", avem de a face mai degraba cu un item prea usor, care nu este suficient de discriminativ pentru a fi pastrat.
Chiar si īn acest tip de situatii, totusi, analiza de itemi poate fi folositoare ca modalitate de identificare a itemilor gresit formulati, a celor nerelevanti, sau, pur si simplu pentru a scoate īn evidenta erorile tipice pe care le fac subiectii la anumite īntrebari.
Analiza de itemi cu SPSS
Procedura de analiza se lanseaza din meniul Statistics-Scale-Reliability Analysis..., care deschide urmatoarea caseta de dialog:
Variabilele care contin valorile itemilor de analizat vor fi trecute īn lista Items.
Atentie, variabilele trebuie sa contina valori care exprima semnificatia raspunsului īn raport cu scala globala, si nu raspunsul efectiv al subiectului. De exemplu, daca variantele de raspuns sunt codificate cu 1, respectiv 2, pot exista īntrebari pentru care varianta "1" aduce un punct la scala iar varianta "2" aduce zero puncte la scala. Īntr-o asemenea situatie, pentru analiza de itemi valorile codificate de raspuns vor fi transformate īn valori corespunzatoare (0 si 1). Īn acelasi mod se va opera si pentru itemii care au mai multe variante de raspuns, cum este cazul scalelor de tip Likert. Codurile conventionale ale variantelor de raspuns vor fi transformate īn valori, īn functie de semnificatia contributiei lor la construirea scorului global.
Īn lista Model se poate alege unul dintre urmatoarele modele de analiza:
Alfa. Calculeaza Cronbach alfa care pentru date dihotomice este echivalent cu coeficientul Kuder-Richardson 20 (KR20)
Split-half. Pentru corelatia dintre forme paralele, coeficientul de fidelitate Guttman, coeficientul Spearman-Brown, coeficientul alfa pentru fiecare jumatate.
Modele Gutman. Coeficientii lambda, de la 1 la 6
Modele paralele si strict paralele. Testele pentru gradul de corespondenta (goodness-of-fit), varianta comuna, si alte caracteristici ale raporturilor dintre itemi.
Pentru analiza de consistenta interna se alege modelul Alfa.
Īn continuare, se fac setari de analiza prin deschiderea casetei Statistics:
Īn zona Descriptives se vor
bifa optiunile:
Item (analiza fiecarui item separat);
Scale (analiza scorului global)
Scale if item deleted (analiza scorului fara contributia unui anumit item)
Īn zona Inter-item se va bifa Corelations, pentru a obtine matricea de corelatii dintre itemi.
Summaries permite calcularea unor indicatori descriptivi pentru fiecare dintre itemii analizati (media, varanta, covarianta, corelatii)
Īn practica, bifarea optiunilor marcate pe caseta din imaginea de mai sus ofera informatiile cele mai importante pentru analiza itemilor unui test. Celelalte optiuni sunt explicitate īn Help-ul casetei si pot fi utilizate pentru o analiza mai rafinata a datelor.
Īn continuare vom analiza un set de 10 itemi ipotetici, alesi doar īn scop didactic. Pentru o scala reala acest numar ar fi cu totul insuficient. Ca regula generala, numarul itemilor din faza de dezvoltare a unui astfel de instrument ar trebui sa aiba cel putin dublul numarului de itemi pe care īl preconizam la final. si aceasta pentru ca analiza de itemi este un proces reiterativ care are drept scop selectarea itemilor adecvati pentru constituirea unei scale cu cel mai ridicat nivel de consistenta interna posibila.
Rularea procedurii, cu setarile de mai sus ne ofera urmatoarele categorii de informatii:
Un tabel cu indicatori descriptivi, media si abaterea standard a itemilor. Analiza valorilor permite evidentierea tendintei centrale si a īmprastierii raspunsurilor pentru fiecare item īn parte.
Matricea de intercorelatii a itemilor ofera o imagine a gradului de asociere dintre itemi. Valorile sunt utile, pe de o parte pentru a sesiza itemii care tind sa aiba relatii negative cu ceilalti, fiind un semn al unei posibile probleme de construire respectivilor itemi. Din tabelul alaturat rezulta ca itemii i_02 si i_03 tind sa se asocieze negativ cu majoritatea celorlalti itemi. Pe de alta parte, valori extrem de ridicate ale unor corelatii, aproape de 1, ar putea sugera ca itemii respectivi prezinta un grad de similitudine care nu justifica utilizarea lor īn aceeasi scala (ar putea fi, de exemplu itemi formulati extrem de asemanator).
Un set de indicatori statistici descriptivi la nivelul īntregii scale.
Īn fine, cea mai importanta dintre categoriile de informatii,
tabelul relatiilor dintre itemi si scorul global. Doua dintre
coloanele alaturate au o importanta particulara: Corected Item-Total Correlation
(corelatia dintre item si scorul global) si Alpha if Item Deleted (valoarea lui Cronbach alfa, daca
respectivul item ar fi eliminat).
Daca privim prima dintre aceste doua coloane, observam ca doi dintre itemi (i_03 si i_09) au corelatii negative cu scorul global. Cu alte cuvinte, ei nu aduc informatie utila īn raport cu atributul masurat ci, dimpotriva, merg īntr-o alta directie decāt acesta. Īn primul rānd trebuie sa verificam daca valorile itemului respectiv au fost corect codificate. Daca da, atunci singura solutie posibila este eliminarea itemilor īn cauza. Observam, de asemenea, ca itemul i_02 are o corelatie extrem de mica cu scorul global (0.015). Contributia sa la scorul global este extrem de mica. Cu alte cuvinte, nici nu strica dar nici nu ajuta.
Pe ultima linie a imaginii gasim valoare lui Cronbach alfa, care este 0.457, o valoare care este modesta īn raport cu nivelul necesar (0.70) dar care poate fi crescuta prin eliminarea itemilor nepotriviti, īn primul rānd a celor care coreleaza negativ cu scorul global.
Urmatoarea faza este reluarea prelucrarii, cu eliminare itemilor negativi. Īn general nu este recomandabila eliminarea mai multor itemi simultan, dar itemii negativi pot fi scosi fara remuscari. Iata care este rezultatul eliminarii itemilor 3 si 9 asupra consistentei interne:
Ca urmare a noii iteratii, se observa ca itemul i_02, care anterior avea o corelatie pozitiva dar extrem de mica, a dobāndit o corelatie negativa cu scala. Ca urmare, va fi eliminat. Īn orice caz, chiar si itemii pozitivi, care au corelatii cu scala mai mici de 0.1 nu trebuie pastrati, pentru simplul motiv ca nu contribuie la constructul psihologic vizat, fiind doar consumatoare de timp īn aplicarea instrumentului. De altfel, se si observa ca prin eliminarea acestui singur item, valoarea lui Cronbach alfa creste la 0.75.
Se reia prelucrarea fara itemul i_02 si se obtine urmatoarea configuratie de rezultate:
Datele indica o valoarea Cronbach alfa de 0.757. Īn plus, daca privim ultima coloana de cifre, vedem ca prin eliminarea oricarui item nu am obtine o valoare mai ridicata decāt aceasta.
Cu ocazia iteratiilor succesive, se vor elimina mai īntāi itemii avānd o corelatie negativa cu scorul global, iar apoi cei cu corelatii mici, nerelevante. Cu cāt avem mai multi itemi īn aceasta faza, cu atāt avem posibilitatea sa pastram itemi care coreleaza mai intens cu scala si, deci, sa atingem un nivel mai ridicat de consistenta interna. Este de la sine īnteles ca īn cazul īn care construim un instrument ale carui īntrebari se adreseaza unor "scale" diferite, consistenta interna se va evalua separat pentru setul de īntrebari corespunzator fiecarei scale.
O scala "consistenta intern" ne ofera garantia ca īntrebarile instrumentului nostru "merg īmpreuna", masoara acelasi "construct" psihologic. Atentie, īnsa, acest lucru nu ne permite īnca sa afirmam ca masoara exact ceea ce n-am propus sa masoare. Aceasta problema va fi rezolvata ulterior prin studii de validare.
Asa cum concluziile studiilor statistice sunt mai sigure atunci cānd sunt efectuate pe esantioane mai mari, acelasi principiu se aplica si īn cazul constructiilor scalelor: cu cīt mai multi itemi cu atāt mai bine pentru consistenta scalei.
Numarul itemilor necesari pentru a completa o scala care nu a atins valoarea acceptabila a indicelui Cronbach alfa poate fi estimat cu ajutorul formulei Spearman-Brown:
Unde
αx este valoarea curenta a lui Cronbach alfa
αk este nivelul dorit al lui Cronbach alfa
k este factorul de multiplicare a scalei pentru a se obtine αk
Īntr-un mod similar, se poate estima valoarea lui Cronbach alfa (αk) care ar fi atinsa pornind de la un anumit nivel calculat al acestuia αx si un anumit factor de multiplicare al numarului de itemi (k):
Exemplu:
Avem o scala cu 20 de itemi si αx=0.50
Cāti itemi ar trebui adaugati pentru a atinge un nivel α de 0.70?
Deci pentru a atinge un α de 0.70 va trebui sa avem o scala de 20*2.33≈47 itemi, ceea ce īnseamna ca ne vor mai trebui 27 de itemi pe lānga cei 20 deja existenti (estimare valabila pentru situatia īn care noii itemi ar avea aceeasi corelatie inter-itemi cu cei deja existenti).
Pentru acelasi caz, cu cāt ar creste α daca am adauga 30 de itemi:
k=(nr. itemi initiali+nr. itemi noi)/nr. itemi noi=(20+30)/20=2.5
Desigur, se presupune ca noii itemi adaugati vor fi la fel de "buni" ca si cei deja utilizati. De aceea este posibil ca rezultatul formulei sa fie o estimare usor optimista dar nu mai putin utila.
|
