Zisťovanie reliability

Existuje niekoľko spôsobov zisťovania reliability:

• Opakovanie administrácie výskumného nástroja
• Rozpolovanie výskumného nástroja
• Odhad vnútornej konzistencie výskumného nástroja

(A) Opakovanie administrácie výskumného nástroja

Táto metóda sa nazýva aj test – retest, ale pod testom sa chápe aj iný výskumný nástroj než test, napríklad škálovaný dotazník. Pri opakovaní administrácie sa postupuje tak, že sa ten istý výskumný nástroj zadáva dvakrát tým istým ľuďom s časovým odstupom. Potom sa vypočíta miera zhody medzi výsledkami prvého a druhého administrovania.

Tento spôsob pripomína zisťovanie presnosti merania pásmovým metrom. Keď sa chcete presvedčiť, či sme odmerali koberec správne, meriate dvakrát. Výsledok by mal byť totožný. Na rozdiel do kobercov meranie ľudských charakteristík je menej presné, pretože do hry vstupuje veľa faktorov, ktoré spôsobujú rozdiely medzi prvým a druhým meraním.

Miera zhody medzi obidvomi výsledkami sa obyčajne vyjadruje korelačným koeficientom   Korelačný koeficient = index vyjadrujúci stupeň vzťahov medzi dvomi premennými. Môže nadobudnúť hodnoty od -1 (vôbec nijaká zhoda) po +1 (úplná zhoda). 0 znamená žiadny vzťah.. Od dobrých výskumných nástrojov sa požaduje, aby korelácia bola minimálne 0,70. Nižšie korelácie ukazujú na menšiu presnosť a spoľahlivosť. Samozrejme, záleží aj na type a obsahu výskumného nástroja. Napríklad od projektívnych nástrojov, akými sú testy slovných asociácií alebo kresba, nemožno očakávať takúto vysokú spoľahlivosť.

Príklad...

Aký veľký má byť časový odstup medzi prvou a druhou administráciou? Ak je interval medzi dvomi meraniami veľmi krátky, je možné, že si skúmané osoby zapamätajú predchádzajúce odpovede a budú ich opakovať. Pri veľmi dlhom intervale do hry môžu vstúpiť niektoré nepriaznivé okolnosti, napr. skúmaná vlastnosť sa môže v priebehu času čiastočne zmeniť. Napríklad pri výskume pomocou dotazníka o klíme triedy môže byť okolnosťou, ktorá zmení danú vlastnosť, odchod „lídra“ triedy alebo príchod nového učiteľa. Špecifický problém je najmä pri testovaní vedomostí, pretože tie u žiakov obyčajne „starnú“ rýchlo, takže napríklad po 8 týždňoch sú už vedomostí značne zredukované (možno sa mýlime!). Opakované zadanie testu neprinesie dobrú reliabilitu.

(B) Rozpolovanie výskumného nástroja

Ak je výskumný nástroj dostatočne homogénny, možno reliabilitu zisťovať tak, že stačí test administrovať jedenkrát. Pri výpočte sa test rozdelí na dve polovice. Jednu polovicu tvoria výsledky párnych položiek a druhú výsledky nepárnych položiek. To znamená, že sa osobitne vypočíta skóre pre párne a pre nepárne položky. Výsledky nepárnych a párnych položiek sa skorelujú. Je to podobný postup ako pri opakovaní administrácie s tým rozdielom, že ide len o jedinú administráciu výskumného nástroja.

Príklad...

Pri tomto spôsobe sa ako keby porovnávali dva krátke výskumné nástroje. Keďže však kratší výskumný nástroj je obyčajne menej reliabilný ako dlhší, bude korelačný koeficient, čiže výsledná reliabilita, nižšia. Výsledok však nie je realistický. Výskumná nástroj bol umelo skrátený. Štatistika má fígeľ, ktorý umožní odhadnúť reliabilitu nástroja v plnej dĺžke. Je to korekčný vzorec Spearmana a Browna:

Výpočet reliability pomocou rozpolovania výskumného nástroja je založený na predpoklade, že nástroj je dostatočne homogénny, v opačnom prípade je vypočítaný koeficient nižší.

(C) Odhad vnútornej konzistencie výskumného nástroja

Dobrý výskumný nástroj nie je zmesou rôznych položiek, naopak, položky sú zostavené tak, aby zisťovali ten istý konštrukt, tú istú vlastnosť. Potom hovoríme, že výskumný nástroj má dobrú vnútornú konzistenciu. Na jej zistenie sa používajú dva základné vzorce.

Ak sa vo výskumnom nástroji skóruje každá položka dichotomicky, napríklad správna odpoveď získava 1 bod, nesprávna odpoveď 0 bodov, na výpočet sa používa vzorec Kudera a Richardsona č. 21 (autori zostavili viacero vzorcov, ktoré sa odlišujú číslovaním):

Príklad
Žiaci v teste, ktorý mal 50 položiek, dosiahli priemer 30 bodov. S² bolo 100. Vypočítané KR₂₁ je 0,90. Výskumný nástroj má vynikajúcu reliabilitu.

Ak sa výskumný nástroj skladá z položiek, ktoré nie sú dichotomické   Dichotomický = spôsob vyjadrenia dát len v dvoch hodnotách, napr. správne – nesprávne., ale majú väčšie rozpätie bodovania (napríklad 1 až 5), používa sa koeficient nazvaný Cronbachovo alfa. Tento koeficient sa používa typicky pri dotazníkoch, kde sú položky škálované (všetky položky v dotazníku majú škály rovnakej hodnoty a dĺžky). Jeho výpočet je prácnejší, a preto sa na výpočet používajú štatistické softvéry, napríklad SPSS alebo Statistica, pomocou ktorých sa výpočet uskutočňuje veľmi rýchlo.

Pri výskumnej metóde pozorovania sa reliabilita zisťuje iným spôsobom, než opakovaním administrácie, rozpolovaním alebo zisťovaním vnútornej konzistencie. Najčastejšie sa používa metóda posúdenia dvomi nezávislými hodnotiteľmi (inter-rater reliability). Dvaja hodnotitelia pozorujú danú situáciu (napr. vyučovaciu hodinu), priebežne kódujú do záznamového hárku javy, ktoré sa vyskytujú v priebehu vyučovania. Po skončení pozorovania porovnajú svoje kódy a vypočítajú stupeň zhody (obyčajne v %). O dobrej reliabilite pozorovania možno hovoriť, keď je zhoda aspoň 80-precentná. Prirodzene, obidvaja hodnotitelia musia byť dobre zacvičení a musia dokonale poznať pozorovací systém, ktorý používajú.