
Rzetelność i trafność odpowiadają na różne pytania. Możesz uzyskiwać podobne wyniki, a mimo to interpretować je jako pomiar cechy, której pytania nie obejmują. Możesz też dobrze określić treść narzędzia, lecz zbierać odpowiedzi obciążone zbyt dużą niepewnością. Przed użyciem kwestionariusza trzeba sprawdzić oba obszary.
Najważniejsza decyzja nie brzmi „czy ta ankieta ma dobrą alfę?”, lecz „co chcę powiedzieć o osobie lub grupie na podstawie tego wyniku i jakie mam do tego podstawy?”. Poniżej przechodzimy przez tę decyzję na fikcyjnym przykładzie. Nie jest to instrukcja obliczania współczynników ani pełny program walidacji.
Trafność a rzetelność: dwa pytania o znaczenie wyniku
Rzetelność dotyczy precyzji i powtarzalności pomiaru w określonych warunkach. Można badać różne źródła niepewności: związek pozycji tworzących wynik, zgodność ocen różnych obserwatorów albo stabilność przy powtórzeniu pomiaru, gdy mierzona cecha nie powinna się zmienić. Te informacje nie są zamienne.
Trafność dotyczy podstaw interpretowania wyniku jako informacji o określonym konstrukcie dla planowanego zastosowania. Standards for Educational and Psychological Testing podkreślają, że uzasadnienia wymaga konkretna interpretacja wyniku. Ogólna etykieta „trafny test” może ukrywać różnice między zastosowaniami.
W taksonomii COSMIN rzetelność, trafność i zdolność wykrywania zmiany są odrębnymi obszarami jakości pomiaru. COSMIN rozwijano dla narzędzi pomiaru wyników zdrowotnych; jego rozróżnienia pomagają uporządkować pytania, ale nie ustanawiają obowiązkowego schematu każdej pracy dyplomowej. Własne nazewnictwo dopasuj do literatury przyjętej w dyscyplinie.
Przykład: samoocena umiejętności nie jest sprawdzianem wykonania
Fikcyjny projekt o wyszukiwaniu informacji naukowej
Student chce określić, czy uczestnicy potrafią znaleźć artykuł naukowy i sprawdzić jego dane bibliograficzne. Układa cztery zdania oceniane od 1 do 5: „Czuję się pewnie, szukając literatury”, „Wyszukiwanie nie sprawia mi trudności”, „Uważam, że dobrze znajduję publikacje” i „Jestem zadowolony ze swoich umiejętności”.
W roboczym planie suma otrzymuje nazwę „poziom umiejętności wyszukiwania”. To właśnie ten krok wymaga sprawdzenia. Pytania dotyczą przede wszystkim przekonania o własnych możliwościach i odczuwanego komfortu. Nie zawierają zadania, w którym uczestnik musiałby znaleźć publikację lub zweryfikować jej opis.
Wymyślona osoba zaznacza średnio 4 zarówno dziś, jak i tydzień później. W przygotowanym osobno ćwiczeniu myli jednak tytuł czasopisma z tytułem artykułu. Druga osoba ocenia siebie ostrożniej, lecz prawidłowo wskazuje autorów i rok publikacji. Te scenariusze pokazują możliwą rozbieżność znaczeń, a nie wyniki rzeczywistego badania.
Powtórzenie podobnej odpowiedzi nie rozstrzyga problemu. Może odzwierciedlać stabilne przekonanie o sobie, pamięć wcześniejszej odpowiedzi lub inne warunki. Jedna osoba i dwa terminy nie stanowią wystarczającego badania rzetelności. Nawet dobrze uzasadniona stabilność wyniku samooceny nie zmieniłaby go automatycznie w bezpośredni pomiar wykonania zadania.
Dwie uczciwe decyzje dla tego projektu
- Zachowaj pytanie o samoocenę. Jeżeli interesuje Cię postrzegana sprawność lub pewność w poszukiwaniu informacji, doprecyzuj konstrukt, treść i nazwę wyniku. Nadal potrzebujesz dowodów odpowiednich dla tej interpretacji.
- Zmień sposób pomiaru umiejętności. Jeżeli pytanie dotyczy wykonania, rozważ zadania z jasno określonymi kryteriami oceny. Trzeba uzasadnić ich zakres, trudność, punktowanie i warunki. Samo dodanie zadania nie kończy oceny jakości narzędzia.
Nie naprawiaj rozbieżności przez zmianę podpisu dopiero po analizie. Najpierw zapisz, jaką cechę chcesz rozpoznać. Punkt wyjścia pokazuje plan powiązania zmiennych ze wskaźnikami.
Zacznij audyt od treści, zanim otworzysz program
W naszym przykładzie przy każdym pytaniu można zaznaczyć, czy dotyczy poczucia pewności, deklarowanej łatwości, oceny siebie czy faktycznej czynności. Taka mapa ujawnia brak bezpośredniego pomiaru wykonania. Nie wymaga jeszcze żadnego współczynnika.
W podejściu COSMIN ocenę treści porządkują trzy pytania: czy elementy są istotne dla konstruktu i odbiorców, czy nie pominięto ważnego obszaru oraz czy instrukcje i pytania są rozumiane zgodnie z zamiarem. To różne zadania. Kwestionariusz może być prosty językowo i równocześnie obejmować tylko wąski fragment potrzebnej treści.
W fikcyjnym projekcie same deklaracje łatwości nie obejmują sprawdzania autorstwa, identyfikowania rodzaju publikacji i oceny zgodności opisu. Jeśli właśnie te czynności definiują umiejętność, ich brak trzeba rozstrzygnąć. Nie oznacza to, że każdy projekt musi sprawdzać wszystkie możliwe kompetencje. Zakres wynika z pytania i uzasadnienia, nie z dążenia do najdłuższej ankiety.
Przeczytaj, czego naprawdę dowodzi publikacja o narzędziu
Zdanie „kwestionariusz zastosowano wcześniej” jest słabsze od informacji, jakie jego właściwości zbadano i do jakich wniosków uprawniały wyniki. Nie traktuj liczby cytowań, popularności ani rozpoznawalnej nazwy jako zastępstwa dokumentacji.
Przy wybranym źródle przygotuj krótką notatkę:
- Interpretacja: co oznacza wynik i dla jakiego celu go używano?
- Badana grupa i warunki: kogo obejmowała ocena oraz na ile odpowiada to Twojemu zastosowaniu?
- Rodzaj dowodu: czy oceniano treść, sposób odpowiadania, strukturę wyniku, relacje z innymi zmiennymi lub określony aspekt rzetelności?
- Wynik i ograniczenie: co wykazano, a czego autorzy nie sprawdzali?
- Twoja decyzja: czy dowód wspiera planowane twierdzenie, wymaga dodatkowego sprawdzenia czy wskazuje na niedopasowanie?
Jeżeli badano samoocenę studentów, nie opisuj tej publikacji jako potwierdzenia pomiaru rzeczywistych umiejętności pracowników. Podobieństwo nazwy nie wystarcza. Formalne sprawdzenie wersji, warunków użycia i klucza omawia osobny poradnik oceny dokumentacji gotowego kwestionariusza. Tutaj chodzi o siłę uzasadnienia interpretacji.
Dlaczego wysoka alfa Cronbacha nie zamyka oceny?
Alfa jest współczynnikiem obliczanym z odpowiedzi na określony zestaw pozycji. Nie jest testem trafności ani dowodem, że wszystkie pytania mierzą jeden wymiar. Sijtsma pokazuje, że z jej wartości nie można odczytać wewnętrznej struktury testu. Wysoki współczynnik nie rozstrzyga też, czy cecha odpowiada nazwie wyniku.
W fikcyjnym kwestionariuszu kilka bardzo podobnych zdań o pewności siebie może współwystępować. Nawet gdyby analiza wykazała wysoką alfę, nadal trzeba byłoby uzasadnić interpretację jako umiejętności wyszukiwania. Wielokrotne pytanie o podobne odczucie nie uzupełnia brakującego pomiaru wykonania.
Nie stosuj reguły „powyżej jednego progu narzędzie jest dobre”. Znaczenie mają cel pomiaru, założenia modelu, struktura wyniku i niepewność oszacowania. Ciżkowicz omawia zależność wyboru współczynnika od modelu pomiarowego. Zastąpienie alfy omegą bez sprawdzenia modelu również nie potwierdza trafności. Usuwanie pozycji wyłącznie dla podniesienia liczby może dodatkowo zawęzić treść narzędzia.
Dobierz sposób sprawdzenia do pytania o jakość
Jeśli obawiasz się, że odbiorcy inaczej rozumieją instrukcję, potrzebujesz sprawdzenia procesu odpowiadania. Jeśli chcesz łączyć pozycje w jeden wynik, trzeba uzasadnić tę konstrukcję. Jeżeli planujesz porównywać wynik tej samej osoby w czasie, ważna staje się porównywalność pomiaru i możliwość odróżnienia zmiany cechy od niepewności pomiarowej.
Różne pytania wymagają innych danych. Jednorazowa ankieta nie dostarcza sama informacji o stabilności w kolejnych terminach. Przy test-reteście trzeba uzasadnić odstęp i ocenić, czy w tym czasie mogła nastąpić rzeczywista zmiana. Nie ma jednego czasu powtórzenia pasującego do wszystkich konstruktów.
Pilotaż może ujawnić niezrozumiałe słowo lub kłopot z obsługą formularza. Nie nazywaj go pełną walidacją tylko dlatego, że uczestnicy nie zgłosili uwag. Potrzebujesz jasno określić, co sprawdzono, jakie dowody uzyskano i które kwestie pozostały otwarte.
Co zapisać w metodologii, gdy dowodów jest mało?
Przedstaw rzeczywisty status narzędzia. Możesz opisać autorski zestaw pytań służący rozpoznaniu deklaracji, wykonaną ocenę zrozumiałości i ograniczenia interpretacji. Nie dopisuj standaryzacji, norm ani walidacji, których nie przeprowadzono. Samo sprawdzenie treści przez opiekuna pracy nie oznacza automatycznie pełnej oceny psychometrycznej.
W naszym fikcyjnym przykładzie uczciwy zapis po zmianie celu mógłby brzmieć: „Kwestionariusz dotyczył samooceny sprawności wyszukiwania informacji. Wyniku nie interpretowano jako bezpośredniego sprawdzianu wykonania zadań. Zakres przeprowadzonego sprawdzenia narzędzia i jego ograniczenia opisano osobno”. Taki fragment wymaga dostosowania do rzeczywiście wykonanych czynności.
Jeśli luka podważa główne pytanie pracy, wróć do planu przed zbieraniem danych. Możesz poszukać lepiej dopasowanego narzędzia, ograniczyć zakres twierdzenia albo zaplanować dodatkowe sprawdzenie. W ramach usługi „Ankiety i narzędzia badawcze” można omówić powiązanie pytań, konstruktu i planowanej interpretacji. Zwykła korekta ankiety nie zastępuje odrębnego badania walidacyjnego.
Lista kontrolna przed wyborem kwestionariusza
- Nazwij konkretną cechę i twierdzenie, które chcesz oprzeć na wyniku.
- Porównaj to twierdzenie z treścią pytań oraz rzeczywistym sposobem odpowiadania.
- Oddziel dostępne dowody trafności od informacji o poszczególnych aspektach rzetelności.
- Sprawdź, jakiej grupy, warunków i zastosowania dotyczą źródła.
- Nie traktuj współczynnika, jednego progu ani udanego wypełnienia formularza jako certyfikatu całego pomiaru.
- Zapisz decyzję, ograniczenie i zadanie wymagające wyjaśnienia przed rekrutacją.
Najczęstsze pytania
Czy wysoka alfa Cronbacha potwierdza trafność kwestionariusza?
Nie. Alfa dotyczy określonego aspektu spójności wewnętrznej wyniku przy odpowiednich założeniach. Nie dowodzi, że narzędzie mierzy właściwy konstrukt ani że interpretacja jest uzasadniona w nowej grupie. Potrzebne są dowody odpowiadające planowanemu zastosowaniu.
Czy wyższy współczynnik po usunięciu pytania automatycznie uzasadnia skrócenie skali?
Nie. Trzeba ocenić znaczenie pozycji, model pomiaru, zasady użytej wersji i konsekwencję zmiany dla interpretacji. Zwiększenie jednego wskaźnika nie potwierdza zachowania treści całego narzędzia.
Źródła i zakres opracowania
Przykład wyszukiwania literatury, dwie fikcyjne osoby i karta audytu są autorskimi materiałami edukacyjnymi. Nie przedstawiają oceny rzeczywistego narzędzia ani badania jego właściwości.
- American Educational Research Association, American Psychological Association, National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing, rozdział 1, zwłaszcza s. 11-14. Wykorzystano ujęcie trafności odnoszone do interpretacji wyników dla zamierzonego zastosowania. https://www.testingstandards.net/uploads/7/6/6/4/76643089/standards_2014edition.pdf
- COSMIN. COSMIN Taxonomy of Measurement Properties oraz tabela definicji. Wykorzystano rozróżnienie obszarów jakości pomiaru. https://www.cosmin.nl/tools/cosmin-taxonomy-measurement-properties/ ; https://cosmin.nl/wp-content/uploads/COSMIN-definitions-domains-measurement-properties.pdf
- COSMIN (2024). Conducting a systematic review of Patient-Reported Outcome Measures: COSMIN manual, wersja 2.0, część 6.1 o ocenie treści. Zasady dotyczące PROM wykorzystano jako uporządkowanie pytań o dopasowanie treści, nie uniwersalny standard każdej pracy dyplomowej. https://www.cosmin.nl/wp-content/uploads/COSMIN-manual-V2_final.pdf
- Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness of Cronbach's Alpha. Psychometrika, 74, 107-120. DOI: 10.1007/s11336-008-9101-0. https://link.springer.com/article/10.1007/s11336-008-9101-0
- Ciżkowicz, B. (2018). Omega McDonalda jako alternatywa dla alfa Cronbacha w szacowaniu rzetelności testu. Polskie Forum Psychologiczne, 23(2), 311-329. DOI: 10.14656/PFP20180206. https://pfp.ukw.edu.pl/archive/article-full/375/cizkowicz_omega_mcdonalda/
Przegląd merytoryczny źródeł: 27.10.2026.
Redakcja: Rozdział Metodologiczny


