Rozdział Metodologiczny

Warsztat badania

Pytanie odwrócone w ankiecie. Jak sprawdzić jego brzmienie i klucz?

Opublikowano: Aktualizacja: 11.11.2026Około 18 min czytania

Arkusz ankiety na podkładce obok ołówka.

Jeśli przy jednym stwierdzeniu odpowiedź „zdecydowanie się zgadzam” ma obniżyć wynik skali, zacznij od instrukcji narzędzia i sprawdzenia, co oznacza wysoki wynik. Następnie przejdź z jedną próbną odpowiedzią przez trzy miejsca: formularz widoczny dla uczestnika, surowy eksport i kolumnę punktacji. Zapisz przewidywany kod na każdym etapie. W typowym kluczu dla wartości od 1 do 5 odwracana punktacja daje pary 1→5, 2→4, 3→3, 4→2 i 5→1. Ten wzór stosuj tylko do pozycji, dla których przewiduje go właściwy klucz, i dopiero po potwierdzeniu kodów w danych.

Sam arkusz nie podpowie, czy uczestnik zrozumiał zdanie zgodnie z założeniem. Do tego potrzebujesz krótkiej próby z osobą podobną do przyszłych uczestników. Poproś ją, by własnymi słowami powiedziała, czego dotyczy stwierdzenie, i wyjaśniła, dlaczego wybrała daną odpowiedź. Gdy jej parafraza zmienia sens pytania, sprawdź brzmienie, zanim zaczniesz zbierać odpowiedzi. Ten poradnik prowadzi przez oba sprawdzenia na jednym fikcyjnym kwestionariuszu.

Oddziel treść stwierdzenia, wybór uczestnika i punktację

W ankiecie stwierdzenie pojawia się jako zdanie, a uczestnik zaznacza, w jakim stopniu się z nim zgadza. W arkuszu wybór może mieć postać liczby od 1 do 5. Podczas punktowania liczba ma przekazać kierunek, który ustalono dla całej skali. Te trzy rzeczy łatwo pomylić, gdy w arkuszu widzisz tylko kod 5. Dopiero z brzmienia stwierdzenia, etykiety przypisanej do kodu i klucza wynika, czy oznacza on wyższą punktację.

Rozważ prostą skalę o jasności instrukcji w uczelnianym systemie rezerwacji. Wysoki wynik ma oznaczać większą deklarowaną jasność i możliwość skorzystania z instrukcji. Przy stwierdzeniu „Wiedziałem, od czego zacząć rezerwację” zgoda pasuje do wysokiego wyniku. Przy stwierdzeniu „W czasie rezerwacji gubiłem się w instrukcji” zgoda oznacza doświadczenie trudności. Zdanie nie zawiera słowa „nie”, a mimo to jego kierunek jest przeciwny wobec zamierzonego kierunku punktacji. W fikcyjnym kluczu autor przewidział odwrócenie drugiej pozycji. Oba zdania mogą mieć takie same etykiety odpowiedzi. Program ankiety zapisze zgodę tak samo, a etap punktowania uwzględni różnicę.

Sama obecność negacji również nie przesądza o odwróceniu punktacji. „Nie musiałem prosić o wyjaśnienie instrukcji” może opisywać doświadczenie sprzyjające wyższemu wynikowi jasności. W ankiecie o dostępności pomocy to samo zdanie może wnosić niewiele, bo mówi przede wszystkim o potrzebie kontaktu. Wpływ na punktację zależy od tego, co pozycja ma mierzyć, jak brzmi i jakie miejsce zajmuje w skali. Nie zmieniaj klucza na podstawie wyszukania słowa „nie”. Zapisz obok pozycji jej pełne brzmienie i zakres, a potem potwierdź decyzję w źródle.

Odwrotny kierunek nie oznacza też, że pozycje tworzą logiczne przeciwieństwa. Ktoś może wiedzieć, od czego zacząć, i jednocześnie gubić się na dalszym etapie. Ktoś inny może nie pamiętać pierwszego kroku i nie przypominać sobie dalszych trudności. Zgoda z obydwoma stwierdzeniami może być zgodna z przebiegiem zadania. Nie oznaczaj automatycznie takich odpowiedzi jako niespójnych. Zanim ocenisz, że odpowiedź wymaga wyłączenia, ustal, czy pozycje rzeczywiście pytają o ten sam aspekt, w tym samym czasie i wobec tej samej sytuacji.

Zapisz osobno decyzję o prezentacji odpowiedzi. Jeżeli w kwestionariuszu wszystkie stwierdzenia mają tę samą kolejność od sprzeciwu do zgody, nie odwracaj po cichu kolejności przy jednej pozycji tylko dlatego, że klucz działa w przeciwną stronę. Uczestnik ma wiedzieć, jak odpowiadać. Kod punktacji jest decyzją analityczną po zapisaniu jego wyboru. Jeżeli formularz celowo pokazuje różne układy, sprawdź opis narzędzia, zachowanie eksportu i sposób opisywania widocznych kotwic. W testach zapisuj dokładnie, co osoba widziała i co system zwrócił.

Odszukaj instrukcję odpowiadającą wersji kwestionariusza

Przy gotowej skali odczytaj źródło instrukcji. Zapisz nazwę, wersję, język, liczbę pozycji i datę, kiedy pozyskano materiały. Sprawdź, czy klucz dotyczy właśnie używanej formy, a nie wersji skróconej, innego tłumaczenia lub zestawu z inaczej ponumerowanymi pozycjami. Dwa formularze mogą wyglądać podobnie i różnić się jednym stwierdzeniem, zakresem odpowiedzi albo numeracją po wyłączeniu pytania wprowadzającego. Klucz odwracający pozycję numer 3 działa tylko wtedy, gdy numer 3 wskazuje właściwe stwierdzenie. W roboczym słowniku wpisz stabilną etykietę, np. JAS_03, i powiąż ją z pełnym brzmieniem oraz źródłowym numerem.

W arkuszu zapisz regułę z instrukcji. Czasem określa ona klucz dla poszczególnych podskal, sposób liczenia sumy lub średniej i warunek dopuszczenia braków. Nie zamieniaj punktacji na prostą średnią tylko dlatego, że tak łatwiej policzyć w programie. Nie zakładaj też, że każdą pozycję dodaje się do wyniku z tą samą wagą. Jeżeli instrukcja dopuszcza wynik częściowy lub przewiduje zastąpienie określonej liczby braków, zastosuj udokumentowaną regułę. Gdy instrukcja milczy, zapisz własną decyzję i uzasadnienie przed analizą. Ustal osobno, jak przedstawisz liczebność kompletnych przypadków i które obserwacje pozostaną dostępne przy opisie pojedynczych pozycji.

Jeśli korzystasz z narzędzia, w którym odpowiedzi mają opublikowaną kolejność i formę, sprawdź warunki wykorzystania i wymagania dotyczące modyfikacji. Własne uproszczenie zdania może zmienić zakres pozycji. Usunięcie negacji nie zawsze daje tę samą informację z przeciwnego bieguna. Nie utożsamiaj zmienionej wersji z oryginalną wersją zwalidowaną. Gdy chcesz użyć gotowego narzędzia, omów zmianę z promotorem lub osobą odpowiedzialną za metodę i sprawdź, czy dostępna jest zatwierdzona wersja dla właściwego języka. W opisie badań podaj, której wersji użyto i jakie zmiany rzeczywiście wprowadzono. Jeżeli klucz nie jest publiczny, odszukaj legalne źródło instrukcji przed zbieraniem odpowiedzi. Nie odgaduj klucza z oczekiwanego wyniku.

Dla własnego narzędzia zapisz definicję konstruktu w jednym zdaniu. Przykład: „Jasność instrukcji to deklarowana możliwość samodzielnego przejścia przez czynności potrzebne do rezerwacji”. Następnie przy każdej pozycji dopisz, jakie doświadczenie ma oznaczać wyższa punktacja i w jakich sytuacjach dana osoba może odpowiedzieć. Zdefiniuj regułę zanim obejrzysz zależności w zebranym zbiorze. Jeśli z jednej odpowiedzi trudno wnioskować o jasności, bo obejmuje jednocześnie szybkość strony, dostępność telefonu i zrozumiałość instrukcji, odwrócenie liczby nie rozwiąże problemu. Rozważ doprecyzowanie stwierdzenia lub rozdzielenie elementów, a każdą zmianę zapisz w historii wersji.

Krótka karta do użycia przed pierwszą próbą

Przed wejściem do formularza przygotuj dla każdej pozycji odwracanej zestaw informacji. Zapisz identyfikator, pełne brzmienie, pięć widocznych odpowiedzi, zakres kodów eksportu, źródło klucza, wynik po przeliczeniu i typy braków. Dodaj informację, czy pozycja wchodzi do ogólnej skali, konkretnej podskali albo jest analizowana samodzielnie. Kartę może sprawdzić druga osoba. Daj jej do przeliczenia pozycję bez informowania o Twoim oczekiwaniu i poproś o uzasadnienie na podstawie instrukcji. Różnica w odpowiedziach pokazuje, którego zapisu nie da się odtworzyć albo gdzie odczytano inną wersję źródła.

Przykładowa karta dla fikcyjnej pozycji: „JAS_02. W czasie rezerwacji gubiłem się w instrukcji. Zakres odpowiedzi 1-5 od zdecydowanego sprzeciwu do zdecydowanej zgody. Wyższy łączny wynik oznacza większą jasność. Punktacja JAS_02_P = 6 - JAS_02_RAW dla ważnych kodów. Puste pole pozostaje brakiem. Pozycja niewyświetlona przez filtr ma osobną flagę. Źródło reguły: fikcyjna instrukcja, wersja 1.2”. Taka karta opisuje etap techniczny. To, jak uczestnicy rozumieją stwierdzenie, trzeba jeszcze sprawdzić w rozmowie.

Sprawdź rozumienie bez podpowiadania kierunku

W krótkiej próbie pokaż uczestnikowi prawdziwą wersję formularza. Po wybraniu odpowiedzi poproś: „Jak rozumiesz to zdanie?” oraz „O jakim zdarzeniu myślałeś przy wyborze odpowiedzi?”. Daj chwilę na własną parafrazę. Nie zaczynaj od wyjaśnienia, że stwierdzenie jest „odwrócone”, bo podpowiesz, czego szukasz. Zapisz nie tylko wybraną liczbę, ale także sytuację, którą osoba miała na myśli, i znaczenie, jakie przypisała odpowiedzi. Zanotuj, jeśli musiała przeczytać zdanie ponownie, ale zapytaj o powód. Dłuższe czytanie może wynikać ze złożoności zdania, rozproszenia lub interfejsu.

Przykład fikcyjnej odpowiedzi na „W czasie rezerwacji gubiłem się w instrukcji”: „Dałem 5, bo od razu znalazłem właściwy przycisk”. Uczestnik wybrał najwyższą zgodę, lecz jego opis mówi o łatwości. Zapytaj neutralnie, co oznacza dla niego pozycja 5 w tym miejscu formularza. Jeśli zobaczył liczby bez kotwic i wszędzie używał 5 jako „dobrze”, problem może wynikać z prezentacji skali. Jeśli widział pełne etykiety, powtórzył zdanie poprawnie, lecz odniósł je do ogólnej oceny, przyjrzyj się instrukcji wprowadzającej i sąsiednim pozycjom. Jeżeli powiedział „było łatwo zacząć, zgubiłem się później”, odpowiedź może mieć sens. Warto sprawdzić, do którego etapu odnosi się stwierdzenie i co dokładnie ma opisywać.

Inny próbny uczestnik mógł zaznaczyć środek i powiedzieć, że nie próbował rezerwacji. To sygnał, że brakuje opcji spoza skali albo warunku wyświetlenia. „Ani się zgadzam, ani się nie zgadzam” jest odpowiedzią merytoryczną na skali. „Nie wykonywałem zadania” opisuje inny stan. Jeśli formularz nie odróżnia tych odpowiedzi, sam klucz nie odzyska informacji. Rozważ filtr kierujący pytanie do właściwej grupy albo odrębną odpowiedź „nie dotyczy”, o ile narzędzie na to pozwala. W gotowej skali zmiana opcji może wpłynąć na porównywalność, więc odnotuj ją i sprawdź dopuszczalność przed użyciem. Przy własnej ankiecie przeprowadź ponowną próbę po zmianie.

Sprawdź też wyrażenia o częstości i zakresie. Stwierdzenie „Nie zdarzało mi się nie rozumieć żadnego z etapów” zawiera złożoną negację. Uczestnik może odpowiedzieć na inną część zdania, niż oczekuje autor. Prostszy wariant „Podczas ostatniej rezerwacji był etap, którego nie rozumiałem” określa okres i zdarzenie, ale zwęża odniesienie do ostatniej rezerwacji. Własny wariant powinien pozostać zgodny z definicją oraz sytuacją badanych. Odpowiedzi na wersję pierwotną i nową nie są automatycznie zamienne. W opisie pilotażu wymień, co zmieniono i która wersja weszła do badania właściwego.

Rozróżnij trzy rodzaje kłopotów

Pierwszy rodzaj dotyczy rozumienia zdania. Uczestnicy powtarzają je jako inną treść, różnie rozpoznają okres, pomijają negację lub odpowiadają na ogólną satysfakcję zamiast na dany etap zadania. Drugi dotyczy wyboru odpowiedzi. Uczestnik rozumie zdanie, ale etykieta „5” znaczy dla niego coś innego, niż założono, albo nie znajduje kategorii dla swojej sytuacji. Trzeci dotyczy zapisu. Uczestnik wybrał właściwą etykietę, a eksport albo formuła przypisały jej nieoczekiwany kod. Te przypadki mogą wyglądać w danych podobnie. W wywiadzie sprawdzasz rozumienie i dopasowanie odpowiedzi, a w testach arkusza przechodzisz od etykiety do punktacji.

Van Sonderen, Sanderman i Coyne opisali problemy z pozycjami o odwróconym brzmieniu w analizie konkretnego narzędzia. Autorzy zakwestionowali założenie, że sam zabieg odwrócenia brzmienia usuwa tendencję do mechanicznej zgody. Nie wynika z tego powszechna reguła kasowania wszystkich takich pozycji z gotowych skal. Praktyczny wniosek do badania dyplomowego jest węższy: sprawdź wersję, zrozumienie i punktację, a decyzję o użyciu lub zmianie pozycji uzasadnij w odniesieniu do narzędzia i grupy. Oglądając pilotaż, zapisuj przykłady i przebieg, zamiast przypisywać każdą nietypową odpowiedź temu samemu mechanizmowi.

Przejdź od formularza do surowego kodu i wyniku

Załóżmy, że fikcyjna skala ma cztery pozycje. JAS_01 dotyczy wiedzy o rozpoczęciu rezerwacji, JAS_02 gubienia się w instrukcji, JAS_03 czytelności informacji o wybranym terminie, a JAS_04 samodzielnego sprawdzenia potwierdzenia. Wszystkie mają odpowiedzi od 1 do 5. W tej demonstracyjnej instrukcji tylko JAS_02 ma odwracany kierunek. Wszystkie cztery pozycje mają tę samą wagę, a wynik to suma punktów dla pełnego kompletu odpowiedzi. Najniższy możliwy wynik to 4, najwyższy 20. To założenia przykładu, które można sprawdzić bez znajomości rzeczywistego narzędzia. Jeśli używasz innej instrukcji, zachowaj jej zakres i reguły.

Najpierw przygotuj pięć próbnych odpowiedzi dla JAS_02. W każdej kolejnej próbie wybierz inną etykietę w tej samej wersji formularza. Zapisz oczekiwany kod i porównaj go z eksportem. Dla sprzeciwu zdecydowanego oczekujesz kodu 1 i punktacji 5. Dla sprzeciwu umiarkowanego oczekujesz kodu 2 i punktacji 4. Dla neutralności oczekujesz kodu 3 i punktacji 3. Dla umiarkowanej zgody kod ma wynosić 4, a punktacja 2. Dla zdecydowanej zgody kod ma wynosić 5, a punktacja 1. Jeżeli choć jedna para się nie zgadza, przerwij próbę całego wyniku. Ustal, czy pomyliła się reguła eksportu, mapa etykiet czy formuła punktacji.

W arkuszu trzymaj osobne kolumny: JAS_02_RAW na surową odpowiedź oraz JAS_02_P na wynik punktowania. Reguła 6 minus surowy kod dotyczy dopuszczalnych wartości całkowitych od 1 do 5. Przed odejmowaniem sprawdź, czy wartość należy do tego zbioru. Jeśli pustą komórkę program potraktuje jak zero, otrzymasz 6, choć pozycja dopuszcza tylko 1-5. Jeśli program zakodował brak jako 99, wynik odejmowania wyniesie -93. W obu przypadkach formuła zrobiła dokładnie to, co jej polecono, ale liczby nie są wynikami punktowania. Ustal, co oznacza puste pole, kod braku i wyłączenie filtra, a następnie przenoś je jako oznaczenia braku zamiast liczb z zakresu wyniku.

Wypróbuj również rekord niewyświetlony przez filtr. W formularzu uczestnik zaznacza, że jeszcze nigdy nie rezerwował stanowiska. Blok z JAS_02 się nie pojawia. W eksporcie pojawia się puste pole, a flaga wynika z wcześniejszej odpowiedzi. Zapisz to jako „pytanie niewyświetlone” lub zachowaj odrębny kod, który nie trafi do formuły. W innym rekordzie uczestnik zobaczył stwierdzenie i pominął odpowiedź. Tu także nie obliczasz punktów, lecz przyczyna braku jest inna. Gdy oba przypadki są oznaczone identycznie, możesz zachować rozróżnienie za pomocą informacji z filtra. Nie próbuj odtwarzać przyczyn z samego braku bez odpowiedniego sygnału w zbiorze.

Sprawdź trzy demonstracyjne rekordy

Rekord A ma surowe odpowiedzi 4, 2, 5, 4. JAS_02_RAW = 2 przechodzi na JAS_02_P = 4. Pozostałe pozycje zachowują wartości. Suma wynosi 4 + 4 + 5 + 4 = 17. Bez przeliczenia drugiej pozycji suma surowych kodów wyniosłaby 15. Obie liczby mieszczą się w dozwolonym przedziale 4-20. Sama kontrola zakresu wyniku ogólnego nie wykryłaby błędu. Dlatego sprawdź przynajmniej jeden rekord od etykiety odpowiedzi do sumy.

Rekord B ma surowe odpowiedzi 2, 5, 3, 2. Druga pozycja daje 1. Suma wynosi 2 + 1 + 3 + 2 = 8. Bez właściwego przeliczenia uzyskasz 12. Jeśli arkusz odwróci tę samą wartość dwukrotnie, wróci ona do 5, a suma znowu wyniesie 12. W praktyce podwójne przeliczenie może wystąpić, gdy formularz już eksportuje punktację, a arkusz traktuje tę kolumnę jak surowy wybór. Może się też zdarzyć, gdy formułę nałożono na kolumnę przygotowaną poprzedniego dnia. Sprawdź metadane eksportu i zachowaj plik źródłowy w nieedytowanej kopii.

Rekord C ma odpowiedzi 5, brak, 4, 4. W demonstracyjnej instrukcji liczy się wynik tylko dla kompletnych przypadków. Dlatego nie podajesz sumy dla C. Zachowujesz informację o dostępnych trzech odpowiedziach i przyczynie braku drugiej. Gdyby instrukcja przewidywała obliczenie średniej z trzech pozycji, wynik liczony z dostępnych punktów mógłby być dopuszczalny na innej podstawie. Nie stosuj takiej reguły w tym przykładzie. Wyników z kompletnych rekordów nie interpretuj automatycznie jako reprezentatywnych dla wszystkich uczestników. Sprawdź liczbę wyłączeń i ustal, co można opisać o ich przyczynach.

Przy większej liczbie pozycji wykonaj test minimalny i maksymalny. Rekord o najniższej jasności powinien otrzymać punkty 1 w każdej pozycji. Dla odwracanej JAS_02 oznacza to odpowiedź surową 5. Rekord o najwyższej jasności powinien otrzymać punkty 5 w każdej pozycji. Dla JAS_02 oznacza to surową odpowiedź 1. Otrzymujesz sumy 4 i 20. W innym formularzu może się okazać, że do jednej podskali trafiają tylko niektóre pozycje. Wtedy test wykonaj dla każdej podskali osobno. Suma ogólna nie zastępuje kontroli wyboru pozycji.

Zapisz wynik testu tak, by dało się go powtórzyć

Zachowaj datę i nazwę wersji formularza, typ użytej przeglądarki, jeśli testujesz widok oraz identyfikatory próbnych rekordów. Przechowuj sztuczne rekordy oddzielnie albo oznacz je w sposób pozwalający wykluczyć je przed analizą. Dla każdego zapisz etykietę na ekranie, eksportowany kod, punktację oczekiwaną i uzyskaną oraz wynik sumy. Porównanie dwóch liczb może wystarczyć do diagnozy, gdy ktoś zmieni nazwy kolumn albo skopiuje formułę na inną pozycję. Jeśli drugi sprawdzający odtworzy test na tych samych danych, łatwiej potwierdzić, że kontrola opierała się na instrukcji, a nie na intuicji.

Sprawdź walidację arkusza. W wersji przeznaczonej do ręcznego wprowadzania odpowiedzi możesz zablokować kody spoza listy, ale zachowaj sposób rejestracji prawdziwych braków. W wersji importowanej zgłoś wartości spoza zakresu do kontroli. Nie podmieniaj ich automatycznie na wartość skrajną lub środkową. Niekiedy pozornie nieprawidłowy znak jest etykietą tekstową albo konsekwencją zmiany typu danych przy imporcie. Odczytaj jeden przypadek w pliku pierwotnym, zanim zmienisz kodowanie całej kolumny. Jeżeli w danych występuje identyczny tekst dla „nie wiem” i pustego pola, wróć do dokumentacji formularza i oceń, czy można odzyskać rozróżnienie.

Dobierz postępowanie do tego, kiedy wykrywasz problem

Wersja przed uruchomieniem badania

Jeśli pilotaż pokazał, że zdanie jest niejednoznaczne, najpierw opisz, co miało mierzyć. Porównaj oczekiwany sens z parafrazami uczestników. Ustal, czy problem powoduje negacja, odniesienie czasowe, instrukcja, położenie skali czy wieloznaczne słowo. Przy własnym narzędziu zmień tylko uzasadniony element. Gdy zmieniasz jednocześnie zdanie, kolejność odpowiedzi i instrukcję, trudniej ustalić, co poprawiło rozumienie. Zapisz starą i nową wersję. Po zmianie pokaż ją osobom, które nie słyszały wcześniejszego wyjaśnienia. Sprawdź eksport powtórnie, bo przestawienie etykiet może zmienić kod.

Przy gotowej skali najpierw zobacz, czy używasz właściwego tłumaczenia oraz instrukcji. Błąd w kopii lub niezamierzona modyfikacja to inny przypadek niż trudność w zrozumieniu autoryzowanego brzmienia. Możesz poprawić literówkę wprowadzoną w formularzu, jeśli przywracasz dokładną treść źródłową. Gdy rozważasz zmianę merytoryczną, ustal z promotorem, czy chcesz nadal korzystać z danego narzędzia, czy opisać jego adaptację. Dwie wersje mogą mieć różne właściwości. Podanie jednej wspólnej nazwy bez wyjaśnienia utrudni ocenę i ewentualne porównanie wyników z literaturą.

Błąd punktacji znaleziony po zebraniu danych

Jeżeli ankieta pokazała prawidłową treść i uczestnicy zapisali odpowiedzi zgodnie z przeznaczeniem, a problem dotyczy jedynie formuły, często można przeliczyć wynik od oryginalnych danych. Zachowaj błędną wersję pliku jako ślad roboczy, opisz przyczynę korekty i wykonaj ją na kopii. Sprawdź rekordy testowe i rozkłady. Odśwież analizy, tabele i akapity korzystające z wyniku, nie tylko pojedynczą kolumnę. Zapisz, które liczby przeliczono. Nie porównuj „przed” i „po” w celu wyboru korzystniejszej wersji. Właściwa reguła wynika z instrukcji i sposobu zapisania odpowiedzi. Jeżeli poprawka nastąpiła po obejrzeniu wyników, udokumentuj ten moment.

Jeśli formularz pokazywał błędne etykiety albo część osób widziała inne brzmienie, sama poprawka formuły może nie wystarczyć. Najpierw odtwórz wersje i zakres problemu. Sprawdź datę zmiany, możliwość przypisania rekordów do wersji i treść widzianą przez uczestników. Jeżeli dwie wersje mierzyły coś innego albo jedna zachęcała do innego rozumienia skali, nie łącz ich automatycznie. Możesz rozważyć oddzielny opis albo zawęzić analizę do jednej udokumentowanej wersji, podając liczbę wyłączeń i ograniczenia. Wybór zależy od pytań badawczych, przyjętej instrukcji oraz tego, co da się potwierdzić w materiale. Jeśli nie masz kopii formularza z czasu zbierania danych, nie zakładaj, że aktualny ekran odtwarza poprzedni pomiar.

Nietypowy rozkład po poprawnym przeliczeniu

Nawet po zweryfikowaniu klucza możesz otrzymać pozycję, która słabiej wiąże się z resztą skali albo ma zaskakujący rozkład odpowiedzi. Sprawdź, czy pozycja dotyczy tego samego aspektu, kto na nią odpowiadał i jak działały opcje. Porównaj obliczenia na właściwym zbiorze. Sam kierunek związku z innymi pozycjami nie rozstrzyga, czy klucz ma zostać odwrócony. Może odzwierciedlać odmienny obszar doświadczenia, niezrozumienie pytania, przypadkowość w małej próbie albo błąd w danych. Nie wybieraj reguły punktowania dlatego, że podwyższa jeden współczynnik. W gotowym narzędziu modyfikację trzeba uzasadnić w odniesieniu do oryginału i przeznaczenia skali. W pracy z własnym zestawem wynik może wskazać pytanie do dalszych badań nad narzędziem.

Trudność sprawia czasem nazwa „odwracanie skali”. Jeśli kodujesz tylko jedną pozycję, napisz „odwrócono punktację pozycji JAS_02”. Jeżeli zmieniasz kierunek całej skali w raporcie, jest to inna operacja i wymaga własnego opisu. Gdy zmieniasz kolejność etykiet na ekranie, opisz decyzję w procedurze kwestionariusza. Jeśli zapiszesz jedynie „odwrócono skalę”, czytelnik nie ustali, czy zmieniła się treść pytania, kolejność odpowiedzi, kod w arkuszu czy interpretacja wyniku.

Zapisz w metodologii to, co czytelnik może odtworzyć

W opisie narzędzia podaj nazwę i wersję, znaczenie wysokiego wyniku, zakres odpowiedzi i listę pozycji punktowanych odwrotnie. Jeżeli pełna treść narzędzia może być zamieszczona w pracy, odwołaj się do miejsca, w którym czytelnik znajdzie brzmienie i etykiety. Jeżeli instrukcja nie pozwala reprodukować wszystkich pozycji, uszanuj zakres uprawnień i podaj wystarczający opis źródła oraz sposobu pracy. W części o przygotowaniu danych opisz oddzielenie surowych wartości od obliczonych, sposób traktowania braków i regułę wyliczenia wyniku. W części o procedurze albo pilotażu podaj, co sprawdzano i co po sprawdzeniu zmieniono.

Przykładowy akapit demonstracyjny: „Fikcyjny kwestionariusz jasności instrukcji zawierał cztery pozycje z pięcioma odpowiedziami od zdecydowanego sprzeciwu (1) do zdecydowanej zgody (5). Wyższy wynik oznaczał większą deklarowaną jasność instrukcji. Punktację pozycji JAS_02 przeliczono jako 6 minus wartość surowa, po sprawdzeniu zakresu 1-5. Dla pozostałych pozycji zachowano kod źródłowy jako punktację. Sumę w zakresie 4-20 liczono dla kompletu czterech odpowiedzi. Surowy wybór i punktację po przeliczeniu zapisano oddzielnie. Puste pola i pytania niewyświetlone przez filtr oznaczono niezależnie i nie przeliczano ich na punkty”. W swojej pracy podmień tylko to, co odpowiada rzeczywistemu narzędziu i zrealizowanemu postępowaniu.

Jeżeli przed badaniem dokonano pilotażu, opisz jego zakres na przykład w następującej formie: „W próbie sprawdzono, jak osoby o profilu zbliżonym do badanych parafrazowały pozycje i uzasadniały wybór odpowiedzi. Po konsultacji doprecyzowano, że pozycja JAS_02 dotyczy ostatniej rezerwacji. Ponownie sprawdzono jej rozumienie oraz zgodność kodów eksportu z kluczem na sztucznych rekordach”. W prawdziwym zapisie uzupełnij liczbę osób, kryteria doboru i moment próby, jeśli są udokumentowane. Nie nazywaj kontroli pięciu kodów badaniem trafności. Nie nazywaj rozmowy z kilkoma osobami dowodem, że wszyscy przyszli uczestnicy będą interpretować pytanie tak samo.

Sprawdź, czy kody zaczynają się od zera

Jeżeli formularz eksportuje kody od 0 do 4, dla odwracanej pozycji w tym samym zakresie obowiązuje 4 minus kod. Otrzymujesz pary 0→4, 1→3, 2→2, 3→1 i 4→0. Gdy używasz wzoru 6 minus kod, środek 2 daje 4, a skrajny kod 0 daje 6. Obie wartości zdradzają, że arkusz korzysta z reguły przeznaczonej dla innej skali. Przy kolejnych liczbach od dolnej do górnej granicy odwrócenie można zapisać jako sumę obu granic pomniejszoną o kod. Wzór pozostawia środek w tym samym miejscu, jeśli zakres ma jedną środkową liczbę. Nadal sprawdź, czy takie przeliczenie odpowiada instrukcji.

Przy eksporcie wartości opisowych albo kodów 10, 20, 30, 40 i 50 zacznij od mapy etykiet oraz punktów podanej przez instrukcję. Samo odjęcie liczby od sumy krańców odwróci numery techniczne, ale może pozostawić wartości w jednostce nieużywanej w skali. W zestawie testowym porównaj etykietę z formularza, identyfikator eksportu i oczekiwaną punktację. Jeżeli kod 0 bywa zarazem kodem braków, sprawdź informację o wersji i typie pola, zanim go przeliczysz. Z zapisu, który nie rozróżnia odpowiedzi od braku, nie da się odtworzyć tego rozróżnienia samą formułą.

Lista przed zebraniem pierwszej odpowiedzi

Przeczytaj listę na jednej konkretnej pozycji. Jeżeli jedno pole pozostaje puste, wróć do właściwego etapu przygotowania. Zadbaj o możliwość odtworzenia decyzji przez drugą osobę.

  • Zapisz, co oznacza wyższy wynik i którą cechę ma opisywać dana pozycja.
  • Potwierdź właściwą instrukcję, wersję językową i numer pozycji w narzędziu.
  • Porównaj pełne brzmienie stwierdzenia z jego interpretacją w pilotażu.
  • Sprawdź oddzielnie, jak uczestnik rozumie zdanie i jak rozumie etykiety odpowiedzi.
  • Przejdź przez wszystkie dopuszczalne kody oraz przynajmniej jeden brak i przypadek z filtrem.
  • Zapisz odpowiedź surową oddzielnie od punktacji. Zweryfikuj, czy eksport nie zastosował klucza wcześniej.
  • Potwierdź wynik dla krańców, środka oraz pełnych rekordów kontrolnych.
  • Udokumentuj zmiany w formularzu i w opisie metodologii, z datą i zakresem.
  • Oddziel wyniki testu technicznego od wniosków o jakości pomiaru. Zaznacz, czego nie dało się sprawdzić przed badaniem.

Jeśli masz tylko kilka minut, wykonaj test dwóch krańców i pustej odpowiedzi w tej samej wersji formularza. Ręcznie ustal oczekiwaną punktację, wyeksportuj rekordy i sprawdź uzyskane wartości w kopii arkusza. To krótki sposób, by wykryć podwójne odwrócenie, błędny zakres lub zamianę braku na liczbę. Potem wróć do rozumienia zdania, pełnego zestawu kodów i opisu, zanim otworzysz formularz dla uczestników.

Bibliografia

van Sonderen, E., Sanderman, R., Coyne, J. C. (2013). Ineffectiveness of Reverse Wording of Questionnaire Items: Let’s Learn from Cows in the Rain. PLOS ONE, 8(7), e68967. DOI 10.1371/journal.pone.0068967. Sprostowanie: DOI 10.1371/annotation/af78b324-7b44-4f89-b932-e851fe04a8e5. Publikacja dotyczy określonego narzędzia i badanej grupy. Przykładowy kwestionariusz i reguły punktowania w poradniku są fikcyjne.

Czy każde stwierdzenie z negacją trzeba punktować odwrotnie?

Nie. O kierunku punktacji rozstrzyga znaczenie stwierdzenia w danej skali oraz instrukcja narzędzia. Zgoda ze zdaniem zawierającym negację może nadal oznaczać wyższy wynik. Porównaj treść, etykietę odpowiedzi i klucz dla właściwej wersji.

Jak przeliczyć pozycję odwróconą od 1 do 5, gdy odpowiedzi brakuje?

Dla ważnych kodów z zakresu 1-5 i takiego klucza odejmij kod od 6. Brak, pytanie pominięte przez filtr i kod spoza zakresu nie są wartościami skali. Zachowaj ich oznaczenia i zastosuj udokumentowaną regułę liczenia wyniku dla niepełnych rekordów.

Czy mogę uprościć brzmienie odwróconej pozycji w gotowym narzędziu?

Najpierw sprawdź używaną wersję, warunki wykorzystania i instrukcję. Zmiana może wpłynąć na sens i porównywalność wyników. Jeżeli uzgodnisz dopuszczalną modyfikację, udokumentuj obie wersje, ponownie sprawdź rozumienie i opisz zmianę w metodologii.

Czy każde opóźnienie odpowiedzi podczas pilotażu oznacza niezrozumiałe pytanie?

Nie. Trzeba rozróżnić kłopot z rozumieniem, przypomnieniem informacji, oceną sytuacji i samą obsługą formularza. Pomocne jest neutralne dopytanie o sposób dochodzenia do odpowiedzi.

Czy można sprawdzić gotową ankietę?

Tak. Potrzebne są również cel i pytania badawcze, żeby ocenić, czy ankieta zbierze właściwe informacje.

Czy wystarczy eksport odpowiedzi z formularza?

To dobry punkt wyjścia. Potrzebna jest również treść pytań, warianty odpowiedzi i klucz skal, jeżeli ich używasz. Pozwala to poprawnie zakodować dane.

Redakcja: Rozdział Metodologiczny