
Pilotaż ankiety ma pomóc podjąć decyzję, czy przygotowane narzędzie i sposób jego zastosowania nadają się do badania właściwego. Sam fakt, że kilka osób dotarło do ostatniego pytania, niewiele jeszcze rozstrzyga. Potrzebujesz wiedzieć, jak rozumiały polecenia, gdzie zabrakło odpowiedzi i czy formularz prowadził je właściwą ścieżką. Poniżej zaplanujesz próbę oraz zapiszesz jej wyniki w postaci konkretnych decyzji, wraz z uzasadnieniem i oznaczeniem sprawdzanej wersji.
Najpierw nazwij ryzyko, które chcesz sprawdzić
Przed wysłaniem wersji próbnej wypisz miejsca budzące wątpliwości. Może chodzić o niejasny okres odniesienia, trudne słowo, filtr kierujący do kolejnego bloku albo warianty odpowiedzi niepasujące do doświadczeń uczestników. Taka lista wyznacza zadanie pilotażu. Bez niej łatwo zakończyć próbę ogólnym wrażeniem, że ankieta jest dobra, ponieważ nikt nie zgłosił uwag.
Rozdziel sprawdzanie treści od sprawdzania obsługi. Pytanie może być zrozumiałe, lecz źle działać na telefonie. Może również mieścić się na ekranie, ale zbierać odpowiedzi o innym zjawisku, niż zakłada autor. Jeżeli dopiero układasz formularz, najpierw przeczytaj poradnik przygotowania kwestionariusza. Pilotaż nie zastępuje ustalenia, do czego potrzebne jest każde pytanie.
Dopasuj uczestników próby do rodzaju problemu
Osoba dobrze znająca metodologię może wskazać błąd konstrukcji, ale nie musi czytać ankiety tak jak przyszły respondent. Gdy sprawdzasz rozumienie instrukcji, potrzebujesz kontaktu z osobami, których doświadczenia i język są istotne dla planowanego badania. Gdy sprawdzasz przejścia techniczne, uwzględnij różne ścieżki formularza. Nie zakładaj, że jeden przypadek korzystania z narzędzia reprezentuje wszystkie pozostałe.
Nie ma jednej liczby osób gwarantującej dobry pilotaż w każdej pracy. Zakres próby zależy od celu, zróżnicowania przyszłych uczestników i rodzaju spodziewanych trudności. Uzgodnij założenia projektu z promotorem. W notatce zapisz, dlaczego sprawdzono właśnie te sytuacje i których jeszcze nie udało się ocenić. Brak zgłoszonego problemu nie jest dowodem, że problem nie występuje.
Oddziel zwykłe wypełnienie od rozmowy o pytaniu
Próbne wypełnienie pokazuje między innymi czas, pominięcia i działanie przejść. Dopytanie o sposób rozumienia pozwala sprawdzić coś innego: jakie informacje osoba przywołała, co oznaczały dla niej użyte słowa i jak wybrała odpowiedź. Pew Research Center opisuje takie podejście w pracy nad własnymi pytaniami. Nie chodzi o przekonanie uczestnika do interpretacji autora, lecz o rozpoznanie rzeczywistego toku odpowiedzi.
Po wybranym pytaniu możesz poprosić: „Co uwzględniłeś, wybierając tę odpowiedź?” albo „Jak rozumiesz tutaj słowo regularnie?”. Unikaj pytania „Rozumiesz, że chodziło o ostatni miesiąc?”, jeśli instrukcja tego nie mówiła. Taka podpowiedź naprawia sytuację w rozmowie, ale nie wyjaśnia, jak zadziała samodzielnie udostępniony formularz. Zanotuj również własne interwencje, aby nie pomylić wyniku próby z efektem dodatkowego objaśnienia.
Przykład: trzy usterki wymagają trzech różnych poprawek
Autorskie ćwiczenie. Przygotowujesz ankietę o korzystaniu z konsultacji dla studentów. Poniższe obserwacje są fikcyjne i służą wyłącznie pokazaniu sposobu pracy. Nie są wynikami rzeczywistego pilotażu.
Nieokreślony okres
Pytanie „Jak często korzystasz z konsultacji?” jedna osoba odnosi do bieżącego semestru, a druga do całych studiów. Problem dotyczy porównywalności odpowiedzi. Decyzją może być wskazanie konkretnego okresu, jeżeli odpowiada on celowi projektu. Po zmianie trzeba ponownie sprawdzić rozumienie instrukcji.
Nieprawidłowe przejście
Osoba zaznaczająca „nie korzystałem” otrzymuje obowiązkowe pytanie o ocenę konsultacji. Problem dotyczy ścieżki oraz znaczenia późniejszych danych. Poprawa może obejmować regułę przejścia i sprawdzenie, czy w eksporcie pominięcie wynikające z filtra różni się od braku odpowiedzi.
Brak pasującego wariantu
Osoba korzystająca z konsultacji w innej formie nie znajduje odpowiedzi i wybiera najbliższą. Zanim dopiszesz kategorię, sprawdź, czy ta sytuacja należy do zakresu badania. Rozwiązaniem może być nowa odpowiedź, doprecyzowanie pytania albo wyłączenie danej sytuacji z jego zakresu.
Zamień uwagę w zapis decyzji
Przy każdej usterce zapisz numer i wersję pytania, obserwację, możliwe wyjaśnienie, proponowaną zmianę oraz wynik ponownego sprawdzenia. „Uczestnik długo myślał” jest obserwacją. „Pytanie jest niezrozumiałe” to już interpretacja wymagająca podstawy. Opóźnienie mogło wynikać z trudności przypomnienia zdarzenia, a nie ze składni. Rozdzielenie tych informacji chroni przed poprawianiem niewłaściwego elementu.
Przykładowa notatka może brzmieć: „Wersja 0.2, pytanie 5. Dwie osoby przyjęły różne okresy odniesienia. Dopisano bieżący semestr. W kolejnym sprawdzeniu poproszono o podanie okresu własnymi słowami”. Liczba w takiej notatce opisuje zaobserwowane przypadki; nie stanowi oszacowania częstości problemu w całej populacji. Zachowaj również uzasadnienie decyzji o pozostawieniu pytania bez zmian.
Sprawdź całą drogę od odpowiedzi do pliku
Test nie powinien kończyć się na ekranie podziękowania. Obejrzyj eksport i ustal, co oznaczają puste komórki, wielokrotny wybór oraz odpowiedzi wpisane ręcznie. Sprawdź, czy filtr, pominięcie i wariant „nie dotyczy” nie zostały zapisane jednakowo. To dobry moment, aby poprawić techniczną organizację zbierania danych, zanim pojawi się wiele rzeczywistych odpowiedzi.
Porównaj eksport z planem pomiaru zmiennych i wskaźników. Czy każda potrzebna informacja będzie dostępna w uzgodnionej formie? Jeżeli poprawisz etykiety lub reguły przejść, zanotuj wersję narzędzia i słownika danych. Sama zmiana wyglądu formularza może nie mieć skutku dla pomiaru, ale zmiana znaczenia pytania już tak.
Nie łącz automatycznie pilotażu z badaniem właściwym
Po zmianie pytania wcześniejsze odpowiedzi mogą dotyczyć innej treści lub warunków. Nie dopisuj ich mechanicznie do nowej bazy. Ocena możliwości wykorzystania materiału wymaga sprawdzenia zakresu zmian, projektu i uzgodnionych zasad. Oddzielna, oznaczona kopia próby pozwala zachować przebieg prac bez przedstawiania wszystkich odpowiedzi jako jednorodnego zbioru.
Jeśli właściwe zbieranie już trwa, zatrzymaj się przed podmianą ważnego fragmentu. Opisz problem i jego znaczenie, a następnie ustal sposób postępowania. Zachowaj wersję faktycznie zastosowaną. Nie poprawiaj jej później tak, aby dokumentacja sugerowała, że od początku używano lepszego pytania. W rozdziale metodologicznym potrzebny jest opis rzeczywistej procedury.
Kiedy narzędzie jest gotowe do kolejnego etapu?
Podsumowanie pilotażu powinno wskazywać, co sprawdzono, jakie problemy znaleziono, które zmiany wprowadzono i jakie ograniczenia pozostały. Nie musi zawierać ozdobnej deklaracji sukcesu. Pilotaż może uzasadnić poprawę instrukcji czy filtra, ale sam nie potwierdza pełnej trafności, rzetelności ani równoważności skali. Takie twierdzenia wymagają innych podstaw.
W ramach usługi „Ankiety i narzędzia badawcze” możemy sprawdzić powiązanie narzędzia z projektem i uporządkować decyzje przed jego udostępnieniem. Prześlij formularz, pytania badawcze i notatki z próby. Przydatne są konkretne obserwacje, a także obszary, których nie udało się jeszcze sprawdzić.
Najczęstsze pytania
Czy każde opóźnienie odpowiedzi podczas pilotażu oznacza niezrozumiałe pytanie?
Nie. Trzeba rozróżnić kłopot z rozumieniem, przypomnieniem informacji, oceną sytuacji i samą obsługą formularza. Pomocne jest neutralne dopytanie o sposób dochodzenia do odpowiedzi.
Czy przed badaniem do pracy dyplomowej warto przeprowadzić pilotaż ankiety?
Tak. Próbne zastosowanie kwestionariusza pomaga sprawdzić rozumienie pytań, jasność instrukcji, dostępne odpowiedzi i czas wypełniania. Wyniki pilotażu pozwalają poprawić robocze narzędzie przed zbieraniem danych. Pilotaż nie zastępuje jednak pełnej walidacji skali.
Materiały źródłowe
- Pew Research Center, Writing Survey Questions. Oficjalne opracowanie metodologiczne o przygotowaniu i sprawdzaniu pytań. Adres: https://www.pewresearch.org/writing-survey-questions/
- Silver L., Fetterolf J. (2021), Using cognitive interviewing to design survey questions about democracy. Opis własnego badania pytań przez Pew Research Center. Adres: https://www.pewresearch.org/decoded/2021/08/23/using-cognitive-interviewing-to-design-survey-questions-about-democracy/
- Rejestr usterek, przykład konsultacji i notatki o wersjach są autorskimi materiałami ćwiczeniowymi.
Redakcja: Rozdział Metodologiczny


