
Chcesz zebrać część odpowiedzi na papierze, a część przez internet. Nawet przy identycznym brzmieniu pytań uczestnicy mogą dostać inne opcje, zobaczyć pytania w innej kolejności albo inaczej ominąć niepasujący fragment. Przed zbieraniem danych porównaj obie wersje od instrukcji po zapis w bazie.
Na koniec przygotowania powinny istnieć cztery rzeczy: wspólny wzorzec pytań, formularz papierowy, formularz online i schemat wspólnej bazy. Wzorzec opisuje pomiar. Pozostałe pliki pokazują, jak pomiar zostanie zrealizowany, sprawdzony i opisany w pracy. Przy jednej zmianie pytania wróć do wzorca, a potem popraw obie wersje i wykonaj od nowa test zmienionej ścieżki.
Najłatwiej zacząć od jednego pytania filtrującego i jednego pytania, którego filtr dotyczy. Jeśli zgodność obu formularzy da się sprawdzić dla tych pytań, rozciągnij tę metodę na kwestionariusz. Jeśli formularze są już w obiegu, zacznij od zapisania różnic między wersjami i zakresu zebranych danych. Zmiana formularza w trakcie badania może wprowadzić kolejną wersję, którą trzeba odróżnić w bazie.
Ustal wspólną wersję merytoryczną
Zapisz jeden wzorzec obejmujący brzmienie pytań, jednostkę, okres, kategorie odpowiedzi i reguły przejścia. Dostosuj układ do nośnika tak, aby zachować tę samą funkcję [1, 2]. Jeżeli internetowy formularz wymusza odpowiedź, a na papierze można ją opuścić, oba tryby mogą inaczej rejestrować brak. Ustal, co wolno pominąć i jak zapiszesz ten przypadek.
Przy każdym pytaniu zapisz, co musi zostać takie samo
- Kogo pytasz. Kto zobaczy pytanie, a kto je ominie? Ustal warunek na podstawie jawnie wskazanej odpowiedzi.
- O co pytasz. Zapisz definicję, okres i jednostkę. Jeżeli w papierze jest „ostatnie siedem dni”, formularz online nie może pytać ogólnie o zwyczajny tydzień.
- Jak można odpowiedzieć. Ustal wspólne kategorie, liczbę możliwych wyborów oraz postępowanie z „nie wiem”, „nie dotyczy” i brakiem.
- Co trafia do bazy. Każde pytanie ma identyfikator i dopuszczalne kody. Odpowiedź „nie” musi mieć ten sam sens po wpisaniu ręcznym i po eksporcie.
Zachowaj funkcję nawet przy innym układzie
Na papierze czytelnik może widzieć kilka pytań naraz. W formularzu internetowym może widzieć tylko jedno, przechodzić do kolejnego ekranu i nie móc wrócić. Jeśli obok pytania musi być dostępna definicja, zadbaj o jej widoczność w obu trybach. Jeżeli zestaw odpowiedzi widoczny jest na papierze w całości, a na telefonie część opcji chowa się pod rozwijaną listą, sprawdź, czy uczestnik dostrzega wszystkie dopuszczalne wybory. Taka próba bada sposób prezentacji, a nie zmienia zmiennej.
Jeśli skala ma opisane bieguny, zachowaj ich kolejność i etykiety. Nie zamieniaj drukowanej skali pięciopunktowej na suwak z inną liczbą pozycji bez uzasadnienia projektu. Jeśli funkcja elektroniczna pozwala automatycznie mieszać warianty, sprawdź, czy na papierze przewidziano odpowiadający temu sposób prezentacji. Kiedy rozwiązania się różnią, zanotuj różnicę i opisz konsekwencję dla danych.
Ustal także moment pokazania informacji o udziale i instrukcji przerwania ankiety. Formularz online może wymagać zaznaczenia pola przed przejściem dalej. W papierze tę informację trzeba przekazać w sposób zgodny z przyjętą procedurą. Wspólny wzorzec powinien wskazywać warunek udziału, a każda wersja wyjaśniać go w sposób zrozumiały dla uczestnika.
Rozpisz pytania, które łatwo zmieniają sens po przeniesieniu na ekran
Skale ocen i odpowiedzi, których brakuje w jednym wariancie
W fikcyjnej ankiecie o dojeździe uczestnik ocenia przewidywalność czasu podróży. W wersji papierowej ma pięć odpowiedzi od „zupełnie nieprzewidywalny” do „w pełni przewidywalny” oraz osobne „nie potrafię ocenić”. W wersji online projektant zamienia tę listę na suwak ustawiony domyślnie na 3. Nawet przy tej samej instrukcji formularz może zapisać środek skali bez decyzji uczestnika. Osoba, która nie potrafi ocenić dojazdu, traci własną kategorię odpowiedzi. W takiej sytuacji użyj w internecie jawnych opcji bez wartości domyślnej i sprawdź, czy obie wersje wyświetlają pełne etykiety na każdym poziomie.
Środek skali i brak możliwości oceny odpowiadają na dwa różne pytania. Ktoś może uznać, że jego podróż jest przeciętnie przewidywalna, albo nie mieć wystarczającej podstawy do oceny. W słowniku zapisz osobno wynik 3, odpowiedź „nie potrafię ocenić” i pole pozostawione puste. Dzięki temu można pokazać rozkład skali wśród osób, które ją wypełniły, oraz podać liczbę uczestników bez oceny. Ustal również, czy pole „nie dotyczy” powinno się pojawiać przy samym pytaniu, czy wynikać z wcześniejszego filtra. W przykładzie nikt, kto nie podróżował, nie powinien przypadkiem dostać wyniku 3.
Wielokrotny wybór i odpowiedź „inne”
Jeżeli pytasz o wykorzystywane środki transportu, dopisz w obu wersjach „możesz wskazać więcej niż jedną odpowiedź”. Rozpisz, co stanie się po wyborze „nie korzystam z żadnego z wymienionych środków”. W formularzu online możesz wyłączyć jednoczesny wybór tej opcji i autobusu. Papier nie wykona blokady, więc przy pytaniu umieść krótką instrukcję. Jeśli ktoś mimo niej zaznaczy obie opcje, zachowaj odczyt i zastosuj ustaloną zasadę obsługi niespójności. W pliku do analizy nie zmieniaj zapisu po cichu na jedną z tych opcji.
Gdy uczestnik wpisze „rower elektryczny” w polu „inne”, zachowaj oryginalny tekst i obok dodaj kod po klasyfikacji. Jeżeli projekt pozwala włączyć tę odpowiedź do kategorii rowerów, zastosuj tę samą zasadę wobec papieru i internetu. W słowniku zapisz, jak traktujesz osoby, które zaznaczyły „inne”, ale nic nie dopisały. Porównując oba formularze, sprawdź również długość pola tekstowego. Krótka linia na papierze i obszerne pole online mogą zachęcać do różnego poziomu szczegółowości. Jeśli mierzysz jedynie kategorię, instrukcja może prosić o jedno zwięzłe określenie.
Odtwórz tę samą ścieżkę testową w obu trybach
W fikcyjnym badaniu o dojeździe pytasz o korzystanie z komunikacji miejskiej w ostatnich siedmiu dniach. Po odpowiedzi „nie” formularz przeskakuje do pytania o inne środki transportu. Na papierze umieść obok tej odpowiedzi jasną instrukcję przejścia. Przetestuj ścieżki po odpowiedziach „tak” i „nie” oraz dopuszczone pominięcie odpowiedzi. Sprawdź, czy później rozpoznasz odpowiedź pominiętą przez filtr, brak odpowiedzi mimo wyświetlenia pytania i prawidłowy wybór.
Przetestuj także odpowiedź „tak”, w tym najdłuższy wariant odpowiedzi na ekranie telefonu. W pliku wynikowym porównaj nazwy i kody kolumn. Jeżeli ktoś na papierze ominął instrukcję, zachowaj pierwotny zapis i zastosuj ustaloną wcześniej regułę. W planowaniu prób pomoże poradnik o pilotażu ankiety.
Przygotuj trzy fikcyjne ścieżki i oczekiwane rekordy
- Przypadek A. Osoba wybiera „tak” i podaje trzy dni korzystania z komunikacji. Pytanie uzupełniające dotyczy tej osoby, a do bazy trafia wartość 3.
- Przypadek B. Osoba wybiera „nie”. W wersji online pytanie o liczbę dni jest ukryte. Na papierze osoba przechodzi dalej zgodnie z instrukcją. Pole dostaje status pominięcia przez filtr.
- Przypadek C. Osoba wybiera „tak”, ale pomija liczbę dni. Jeżeli dopuszczasz pominięcie, oba tryby zapisują brak odpowiedzi w pytaniu, które miało zastosowanie. Jeśli online wymuszasz odpowiedź, scenariusz wykaże różnicę procedury.
Dodaj jeden test sytuacji nieprawidłowej. Na papierze osoba wybiera „nie”, lecz mimo instrukcji wpisuje 2. Zachowaj oryginalny wpis. W zmiennej przeznaczonej do analizy zastosuj wcześniej określoną regułę, np. oznacz niespójność do sprawdzenia, zamiast automatycznie zaliczać osobę do użytkowników. Zapisz, ile razy taka sytuacja wystąpiła i czy wyniki zależą od przyjętej decyzji. Nie dopisuj odpowiedzi na podstawie tego, co wydaje się bardziej prawdopodobne.
W próbie technicznej wpisz fikcyjne odpowiedzi papierowe i wyeksportuj odpowiadające im rekordy online. Porównaj je z oczekiwanymi kodami. Po pilotażu z uczestnikami sprawdź ponownie, czy rzeczywiste zapisy odpowiadają tym kodom. Jeśli wpisy papierowe uzupełnia inna osoba, daj jej instrukcję bez wcześniejszego wyjaśniania wyjątków ustnie. Rozbieżności w kodowaniu wskażą, co trzeba doprecyzować na piśmie.
Ułóż protokół odbioru formularza i wyznacz moment startu
Oddziel usterkę narzędzia od nieporozumienia uczestnika
Zacznij od próby technicznej. Na obu nośnikach wprowadź fikcyjne odpowiedzi, dla których wynik jest znany z góry. Wybierz skrajne wartości, puste pole, filtrowane pominięcie, kilka zaznaczeń oraz niedozwolony wariant. Przykład dla pytania o liczbę dni obejmuje odpowiedzi 1, 7 i 8. Dwie pierwsze są poprawne, trzecia wymaga odrzucenia przez formularz lub oznaczenia do sprawdzenia po odczycie papieru. Dopisz próbę zakończenia formularza, ponownego otwarcia oraz cofnięcia do filtra. Jeżeli uczestnik online zmieni „tak” na „nie”, sprawdź, czy wcześniej wpisana liczba nie zostaje aktywną odpowiedzią w eksporcie.
W następnym kroku poproś osoby podobne do planowanych uczestników o wypełnienie obu wariantów w ramach pilotażu lub o sprawdzenie przydzielonej im wersji. Zastosuj organizację właściwą dla celu próby. Gdy ta sama osoba testuje obie wersje, może pamiętać odpowiedzi albo szybciej rozumieć drugi formularz, bo poznała go w pierwszej próbie. Taki test pomaga znaleźć usterki, ale nie dowodzi równoważności wyników. Po wypełnieniu zapytaj, jak badany rozumiał „ostatnie siedem dni” i jak ustalił liczbę dni korzystania z komunikacji. Wytyczne AAPOR opisują pretest z osobami podobnymi do planowanych respondentów jako sposób sprawdzenia rozumienia pytań [3].
Opisz usterkę tak, aby inna osoba mogła ją odtworzyć
Zapis testu może mieć formę krótkiej karty: „Przypadek T04. Wersja online 1.0, telefon. Po zaznaczeniu »tak« wpisano 3 w P2. Cofnięto się i zmieniono P1 na »nie«. Oczekiwano braku aktywnej odpowiedzi w P2 i oznaczenia pominięcia przez filtr. W eksporcie nadal widoczna jest liczba 3”. Dodaj informację, czy to wartość zachowana w surowym zapisie, czy pole faktycznie używane do analizy. Ten szczegół pozwala rozróżnić problem interfejsu, eksportu i czyszczenia danych.
Zdecyduj, które problemy wstrzymują zbieranie. Pomyłka w etykiecie, która zmienia znaczenie odpowiedzi, niezgodność kodów i błąd filtra wymagają usunięcia przed rozpoczęciem badania. Niejednolity odstęp w druku można uznać za mniej istotny, jeśli pozostaje czytelny i nie grupuje opcji w mylący sposób. Każdą poprawkę sprawdź na ścieżce zgłoszonej oraz jednej sąsiedniej. Po poprawie filtra „nie” upewnij się na przykład, że ścieżka „tak” nadal zapisuje liczbę dni. Zakończ próbę po obejrzeniu wspólnego pliku i porównaniu go z oczekiwanymi rekordami.
Zapisz tryb i warunki zbierania
W bazie zapisz, czy odpowiedź wpłynęła na papierze czy online. Ustal też regułę identyfikacji ponownego zgłoszenia, jeśli jedna osoba może skorzystać z obu kanałów. Dopasuj ją do zasad udziału i zakresu danych, które możesz zbierać. W metodologii opisz, komu i kiedy oferowano każdy tryb oraz jakie różnice ujawnił pilotaż.
Dodaj słownik danych i zasady kontroli po wprowadzeniu papieru
W słowniku zapisz nazwę zmiennej, treść pytania, typ pola, dopuszczalne wartości i znaczenie braków. Przykład: P1, korzystanie w ostatnich siedmiu dniach, 1 oznacza „tak”, 0 oznacza „nie”; P2, liczba dni, liczba całkowita od 1 do 7 tylko dla P1 = 1; TRYB, „papier” lub „online”. Status filtra trzymaj w osobnym polu lub użyj jednoznacznego kodu spoza skali. Jeżeli P1 jest puste, P2 nie ma potwierdzonego statusu filtra. Oznacz ten przypadek odrębnie od jawnego „nie”.
Przy wpisywaniu papieru sprawdź losowo wybrane rekordy z oryginałem albo zastosuj drugi niezależny odczyt w wymagającym miejscu. Z góry zdefiniuj, co robić z nieczytelną cyfrą lub kilkoma zaznaczeniami w pytaniu jednokrotnego wyboru. Dla formularza online sprawdź, czy opcje wielokrotne rozbijają się na właściwe pola i czy aplikacja odróżnia puste pole od zera. Notatka o zmianach bazy pomaga później wyjaśnić, które obserwacje uwzględniono w danym obliczeniu.
Ustal, w jakim trybie rzeczywiście badano te osoby
Opisz sposób dystrybucji oddzielnie dla papieru i online: kto dostał zaproszenie, kto widział obie wersje, w jakim okresie zbierano odpowiedzi i czy uczestnik sam wybierał tryb. Rejestrowanie dodatkowego identyfikatora jest decyzją projektową. Przy badaniu anonimowym możesz nie móc potwierdzić, czy dwie podobne odpowiedzi pochodzą od tej samej osoby. Odnotuj tę granicę zamiast uznawać podobieństwo wyników za dowód duplikatu.
Połącz pliki przez słownik i zachowaj zapis źródłowy
Jak znormalizować dwa eksporty bez zgadywania odpowiedzi?
Załóżmy, że w ręcznym odczycie formularza papierowego pole na liczbę dni nazwano „P2 dni”, a w eksporcie z internetu występuje pełne brzmienie pytania. Zmapuj obie nazwy na stały identyfikator P2. Następnie sprawdź typ wartości: liczba 3, tekst „3 dni” oraz puste pole mogą być traktowane przez arkusz inaczej. Przekształcaj wartości tylko według spisanej reguły. Jeśli tekst zawiera zakres „3 lub 4”, nie przypisuj mu automatycznie wartości 3. Zapisz decyzję dla takich przypadków i w raporcie podaj, ile obserwacji dotyczyła.
Utrzymuj trzy warstwy. Pierwsza obejmuje niezmienione odpowiedzi online i zapis odczytu z papieru. Druga zawiera wspólną bazę, w której kolumny mają spójne nazwy, typy i kody. Trzecia to plik analityczny z zastosowanymi wyłączeniami i przekształceniami. Dopisz do zmian wersję słownika i opis reguły. Kiedy po tygodniu okaże się, że kod „2” w jednej wersji oznacza inny środek transportu, wróć do surowych zapisów i popraw mapowanie, zamiast ręcznie zamieniać wartości w gotowym zestawieniu.
Rozpisz kontrolę rekordu na cztery sytuacje
- P1 = tak i P2 = 4. Rekord spełnia regułę. Liczbę dni można uwzględnić, jeśli spełniono też pozostałe warunki analizy.
- P1 = nie i P2 jest puste. Wartość P2 nie była wymagana. Oznacz pominięcie przez filtr w obu trybach.
- P1 = tak i P2 jest puste. Pytanie miało zastosowanie, lecz brakuje odpowiedzi. Zachowaj ten stan oddzielnie od filtra.
- P1 jest puste, a P2 = 4. Zachowaj zapis pierwotny i oznacz niepewność co do zastosowania filtra. Jeśli do analizy potrzebujesz potwierdzonego P1, jawnie określ, czy i kiedy taki rekord można włączyć.
Przy sprawdzaniu ręcznie wpisanych danych porównaj również liczbę formularzy i unikatowych identyfikatorów. Zwykłe liczenie nie rozstrzyga, czy formularze pochodzą od różnych osób. Pomaga natomiast zauważyć dwukrotne wprowadzenie tej samej kartki lub import pliku online w dwóch wersjach. Jeżeli nie da się rozstrzygnąć tożsamości uczestnika zgodnie z przyjętą procedurą, nie usuwaj automatycznie rekordów tylko dlatego, że uczestnicy podali takie same odpowiedzi. Na poziomie technicznym kontroluj identyfikator pliku, datę importu i liczbę wierszy po każdym scaleniu.
Ostrożnie interpretuj różnicę między trybami
Jeśli tryb wybiera uczestnik, grupy mogą różnić się także składem [1]. Inny odsetek odpowiedzi „tak” nie wystarcza do ustalenia, czy znaczenie miał sam nośnik. Przed połączeniem rekordów sprawdź kody, braki i dostępność tych samych pytań. Jeżeli istotne różnice pozostały, ujawnij je i uzasadnij, co można podsumować razem.
Zestaw rozkłady, zanim zdecydujesz o połączeniu
Zacznij od danych technicznych: liczebności w trybach, liczby braków, odsetka przypadków pomijanych zgodnie z filtrem i liczby niespójności. Potem porównaj rozkład jednej ważnej zmiennej, np. korzystania z komunikacji. Gdy w jednym trybie przeważa konkretna grupa, odmienny wynik może być związany ze składem uczestników, z sytuacją wypełniania ankiety lub ze sposobem prezentacji. Próba diagnostyczna pomaga wskazać różnicę, a ustalenie jej przyczyny zależy od planu badania [1].
Wzór do adaptacji: „Zastosowano kwestionariusz papierowy i internetowy oparty na wspólnym wzorcu pytań. Przejścia wynikające z filtra sprawdzono w obu wersjach, a w bazie oddzielono odpowiedzi niewymagane od braków odpowiedzi. Zapisano tryb zbierania dla każdego rekordu. Wersję papierową udostępniono [komu i kiedy], a internetową [komu i kiedy]. Przed zestawieniem sprawdzono [co faktycznie porównano]”. Dodaj zdanie o różnicach, które naprawdę pozostały. Nawiasy są polami do uzupełnienia, a nie opisem czynności już wykonanych.
Odbierz obie wersje przed startem
Otwórz papier w postaci gotowej do druku, formularz na telefonie oraz oba pliki wynikowe. Sprawdź tę samą instrukcję, zakres odpowiedzi i kolejność biegunów, przejście „tak” i „nie”, zapis braku, możliwość poprawienia pomyłki, kody po eksporcie oraz warunki udziału. Oznacz wersję materiałów i zachowaj wyniki prób. Jeśli badanie już trwa, udokumentuj, które rekordy powstały przed zmianą oraz gdzie przy interpretacji trzeba uwzględnić wersję narzędzia.
Sprawdź, jak wspólny wynik zmienia się po rozbiciu na tryby
Przykład z mianownikiem i brakami odpowiedzi
W ćwiczeniu zebrano 48 formularzy papierowych i 72 online. Na pytanie o korzystanie z komunikacji miejskiej prawidłowo odpowiedziały 44 osoby w papierze i 68 online. Odpowiedź „tak” zaznaczyły odpowiednio 24 i 48 osób. Wśród ważnych odpowiedzi jest to 24 z 44, czyli 54,5%, oraz 48 z 68, czyli 70,6%. W obu trybach były po cztery braki, ale przy różnych liczebnościach: 4 z 48 na papierze, około 8,3%, i 4 z 72 online, około 5,6%. Rozdzielenie tych danych pokazuje, jak zbudowano każdą podstawę.
Jeżeli cel jest opisowy, kody są wspólne, a pytanie ma to samo znaczenie, zbiorczy udział wynosi 72 z 112 ważnych odpowiedzi, około 64,3%. Nie obliczaj go jako średniej z 54,5% i 70,6%, bo w tym ćwiczeniu tryby mają różne mianowniki. Gdy opisujesz liczbę dni korzystania z komunikacji, zastosuj odrębną podstawę. P2 zadawano osobom po odpowiedzi „tak”, a część z nich mogła nie podać liczby dni. Dlatego 112 ważnych odpowiedzi w P1 nie jest automatycznie mianownikiem dla P2. Oblicz go na podstawie rekordów z pytaniem P2 mającym zastosowanie i ważną odpowiedzią.
Kiedy porównanie trybów ma sens jako opis, a kiedy potrzeba osobnego projektu?
W powyższym przykładzie różnica wynosi około 16 punktów procentowych po zaokrągleniu. Jeżeli papier rozdawano na zajęciach stacjonarnych, a link wysyłano do szerszego grona studentów, tryb jest powiązany ze sposobem dotarcia do uczestników. Być może przez internet częściej odpowiadały osoby regularnie dojeżdżające z innej miejscowości. Na podstawie samych dwóch odsetków nie ustalisz, czy odpowiedzi różnią się z powodu nośnika, składu grup, czasu zbierania, czy innych warunków. W pracy można opisać zaobserwowaną różnicę, wskazując sposób rekrutacji i ograniczenie jej interpretacji [1, 2].
Jeżeli celem projektu jest sprawdzenie wpływu trybu, zaplanuj porównanie z wyprzedzeniem. Przykładowo można rozważyć losowy przydział sposobu odpowiedzi w obrębie jednej grupy rekrutacyjnej, przy zbliżonych instrukcjach, terminach i warunkach. W analizie trzeba wtedy sprawdzić również, kto faktycznie odpowiedział i czy część osób zmieniła przydzielony tryb. Samo losowanie nie usuwa problemów z brakami odpowiedzi ani różnic w realizacji. W małej pracy, która nie miała takiego celu i projektu, uczciwy opis rozkładów oraz ograniczeń zwykle daje czytelnikowi więcej informacji niż przypisywanie przyczyn różnic na podstawie jednego zestawienia.
Przykład kontrolny z różnym składem grup
Rozważ osobne fikcyjne ćwiczenie, niezwiązane z poprzednimi liczebnościami. W obu trybach połowa studentów pierwszego roku i cztery piąte studentów trzeciego roku korzystają z komunikacji. Papier wypełnia 30 osób z pierwszego roku i 10 z trzeciego. Odpowiedź „tak” wybiera 15 i 8 osób, razem 23 z 40, czyli 57,5%. Online odpowiada 10 osób z pierwszego roku i 30 z trzeciego. Odpowiedź „tak” wybiera 5 i 24 osoby, razem 29 z 40, czyli 72,5%. W obrębie każdego roku udziały są w tym przykładzie identyczne, a łączne wyniki różnią się o 15 punktów procentowych.
Taką kontrolę wykonasz, zestawiając liczniki i mianowniki według trybu oraz cechy związanej z rekrutacją. W rzeczywistych danych zacznij od cech ustalonych przed analizą, dla których masz odpowiednio liczne grupy. Jeśli w jednym trybie nie ma wcale studentów danego roku, nie przedstawiaj dla tego podziału różnicy między trybami. Jeżeli projekt nie zakładał wnioskowania o całej populacji, samo przeliczenie wyników dla wspólnego składu grup nie uzasadnia uogólnienia na całą populację. W raporcie możesz pokazać udział łączny i rozbicie na rok, a następnie zaznaczyć, że skład grup w obu trybach był odmienny.
Co zrobić, jeśli ankiety już zaczęły spływać?
W fikcyjnym badaniu zebrano pierwszą partię papierową, zanim zauważono, że formularz online wymaga odpowiedzi na pytanie o liczbę dni, a papier pozwala je ominąć. Zapisz datę, zakres różnicy i identyfikator wersji. Zachowaj oryginalne odpowiedzi. Oddziel decyzję, co poprawisz dla przyszłych uczestników, od decyzji, jak opiszesz wcześniejsze rekordy. Gdy zmiana dotyczy zasad udziału lub narzędzia objętego zatwierdzonym planem, sprawdź warunki tego planu przed wprowadzeniem zmiany.
Sprawdź, jak często brak wystąpił na papierze i czy dotyczył pytania użytego w konkretnym podsumowaniu. Jeśli obliczasz odsetek korzystających z komunikacji, pytanie o liczbę dni może być potrzebne tylko w kolejnym zestawieniu. Dla każdego wniosku wskaż, których zmiennych potrzebujesz i które osoby mogą zostać uwzględnione. Jedna zmiana formularza nie musi w taki sam sposób dotyczyć wszystkich pytań badawczych.
Przygotuj zapis decyzji do odtworzenia
W notatce podaj pierwotne brzmienie, różnicę w zachowaniu obu nośników, datę i powód ewentualnej poprawki oraz liczbę odpowiedzi z każdej wersji. Jeśli końcowa baza łączy rekordy, zachowaj tryb i oznaczenie wersji tak, by dało się sprawdzić wniosek w poszczególnych częściach. W rozdziale metodologicznym opisz to, co zrobiono, a przy wynikach podaj konkretne podstawy i ograniczenia. Gdy liczba odpowiedzi w jednej części jest zbyt mała do rzetelnego porównania, ogranicz opis do informacji dostępnych.
Po zmianie przejdź test jeszcze raz. Zweryfikuj ścieżkę „tak”, ścieżkę „nie” i brak odpowiedzi w polu wymaganym w starej wersji. Sprawdź też, czy ponowny eksport zawiera wcześniejsze dane w tym samym formacie. Przed dalszym zbieraniem upewnij się, że na papierze używana jest właściwa wersja, a aktywny formularz jest tym, który przeszedł próbę na telefonie. Oznaczenie wersji umieść na każdej stronie papierowego formularza albo w nagłówku pierwszej strony, jeśli kart nie rozdzielasz. W arkuszu dla rekordów online zapisz wersję razem z datą rozpoczęcia jej obowiązywania.
Gdy zbieranie papieru i odpowiedzi online odbywa się w różnych warunkach
Rozważ fikcyjny scenariusz: formularz papierowy rozdano podczas zajęć, a elektroniczny link wysłano po zajęciach. Pierwsza grupa odpowiada w sali w wyznaczonym czasie, druga może wrócić do ankiety później. Nawet gdy oba formularze mają identyczne pytania, sposób dotarcia do uczestników i warunki wypełnienia się różnią. Zapisz takie różnice przed interpretacją. Jeśli papier trafia głównie do osób obecnych na zajęciach, odsetek korzystających z komunikacji może zależeć od tego, kto był w sali, a nie od samego nośnika.
Zdefiniuj w metodologii, czy wyniki pochodzą z jednej grupy z dwoma sposobami odpowiedzi, czy z dwóch odmiennie rekrutowanych grup. Dla pierwszej sytuacji pokaż, czy każdy miał wybór i jak kontrolowano liczbę formularzy. Dla drugiej opisz oddzielnie ścieżki rekrutacji. Jeżeli nie można potwierdzić, kto widział obie wersje, nie przypisuj respondentom takiej możliwości na podstawie samego istnienia dwóch formularzy.
Przy wspólnej prezentacji zacznij od wyników technicznych dla obu wersji, a potem sprawdź, czy pytania badawcze wymagają dodatkowego podziału. Możesz wskazać, że wstępnie zestawiono odpowiedzi razem ze względu na wspólny wzorzec i zgodne kodowanie, a tryb pozostawiono w bazie do dalszych porównań. Jeśli odrębne podsumowania zmieniają obraz, ujawnij to obok wyniku. W opisie ograniczeń nazwij konkretne źródło różnicy, np. dobrowolny wybór kanału albo zbieranie odpowiedzi w odmiennych miejscach.
Przełóż decyzje na metodologię, wyniki i załączniki
Wypełnij trzy krótkie części rozdziału
Narzędzie i przebieg. Podaj, czy zastosowano dwa tryby w tym samym czasie, czy papier był dostępny po zamknięciu formularza online. Wskaż wspólny zakres pytań i różnice w sposobie prezentacji, które mogą zmienić odpowiedź. Podaj, kto otrzymał zaproszenie w każdym trybie. W fikcyjnym projekcie można zapisać: „Papierową ankietę rozdano podczas zajęć, a formularz online udostępniono za pośrednictwem grupy kierunku w tym samym tygodniu. Przed startem porównano logikę filtra i kody odpowiedzi w obu formatach”. Użyj takiego zapisu tylko wtedy, gdy te czynności rzeczywiście wykonano.
Przygotowanie danych. Nazwij regułę włączenia formularzy, sposób wprowadzania odpowiedzi papierowych i sposób oznaczenia trybu, wersji oraz braków. Dodaj przykład decyzji, jeśli może wpłynąć na wynik. Można zapisać: „Pytanie P2 o liczbę dni analizowano dla osób, które w P1 odpowiedziały »tak« i podały wartość od 1 do 7. W pozostałych rekordach odróżniono brak odpowiedzi od pominięcia przez filtr”. Gdy w trakcie badania zmieniono wymagalność P2, dopisz datę zmiany i liczbę odpowiedzi zgromadzonych w każdej wersji. Opis trybu i sposobu zbierania jest także elementem zaleceń dotyczących przejrzystości raportowania ankiet [4].
Wyniki i granice porównania. Podaj liczby zebranych formularzy, ważnych odpowiedzi i podstawy procentów. Jeżeli prezentujesz wspólne wyniki, uzasadnij wspólne kodowanie oraz pokaż ważne rozbieżności w rozbiciu na tryby. Gdy w jednej wersji brakowało opcji „nie potrafię ocenić”, odrębne prezentowanie tego pytania może być uczciwsze niż prosty wspólny procent. Jeżeli zakres danych nie pozwala ustalić, czy ktoś dwukrotnie wypełnił ankietę, opisz zastosowaną kontrolę lub brak takiej możliwości. Dostosuj stopień szczegółowości do znaczenia problemu dla wniosków.
Zachowaj pakiet do późniejszego sprawdzenia
Do własnej dokumentacji przygotuj obie wersje kwestionariusza, wzorzec pytań, słownik kodów, protokół testów i rejestr decyzji po zamknięciu badania. W pracy można wskazać, że pełne wersje formularza znajdują się w załącznikach, o ile odpowiada to wymaganiom pracy i przyjętej procedurze. Pokazuj pusty kwestionariusz lub fikcyjne wypełnienia. Do przedstawienia reguły filtra nie są potrzebne odpowiedzi prawdziwej osoby. Zostaw numer wersji i datę obok plików, żeby czytelnik wiedział, jaki wariant faktycznie zastosowano.
Na koniec porównaj ze sobą trzy rzeczy: opis próby w pracy, logikę i treść formularzy oraz kolumny rzeczywiście użyte do analizy. Gdy w metodologii jest mowa o równoległych wersjach, a baza zawiera różne kody dla tej samej kategorii, wróć do słownika. Jeśli opis mówi o swobodnym pomijaniu odpowiedzi, lecz formularz online wymuszał część pól, podaj wyjątki i ich możliwy wpływ. Dobry opis pozwala powtórzyć drogę od pytania do wyniku, a różnice między wersjami są w nim przypisane do konkretnego etapu.
FAQ o ankiecie papierowej i online
Czy ankieta papierowa i formularz online muszą wyglądać tak samo?
Układ można dostosować do papieru i ekranu telefonu. Zachowaj to samo znaczenie pytań, okres odniesienia, dostępne odpowiedzi i reguły przejścia. Jeśli na papierze jest opcja „nie potrafię ocenić”, pokaż ją także online. Sprawdź, czy formularz nie przypisuje odpowiedzi domyślnie i czy pozwala pominąć te same pola, które są opcjonalne na papierze.
Jak odróżnić brak odpowiedzi od pominięcia pytania przez filtr?
Po odpowiedzi „nie” na pytanie o korzystanie z komunikacji pytanie o liczbę dni nie ma zastosowania. Zapisz pominięcie przez filtr. Jeśli ktoś odpowiada „tak”, ale zostawia liczbę dni pustą, zapisz brak odpowiedzi. Gdy puste jest samo pytanie filtrujące, oznacz, że nie da się ustalić, czy dalsze pytanie miało zastosowanie. W bazie zachowaj te trzy stany oddzielnie w rekordach z obu trybów.
Kiedy można połączyć wyniki ankiet papierowych i online?
Porównaj znaczenie pytań, możliwości odpowiedzi, kody, braki i warunki zbierania. Przy zgodnym pomiarze możesz przygotować wspólny opis, zachowując tryb w każdym rekordzie i podając właściwe mianowniki. Jeżeli tylko jedna wersja oferowała daną odpowiedź albo grupy rekrutowano w innych warunkach, pokaż istotne różnice w rozbiciu na tryby i uzasadnij, które pytania łączysz.
Czy opis procedury po badaniu może pozostać niezmienionym planem?
Powinien przedstawiać rzeczywisty przebieg. Należy odnotować istotne odstępstwa, użyte wersje narzędzia, terminy i reguły postępowania z materiałem. Nie wolno dopisywać pilotażu ani innych czynności, których nie przeprowadzono.
Czy mogę zamówić porównanie filtrów i odpowiedzi w obu wersjach ankiety?
Tak. W ramach usługiAnkiety i narzędzia badawczemożesz zlecić porównanie tych samych pytań w papierze i online. Sprawdzenie może objąć etykiety odpowiedzi, przejścia po filtrze i sposób zapisu braków. Jeśli badanie już trwa, wskaż różnicę, która może wpływać na analizę.
Jak zamówić sprawdzenie dwóch wersji ankiety?
Wformularzu kontaktowymopisz etap badania, co chcesz sprawdzić i jaki masz termin. Przygotuj pustą ankietę papierową, roboczą wersję online lub zrzuty pytań i ewentualny próbny eksport z fikcyjnymi odpowiedziami. Załączniki możesz przesłać e-mailem wskazanym na stronie kontaktu. Zakres, cena i termin są ustalane po zapoznaniu się z materiałem.
Źródła
- Hox J. J., de Leeuw E. D., Zijlmans E. A. O. (2015). Measurement equivalence in mixed mode surveys. Frontiers in Psychology, 6, 87. DOI 10.3389/fpsyg.2015.00087.
- de Leeuw E. D., Tuba Suzer-Gurtekin Z., Hox J. J. C. M. (2018). The Design and Implementation of Mixed-mode Surveys. W Advances in Comparative Survey Methods, s. 387-408. Wiley. DOI 10.1002/9781118884997.ch18.
- American Association for Public Opinion Research. Best Practices for Survey Research. Odczyt 10.11.2026. https://aapor.org/standards-and-ethics/best-practices/
- American Association for Public Opinion Research. Disclosure Standards. Odczyt 10.11.2026. https://aapor.org/standards-and-ethics/disclosure-standards/
Redakcja: Rozdział Metodologiczny


