Rozdział Metodologiczny

Koncepcja badania

Pomiar przed i po w jednej grupie. Jak opisać zmianę bez grupy kontrolnej?

Opublikowano: Aktualizacja: 17.11.2026Około 19 min czytania

Dwa stosy arkuszy ćwiczenia przedzielone klepsydrą

Policz osoby z wynikiem przed warsztatem, osoby z wynikiem po nim i te, których wyniki da się połączyć w porównywalne pary. Jeśli dopiero planujesz badanie, zmierz tę samą umiejętność u tych samych osób na porównywalnej skali. Następnie dla każdej pełnej pary odejmij wynik początkowy od końcowego. Gdy średnia wzrośnie, możesz podać wielkość zmiany i napisać, czyje wyniki znalazły się w obliczeniu. Żeby ustalić, jaka część wzrostu wynika z warsztatu, trzeba wiedzieć, co w tych samych warunkach mogłoby się zdarzyć bez niego.

W fikcyjnym warsztacie oceny źródeł 11 osób rozwiązało zadanie przed zajęciami. Tydzień po warsztacie odebrano dziewięć kart, z których osiem dało porównywalne pary. W tych ośmiu parach wynik zadania na skali 0-20 wzrósł średnio o 2,75 punktu. Taki zapis od razu wskazuje, co zmierzono, kiedy i dla ilu osób. W rozdziale warto jeszcze pokazać, co stało się z pozostałymi kartami i jakich wyjaśnień sam pomiar nie pozwala rozstrzygnąć.

Co daje pomiar przed i po w jednej grupie?

Campbell i Stanley nazwali ten układ schematem drugim. To jednogrupowy schemat z pomiarem przed oddziaływaniem i po nim (one-group pretest-posttest design). W zapisie O1 X O2 pierwsza obserwacja jest przed zajęciami, X oznacza warsztat, a ostatnia obserwacja następuje po nim. Do tych trzech oznaczeń możesz dopisać daty. Na przykład w poniedziałek uczestnicy wykonują pierwsze zadanie, od wtorku do czwartku biorą udział w warsztacie, a tydzień po jego zakończeniu rozwiązują zadanie końcowe.

W analizie par wynik każdej osoby jest zestawiony z jej wcześniejszym wynikiem. Dwie osoby mogą zacząć na różnych poziomach i poprawić się o tyle samo. Czasem obie kończą z tą samą liczbą punktów, choć u jednej wynik wzrósł, a u drugiej spadł. Taką różnicę widać dopiero po połączeniu rekordów. Pierwszy pomiar jest punktem odniesienia. Żeby zastąpił wynik, który uczestnicy uzyskaliby w drugim terminie bez warsztatu, trzeba przyjąć dodatkowe założenia o tym, co mogłoby zmienić się w tym okresie. Właśnie te założenia wymagają uzasadnienia.

Jak zadać pytanie, na które da się odpowiedzieć?

Przy tym układzie można zapytać „Jak zmienił się wynik zadania z oceny wiarygodności źródeł wśród osób z porównywalnym pomiarem przed warsztatem i po nim?”. Jeśli jest to pilotaż, warto też zapytać o frekwencję albo sprawdzić, ile osób mogło powtórzyć pomiar w drugim terminie. Jeżeli uczestnicy najczęściej pomijają tę samą pozycję zadania, możesz przyjrzeć się jej treści lub instrukcji przed następną edycją. To osobne informacje o tym, jak udało się przeprowadzić badanie.

Pytanie o efekt samego warsztatu wymaga określenia, z czym chcesz go porównać. Bez warsztatu część osób mogłaby mieć zwykłe zajęcia, dostać plik do samodzielnej lektury albo poczekać na późniejsze szkolenie. Każdy z tych wariantów ma inny przebieg. Nawet jeżeli w obecnym projekcie ich nie obserwujesz, nazwij warunek, do którego chciałbyś odnieść wynik. Przy planowaniu kolejnej edycji będzie wiadomo, jakie dane miałyby pomóc odpowiedzieć na pytanie.

Czy w obydwu pomiarach masz te same osoby?

Dwa pliki po 20 wierszy mogą obejmować różne osoby. Ktoś dołączył w drugim terminie, ktoś wysłał kartę dwa razy, a inna osoba była wtedy nieobecna. Do odtworzenia różnic indywidualnych potrzebujesz danych, które da się przypisać konkretnym uczestnikom. Jeżeli zachowałeś tylko średnie, możesz podać wartości i liczebności w każdym terminie, a następnie wyjaśnić, że połączenia nie da się już sprawdzić. Z samych dwóch rozkładów nie odczytasz też, ilu osobom wynik wzrósł. Przy ustalaniu jednostki i terminów pomaga poradnik o tym, jak odróżnić pomiar przekrojowy od podłużnego.

Zastanów się, w jakim otoczeniu zbierasz dane. Jeżeli badanie obejmuje cztery klasy, każdy uczeń może mieć indywidualną parę wyników. Uczniowie z jednej klasy mają jednak wspólnego nauczyciela i podobne warunki. Różnicę liczysz dla ucznia. Gdy wyciągasz wnioski statystyczne, zastanów się, czy przyjęty model powinien uwzględnić zależność wewnątrz klas. W metodologii podaj liczbę klas lub edycji, opis rekrutacji i zakres, w jakim projekt mógł objąć inne osoby.

Jak zaplanować drugi pomiar?

Jeden wynik i wspólne zasady punktowania

Przy warsztacie bibliograficznym główny wynik może oznaczać liczbę punktów za dziesięć kryteriów oceny źródła, łącznie od 0 do 20. Przed badaniem zapisz, za co przyznajesz punkt, kiedy zaliczasz odpowiedź częściową i ile brakujących pozycji możesz dopuścić w ważnej karcie. Użyj tych samych zasad w obu terminach. Jeżeli pierwsze zadanie ma 20 punktów, a drugie 30 i dotyczy także nowych umiejętności, procent maksimum może wyglądać podobnie, lecz nie przywróci wspólnego znaczenia wyniku.

Zdecyduj też, czy powtórzysz identyczną kartę. Przy tym samym zestawie osoby mogą pamiętać odpowiedzi. Przy drugiej wersji ryzykujesz, że będzie trudniejsza lub łatwiejsza. Wersje równoległe powinny mieć wspólną specyfikację treści, zbliżony poziom i wspólny klucz. Jeśli możesz, wypróbuj je przed pomiarem właściwym. Gdy uczestnicy dostają arkusze w różnych kolejnościach, odnotuj przydział i osobno obejrzyj wyniki wersji. Takie porównanie dotyczy arkuszy. Wciąż wszyscy przechodzą ten sam warsztat.

Kiedy uczestnicy wykonają drugie zadanie?

W harmonogramie zapisz dzień pierwszego pomiaru, rozpoczęcie i zakończenie zajęć oraz dzień pomiaru końcowego. Jeden uczestnik może rozwiązać zadanie zaraz po ostatnim ćwiczeniu, a drugi dopiero po dwóch tygodniach. Obydwa wyniki mówią o innym odstępie czasu. Jeśli zależy Ci na sprawdzeniu, co pozostało miesiąc później, możesz z góry zaplanować odroczony pomiar. Jeśli interesuje Cię wynik zaraz po warsztacie, określ dopuszczalne okno, np. dzień po zajęciach z odchyleniem o jeden dzień. Rzeczywiste daty i odchylenia ułatwią później ustalenie, które pary porównać razem.

Prowadź też krótki dziennik zajęć. Pomogą informacje o obecności, odwołanych częściach i materiałach dostępnych poza spotkaniami. Zapisz, czy uczestnicy po pierwszym pomiarze widzieli odpowiedzi lub klucz i czy mogli kontaktować się z prowadzącym. Po zakończeniu będziesz mógł oddzielić faktyczny przebieg od planu i wskazać doświadczenia, które mogły wpłynąć na wynik. Dziennik służy do odtworzenia tego, co się wydarzyło. Do przypisania zmiany warsztatowi potrzeba nadal odpowiedniego porównania.

Jak utrzymać warunki i powiązać karty?

Ustal wspólny czas zadania, dopuszczalne materiały, urządzenie lub tryb oraz sposób oceniania. Jeśli można wymieszać karty tak, by oceniający nie widzieli terminu, łatwiej ograniczyć wpływ oczekiwanej poprawy na punktowanie. Przy odmiennych zadaniach oceniający czasem i tak rozpozna termin po treści. Zachowaj przykład punktowania, klucz i opis tego, co rzeczywiście udało się sprawdzić. Gdy kartę ocenia więcej niż jedna osoba, można też porównać zgodność ocen na części materiału.

Do połączenia kart użyj kodu ustalonego w projekcie. Wyjaśnij uczestnikom, jak z niego skorzystać. Jeżeli oddzielna lista łączy kod z imieniem, tożsamość nadal da się odtworzyć i trzeba chronić te dane zgodnie z procedurą. Na fikcyjnych rekordach sprawdź, co zrobisz przy literówce, powtórzonym kodzie, wysłaniu dwóch odpowiedzi albo pustym polu. Korektę oczywistego błędu oprzyj na zapisanej regule i zachowaj jej podstawę. Przy dwóch równie możliwych dopasowaniach pozostaw sprawę nierozstrzygniętą. Podobieństwo odpowiedzi może być przypadkowe.

Kiedy para powinna zostać wyłączona?

Regułę ustal, zanim zobaczysz, komu wynik wzrósł. Powodem wyłączenia może być brak drugiego pomiaru, niemożność powiązania kart lub nieporównywalne warunki. Frekwencja dotyczy czego innego. Ktoś mógł opuścić jedno spotkanie i wykonać oba zadania. Możesz badać zmianę u wszystkich włączonych z porównywalnymi wynikami albo skupić się na osobach obecnych na wszystkich zajęciach. Wybrana reguła zmieni grupę, której dotyczy wynik. Gdy obecność wiąże się z poprawą, opis tylko najbardziej zaangażowanych osób może zawyżać ocenę całego warsztatu.

Zachowaj liczby zgłoszeń, osób uczestniczących, kart z każdego terminu i kompletnych par. Przy wyłączeniach nazwij rzeczywisty powód. „Nieobecność potwierdzona” i „oddano kartę innej wersji” powiedzą więcej niż wspólna etykieta „brak danych”. Jeśli powodu nie znasz, zaznacz to. Z samej nieobecności nie można odczytać motywacji. Taki wykaz przyda się także przy wyborze terminu następnego pomiaru.

Przykład warsztatu. Jak z 11 pierwszych pomiarów powstało osiem par?

W fikcyjnym przykładzie wszystkie 11 osób wykonało zadanie przed warsztatem. Tydzień po jego zakończeniu odebrano dziewięć kart. Dwie osoby nie pojawiły się na drugim pomiarze, a jedna oddała kartę z niewłaściwego zestawu. Jej karta była wśród tych dziewięciu, ale zgodnie z ustaloną regułą nie nadawała się do porównania. W pozostałych ośmiu przypadkach dało się odczytać kod i powiązać ważne wyniki. Dlatego w opisie są trzy liczby: 11 osób z pomiarem przed, dziewięć otrzymanych kart po i osiem porównywalnych par.

W każdej parze obliczamy wynik po minus wynik przed, w punktach. Wartość powyżej zera oznacza wzrost wyniku w tym zadaniu. Różnica ujemna oznacza spadek. Zero oznacza, że osoba otrzymała tyle samo punktów w obu terminach.

  • A. 7 przed, 12 po, różnica +5.
  • B. 9 przed, 13 po, różnica +4.
  • C. 10 przed, 14 po, różnica +4.
  • D. 11 przed, 14 po, różnica +3.
  • E. 12 przed, 15 po, różnica +3.
  • F. 13 przed, 15 po, różnica +2.
  • G. 14 przed, 14 po, różnica 0.
  • H. 16 przed, 17 po, różnica +1.

Po dodaniu różnic otrzymasz 22 punkty. Podziel przez osiem, a wyjdzie średnio +2,75 punktu. Tę wartość możesz sprawdzić od drugiej strony. Wyniki przed sumują się do 92 punktów, co daje średnio 11,50. Wyniki po sumują się do 114, czyli średnio 14,25. Różnica między tymi średnimi jest równa średniej zmianie, bo liczymy te same osiem osób i każda ma tę samą wagę. Jeśli do średniej przed dodasz trzy osoby bez pary, kolejny rachunek będzie już porównaniem dwóch zbiorów o innym składzie.

Siedem osób uzyskało więcej punktów, a jedna tyle samo. Wśród ośmiu par nie odnotowano spadku. Uporządkowane różnice to 0, 1, 2, 3, 3, 4, 4 i 5. Obie środkowe wartości wynoszą 3, więc mediana to 3 punkty, a cały zaobserwowany zakres jest od 0 do +5. Możesz pokazać pary jako punkty połączone linią. Czytelnik zobaczy wtedy, że część osób zmieniła wynik bardziej niż inne. W realnym małym badaniu sprawdź przed publikacją, czy na podstawie wykresu i opisu nie da się rozpoznać uczestnika. Litery A-H są tutaj fikcyjne.

Co powiedzieć o pozostałych trzech uczestnikach?

Wśród trzech osób bez porównywalnego pomiaru końcowego wyniki początkowe wynosiły 5, 6 i 15 punktów. Dwie były nieobecne. Jedna oddała nieporównywalną kartę. Dla żadnej nie ma zaobserwowanej zmiany na skali 0-20. Średnia początkowa tych osób wyniosła 26/3, czyli około 8,67 punktu. W porównywalnych parach było to 11,50. Już na początku te zbiory opisują inne wyniki. Z trzech przypadków nie dowiesz się jednak, dlaczego zabrakło drugiego porównywalnego pomiaru ani jaki byłby ich późniejszy wynik.

Możesz sprawdzić, jak zmieniłby się wynik dla wszystkich 11, gdyby brakujące wartości po warsztacie znalazły się na krańcach skali. Przy wszystkich trzech wynikach równych 0 suma zmian u tych osób wyniosłaby -26. Dodaj znane +22, a otrzymasz -4 punkty łącznie, czyli około -0,36 punktu na osobę. Jeśli wszystkie trzy wyniki miałyby wartość 20, ich zmiany sumowałyby się do +34. Razem z +22 daje to +56 punktów, czyli około +5,09 punktu na osobę.

Taki rachunek podaje skrajne granice zależne od wyników początkowych i skali 0-20. Przy skrajnym rozkładzie braków możliwa jest nawet ujemna średnia zmiana w całej jedenastce. W rzeczywistych danych trzy końcowe wartości pozostają nieznane. Granice nie mówią, jak prawdopodobne są oba warianty. Nie są także przedziałem ufności. Służą do pokazania, od czego zależy ewentualny wniosek o wszystkich włączonych osobach.

Jak sformułować zdanie o wyniku?

„Tydzień po warsztacie wynik zadania wzrósł średnio o 2,75 punktu w ośmiu parach”. To można sprawdzić w danych. Jeżeli w tym samym tygodniu studenci ćwiczyli podobne zadanie na innym przedmiocie, także to doświadczenie jest możliwym wyjaśnieniem. Możesz postawić hipotezę, że warsztat miał korzystny wpływ na wynik zadania, i zaplanować badanie, które pozwoli ją osobno sprawdzić. W bieżących wynikach pozostań przy czasie pomiaru, wykorzystanym zadaniu i grupie z porównywalnymi kartami.

Sześć rzeczy do sprawdzenia przed interpretacją

Campbell i Stanley pokazali na tym schemacie zagrożenia dla trafności wewnętrznej. Chodzi o to, czy da się wiarygodnie przypisać zmianę badanemu działaniu. Rozpatrując każdy przypadek, szukaj w danych lub dokumentach informacji, która pozwala go przynajmniej częściowo sprawdzić. Na przykład plik z kluczem może pomóc przy ocenie zmiany punktowania, a harmonogram ujawni dodatkowe szkolenie. Sama nazwa zagrożenia nie wyjaśni, co mogło wpłynąć na pomiar.

Czy między pomiarami odbyło się coś jeszcze? History

W tym samym tygodniu studenci mogli wziąć udział w dodatkowym szkoleniu bibliotecznym. Jeśli uczyło tego samego, co warsztat, oba wydarzenia mogły mieć związek z późniejszym wynikiem. W kalendarzu lub dzienniku poszukaj daty, czasu trwania i grupy objętej szkoleniem. W opisie napisz, co się udało potwierdzić. Jeżeli dokumenty nie wspominają o dodatkowej pomocy, nadal możliwe, że ktoś z niej korzystał poza zajęciami.

Czasem dodatkowe zdarzenie dotyczy tylko części osób. Na innym przedmiocie jedna grupa mogła otrzymać listę polecanych artykułów. Druga nie miała tego zadania. Warto wskazać różnicę w doświadczeniu, ale taki podział rozpoznany po fakcie nie tworzy kontrolowanego porównania. Te grupy mogły się różnić jeszcze przed zajęciami. Opis konkretnego wydarzenia pozwoli czytelnikowi rozważyć jego możliwy wpływ.

Co może zmienić sam upływ czasu? Maturation

W krótkiej sesji uczestnicy mogą się zmęczyć, odzyskać koncentrację po przerwie lub nabrać wprawy w wykonywaniu zadań. W dłuższym projekcie część umiejętności rozwija się stopniowo. Przy porównaniu wyników po tygodniu zastanów się, co zmieniłoby się przy normalnym działaniu uczestników. Osobno odnotuj wydarzenia, takie jak dodatkowe szkolenie albo zlecona praca z literaturą. Mogą mieć własny termin i zakres osób, których dotyczyły.

Granica czasem jest nieostra. Stopniowy rozwój umiejętności może się wiązać z codzienną praktyką, a dodatkowe zajęcia są konkretnym doświadczeniem. Najlepiej napisać, co mogło się zmienić, kiedy oraz o jakie informacje można się oprzeć. Krótki odstęp wyklucza część wolnych procesów, ale koncentracja lub zmęczenie potrafią zmienić się już w trakcie jednego spotkania. W dyskusji skup się na zjawiskach możliwych w czasie między Twoimi pomiarami.

Czy pierwsze zadanie przygotowało do drugiego? Testing

Pierwszy pomiar może zdradzić typ pytań. Jeżeli uczestnicy zobaczą, że liczy się rozpoznanie autora i rodzaju czasopisma, mogą później zwracać większą uwagę na te dwie rzeczy. Przy tej samej karcie mogą zapamiętać całe odpowiedzi. Gdy znają już format, krócej czytają polecenie. Wtedy wynik z kolejnego terminu może wzrosnąć, choć w szerszym zadaniu poprawa byłaby mniejsza. Zapisz, czy uczestnicy widzieli swoje wyniki, klucz lub poprawione odpowiedzi i jak wyglądało zadanie w obu terminach.

Wersja równoległa może ograniczyć zapamiętanie ćwiczenia, ale nadal zostaje znajomość formatu. Jeśli praca z informacją zwrotną stanowi część warsztatu, opisz ją jako element procedury. Żeby sprawdzić wpływ samego pomiaru początkowego, potrzebne byłoby osobne porównanie, np. z właściwie dobranym warunkiem bez pretestu. Użycie przypadkowo trudniejszego zestawu może zaś wprowadzić różnicę związaną z narzędziem.

Czy zmieniły się zasady oceniania? Instrumentation

W pierwszym terminie prowadzący odejmuje punkt za każdą niespójną pozycję. W drugim częściowo poprawna odpowiedź przechodzi. Ten sam poziom umiejętności może przy takich regułach dać inny wynik. Podobny problem powstaje, gdy zmienia się trudność, czas na wykonanie lub urządzenie. Zachowaj obie instrukcje i klucze, zapisz, kto oceniał, i wskaż tryb wykonania. Po kilku tygodniach trudno odbudować kolejność zmian wyłącznie z nazw plików.

Jeżeli masz oryginalne karty, możesz rozważyć ponowną ocenę w obu terminach wspólną uzasadnioną regułą. Jeśli warunki projektu na to pozwalają, oceniający może pracować bez wglądu w wcześniejszą punktację. Zachowaj obie wersje wyniku i opisz, czy korekta wpłynęła na porównanie. Jeżeli narzędzia sprawdzają różne umiejętności, przeliczenie obu wartości na procent maksimum nie rozwiązuje problemu. Wtedy można omówić każdy termin osobno albo przeanalizować rzeczywiście porównywalne karty.

Czy uczestników wybrano po skrajnie niskim lub wysokim wyniku?

Regresję ku średniej warto rozważyć, jeżeli do warsztatu włączono osoby wyjątkowo słabe według pretestu. Tak niski wynik może obejmować zarówno trwałą trudność, jak i przejściowe odchylenie, na przykład zmęczenie lub wyjątkowo trudny zestaw. Przy drugim pomiarze odchylenia mogą być mniejsze. Średnia grupy może zbliżyć się do typowego poziomu nawet bez skutecznego programu. Przy doborze według bardzo wysokiego wyniku można zobaczyć przeciwny kierunek. Nie znaczy to, że każda osoba z niskim wynikiem uzyska później wyższy.

Przy naborze bez progu sprawdź, czy selekcja nie działała inaczej. Mogli zgłosić się wyłącznie uczestnicy grupy wyrównawczej. Czasem autor wybiera dopiero po pomiarze osoby, które „miały największą możliwość poprawy”. W fikcyjnych parach kilka niskich wyników początkowych wiąże się z większymi różnicami. Taki kształt może wynikać ze zmiany, zakresu skali lub zmienności pomiaru. Pamiętaj, że w wykresie różnicy względem pierwszego wyniku wartość początkowa jest na osi poziomej i wchodzi do różnicy na osi pionowej. Marsden i Torgerson pokazują w reanalizie materiału edukacyjnego, dlaczego trzeba zwrócić na to uwagę.

Kto nie ma porównywalnego wyniku po warsztacie? Attrition

Przy kompletnych parach wynik dotyczy osób z dwiema wartościami. Zobacz, kto został poza tą grupą. Czy osoby bez drugiego pomiaru częściej miały niski wynik na początku albo trudniejszy dostęp do zajęć? Opisz powody i cechy, które rzeczywiście rejestrowano. Porównanie średnich początkowych pokazuje jedną różnicę w materiale, ale nie mówi, co stałoby się z ich wynikiem w drugim terminie. Jeżeli braki mogą zależeć od warsztatu lub mierzonej umiejętności, warto uwzględnić to w interpretacji.

Porównanie 11 pierwszych kart z ośmioma drugimi miesza dwie listy osób. Sparowanie ośmiu kart przed i po usuwa tę różnicę składu wewnątrz rachunku. Nadal jednak trzy osoby pozostają poza obliczeniem. Przed kolejną edycją przydatne mogą być zasady przypomnienia, dopuszczalny termin uzupełniający i jasne kryteria sprawdzania karty. Gdy braki już powstały, pokaż, na którym etapie i w ilu przypadkach. Czytelnik będzie mógł ocenić, jaki zakres ma każda liczba.

Jak zapisać metodę, liczby i interpretację?

Metodologia. Co rzeczywiście wykonano?

„Zastosowano pomiar przed i po w jednej grupie, bez równoległego warunku porównawczego. Uczestnicy rozwiązywali zadanie z oceny źródeł przed pierwszymi zajęciami i siedem dni po zakończeniu warsztatu. W obu terminach obowiązywały wspólna instrukcja i limit czasu. Użyto równoległych kart przygotowanych według tych samych kryteriów. Wynik na skali 0-20 obliczano według jednego klucza. Karty powiązano po kodzie. W opisie zmiany uwzględniono pełne pary z porównywalnymi kartami, odejmując wynik początkowy od końcowego. Uczestników bez porównywalnej pary ujęto w opisie przebiegu”.

We własnej pracy wpisz rzeczywiste daty. Gdy drugi pomiar odbył się w dwóch terminach, podaj odstęp i nazwij odstępstwa od planu. Jeśli oceniający wiedzieli, z kiedy pochodzi karta, opisz stosowaną ocenę wprost. Klucz, instrukcje i przykładowe zadania można umieścić w aneksie, jeśli pozwalają na to zasady badania. W rozdziale podaj także cel i liczbę spotkań. Samo określenie „warsztat” nie wyjaśnia, na czym polegało oddziaływanie.

Wyniki. Ilu osób dotyczy zmiana i jak była duża?

„Przed warsztatem pomiar wykonano u 11 osób. Tydzień po jego zakończeniu otrzymano dziewięć kart. Dwie osoby były nieobecne, a jedna otrzymana karta nie spełniła kryterium porównywalności. W ośmiu parach średni wynik zadania wzrósł z 11,50 do 14,25 punktu. Średnia różnica wyniosła +2,75 punktu, mediana +3 punkty, a zakres od 0 do +5. U siedmiu osób wynik wzrósł, u jednej się nie zmienił”.

Jeśli podajesz odsetek, dodaj podstawę obliczenia. Tutaj siedem z ośmiu to 87,5% osób w porównywanych parach. Liczba +2,75 to średnia zmiana w punktach, a obie informacje dotyczą tego samego zadania. Przy tak małej liczebności samo „u siedmiu z ośmiu” może przemawiać wyraźniej niż procent. Jeśli z góry ustalono próg zmiany o znaczeniu praktycznym, np. wynik odpowiadający samodzielnemu odróżnieniu źródła recenzowanego od promocyjnego, opisz jego podstawę i podaj liczbę osób, które go osiągnęły. Zapisz, kiedy ustalono próg.

Dyskusja. Czego nie pozwala ustalić ten projekt?

„Wśród osób z porównywalnymi kartami odnotowano wzrost punktacji zadania tydzień po warsztacie. W tym okresie uczestnicy wykonywali także inne zadanie bibliograficzne, a znajomość formatu z pierwszego pomiaru mogła ułatwić drugi. Brakuje równoległej obserwacji bez warsztatu, więc zebrane wyniki nie pozwalają ustalić, jaka część wzrostu wynikała z warsztatu. Brak porównywalnego pomiaru końcowego u trzech osób ogranicza zakres wyniku wobec całej grupy. W kolejnej edycji można rozważyć obserwację uczestników w zwykłym tygodniu zajęć przy wspólnych zasadach pomiaru”.

Jeśli wiesz, że w obu terminach użyto tego samego klucza, odnotuj to przy omawianiu zmiany punktacji. Jeżeli nie można sprawdzić trudności zestawów, zapisz również tę lukę. Zgodność czasowa wzrostu z warsztatem może uzasadniać następne badanie. Siła twierdzenia o jego wpływie zależy od tego, czy da się ocenić inne rozsądne wyjaśnienia i jak zorganizowano pomiar.

Co właściwie sprawdza test dla par?

Test sparowany wykorzystuje powiązane obserwacje. W teście t dla par oceniasz, czy średnia różnica odbiega od ustalonej wartości, zwykle zera. Do wyboru metody ważne są m.in. rozkład różnic, mała liczebność, zależności między uczestnikami i zakres uzasadnionego wnioskowania. Dwie kolumny z podobnymi nagłówkami nie wystarczą, by wybrać test. Niewykrycie różnicy też nie wystarcza do stwierdzenia, że wyniki są takie same.

Małe p opisuje wynik konkretnego rachunku przy założeniach testu. Brakuje nadal obserwacji tego samego okresu bez warsztatu. Gdy podajesz przedział ufności, opisuje on statystyczną niepewność średniej różnicy w przyjętym modelu. Jego szerokość nie mówi, ile z wyniku da się przypisać dodatkowej pracy studentów lub zmianie narzędzia. Dlatego obok testu pokaż wielkość różnicy, jednostkę, liczbę par i ograniczenie schematu. Ćwiczenie z ośmioma parami poprzestaje na obliczeniach opisowych.

Co można zmienić w następnej edycji?

Obserwuj porównywalny warunek w tym samym czasie

Jeśli możesz zebrać wyniki osób, które w tym samym okresie uczestniczą w zwykłych zajęciach, zyskasz punkt odniesienia dla tych samych dat. Ustal wspólny sposób oceniania, terminy i porównywalny nabór. Jeśli losowy przydział jest wykonalny, pomaga ograniczyć systematyczne różnice przy tworzeniu grup. Przy gotowych grupach zanotuj wcześniejsze różnice. Samo odjęcie wyniku początkowego nie zapewni, że grupy są porównywalne. Więcej wyjaśnia poradnik o podstawach wnioskowania o wpływie w eksperymencie.

Jeżeli chcesz sprawdzić, czy zmiany w obu warunkach się różnią, wykonaj porównanie bezpośrednio według planu projektu. Wynik testu w jednej grupie może przekroczyć przyjęty próg, a w drugiej go nie przekroczyć. Takie zestawienie dwóch decyzji jeszcze nie odpowiada na pytanie o różnicę warunków. Przy interpretacji wróć do tego, co i kiedy zmierzono w obu grupach.

Możesz też zaplanować warsztat później dla osób oczekujących. Dla pierwszego porównania potrzebujesz wyników z obu warunków zanim druga grupa rozpocznie zajęcia. Jeśli później zbierzesz dane również przy jej warsztacie, sprawdź, czy terminy mają zbliżony przebieg. Na przykład karta mogła krążyć między uczestnikami lub materiały mogły stać się dostępne wcześniej. Wtedy odnotuj, czego rzeczywiście doświadczyła każda grupa, oprócz tego, co przewidywał plan.

Dodaj pomiar, który odpowiada na konkretne pytanie

Kolejny pomiar przed rozpoczęciem warsztatu może pokazać, jak wynik zmienia się w zwykłych warunkach. Kilka wyników po obu stronach momentu wdrożenia daje więcej informacji o poziomie i trendzie. Analiza przerwanego szeregu czasowego wymaga jednak przemyślanego ciągu pomiarów, zapisanego momentu interwencji i uwzględnienia odstępów oraz zależności pomiędzy pomiarami. Pojedyncze zadanie po miesiącu odpowie przede wszystkim na pytanie o wynik w późniejszym terminie. Jeżeli w dniu rozpoczęcia programu jednocześnie zmienił się klucz, sam długi zapis nie wystarczy do przypisania zmiany jednemu wydarzeniu.

Gdy nie da się zebrać nowych pomiarów, nadal możesz odtworzyć dziennik przebiegu i opisać skale, terminy oraz brakujące wizyty. Jeśli w planie znalazły się osobne zadania dotyczące umiejętności ćwiczonej na warsztacie i jej zastosowania w innej sytuacji, podaj, które jest główne, a które dodatkowe. Przyda się to do ustalenia, do jakiego rodzaju wyniku może się odnosić wniosek. Po obejrzeniu wykresu można sformułować pytanie do kolejnego badania, zachowując w opisie pierwotny cel.

Przegląd przed złożeniem rozdziału

  • Czy pytanie jasno dotyczy obserwowanej zmiany u osób z porównywalnymi pomiarami?
  • Czy podajesz faktyczny czas przed i po oraz to, co uczestnicy robili pomiędzy terminami?
  • Czy skala, klucz, warunki i trudność pozwalają porównać oba wyniki?
  • Czy kody łączą jednoznacznie dwie karty, a reguły dla braków i wyłączeń odpowiadają przyjętemu planowi?
  • Czy z opisu wynika, ile osób włączono, ile kart otrzymano i ile par wykorzystano?
  • Czy da się odtworzyć średnią różnicę i ustalić liczbę wzrostów, spadków i przypadków bez zmiany?
  • Czy dyskusja rozróżnia zaobserwowany przebieg oraz możliwe dodatkowe wyjaśnienia?
  • Czy podany test lub przedział odpowiada jednostce analizy i rzeczywistemu pytaniu?
  • Czy wniosek dotyczy wyniku danego zadania i terminu pomiaru?
  • Czy wskazujesz, jaka kolejna informacja pozwoliłaby lepiej ocenić udział warsztatu w zmianie?

Przeczytaj jedno zdanie z wyników bez reszty rozdziału. Czy wiadomo, o jaką grupę chodzi, kiedy powstał wynik i co oznacza jego jednostka? Jeżeli przy dyskusji twierdzenie robi się mocniejsze, otwórz opis projektu i znajdź krok, który dał do tego podstawę. Możesz wrócić choćby do zdania o ośmiu parach i tygodniu od zakończenia warsztatu. Doprecyzowanie tej podstawy wystarczy, by obserwacja pozostała czytelna i przydatna.

Bibliografia

  • Campbell, D. T., Stanley, J. C. (1963). Experimental and quasi-experimental designs for research on teaching. W N. L. Gage (red.), Handbook of Research on Teaching, s. 171-246. Chicago: Rand McNally. W odrębnie paginowanym przedruku Design 2 omówiono na s. 7-12.
  • Marsden, E., Torgerson, C. J. (2012). Single group, pre- and post-test research designs: Some methodological concerns. Oxford Review of Education, 38(5), 583-616. DOI 10.1080/03054985.2012.731208. Sprostowanie autorów opublikowane w 2014 r., DOI 10.1080/03054985.2014.959825.

Najczęstsze pytania

Czy dwie ankiety w różnych terminach wystarczą do rozpoznania indywidualnej zmiany?

Potrzebne jest wiarygodne połączenie odpowiedzi tej samej osoby oraz porównywalny pomiar. Dwa niezależne zbiory odpowiedzi mogą pokazywać różnice między grupami. Trzeba też opisać brakujące pomiary i zmiany składu uczestników.

Czy wyższy wynik jednej grupy po warsztacie wystarczy, by ocenić jego skuteczność?

W porównywalnych parach można ustalić, jak zmienił się wynik zadania. Bez odpowiedniej obserwacji porównawczej nie wiadomo, co zaszłoby w tym samym okresie bez warsztatu. Mała wartość p z testu dla par tego nie rozstrzyga.

Co wpisać, gdy jednej osobie brakuje drugiego wyniku?

Oznacz brak porównywalnego pomiaru. Zero oznacza konkretną wartość na skali, np. oddaną kartę bez poprawnych odpowiedzi. Podaj osobno liczbę otrzymanych kart i pełnych par. Osobę bez drugiego wyniku uwzględnij w opisie przebiegu, bez przypisywania jej zaobserwowanej zmiany.

Kiedy rozważyć regresję ku średniej w pomiarze przed i po?

Sprawdź, czy do badania kwalifikował wyjątkowo niski lub wysoki wynik pierwszego, częściowo zmiennego pomiaru. Przy powtórce średnia grupy wybranej w ten sposób może się zbliżyć do typowego wyniku, także bez skutecznego programu. Nie oznacza to, że zmieni się wynik każdej osoby.

Czy można poprawić rozdział, gdy badanie już się odbyło?

Tak. Opisujemy rzeczywisty przebieg badania i poprawiamy spójność oraz uzasadnienie. Nie dopisujemy procedur ani doboru próby, których nie przeprowadzono.

Czy trzeba mieć gotowy rozdział?

Nie. Do pierwszej oceny wystarczą temat, wytyczne i opis planowanego badania.

Redakcja: Rozdział Metodologiczny