
Gdy chcesz policzyć krótkie zdarzenia, takie jak zgłoszenia do odpowiedzi, zaplanuj zapis każdego wystąpienia w obserwowalnym czasie. Gdy interesuje Cię rzeczywisty czas trwania stanu, rejestruj jego początek i koniec. Jeżeli możesz patrzeć na obserwowany obiekt tylko co jakiś czas i interesuje Cię rozkład stanów, zaplanuj obserwację chwilową. Odpowie ona, w ilu z ustalonych chwil zachowanie było widoczne. Udział chwil może w pewnych warunkach przybliżać udział czasu, ale oba wyniki mają inne źródło. Próbkowanie chwil nie jest też sposobem liczenia wszystkich krótkich epizodów.
Weź kartkę i dokończ zdanie: „Po badaniu chcę podać liczbę..., łączny czas... albo udział chwil, w których...”. Wpisz konkretną jednostkę, osobę lub grupę, czas obserwacji oraz warunek, który odróżnia wystąpienie od niewystąpienia. Dopiero potem wybierz odstęp między zapisami i ułóż próbny arkusz. Poniżej przejdziesz od takiego zdania przez pełny przykład dziesięciu minut do opisu, który da się wstawić do metodologii po uzupełnieniu danymi z własnego badania.
Zdecyduj, jaki wynik ma powstać po sesji
Wyobraź sobie obserwację podczas samodzielnej pracy w klasie. Jeden badacz chce wiedzieć, ile razy uczniowie poprosili o instrukcję. Drugi chce ustalić, jaką część obserwacji zajmowała praca zgodna z zadaniem. Trzeci ma kilkanaście grup i chce w stałych momentach notować, ile z nich jest gotowych do następnego kroku. Każdy może obserwować tę samą lekcję i potrzebować innego zapisu. W pierwszym przypadku krótkie zdarzenie może zacząć się i skończyć między dwiema chwilami. W drugim trzeba rozstrzygnąć, czy wniosek wymaga czasu, czy wystarczy przybliżenie oparte na próbkach. W trzecim trzeba ustalić, czy ocena grupy jest własnością grupy, czy sumą stanów poszczególnych osób.
Zdarzenie ma dający się rozpoznać moment. Przykładowo osoba zaczęła prosić o wyjaśnienie. Stan trwa przez pewien czas, na przykład pisanie zgodnie z bieżącą instrukcją. Epizod to odcinek od rozpoczęcia do zakończenia zdefiniowanego stanu. Wybór słowa zależy od tego, jakie operacje wykonasz później na arkuszu. Jeśli obserwatorzy mają liczyć kolejne prośby, potrzebują reguły, kiedy kończy się jedna prośba i zaczyna następna. Jeżeli mają mierzyć czas zajmowania się materiałem, potrzebują reguł rozpoczęcia, końca i dopuszczalnej przerwy. Zdefiniuj je na zachowaniu, które można zaobserwować, bez przypisywania intencji.
Przykładowo „angażował się” bywa zbyt ogólne. Na potrzeby jednego zadania można zapisać, że osoba wykonuje widoczną czynność przypisaną do bieżącej instrukcji, np. zaznacza pozycję w formularzu albo przenosi wskazany wynik do odpowiedniego pola. Czytanie fragmentu może także należeć do tej kategorii, jeśli protokół opisuje, po czym je rozpoznasz. Pozycja ciała albo samo patrzenie w stronę kartki nie wystarczy, jeżeli nie wiadomo, co znajduje się na kartce. Obserwację ucznia zasłoniętego przez inną osobę oznacz jako niewidoczną. Ten kod nie jest oceną jego zachowania.
Ustal także czas, do którego odnosi się wynik. „W czasie lekcji” może oznaczać pełne 45 minut, ostatnie dziesięć minut albo tylko czas pracy indywidualnej. Jeśli pierwsze pięć minut zajmuje odczyt instrukcji, włącz je lub wyłącz zgodnie z pytaniem, a nie według tego, co ułatwia obliczenia. Zapisz początek czasu odniesienia w protokole: koniec instrukcji, pierwszy sygnał dźwiękowy lub rozpoczęcie konkretnej czynności. Dwie klasy mogą zaczynać zadanie o różnych godzinach, ale protokół może używać wspólnego czasu od rozpoczęcia tego samego etapu. Unikniesz wtedy porównania dwóch przypadkowych fragmentów lekcji.
Jeżeli potrzebujesz jednocześnie liczby epizodów i udziału czasu, sprawdź, czy zapis może objąć oba wyniki. Gdy jeden obserwator zapisuje początek i koniec każdego epizodu, może odtworzyć i czas, i liczbę epizodów, o ile granice są wiarygodne. Jeśli rejestruje tylko łączną liczbę krótkich zdarzeń, nie odtworzy ich czasu trwania. Jeżeli ma 20 zdjęć stanów w równych chwilach, nie zna wszystkich przejść między stanami. Zaplanowanie dwóch wyników może wymagać innego arkusza lub dodatkowego obserwatora. Próbny fragment sesji pokaże, czy obciążenie jest realne.
Wybierz sposób zapisu, który pasuje do pytania
Rejestracja ciągła
Przy rejestracji czasu obserwator oznacza początek i koniec każdego rozpoznanego epizodu. W prostym arkuszu wystarczą identyfikator sesji, identyfikator obiektu, czas od rozpoczęcia, kod stanu i uwaga o niepewnej granicy. Jeśli potrzebujesz tylko liczby zdarzeń, wystarczy licznik dla dobrze określonej kategorii oraz całkowity obserwowalny czas. Zapis znaczników czasu jest pomocny, jeśli zamierzasz później porównywać układ zdarzeń. Możesz policzyć liczbę wystąpień na sesję, a przy różnych obserwowalnych czasach odpowiednio zdefiniowaną częstość, np. liczbę zdarzeń na dziesięć minut. W obu przypadkach podaj podstawę.
Nie zakładaj, że rejestracja ciągła gwarantuje bezbłędny wynik. Przy kilku szybko zmieniających się osobach obserwator może przeoczyć krótkie zdarzenie albo spóźnić się z oznaczeniem granicy. Niedokładny początek i koniec inaczej wpływają na epizod kilkusekundowy i na epizod trwający kilka minut. Jeśli pracujesz na żywo, rozważ ograniczenie do jednej osoby albo kategorii na sesję. Jeśli istnieje udokumentowana zgoda i odpowiednie zabezpieczenia nagrania, sprawdź możliwość ponownego zakodowania fragmentu. Jeśli nagranie nie mieści się w planie i zgodzie, nie dodawaj go tylko po to, żeby wygodniej przeliczyć przykład.
Pomyśl, co zrobisz z zachowaniem rozpoczętym przed sesją. Możesz liczyć czas od początku obserwacji dla stanu już trwającego, z adnotacją „trwało przy starcie”. Liczba rozpoczęć w sesji nie obejmuje wówczas niezaobserwowanego początku. Gdy stan trwa po końcu, do czasu obserwacji wliczasz odcinek do granicy sesji, a w notatce wskazujesz, że zakończenia nie obserwowano. Reguła jest potrzebna także dla przerwy w widoczności. Nie łącz automatycznie dwóch fragmentów po obu stronach zasłonięcia, jeśli nie możesz ustalić, co działo się pośrodku.
Rejestracja chwilowa
W próbkowaniu chwilowym obserwator zapisuje stan w z góry wybranej chwili. Może to być np. dokładnie 30., 60. i 90. sekunda oraz kolejne wyznaczone momenty. Pytanie brzmi „czy zachowanie jest widoczne w tej chwili?”. Osoba nie musi utrzymywać stanu przez cały poprzedni okres. Nie sprawdzasz także, czy stan wystąpił choć raz między dwiema chwilami. Zapis ma być wykonany dla konkretnego punktu czasu. Jeżeli obserwator nie mógł wtedy zobaczyć obiektu, wpisuje kod braku obserwowalności, a nie odpowiedź „nie”.
Przy wyborze interwału oszacuj, jak często stan może się zmieniać. Gdy aktywność przyjmuje długie odcinki i obserwator ma wiele innych obowiązków, umiarkowanie rzadka próbka może być wykonalna. Przy krótkich, nieregularnych epizodach długa przerwa między próbkami łatwo pomija wszystkie wystąpienia. Nie ma jednej częstotliwości, która nadaje się do każdego zadania. Porównaj co najmniej dwie możliwe reguły w krótkim pilotażu i sprawdź, czy różnica zmienia odpowiedź na pytanie badawcze. Zbyt gęsty plan, którego nie da się wykonać, może pozostawić więcej luk niż rzadszy plan o wysokiej obserwowalności.
Jeśli obserwujesz kilka osób, zdecyduj, czy przy każdym sygnale oceniasz wszystkie, czy jedną wyznaczoną osobę. Notowanie czterech osób kolejno nie jest pomiarem czterech stanów w tej samej chwili, chyba że masz sposób wiarygodnego ustalenia ich stanu na wspólny sygnał. Możesz zaplanować rotację, w której dla każdej osoby zapisujesz własne chwile, i opisać kolejność. Uwzględnij, że stała kolejność może systematycznie wiązać osobę z fazą zadania. Dla pytania o zachowanie w jednej wspólnej chwili może być potrzebny inny protokół albo kilku obserwatorów.
Rejestracja przedziałowa
Przy zapisie przedziałowym ocena dotyczy odcinka, a nie pojedynczego sygnału. Możesz zanotować „wystąpiło choć raz”, jeśli pytasz o przedziały, w których pojawił się dany stan lub zdarzenie. Możesz też zanotować „utrzymywało się przez cały przedział”, jeśli interesują Cię okresy nieprzerwanego stanu. Pierwsza reguła nadaje kod „tak” nawet przedziałowi z krótkim epizodem. Druga wymaga ciągłości przez cały okres. Wyniki przedstawiaj jako udział przedziałów spełniających zdefiniowany warunek. Nie odczytuj z nich dokładnego udziału czasu albo liczby epizodów.
Przykład: w przedziale 30 sekund obserwowana osoba pracowała przez pierwsze cztery sekundy i przez ostatnie pięć. W zapisie częściowym wynik to „tak”, w zapisie całego przedziału „nie”. Jeśli chwilę wyznaczono na piętnastą sekundę, wynik chwilowy też może brzmieć „nie”. Wszystkie trzy zapisy mogą być poprawne. Ich zgodność ocenisz dopiero po uwzględnieniu pytania, na które mają odpowiedzieć. Jeśli badacz podsumuje każde „tak” jako 30 sekund pracy, przeliczy inny wynik niż ten, który zmierzył.
Gdy widoczność zanika na część przedziału, najpierw sprawdź, czy widoczny fragment wystarcza do decyzji. W zapisie częściowym jedno potwierdzone wystąpienie rozstrzyga „tak”. W zapisie całego przedziału jedna potwierdzona przerwa w zachowaniu rozstrzyga „nie”. Jeśli widoczny fragment nie pozwala zastosować właściwej reguły, wpisz brak. W obu sposobach podaj odsetek „tak” wśród przedziałów z rozstrzygniętym stanem i osobno podaj liczbę braków wśród wszystkich zaplanowanych przedziałów.
W artykule o metodzie wybieraj nazwę dopiero po zapisaniu reguły. „Pomiar co 30 sekund” nie mówi, czy opisujesz punkt, poprzednie pół minuty, czy cały przedział. „Obserwacja ciągła co 30 sekund” może być myląca, jeśli obserwator między sygnałami nie śledził zachowania. Podaj wprost moment, regułę decyzji i sposób obliczenia. Altmann uporządkowała różne reguły doboru momentów i obiektów obserwacji. LeBlanc i współautorzy ponownie zakodowali istniejące dane ciągłe, stosując obserwację chwilową i zapis wystąpienia w części przedziału. Z tych źródeł wynika potrzeba dopasowania zapisu i jawnego opisu. Nie dają one uniwersalnej liczby sekund dla każdej obserwacji w klasie.
Przelicz przykład od zapisu do wyniku
Poniższy przykład jest fikcyjny. Jedna osoba ma dziesięć minut na pracę z formularzem. Obserwowana czynność polega na wykonywaniu widocznego kroku z instrukcji, np. zaznaczaniu odpowiedzi albo wpisywaniu wyniku. Obserwator ma nieprzerwany dostęp do jednej osoby, a momenty rozpoczęcia i zakończenia stanu można odczytać z fikcyjnej osi czasu z dokładnością do sekundy. Pomiar zaczyna się w chwili oznaczonej 0 i kończy w 600. sekundzie. Ostatni zaplanowany sygnał przypada na 600. sekundę. Obserwator odczytuje stan, po czym kończy się zadanie, bez dodawania czasu do pomiaru. Dla każdego epizodu przyjmujemy, że jego początek należy do odcinka, a znacznik końca należy już do następnego stanu. Ta konwencja ma znaczenie, jeśli chwila próbki wypada dokładnie przy zmianie.
Obserwowana czynność zajmuje kolejno sekundy od 20 do 78, od 100 do 175, od 210 do 262, od 300 do 347, od 370 do 480 oraz od 510 do 560, z wyłączeniem każdego końca. Czas kolejnych odcinków wynosi 58, 75, 52, 47, 110 i 50 sekund. Ich suma daje 392 sekundy. Udział czasu to 392 ÷ 600 × 100, czyli 65,33% po zaokrągleniu. Liczba odcinków wynosi sześć. Jeśli każde rozpoczęcie jest osobnym zdarzeniem, obserwator odnotował także sześć rozpoczęć w dziesięciu minutach. Nie wyciągaj z tej liczby wniosku o sześciu uczniach. Jednostką w przykładzie jest jedna osoba w jednej sesji.
Teraz odczytaj stan tylko przy sygnałach co 30 sekund, od 30 do 600. Występuje przy chwilach 30, 60, 120, 150, 210, 240, 300, 330, 390, 420, 450, 510 i 540. Masz 13 zapisów „tak” na 20 możliwych, czyli 65%. Sygnał w chwili 480 dostaje „nie”, bo właśnie kończy się jeden z odcinków. Sygnały 210, 300 i 510 dostają „tak”, bo to początki epizodów. Różnica między 65% chwil a 65,33% czasu jest w tym przykładzie mała. Nie dowodzi to, że 30 sekund sprawdzi się w następnej sesji. Widzisz zgodność dla konkretnego zapisu i konkretnej siatki momentów.
Rozrzedź siatkę do 60 sekund, z pierwszym sygnałem w 60. sekundzie. Stan jest widoczny w chwilach 60, 120, 240, 300, 420 i 540. To 6 z 10, czyli 60%. Nie obserwowano innej osoby ani nie zmieniono rzeczywistych odcinków. Zmienił się plan próbkowania. Udział prób różni się o 5,33 punktu procentowego od pełnego udziału czasu. W tym przypadku 30 sekund trafiło bliżej, ale w innym fragmencie również gęsta siatka może wielokrotnie trafić w ten sam moment cyklicznego zadania. Wnioski z porównania zapisz jako wyniki ćwiczenia, a nie uniwersalny ranking metod.
Zostaw odstęp 30 sekund i przesuń pierwszy sygnał na 15. sekundę. Zakończ próbki na 585. sekundzie. Wtedy stan obserwujesz w 15 z 20 chwil, czyli w 75%. Pierwszy i ostatni sygnał wypadają symetrycznie względem granic sesji, lecz wynik jest wyższy niż przy pierwszym sygnale na 30. sekundzie. Sam odstęp nie określa więc protokołu. Musisz podać pierwszy moment, sposób obsługi ostatniej chwili oraz regułę dla sygnału przypadającego na granicę. W przykładzie 75% pochodzi z tej samej osi czasu. Różnica wynika z wyboru chwil, nie ze zmiany zachowania.
Załóż teraz, że w rzeczywistej sesji nie widać osoby w 240. sekundzie. Zgodnie z przykładową regułą nie traktujesz tej chwili jako „nie”. Przy 30-sekundowym planie masz 12 pewnych odpowiedzi „tak” i 7 „nie”. Jedna chwila jest niewidoczna. Udział „tak” wśród obserwowalnych chwil wynosi 12 ÷ 19, czyli około 63,2%. Osobno podajesz 1 nieobserwowalną chwilę na 20 zaplanowanych. Gdybyś wstawił „nie”, otrzymałbyś 12 ÷ 20 = 60%, ale odpowiedziałbyś na inne pytanie. Oceniałbyś, jaki odsetek wszystkich zaplanowanych chwil uzyskał potwierdzone „tak”, niezależnie od tego, czy w pozostałych w ogóle można było zobaczyć zachowanie.
Jeżeli udział chwil niewidocznych jest duży lub różni się w zależności od sytuacji, sam odsetek wśród widocznych chwil też ma ograniczenie. Osoby mogą częściej wychodzić z pola widzenia właśnie wtedy, gdy wykonują określone czynności. W takim przypadku braku nie należy traktować jak losowej luki bez sprawdzenia. W próbie metodologicznej odnotuj, kiedy widoczność znika i czy można poprawić ustawienie obserwatora w ramach dotychczasowej zgody i procedury. Jeżeli nie możesz jej poprawić, zawęź opis do sytuacji i fragmentów, dla których masz podstawę.
Sprawdź, co ten sam materiał dałby w zapisie przedziałowym
Podziel sześćset sekund na dwadzieścia przedziałów: od 0 do 30 sekund, od 30 do 60 i tak dalej. W każdym pytaj, czy wystąpił choć fragment obserwowanej czynności. W pierwszym przedziale zachowanie zaczyna się w dwudziestej sekundzie. Zapis częściowy daje „tak”, chociaż większość przedziału zajmuje inny stan. W przedziale od 180 do 210 sekund odpowiedź brzmi „nie”, ponieważ zdarzenie zaczyna się dokładnie na prawej granicy. Ten moment przypisujesz do następnego przedziału. Sprawdzenie w całym przykładzie daje 16 z 20 przedziałów z co najmniej jednym fragmentem, czyli 80% przedziałów.
Dla zapisu całego przedziału sprawdź, czy wszystkie sekundy wewnątrz każdego z nich należą do zdefiniowanego stanu. Od 0 do 30 sekund otrzymasz „nie”. Od 30 do 60 masz „tak”. Od 60 do 90 znów „nie”, ponieważ stan kończy się w 78. sekundzie. Po przejściu wszystkich dwudziestu przedziałów otrzymasz 8 odpowiedzi „tak”, czyli 40% przedziałów. Obydwa wyniki mogą być prawidłowe, ponieważ opisują inne warunki. W jednym przypadku pytasz o jakiekolwiek wystąpienie, w drugim o nieprzerwane trwanie przez cały odcinek. Nie używaj 80% ani 40% jako czasu trwania. Pełny zapis czasu dla tej samej osi nadal daje 65,33%.
Spójrz na przedział od 450 do 480 sekund. Czynność trwała przez cały lewostronnie domknięty odcinek, więc zapis całego przedziału daje „tak”. Natomiast punkt w chwili 480 otrzymuje „nie”, bo w tej chwili stan się zmienia. To proste ćwiczenie pokazuje, dlaczego protokół musi określać, gdzie przypisujesz granicę. Jeśli obserwatorzy zapisują czas z dokładnością do sekundy, a zachowanie zmienia się w ułamku sekundy, część granic może pozostać niepewna. Nie przypisuj dokładności, której nie zapewnia narzędzie. Możesz zapisać regułę tolerancji w pilotażu i sprawdzić, czy ma znaczenie dla wyniku.
Krótkie zdarzenie, którego nie widać w żadnej próbce
W osobnym fikcyjnym fragmencie osoba prosi o instrukcję w sekundach 12, 48 i 77. Obserwator ma zegar sygnalizujący 30, 60 i 90 sekund. Jeśli każda prośba trwa dwie sekundy, w żadnej z chwil próbkowania jej nie usłyszysz. Wynik chwilowy to zero z trzech, a rzeczywista liczba próśb wynosi trzy. Nie jest to dowód, że częstsze próbkowanie zawsze da pełną liczbę. Nawet gdy jedna prośba trafi na sygnał, nie wiesz, ile wystąpiło poza nim. Przy pytaniu o liczbę próśb ustaw odrębny zapis zdarzeń i mianownik obserwowalnego czasu.
W innej sesji załóż, że osoba pracuje przez pierwsze dziesięć sekund każdej minuty, potem wykonuje inną czynność. Jeżeli próbkujesz dokładnie w piątej sekundzie każdej minuty, otrzymasz same „tak”. Jeżeli próbkujesz w trzydziestej sekundzie, otrzymasz same „nie”. Czas poświęcony na pierwszą czynność nadal wynosi jedną szóstą każdej pełnej minuty. To skrajny przypadek powiązania siatki z rytmem zachowania. W rzeczywistej obserwacji sprawdź, czy lekcja ma cykliczne zmiany zadań, dzwonki, sygnały o stałym odstępie lub wspólną sekwencję czynności. Rozważ wcześniej zaplanowane różne punkty startu, jeśli odpowiada to pytaniu i można je zrealizować. Jeśli zamiast tego chcesz porównać zachowanie zawsze po określonym sygnale, jawnie nazwij tę fazę jako część badanej sytuacji.
Zaplanuj pilotaż, który sprawdza wykonalność i zapis
Zacznij od małego zestawu próbnych sesji odpowiadających ważnym warunkom badania. Gdy w jednej klasie praca wygląda inaczej na początku i pod koniec zadania, obejmij oba odcinki. Gdy protokół ma działać przy jednej osobie i przy całym zespole, wypróbuj oba scenariusze. Nie używaj najlepiej widocznego fragmentu jako jedynej podstawy. Chcesz wiedzieć, gdzie obserwator gubi moment, jak często opuszcza sygnał, które zachowania są najkrótsze i w których miejscach definicja daje dwa możliwe odczyty.
Dobrym testem jest użycie jednego fragmentu do odtworzenia dwóch protokołów. Jeśli masz zgodnie pozyskany materiał pozwalający odtworzyć przebieg, zapisz go raz jako oś ciągłą, a następnie odczytaj stany dla kilku wcześniej ustalonych siatek. Jeżeli pracujesz wyłącznie na żywo, możesz zaplanować niezależnych obserwatorów z różnymi zadaniami i tą samą definicją. Pamiętaj, że w takim zestawieniu różni się także osoba kodująca. Rozdziel błąd schematu od różnicy między osobami, na ile pozwala projekt. W żadnym przypadku nie przedstawiaj krótkiego pilotażu jako potwierdzenia, że wybrana metoda zadziała we wszystkich warunkach.
Notuj obciążenie obserwatora. Po sesji zapytaj, ile sygnałów przegapił, czy dało się rozpoznać początek i koniec, czy ktoś zasłaniał obiekt i czy rejestrowanie jednej kategorii utrudniało śledzenie innej. Zapisz przyczyny w osobnej rubryce. Jeśli dwie procedury dają podobny wynik merytoryczny, lecz jedna wymaga nierealistycznego tempa i skutkuje częstymi pominięciami, to ważny argument za zmianą planu. Gdy gęstsza próbka jest niezbędna dla pytania, rozważ zmniejszenie liczby obserwowanych obiektów zamiast przyjęcia schematu, który nie mierzy tego, czego potrzebujesz.
Ustal, co dokładnie sprawdzają dwie osoby
Przy niezależnym zapisie przez dwóch obserwatorów dopasuj jednostki. Dla punktów obaj otrzymują tę samą listę sygnałów. Porównaj wpisy dla tych samych osób i momentów. Jeśli pierwszy obserwator kodował stan w 30. sekundzie, a drugi odnotował stan zauważony w trakcie przedziału, ich wpisy dotyczą różnych definicji. Najpierw skoryguj protokół. Podobnie przy zapisie ciągłym potrzebna jest wspólna reguła, czy porównujesz momenty rozpoczęć, końce epizodów, łączny czas, czy klasyfikację odcinków. Wysokie podobieństwo łącznego czasu może współistnieć z przesuniętymi granicami. Wybierz porównanie zgodne z przeznaczeniem pomiaru.
Zacznij od jawnego zestawienia zgodności. Załóżmy, że w 20 chwilach obaj obserwatorzy rozpoznali stan. W 18 z tych 20 par przypisali ten sam wynik, więc surowa zgodność wynosi 90%. Braki jednostronne i obustronne raportuj osobno. Wspólny brak widoczności nie jest zgodnością oceny zachowania. Jeżeli w 17 z tych 18 zgodnych przypadków obaj zapisali „nie”, ogólny odsetek mówi mało o rozpoznawaniu rzadkich wystąpień. Zobacz osobno, ile razy obaj zaznaczyli „tak”, ile razy tylko jeden, ile razy obaj „nie” i gdzie pojawiły się braki. Gdy planujesz współczynnik uwzględniający zgodność oczekiwaną, dobierz go do projektu i jawnie wskaż zestaw obserwacji, z którego go policzono. Sama liczba nie zastępuje analizy, dlaczego obserwatorzy rozumieją kategorię inaczej.
Ustal też, co dzieje się, gdy jedna osoba widzi ucznia, a druga nie. To rozbieżność warunków obserwacji. Możesz wyłączyć te pary z obliczenia zgodności zachowania i podać ich liczbę oddzielnie, jeśli taki jest plan. Możesz też badać osobno zgodność oceny obserwowalności. Nie łącz przypadków niewidocznych z rozpoznanym „nie”, bo poprawisz lub pogorszysz współczynnik w sposób, który niewiele mówi o zastosowanej definicji. Przed badaniem ustal, który odczyt stanowi analizowany zapis i czy protokół przewiduje niezależną weryfikację rozbieżności. Nie rozstrzygaj sporów na podstawie tego, który wynik lepiej pasuje do hipotezy.
Sprawdź wspólny punkt startu i przerwy
W sali może zabraknąć wspólnego zegara albo sygnał może docierać do obserwatorów w różnej chwili. Na początku sesji wykonaj próbę synchronizacji. Sprawdź, jak urządzenie oznacza start, pauzę i wznowienie. Jeżeli przerwa na sprawy organizacyjne została wyłączona z czasu obserwacji, opisz, czy sygnały zatrzymano, czy przerwa pozostała w siatce jako osobno oznaczony odcinek. Obie decyzje mają konsekwencje dla liczby sygnałów i interpretacji. Przykładowo restart licznika od zera po każdej przerwie może częściej umieszczać próbki w pierwszej fazie zadania. Zachowanie bieżącej siatki może natomiast zostawić planowane momenty bez obserwacji. Wybierz regułę przed sesją.
Przy powtarzanych pomiarach tej samej osoby zapisuj identyfikator sesji i jej kolejność. Jeśli osoba bierze udział dwukrotnie, oba pomiary mogą być ze sobą związane. Z kolei kilka chwil w jednej sesji zależy od tego, jak długo utrzymuje się stan. Gdy stan trwa przez dwie minuty, kolejne sygnały co 30 sekund mogą dać cztery podobne obserwacje. Nie traktuj automatycznie dwudziestu sygnałów jak dwudziestu niezależnych uczestników. Dla opisu możesz obliczyć wskaźnik na sesję, a później rozważyć sposób porównania na właściwym poziomie. Do wnioskowania potrzebujesz planu uwzględniającego strukturę badania.
Określ jednostkę analizy oraz sposób sumowania
Jeżeli w jednej sesji masz 13 odpowiedzi „tak” z 20, a w innej 8 z 10, możesz obliczyć dwa różne podsumowania. Po zsumowaniu wszystkich obserwowalnych chwil otrzymasz 21 ÷ 30, czyli 70%. Jeżeli najpierw obliczysz udziały sesji i każdej dasz tę samą wagę, średnia z 65% i 80% wynosi 72,5%. Pierwsza liczba opisuje łączny udział wśród zarejestrowanych chwil. Druga opisuje średni udział dla dwóch sesji. Różnica wynika z odmiennych podstaw i nie jest błędem rachunku. W pracy zapisz, czy każda sesja ma znaczyć tyle samo, czy ważysz ją liczbą obserwowalnych chwil. Wybór powinien odpowiadać pytaniu, a nie temu, która wartość jest bardziej efektowna.
Porównanie udziałów chwil zakłada ten sam protokół próbkowania w obu sesjach, łącznie z regułą wyboru chwil i zapisu braków. Podobny problem występuje przy czasie. Cztery minuty zachowania w obserwacji trwającej pięć minut i cztery minuty w sesji dwudziestominutowej to ta sama liczba minut, ale różne udziały. Jeżeli pytanie dotyczy obciążenia czasowego, suma minut może mieć sens. Jeżeli dotyczy udziału w typowej sesji, trzeba wykorzystać mianownik każdej sesji. Przy różnej widoczności podaj, czy mianownik oznacza czas planowany, wykonany czy faktycznie obserwowalny. Jeśli dla jednej sesji możesz odtworzyć tylko połowę czasu, nie raportuj jej jako pełnej obserwacji bez informacji o ograniczeniu.
W badaniu grupowym mogą istnieć dwa poziomy. Stan grupy oceniany przy sygnale opisuje grupę jako całość. Gdy na potrzeby innego pytania liczysz osoby pracujące w każdej z klas, jednostką pierwszego odczytu jest osoba w chwili, ale osoby z jednej klasy mają wspólne warunki. W przykładzie prostego opisu możesz podać, ile osób widać i ile spełnia warunek w danej chwili. Przy planowaniu porównań między klasami nie powiększaj liczebności tylko dlatego, że masz wiele wierszy z tych samych klas. Zapisz liczby klas, osób i sesji oddzielnie. Informują o projekcie na różne sposoby.
Zachowaj wersję słownika i regułę wyłączeń. Podczas sprzątania zbioru sprawdź, czy wiersze reprezentują planowane sygnały, wykonane odczyty, zdarzenia czy epizody. Nie mieszaj ich w jednym nieopisanym liczniku. Jeżeli masz osobną tabelę roboczą czasu i prób, powiąż je identyfikatorem sesji oraz jednoznacznym czasem. W dokumentacji napisz, co się dzieje, kiedy koniec epizodu przypada po sesji i kiedy przy jednym sygnale obserwujesz kilka osób. Takie szczegóły są ważne przy odtworzeniu mianownika.
Napisz metodologię na podstawie zrealizowanego protokołu
Opis rozpocznij od tego, co badano i czego obserwator szukał. Podaj badany stan lub zdarzenie oraz kryteria decyzji. Następnie określ, od kiedy do kiedy trwała sesja, kto był obserwowany i które odcinki wchodziły do analizy. Dalej opisz, jak obserwator zapisywał wynik. Przy obserwacji chwilowej wpisz odstęp, pierwszy i ostatni sygnał oraz to, czy sygnał dotyczył punktu czy przedziału. Przy zapisie ciągłym podaj dokładność znaczników i sposób liczenia końców. Opisz także, co zrobiono z pominiętymi próbami, przerwami i nieobserwowalnymi przypadkami.
Przykładowy fragment dla fikcyjnego projektu: „Jednostką zapisu była osoba w ustalonej chwili dziesięciominutowej sesji samodzielnej pracy. Sygnały pojawiały się co 30 sekund, od 30. do 600. sekundy liczonej od startu zadania. Obserwator oznaczał, czy w momencie sygnału osoba wykonywała widoczną czynność wskazaną w protokole. Kod braku obserwowalności stosowano, kiedy nie można było rozstrzygnąć stanu. Procent liczono jako iloraz liczby chwil z kodem «tak» i liczby chwil z rozpoznanym stanem. Osobno podano liczbę chwil niewidocznych. Każda sesja miała własny identyfikator, aby zachować informację o powtarzanych pomiarach”. Uzupełnij tylko szczegóły rzeczywiście zastosowane w badaniu.
Przykład zapisu pilotażu: „W próbie metodologicznej porównano odczyt wybranych chwil z pełnym zapisem czasu. Sprawdzono dwie częstotliwości i dwie fazy rozpoczęcia. Wybór oparto na wykonalności, liczbie pominięć oraz różnicy względem pełnego zapisu w kontrolowanych fragmentach. W arkuszu wydzielono kod nieobserwowalności i doprecyzowano przypisanie punktu przypadającego na granicę epizodu”. W pracy możesz opisać, jaki zakres prób naprawdę wykonano, kto kodował i które obserwacje nie weszły do porównania. Jeśli próba obejmowała niewiele sesji, wskaż to i ogranicz twierdzenie do jej celów.
Unikaj zdania „obserwacja chwilowa wykazała, że uczestnicy wykonywali zadanie przez 65% czasu”, jeśli zbiór zawiera wyłącznie próbki. Zamiast tego napisz: „Czynność odnotowano w 65% obserwowalnych chwil przy podanej siatce próbkowania”. Jeżeli masz równoległy zapis ciągły i chcesz uzasadnić przybliżenie, pokaż założenia i różnice zauważone w próbie. Czytelnik będzie mógł ocenić przydatność wskaźnika i zdecydować, czy wynik da się porównać z badaniem stosującym inną metodę. Przy częstości użyj liczby zdarzeń oraz jednostki czasu. Przy zapisie przedziałowym zaznacz, czy chodzi o co najmniej jeden fragment, czy o cały przedział.
Kontrola przed pierwszą sesją i przed oddaniem rozdziału
- Zapisz pytanie badawcze i wskaż jedną podstawową miarę.
- Podaj stan, zdarzenie, początek i koniec w sposób, który może zastosować drugi obserwator.
- Opisz obiekt, fazę zadania i ramy czasu sesji.
- Dla próbek określ odstęp, start, ostatni sygnał, granice i sposób rejestrowania spóźnienia.
- Oddziel obserwację „nie wystąpiło” od sytuacji „nie można było obserwować”.
- Przelicz krótki fikcyjny rekord ręcznie i sprawdź działanie arkusza.
- Zapisz plan pilotażu i sposób oceny rozbieżności obserwatorów.
- Porównaj mianownik w arkuszu z tym, co podajesz w metodologii.
- Podaj liczbę osób, klas, sesji i chwil na odpowiednim poziomie.
- Zachowaj rzeczywistą zmianę protokołu, datę oraz zakres danych, których dotyczyła.
Jeżeli po tej kontroli nadal nie wiesz, jaki wskaźnik otrzymasz, wróć do pierwszego zdania z pytaniem. Ustal, czy wynik powinien mówić o zdarzeniach, czasie czy obserwowanych momentach. Następnie przetestuj jeden realny przebieg w krótkiej próbie. Błąd łatwiej poprawić przed zebraniem danych, kiedy możesz jeszcze wybrać inną długość sesji lub regułę zapisu. Po zebraniu danych opis musi pozostać zgodny z tym, co rzeczywiście zarejestrowano.
Bibliografia
Altmann, J. (1974). Observational Study of Behavior: Sampling Methods. Behaviour, 49(3-4), 227-267. DOI 10.1163/156853974X00534.
LeBlanc, L. A., Lund, C., Kooken, C., Lund, J. B., Fisher, W. W. (2020). Procedures and Accuracy of Discontinuous Measurement of Problem Behavior in Common Practice of Applied Behavior Analysis. Behavior Analysis in Practice, 13(2), 411-420. DOI 10.1007/s40617-019-00361-6. Publikacja online 2019, wydanie zeszytu 2020.
Najczęstsze pytania
Czym różni się próbkowanie chwilowe od zapisu przedziałowego?
W zapisie chwilowym oceniasz stan w konkretnym punkcie czasu. W zapisie przedziałowym oceniasz wystąpienie w części lub przez cały przedział, zgodnie z ustaloną regułą. Procenty odnoszą się więc do różnych jednostek zapisu.
Czy z próbek chwilowych można policzyć wszystkie zdarzenia między sygnałami?
Nie. Próbki opisują stan w wyznaczonych chwilach. Krótki epizod może wystąpić między dwoma sygnałami. Do liczenia wszystkich zauważalnych epizodów w obserwowalnym czasie potrzebujesz rejestracji zdarzeń.
Czy brak możliwości obserwacji zachowania należy zakodować jako zero?
Nie należy utożsamiać tych sytuacji. Zero może oznaczać, że zdarzenie nie wystąpiło w poprawnie obserwowanym odcinku. Brak widoczności lub przerwa w obserwacji oznaczają brak informacji i wymagają osobnego zapisu zgodnego z planem badania.
Czy 90% zgodności wystarczy przy rzadkim zachowaniu?
Sprawdź, ile zgodnych ocen dotyczy obecności zachowania, a ile jego braku. Podaj rozbieżności i braki widoczności osobno. Sama zgodność ogółem może być wysoka przy słabym rozpoznawaniu rzadkich wystąpień.
Czy mogę zamówić sprawdzenie protokołu obserwacji przed badaniem?
Tak. Możesz zlecić przegląd definicji zachowania, jednostki zapisu, planu sygnałów i reguły dla niewidocznych odcinków. Zakres ustalimy na podstawie aktualnej wersji protokołu.
Jak zgłosić arkusz obserwacji i opis procedury do sprawdzenia?
W formularzu kontaktowym podaj pytanie badawcze i etap pracy. Przygotuj pusty arkusz, instrukcję dla obserwatora i zanonimizowany lub fikcyjny przykład sesji. Napisz, czy potrzebujesz kontroli arkusza, opisu metod czy obu elementów.
Redakcja: Rozdział Metodologiczny


