EEG/SSVEP

Wstęp

Jak już wiemy (EEG/Pracownia_EEG/SSVEP_1), potencjały wywołane stanu ustalonego są odpowiedzią mózgu na bodźce pojawiające się cyklicznie w pewnych zakresach częstości. Ich cechą szczególną jest to, że częstość odpowiedzi znakomicie zgadza się z częstością pobudzenia. Dzięki temu jeśli umielibyśmy wykryć w czynności EEG fakt pojawienia się pewnych, charakterystycznych składowych, moglibyśmy tym samym wykryć, z jakiego rodzaju pobudzeniem mamy do czynienia. Istotny jest tu fakt, że w procesie powstawania potencjałów wywołanych nie musi uczestniczyć aktywność mięśniowa osoby badanej, wystarczy sam fakt skupienia się na bodźcu.

Szczególnie interesujące dla zastosowań interfejsów mózg-komputer wydaje się zastosowanie potencjałów wzrokowych stanu ustalonego (SSVEP). W tym podejściu zastosujemy źródła światła migające z określonymi, znanymi nam częstościami. Osoba badana obserwująca takie źródło, podłączona jest do aparatu EEG, który przekazuje sygnał do komputera. Metodami analizy sygnałów staramy się wykryć w rejestrowanym sygnale obecność częstości z zestawu stosowanego podczas stymulacji.

Powyższy opis zawiera ideę urządzenia, które w praktyce zbudowane zostało w Zakładzie Fizyki Biomedycznej UW. Jako źródło migającego światła zastosowany został specjalnie zaprojektowany w tym celu panel diod LED. Diody sterowane są za pomocą mikrokontrolera, który pozwala nam na wybór momentu włączenia/wyłączenia światła oraz precyzyjnego wyboru częstości migania. Panel został zamontowany na wyświetlaczu przenośnego tabletu komputerowego, który zawiera oprogramowanie sterujące wyświetlaniem oraz analizujące rejestrowaną czynność EEG. Wzmacniacz EEG przekazuje dane do tego komputera drogą przewodową lub bezprzewodową. Dla wygody możemy użyć dodatkowego komputera do sterowania całością badania i/lub wyświetlania rejestrowanej czynności EEG (rys. 1).

Urządzenie BCI stosujące SSVEP skonstruowane w Zakładzie Fizyki Biomedycznej UW.

Na urządzeniu wyświetlającym mamy do dyspozycji 8 pól, które mogą niezależnie od siebie być podświetlane. Mamy więc do dyspozycji 8 różnych bodźców, które mogą kodować rozmaite wybory osoby badanej. W zależności od wersji użytego interfejsu, rola każdego z pól może się zmieniać w sposób dynamiczny; jest to możliwe dzięki temu, że pola podłożone są pod wyświetlacz tabletu, który może na ich powierzchni wyświetlać napisy lub rysunki. Można więc używać tego samego urządzenia do rozmaitych zastosowań, w zależności od potrzeby może to być włączanie/wyłączanie urządzeń, sterowanie robotem lub obsługa komputera. W podstawowej wersji urządzenie może posłużyć do wpisywania tekstu. Zastosowany tu został następujący scenariusz. Na każdym z pól wyświetla się grupa liter tak, żeby każda litera była widoczna w którejś z sześciu grup, a siódme i ósme pole pozostawały dla komend skasowania ostatniego wyboru i zakończenia wpisywania. Aby wybrać jakąś literę należy ją wzrokiem odnaleźć na ekranie w jakiejś grupie. Skupiamy uwagę na polu odpowiadającemu wybranej grupie. Ponieważ EEG jest analizowane w sposób ciągły, w pewnym momencie następuje wykrycie odpowiedzi SSVEP o określonej częstości, w domyśle częstości migania wybranego pola. Po wykryciu decyzji badanego napisy na migających polach zmieniają się — teraz pokazują już pojedyncze litery z wybranej grupy. Wyboru konkretnej litery dokonujemy, podobnie jak poprzednio, skupiając uwagę na polu z wyświetloną daną literą (rys. 2).

Tablet z migającymi polami podczas sesji SSVEP. Górne pole (niemigające) służy do wyświetlenia wprowadzonych znaków.

Użyte elektrody nie są typowymi elektrodami EEG, jakie były stosowane podczas innych ćwiczeń. Po pierwsze rejestrowany jest tylko pewien podzbiór pełnego układu 10-20, skupiony na okolicy kory wzrokowej (z tyłu głowy). Same elektrody są to zwitki higroskopijnej tkaniny nasączone lekko posoloną wodą, umieszczone w odpowiednich „kapsułkach” na uproszczonej wersji czepka EEG. Czepek ten składa się z dwóch prostopadłych pasków tkaniny (z umieszczonymi elektrodami) zapinanymi na „rzepy”.

Ponieważ odpowiedź SSVEP nie jest u różnych ludzi jednakowa, i może zależeć zarówno od lokalizacji na głowie jak i zakresu częstości pobudzających, niezbędne jest wstępne zorientowanie się, które częstości będą miały większą szansę na pojawienie się i wykrycie w sygnale EEG. Przeprowadza się więc na początku dla każdego badanego tzw. kalibrację. Podczas tego etapu, wybierany jest zestaw częstości pobudzających, początkowo z zakresu 20-40 Hz. Wybrane pole miga różnymi częstościami, a zadaniem badanego jest skupiać uwagę na tym samym, wybranym polu. Po kilkunastu powtórzeniach analizowana jest moc sygnału w pasmach oczekiwanych odpowiedzi SSVEP. Jeśli wynik wypada słabo, próbę powtórzyć można stosując częstości w zakresie 10-20 Hz. Zakres ten cechuje się przeważnie większą mocą składowych SSVEP, ale niesie w sobie pewne zagrożenie związane z możliwością wywołania napadu foto-epileptycznego. Dlatego też pasmo to nie jest standardowo stosowane jako pierwszy wybór.

Wykonanie ćwiczenia

Czynności wstępne

W celu rozpoczęcia korzystania z interfejsu mózg-komputer, opartego o paradygmat SSVEP należy:

• Przyczepić elektrody osobie badanej;
• Sprawdzić omomierzem lub miernkiem uniwersalnym opory między sąsiednimi elektrodami;
• Podłączyć elektrody do wzmacniacza a ten do komputera;
• Połączyć ze sobą komputer;
• Uruchomić na komputerze aplikacje wykorzystywane przez dany interfejs.

Dla wygody użytkownika osoby badanej oraz osoby kontrolującej doświadczenie wykorzystywane są dwa komputery. W naszym doświadczeniu korzystamy z tableta, przyczepionego do wygodnego krzesła, oraz oddzielnego komputera, z którego korzysta osoba nadzorująca. Należy jednak pamiętać, aby oba urządzenia znajdowały się w tej samej sieci. Zalecane jest podłączyć się do sieci fuw_bci, która jest widoczna po podłączeniu czarnego routera Cisco. W przypadku potrzeby hasło do sieci jest dostępny u prowadzącego.

Dobrą praktyką jest, aby przed rozpoczęciem korzystania z interfejsu, zobaczyć jak wygląda sygnał przesyłany sygnał. Do tego zadania może wykorzystać programy obci oraz svarog.

Program obci włącza się poprzez wpisanie w terminal systemowy komendy:

obci srv

Od tego momentu dane okno jest wykorzystywane do wypisywania komunikatów związanych z działaniem programu. Nie jest to krok niezbędny, acz przydaje się, gdy z nieuzasadnionego powodu pojawi się bardzo nieoczekiwany błąd. Wtedy wystarczy odnaleźć w historii wyświetleń linie zawierające podejrzane napisy.

Jeżeli korzystamy z dwóch komputerów to na obu należy uruchomić wspomniany serwer. Dodatkowo, na komputerze przeznaczonym użytkownikowi, wpisanie komendy

export DISPLAY=:0

zapewnia wyświetlanie instrukcji na odpowiednim komputerze i należy ją wpisać przed uruchomieniem obci. Działanie systemu można zakończyć wpisując w termin

obci srv_kill

Po uruchomieniu serwera można żądany moduł wywołać ręcznie wpisując w innym terminalu komendę:

obci launcher ścieżka_do_pliku

lub wybrać za pomocą graficznego interfejsu wpisując

obci_gui

i w nim wybrać odpowiednią pozycję.

Do wyświetlania sygnału potrzebny jest jedynie moduł zbierający dane ze wzmacniacza znajdujący się w grupie „Amplifiers”. Jeżeli korzystasz ze wzmacniacza Porti7 to wybierz pozycję: „Amplifier Porti7 Band Cap”. Przed naciśnięciem przycisku Start rozwiń z prawej strony okna gałąź parametrów „amplifier”. Przy „active_channels” powinny znajdować się numery kanałów, do których są podłączone elektrody we wzmacniaczu, oraz dwa kanały diagnostyczne: „Saw” i „Driver_Saw”. W „channel_names” należy wpisać nazwy jakie będą przyporządkowane kanałom zgodnie z listą „active_channels”. Pozycja „sampling_rate” odpowiada za częstość próbkowania.

W zależności od sposobu podłączenia wzmacniacza do komputera należy sprawdzić jedną z dwóch opcji. Gdy korzysta się z bezprzewodowej łączności bluetooth, przy nazwie „bluetooth_device” powinien znajdować się adres urządzenia bluetooth, z którym chcemy się połączyć. Wspomniany adres to 6 liczb 256 bitowych zapisanych w systemie szesnastkowym oddzielonych dwukropkami (np. 00:A0:96:1B:48:4B). Można go odszukać np. wpisując w terminal komendę hcitool scan. Należy również pamiętać, że przed próbą połączenia, wzmacniacz należy sparować z odbiornikiem bluetooth, jako PIN podając 4 ostatnie cyfry kodu seryjnego wzmacniacza.

Jeżeli natomiast wzmacniacz został podłączony do komputera kablem, to wystarczy przy nazwie „usb_device” wpisać „/dev/tmsi0”.

Po upewnieniu się, że wszystkie parametry są poprawne, można uruchomić dany scenariusz.

Program Svarog można uruchomić wpisując w terminal komendę svarog. Gdy zniknie okienko wczytywania należy wybrać File->Open signal (lub CTRL+O) i w zakładce ONLINE kliknąć „Refresh”. Powinny pojawić się, zaznaczone na zielono, aktualne eksperymenty uruchomione w systemie obci. Po wybraniu własnego upewniamy się, że wszystkie parametry są zgodne ze wcześniej wprowadzonymi i naciskamy „Next”. W danym okienku można ustawić odpowiednie filtry i montaże kanałów. Następnie klikamy na przycisk „Finish”. W oknie Svaroga powinny pojawić się sygnały EEG. Suwakami „Value scale” i „Channel height” można dostosować prezentację sygnałów do własnych potrzeb.

Po upewnieniu się, że sygnały wyglądają jak powinny, należy zakończyć oglądanie. W tym celu, w Svarogu klikamy na krzyżyk przy nazwie „signal online” oraz w obci_gui naciskamy przycisk „Stop”.

Pomiar

Przed przystąpieniem do korzystania z paradygmatu urządzenie powinno zostać skalibrowane. W tym celu należy wybrać scenariusz „CEBIT(h) Study SSVEP Calibration High” oraz, po ustawieniu potrzebnych parametrów, uruchomić go przyciskiem „Start". Parametry scenariusza powinny pojawić się w prawej części obci_gui, wśród nich są:

• amplifier — Przy „active_channels” powinny znajdować się numery kanałów, do których są podłączone elektrody we wzmacniaczu, oraz dwa kanały diagnostyczne: „Saw” i „Driver_Saw”. W „channel_names” należy wpisać nazwy jakie będą przyporządkowane kanałom zgodnie z listą „active_channels". Pozycja „sampling_rate” odpowiada za częstość próbkowania.
• logic:
  • „target_time” — czas, w sekundach, trwania bodźca.
  • „break_times” — przerwa, w sekundach, między kolejnymi bodźcami.
  • „feed_time” — czas, w sekundach, trwania próbnego bodźca.
  • „target_ind” — pozycja okna target (gdzie 0 to lewy górny, a 7 to prawy dolny)
  • „target_count” — liczba powtórzeń każdej częstości.
  • „freq2” — częstości, w Hz, bodźców.
  • „hi_text” — tekst, który zostanie wyświetlony tuż przy uruchomieniu paradygmatu.
  • „trial_text” — tekst, który zostanie wyświetlony przed eksperymentem (tuż po „hi_text”).
  • „ready_text” — tekst, który zostanie wyświetlony po próbnym bodźcu.
  • „bye_text” — tekst, który wyświetlony po zakończeniu kalibracji.

• csp — moduł obliczający filtr przestrzenny CSP:
  • „montage_channels” — nazwy elektrod referencyjnych.
  • „montage” — sposób montażu elektrod. Dostępne opcje to „diff” (odejmuje od każdego kanału elektrodę referencyjną), „ears” (odejmuje średnią z elektrod referencyjnych) oraz „ident” (macierz jednostkowa).
  • „ignore_channels” — nazwy kanałów, które nie będą uwzględnione w analizie.
  • „buffer_len” — długośc bufora, w sekundach, na podstawie którego uczy się filtr.
  • „next_scenaio_path” — ścieżka do scenariuszu, który ma być uruchomiony po zakończeniu kalibracji.
  • „csp_file_name” — nazwa pliku z obliczonymi parametrami filtru.
  • „csp_file_path” — ścieżka do katalogu, w którym pojawi się plik z parametrami filtru.

• signal_saver — moduł zapisujący sygnał:
  • „save_file_name” — nazwa pliku z sygnałem.
  • „save_file_path” — ścieżka do katalogu, w którym zapisze się sygnał.

Kalibracja

Kalibracja systemu polega na zbadaniu, które z wprowadzonych częstości dają największą odpowiedź, przez co są najlepiej wykrywalne. Etap ten trwa od 5 do 10 minut. W jego trakcie zadaniem osoby badanej będzie skupianie się na ustawionym wcześniej polu (domyślnie drugim licząc od lewego górnego rogu). Nie należy wykonywać jakichkolwiek ruchów w trakcie prezentacji bodźców. Zalecane jest mruganie powiekami jedynie między powtórzeniami. Po prezentacji wszystkich częstości pojawi się komunikat, że doświadczenie dobiegło końca. O powodzeniu kalibracji użytkownik powinien dowiedzieć po kilkunastu sekundach, po zakończeniu analizy danych. W zależności od uruchomionego scenariusza, po nie udanej kalibracji może zostać uruchomiona jeszcze jedna. Zazwycaj wiąże się to z próbą najpierw kalibracji na wysokich częstościach, które są wymagające w detekcji. Naturalnym kolejnym scenariuszem jest kalibracja na niskich częstościach.

Działanie interfejsu

Po pomyślnym zakończeniu kalibracji uruchomiony zostanie właściwy interfejs. Użytkownik, skupiając się na poszczególnych polach, daje urządzeniu do zrozumienia, że pragnie wybrać opcje im przyporządkowane. Gdy w sygnale zostanie znaleziona jedna z częstości prezentowanych to system wykona czynność właściwą polu z taką częstością. Na przykład, gdy koncentrujemy uwagę na literze „a” podświetlaną z częstością 35 Hz, w statusie interfejsu zostanie wyświetlona litera „a”.