VODENJE Z UPORABO MERITEV MOŽGANSKIH VALOV

Transcription

1 UNIVERZA V MARIBORU FAKULTETA ZA STROJNIŠTVO Aljaž KRAMBERGER VODENJE Z UPORABO MERITEV MOŽGANSKIH VALOV študijskega programa 2. stopnje Mehatronika Maribor, september 2013

2 VODENJE Z UPORABO MERITEV MOŽGANSKIH VALOV Študent: Aljaž KRAMBERGER Študijski program 2. stopnje: Mehatronika Mentor FS: Mentor FERI: Somentor: izr. prof. dr. Karl Gotlih red. prof. dr. Miro Milanovič doc. dr. Miran Rodič Maribor, september 2013 II

3 II

4 ZAHVALA Zahvaljujem se mentorju red. prof. dr. Miru Milanoviču in mentorju izr. prof. dr. Karlu Gotlihu ter somentorju doc. dr. Miranu Rodiču za pomoč in vodenje pri opravljanju magistrskega dela. Zahvaljujem se tudi osebju laboratorija za močnostno elektroniko, raziskovalni skupini kliničnega oddelka za bolezni živčevja UKC Ljubljana in Slivi Hajšek predmetni učiteljici za slovenščino in nemščino za opravljeno lektoriranje. Posebna zahvala velja staršem, ki so mi omogočili študij. III

5 KAZALO 1 UVOD MOŽGANSKO VALOVANJE KOMERCIALNO DOSTOPNA MERILNA OPREMA Emotive Systems Interaxon NeuroSky PREDSTAVITEV UPORABLJENE OPREME NEUROSKY MIND WAVE MOBILE MIKROKRMILNIŠKA KARTA ARDUINOMEGA ADK KOMUNIKACIJA Bluetooth komunikacijski moduli Bluetooth modul JY-MCU V Bluetooth modul RN-42 - FLY EMG ELEKTRODE PREIZKUŠEVALNA MERILNA PLATFORMA ZAJEMANJE IN PREIZKUŠANJE PODATKOV POVEZOVANJE MERILNEGA SISTEMA Z RAZLIČNIMI PLATFORMAMI Povezovanje s pametnim telefonom Povezava in obdelava podatkov na osebnem računalniku Testiranje PuzzleBox programa ZAJEMANJE IN OBDELAVA PODATKOV S POMOČJO MIKROKRMILNIKA Zajeti podatki Obdelava podatkov na mikroprocesorski karti ZAJEMANJE EMG SIGNALOV KOMPONENTE OJAČEVALNIKA SHEMA OJAČEVALNEGA VEZJA Prva stopnja diferenčni ojačevalnik Druga stopnja invertirani ojačevalnik in visokopasovni aktivni filter Tretja stopnja usmerjanje signala Četrta stopnja nizkopasovni filter in končno ojačenje signala REZULTATI TESTIRANJA IZVEDBA VODENJA IDENTIFIKACIJA KONTRAKCIJE OČESNE MIŠICE IV

6 6.2 IZVEDBA VODENJA PREIZKUS PROGRAMA NA REALNEM SISTEMU SKLEP SEZNAM UPORABLJENIH VIROV PRILOGE DELOVNI ŽIVLJENJEPIS V

7 KAZALO SLIK SLIKA 1: MOŽGANSKI CENTRI SLIKA 2: SISTEM EMOTIVE EPOC SLIKA 3: EMOTIVE ROLKA -5- SLIKA 4: EMOTIVE QUADCOPTER SLIKA 5: INTERAXON MUSE SLIKA 6: MIND WAVE MOBILE SLIKA 7: NEUROSKY MIND FLEX SLIKA 8:NEUROSKY ZAJČJA UŠESA SLIKA 9: SHEMATSKI PRIKAZ MERILNEGA SISTEMA SLIKA 10: ARDUINOMEGA ADK SLIKA 11: BLUETOOTH MODUL JY-MCU SLIKA 12:BLUETOOTH MODUL RN SLIKA 13:EMG ELEKTRODE SLIKA 14:MOBILNA PLATFORMA SLIKA 15: PROGRAM ZA VIZUALIZACIJO PODATKOV BRAINWAVE VISUALIZER SLIKA 16: VZPOSTAVITEV POVEZAVE Z OSEBNIM RAČUNALNIKOM SLIKA 17: ČELNA PLOŠČA PUZZLE BOX PROGRAMA SLIKA 18: LEGO ROBOT IN MERILNI SISTEM SLIKA 19:POVEZAVA MIKROKRMILNIKA Z MODULOM SLIKA 20: TESTIRANJE KOMUNIKACIJE SLIKA 21: BLUETOOTH PAKET SLIKA 22: DIAGRAM POTEKA RAZČLENITVE PODATKOV SLIKA 23: PRIKAZ DELOVANJA PROGRAMA SLIKA 24: SHEMATSKI PRIKAZ MERILNEGA SISTEMA SLIKA 25:SHEMA DIFERENČNEGA OJAČEVALNIKA SLIKA 26:VEZAVA DIFERENČNEGA OJAČEVALNIKA SLIKA 27:INVERTIRAJOČI OJAČEVALNIK SLIKA 28: AKTIVNI VISOKOPREPUSTNI FILTER SLIKA 29:INVERTNI OJAČEVALNIK IN VISOKOPREPUSTNI FILTER SLIKA 30: AKTIVNI POLNOVALNI USMERNIK SLIKA 31:POLNOVALNO USMERJANJE SIGNALA SLIKA 32: AKTIVNI NIZKOPASOVNI FILTER SLIKA 33: NIZKOPASOVNI FILTER Z INVERTIRAJOČIM OJAČEVALNIKOM SLIKA 34: SHEMA CELOTNEGA OJAČEVALNEGA VEZJA SLIKA 35: NESTIMULIRANO STANJE MIŠICE SLIKA 36: ODZIV NA MANJŠO STIMULACIJO MIŠICE VI

8 SLIKA 37: ODZIV NA MOČNO STIMULACIJO MIŠICE SLIKA 38:VIZUALIZACIJA PODATKOV V PROGRAMU PROCESSING SLIKA 39: PRIKAZ NEOBDELANIH PODATKOV SLIKA 40: DIAGRAM PREHAJANJA STANJ VODENJA SLIKA 41: PREIZKUŠANJE PROGRAMA KAZALO TABEL TABELA 1: PREDSTAVITEV IZHODNE FREKVENČNE KARAKTERISTIKE TABELA 2: SESTAVA BLUETOOTH PAKETA TABELA 3: KARAKTERISTIKE MIKROKRMILNIŠKE KARTE ARDUINO MEGA ADK TABELA 4: KARAKTERISTIKA JY-MCU MODULA TABELA 5: KARAKTERISTIKA BLUETOOTH MODULA RN VII

9 VODENJE Z UPORABO MERITEV MOŽGANSKIH VALOV Ključne besede: EMG, EEG, vodenje, možganski valovi, obdelava podatkov, Bluetooth komunikacija, mobilna platforma UDK klasifikacija: : (043.3) POVZETEK Cilj naloge je razviti vodenje sistemov z uporabo meritev možganskih valov. V ta namen je bila kupljena merilna oprema za zajemanje EMG signalov. Vzpostaviti je bilo potrebno podatkovno povezavo med merilnim naglavnim sistemom in mikrokrmilnikom. Za povezavo smo uporabili Bluetooth protokol. Izdelan je bil Bluetooth modul in preizkušena komunikacija. Pridobljeni signali so se obdelali in uporabili v vodenju. Dodatno smo izvedli preračun in zgradili ojačevalni sistem za zajem EEG signalov. Signale smo izmerili in prikazali rezultate. Po obdelavi signalov smo izvedli preprosto vodenje, s katerim nadzorujemo smer premikanja mobilne platforme. V nalogi so opisane posamezne komponente in rezultati testiranj. VIII

10 CONTROL USING BRAINWAVES MEASUREMENT Keywords: EMG, EEG, control, brainwaves, signal processing, Bluetooth communication, mobile platform ABSTRACT The goal of this work is to develop a control system using brain waves measurement. For this purposes, EMG measuring system was purchased. Data connection between the measuring system and the microcontroller had to be established. As a mean of connection we used the Bluetooth communication protocol. For that reason we designed our own Bluetooth module and test the communication. In the acquisition phase, signal processing was performed. After this step signals can be used for control purposes. Additionally, we performed calculations and built an amplifier system to capture EEG signals. EEG signals were measured and the results were graphically interpreted. After the signal processing phase, we build a simple control system to control the direction of movement of the mobile platform. In this thesis there are detailed descriptions of used components and the results of preformed tests. IX

11 UPORABLJENI SIMBOLI Vout - izhodna napetost R - upornost V 1 - izhodna napetost V 2 - izhodna napetost A - ojačenje C - kapacitivnost f c - mejna frekvenca X

12 UPORABLJENE KRATICE EEG - elektroencefalografija EMG - elektromiografija COM - communication (komunikacija) PWM - pulse wide modulation (pulznoširinska modulacija) R - right (desno) L - left (levo) O - reference (referenca) DC - direct current (enosmerna napetost) AC - alternating current (izmenična napetost) Vcc - napajanje GND - ground (zemlja) Tx - transmitter (oddajnik) Rx - receiver (sprejemnik) SRAM - static random access memory EEPROM - electrically erasable programmable read only memory MAC - media access control LED - light emitting diode GAP - groups, algorithms and programming SDP - session description protocol RFCOMM - radio frequency communication L2CAP - logical link control and adaptation protocol FCC - federal communication commission ICS - internet connection sharing CE - europska skladnost SMD - surface mount device XI

13 UART - universal asynchronous receiver/transmitter TTL - time to live SPI - serial peripheral interface bus USB - universal serial bus (univerzalno serijsko vodilo) XII

14 1 UVOD Vodenje sistemov, strojev, vsakdanjih pripomočkov s pomočjo misli je že od nekdaj želja ljudi, a ta problem ni tako preprosto rešljiv. Zaznavanje misli je doslej bilo neizvedljivo,lahko pa s pomočjo merilnih sistemov izmerimo elektromagnetni pulz, ki se ustvari med procesom mišljenja. Prav ta problem zajemanja pulzov in pridobivanje stabilnih signalov iz njih je osrednja tema naloge. Preučiti je potrebno možnosti zajemanja signalov z uporabo komercialno dostopnih merilnih sistemov. Zajemanje in obdelava možganskih valov segata v začetke 20. stoletja. Takrat je bila tehnika že dovolj dovršena za izvajanje tako natančnih meritev. Najprej so se začele izvajati le laboratorijske in klinične analize meritev možganskih valov. Za natančno izvedbo teh meritev je potrebna zelo natančna in draga oprema. V zadnjih nekaj letih se je pristop zelo spremenil. Na trg so začeli prihajati različni cenovno dostopni produkti, predvsem namenjeni zabavi. Povod za to je bila serija znanstveno fantastičnih filmov Star Wars ipd. Namen teh izdelkov je predvsem približati tehnologijo širši množici ljudi. Peščici podjetji in njihovim razvojnim oddelkom je uspelo razviti take sisteme, ki jih lahko uporablja praktično vsak. S tem pa so naredili tudi zelo velik korak naprej, saj so eksperimentalne metode, ki veljajo za precej kompleksne, preselili iz laboratorijev in raziskovalnih inštitutov med ljudi. Sistemi so torej namenjeni predvsem zabavi in spoznavanju svojih sposobnosti. S tržno dostopnostjo te opreme se je odprlo veliko poti ljubiteljskim raziskovalcem in raziskovalcem, ki take cenovno dostopne zanesljive sisteme iščejo. Cilj te magistrske naloge je izvesti sitem vodenja, ki bo uporaben v vsakodnevnih aplikacijah. Pri tem je potrebno najprej dodobra spoznati opremo za zajemanje možganskih valov. V okviru naloge smo k obstoječemu sistemu prigradili lastni sistem za zajemanje možganskih valov. Te je potrebno nato obdelati, tako da bodo uporabni za določen sistem vodenja. Na koncu je bil opravljen preizkus delovanja vodenja na realnem sistemu

15 V uvodu je na kratko opisana problematika s cilji te magistrske naloge. V drugem poglavju so predstavljeni osnovi principi tvorjenja možganskih valov in njihovega zajemanja. Na kratko je narejena analiza sistemov ponudnikov merilne opreme. Sledi opis uporabljene opreme za izvedbo eksperimentov. Predstavljene in opisane bodo vse uporabljene komponente. Četrto poglavje je namenjeno analizi zajemanja podatkov iz komercialno dostopne opreme. Pri tem bomo preučili splošno dostopno programsko opremo za izvedbo vizualizacije podatkov. Nato sledi opis in izvedba merilnega sistema. Podan bo opis, preračun komponent in realna izvedba sistema ter prikazani rezultati testiranja. Šesto poglavje je posvečeno izvedbi vodenja. V tem poglavju sledi opis programa in načrt vodenja realnega sistema z obstoječo opremo. V sedmem poglavju bomo navedli rezultate našega dela. Predstavljeni bodo rezultati testiranja na realnem sistemu. Nalogo zaključujemo s sklepnimi ugotovitvami, pregledom celotnega dela ter rezultati in smernicami za prihodnje delo

16 2 MOŽGANSKO VALOVANJE Človeški možgani so sestavljeni iz milijard med seboj povezanih nevronov. Velikost le-teh je enaka npr. konici šivanke. Ko so nevroni v medsebojni interakciji, se pokažejo vzorci singularnih misli, kot so matematični izračuni in čustvena stanja. Najmočnejši predstavnik leteh je pozornost. Človeški možgani proizvajajo povprečno misli na dan. Kot stranski proizvod pa vsaka interakcija med nevroni ustvarja miniaturno tokovno razelektritev, merljivo z EEG napravami. Razelektritve si lahko predstavljamo kot možgansko valovanje v redu velikosti µv. Posameznih razelektritev ni mogoče izmeriti izven lobanje, izmerimo pa lahko skupek delovanja več razelektritev, ki so posledica duševnega stanja v nekem določenem časovnem obdobju. Skozi desetletja eksperimentiranja so strokovnjaki iz področja nevrologije določili, kdaj in kje se pojavi posamezno stanje v možganih, ki ga lahko zaznamo, in je posledica naših dejanj. Motorika naših okončin je npr. nadzirana v zgornjem delu naših možganov. Vid je obdelan v zadnjem delu možganov. Z evolucijskega vidika so te osnovne funkcije prisotne pri večini živali. Med razvojem človeka se je sposobnost višjega mišljenja razvila v sprednjem zgornjem delu lobanjskega korteksa (slika 1). Čustva, duševna stanja, koncentracija itd. so prevladujoča stanja na tem področju. To je glavni razlog za namestitev senzorjev v položaju, znan kot KP1 (glej seznam uporabljenih virov [1]). Slika 1: Možganski centri Različna možganska stanja so posledica različnih vzorcev nevronske interakcije. Ti vzorci povzročijo valove, ki se razlikujejo v amplitudi in frekvenci. Kot primer možganskih valov med 12 in 30 Hz so beta valovi. Povežemo jih lahko s koncentracijo, medtem ko so valovi med 8 in 12 Hz alfa valovi, ki jih lahko povežemo s sprostitvijo. Obstaja še veliko več tipov možganskih valov, kot so na primer: gama in delta. Ti možganski valovi se tvorijo v različnih - 3 -

17 možganskih centrih. Zaznamo jih lahko na prav določenih mestih, se pa tudi velikokrat manifestirajo v sprednjem delu možganskega korteksa. Na merilnem mestu se pogosto pojavijo dominantnejši signali od možganskih valov. Ti signali predstavljajo krčenje mišic in jih imenujemo EMG signali. Ko se mišica napne, se skozi njo lahko zazna elektromagnetni signal, ki je odvisen od raztezanja in krčenja mišice. Ti valovi so nekaj desetkrat močnejši od EEG valov. S pravilno obdelavo so tudi stabilnejši. V našem primeru lahko na ta način pridobimo podatke o mežikanju. Pri tem merimo napetost očesne mišice zapiralke. 2.1 Komercialno dostopna merilna oprema V zadnjih petih letih je zelo povečala ponudba merilne opreme. Ta oprema je postala cenovno dostopna in jo je moč uporabiti v vsakdanjih aplikacijah. Cilj razvijalcev je še vedno predvsem zabava in interakcija uporabnikov z vsakdanjimi multimedijskimi sistemi, kot so pametni telefoni in tablični računalniki, osebni računalniki, televizorji nove generacije Cilj teh aplikacij pa je omogočiti uporabniku neko novo izkušnjo v obliki videoigre ali na primer vplivanja na potek gledanega filma. Uporabnik lahko te sisteme izkoristi tudi v razvedrilne namene. Za ta področja je razvita in dostopna programska oprema. Dostopni so tudi programi za opazovanje merjenih parametrov, ki bodo predstavljeni v nadaljevanju. Sledi predstavitev, opis in primerjava proizvajalcev merilne opreme Emotive Systems Je ameriško razvojno podjetje, ki se ukvarja z razvojem več senzorskih sistemov. Trenutno jih je možno kupiti 16, imenovanih EPOC (slika 2) (glej seznam uporabljenih virov [2]). Sistem se s pomočjo mokrih elektrod namesti na glavo. Komunikacija poteka brezžično z računalnikom. Je dokaj drag sistem. Slika 2: Sistem Emotive EPOC - 4 -

18 Ta merilni sistem omogoča uporabo velikega števila zajetih podatkov, kar lahko štejemo kot prednost, ima pa tudi svoje slabosti. Ena izmed njih je visoka cena. Pri uporabi je potrebno vlažiti elektrode, saj brez tega ne dobimo kontakta. Kot slabost se to izkaže predvsem pri aplikacijah, ki jih uporablja več ljudi in niso omejene na notranje prostore. Tudi namestitev sistema na glavo je bolj zapletena kot pri konkurenčnih sistemih. Zaradi teh lastnosti nismo izbrali tega sistema. Izvedeni aplikaciji s tem sistemom sta vodenje rolke (slika 3) in quadcopterja (slika 4). Slika 3: Emotive rolka Slika 4: Emotive quadcopter Interaxon Je mlado kanadsko podjetje, ki je pred kratkim na tržišče postavilo svoj prvi naglavni merilni sistem, imenovan MUSE (slika 5) (glej seznam uporabljenih virov [3]). To je šest senzorski sistem, ki za svoje delovanje uporablja suhe elektrode. Za delovanje jih ni potrebno vlažiti. Komunikacija z računalnikom poteka brezžično. Je dokaj cenovno ugoden sistem in po svoji uporabnosti sodi v slop opisanih. Slika 5: Interaxon MUSE Če primerjamo ta izdelek s prej omenjenim, bi to bila prava izbira. Za mobilno aplikacijo bi imeli na razpolago vse, kar potrebujemo. Na žalost sistem do začetka leta 2014 ni dobavljiv. Razvijalci podjetja Interaxon se ukvarjajo predvsem s programsko izvedbo aplikacij, kot so na primer posamezne vizualizacije in podobno

19 2.1.3 NeuroSky Je Ameriško podjetje, ki je razvilo precej popularno merilno naglavno napravo, imenovano Mind Wave (slika 8). Je enosenzorska naprava, ki deluje na principu suhih elektrod (glej seznam uporabljenih virov [4]). Ta sistem smo izbrali za izvedbo magistrske naloge. Prednosti sistema so: lahka in zanesljiva uporaba, nezahtevno vzdrževanje, dokaj dobra dokumentacija za razvijalce, zanesljivost in cenovna ugodnost. Več o sami napravi sledi v nadaljevanju. Slika 6: Mind Wave Mobile Ena izmed bolj znanih aplikacij tega podjetja je igra Mind Flex (slika 7). Vsebuje podoben sistem za zajemanje signalov in s pomočjo njih igralec vodi žogico skozi labirint. Na voljo so še razne izpeljanke, kot je na primer Forcetrainer, zajčja ušesa (slika 8) in podobno

20 Slika 7: Neurosky Mind Flex Slika 8:Neurosky zajčja ušesa Za začetek na kratko primerjajmo vse tri merilne sisteme. Vsak ima svoje specifične lastnosti. Razlike se pojavljajo predvsem pri izbiri količine senzorjev in tipu elektrod. Za našo aplikacijo je bolj primeren tip suhih elektrod, saj ni problemov z vzdrževanjem in čiščenjem. Težava, ki smo jo zaznali, je dobavljivost. Ob nakupu smo ugotovili, da prva dva omenjena proizvajalca ne pošiljata svojih merilnih sistemov v Evropo ali pa jih ni na razpolago. Podjetje Neurosky pa ima zastopstvo in podporo v Evropi. Tretji faktor je bila cena. Prva dva sistema sta dražja, zato smo izbrali tretjega. Kot cilj smo si zadali namreč nabavo cenovno ugodne in dostopne aplikacije

21 3 PREDSTAVITEV UPORABLJENE OPREME V tem poglavju bo na kratko predstavljena uporabljena oprema in njene lastnosti. 3.1 NeuroSky Mind Wave Mobile Slika 9: Shematski prikaz merilnega sistema Za namene projekta smo uporabili že razvito naglavno merilno mobilno sredstvo proizvajalca NeuroSkey. To podjetje je specializirano v proizvodnji mobilne merilne opreme za široko potrošnjo. Merilni sistem je shematsko prikazan na sliki 9. Njihovi produkti temeljijo predvsem na enosenzorskih sistemih. Senzorji v teh sistemih so njihov lastni proizvod nizko impedančnih senzorjev v obliki vezja. Ena izmed boljših lastnosti teh merilnih senzorjev je to, da delujejo brez medija. Senzor uporablja namreč suho elektrodo, ki preko pločevinaste ploščice meri signale. Drugi konvencionalni senzorji, ki jih lahko najdemo v bolnišnicah ali v raziskovalnih laboratorijih, uporabljajo za svoje delovanje medij, ki je večinoma v obliki gela. Namen tega je, da se kontakt med premikanjem ne prekinja. Ta sistem gela ne uporablja, saj je izvedba elektrode robustna. Prednost sistema je predvsem v mobilnih aplikacijah, ki jih - 8 -

22 lahko uporablja tudi več ljudi. Ušesno prijemalo je namenjeno predvsem izenačitvi potenciala med telesom in merilnim senzorjem (glej seznam uporabljenih virov [5]). Meritev, ki se izvede na samem sistemu, je nato posredovana preko Bluetootha do mikroračunalnika. Poudariti je potrebno, da mikroračunalnik sprejema že filtrirane in obdelane podatke. Meritev valov se izvede s pomočjo senzorja. Merimo valove, ki nam okarakterizirajo naslednje stanja: Tabela 1: Predstavitev izhodne frekvenčne karakteristike Tip mož. valov Frekvenčno območje Stanje, ki ga lahko opišemo Delta 0.1 Hz do 3 Hz Spanje, spanje brez sanj, REM spanje, nezavest Theta 4 Hz do 7 Hz Sanje, fantazija, kreativnost Alfa 8 Hz do 12 Hz Zavedanje, sproščanje Low Beta 13 Hz do 15 Hz Pripadnost, sproščeno zavedanje Midgrade Beta 16 Hz do 20 Hz Mišljenje, zavedanje sebe in okolice High Beta 21 Hz do 30 Hz Vzhičenost, pripravljenost Kombinacija teh merjenih vrednosti nam poda dva stabilna parametra, ki predstavljata osredotočenost in sprostitev. V aplikaciji bomo potrebovali še neobdelan signal, ki ga je možno pridobiti iz merilnega sistema. Ta signal bomo uporabili za identifikacijo EMG signala, ki prihaja iz očesnih mišic. Podatkovna povezava med merilnim sistemom in računalnikom poteka preko Bluetooth protokola. Slabost sistema je v njegovem podatkovnem paketu, s katerim je malo težje delati, in predvsem v vzpostavitvi povezave med merilnim sistemom in mikroračunalnikom. To je tudi nam pri izvedbi tega projekta povzročalo veliko preglavic. Kot sem že omenil, se v samem sistemu izvede analiza izmerjenega signala. To izvede patentiran program, imenovan esense (izvede pretvorbo, ojača signal, sestavi paket in odstrani šum). Paket je opisan v tabeli

23 Tabela 2: Sestava Bluetooth paketa Vrednost bita Opis Vrednost bita Opis [ 0]: 0xAA [SYNC] [18]: 0x64 (3/3) End High-alpha bytes [ 1]: 0xAA [SYNC] [19]: 0x00 (1/3) Begin Low-beta bytes [ 2]: 0x20 [PLENGTH] (payload length) of 32 bytes [20]: 0x00 (2/3) [ 3]: 0x02 [POOR_SIGNAL] Quality [21]: 0x4D (3/3) End Low-beta bytes [ 4]: 0x00 No poor signal detected (0/200) [22]: 0x00 (1/3) Begin High-beta bytes [ 5]: 0x83 [ASIC_EEG_POWER_INT] [23]: 0x00 (2/3) [ 6]: 0x18 [VLENGTH] 24 bytes [24]: 0x3D (3/3) End High-beta bytes [ 7]: 0x00 (1/3) Begin Delta bytes [25]: 0x00 (1/3) Begin Low-gamma bytes [ 8]: 0x00 (2/3) [26]: 0x00 (2/3) [ 9]: 0x94 (3/3) End Delta bytes [27]: 0x07 (3/3) End Low-gamma bytes [10]: 0x00 (1/3) Begin Theta bytes [28]: 0x00 (1/3) Begin Mid-gamma bytes [11]: 0x00 (2/3) [29]: 0x00 (2/3) [12]: 0x42 (3/3) End Theta bytes [30]: 0x05 (3/3) End Mid-gamma bytes [13]: 0x00 (1/3) Begin Low-alpha bytes [31]: 0x04 [ATTENTION] esense [14]: 0x00 (2/3) [32]: 0x0D ESense Attention level of 13 [15]: 0x0B (3/3) End Low-alpha bytes [33]: 0x05 MEDITATION] esense [16]: 0x00 (1/3) Begin High-alpha bytes [34]: 0x3D ESense Meditation level of 61 [17]: 0x00 (2/3) [35]: 0x34 [CHKSUM] (1's com pin verse of 8-bit Payload sum of 0xCB) Najprej se izvede sinhronizacija, nato se pošljejo podatki. Goli podatki oz. RAW data so v formatu 16 bit integer. Ostale vrednosti, kot sta meditacija in zbranost, pa so skalirane od Na koncu se še preveri uspešnost prenosa. Za nadaljnjo uporabo je potrebno podatke, poslane v paketu, razčleniti. V ta namen so razviti algoritmi,ki so opisani v pripadajoči dokumentaciji. Poudarimo lahko, da je prav ta sistem razvit za namene mobilnih aplikacij, kot je naša

24 3.2 Mikrokrmilniška karta Arduinomega ADK Arduino je odprtokodna platforma, ki temelji na mikrokrmilnikih ter vsebuje programsko razvojno okolje. Platformo Arduino lahko uporabimo za delo z različnimi senzorji in aktuatorji. Uporabimo jo lahko tudi za regulacijo različnih procesov. Mikrokrmilniška karta je lahko samostojna enota ali pa preko USB vhoda (z različnimi dodatki tudi preko drugih izhodov) komunicira z računalnikom (FLash, Processing, MaxMSP). Arduino je italijanski izdelek, ki temelji na preprosti uporabi. Sami si zlahka prigradimo ali naredimo svojo verzijo različnih tako imenovanih "ščitov" (shields). To so priključitvene kartice, ki se preprosto nataknejo na samo procesorsko karto. Poznamo več vrst Arduino kartic, kot so na primer: Arduino Mega, Arduino Duemilenove, Arduino Uno, Arduino mini Odlikujejo jih preprosta in funkcionalna zgradba, cenovna dostopnost in zanesljivost. Programiranje Arduina je hitro in uporabniku prijazno. Je enostavno za uporabo in dovolj fleksibilno tudi za zahtevnejše uporabnike. Kot prednost bi lahko omenili številne splošno dostopne programe. Teh lahko na internetu najdemo res veliko in si z njimi pomagamo pri izvedbi raznih projektov. Programski jezik je prirejen C++. Za podrobnejšo analizo lahko uporabimo orodja podjetja AVR, katerega integrirano vezje (mikrokrmilnik) vsebuje Arduino (glej seznam uporabljenih virov [6]). Slika 10: Arduino mega ADK

25 Za namene magistrske naloge smo izbrali razvojno ploščo Arduino mega ADK (slika 10). Krmilnik temelji na mikroračunalniku ATmega2560. Ima tudi USB priključek, razvit predvsem za namen povezave z Android napravami, temelji pa na integriranem vezju MAX3421e. Ima 54 digitalnih vhodov/izhodov, izmed teh jih 12 lahko uporabimo kot PWM izhode. Krmilnik vsebuje še 16 analognih vhodov, 4 UART (serijske komunikacijske vmesnike), 16 MHz kristal, napajalniški priključek in tipko reset za resetiranje krmilnika. ADK verzija Arduino je podobna krmilniku Mega 2560, vendar ta ne vsebuje USB host-a. Dodatne karakteristike krmilne kartice so opisane v tabeli 3. Tabela 3: Karakteristike mikrokrmilniške karte Arduino mega ADK Mikrokrmilnik Izhod iz regulatorja napetosti na karti Napajalna napetost (priporočljiva) ATmega2560 5V 12V Napajalna napetost (meje) 6-20V Digitalni vhodi/izhodi 54 (12 tudi kot PWM) Analogni vhodi 16 DC tok na vhodni/izhodni pin DC tok na 3.3Vpin Flash pomnilnik SRAM EEPROM ClockSpeed 40mA 50mA 256 KB, od katerih 8 KB porabi platforma (bootloader) 8 KB 4 KB 16 MHz

26 3.3 Komunikacija Arduino ADK ima več možnosti za komunikacijo z računalnikom, drugo Arduino napravo ali drugo strojno opremo. ATmega 2560 omogoča štiri UART priključke s TTL (5V) serijsko komunikacijo. Preko USB priključka lahko vzpostavimo virtualno serijsko (COM port) komunikacijo. ATmega2560 pravtako podpira TWI in SPI komunikacijo. USB host preko MAX3421E omogoča, da se ADK Arduino poveže s katerokoli napravo, ki podpira USB komunikacijski protokol Bluetooth komunikacijski moduli Za testiranje povezave smo uporabili različne Bluetooth module. V nadaljevanju bomo opisali dva, ki smo ju priključili in preizkusili Bluetooth modul JY-MCU V1.05 Ta modul je cenovno dostopen in se uporablja pri mnogih Arduino aplikacijah. Možno mu je nastaviti različne parametre, kot na primer: hitrost prenosa podatkov, povezovanje z drugimi moduli Modul je prikazan na sliki 11. Njegove karakteristike so prikazane v Tabeli 4: Tabela 4: Karakteristika JY-MCU modula SCSR Čip: Bluetooth v 2.0 Signal 2.4 GHz-2.8 GHz, ISM Band Protokol Bluetooth v 2.0 Močnostni razred Sprejemna občutljivost Napajalna napetost Električni tok Temperatura delovanja (+6dbm) -85dBm 3.3 (2.7V - 4.2V) Povezovanje - 35mA, Povezano- 8mA -40 -> +105 C Hitrost prenosa 4800, 9600, 19200, 38400, 57600, , , Dimenzije 26.9 mm x 13mm x 2.2mm

27 Ta modul je bil že pripravljen za nadaljnjo priključitev na krmilniško kartico, tako da ni bilo potrebnih dodatnih modifikacij (glej seznam uporabljenih virov [7]). Slika 11: Bluetooth modul JY-MCU Za pravilno delovanje Bluetooth povezave je potrebno napravam določiti njihovo funkcijo, bolj znano kot funkcijo gospodar - suženj (Master Slave). To si lahko razlagamo na naslednji način. Potrebujemo sistem, imenovan gospodar, v našem primeru je to mikrokrmilnik z Bluetooth modulom in sistem, ki mu je podrejen, v našem primeru merilni sistem. Te funkcije so že fiksno določene oziroma jih lahko sami določimo. V našem primeru funkcije gospodarja nismo mogli določiti Bluetooth modulu, ker je bil konfiguriran samo v načinu sužnja. Zaradi tega smo uporabili drugi modul

28 3.3.3 Bluetooth modul RN-42 - FLY-477 Je modul s pregrajeno anteno podjetja Roving Networks. Modul ima SMD priključke, zato je bilo potrebno narediti prilagoditveno ploščico (slika 12) za priključitev na mikrokrmilniško karto (glej seznam uporabljenih virov [8]). Karakteristike modula so prikazane v Tabeli 5. Slika 12:Bluetooth modul RN-42 Tabela 5: Karakteristika Bluetooth modula RN-42 SCSR integrirano vezje: Bluetooth v2.0 Signal 2.4 GHz GHz, ISM Band Protokol Bluetooth V2.0 Prenos SPP 240 Kbps (suženj), 300 Kbps (gospodar) Vgrajeni profili Napajalna napetost Električni tok Certifikati GAP, SDP, RFCOMM, L2CAP 3.3 (2.7V - 4.2V) Oddajanje - 30mA, povezano- 3mA FCC, ICS, CE Hitrost prenosa 4800, 9600, 19200, 38400, 57600, , , Dimenzije 13.4 mm x 20 mm x 2 mm Ta modul smo konfigurirali v način gospodarja in ga povezali z merilnim sistemom. Več o povezavi in testiranji bo podano v naslednjem poglavju. Povemo lahko tudi to, da je ta modul

29 namenjen profesionalni uporabi, kar pomeni, da je povezava zanesljivejša in izdelava kvalitetnejša 3.4 EMG elektrode Slika 13:EMG elektrode Za izvedbo meritev stimulacije mišic uporabimo elektrode oziroma kontakte, kot so prikazani na sliki 13. Elektrode vsebujejo tri kontakte, ki se namestijo na kožo. Ti kontakti imajo naslednje oznake: R predstavlja kontakt, ki se namesti na začetek mišice. L predstavlja kontakt, ki se namesti v sredino merjene mišice. O predstavlja referenčni kontakt, ki ga namestimo na koščeni del telesa. Omeniti velja, da so to pasivne elektrode, saj ne vsebujejo aktivnih merilnih elementov. Služijo samo kot kontakti. Za obdelavo je potrebno izdelati svoj ojačevalni sistem. Za kontakt po celi površini elektrode skrbijo elastični trakovi. Ta komplet elektrod je namenjen mobilnim aplikacijam meritve EMG signala

30 3.5 Preizkuševalna merilna platforma Za preizkušanje vodenja se je zgradila mobilna platforma (slika 14). Platforma je sestavljena iz aluminija. Za pogon služita dva neskončno vrteča se modelarska servomotorja. Servomotorja sta krmiljena s PWM signaloma, ki ju generiramo z mikrokrmilnikom. Servomotorja sta opremljena vsak s svojim kolesom, ki služi za pogon sistema. Tretje kolo je namenjeno stabilizaciji platforme. Na to platformo namestimo mikrokrmilniško kartico s prilagoditveno ploščo, narejeno iz pleksi stekla. Napajanje mikrokrmilnika in motorjev je izvedeno z 9 V baterijo. Platforma je namenjena predvsem testiranju. Slika 14:Mobilna platforma

31 4 ZAJEMANJE IN PREIZKUŠANJE PODATKOV V tem poglavju bomo predstavili obdelavo zajetih podatkov in povezovanje merilnega sistema s prenosnim računalnikom, pametnim telefonom in mikroprocesorsko karto. Navedene bodo razlike v pristopih in težave, s katerimi se moramo soočiti pri izvedbi povezave. Prikazane bodo tudi vizualizacije in testiranja, ki smo jih izvedli s prosto dostopnimi programi. 4.1 Povezovanje merilnega sistema z različnimi platformami Omenili smo že, da smo preizkusili povezavo merilnega sistema na različnih platformah. V tem primeru smo se osredotočili na osebni računalnik in pametni telefon. Povezava v obeh primerih poteka preko Bluetooth protokola. Pri tem smo naleteli na posamezne težave in spoznanja, ki bodo opisana v nadaljevanju Povezovanje s pametnim telefonom Za testiranje te povezave smo uporabili pametni telefon z operacijskim sistemom Android. V spletni trgovini "Android market" se nahajajo aplikacije, ki so posebej prirejene za naš merilni sistem. Na operacijski sistem smo najprej naložili program Brainwave Visualizer (slika 15) (glej seznam uporabljenih virov [9]). Ta programska oprema nam omogoča spremljanje podatkov iz merilnega sistema v realnem času. Slika 15: Program za vizualizacijo podatkov Brainwave Visualizer Izhodni podatki iz naprave so predstavljeni na zgornji sliki. S krožnim grafom smo ponazorili spreminjanje frekvenčnih vrednosti meritev. Opis in pomen vrednosti smo zapisali že v prejšnjem poglavju. Podatki, izmerjeni in predstavljeni v krožnem grafu, so nato uporabljeni v izračunu sproščenosti in zbranosti, ki ju predstavljata dva potenciometra. Gole podatke lahko

32 vidimo na grafu, prikazana je odvisnost frekvence od jakosti signala. Konice, ki jih vidimo v neobdelanem signalu, ne predstavljajo motenj ampak kontrakcijo očesnih mišic. Iz tega signala je na to možno razbrati,kdaj je uporabnik pomežiknil. Ta program je namenjen predvsem vizualizaciji in predstavitvi sistema. Pohvalimo lahko njegov videz in zasnovo, saj uporabniku približa dejanske zajete podatke in jih interpretira na človeku razumljiv način. Sama povezava merilnega sistema s telefonom je potekala brez kakršnih komplikacij. Povezava se vzpostavi preko Bluetooth menija na telefonu. Potrebno je samo vnesti pravilno kodo za vzpostavitev povezave, v našem primeru Povezava se nato vzpostavi avtomatsko. V nadaljevanju bomo videli, da pri drugih sistemih to ne velja Povezava in obdelava podatkov na osebnem računalniku Za uspešno izvedeno povezavo med merilnim sistemom in osebnim računalnikom je potrebno na osebni računalnik naložiti nekaj programov. Da sploh lahko izvedemo povezavo, mora biti izpolnjen naslednji pogoj. Osebni računalnik mora imeti vgrajen Bluetooth modul z vsemi gonilniki ali pa ga je potrebno dokupiti in namestiti. Naš uporabljeni računalnik je imel ta modul že vgrajen. Za začetek vzpostavitve povezave smo morali na osebni računalnik namestiti programsko opremo, ki je bila priložena merilnemu sistemu. Ta je vsebovala vizualizacijski program in posebne gonilnike, ki predstavljajo vmesni člen med programi in merilnim sistemom. Slika 16: Vzpostavitev povezave z osebnim računalnikom

33 V nastavitvah Bluetooth računalniškega modula je najprej potrebno dodati novo napravo. Postopek je zelo dobro dokumentiran v samem programu in ga ne bomo posebej opisovali. Potrebno je samo slediti navodilom in vzpostavitev povezave bo uspešna. Merilni sistem za pravilo delovanje potrebuje, kot smo že omenili, vmesniški program oziroma gonilnik za povezavo z ostalimi programi. Ta se imenuje Think Gear Connector. Na sliki 16 je prikazana nastavitev, ki mora biti izvedena, sicer povezava ne bo uspešna. Ob prvi povezavi se vsem Bluetooth napravam dodelijo komunikacijska vrata (COM port). Ta vrata nam omogočajo komunikacijo z drugimi programi. V našem primeru moramo nastaviti identična vrata, kot so bila določena tudi v gonilniku. S tem dejanjem se lahko povežemo z različnimi programi in začnemo uporabljati poslane podatke. Poudariti je potrebno, da prioriteta magistrske naloge ni obdelava in uporaba podatkov na osebnem računalniku, ampak na mikrokrmilniku. V ta name smo preučili možnosti obdelave podatkov z različnimi programi: MATLAB, LabWiew, PuzzleBox Vsi ti programi nam omogočajo obdelavo in zajemanje podatkov. To je omogočeno s posebej v ta namen razvitimi knjižnicami in projekti. Slabost je, da za delovanje potrebuješ osebni računalnik. Temu se mi skušamo izogniti, saj izdelujemo mobilno aplikacijo in ne stacionarne Testiranje PuzzleBox programa Slika 17: Čelna plošča Puzzle Box programa Puzzle box (slika 17) je inovativen program, ki omogoča vodenje različnih stvari s pomočjo naglavnih senzorjev. Razvit je bil v neprofitni organizaciji, ki združuje ljubiteljske znanstvenike in raziskovalce iz vsega sveta. Razvili so program za vodenje različnih naprav, kot so na primer RC avtomobilčki, helikopterčki, mobilne platforme in roboti. Program je namenjen predvsem predstavitvenim namenom. Pri našem projektu nam je bil ta program v veliko pomoč, saj nam je dal smernice za naše delo. Ena izmed aplikacij je tudi voziček za

34 invalide. Programska usklajenost tega programa se je dokaj skladala z našimi načrti, zato smo dobili vpogled v dejanski izveden primer. Za predstavitvene namene smo uporabili preprost robot (slika 18) z LEGO Mind Storms krmilnikom. Upravljali smo ga z naglavnim merilnim sistemom, samo vodenje je bilo izvedeno na osebnem računalniku. Povezava med robotom in osebnim računalnikom je bila dvosmerna preko Bluetooth protokola. To pomeni, da je bil osebni računalnik gospodar, robot in merilni sistem pa sužnja. Za predstavitvene namene se je ta aplikacija zelo dobro izkazala (glej seznam uporabljenih virov [10]). Slika 18: LEGO robot in merilni sistem 4.2 Zajemanje in obdelava podatkov s pomočjo mikrokrmilnika Kot cilj smo si zadali, da bomo za obdelavo izmerjenih podatkov uporabili mikrokrmilnik. V ta namen je bilo najprej potrebno povezati in zagnati Bluetooth modul. Najprej smo poizkušali vzpostaviti povezavo s JY-MCU modulom. Vsak modul ima štiri priključke: masa (GND), napajanje (Vcc), oddajanje (Tx) in sprejemanje (Rx). Te priključke je potrebno priključiti na mikrokrmilniško ploščico v naslednjem zaporedju (slika 19): Bluetooth TX ----->ArduinoMega RX (priključek 0) Bluetooth RX ----->ArduinoMega TX (priključek 1) čez napetostni delilnik Bluetooth GND ----->Arduino GND priključek BluetoothVcc ----->Arduino3.3V priključek

35 Za pravilno delovanje smo morali uporabiti napetostni delilnik. Ta nam prilagodi napetosti med modulom in mikrokrmilnikom. To je potrebno zaradi tega, ker mikrokrmilnik deluje s 5 V napetostjo, Bluetooth modul pa s 3.3 V napetostjo. V ta namen smo z upori naredili preprost napetostni delilnik in ga vstavili med sprejemni priključek mikrokrmilnika in oddajni priključek modula. Tako je modul priključen in pripravljen za uporabo (glej seznam uporabljenih virov [11]). Slika 19:Povezava Mikrokrmilnika z modulom Na mikrokrmilnik smo naložili preprosti program 1, ki nam je pošiljal podatke preko Bluetooth modula, ki smo ga po prej opisani metodi povezali z osebnim računalnikom. Za vizualizacijo in kasnejše nastavitve modula smo uporabili prosto dostopen program, imenovan Tera Term (glej seznam uporabljenih virov [12]). Ta program nam omogoča sprejemanje in pošiljanje podatkov preko različnih vodil, ki so nam na razpolago v osebnem računalniku. Mi smo ga uporabili za preprosto testiranje komunikacije, kar prikazuje slika 20. Slika 20: Testiranje komunikacije 1 Program se nahaja v prilogi [1]

36 Testiranje je bilo izvedeno uspešno. Sedaj smo vzpostavili povezavo med osebnim računalnikom in mikrorkrmilnikom. V naslednji fazi je potrebno povezati mikrokrmilnik z merilnim sistemom. Najprej je potrebno opraviti konfiguracijo Bluetooth modula. V ta namen smo uporabili program Tera Term. Konfiguracija je zajemala sledeče korake: 1. Sprememba načina delovanja iz načina suženj v gospodar 2. Sprememba hitrosti prenosa iz bps na bps 3. Nastavitev avtomatske kode za povezovanje 4. Določitev avtomatske vzpostavitve povezave 5. Vpis MAC naslova naprave, s katero se naj modul poveže 6. Shranjevanje nastavitve v modul Ko je modul povezan s Tera Term programom, smo lahko začeli s konfiguracijo. Najprej je bilo potrebno modul prestaviti v konfiguracijski način. To se izvede z ukazom $$$, prikaže se CDM, ta kratica označuje, da smo v konfiguracijskem načinu. Vpišemo ukaz D, izpišejo se nam nastavljene vrednosti. Z ukazom SP,0000 nastavimo novo geslo za povezovanje. Nadaljujemo z ukazom SM,3 ta ukaz postavi režim delovanja modula v avtomatsko vzpostavitev povezave. Na to je potrebno vnesti MAC naslov naprave, s katero se bo modul avtomatsko povezal. Ukaz za to je SR,MAC ADDRESS, v našem primeru se to izvede na sledeči način: SR,9cb70d89e5eb. Ta naslov je dodeljen specifični napravi in je unikaten, tako da se modul ne more povezati z drugo napravo. Nato nastavimo še prenos hitrosti. V ta namen je potrebno vpisati ukaz SU,57.6, s katerim spremenimo hitrost prenosa podatkov na bps. Za izhod iz konfiguracijskega načina vpišemo ---, s tem dejanjem se shranijo nastavitve in modul je pripravljen za uporabo. Bluetooth modula JY-MCU ni bilo mogoče konfigurirati na prej opisani način. Zaradi te težave smo uporabili modul RN-42. Po izvedbi prilagoditvenega vezja, smo priključili modul na mikroprocesorsko kartico in izvedli konfiguracijo. Pri tem modulu ni bilo posebnih težav. Povezava z merilnim sistemom se je vzpostavila, kot smo pričakovali, in začeli so se pošiljati podatki

37 4.2.1 Zajeti podatki V merilnem sistemu se zajeti podatki obdelajo s posebnim algoritmom, ki ga je razvil in patentiral proizvajalec. Do tega algoritma nimamo dostopa. Lahko pa preberemo izhodne podatke. Ti so zloženi v paket (slika 21), ki je del Bluetooth protokola za pošiljanje podatkov po tem vodilu. Paket je sestavljen na sledeč način. Sinhronizacija Sinhronizacija Dolžina paketa PODATKI Kontrola Glava paketa podatki kontrola Slika 21: Bluetooth paket Glavo paketa predstavljajo trije zlogi in sicer: dva sinhronizacijska zloga in zlog, ki predstavlja dolžino paketka. Sinhronizacijska zloga predstavljata začetek novega paketa. Potrebna sta dva, da vemo, kdaj se začne nov paket. Zlog za dolžino paketa nam poda informacijo o celotni dolžini podatkov v paketu. Njegova vrednost lahko sega od 0 do 169. Če je na tem mestu zapisana vrednost, ki ni v območju, to naznanja, da je prišlo do napake. Podatki so osrednji in s tem tudi največji del paketa. V tem delu se nahajajo informacije, izmerjene z merilnim sistemom. Velikost podatkovnega dela lahko zajema območje med 0 in 169. V tem območju se pošlje struktura, ki je že opisana v prejšnjem poglavju. V njej pa lahko najdemo vse izmerjene parametre, kot so: zbranost, sproščenost, neobdelani podatki (raw), frekvenčne vrednosti Te podatke nato z algoritmom preberemo in jih uporabimo. Kontrolni del paketka je namenjen preverjanju uspešnega prenosa paketa. Zajema informacijo o pravilnosti paketa. Izvede se tako, da sešteje vse vrednosti podatkov paketa in seštevek zapiše v checksum. S tem nam poda podatek, ali je prišlo do napake pri prenosu ali tvorjenju paketa. Pred obdelavo podatkov je vedno potrebno preveriti kontrolni del in se s tem prepričati, da je bil prenos paketa pravilen

38 4.2.2 Obdelava podatkov na mikroprocesorski karti Obdelavo zajetega paketa smo izvedli s pomočjo v prilogi dokumentiranega algoritma 2, ki nam ga je posredoval proizvajalec merilnega sistema. V tem algoritmu so podatki iz paketa razčlenjeni in obdelani (slika 22) ter uporabljeni v nadaljnjem postopku vodenja. Po korakih bomo opisali postopek razčlenjevanja paketa in prikazali preprosto aplikacijo za prikaz pravilnega delovanja algoritma. Inicializacija Vzpostavimo komunikacijo in preberemo podatke Preverimo, če je vrednost podatkov >170 DA NE Podatke zapišemo v pomnilnik Preverimo pravilnost prenosa podatkov checksum NE PRAVILEN PRENOS PRAVILEN PRENOS Izvedba vodenja Slika 22: Diagram poteka razčlenitve podatkov 2 Algoritem za obdelavo paketa se nahaja v prilogi [2]

39 1. Določanje spremenljivk: V začetnem delu programa je potrebno najprej določiti spremenljivke, ki jih uporabimo pri pisanju in izvedbi programa. Spremenljivke so razdeljene na sistemske spremenljivke (potrebne so pri zajemanju paketa), spremenljivke za izvedbo razčlenitve in splošne spremenljivke (določajo vhode in izhode mikroprocesorja). 2. Nastavitev vhodov in izhodov mikrokrmilniške karte: Spremenljivkam, določenim v prejšnjem koraku, dodelimo fizični vhod ali izhod na mikrokrmilniški karti. 3. Funkcija za vzpostavitev prenosa podatkov: Ta funkcija služi preverjanju, če je serijska povezava mogoča. Če je ta pogoj izpolnjen, se lahko začne prenos podatkov. V tem programu je definirana kot samostojna funkcija in jo je potrebno priklicati v začetku glavnega programa. 4. Glavni program: V glavnem programu se izvaja program za razčlenitev paketa. a. Najprej se preveri velikost paketa. Če je ta enaka 170-im zlogom, vemo, da je paket pravilno prenesen, in se premaknemo naprej v programu. Ta vrednost vsebuje sinhronizacijski zlog in 169 podatkovnih zlogov. b. Nato moramo preveriti, če količina prenesenih podatkov ne presega vrednosti 169 zlogov. Če je ta pogoj izpolnjen, lahko prenesemo podatke v pomnilnik mikroprocesorja. c. Pred samo razčlenitvijo podatkov preostane še preverjanje kontrolnih vrednosti. V tem delu naprej preberemo kontrolni zlog iz podatkovnega vodila in ga shranimo v spremenljivko checksum. Enakost spremenljivke checksum je potrebno preveriti z vrednostjo števila shranjenih prenesenih zlogov v pomnilniku. Najprej je potrebno narediti kompliment shranjenih podatkov in nato izvesti primerjavo. Če sta vrednosti enaki, se je shranjevanje v pomnilnik izvedlo pravilno. V nasprotnem primeru se celoten paket zavrže. d. Ko so vsi prej omenjeni pogoji izpolnjeni, lahko začnemo z razčlenitvijo podatkov. Izvedemo jo s for zanko in switch stavkom. For zanka je potrebna, da razčlenimo vse zloge v paketu, v našem primeru jih je 169. Nato s switch stavkom preberemo nam pomembne podatke iz lokacij, ki so zapisane v dokumentaciji. V tem primeru smo prebrali podatke o zbranosti, sproščenosti in kvaliteti podatkov. Le-ta pove, ali je zajemanje z merilnim sistemom uspešno. Vzroki za napake so lahko slab kontakt merilnega senzorja, slaba

40 napajalna baterija S tem dejanjem je razčlenjevanje zaključeno. V prej določene spremenljivke so se zapisale vrednosti, ki bodo v nadaljevanju uporabljene za izvajanje programa. 5. V nadaljevanju programa se izvede prikaz razčlenjenih podatkov. Najprej se izvede izpis vrednosti na zaslonu. Tako lahko razvijalec spremlja spreminjanje podatkov in morebitne napake. 6. V programu je izveden še prikaz z uporabo svetlečih diod (LED), ki so povezane na vhodno-izhodne enote mikrokrmilnika. V tem primeru je uporabljenih 10 izhodnih enot. Na njih so z uporom vezane svetleče diode. Program je zastavljen tako, da s pomočjo switch stavka preklapljamo posamezna svetila. Vhodni podatek za preklop je zbranost, ki je skalirana med 10 in 100. V odvisnosti od vrednosti te spremenljivke se vklapljajo svetleče diode. Slika 23: Prikaz delovanja programa Na sliki 23 je prikazano testno vezje za testiranje programa. Razvijalci v podjetju Neurosky so zagotovili testni program, s katerim je možno razvijati svoje aplikacije. Ta program je služil kot podlaga za razvoj naše aplikacije

41 5 ZAJEMANJE EMG SIGNALOV EMG signali so signali, ki jih lahko zaznamo med krčenjem mišic. Za zajemanje teh signalov potrebujemo posebne elektrode. Te se namestijo na kožo nad mišico, katere krčenje hočemo meriti. Za meritev potrebujemo 3 elektrode: levo, desno in referenčno. Elektromagnetni signali, ki se tvorijo med stimulacijo mišic, so reda 100 do 1000 μv (glej seznam uporabljenih virov [13]). Ob pravilni obdelavi so zanesljivejši kot EEG signali, saj je njihova vrednost nekaj deset krat večja. Problem se pojavi zaradi onesnaženosti samega signala. Vrednost zajetega signala se močno približa naravnemu šumu, zato ga je potrebno pravilno filtrirati in ojačati za nadaljno uporabo. V nadaljevanju bo predstavljeno ojačevalniško vezje s preračuni in rezultati testiranja (glej seznam uporabljenih virov [14]). 5.1 Komponente ojačevalnika Slika 24: Shematski prikaz merilnega sistema Za izdelavo ojačevalnega vezja potrebujemo naslednje komponente: 1. Diferenčno ojačevalno integrirano vezje INA 106 proizvajalca Texas Instruments 2. Nizko šumno integrirano vezje z dvema operacijskima ojačevalnikoma TL072 proizvajalca Texsas Instruments 3. Upore različnih vrednosti 4. Kondenzatorje različnih vrednosti 5. Dve diodi tipa 1N

42 5.2 Shema ojačevalnega vezja Celotno ojačevalno vezje lahko razdelimo na štiri stopnje. V nadaljevanju bo vsak del posebej razložen in opisan Prva stopnja diferenčni ojačevalnik Za ojačenje EMG signala potrebujemo dve sondi. Signal izmerimo tako,da dobimo razliko med obema vhodnima potencialoma. V ta namen uporabimo diferenčni ojačevalnik (slika 25) (glej seznam uporabljenih virov [15]). Slika 25:Shema diferenčnega ojačevalnika Izhod iz ojačevalnika predstavlja razlika vhodnih signalov, pomnoženih z ojačenjem. Izračun izhodne vrednosti lahko zapišemo z enačbo (5.1): VV oooooo = RR 1+RR ff RR gg VV RR 1 RR gg +RR 2 RR ff VV 2 RR 1 (5.1) 1 V out [V] -izhodna napetost R [Ω] -upornost V 1 [V] - vhodna napetost V 2 [V] - vhodna napetost Če poenostavimo enačbo (5.1), in velja pogoj: R R R f g =, (5.2) 1 R2 dobimo novo enačbo za izračun izhodne vrednosti: R f Vout = ( V2 V1), (5.3) R

43 kjer razmerje RR ff RR 1 predstavljata ojačenje ojačevalnika A. V našem primeru smo za ojačenje signala uporabili integrirano diferenčno ojačevalno vezje INA 106. Vezava je sledeča: Slika 26:Vezava diferenčnega ojačevalnika Za diferenčni ojačevalnik(sliki 26) smo preračunali in izbrali upore tako, da smo nastavili ojačenje na 110. Vrednosti izbranih uporov so naslednje R1=R3= 10kΩ in R2=R4=1.1MΩ. Na ta način se prva stopnja obdelave signala dovolj ojača, da lahko nadaljujemo z obdelavo signala Druga stopnja invertirani ojačevalnik in visokopasovni aktivni filter Kot že ime pove, invertirani ojačevalnik vhodni signal ojači in preslika v negativno vrednost na izhodu. Ojačitev nastavimo s pomočjo zunanjih uporov R in in R f. Shemo ojačevalnika prikazuje slika 27. Slika 27:Invertirajoči ojačevalnik

44 Izhod iz ojačevalnika lahko zapišemo z enačbo (5.4): VV oooooo = RR ff RR iiii VV iiii, (5.4) pri čemer je ojačenje sistema R f A=. (5.5) R n V našem primeru smo uporabili naslednje vrednosti uporov: R f = 150 kω in R in = 10 kω. Če vstavimo te vrednosti v enačbo, dobimo na izhodu ojačenje A= -15. Visoko pasovni aktivni filter Visokoprepustni filter prepušča visoke frekvence signalov ter zmanjša amplitudo signalom, katerih frekvenca je nižja od mejne frekvence. V tem primeru bomo uporabili aktivni visokopasovni filter z operacijskima ojačevalnikom. Slika 28: Aktivni visokoprepustni filter Za aktivni filter na sliki 28 lahko izračunamo mejno frekvenco po enačbi (5.6): f c = 1 1 2πτ = 2π RC (5.6) 1 f c [Hz] - mejna frekvenca C [F] - kapacitivnost Po vstavitvi izbranih vrednosti v enačbo (5.6) vidimo, da mejna frekvenca znaša:f c = Hz. Vrednosti elementov so naslednje: C = 10 nf in R 1 = R 2 = 150 kω. Filter je preračunan tako, da vse signale, ki imajo višjo frekvenco od nastavljene f c,, prepušča, nižje frekvence pa izfiltrira. Izhodno ojačenje izračunamo po naslednji enačbi (5.7) in dobimo: R2 A= = -1. (5.7) R

45 Na ta način signal, ki smo ga v prejšnjem koraku invertirali, sedaj filtriramo in pozitivno predznačimo. S tem filtrom ne odpravimo samo nizkih frekvenc ampak tudi DC offset. Ta postopek odprave je pomemben, saj lahko na drugi način offset vpliva na nastavljeno delovno točko ojačevalnika ali privede do zasičenja sistema. Z odpravo enosmerne komponente ostane samo izmenična komponenta signala. Ta zajema efektivni signal. Združitev invertirajočega ojačevalnika in aktivnega visoko pasovnega filtra je prikazana na sliki 29. Slika 29:Invertni ojačevalnik in visokoprepustni filter

46 5.2.3 Tretja stopnja usmerjanje signala Obdelan izmenični signal iz prejšnjih stopenj je potrebno usmeriti za zajemanje z mikrokrmilnikom. To izvedemo z aktivnim polnovalnim usmernikom na sliki 30 (glej seznam uporabljenih virov [16]). Slika 30: Aktivni polnovalni usmernik Usmernik v takšni konfiguraciji usmeri izmenični signal, tako da dobimo pozitivne vrednosti signala. Negativne vrednosti signala se preslikajo v pozitivne, kot je prikazano na sliki 31. Ojačanje A=1, tako da na izhodu iz usmernika dobimo pozitivni signal. Slika 31:Polnovalno usmerjanje signala

47 5.2.4 Četrta stopnja nizkopasovni filter in končno ojačenje signala Za glajenje pridobljenega signala iz prejšnje stopnje bomo uporabili nizkopasovni aktivni filter (slika 32). Filter prepušča nizkofrekvenčne signale ter zmanjša amplitudo signalom, višjim od mejne frekvence. Tudi ta filter je aktiven, saj za njegovo delovanje uporabimo operacijski ojačevalnik (glej seznam uporabljenih virov [17]). Slika 32: Aktivni nizkopasovni filter Mejno frekvenco nizkopasovnega filtra izračunamo po naslednji enačbi: f c = 1 2π RC. (5.8) 1 Ob vstavljanju podatkov v enačbo (5.8) dobimo mejno frekvenco nizkopasovnega filtra f c =1.89 Hz. Izbrane vrednosti elementov so R 1 = R 2 = 80.6 kω in C = 1 μf. Ojačenje na izhodu iz filtra izračunamo po enačbi (5.9): R2 A=. (5.9) R

48 Ker sta upora R 1 in R 2 enaka, je ojačenje A= -1. Kot vidimo, je izhod negativen, zaradi tega je potrebno signal invertirati. V ta namen se na koncu doda še invertni ojačevalnik s spremenljivim ojačenjem (slika 33). Delovanje tega ojačevalnika smo že opisali. Tako lahko vplivamo na jakost končnega signala iz ojačevalnega vezja in ga prilagajamo potrebam mikrokrmilnika (glej seznam uporabljenih virov [18]). Za pravilno delovanje smo izbrali naslednje vrednosti elementov R 1 = 1 kω in R2 predstavlja potenciometer z nastavljivo vrednostjo od 0 do 20 kω. Slika 33: Nizkopasovni filter z invertirajočim ojačevalnikom

49 Slika 34: Shema celotnega ojačevalnega vezja

50 5.3 Rezultati testiranja Po sestavitvi vseh delov ojačevalnega vezja na testni plošči smo lahko opravili testiranja. Zaradi zasnove elektrod smo jih za testne namene namestili na biceps ene izmed rok. Ta mišica je dokaj velika in predvidevali smo, da iz nje lahko dobimo močan signal. Signal, zajet z elektrodami, je odvisen od velikosti mišic in njihove mase. Večja kot je mišica, večji bo izmerjen signal. Vzpostavili smo kontakt s kožo in elektrodami in pričeli z izvajanjem meritev. Najprej smo vrednosti spremljali z opazovanjem vrednosti napetosti na voltmetru. Ko se mišica skrči, se v mišičnih vlaknih tvori elektromagnetni signal. Z diferenčnima sondama, ki ju namestimo na začetek in sredino mišice, lahko ta signal zajamemo. V ta namen je izvedeno ojačevalno vezje z diferenčnim ojačevalnikom. Jakost zajetega signala je odvisna tudi od moči, s katero mišico napnemo. Če napnemo mišico z večjo močjo, dobimo močnejši odziv. Prvi rezultati meritev so pokazali, da v nestimuliranem stanju mišice dobimo na izhodu ojačevalnega vezja signal, katerega vrednost znaša 0,04 V. Ob rahli stimulaciji mišice se signal dvigne na vrednost, ki se nahaja v območju med 1,9 in 2,6 V. Ob napeti mišici dobimo z večjo močjo signal v območju od 5 do 7 V. Ta območja lahko prilagodimo s potenciometrom, ki nastavlja ojačenje zadnje ojačevalne stopnje. Signal, ki ga dobimo po obdelavi iz ojačevalnega vezja, je možno priključiti na mikrokrmilnik. Obdelan signal priključimo na analogni vhod mikrokrmilnika, kjer izvedemo pretvorbo iz analogne v digitalno. Tako podatek digitaliziramo in ga lahko uporabimo v programu. Signale iz ojačevalnega vezja smo posneli s pomočjo osciloskopa. Prikazani bodo na naslednjih slikah

51 Slika 35: Nestimulirano stanje mišice Na sliki 35 je podan odziv signala na nestimulirano mišico. Vrednost signala se torej giblje okrog 0. Manjšo vrednost dobimo zaradi kakšne motnje oziroma pritrditve kontaktov na kožo

52 Slika 36: Odziv na manjšo stimulacijo mišice Ob sami stimulaciji mišice se pojavi v signalu konica. Ob manjši stimulaciji (slika 36) ta predstavlja vrednosti med 0 in 1,7 V. Te vrednosti so zaznavne z mikrokrmilnikom, tako da ne potrebujemo močnih stimulacij za zajemanje signalov. Preizkus je pokazal, da je ob namestitvi sond na krajše mišice možno izmeriti signal

53 Slika 37: Odziv na močno stimulacijo mišice Na sliki 37je prikazan odziv signala na močno stimulacijo mišic. Signal se v tem primeru giblje med 0 in 6,8 V. Za zajet primer smo opravili več zaporednih stimulacij

54 6 IZVEDBA VODENJA Za izvedbo vodenja mobilne robotske platforme smo uporabili naglavni merilni sistem. Signalov, zajetih z EMG senzorjem, nismo vključili v vodenje. Preizkusili smo jih samo na mikrokrmilniški kartici. Z obstoječo opremo namreč nismo mogli narediti še enega sistema za obdelavo in brezžično komunikacijo z mobilno platformo. Zaradi priključitve EMG senzorjev je potrebno imeti samostojno mikrokrmilniško kartico za obdelavo signalov in svojo kartico za krmiljenje mobilne platforme. Med njima mora potekati brezžična komunikacija. V našem primeru smo mikrokrmilniško karto namestili na mobilno platformo in na njej izvedli vodenje in obdelavo merilnih signalov iz naglavnega merilnega sistema. V nadaljevanju bo prikazan postopek vodenja mobilnega sistema. Kot šablono za pisanje programa smo uporabili program za zajemanje in obdelavo podatkov, ki smo ga opisali v tretjem poglavju. Cilj vodenja mobilnega sistema je sposobnost spreminjanja smeri vožnje s pomočjo naglavnega merilnega sistema, ki nam omogoča zajemanje EMG signala ob kontrakciji očesa. Ta signal je zanesljiv in ga je možno uporabiti za preklop stanj vodenja. Ker podatek o kontrakciji ni direktno podan z merilnega sistema, ga je potrebno identificirati z neobdelanega zajetega signala merilnega senzorja. Neobdelan signal se pošlje preko Bluetooth protokola na mikrokrmilniško karto. 6.1 Identifikacija kontrakcije očesne mišice Iz razčlenjenega paketa podatkov je za izvedbo identifikacije potrebno najprej pridobiti podatek o neobdelanem signalu. Tega smo zapisali v spremenljivko raw. Ker se meritev izvaja neprekinjeno, je najboljši način za vizualno prezentacijo te vrednosti izris njenega grafa (slika 38). V ta namen smo uporabili prosto dostopen program, imenovan Processing (glej seznam uporabljenih virov [19])

55 Slika 38:Vizualizacija podatkov v programu Processing Program nam omogoča vzpostavitev povezave z razvojnim okoljem Arduino preko serijske komunikacije. Nato lahko izbrane spremenljivke izpišemo ali izrišemo na grafu. Dobra lastnost tega programa 3 je, da lahko zajete vrednosti izvozimo v datoteko, ki jo lahko odpremo z urejevalnikom podatkov kot na primer Microsoft Excel. Pridobljene podatke uredimo in izrišemo graf. Na podlagi podatkov v grafu lahko izvedemo analize. 800 Raw Vrednost zajetih podatkov Raw Število zajetih podatkov Slika 39: Prikaz neobdelanih podatkov 3 Program za zajemanje podatkov se nahaja v prilogi [3]

56 Graf na sliki 39 prikazuje neobdelane podatke iz merilnega sistema. Vidimo lahko, da se v signalu pojavijo konice. Podobne so signalu, zajetem z EMG elektrodo in obdelanem na ojačevalniškem vezju. Za pridobitev podatka kontrakcije mišice je potrebno identificirati vrh konice. Iz grafa je razvidno tudi, da signal valovi. Pri tem je potrebna previdnost, da med identifikacijo ne zajamemo nepotrebnih valov. Vidimo pa, da so konice, ki zaznamujejo kontrakcije, veliko večje od ostali. V program je identifikacija izvedena na sledeč način. Za identifikacijo vrha konice se uporabi preprost if stavek. Pogoj je izpolnjen, če se vrednost neobdelanega signala nahaja v določenem pasu. Najmanjša vrednost tega pasu znaša 790, največja pa 800. V tem območju se nahaja vrh večine konic, ki so posledica kontrakcije očesne mišice. Poudariti velja, da se očesna mišica obnaša podobno, kot smo dokazali v prejšnjem preizkusu z EMG elektrodami. Tudi ta signal se spreminja glede na jakost stimulacije. Problem pri očesni mišici je spontana stimulacija oziroma spontan pomežik. Tega živa bitja naredimo nezavedno. Detekcija tega signala bi pomenila nezavedno spremembo stanja v vodenju. V ta namen je detekcija izvedena za relativno velike vrednosti napetosti. Stimulacijo mišice je zato potrebno narediti zavedno. Za preklapljanje stanj moramo pridobljeno informacijo o kontrakciji shraniti in uporabiti za namene preklopa. V ta namen se uvede spremenljivka BLINK. Vrednost te spremenljivke postavimo ob inicializaciji na nič. Nato jo ob vsaki zabeleženi kontrakciji povečamo za ena. Ko spremenljivka doseže vrednost osem, se postavi v začetno vrednost. Krmiljenje hitrosti sistema v stanju ena je izvedeno s skaliranim podatkom o koncentraciji. Ta podatek nam posreduje merilna naprava in je v območju med 0 in 100%. Hitrost vrtljajev servomotorja, ki se giblje med minimalno 90 in maksimalno 135, smo skaliranli na to vrednost. Program je zasnovan tako, da se hitrost motorjev spremeni, če se koncentracija poveča nad 60 %. Sistem začne pospeševati

57 6.2 Izvedba vodenja Za izvedbo vodenja določimo osem stanj sistema. Stanja medsebojno preklapljamo z vrednostjo spremenljivke BLINK. Za vizualni prikaz prekopov in stanj sistema je uporabljenih osem LED lučk. Vsaka od njih določa svoje stanje sistema. Na sliki 40 je prikazan diagram prehajanja stanj. V nadaljevanju bodo opisana posamezna stanja vodenja. NAPREJ Stanje 1 Levi motor vključen Desni motor vključen Zelena LED vključena Vhod v sistem BLINK = 1 BLINK = 2 LEVO Stanje 7 Levi motor izključen Desni motor vključen Rdeča LED vključena BLINK = 8 BLINK = 7 MIROVANJE Stanje 0,2,4,6 Levi motor izključen Desni motor izključen Modra LED vključena BLINK = 3 BLINK = 4 DESNO Stanje 3 Levi motor vključen Desni motor izključen Rdeča LED vključena BLINK = 6 BLINK = 5 NAZAJ Stanje 5 Levi motor vključen Desni motor vključen Zelena LED vključena Slika 40: Diagram prehajanja stanj vodenja

58 Stanje 0: Mirovanje To stanje bi lahko poimenovali začetno stanje sistema. Motorji mirujejo in prižgana je modra lučka, ki oznanja mirovanje. Stanje 1: Vožnja naprej V tem stanju se sistem pomika naprej. Motorja sta vključena in se oba vrtita v enako smer. Prižgana je zelena lučka, spremenljivka BLINK ima vrednost 1. Stanje 2: Mirovanje Sistem preide v začetno stanje, kjer motorji mirujejo in sveti modra lučka, spremenljivka BLINK ima vrednost 2. Stanje 3: Vožnja v desno V tem stanju se sistem premika v desno. Levi motor miruje, desni se premika z polovično hitrostjo naprej. Sveti rdeča lučka in spremenljivka BLINK ima vrednost 3. Stanje 4: Mirovanje Sistem preide v začetno stanje, kjer motorji mirujejo in sveti modra lučka, spremenljivka BLINK ima vrednost 4. Stanje 5: Vožnja nazaj Sistem se v tem stanju pomika nazaj. Motorja sta vključena in se oba vrtita v vzvratno smer. Prižgana je zelena lučka, spremenljivka BLINK ima vrednost 5. Stanje 6: Mirovanje Sistem preide v začetno stanje, kjer motorji mirujejo in sveti modra lučka, spremenljivka BLINK ima vrednost 6. Stanje 7: Vožnja v levo V tem stanju se sistem premika v levo. Levi motor miruje, desni se premika s polovično hitrostjo naprej. Sveti rdeča lučka in spremenljivka BLINK ima vrednost 7. Stanje 8: Sistem se premakne v stanje 0. Za vsako spremembo smeri smo v vodenju uporabili mirujoče stanje z razlogom, saj je preklapljanje med smermi tako veliko lažje in zanesljivejše. Preklop smeri brez vmesnega

59 stanja predstavlja težavo za uporabnika. To se je izkazalo med testiranji. Ob pomežiku se preklop izvrši prehitro in sistema ni možno pravilno krmiliti 4. 7 PREIZKUS PROGRAMA NA REALNEM SISTEMU Za preizkušanje delovanja programa smo uporabili zgrajeno mobilno platformo. Nanjo smo namestili mikrokrmilnik z Bluetooth modulom ter povezali servomotorje. Za napajanje smo uporabili dve 9 V bateriji. Posebej smo napajali motorje in mikrokrmilnik, na ta način se izognemo motnjam. Kot je prikazano na sliki, smo najprej preizkusili vodenje z dvignjeno platformo. Kolesa niso imela kontakta s podlago. Nata način smo preizkusili pravilnost preklapljanja med stanji. V naslednjem koraku smo naredili preizkus na podlagi. Merilni sistem smo namestili na več oseb in tako preizkusili vodenje. Ugotovili smo, da se mora uporabnik naučiti preklapljati med stanji. Učenje ni dolgotrajno, je pa potrebno, saj se le na ta način izognemo spontanemu preklapljanju. Slika 41: Preizkušanje programa 4 Celotni program je na voljo v prilogi [4]