SISTEM DE RECUNOAŞTERE AUTOMATĂ A VORBIRII BAZAT PE REŢELE NEURONALE FUZZY

Transcription

1 SISTEM DE RECUNOAŞTERE AUTOMATĂ A VORBIRII BAZAT PE REŢELE NEURONALE FUZZY Monica-Anca CHIŢĂ, Cosmin ŞTIRBU Universitatea din Piteşti, Facultatea de Electronică şi Electromecanică, Catedra de Electronică şi Calculatoare, Strada Târgul din Vale, Nr. 1, , Piteşti, România; monica@electra.upit.ro şi chita_monica@yahoo.com Abstract. În această lucrare este prezentat un system de recunoaştere automată a vorbirii bazat pe reţele neuronale fuzzy, ca elemente de clasificare şi recunoaştere a eşantioanelor vocale prezentate sistemului. Sistemul prezentat este capabil să realizeze recunoaşterea frazelor discrete, independent de vorbitor, pe baza unor serii de timp ale rapoartelor de formanţi. Sistemul a fost implementat pe un PC cu soundcard şi microfon, iar aplicaţiile software utilizate au fost programul GoldWave, pentru înregistrarea on-line a eşantioanelor vocale şi mediul de programare MatLab, pentru prelucrarea semnalelor şi simularea reţelei neuronale. 1 Introducere Interesul actual generat de reţelele neuronale fuzzy este determinat în mare parte de speranţa că aceste tehnologii, bazate pe modelul creierului uman, vor fi capabile să rezolve categorii de probleme aflate acum mult dincolo de capacităţile de rezolvare ale calculatoarelor din ziua de azi [1] (funcţii extrem de complexe, din punct de vedere al posibilităţilor de calcul, pentru calculatoarele numerice convenţionale, cum sunt înţelegerea vorbirii sau a stimulilor vizuali, sunt mult mai eficient realizate de sistemele neurologice ale organismelor biologice). Studiul reţelelor neuronale a determinat apariţia unor categorii de arhitecturi de reţele care să modeleze capabilităţile creierului uman. Recunoaşterea automată a vorbirii reprezintă un element important în sistemele de înţelegere a vorbirii, care tinde să îmbunătăţească uşurinţa cu care oamenii interacţionează cu calculatorul. Astfel, comunicaţia cu calculatorul prin vorbire permite utilizatorilor accesarea de la distanţă a serviciilor furnizate de calculator chiar şi prin linii telefonice standard. Cerinţele pentru aceste tehnologii sunt determinate în principal de raţiuni economice, dar şi de dezvoltarea de noi tehnologii în domeniul telefoniei. Astfel recunoaşterea automată a vorbirii se referă la utilizarea unor instrumente pentru a realiza identificarea unor elemente lingvistice prezente în exprimarea limbajului uman. Sistemele de recunoaştere automată a vorbirii reprezintă primul pas în dezvoltarea unui sistem care recunoaşte cuvintele unei persoane, interpretează sensul şi furnizează un răspuns adecvat. Actualmente atât din raţiuni economice, cât şi financiare se doreşte realizarea unor sisteme de recunoaştere automată a vorbirii capabile să înveţe rapid noi seturi de eşantioane vocale, independent de vorbitor sau de limbaj. Ideal, eşantioanele vocale trebuie memorate într-o manieră modulară astfel încât aceste submulţimi de informaţii să poată fi combinate în pachete adaptate fiecărei noi aplicaţii, fără necesitatea unei reinstruiri pentru extinderea sistemului. 2 Etapele procesului de recunoaştere automată a vorbirii Procesul de recunoaştere automată a vorbirii poate fi descris ca un proces în patru etape şi anume: înregistrarea eşantioanelor vocale, prelucrarea semnalelor, extragerea caracteristicilor şi clasificarea exprimărilor [2]. 1

2 Prima etapa este cea a înregistrării eşantioanelor vocale, în care este extreme de importantă recepţia eficientă şi conversia semnalului acustic provenit de la vorbitor într-un echivalent electronic care poate fi memorat pentru prelucrări ulterioare. A doua etapă este etapa de prelucrare a semnalelor şi constă în principal în analiza spectrală a semnalului electronic pentru a obţine o reprezentare parametrizată care codifică informaţia spectrală. Etapa a treia este etapa de extragere a caracteristicilor şi se referă în principal la eliminarea informaţiilor nerelevante sau redundante din prezentarea parametrizată obţinută în etapa a doua. Se obţine astfel o compresie a datelor şi o reducere a încărcării pentru prelucrările ulterioare. Ultima etapă este etapa de clasificare a exprimării şi constă în identificarea cuvintelor rostite. Această etapă implică recunoaşterea fonemelor, grupelor de foneme, cuvinte sau fraze, cu ajutorul reţelelor neuronale, a modelării Markov ascunse [3]. 3 Sistem de recunoaştere automată a vorbirii bazat pe reţele neuronale fuzzy Sistemul de recunoaştere automată a vorbirii bazat pe reţele neuronale fuzzy a fost implementat pe un PC cu soundcard şi microfon, iar aplicaţiile software utilizate au fost programul GoldWave, pentru înregistrarea on-line a eşantioanelor vocale şi mediul de programare MatLAB, pentru prelucrarea semnalelor şi simularea reţelei neuronale. Prezentarea sistemului de recunoaştere automată (ASR Automatic Speeck Recognition) se face pe baza celor patru etape ale procesului de recunoaştere automată a vorbirii, descrise anterior. 3.1 Înregistrarea eşantioanelor vocale Necesitatea efectuării unor teste cât mai apropiate de realitate exclud utilizarea unor eşantioane vocale înregistrate într-un interval restrâns de timp. Este necesară deci o bază de date de eşantioane vocale înregistrate pe o perioadă mare de timp, pentru a îngloba astfel variaţiile zilnice care apar în vocea unui vorbitor. Pentru optimizare, s-a utilizat un set de mai multe fraze, înregistrate într-un interval larg de timp şi memorate în fişiere pe calculator. Pentru a obţine un sistem robust este important să se ţină cont de diverşi factori implicaţi în metodele utilizate privind mediul acustic, sistemul de microfoane, sistemul de transmitere şi variabilitatea specifică vorbirii, astfel încât eşantionarea şi memorarea semnalelor să se realizeze cu minimum de distorsiuni. Toate eşantioanele vocale au fost numerizate utilizând placa de sunet a calculatorului. Semnalele audio au fost numerizate utilizând o rată de eşantionare de Hz cu o rezoluţie de 16 biţi. 3.2 Prelucrarea semnalelor În prima etapă, semnalele vocale au fost eşantionate şi convertite într-un format digital, cu o rată de eşantionare de Hz şi o rezoluţie de 16 biţi pe eşantion. Înregistrările cu ajutorul telefonului au fost eşantionate cu o rată de 8000 Hz, de o rezoluţie de 16 biţi pe eşantion. În etapa a doua s-a realizat analiza spectrală a semnalelor eşantionate, cu ajutorul unui program elaborat în limbajul MatLAB, care utilizează o fereastră Hamming de 512 puncte de eşantionare. Amplitudinea semnalului în domeniul timp a fost normalizată înainte de calcularea spectrogramei. Pragul relativ al zgomotului de fond variază puternic între eşantioanele vocale, astfel încât utilizarea unui prag fix al zgomotului de fond poate constitui o sursă de erori. 2

3 Eşantioanele vocale au fost împărţite în segmente de lungime fixată (1 s), s-a calculat spectograma pentru fiecare segment, iar spectograma finală a fost obţinută concatenând spectogramele rezultate pentru fiecare segment în parte. Pentru îndeplinirea cerinţelor de memorare, s-au memorat în fişierul de ieşire doar părţile din spectogramă care reprezentau frecvenţele mai mici de 5000 Hz. Spectrograma finală obţinută cu ajutorul programului elaborat în limbajul MatLAB este reprezentată în figura Extragerea caracteristicilor Fig. 1: Spectrograma totală a semnalului. Etapa a treia se referă la izolarea caracteristicilor lingvistice din spectogramele eşantioanelor vocale, după eliminarea datelor nerelevante, pentru a reduce încărcarea în etapele de calcul ulterioare. Pentru filtrarea zgomotelor de fond care apar evident în esantioanele vocale s-a construit o mască de zgomot, utilizând eşantioane cu zgomot de fond prelevate la diferite intervale de timp. Pentru construcţia acestei măşti, s-a calculat o spectogramă pe o secundă a zgomotului de fond eşantionat, s-a identificat amplitudinea maximă pentru fiecare bandă de frecvenţă din spectogramă zgomotului, obţinându-se astfel un vector-mască. Acest spectru de valori maxime ale amplitudinii zgomotului a fost scăzut din fiecare secvenţa de timp a spectogramelor calculate mai sus, eliminându-se astfel orice contribuţie posibilă a zgomotului de fond. Valorile negative obţinute în urma calculelor au fost considerate nule. Utilizarea acestei metode de mascare a zgomotului a îmbunătăţit identificarea frecvenţelor formanţilor. Vectorii de mascare obţinuţi sunt prezentaţi în fig. 2, iar spectrograma semnalului după mascarea zgomotului de fond este indicată în fig. 3. Fig. 2: Masca de zgomot în cazul înregistrării cu ajutorul microfonului/telefonului. 3

4 Fig. 3: Spectrograma semnalului după mascarea zgomotului. Eliminarea perioadelor de pauză din eşantionul vocal s-a realizat pe baza unei curbe de energie pe termen scurt, obţinută din spectograma eşantionului. Fiecare punct al curbei corespunde sumei amplitudinilor în frecvenţă pentru o secvenţă de timp dată. Deoarece formanţii apar doar în porţiunile de eşantion în care se vorbeşte, este importantă izolarea acestor porţiuni pentru a obţine îmbunătăţirea înregistrării formanţilor. Întrucât aceste porţiuni au energie relativă mai mare în comparaţie cu perioadele de pauză, toate secvenţele de timp în care curba de energie scade sub un anumit prag (fixat la un procent din maximul de energie din curbă) sunt eliminate. Pentru fiecare bandă de frecvenţă dintr-o secvenţă de timp dată dintr-o spectogramă, se compară amplitudinea frecvenţei cu cele ale frecvenţelor învecinate într-o fereastră de dimensiuni fixe, şi în care banda de frecvenţă respectivă este poziţionată la mijlocul ferestrei. După ce au fost identificate toate maximale locale, se memorează doar acelea cu amplitudinea cea mai mare ca fiind valori utile pentru localizarea frecvenţelor formanţilor. Prin procesul de separare se elimină secvenţele de timp din spectogramă care au estimări eronate ale frecvenţelor formalilor. Dacă prima frecvenţă este estimată la mai mult de 1200 HZ, sau dacă nu există trei estimări pentru o secvenţă dată, atunci secvenţa respectivă este eliminată. Rezultatul obţinut reprezintă o serie de estimări considerate corespunzătoare, care sunt apoi memorate într-un vector formant. 3.4 Clasificarea exprimărilor În această etapă, reţeaua neuronală fuzzy este utilizată pentru a clasifica vectorii reprezentând esantioanele vocale obţinuţi în etapa a treia. Reţelele neuronale fuzzy bazate pe teoria rezonanţei adaptive combină logica fuzzy şi procesele bazate pe teoria rezonanţei adaptive de instruire, rezonanţă, selectarea clasei. Valorile de intrare variază continuu între zero şi unu, astfel că intrările pot fi atât analogice cât şi binare, sistemul fiind capabil să realizeze o instruire nesupervizată la prezentarea la intrare a unor modele arbitrare în timp ce se menţin stabilitatea şi plasticitatea, utilizând complet capacităţile de memorie. Astfel arhitectura reţelelelor neuronale fuzzy bazate pe teoria rezonanţei adaptive diferă de cea a reţelelor neuronale obişnuite, avantajul principal fiind acela că sistemul este proiectat să funcţioneze corect şi autonom, să înveţe într-o manieră cât mai stabilă şi într-un mediu care variază continuu când este expus unei secvenţe arbitrare de modele la intrare, până la utilizarea completă a capacităţilor de memorie [4]. Figura 4 prezintă procesul de clasificare prin trei grafice. În primul grafic se află reprezentarea ca vector raport tri-format (TRFV Tri Formant Ratio Vector) a eşantionului vocal prezentat reţelei. Cel de-al doilea grafic indică vectorul regăsit de reţeaua propusă ca răspuns la intrarea reţelei, iar ultimul grafic indică o comparaţie între cei doi vectori. 4

5 4 Concluzii Fig. 4: Recunoaşterea formelor cu ajutorul reţelei neuronale pentru un semnal obţinut prin microfon. Lucrarea demonstrează aplicabilitatea reţelelor neuronale fuzzy în cazul procesului de recunoaştere automată a vorbirii prin implementarea unui sistem care utilizează reţeaua fuzzy ca element de recunoaştere. Sistemul de recunoaştere automată a vorbirii prezentat este capabil să realizeze recunoaşterea frazelor discrete, independent de vorbitor, pe baza unor serii de timp ale rapoartelor de formanţi. Procesul de conversie a semnalului acustic într-o reprezentare corespunzătoare pentru intrarea în blocul de recunoaştere a fost descris ca un proces de recunoaştere automată a vorbirii în patru etape, care include înregistrarea eşantioanelor vocale, prelucrarea semnalelor, extragerea caracteristicilor şi clasificarea exprimărilor. Au fost utilizate atât microfonul cât şi telefonul în etapa de înregistrare a sunetelor pentru a măsura şi compara performanţele sistemului în ambele cazuri de transmitere a semnalului. Semnalele acustice au fost numerizate şi convertite într-o spectrogramă. Pentru obţinerea primilor trei formanţi s-a realizat reducerea zgomotelor, a perioadelor de pauză şi o normalizare a amplitudinii în frecvenţă. Formanţii au fost apoi combinaţi secvenţial într-o reprezentare vector raport tri-format, care reduce puternic diferenţele între diverse reprezentări ale frazelor rostite, diferenţe datorate vârstei şi sexului vorbitorului. Reprezentarea a fost apoi normalizată în gama de valori fuzzy şi s-a realizat apoi o limitare a vectorului raport tri-format la dimensiunea stratului de intrare al reţelei neuronale. Cercetări ulterioare pot fi realizate pentru a îmbunătăţi analiza erorilor, pentru dezvoltarea unor tehnici de normalizare a amplitudinii în frecvenţă care să adapteze atenuarea spectrală a unei conexiuni telefonice. Pot fi obţinute îmbunătăţiri majore prin utilizarea unui sistem de testare online, pentru a profita de avantajul măştii de zgomot adaptată pentru fiecare eşantion vocal, şi prin îmbunătăţirea rezoluţiei temporale pentru detecta schimbările rapide în semnalul vocal prin utilizarea unei rate de eşantionare mai mari. În final, sistemul poate fi făcut mai rapid prin compilarea sa ca un program executabil. Sistemele de recunoaştere automată a vorbirii reprezintă primul pas în dezvoltarea unui sistem care recunoaşte cuvintele unei persoane, interpretează sensul şi furnizează un răspuns adecvat. Cercetările efectuate în acest domeniu sunt importante deoarece dezvoltările ulterioare vor permite 5

6 interacţiunea cu calculatorul cu ajutorul vorbirii, uşurând astfel accesul persoanelor neinstruite în domeniul informaticii la resurse controlate de calculator. Aceste noi tehnologii permit executarea de tranzacţii on-line, creare de documente şi trimitere de faxuri prin simple dictări către un microfon ataşat calculatorului, posibilitatea realizării de traduceri bi-direcţionale pentru o gamă largă de limbi de circulaţie internaţională. Referinţe [1] D. Dumitrescu, H. Costing. Reţele neuronale Teorie şi aplicaţiii, Editura Teora, Bucureşti, 1996 [2] N. Dixon, T. Martin. Automatic Speeck & Speaker Recognition, IEEE Press, New York, [3] W. A. Ainsworth, Speech Recognition by Machine, Peter Peregrinus Ltd., London, [4] G. Carpenter, S. Grossberg, The ART of Adaptive Pattern Recognition by a Self-Organizing Neural Network, IEEE Computer, March,