LABORATOR 1 Noţiuni introductive în codarea imaginilor

Transcription

1 Comunicaţii multimedia Laborator LABORATOR Noţiuni introductive în codarea imaginilor Comunicaţii multimedia Laborator imaginii de start active sau tipului imaginii (imagine fixă, secvenţă video, secvenţă MPEG).. Programul VcDemo.. Introducere VcDemo este un program de învăţare a tehnicilor de compresie a imaginilor şi de compresie video. Scopul programului este de a face posibilă experimentarea cu diferiţi algoritmi de compresie (mai mult sau mai puţin complecşi) fără a avea în vedere implementarea lor propriu-zisă. Din această cauză programul este bazat pe meniuri de dialog şi permite utilizatorului să experimenteze cu diferiţi parametrii specifici operaţiei de compresie. Pe de o parte, vizualizarea rezultatelor de compresie a imaginilor ajută la înţelegerea performanţelor unui anumit algoritm de compresie, iar pe de altă parte rezultatele stimulează o modalitate de rezolvare a problemei. O modalitate efectivă de a lucra cu VcDemo este de a-ţi pune tot timpul întrebările: ce se va întâmpla dacă folosesc o anumită combinaţie de parametrii, care este cauza artefactelor de compresie şi cum pot fi comparate tehnicile de compresie atât din punct de vedere vizual cât şi numeric... Folosirea programului După pornirea programului trebuie încărcată o imagine bmp de lucru. Aceasta se face selectând File/Open Image sau apăsând butonul corespunzător. La alegerea imaginii trebuie avut în vedere că unele metode de compresie sunt restricţionate fie la dimensiuni pare ale imaginilor, fie la dimensiuni puteri ale lui. O alegere bună ar fi o imagine de 56x56 pixeli, care poate fi folosită pentru toţi algoritmii de compresie şi care are loc în spaţiul de lucru. Pot fi folosite şi imagini de dimensiuni mai mari, dar ele sunt câteodată afişate în ferestre mai mici datorită lipsei de spaţiu (pentru vizualizare la mărime originală daţi dublu-clic pe imagine). Toate rutinele de compresie pentru imagini funcţionează pe imagini cu nuanţe de gri pe 8 biţi, deci intern formatul imaginii de intrare este convertit la 56 de nivele de gri. Pentru secvenţe de imagini (MPEG) acest lucru poate fi diferit. După încărcarea imaginii meniul de opţiuni şi butoanele specifice fiecărui tip de compresie devin active. Dacă unele dintre opţiunile de compresie nu sunt active, atunci acest lucru se datorează dimensiunilor Figura. Fereastră după activarea unui modul de compresie Apăsarea butonului corespunzător unei tehnici de compresie va produce apariţia meniului cu parametrii de compresie. Meniul este întotdeauna poziţionat în partea dreaptă (vezi Figura.). După apăsarea butonului Apply va începe compresia folosind setul curent de parametrii. Partea de jos a meniului cu parametrii are o casetă de text, în care vor fi afişate rezultatele compresiei, ca de exemplu: Rata de bit = numărul de biţi pe pixel Eroarea pătratică medie N M er = [ Y ( i, j) X ( i, j)] NM i = j = Raportul semnal - zgomot (SNR) Raportul semnal de vârf - zgomot (PSNR) 55 PSNR = 0log ( db) X( i, j) Y( i, j) În tabelul următor este prezentată o dependenţa subiectivă a calităţii imaginii în funcţie de PSNR: PSNR Calitate > 40dB Foarte bună 30 40dB Bună < 30dB Slabă

2 Comunicaţii multimedia Laborator 3 Aceste rezultate sunt salvate pentru fiecare imagine comprimată afişată în spaţiul de lucru şi pot fi obţinute apăsând clic-dreapta pe o imagine iar apoi selectând Image Information. Cea mai simplă metodă de a închide toate meniurile şi imaginile obţinute dintr-o imagine de start este închiderea imaginii de start. Folosirea secvenţelor de imagini VcDemo foloseşte două tipuri de secvenţe: fişiere de date YUV şi succesiuni de imagini bmp. Secvenţe YUV Reprezentarea imaginilor color în formatul YUV (Y luminanţa, U,V crominanţa) se face pornind de la reprezentarea RGB (Red Green Blue) astfel: Y = 0.3R+ 0.59G+ 0.B U = 0.493( B Y) V = 0.877( R Y) Secvenţele YUV conţin secvenţe de imagini brute fără header. Datele sunt stocate ca o succesiune de blocuri de date Y-U-V. Formatul de stocare poate fi doar luminanţă sau luminanţă- crominanţă în format 4::0 sau 4::. Pentru fiecare secvenţă trebuie să existe un fişier header cu acelaşi nume. De exemplu...\adir\secv.yuv conţine date YUV cu format descris în secv.hdr. Secvenţe doar de luminanţă sunt conţinute în fişiere cu extensia.y. Secvenţe BMP O secvenţă de imagini BMP este de exemplu: imag.bmp, imag.bmp,..., imag9.bmp, imag0.bmp, etc. Programul nu cunoaşte lungimea acestei secvenţe. Pentru a indica programului că există o secvenţă imag, imaginile trebuie organizate după cum urmează:...\adir\imag.seq...\adir\imag.bmp...\adir\imag.bmp...\adir\imag3.bmp etc Programul caută fişiere cu extensia *.seq şi după selectare va încărca această imagine ca prima imagine a secvenţei. De aceea imag.seq trebuie să fie identică cu imag.bmp (o copie cu extensie diferită). Toate celelalte cadre vor 4 Comunicaţii multimedia Laborator fi încărcate din subdirectorul imag, până când următoarea imagine nu mai poate fi găsită şi programul realizează că s-a ajuns la ultima imagine. Secvenţele de imagini pot fi deschise selectând File/Open Sequence. Secvenţele cu extensii *.yuv, *.y sau *.seq sunt listate şi pot fi deschise. Se va afişa doar primul cadru. Se pot apoi activa modulele programului care lucrează cu secvenţe de imagini. Folosirea secvenţelor comprimate MPEG Pot fi folosite fişiere cu extensia *.mpg (folosită in general pentru fluxuri mpeg), *.mv (flux video mpeg-) şi *.mv (flux video mpeg-) Secvenţele MPEG pot fi deschise selectând File/Open MPEG Stream. Secvenţele mpeg cu extensia.mpg sunt listate şi pot fi deschise. Din meniul pull-down pot fi selectate şi fişierele cu extensia *.mv şi *.mv. După deschiderea fişierului va fi afişată doar o fereastră colorată. Doar după activarea modulului de decompresie mpeg, fereastra va fi redimensionată şi va fi afişată secvenţa video... Decimarea imaginilor (SS).. Aspecte teoretice Compresia imaginii se realizează prin reducerea rezoluţiei imaginii cu factorul de decimare M, ceea ce corespunde unei scăderi substanţiale a calităţii. Decimarea cu un factor M este echivalentă cu reeşantionarea imaginii cu o frecvenţă de eşantionare de M ori mai mică. Pentru evitarea fenomenului de aliere spectrală înaintea decimatorului se foloseşte un filtru trece-jos... Opţiunile de compresie Decimare M: Figura. Decimarea imaginii Opţiunile de compresie sunt prezentate în Figura.3. Există trei tab-uri cu următorii parametrii:

3 Comunicaţii multimedia Laborator 5 6 Comunicaţii multimedia Laborator.3. Modulaţia impulsurilor în cod (PCM).3. Aspecte teoretice Metoda de compresie PCM implică realizarea următoarelor operaţii:. eşantionarea cu frecvenţa de eşantionare fe = Te. cuantizarea uniformă (cu pas constant de cuantizare) sau neuniformă (cu pas variabil de cuantizare), cu M = p nivele 3. codarea binară a celor M numere Figura.3 Opţiuni de compresie pentru decimare Factor: Setează factorul de decimare. Imaginea decimată poate fi vizualizată sub forma sa decimată, adică de dimensiune mai mică, sau poate fi mărită până la dimensiunea imaginii originale folosind replicarea pixelilor. Filter: În general înaintea decimării se realizează o filtrare anti-aliere. În tab-ul Filter poate fi selectată aplicarea filtrului antialiere, şi lungimea filtrului trece-jos (numărul de coeficienţi). Cu cât filtrul are o lungime mai mare, cu atât este mai abruptă panta funcţiei de transfer a filtrului. Spectrum: Pentru a observa decimarea în domeniul spectral, se poate afişa spectrul imaginii decimate (sau originale). VcDemo foloseşte estimatorul periodogramă (cu ferestre) pentru calculul spectrului. Utilizatorul poate selecta tipul de fereastră, ce este folosită pentru a suprima frecvenţele de scăpare. De observat că calculul spectrului nu are nici o influenţă asupra procesului propriu-zis de decimare...3 Exerciţii. Pentru imaginea Build5B.bmp vizualizaţi spectrul. Componenta DC a imaginii este în centrul spectrului. Decimaţi imaginea cu diferiţi factori. Cum se modifică spectrul?. Decimaţi cu factorul 4, fără anti-aliere şi cu un filtru anti-aliere de lungime 7. Observaţi diferenţele în imagini şi spectru. 3. Încercaţi şi alte imagini de test. Este observabilă alierea spectrală? Părerea depinde de imagine sau de factorul de decimare? a) b) c) Figura.4 Cuantizarea cu pas uniform Figura.5 a) Semnalul original; b) Semnalul cuantizat şi eroarea de cuantizare pentru un pas de cuantizare mic; c) cu pas de cuantizare mare..3. Opţiuni de compresie Opţiunile de compresie sunt prezentate în Figura.6. Există trei tab-uri cu următorii parametrii:

4 Comunicaţii multimedia Laborator 7 8 Comunicaţii multimedia Laborator 3. Utilizând opţiunea Subtract Dither observaţi ce fenomene apar? Care este cea mai bună alegere, să utilizăm această opţiune sau nu? 4. Adăugaţi un canal de eroare cu diferite rate de eroare şi diferite rate de bit. Explicaţi ce se observă. 5. Desenaţi variaţia raportului semnal-zgomot funcţie de numărul de biţi pe care se face cuantizarea..4. Codarea diferenţială PCM (DPCM) Bitrate: Dithering: Errors:.3.3 Exerciţii Figura.6 Opţiunile de compresie pentru compresia PCM Selectează rata de bit pentru PCM (doar valori întregi). Este aplicat un cuantizor uniform pentru o funcţie de densitate de probabilitate uniformă. Înaintea compresiei PCM o cantitate mică de zgomot poate fi suprapusă peste imagine. Acest lucru face ca artefactele de compresie PCM să fie mai puţin observabile. Deoarece zgomotul este generat local, el poate fi scăzut la decodare. Această opţiune poate fi selectată sau nu. Cantitatea de zgomot este controlată de către mărimea pasului dither-ului. Când datele sunt comprimate din ce în ce mai mult, biţii devin din ce în ce mai vulnerabili la erorile de canal. VcDemo permite adăugarea înaintea decodării a unor erori de bit aleatoare in fluxul de bit codat. Astfel se pot vedea efectele erorilor (simple) de canal. Pot fi selectate diferite rate de erori de bit.. Găsiţi pentru imaginea Lena56B.bmp care este numărul minim de biţi, pentru care diferenţa faţă de imaginea iniţială este acceptabilă. Câte nuanţe de gri are imaginea în acel caz?. Adăugaţi dither la imagine înaintea codării PCM. Reduceţi numărul de biţi şi obţineţi o imagine de aceeaşi calitate cu imaginea codată anterior. Care este câştigul în rata de bit? Care este concluzia, dacă se iau în considerare numai evaluările numerice?.4. Aspecte teoretice Codarea DPCM este un caz particular al tehnicii de compresie denumită codare predictivă, tehnică prin care informaţia deja transmisă este folosită pentru a prezice valori viitoare, diferenţa dintre ele fiind codată. Codarea DPCM se bazează pe faptul că orice este prezis din semnal la codare poate fi reconstruit la decodare. Etapele codării DPCM:. Prezicerea valorii pixelului curent x( i, j ) din valorile pixelilor adiacenţi x( i, j), x( i, j ), x( i, j ).... Calculul diferenţei (eroarea de predicţie) între valoarea curentă şi valoarea prezisă: Δ x(, i j) = x(, i j) xˆ (, i j) 3. Codarea erorii predicţiei (cuantizarea + codarea VLC = cu număr variabil de biţi) se poate face cu un număr mai mic de biţi. Pentru predicţie se poate folosi: - PCM: xn ˆ( ) = 0 xi ˆ(, j ) = 0 - Simpla diferenţă: xˆ( i, j) = x( i, j) xi (, j) + xi (, j ) - Media a doi pixeli adiacenţi: xi ˆ(, j) = - Media ponderată a mai mulţi pixeli adiacenţi x ( i, j) Δ x( i, j) Δx q ( i, j) Q xˆ ( i, j) Predictor Memorie ~ x( i, j ) Figura.7 Codorul DPCM VLC

5 Comunicaţii multimedia Laborator 9 0 Comunicaţii multimedia Laborator În Figura.7 este reprezentată schema codorului DPCM, unde sunt folosite următoarele simboluri: x(, i j ): semnalul eşantionat de intrare; Δ x(, i j) : diferenţa dintre valoarea curentă şi valoarea calculată; Δ x (, ) q i j : eroare de predicţie cuantificată; xˆ( i, j ): valoarea predicţiei; x (, i j) : valoarea reieşită din calcul a semnalului eşantionat; Direcţia de parcurgere Levels: Errors: VLC (Huffmann). Acest număr ar trebui folosit la reprezentarea grafică a raportului semnal-zgomot (SNR) în funcţie de rata de bit. Se poate alege între un cuantizor cu un număr par sau impar de nivele. Se permite adăugarea înaintea decodării a unui număr aleator de erori de bit în fluxul codat. Astfel se pot vedea efectele erorilor (simple) de canal. Pot fi selectate diferite rate de erori de bit. Pixelul curent Figura.8 O secţiune din harta de biţi pentru modelul de codare DPCM Pentru codorul din Figura.8, calculăm valoarea pixelului curent (Figura.8) pe baza valorilor pixelilor vecini cei mai apropiaţi: xˆ( i, j) = za + zb+ z3c, unde z, z, z 3 sunt coeficienţi deponderare. Pentru exemplul dat, x( i, j ) este valoarea pixelului curent, xˆ( i, j) se calculează ca o expresie liniară (ponderată) a p pixeli anteriori pixelului curent (în cazul nostru, 3 pixeli, a, b şi c), Δx( i, j) este imaginea derivată, obţinută ca diferenţa dintre pixelul curent şi pixelii anteriori. În procesul de predicţie, imaginea originală este pierdută, şi puitem avea acces doar la valoarea calculată, x ( i, j), a pixelului curent. Eroarea de predicţie poate fi (opţional) cuantificată şi utilizată în calculul entropiei codorului. Practic, eroarea este mică (datorită unei bune corelări spaţiale)..4. Opţiuni de compresie Opţiunile de compresie sunt prezentate în Figura.9. Există patru taburi cu următorii parametrii: Model: Pot fi folosite 4 modele diferite de predicţie. Diferenţele principale sunt între modelel din stânga (predicţie -D verticală) şi celelalte trei (predicţii -D). Bit Rate: Se selectează rata de bit DPCM (doar numere întregi). Este aplicat un cuantizor Lloyd-Max optimizat pentru o funcţie de densitate de probabilitate de tip Laplacian. În caseta de text va fi afişat un estimat al ratei de bit propriu-zise în urma codării Figura.9 Opţiunile de compresie pentru compresia DPCM Fereastra Prediction Error (eroare de predicţie): În această fereastră este reprezentată diferenţa de predicţie din interiorul buclei DPCM. Valorile nule sunt reprezentate în gri, iar valorile pozitive sau negative sunt reprezentate mai deschis sau mai închis decât valoarea de gri generală. Diferenţa de predicţie este scalată pentru vizibilitate maximă..4.3 Exerciţii. Alegeţi imaginea de test Lena56B.bmp. Se alege primul model de predicţie. Determinaţi compresia pentru fiecare din cele 6 rate de bit.. Care este câştigul în rata de bit pentru aceeaşi calitate a imaginii (subiectivă) faţă de codarea PCM? 3. Realizaţi compresia folosind diferite modele de predicţie. Comparaţi imaginile rezultate. 4. Reprezentaţi grafic dependenţa SNR în funcţie de rata de bit pentru ultimul model de predicţie.

6 Comunicaţii multimedia Laborator LABORATOR Codarea în domeniul frecvenţă.. Codarea în subbenzi (SBC).. Aspecte teoretice Să presupunem că un semnal are cea mai mare parte a energiei concentrate în domeniul frecvenţelor joase (de exemplu o imagine, deoarece componentele pe frecvenţe înalte reprezintă detaliile fine). O transmisie mai eficientă se poate realiza divizând domeniul de frecvenţă în două sau mai multe subbenzi: Comunicaţii multimedia Laborator originală). Deoarece energia conţinută în al doilea semnal este mai mică CODEC poate aloca mai puţini biţi. Codorul şi decodorul por fi de tip PCM, DPCM, DCT (Discrete Cosinus Transform), etc. Rezultă în final pentru semnalul codat o rată de bit mai scăzută decât cea a semnalului original Se poate aloca diferit numărul de biţi pe eşantion pentru fiecare subbandă, în funcţie de caracteristicile semnalului în acea subbandă. Pentru aceasta se folosesc filtre de analiză pentru fiecare subbandă... Opţiunile de compresie Opţiunile de compresie sunt prezentate în Figura.3. Există 5 tab-uri cu următorii parametrii: H (z) CODEC M M H (z) CODEC M M F (z) F (z) + H M (z) CODEC M M M F M (z) Figura. Codarea şi decodarea în subbenzi unde H (z) este un filtru trece-jos, iar filtrele H k (z), k=,3,...,m, sunt filtre trece banda şi au caracteristicile: Figura. Caracteristica filtrelor de descompunere Prin decimare se păstrează numărul de eşantioane constant şi se repartizează eşantioanele pe subbenzi. Pentru primul semnal CODEC va aloca un anumit număr de biţi (de obicei tot atâţia cât erau şi în imaginea Figura.3 Opţiuni de compresie pentru codarea în subbenzi Decompr: Aici poate fi selectată structura de descompunere în subbenzi. Este posibilă alegerea a 6 modele diferite de descompunere. Cuantizarea subbenzilor poate fi oprită pentru a putea măsura calitatea filtrelor care realizează descompunerea în subbenzi şi reconstrucţia. Filter: Aici se poate alege numărul de coeficienţi ai filtrelor trece-jos de analiză. Celelalte filtre sunt derivate din filtrul trece-jos de analiză. Filtrele folosite sunt cele proiectate de Johnson. Subs: Se poate selecta modul de cuantizare a subbenzilor. Subbanda (subbanda de joasă frecvenţă) poate fi codată independent de celelalte subbenzi. Pentru subbenzi se poate alege între codarea PCM sau DPCM. Cuantizorul folosit pentru fiecare subbandă depinde de funcţia de densitate de probabilitate selectată aici.

7 Comunicaţii multimedia Laborator 3 Valoarea c reprezintă parametrul de formă a funcţiei de densitate de probabilitate de tip Gaussian c generalizată p( x) = aexp( bx ): 4 Comunicaţii multimedia Laborator După cuantizare şi codare subbenzile sunt transmise şi decodate la receptor. Subbenzile decodate sunt afişate imediat sub fereastra cu subbenzile originale (vezi Figura.5, imaginea din dreapta). Subbenzile care au primit zero biţi după alocarea biţilor sunt complet gri. Rezultatele alocării propriu-zise a biţilor pot fi găsite în fereastra de text. Din nou subbenzile au fost scalate pentru vizibilitate maximă. Efectele erorilor de canal sunt de asemenea vizibile în subbenzile individuale. Figura.4 Funcţia densitate de probabilitate de tip Gauss generalizată Bitrate: Errors: Dacă se alege DPCM, atunci poate fi selectat şi modelul de predicţie DPCM. Pot fi alese diferite rate de bit. Ratele de bit sunt date, dar nu este esenţial pentru compresia în subbenzi, deoarece prin procedura de alocare a biţilor poate fi obţinută orice rată de bit (după codare) dorită. În mod normal la ieşirea cuantizorilor este aplicată o codare entropică (Huffman), dar pentru a putea experimenta cu erori de bit de canal, această opţiune se poate activa sau dezactiva. Se permite adăugarea înaintea decodării a unor erori de bit aleatoare in fluxul de bit codat. Astfel se pot vedea efectele erorilor (simple) de canal. Pot fi selectate diferite rate de erori de bit. Erorile de bit pot fi introduse doar dacă codarea entropică la ieşirea cuantizoarelor a fost dezactivată. Subbenzile originale şi comprimate Subbenzile imaginii de comprimat sunt în dreapta imaginii de start. Un exemplu este reprezentat în Figura.5 (imaginea din stânga). Subbenzile sunt organizate în funcţie de schema de descompunere aleasă. Subbanda de frecvenţă joasă este arătată în colţul din stânga sus, iar subbenzile de frecvenţă crescătoare în dreapta jos. Subbenzile sunt scalate pentru a se putea vedea cât mai clar informaţia din fiecare subbandă. Gri înseamnă o valoare nulă, iar valorile negative şi pozitive sunt de nuanţe mai închise, respectiv mai deschise decât valoarea zero. Varianţa propriu-zisă a subbenzilor poate fi găsită în fereastra de text. Figura.5 Subbenzile originală şi comprimată. Subbenzile sunt scalate pentru vizibilitate maximă..3 Exerciţii. Deschideţi imaginea Lena56B.bmp şi realizaţi descompunerea pe subbenzi. Pentru un număr diferit de coeficienţi ai filtrului observaţi imaginea codată rezultată.. Pentru aceeaşi imagine, alegeţi o structură de descompunere şi un anumit filtru. Modificând tipul de codare al subbenzilor, între DPCM şi PCM, observaţi cum apare imaginea codată şi funcţie de parametrul c. 3. Selectaţi un filtru cu 6 coeficienţi, o descompunere pe 8 subbenzi şi alegeţi compresia PCM pentru toate subbenzile. Alegeţi o valoare optimă pentru c. Observaţi câştigul SNR în cazul codării entropice. 4. Pentru diferite grade de descompunere, alegând codarea entropică, observaţi SNR. 5. Pentru imaginea Lena56B.bmp alegeţi un anumit tip de codare al subbenzilor, precum şi un anumit parametru c. Variaţi numărul de subbenzi folosite în descompunere precum şi tipul filtrelor. Cum variază SNR funcţie de rata de bit?

8 Comunicaţii multimedia Laborator 5 6. Deschideţi imaginile Zone56B.bmp şi Noise56B.bmp. Explicaţi conţinutul subbenzilor obţinute... Transformata Cosinus Discretă (DCT) 6 Comunicaţii multimedia Laborator.. Opţiuni de compresie Opţiunile de compresie sunt arătate în Figura.6. Există cinci tab-uri cu următorii parametrii:.. Aspecte teoretice Transformata Cosinus Discretă realizează o conversie imagine frecvenţă. Importanţa informaţiei de frecvenţă este următoarea: - variaţii lente de intensitate în imagine sunt cel mai bine percepute de ochi. - variaţiile lente corespund frecvenţelor joase - tranziţiile bruşte (pixelii de zgomot) corespund frecvenţelor înalte şi nu sunt percepute de ochi. Pentru un bloc din imagine de dimensiune 8x8 pixeli, Transformata Cosinus Discretă este dată de: 7 7 ( x + ) mπ ( y+ ) nπ Cmn = kmkn Iyx cos cos 6 6 x= 0 y= 0, pentru mn, = 0 unde km, kn =, înrest Coeficientul C 00 se numeşte coeficient DC şi reprezintă frecvenţa spaţială 0 sau media valorilor pixelilor din bloc. Ceilalţi coeficienţi se numesc coeficienţi AC şi reprezintă frecvenţele spaţiale orizontale şi verticale din bloc. DCT nu realizează o compresie a datelor, ci doar o transformare în domeniul frecvenţă. Pentru decodare se foloseşte Transformata Cosinus Discretă Inversă (IDCT): 7 7 ( x + ) uπ ( y+ ) vπ Ixy = kukvcvu cos cos u= 0 v= 0 6 6, pentru uv, = 0 unde ku, kv =, înrest Size: Coefs: Bitrate: Figura.6 Opţiunile de compresie pentru DCT Aici se poate selecta dimensiunea blocurilor pe care se calculează Transformata DCT (x, 4x4, 8x8, 6x6). Cuantizarea coeficienţilor DCT poate fi oprită pentru a măsura calitatea Transformatei DCT Directă şi Inversă. Aici poate fi selectat tipul de cuantizare a coeficienţilor DCT. Coeficientul DC (coeficientul ) poate fi codat independent de coeficienţii DCT de frecvenţe mai mari. Se poate alege între codarea PCM şi DPCM. Cuantizorul folosit pentru fiecare din coeficienţii DCT depinde de funcţia densitate de probabilitate aleasă. Valoarea c reprezintă parametrul de formă a funcţiei de densitate de probabilitate de tip Gaussian c generalizată p( x) = aexp( bx ). Dacă se alege DPCM, atunci poate fi selectat şi modelul de predicţie DPCM. Coeficienţii DCT cu acelaşi index (proveniţi din blocuri DCT diferite) sunt toţi cuantizaţi folosind acelaşi cuantizor. Pot fi alese diferite rate de bit. Ratele de bit sunt date, dar nu este esenţial pentru compresia folosind DCT, deoarece prin procedura de alocare a biţilor poate fi obţinută orice rată de bit (după codare) dorită. În mod normal, la ieşirea cuantizorilor este aplicată o codare entropică (Huffman), dar pentru a putea experimenta cu erori de bit de canal, această opţiune se poate activa sau dezactiva.

9 Comunicaţii multimedia Laborator 7 Errors: Display: Se permite adăugarea înaintea decodării a unor erori de bit aleatoare in fluxul de bit codat. Astfel se pot vedea efectele erorilor (simple) de canal. Pot fi selectate diferite rate de erori de bit. Erorile de bit pot fi introduse doar dacă codarea entropică la ieşirea cuantizoarelor a fost dezactivată. Coeficienţii DCT obţinuţi după transformare şi cuantizare pot fi reprezentaţi în două moduri: Ca o colecţie de coeficienţi DCT. În acest caz coeficienţii DCT cu acelaşi index din toate blocurile DCT formează un singur set. Aceste seturi de coeficienţi sunt ca şi subbenzile în codarea pe subbenzi şi permit înţelegerea uşoară a rezultatului alocării de biţi. Ca blocuri DCT la locaţia spaţială corectă. În acest caz coeficienţii DCT sunt reprezentaţi ca nişte blocuri NxN care se află la poziţia spaţială corespunzătoare celor NxN pixeli, pentru care sunt calculaţi aceşti coeficienţi. Din motive de vizibilitate coeficienţii DCT sunt scalaţi. Acest mod de afişare explică conţinutul de frecvenţe locale ale unei imagini şi după alocarea biţilor arată ce părţi ale imaginii sunt greu sau uşor de comprimat. Coeficienţii DCT originali şi comprimaţi Coeficienţii DCT ai imaginii ce trebuie comprimată sunt daţi în dreapta imaginii de start. Coeficienţii DCT sunt organizaţi în funcţie de modul Display selectat. Pentru a vizualiza informaţia din subbenzi, subbenzile sunt scalate pentru vizibilitate maximă. Gri înseamnă o valoare nulă, iar valorile negative şi pozitive sunt de nuanţe mai închise, respectiv mai deschise decât valoarea zero. Varianţa propriu-zisă a subbenzilor poate fi găsită în fereastra de text. După cuantizare şi codare coeficienţii DCT sunt transmişi şi decodaţi la receptor. Coeficienţii DCT cuantizaţi sunt afişaţi imediat sub fereastra cu coeficienţii DCT originali (vezi Figura.7, imaginea din stânga). Coeficienţii DCT care au primit zero biţi după alocarea biţilor sunt complet gri. Rezultatele alocării propriu-zise a biţilor pot fi găsite în fereastra de text. Din nou coeficienţii DCT au fost scalaţi pentru vizibilitate maximă. Efectele erorilor de canal sunt de asemenea vizibile în coeficienţii DCT individuali. Coeficienţii DCT cuantizaţi sunt organizaţi în funcţie de modul de Display selectat. Imaginea din dreapta din Figura.7 arată coeficienţii DCT cuantizaţi dacă opţiunea DCT Blocks este selectată. 8 Comunicaţii multimedia Laborator Figura.7 Coeficienţii DCT compresaţi (scalaţi pentru vizibilitate maximă) pentru cele două tipuri de afişare (stănga: colecţii, dreapta: blocuri DCT)..3 Exerciţii. Alegeţi imaginea Lena56B.bmp. Această imagine este transformată în coeficienţi DCT. Verificaţi calitatea imaginii reconstruite pentru diferite dimensiuni ale blocului DCT. În ce măsură corespunde teoria cu implementarea practică?. Pentru imaginea Lena56B.bmp selectaţi transformata DCT 8x8 şi compresie PCM pentru toţi coeficienţii DCT. Alegeţi o valoare rezonabilă pentru parametrul c. Desenaţi două curbe SNR - număr de bpp, cu şi fără codarea entropică. Cât de multă compresie suplimentară ( sau ce SNR ) dă codarea entropică? 3. Repetaţi punctul () pentru valori incorecte ale lui c. Fiţi atenţi la diferenţele dintre numărul de bpp selectat, cel prezis şi cel rezultat în urma compresiei. Explicaţi diferenţele observate. 4. Repetaţi punctul (3) utilizând setările corecte pentru parametrul c, pentru alte două cazuri, şi anume: - compresie DPCM pentru toţi coeficienţii - compresie DPCM pentru primul coeficient DCT şi compresie PCM pentru restul de coeficienţi. Ce câştig de performanţe se obţine utilizând compresia adiţională DPCM? 5. Repetaţi punctul (3) pentru imaginea Noise56B.bmp. Observaţi varianţa coeficienţilor DCT şi rezultatul în urma alocării biţilor. Comparaţi rezultatele cu compresia DPCM aplicată acestei imagini. 6. Încărcaţi imaginea Lena56B.bmp şi calculaţi dependenţa SNR-număr de bpp utilizând blocuri DCT de diferite mărimi, păstrând compresia coeficienţilor DCT fixă (de exemplu, utilizând DPCM pentru primul

10 Comunicaţii multimedia Laborator 9 coeficient DCT şi PCM pentru restul coeficienţilor, un model de predicţie fixat şi un parametru c fixat). 7. Examinaţi urmările erorilor asupra compresiei DCT pentru diferite probabilităţi de eroare, diferite mărimi ale blocurilor DCT şi diferite modele DPCM de predicţie. Explicaţi structura imaginii afişate. Comparaţi efectele prezenţei erorilor asupra coeficienţilor DCT şi asupra imaginii decodate. 8. Porniţi programul Matlab. Rulaţi programul dctdemo. Modificaţi numărul de coeficienţi DCT cu care se face decompresia şi comparaţi calitatea imaginii decomprimate. Câţi coeficienţi sunt necesari pentru a se obţine o aproximare rezonabilă a imaginii originale? 0 Comunicaţii multimedia Laborator 3 3. Codarea JPEG de bază 3.. Aspecte teoretice LABORATOR 3 Codarea JPEG şi JPEG000 JPEG (Joint Photographic Experts Group) este un standard ISO şi ITU- T realizat între 98 şi 99 şi stabileşte compresia şi codarea imaginilor cu tonuri de gri sau color. JPEG oferă rate de compresie între 0 şi 50 (respectiv 0.5 până la biţi pe pixel) În Tabelul 3. este arătat modul de evaluare a calităţii imaginii decompresate: Tabelul 3. Compresie Calitate biţi/pixel color moderată spre bună biţi/pixel color bună spre foarte bună biţi/pixel color excelentă >.75 biţi/pixel color nu se poate face diferenţa cu imaginea originală Modul JPEG de bază, cu pierderi, care trebuie să fie suportat de toate implementările JPEG: - utilizează DCT; - coeficienţii DC sunt codaţi DPCM; - coeficienţii AC sunt codaţi Huffman; Codorul JPEG Bloc de imagine 8x8 Figura 3. Codorul JPEG diferenţa DC coeficienţii AC

11 Comunicaţii multimedia Laborator 3 Decodorul JPEG diferenţa DC coeficienţii AC Figura 3. Decodorul JPEG Imaginea Pixelii tuturor componentelor unei imagini sunt codate cu acelaşi număr de biţi: modul de codare JPEG fără pierderi utilizează 8 sau biţi per pixel iar modurile cu pierderi utilizează până la biţi per pixel. Imaginea este împărţită în unităţi de date de 8x8 pixeli: Comunicaţii multimedia Laborator 3 prin procesare întreţesută (vezi Figura 3.4b), la care se procesează pentru un bloc toate componentele la rând, iar apoi se trece la blocul următor * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Figura 3.4 Procesarea unităţilor de date: a)procesare neîntreţesută, b)procesare întreţesută Aplicarea Transformatei Cosinus Discretă Transformata DCT se aplică pe blocuri de imagine de dimensiuni 8x8 pixeli. Pentru astfel de bloc, DCT este dată de: 7 7 ( x + ) mπ ( y+ ) nπ Cmn = kmkn Iyx cos cos 6 6 x= 0 y= 0 unde k, k m n, pentru mn, = 0 =, înrest Pregătirea imaginii Figura 3.3 Împărţirea în unităţi de date Procesarea unităţilor datelor se poate face: componentă cu componentă, şi parcurse de la stânga la dreapta, şi de sus în jos. Acest mod este cunoscut sub numele de procesare neîntreţesută (vezi Figura 3.4a). Utilizând acest mod pentru o imagine codată RGB, de înaltă rezoluţie, vor fi afişate pe rând, componentele de roşu, apoi, verde, şi la sfârşit albastru. Cuantizarea şi codarea coeficienţilor DCT Coeficientul DC este puternic corelat pentru toate blocurile de imagine. Coeficienţii DC din fiecare bloc sunt codaţi DPCM (diferenţa dintre coeficienţii DC din blocuri succesive). DC i- Bloc i- DC i Bloc i DIFF= DC i -DC i- Figura 3.5 Cuantizarea şi codarea coeficienţilor DC

12 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 3 După cuantizare, matricea D, care conţine cei 64 coeficienţi DCT cuantizaţi este transformată într-un vector (o matrice D) prin scanarea în zig-zag, adică coeficienţii corespunzători frecvenţelor mai mici (şi de valori mari) sunt codaţi primii, urmaţi de cei cu frecvenţe mai mari (ce au valori foarte mici, sau aproximativ zero). Figura 3.6 Ordinea de procesare a coeficienţilor DCT Rezultatul este un şir de biţi ce are o caracteristică: în el se găsesc subşiruri de biţi de aceeaşi valoare (numai de 0 sau numai de ), deci de redundanţă foarte mare. Acest lucru permite o codare entropică (Huffman), ceea ce măreşte substanţial raportul de compresie al întregului proces. Codarea Huffman produce o rată de compresie de aproximativ. 3.. Opţiuni de compresie Opţiunile de compresie sunt arătate în Figura 3.7. Există şase tab-uri cu următorii parametrii: Bitrate: Aici se poate seta factorul de calitate Q al JPEG. Prin selectarea factorului de calitate, rata de bit este definită implicit, dar aceasta nu este cunoscută dinainte. În locul setării factorului de calitate poate fi setată rata de bit. Calitatea corespunzătoare acestei rate de bit va fi determinată printr-o simplă procedură de căutare. Factorul de calitate rezultant apare în fereastra de text. Quant: Figura 3.7 Opţiunile de compresie pentru compresia JPEG Cuantizarea coeficienţilor DCT este realizată folosind cuantizorii JPEG standard, care pot oricum fi influenţaţi de selectarea unei matrici specifice de cuantizare sau de normare. Matricea de normare poate fi selectată aici. Opţiunile sunt: Matricea de normare JPEG standard pentru informaţia de luminanţă Matricea de normare JPEG standard pentru informaţia de crominanţă O matrice de normare cu acelaşi coeficient de normare (weight) pentru toţi coeficienţii DCT (weight=50) O matrice de normare de pondere mare, care dă o pondere mai mare coeficienţilor DCT de frecvenţă mare decât celor de frecvenţe mici. Această matrice a fost adăugată doar pentru scopuri educaţionale şi nu va fi niciodată utilizată în practică. De remarcat că la JPEG atât factorul de calitate cât şi SNR-ul variază dacă se alege o altă matrice de normare. Factorul de calitate selectat de către utilizator şi matricea de normare Nuv (, ) sunt folosiţi după cum urmează pentru a cuantiza coeficienţii DCT Fuv: (, ) * Fuv (, ) F ( u, v) = NINT QNuv (, )

13 Comunicaţii multimedia Laborator 3 5 unde valoarea minimă a lui QNuv (, ) este şi NINT este aproximarea la cel mai apropiat întreg. Q este legat de factorul de calitate Q selectat de utilizator în modul următor: 6 Comunicaţii multimedia Laborator 3 Vizualizarea coeficienţilor DCT: Modulul JPEG nu arată coeficienţii (cuantizaţi) DCT. Pentru a-i vizualiza, folosiţi opţiunea Set as start image pe imaginea JPEG decomprimată. Apoi rulaţi modulul de compresie JPEG pentru această imagine, folosind blocuri DCT 8x8 şi debifând opţiunea de codare a coeficienţilor DCT. Atunci vor fi afişaţi coeficienţii DCT calculaţi din imaginea JPEG comprimată. Oricare din cele două moduri de afişare sunt instructive pentru studiu. Figura 3.9 arată un exemplu: Figura 3.8 Dependenţa Q = f( Q) Huffman: Smooth: Markers: Errors: Aici pot fi selectate diferite tabele de codare entropică, adică fără codare entropică (de exemplu codarea cu lungime fixă) pentru coeficienţii DCT, codarea standard VLC, sau un tabel VLC optimizat pentru imaginea considerată. Dacă se bifează opţiunea, imaginea este puţin netezită pentru a suprima artefactele de blocare. Pentru JPEG pot fi injectate erori în fluxul JPEG. Astfel codurile VLC, informaţia din header sau alte informaţii importante pot fi alterate. Pentru a bloca efectul erorilor de decodare VLC, care se înrăutăţesc progresiv, se pot introduce markeri în fluxul de biţi JPEG. Periodicitatea acestor markeri poate fi setată aici. De observat că, dacă se introduc mai mulţi markeri, rata de bit generală va creşte, sau dacă a fost setată o anumită rată de bit SNR-ul va scădea. Se permite adăugarea înaintea decodării a unui număr aleator de erori de bit în fluxul codat. Astfel se pot vedea efectele erorilor (simple) de canal. Pot fi selectate diferite rate de erori de bit. Erorile de bit pot eventual corupe informaţii cruciale cum ar fi informaţia din header (dimensiunea imaginii, tabelele VLC). În cazul în care erorile sunt prea grave, decodarea se întrerupe. Fluxul comprimat de biţi: Imaginea comprimată este scrisă pe disc într-un fişier cu numele JpegCodedImageBitStream.jpg. Acest fişier conţine datele JPEG comprimate, folosind protocolul JFIF pentru headere. Fişierul poate fi vizualizat cu orice aplicaţie de editare de imagini. Figura 3.9 Coeficienţi DCT comprimaţi folosind JPEG (scalaţi pentru vizibilitate maximă) 3..3 Exerciţii. Încărcaţi imaginea Lena56B.bmp. Utilizaţi matricea standard de normalizare a luminanţei. Desenaţi trei grafice SNR-număr de bpp, câte unul pentru fiecare mod de codare entropică ales. Ce SNR suplimentar ne oferă codarea entropică? Pe aceleaşi grafice, desenaţi caracteristica Calitate (Quality)-SNR. Ce observaţi în legătură cu aceste grafice?. Repetaţi punctul () pentru o matrice de normare uniform distribuită (flat cuant). Observaţi că SNR-ul obţinut în acest caz este mai mare! Daţi o justificare pentru utilizarea matricii standard de normare în loc de matricea de normare uniform distribuită. 3. Comparaţi cuantizarea coeficienţilor DCT în codarea JPEG cu cea rezultată din modul de compresie DCT, de exemplu, pentru imaginea Lena56B.bmp la o rată de bpp. Puteţi găsi diferenţele? Explicaţi. 4. Examinaţi efectele fenomenului de smoothing asupra imaginii JPEG decodate. 5. Determinaţi raportul de scădere a SNR-ului în urma introducerii de markeri în fişierul codat JPEG.

14 Comunicaţii multimedia Laborator Examinaţi consecinţele introducerii biţilor de eroare asupra compresiei JPEG, la diferite valori ale probabilităţilor. 8 Comunicaţii multimedia Laborator 3 imaginii. Se doreşte ca imaginea, care va intra în a doua etapă a procesului de compresie, să fie reprezentată în formatul YC R C B. 3.. Codarea JPEG Noţiuni teoretice I II Standardul JPEG000 a fost gândit pentru îmbunătăţirea standardului JPEG. JPEG000 s-a dorit a fi mai flexibil, cu un raport de compresie mult mai mare (până la 300:), cu o structură mai unitară. JPEG000 utilizează în locul Tansformatei Cosinus Discrete Transformata Wavelet Discretă. El permite ambele metode de compresie: cu pierderi şi fără pierderi. Paşii algoritmului de codare sunt aceeaşi ca şi pentru standardul JPEG clasic şi sunt ilustraţi în Figura 3.0: Pregătire imagine Partiţionare imagine Ajustare nivel [0, III N IV ] [, N N ] Imagine originală Pregătire imagine Transf. Wavelet Discretă Imagine comprimată Cuantizare Împachetare date Codare Controlul fluxului Transformare color Y = 0,9R+ 0,587G+ 0.4B Cb = 0,564( B Y) + 8 C = 0,73( R Y) + 8 r Figura 3.0 Schema algoritmului de codare Figura 3. Etapele pregătirii imaginii Pregătirea imaginii Conform standardului JPEG000 pregătirea imaginii este compusă din următorii paşi (vezi Figura 3.): - partiţionarea imaginii în cadre - ajustarea nivelului datelor - o transformare color ireversibilă Pentru situaţia, în care imaginea, care trebuie comprimată, este mai mare decât memoria disponibilă, s-a prevăzut posibilitatea partiţionarea imaginii în dreptunghiuri disjuncte numite cadre. Valorile datelor de intrare trebuie să fie într-o gamă centrată în jurul lui zero, deoarece standardul operează cu filtrări de tip trece-sus. Aşa se explică necesitatea celei de a doua etape de ajustare nivel. Al treilea pas în această etapă constă într-o tranformare ireversibilă a matricii color. Tipul de transformare depinde de reprezentarea iniţială a Aplicarea Transformatei Wavelet Transformata Wavelet are expresia: cjk, = f() t ψ jk, () t dt unde c jk, sunt coeficienţii Wavelet discreţi iar ψ jk, () t sunt funcţiile de bază Wavelet care se obţin prin scalarea şi translatarea unei funcţii Wavelet mamă după cum urmează: j, () j ( ) ψ t = t k, jk unde k este parametrul de translaţie, j este parametrul de dilatare sau compresie, iar ψ ( t) este funcţia Wavelet mamă. Un exemplu de funcţie Wavelet mamă este reprezentat în Figura 3.:

15 Comunicaţii multimedia Laborator 3 9 Figura 3. Funcţia Wavelet Daubechies Standardul aplică Transformata Wavelet pe fiecare cadru al imaginii cu ajutorul algoritmului piramidal reprezentat în Figura 3.3: P d j + f m~ [] n m~ 0 [] n Q d j P d j f f 30 Comunicaţii multimedia Laborator 3 Cele patru subimaginii sunt: d ) I Imaginea filtrată trece-jos pe linii şi coloane ( P f ), notată în literatura de specialitate cu LL (low subbands for row and column filtering) ) II Imaginea filtrată trece-sus pe linii şi trece-jos pe coloane d d ( Q f, apoi P f ), notată în literatura de specialitate cu HL (high subbands for row filtering and low subbands column filtering) 3) III Imaginea filtrată trece-jos pe linii şi trece-sus pe coloane d d ( P f, apoi Q f ), notată în literatura de specialitate cu LH (low subbands for row filtering and high subbands column filtering) d 4) IV Imaginea filtrată trece-sus pe linii şi coloane ( Q f ), notată în literatura de specialitate cu HH (high subbands for row and column filtering) LL HL HL Filtru trece-sus LH HH LH HH Figura 3.3 Algoritmul piramidal de aplicare a Transformatei Wavelet Imaginea după prima descompunere Imaginea după a doua descompunere Algoritmul realizează descompunerea Wavelet ortogonală a semnalului d discret P + f la rezoluţia j+ d în semnalul P j f numit aproximarea j discretă a lui ( ) f t la rezoluţia j şi în semnalul numit detaliu discret d Q f a lui f(t) la rezoluţia j. j Imaginea fiind un semnal bidimensional se aplică Transformata Wavelet pe linii şi coloane aşa cum este prezentat în Figura 3.4: Imagine originală Imagine filtrată pe linii Imagine filtrată pe linii şi coloane I II III IV Figura 3.4 Aplicarea Transformatei Wavelet la o imagine pe un nivel LH 3 LL 3 HL 3 HH 4 HH3 HL 4 LL4 HL LH HH Imaginea după a treia descompunere LH 4 Figura 3.5 Exemplu de aplicare a transformatei wavelet pe patru nivele de rezoluţie Subimaginea LL va fi corespondentul imaginii originale, dar la o rezoluţie mai mică cu unu. Pentru această subimagine se aplică din nou Transformata Wavelet în acelaşi mod. Specificaţiile standardului JPEG000 permit efectuarea între 0 şi 3 de nivele de rezoluţie (aplicare HL LH HH Imaginea după a patra descompunere

16 Comunicaţii multimedia Laborator 3 3 Transformatei Wavelet de 3 de ori). În Figura 3.5 se prezintă patru etape de aplicare a transformatei cu sub-imaginile corespunzătoare: Cuantizarea Se face cuantizarea coeficienţilor Transformatei Wavelet cu un cuantizor cu caracteristica uniformă şi zonă moartă în jurul lui zero pentru fiecare subimagine. Pentu o subimagine se utilizează un pas de cuantizare, fiecare sub-imagine având propiul pas de cuantizare. Relaţia cuantizorului este dată de relaţia: Val. coef. q = sign( Val. coef.) Δ sub imagine Codarea Fiecare subimagine a unui cadru al imaginii este împărţită în unităţi şi mai mici, numite blocuri de cod cu dimensiuni de tipul 64x64 sau 3x3 pixeli. În cadrul unui bloc de cod citirea valorilor cuantizate ale coeficienţilor Transformatei Wavelet se face în benzi, fiecare bandă având o înălţime de patru eşantioane. La rândul ei, citirea benzilor se face de la stânga la dreapta şi de sus în jos, aşa cum este prezentat in Figura Figura 3.6 Modul de baleiere a coeficienţilor într-un bloc de cod Codarea se face ca la JPEG modul progresiv, luând în considerare paralelipipede de biţi De notat faptul că tot procedeul de codare pentru un bloc de cod are loc la nivel de plan de bit şi nu la nivel de bit Comunicaţii multimedia Laborator 3 Pentru codarea planului de bit se utilizează un codor aritmetic binar adaptiv bazat pe context Codarea cuprinde trei etape numite: - propagarea importanţei (significance propagation) - rezoluţia amplitudinii (magnitude refinement) - eliminarea repetiţiilor (clean-up) Aceste etape ale compresiei sunt aplicate planelor de bit începând cu planul LSB. Singurul care face excepţie este planul MSB la care se utilizează doar eliminarea repetiţiilor (vezi Figura 3.7) W W W 3 W 4 W 5 W 6 W 7 W 8 Figura 3.7 Aşezarea biţilor într-un paralelipiped Fluxul de date codat este organizat pe nivele de calitate. Un nivel de calitate este ansamblul de plane de bit consecutive dintr-o regiune a imaginii. Fiecare bloc de cod poate contribui cu un anumit număr de plane de bit codate la un nivel de calitate a imaginii. Controlul debitului W 9 W 0 W W W 3 W 4 W 5 W 6 Planul MSB al biţilor Planul LSB al biţilor Controlul ratei de debit este operaţia prin care fluxul de date este alterat în scopul atingerii unui debit de date dorit Trebuie să se analizeze toate blocurile comprimate şi să se decidă care din ele să fie trunchiat, după o stategie care să minimizeze efectul distorsiunilor

17 Comunicaţii multimedia Laborator 3 33 Structura fluxului de date Datele prelucrate până în acest moment sunt împărţite în pachete, care corespund diferitelor regiuni ale unei imagini O regiune este o mulţime de blocuri de cod la un nivel de rezoluţie fixat Un exemplu de astfel de regiuni pentru 4 nivele de rezoluţie este prezentat în Figura 3.8: 34 Comunicaţii multimedia Laborator 3 Opţiunile de compresie sunt prezentate în Figura 3.0. Există şase taburi cu următorii parametrii: Culoarea fundalului reprezintă diverse nivele de rezoluţie, iar desenul reprezintă o regiune Figura 3.0 Opţiunile de compresie pentru JPEG000 Figura 3.8 Exemplu de partiţie a regiunilor în cadrul diferitelor rezoluţii pentru o imagine Un pachet este compus dintr-un header şi datele comprimate. Pachetele sunt multiplexate astfel încât să formeze un flux de date (vezi Figura 3.9) Header Imagine Flux date partiţie 3.. Opţiuni de compresie Header partiţie Flux date partiţie.. Flux date pachete Flux date partiţie Pachet Pachet.. Pachet Header pachet Date comprimate Figura 3.9 Structura fluxului de date Sfârşit partiţie Encode: Quant: Levls: Decode: Tiling: Aici se poate seta rata de bit pentru codare în cazul, în care nu s-a ales la tab-ul de cuantizare opţiunea Lossless quant Aici se poate selecta tipul de cuantizare a coeficienţilor Wavelet. Dacă se bifează opţiunea Lossless quant, atunci cuantizarea coeficienţilor Wavelet se realizează fără pierderi şi tab-urile Encode şi Decode nu vor mai fi active. Tot aici se poate selecta dimensiunea blocurilor de cod ce urmează a fi codate. Se selectează numărul de nivele de rezoluţie. VcDemo permite alegerea de până la 9 nivele de rezoluţie, dar standardul JPEG000 permite un număr maxim de 3 de nivele de rezoluţie. Aici se poate seta rata de bit la care să se facă decodarea. Dacă se alege o rată de bit mai mică decât la codare, atunci se pierde din calitatea imaginii decodate. Alegerea unei rate de bit foarte mici poate duce la alterarea completă a imaginii decodate. În etapa de pregătire a imaginii, aceasta poate fi partiţionată în mai multe subimagini care vor fi procesate complet separat. Aici se poate alege dimensiunea în pixeli a subimaginilor. Fluxul comprimat de biţi: Imaginea comprimată este scrisă pe disc într-un fişier cu numele NumeImagineOriginala_BitStream.jp. Acest fişier conţine datele JPEG000 comprimate Exerciţii

18 Comunicaţii multimedia Laborator Încărcaţi imaginea Lena56B.bmp. Bifaţi opţiunea Lossless quant şi observaţi influenţa dimensiunii blocului de cod asupra dimensiunii fişierului JPEG000 generat.. Setaţi dimensiunea blocului de cod la 3 şi numărul de nivele de rezoluţie la 5. Trasaţi curba SNR - rată de bit. Comparaţi această curbă cu cea obţinută pentru codorul JPEG. Cu ce codor se obţine o calitate mai bună? 3. Setaţi dimensiunea blocului de cod la 3 şi numărul de nivele de rezoluţie la 5. Calculaţi, variind rata de bit, între ce limite variază factorul de compresie. 4. Pentru o rată de bit fixată variaţi numărul de nivele de rezoluţie. Cum depinde SNR-ul de numărul de nivele de rezoluţie? Ce număr minim de nivele ar trebui ales, astfel încât SNR-ul să nu mai varieze semnificativ? 5. Observaţi ce se întâmplă, dacă rata de bit la decodare este mai mică decât cea la codare. 6. Pentru dimensiunea blocului de cod şi numărul de nivele de rezoluţie fixate variaţi în tab-ul Tiling dimensiunea subimaginilor în care să fie împărţită imaginea iniţială. Influenţează acest lucru calitatea imaginii decodate? Cum? Când este folositoare această opţiune? 7. Comparaţi calitatea imaginilor JPEG şi JPEG000 codate la rate de bit mici şi la rate de bit mari. Ce observaţi? 36 Comunicaţii multimedia Laborator 4 4. Estimarea mişcării 4.. Noţiuni teoretice LABORATOR 4 Estimarea mişcării Estimarea mişcării este o tehnică importantă pentru compresia secvenţelor video. Ideea de bază este căutarea de regiuni de pixeli, care s-au deplasat dintr-un cadru in următorul şi codarea doar a operatorului de deplasare, nu a setului complet de date. Această operaţie de bază se aplică şi la alte operaţii de procesare a imaginilor cum ar fi detectarea contururilor şi recunoaşterea formelor. Cea mai populară metodă practică pentru estimarea mişcării este metoda potrivirii blocurilor. Această metodă presupune că imaginea este formată din blocuri în mişcare. Datorită complexităţii ei hardware mai mici, este intens folosită în VLSI şi aproape toate codec-urile H.6 şi MPEG - utilizează potrivirea blocurilor ca metodă de estimare a mişcării. In potrivirea blocurilor, cel mai bun estimat al vectorului de mişcare este găsit printr-o procedură de căutare în domeniul pixelilor. Ideea de bază este prezentată în Figura 4., unde deplasamentul pentru un pixel ( n, n ) din cadrul k este determinat considerând un bloc N N centrat în jurul lui ( n, n ) şi căutând în cadrul k- (cadrul de căutare) locul celui mai potrivit bloc de aceeaşi dimensiune. Căutarea este de obicei limitată din motive de calcul numai în interiorul ferestrei de căutare de dimensiune N + M N + M. Fereastră de căutare Cadrul k- Bloc Cadrul k Figura 4. Potrivirea blocurilor

19 Comunicaţii multimedia Laborator 4 37 Algoritmii de potrivire a blocurilor diferă prin criteriul folosit în potrivire şi strategia de căutare. 38 Comunicaţii multimedia Laborator 4 a) Clasificare în funcţie de criteriul folosit în potrivirea blocurilor Eroarea pătratică medie minimă (MSE) MSE( d, d) = [ s( n+ d, n + d, k + ) s( n, n, k)] NN ( n, n) B unde B este un bloc de dimensiune N N, pentru un set de vectori de mişcare ( d, d ). Diferenţa medie absolută minimă (MAD) MAD( d, d) = s( n+ d, n + d, k + ) s( n, n, k) NN ( n, n) β b) Clasificare în funcţie de strategia de căutare În mod obişnuit, pentru a reduce efortul de calcul, suprafaţa de căutare este limitată la o fereastră de dimensiuni M d M şi M d M centrată în jurul fiecărui pixel, pentru care va fi estimat un vector de mişcare, unde M şi M sunt întregi predefiniţi. În continuare vom prezenta câteva exemple de algoritmi de căutare: Căutarea completă Este folosită pentru evaluarea criteriilor de potrivire în fiecare bloc de dimensiune M+ M + din fereastra de căutare. Această strategie este extrem de consumatoare de timp şi nu se prea foloseşte. În schimb sunt folosiţi alţi algoritmi de căutare mai rapizi. Căutarea în trei paşi Vom explica procedura de căutare în trei paşi cu ajutorul Figurii 4., unde este reprezentat doar cadrul de căutare cu parametrii ferestrei de căutare M = M = 7 : Numărul 0 marchează pixelul din cadrul de căutare care este chiar pe poziţia pixelului căruia i se doreşte estimarea mişcării. La primul pas funcţia criteriu de căutare este evaluată în nouă puncte, pixelul 0 şi pixelii marcaţi cu. Dacă eroarea MSE sau MAD cea mai mică este găsită pentru pixelul 0, atunci nu avem mişcare. La al doilea pas funcţia criteriu de estimare este evaluată în 8 puncte marcate cu centrate în jurul pixelului cu cea mai mică eroare de la primul pas (marcat printr-un încercuit). Figura 4. Căutare în trei paşi De remarcat că la primul pas pixelii de căutare sunt marginile ferestrei de căutare şi că la fiecare pas înjumătăţim distanţa de la pixelii de căutare la noul centru pentru a obţine estimate de rezoluţie mai fină. Estimatul mişcării este obţinut după cel de al treilea pas, la care pixelii de căutare sunt la un pixel distanţă de pixelul din centru. Generalizări ale acestei proceduri pentru mai mulţi paşi duc la aşa numite căutări cu n paşi sau căutări log-d. Căutarea încrucişată Metoda căutării încrucişate este altă strategie de căutare logaritmică, la care la fiecare pas există 4 poziţii de căutare care sunt colţurile unei cruci + (vezi Figura 4.3). Distanţa dintre punctele de căutare este redusă dacă cea mai bună potrivire este în centrul crucii sau la marginea ferestrei de căutare.

20 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator Opţiuni de compresie 0 Figura 4.3 Căutare încrucişată Opţiunile de compresie sunt prezentate în Figura 4.4. Există şase taburi cu următorii parametrii: Hierarchy: Search: Size: Displ mnt: Aici se poate selecta algoritmul de potrivire a blocurilor standard sau ierarhic (pe două sau trei nivele). În funcţie de acest tab, unele dintre celelalte tab-uri îşi pot schimba conţinutul deoarece mărimea blocurilor depinde de nivelul de rezoluţie. Se pot alege diferite strategii de căutare pentru estimarea mişcării: (i) căutarea completă, (ii) căutarea în cruce, (iii) căutarea in N paşi. De remarcat că strategia de căutare completă poate fi extrem de consumatoare de timp. Aici se alege dimensiunea blocurilor (pătrate), pentru care este estimat vectorul de mişcare. Pentru estimarea ierarhică dimensiunea blocurilor este dimensiunea nivelului de rezoluţie superior. Dimensiunea celorlalte nivele de rezoluţie sunt determinate de către program (vezi fereastra de ieşire) Deplasamentul maxim poate fi selectat pentru căutare completă şi căutare în cruce. Pentru căutarea în N paşi deplasamentul este determinat de către algoritm. Cu cât este mai mare deplasamentul maxim, cu atât este mai mare şi efortul de calcul. Pentru estimarea ierarhică, sunt date deplasamentele maxime la diferitele nivele de rezoluţie (de la rezoluţie mică la rezoluţie mare) d y fereastra de căutare d x d x d y blocul curent Figura 4.5 Deplasamentul maxim pe orizontală d x şi deplasamentul maxim pe verticală d y Figura 4.4 Opţiunile de compresie pentru estimarea mişcării N-Step: Pentru strategia de căutare în N paşi poate fi selectat numărul de nivele (paşi). Cu cât este mai mare numărul de paşi, cu atât este mai mare şi deplasamentul maxim admisibil.

21 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 4 Video: Pentru estimarea ierarhică este dat numărul de paşi pentru fiecare nivel de rezoluţie. Pot fi selectate diferite opţiuni de afişare. Câmpurile de mişcare estimate sunt salvate intern, astfel încât opţiunea Display again refoloseşte câmpurile de mişcare deja estimate. Schimbarea opţiunilor de estimare a mişcării necesită reestimarea câmpului de mişcare Imaginile afişate: Este estimată mişcarea pentru fiecare cadru al secvenţei de imagini. Apar patru ferestre (vezi Figura 4.6): Secvenţa de imagini originală (stânga sus) Diferenţa dintre două cadre consecutive (dreapta sus) Predicţia compensată de mişcare a imaginii actuale, peste care este suprapus câmpul de mişcare (stânga jos). Punctul de pornire al vectorului de mişcare este indicat printr-un punct negru Diferenţa compensată de mişcare dintre cele două cadre consecutive (dreapta jos) Fereastra text conţine pentru fiecare cadru varianţa cadrului original, varianţa diferenţei dintre cadre, varianţa diferenţei dintre cadre compensată de mişcare şi un estimat al entropiei diferenţiale a câmpului de mişcare estimat (în biţi/vector). Pentru calculul estimatului entropiei este aplicată o codare DPCM unidimensională fără pierderi asupra câmpului de vectori de mişcare.este calculată histograma diferenţei DPCM. Din această histogramă este estimată entropia câmpului de vectori (totalitatea componentelor orizontale şi verticale) 4..3 Exerciţii Încărcaţi secvenţa car.seq şi folosiţi estimarea mişcării cu strategia de căutare Full Search pe blocuri 8x8 şi un deplasament maxim de 8 pixeli. Discutaţi de ce este avantajoasă codarea unei imagini diferenţă decât a imaginii originale. Luaţi în calcul factorul câştig de predicţie.. Cât de mare este câştigul obţinut, dacă, pe lângă folosirea diferenţei între cadre, se foloseşte şi compensarea mişcării? 3. Merită să folosim compensarea mişcării în orice parte a imaginii? Dacă nu, în ce parte a imaginii pare să nu funcţioneze compensarea mişcării? 4. Comparaţi eficienţa compensării mişcării pentru diferite deplasamente. Care ar fi cea mai bună alegere având în vedere atât complexitatea cât şi factorul de compresie în acest caz? Figura 4.6 Ferestrele afişate pentru Estimarea mişcării 5. Comparaţi eficienţa compensării mişcării pentru diferite dimensiuni ale blocurilor. Discutaţi efectele observate. 6. Comparaţi eficienţa compensării mişcării pentru cele trei strategii de căutare diferite şi discutaţi care ar fi compromisul între complexitate şi câştig de predicţie. 7. Comparaţi diferenţele de eficienţă între potrivirea blocurilor standard şi potrivirea blocurilor ierarhică cu sau 3 nivele. Lansaţi programul Matlab. Rulaţi programul demonstrativ estimarea_miscarii. Selectaţi o imagine de test din caseta de derulare. 8. Care este cea mai bună strategie de căutare din punctul de vedere al erorii şi din punctul de vedere al timpului de calcul pentru acelaşi număr de blocuri şi acelaşi deplasament maxim? Ce metodă ar fi cel mai bun compromis între eroarea de estimare şi timpul de calcul? 9. Comparaţi cele două criterii de estimare (MAD Minimum Absolut Difference şi MSE Mean Square Error) din punct de vedere al erorii şi din punct de vedere al timpului de calcul. 0. Comparaţi eficienţa estimării mişcării pentru diferite mărimi ale blocurilor (8, 6 sau 3).. Comparaţi eficienţa compensării mişcării pentru cele două deplasamente ( 0.5 jumătate din dimensiunea blocului şi dimensiunea blocului).

22 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 5 LABORATOR 5 Standardul H.6 5. Standardul H Noţiuni teoretice Standardul H.6 este un standard ITU-T pentru videotelefonie şi videoconferinţă prin ISDN (Integrated Services Digital Network). Pentru o conexiune ISDN sunt disponibile utilizatorului canale B pentru transmisie bidirecţională şi un canal D pentru controlul transmisiunii (semnalizare). Un canal B are banda de 64kbiţi/s. Se poate mări debitul cu un multiplu întreg p x 64kbits/s (p =..30) prin alocarea mai multor canale B. Standardul e cunoscut şi ca p x 64. Rata de bit la compresie pentru H.6 poate varia de la 40kbiţi/s până la Mbiţi/s. H.6 este realizat pentru codare şi decodare în timp real. Întârzierea maximă nu trebuie să depăşească 50ms. Pregătirea imaginilor H.6 defineşte un format foarte precis. Frecvenţa este de 9,97 cadre/s. În timpul compresiei este posibil să se genereze o imagine cu o frecvenţă mai mică, de exemplu 0 sau 5 cadre/s. Numai imaginile cu explorare progresivă (non-interleaved) sunt permise la intrarea codorului. Semnalele de la intrare (de exemplu imaginile RGB) sunt transformate în semnale YC B C R, Y fiind semnalul de luminanţă şi C B şi C R semnalele diferenţă de crominanţă. Figura 5. Poziţia eşantioanelor de luminanţă şi cromonanţă Numai două formate (de raport 4/3) de imagini sunt permise: a) Common Intermediate Format (CIF) - componenta de luminanţă: 88 linii şi 35 pixeli/linie. - componenta de crominanţă: 44 linii şi 76 pixeli/linie. b) Quarter-CIF (QCIF) - componenta de luminanţă: 44 linii şi 76 pixeli/linie. - componenta de crominanţă: 7 linii şi 88 pixeli/linie. Toate implementările H.6 trebuie să poată face codarea în ambele formate (CIF şi QCIF). Un semnal necomprimat QCIF la o frecvenţă de 9,97cadre/s are rata de bit 9,Mbit/s, iar în format CIF la aceeaşi frecvenţă 36,45Mbit/s. În formatul H.6 unităţile de date sunt de dimensiunea 8x8 pixeli şi sunt utilizate pentru luminanţă şi culoare. Un macro-bloc se obţine prin combinarea a 4 blocuri de matrice Y cu câte un bloc al fiecărei componentă de culoare. Figura 5. Structura unui macrobloc Poziţia eşantioanelor de luminanţă (Y) şi crominanţă (C B şi C R ): Un grup de blocuri este definit prin 33 de macro-blocuri Figura 5.3 Structura grupului de blocuri

23 Comunicaţii multimedia Laborator imaginea QCIF are 3 grupuri de blocuri. - imaginea CIF din grupuri de blocuri. - În Figura 5.4 GOB... sunt grupuri de blocuri (Group Of Blocs) 46 Comunicaţii multimedia Laborator 5 Pentru obţinerea vectorilor de mişcare se consideră diferenţa dintre macro-blocurile localizate pe aceeaşi poziţie în imaginile anterioare. Vectorii de mişcare sunt codaţi DPCM şi dacă valoarea codată depăşeşte o anumită valoare de prag, se aplică DCT şi se transmit coeficienţii. Altfel se transmit numai componentele vectorului de mişcare codate entropic fără pierderi. Figura 5.4 Structura unei imagini CIF, respectiv QCIF Algoritmul de codare H.6 utilizează două metode diferite de codare: intercadru şi intracadru. - Pentru codarea intracadru nu este luată în considerare redundanţa între cadre. - Pentru codarea intercadru este folosită informaţia din cadrul anterior sau următor. Decizia privind modul de codare se ia în timpul compresiei în funcţie de anumiţi parametrii. Codarea intracadru se realizează similar cu JPEG. Fiecare bloc de 8x8 pixeli este transformat cu DCT. Cei 64 coeficienţi DCT sunt cuantizaţi (diferit pentru DC şi AC) şi apoi codaţi entropic. Codarea intercadru este bazată pe predicţia fiecărui macro-bloc al imaginii. Aceasta se realizează printr-o comparare a macro-blocurilor din cadrele anterioare şi cel curent. Vectorul de mişcare este definit de poziţia relativă a blocului anterior faţă de cel curent. Vectorul de mişcare Cadrul de referinţă Figura 5.6 Schema de principiu a codorului H.6 Toţi coeficienţii sunt cuantizaţi uniform şi codaţi cu lungime variabilă. În plus un filtru trece-jos poate fi aplicat înaintea DCT pentru a elimina zgomotul de frecvenţă înaltă şi acesta să nu fie codat. Acest filtru este opţional. Cuantizarea este uniformă şi mărimea pasului de cuantizare este ajustabilă în funcţie de cantitatea datelor din bufferul, din care se face transmisia. Acest mecanism forţează un debit constant la ieşirea codorului, deci calitatea datelor video codate depinde de conţinutul imaginii ca şi de mişcarea din scena respectivă. Cadrul curent Figura 5.5 Obţinerea vectorului de mişcare pentru codarea intercadru

24 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 5 Tabelul 5. Tabel pentru codare cu lungime variabilă RUN Level Cod Figura 5.7 Schema codorului H.6 Figura 5.8 Schema decodorului H Escape s Dacă e primul coeficient al blocului s Dacă nu e primul coeficient al blocului 000 s 000 s s s s s s s s s s s s s 0s 000 0s s s s s s 00 s s s s Codarea coeficienţilor DCT se face similar ca la JPEG. Coeficienţii sunt scanaţi în zig-zag. - Coeficientul DC este codat diferenţial. - Coeficientul AC: codare zero-run+valoare şi Huffman. Codarea zero-run+valoare: - zero-run numărul de repetiţii a lui 0. - valore valoarea coeficienţilor diferiţi de 0. Codarea Huffman - simbolurile cele mai frecvente sunt codate cu mai puţini biţi - este transmis un tabel D pentru codare cu lungime variabilă (VLC). Cele mai întâlnite combinaţii de zerouri succesive (RUN) şi al doilea simbol (LEVEL) sunt codate cu lungime variabilă (vezi Tabelul 5.). Celelalte combinaţii (RUN, LEVEL) sunt codate cu cuvinte de 0 de biţi, care conţin 6 biţi ESCAPE, 6 biţi RUN şi 8 biţi LEVEL. Tabelul 5. Exemplificarea codurilor pentru RUN şi LEVEL Run este un cod cu lungime fixă de 6 biţi Level este un cod cu lungime fixă de 8 biţi Run Code Level Code

25 Comunicaţii multimedia Laborator 5 49 De exemplu: EOB se codează: Codarea vectorilor de mişcare (MV) Vectorii de mişcare au valori întregi între 5 şi 5. Se codează diferenţa între vectorii de mişcare (MVD - Motion Vector Difference) cu lungime variabilă (vezi Tabelul 5.3) Tabelul 5.3 Codarea vectorilor de mişcare MVD 6 & 6 5 & 7 4 & 8 3 & 9 & 0 & 0 & o 9 & 3 o 8 & 4 o 7 & 5 o 6 & 6 o 5 & 7 o 4 & 8 o 3 & 9 o & 30 o & 3 o 0 & 3 o & 3 o & 30 o 3 & 9 o 4 & 8 o 5 & 7 o 6 & 6 o 7 & 5 o 8 & 4 o 9 & 3 0 & & & 0 3 & 9 4 & 8 5 & 7 Cod De exemplu, pentru vectorii de mişcare: avem diferenţa: care se codeaza astfel: Comunicaţii multimedia Laborator 5 Cuantizarea coeficienţilor Ajustarea pasului de cuantizare se face în funcţie de cantitatea datelor în bufferul, din care se face transmisia. Pasul de cuantizare poate varia între şi 6 (din în ). Dimensiunea bufferului este q 64 kbiţi, rata de bit q 64 kbiţi/s iar rata cadrelor 30 Hz, (...4 k k = ). Numărul mediu de biţi pe MacroBloc este: - pentru CIF: 5 k q - pentru QCIF: 0 k q umplerebuffer Pasul de cuantizare este int + 00 q Fluxul de date Tabelul 5.4 Codarea vectorilor de mişcare Umplerea bufferului Pasul de cuantizare < 00q < 400q 4 < 600q 6 < 800q < 6000q 60 < 600q 6 Fluxul de date are o structură ierarhică formată din mai multe niveluri.. Nivelul imagine - PSC (0 biţi): Picture Start Code; - TR (5 biţi): Temporal Reference; - PTYPE (6 biţi): CIF sau QCIF; - dacă PEI =, PSPARE: biţi de rezervă;. Nivelul Grup de Blocuri (GOB) - GBSC (6 biţi): GOB Start Code; - GN (4 biţi): Group Number; - GQUANT: Group Cuantizer,...3; - dacă GEI =, GSPARE: biţi de rezervă; 3. Nivelul MacroBlocuri (MB) - MBA: MB Address; - MQUANT: MB Cuantizer,...3;

26 Comunicaţii multimedia Laborator MVD: MV Data; - CBP: Coded Block Pattern 4. Nivelul Blocuri - TCOEFF: Coeficienţii transformatei; 5 Comunicaţii multimedia Laborator Programul Vprove Programul Vprove este un program demonstrativ de analiză şi testare a tehnicilor de compresie video. Încărcaţi testul H.6 selectând din meniu File/H.6 Example/ConferenceRoom. Apăsaţi pe Play. Secvenţa video va rula şi va dispărea când la sfârşit (0 secunde) Figura 5.9 Structura fluxului de date Fluxul de date H.6 prezintă următoarele caracteristici: - fluxul de date al unei imagini conţine informaţia pentru corecţia erorilor - pentru fiecare imagine un număr de 5 biţi sunt folosiţi ca referinţă temporală - dacă o anumită comandă este dată de la aplicaţia decodorului, ultima imagine este îngheţată ca un stop cadru. Aceasta permite aplicaţiei ca la decodare să oprească şi să pornească o scenă video fără nici o dificultate. - utilizând comenzi trimise de codor (şi nu de aplicaţie) este de asemenea posibil să se comute între imagini fixe şi imagini în mişcare. Alternativ un semnal de time-out poate da aceeaşi comandă. lor. Figura 5.0 Încărcarea secvenţei de test În Tabelul 5.5 sunt descrise diversele butoane din meniu şi semnificaţia

27 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 5 Tabelul 5.5 Butoanele din meniu Icoana Funcţie Apelare Meniu Control tastatura Rulează secvenţa Play Play CTRL+P Opreşte secvenţa Play Stop CTRL+S Pauză/Avansează un cadru Play Pause/Frame Advance CTRL+A Derulare rapidă Play Fast Fwd CTRL+F Derulare înainte oarbă (nu este afişată secvenţa video) - Opţiunea este doar activă, dacă s-a selectat înainte Play Pause On frame Trecere la cadrul numărul A se folosi apoi Fast Forward sau BlindFast Forward Play Blind Fast Fwd Play Pause On frame CTRL+F În primul rând priviţi clipul video H.6. Lăsaţi secvenţa să ruleze până la sfârşit. Vezi observa că: Mişcarea este prea rapidă. Viteza de rulare este dependentă de viteza procesorului, pe care lucraţi. Apar artefacte nedorite în imagine (vezi Figura 5.): Aceste zgomote provocate de codare se observă când bărbatul din imagine îşi mişcă mâna (începe aproximativ la cadrul 8 şi continuă până la cadrul 6, iar artefactele se pot observa până la cadrul 03). Pentru a putea vedea mai clar aceste artefacte, avansaţi cadru cu cadru (CTRL+P). Artefacte vizuale Figura 5. Artefacte vizuale Observaţi calitatea compresiei. Imaginea este destul de distorsionată. Pentru a înţelege de ce se întâmplă acest lucru: Activaţi opţiunea de vizualizare a tipurilor de macroblocuri (MB) din Frame/MB Types Rulaţi din nou secvenţa (vezi Figura 5.). Diferitele tipuri de macroblocuri au diferite culori (în standardul H.6 există 0 tipuri de macroblocuri): - MB verzi sunt codate intra (complet în acest cadru) - MB galbene sunt codate intra+q (intra cu cuantizare) - MB roz sunt codate inter (interpolate din cadrul anterior), cu sau fără coeficienţi/vectori de mişcare (3 tipuri) - MB gri sunt codate inter+q (inter cu cuantizare) - MB albastre sunt codate inter cu coeficienţi (Coeffs) şi vectori de mişcare ( tipuri) - MB roşii sunt codate inter cu coeficienţi (Coeffs) şi vectori de mişcare - MB fără culoare nu sunt codate este folosit macroblocul din cadrul anterior

28 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 5 MV Vectorul de mişcare pentru macroblocul selectat. Numerele din paranteze <> sunt pentru mişcare pe axa X, respectiv pe Y (numerele positive corespund direcţiei jos/dreapta, iar cele negative sus/stânga) Macrobloc selectat cu mouse-ul Figura 5. Vizualizarea diferitelor tipuri de macroblocuri Priviţi datele din macroblocuri. Figura 5.3 Selectarea macroblocului Activaţi caseta de informaţii despre macrobloc din Frame/MB Tooltip Trageţi fereastra MB Tooltip în afara imaginii Mişcaţi mouse-ul peste imagine. O să apară un pătrat alb în jurul macroblocului, din care se citesc datele, iar în fereastra MB Tooltip o să apară informaţii despre macroblocul respectiv (vezi Figura 5.3). În fereastra de MB Tooltip avem: MODE modul de codare al macroblocului QUANT cuantizorul folosit pentru cuantizarea luminanţei (cel pentru crominanţă poate varia) BITS numărul de biţi folosiţi pentru acel macrobloc SEG numărul segmentului, din care face parte macroblocul (un segment este un grup de blocuri) CBP un număr între 0-63, care arată care dintre cele 6 blocuri 8x8, ce formează un macrobloc, au fost codate şi care nu (în paranteză apare numărul binary, unde =codat şi 0 =necodat, care, citiţi de la stânga la dreapta, arată care blocuri au fost codate. Blocurile au fost aranjate în modul următor: Y0,Y,Y,Y3,U,V) Macrobloc de culoare verde Numărul macroblocului (X Y) Numărul cadrului Figura 5.4 Fereastra MB Tooltip

29 Comunicaţii multimedia Laborator 5 57 Analiza grafică Avansaţi în secvenţa video cadru cu cadru Vezi vedea în background multe macroblocuri codate intra de culoare verde şi galbenă. Aceste macroblocuri folosesc cei mai mulţi biţi pentru codarea cadrului Se pare că foarte mulţi biţi sunt folosiţi pentru background-ul static din spatele bărbatului. Verificaţi acest lucru: opriţi secvenţa video şi selectaţi Graph / Enable şi setaţi cele două opţiuni din Figura Comunicaţii multimedia Laborator 5 Selectaţi Graph / View Graph. Datele sunt exportate în fişierul respectiv şi acest fişier este deschis folosind Microsoft Excel. Alegeţi Enable macros. Va rula programul macro. La sfârşit va apărea tab-ul Vprov în stânga sus. Selectaţi tab-ul Ave Bits per MB, care afişează numărul mediu de biţi folosiţi pentru fiecare macrobloc (în culori). Puteţi vedea că cei mai mulţi biţi sunt folosiţi în centru (unde are loc mişcarea bărbatului); folosirea de relativ mulţi biţi şi în partea stânga sus şi pe marginea de jos este o eroare a codorului (vezi Figura 5.7) Selectaţi opţiunile Figura 5.5 Opţiuni în meniul Graph Selectaţi fişierul de ieşire din Graph / Export File (de exemplu H6 example ) Figura 5.7 Graficul număr de biţi mediu pe macrobloc Selectaţi tab-ul IntraCodingFreq. Pe graphic este reprezentată frecvenţa relativă de codare intra pentru fiecare macrobloc. Observaţi că în colţul stânga sus există multe macroblocuri codate intra. Aceasta este o eroare a codorului (vezi Figura 5.8) Selectaţi şi celelalte opţiuni din meniul Graph şi vizualizaţi graficele. Figura 5.6 Salvarea fişierului de ieşire

30 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 5 Figura 5.9 Codor H Aplicaţia H.6 Figura 5.8 Graficul frecvenţă relativă de codare intra Aplicaţia H.6 constă de fapt în două programe Codorul H.6 şi Decodorul H.6, cu care se realizează codarea, respectiv decodarea formatului H.6. Salvarea fişierului video codat H.6 se face sub forma numefisier.6 prin opţiunea Salvare ca fişier H.6 şi prin alegerea ulterioară a locului unde se doreşte să fie stoc fişierul respectiv. Codorul H.6 Aplicaţia Codor H.6 reprezintă o implementare practică a algoritmului H.6 descris de Recomandarea H.6 versiunea din martie 993. El a fost realizat în mediul vizual Visual C++ pentru Windows 95, 98, ME şi Xp folosind o implementare a standardului H.6 realizată de către Standford University havefun.stanford.edu:pub/p64. Prezentarea meniului Meniul Fişier conţine doua opţiuni cu ajutorul cărora se poate alege sursa video care urmează a fi comprimată. Se poate opta între codarea unui fişier de tipul *.avi, *.qcif, *.cif existent pe disc ( Deschide fişierul sursă ) sau codarea in timp real a unei surse video externe furnizată de o camera video cu opţiunea Noua fereastră de captură. Figura 5.0 Meniul Fişier Cel de-al doilea meniu, Video include trei opţiuni: Sursă, Format, Opţiuni. Prin selectarea opţiunii Sursă se poate alege sursa video externă: camera video, tuner tv. Se poate seta din driverul sistemului de operare

31 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 5 funcţile specifice unei camere video luminozitate, contrast, hue, nivel de saturaţie al culorii din opţiunea Device Settings. Decodorul H.6 Figura 5.3 Alegerea pasului de cuantizare Decodorul H.6 este o aplicaţie de vizualizare şi analiză a imaginilor video care sunt codate H.6, ce suportă funcţii de play, pauză, replay cadru cu cadru şi afişare a hărţii video. Figura 5. Alegerea sursei video Prin opţiunea Format se setează formatul video al fluxului codat H.6 CIF(35x88), QCIF(76x44), SQCIF(8x96). Figura 5.4 H.6 Decodor Din meniul Fisier se alege fişierul video comprimat H.6 care se doreşte sa fie vizualizat, iar din meniul vizualizare se poate seta opţiunea Afişează harta, care în partea dreaptă a imaginii afişează o matrice în care secvenţa video codată este analizată şi cadru cu cadru în timp real. Figura 5. Alegerea formatului video Din meniul Video/Opţiuni se poate introduce pasul de cuantizare folosit la codare. El trebuie sa fie cuprins între şi 3. Pasul ales este pasul cu care sunt cuantizaţi toţi coeficienţii rezultaţi în urma aplicării DCT cu excepţia coeficienţilor DC ai macroblocurilor codate intra care au pasul de cuantizare fixat la 8.

32 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 6 LABORATOR 6 Standardul MPEG 6. Standardul MPEG Figura 5.5 Harta video a imaginii Macrobloc codat intra; Macrobloc codat inter; Macrobloc codat inter cu vector de mişcare, săgeata indicând direcţia de mişcare a macoblocului; Macroblocul nu este codat, e păstrat din cadrul anterior. MPEG- (Motion Picture Expert Group) a reuşit să realizeze o compresie a semnalului video la o rată de bit de aproximativ,5mbps, aceasta asigurând o calitate acceptabilă. Dezideratul este, ca prin codarea semnalului video sursă, să se realizeze o reducere a spaţiului necesar pentru stocare şi a ratei de bit necesare pentru transmitere explorând atât redundanţele statistice cât şi pe cele subiective ce există în sau între cadre. De asemenea se doreşte a se coda un set minim de date folosind tehnicile de codare entropice, păstrându-se în acelaşi timp calitatea imaginilor originale. Algoritmul de compresie MPEG- a fost dezvoltat avându-se în vedere atingerea unei compatibilităţi cu aplicaţiile JPEG şi H.6 (standardul CCITT H.6). Astfel metoda de compresie folosită la MPEG se aseamănă destul de mult cu cea de la JPEG. Acest lucru se poate observa şi din diagrama bloc a algoritmului de compresie MPEG video de mai jos: Modul intracadru DCT Q VLC Bit stream Video IN Modul intercadru Q IDCT ME FM S-au folosit notaţiile: Figura 6. Schema bloc a codorului MPEG DCT Transformata Cosinus Discretă (Discrete Cosine Transform); Q Blocul de Cuantizare (Quantizer); VLC Codare Entropică de tip Huffman (Variable Length Coder); FM Blocul de Memorare a Cadrelor (Frame Memory);

33 Comunicaţii multimedia Laborator 6 65 ME Blocul de Estimare a Mişcării (Motion Estimator). Q - şi IDCT operaţiile inverse cuantizării respectiv DCT La intrarea codorului MPEG se introduce un semnal video format dintr-o succesiune de cadre video. Fiecare cadru este procesat separat fiind tratat ca o singură imagine statică. Operând asupra unui singur cadru codorul MPEG se află în modul intracadru. În acest mod de lucru un cadru este mai întîi transformat în domeniul frecvenţă folosind Transformata Cosinus Discretă apoi cuantizat, pentru ca în final rezultatul celor două operaţiuni să fie codat folosindu-se algoritmul de codare Huffman. Dezavantajul utilizării doar a acestui procedeu constă în faptul că deşi se realizează o compresie semnificativă prin simpla procesare a semnalului video de intrare ca o succesiune de imagini statice, folosind JPEG, acesta nu exploatează redundanţa temporală considerabilă prezentă în toate secvenţele video. Astfel mulţi dintre pixeli se vor schimba foarte puţin sau chiar de loc de la un cadru la celălalt. Pentru modul de codare intercadru,blocuri similare de pixeli, comune la două sau mai multe cadre succesive, sunt înlocuite cu un vector ce caracterizează mişcarea unuia dintre ele relativă la poziţia din cadrul curent pentru a ajunge în poziţia în care acesta apare în celelalte cadre. Principala problemă constă în modul de stabilire a ordinii cadrelor. Câteodată este eficient ca acel vector (pointer) să aibă drept referinţă un bloc din cadrul anterior, în timp ce în alte situaţii este mai convenabilă alegerea drept referinţă a unui bloc dintr-un cadru viitor. În Figura 6. este ilustrată şi tehnica codării intercadru : după ce se realizează prelucrarea cu DCT şi cuantizarea (Q) unui cadru din semnalul video iniţial, acesta este supus unui proces invers constând din Q - şi IDCT. Astfel se poate obţine un cadru identic cu cel care ar fi obţinut de algoritmul de decompresie. Acesta va fi apoi stocat în FM şi utilizat la estimarea şi compensarea mişcării (ME) relativ la cadrele vecine. Conform unor studii efectuate de grupul MPEG, folosind procedeul de codare intercadru s-a obţinut o compresie de trei ori mai bună faţă de rezultatele utilizării doar a modului intracadru, lucru posibil doar prin exploatarea redundanţelor existente în secvenţele video. Pentru a se crea suportul necesar utilizării cu succes a algoritmului de compresie pentru o gamă largă de aplicaţii, cei din grupul de cercetare MPEG au inclus câteva facilităţi cum ar fi: posibilitatea de a fi modificaţi de către utilizator parametrii de intrare dimensiunea imaginii, numărul de cadre/secundă,etc; random acess acces aleator în fluxul de date; posibilităţi de derulare fast forward/reverse, reverse playback ; posibilitatea de editare a stream-ului comprimat de biţi. 66 Comunicaţii multimedia Laborator 6 Pentru MPEG- este prevăzut un set de parametrii recomandaţi cum ar fi: un număr minim de 70 pixeli per linie, un număr de 576 linii pentru fiecare imagine şi o rată minimă de 30 cadre/ secundă. Prin acces aleator trebuie să fie posibil accesul în secvenţa cadrelor video în orice moment al acesteia. Acest lucru implică existenţa cadrelor de acces cadre codate în modul intracadru, care pot fi decodate fără referinţă la alte cadre. Opţiunea de derulare Fast forward/reverse se referă la posibilitatea de a derula înainte sau înapoi secvenţa video. Rezultatul se poate afişa folosind cadrele de acces obţinând efectul de rapid înainte sau rapid înapoi. Compensarea mişcării (Motion Compensation) Ideea ce stă în spatele conceptului de compensare a mişcării este că o parte din imaginea dintr-un cadru va fi la fel sau oricum similară celei cu o mărime egală dintr-un cadru alăturat. Pentru MPEG sunt prevăzute două moduri de compensare a mişcării predicţia şi interpolarea. A) Predicţia MPEG foloseşte în codare împărţirea imaginii în macroblocuri de 6x6 pixeli pentru luminanţă şi 8x8 pentru crominanţă spre deosebire de blocurile folosite la codarea JPEG ce au o mărime de doar 8x8 pixeli atât pentru luminanţă cât şi pentru crominanţă. Y Y3 Y Y4 Figura 6. Structura unui macrobloc Fiecare macrobloc conţine patru blocuri de luminanţă (Y,Y,Y 3,Y 4 ) şi două blocuri de crominanţă (U,V). Formatul obţinut este în consecinţă 4::. Prin folosirea predicţiei în algoritmii de codare MPEG se reduc redundanţele temporale existente între cadre, codându-se doar imaginile eroare de predicţie (este vorba de diferenţa între imaginile originale şi imaginile obţinute prin predicţie cu compensarea mişcării). Un cadru prelucrat cu ajutorul predicţiei este împărţit în macroblocuri, fiecare dintre acestea fiind codate separat. Codarea se face cu referinţă către un anchor frame ce precede cadrul curent. Fiecare macrobloc din cadrul curent va fi reprezentat de un vector de mişcare. Acesta ne dă deplasamentul U V

34 Comunicaţii multimedia Laborator 6 67 macroblocului din cadrul curent faţă de corespondentul său din cadrul adiacent (vezi Figura 6.3): Cadrul decodat anterior (4,4) Bloc 6x6 Cadrul curent (6,8) (8,4) Figura 6.3 Compensarea mişcării Cadrul decodat viitor S-a considerat exemplul: fiecare cadru video este format din 64x64 pixeli grupaţi în 6 macroblocuri identice. Porţiunea colorată a cadrului curent reprezintă macroblocul folosit în compensarea mişcării (colţul stânga sus al său se află în poziţia (x=6, y=8). Perechea acestui bloc în cadrul precedent se află în poziţia (4,4). Săgeata din partea stângă a macroblocului reprezintă vectorul de mişcare care în acest caz este de coordonate (8,4). 68 Comunicaţii multimedia Laborator 6 E ( xy, ) = I( xy, ) I[( xy, ) + M ] c c r rc În formula de mai sus Ec ( xyreprezintă, ) eroarea de predicţie; Ii( xyeste, ) valoarea pixelului de coordonate (x,y) în cadrul I iar M ij este vectorul de mişcare pentru cadrul j asociat cadrului i. Matricea de predicţie a erorii va avea multe valori de zero. Aceasta va fi codată folosind tehnica DCT urmată de cuantizare, obţinând o rată de compresie mai mare decât prin simpla codare a matricii originale. Standardul MPEG nu impune un mod de realizare procedeului de potrivire a blocurilor. Uzual vectorul de mişcare pentru un macrobloc se obţine minimizând funcţia de cost, funcţie ce măsoara diferenţa dintre un macrobloc şi fiecare posibil corespondent al său. Acest lucru se poate exprima matematic folosind relaţia: MIN C[ I ( x, y) I (( x, y) + m)] m M ( xy, ) B c unde s-au folosit notaţiile: B = un macrobloc în cadrul curent I c; m= vectorul de deplasare având referinţa în cadrul de referinţă I r ; M=aria de căutare în cadrul de referinţă; C=funcţia de cost. Valoarea lui m ce minimiza expresia de mai sus se foloseşte ca vector de mişcare notat pentru acest bloc M rc. Aria de căutare poate acoperi doar mici porţiuni sau poate cuprinde întreaga arie a cadrului. r Observaţii:. Nu este necesar ca macroblocul corespondent din cadrul anterior să se afle la o distanţă mai mică de 6 pixeli.. Potrivirea nu se face faţă de un cadru video anterior ci mai degrabă faţă de un cadru ce a fost deja codat şi decodat deoarece decodorul nu are acces la cadrele video sursă ci doar la versiuni decodate ale cadrelor originale. Determinând blocul corespondent din cadrul precedent algoritmul MPEG înregistrează vectorul de mişcare şi eroarea de predicţie care este o matrice de 6x6 de difereţe între macroblocul curent în cadrul c şi macroblocul origine din cadrul r: A. B.

35 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 6 În cazul interpolării bidirecţionale trebuie codată mai multă informaţie. O dată cu predicţia cadrelor o matrice diferenţă va rezulta şi apoi se va coda folosind DCT. În plus fiecare macrobloc va fi codat indicându-se modul de predicţie (apriori, aposteriori, prin mediere) şi folosind unul sau doi vectori de mişcare. C. D. Figura 6.4.(A) Cadrul de la momentul N; (B) Cadrul de la momentul N- folosit la predicţia conţinutului cadrului de la momentul N (s-au figurat şi vectorii de mişcare); (C) Eroarea de predicţie obţinută fără compensarea mişcării (toţi vectorii de mişcare sunt presupuşi nuli); (D) Imaginea care trebuie codată, obţinută prin folosirea compensării mişcării. B) Interpolarea Deşi codarea cu ajutorul predicţiei ne oferă o rată de compresie mai bună decăt cea rezultată în urma unei compresii JPEG efectuată cadru cu cadru, şi aceasta poate fi îmbunătăţită. Astfel MPEG permite codarea cadrelor video folosind două cadre de referinţă. Unul este considerat în cadrul precedent (aposteriori) iar celălat în cel viitor (apriori) faţă de cadrul curent. Această abordare poartă denumirea si de interpolare bidirecţională şi are ca efect o rată de compresie mai bună decât cea obţinută prin folosirea unui singur cadru de referinţă. Pentru a întelege de ce interpolarea bidirecţională poate îmbunatăţi semnificativ rata de compresie considerăm o imagine care se mişcă în raport cu cadrul imagine la o rată de / pixeli per cadru. Încercând determinarea unui macrobloc în cadru actual bazându-ne pe cadrul imediat următor nu vom putea găsi nici un bloc care să se potrivească. În mod similar vom obţine acelaşi lucru procedând la fel şi în cazul următorului cadru. Totuşi o estimare a celei mai bune potriviri dintre cadrul precedent şi cel viitor ne va determina o predicţie exactă, astfel încât matricea de eroare va deveni nulă. Figura 6.3 ilustrează tehnica folosită în interpolarea bidirecţională. Cadrul curent considerat a fi cadrul B este procesat în funcţie de cele două cadre de referinţă: cel precedent respectiv cel viitor. Fiecare macrobloc va putea fi codat folosind un bloc din cadrul ulterior (vorbim în acest caz de predicţie apriori), un bloc din cadrul anterior (predicţie aposteriori), sau câte un bloc din fiecare cadru referinţă (mediere) rezultând matricea de eroare minimă. Ordonarea Cadrelor În MPEG se definesc trei tipuri de cadre: a) Cadre I (Intra-coded images): Sunt codate fără referinţe la alte imagini. Un cadru I este tratat ca o imagine fixă. MPEG foloseşte codarea JPEG pentru aceste imagini. Totuşi, contrar JPEG, compresia trebuie făcută în timp real. Rata de compresie a imaginilor I este mai mică cu MPEG. Cadrele I sunt punctele de acces aleator în fluxul MPEG. Cadrele I folosesc 8x8 blocuri pentru a defini un macrobloc pe care se calculează DCT. Coeficienţii DC sunt codaţi DPCM. Diferenţe ale blocurilor succesive sunt calculate şi transformate utilizând codarea cu lungime variabilă. b) Cadre P (Predictive-coded frames): codarea se face folosind predicţia cu compensarea mişcării faţă de un cadru anterior I sau P, acesta fiind folosit ca referinţă pentru predicţii apriori; c) Cadre B (Bi-directionally predictive coded frames): codarea se face luând drept referinţă atât cadrul precedent cât şi pe următorul (vezi Interpolarea) ; nu se foloseşte ca referinţă pentru predicţie. d) Cadre D (DC coded frames) Sunt cadre codate intra. Ele pot fi folosite pentru derulare rapidă înainte sau înapoi. Numai parametrii DC ai DCT sunt codaţi, coeficienţii AC sunt neglijaţi. Cadrele D constau numai din componentele de joasă frecvenţă a imaginilor. Ele utilizează numai un tip de macro-bloc şi numai coeficienţii DC sunt codaţi. Derularea înainte sau înapoi se poate realiza şi cu cadre I. Pentru aceasta cadrele I trebuie să apară periodic în fluxul de date. Redarea înapoi însă necesită o cantitate imensă de stocare deoarece toate imaginile dintr-un grup trebuie decodate în modul forward şi stocate, după care redarea înapoi este posibilă.

36 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 6 Frecvenţa relativă de apariţie a acestor cadre în interiorul unui flux video este un parametru configurabil care trebuie însă să satisfacă câteva reguli. În primul rând trebuie să satisfacă cerinţele pentru acces aleator şi căutare fast forward/reverse. Acestea determină o limitare asupra frecvenţei de apariţie a cadrelor I în sistemul codat considerat. În al doilea rând trebuie să ţină seama de legătura strânsă ce există între complexitatea de calcul şi numărul de cadre B, astfel încât cu cât avem mai multe cadre B cu atât volumul de calcul va creşte. În al treilea rând cadrele B nu pot fi procesate decât ţinând cont de cadrele I şi P deoarece un cadru B nu poate fi considerat referinţă pentru un alt cadru B. De aceea cu cât există mai multe cadre B cu atât va creşte distanţa medie dintre acesta (cadrul B) şi cadrele sale de referinţă şi cu atât va fi mai mică corelarea între cadrul B şi referinţe. Regulile de codare sunt: - fiecare cadru I este codat folosindu-se doar codarea intracadru; - fiecare cadru P este codat folosindu-se predicţia faţă de cel mai recent cadru P sau I; - fiecare cadru B este codat folosindu-se cele mai apropiate cadre I sau P (precedent şi viitor) Cadrele sunt organizate în grupuri de cadre. Fiecare grup este alcătuit dintr-un singur cadru I urmat de un număr de cadre P şi B. Un cadru B nu poate fi decocodat până când cadrele de referinţă, cel precedent respectiv cel viitor nu au fost decodate. Organizarea fiecărui grup se face astfel încât fiecare cadru B să urmeze ambelor cadre de referinţă. Pentru o mai bună înţelegere se consideră exemplul ilustrat în Figura 6.5. Se observă că primele şase cadre formează un grup. Modul de aranjare al acestora în interiorul grupului ţine cont de ceea ce s-a afirmat mai sus. Astfel pentru a realiza predicţia pentru cadrele B şi 3, cadrul 4 va fi stocat dupa cadrul (cadru folosit pentru realizarea predicţiei apriori). Cadrele 5 si 6 sunt interschimbate din acelaşi motiv. Cadrul B notat cu 7 face parte din grupul următor deoarece este codat după cadrul I 8. Figura 6.5 Exemplu de organizare a cadrelor în timp Decodorul efectuează operaţiile inverse codării: Se extrag şi se decodează cuvintele codate entropic din stream-ul de biţi pentru a se obţine toţi coeficienţii DCT diferiţi de zero pentru fiecare cadru. Odată reconstruiţi toţi aceşti coeficienţi ce aparţin unui singur cadru (cu ajutorul Q - ) se aplică transformata IDCT obţinându-se valoarea pixelilor dintr-un cadru. Procesând întregul stream de biţi toate cadrele (imaginile) sunt decodate şi reconstruite. 6. Standardul MPEG Standardul MPEG VIDEO (ISO/IEC 388-) a fost realizat pentru codarea - în transmisiuni TV prin cablu/satelit. - în televiziunea de înaltă definiţie (HDTV). - în servicii video prin Internet (ATM). Codarea video se face la o rată între 4 şi 9 Mbiţi/s. Codorul MPEG permite codarea semnalului video întreţesut şi scalarea imaginii. Cerinţe principale: I Predicţie apriori B B Predicţie Bidireţională P TIMP Compatibilitate cu semnalul video întreţesut (ITU-R 60). Codarea la calitate bună la rate cuprinse între 4 şi 9 Mbiţi/s. Acces aleator la comutarea canalelor, căutare şi derulare FF/FR folosind punctele de acces din grupurile de imagini. Permite codarea crominanţei şi la formate de rezoluţie mai mare 4:: şi 4:4:4. Codarea scalabilă video pentru aplicaţii care au cerinţe diferite de calitate a semnalului video. B P B I

37 Comunicaţii multimedia Laborator 6 73 Sistemul să suporte sincronizarea între fluxurile audio-video la redare/acces pentru fluxuri multiple. Cerinţe suplimentare: Compatibilitate şi interoperabilitate cu MPEG. Sistemul să suporte codarea formatelor neîntreţesute şi întreţesute la diferite rate de cadru. Sistemul să suporte formate video la diferite rapoarte de aspect. Încărcare minimă a sintaxei MPEG pentru includerea facilităţilor de mai sus. Codorul şi decodorul să aibă o complexitate rezonabilă. Facilităţi noi faţă de MPEG: Suportă formatele 4:: şi 4:4:4. Imagini asociate cadrelor şi câmpurilor (la video întreţesut). DCT adaptat pentru cadru/câmp. Compensarea mişcării pentru cadru/câmp/duale. Scanare alternativă a coeficienţilor DCT. Tabel de codare variabilă (VLC) diferit pentru coeficienţii DCT. Tabel de cuantizare neliniară măreşte acurateţea cuantizării pentru valori mici. 74 Comunicaţii multimedia Laborator 6 a) b) c) câmpul câmpul par impar par impar timp timp timp Figura 6.7 Scanarea a) întreţesută 4::; b) întreţesută 4::/4:4:4 şi c) progresivă Codarea semnalului video Există două tipuri de imagini: imagini-cadru şi imagini-câmp Compensarea mişcării se face în mai multe moduri: - Predicţia între cadre în cazul imaginilor-cadru se face ca la MPEG. - Predicţia între câmpuri în cazul imaginilor-câmp: referinţă curent Figura 6.6 Formatele de codare luminanţă crominanţă Figura 6.8 Predicţia între câmpuri pentru imagini-câmp

38 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 6 - Predicţia între câmpuri în cazul imaginilor-cadru: Macrobloc cadru 6x8 blocuri câmp Figura 6.9 Predicţia între câmpuri pentru imagini-cadru - Predicţia dual-primă pentru cadrele P (se aplică atât imaginilorcâmp cât imaginilor-cadre), rezultând 6x8 vectori de compensare a mişcării blocuri pe cadru blocuri pe câmpuri Figura 6. Împărţirea în blocuri - Se calculează corelaţia pe direcţie verticală în ambele cazuri. - Se alege varianta care are corelaţie mai mare. Scanarea coeficienţilor DCT referinţă curent a) b) Figura 6. a) Scanare zig-zag a coeficienţilor DCT inter; b) Scanare alternată a coeficienţilor DCT intra 6.3 Compresia MPEG audio Figura 6.0 Predicţia dual primă Adaptarea DCT pentru cadre/câmpuri: - Se organizează blocuri de 6x6 pixeli ca blocuri pe cadru sau blocuri pe câmpuri. Standardul MPEG audio este caracterizat de o complexitate ridicată a algoritmului, compresie mare a datelor, si calitate foarte buna a semnalului audio. Compresia este aplicabilă semnalelor audio in general, nu este adaptata numai semnalelor vocale. Reprezentarea digitală a datelor audio prezintă o serie de avantaje: imunitate sporită la zgomot, stabilitate în timp, şi reproductibilitate. De asemenea, permite o implementare eficientă a unor funcţii de prelucrare, cum ar fi mixarea, filtrarea, egalizarea, etc., cu ajutorul computerului. Conversia analog-digitală a semnalului audio se face prin eşantionare si cuantizare, fiecare eşantion fiind reprezentat printr-un cuvânt de cod binar (procedeu numit modulaţia impulsurilor în cod sau PCM). Astfel, pentru reprezentarea unei secunde de material stereo la calitate CD (frecvenţa de

39 Comunicaţii multimedia Laborator 6 77 eşantionare 44, khz şi cuantizare pe 6 biti) este nevoie de aproximativ,4 Mbiti esantioane/s 6 biti/esantion canale = 400 biti/s Reducerea acestei rate ridicate de date se face prin compresie. Algoritmul MPEG/audio este primul standard international pentru compresia digitală a semnalului audio de înalta fidelitate. Deşi compresia MPEG/audio este foarte potrivită pentru aplicaţii audio de sine stătătoare, ea face parte din standardul de compresie combinat MPEG. Acesta conţine trei părţi: video, audio si sisteme, şi se adresează compresiei semnalelor video si audio sincronizate. Pana la ora actuala, au fost adoptate ca standarde trei versiuni MPEG audio, fiecare aducând îmbunătăţiri faţă de cel precedent. Iată cele trei versiuni MPEG/audio si câteva caracteristici: MPEG- audio: Suportă rate de eşantionare de 3, 44. sau 48 khz; Acceptă surse cu unul sau două canale audio; Rate de bit acceptate: 3 4 kbiti/s pentru un canal; Permite introducerea unui cod corector de erori (CRC); Permite introducerea altor date decât cele audio in fluxul rezultant; Oferă o alegere intre 3 niveluri de compresie (numite layere), pentru a oferi posibilitatea de compromisuri între calitatea audio si complexitatea codec-ului: - Layer I: este cel mai simplu şi este potrivit pentru rate de peste 8 kbps pentru un canal. - Layer II: este de complexitate medie şi este destinat codării la rate in jurul a 8 kbps pentru un canal. Este folosit in standardele Digital Audio Broadcasting (DAB), CD-Interactive (CD-I) si Video- CD. - Layer III: este cel mai complex, dar oferă cea mai bună calitate pentru rate de 64 kbps pentru un canal. Este potrivit pentru transmisie prin ISDN, pentru arhive de muzica (format mp3), etc. MPEG- audio: Este o extensie a standardului MPEG- audio pentru rate de eşantionare scăzute: 6,.5, 4 khz, oferind o calitate mai bună pentru rate de bit sub 64 kbps mono. 78 Comunicaţii multimedia Laborator 6 Este compatibil cu MPEG- pentru codarea unor surse cu mai multe canale: 5 canale normale si unul pentru frecventele joase (5.), care poate fi decodata si cu un decodor MPEG-; Introduce o metodă nouă de compresie numita Advanced Audio Coding (AAC), care nu mai este compatibilă cu MPEG-, deci nu poate fi decodată de un astfel de decodor. Caracteristicile AAC: calitate audio foarte bună la rate de 64 kbps pe un canal, suporta 48 de canale audio, 6 canale pentru frecvenţe joase, 6 canale pentru voce în mai multe limbi, 6 fluxuri de date. Blocurile codecului au fost îmbunătăţite, obtinându-se o îmbunătăţire a ratei de compresie cu 30% faţă de MPEG- Layer III. Foloseşte tot o structură cu 3 layere ca şi la MPEG-; MPEG-4 audio: Destinat pentru o gamă largă de aplicaţii audio: - Compresia semnalului vocal: rate de -4 kbps, folosind metodele HVXC (Harmonic Vector excitation Coding), si CELP (Code Excited Linear Prediction); - Citirea textului dintr-un document (text-to-speech interface); - Compresia semnalului audio de înaltă fidelitate; - Sunet sintetic (muzică sintetizată gen MIDI); - Mixarea acestor tipuri diferite de semnal audio într-o singură coloană sonoră; - Scalabilitatea fluxului de date audio: transmiterea cu rată variabilă în funcţie de lărgimea de bandă a canalului folosit, prin degradarea calităţii audio; Tehnici folosite in compresia MPEG audio Standardul de compresie MPEG-/audio realizează performanţe remarcabile prin exploatarea a doua caracteristici psihoacustice ale aparatului auditiv uman:. Benzile critice: Urechea internă are o reprezentare a spectrului semnalelor audio la o scară neliniară, sub forma unor benzi de frecvenţă numite benzi critice. Banda frecvenţelor audibile, care se întinde până la 0 khz, este împărţită in 5 de benzi critice, ale căror lărgimi cresc cu frecvenţa. Cu alte cuvinte, aparatul auditiv poate fi modelat ca un banc de filtre trece bandă (un set de filtre în paralel), constând în 5 de benzi nedisjuncte, cu lărgimi începând de la mai puţin de 00 Hz pentru frecvenţe joase, si ajungând la 5 khz pentru frecvenţe înalte.

40 Comunicaţii multimedia Laborator 6 79 Tabelul 6. Nr. bandă Frecvenţa (Hz) Nr. bandă Frecvenţa (Hz) (frecvenţele reprezinta limita superioară a benzii). Mascarea auditivă: Este un fenomen numit şi mascarea zgomotului, şi se manifestă astfel in domeniul frecvenţă: când un semnal de nivel mic si unul de nivel mare apar simultan si sunt destul de apropiate in frecvenţă, dacă semnalul mic se afla sub un prag de mascare, acesta nu se va auzi din cauza semnalului mai puternic. Acest fenomen este mai pronunţat când ambele semnale se află în aceeaşi bandă critică, şi mai putin observabil când acestea se află in benzi alăturate. 80 Comunicaţii multimedia Laborator 6 Raportul semnal-mascare (SMR) reprezintă diferenţa dintre puterea semnalului puternic si pragul minim de mascare. Diferenţa dintre SMR şi SNR (raportul semnal zgomot datorat cuantizării cu R biti), reprezintă raportul zgomot-mascare (NMR = SMR SNR). În interiorul unei benzi critice, zgomotul de cuantizare este inaudibil atâta timp cât NMR-ul corespunzător cuantizării este negativ. Astfel se poate reduce numărul de biţi ai cuantizorului până la limita NMR-ului. Figura 6.4 Parametrii care descriu mascarea auditivă Schema bloc a codecului MPEG-/audio: Date audio digitale (PCM) SNR Bancul de filtre SMR Banda critică Cuantizor si codor Pragul de mascare Semnalul puternic Formatare flux de biţi Pragul minim de mascare Nivelul zgomotului de cuantizare Date comprimate Amplitudine Semnalul puternic Zona unde semnalele mai slabe sunt mascate Model psihoacustic Date auxiliare Figura 6.5 Codorul MPEG Frecvenţa Figura 6.3 Mascarea auditivă Figura 6.4 ilustrează definirea principalilor parametrii care descriu mascarea auditivă. Semnalul puternic se află în interiorul benzii critice. Semnalele mai slabe care se află sub pragul de mascare nu se aud. Pragul minim de mascare reprezintă pragul sub care toate sunetele din banda respectivă sunt mascate de semnalul puternic. Date comprimate Despachetare flux de biţi Date auxiliare Reconstrucţie semnal pentru fiecare bandă Figura 6.5 Decodorul MPEG Bancul de filtre Date audio digitale (PCM)

41 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 6 Bancul de filtre are rolul de a descompune semnalul audio in subbenzi. Aceasta descompunere este realizată cu diferite grade de complexitate în cele 3 layere. In Layer I, II si III, spectrul este împărţit în 3 de subbenzi de lărgime constantă, fiind astfel un compromis între eficienţa calculelor si performanţa perceptuală: Figura 6.7 Opţiuni de compresie pentru codorul MPEG Figura 6.6 Descompunerea în subbenzi Layer II este doar o îmbunătăţire a lui layer I, prin codarea datelor în grupuri mai mari. Layer III foloseşte un algoritm mult mai complex, fiind proiectat să obţină rezoluţii în frecvenţă mai apropiate de modelul benzilor critice. Modelul psihoacustic este elementul cheie al codorului. El are funcţia de a analiza conţinutul spectral al semnalului şi să calculeze SMR-ul pentru fiecare bandă. În urma acestei analize, cuantizorul decide cum să împartă numărul de biţi disponibili pentru fiecare bandă. Această alocare dinamică de biţi este realizată astfel încât să minimizeze audibilitatea zgomotului de cuantizare. Unitatea de formatare biţi aranjează eşantioanele cuantizate într-un flux de biţi decodabili. Decodorul execută operaţiile în sens invers, convertind datele comprimate într-un semnal audio standard. 6.4 Codorul MPEG (MEnc) în programul VcDemo Opţiunile de compresie sunt prezentate în Figura 3.7. Există şase taburi cu următorii parametrii: File: Permite alegerea numelui şi a formatului (MPEG- sau MPEG-). Rate: Permite setarea ratei de bit a fişierului comprimat, în Mbiţi/secundă. GOP(Group of pictures): Permite alegerea câtorva succesiuni standard (nu adaptiv) de cadre în fluxul comprimat. Motion: Permite selectarea deplasamentului maxim folosit în compensarea mişcării. Format: Pentru formatul MPEG-, se poate alege modul progresiv sau modul întreţesut. Dacă se alege modul întreţesut, poziţia primului câmp trebuie precizată. Field/Frame: Pentru modul întreţesut se poate îmbunătăţi rezultatul compresiei MPEG- prin setarea unor opţiuni suplimentare pentru codarea pe cadre şi câmpuri (semicadre). Din fereastra text se obţin informaţiile cele mai utile cu privire la codarea cadrului respectiv: rata de bit per cadru (exprimată în biţi/pixel), tipul cadrului (I/B/P) obţinut prin codare, felul în care a fost codat fiecare macrobloc al cadrului (afişând o matrice de litere conform poziţiei macroblocului în cadru). Observaţie: Acesta este un codor educaţional. Un codor MPEG profesionist permite mult mai multe setări, obţinând rezultate superioare. Se alege Open Image Sequence din toolbar şi se deschide secvenţa Suzie.yuv. Se alege codorul MPEG din toolbar (MEnc). Observaţie: Până la alegerea unui nume pentru secvenţa video de comprimat (Save as ), opţiunile din interfaţa codorului MPEG sunt inactive.

42 Comunicaţii multimedia Laborator 6 83 Figura 6.8 Codorul MPEG Se aleg (de exemplu) opţiunile: (File) Save as Suzie.mpg / Mpeg /(Rate).5Mb/s /(Gop) IBBPBB / (Motion) 5. Codarea începe prin confirmarea opţiunilor (Apply): 84 Comunicaţii multimedia Laborator 6 Semnificaţia literelor este următoarea: S (macrobloc) ignorat; I codat intra; 0 obţinut prin predicţie apriori (forward) fără compensarea mişcării ; F - obţinut prin predicţie apriori (forward) a cadrului; f - obţinut prin predicţie apriori (forward) a câmpului(mpeg- întreţesut); p - obţinut prin predicţie spaţială şi temporală ; B - obţinut prin predicţie aposteriori (backward) a cadrului; b - obţinut prin predicţie aposteriori (backward) a câmpului; D - obţinut prin interpolare pe cadre; d- obţinut prin interpolare pe câmpuri; Se întrerupe de mai multe ori compresia. Se notează care sunt cele mai utilizate tipuri de macroblocuri în codare (cele obţinute prin interpolare, cele obţinute prin predicţie etc). Se reia codarea selectând şi alte opţiuni. Observaţie: Codorul MPEG al programului VCDemo nu introduce în fluxulul comprimat informaţii de sistem (timing), în consecinţă pentru vizualizarea secvenţei nu se poate folosi Windows Media Player-ul, ci de exemplu decoderul MPEG al VCDemo. Figura 6.9 Alegerea deplasamentului maxim Observaţie: Interfaţa codorului arată cadrul care tocmai a fost codat şi o fereastră text cu date despre compresia cadrului şi a macroblocurilor sale. Codarea poate fi întreruptă/reluată în orice moment prin apăsarea Spacebarului. 6.5 Decodorul MPEG (MDec) în programul VcDemo Opţiunile de compresie sunt prezentate în Figura 6.. Există cinci taburi cu următorii parametrii: Figura 6. Opţiuni de compresie pentru codorul MPEG Figura 6.0 Informaţii din fereastra text Operation: Permite setarea a ceea ce va fi afişat prin decodare: decoded frames - decodare normală

43 Comunicaţii multimedia Laborator Comunicaţii multimedia Laborator 6 Display: Video: Save...: frame prediction cadrele obţinute doar prin predicţie. Se poate astfel evalua oarecum calitatea predicţiei (erorile predicţiei se propagă); coded difference cadrele diferenţă faţă de predicţie. Permite o evaluare mai precisă a calităţii predicţiei şi a numărului de macroblocuri codate intra (asupra cărora nu s-au făcut predicţii). Permite afişarea alb-negru sau color a secvenţei decodate, cu sau fără suprapunerea vectorilor de mişcare, cu sau fără includerea cadrelor de tip B (pentru a necesita mai puţină putere de calcul); Permite decodarea pas cu pas sau automată; Permite salvarea secvenţei decodate în format YUV. Figura 6.3 Informaţiile din caseta text Decodorul VCDemo permite reconstituirea secvenţelor de imagini comprimate MPEG- sau MPEG-. Fereastra text a interfeţei conţine informaţii despre dimensiunea cadrelor din secvenţă, rata de bit a acesteia, numărul de cadre/secundă, dimensiunea VideoBuffer-ului folosit la decodare, tipul compresiei secvenţei (MPEG- sau ), tipul cadrelor ce se succed (I/P/B), etc. Se încarcă secvenţa MPEG Mobile.mpg sau Bike.mpg. Se alege afişarea frame prediction. Ce se poate spune despre calitatea predicţiei? Se alege afişarea coded difference. Ce se poate spune despre numărul de macroblocuri care necesită o codare de tip intra? Se reia decodarea şi pentru alte secvenţe, urmărind cum depinde calitatea predicţiei de dinamismul secvenţei. 6.6 Exerciţii Figura 6. deschiderea fişierului MPEG Se alege afişarea decoded frames cu suprapunerea vectorilor de mişcare şi decodare pas cu pas. Ca şi până acum decodarea începe prin selectarea Apply. Decodarea poate fi întreruptă prin selectarea No în fereastra de dialog care apare. Selectarea Cancel are drept rezultat continuarea decodării în mod automat.. Cum se poate reduce consumul de biţi pentru benzile de frecvenţe înalte, care nu sunt importante atunci când se urmăreşte buna compresie şi nu calitatea (ex: rate de mai puţin de kbps)?. Cum trebuie să fie materialul audio original pentru o compresie bună: înregistrare de calitate proastă, cu zgomot, sau sunet clar? 3. Codorul MPEG afişează cadrul care tocmai a fost prelucrat. Explicaţi de ce secvenţa afişată nu respectă succesiunea temporală normală. 4. Explicaţi de ce secvenţa Suzie.yuv ar fi putut fi comprimată cu performanţe asemănătoare şi conform standardului H Comparaţi rezultatele obţinute prin transmiterea cadrelor diferenţă de imagine fără compensarea mişcării cu cele obţinute prin compensarea mişcării. În ce condiţii se obţine o îmbunătăţire semnificativă? 6. La decodarea secvenţei Mobile.mpg prima coloană de macroblocuri (în stânga imaginii) conţine aproape în exclusivitate macroblocuri codate intra (fără predicţie). Explicaţi de ce.