SISTEME INTELIGENTE DE SUPORT DECIZIONAL Ș.l.dr.ing. Laura-Nicoleta IVANCIU Curs 7 Sisteme inteligente de suport decizional bazate pe RNA
Cuprins RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz 2
Să ne aducem aminte... RNA este complet determinată prin: tipul unităților funcționale (elemente de procesare numite neuroni) arhitectură (amplasare unități funcționale) algoritm de funcționare (transformare semnal intrare în semnal ieșire) algoritm de învățare (cum achiziționează rețeaua noi cunoștințe pe bază de exemple) 3
Să ne aducem aminte... Neuronul artificial Modelul de bază McCulloch-Pitts (1943) Modelul derivat w ponderi sinaptice f funcție de integrare/agregare/activare Θ bias (polarizare) 4
Să ne aducem aminte... Arhitectura RNA rețele feed-forward (unidirecționale) unistrat 5
Să ne aducem aminte... Arhitectura RNA rețele feed-forward (unidirecționale) multistrat - mai lente decât cele unistrat - pot implementa funcții mai complexe 6
Să ne aducem aminte... Instruirea RNA = procesul adaptării ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistică a vectorilor de intrare Algoritm de instruire = modul în care se modifică ponderile wkj(n+1) = wkj(n) + Δwkj(n) unde: k neuron de la care pleacă ponderea, j neuron spre care vine ponderea, n momentul de timp Δwkj(n) - algoritm de instruire 7
RNA pentru aproximare de funcții Obiectiv? Care sunt etapele aproximării de funcții folosind RNA? 8
RNA pentru aproximare de funcții Aproximare de funcții (function fitting) Obiectiv: dezvoltarea unui sistem (model) care să ofere o aprximare suficient de bună a unei funcții cunoscute Etape: pregătire date selectare arhitectură rețea antrenarea rețelei testare (validare) utilizarea propriu-zisă 9
RNA pentru aproximare de funcții Aproximare de funcții - Antrenare supervizată - Perechi de date intrare-ieșire Exemple: la proiect - aprox. preț case - aprox. % grăsime din organism - aprox. preț acțiuni, valută, petrol 10
Clasificatori cu RNA Care sunt etapele proiectării unui clasificator cu RNA? Ce înseamnă clasificare liniară? Ce este perceptronul? Cum se face recunoașterea de forme? 11
Clasificatori cu RNA Clasificare liniară Perceptronul - clasificator binar (2 clase) - clase liniar separabile - hiperplan de separație y = f ( u) = 0, u 0 1, u > 0 funcție de activare binară 12
Clasificatori cu RNA Clasificare liniară Perceptronul clase convexe clase concave 2 straturi de neuroni 3 straturi de neuroni 13
Clasificatori cu RNA Clasificare liniară Separabilitate X1 X2 AND OR XOR 0 0 0 0 0 0 1 0 1 1 1 0 0 1 1 1 1 1 1 0 XOR nu se poate implementa cu perceptron! 14
Clasificatori cu RNA Alte structuri ADALINE (Widrow, 1960) Adaptive Linear Neuron/Element - RNA cu un singur strat - adaptare supervizată Adaptarea ponderilor se face pe baza sumei ponderate a intrărilor. La perceptron, adaptarea se face pe baza ieșirii funcției de activare. MADALINE mai multe elemente de tip ADALINE 15
Clasificatori cu RNA Recunoaștere forme (pattern recognition) Etape: 1. extragere trăsături 2. stabilire prototip clasă 3. alocare obiect - clasă 16
Clasificatori cu RNA Recunoaștere forme human vs. computer 17
Clasificatori cu RNA Structura unui sistem de recunoaștere a formelor Cum se face citirea? Ce înseamnă segmentare? Cum se extrag trăsăturile? Clasificare valori tranșante sau probabilități? Ce înseamnă postprocesare? Ce reprezintă săgețile inverse? 18
Clasificatori cu RNA Proiectarea unui sistem de recunoaștere a formelor 19
Clasificatori cu RNA Schema bloc Oj = 1 obiectul este încadrat în clasa j Oj = 0 obiectul nu este încadrat în clasa j Ce funcție de activare au neuronii de pe stratul de ieșire? 20
Studii de caz Clasificarea crabilor Pentagonul și Rețelele Neuronale 21
Studii de caz Clasificarea crabilor cu RNA formularea problemei pregătirea datelor proiectarea clasificatorului cu RNA testare 22
Studii de caz Clasificarea crabilor cu RNA Formularea problemei Să se proiecteze un clasificator cu RNA, care să identifice sexul unui crab, folosind caracteristicile sale fizice: species frontal lip rear width length width depth Intrare: cele 6 caracteristici Ieșire dorită(target): sexul crabului (M/F) 23
Studii de caz Clasificarea crabilor cu RNA Pregătirea datelor - Transformarea valorilor non-numerice (sex M/F) în valori numerice F: [1 0] M: [0 1] sau F = 1 M = 2 sau F: [0 0] M: [0 1] 24
Studii de caz Clasificarea crabilor cu RNA Proiectarea clasificatorului Inițializare ponderi cu valori aleatoare Rețea feed-forward cu 20 de neuroni pe stratul ascuns Antrenare 10 epoci 25
Studii de caz Clasificarea crabilor cu RNA Testare - grafic 26
Studii de caz Clasificarea crabilor cu RNA Testare - matricea de clasificare f_f % Female crabs classified as Female f_m % Female crabs classified as Male m_m % Male crabs classified as Male m_f % Male crabs classified as Female cm = [f_f f_m; m_f m_m] % classification matrix Total testing samples: 40 cm = 18 0 1 21 Percentage Correct classification : 97.500000% Percentage Incorrect classification : 2.500000% 27
Studii de caz Pentagonul și Rețelele Neuronale Problema: Anii 80, Pentagon, boom tehnologic, protecție armată Planul: Detecție tancuri din imagini Soluția: Prelucrare de imagini folosind RNA 30
Studii de caz Pentagonul și Rețelele Neuronale Implementare: 100 poze copaci + tancuri 100 poze copaci fără tancuri Antrenare rețea cu 50 poze copaci + tancuri, 50 poze copaci fără tancuri Validare: Detecție corectă pentru restul de 50+50 poze Testare: Poze noi, rezultate complet aleatoare și incorecte Care să fie problema? 31
Studii de caz Pentagonul și Rețelele Neuronale 32
Studii de caz Pentagonul și Rețelele Neuronale cer senin cer noros The military was now the proud owner of a multi-million dollar mainframe computer that could tell you if it was sunny or not. 33
Sumar RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz În episodul următor: Sisteme cu logică fuzzy. 34