METODE INTELIGENTE DE REZOLVARE A PROBLEMELOR REALE. Laura Dioşan Tema 2

Transcription

1 METODE INTELIGENTE DE REZOLVARE A PROBLEMELOR REALE Laura Dioşan Tema 2

2 Conţinut Probleme de optimizare combinatorială Problema rucsacului şi problema comisului voiajor Formularea problemei şi exemple Algoritmi de rezolvare Exacţi Euristici Inspiraţi de natură De citit: S.J. Russell, P. Norvig Artificial Intelligence - A Modern Approach capitolul 3 şi 4 H.F. Pop, G. Şerban Inteligenţă artificială capitolul 3 Documentele din directorul KP şi TSP

3 Probleme de optimizare combinatorială (POC) Definire O problemă P de optimizare (minimizare sau maximizare) care presupune un set de instanţe D P un set finit de soluţii candidat S p (I) pentru fiecare instanţă I є D P o funcţie m p care asignează unei instanţe I şi unei soluţii candidat x є S P (I) un număr raţional pozitiv m P (I,x), numit valoarea soluţiei Soluţia optimă pentru o instanţă I є D P este o soluţie candidat x* є S P (I) a.î. m P (I,x*) m P (I,x) pentru orice x є S P (I)

4 Probleme de optimizare combinatorială (POC) Exemple Problema comisului voiajor (Travelling Salesman Problem TSP) Problema rucsacului Partiţionări în grafe Probleme de atribuiri quadratice Vehicle routing Scheduling

5 Probleme de optimizare combinatorială (POC) Metode de rezolvare Exacte Branch and bound Branch and cut Euristice Clasificare Probleme de atribuiri Probleme de aranjare Probleme de partiţionare Probleme de alegere a unor submulţimi

6 Problema rucsacului Formularea problemei şi exemple Tipologie Algoritmi de rezolvare Complexităţi

7 Problema rucsacului Formularea problemei şi exemple Se dau un rucsac de o anumită capacitate G şi n obiecte, fiecare obiect având o anumită greutate şi un anumit cost (valoare) Să se găsească o modalitate cât mia bună de umplere a rucsacului astfel încât valoare obiectelor alese să fie cât mai mare Dificultate NP-dificilă Interes: Problemă de referinţă pentru testarea ideilor Denumiri Knapsack problem (KP) Alocarea resurselor Submulţimi de sumă dată Cutting stock problem

8 Problema rucsacului De ce? Problemă conceptual simplă Problemă dificil de rezolvat Problemă intens cercetată Problemă care apare în diverse aplicaţii

9 Problema rucsacului Instanţe de referinţă Consideraţii generale Se dau n obiecte, fiecare având o valoare v i şi o greutate g i, i = 1, 2,..., n greutatea suportată de rucsac G Să se aleagă obiecte astfel încât max i=1,2,..., n v i x i a.î. i=1,2,.., n g i x i G, unde x i є {,1} sau x i є {,1,..., c i } sau x i є (,1] Instanţe

10 Problema rucsacului Tipologie Numărul de copii ale unui obiect care este depus în rucsac Problema -1 a rucsacului Fiecare obiect poate apare cel mult o dată în rucsac Problema mărginită a rucsacului Fiecare obiect poate apare cel mult c i ori în rucsac (i=1, 2,..., n) Problema ne-mărginită a rucsacului Fiecare obiect poate apare de ori câte ori în rucsac Numărul de rucsaci Un singur rucsac Mai mulţi rucsaci bin packing problem Tipul obiectelor Problema discretă a rucsacului Fiecare obiect ales trebuie pus în întregime în rucsac Problema continuă (fracţionată) a rucsacului Fiecare obiect ales poate fi pus doar parţial în rucsac

11 Problema rucsacului Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Euristici Constructive De îmbunătăţire

12 Problema rucsacului Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Euristici Constructive De îmbunătăţire

13 Forţa brută Alte denumiri Căutare exhaustivă Generează şi testează Mod de lucru 1. Se generează o potenţială soluţie 2. Se evaluează această potenţială soluţie 3. Se verifică dacă costul curent este mai bun decât costul precedent Dacă da, se reţine această soluţie 4. Se revine la pasul 1

14 Forţa brută KP Alegerea submulţimii optime Algoritm 1. Se generează o sumbulţime de obiecte 2. Dacă obiectele alese încap în rucsac atunci Se dermină costul (valoarea) asociat(ă) sumbulţimii Se verifică dacă costul curent este mai bun decât costul precedent Dacă da, se reţine această soluţie 3. Se revine la pasul 1

15 Problema rucsacului Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Euristici Constructive De îmbunătăţire

16 Programare dinamică Principii Principiul optimalităţii Optimul general implică optimele parţiale Optimul parţial nu implică optimul general Mod de lucru Descompunerea problemei în subprobleme Se rezolvă mai întâi subproblemele care pot fi soluţionate imediat Se combină aceste soluţii parţiale, obţinând astfel soluţii la problemele de pe niveluri superioare (din arborele de descompunere)

17 Programare dinamică KP Descompunerea Se construieşte o matrice m, unde m[i,g] = valoarea maximă care poate fi obţinută prin alegerea unor obiecte din primle i şi cu o greutate totală a obiectelor mai mică decât g Definiţia recursivă a soluţiei m[,g] = (nici un obiect nu a fost ales) m[i,] = (nici o greutate) m[i,g] = m[i-1,g], dacă g i > g m[i,g] = maxim(m[i-1,g], v i +m[i-1,g-g i ])), dacă g i g

18 Programare dinamică KP function algorithmkp(g, n) for g = to G m[,g] := for i = 1 to n do for g = to G if ((gi g) and (vi+m[i-1,g-gi] > m[i-1, g]) m[i,g] = vi + m[i-1,g-gi] alese[i,g] = 1 else m[i,g] = m[i-1,g] alese[i,g] = k := G for i = n downto 1 if (alese[i,k] == 1) output i k = k gi return m[n,g] End

19 Programare dinamică KP G= g i v i i i= i= i= i=1 i= m[i,g] i=4 1 i= i= i=1 i= alese[i,g]

20 Problema rucsacului Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Euristici Constructive De îmbunătăţire

21 Branch-and-bound Principii Căutare ramificată expandarea inteligentă a unui nod din arborele de căutare Căutare mărginită căutarea se realizează între anumite limite Parcuregerea nodurilor mod special Nodurile se adaugă într-o coadă de priorităţi Criteriul de ordine pt un nod curent n f(n) = g(n) + h(n), unde g(n) distanţa de la rădăcina arborelui de căutare la nodul curent n cât a avansat căutarea h(n) o aproximare a distanţei de la nodul curent n până la soluţia finală cât mai trebuie căutat Margine inferioară (lower bound) Margine superioară (upper bound)

22 Branch-and-bound KP G = 1 i v i g i Ordonare crescătoare v i /g i i 1(4) 2 3 4(1) v i g i V valoarea obiectelor încărcate deja în rucsac G greutatea obiectelor încărcate deja în rucsac B limita (marginea) superioară a profitului care poate fi obţinut (bound) Valoarea obiectelor care ar putea fi încărcate în rucsac Valaorea obiectelor deja încărcate + valoarea obiectelor care ar mai putea fi încărcate în rucsac în paşii ulteriori PM* profitul maxim care se poate obţine cu o anumită încărcătură =maxim(min(v crt, B crt ), PM anterior ) ob1+ob2+ob3(parţial) v1+v2+(g-g1-g2)*v3/g3

23 Branch-and-bound KP pm*=pm=5

24 Branch-and-bound KP pm*=pm=5 pm*=pm=9 pm=5 pm*=9

25 Branch-and-bound KP pm=4 pm*=9

26 Branch-and-bound KP pm=9 pm*=9

27 Branch-and-bound KP pm=8 pm*=9 pm=5 pm*=9

28 Branch-and-bound KP pm=7 pm*=9 pm=4 pm*=9

29 Branch-and-bound KP pm=3 pm*=9

30 Branch-and-bound KP Soluţia ob1 şi ob2 pm=9 pm*=9

31 Problema rucsacului Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Euristici Constructive De îmbunătăţire

32 Căutare euristică Metodele de căutare deterministe (exacte) metode cu elemente aleatoare pt. evitarea blocării în optime locale euristici Avantaj Simplitate Funcţia obiectiv nu mai trebuie să respecte anumite proprietăţi (ex. diferenţiabilă) Dezavantaj Convergenţa spre soluţie este probabilistică

33 Căutare euristică Schema unui algoritm simplu (hill climbing) 1. Se porneşte cu o aproximare a soluţiei 2. Se generează o potenţială soluţie vecină cu vechea soluţie 3. Dacă se obţine o soluţie potenţială mai bună, aceasta se reţine şi se reptă pasul 2 Iniţializare x() K := Repetă generare vecin x al lui x(k) Dacă f(x ) < f(x(k)) atunci x(k+1) := x altfel x(k+1) := x(k) k := k + 1 Până când este satisfăcută o condiţie de oprire x* := x(k -1)

34 Euristici KP Euristici constructive Greedy Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs

35 Euristici KP Euristici constructive Greedy Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs

36 Greedy KP Alegerea obiectelor într-o anumită ordine i v i g i G= 9 ob1, ob2, ob4 valoare totală = 1 Nu generează întotdeauna o soluţie G = 1 i Ordonare i 1(4) 2 3 4(1) crescătoare v i v i vi/gi g i g i ob1, ob2 5 ob4, ob2 9

37 Euristici KP Euristici constructive Greedy Euristici de îmbunătăţire (improved heuristics) Simulated annealing Tabu search EAs

38 Simulated annealing Ideea de bază: Acceptarea noii ponteţiale soluţii se face cu o anumită probabilitate Sursa de inspiraţie: Procesul de reorganizare a structurii unui solid supus unui tratament termic Când solidul se încălzeşte (prin topire) particulele se distribuie aleator Când solidul se răceşte particulele se reorganizează ajungând în configuraţii cu energii tot mai mici Alte denumiri: Tratament termic simulat, călire simulată Metodă propusă de Kirkpatrick, Gelatt, Vecchi (1983), Cerny (1985)

39 Simulated annealing - algoritm Iniţializare x() K := Repetă generare vecin x al lui x(k) Dacă f(x ) < f(x(k)) atunci x(k+1) := x altfel x(k+1) := x cu probabilitatea exp(-(f(x )-f(x(k))/t) recalculează T k := k + 1 Până când este satisfăcută o condiţie de oprire soluţie x* := x(k -1) Unde T (temperatura) este un parametru de control al procesului de optimizare

40 Simulated annealing - algoritm Iniţializare x() K := Repetă generare vecin x al lui x(k) Dacă f(x ) < f(x(k)) atunci x(k+1) := x altfel u := random(, 1) dacă u < P(x(k+1)=x )=1/(1+exp(-(f(x )-f(x(k))/t)) atunci x(k+1) := x altfel x(k+1) := x(k) recalculează T k := k + 1 Până când este satisfăcută o condiţie de oprire Soluţie x* := x(k -1)

41 Simulated annealing T mare probabilitate mare de acceptare a unei configuraţii noi (căutare aleatoare) T mică probabilitate mare de acceptare doar a configuraţiilor care îmbunătăţesc funcţia obiectiv Scheme de răcire: T(k) = T() / (k + 1) T(k) = T() / ln(k + c) T(k) = a T(k-1), cu a < 1 T() de obicei se alege mare

42 Simulated annealing KP Soluţia iniţială Alegerea unui nr oarecare de obiecte Vecinătate Alegerea încă a unui obiect Funcţia obiectiv Valoarea obiectelor alese Schema de răcire a temperaturii T(k) = T() / (1 + log(k))

43 Euristici KP Euristici constructive Greedy Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs

44 Tabu search O căutare locală ghidată printr-o memorie flexibilă Soluţia următoare este cea mai bună vecină a soluţiei curente Chiar dacă s-a găsit un optim local se permite căutarea unei noi soluţii ciclarea soluţiilor rezolvată prin folosirea unei liste tabu Previne re-explorarea unei soluţii anterioare Previne execuţia unei mutări de 2 ori Nu există elemente stochastice (ca la Simulated Annealing)

45 Tabu search Iniţializare x() x*=x() K = T =Ø Repetă dacă există vecini ai lui x(k) care nu sunt tabu atunci x = cel mai bun vecin al lui x(k) care nu e tabu x(k+1) := x Dacă f(x ) < f(x*) atunci x* := x k := k + 1 update tabu list T altfel stop Până când este satisfăcută o condiţie de oprire Soluţie x*

46 Tabu search KP Soluţia iniţială Reprezentată ca un vector de n biţi obiect neales 1 obiect ales Nici un obiect ales Vecinătate alegerea/renunţarea la un obiect x(k) = = x Funcţia obiectiv Valoarea asociată obiectelor alese Lista tabu Soluţiile deja generate!!! Spaţiu mare!!!!

47 Euristici KP Euristici constructive Greedy Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search Algoritmi evolutivi

48 Algoritmi evolutivi Algoritmi Inspiraţi din natură (biologie) Iterativi Bazaţi pe populaţii de potenţiale soluţii căutare aleatoare ghidată de Operaţii de selecţie naturală Operaţii de încrucişare şi mutaţie Care procesează în paralel mai multe soluţii Metafora evolutivă Evoluţie naturală Individ Populaţie Cromozom Genă Fitness (măsură de adaptare) Încrucişare şi mutaţie Mediu Rezolvarea problemelor Soluţie potenţială (candidat) Mulţime de soluţii Codarea (reprezentarea) unei soluţii Parte a reprezentării Calitate Operatori de căutare Spaţiul de căutare al problemei

49 Algoritmi evolutivi Initializare populaţie P() Evaluare P() g := ; //generaţia CâtTimp (not condiţie_stop) execută Repetă Selectează 2 părinţi p1 şi p2 din P(g) Încrucişare(p1,p2) =>o1 şi o2 Mutaţie(o1) => o1* Mutaţie(o2) => o2* Evaluare(o1*) Evaluare(o2*) adăugare o1* şi o* în P(g+1) Până când P(g+1) este completă g := g + 1 Sf CâtTimp Selecţie pentru perturbare Populaţie (părinţi) Încrucişare Selecţie de supravieţuire Mutaţie Populaţie (urmaşi)

50 Algoritmi evolutivi KP Reprezentare Cromozomul = un şir de n biţi 1 obiectul a fost ales obiectul nu a fost ales Fitness Valoarea obiectelor alese max Greutatea rucsacului greutatea obiectelor alese min Iniţializare Generare aleatoare de n biţi Încrucişare Cu punct de tăietură Mutaţie Negarea unui (unor) bit/biţi Tare sau slabă

51 Problema comisului voiajor Formularea problemei şi exemple Tipologie Algoritmi de rezolvare Complexităţi

52 Problema comisului voiajor Formularea problemei şi exemple Se dă un graf (neorientat) (complet), în care cele n vârfuri (V) sunt considerate oraşe, iar muchiile (E) drumuri între oraşe (fiecare muchie are asociat un cost). Să se găsească cel mai scurt drum care vizitează o singură dată toate oraşele şi se întoarce în oraşul de start ciclu Hamiltonian Dificultate NP-dificilă Interes: Problemă de referinţă pentru testarea ideilor Denumiri Travelling Salesman Problem (TSP) Canadian Traveller Problem Vehicle routing problem Route inspection problem

53 Problema comisului voiajor De ce? Problemă conceptual simplă Problemă dificil de rezolvat Problemă intens cercetată Problemă care apare în diverse aplicaţii

54 Problema comisului voiajor Instanţe de referinţă Consideraţii generale Metrica frecvent folosită distanţa Euclideană Distanţele - numere întregi Instanţe TSPLIB Peste 1 instanţe cu până la 859 de oraşe Anumite instanţe sunt preluate din aplicaţii practice Instanţe din proiectarea circuitelor VLSI (Very Large Scale Integration) Împachetarea a cât mai multe dispozitive logice pe suprafeţe cât mai mici Instanţe generate aleator (grupate şi uniforme) 8th DIMACS challenge

55 Problema comisului voiajor Tipologie Tipul grafului problema simetrică graf neorientat nr soluţiilor se înjumătăţeşte problema asimetrică graf orientat coliziuni în trafic străzi cu sens unic Tipul distanţelor între 2 noduri metrică inegalitatea triunghiului c ij < c ik + c kj distanţă Euclidiană distanţă Manhattan non-metrică Ex. Traficul aerian

56 Problema comisului voiajor Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Programare liniară Euristici Constructive De îmbunătăţire

57 Problema comisului voiajor Algoritmi Exacţi Forţa brută Programare dinamică Branch-and-bound Programare liniară Euristici Constructive De îmbunătăţire

58 Forţa brută Alte denumiri Căutare exhaustivă Generează şi testează Mod de lucru 1. Se generează o potenţială soluţie 2. Se evaluează această potenţială soluţie 3. Se verifică dacă costul curent este mai bun decât costul precedent Dacă da, se reţine această soluţie 4. Se revine la pasul 1

59 Forţa brută TSP alegerea permutării optime Algoritm 1. Se generează o permutare 2. Se dermină costul asociat ei 3. Se verifică dacă costul curent este mai bun decât costul precedent Dacă da, se reţine această soluţie 4. Se revine la pasul 1

60 Problema comisului voiajor Algoritmi Exacţi Forţa brută alegerea permutării optime Programare dinamică Branch-and-bound Programare liniară Euristici Constructive De îmbunătăţire

61 Programare dinamică Principii Principiul optimalităţii Optimul general implică optimele parţiale Optimul parţial nu implică optimul general Mod de lucru Descompunerea problemei în subprobleme Se rezolvă mai întâi subproblemele care pot fi soluţionate imediat Se combină aceste soluţii parţiale, obţinând astfel soluţii la problemele de pe niveluri superioare (din arborele de descompunere)

62 Programare dinamică TSP Dându-se o submulţime S de noduri din V cu 1 є S şi j є S, j 1, se consideră C(S, j) lungimea celui mai scurt drum de la nodul 1 la nodul j care trece prin toate nodurile din S Observaţii Dacă S = 2, atunci C(S, k) = d 1,k pentru k = 2, 3,..., n Dacă S > 2, atunci există m є S {k} a.î. C(S, k) = lungimea turului optim de la 1 la m + d m,k Definiţia recusrsivă a soluţiei optime C(S, k) = d 1,m dacă S = {1, k} min m k, mєs [C(S {k},m) + d m, k ], altfel

63 Programare dinamică TSP function algorithmtsp(g, n) for k = 2 to n do C({i, k}, k) := d 1,k end for for s = 3 to n do for all S from {1, 2,..., n} with S = s do for all k є S do C(S, k) = min m k,m є S [C(S {k},m) + d m,k ] opt := min k 1 [C({1, 2, 3,..., n}, k) + d 1,k end for end for end for; return (opt) end

64 Programare dinamică TSP Complexitate: Temporală Spaţială!) ( ) 2 ( ~ 1) 2( 2 1) ( n n n k n n n n k ) 2 ( ~ 1)2 ( n k n n n n k n k

65 Problema comisului voiajor Algoritmi Exacţi Forţa brută alegerea permutării optime Programare dinamică Branch-and-bound Programare liniară Euristici Constructive De îmbunătăţire

66 Branch-and-bound Principii Căutare ramificată expandarea inteligentă a unui nod din arborele de căutare Căutare mărginită căutarea se realizează între anumite limite Parcuregerea nodurilor mod special Nodurile se adaugă într-o coadă de priorităţi Criteriul de ordine pt un nod curent n f(n) = g(n) + h(n), unde g(n) distanţa de la rădăcina arborelui de căutare la nodul curent n cât a avansat căutarea h(n) o aproximare a distanţei de la nodul curent n până la soluţia finală cât mai trebuie căutat Margine inferioară (lower bound) Margine superioară (upper bound)

67 Branch-and-bound TSP Configuraţia iniţială toate muchiile grafului Expandarea considerarea (includerea sau nu) unei muchii Configuraţia finală ciclul cel mai scurt

68 Branch-and-bound TSP Lower bound ½ din lungimea turului format din cei mai apropiaţi 2 vecini ai fiecărui nod Condiţii la ramificare Dacă excluderea unei muchii determină apariţia unor noduri cu mai puţin de 2 vecini se renunţă la excludere Dacă adăugarea unei muchii determină apariţia unor noduri cu mai mult de 2 vecini se renunţă la adăugare Dacă LB-ul unui nod-fiu e LB-ul nodului-părinte, nodulfiu nu mai merită explorat ( pruned ) Dacă avem doi fii de explorat, primul va fi explorat cel cu LB-ul mai mic (coadă de priorităţi)

69 Branch-and-bound TSP

70 Branch-and-bound TSP Se construieşte turul progresiv LB = lungimea turului parţial + muchia cea mai scurtă care iasă din ultimul nod al turului parţial + cele mai scurte muchii care iasă din restul nodurilor (care nu fac parte din turul parţial) Turul minim iniţial = Dacă LB < turul minim curent nod promiţător (se depune în coadă) Dacă LB turul minim şi s-a găsit deja un tur potenţial se renunţă la explorarea căii respective (în arborel de căutare prune)

71 B&B TSP A Tur parţial 1 LB = 4+( )=21 LB < Tur minim =

72 B&B TSP B Tur parţial 1,2 LB = 14+( )=31 C Tur parţial 1,3 LB = 21 D Tur parţial 1,4 LB = 27 E Tur parţial 1,5 LB = 37 LB minim = 21 următorul nod explorat: C Coada: A(21) C(21) D(27) B(31) E(37)

73 B&B TSP F Tur parţial 1,3,2 LB = 22 G Tur parţial 1,3,4 LB = 23 H Tur parţial 1,3,5 LB = 33 LB minim = 22 următorul nod explorat: F Coada: A(21) C(21) F(22) G(23) D(27) B(31) H(33) E(37)

74 B&B TSP L Tur parţial 1,3,2,4 = 1,3,2,4,5,1 Lungime = 37 M Tur parţial 1,3,2,5=1,3,2,5,4,1 Lungime = LB minim = 23 următorul nod explorat: G Coada: A(21) C(21) F(22) G(23) D(27) B(31) M(31) H(33) E(37) L(37)

75 B&B TSP N Tur parţial 1,3,4,2 = 1,3,4,2,5,1 Lungime = 43 O Tur parţial 1,3,4,5=1,3,4,5,2,1 Lungime = LB minim = 27 următorul nod explorat: D Coada: A(21) C(21) F(22) G(23) D(27) B(31) M(31) H(33) O(34) E(37) L(37) N(43)

76 B&B TSP I Tur parţial 1,4,2 LB = 32 J Tur parţial 1,4,3 LB = 34 K Tur parţial 1,4,5 LB = LB minim = 27 următorul nod explorat: K Coada: A(21) C(21) F(22) G(23) D(27) K(27) B(31) I(32) M(31) H(33) J(34) E(37) L(37)

77 B&B TSP P Tur parţial 1,4,2,5=1,4,2,5,3,1 Lungime = 3 Q Tur parţial 1,4,5,3=1,4,5,3,2,1 Lungime = 48 LB minim = S-a găsit un tur de lungime 3 B nu mai merită explorat (se elimină din coadă) Restul nodurilor nu mai merită cercetate (LB > turul minim) Coada: A(21) C(21) F(22) G(23) D(27) K(27) B(31) I(32) M(31) H(33) J(34) E(37) L(37)

78 Problema comisului voiajor Algoritmi Exacţi Forţa brută alegerea permutării optime Programare dinamică Branch-and-bound Programare liniară Euristici Constructive De îmbunătăţire

79 Programare liniară - TSP dex.html

80 Algoritmi Exacţi Forţa brută alegerea permutării optime Programare dinamică Branch-and-bound Programare liniară Euristici Constructive De îmbunătăţire

81 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Euristici de îmbunătăţire (improved heuristics) Simulated annealing Tabu search EAs ACO

82 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Euristici de îmbunătăţire (improved heuristics) Simulated annealing Tabu search EAs ACO

83 Cel mai apropiat vecin Ordonarea crescătoare a muchiilor Alegerea celei mai scurte muchii, cu condiţiile orice vârf să aibă maxim 2 vecini să nu se formeze cicluri cu mai puţin de n muchii Complexitatea O(n 2 log n) Folosirea arborilor k dimensionali (kd trees) şi a unei cozi de priorităţi pentru reţinerea muchiilor O(n log n) Problemă nu găseşte soluţia optimă întotdeauna

84 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Euristici de îmbunătăţire (improved heuristics) Simulated annealing Tabu search EAs ACO

85 Căutare locală Se porneşte cu un ciclu oarecare Se modifică ciclul prin operaţii de schimbare de noduri ABCDEF AECDBF inserţie de nod ABCDEF ADBCEF schimbare de k muchii (k = 2) în vederea obţinerii unui ciclu mai bun (scurt)

86 Căutare locală Euristici bazate pe schimbul a k elemente noduri muchii Vecinătăţi complexe algoritmul Lin-Kernighan & versiuni

87 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs ACO

88 Algoritmul lui Christofides TSP în graf complet G şi care respectă ingealitatea triunghiului Algoritm Se creează arborele de acoperire minimă (A) al lui G Notând cu I mulţimea nodurilor din A de grad impar, se găseşte o potrivire perfectă P cu muchii de lungimi minime în graful G peste nodurile din I Se combină muchiile din P şi A formând un multigraf H Se formează un circuit Eulerian în H (H este Eulerian pt că este conect şi format doar din noduri de grad par) Se transformă circuitul Eulerian într-unul Hamiltonian prin sărirea nodurilor deja vizitate (shortcutting).

89 Algoritmul lui Christofides c a b d f e g h

90 Algoritmul lui Christofides Presupunem următorul graf cu distanţe Euclidiene între noduri c a b d f e g h

91 Algoritmul lui Christofides Se creează arborele de acoperire minimă (A) al lui G Algoritmul lui Prim Se pleacă dintr-un nod şi se aleg pe rand cei mai apropiaţi vecini ai nodurilor deja vizitate a.î. să nu se formeze cicluri până se ajunge la o componentă conexă Algoritmul lui Kruskal Se aleg pe rând muchiile de cost minim a.î. să nu se formeze cicluri până se ajunge la o componentă conexă a d e b f g c h

92 Algoritmul lui Christofides Notând cu I mulţimea nodurilor din A de grad impar, se găseşte o potrivire perfectă P cu muchii de lungimi minime în graful G peste nodurile din I a d e e b f g b f g c c h h

93 Algoritmul lui Christofides Se combină muchiile din P şi A formând un multigraf H a d e e b f g b f g c c h h a d e b f g c h

94 Algoritmul lui Christofides Se formează un circuit Eulerian în H (H este Eulerian pt că este conect şi format doar din noduri de grad par) a d a d e e b f g b f g c c h h

95 Algoritmul lui Christofides Se transformă circuitul Eulerian într-unul Hamiltonian prin sărirea nodurilor deja vizitate (shortcutting). a d a d e e b f g b f g c c h h

96 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs ACO

97 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs ACO

98 Simulated annealing Ideea de bază: Acceptarea noii ponteţiale soluţii se face cu o anumită probabilitate Sursa de inspiraţie: Procesul de reorganizare a structurii unui solid supus unui tratament termic Când solidul se încălzeşte (prin topire) particulele se distribuie aleator Când solidul se răceşte particulele se reorganizează ajungând în configuraţii cu energii tot mai mici Alte denumiri: Tratament termic simulat, călire simulată Metodă propusă de Kirkpatrick, Gelatt, Vecchi (1983), Cerny (1985)

99 Simulated annealing - algoritm Iniţializare x() K := Repetă generare vecin x al lui x(k) Dacă f(x ) < f(x(k)) atunci x(k+1) := x altfel x(k+1) := x cu probabilitatea exp(-(f(x )-f(x(k))/t) recalculează T k := k + 1 Până când este satisfăcută o condiţie de oprire soluţie x* := x(k -1) Unde T (temperatura) este un parametru de control al procesului de optimizare

100 Simulated annealing - algoritm Iniţializare x() K := Repetă generare vecin x al lui x(k) Dacă f(x ) < f(x(k)) atunci x(k+1) := x altfel u := random(, 1) dacă u < P(x(k+1)=x )=1/(1+exp(-(f(x )-f(x(k))/t)) atunci x(k+1) := x altfel x(k+1) := x(k) recalculează T k := k + 1 Până când este satisfăcută o condiţie de oprire Soluţie x* := x(k -1)

101 Simulated annealing T mare probabilitate mare de acceptare a unei configuraţii noi (căutare aleatoare) T mică probabilitate mare de acceptare doar a configuraţiilor care îmbunătăţesc funcţia obiectiv Scheme de răcire: T(k) = T() / (k + 1) T(k) = T() / ln(k + c) T(k) = a T(k-1), cu a < 1 T() de obicei se alege mare

102 Simulated annealing TSP Soluţia iniţială un ciclu Hamiltonian (o permutare a celor n oraşe) Vecinătate Transformare 2-opt a unei permutări x(k) = ABCFEDG ABCFEDG ABCDEFG = x Funcţia obiectiv Costul asociat unui ciclu Schema de răcire a temperaturii T(k) = T() / (1 + log(k))

103 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs ACO

104 Tabu search O căutare locală ghidată printr-o memorie flexibilă Soluţia următoare este cea mai bună vecină a soluţiei curente Chiar dacă s-a găsit un optim local se permite căutarea unei noi soluţii ciclarea soluţiilor rezolvată prin folosirea unei liste tabu Previne re-explorarea unei soluţii anterioare Previne execuţia unei mutări de 2 ori Nu există elemente stochastice (ca la Simulated Annealing)

105 Tabu search Iniţializare x() x*=x best =x() K = T =Ø Repetă dacă există vecini ai lui x(k) care nu sunt tabu atunci x = cel mai bun vecin al lui x(k) care nu e tabu x(k+1) := x Dacă f(x ) < f(x*) atunci x* := x k := k + 1 update tabu list altfel stop Până când este satisfăcută o condiţie de oprire Soluţie x*

106 Tabu search TSP Soluţia iniţială un ciclu Hamiltonian (o permutare a celor n oraşe) Vecinătate Transformare 2-opt a unei permutări x(k) = ABCFEDG ABCFEDG ABCDEFG = x Funcţia obiectiv Costul asociat unui ciclu Lista tabu Muchiile noi (2) care au intrat în soluţie într-o iteraţie Muchiile care au intrat in lista tabu nu pot fi eliminate din soluţie

107 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs ACO

108 Algoritmi evolutivi Algoritmi Inspiraţi din natură (biologie) Iterativi Bazaţi pe populaţii de potenţiale soluţii căutare aleatoare ghidată de Operaţii de selecţie naturală Operaţii de încrucişare şi mutaţie Care procesează în paralel mai multe soluţii Metafora evolutivă Evoluţie naturală Individ Populaţie Cromozom Genă Fitness (măsură de adaptare) Încrucişare şi mutaţie Mediu Rezolvarea problemelor Soluţie potenţială (candidat) Mulţime de soluţii Codarea (reprezentarea) unei soluţii Parte a reprezentării Calitate Operatori de căutare Spaţiul de căutare al problemei

109 Algoritmi evolutivi Initializare populaţie P() Evaluare P() g := ; //generaţia CâtTimp (not condiţie_stop) execută Repetă Selectează 2 părinţi p1 şi p2 din P(g) Încrucişare(p1,p2) =>o1 şi o2 Mutaţie(o1) => o1* Mutaţie(o2) => o2* Evaluare(o1*) Evaluare(o2*) adăugare o1* şi o* în P(g+1) Până când P(g+1) este completă g := g + 1 Sf CâtTimp Selecţie pentru perturbare Populaţie (părinţi) Încrucişare Selecţie de supravieţuire Mutaţie Populaţie (urmaşi)

110 Algoritmi evolutivi TSP Reprezentare Cromozomul = o permutare de n elemente Fitness Lumgimea ciclului codat de permutare Iniţializare Permutarea identică + interschimbări de elemente Încrucişare Cu punct de tăietură + corecţii Operatorul PMX Goldberg (Alleles, loci, and the TSP) Mutaţie Interschimbare de elemente

111 Euristici TSP Euristici constructive Cel mai apropiat vecin + greedy casestudyjohnson.pdf Local search Algoritmul lui Christofides spanning tree Improved heuristics (euristici de îmbunătăţire) Simulated annealing Tabu search EAs ACO

112 ACO Preferinţa pentru drumuri cu nivel ridicat de feromon Pe drumurile scurte feromonul se înmulţeşte Furnicile comunică pe baza urmelor de feromon

113 ACO TSP Algoritm m furnicuţe sunt plasate în r oraşe alese aleator La fiecare pas, furnicile se deplasează într-un oraş nou modificând feromonul de pe drumul (muchia) respectiv(ă) modificare locală a urmei memorând oraşele prin care au trecut alegerea noului oraş se bazează pe cantitatea de feromon de pe drumul care urmează a fi parcurs DP importanţa feromonui de pe drumul care urmează a fi parcurs DP lungimea drumului care urmează a fi parcurs IP Când toate furnicuţele au trecut prin toate oraşele, furnicuţa care a parcurs cel mai scurt drum mai modifică o dată feromonum de pe drumul ei modificarea globală a urmei recompensarea ciclurilor scurte

114 Cursul următor Instruire automata (Machine Learning - ML) introducere in domeniul ML tipuri de probleme metodologia rezolvării unei probleme cu ajutorul unui algoritm de ML aprecierea performanţelor unui algoritm de ML De citit: S.J. Russell, P. Norvig Artificial Intelligence - A Modern Approach capitolul 18, 19, 2 Documentele din directoarele: ML, classification, clustering