RAPORTUL STIINTIFIC SI TEHNIC FAZA DE EXECUTIE NR. 2

Transcription

1 RAPORTUL STIINTIFIC SI TEHNIC FAZA DE EXECUTIE NR. 2 CU TITLUL Schitarea unei noi paradigme RAPORTUL STIINTIFIC SI TEHNIC

2 1.1. Cuprins 1.2. Obiective generale Obiectivele fazei de executie Rezumatul fazei Descriere stiintifica si tehnica Argumente pentru schimbarea de paradigma in modelarea complexitatii 7 Schita noii paradigme Noi concepte si modele ale complexitatii propuse si dezvoltate de echipa 7 proiectului in faza raportata Complexitatea invatarii traiectoriei sistemelor dinamice prin exemple Modele neconventionale in probleme complexe de mari dimensiuni. Invatare si cautare locala Modelul adversarial de activare in dinamica sistemelor complexe Identificarea impactului topologiei spatiului solutiilor asupra complexitatii temporale a algoritmilor de cautare Analiza datelor complexe. Noi modele de masini cu suport vectorial Noi modele evolutive de cautare si optimizare. Modele distribuite spatial Elaborarea de modele ale dinamicii sistemelor complexe. Studiul aspectului temporal Generalizarea unor modele din fizica statistica in automate celulare si in retele complexe Dinamica populatiilor in modele distribuite spatial Comportament haotic in retele neuronale Aspecte temporale ale dinamicii balantei sociale Modelul dinamicii bazat pe inteligenta roiurilor (swarm intelligence) Analiza statistica a dinamicii populatiei corespunzatoare unei clase de algoritmi evolutivi Identificarea de probleme practice semnificative de mare complexitate. Studii de caz Probleme neseparabile cu numar foarte mare de variabile Cautare/optimizare competitiva pentru probleme complexe. Studii de caz Optimizare multimodala evolutiva. Studii de caz Modele distribuite spatial. Experimente numerice si studii de caz Identificarea topologiei spatiului de cautare in probleme complexe Metaeuristici hibride. Experimente numerice in cazul optimizarii functiilor cu numar mare de variabile... 17

3 Clasificare si clustering. Studii de caz Identificarea starii de energie minima in sistemele de tip Ising Spin Glass Modelarea seriilor de timp. Studii de caz Modelarea unor fenomene biologice si analiza datelor medicale Utilizarea retelelor neuronale cu comportament haotic in criptografie. Studiu de caz Clasificarea nesupervizata a documentelor electronice. Studiu de caz Anexe Concluzii Referinte Lucrari publicate in cadrul fazei de catre echipa proiectului Alte referinte 29

4 1.2 Obiective generale Obiectivele proiectului pot fi sumarizate astfel: Ob1. Investigarea paradigmelor actuale in studiul complexitatii Ob2. Analiza aspectelor dinamice in studiul complexitatii Ob3. Studiul invatarii si auto-organizarii in sisteme complexe si in sisteme complexe dinamice Ob4. Dezvoltarea unui cadru general, flexibil si usor de utilizat pentru selectia si aplicarea inteligenta a metaeuristicilor inspirate de natura problemelor reale Ob5. Proiectarea de noi modele evolutive pentru rezolvarea problemelor complexe Ob6. Dezvoltarea studiilor de caz Ob7. Dezvoltarea de aplicatii pentru scenarii complexe din lumea reala Ob8. Diseminarea rezultatelor 1.3. Obiectivele fazei de executie Aceasta faza de executie are ca obiectiv principal schitarea unei noi paradigme si poate fi asociata cu obiectivele generale Ob3, Ob4, Ob5 si Ob6: Studiul invatarii si auto-organizarii in sisteme complexe si in sisteme complexe dinamice Dezvoltarea unui cadru general, flexibil si usor de utilizat pentru selectia si aplicarea inteligenta a MIN problemelor reale Proiectarea de noi modele evolutive pentru rezolvarea problemelor complexe Dezvoltarea studiilor de caz Realizarea acestui obiectiv general al fazei a fost urmarita prin urmatoarele activitati: Argumente pentru schimbarea de paradigma in modelarea complexitatii Schita noii paradigme Identificarea de probleme practice semnificative de mare complexitate Studiul aspectului temporal Elaborarea de modele ale dinamicii sistemelor complexe Studii de caz

5 1.4. Rezumatul fazei A. In cadrul acestei etape echipa proiectului a realizat- conform obiectivelor fazei 2- studii teoretice si experimente numerice privind o noua abordare a complexitatii. Aceste studii au vizat in principal aspecte ale comportarii sistemelor dinamice vazute atat ca modele teoretice dar si ca modele computationale asociate unor probleme complexe precum si aspecte legate de probleme practice a caror rezolvare ridica dificultati metodelor traditionale. In acest context au fost obtinute rezultate privind: Inferenta prin invatare din exemple a unor limbaje de tip Lindenmayer asociate comportarii unui sistem dinamic. Utilizarea mecanismelor de invatare nesupervizata utilizate in retelele neuronale cu auto-organizare pentru identificarea corelatiilor dintre variabilele ce apar in probleme de optimizare cu numar mare de variabile. Convergenta algoritmilor de cautare locala si complexitatea algoritmilor evolutivi. Analiza topologiei spatiului solutiilor in cazul problemelor de optimizare. In cazul problemelor de optimizare combinatoriala a fost analizat impactul topologiei asupra complexitatii temporale a algoritmilor de cautare iar in cazul problemelor de optimizare continue au fost identificate strategii de localizare a optimelor multiple. Caracterul asincron al activarii in sisteme complexe si al proceselor de cautare evolutive. Au fost puse in evidenta atat comportamente interesante din punct de vedere matematic cat si avantaje din punct de vedere computational. Modele de cautare evolutiva bazate pe distribuirea spatiala a elementelor populatiei si procese de colaborare intre subpopulatii. Au fost identificate diferite tipuri de comportament si intervale de valori pentru parametrii de control care conduc la un anumit comportament. Dinamica populatiei in algoritmii de tip Differential Evolution si alti algoritmi aleatori inruditi. A fost analizat impactul diferitilor operatori de incrucisare asupra comportarii algoritmilor de acest tip si au fost obtinute rezultate teoretice care confirma observatiile experimentale. Comportamentul haotic al unor retele neuronale cu dinamica discreta constituite din neuroni cu intarziere; a fost analizat atat cazul retelelor constituite din doi neuroni cat si a celor constituite din n neuroni interconectati in conformitate cu o topologie de tip inel. Modelarea retelei de reglare corespunzatoare procesului de coagulare a sangelui. Spre deosebire de modelele studiate pana in prezent care tratau separat calea intrinseca si cea extrinseca de reglare a procesului de coagulare, modelul propus trateaza simultan cele doia cai iar rezultatele numerice obtinute sunt in concordanta cu rezultatele experimentale. B. Au fost efectuate studii de caz privind: Rezolvarea problemelor de optimizare cu numar mare de variabile neseparabile. In acest context a fost analizata eficacitatea atat a strategiilor de descoperire a

6 corelatiilor intre variabile cat si a unor variante hibride care implica algoritmi de tip Harmony Search. Rezolvarea problemelor de optimizare cu numar mare de optime locale. In acest sens au fost propuse imbunatatiri ale algoritmilor de tip cromodinamica genetica. Dificultatile ridicate de analiza datelor complexe. Problemele vizate au fost: clasificare, grupare nesupervizata, predictie in serii de timp dinamice, extragere de reguli din date. In acest sens au fost investigate noi modele de masini cu suport vectorial, a fost propusa o strategie evolutiva de identificare a punctelor de schimbare a modelului in seriile temporale, a fost propusa o metoda de preprocesare pentru clustering bazata pe o tehnica de tip particle swarm optimization si au fost analizate particularitatile algoritmilor evolutivi de optimizare multicriteriala pentru extragerea regulilor (clasificare, predictie, asociere) din date. Identificarea starii de energie minima in sistemele de spini magnetici. Studiul de caz a condus la dezvoltarea unei noi modalitati de reprezentare si a unor noi operatori genetici a caror aplicare a condus la rezultate competitive in raport cu alte metode. Utilizarea retelelor neuronale cu comportare haotica in criptografie, in particular in criptarea imaginilor digitale. Problemele ce intervin in proiectarea unui sistem de clasificare a colectiilor voluminoase de documente electronice. Au fost efectuate teste pe colectii de date utilizand un algoritm de clasificare nesupervizata de tip Adaptive Resonance Theory. C. Au fost identificate problemele deschise si directiile de cercetare pentru faza urmatoare. D. Pe baza rezultatelor obtinute s-au publicat mai mult de 20 de articole ISI in jurnale internationale si in lucrarile unor importante conferinte internationale si un capitol de carte. Rezultatele raportate au fost bine primite de comunitatea stiintifica. Alte lucrari au fost acceptate pentru publicare in reviste internationale sau sunt in curs de evaluare. Au fost sustinute trei teze de doctorat si au fost elaborate sapte lucrari de dizertatie corelate cu tematica proiectului. Studentii doctoranzi au facut 14 prezentari la doua scoli de vara cu tematici corelate cu tematica proiectului (una in tara si una in strainatate). Membrii echipei au sustinut conferinte invitate in cadrul unor scoli de vara sau conferinte internationale. E. Consortiul s-a consolidat prin organizarea cu participarea efectiva a tuturor partenerilor a doua manifestari stiintifice: Scoala de vara doctorala Doctoral Intensive Summer School on Meta-Heuristics in Optimisation and in Intelligent Data Analysis organizata la Iasi in iunie 2008 [ ~summerschool/] si workshopul Natural Computing and Applications organizat la Timisoara in septembrie 2008 [

7 1.5. Descrierea stiintifica si tehnica In cadrul proiectului am realizat studiul aspectelor temporale ale dinamicii sistemelor complexe centrat pe urmatoarele directii de cercetare: Argumente pentru schimbarea de paradigma in modelarea complexitatii Schita noii paradigme Noi concepte si modele ale complexitatii propuse si dezvoltate de echipa proiectului in faza raportata Rezultatele recente din literatura de specialitate au aratat ca exista metode eficiente pentru rezolvarea problemelor complexe cu un numar foarte mare de variabile, chiar si in medii influentate de zgomot, dar care sunt separabile (Sastry et al., 2007). Insa abordarea problemelor complexe non-separabile cu sute de mii sau milioane de variabile ar necesita terabytes de memorie (Yu et al., 2007; Pelikan et al., 2000). De exemplu, metodele ce estimeaza distributiile solutiilor si construiesc modele ajutatoare necesita foarte multe evaluari de solutii si populatii foarte mari pentru a putea garanta corectitudinea solutiilor. Abordarea problemelor complexe non-separabile, cu milioane de variabile se dovedeste astfel a fi o provocare pentru dezvoltarea unor noi tehnici de optimizare. Aceste tehnici trebuie sa fie foarte eficiente in ceea ce priveste memoria necesara si constructia/detectarea modulelor care trebuie combinate. In acest sens s-a propus incorporarea de technici de invatare automate supervizate si nesupervizate bazate pe retele neuronale artificiale (ANN) in procesul de cautare evolutiva, pentru a putea detecta variabile puternic interdependente (Iclanzan, Dumitrescu, 2008a). Costul includerii acestor technici e relativ mic, complexitatea in termeni de stocare (memorie) si constructia modelului fiind maxim liniara in numarul de variabile ale problemei. Optimizarea evolutiva a proceselor care apar in cadrul unor sisteme complexe a fost abordata pornind de la principiile si dinamicile modelului Ising. Au fost studiate atat retelele complexe, precum si retelele de tip Scale-Free, dezvoltate de Albert Barabasi Complexitatea Invatarii Traiectoriei Sistemelor Dinamice prin exemple. Problema invatarii dinamicii unui sistem complex este una din problemele de maxima importanta in studiul/predictia acestor sisteme. Un model acceptat in teoria invatarii computationale este modelul invatarii prin exemple. Prin urmare in (Istrate 2008b) am considerat problema invatarii prin exemple a traiectoriilor unui sistem dinamic. In general aceasta problema nu poate fi rezolvata algoritmic, chiar daca ne limitam la cazul Dinamicii Simbolice, pentru care metodele discrete din informatica sunt aplicabile. Intr-adevar exista sisteme dinamice pentru care limbajul asociat multimii traiectoriilor nu poate fi recunoscut de o Masina Turing. Pentru cele mai putin complexe tipuri de sisteme dinamice, acelea pentru care limbajul asociat este regulat, problema invatarii este rezolvabila prin rezultatele clasice ale lui Angluin. Clasa acestor sisteme dinamice este relativ limitata si este descrisa in literatura de specialitate. In (Istrate 2008b) studiem problema inferentei unei clase de limbaje mai largi decat cea a limbajelor regulate: familia limbajelor Lindenmayer. Relevanta acestei familii pentru studiul sistemelor complexe provine din faptul ca o serie de operatii fizice asupra sistemelor dinamice (de exemplu operatia de renormalizare, operatori de compozitie,etc) conduc in mod natural la sisteme Lindenmayer. Rezultatul din (Istrate 2008b) arata faptul ca familia gramaticilor de tip Lindenmayer poate fi invatata din exemple

8 structurate. Acest tip de exemple (si rezultatul nostru) au o relevanta fizica evidenta: in general exista mai multe gramatici care genereaza acelasi limbaj. Invatarea din exemple structurate revine la invatarea mecanismelor care conduc la limbaje de tip Lindenmayer, si nu doar a limbajelor asociate unui sistem dinamic Modele neconventionale in probleme complexe de mari dimensiuni Invatare si cautare locala Cadrul de cautare locala bazata pe modele propus in (Iclanzan, Dumitrescu, 2007) a fost mai departe extins in (Iclanzan, Dumitrescu, 2008c). Acesta include un mecanism de invatare si constructie de modele online. Harti auto-organizatorice (SOM - retele Kohonen), bazate pe paradigma invatarii competitive sunt instruite online pentru a acumula experienta de cautare. Aceasta experienta este exploatata odata cu convergenta retelei: hartile SOM au capabilitatea sa invete automat topologia unui spatiu sau a unei multimi prezentata la intrarea retelei. Legatura dintre variabile si structura problemei poate fi astfel detectata. Metoda propusa, Online Model Based Local-Search (OMBLS), foloseste o structura de vecinatate adaptiva (dinamica), care faciliteaza operatiile direct pe module. Marele avantaj al invatarii online (in plus fata de cerintele mici de memorie), e faptul ca invatarea e un proces automat. Astfel, nu este nevoie de cautarea si evaluarea repetata a unui model, ca in metodele clasice bazate pe populatii Modelul adversarial de activare in dinamica sistemelor complexe Activarea asincrona ocupa un rol important in determinarea proprietatilor dinamice ale modelelor matematice (sau computationale de tip multiagent) ale dinamicii sociale, influentand in mod decisiv convergenta/timpul de convergenta al acestor dinamici. In lucrarea (Istrate 2008a) propunem modelul adversarial de activare drept o varianta de analiza a proprietatilor unui sistem multiagent (matematic sau computational). Scopul acestei analize este sa decupleze specificarea ordinii de activare de specificarea celorlaltor proprietati ale sistemului, urmarind o intelegere a cauzelor/factorilor care induc un anumit rezultat. Intentia este de a mari robustetea acestor rezultate, contribuind la verificarea si validarea acestui tip de modele. In (Istrate 2008a) prezentam filosofia acestei metode, impreuna cu un model matematic simplu, construit intr-o maniera bottom-up, pentru exemplificare. In (Istrate et al. 2008) analizam un model mai complicat, bazat pe o dinamica aleatoare, intalnit in literatura din domeniul Inteligentei artificiale, precum si in cea din domeniul Lanturilor Markov cu amestecare rapida. Scopul acestui rezultat este sa arate ca modelul adversarial de activare poate conduce la dinamici matematic interesante si netriviale. In sfarsit, in (Istrate 2008c) studiem intr-un cadru adversarial celebrul model al segregarii definit de Thomas Schelling. Concluzia acestei analize este ca pentru validitatea rezultatului din cazul activarii aleatoare determinanta este capacitatea activatorului de a alege urmatorul nod activat bazat pe starea sistemului Identificarea impactului topologiei spatiului solutiilor asupra complexitatii temporale a algoritmilor de cautare. O directie de cercetare subsumata acestei directii (Percus, Istrate et al 2008), (Istrate 2008c) priveste modul in care structura spatiului solutiilor unor probleme combinatoriale este corelata cu complexitatea temporala a algoritmilor de rezolvare. O paradigma din domeniul Mecanicii Statistice este asa-numita metoda a replicilor. Una din problemele clasice care a rezistat pana acum aplicarii acestei metode este problema bisectiei unui graf aleator, mai precis cazul grafurilor rare (cu numar liniar de muchii). In (Percus, Istrate et al. 2008) am obtinut o noua margine superioara pentru largimea de bisectie a unui graf aleator prin definirea si analiza unui algoritm numit Core Peeling. In lucrare mai prezentam evidenta experimentala ca structura spatiului fazelor problemei este descrisa de asa numita presupunere de simetrie a replicilor in jurul tranzitiei de faza. Acest lucru este corelat cu faptul ca problema bisectiei grafurilor aleatoare este rezolvabila relativ

9 usor cu ajutorul algoritmilor de tipul optimizare extremala si constituie un prim exemplu de problema in care am avea simetrie a replicilor dincolo de punctul in care costul devine pozitiv. De asemenea, in (Istrate 2008c) studiem o alta problema NP-completa care din punctul de vedere al complexitatii in medie este usor de rezolvat: problema 1-in-k satisfiabilitatii. Tranzitia de faza a acestei probleme este cunoscuta riguros si este in aceeasi clasa cu a problemei 2-satisfiabilitatii (pentru care simetria replicilor este demonstrata riguros). Un indiciu al exactitatii simetriei replicilor pentru 1-in-k satisfiabilitate ar fi demonstratia faptului ca multimea solutiilor este alcatuita dintr-un singur cluster. In (Istrate 2008c) demonstram o varianta a acestui rezultat: faptul ca multimea solutiilor problemei 1-in-k satisfiabilitatii nu contine gauri Analiza datelor complexe. Noi modele de masini cu suport vectorial In cadrul abordarii evolutive asupra masinilor cu suport vectorial, calea de invatare ramane neschimbata, dar coeficientii functiei de decizie, creata din clasica privire geometrica a metodei canonice, pot fi acum evoluati in raport cu obiectivele de optimizare privind acuratetea si generalizarea (Stoean et al, 2008a). Contrar tehnicii canonice, abordarea evolutiva poate in orice moment sa obtina in mod explicit coeficientii functiei de decizie, fara alte constrangeri ulterioare. Mai mult, pentru a converge, metoda evolutiva nu necesita proprietati de (semi-)definire pozitiva pentru kernele in cadrul invatarii neliniare (Stoean et al, 2008b) Noi modele evolutive de cautare si optimizare. Modele distribuite spatial O alta tehnica evolutiva dezvoltata a fost testata pe o serie de functii reale unimodale si multimodale dificile, cu foarte multe optime locale apropiate unele de altele (Chira et al, 2008). Exista multe probleme reale care pot fi modelate ca astfel de functii cu multe optime locale, astfel ca rezultatele obtinute sunt extrem de relevante pentru cercetarea noastra viitoare in care vor fi abordate in principal probleme complexe reale. Tehnica propusa se bazeaza pe o o distributie spatiala a indivizilor din populatie si pe o aplicare asincrona a operatorilor de cautare. O alta caracteristica este coexistenta a trei subpopulatii care au roluri diferite in procesul de cautare realizarea unei cautari globale, realizarea unei cautari locale, si mentinerea unei interactiuni, inteleasa ca schimb de material genetic, intre acesti indivizi diferiti. Mai mult decat atat, indivizii se comporta ca niste agenti inteligenti care sunt capabili sa decida in ceea ce priveste perechea aleasa pentru recombinare. Aceasta se realizeaza printr-un schimb de informatii intre indivizi (Gog et al, 2008a) Elaborarea de modele ale dinamicii sistemelor complexe. Studiul aspectului temporal Generalizarea unor modele din fizica statistica in automate celulare si in retele complexe Modelul Ising este unul din pilonii mecanicii statistice. El presupune existenta unui grid (latice). Fiecare celula a gridului poate avea doar 2 valori (rosu sau alb, 0 sau 1, + sau - ). Celulele vecine tind sa aiba aceleasi valori (datorita unor preferinte energetice). Precum un sistem cu spini magnetici +/-, modelul Ising este un model pentru magnetism sau pentru miscarea moleculelor unui lichid supus unui stimul extern. Se pot observa

10 anumite tranzitii: regiunile dense ocupate de lichid sunt inconjurate de regiunile diluate ocupate de gaz. Modelul Ising clasic poate fi extins prin atribuirea a mai mult de 2 stari unui singur spin (modelul Potts), prin modificarea laticei (triunghiulara, hexagonala), prin introducerea unor sublatice (modelul decorat). In cazul unei retele complexe fiecare nod al retelei cunoaste toate celelalte noduri ale retelei. De aceea se spune ca avem de-a face cu o retea completa de cunostinte (Diosan, Dumitrescu, 2008). In cazul retelelor de tip Scale-Free, este prezent un anumit numar de noduri care au foarte multe legaturi, in timp ce restul nodurilor au foarte putine legaturi, dar minim una. In cadrul retelelor de tip Scale-Free întâlnim un fel de nuclee (sau hub-uri) în jurul cărora se concentrează restul nodurilor. În cadrul unor astfel de reńele au fost studiate procesele de formare a coalińiilor şi relańiile lor cu parametrii reńelei (Diosan, Dumitrescu, 2008) Dinamica populatiilor in modele distribuite spatial A fost propus si studiat (Gog et al, 2009) un nou model computational care se bazeaza pe o distributie spatiala a elementelor de cautare si pe aplicarea asincrona a operatorilor de evolutie. S-a studiat dinamica sistemului constand din mai multe subpopulatii cu roluri diferite in procesul de cautare. Elementele de cautare au fost concepute ca agenti inteligenti inzestrati cu un grad de autonomie. Efectele comunicarii intre subpopulatii asupra distribuirii elementelor in cazul existentei a trei subpopulatii caracterizate prin strategii diferite de selectare a perechii in procesul de recombinare au fost studiate experimental pentru diferite tipuri de recombinare si teoretic prin dezvoltarea unui model probabilist. Modelul probabilist se bazeaza pe o strategie de asignare a elementelor noi generate unei subpopulatii sau alteia pe baza unei probabilitati de dominare. Estimand valori ale probabilitatilor de acceptare a elementelor nou generate pornind de la rezultate experimentale obtinute pe un set de functii test s-a putut reproduce prin intermediul modelului teoretic comportamentul observat experimental. Modelul teoretic permite identificarea valorilor probabilitatii de dominare pentru care una dintre subpopulatii preia controlul asupra intregii populatii sau pentru care toate trei sau doua dintre subpopulatii ajung in stare de echilibru. In lucrarea (Gog et al, 2008b) studiul este orientat inspre cazul a trei subpopulatii urmarindu-se in principal efectul probabilitatii de dominare asupra dimensiunii subpopulatiilor fara sa se puna accentul pe eficacitatea operatorilor de recombinare si mutatie. In lucrarea (Gog et al, 2008c) s-a continuat acest studiu punandu-se de aceasta data accentul pe utilizarea unor operatori care sa permita rezolvarea unor probleme dificile de optimizare. In acest context s-a analizat dinamica pentru cazul a doua subpopulatii bazate pe variante de algoritmi de tip differential evolution cu abilitati diferite de explorare/exploatare. Pe langa studiul experimental, a fost identificat si un model probabilist care modeleaza dinamica dimensiunilor subpopulatiilor. Pe langa varianta bazata pe o probabilitate de dominare fixata aprioric si care a fost studiata in lucrarea anterioara a fost analizata si varianta in care probabilitatea de dominare depinde de dimensiunea curenta a subpopulatiei, fiind in felul variabila in timp. Intrucat s-a observat experimental ca se obtin rezultate mai bune in regiunea de echilibru in raport cu dimensiunile subpopulatiilor, au fost identificate conditii suficiente pentru atingerea acestui echilibru Comportament haotic in retele neuronale Retelele neuronale recurente caracterizate printr-o conectivitate arbitrara a unitatilor de procesare (neuroni) prezinta un comportament dinamic care poate fi descris atat in timp

11 continuu (prin ecuatii diferentiale) cat si la momente discrete de timp (ecuatii cu diferente). Marea majoritate a rezultatelor calitative privind comportarea retelelor neuronale recurente au fost obtinute in cazul continuu insa in ultimii ani a crescut semnificativ interesul si pentru variantele discrete. Exista cel putin doua argumente care motiveaza aceasta crestere a interesului. Pe de o parte, simularile retelelor neuronale utilizate in rezolvarea unor probleme concrete (optimizare, prelucrare imagini etc) se bazeaza pe discretizari ale modelelor continue, iar pe de alta parte dinamica sistemelor discrete este mult mai bogata in tipuri de comportament decat cea a sistemelor descrise in timp continuu. De exemplu ecuatii cu diferente obtinute prin discretizarea unor ecuatii diferentiale de ordinul intai pot avea comportament haotic pe cand in cazul ecuatiilor diferentiale un astfel de comportament poate fi pus in evidenta doar in cazul ordinelor mari. Exista diferite modalitati de a induce un comportament haotic in retelele neuronale: utilizarea unui semnal haotic de intrare, utilizarea unui functii de activare neuronala care are comportament haotic sau introducerea unor intarzieri. In aceasta etapa a proiectului s-a investigat impactul introducerii unor intarzieri in cazul unei retele constituite din doi neuroni interconectati. Considerand ca intarzierile satisfac proprietatea ca suma auto-intazierilor este egala cu suma intarzierilor semnalelor provenite de la celalalt neuron s-a identificat domeniul de stabilitate al solutiei nule si tipurile de bifurcatie care apar pe frontiera in functie de valorile unor parametri caracteristici. Parametri caracteristici luati in considerare sunt corelati cu ponderile conexiunilor si cu pantele in origine ale functiilor de activare. Pe masura ce parametrii caracteristici se indeparteaza de domeniul de stabilitate dinamica retelei devine din ce in ce mai complexa ajungandu-se la un comportament haotic. Trecerea de la stabilitate catre haos se realizeaza prin stadii intermediare caracterizate prin solutii periodice si atractori stranii. Toate aceste tipuri de comportament au fost puse in evidenta prin simulari numerice. Rezultatele au fost publicate in lucrarile (Kaslik, Balint 2008a) si (Kaslik, Balint 2008b). Rezultatele cele mai recente obtinute in aceasta directie se refera la studiul unui ansamblu de p neuroni conectati intr-o topologie de tip inel unidirectional: neuronul i transmite un semnal neuronului i+1 pentru fiecare i intre 1 si p-1 iar neuronul p transmite un semnal catre primul neuron. Fiecare neuron este caracterizat de o intarziere proprie cu care transmite semnalul catre neuronul urmator. Utilizand o tehnica similara studiului a doi neuroni dar adaptata pentru cazul a p neuroni s-a putut identifica domeniul de stabilitate a solutiei nule si au fost identificate valori ale parametrilor caracteristici pentru care se pot identifica bifurcatii de tip Fold/Cusp, Neimark-Sacker si Flip. Analiza teoretica a retelei cu topologie de tip inel arata ca daca produsul ponderilor asociate interconexiunilor si al pantelor functiilor de activare in origine este suficient de mic in valoare absoluta atunci solutia nula este asimptotic stabila. Pe masura ce valoarea acestui produs creste, dinamica in jurul originii devine din ce in ce mai complexa. Daca in plus functia de activare a cel putin unui neuron se anuleaza pentru un argument nenul atunci sistemul are un comportament haotic in sens Marotto. Aceste rezultate sunt prezentate in lucrarea (Kaslik, Balint, 2008c), submisa pentru publicare (in curs de evaluare) Aspecte temporale ale dinamicii balantei sociale. In (Istrate 2009) studiem un model al dinamicii sociale, bazat pe teoria balantei sociale a lui Heider, introdus in literatura din domeniul Fizicii Statistice de catre Antal, Krapivsky si Redner. Rezultatul nostru leaga dinamica studiata de Antal, Krapivsky si Redner de o generalizare la hipergrafuri a unui model din teoria sistemelor interactive de particule, modelul mersurilor aleatoare cu coalescenta. Dupa cunostinta noastra definirea unui model de particule interactive pe hipergrafuri este o premiera in literatura de specialitate. Spre deosebire de cazul tratat de acesti autori (topologia corespunzand unui graf complet) in cazul general determinarea starilor recurente ale sistemului este mai

12 complicata. In lucrarea noastra dam un criteriu necesar si suficient si un algoritm polinomial pentru testarea recurentei unei stari a sistemului. De asemenea am studiat dimensiunea temporala a convergentei dinamicii, cu urmatoarele rezultate: Pentru cea mai simpla familie nontriviala de grafuri (ciclul triadic, reprezentat in cazul cu 18 varfuri in Figura 1) timpul de convergenta este liniar. In general timpul de convergenta depinde de proprietatile unui hipergraf dual grafului original. Pentru graful din Figura 1 ilustram constructia acestui hipergraf dual in Figura 2 (in care caz e chiar un graf) In cazul in care hipergraful dual este chiar un graf, putem masura timpul de convergenta utilizand un parametru structural al topologiei grafului dual, asa numita constanta Cheeger. Figura 1: ciclul triadic Fig 2: dualul ciclului triadic In cazul general situatia este mai delicata, iar determinarea timpului de convergenta este o problema nerezolvata. Pe de alta parte rezultatul tehnic cel mai dificil al lucrarii priveste caracterizarea starilor recurente pentru dinamica, in cazul particular in care hipergraful dual nu contine muchii (hipermuchii cu doua varfuri). In acest caz am aratat faptul ca determinarea recurentei unei stari se poate face rezolvand (in timp polinomial) un sistem liniar de ecuatii booleene). Rezultatele obtinute in (Istrate 2009) au o aplicatie neasteptata la determinarea complexitatii algoritmilor de cautare: aceste rezultate ofera un exemplu de analiza riguroasa a timpului de convergenta a unui algoritm natural de cautare locala (algoritmul bazat pe mers aleator pentru asa numita problema XOR-SAT) folosind unii parametri care caracterizeaza structura formulei de intrare. Acest lucru sugereaza faptul ca metodele matematice folosite in studiul sistemelor interactive de particule pe grafuri finite pot fi folosite pentru analiza matematic riguroasa a algoritmilor de cautare locala, un lucru potential folositor pentru alte clase de probleme si algoritmi de cautare locala. Algorithm RandomWalkSat(F): INPUT: XOR-SAT instance F. Start with an arbitrary assignment U. while (there exists some unsatisfied clause) pick a random unsatisfied clause C change the value of a random variable of C in U RETURN assignment U Fig 3. Algoritmul bazat pe mers aleator pentru problema XOR-SAT

13 Modelul dinamicii bazat pe inteligenta roiurilor (swarm intelligence) O metoda aparuta relativ recent se inspira din comportamentul roiurilor de mari dimensiuni. Studiile efectuate asupra diferitelor forme de organizare sociala in lumea animala (roiuri de insecte, bancuri de pesti etc.) au evidentiat ca asemenea tipuri de grupuri obtin succese remarcabile in atingerea scopurilor urmarite, indiferent daca este vorba despre identificarea traseului optim spre anumite locatii, evitarea pradatorilor etc. Remarcabil este faptul ca, desi grupurile sunt de mari dimensiuni, comportamentul unitar rezulta exclusiv din interactiunile intre vecini. Succesul acestui tip de comportament a inspirat elaborarea unei metode de optimizare nesupervizata, numita Particle Swarm Optimization (PSO). Desi are unele puncte comune cu metode consacrate, precum calculul evolutiv (in principal utilizarea functiei fitness, care asociaza o valoare fiecarei solutii candidat), PSO procedeaza in mod diferit. Fiecare solutie candidat, numita in acest context particula, se afla in permanenta miscare, in incercarea de a se apropia de doua valori importante: cea mai buna valoare a functiei fitness pe care particula respectiva a inregistrat-o de-a lungul evolutiei sale, respectiv cea mai buna valoare a functiei fitness inregistrata de oricare particula din vecinatatea sa de-a lungul evolutiei acestora. Ceea ce diferentiaza in mod fundamental PSO de alte tehnici este separarea completa a spatiului in care se misca particulele de spatiul solutiilor asa cum este definit de problema. Particulele se misca intr-un spatiu bidimensional, iar pozitiile lor (si implicit distantele dintre acestea) sunt initializate aleator si evolueaza doar in functie de relatiile stabilite cu vecinii topologici. Datorita acestei separari, PSO se preteaza la abordarea oricarui tip de problema de optimizare. O directie in care s-au obtinut rezultate deosebite este clasa problemelor de clasificare si in special clustering, care profita de importanta acordata in PSO relatiilor dintre vecini. De asemenea, PSO deschide noi perspective prin posibilitatile de hibridizare cu alte metode, deterministe sau euristice. Datorita modului diferit de actiune, PSO poate aduce imbuntatatiri substantiale prin integrarea cu alte tehnici. Din acest motiv, cercetarea in domeniul PSO este extrem de promitatoare, permitand elaborarea de noi paradigme de calcul Analiza statistica a dinamicii populatiei corespunzatoare unei clase de algoritmi evolutivi. Exista doua abordari principale in analiza statistica a dinamicii algoritmilor evolutivi: una bazata pe estimarea momentelor de ordinal intai si de ordin superior si cealalta bazata pe ipoteza ca elementele populatiei sunt realizari ale unor variabile aleatoare avand un anumit tip de distributie. Majoritatea rezultatelor existente au fost obtinute pentru algoritmi evolutivi caracterizati prin mutatie bazata pe repartitia normala. In cazul algoritmilor ce utilizeaza un alt tip de mutatie (cum sunt cei de tip Differential Evolution - DE) rezultatele sunt inca putine (Xue, 2005). In lucrarea (Zaharie, 2008a) se demonstreaza ca pentru aproape toate variantele de algoritmi de tip DE utilizate la ora actuala varianta medie a populatiei (la nivel de componenta) obtinute prin mutatie si incrucisare depinde liniar de varianta media a populatiei curente. Aceasta dependenta liniara implica parametrii de control ai strategiei (factorul de scala si rata de incrucisare) ceea ce permite controlul variantei (implicit a diversitatii) populatiei prin modificarea valorilor parametrilor. Au fost identificate diferente semnificative pentru variante de algoritm ce utilizeaza diferite tipuri de incrucisare (binomiala, exponentiala si aritmetica). Aceste rezultate permit alegerea intr-o maniera fundamentata teoretic a parametrilor de control in functie de tipul de incrucisare utilizat. Dintre observatiile cu impact practic mentionam faptul ca o valoare mare a raportului intre volumul populatiei si dimensiunea problemei nu garanteaza o crestere a diversitatii populatiei. In schimb parametrii de control (factorul de scalare si rata de incrucisare) au un impact mai mare asupra

14 conservarii diversitatii populatiei. Aceasta inseamna ca alegand adecvat parametrii de control se pot evita situatiile de convergenta premature chiar si atunci cand se opereaza cu populatii de dimensiune mica. Pornind de la rezultatele teoretice obtinute a fost propusa un tip mutatie care nu utilizeaza diferente dar care conduce la un comportament similar al varianńei cu cel din cazul algoritmului DE. Studiul numeric al acestui tip de mutatie a pus in evidenta faptul ca dinamica variantei populatiei are o influenta importanta asupra comportamentului algoritmului. Pe de alta parte s-a pus in evidenta si faptul ca reproducerea dinamicii din punctul de vedere al variantei nu este suficienta pentru a obtine acelasi comportament global. Recent (Gong, Tuson, 2007) au fost propuse variante ale algoritmilor de tip Differential Evolution pentru cazul codificarii binare. Analizand teoretic impactul probabilitatii de mutatie asupra distributiei de probabilitate a componentelor s-au observat diferente semnificative in raport cu mutatia clasica bazata pe complementarea componentelor. In cazul mutatiei clasice distributia de probabilitate a componentelor este puternic influentata de catre probabilitatea de mutatie pe cand in cazul variantei de tip DE influenta probabilitatii de mutatie este semnificativ mai mica, distributia populatiei fiind robusta la variatiile probabilitatii de mutatie. Un studiu detaliat al influentei operatorului de incrucisare asupra comportarii algoritmilor de tip DE este prezentat in (Zaharie, 2008b). Elementul cheie al incrucisarii utilizate in cazul algoritmilor DE este faptul ca determina care si cate dintre componentele unui element vor fi inlocuite cu componentele corespunzatoare din elementul obtinut prin mutatie. Astfel rata de incrucisare determina de fapt valoarea unui parametru similar probabilitatii de mutatie. Unul dintre principalele rezultate obtinute este faptul ca pentru aceeasi valoare a ratei de incrucisare se pot obtine valori semnificativ diferite ale probabilitatii de mutatie, in functie de tipul de incrucisare folosita (binomiala sau exponentiala). In cazul incrucisarii de tip binomial dependenta dintre probabilitatea de mutatie si rata de incrucisare este liniara pe cand in cazul incrucisarii exponentiale este neliniara. In felul acesta au putut fi explicate diferentele observate experimental intre diferitele tipuri de incrucisare si aduse argumente teoretice pentru regulile de natura euristica privind alegerea valorii ratei de incrucisare care sunt folosite de catre practicieni: in cazul incrucisarii exponentiale rata de incrucisare trebuie aleasa intre 0.9 si 1 sau in cazul incrucisarii exponentiale sunt necesare valori mai mari ale ratei de incrucisare decat in cazul celei binomiale. In plus, in cazul problemelor de dimensiuni mari domeniul de valori ale ratei de incrucisare pentru care valoarea probabilitatii de mutatie este semnificativa devine foarte mic. Aceasta inseamna ca variantele bazate pe incrucisare exponentiala nu sunt indicate pentru probleme de dimensiuni mari cu exceptia cazului in care acestea sunt separabile (caz in care se obtin rezultate bune pentru valori mici ale probabilitatii de mutatie intrucat cautarea se realizeaza de fapt separat pe componente). Intrucat parametrii de control sunt intercorelati s-a observat si faptul ca pentru evitarea convergentei premature, in cazul incrucisarii exponentiale pentru aceeasi valoare a ratei de incrucisare este necesara utilizarea unei valori mai mari pentru factorul de scalare. Cu scopul de a dezvolta variante eficiente din punctul de vedere al timpului de executie au fost propuse variante de implementare ale incrucisarii exponentiale care utilizeaza putine apeluri ale generatorului de numere aleatoare. Pe de alta parte s-a investigat modul in care se comporta cateva variante recente (Mezura et al., 2006), (Brest et al., 2005) de ajustare si auto-adaptare a parametrilor atunci cand se schimba tipul de incrucisare. Concluzia la care s-a ajuns este ca in cazul incrucisarii exponentiale utilizarea unei repartitii uniforme pentru alegerea/adaptarea valorii ratei de incrucisare nu este adecvata. Este propusa o distributie ne-uniforma de probabilitate care utilizata pentru selectia ratei de incrucisare conduce la o repartitie

15 uniforma a valorilor corespunzatoare ale probabilitatii de mutatie. O problema inca deschisa este de a identifica clase de probleme pentru care incrucisarea exponentiala conduce la rezultate mai bune decat incrucisarea binomiala Identificarea de probleme practice semnificative de mare complexitate. Studii de caz Probleme neseparabile cu numar foarte mare de variabile Metodele propuse in (Iclanzan and Dumitrescu, 2008c) deschid drumul spre rezolvarea unor probleme grele, cu module non separabile si cu milioane de variabile. Aceste tehnici vor putea fi in continuare imbunatatite prin codificarea legaturii dintre module ca o variabila aleatoare, si prin paralelizarea metodelor propuse, atat prin aplicarea concomitenta a strategiilor de cautare, cat si prin paralelizarea constructiei modelului de cautare (Iclanzan and Dumitrescu, 2008c) Cautare/optimizare competitiva pentru probleme complexe. Studii de caz Ca studiu de caz s-a aratat cum metodele de invatare (bazata pe retele neuronale) a structurii functiilor obiectiv pot extinde metoda simpla (1+1) Evolutionary Algorithm, facilitand rezolvarea unor probleme grele care sunt demonstrabil intractabile folosind reprezentari simple si operatori ficsi. Mai mult rezultatele obtinute au aratat ca in cazul unor probleme cu cuplaj bivariat puternic intre variabile, metoda extinsa depaseste ca performanta metodele clasice complexe bazate pe populatii (Iclanzan and Dumitrescu, 2008a). Ulterior a fost dezvoltata o metodologie capabila sa detecteze si sa combine module foarte largi, chiar si in cazul legaturilor genetice nefavorabile si in lipsa gradientilor intrabloc care in mod normal pot ghida cautarea intr-o maniera locala, sau chiar si in cazul deceptivitatii (Iclanzan, Dumitrescu, 2008b). Aceste rezultate au fost posibile prin investirea numarului de evaluari a functiilor obiectiv intr-o cautare locala cu o putere exploratorie puternica, si prin limitarea detectarii modelelor la cateva cateva solutii optime local. Rezultatele obtinute au confirmat faptul ca aceasta tehnica este capabila sa rezolve cu mare siguranta si exactitate probleme foarte grele cu blocuri neutre mari sau probleme cu un numar exponential de optime locale (masiv deceptive), cu o complexitate cuadratica in marimea modulelor Optimizare multimodala evolutiva. Studii de caz Rezultatele obtinute in (Stoean et al, 2008) sunt comparate cu cele obtinute de metode bazate pe clustering aplicate la diverse stadii de populatii evoluate. S-au luat in calcul functiile standard bidimensionale Waves si Six-Hump Camel Back, pentru care numarul de optime este stiut, si functia Rastrigin in mai multe dimensiuni, unde nu este cunoscuta nicio informatie legata de varfuri. In mod interesant, exista un punct din care metoda propusa este clar mai buna, desi, pentru bugete scazute de evaluari de performanta, tehnicile de clustering au avantaje. Probleme complexe multimodale au fost de asemenea avute in vedere. Astfel, manipularea precisa a razelor in cadrul tehnicilor evolutive multimodale a fost mereu o problema cruciala si niciodata simpla. Este si cazul paradigmei cromodinamicii genetice, care realizeaza examinarea mai multor bazine de atractie in acelasi timp prin interactiuni intre indivizi care se afla in regiuni determinate de praguri definite de utilizator (Stoean et al, 2008). In acest sens, este propus un mecanism adaptiv alternativ pentru detectarea subpopulatiilor, bazat pe exploatarea topologiei formei functiei obiectiv. In

16 cadrul imbunatatirii propuse, aceasta examinare implica practic verificarea faptului daca o pereche de indivizi urmareste acelasi optim sau nu (Stoean et al, 2008c). Testul este condus pe un numar de functii multimodale Himmelblau, Schaffer si Six- Hump Camel Back. Comparatia este facuta fata de metoda originala si, in afara de cea de-a doua functie, amandoua metodele isi ating scopul. Este insa interesant de remarcat ca cea nou propusa gaseste solutiile intr-o maniera mai rapida. Rezultatele demonstreaza flexibilitatea si comportamentul imbunatatit in ceea ce priveste algoritmul considerat. Probleme complexe reale cum ar fi diagnoza diabetului mellitus, determinarea bolilor plantelor de soia, recunoasterea plantelor de iris, detectarea spam-ului si predictia imobiliara in Boston au fost rezolvate cu o noua tehnica evolutiva construita ca o alternativa a arhitecturii standard a masinilor cu suport vectorial. Abordarea adopta strategia de invatare a acestora dar tinteste spre a simplifica si generaliza antrenarea, oferind un substituent transparent cutiei negre initiale. Rezultatele computationale si comparatia cu o implementare standard a masinilor cu suport vectorial clasice demonstreaza validitatea noii abordari in termeni de timp de rulare, acuratete de predictie si flexibilitate Modele distribuite spatial. Experimente numerice si studii de caz Dinamica celor trei subpopulatii ce intervin in modelele distribuite spatial (Gog et al., 2008b) a fost studiata si au fost evidentiate procese complexe care au aratat ca sistemul aparent simplu al celor trei societati este de fapt un sistem complex cu un comportament ce nu poate fi prevazut. A fost evidentiat si un interval asociat cu o tranzitie de faza, interval in care au loc fenomene computationale complexe asociate cu solutii mai bune decat in afara intervalului. Comparate cu alte metode evolutive aparute in literatura de specialitate, rezultatele obtinute sunt un bun indicator al eficientei metodei propuse. Ideea utilizarii unor subpopulatii caracterizate prin strategii diferite de recombinare a fost aplicata si in scopul obtinerii unor algoritmi evolutivi care asigura un compromis intre explorarea si exploatarea intensiva. Studiul comparativ prezentat in (Gog et al., 2008c) cuprinde pe langa modelul propus si variante bazate pe tehnici adaptive propuse in ultimii ani (Qin et al., 2005), (Brest et al., 2007) Identificarea topologiei spatiului de cautare in probleme complexe O alta clasa de probleme complexe abordate este aceea a problemelor care au solutii intr-un spatiu de cautare despre care nu avem informatii a priori. Pentru acest tip de probleme, numarul de optime existente, fie ele globale sau locale, are o importanta decisiva pentru a alege algoritmul potrivit si pentru a gasi cele mai adecvate valori pentru parametrii sai. Se propune o metoda bazata pe o tehnica evolutiva pentru optimizare in cazul codificarii reale in scopul de a oferi o estimare a numarului de optime pe care il detine o functie, cu un buget foarte redus de evaluari ale functiei de performanta. Aceasta unealta este bazata pe un algoritm evolutiv si achizitioneaza date legate de profilul formei spatiului de cautare al unei probleme definita pe domenii reale. In loc sa obtinem o multime cu cele mai bune solutii, scopul a fost de a obtine o estimare a numarului de optime pe care il are functia obiectiv. Cum unealta este una de preprocesare, trebuie sa nu fie foarte costisitoare cu privire la numarul de apeluri ale functiei obiectiv. In acest scop, utilizam o populatie cu marime variabila: Pornim cu o populatie mare si continuam numai cu cei mai prolifici indivizi care apartin la bazine de atractie diferite. Astfel, numarul de evaluari ale functiei de

17 performanta este mentinut redus. Marimea populatiei poate creste din nou pe parcursul reproducerii, dar, cu exceptia situatiei in care sunt descoperite noi bazine de atractie, este redusa din nou la minim. O alta constrangere importanta este ca nu a fost adaugat vreun parametru aditional in raport cu un algoritm evolutiv canonic care sa depinda de problema considerata Metaeuristici hibride. Experimente numerice in cazul optimizarii functiilor cu numar mare de variabile. In scopul identificarii unor metode adecvate pentru optimizarea functiilor cu numar mare de variabile au fost investigate meta-euristici propuse relativ recent, au fost identificate avantajele si dezavantajele acestora si au fost propuse variante imbunatatite. Una dintre aceste meta-euristici este Harmony Search (HS) propusa in (Geem et al., 2001). Strategia de tip HS se bazeaza pe analogia dintre procesul de optimizare si cel de descoperire a armoniei in cadrul unui ansamblu de instrumente muzicale. Implementarea acestei idei se bazeaza pe utilizarea unei arhive de configuratii (initializate aleator si actualizate in momentul in care este descoperita o configuratie mai buna decat cea mai slaba din arhiva) si pe generarea de noi configuratii prin incrucisarea uniform aleatoare a unor configuratii din arhiva si aplicarea unei perturbatii aleatoare. HS este astfel un algoritm de cautare aleatoare care foloseste aceleasi instrumente ca si algoritmii evolutivi insa motivate de un alt tip de analogie decat cea cu evolutia biologica. In lucrarea (Nicoara, 2008) este prezentat un studiu detaliat al caracteristicilor acestei tehnici si al abilitatii ei de a rezolva probleme de optimizare continua. Una dintre motivatiile analizei acestei tehnici a reprezentat-o faptul ca HS a fost aplicata cu succes in rezolvarea unor probleme de optimizare in domenii discrete. Ca prim rezultat al analizei efectuate au fost identificate cateva dezavantaje ale metodei, si anume: inabilitatea de a localiza optimul global chiar daca regiunea sa de atractie a fost identificata, predispozitia pentru convergenta prematura, inabilitatea de a rezolva probleme de dimensiuni mari. Ca principala cauza a acestor limitari a fost identificata absenta unui operator de mutatie care sa favorizeze perturbatiile mici in detrimentul celor mari (operatorul de perturbare din varianta HS clasica se bazeaza pe o repartitie uniforma). In plus necesitatea de a ajusta atent valorile parametrilor utilizati pentru perturbarea configuratiilor reprezinta un dezavantaj din punctul de vedere al unui utilizator. In scopul eliminarii sau cel putin a reducerii impactului acestor dezavantaje au fost propuse noi variante caracterizate prin: (a) utilizarea unei recombinari convexe in care este implicat cel mai bun element al arhivei si un element selectat aleator; (b) utilizarea unei perturbatii cu repartitie normala sau Cauchy. Pe langa variantele in care s-a utilizat doar una dintre distributii au fost testate si variante hibride in care au fost utilizate ambele variante fie simultan (conducand la generare la fiecare etapa a doua noi elemente care pot fi asimilate in arhiva) fie alternativ (fiecare tip de perturbare este aplicata pentru un numar prestabilit de generatii). Toate variantele propuse au fost testate pentru functii de test avand 30, 100 respectiv 500 de variabile si comparate cu variante ale algoritmului DE (Differential Evolution) si FEP (Fast Evolutionary Programming). Variantele propuse au condus la rezultate mai bune decat cele clasice comportandu-se mai bine decat FEP si fiind comparabile cu DE. Castigul s-a dovedit semnificativ in cazul problemelor de dimensiuni mari (n=500). Totusi pentru probleme de dimensiuni mai mari (n>1000) nu ating performantele tehnicilor care utilizeaza strategii coevolutive si cooperative (de exemplu DECC (Yang et al. 2007)). Introducerea strategiilor cooperativ-coevolutive in HS reprezinta una din directiile viitoare de cercetare.