Arhitectura sistemelor de calcul paralel

Transcription

1 Arhitectura sistemelor de calcul paralel CURS

2 Exemple de procese paralele si aplicatii Lumea reala un laborator gigactic de procese paralele

3 Aplicatii Rezolvarea numerica a unor probleme care solicita putere foarte mare de calcul, spatiu RAM şi de stocare de date foarte mari. Aplicatii in stiinta si tehnologie: Predicţii meteorologice; Geologie Seismologie; Microelectronica design-ul circuitelor; Simulari stiinţifice in fizica, chimie şi biologie; Aplicatii in sectorul industrial/comercial: Baze de date, alogritmi de cautare; Imagistica medicala; Modelari financiare econofizica; Design industria aeronautica, farmaceutica; Aplicatii grafice, multimedia;

4 Avantajele utilizarii calculului paralel Se economiseste timp productivitate sporita Se pot rezolva probleme ce necesita resurse foarte mari (PetaFLOPS, PetaBytes) Exemple : "Grand Challenge" (en.wikipedia.org/wiki/grand_challenge) Utilizarea unor retele, platforme virtuale pentru a colabora in cadrul unui proiect Exemplu:

5 Avantajele utilizarii calculului paralel Utilizarea resurselor la distanta : - SETI@home (setiathome.berkeley.edu) peste 1.3 millioane utilizatori, 3.4 millioane calculatoare distribuite in mai multe tari. (June, 2013) - Folding@home (folding.stanford.edu) foloseste peste 320,000 computere in intreaga lume (June, 2013)

6 Motivatii pentru utilizarea calcului paralel Limite ale calculului serial: - limita in viteza de transmisie a datelor (viteza maxima viteza luminii 30cm/nanosecunda) cresterea vitezei micsorarea distantelor dintre elementele de procesare Miniaturizarea elementelor de procesare (tranzistori) - nodul tehnologic actual (2014) 14nm - se ajunge in curand la limita scalarii Limitari economice: - este mai costisitor sa produci un procesor din ce in ce mai rapid; - este mai eficienta folosirea unui numar echivalent de procesoare cu putere de calcul mai scazuta; Arhitecturile actuale au un nivel de paralelizare tot mai ridicat - single core double core quad core

7 Supercomputere Performanta masurata in FLOPs (floating point operations) - FLOPS = cores x clock x FLOPs/cycle - Exemplu : procesor double-core 2.5GHz, 4 FLOPs/cycle 20 GFLOPs Noiembrie 2013 : Tianhe-2 or TH-2 (China) petaflops = GFLOPs - 16,000 noduri de calcul, fiecare avand 2 procesoare Intel Ivy Bridge Xeon si 3 procesoarei Xeon Phi, totalizand core-uri - memorie 88GB : 64GB - procesoare Intel Bridge Xeon 8GB procesoare Xeon Phi

8 Supercomputere scurt istoric 1960 Atlas: ~ instructiuni/secunda - University of Manchester CDC 6600 : 1 megaflops - CERN Cray-1: 80 megaflops - studii atmosferice 1985 Cray-2: 1.9 gigaflops - departamentele de aparare si energie SUA

9 Performanta top 500 supercomputere Nr. 1 (potocaliu) Gflops/s Nr. 500 (galben) Gflops/s Total (verde) Gflops/s

10 Partitionarea problemei Programare paralela

11 Programare paralela Presupune utilizarea simultana a resurselor de calcul multiple pentru rezolvarea unei probleme de calcul: Problema este impartita in sarcini (tasks) care pot fi rulate independent Fiecare sarcina este divizata intr-un set de instructiuni Instructiunile din fiecare sarcina se executa simultan pe diferite noduri de calcul Exista un sistem de coordonare si control (nodul central)

12 Concepte de baza Granularitate dimensiunea sarcinilor; Potential de paralelizare reflecta proprietatea inerenta a unui algoritm de a putea fi divizat in sarcini; Procese si fire de executie (thread-uri) sarcinile sunt asignate unor procese/fire de executie care sunt rulate pe noduri; Planificare (scheduling) procesele se desfasoara intr-o anumita ordine ce poate fi specificata in cod, la compilare sau dinamic. Mapping atribuirea proceselor pe nodurile de calcul; deobicei o face sistemul de operare, dar poate fi influentata de programator; Sincronizare coordonarea proceselor pentru a avea o buna executie a programului;

13 Concepte de baza Memorie partajata exista un spatiu comun de memorie pentru toate procesoarele; se asociaza de obicei notiunea de fir de executie (thread); este necesarea sincronizarea intre thread-uri intrucat acceaseaza aceeasi memorie; Memorie distribuita memoria este accesibila unui singur procesor; se asociaza de obicei notiunea de proces; Operatii de comunicare schimbul de informatii de la un procesor la altul se face prin retea folosing operatii de comunicare; Operatii bariera este o alta forma de coordonare si sincronizare, valabila atat pentru thread-uri cat si pentru procese; Timpul de executie paralela este timpul total de calcul pe procesoare, timpul asociat transferului de data intre procesoare si timpul aferent sincronizarii

14 Concepte de baza Timp mort (Idle time) este timpul in care un procesor asteapta un semnal (de la un alt proces) pentru a continua calculul; Echilibrarea incarcarii (load balancing) pentru a eficientiza calculul paralel este necesara o incarcare echilibrata, pentru a avea timpi morti cat mai mici; Totusi, pentru a realiza in practica o buna echilibrare costurile pentru transferul de date si sincronizare cresc! Speedup raportul intre timpul de calcul serial si timpul de calcul paralel; ideal este numarul de core-uri;

15 Trenduri de paralelism Trenduri in designul microprocesoarelor: - Paralelism la nivel de bit: pana in 1986 : word size = 4-32 bits ~ 1990 : word size = 64 bits - 64 bits asigura o buna precizie si acopera o zona de memorie suficient de mare; - Paralelism prin pipelining: - idea centrala: suprapunerea executiei intre diferite instructiuni - executarea unei instructiuni contine mai multe etape: (tipic 2-26 etape) - fetch : extragerea instructiunii din memorie; - decode: decodificarea instructiunii; - execute: incarcarea operanzilor specificati si executarea instructiunii; - write: scrierea rezultatului; Observatii: - sunt necesari timpi egali intre etape; - nu exista dependente intre date; - 26 etape procesoare superpipelined - nr. de etape cu timpi egali nu poate fi in practica arbitrar de mare;

16 Trenduri de paralelism Trenduri in designul microprocesoarelor: - Paralelism prin unitati functionale multiple: - multe procesoare folosesc unitati functionale independente, multiple - ALUs (arithmetic logical units); - FPUs (floating points units); - load/store units; - branch units; - procesoarele se clasifica in - SUPERSCALAR - VLIW (very long instruction world) - Observatii: - numarul de unitati este restrictionat de dependente; - planificarea (scheduling) se face hardware; - 4 unitati se dovedeste a fi optim; Cele 3 nivele de paralelizare mentionate presupun existenta un cod serial, ceea ce este in avantajul programatorului. Totusi, se observa ca exista limitari. - Paralelism la nivel de proces sau thread: - sisteme multi-core; - cu cat memoria cache este mai mare timp de accesare mai mare, deci se prefera arhitectura multi-core;

17 Clasificarea arhitecturilor paralele Exista mai multe tipuri de arhitecturi paralele in functie de complexitatea elementelor de procesare, structura retelei de interconectare, tipul de coordonare a proceselor. Exista mai multe tipuri de clasificari - dupa multiplicitatea sirului de instructiuni/date (Flynn); - single instruction, single data (SISD) - multiple instruction, single data (MISD) - single instruction, multiple data (SIMD) - multiple instruction, multiple data (MIMD) - dupa structura computerelor (Handler); - arithmetic logic unit (ALU); - procesor control unit (PCU); - bit-level circuit (BLC); - dupa modul de accesare al memoriei - partajata (shared) tightly coupled systems; - distribuita (distributes) loosely coupled systems; - dupa granularitate; - nr. de procesoare si tipul lor, organizarea memoriei, dependenta datelor;

18 Arhitectura lui Flynn SINGLE INSTRUCTION, SINGLE DATA (SISD) - calculator serial - Single instruction: o singura instructiune intr-un ciclu CPU - Single data: un singur sir de date este folosit in oricare ciclu CPU UNIVAC1 PDP1 IBM 360 CDC 7600 CRAY-1

19 Arhitectura lui Flynn SINGLE INSTRUCTION, MULTIPLE DATA (SIMD) - calculator paralel; aplicatii la procesare imaginilor (unitati GPU); - Single instruction: fiecare unitate de procesare executa aceeasi instructione intr-un ciclu CPU - Multiple data: fiecare unitate de procesare actioneaza asupra unui elemnt diferit;

20 Arhitectura lui Flynn SINGLE INSTRUCTION, MULTIPLE DATA (SIMD) ILLIAC IV MasPar Cray X-MP Cray Y-MP Thinking Machines CM-2

21 Arhitectura lui Flynn MULTIPLE INSTRUCTION, SINGLE DATA (SIMD) - calculator paralel, rar intalnit, ne-comercial; - posibile aplicatii: algoritmi de decriptare, aplicate pe un mesaj codificat; filtru de frecvente, aplicat pe un semnal; - Multiple instruction: fiecare unitate de procesare opereaza independent; - Single data: un singur sir de date este servit tuturor unitatilor de procesare;

22 Arhitectura lui Flynn MULTIPLE INSTRUCTION, MULTIPLE DATA (MIMD) - calculator paralel, cel mai des intalnit; - Multiple instruction: fiecare unitate de procesare opereaza independent; - Single data: fiecare procesor lucreaza cu siruri de date diferite;

23 Organizarea memoriei SUNT 2 ASPECTE: - organizarea memoriei fizic pe unitatile de calcul (1); - punctul de vedere al programatorului (2); (1) : memorie partajata (multiprocesoare); memorie distribuita (multicomputere); hibrid : memorie virtual partajata (fizic distribuita, partajata software) (2): Pentru programator exista doar primele doua tipuri!

24 Calculatoare cu memorie distribuita Distributed Memory Machines (DMM): - sunt constituite dintr-un numar de elemente de procesare si o retea de interconexiune (interconnection network) care asigura transferul de date intre noduri; - un nod este o unitate independenta alcatuita din: procesor, memorie locala si eventuale elemente periferice; - datele din program se gasesc in memoria unuia sau mai multor noduri; cand un procesor are novie de date, aceste sunt transmise prin retea, prin message-passing. Exemplu: Message Passing Interface (MPI)

25 Calculatoare cu memorie distribuita Distributed Memory Machines (DMM): - initial comunicarea se realiza prin conexiuni punct cu punct (point-to-point communications); reteaua are forma unui graf regulat (ex. Hypercub). - Dificultati: - necesitatea unor buffere, pentru a decupla operatiile de send/receive si pentru a stoca mesajul pana cand partenerul este disponibil sa il preia; - comunicarea se face cu vecinii de ordin I;

26 Calculatoare cu memorie distribuita Distributed Memory Machines (DMM): - prima difucltate inlaturata prin adaugarea controlerului DMA (direct memory acces) pentru a decupla operatiile de comun icare de operatiile procesorului; se asigura astfel transferul de date intre memoriile locale fara participarea procesorului; - a doua dificultate este inlaturata prin folosirea unui router; astfel se evita utilizarea procesoarelor pentru transmiterea mesajelor intre noduri care nu sunt vecini de ordinul I; reteaua devine omogena;

27 Calculatoare cu memorie distribuita Distributed Memory Machines (DMM): - Observatie: In functie de reteaua folosita (ethernet, infiniband) diferenta intre accesarea memoriei locale si remote poate ajunge la 1/100; de aceea, programarea trebuie sa tina cont de infrastructura! In conditiile unei retele cu rata de trnasfer mica este mai eficient sa trimitem blocuri mai mari de date mai rar intre procese, decat blocuri mici trimise des.

28 Calculatoare cu memorie partajata Shared Memory Machines (SMM): - sunt constituite dintr-un numar de elemente de procesare si o retea de interconexiune (interconnection network) care asigura transferul de date intre procesoare si memoria globala; memoria poate fi implementata sub foma de module; - din punct de vedere al programarii, se folosesc variabile tip shared, accesate de toate procesoarele; acestea sunt stocate in memoria globala; - dificultate: memoria este accesata de toate procesoarele! De aceea, sistemul functioneaza eficient pe numai cateva zeci de procesoare.

29 Calculatoare cu memorie partajata Shared Memory Machines (SMM): - caz particular de SMM: symmetric multiprocessors (SMP) - procesoare uniform distribuite in jurul unui bus de date central; - tipic procesoare; - programare de tip threading; se pot deosebi: - kernel threads (operate de sistemul de operare); - user threads (operate de user); - SMP pot fi utilizate ca noduri intr-un calculator paralel; se poate utiliza cache coherence protocol pentru a vedea memoria global, desi fizic este distribuita sisteme de tip distributed shared memory (DSM) - in acest caz, timpul de acces al memorie depinde de locul unde sunt stocate datele! - aceste sisteme se mai numesc NUMAs (non-uniform memory acces)

30 Reducerea timpului de acces al memoriei Next time