Jocuri dinamice. Coordonarea strategiilor; căi spre cooperare

Transcription

1 Jocuri dinamice Coordonarea strategiilor; căi spre cooperare

2 Echilibrul Nash Dilema prizonierilor Deţinut 2 Cooperează Trădează Deţinut 1 Cooperează 3, 3 1, 5 Trădează 5, 1 2, 2 (valorile reprezintă beneficii, nu ani de închisoare)

3 Iterated Prisoners Dilemma În mod evident, jocul repetat oferă o imensă varietate de strategii posibile. Putem stabili care dintre acestea este cea mai avantajoasă? Este întrebarea la care a încercat să răspundă Robert Axelrod (The Evolution of Cooperation, 1984) El a reformulat dilema prizonierului ca pe un joc al cărui scop este acumularea unui număr cât mai mare de puncte (sau a unor sume de bani cât mai mari). Spre a vedea care strategii dau cele mai bune rezultate, Axelrod a organizat un turneu, la care s-au înscris mai mulţi creatori de strategii simulate pe computer, fiecare strategie din concurs urmând să se confrunte de 200 de ori cu fiecare dintre celelalte, dar şi cu ea însăşi, la sfârşitul jocului totalizându se punctele acumulate de fiecare participant.

4 Iterated Prisoners Dilemma Axelrod a redefinit jocul astfel. Fiecare jucător poate să aleagă una dintre mutările cooperate sau defect. În locul anilor de puşcărie (cu cât mai puţini, cu atât mai bine), competitorii acumulează un anumit număr de puncte (cu cât mai multe, cu atât mai bine), acordate după următoarele reguli: cooperare reciprocă 3 puncte; tentativa de trădare 5 puncte; pedeapsa pentru trădare reciprocă 1 punct; răsplata fraierului [sucker s payoff] 0 puncte.

5 Jucătorul A Jucătorul B Cooperează Trădează Cooperează Trădează Destul de bine RECOMPENSA cooperării reciproce 3 puncte Foarte bine TENTATIVA de trădare 5 puncte Foarte rău RĂSPLATA FRAIERULUI 0 puncte Destul de rău PEDEAPSA pentru trădare reciprocă 1 punct

6 Iterated Prisoners Dilemma S-au înscris 14 participanţi, unii dintre ei cu strategii foarte sofisticate. Turneul a fost câştigat de cea mai scurtă şi cea mai simplă strategie, cu doar două reguli: a) Începe întotdeauna prin a coopera; b) la fiecare din următoarele mutări răspunde cu aceeaşi mutare pe care a făcut o adversarul în runda precedentă. Propusă de către Anatol Rapoport, un cunoscut psiholog şi specialist în teoria jocurilor din Toronto, această strategie a fost numită Tit for Tat. Ea conţinea doar patru linii de comandă în limbajul de programare BASIC.

7 Iterated Prisoners Dilemma Creatorii unor strategii ceva mai sofisticate au fost foarte contrariaţi de faptulcă un stil de joc atât de simplu a putut câştiga turneul. Axelrod a organizat un al doilea turneu, cu 62 de concurenţi care erau preveniţi de eficienţa jocului Tit for Tat. Dar strategia propusă de Rapaport a câştigat din nou detaşat.

8 Iterated Prisoners Dilemma Robert Axelrod: The Evolution of Cooperation (1984) Oponentul nu ştie ce alege celălalt în runda curentă, dar ştie ce a ales în rundele anterioare Cea mai interesantă descoperire: strategiile egoiste oferă, în timp, beneficii inferioare celor oferite de strategiile altruiste Strategiile altruiste se sprijină reciproc şi reuşesc să obţină împreună rezultate mai bune, în timp de strategiile egoiste se subminează reciproc.

9 IPD O variaţie este Tit for Tat cu iertare, în care există o mică probabilitate de cooperare (1-5%) chiar şi atunci când celălalt a trădat (pentru a nu se ajunge la blocaje trădare/trădare); această variantă funcţionează cel mai bine în condiţiile în care jucătorilor nu li se comunică istoria corectă a jocului (nu li se raportează în mod corect mutările efectuate de celălalt). Strategiile altruiste au învins în competiţia propusă de Axelrod, chiar dacă aceasta avea un număr predefinit (însă mare) de runde de joc; discrepanţă normativ/descriptiv la nivelul disponibilităţii efective de cooperare. Cooperarea este încurajată de faptul că jucătorii nu cunosc numărul rundelor.

10 IPD Analizând cele mai bune strategii, Axelrod a propus câteva condiţii de succes ale unei strategii: Be nice: nu trăda primul Plăteşte trădarea cu trădare Iartă: revino la cooperare de îndată ce oponentul încetează să trădeze Nu fi invidios: nu încerca să obţii mai multe puncte cu orice preţ

11 IPD O altă strategie puternică este Pavlov : jucătorul cooperează la prima iteraţie şi de fiecare dată când el şi oponentul au ales aceeaşi strategie în runda anterioară Experimente IPD: biologie, reţele neuronale etc.

12 IPD Dacă există un număr predefinit de runde, singurul echilibru Nash este [trădează, trădează], însă experimentele sugerează o disponibilitate de cooperare superioară celei postulate de teoria jocurilor. Ce anume poate împinge jocul spre cooperare? Rolul informaţiei suplimentare şi al fricii de retaliere. Alte exemple real life?

13 Pasagerul clandestin multiple runde P2 Contribuie Nu contribuie P1 Contribuie [3 4], [3 4] 1, 3 Nu contribuie 3, 1 2, 2 Beneficiul obținut de fiecare e cu atât mai mare cu cât există mai multe persoane care contribuie. Costuri vs. beneficii private/sociale Frica de retaliere poate împinge spre cooperare. Ce se întâmplă însă în situaţii în care nu există retaliere, ci doar un avantaj oferit de cooperare (cu atât mai mare cu cât contribuie mai multe persoane)? Vezi si Olson Logica actiunii colective.

14 Pasagerul clandestin multiple runde Jocurile piramidale oferă participantului iluzia unui beneficiu sigur, datorită numărului mare al celor care par dispuși să contribuie În acest caz, pasagerul clandestin este motivat să contribuie datorită faptului că (1) nu poate obține un câștig fără să investească și (2) câștigul estimat este suficient de mare în raport cu investiția

15 Bibliografie Axelrod, Robert (1984) - The Evolution of Cooperation, Basic Books Robert Aumann - Acceptable points in general cooperative n-person games, in R. D. Luce and A. W. Tucker (eds.), Contributions to the Theory 23 of Games IV, Annals of Mathematics Study 40, , Princeton University Press Rapoport, Anatol and Albert M. Chammah (1965) - Prisoner's Dilemma. University of Michigan Press. S. Le and R. Boyd (2007) - "Evolutionary Dynamics of the Continuous Iterated Prisoner's Dilemma" Journal of Theoretical Biology, Volume 245, Full text A. Rogers, R. K. Dash, S. D. Ramchurn, P. Vytelingum and N. R. Jennings (2007) - Coordinating team players within a noisy iterated Prisoner s Dilemma tournament Theoretical Computer Science 377 (1-3) M.J. van den Assem, D. van Dolder and R.H. Thaler (2010) - "Split or Steal? Cooperative Behavior When the Stakes are Large" Altele - Iterated Prisoner's Dilemma Bibliography web links