The Evolution of Cooperation by Robert Axelrod is an outstanding book. First published in 1984 it has increased in significance with the evolution of the Internet. In the book Axelrod examines how cooperation can emerge and stabilize in multi-participant environments. The book is fascinating as an analysis of the evolution of cooperation, but is of particular interest to anyone seeking to establish effective; social software systems, peer-to-peer networks, or multi-player gaming environments. Axelrod builds his thesis on the analysis of a gaming tournament he organized. He invited multiple people from many different fields; economics, computer science, evolutionary biology, etc, to submit computer programs employing well defined strategies to play a series of games of Prisoner's Dilemma. Each program played several hundred games against every other program. The results were surprising and enlightening.
In the game of Prisoner's Dilemma there are two players, who each have two choices. Each player chooses simultaneously, to cooperate or to defect. If they both choose to cooperate they both get R - the reward for mutual cooperation. If they both choose to defect they both get P - the punishment for mutual defection. If one cooperates and the other defects then the defector gets T - the temptation, and the cooperative player gets S - the suckers payoff. The dilemma comes from the fact that the best strategy depends on the opponent's strategy and a smart player knows this, so players must both second guess each other.
The following table shows the scoring system used by Axelrod for the Prisoner's Dilemma tournament.
| Player Two | |||
|---|---|---|---|
| Cooperate | Defect | ||
| Player One |
Cooperate | R=3, R=3 Reward for mutual cooperation |
S=0, T=5 Sucker's payoff, and temptation to defect |
| Defect | T=5, S=0 Temptation to defect and sucker's payoff |
P=1, P=1 Punishment for mutual defection |
|
The results above are one specific case. Any game is a Prisoner's Dilemma if it satisfies the following inequalities:
T > R > P > S
And
R > (T+S)/2
(This second inequality means it is better to cooperate than alternately defect and cooperate)
In the Axelrod's tournament one of the simplest strategies was the clear winner. Axelrod calls this strategy Tit-for-Tat - Cooperate on the first move and thereafter do whatever the opponent did on the previous move. Why this strategy is so successful and what it means is the subject of the rest of the book.
Axelrod defines a term "w" for weight (or importance) of a future result. He assumes that w always takes a value between zero and one (0 < w < 1). If w is 1 then future results are as important as current results, but if w is 0.5, for example, then future results are half as important as current results. The current value of the next result is calculated by multiplying the payoff by w. High values of w mean the future is more important and low values mean it is less important. The net present value of a series of future results can be calculated according to this formula.
Axelrod poetically calls the concept of a net present value "The Shadow of the Future". Increasing w increases the size of the shadow whereas decreasing w decreases the size of the shadow.
The concept of the net present value of future earnings is a common one in economics and is fundamental in many investment decisions. Future earnings are less valuable than current earnings because of risk and opportunity costs. It is not certain that two players will actually meet again or that they will behave in a predictable manner. External influences could change the expected outcome. And there are usually alternative strategies that could be just as rewarding for the same risk.
If the game is played in rounds (where each round consists of many hundreds of turns) and the population of players using a given strategy in the next round is determined by the success of that strategy in the previous round. Then the concept of invasion and collective stability can be examined. A collectively stable strategy is one where a large number of agents using the same strategy cannot be "invaded" by a single agent playing a different strategy. Axelrod shows that some strategies can invade a larger group if there is more than one agent playing the invading strategy. He goes on to prove that Collectively stable strategies are also territorially stable. That is if agents can play only with adjacent agents the same rules apply.
Axelrod defines 8 propositions based on his analysis of the tournament. About half of the book is spent explaining these propositions.
Axelrod provides four maxims for how to do well as a participant in situations similar to iterated games of Prison Dilemma.
Axelrod provides another set of maxims for those trying to encourage cooperation among players.
In his recent essay A Group is its own Worst Enemy Clay Shirky simplifies and restates similar findings by suggesting "four things to design for" when designing a social software system:
These lessons can be usefully applied to a variety of networked communities such as; peer-to-peer networks, multi-player gaming environments, and other social software systems if the community in question is playing a close analogue of the Prisoners Dilemma. This is true when the payoff scheme has equivalents to the payoffs R,P,T,S, and these equivalents satisfy, or can be made to satisfy, the inequalities T > R > P > S and R > (T+S)/2.
In his fine book Complexity: The Emerging Science at the Edge of Order and Chaos. , Mitchell M. Waldrop states that systems evolve most rapidly when they are pushed to the edge of chaos and order because this is the region where complexity emerges spontaneously. The inequalities that define the Prisoner's Dilemma describe a similar boundary, between cooperation and defection, where complex social structures like ethics, ritual, and reputation emerge. I believe the most interesting social environments are the most adaptive environments, that support the emergence of complex social structures, that are only possible because both cooperation and defection are permitted. I believe it is therefore worth pushing networked environments towards this edge by making cooperation only slightly more attractive than defection. In other words R > (T+S)/2, but only just!
In many cases existing environments could be greatly improved if the payoff scheme were brought more into balance. It is common for the payoff scheme of these environments to be out of balance, either defectors go unpunished or there is no opportunity to defect and everyone becomes a sucker ripe for exploitation. By applying some of the maxims defined by Axelrod the payoff schemes of these environments can be moved towards a more balanced state typical of the Prisoner's Dilemma. The important point to realize is that the option to defect is necessary because it is this option that drives the emergence of many social structures whose purpose is to encourage cooperation. These emergent features are only found where they are necessary to tip the balance between cooperation and defection in favor of cooperation.
수 십년 전부터 죄수의 딜레마 게임은 경제, 사회현상, 그리고 생물학 분야에서 상호간의 협동을 요하는 문제에서 주로 사용되어 왔다. 자기 중심적인 개체들 사이에서 협동으로의 진화를 다루는 게임인 죄수의 딜레마 게임은 '비영합 게임' 혹은 '비협동적인 게임' 이다. '비영합 게임'이란 자신의 이익이 반드시 상대방의 손해에 기인하는 것은 아님을 뜻하며 비협동적 게임이란 서로 사전에 상대방을 만나서 협의할 수 없도록 되어 있음을 의미한다. 산업혁명과 더불어 도시화의 급진전은 세계적인 추세이다. 이와 같은 도시화는 범죄발생을 증가시켰다. 우리나라도 마찬가지로 마찬가지로 1960년대부터 범죄 발생율은 급상승세를 보여주고 있다. 이른바 경제개발 5개년 계획의 시작연도이다. 경제 개발은 곧 도시화를 촉진하였고, 더불어 범죄 발생은 증가 추세를 보였다. 범인은 단독범과 공범으로 구별된다.
공범을 체포하여 수사관이 심문할 때 자주 쓰이는 방법이 있다. 자백을 얻어내는 일종의 방법으로 공범을 분리하여 심문하는 방법이다. 공범의 자백을 유도하는 방법처럼 정치외교에도 이 방법을 이용한다. 국경선을 맞대고 대치하는 양국이 제3국의 유능한 외교관을 통해 문제해결을 할 수 있게 되는 것이다.
검거된 두 범인이 서로 의사소통을 할 수 없는 독방에 각기 갇혀 있다. 이들은 치사하게 자백을 하든가, 의리를 지켜 범행을 부인하던가 둘 중의 하나를 선택해야한다. 4가지 경우가 발생할 숭 있다. 둘 다 범행을 부인하면 둘 다 풀려난다. 둘 다 자백을 하면 처벌을 받되 정상참작을 받을 것이다. 한쪽은 자백하고 다른 한 쪽은부인하면 자백한 쪽은 가벼운 처벌을 받지만 부인한 쪽은 가중처벌을 받을 것이다. 물론 둘 다 부인하는 경우가 가장 좋지만 이는 모험이다. 상대방도 부인할 것이라는 보장이 없기 때문에 자칫하면 가중처벌을 받을 수 있다.합리적으로 계산을 해보면 상대방이 어떤 행동을 취하든 자백을 하는 편이 그 중 안전한 처신이 된다. 즉 죄수들은 게임에서 살아남기 위해서는 의리를 지키기보다는 친구를 배신하는 행동을 해야 하는 딜레마에 처하게 된다.
이런 게임을 1회가 아니라 수없이 반복한다고 할 때 즉, 앞의 게임이 다음 게임에서의 선택에 영향을 미친다고 할때 승패의 계산은 상당히 복잡해진다. 여기서 4부류가 나올수 있는데 무조건 자백으로 일관하는 배신파, 무조건 부인하는 선심파, 처음엔 부인하지만 다음부터는 상대방의 결정에 따라 ‘이에는 이, 눈에는 눈’으로 대응하는 정의파, 처음엔 자백하지만 다음부터 상대방의 결정에 따라 행동하는 불신파가 그것이다. 악셀로드의 이론에 근거하면 처음엔 일단 협조하지만 상대방이 협조로 나오면 다음 선택에서 협조로 보답하고, 상대방이 배신으로 나오면 다음 선택에서 배신으로 응징하는 것이 합리적인 것이다. 죄수의 딜레마 게임의 중요성은 많은 사회현상이 근본적으로 이것과 비슷한 상황이라는 데 있다. 예를 들어, 두 개의 상점이 가격 경쟁을 하고 있는 경우를 상상해 보자. 한 상점이 가격을 낮추면, 그 상점은 상품당 이윤이 작아지지만 낮은 가격으로 더 많은 고객을 확보할 것이고, 가격을 내리지 않은 상점은 상품당 이윤은 크지만 고객이 줄어 매출 (또는 총이윤) 이 작아질 것이다. 그러므로 두 상점 모두 가격을 내리게 되어 모두가 보다 작은 이윤을 얻게 되고, 결국에는 두 상점 모두 가격을 내리지 않은 경우보다 이윤이 더 작게 된다. 두 국가간의 군비경쟁도 비슷한 경우이다. 각 국의 '무장' 과 '비무장' 이라는 두 개의 전략에 대하여 같은 이유로 설명이 가능하다.
이 이론을 남북 관계에 대입시켜보자. 역대 남한 정부가 취해 온 대북 협상 태도는 배신파에 가깝다고 볼 수 있다. 북의 태도가 어떠하든 상관없이 상대방에 대한 적대적 태도를 기본으로 해왔던 것이다. 이 경우, 이론에 따르면 북은 남의 태도가 고정돼 있으므로 자신들이 적대를 취하든 포용을 취하든 별로 잃을 것이 없다. 오히려 북을 보면 그들은 정의파 혹은 불신파로 처신해 온 것으로 보인다. 남쪽의 그때 그때 처신에 따라 적대에는 적대로 포용에는 포용으로 대응해왔던 것이다. 따라서 김대중 정부 이전의 남북관계에서 실익을 챙긴 쪽은 북한일 수 밖에 없었다. 이제 전 김대중 정부의 햇볓정책을 보자. 이것은 혹시 선심파가 아닐까. 햇볓정책이란 용어를 낳은 이솝우화에서 암시되듯 북의 태도에 상관없이 무조건 포용을 베풀자는 것으로 보인다. 그러면 게임의 상대방으로서의 북한은 이를 이용하고 싶은 생각도 들게 될 것이다. 게임구조 상 그렇게 될 수 밖에 없는 것이다. 적어도 협상의 기술적 측면에서 선심파보다는 정의파가 되려는 노력이 필요한 것이 아닐까. 북은 남에서 팀스피리트 훈련 같은 것을 하면 당장 협상 중단이라는 응징을 해왔다. 남이 식량지원이라는 포용을 베풀면 북도 이상가족 상봉이라는 포용으로 응대했다. 그런데 북이 이미 약속된 약속됐던 김정일 국방위원장 답방을 이행하지 않았던, 예정된 장관급회담과 적십자회담을 일방적으로 무산시키는 일련의 행동을 보였을때 남은 이에 대해 너무 무대응으로 일관했던 것은 아닌가.
여기서 우리는 상위권 전략의 공통적 특징까지 이해할 수 있다.
1.전략은 선해야 한다.(Niceness) 협력으로 시작하며 먼저 변절하지 않는다는 것으로 여기서 선하다는 것은 내가 먼저 배반하는 행동을 취하지 않는다는 뜻이다. 자신의 이익만을 생각하고 상대의 약점을 찾기 위해 슬쩍 슬쩍 배반을 하게 되면 이는 십중팔구 상대의 보복을 유발하게 되어 상대방과의 향후의 거래를 엉망으로 만들어 버리기 쉽다.
2.상대방이 배반할 경우 응징해야 한다.(Provocability) 상대방의 배반에 대해서는 (배반으로) 보복한다. 상대의 배반에 대하여 반발하지 않으면, 선하지 않고 상대의 약점을 이용하려 하는 정책들로부터 착취당하게 된다.
3.용서하라. (Forgivingness) 상대방이 배반하였을 때 거기에 대해서 끝까지 용서하지 않고 응징으로서 계속 배반을 선택하는 전략은 좋은 성과를 올리기 어렵다. 어떤 방식으로든 충돌 후 화해의 분위기를 조성하여 상대와 다시 협동적인 관계를 회복하는 것이 필요하다.
4.행동 방식은 상대방이 이해할 수 있을 정도로 간단해야 한다. (Clear) : 경기의 방식은 일관적이어야 하고 예측이 쉬어야 한다. 나의 반응 방식이 너무 복잡하면 상대방은 나의 반응 패턴을 이해하지 못하고 자기의 행동에 대해서 반응하지 않는 것으로 생각하게 된다. 그렇게 되면 상대는 나에게 협동할 유인을 발견하지 못하게 된다. 어느 정도 직선적인 성격이 필요하다는 말이다.
이상의 요구되는 전략속성들을 뭉뚱그려 표현한다면, “먼저 배반하지 말고, 응징하되, 용서하라.” 은 이상의 네 가지 바람직한 성격들을 모두 구비하고 있는 대표적인 전략이다.
Axelrod�?� The evolution of cooperation �?� �궡�슜�?� ��?�떦�엳 �?몄�? 源딆뿀�떎. 洹멸�� �젣�떆�븳 Prisonor��셲 Theory ��?�꽌��� 媛숈?� ��?�솴��?�꽌�?� �삊�젰�?� �늻援щ굹 �븳踰덉�ㅼ?� ��?媛? �빐 蹂댁븯�?� 留뚰븳 �궡�슜�쑝濡� �듅�엳 �?쇱�?��?�솢 媛��슫�?곗�?�꽌�?� �돺寃� 洹몃윴 ��?�솴�?� 李얠븘蹂� �닔 �엳�떎�뒗 ��?�?� ��?媛?�뻽�?� �븣 留ㅼ슦 �떎�슜��?�?� �?대줎�?대?� ��?媛?�븳�떎.
Prsonor��셲 Theory��?�꽌 蹂대㈃ 2�?몄?� 媛? �떦�궗��?�?� �꽑��?吏�媛� 蹂듭닔 �?� �븣��? �?대뱾�?� 媛?媛? �빀由ъ�?�?� �꽑��?�?� �븯寃� �?섎㈃ �쟾泥댁?댁?듭?� �빀�?� 理쒖냼媛� �?⑥?� �븣 �닔 �엳�떎. 利�, ��?���諛⑹?� �뼱�뼡 �꽑��?�?� �븯�?� ��?愿��뾾�?� �븳 媛쒖?몄?� �엯�옣��?�꽌 蹂대㈃ Cooperate蹂대떎�뒗 Defect �븷 �븣�?� �?대�?�?� �?ш쾶 �?섎��濡� �빀由ъ�?�?� 媛쒖?몄?� Defect瑜� �꽑��?�븯寃� �?쒕떎. �븯吏�留� �뼇痢� 紐⑤�? �?대윴 �빀由ъ�?�?� �꽑��?�?� �븯�뿬 Defect瑜� �꽑��?�뻽�?� �떆, �쟾泥댁?� �?댁?듭?� 媛��뒫�븳 4媛쒖?� 寃쎌슦 媛��슫�?� 媛��옣 ��?寃� �굹����궃�떎. �?대젃寃� �빀由ъ�?�?� �꽑��?�?� �뻽�?뚯�?�?� 遺덇뎄�븯怨� 理쒖븙�?� 寃곌낵媛� �굹�삤�뒗 �?대윴 �쁽��?�?� Prisonor��셲 dilemma �?쇨퀬 �븳�떎.
�?대젃�벏 寃뚯엫�?� �븳踰덉쑝濡� �??�굹硫� ��? �떦�궗��?�?� �삊�젰 媛��뒫�꽦�?� �뾾�떎. �븯吏�留�, 寃뚯엫�?� �븳踰� 肉?�?� �븘�땲�?� �뼵�젣 �??�궇吏� 紐⑤Ⅸ�떎硫�, 利�, �떦�궗��? ��? 紐낆?� 怨꾩�? 愿�怨꾨�� 留븐뼱�빞 �븯�뒗 ��?�솴�?대?쇰㈃ �?댁빞湲곕뒗 �떖�?쇱쭊�떎. Axelord媛� 珥덉�?�?� 留욎텣 遺�遺꾩?� �?� 遺�遺꾩?대떎. Axelord�뒗 indefinite number of interaction�?� �엳�?� �떆��? w瑜� weight (or importance) of a future result �?� ��?�뿀�떎. 利� w瑜� 1湲고썑��? 寃뚯엫�?� �떎�떆 �엳�?� �솗瑜좊줈 �빐��?�븳 寃껋?대떎.
�?대젃寃� 誘몃옒�?� 媛��뒫�꽦 w瑜� �뿼��?��? ��?怨� 媛��옣 �빀由ъ�?�?� �꽑��?�?� �븯�뒗 諛⑸쾿�쑝濡� Axelrod媛� �젣�떆�븳 �빀由ъ�?�?� �꽑��? 諛⑸쾿�?� 諛붾줈 Tit for Tat �?댁뿀�떎. Tit for Tat �?� ��?���諛⑹?� 臾댁뒯 �꽑��?�?� �궡由щ?� ��?愿��뾾�?� 泥섏?뚯�?�뒗 臾댁“嫄� cooperate �븯怨�, 洹� �썑�?� �꽑��?��? �엳�뼱�꽌�뒗 ��?���諛⑹?� �꽑��?��? �뵲�?� cooperate��� defect瑜� 寃곗젙�븯�뒗 �꽑��? 諛⑸쾿�?� 留?�븳�떎. �?대뒗 ��?�떦�엳 �슚怨쇱�?�?� 諛⑸쾿�쑝濡� 留뚯빟 �뼇痢� 紐⑤�? Tit for Tat�?� 諛⑸쾿�?� �꽑��?�븳�떎硫� 寃곌뎅��?�뒗 ��? �궗�엺 紐⑤�? 理쒕���?� �?댁?듭?� �뼸寃� �?쒕떎.
Axelrod�?� �?대줎 以� 媛��옣 �?몄�? 源딆뿀�?� 遺�遺꾩?� 諛붾줈 �?� Tit for Tat �꽑��?�?대떎. �?대뒗 鍮꾨떒 寃쎌젣�븰��?�꽌肉?留� �븘�땲�?� �?쇱�?��?�?� �궣��? �엳�뼱�꽌�?� ��?�슜 �?� �닔 �엳�뒗 �?대줎�?대?쇨퀬 ��?媛?�븳�떎. �삁瑜� �뱾�뼱 移쒓뎄媛� �굹�?� �?꾩���?� �븘�슂濡� �븷 �븣 �궡媛� �떆媛꾩?대굹 湲덉쟾��?�?� 硫댁�?�꽌 議곌툑 ��?�빐瑜� 蹂대뒗 �븳�?� �엳�뼱�?� 洹� 移쒓뎄瑜� �?꾩��以��떎硫� �썤�궇 �궡媛� 移쒓뎄�?� �?꾩���?� �븘�슂�븷 �븣��? 移쒓뎄 �뿭�떆 �궡媛� �쟾��? 諛고���뿀�?� �샇�?섎�� 蹂닿퀬 �굹��?寃� �삊�젰�븯寃� �?� 寃껋?닿린 �븣臾몄?대떎.
Axelrod�?� �?대줎�?� 蹂듭옟�븳 �떎瑜� 寃쎌젣�븰 �?대줎怨쇰뒗 �떖由� �떎��?�솢��?�꽌 �뼹留덈뱺吏� 寃れ?� �닔 �엳�뒗 ��?�솴�?� 臾섏궗�뻽�떎�뒗 ��?��?�꽌 �뿬�윭紐⑤줈 怨듦�?�?섎뒗 遺�遺꾩?� 留롮븯�떎. 移쒓뎄 �샊�?�
�떎瑜몄궗�엺怨쇱?� 愿�怨꾩�? �엳�뼱 Axelrod�?� �?대줎 泥섎읆 癒쇱�� �삊�젰�?� �븷 �닔 �엳�뒗 留덉?뚭��吏?�?� 吏��땲怨� �궡�븘�빞寃좊떎.
