일지 빅토리아3 개발일지 #59: AI

[화면조정]

https://forum.paradoxplaza.com/forum/developer-diary/victoria-3-dev-diary-59-ai.1543736/

Victoria 3 - Dev Diary #59 - AI

게임 출시를 한 달 여 남긴 시점(원글의 작성일자는 9월 23일)에서 우리가 마지막으로 해야 할 일 중 하나는 AI를 최종적으로 다듬는 것임. 지금은 AI에 대해 이야기하기 좋은 기회이겠지만, AI의 성능에 대한 인식은 매우 주관적이며, 출시 전까지 해결해야 할 AI 관련 문제(ex: AI의 무한 혁명)들이 있기 때문에 AI가 보여주는 정확한 난이도나 AI가 사용하는 기술에 대해서는 언급하지 않을 것임.

빅토리아3의 AI는 다른 대전략 게임과 마찬가지로 플레이어와 같은 게임을 하고, 같은 기능을 사용하며, 동일한 제한을 적용받고, 어떠한 치트성 보너스도 받지 않음(특정 게임 규칙을 사용할 경우의 예외가 있지만 자세한 내용은 후술). 그 밖에도 AI의 동작에 대한 지침이 되어주는 4가지 디자인 원칙이 있음:
 

• 민맥싱(가장 효율적인 메타를 찾아내는 스타일)이 아닌 롤플레잉: 빅토3의 AI는 최적화된 플레이나 '플레이어처럼 플레이'가 아닌 '롤플레이'를 진행해야 함. AI는 편법을 사용해서는 안 되며 그들이 정한 목표에 따라 행동해야 함. AI 독일 소국이 통일 독일로 흡수되기를 원하는 것은 완벽하게 괜찮음(합병당하는 것이 최적의 게임플레이는 분명히 아니지만).
• 투명하고 명확하게: AI의 게임플레이 전력과 의사결정은 플레이어가 그 사유를 이해할 수 있어야 하며, 1번째 원칙에 의한 AI의 전략을 플레이어에게 명확하게 나타내야 함
• 적정 범위 내의 모딩: AI는 게임의 성능을 망치지 않는 선에서 최대한 모딩이 가능해야 함. 적어도 현 세대의 하드웨어에서는 AI의 핵심 의사결정 루프를 모더들에게 공개할 가능성은 낮지만, 모더가 트리거, 디파인, 스크립트된 값을 통해 의사결정에 접근할 수 있는 영역은 무엇이든 공개해야 함
• 지나친 무작위도, 지나친 정형화도 아닌: AI는 일반적으로 '반(Semi)무작위성'에 기반한 결정을 내려야 함. AI의 선택지에 각각의 점수를 할당한 후, 그 중에서 특정 유형의 선택지에 원하는 만큼의 무작위성을 정해진 값만큼 혼합하는 것임. 예를 들어 AI가 기본 점수 50과 100의 두 선택지 중 하나를 골랐을 때 이에 대한 무작위성 계수(R)가 1.0이라면, 두 선택지에 대한 총 점수의 범위는 {X/(1+R)} ~ {X*(1*R)}, 즉 25~100점 vs 50~200점임을 의미함. 즉 여기서 AI는 후자를 택할 가능성이 더 높지만, 앞의 공식에 의한 계산 결과에 따라 전자를 택할 가능성도 적지 않음. 그러나 AI가 100과 10의 기본 점수를 가진 두 선택지 중 하나를 선택한다면 무작위성 계수 만으로는 기본 점수의 격차를 따라잡을 수 없기 때문에 이 경우에는 계수가 1인 100점의 선택지를 항상 선택할 것임. 이는 AI가 경로의존성을 띄지 않고 합리적인 결정을 할 수 있도록 모든 역설겜에서 사용하는 가중치의 일종임

빅토3의 AI에 있어 가장 핵심적인 메카닉은 3가지 원칙을 모두 따르는 AI 전략임. 모든 AI 국가는 행정, 정치, 외교의 3가지 AI 전략에 따라 통제됨. 행정 전략은 경제의 발전 방향이나 예산의 균형 조절을 결정하고, 정치 전략은 선호하는 이익집단과 정치 개혁에 대한 적극성을 결정하며, 외교 전략은 진출 방향(ex: 식민지 개척 vs 고립주의)을 결정함. AI가 어떤 전략을 선택할 지는 여러 가중치에 따라 반무작위적으로 결정됨. 지식인 이익집단의 영향력이 강한 국가는 진보적인 정치 전략을 추구할 가능성이 높지만, 그것이 보장되지는 않음.


 

청나라는 시작 시점에서 매우 보수적인 전략을 취하는 경향이 있음. 그들의 목표는 오로지 내정을 안정화하고 이미 이룩한 것을 지켜내는 것임

 
AI 전략 시스템은 다른 전략을 통해 조정되고 연계될 수 있는 모든 종류의 가치를 포함하고 있음. 모든 AI는 다른 나라로부터의 의무를 얼마나 중요시할지, 어떤 전쟁목표에 관심을 가질지, (어떤 나라를 상대로) 전쟁목표를 얼마나 적극적으로 달성하려 할지, 외교전에서 어느정도의 중립을 지킬 것인지(차후에 자세히 소개)와 같은 가치를 설정하는 숨겨진 기본 전략을 가짐. 이 기본값은 활성화된 AI 전략에 맞게 변경되거나 추가될 수 있음. 예를 들어 '정복' 전략의 경우 해당 지역의 GDP와 인구, 목표 달성 가능성, 목표 지역의 인접성 등에 따른 기본 점수가 있음. 따라서 이 AI가 '독일 통일' 외교 전략도 가지고 있다면, 이 전략은 모든 독일 문화권 지역에 부가적인 가치를 추가할 것임.


 

AI가 의무의 가치를 평가하는 스크립트의 일부는 모더들의 손을 탈 것이라고 확신함!

 
전략적 욕구(Strategic Desires)는 AI가 이권, 접경 여부 등에 따른 외교적 상호 작용이 가능한 모든 타국을 상대로 가질 수 있는 일종의 미니 전략임. 이는 AI 전략의 각 유형에 가중치를 부여하여 반무작위로 결정됨. '식민지 획득' 전략을 가진 AI는 다른 전략을 가진 AI보다 미승인국을 정복/종속시키기를 원할 가능성이 높음. 전략적 욕구 시스템의 대표적 장점은 저널 항목을 완료하는 것과 같은 특정 목표를 AI가 추구하게 만들기가 쉽다는 것임. 아편 전쟁에서 영국이 청나라로부터 조차지를 할양받는 행동을 전문적인 코드를 작성할 필요 없이 AI 전략에 적절한 가중치를 부여하면 나머지는 게임 내에서 자체적으로 처리됨.


 

오스만은 '정복'이라는 전략적 욕구에 의한 매우 낮은 태도 점수로 인해 이집트에 호전적인 태도를 갖고 있음

 
AI 전략과 전략적 욕구가 게임 내내 고정되는 것은 아님. 일부는 history 파일에 설정되어 있고, 다른 일부는 전술한 대로 반무작위적으로 결정될 수 있지만 시간이 지남에 따라 변할 수도 있음. 이러한 변화는 특정 이벤트로 가속화될 수 있음. 각각의 AI 전략과 전략적 욕구는 그 값이 100에 도달하면 전체적인 재설정이 이루어지는 '변화점'을 가지고 있음. 한 나라에 즉시 수많은 변화점을 추가하고 전략과 욕구의 재설정을 야기하는 많은 요소들이 있음. 예를 들어 한 나라가 파산을 선언하면 다른 AI 국가들은 파산을 선언한 나라에 대한 전략적 욕구에 대한 많은 변화점을 갖게 되며, 파산한 국가는 가치 없는 동맹이자 손쉬운 먹잇감으로 간주되기 때문에 해당 국가에 비우호적인 욕구를 투사할 가능성이 높아짐.

또한 새로운 법령을 성공적으로 채택할 때마다 정치 전략에 여러 가지 변화점이 추가됨. 변화점이 100에 도달했다고 해서 반드시 전략이나 욕구가 바뀌는 것은 아님. 스크립트 상 특정 전략에 대한 AI의 선호도가 높은 경우 재설정의 결과는 기존의 것을 그대로 유지하는 것일 수 있음.

이제 화제를 돌려서 경제 영역에서의 AI를 얘기해보겠음. 빅토3의 경제 관리는 상당히 복잡할 수 있기 때문에 AI를 구성하는 것도 단순한 일이 아님. 아주 사소한 행동에도 많은 변수들을 고려해야 함. 예시로 AI가 담배 농장을 지을지 말지 고민하고 있다고 가정해보자. 우리는 그저 담배의 현재 시장 가격과 예상 인건비를 보고 이익이 날지를 확인하면 될 것 같지만, 사실은 아님. 담배의 시장 가격은 새로운 건물이 완성되는 즉시 변동될 것이고 시장에는 판매 주문(공급)이 추가되기 시작할 것임. 담배의 공급이 증가할 수록 담배의 수요는 증가하고, 동시에 주류와 같은 다른 상품의 수요를 감소시켜 주류를 생산하는 모든 건물에 대한 AI의 의사결정에 영향을 미칠 것임.


AI가 건물을 지으려고 할 때마다 성능이 저하되는 것을 막기 위해 AI의 경제 및 시장의 흐름 예측/분석 방법인 지출 가변값(Spending Variables)이라는 시스템이 있음. AI 국가의 지출 가변값은 건설 대기 중이거나 팝의 고용을 진행 중인 건물에서 발생할 수 있는 구매 주문(수요)과 판매 주문 등을 추적함. 즉 더 많은 공구가 필요한 AI가 공구 제조소를 건설하기 시작하면 이 건물이 완성되었을 때는 공구 부족 현상이 해결되므로 그 이상의 공구 제조소를 짓지 않는다는 것을 알 수 있음. 그리고 현재의 시장 상황 상 부적절할지라도 공구 제조소가 완성된 이후 공구를 필요로 하는 건물을 건설하려 할 수도 있음. 지출 가변값은 시장 내의 주문을 추적하는 것에서 그치지 않고 그보다 훨씬 더 많은 데이터를 추적하기 때문에, 특히 AI가 군사적 위협이 고조되고 있음을 느껴 군비 지출에 우선순위를 둬야하는지를 판단하는 것과 같이 항상 수행할 필요는 없는 복잡한 계산임.



 

지출 가변값은 플레이어의 국가에서도 예측을 목적으로 추적/기록됨. 사진에서 펠로폰네소스의 밀 농장을 확장하는 것은 곡물에 대한 가격 영향으로 인해 건물에 대한 수익을 감소시킬 것이라는 점을 알 수 있음. 다시 말해 AI도 이 점을 알고 있다는 것임!

 
이러한 가변값을 바탕으로 지출 결정을 내릴 때 AI는 ​이 게임의 개발 과정과 내부적으로 사용하는 이슈 추적기(JIRA)에서 영감을 얻은 시스템을 사용함. AI는 특정 건물에 보조금을 지급하거나, 특정 지역에 병영을 건설하는 등 정부 지출의 변경에 대한 모든 정보를 수집함. 그리고 각각의 행동에 우선순위와 점수를 할당함. 우선순위는 AI가 특정 항목에 대한 지출을 변경할 때 고려할 일반적인 사항을 결정하는 태그임. 지출을 늘릴 때는 우선순위가 높은 항목을, 줄일 때는 낮은 항목을 선택할 것임. 같은 항목(이를테면 같은 지역의 같은 종류의 건물)이라도 우선순위가 다른 경우가 잦은데, AI는 일반적으로 건설에 많은 돈을 들인 건물의 규모를 축소하는 것을 꺼리기 때문임.
 

우선순위의 종류
대체불가(Must-Have): 이것이 없을 바에는 차라리 파산하는게 낫다고 판단할 만큼 중요하게 생각하는 건물. AI는 여기에 해당하는 건물에 대한 지출을 늘리기만 할 뿐 결코 줄이지 않으며 드물게 사용되는 유형. 예를 들어 관료주의가 부족하면 세수가 감소하여 상황이 악화될 우려가 있기 때문에 AI는 관료주의가 부족하다 하여 정부 행정 건물을 축소하지는 않을 것임
필수적(Should-Have): 매우 중요하게 생각하며 재정에 적은 여유라도 있으면 즉시 확보하려 하는 건물. 채무가 있고 예산 균형을 맞출 방도를 찾을 수 없는 경우에만 이 건물에 대한 지출을 줄이려 할 것임
필요적(Wants-to-Have): 상당히 중요하게 여기는 건물로 어느정도의 재정 여유가 있으면 지출을 늘릴 용의가 있지만 재정 적자(임시 지출을 반영하지 않았을 때)가 발생하거나 여유금이 넉넉하지 않으면 채무를 져가면서까지 지출을 늘리지 않고 되려 줄일 것임
선택적(Nice-to-Have): 우선순위가 낮다고 여기는 건물로 여유금이 넉넉하고 그 돈으로 더 나은 투자를 할 수 없을 때만 지출을 늘릴 것이며 여유금의 상태가 좋아 보이지 않으면 즉시 지출을 줄일 것임
불필요(Should-not-Have): 전혀 원하지 않는다고 결정한 건물로 어떤 상황에서도 지출을 늘리지 않고 최대한 빨리 지출을 줄이려고 할 것임
 

우선순위에 대한 점수는 반무작위로 결정되는 수치로 같은 우선순위를 가진 두 항목 간의 순위를 결정하는 역할을 함. AI가 서로 다른 군사 건물 모두를 SHOULD-HAVE로 여긴다고 해도 실제로 어느 건물의 지출을 늘릴 것인지는 무작위성이 반영된 후 각 건물에 대한 점수에 따라 결정됨. 이 두 가지를 함께 사용하면 AI가 지나치게 경로의존성이나 무작위성을 띄지 않는 방식으로 결정을 내리게 할 수 있어 순수한 점수 기반 시스템보다 특수한 상황을 더 쉽게 처리할 수 있음.


 

AI의 지출 데이터는 투명성이 매우 높은 것으로 간주되어서 인터페이스에 표시되지는 않지만 콘솔을 통해 확인할 수 있음. 아래 사진에서 프로이센은 관료주의의 여분이 충분하다고 생각하며 정부 행정 건물을 추가할 필요를 느끼지 않음을 알 수 있음

다음으로 외교전에서 AI가 어떻게 행동하는지 이야기해보겠음. 개발자 스트리밍이나 AAR을 쭉 봤다면 AI가 외교전에서 어느 쪽을 지지할지 결정하는 방식에 익숙할 것임. 양 측의 점수를 매긴 다음 한 쪽에 회유될 수 있는지(때로는 회유되지 않아도 선호가 강한 쪽에 합류하기도 함) 판단하기 위한 회유 제안의 가치를 합산할 것임. 이 시스템은 외교전에서 AI의 행동을 결정하는 새로운 가치 -중립, 동정, 확신, 대담- 로 발전했음. 각각의 가치를 차례로 살펴보고 외교전에서 그 가치들이 AI의 의사결정에 어떤 영향을 미치는지 살펴보겠음.

중립: AI가 특정 외교전에서 얼마나 벗어나고 싶어하는지를 결정하는 값. 추구하는 전략과 채무, 군대의 형태, 분쟁에 개입하는 것이 가치있다고 판단하는지 등의 요소를 기반으로 함. AI가 한 쪽 편을 들거나 회유에 넘어가도록 하기 위해서는 한 쪽 편에 가담하는 것을 선호하는 점수가 반대편을 선호하는 점수나 중립 점수 모두를 넘어서야 함

동정: 양 측 지도국에 대해 각각의 일반 참여국에 반무작위적으로 결정되는 값으로 특정 진영에 가담할 확률을 높임. 방어 측에 대한 동정이 더 높고, 자국의 동맹국의 적에 대한 동정은 낮으며, 악명이 높은 적국에 대항하는 국가에 대한 동정심은 높은 경향을 보임. 또한 부가적인 전쟁목표를 추가하면 추가된 전쟁목표의 악명을 바탕으로 반대편에 대한 동정을 불러일으킬 것임. 마찬가지로 분쟁에 적극적이지 않은 나라의 지원을 받는 쪽은 외교전에 관련된 다른 나라들에 대해 새로운 후원국이 얼마나 강력한지에 따라 반대편에 대한 동정을 불러일으킬 것임


 

스샷에서 가치가 낮은 것으로 평가받는 의무보다도 더 가치가 낮은 영국은 중립성이 너무 높아 서아프리카에서의 분쟁에 관심이 없음

 
확신: 외교전을 이끄는 양 측의 지도국에만 적용되는 값으로 외교전이 전쟁으로 치달을 경우 자신들이 우위를 차지할 확률를 어느정도로 느끼는지를 결정함. 주로 양측 군대의 상대적 격차와 동원 수준에 따라 결정되지만, 전쟁 비용을 얼마나 감당할 수 있는지, 내부적 분열 정도나 군사력이 상대측보다 얼마나 강하다고 여기는지 등의 요소에 따라서도 결정됨. AI의 확신이 낮을 수록 외교전에서 물러서려는 의지가 강해지며, 적극적이지 않은 참여국들의 추가적인 지지를 확보하기 위해 총력을 기울일 것임

배짱: 외교전의 각 참여국에 대해 반무작위로 결정되는 숨겨진 값으로 특정 전략을 가졌거나, 높은 등급을 가졌거나, 군사력이 강하거나, 외교전에서 합병될 여지가 있으면 더 높은 값을 가짐. 병력 동원이 얼마나 빨리 이루어지는지, 아무런 제안 없이도 외교전에 가담할 의향이 있는지 등 AI의 다양한 결정에는 배짱이 작용하지만, AI가 전쟁을 치르지 않고 물러설 의향이 있는지를 판단하기 위해 확신과 대비되는 역할을 함. 이에 따라 확신과 배짱이 더해져 그 값이 낮을 수록 AI가 물러설 가능성이 높아짐. 외교전이 전쟁으로 확대될 경우 압박할 수 있는 추가 전쟁목표로부터 AI가 얼마나 많은 것을 잃을 수 있는지와 같은 다른 요소도 있지만, 배짱은 '예상 가능한 무작위성'을 부여하는 방법임


 

전쟁을 눈 앞에 둔 프로이센과 러시아는 오스트리아가 더 많은 지지를 확보하지 못 하면 여기서 한 발 물러설 가능성이 있지만, 오스트리아는 보헤미아의 제국 내 필수적 지위를 감안할 때 무슨 수를 써서라도 보헤미아를 사수할 것을 결정할 수도 있음

 
마지막으로 AI 게임 규칙에 대해 살펴보겠음. 빅토3의 복잡하고 상호연계된 경제, 시뮬레이션에 대한 우리의 일반적인 책무로 인해 '높은 난이도'가 단순히 모든 AI가 더 많은 상품을 생산하거나 무에서 많은 수입을 창출하게 만들고, '낮은 난이도'가 플레이어에게 유리하게 만드는 것을 원치 않았음. 대신 AI가 지정학적 차원에서 플레이어나 다른 나라와 어떻게 상호작용하는지에 초점을 맞추기로 했음. 이러한 철학에 따라 '플레이어를 향한 AI 행동'과 'AI 공격성'이라는 두 가지 AI 게임 규칙을 추가했음.

AI 공격성은 낮음-표준-높음의 3단계로 비교적 간단히 이루어져 있음. 높을 수록 AI는 다른 나라들에게 더 공격적으로 행동할 것임. 또한 AI가 어떤 전략적 욕구를 선호하며, 그 욕구를 이루기 위해 외교전을 벌일 가능성이 얼마나 높고, 악명을 떠안을 가능성이 얼마나 되는지에 영향을 미침.

플레이어를 향한 AI 행동은 관대함-표준-가혹함으로 이루어져 있음. AI가 플레이어의 국가를 대하는 관점에만 영향을 미치며 보편적으로 알려진 난이도 설정과 가장 근접함. 표준 설정에서 AI는 플레이어를 다른 AI와 동일하게 취급하며, '관대함' 설정에서는 AI가 플레이어에게 우호적인 전략적 욕구를 가질 가능성과 외교전에서 플레이어를 지원할 가능성이 높아지며, 클레임이 없는 한 플레이어의 본토를 정복하지 않으려고 함. '가혹함' 설정에서는 AI가 플레이어의 의도를 더욱 의심하게 만들고, 얻을 것이 명확하지 않는 이상 외교전에서 플레이어를 지원하지 않으려고 하며, 기회가 생기면 플레이어를 때려 눕히려고 함.


 

난 이런 설정을 '메테르니히 모드'라고 부름

 
이번 시간은 여기까지! 게임이 출시되면 여러분들이 빅토3의 AI를 재미있게 탐구하기를 바람. 그 전까지 아직 다듬어야 할 것들이 남아있고, 다른 역설겜들이 그렇듯 출시 후에도 모딩에 대한 접근성을 높일 것임. 게임이 출시되면 AI 게임 규칙에 대한 추가적인 아이디어를 들을 수 있기를 바라며, 다음 시간에는 모딩에 대해 살펴보겠음!

[TheTankMaster]

어떻게 보면, AI 공격성이 너무 크면 악명을 무시하고 공격하는 패턴이 더 강력해지니 사방에서 처벌 전쟁을 당할 가능성도 커진다는 거겠군요.
ai의 공격성이 낮은 게 어떤 상황에서는 난이도가 더 높을 수도 있겠어요.

[큰 지렛대]

... 근데 1836년부터 몬테네그로 수도가 포드고리차였었나..?