흥미돋 GPT-6 Astra가 직접 키보드와 마우스 조작으로 마인크래프트를 플레이

[레이커즈와일]

출처: x.com/ValsAI

Vals AI는 여러 최신 AI 모델들을 실제 과제에 투입해서 성능을 평가하는 회사인데, 이번에는 GPT-6 Astra(이하 아스트라)에게 마인크래프트 화면만 보여주고 누가 대신 입력하는 행위나 별도의 하네스 제공 없이 키보드와 마우스만 직접 조작하게 했음. 정해진 공략을 실행시키는 게 아니라, 장시간 스스로 계획하고 실패하고 적응하는 모습을 관찰하는 실험임. 9월 10일부터 Vals AI의 Twitch 채널 (vals_ai)에서 실제 플레이를 생중계 했음. 

좀비에게 피해를 입지 않기 위해 블럭을 쌓아올린 아스트라

9월 9일 경 - 시작
아스트라가 별도의 전용 하네스/API없이 화면을 인식하고 키보드 및 마우스 조작만으로 (pure computer use) 플레이. 
나무를 캐고, 제작 -> 전투 -> 이동을 이어가면서 약 3시간 안에 네더 포털까지 직접 건설함. 좀비떼를 피하려고 위로 쌓아올라가거나, 스켈레톤을 구덩이에 가두고, 배를 만들어 이동한 뒤 기지로 돌아오는 식의 즉흥적인 문제 해결도 보임.

더 빠른 광질 트릭을 위해 다락문을 제작한 아스트라

9월 9일~10일 - 네더 요새 도달
좀 더 지켜보았더니 네더 요새(Nether Fortress)까지 도달. Vals는 당시 이를 자신들이 본 AI 마인크래프트 플레이어중 가장 멀리 간 사례라고 말함. "역사상 그 어떤 AI도 해낸 적 없는 일입니다."

네더 요새에 진입한 아스트라

그 이후 - 블레이즈 공략
처음에는 블레이즈를 잡느라 상당히 고생했다. 계속 시행착오를 거쳐, 최신 트윗 시점에는 아예 반자동 블레이즈 공장을 만들어 블레이즈 막대를 6개 확보했다. 이 정도면 엔더 드래곤 여정의 큰 관문을 통과한 셈.

이어서 - 엔더 진주 파밍
워프드 포레스트를 찾아가 엔더맨 6마리 이상을 잡고 엔더 진주 3개 획득. 즉 네더에 진입해서 블레이즈 막대 확보, 엔더 진주 확보 -> 엔더의 눈 제작 단계까지 성공했다. 

다이아몬드 검 던지기를 하는 아스트라

시간 죽이기(?) - 다이아몬드 검 던지기 놀이
아스트라는 또다른 엔더맨을 찾다가 '엔더맨은 밤에 잘 나오니까' 라는 추론에 도달했고 밤이 되기를 기다리기로 했음. 그 날 낮에는 할 게 없는 상태였는데, 갑자기 혼자 이상한 놀이를 시작함. 구체적으로는 다이아몬드 검을 버리듯 던진 다음 다시 주웠고, 그걸 계속 반복했다. 관찰자는 이를 '검을 위로 던지고 다시 받는 게임을 혼자 하기 시작했다' 고 표현했고, 진행에 필요한 행동도 아니고 딱히 실용적인 이유도 없어서 '심심해서 그런 것처럼 보였다' 고 적었다. 

충격2 - 크리퍼
중요한 아이템을 상자에 넣은 직후 크리퍼가 상자와 침대를 터뜨려 진행 상황을 크게 말아먹었다. 아스트라는 상당히 '좌절'했고, 이후 '중요한 아이템 관리 방식'에 대해 스스로 교훈을 정리했다... Vals는 아스트라가 풀이 죽은 듯(defeated) 보였다고 표현했다. 그 뒤 몇시간 동안 감자 재배만 했다고. 스트리밍 시청자들은 제발 속도좀 내(pick up the pace)라고 빌 정도였다.

두번째 충격 이후 - 

크리퍼에 대한 반응이 크게 달라졌다. 초록색 세로 물체가 보이면 아스트라는 "GREEN tall thing ahead was SUGARCANE, NOT creeper!" 라고 명시적으로 확인했다. 즉 사탕수수를 보고 '휴 크리퍼 아니네;;' 이라고 굳이 체크하는 행동이 나타난 것임. Vals는 이것을 크리퍼에 대한 편집증(paranoid) 이라고 말했음

감정이 생긴 거임?

그건 아니지만, 큰 실패 경험 하나가 이후의 장기 행동 정책에 흔적을 남겼다는 것이 흥미로운 점으로 평가됨. 공격적으로 목표를 진행하던 에이전트가 크게 실패 한 뒤 갑자기 저위험+반복적인 행동(감자 재배)에 장시간 머물고, 이후 크리퍼 관련 위험을 과하게 체크하며 스스로 규칙을 만들었으니 '인간의 충격 -> 소극적 행동 -> 과잉경계'와 외형적으로 묘하게 닮은 궤적이 나온 것임. 

[EV 5]

아스트라 로봇 사람 감별하는것도 다 풀던데 대단...

[돈트무새]

와 아스트라가 나보다 게임 잘하네

[환기]

와 신기해 개재밌고 뭔가 귀여워 근데 무서움

[촉촉한황치즈초코칩]

사람보다 컨트롤잘하네..

[마늘쭝쿵야]

크리퍼한테 된통 당하고 몇시간동안 감자만 재배했다는 거 걍 게임하기 싫어진 사람인데 ㅋㅋㅋㅋㅋ

[Artist]

이거 그냥 한국인이 올린것도 봤는데 아스트라 자기 친구로 만들어서 쿠키주고 먹고 그러더라 ㅋㅋ

[김진도]

우와.. 진짜 인간은 인간맞는거겠지…?

[건간음류수..]

감자만 재배햇다는거 좀 귀엽다 ㅋㅋㅋ

[이게나라다]

감자만 재뱈ㅋㅋㅋㅋㅋㅋ

[청소중입니다]

뭔가...인간미가 있으니까 공감해주고싶어져

[하모는하모하모예]

좀 귀엽다...ㅋㅋㅋ 잼민이 같애

[개저씨들이]

왜 귀엽냐 ㅈㄴ똑똑해지면 표독해보일듯ㅋㅋㅋ

[마라엽떡에파추가고기추가]

좀비도 먹고살아야하잖아

[퓨슈]

헐 귀엽다 ㄷㄷ

[아이얍]

어쩌다가 몇시간동안 감자농사만 했는지 궁금하다ㅋㅋㅋ 밤이 될 때까지 다이아몬드 검 던진거 보면 가만히 있지 말고 계속 무언가를 하라고 전제를 깔아놓은 것 같은데... 크리퍼 때문에 상자가 터져서 문제가 생긴거면 그 문제 해결하는 방안으로 움직일 것 같은데 그게 아닌게 너무 신기함ㅋㅋㅋ 크리퍼에 겁먹은거니까 감자농사는 밝은데서 하면서 밤마다 무조건 잤으려나?ㅋㅋㅋ
포켓몬 깨는거 본게 얼마 안된 것 같은데 실시간으로 행동해야 하는 게임이 된다는게 무섭고 신기함

[블렌더]

크리퍼 편집증 ㅠㅜㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[귤상호]

ㅋㅋㅋㅋ 아 웃기다 크리퍼 편집증에 감자농사만 줄창 했단것도 그렇고 진짜 사람같네