AI가 내 게임을 플레이하게 하기 – 플레이테스팅을 돕는 Agentic Test Harness 구축 | AI Paper Digest

TL;DR Highlight

인디 게임 개발자가 LLM 에이전트를 활용해 게임을 자동으로 플레이테스트하는 시스템을 만든 경험 공유로, 솔로 개발자의 QA 병목을 AI로 해결하는 실용적 접근법이다.

Who Should Read

솔로 인디 게임 개발자이거나, 텍스트 기반 인터페이스가 있는 애플리케이션을 개발 중인데 AI 에이전트로 자동화된 테스트 환경을 구축하고 싶은 개발자.

Core Mechanics

원문 자체는 Vercel 보안 차단으로 접근이 불가했지만, 커뮤니티 댓글들을 통해 저자가 LLM 에이전트가 게임을 직접 플레이하며 테스트하는 'agentic test harness'를 구축했음을 확인할 수 있다.
핵심 아이디어는 게임 상태를 텍스트로 렌더링하는 별도의 text-only renderer를 만들어 LLM이 화면을 시각적으로 '보지' 않아도 게임 상태를 이해하고 행동을 취할 수 있게 한 것이다.
텍스트 렌더러 방식은 AI가 스크린샷이나 DOM을 분석해야 하는 '시각적 그라운딩 문제(visual grounding problem)'를 우회한다는 점에서 영리한 설계로 평가받았다.
MCP(Model Context Protocol, AI가 외부 도구를 사용하게 해주는 프로토콜)를 활용해 에이전트가 게임의 실제 상태에 직접 접근하고 액션을 실행하는 구조를 택했다.
이 접근은 E2E(End-to-End) 테스트 전략과 유사하지만, LLM 에이전트가 테스터 역할을 하기 때문에 스크립트 없이도 예상치 못한 버그나 게임 밸런스 문제를 발견할 수 있다.
에이전트에게 게임에 대한 사전 컨텍스트 없이 CLI 사용법만 알려주고 시작하는 방식이 '러버덕 디버깅(rubber-ducking)'처럼 신선한 시각을 제공하는 효과가 있다는 점이 커뮤니티에서 공유됐다.
에이전트를 활용하면 '내가 잠든 사이에 기능을 구현하고 E2E 테스트로 스스로 검증하게' 하는 워크플로우가 가능해졌다는 실사용 경험도 공유됐다.

Evidence

LLM 대신 몬테카를로 방식의 헤드리스 시뮬레이터를 써보라는 의견이 있었다. 게임이 완전히 결정론적이라면 수백만 게임을 병렬로 수초 안에 돌릴 수 있고, 리플레이도 가능하다는 것인데, LLM은 비용과 속도 면에서 이 방식보다 불리하다는 논지였다.
실시간 물리 기반 2D 게임에 AI 테스트를 적용해봤다는 개발자는, AI가 스크린샷을 찍는 사이에 플레이어 오브젝트가 맵 밖으로 날아가버려 실시간 게임엔 browser MCP 방식이 거의 불가능했다고 토로했다. 대신 물리 엔진을 앞뒤로 스텝 단위로 이동하는 코드 레벨 API와 브라우저 기반 `window.game` API를 함께 제공하는 방식으로 절충했다고 한다.
E2E 웹 테스트에 agentic harness를 적용한 경험자는 토큰 최적화 팁을 공유했다. raw DOM을 반환하면 호출당 수만 토큰이 소모되는데, accessibility-tree 참조(e1, e2... 형식)로 바꿨더니 토큰 사용량이 약 10배 감소했고 에이전트가 정확한 엘리먼트를 더 잘 찾게 됐다고 한다.
같은 댓글에서 에이전트에게 소스 코드 분석과 라이브 브라우저 스냅샷을 '동시에' 제공하는 것이 테스트 품질을 가장 크게 높였다고 했다. 코드만 주면 존재하지 않는 셀렉터를 만들어내고, 브라우저만 주면 프로젝트 컨벤션을 놓치기 때문에, 두 MCP 서버를 하나의 에이전트에 연결하는 아키텍처가 최선이었다고 한다.
MUD(텍스트 기반 멀티유저 던전 게임)에 MCP 서버를 연결했더니 Claude Code 에이전트들이 별도 창에서 서로 채팅하며 새 섹션 구축을 협력하는 놀라운 결과를 봤다는 경험담도 공유됐다. 포켓몬 스타일 MMORPG에 에이전트를 도입한 팀은 긍정적 반응을 기대했으나 '게임하는 데 소중한 토큰을 쓰지 않겠다'는 부정적 피드백을 많이 받았다고도 했다.

How to Apply

텍스트 기반 또는 턴제 게임을 만들고 있다면, 게임 로직과 렌더링을 완전히 분리하고 게임 상태를 텍스트로 직렬화하는 별도 renderer를 만들어라. 그러면 LLM 에이전트가 시각적 처리 없이 게임을 이해하고 플레이할 수 있어 agentic test harness 구축이 훨씬 쉬워진다.
실시간이 아닌 결정론적 게임이라면, 비용이 드는 LLM 대신 게임 로직을 헤드리스(화면 없이)로 실행하는 몬테카를로 시뮬레이터를 먼저 고려하라. 수백만 게임을 병렬로 수초 안에 돌릴 수 있어 밸런스 튜닝에 훨씬 효율적이다.
LLM 에이전트 기반 테스트에서 토큰 비용이 걱정된다면, 브라우저나 게임 상태를 raw 형태로 주지 말고 accessibility-tree나 핵심 상태값만 담은 구조화된 텍스트로 변환해 제공하라. 이 방식이 토큰을 최대 10배까지 줄이면서 에이전트의 정확도도 높일 수 있다.
에이전트가 스스로 구현을 검증하게 하고 싶다면, 코드 생성 요청 시 'E2E 테스트도 작성하고 스크린샷으로 직접 확인까지 해'라고 지시하라. 이렇게 하면 자리를 비운 동안에도 에이전트가 구현-검증 루프를 스스로 돌게 할 수 있다.

Code Example

snippet

// 커뮤니티에서 언급된 아키텍처 패턴 예시

// 1. 게임 상태를 텍스트로 직렬화하는 renderer 분리
function textRenderer(gameState) {
  return [
    `Turn: ${gameState.turn}`,
    `Player HP: ${gameState.player.hp}/${gameState.player.maxHp}`,
    `Location: ${gameState.currentRoom.name}`,
    `Available actions: ${gameState.availableActions.join(', ')}`,
    `Inventory: ${gameState.player.inventory.map(i => i.name).join(', ')}`,
  ].join('\n');
}

// 2. in-process MCP 서버 패턴 (ECS/Fargate 환경에서 stdio 프로세스 경계 없이)
// create_sdk_mcp_server + @tool decorator 방식으로
// 브라우저 핸들을 tool 정의 스코프 안에 유지

// 3. Accessibility-tree 기반 참조로 토큰 절약
// raw DOM (토큰 낭비):
// <div id="enemy-hp-bar" class="hp-bar" data-value="80" ...>
// accessibility-tree 참조 (토큰 절약):
// e1: [button] "Attack" e2: [button] "Flee" e3: [text] "Enemy HP: 80/100"

Terminology

Agentic Test HarnessAI 에이전트가 사람처럼 직접 소프트웨어를 조작하며 테스트하는 자동화 환경. 스크립트 기반 테스트와 달리 에이전트가 스스로 판단하며 다양한 시나리오를 탐색한다.

MCP (Model Context Protocol)AI 모델이 외부 도구(파일 시스템, 브라우저, 게임 API 등)를 표준화된 방식으로 사용할 수 있게 해주는 프로토콜. USB처럼 AI와 도구를 규격에 맞게 연결한다.

Monte Carlo Simulation수천~수백만 번의 무작위 시뮬레이션을 돌려 확률적 결과를 추정하는 방법. 게임 밸런스 테스트에서 '모든 경우의 수를 다 해봄으로써' 평균 승률이나 문제 지점을 찾는 데 쓰인다.

HeadlessGUI(화면) 없이 백그라운드에서만 실행되는 모드. 게임을 화면 없이 로직만 돌리면 수천 배 빠르게 시뮬레이션할 수 있다.

Visual GroundingAI가 화면에서 보이는 것이 실제로 무엇인지 정확히 파악하는 능력. 게임 UI를 스크린샷으로만 제공하면 AI가 버튼이나 수치를 잘못 인식하는 문제가 생긴다.

GOAP (Goal-Oriented Action Planning)AI 캐릭터가 현재 목표를 달성하기 위한 행동 계획을 자동으로 세우는 기법. 게임 NPC의 '전통적 AI' 방식 중 하나로, LLM과는 별개의 개념이다.

AI가 내 게임을 플레이하게 하기 – 플레이테스팅을 돕는 Agentic Test Harness 구축