[UIST 24 REVIEW] What’s the Game, then? Opportunities and Challenges for Runtime Behavior Generation

게임을 만들 때 수동으로 개발하는 대신 알고리즘으로 생성하는 것이 절차적 콘텐츠 생성(PCG) 기술입니다. 이런 기술로서 대형 언어 모델(LLM)을 활용한 GROMIT 시스템으로 행동을 생성할 때의 영향을 이 연구에서 논의합니다.

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Jennings, N., Wang, H., Li, I., Smith, J., & Hartmann, B. (2024, October). What's the Game, then? Opportunities and Challenges for Runtime Behavior Generation. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (pp. 1-13).

Video:https://dl.acm.org/doi/abs/10.1145/3654777.3676358

Researcher's Affiliation Site

MS. Nicholas Jennings

https://nicholasjj.github.io/

• Associate Professor. Bjoern Hartmann

• Electrical Engineering and Computer Science at the University of California, Berkeley

https://people.eecs.berkeley.edu/~bjoern/

• research interest

  • tools to support human ingenuity

  • embodied cognition, especially in AR/VR

Content for General Readers

motivation

Explore the potential of using large language models (LLMs) for runtime behavior generation(RBG) in games Investigate how runtime behavior generation could enable new forms of gameplay and player agency Understand game developers' perspectives on incorporating runtime behavior generation into their workflows.

한글 요약:

• 게임에서 런타임 행동 생성(RBG)을 위해 대형 언어 모델(LLMs)의 잠재력을 탐구

• 런타임 행동 생성이 새로운 형태의 게임 플레이와 플레이어의 주체성을 어떻게 가능하게 할 수 있는지 조사

• 런타임 행동 생성을 개발 워크플로우에 통합하는 것에 대한 게임 개발자의 관점을 이해

contribution

• A design framework for incorporating runtime behavior generation into a contemporary game engine.

• Assessments to quantify the effectiveness of integrating runtime behavior generation in various game prototypes and scenarios.

  • Evaluation Results: RBG achieved a success rate of up to 85%, causing significant changes in gameplay in 4% to 5% of cases.

• A thematic examination of discussions with game developers about integrating runtime behavior generation into their workflows.

한글요약:

• 현대 게임 엔진에 RBG 통합 시스템 설계.

• RBG 적용에 대한 정량적 성능 평가.

  • 평가 결과: RBG는 최대 85% 성공률, 4%-5%의 사례에서 게임플레이에 큰 변화 유발.

• 개발자 인터뷰를 통한 주제 분석 및 향후 연구 제안.

Content for Korean Readers Who Want to Know More about the Paper

서론

• 절차적 콘텐츠 생성(PCG): 알고리즘을 통해 게임 콘텐츠를 생성하는 방식.

• 게임 동작: 규칙, 메커니즘 및 행동으로 정의되며, 기존 PCG 시스템에서는 충분히 다루어지지 않음.

• 개방적인 게임 동작: PCG의 범위를 넘어 다양한 결과물의 품질과 균형을 맞추기 어려움.

기술적 한계

• 기존 방법의 한계: 임의의 컴퓨터 프로그램 생성에 한계가 존재.

• LLM의 도입 가능성: LLM을 통해 고급 명세를 실행 가능한 코드로 변환할 수 있는 가능성 제시.

• 도전 과제: LLM으로부터 게임 규칙에 맞는 코드를 검색하고 이를 게임 런타임에 통합하는 것은 여전히 어려움.

런타임 행동 생성(RBG)

• RBG 개념: 플레이어의 행동에 따라 게임이 새로운 반응을 생성.

• 예측 불가능한 경험: RBG는 제어가 불가능할 수도 있음.

관련 연구

• Procedural Content Generation (PCG): 다양한 게임 개발 단계에서 사용되며, Rogue, Minecraft, No Man’s Sky와 같은 게임에서 활용.

• 런타임 생성 AI 시스템: 게임 개발에서 일반화되고 있으며, LLM 기반 시스템과 Generative Agents 시스템이 포함됨.

• RBG: 런타임에서 게임 동작을 생성하는 개념으로, 전통적인 코드 처리 한계 존재.

시스템 설계

• RBG 시스템 설계의 3가지 핵심 과제:

  • 환경 지식을 LLM 프롬프트에 통합.

  • 생성된 코드의 오류를 재컴파일로 처리.

  • 플레이어 입력에 따라 런타임에서 코드 생성.

구현: GROMIT

• GROMIT: Unity에서 사용되는 LLM 기반 런타임 행동 생성 시스템.

• GPT-4 사용: C# 언어로 반환된 코드 조각 요청.

• 적용 범위: 명시적 또는 암시적 설정에서 사용 가능, 플레이어의 음성 명령에 따라 행동 변화.

시스템 평가

• 명시적 장면 조작 평가:

  • Blockland에서 GROMIT의 성공률: 85%.

  • Traffic에서 GROMIT의 성공률: 30%.

• 암시적 규칙 생성 평가:

  • Escape Room에서 10개 추가 아이템 및 105개 상호작용 쌍 생성.

  • 생성된 주문 중 156개가 기능적이며, 평균 처리 시간: 5.6초.

개발자 인터뷰 방법

• 다양한 배경의 게임 개발자와의 인터뷰를 통해 GROMIT의 유용성 및 RBG 시스템의 작업 흐름에 미치는 영향 연구.

결론

• 연구 목적: 런타임 행동 생성이 게임 개발에 미치는 기회와 도전 과제를 다룸.

• 혁신적 접근법 제안: 대형 언어 모델을 활용한 접근 방식이 향후 게임 디자인에 기여할 가능성 제시.

In conclusion

Reference papers can be found below

https://dl.acm.org/doi/abs/10.1145/3654777.3676358

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com