[CHI 24 REVIEW]TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 내용)

• In conclusion(마치며)

let’s start.

Meta Information about the Paper

Zhou, Q., Ledo, D., Fitzmaurice, G., & Anderson, F. (2024, May). TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-17)

Interactivity

Jury Winner in CHI 2024

concept

Human-centered computing → Interaction techniques; Interactive systems and tools; Virtual reality.

keywords

motion editing, immersive animation authoring, 3D interface, motion path, keypose

Video:

https://dl.acm.org/doi/10.1145/3613904.3641927

Researcher's Affiliation Site

Qian Zhou

David Ledo

George Fitzmaurice

Fraser Anderson

Autodesk Research, Canada

Content for General Readers

motivation

• Editing motion capture data is challenging as it lacks high-level controls like keyframes

• Existing immersive animation tools still separate spatial and temporal control

• There's a need for an approachable motion editing interface for novices

한글 요약:

• 모션 캡처 데이터 편집은 고수준의 제어 요소(예: 키프레임)가 부족하여 어려고, 기존의 몰입형 애니메이션 도구들은 여전히 공간적 제어와 시간적 제어를 분리한다. 그래서 초보자를 위한 접근 가능한 모션 편집 인터페이스가 필요하다

contribution

1. A motion editing interface called TimeTunnel that integrates spatial and temporal controls for character animation in VR using:

   • KeyPoses: Automatically computed representative poses to concisely depict motion

   • Trajectories: 3D animation curves passing through KeyPose joints to represent in-betweens

2. An adapted algorithm to extract KeyPoses from motion capture data by detecting extreme points on multiple Trajectories

3. Findings from two user studies:

   • Quantitative study with novices (n=12) showing TimeTunnel reduced editing time and effort to locate poses

   • Qualitative study with domain experts (n=5) providing critical feedback on strengths and limitations

한글요약:

VR에서 캐릭터 애니메이션을 위한 공간적 및 시간적 제어를 통합하는 모션 편집 인터페이스인 TimeTunnel을 제안:

• KeyPoses: 모션을 간결하게 나타내기 위해 자동으로 계산된 대표 포즈.

• Trajectories: KeyPose 관절을 통과하는 3D 애니메이션 곡선으로, 중간 움직임을 표현.

모션 캡처 데이터에서 여러 Trajectory에서 극점을 감지하여 KeyPose를 추출하는 알고리즘을 적용.

두 가지 사용자 연구 결과:

• 초보자(n=12)를 대상으로 한 정량적 연구에서 TimeTunnel이 편집 시간과 포즈 위치 찾기 노력을 줄였음을 확인.

• 전문가(n=5)를 대상으로 한 정성적 연구에서 장점과 한계에 대한 중요한 피드백을 제공.

아래 그림은 기존의 공간과 시간이 분리된 소프트웨어(왼쪽) 과 합쳐진 timetunnel(오른쪽)을 보인다.

Content for Readers Who Want to Know More about the Paper

capturing motion has become approachable

• off-the-shelf cameras [51], monocular videos [55], or directly from the sensors on Virtual Reality headsets [4, 26].

but editing the captured data is still a challenging task.

• keyframes[45], ifficult to learn for beginners [40], Maya interface[2]

• 3d model of inverse kinematics (IK) still contains the spatial information is separated from the timeline

Related work

2.1 Immersive Animation Interfaces

• As is) 기존에는 애니메이션 인터페이스는 공간적 제어와 시간적 제어를 분리하여 초보자에게 어려움을 초래

  • 초보자는 현재 프레임에서의 변경이 인접 프레임에 미치는 영향을 이해하는 데 어려움을 겪어 원하는 동작을 달성하기 어렵기 때문

• To be) 이 논문은 경로(Trajectories)와 키포즈(KeyPoses)를 활용한 모션 편집 인터페이스를 소개하여, VR에서 캐릭터 애니메이션의 공간적 및 시간적 편집을 통합할 수 있도록 하며, 그 효과성을 보여주는 시연을 제공

2.2 Capturing Motion and Digital Puppetry

• As is) 캡처된 모션은 수정하기 어려워, 여러 프레임에 걸쳐 작은 변경을 하는 데 노동 집약적이고 시간이 많이 소요[23]

  • making it laborious and time-consuming to make a small change across multiple frames [56].

• To be) 캡처된 데이터에서 대표적인 KeyPose를 추출하여 수정 지원

2.3 Animating with Motion Paths

• motion path의 정의: (motion trail [2] or space-time curve [18]) 장면 내에서 시간에 따른 객체와 관절의 움직임과 방향을 표시하며 전통적인 애니메이션 곡선에 비해 더 직접적인 공간-시간적 제어 제공

• As is) 모션 경로는 겹칠 경우 얽히게 되어 추적하고 편집하기 어려운 한계

• To be ) 경로(Trajectories)를 도입하여, 겹치는 동작을 풀어내기 위해 모션 경로를 축을 따라 늘이는 방식을 제안

Component

• Trajectory: 시간에 따른 관절의 순차적인 위치 집합으로, 3D 애니메이션 곡선으로 간주. 모션 경로와 달리 시간 축을 측면으로 매핑하여 위치 간의 잠재적 겹침을 분리하는 역할.

• 

• KeyPose: 모션을 간결하게 표현하기 위해 신중하게 계산된 대표 포즈의 집합으로, 여러 KeyPose를 Trajectory와 함께 렌더링하여 모션을 정적으로 표현하고 자가 설명적이게 만듬.

  • 인접 KeyPose로 경계가 설정되어 제어점을 이동시키면 해당 Trajectory의 유한한 범위만 변경되는데 이는 애니메이션 곡선에서 장점으로 여겨짐[45]

모션 캡처 데이터와 KeyPose의 추출

• 모션 캡처 데이터는 키프레임이 부족하여 중요한 순간을 강조하는 데 어려움이 있어 TimeTunnel을 모션 캡처 데이터와 호환시키기 위해, Action Synopsis [13]의 알고리즘을 수정하여 Trajectory에서 극점을 감지하여 KeyPose를 추출하는 방법을 개발.

  • 여기서 곡선의 높은 로컬 극대값이 가장 대표적인 포즈를 제공한다고 판단.

  • 원래 알고리즘은 단일 곡선의 극대점을 오프라인에서 찾도록 설계되었으나, 이를 수정하여 사용자가 선택한 여러 Trajectory에서 실시간으로 KeyPose를 추출할 수 있도록 함

Extracting KeyPoses From Trajectories

아래 수식으로 더 큰 움직임(d)을 가진 관절은 KeyPose 선택에 더 큰 영향을 미치게 되므로 local extreme point로 찾음.

• 도출 과정:

  • Gaussian smoothing function 을 이용해 스무딩된 Trajectory

  • Euclidean distance

Mathematical ways for Interface

KeyPoses 간의 위치와 회전 변화를 부드럽게 연결하기 위해 사용하는 수학적 기법

위치 및 회전 변화의 전파:

• 가중 선형 및 구형 보간법: 변화는 선형 보간(linear interpolation)과 구형 보간(spherical interpolation)을 통해 전파

  • 구형 보간은 방향이 중요한 애니메이션에서 부드러운 회전을 제공하는 데 적합

가중치의 결정:

• Gaussian 분포: 변화의 가중치는 가우시안 분포를 사용하여 결정. 이 분포는 특정 프레임에서 변화의 강도를 기반으로 하며, 변화를 발생시킨 프레임에서 가중치의 피크(가장 높은 값)가 설정

Catmull–Rom 스플라인:

• 연속성을 제공하기 위해: Catmull–Rom 스플라인[45]은 주어진 점들(여기서는 왜곡된 3D 위치) 사이에 부드러운 곡선을 생성하는 방법

user studies

첫번째 연구는 TimeTunnel의 핵심 구성 요소인 Trajectory와 KeyPose가 초보 사용자들의 모션 편집을 지원하는 데 얼마나 효과적인지를 검증

• 대상은 초보자

• 참가자들이 다양한 조건에서 비교적 짧은 시간 내에 시스템을 직접 사용해 볼 수 있도록 설계 [42]

• 포즈 검색 작업(측정 대상: completion time, error count (the number of false submissions), and operation count (the number of playback buttons and slider presses))과 조작 작업(측정 대상: completion time and frame count (the number of frames that participants edited to produce the final animations))을 요청함

• immersive animation tools [1, 8]에 대한 기존 연구들처럼 baseline을 이게 없는 경우(no keypose and trajectory condition)로 하고, Balanced Latin Squares으로 순서 조정

• CMU Motion Capture Dataset [3]에서 유사하지만 다른 4개의 춤 애니메이션을 사용함으로써 반복에 따른 암기 방지

두 번째 연구는 TimeTunnel 인터페이스의 강점과 약점을 보다 자연스러운 환경에서 이해하기 위한 목적으로 진행

• 대상은 전문가

• 데스크탑 애니메이션과 비교하여 잠재적인 강점에 대해 논의

<연구 장비>

• 포인팅, 집기, 탭하기, 잡기 등의 3D 제스처 상호작용은 Oculus Interaction SDK [7]를 사용하여 구현.

• 역운동학 제어는 RootMotion Final IK [9]

• 20개의 관절을 가진 Mixamo [6]의 표준 3D 캐릭터 사용

• 연구에 사용된 모든 모션 클립은 CMU 모션 캡처 데이터셋에서 가져왔으며, 샘플 속도는 24fps였음 [3].

결과

첫 번째 연구

<data analysis>

• non-parametric Friedman test, followed by Conover post-hoc analysis with Bonferroni correction

• repeated-measures ANOVA

• 포즈 검색 작업에서 KeyPose는 검색 프로세스를 빠르게 하지는 않았지만, 작업 수를 줄이고 (그림 7.2) 실수를 줄이는 데 기여

• Trajectory 단독으로 작업 성능이 유의미하게 개선되지 않는 것을 관찰했지만, KeyPose와 결합했을 때 모션 인식에서 보조 역할 주장

두 번째 연구

• 직접성과 단순함이 강점으로, 정밀성과 시각적 혼잡함이 약점

limitation

• 현재 Trajectory 디자인은 시간에 따른 관절의 위치만을 표시하기 때문에 방향이 어떻게 보간되는지 알 수 없음. 시각적 혼잡을 유발[57]하지 않고 방향성을 시각화할 수 있는 방법을 탐구해야 함

• TimeTunnel을 최적화하기 위한 최적의 단위 벡터 형태(로그 스케일로 프레임을 표시[20])

In conclusion

[42] Dan R Olsen Jr. 2007. Evaluating user interface systems research. In Proceedings of the 20th annual ACM symposium on User interface software and technology. 251–258.

에 방법에 준하여 작성된 논문이므로 user interface systems research에 참고할 수 있습니다.

아래 논문은 두 번째 실험을 분석할 때 참고되었습니다.

[14] Ann Blandford, Dominic Furniss, and Stephann Makri. 2016. Qualitative HCI research: Going behind the scenes. Morgan & Claypool Publishers

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613904.3641927

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com