[CHI 24 REVIEW] ShareYourReality: Investigating Haptic Feedback and Agency in Virtual Avatar Co-embodiment

햅틱 피드백을 통해 가상 공동 구현시 비언어적 의사소통을 연구했습니다

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Venkatraj, K. P., Meijer, W., Perusquía-Hernández, M., Huisman, G., & El Ali, A. (2024, May). ShareYourReality: Investigating Haptic Feedback and Agency in Virtual Avatar Co-embodiment. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-15).

CHI 24 Research Teams with Inspirational Research Practices - RUNNER UP

Video:

https://dl.acm.org/doi/10.1145/3613904.3642425

Researcher's Affiliation Site

M.S. Karthikeya Puttur Venkatraj

https://www.karthikeyapv.com/

• research interest

  • immersive media, experimental psychology, Social XR, Artificial Intelligence (AI) and Automation systems

PhD candidate. Wo Meijer

https://womeijer.com/

assistant Prof. MonicaPerusquia-Hernandez

https://monicaperusquia.com/about.html

• research interest

  • affective computing, biosignal processing, augmented human technology and artificial intelligence

GijsHuisman

https://gijshuisman.com/

assistant Prof. in Delft University

• how our sense of touch plays a role in technology-mediated social interactions, in particular in shaping social presence, intimacy, and empathy.

AbdallahEl

https://abdoelali.com/

assistant Prof. Utrecht University

• research interest

  • Affective Interactive Systems

  • Trustworthy Human-AI Interaction

Content for General Readers

motivation

• To explore how haptic feedback can be integrated into virtual co-embodiment scenarios, where two users share control of a single avatar in VR

• To examine whether position-aware haptic feedback can enable better non-verbal coordination between co-embodied participants

• To investigate how haptics and varied avatar control distribution influence users' sense of agency, co-presence, body ownership, and motion synchrony in different VR tasks

*The sense of agency refers to the awareness that one's chosen actions can have an impact on the world.

한글 요약:

• 두 사용자가 VR에서 하나의 아바타를 공유하는 가상 공동 구현 시나리오에 햅틱 피드백을 통합할 수 있는 방법을 탐구

• 위치 인식 햅틱 피드백이 공동 구현된 참여자 간의 비언어적 협력을 더 효과적으로 할 수 있는지 조사

• 다양한 아바타 제어 분배와 햅틱 피드백이 사용자의 에이전시 감각, 공동 현존감, 신체 소유감, 동작 동기화에 미치는 영향을 다양한 VR 작업에서 분석

*에이전시 감각(Sense of Agency)란 자신이 선택한 행동이 세상에 영향을 줄 수 있다는 인식입니다.

contribution

• Integrated the concept of perceptual crossing into virtual co-embodiment to enable position-aware haptic non-verbal communication cues between two users

• Provided empirically-backed insights on the influence of haptics on perceived sense of agency during targeted and free-choice selection tasks under variable control of shared virtual hands

• Found that:

  • Lower sense of agency in free-choice tasks with haptics compared to no haptic feedback

  • Higher sense of agency during shared target tasks

  • Co-presence and embodiment were significantly higher in tasks with multiple targets

  • Users' hand motions synchronized more in targeted tasks

한글요약:

두 사용자가 위치를 인식하는 비언어적 커뮤니케이션 단서를 전달할 수 있도록 가상 공동 구현에 지각적 교차 개념을 통합하였으며, 공유된 가상 손의 제어가 변하는 상황에서 목표 선택 및 자유 선택 작업 중에 햅틱 피드백이 에이전시 감각에 미치는 영향을 실증적으로 분석하였다.

주요 발견은 다음과 같다:

• 햅틱 피드백이 없는 경우에 비해 햅틱이 있는 자유 선택 작업에서 더 낮은 에이전시 감각이 나타남

• 목표 선택 작업에서는 햅틱 피드백이 에이전시 감각을 높임

• 다중 목표가 있는 작업에서 공동 현존감과 신체 구현감이 유의미하게 증가함

• 목표 선택 작업에서 사용자들의 손 동작이 더 잘 동기화됨

Content for Korean Readers Who Want to Know More about the Paper

Introduction

• 가상 현실(VR)과 사회적 상호작용:

  • VR은 사용자들이 몰입할 수 있는 인공 환경을 제공[20,34]하며, 가상 신체와 협력 과정에 대한 새로운 방식의 상호작용을 가능하게 함.[16, 45]

  • VRChat, Rec Room[42] 같은 플랫폼에서 사용자는 가상 아바타로 가상 환경을 탐색하고, 다른 사용자들과 상호작용 가능.

  • 사회적 상호작용은 VR에서 중요한 역할을 하며, 개인의 고립을 방지[49]하고 공동의 사회적 활동[48,58]을 촉진.

• 가상 공동 구현(virtual co-embodiment) 개념:

  • 가상 공동 구현[11,15]은 두 명 이상의 사용자가 하나의 아바타를 공동으로 제어하는 다중 사용자 경험.

    • 단순히 동일한 시각을 공유[66]하는 것과 달리 제어를 공유해서 사회적 협력이 증가[11]

    • ‘fusionary’ interactions

      • JIZAI Body [21] :사회적 구조 변화에 원활하게 적응하여 가상 또는 물리적 추가나 변형이 원래 신체만큼 자연스럽게 느껴지도록 하는 것

      • sensible human-computer integration [7, 40], which extends the notion of cybernetics [62]

    • 실험에서는 가상 아바타를 공동 구현한 참가자들이 높은 수준의 통제감을 보고했으나, 실제로는 낮은 수준의 통제력을 가지고 있음을 보여줌 [17, 28]

    • 공동 구현에서 향상된 통제감은 특히 뇌졸중[37] 및 치매[69] 환자들을 위한 재활 과정에서 유용하게 적용될 수 있음.(마치,거울 치료[36]처럼)

  • ←> 일반적으로 사용되는 방법은 각 사용자에게 자신만의 아바타를 제공해 1인칭 상호작용을 채택하는데, 이는 신체 소유감[27]과 에이전시(가상 신체 통제감[4]) 형성에 중요한 역할을 함.

• 사회적 현존감(social presence)과 협력:

  • 사회적 현존감[42,54]이란 다른 사용자의 의도, 지능, 감각적 인상을 인식하는 능력으로, 협력과 상호작용에 필수적.

  • 사회적 현존감이 부족[42]하면 협력 작업이 어려워지고, 공동 구현에서의 성공적인 협력을 위해 필수적임.

• 가상 공동 구현에서의 도전 과제:

  • 시각적 피드백만으로는 아바타의 움직임에 대한 파트너의 의도를 완전히 전달할 수 없음.

  • 사용자들은 자신과 다른 사용자의 의도를 혼합된 상태로 인식하게 되며, 공유된 아바타의 통제감에 영향을 미침.

    • 사용자의 공유 아바타 구현에 대한 인식 [11, 15] 및 운동 기술 학습에 대한 사용 [28, 29]과 관련하여 가상 공동 구현을 탐구해 왔지만, 이러한 맥락에서 사회적 현존감의 역할과 그 사회적 조정에 미치는 영향은 아직 완전히 특성화되지 않음.

    • Hapuarachchi와 Kitazaki [18] 및 Hapuarachchi et al. [17]의 연구는 공동 구현 패러다임에서 비언어적 의사소통 메커니즘을 구현하여 공유 아바타에 대한 구현감을 높여야 한다고 강조

    • 위치 인식 피드백 메커니즘이 필요하다는 점을 강조[59]

    • 햅틱 피드백은 사회적 현존감 경험에 긍정적인 영향을 미칠 수 있기 때문에 여기서 특히 적합[42]

• 햅틱 피드백의 역할:

  • 햅틱 피드백은 가상 공동 구현에서 상호 인식을 촉진하고, 사용자의 동작 동기화를 지원할 수 있음.

  • 지각적 교차 패러다임[2]을 통해, 두 사람의 시선이 교차하거나, 상호 접촉 시 발생하는 사회적 상호작용을 연구[30]함.

    • 지각적 교차는 두 사람의 시선이 맞닿는 것(공동 주의 [56])이나 상호 사회적 접촉 [50]과 같이 두 가지 동일한 종류의 지각 활동이 서로 교차할 때를 의미

  • 이번 논문에서는 햅틱 지각적 교차의 아이디어를 바탕으로, 우리는 사용자의 손 위치가 가상 공간에서 겹칠 때 햅틱 피드백(켜짐/꺼짐)을 구현

    • 햅틱 신호가 공동 구현된 참가자 간의 상호 인식과 조정을 어떻게 촉진할 수 있는지를 조사

• 연구 목적:

  • 가상 공동 구현 시나리오에서 햅틱 피드백과 아바타 통제 분배가 사용자들의 에이전시 감각, 신체 소유감, 사회적 현존감에 미치는 영향을 탐구.

  • 20쌍의 참가자를 대상으로 실험을 진행하여 목표 선택 작업과 자유 선택 작업에서의 동기화 및 에이전시 감각을 분석.

• 연구 결과:

  • 자유 선택 작업에서 햅틱 피드백이 없는 경우에 비해 더 낮은 에이전시 감각이 나타남.

  • 목표 선택 작업에서는 햅틱 피드백이 에이전시 감각을 향상시킴.

  • 다중 목표 작업에서는 사회적 현존감과 신체 소유감이 더 높아짐.

  • 목표 선택 작업에서 참가자들의 손 움직임이 더 많이 동기화됨.

• 연구의 공헌:

  • 지각적 교차 개념을 가상 공동 구현에 통합하여 비언어적 의사소통 신호를 가능하게 함.

  • 공유 가상 손 통제 하에서 에이전시 감각과 햅틱 피드백의 상호작용에 대한 실증적 데이터를 제공.

Related work

2.1 Virtual avarter co-embodiment and the Sense of Agency

• 가상 공동 구현의 정의: 여러 사용자가 공유 아바타를 통해 가상 환경에서 동시에 상호작용하는 것.

  • 두 명 이상의 개인이 아바타에 대한 제어를 공유하여 사회적 조정이 증가함.[11]

  • 가상 아바타를 공동 구현한 참가자들은 높은 수준의 지각된 제어를 보고하지만, 실제 제어의 가중 백분율은 낮음[17,28]

• VR기반 재활[23] 및 훈련[14,19]에 유망한 도구: 제어가 낮은 학습자는 높은 제어를 가진 교사와 활동할 때 더 강한 주체감(Sense of Agency, SoA)을 느낌

  • 치매 환자 지원[31, 69]

  • 미러 뉴런 자극: VR이 뇌졸중 환자의 내부 감각-운동 시스템의 미러 뉴런[5]을 자극하여 빠른 회복을 이끌어냄[37]

• 신체 소속감(Sense of Embodiment, SoE)

  • 아바타 공동 구현에서 SoE는 세 가지 주요 요소로 나타남: [27]

    • 자기 위치감(Sense of Self-Location): 가상 신체 안에 '있다'는 느낌.

    • 신체 소유감(Sense of Body Ownership): 가상 신체를 '가진' 느낌.

    • 주체감(Sense of Agency): 가상 신체를 '제어하는' 느낌.

  • SoE 조작 가능성[10,41]: 아바타 표현, 제어 정도, 사용자 관점의 변화 등을 통해

• 참여 수준 결정 요인: 다른 사용자와 가상 신체를 공유하는 것이 SoE에 미치는 영향은 주체감과 신체 소유감에 따라 달라짐[11,15,17,18,29]

2.2 Avatar co-embodiment control sharing techniques

• 공동 구현 기술: 두 가지 기술(가중 평균 방법[11, 15, 28], 신체 부위 세분화 방법[17, 18])을 사용하여 공유 아바타의 움직임을 생성.

  • 가중 평균 방법: 각 사용자에게 0-100%의 가중치를 부여하고, 두 사용자의 컨트롤러 위치와 방향의 가중 평균을 보간하여 아바타의 움직임을 생성함.

    • ←*참가자의 영향력이 그들이 가진 제어 비율에 의해 결정되도록 이번 논문은 첫 번째 방법을 택함

    • 앞선 논문의 결과에서 공동 구현 동안 참가자의 제어 가중치가 증가함에 따라 주체감이 증가함을 확인

  • 신체 부위 세분화 방법: 각 사용자가 공유 아바타의 독립적인 팔다리의 움직임을 별도로 제어함.

• 서로 다른 제어 가중치 조건 간에 유의미한 차이는 관찰되지 않음.

2.3 Haptics for virtual co-embodied experiences

• 햅틱 피드백의 중요성: 초기부터 VR 시스템에서 중심적인 요소[55]로 사용되었으며, 촉각 기반 상호작용을 가능하게 함[60]

  • 일반적인 햅틱 피드백 유형: VR 애플리케이션에서 가장 많이 사용되는 피드백은 진동 촉각과 힘 피드백.[65]

  • 햅틱의 효과: 공유 가상 공간에서 햅틱을 통해 사용자 경험[24, 68]과 사회적 존재감이 향상[42]됨.

• 공동 구현에서의 햅틱 피드백: 공동 구현에 햅틱 피드백을 적용한 연구는 아직 미비하지만, 사용자에게 고급 지각 능력을 제공하기 위해 가상 공동 구현 패러다임에 어떤 종류의 피드백 모달리티를 통합할 수 있을지 파악하는 것이 중요하다는 점을 강조

  • 공동 구현 중 파트너의 목표에 대한 시각적 피드백을 제공하여 주체감을 조작하는 연구[18]

  • 사용자의 어깨 자세를 일관되게 유지하도록 하기 위해 사용자에게 등을 지지하는 보조 장치를 부착하여 신체 부위 세분화 공동 구현 방법을 통해 공유 아바타를 제어하는 수동적 햅틱 기술[17]

• 시각적 피드백의 한계: 시각적 피드백은 정보 제공이 가능하지만, 대규모 환경에서는 혼란스러운 경험을 초래할 수 있음.

  • 햅틱 피드백의 대안적 역할: 시각적 피드백의 제한을 극복하는 대안으로, 인지 부하를 증가시키지 않는 피드백 메커니즘을 설계하는 것이 중요함.

  • 햅틱 피드백의 구현: 공동 구현 중 다른 사용자의 위치를 나타내는 커뮤니케이션 매체로 햅틱 피드백을 사용.

2.4 Perceptual crossing paradigm for enhancing social coordination

• 지각적 교차 패러다임[2] 정의: 실시간 촉각 상호작용을 통해 사회적 상호작용을 연구[30]하기 위한 최소한의 1D 환경.

  • 사용자 인터랙션: 두 사용자가 가상 공간에서 아바타(점)로 표현되며, 컴퓨터 마우스를 사용하여 아바타를 조종.

  • 피드백 시스템: 아바타가 가상 물체를 만나면 햅틱 피드백 제공, 물체에는 고정된 물체, 사용자 아바타, 사용자의 '그림자'가 포함됨.

  • 그림자 상호작용 규칙: 한 사용자가 다른 사용자의 그림자와 마주칠 때는 상호작용하는 사용자만 피드백을 받음, 아바타가 서로 마주칠 때만 두 사용자 모두 피드백을 받음.

  • 사용자 인식 패턴: 반복적인 진동 움직임 패턴을 통해 사용자들이 서로를 인식함.

• 패러다임 확장 연구 결과: 팀으로 협력하도록 지시받을 경우 참가자들이 상대방의 아바타를 성공적으로 식별하고, 상대방의 존재를 명확하게 인식했다고 보고함[12]

  • 왜곡된 1D에서 상대방의 움직임을 따라가는 과제를 사용하는 패러다임에서는 햅틱 지각적 교차를 통해 서로의 움직임을 성공적으로 따라감[32]

  • 2D 확장 성공: 2D 패러다임의 확장은 이미 성공적으로 구현[33].

  • 3D 구현 가능성: 3D 구현은 시도된 적이 없지만, 공동 구현 시나리오에서 협조와 사회적 존재감을 증대시키는 기회로 여겨짐.

Methods

Study design

• 연구 설계:

  • 제어 분배, 햅틱 피드백을 독립변인으로 하여 총 6개의 조건 하에 내피험자 설계(within-subject design)

    • 제어 분배: 플레이어 1과 플레이어 2가 공동 아바타를 제어하는 비율을 [25-75%], [50-50%], [75-25%]로 나눔.

    • 햅틱 피드백 조건: [NH] 햅틱 피드백 없음 vs. [H] 손이 겹칠 때 햅틱 피드백 제공.

  • 연구 환경: 가상 구체(반지름 8cm)로 손의 상호작용 설계, 구체가 교차하면 피드백 발생.

• 실험 단계: 훈련, 과제 1, 과제 2의 [3단계]로 나눔.

• 실험 조건: [6개의 조건] (3개의 제어 분배 x 2개의 햅틱 피드백)에서 각 조건이 두 번씩 반복, 총 [24번의 실험] 진행.

• 질문지 응답 수집: 각 실험 후 에이전시 감각 평가, [6번의 실험] 후 공동 존재감 및 구현감 평가.

• 실험 순서: 과제1은 과제 2보다 먼저 수행, 햅틱 피드백 조건 순서 상호교차(라틴 스퀘어 디자인), 실험 순서 무작위화로 순서 효과 감소.

• 샘플 구성: 참가자 쌍으로 연구 진행, 각 제어 상태(25%, 50%, 75%)에서 [4개의 샘플], 햅틱 피드백 유무에 따른 실험 수행.

Protocol

• 3.2.1 공동 행동 도달 과제

  • 가상 환경에서 공동 구현을 평가하는 일반적인 방법은 도달 과제를 사용하는 것임.

    • 본 연구에서는 정육면체[15]나 구[11,18]와 같은 객체를 만지는 데에 공유된 아바타를 사용

  • Fribourg 등 [11]은 자유, 목표, 궤적 세 가지 시나리오를 도입.

    • 자유 선택 과제: 참가자들이 임의의 구체를 선택.

    • 목표 지향 과제: 터치할 구체가 강조 표시됨.

    • 궤적 과제: 경로를 따라 정확하게 구체를 터치.

  • 연구 질문에 답하기 위해 두 가지 과제(목표 지향, 자유 선택)를 사용.

• 3.2.2 훈련

  • 훈련에서는 VR 시스템의 기본 조작 방법을 설명.

  • 각 참가자는 개별 훈련 과제를 수행하여 과제 1의 방법을 학습.

  • 훈련 단계에서는 공동 구현 햅틱 피드백이 제공되지 않음.

• 3.2.3 과제 1: 목표 지향

  • 참가자들은 공유된 손을 사용하여 시야에 나타나는 큐브를 터치.

  • 큐브는 터치 후 1초 지연 후 새로운 위치에 생성됨.

  • 위치는 의사 무작위화되었으며, 총 17번 큐브를 터치해야 함.

    

• 3.2.4 과제 2: 자유 선택

  • 5개의 큐브 중 하나를 터치하여 진행.

  • 터치 후 큐브들이 다시 동일한 위치에 생성됨.

  • 총 5번의 터치를 진행하며, 언어적 의사소통 없이 협력해야 함.

    

Measures

• 3.3.1 객관적 측정

  • 참가자들의 HMD 및 컨트롤러의 방향(롤, 피치, 요)과 위치(X, Y, Z 좌표)가 70Hz로 기록됨.

  • 실험의 시작/종료 시간과 참가자들의 오른손 겹침 시간도 기록됨.

• 3.3.2 주관적 측정

  • 참가자들은 연구 전후로 시뮬레이터 멀미 설문지(SSQ) [26]와 연구 종료 후 Igroup Presence Questionnaire (IPQ) 라는 존재감 설문지(IPQ) [51]를 작성함.

  • 과제 1과 2에서 참가자들은 리커트 척도로 "얼마나 통제하고 있다고 느끼는가?"를 평가하여 공유된 아바타에 대한 "에이전시 감각"을 측정.

  • 각 햅틱 피드백 후 "공동 존재감"[46]과 "신체 소유감"[44]에 대한 질문을 답변.

• 공동 존재감(CP) 설문지 (Cronbach's α = 0.87)

  1. 나는 다른 사람의 존재를 느꼈다.

  2. 나와 다른 사람이 같은 공간에 함께 있다고 느꼈다.

  3. 다른 사람이 내 움직임에 반응한다고 느꼈다.

• 신체 소유감(BO) 설문지 (Cronbach's α = 0.58)

  1. 내 손이 가상 손 쪽으로 이동하는 것처럼 느껴졌다.

  2. 가상 손의 움직임이 내 움직임에 영향을 주는 것처럼 느껴졌다.

  3. 내 실제 손이 가상 손의 자세나 모양을 따라가는 것처럼 느껴졌다.

Hardware and software setup

• 참가자들은 Oculus Quest 2 HMD와 Oculus Touch VR 모션 컨트롤러를 사용하여 실험에 참여했으며, 컴퓨터는 Unreal Engine 5.12로 제작된 가상 환경을 실행함.

• 각 참가자의 컴퓨터는 이더넷으로 연결되어 지연 시간이 최소화되었고, 하나의 컴퓨터는 로컬 서버로, 다른 컴퓨터는 클라이언트로 설정되어 있었음.

• 가상 세계에 '공유 손' 아바타가 생성되었으며, 아바타는 성별 중립적 손 표현을 모델링함[52].

• '공유 손' 아바타의 위치는 두 사용자의 위치 사이에서 선형 보간(interpolation) 방식으로 결정되었으며, α 값에 따라 사용자 간의 제어 비율이 결정됨(W25/W50/W75 조건 생성).

3.4.1 햅틱 피드백 디자인

• 이전 연구에서 Wentzel et al.[61]는 진동의 증폭 수준이 사용자 편안함에 영향을 미친다는 것을 발견.

• 본 연구는 단순한 ON/OFF 햅틱 피드백을 구현하여 참여자의 가상 손이 동일한 위치에 있을 때만 진동이 발생하도록 설정함.

• 고급 진동 하드웨어 없이, Oculus 모션 컨트롤러만을 사용하여 진동 패턴과 강도를 결정하기 위한 사전 연구를 수행.

• 15명의 참가자(평균 나이 25.66세, SD=2.09)가 네 가지 진동 패턴[53] (간헐적, 사인파, 심장 박동, 일정)과 네 가지 강도(10, 20, 30, 40)를 테스트. (논문의 Table 1에서 결과를 확인할 수 있음)

  • 고강도 진동(30, 40)은 편안함 점수가 낮았으며, 10 강도에서는 사인파와 심장 박동 패턴이 가장 높은 편안함을 제공.

  • 그러나 10 강도는 인식이 어려운 경우가 많았고, 최종적으로 사인파 패턴의 강도 20이 적절한 균형을 제공하여 본 실험에 사용됨.

Study procedure

• 참가자는 도착 시 인구 통계, 동의서, 사전/사후 SSQ 및 IPQ 양식을 작성.

• 한 명은 사용자 1로, 다른 한 명은 사용자 2로 임의 배정되어 두 컴퓨터에서 실험을 진행.

• 참가자는 실험 내내 비언어적 의사소통만 허용되었으며[11], 햅틱 피드백에 대한 설명 없이 피드백을 자유롭게 해석하도록 유도. [2,3]

• 각 참가자는 총 25번의 실험(반복 포함)과 32개의 질문(24 Sense of Agency, 4 Co-presence, 4 Body Ownership)에 답변.

• 실험 후 참가자들은 SSQ 및 IPQ를 작성하고, 약 15분 동안 반구조화된 인터뷰에 참여.

• 실험 전체는 약 60분, VR 내에서의 실험은 약 25분 소요되었으며, 참가자는 €/$10 상당의 상품권을 보상으로 제공받음.

3.5.1 참가자

• 총 40명(23여, 17남, 평균 나이 M=25.95세, SD=2.59)이 실험에 참여했으며, 20쌍의 참가자로 구성.

• 참가자 중 15명은 VR 경험이 없었고, 17명은 초보 사용자인 반면, 8명은 가끔 VR을 사용하는 참가자였음.

• 20쌍 중 3쌍은 커플, 12쌍은 친구, 5쌍은 처음 만난 사이(낯선 사람)였음.

Analysis and Results

Pre-processing and analysis approach

• 혼합 방법론 접근법 사용

  • results of the quantitative analysis are interpreted along with the qualitative analysis to explain the phenomena observed

• 데이터 전처리 후 880,549 기록 최종 데이터셋

• 공동 움직임 동기화 분석을 위해 유클리드 거리 계산

• 롤링 스피어만 상관관계로 두 참가자 손 움직임 비교

• Shapiro-Wilk 검정으로 데이터의 비정규성 확인(p < 0.05)

• 정렬된 순위 변환 및 Holm-Bonferroni 보정 적용

• Table 2에 모든 응답 변수에 대한 분산 분석 결과 제공

Quantitative results

• 에이전시 감각(Sense of Agency, SoA): Task 1에서 SoA가 더 높고, 75% 통제에서는 낮아짐.

• 공동 존재감(Co-presence): Task 2에서 유의미하게 높음.

• 신체 소유감(Body ownership): Task 2의 평가가 Task 1보다 유의미하게 높음.

• 컨트롤러 동기화(Controller motion synchronization): Task 1에서 유의미하게 높음.

• IPQ 존재감[57]: 높은 몰입과 공간 존재감, 중립적인 일반 존재감 및 현실감의 결과.

• 운동병(SSQ Motion sickness)[26]: 연구 전후에 유의미한 차이 확인, 약간의 운동병 경험.

Qualitative results

• 귀납적 주제 분석 접근법(inductive thematic analysis) [6] 사용

• 4.3.1 공유 결정에 대한 좌절감

  • Task 1에서는 더 편안했으나 Task 2에서는 선택으로 인해 불편함을 느낌 [P10-2].

  • 목표 없이 작업할 때 더 많은 좌절감을 느낌 [P15-2].

• 4.3.2 공유 모션 인식

  • Task 1 동안 아바타의 움직임이 공유된다는 것을 인식한 참가자는 약 절반(21/40).

  • 아바타의 움직임 차이를 “글리치” 또는 “지연”으로 인식 [P8-1, P16-2].

  • Task 2에서는 과장된 움직임을 보임 [P8-1].

• 4.3.3 따르기와 이끌기

  • 참가자들은 자발적으로 추종자 또는 리더 역할을 수행.

  • 리더는 과장된 손짓으로 제어감을 느끼려 함 [P14-1].

• 4.3.4 모션 동기화

  • Task 1에서 높은 수준의 모션 동기화 관찰.

  • 참가자들은 동기화를 “리듬”이나 “흐름”으로 언급 [P1-1, P2-2].

• 4.3.5 진동 패턴 및 연관 인식

  • 참가자들은 햅틱 피드백에 대해 혼란스러움을 느낌.

  • 일부는 햅틱을 적대적이고 무작위적이라고 인식 [P6-2, P7-2].

  • 긍정적인 피드백으로 본 참가자들은 비디오 게임과 연관 [P18-2].

Discussion

Study limitation and future work

• 연구에 사용된 질문이 제한적.

  • 사용자가 연구 중에 피로와 과부하를 경험하지 않도록 하기 위한 의도적인 설계 선택임을 주장

• ‘제어 감각’ 질문에 대한 오해 가능성.

  • 이번 연구는 에이전시 감각에 대한 질문지[22]를 따랐기 때문.

  • HCI 내에서의 에이전시는 여러 가지 해석을 가질 수 있기 때문[4]

• 지각 교차 패러다임 확장을 통한 후속 연구 제안.

• 이번 연구는 손에만 제한.

  • 다른 신체를 조사할 경우 구현 감각에 영향을 미치는 요인[10,35]과 현실적인 아바타 표현[11,28]을 생각해보기

• 신체 차이에 따른 아바타 제어 연구 필요.

  • 가변 신장에 적응할 수 있는 방법[67] - 참가자 간에 제어가 정확하게 분배되도록 도울 것으로 보임.

• 관계 유형에 따른 공동 구현 상호작용 연구 기회.

Elucidating the role of haptic feedback and avatar control distribution for virtual avatar co-embodiment

• 촉각 피드백이 에이전시 감각에 예상과 다른 영향을 미침.

  • 예상: 촉각 피드백이 비언어적 신호를 전달하는 데 적합[39]하기에 감각-운동 조정 및 안내를 촉진할 것으로 기대 [38]

• 촉각 피드백이 방해됨.

• 3D 가상 공간에서 촉각 피드백 통합의 효과성에 대한 경고.

Shared control, motor synchrony, and perceptual crossing targeted and free-choice tasks

• 보고된 제어 감각(SoA)이 실제로 제어한 수준과 일치하지 않음.

• 목표 지향과 자유 선택 간 에이전시 감각 차이.

  • 목표 지향에서 더 크게 느낌. - [11]의 결과와 같음.

  • 에이전시 감각을 측정하는 표준 관행은 주관적인 평가를 조사하는 것[11,15]

• 공동 존재감의 인식: 참가자들은 과제 2에서 과제 1보다 훨씬 더 큰 공동 존재감을 느낌. 이는 강한 동작 동기화 효과가 다른 사람에 대한 인식을 감소시켰음을 시사.

• 상호작용의 차이: 과제 1에서 참가자들은 파트너와 아바타를 공유하고 있다는 인식이 부족했으며, 높은 동기화 환경이 실제 탐색을 제한. 과제 2에서는 의사소통과 협력이 더 강조됨

• 신체 소유감의 차이: 참가자들은 과제 2에서 가상 손의 움직임이 자신의 움직임에 더 큰 영향을 미친다고 느낌. 이로 인해 참가자들은 가상 손을 조절하거나 그 움직임을 따르기 위해 전략을 세웠음.

• 다중 감각 공유 환경 제안: 연구 결과는 다양한 신체 및 관계 유형에서의 아바타 제어에 대한 후속 연구 기회를 제시하며, 신체 피드백 메커니즘의 인식 정도와 공유 신체 제어 시스템의 활용 방법에 대한 질문을 제기

In conclusion

마치 거울 효과처럼 공동 가상 구현을 통해 얻은 통제감은 재활에 도움이 된다.

• 3D 가상 공간에서 촉각 피드백 통합의 효과성에 의문. → 잘 설계해야 함

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613904.3642425

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com