[UIST 24 REVIEW]Exploring the Effects of Sensory Conflicts on Cognitive Fatigue in VR Remappings

VR 리매핑(remapping) 이란 Visual manipulation techniques으로 가상 세계와 현실 세계의 속성 간의 일대일 매핑을 변경하는 것입니다. 이 논문은 VR 리매핑으로 유발된 감각적 충돌이 인지적 피로를 유발하는 문제를 구체적으로 다룬 최초의 연구입니다.

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Luo, T., Chen, G., Wen, Y., Wang, P., Fan, Y., Han, T., & Tian, F. (2024, October). Exploring the Effects of Sensory Conflicts on Cognitive Fatigue in VR Remappings. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (pp. 1-16).

Video:https://dl.acm.org/doi/10.1145/3654777.3676439

Researcher's Affiliation Site

Tianren Luo

https://www.researchgate.net/profile/Tianren-Luo

Content for General Readers

motivation

• Virtual reality (VR) presents significant cognitive challenges due to its immersive nature and frequent sensory conflicts.

• VR remapping techniques can enhance interaction capabilities but may disrupt sensory integration and impact cognitive processes.

• The effects of sensory conflicts induced by VR remapping on cognitive fatigue are not well understood.

한글 요약:

• 가상 현실(VR)은 몰입적인 특성으로 인해 인지적 도전에 직면하며, 빈번한 감각적 충돌이 발생

• VR 리매핑(remapping) 기술은 상호작용 능력을 향상시키지만, 감각 통합을 방해하고 인지적 과정에 영향을 미칠 수 있음

• VR 리매핑이 유발하는 감각적 충돌이 인지적 피로에 미치는 영향은 충분히 이해되지 않음.

contribution

• Systematically investigated the impact of sensory conflicts from three VR remapping techniques (haptic repositioning, head-turning redirection, and giant resizing) on cognitive fatigue.

• Measured perceptual thresholds for each remapping technique to assess different intensities of sensory conflicts.

• Conducted experiments involving cognitive tasks along with subjective and physiological measures to evaluate cognitive fatigue.

• Found that all three remapping techniques influenced cognitive fatigue onset and severity, with visual-vestibular conflict having the greatest impact.

• Discovered that visual-experiential/memory conflict mitigated cognitive fatigue, highlighting the role of novel sensory experiences.

• Provided insights into cognitive fatigue under sensory conflicts and contributed to designing VR experiences better aligned with human perceptual and cognitive capabilities.

한글요약:

• 세 가지 VR 리매핑 기술(햅틱 재위치, 머리 회전 방향 재조정, 거인 크기 조정)에서 유발되는 감각적 충돌이 인지적 피로에 미치는 영향을 체계적으로 조사.

• 각 리매핑 기술의 감각적 충돌 강도를 평가하기 위해 지각 임계값을 측정.

• 인지적 피로를 평가하기 위해 인지 과제와 주관적, 생리적 측정을 통한 실험을 수행.

• 세 가지 리매핑 방식 모두 인지적 피로의 발생과 강도에 영향을 미쳤으며, 특히 시각-전정 충돌이 가장 큰 영향을 미친다는 것을 발견.

• 시각-경험/기억 충돌은 인지적 피로를 완화하는 효과가 있음을 발견하며, 새로운 감각 경험이 피로에 미치는 역할을 강조.

• 감각적 충돌 하에서 인지적 피로에 대한 깊은 이해를 제공하고, 인간의 지각 및 인지 능력에 더 잘 맞는 VR 경험 설계에 대한 통찰 제시.

Content for Korean Readers Who Want to Know More about the Paper

Intro

• VR 기술 발전으로 다양한 분야에서 사용[21, 63, 115]되지만, 감각적 충돌로 인해 인지적 피로 문제[71, 82]가 발생함.

  • 본질적 부하와 외재적 부하[103]

  • 인지 부하는 인지 피로를 유발 [11,39]

  • 이는 VR 경험에 부정적임 [15,58]

• VR 리매핑 (remapping) 기술이 상호작용을 개선하지만, 감각 통합을 방해하여 추가적인 인지 부하를 유발함.

  • 햅틱 피드백 생성 [27], 상호작용 능력 향상 [66], 물리적 장애물 회피 [81, 87], 환상 생성 [51, 85]에서 사용됨.

• 감각적 충돌이 인지적 피로[95, 104, 118]에 미치는 영향을 충분히 이해하지 못한 상황임.

• 세 가지 VR 리매핑 시나리오로 감각적 충돌을 유발하여 체계적으로 조사함.

  • 시나리오

    • 햅틱 재위치 : 시각-고유감각 유발

    • 머리 회전 방향 재조정 : 시각-전정 유발

    • 거인 크기 조정 : 시각-경험/기억 충돌 유발

  • 각 리매핑 기술에 대해 감각 임계값을 측정하여 충돌 강도를 평가함.

  • 다양한 감각적 충돌 강도를 실험하며, 주관적 평가, EEG 신호, 과제 수행도로 인지적 피로를 측정함.

• 강한 시각-전정 충돌이 인지적 피로에 가장 큰 영향을 미쳤으며, 시각-경험/기억 충돌은 인지적 피로를 완화하는 역할을 했음.

• 본 연구는 감각적 충돌이 인지적 피로에 미치는 영향을 심층적으로 탐구하고, VR 경험 설계에 중요한 통찰을 제공함.

related work

Cognitive Fatigue and Cognitive load

• 인지적 피로는 장기적인 복잡한 작업[93]으로 발생하며, 에너지 부족과 집중력 저하[101]로 이어짐.

  • 이는 인지적 부하로인해 생김. [13, 38]

• 인지적 부하는 작업 수행에 필요한 정신적 노력[103]으로, 내재적[102] 및 외재적[79] 인지 부하로 나뉨

  • 내재적 인지 부하 :학습 자료의 복잡성과 기존 지식의 관계

  • 외재적 인지 부하 :사용자 인터페이스 디자인 등 환경적 요인

• 인지적 피로를 유도하기 위해 이하 표준화된 과제를 사용함.

  • n-back tasks [23, 88, 107]

  • cued go/no-go tasks [94]

  • sustained attention response tasks (SART) [72]

  • Stroop color-word tasks [117]

• 주관적 인지적 피로 평가 척도

  • Visual Analog Scale for Fatigue (VAS-F) and the Brunel Mood Scale [31, 54, 78]

• 인지 부하 평가 척도

  • NASA Task Load Index (NASA-TLX) [40]

• 작업 성과 지표(Task performance metrics) [92].

  • completion time

  • error rates

• 생리적 지표

  • 심박수, fMRI, fNIRS, EEG [11, 22, 40, 43]

  • 특히, EEG[12]는 인지 부하와 피로 수준을 측정하는데 자주 사용

    • 인지 부하가 증가하면 알파파는 억제되고, 세타파와 베타파 활동은 증가 [3, 11, 30, 41, 90].

    • 인지 피로 상태에서는 세타파와 알파파 에너지가 증가하고 베타파는 약간 감소함 [6, 7, 44, 50, 106].

• VR에서의 인지 피로 연구

  • 환경 디자인[23, 97, 108], 상호작용 방법[64, 112], 사용 시간[88] 등 요인의 영향을 탐구

  • VR과 실제 환경을 비교[46, 49, 68, 69]하거나, VR을 사용해 실험적 시나리오를 시뮬레이션[23, 55, 82, 117]하여 인지적 피로 변화를 연구

  • 실제 응용에서 VR 사용성 조사 [40, 111]

  • 학습에 미치는 인지 피로 또는 부하의 영향 연구 [20]

  • VR을 이용한 학습[20] 및 치료[83, 114]에서 인지적 피로의 영향을 연구

  • 다양한 인구 집단에 대한 VR 사용의 영향 연구 [70]

• 이러한 연구는 실험 설계와 결과 해석의 이론적 기초를 제공함

Remapping and Sensory conflict

• 리매핑 기술은 가상 세계와 현실 속성 간 매핑을 변경하여 사용자 상호작용을 확장함.[4, 48]

  • 대표적인 예시

    • 햅틱 재위치(촉각)[99] :사용자의 가상 손 움직임의 방향과 거리를 변경하여 몇 개의 실제 물체가 많은 가상 물체에 대한 촉각 대리

    • 머리 방향 재조정(시각)[66] : 머리 회전 각도를 증가시켜 시야 범위를 확장하면서 행동의 노력을 줄임

    • 거인 크기 조정(신체 크기)[1]: 사용자의 신체 크기를 확대하여 이동성과 상호작용 범위를 확장

  • 기타 기술

    • 걷기 재조정 [18] :물리적 장애물을 피하기 위해

    • 자세 한계 극복 [16, 60] : 수직/수영 방향 전환하여 자세 제한을 극복

    • 느린 동작 재위치 [85, 86] :새롭고 재미있는 착각 경험을 만들기 위한 느린 행동/중량 들기 재배치

    • 공동 탐색 재위치 [62] : 여러 방문객의 내비게이션을 효율적으로 제어할 수 있도록 안내자가 함께 이동

• 이러한 기술은 감각 통합을 방해하여 감각적 충돌을 유발함.

• 감각 통합 이론(sensory integration theory)에 따르면, 뇌는 시각, 전정 감각, 고유 수용감각 신호를 통합하여 지각을 형성함. [10, 25]

  • 이때 각 신호의 신뢰도[57]에 따라 가중치 부여

    • 시각 [47, 61, 63]: 특징 매칭, 양안 격차 및 폐색 관계

    • 전정감각 [91] : 자가 위치 지정

    • 고유 수용감각 [14] : 피부, 근육 및 관절에서 생성되어 신체 인식 및 행동 제어를 위한 기준을 제공

    • 뇌 [56, 84] : 경험, 기억 및 의도를 고려하여 이러한 감각 채널의 통합을 최적화하여 인지 정확성을 향상

      • 감각 갈등이 뇌를 몰입시키기에 충분할 경우, 사용자는 다양한 환상을 경험 [1, 60]

• VR에서 감각적 충돌의 영향

  • 시각-전정 충돌=> 방향 감각 상실, 멀미[26, 32]

  • 시각-고유 수용감각 충돌 => 신체 소유감, 행동 정확성[48, 60]

• 감각적 충돌을 줄이기 위해 지각 임계값 내에서 매개변수를 조정하여 재배치에 의해 유도된 감각 갈등의 영향을 완화[98]

  • 지각 임계값

    • 인식 불가능한 임계값 [53] :사용자가 미세한 시각적 조작을 인식하지 못하는 임계값

    • 허용 가능한 임계값[87] :사용자가 시각적 조작을 인식한 후에도 이를 수용할 수 있는 임계값

• 기존 연구는 주의 분산 [116], 도달 방향 [19], 양손 상호작용 [33], 아바타 외관 [28, 76] 등이 촉각 재배치의 지각 임계값에 미치는 영향 조사

• 본 연구는 리매핑으로 인한 감각적 충돌이 인지적 피로에 미치는 영향을 최초로 조사함.

Considerations & Pilot experiment

Design Considerations

• 리매핑 구성: 감각적 충돌의 유형과 강도를 고려하여 파일럿 실험에서 누락된 지각적 임계값 측정.

• 설계 고려 사항:

  • Google Scholar에서 22개의 리매핑 연구를 수집 후 분류

    • 8개 재위치 방법

      • haptic repositioning [5, 80], self-haptics repositioning [27], slow action repositioning [86], knock-on-wood repositioning [99], weight-lifting repositioning [85], walk distance repositioning [18, 98, 113], jump repositioning [36, 45], locomotion-facility repositioning [100]

    • 7개 방향 전환 방법

      • head-turning redirection [66], distractor-induced bodyturning redirection [81], curvature-based walking redirection [89], bending-based walking redirection [53], spin jump redirection [36], upright redirection [60, 110], swimming redirection [16]

    • 2개 크기 조정 방법

      • long-arm resizing [48], giant resizing [1]

  • 각 리매핑의 타겟(손, 머리, 몸), 공간 속성(위치, 회전, 크기), 모드(불연속, 연속) 분석.

  • 주요 감각적 충돌 원인: 시각-전정 충돌, 시각-고유 수용 감각 충돌, 시각-경험/기억 충돌.

    • *시각-전정 충돌:

      • 머리나 몸을 움직일 때, 눈으로 보는 것과 몸이 느끼는 것이 다르게 느껴짐.

      • 예: 머리를 빠르게 돌리면 어지러움이 발생할 수 있음.

    • *시각-고유 수용 감각 충돌:

      • 팔이나 다리를 움직일 때 눈으로 보는 것과 몸의 느낌이 달라짐.

      • 예: 손의 방향과 눈의 방향이 다르면 혼란스러움이 생길 수 있음.

    • *시각-경험/기억 충돌:

      • 몸의 크기를 조절할 때 감각의 충돌이 발생함.

      • 몸이 커졌다고 생각하면, 기억 속의 몸 크기와 실제 크기가 다르게 느껴져 이상함이 느껴질 수 있음.

• 실험 조건:

  • 감각적 충돌을 효과적으로 유도하는 리매핑을 선택하여 비인지적 요소(신체적 노력 등)를 최소화.

  • 선택된 리매핑:

    • 햅틱 재위치: 고유 수용 감각-시각 충돌 유도.

    • 머리 돌리기 방향 전환: 신체적 노력 요소가 적음.

    • 거인 크기 조정: 긴 팔 조정보다 더 강력하고 두드러진 효과 있음.

• 감각적 충돌 강도 고려: 리매핑 매개변수 크기는 지각적 임계값에 따라 달라짐.

  • 인지 불가 임계값 [98, 100]: 사용자가 감지할 수 없는 최소 변화.

  • 수용 가능한 임계값[87]: 인식 후 수용 가능한 리매핑 매개변수 수준.

Pilot Experiment

• 리매핑 임계값 측정:

  • 햅틱 재위치에 대한 인지 불가 임계값[80]만 문헌에 나옴.

    • 가상 객체와 실제 객체 간 거리 < 7.9cm)

  • 수용 가능한 임계값이나 나머지 리매핑(머리 돌리기 방향 전환, 거인 크기 조정)에 대한 지각적 임계값은 문헌에 없어 파일럿 실험으로 누락된 임계값을 측정함.

• 파일럿 실험 목표:

  • 햅틱 재위치, 머리 돌리기 방향 전환, 거인 크기 조정의 지각적 임계값을 측정

    • 측정시 참고한 문헌[9, 18, 36, 53, 80].

  • 실험에서 다른 강도의 감각적 충돌을 유도할 리매핑 매개변수 설정.

• 실험 방법:

  • 문헌[1, 5, 66]을 기반으로 세 가지 리매핑을 개발.

  • 10명의 참가자(남성 5명, 여성 5명, 평균 연령 22.125세) 참여.

  • 각 리매핑의 매개변수 범위를 10개의 부분으로 나누어 비반복적인 매개변수를 무작위로 적용.

  • 참가자들이 2AFC 질문에 답변: 인지 불가 임계값에 대해 "다르다고 생각하는가?", 수용 가능한 임계값에 대해 "수용할 수 있는가?".

  • 각 매개변수에 대한 응답률 계산 후 심리물리학 함수에 맞춤.

  • 응답률이 50%인 매개변수를 인지 불가/수용 가능한 임계값으로 간주.

• 결과:

  • 표 1에 세 가지 리매핑에 대한 매개변수 범위 및 지각적 임계값을 나타냄.

  • 햅틱 재위치의 인지 불가 임계값은 Patras et al. [80]에서 가져옴.

  • 나머지 임계값은 파일럿 실험을 통해 도출.

  • 정식 실험에서는 각 리매핑에 대해 인지 불가 임계값과 수용 가능한 임계값을 설정하여 감각적 충돌 강도를 조정할 예정.

In conclusion

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3654777.3676439

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com