![[UIST 24 REVIEW]Exploring the Effects of Sensory Conflicts on Cognitive Fatigue in VR Remappings](https://image.inblog.dev?url=https%3A%2F%2Finblog.ai%2Fapi%2Fog%3Ftitle%3D%255BUIST%252024%2520REVIEW%255DExploring%2520the%2520Effects%2520of%2520Sensory%2520Conflicts%2520on%2520Cognitive%2520Fatigue%2520in%2520VR%2520Remappings%26logoUrl%3Dhttps%253A%252F%252Finblog.ai%252Finblog_logo.png%26blogTitle%3Deunhokim&w=2048&q=75){kind=logo}
VR 리매핑(remapping) 이란 Visual manipulation techniques으로 가상 세계와 현실 세계의 속성 간의 일대일 매핑을 변경하는 것입니다. 이 논문은 VR 리매핑으로 유발된 감각적 충돌이 인지적 피로를 유발하는 문제를 구체적으로 다룬 최초의 연구입니다.
This document is structured as follows:
Meta Information about the Paper (논문 정보)
Researcher's Affiliation Site (저자 연구실 정보)
Content for General Readers (일반 독자를 위한 내용)
Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)
In conclusion (마치며)
let’s start.
Meta Information about the Paper
Luo, T., Chen, G., Wen, Y., Wang, P., Fan, Y., Han, T., & Tian, F. (2024, October). Exploring the Effects of Sensory Conflicts on Cognitive Fatigue in VR Remappings. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (pp. 1-16).
Video:https://dl.acm.org/doi/10.1145/3654777.3676439
Researcher's Affiliation Site
Tianren Luo
https://www.researchgate.net/profile/Tianren-Luo
Content for General Readers
motivation
Virtual reality (VR) presents significant cognitive challenges due to its immersive nature and frequent sensory conflicts.
VR remapping techniques can enhance interaction capabilities but may disrupt sensory integration and impact cognitive processes.
The effects of sensory conflicts induced by VR remapping on cognitive fatigue are not well understood.
한글 요약:
가상 현실(VR)은 몰입적인 특성으로 인해 인지적 도전에 직면하며, 빈번한 감각적 충돌이 발생
VR 리매핑(remapping) 기술은 상호작용 능력을 향상시키지만, 감각 통합을 방해하고 인지적 과정에 영향을 미칠 수 있음
VR 리매핑이 유발하는 감각적 충돌이 인지적 피로에 미치는 영향은 충분히 이해되지 않음.
contribution
Systematically investigated the impact of sensory conflicts from three VR remapping techniques (haptic repositioning, head-turning redirection, and giant resizing) on cognitive fatigue.
Measured perceptual thresholds for each remapping technique to assess different intensities of sensory conflicts.
Conducted experiments involving cognitive tasks along with subjective and physiological measures to evaluate cognitive fatigue.
Found that all three remapping techniques influenced cognitive fatigue onset and severity, with visual-vestibular conflict having the greatest impact.
Discovered that visual-experiential/memory conflict mitigated cognitive fatigue, highlighting the role of novel sensory experiences.
Provided insights into cognitive fatigue under sensory conflicts and contributed to designing VR experiences better aligned with human perceptual and cognitive capabilities.
한글요약:
세 가지 VR 리매핑 기술(햅틱 재위치, 머리 회전 방향 재조정, 거인 크기 조정)에서 유발되는 감각적 충돌이 인지적 피로에 미치는 영향을 체계적으로 조사.
각 리매핑 기술의 감각적 충돌 강도를 평가하기 위해 지각 임계값을 측정.
인지적 피로를 평가하기 위해 인지 과제와 주관적, 생리적 측정을 통한 실험을 수행.
세 가지 리매핑 방식 모두 인지적 피로의 발생과 강도에 영향을 미쳤으며, 특히 시각-전정 충돌이 가장 큰 영향을 미친다는 것을 발견.
시각-경험/기억 충돌은 인지적 피로를 완화하는 효과가 있음을 발견하며, 새로운 감각 경험이 피로에 미치는 역할을 강조.
감각적 충돌 하에서 인지적 피로에 대한 깊은 이해를 제공하고, 인간의 지각 및 인지 능력에 더 잘 맞는 VR 경험 설계에 대한 통찰 제시.
Content for Korean Readers Who Want to Know More about the Paper
Intro
VR 기술 발전으로 다양한 분야에서 사용[21, 63, 115]되지만, 감각적 충돌로 인해 인지적 피로 문제[71, 82]가 발생함.
본질적 부하와 외재적 부하[103]
인지 부하는 인지 피로를 유발 [11,39]
이는 VR 경험에 부정적임 [15,58]
VR 리매핑 (remapping) 기술이 상호작용을 개선하지만, 감각 통합을 방해하여 추가적인 인지 부하를 유발함.
햅틱 피드백 생성 [27], 상호작용 능력 향상 [66], 물리적 장애물 회피 [81, 87], 환상 생성 [51, 85]에서 사용됨.
감각적 충돌이 인지적 피로[95, 104, 118]에 미치는 영향을 충분히 이해하지 못한 상황임.
세 가지 VR 리매핑 시나리오로 감각적 충돌을 유발하여 체계적으로 조사함.
시나리오
햅틱 재위치 : 시각-고유감각 유발
머리 회전 방향 재조정 : 시각-전정 유발
거인 크기 조정 : 시각-경험/기억 충돌 유발
각 리매핑 기술에 대해 감각 임계값을 측정하여 충돌 강도를 평가함.
다양한 감각적 충돌 강도를 실험하며, 주관적 평가, EEG 신호, 과제 수행도로 인지적 피로를 측정함.
강한 시각-전정 충돌이 인지적 피로에 가장 큰 영향을 미쳤으며, 시각-경험/기억 충돌은 인지적 피로를 완화하는 역할을 했음.
본 연구는 감각적 충돌이 인지적 피로에 미치는 영향을 심층적으로 탐구하고, VR 경험 설계에 중요한 통찰을 제공함.
related work
Cognitive Fatigue and Cognitive load
인지적 피로는 장기적인 복잡한 작업[93]으로 발생하며, 에너지 부족과 집중력 저하[101]로 이어짐.
이는 인지적 부하로인해 생김. [13, 38]
인지적 부하는 작업 수행에 필요한 정신적 노력[103]으로, 내재적[102] 및 외재적[79] 인지 부하로 나뉨
내재적 인지 부하 :학습 자료의 복잡성과 기존 지식의 관계
외재적 인지 부하 :사용자 인터페이스 디자인 등 환경적 요인
인지적 피로를 유도하기 위해 이하 표준화된 과제를 사용함.
n-back tasks [23, 88, 107]
cued go/no-go tasks [94]
sustained attention response tasks (SART) [72]
Stroop color-word tasks [117]
주관적 인지적 피로 평가 척도
Visual Analog Scale for Fatigue (VAS-F) and the Brunel Mood Scale [31, 54, 78]
인지 부하 평가 척도
NASA Task Load Index (NASA-TLX) [40]
작업 성과 지표(Task performance metrics) [92].
completion time
error rates
생리적 지표
심박수, fMRI, fNIRS, EEG [11, 22, 40, 43]
특히, EEG[12]는 인지 부하와 피로 수준을 측정하는데 자주 사용
인지 부하가 증가하면 알파파는 억제되고, 세타파와 베타파 활동은 증가 [3, 11, 30, 41, 90].
인지 피로 상태에서는 세타파와 알파파 에너지가 증가하고 베타파는 약간 감소함 [6, 7, 44, 50, 106].
VR에서의 인지 피로 연구
환경 디자인[23, 97, 108], 상호작용 방법[64, 112], 사용 시간[88] 등 요인의 영향을 탐구
VR과 실제 환경을 비교[46, 49, 68, 69]하거나, VR을 사용해 실험적 시나리오를 시뮬레이션[23, 55, 82, 117]하여 인지적 피로 변화를 연구
실제 응용에서 VR 사용성 조사 [40, 111]
학습에 미치는 인지 피로 또는 부하의 영향 연구 [20]
VR을 이용한 학습[20] 및 치료[83, 114]에서 인지적 피로의 영향을 연구
다양한 인구 집단에 대한 VR 사용의 영향 연구 [70]
이러한 연구는 실험 설계와 결과 해석의 이론적 기초를 제공함
Remapping and Sensory conflict
리매핑 기술은 가상 세계와 현실 속성 간 매핑을 변경하여 사용자 상호작용을 확장함.[4, 48]
대표적인 예시
햅틱 재위치(촉각)[99] :사용자의 가상 손 움직임의 방향과 거리를 변경하여 몇 개의 실제 물체가 많은 가상 물체에 대한 촉각 대리
머리 방향 재조정(시각)[66] : 머리 회전 각도를 증가시켜 시야 범위를 확장하면서 행동의 노력을 줄임
거인 크기 조정(신체 크기)[1]: 사용자의 신체 크기를 확대하여 이동성과 상호작용 범위를 확장
기타 기술
걷기 재조정 [18] :물리적 장애물을 피하기 위해
자세 한계 극복 [16, 60] : 수직/수영 방향 전환하여 자세 제한을 극복
느린 동작 재위치 [85, 86] :새롭고 재미있는 착각 경험을 만들기 위한 느린 행동/중량 들기 재배치
공동 탐색 재위치 [62] : 여러 방문객의 내비게이션을 효율적으로 제어할 수 있도록 안내자가 함께 이동
이러한 기술은 감각 통합을 방해하여 감각적 충돌을 유발함.
감각 통합 이론(sensory integration theory)에 따르면, 뇌는 시각, 전정 감각, 고유 수용감각 신호를 통합하여 지각을 형성함. [10, 25]
이때 각 신호의 신뢰도[57]에 따라 가중치 부여
시각 [47, 61, 63]: 특징 매칭, 양안 격차 및 폐색 관계
전정감각 [91] : 자가 위치 지정
고유 수용감각 [14] : 피부, 근육 및 관절에서 생성되어 신체 인식 및 행동 제어를 위한 기준을 제공
뇌 [56, 84] : 경험, 기억 및 의도를 고려하여 이러한 감각 채널의 통합을 최적화하여 인지 정확성을 향상
감각 갈등이 뇌를 몰입시키기에 충분할 경우, 사용자는 다양한 환상을 경험 [1, 60]
VR에서 감각적 충돌의 영향
시각-전정 충돌=> 방향 감각 상실, 멀미[26, 32]
시각-고유 수용감각 충돌 => 신체 소유감, 행동 정확성[48, 60]
감각적 충돌을 줄이기 위해 지각 임계값 내에서 매개변수를 조정하여 재배치에 의해 유도된 감각 갈등의 영향을 완화[98]
지각 임계값
인식 불가능한 임계값 [53] :사용자가 미세한 시각적 조작을 인식하지 못하는 임계값
허용 가능한 임계값[87] :사용자가 시각적 조작을 인식한 후에도 이를 수용할 수 있는 임계값
기존 연구는 주의 분산 [116], 도달 방향 [19], 양손 상호작용 [33], 아바타 외관 [28, 76] 등이 촉각 재배치의 지각 임계값에 미치는 영향 조사
본 연구는 리매핑으로 인한 감각적 충돌이 인지적 피로에 미치는 영향을 최초로 조사함.
Considerations & Pilot experiment
Design Considerations
리매핑 구성: 감각적 충돌의 유형과 강도를 고려하여 파일럿 실험에서 누락된 지각적 임계값 측정.
설계 고려 사항:
Google Scholar에서 22개의 리매핑 연구를 수집 후 분류
8개 재위치 방법
haptic repositioning [5, 80], self-haptics repositioning [27], slow action repositioning [86], knock-on-wood repositioning [99], weight-lifting repositioning [85], walk distance repositioning [18, 98, 113], jump repositioning [36, 45], locomotion-facility repositioning [100]
7개 방향 전환 방법
head-turning redirection [66], distractor-induced bodyturning redirection [81], curvature-based walking redirection [89], bending-based walking redirection [53], spin jump redirection [36], upright redirection [60, 110], swimming redirection [16]
2개 크기 조정 방법
long-arm resizing [48], giant resizing [1]
각 리매핑의 타겟(손, 머리, 몸), 공간 속성(위치, 회전, 크기), 모드(불연속, 연속) 분석.
주요 감각적 충돌 원인: 시각-전정 충돌, 시각-고유 수용 감각 충돌, 시각-경험/기억 충돌.
*시각-전정 충돌:
머리나 몸을 움직일 때, 눈으로 보는 것과 몸이 느끼는 것이 다르게 느껴짐.
예: 머리를 빠르게 돌리면 어지러움이 발생할 수 있음.
*시각-고유 수용 감각 충돌:
팔이나 다리를 움직일 때 눈으로 보는 것과 몸의 느낌이 달라짐.
예: 손의 방향과 눈의 방향이 다르면 혼란스러움이 생길 수 있음.
*시각-경험/기억 충돌:
몸의 크기를 조절할 때 감각의 충돌이 발생함.
몸이 커졌다고 생각하면, 기억 속의 몸 크기와 실제 크기가 다르게 느껴져 이상함이 느껴질 수 있음.
실험 조건:
감각적 충돌을 효과적으로 유도하는 리매핑을 선택하여 비인지적 요소(신체적 노력 등)를 최소화.
선택된 리매핑:
햅틱 재위치: 고유 수용 감각-시각 충돌 유도.
머리 돌리기 방향 전환: 신체적 노력 요소가 적음.
거인 크기 조정: 긴 팔 조정보다 더 강력하고 두드러진 효과 있음.
감각적 충돌 강도 고려: 리매핑 매개변수 크기는 지각적 임계값에 따라 달라짐.
인지 불가 임계값 [98, 100]: 사용자가 감지할 수 없는 최소 변화.
수용 가능한 임계값[87]: 인식 후 수용 가능한 리매핑 매개변수 수준.
Pilot Experiment
리매핑 임계값 측정:
햅틱 재위치에 대한 인지 불가 임계값[80]만 문헌에 나옴.
가상 객체와 실제 객체 간 거리 < 7.9cm)
수용 가능한 임계값이나 나머지 리매핑(머리 돌리기 방향 전환, 거인 크기 조정)에 대한 지각적 임계값은 문헌에 없어 파일럿 실험으로 누락된 임계값을 측정함.
파일럿 실험 목표:
햅틱 재위치, 머리 돌리기 방향 전환, 거인 크기 조정의 지각적 임계값을 측정
측정시 참고한 문헌[9, 18, 36, 53, 80].
실험에서 다른 강도의 감각적 충돌을 유도할 리매핑 매개변수 설정.
실험 방법:
문헌[1, 5, 66]을 기반으로 세 가지 리매핑을 개발.
10명의 참가자(남성 5명, 여성 5명, 평균 연령 22.125세) 참여.
각 리매핑의 매개변수 범위를 10개의 부분으로 나누어 비반복적인 매개변수를 무작위로 적용.
참가자들이 2AFC 질문에 답변: 인지 불가 임계값에 대해 "다르다고 생각하는가?", 수용 가능한 임계값에 대해 "수용할 수 있는가?".
각 매개변수에 대한 응답률 계산 후 심리물리학 함수에 맞춤.
응답률이 50%인 매개변수를 인지 불가/수용 가능한 임계값으로 간주.
결과:
표 1에 세 가지 리매핑에 대한 매개변수 범위 및 지각적 임계값을 나타냄.
햅틱 재위치의 인지 불가 임계값은 Patras et al. [80]에서 가져옴.
나머지 임계값은 파일럿 실험을 통해 도출.
정식 실험에서는 각 리매핑에 대해 인지 불가 임계값과 수용 가능한 임계값을 설정하여 감각적 충돌 강도를 조정할 예정.
In conclusion
Reference papers can be found below
https://dl.acm.org/doi/10.1145/3654777.3676439
If you have any questions, please contact me at the email address below.