[CHI 24 REVIEW] Exploring Mobile Devices as Haptic Interfaces for Mixed Reality

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Readers Who Want to Know More about the Paper (관련 분야 전문가를 위한 내용)

• Summary of Lessons Learned (교훈 정리)

let’s start.

Meta Information about the Paper

Stellmacher, C., Mathis, F., Weiss, Y., Loerakker, M. B., Wagener, N., & Schöning, J. (2024, May). Exploring Mobile Devices as Haptic Interfaces for Mixed Reality. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-17).

VIDEO:

https://dl.acm.org/doi/10.1145/3613904.3642176

Researcher's Affiliation Site

This study was a joint work. So I will specify the lead researcher.

PhD. Caroline Stellmacher

https://www.uni-bremen.de/dmlab/team/carolin-stellmacher

Research Interest

• Haptics

• Usable Data Privacy

PhD. Nadine Wagener

https://www.uni-bremen.de/en/dmlab/team/nadine-wagener

Research Interest

• self-care, mindfulness

Content for General Readers

motivation

Remote collaboration in distant location highlights the challenges of carrying separate controllers for mixed reality(MR). While an HMD’s integrated hand-tracking reduce the burden, lack of haptic feedback reduces immersion. Therefore, this paper provides insights for maintaining immersive haptic experiences without relying on separate controllers by using a mobile device or just hands.

한글 요약:

원격 협업에서 멀리 떨어진 위치에 있는 경우, 혼합 현실(MR)에서 별도의 컨트롤러를 휴대하는 것은 비실용적이라는 점이 부각됩니다. HMD의 통합 손 추적 기능은 부담을 줄여주지만, 촉각 피드백이 없으면 몰입감이 제한됩니다. 따라서 본 논문은 모바일 기기나 손만을 사용하여 별도의 컨트롤러 없이도 몰입감 있는 촉각 경험을 유지할 수 있는 통찰을 제공합니다.

contribution

Below are the researcher’s 3 questions:

• Introduced a set of user-defined exploration gestures, using either a mobile device or just hands in MR, that can extract particular haptic properties from virtual objects

• Outlined a thorough design space linking haptic attributes of virtual objects with user-defined gestures and the desired real-time haptic feedback

• Provided deep insights into how users modify their natural exploratory procedures for interacting with virtual objects in MR via gestures using mobile devices.

한글 요약:

• 사용자가 직접 정의한 탐색 제스처 세트를 도입하여, 혼합 현실 환경에서 모바일 기기나 손만을 사용해 가상 객체의 특정 촉각 특성을 추출할 수 있도록 했습니다.

• 가상 객체의 촉각 속성과 사용자가 정의한 제스처를 실시간 촉각 피드백과 연결하는 종합적인 설계 공간을 제시했습니다.

• 사용자가 모바일 기기를 활용한 제스처를 통해 MR에서 가상 객체와 상호작용할 때, 자연스러운 탐색 절차를 어떻게 수정하는지에 대한 심도 있는 통찰을 제공했습니다.

Content for Readers Who Want to Know More about the Paper

Study 1 online survey

Research: Participants were asked to rate 100 virtual objects based on their expectations regarding six haptic properties.

• Noteworthy finding:

  • The size ratings across objects and participants showed low variability, with an average SD of 0.09 (SD = 0.06). This suggests that participants rated the expected actual size of the object, rather than its size as displayed in the 2D representation, aligning with the study's goal.

Results: The study identified 12 objects that represented all six haptic properties (size, shape, texture, stiffness, temperature, weight) and included various characteristics (e.g., small or large size).

한글 요약:

참가자들은 100개의 가상 객체를 여섯 가지 촉각 속성에 따라 평가하였습니다. 크기 평가에서 평균 표준편차(SD)는 0.09로, 참가자들이 2D로 표시된 객체의 크기가 아닌 실제 예상 크기를 기준으로 평가했다는 것을 나타냅니다. 이 연구를 통해 크기, 모양, 질감, 강성, 온도, 무게 등 여섯 가지 촉각 속성을 포함한 12개의 객체가 선정되었습니다.

Study 2 Eliciting Gestures and Haptic Feedback

Research: Using the 12 objects selected from the online survey, participants interacted with them.

Results: The Grip + Move interaction was used for the highest number of minimum and maximum attribute variants, while Stroke was the most versatile, being applied to explore all six haptic attributes.

Additional Findings: Participants envisioned 11 distinct types of haptic feedback. Force feedback/resistance was considered the most versatile, associated with five attributes, followed by passive haptics via device features and surface deformation, both of which were linked to four attributes.

한글 요약:

Study1에서 선정된 12개의 객체가 참가자들에게 제시되었습니다. Grip + Move 방식은 가장 많은 속성 변형에 사용되었고, Stroke 방식은 여섯 가지 촉각 속성을 탐색하는 데 가장 다재다능하게 활용되었습니다. 참가자들은 11가지 서로 다른 유형의 촉각 피드백을 상상했으며, 그 중 힘 피드백/저항이 가장 다재다능하다고 평가되었습니다. 기기 기능을 통한 수동 촉각과 표면 변형도 각각 네 가지 속성과 관련이 있었습니다.

Detailed Points for take away

현재(24.09.23) 기준 본 논문을 인용한 논문 2건 중 1건 소개드립니다.

• Stellmacher, C., & Zenner, A. (2024). Beyond Hardware: Enhancing Haptic Design for Virtual Reality Through Perceptual Illusion Techniques.

  • motivation

    • VR 환경에서 시각 dominace로 전통적인 햅틱 피드백 기술의 한계 존재하기에 지각 착각 기술을 이용해 햅틱 경험을 향상시킬 수 있다

  • contribution

    • 가중감 감지 실험에서 triggermuscle 컨트롤러와 control-display 비율 조작 기술을 결합하여 더 다양한 가중감 감각을 제공

    • shifty 컨트롤러와 손 리다이렉션 기법을 결합하여 더 큰 무게 이동 효과를 달성

  • 결론

    • 물리적 햅틱 기술과 지각 착각 기술의 결합을 통해 햅틱 설계의 자유도를 높일 수 있고, 이를 위해서는 결합 기술에 대한 추가 연구와 모범 사례 가이드라인이 필요하다

  • reference reason

    • 모바일 기기를 햅틱 인터페이스로 활용하는 연구를 소개하여 햅틱 설계 확장의 가능성 제시

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com