[CHI 24 REVIEW] Big or Small, It’s All in Your Head: Visuo-Haptic Illusion of Size-Change Using Finger-Repositioning

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Readers Who Want to Know More about the Paper (관련 분야 전문가를 위한 내용)

• Summary of Lessons Learned (교훈 정리)

let’s start.

1. Meta Information about the Paper

Kim, M. J., Ofek, E., Pahud, M., Sinclair, M. J., & Bianchi, A. (2024, May). Big or Small, It’s All in Your Head: Visuo-Haptic Illusion of Size-Change Using Finger-Repositioning. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-15).

VIDEO:

https://dl.acm.org/doi/10.1145/3613904.3642254

2. Researcher's Affiliation Site

Prof. Andrea Blanchi

https://make.kaist.ac.kr/andrea

3. Content for General Readers

motivation

This research focues on interacting with objects in virtual reality(VR). In everyday life, we grasp a variety of objects, and in VR scenarios like games, users may encounter situations where the size of an object dynamically changes.
In such cases, the ability to convey these dynamic size changes becomes crucial. Existing methods primarily fall into two categories:

1) devices that directly simulate changes in the object’s size

2) wearable equipment

The first approach faces challenges in dealing with the user’s gripping force, while the second, passive wearables, struggle to convey dynamic size changes. Active wearables, on the other hand, tend to bulky and consume a significant amount of power.

This paper explores an alternative approach, investigating the potential of using finger-repositioning to provide haptic cues that convey change in size

한글 요약

이 연구는 가상 현실(VR)에서 물건을 잡고 느끼는 방법에 대해 다룬다. 우리는 일상에서 여러 가지 물건을 잡지만, VR 게임에서는 물건의 크기가 변하는 경우가 있다. 이런 상황에서 크기 변화를 손으로 느끼게 하는 것이 중요하다. 기존의 방법은 두 가지로: 1) 물건의 크기 변화를 그대로 보여주는 기계, 2) 손에 착용하는 장치. 첫 번째 방법은 물건을 잡는 힘을 다루기가 어렵고, 두 번째 방법은 작동이 느리거나 장치가 무겁고 전기를 많이 사용한다. 이 논문은 앞선 방식과 달리 손가락을 움직여 물건의 크기 변화를 느낄 수 있는 방법을 제시한다.

contribution

Below are the researcher’s 3 contributions:

• A new method for simulating size changes in virtual objects by utilizing visuo-haptic illusions and coordinated finger movements

• Creation and setup of a controller that adjusts finger positioning while maintaining a fixed size

• Conduct user studies to assess how well this method conveys different sizes, first using a static visual context without any size changes, and then with a dynamic visual context where size shifts occur

한글 요약:

• 가상 물체의 크기가 변하는 것처럼 보이게 하기 위해, 시각과 촉각 착각을 사용하고 손가락 움직임을 조정하는 새로운 방법.

• 손가락 위치를 조정하면서도 물체의 크기는 고정된 상태로 유지하는 컨트롤러의 만들기와 설치 방법을 설명.

• 이 방법이 크기를 잘 표현하는지 알아보기 위한 실험. 먼저 물체 크기가 변하지 않는 화면에서 실험을 하고, 그 다음에 크기가 변하는 화면에서 실험을 함.

4. Content for Readers Who Want to Know More about the Paper

Technical Evaluation of Device

1.Torque Measurement by Current

2.The rise time to reach 90% of the target speed (5421 QPPS) is 277.1 m

한글 요약

1. 전류에 따른 토크를 측정했다.

2. 목표 속도의 90%(5421 QPPS)에 도달하는 데 걸리는 상승 시간은 277.1ms이다.

User Study 1

To check wheter people Perceive Size when Fingers are Repositioned without visual clue.

Experimental Design Points:

• Participants’ fingers were repositioned before presenting the virtual object and requesting a size judgment.

• A one-up-one-down double-random adaptive staircase method was employed.

• Participants were told they would use a "device capable of expressing different sizes," but this device was kept hidden until the study's conclusion.

• Neodymium magnets were attached to each fingertip, excluding the thumb.

• The device was calibrated before each study to ensure that all fingers completely wrapped around it.

• Participants practiced the procedure with a randomly ordered sequence of trials before starting the actual study. Consistent with previous studies [41, 46], no virtual hand was shown during the trials.

Results:

• Regardless of the sequence used for finger repositioning, participants consistently perceived the device to be about 40% larger than its actual size.

• Therefore, visual feedback is necessary to correct this perception.

User Study 2

To investigate the pseudohaptic effect, conduct study 2.

Experimental Design Points:

• visual feedback(3 stages) with finger reposition

• In contrast to Study 1, a mental reference point was provided by displaying an animated hand once during the introduction of the study.

Summary of Results :

The combination of finger-repositioning sequences classified as wrapped, mid-wrap, and unwrapped had little impact on the sense of realism and the congruence between visual and haptic feedback.

한글 요약:
실험1의 설계 방식)

시각적인 효과가 크기에 영향을 미치는 것을 배제하기 위해 먼저 손가락 재배치 후 크기 판단을 요청했고, (staircase method) 방법을 사용했다.

이때, “다양한 크기를 표현하는 장치”를 사용할 것이라고 피험자에게 공지했으며, 실제 모습은 숨겼다. 실험을 위해 엄지 손가락을 제외한 각 손가락에 네오디움 자석을 부착했고, 완전히 장치를 감싼 것을 기준으로 실험 전에 보정을 진행했다.

실험1의 결과)

손가락 재배치의 순서와 관계 없이 피험자들은 장치가 실제 크기보다 40% 더 크게 인식했으며, 크기 변화는 인식하지 못했기에 pseudohaptic effect를 확인하고자 실험 2 를 진행했다.

실험2의 설계방식)

손가락 재배치 순서(감싸기, 중간 감싸기, 안 감싸기)의 조합을 시각적 피드백과 함께 제공했고, 실험 1과 다른 점은 초반에 애니메이션을 위한 손을 보여주고 이후 보이지 않게 했다.

실험 2의 결과)
손가락 재배치 순서(감싸기, 중간 감싸기, 안 감싸기)의 조합이 현실감과 시각-촉각 일치감에 거의 영향을 미치지 않았다.

Detailed Points for take away

위 실험에서 크기는 피험자가 컨트롤러를 이용해 자신이 느낀 가상 물체의 크기를 직접 조정하도록 했다. 이를 통해 인지된 크기의 변화를 도출했는데, User study 2의 결과에서 대체로 실제 크기보다 크게 인지했다고 하며, 이에 대해 저자는 변화 속도, 변화 중 멈춤, 참조 물체의 개수 등이 영향을 미친 것으로 추정했다.

5. Summary of Lessons Learned

• cognitive idea

  • smaller → less surface in contact with the skin

  • bigger → fingertips are pushed back and as the fingers extend backwards

• Nevertheless…

  • visual effect is dominant in pseudohaptic effect

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com