[UIST 24 REVIEW] Can a Smartwatch Move Your Fingers? Compact and Practical Electrical Muscle Stimulation in a Smartwatch

글쓴이의 말) 이번 달에 UIST 24에서 발표된 논문입니다. 당분간은 UIST 24의 논문도 많이 다뤄 최신 HCI 소식을 공유하려고 합니다.

오늘은 팔에서 손목으로 옮겨감으로서 기존에 사용하던 스마트 워치의 접촉점을 벗어나지 않도록 하여 사용성을 개선하려는 연구입니다.

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Takahashi, A., Tanaka, Y., Tamhane, A., Shen, A., Teng, S. Y., & Lopes, P. (2024, October). Can a Smartwatch Move Your Fingers? Compact and Practical Electrical Muscle Stimulation in a Smartwatch. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (pp. 1-15).

Body as the interface session

Video:https://dl.acm.org/doi/10.1145/3654777.3676373

Researcher's Affiliation Site

Prof. Pedro Lopes

in University of Chicago, Chicago, Illinois, USA

https://lab.plopes.org/

• research interests

  • interactive devices that integrate directly with the user's body

Assist Prof. Akifumi Takahashi

in UTokyo

https://www.akiphvmi.com/

• research interests

  • haptic interfaces that modulate human haptic sensation, including touch and proprioception, by applying mechanical / electrical / electromagnetic stimulation to the skin / muscle / tendon.

Content for General Readers

motivation

• While smartwatches have gained popularity, they lack expressive haptic feedback due to the size limitations of actuators.

• Electrical muscle stimulation (EMS) can provide compact force feedback, but the traditional use of electrodes on the forearm limits its practicality.

• The authors propose moving all EMS electrodes to the wrist and integrating them into a smartwatch form factor to enhance practicality.

한글 요약:

• 스마트워치는 인기를 얻고 있지만, 크기 제한으로 인해 촉각 피드백 표현력이 부족함

• 전기 근육 자극(EMS)은 소형의 힘 피드백을 제공할 수 있으나, 팔뚝에 전극을 부착하는 방식은 실용성이 제한됨

• 모든 EMS 전극을 손목으로 이동시키고 스마트워치 형태에 통합하여 실용성을 개선하려는 제안

contribution

• A novel EMS technique that places all electrodes around the wrist, enabling integration into a smartwatch form factor

• Engineering of a compact EMS device that integrates into a smartwatch wristband, including stimulator, electrodes, and wireless communication

• Empirical studies showing:

  • The wrist-based EMS can actuate thumb extension, index extension/flexion, middle flexion, pinky flexion, and wrist flexion

  • Users can calibrate the wrist-EMS 50% faster than forearm-EMS

  • Improved social acceptability and practicality compared to forearm-EMS

• Demonstration of novel interactive applications enabled by the wrist-EMS form factor

• Extending existing EMS applications to be more practical for everyday use outside of lab settings

한글요약:

• 손목에 모든 전극을 배치하여 스마트워치 형태로 통합 가능한 새로운 EMS 기술 제안

• 자극기, 전극, 무선 통신을 포함한 컴팩트한 EMS 장치를 스마트워치 손목 밴드에 통합

• 손목 기반 EMS가 다양한 손가락 및 손목 움직임을 작동 가능함을 입증

• 팔뚝 EMS보다 50% 더 빠른 교정 속도 달성

• 팔뚝 EMS에 비해 향상된 사회적 수용성과 실용성 확인

• 손목 EMS를 통한 새로운 인터랙티브 애플리케이션 시연

• 실험실 외 일상 생활에서 사용할 수 있는 EMS 애플리케이션으로 확장

Content for Korean Readers Who Want to Know More about the Paper

Intro

• 서론: 스마트워치와 손목 착용 장치가 주요 웨어러블 기기로 자리잡았으며, 입력 기능[54,6]은 발전했으나 촉각(햅틱) 기술[31,16,51]은 그에 못 미침.

• 문제: 강한 힘을 발생시킬 수 있는 소형 햅틱 액추에이터가 부족[55,59]하여 스마트워치에서 손가락 작동 및 손목 피드백이 제한됨.

• 해결책: 전통적 기계적 액추에이터 대신 전기 근육 자극(EMS) 방식이 소형화 가능성을 제시함.[32]

• 기존 EMS 한계: 기존 EMS 시스템은 주로 팔뚝[19, 34, 35, 64]이나 손등[62]에 전극을 배치하므로 일상적으로 팔뚝에 전극을 착용하지 않는 사용자 입장에서는 불편함.

• 연구 목적: 오늘날 스마트워치를 착용하는 위치인 손목에 EMS 전극을 배치함으로써 사용자에게 더 실용적인 솔루션을 제시하고, 이 방식이 실험 참여자들이 손목 EMS를 팔뚝 EMS보다 더 빠르게 보정할 수 있음을 입증.

• 결과: 손목에 전극을 배치해 손가락과 손목의 다양한 동작을 가능하게 했으며, 사용자들이 공공장소에서도 사용하기에 더 편리하다고 평가.

• 결론: 이 접근 방식은 걷기 방향 안내, 드럼 보조, 운동 코칭 등 다양한 새로운 스마트워치 상호작용의 가능성을 열어줌.

Related work

• 웨어러블 햅틱스 연구 기반: 손목 착용 장치와 근육 자극 연구

• 손목 착용 장치의 입력/출력 표현력 확장:

  • 센서: 전용량 센서[2], 가속도계[4, 5, 70], IR 센서[14, 29, 47], 주변광 센서[15], 마이크[13] 등 다양한 작은 센서가 장치에 사용되며, 손목 기반 포즈 감지가 매우 인기를 끌고 있음.

  • 손목 기반 포즈 감지: 팔 내부의 전기적 특성[71, 72]이나 음향 간섭[17]을 감지하는 방법, 고주파 전자기 신호 생성기와 수신기를 사용한 물체 인식 및 손 포즈 인식[23]

• 출력 표현력의 제한: 손목 착용 장치는 시각, 소리, 진동에 제한되며, 소형화된 햅틱[12, 56, 68] 액추에이터가 도전 과제임.

  • 액추에이터 사례: 피부 당김[16], 열적 자극[49, 60], 압박[8, 51, 60], 전기 촉각 자극[48]

• 전기 촉각 자극 연구: 손목에서 전기 촉각 자극을 이용하여 촉각 감각을 유도한 연구[10,48,50]들이 존재하지만, 물리적인 힘을 피드백하는 것은 아님.

• 힘 피드백 구현의 어려움: 부피가 큰 기계적 액추에이터는 손목 착용 장치에 적합하지 않으며, 착시 기술[42, 44]은 손가락을 움직이는 데 한계가 있음.

  • 예시: 모터[55], 외골격[1, 55], 로봇 팔[40, 41], 공압식 장치[59])

    • 공통적 단점: 크기를 줄이면 출력되는 힘이 크게 감소

• EMS(electrical muscle stimulation)를 통한 소형화: EMS는 전기 자극을 통해 근육을 수축시켜 힘을 생성[21,37,38,61,62]하며, 이는 소형 장치에 적합한 기술로 각광[32]받고 있지만, 일상에서 실용적으로 사용하기에는 아직 어려움

  • EMS 사용의 과정: 전극 배치 → 전기 자극 → 근육 수축 확인 → 재조정 필요 시 반복.

  • 실용성 저해 요인:

    • 1) 수동 보정의 필요성[9, 25, 52,64]

      • 자동교정 연구- 근전도(EMG) [25], motion tracking[67]

    • 2) 여러 전극 위치 필요성[19, 21, 22, 24,25, 27, 36, 38, 52]

  • EMS 시스템을 팔[3, 19, 34, 35, 64]에 전극을 배치하는 것은 실용적이지 않기에, 최근 손등[62]에 전극을 배치하는 연구가 있지만 여전히 실용성 문제는 해결되지 않아 사회적 수용성[11]과 디자인 개선[24,57,58]이 필요함.

    • 기존 상용화 사례(기존 장치에 통합되지 못함): UnlimitedHand [63], Teslasuit [39]

Approach of this paper : All electrodes at the wrist

• 새로운 EMS 장치 제안: 모든 전극을 손목에 배치하여, 스마트워치와 통합된 EMS 장치 제안.

• 기존 접근법과의 차이점: 전통적인 EMS는 팔에 전극을 배치하지만, 제안된 방식은 손목에만 전극을 배치.

• 손목에서 접근 가능한 근육들: 검지 손가락 신전근(extensor indicis), 엄지 근육(extensor pollicis longus), 검지 근육(flexor digitorum superficialis), 손목 근육(flexor carpi ulnaris) 등이 손목에서 접근 가능.

• 전형적인 전극 배치의 문제점: 두 전극을 나란히 배치하는 전형적인 방식은 손목에서 신뢰할 수 없으며, 팔꿈치에 접지 전극이 필요[3, 69]하게 됨.

• 횡단 자극 방식의 장점:손목을 횡단(그림(c))하는 방식으로 전극을 배치하면 손가락 움직임을 더 넓게 유도하고, 전류 경로가 더 깊어져[18, 65] 팔 EMS의 결과를 잘 모방할 수 있음.

• 스마트워치와의 통합: 최종 전극 배치와 자극 전략 덕분에 EMS는 스마트워치에 쉽게 통합 가능.

Contributions, beneftis and limitations

• 새로운 자극 기술 및 형태: 스마트워치에 EMS를 통합하여 손목과 근육을 자극하는 새로운 기술 제시.

• 주요 장점 4가지:

  1. 손가락과 손목 EMS 자극을 위한 소형 장치.

  2. EMS 보정 시간이 50% 단축됨.

  3. 전극이 스마트워치 아래에 숨겨져 있어 사회적 수용성 향상.

  4. 스마트워치가 자세 인식과 조작을 모두 수행할 수 있음.

• 한계 4가지:

  1. 모든 손가락 자극 불가 (실용성 vs 촉각 정확성).

  2. 전기 자극으로 인한 찌릿한 느낌은 개선되지 않음[66].

  3. 손의 자세에 따라 자극 결과가 약간 달라질 수 있음.

  4. 자동 보정 기술이 통합되지 않음.[25, 67]

Integrating ems into a smartwatch

• EMS 스마트워치 통합:

  • 스마트워치 밴드에 EMS 통합. 5개의 모듈형 PCB 및 12개의 전극이 손목 밴드 뒤쪽에 방사형으로 배치됨.

• 스마트워치 호환 전극 배열 밴드:

  • 147-360mm의 둘레를 가진 3D 프린팅된 유연한 시계줄.

  • 전극 크기: 10mm × 30mm. 구리 테이프 및 전도성 젤로 구성된 전극 사용하여 편안함을 줌[53].

• EMS 신호 생성:

  • 최대 100V, 15mA의 신호 생성 가능.

  • 3.3V, 5V, 100V의 전원 공급 구조.

  • 상수 전압 및 상수 전류 자극 모드 제공.

• 제어 장치 및 통신:

  • BLE(Bluetooth low energy) 프로토콜을 사용한 마이크로컨트롤러(nRF52840)가 기능 제어 및 통신 담당.

• 채널 스위칭 (다중화 해제기):

  • 12개의 전극에 신호를 전송하기 위한 다중화 해제기 회로 구현.

  • 8비트 시프트 레지스터와 포토커플러를 통해 12개의 출력 채널을 제어.

Preliminary study: where do users wear their smartwatches?

• 연구 목표: 사람들이 스마트워치를 착용하기 가장 적합하다고 생각하는 팔의 위치를 확인하기 위한 예비 연구.

• 참여자: 11명 (여성 3명, 남성 8명, 평균 연령 24.8 ± 2.6세).

• 절차:

  • 스마트워치를 원하는 팔에 착용하게 하고, 착용자의 선호 위치를 측정.

  • 스마트워치를 5mm씩 움직이며, 각 위치에서 착용자의 수용 가능 여부를 확인.

  • 손 쪽과 몸 쪽의 수용 가능한 최대, 최소 위치를 확인.

• 결과:

  • 선호 위치: 평균 18.9 ± 6.7 mm.

  • 몸 쪽 최대 위치: 41.5 ± 6.5 mm.

  • 손 쪽 최소 위치: -1.5 ± 12.1 mm.

  • 손목시계를 느슨하게 착용하는 참여자들은 장치가 손 쪽으로 이동하는 것에 별로 신경 쓰지 않음.

USER STUDY 1: CAN A WATCH MOVE YOUR FINGERS?

• 참여자: 12명 (남성 6명, 여성 6명), 평균 연령 24.3 ± 4.2세.

• 장비: 12개의 전극 밴드와 의료용 전기 자극기 사용, 자극 주파수는 100Hz.

• 연구 조건: 손목 위치 3곳(20mm, 30mm, 40mm), 손 자세 4가지(위, 아래, 왼쪽, 오른쪽).

• 결과:

  • 2cm 위치에서는 신뢰할 만한 움직임 없음.

  • 3cm 위치에서 검지 폄, 손목 굽힘 움직임이 신뢰할 수 있는 수준.

  • 4cm 위치에서 여섯 가지 신뢰할 수 있는 움직임(엄지 및 검지의 폄, 검지 및 중지 굽힘, 새끼손가락 굽힘, 손목 굽힘).

• 결론: 손목 위치에서 최대 여섯 가지 신뢰할 수 있는 손가락 및 손목 움직임을 관찰했으며, 손목에서의 자극이 실용적인 응용 가능성을 확인.

USER STUDY 2: THE PRACTICALITY OF WRIST-EMS

손가락/손목의 움직임 유도를 위한 손목-EMS의 가능성을 확인한 후, 그 실용성을 평가하는 사용자 연구를 진행. 이 연구는 기관의 IRB 승인(IRB19-1949).

연구 설계

• 참가자: 23.3 ± 3.5세의 8명(여성 4명, 남성 4명)이 참여했으며, 각 참가자는 20달러를 받았습니다. 모두 왼팔에 시계를 착용했습니다.

• 인터페이스 조건: 두 가지 EMS 조건을 실험했음: 팔뚝-EMS(전통적인 방법)과 손목-EMS. 팔뚝-EMS는 전극 밴드가 2개, 손목-EMS는 1개를 사용.

• 장비: 인터페이스 차이는 전극 밴드 수만 다르고 나머지 설정은 동일. 참가자는 스마트워치 화면에서 EMS 채널을 조정.

• 과제 1: EMS를 스스로 보정하는 것. 참가자는 EMS 장치를 착용하고 실험자 도움 없이 손가락 움직임을 조정.

• 과제 2: 손목-EMS를 착용하고 공공장소(카페)에서 음료를 구매한 후 실험실로 복귀. 중간에 낯선 사람(실험자)이 등장해 악수와 대화를 유도.

• 인터뷰: 참가자들이 EMS 보정 및 착용 경험, 사회적 상황에서의 느낌에 대해 답변.

과제 1 결과: 보정 및 선호도

• 보정 시간: 손목-EMS는 평균 7.7분, 팔뚝-EMS는 평균 14.9분으로 손목-EMS가 약 50% 더 빠름.

• 장치 조정 횟수: 손목-EMS는 평균 0.75회, 팔뚝-EMS는 평균 2.1회로 손목-EMS가 적게 조정됨.

• 참가자 선호도: 모든 참가자가 보정 시 손목-EMS를 선호했음.

• 착용감: 손목-EMS 착용이 더 간단하고 편리하다는 의견 다수. 시계와 비슷한 착용감 덕분에 익숙하다고 표현한 참가자도 있었음. 팔뚝-EMS는 의료 기기처럼 느껴진다고 언급.

• 손목-EMS의 응용 프로그램 사용: 참가자들이 손목-EMS의 피드백을 직관적으로 이해함. 방향을 안내하는 시스템에서 손목-EMS가 실감 나는 경험을 제공.

과제 2 결과: 공공장소에서의 상호작용 및 사회적 수용성

• 행동 변화 없음: 손목-EMS 착용 시 참가자들은 사회적 상황에서 행동이 변화하지 않았으며, 시계를 착용한 것과 비슷하다고 느낌.

• 기기 착용에 대한 인식: 기기가 두꺼웠지만 불편하지 않다는 의견. 사람들에게 눈에 띄지 않았음.

• 낯선 사람 주변에서의 착용감: 참가자들은 기기를 낯선 사람 앞에서 착용해도 어색하지 않았다고 답변. 반면, 팔뚝-EMS는 눈에 띄고 어색할 것이라는 우려가 많았음.

연구 결론

참가자 피드백에 따르면 손목-EMS가 손가락 움직임을 유도하는 데 있어 팔뚝-EMS보다 더 실용적이었으며, 보정 시간이 빠르고 사회적 수용성도 더 높았음.

Applications

• Wrist-EMS를 통해 새로운 상호작용 애플리케이션 개발.

• 운동 중 더 표현력 있는 촉각 알림 제공.

• 눈을 사용하지 않고 GPS를 통한 길 안내 가능.

• 드럼 연주 시 촉각 피드백을 제공하여 리듬을 따르게 함.

• 스마트워치가 VR에서 힘 피드백 제공.[22,33,36]

• EMS를 통해 문[35]와 상호작용하여 사용자에게 방 상태 알림.

conclusions

• 기존 스마트워치에 강한 힘 피드백을 제공하는 액추에이터의 크기가 커서 실용성이 부족했는데, 전기 근육 자극(EMS)은 스마트워치에 적합한 컴팩트한 힘 피드백 방식 제공 가능.

• 기존 EMS 시스템은 팔에 많은 전극을 착용해야 하여 실용성이 떨어지는데, 모든 EMS 전극을 손목으로 옮겨 스마트워치 뒷면에 통합한 컴팩트한 EMS 장치를 제안.

• 연구 결과, 기존 EMS보다 약 50% 더 빠르게 장치를 보정할 수 있었으며, 사회적 수용성과 실용성 측면에서 장점이 있음.

• 새로운 스마트워치 기반 상호작용 응용 가능성을 열어줌 (예: 햅틱 안내, 자세 기반 정보 출력).

Future work

• 향후 연구에서는 자동 EMS 보정 기술[25,67]을 통합하여 실제 사용 준비를 향상하고, 자세가 동적으로 변해도 손가락을 움직일 수 있도록 목표.

  • 손목 EMS를 EMG 감지 기술과 통합하여 손가락 움직임을 감지할 수 있음을 실험[7,28,71]

  • EMS와 EMG 전환은 time-multiplexing 방식[45]으로 가능.

• 미래 연구에서는 장치 사용 경험, 사회적 상황에서의 EMS 힘 피드백, EMS의 촉각 사실성[22]과 긴급 상황에서의 알림 효과[26]를 평가할 계획.

In conclusion

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3654777.3676373

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com