[CHI 24 REVIEW] Designing Unobtrusive Modulated Electrotactile Feedback on Fingertip Edge to Assist Blind and Low Vision (BLV) People in Comprehending Charts

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Jiang, C., Fan, Y., Xie, J., Kuang, E., Zhang, K., & Fan, M. (2024, May). Designing Unobtrusive Modulated Electrotactile Feedback on Fingertip Edge to Assist Blind and Low Vision (BLV) People in Comprehending Charts. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-20).

Video:https://dl.acm.org/doi/full/10.1145/3613904.3642546

Researcher's Affiliation Site

Ph.D Mingming Fan

Computational Media and Arts (CMA) and Internet of Things (IOT) Thrusts at The Hong Kong University of Science

research area

Human-Computer InteractionHuman-AI CollaborationAssistive TechnologyVR/AR/MRAccessibility

Famous paper :

Lu, Z., Annett, M., Fan, M., & Wigdor, D. (2019, May). " I feel it is my responsibility to stream" Streaming and Engaging with Intangible Cultural Heritage through Livestreaming. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1-14).

Content for General Readers

motivation

• Charts and graphs are essential for education, work, and daily life but are often inaccessible to BLV individuals without assistive technology.

• Limitations of existing assistive tools:

  • Bulky and expensive.

  • Only compatible with specific chart types.

  • Provide static information, not dynamic or updated data.

  • Can interfere with other tasks (e.g., using phones or computers).

한글 요약:

• 차트와 그래프는 교육, 직장, 일상에서 정보를 전달하는 데 필수적이나, 시각장애인(BLV)에게는 보조 기술 없이는 접근하기 어려움.

• 기존 보조 도구의 한계:

  • 크고 비쌈.

  • 특정 차트 유형에만 작동.

  • 동적/업데이트 정보 제공 불가.

  • 휴대폰이나 컴퓨터 사용과 같은 다른 작업에 방해가

contribution

• Developed an innovative, unobtrusive device:

  • Provides tactile feedback via electrical stimulation on fingertip edges.

  • Lightweight, portable, and supports multitasking.

  • Compatible with multiple chart types (line charts, scatter plots, bar charts, pie charts).

  • Costs under $50 to produce.

• Demonstrated through studies with BLV participants:

  • High accuracy in position and direction recognition.

  • Effective assistance for comprehending various chart types.

  • Operates with lower voltage and smaller electrodes than previous systems.

  • Facilitates natural chart exploration with tactile feedback and audio descriptions.

• Identified optimal parameters and modes for tactile feedback to help BLV users effectively understand charts.

한글요약:

• 혁신적이고 간섭이 적은 장치 개발:

  • 손가락 끝 가장자리에 전기 자극을 전달하여 촉각 피드백 제공.

  • 가볍고 휴대 가능하며 멀티태스킹 지원.

  • 다양한 차트 유형(선형 차트, 산점도, 막대 차트, 원형 차트)에 호환.

  • 생산 비용이 50달러 미만.

• BLV 참가자 연구를 통해 입증:

  • 위치와 방향 인식에서 높은 정확도 달성.

  • 다양한 차트 유형 이해를 효과적으로 지원.

  • 이전 시스템보다 낮은 전압과 작은 전극으로 작동.

  • 촉각 피드백과 오디오 설명을 통해 차트를 자연스럽게 탐색 가능.

• BLV 사용자가 차트를 효과적으로 이해할 수 있도록 최적의 매개변수와 작동 모드 확인.

Content for Korean Readers Who Want to Know More about the Paper

Research Background

• Visual information is crucial in various domains, including education, workplaces, navigation, and daily activities, but presents significant barriers for blind and low-vision (BLV) individuals.

• Approximately 2.2 billion people worldwide are visually impaired and face challenges accessing common chart types such as line charts, scatter plots, bar charts, and pie charts.

• Existing haptic assistive tools are often limited to specific chart types, rely on bulky and expensive machinery, or provide static charts lacking real-time updates.

• Prior research on electrotactile feedback has mainly focused on fingertip pads or the back of fingers, which interferes with BLV users' interactions with devices like smartphones, door locks, or computers in daily life.

• This study introduces a novel approach that applies electrotactile stimulation to the fingertip edges, enabling BLV users to interact with their surroundings while interpreting charts.

한글:

연구 배경

• 시각 정보는 다양한 분야에서 중요하지만, BLV(시각장애인과 저시력자)에게는 장벽이 됨.

• 전 세계적으로 약 22억 명이 시각 장애를 겪으며, 차트(선 그래프, 산점도 등) 접근에 어려움을 겪음.

• 기존 햅틱 도구는 특정 차트 유형에만 제한되거나 부피가 크고 비싸며 정적인 차트를 제공함.

• 기존 전기 촉각 피드백은 손가락 끝 패드나 뒷면에 초점, 일상 상호작용에 방해가 됨.

• 본 연구는 손가락 끝 가장자리에 전기 촉각을 적용하여 BLV 사용자가 차트를 해석하면서 주변과 상호작용할 수 있도록 함.

Problem Statement

• Current haptic assistive tools have limited functionality in helping BLV individuals understand various chart types and are often constrained by bulky designs, high costs, and static data representations.

• Electrotactile feedback systems targeting fingertip pads or backs of fingers disrupt BLV users’ daily interactions.

• This research aims to develop a lightweight, flexible, and non-invasive tactile device to assist BLV users in understanding diverse chart types (e.g., line charts, scatter plots, bar charts, pie charts) without interfering with daily life.

한글:

문제

• 현재 햅틱 도구는 BLV 사용자가 차트 이해에 제한적임.

• 장치가 부피가 크고 비싸며, 정적인 데이터 표현만 제공함.

• 기존 전기 촉각 피드백은 일상 상호작용에 방해가 됨.

• 본 연구는 가볍고 유연하며 비침습적인 촉각 장치를 개발해 BLV 사용자의 차트 이해를 돕고자 함.

Research Methods

• Developed a new system delivering electrotactile stimulation to the fingertip edges, using 2-channel modulated signals to elicit tactile sensations and assist chart comprehension.

• Divided the study into three parts:

  1. Study 1: Assessed location recognition on fingertip edges to determine optimal stimulation durations.

  2. Study 2: Evaluated direction recognition performance to identify optimal stimulation intervals.

  3. Study 3: Tested the device's ability to aid understanding of common chart types and evaluated three presentation modes (chart guidance, exploration, and summary).

• Conducted experiments with 12 BLV participants to evaluate the device's efficacy and usability.

• Used MobileNet for chart type classification, YOLOv5 and EasyOCR for chart component identification and data extraction, and Canny edge detection for marker recognition.

한글:

실험 방법

• 손가락 끝 가장자리에 전기 촉각 자극 전달하는 시스템 개발.

• 2채널 변조 신호로 촉각 감각을 유도하고 차트 이해 지원.

• 12명의 BLV 참가자 대상 실험 진행.

실험 구성:

1. 연구 1: 손가락 끝 가장자리 위치 인식 및 최적 자극 지속 시간 결정.

2. 연구 2: 방향 인식 성능 평가 및 최적 자극 간격 식별.

3. 연구 3: 장치가 차트 이해에 미치는 영향 및 프레젠테이션 모드 평가.

기술 활용:

• MobileNet: 차트 유형 분류.

• YOLOv5 + EasyOCR: 차트 구성 요소 식별 및 데이터 추출.

• Canny 엣지 감지: 마커 인식.

Research Procedure

• Study 1: Delivered tactile stimulation to 10 positions on fingertip edges using different durations (0.1s, 0.5s, 1s, 1.5s, 2s) and measured location recognition accuracy.

• Study 2: Provided sequential tactile stimuli in four directions with varied intervals (0%, 25%, 50%, 75%, 100%) and assessed directional recognition through participants' drawn responses.

• Study 3: Evaluated participants' ability to comprehend line charts, scatter plots, bar charts, and pie charts using the developed device and analyzed task performance across three presentation modes.

• All experiments involved preparing participants' fingers with conductive gel, attaching the device, and completing assigned tasks.

한글:

연구 절차

• 연구 1:
  손가락 끝 가장자리의 10개 위치에 대해 다양한 지속 시간(0.1초, 0.5초, 1초, 1.5초, 2초)으로 촉각 자극을 전달하고, 위치 인식 정확도를 측정함.

• 연구 2:
  네 가지 방향으로 순차적 촉각 자극을 제공하며, 자극 간 간격(0%, 25%, 50%, 75%, 100%)을 달리하여 참가자가 그린 반응을 통해 방향 인식을 평가함.

• 연구 3:
  개발된 장치를 사용하여 참가자들이 선형 차트, 산점도, 막대 차트, 원형 차트를 이해하는 능력을 평가하고, 세 가지 제시 모드에서의 과제 수행 성과를 분석함.

• 공통 절차:
  모든 실험에서 참가자의 손가락을 전도성 젤로 준비하고 장치를 부착한 후, 할당된 과제를 수행하도록 함.

Objectives of Each Experiment

1. Study 1 (Location Recognition): Identify the optimal stimulation duration for accurate tactile location recognition on fingertip edges.

2. Study 2 (Direction Recognition): Determine the ideal stimulation interval for accurate directional recognition using sequential tactile stimuli.

3. Study 3 (Chart Understanding): Evaluate the effectiveness of the tactile device in enabling BLV participants to comprehend common chart types across different presentation modes.

한글:

실험 목표

• 연구 1 (위치 인식): 손가락 끝 가장자리에서 정확한 촉각 위치 인식을 위한 최적의 자극 지속 시간 확인함.

• 연구 2 (방향 인식): 순차적 촉각 자극을 활용해 정확한 방향 인식을 위한 이상적인 자극 간격 규명함.

• 연구 3 (차트 이해): 촉각 장치를 활용해 시각장애인이 다양한 차트 유형을 이해하는 데 효과적인 방식을 평가함.

Experimental Procedures

• Study 1:

  • Introduced the device, cleaned participants’ fingers, and applied conductive gel.

  • Attached the device to fingers, adjusted voltage for consistent perception strength, and delivered random stimulation sequences.

  • Participants reported perceived locations.

• Study 2:

  • Delivered paired stimuli in various directions, adjusted based on Study 1 results.

  • Tracked participants' hand movements and evaluated perceived directions.

• Study 3:

  • Trained participants on the device's features before testing.

  • Conducted cross-balanced tasks with 11 device functions and collected feedback via NASA-TLX questionnaires and interviews.

한글:

실험 절차

• 연구 1:

  • 장치 소개 후 참가자의 손가락 세척 및 전도성 젤 도포.

  • 장치를 손가락에 부착, 전압 조정 후 랜덤 자극 시퀀스 제공.

  • 참가자가 인식한 위치를 보고함.

• 연구 2:

  • 연구 1 결과를 기반으로 다양한 방향으로 자극 제공.

  • 참가자의 손 움직임 추적 후 인식한 방향 평가.

• 연구 3:

  • 실험 전 장치 기능에 대한 교육 진행.

  • 11가지 장치 기능을 포함한 교차 균형 작업 수행 및 NASA-TLX 설문과 인터뷰를 통해 피드백 수집.

Analysis Methods

• Study 1: Calculated location recognition accuracy for each stimulation duration and position.

• Study 2: Measured angular errors between perceived and actual directions.

• Study 3: Analyzed task completion count (TCC), trajectory deviations, verbal reports, chart reproductions, and feedback from NASA-TLX questionnaires and interviews.

한글:

분석 방법

• 연구 1: 자극 지속 시간 및 위치별 위치 인식 정확도 계산함.

• 연구 2: 실제 방향과 인식 방향 간 각도 오차 측정함.

• 연구 3: 작업 완료 횟수, 경로 편차, 언어 보고, 차트 재현, NASA-TLX 설문 및 인터뷰 피드백 분석함

Statistical Methods

• Descriptive statistics were used to analyze location and direction recognition accuracy, angular errors, and task completion rates.

한글:

기술 통계를 활용해 위치 및 방향 인식 정확도, 각도 오차, 작업 완료율 분석

Research Results

• Study 1: Optimal location recognition (0.789 accuracy) was achieved at 0.5s stimulation duration, using lower voltages (23V) and smaller electrodes (3.14mm²).

• Study 2: Best direction recognition (mean angular error: 7.975°) occurred at 25% (0.12s) stimulation interval, with lowest errors in horizontal and vertical directions.

• Study 3: Participants successfully reproduced charts with minimal trajectory deviations (0.21cm) and reported reduced effort and time for chart comprehension using chart guidance and exploration modes.

한글:

연구 결과

• 연구 1: 0.5초 자극 지속 시간에서 최적의 위치 인식 정확도(0.789) 확인, 23V 전압과 3.14mm² 전극 사용.

• 연구 2: 25% 자극 간격(0.12초)에서 최저 각도 오차(평균 7.975°) 발생, 수평 및 수직 방향에서 가장 낮은 오차 확인.

• 연구 3: 차트 재현 시 최소 경로 편차(0.21cm) 확인, 차트 가이드 및 탐색 모드로 이해 시간과 노력 감소 보고함.

Conclusion

• The proposed electrotactile system effectively aids BLV users in understanding common chart types while maintaining interaction with their surroundings.

• Achieved high location and direction recognition accuracy using smaller, less intrusive devices.

• The combination of trajectory guidance and free exploration enhances chart comprehension.

한글:

결론

• 제안된 전기 촉각 시스템이 시각장애인의 차트 이해를 효과적으로 지원함.

• 작은 크기와 덜 방해되는 장치로 높은 위치 및 방향 인식 정확도 달성함.

• 경로 안내와 자유 탐색의 조합이 차트 이해도를 향상시킴.

Limitations

• Limited participant pool (12 BLV individuals) without detailed categorization of visual conditions or prior chart experience.

• Device size and rigidity hinder portability and adhesion, requiring conductive gel and tape for use.

한글:

한계

• 참가자 수가 12명으로 제한적이며, 시각 조건이나 차트 경험에 대한 세부 분류 부족함.

• 장치의 크기와 강성으로 인해 휴대성과 접착력에 제한이 있으며, 전도성 젤과 테이프 필요함.

Future Research Directions

• Investigate the impact of visual conditions and chart experience on device usability.

• Improve device flexibility and comfort using advanced materials (e.g., ultra-thin interconnects, soft electrodes).

• Integrate compact wearable control systems via 3D printing for personalized fits.

• Explore applications in other areas, such as image interpretation, navigation, obstacle avoidance, map reading, touchscreen augmentation, and human-vehicle interactions.

한글:

향후 연구 방향

• 시각 조건과 차트 경험이 장치 사용성에 미치는 영향 연구 필요함.

• 초박형 인터커넥트와 부드러운 전극 같은 고급 소재로 장치 유연성과 편안함 개선함.

• 3D 프린팅을 통해 개인 맞춤형 소형 제어 시스템 통합 가능성 탐구함.

• 이미지 해석, 내비게이션, 장애물 회피, 지도 읽기, 터치스크린 보강, 인간-차량 상호작용 등 다른 분야로 응용 가능성 모색함.

In conclusion

Reference papers can be found below

https://dl.acm.org/doi/full/10.1145/3613904.3642546

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com