[UIST 24 REVIEW] Wheeler: A Three-Wheeled Input Device for Usable, Efficient, and Versatile Non-Visual Interaction

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Islam, M. T., Sojib, N., Kabir, I., Amit, A. R., Amin, M. R., & Billah, S. M. (2024, October). Wheeler: A Three-Wheeled Input Device for Usable, Efficient, and Versatile Non-Visual Interaction. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (pp. 1-20).

Video: Null

Researcher's Affiliation Site

Ph.D. Student Md Touhidul Islam

• Pennsylvania State University

• research interest

  • Accessibility, Human-Computer Interaction, Computer Vision, Virtual Reality

https://ist.psu.edu/directory/mqi5127

PhD student Noushad Sojib

https://nsojib.github.io/

• Computer Science, University of New Hampshire

• research interest

  • making robot learn from lay users demonstrations

Assistant Prof. Syed Masum Billah

• Pennsylvania State University

https://a11y.ist.psu.edu/

• research interest

  • Custom input/output devices for diverse user needs

  • User interaction modeling and adaptive UI design

  • Multimodal interaction techniques:

    • Sensor fusion for unaided communication

    • Midair gestures in virtual and mixed reality (VR/MR)

    • Natural sound for information representation

    • Speech-based natural interaction with adaptive feedback and error correction

  • Operating System instrumentation to enhance accessibility support

  • Human-AI collaboration for improved accessibility solutions

  • Inclusive design for STEM education including programming, surveying, and experiential learning

Content for General Readers

motivation

• Blind users face significant accessibility challenges when navigating complex UI hierarchies in modern applications

• Users must listen to screen reader audio descriptions and press keyboard keys one at a time

• Current navigation methods are slow and tedious as users can only move to one neighboring element at a time

• Non-visual interaction can take up to 3x longer compared to visual interaction

한글 요약:

• 시각장애인들은 현대 애플리케이션의 복잡한 UI 계층 구조를 탐색하는 데 상당한 접근성 문제를 겪음.

• 사용자는 스크린 리더의 오디오 설명을 들어야 하며, 키보드 키를 한 번에 하나씩 눌러야 함. 현재 탐색 방식은 한 번에 하나의 인접 요소로만 이동할 수 있어 느리고 번거로움.

• 비시각적 상호작용은 시각적 상호작용보다 최대 3배 더 긴 시간이 걸릴 수 있음

contribution

• introduces Wheeler, a novel three-wheeled mouse-shaped stationary input device that:

  1. Enables blind users to independently navigate up to 3 hierarchical levels in an app using 3 wheels instead of just one level at a time with keyboard

  2. Offers versatility by allowing users to repurpose the wheels for other tasks like 2D cursor manipulation

  3. Reduces navigation time by 40% compared to using a keyboard based on study with 12 blind users

  4. Provides additional benefits shown through diary study:

     • Ability to access UI elements with partial metadata

     • Facilitates mixed-ability collaboration between blind and sighted users

     • Easy to learn and use

한글요약:

• Wheeler 설계: 시각장애인을 위한 세 개의 휠을 갖춘 입력 장치 Wheeler를 개발하여 기존의 키보드와 스크린 리더 기반 방식 이상의 비시각적 상호작용을 제공.

• 독립적 계층 탐색: 시각장애인 사용자가 키보드 대신 세 개의 바퀴를 사용해 앱의 최대 3개 계층 수준을 독립적으로 탐색할 수 있음

• 다용도 사용: 휠을 2D 커서 조작과 같은 다른 작업에 재활용할 수 있음.

• 탐색 시간 단축: 시각장애인 12명을 대상으로 한 연구에서, Wheeler 사용 시 키보드보다 탐색 시간이 40% 줄임.

• additional benefits (diary study결과):

  • 부분 메타데이터가 있는 UI 요소 접근 가능: 메타데이터가 불완전한 UI 요소에도 접근이 가능.

  • 혼합 능력 협업 지원: 시각장애인과 비장애인 간의 협업 용이

  • 쉽게 배우고 사용할 수 있음: 사용이 간편하고 학습 곡선이 낮음.

Content for Korean Readers Who Want to Know More about the Paper

Related work

Construction of Abstract UI Tree for Screen Readers

• UI 설계의 가정[29]: 일반적으로 사용자들이 지각적/인지적 장애가 없으며 일반적인 입력/출력 장치를 사용한다고 가정함.

• 다양한 요구 대응: 사용자의 다양한 요구는 종종 무시되거나, 수동 재설계 혹은 외부 보조 기술(assistive technologies, AT)로 대처됨.

  • 그러나 수동 재설계는 사용자가 다양하기 때문에 예측이 어렵고, 비용이 많이 들며 확장성도 떨어짐 [17]

• 화면 리더기 역할: 화면 리더기(NVDA [8], JAWS [7], VoiceOver [15] 등)는 운영 체제의 접근성 API를 사용해 UI 요소들의 계층적 메타 표현을 생성[60]함.

  • 추상 UI 트리: 이 DOM과 유사한 UI 트리는 시각적 요소를 보지 못하는 사용자에게 키보드 단축키를 통해 접근 가능하게 함.

    • 부정적 영향: UI가 청각적 방식으로 변환될 경우, 애플리케이션 접근성이 제한되고 작업 완료 시간이 증가할 수 있음. [31]

    • 실험 결과: 시각 장애 사용자가 온라인 양식을 작성하는 데 걸리는 시간이 시각 사용자의 약 3배가 됨. [18]

Pointing Devices for Interaction

• 포인팅 장치의 역사: 1960년대에 개념화[26, 27]되어 2D 화면의 UI와 상호작용하는 데 널리 사용됨.

  • 초기 마우스 동작 방식: 초기 모델은 두 개의 바퀴를 돌려 커서를 이동시켰으나, 이후 버튼이 추가된 광학 마우스[66, 58]가 등장.

    • 지금 남아있는 휠은 스클로링 용도[32]

• 평가 지표 1) 성능 : Fitts 법칙28]을 사용해 이하 성능 지표 측정

  • 이동 시간 : UI 객체 간 이동에 필요한 시간),

  • 오류율 : 특정 작업 중 발생한 실수 비율

  • 처리량 : 이동 시간과 정확도를 결합한 지표

  • 난이도 계산: Fitts 법칙에 따라 난이도는 소스와 목적지 간 거리와 대상의 너비에 의해 결정됨.

  • 추가 성능 지표: Mackenzie [46], [47]는 정적(직교 방향 변경, 이동 방향 변경) 및 동적(이동 가변성, 이동 오류) 지표를 제안하여 성능 비교를 보완.

• 평가 지표 2) 편안함 [22, 24, 25]: 포인팅 장치의 편안함은 신체적 노력, 피로도, 전반적 사용성 등으로 평가

→ 이 논문은

계단식 2D 움직임이 있는 2D 네비게이션 모드에서 정적 측정

클릭 편안함, 만족도, 그리고 전반적인 사용성의 세 가지 측면으로 평가

Adaptation of Pointing Devices for Non-Visual Interaction

• 기존 포인팅 장치의 한계: 마우스는 시각적 피드백[18]만 제공하기 때문에 시각 장애인들이 사용하기 어려움.

• 대체 피드백 연구: 시각적 피드백을 2D 변위력, 진동, 피부 신장, 열 피드백 등으로 대체하여 커서 아래 객체에 대한 정보를 전달[40, 75]하려는 시도.

  • 소형 촉각 디스플레이 문제: 마우스에 부착된 소형 촉각 디스플레이는 크기 제약으로 인해 해상도가 낮음.

  • 팽창형 마우스 설계: Kim[37] 등은 손의 압력을 감지하는 공기 주머니를 사용하는 팽창형 마우스를 개발했으나, 고정밀 작업 시 피로감 유발.

• 촉각 피드백 연구[10, 38, 39, 56, 57, 62, 69–71, 74, 76]: 점자 디스플레이, 청각 피드백, 촉각 핀 배열 등의 다양한 촉각 피드백 연구가 진행됨.

  • 시각 장애인을 위한 적절한 촉각 감각 설계 가이드를 제안[38]

  • 장갑형 장치: Soviak 등은 UI 요소 경계를 전달하는 장갑 형태의 오디오-촉각 피드백 장치[69–71]를 연구.

→ 이 논문은

Wheeler는 촉각 피드백을 통해 사용자 행동을 안내하고 UI 경계를 알림

Rotary Input for Interaction

• 다른 연구는 UI 요소를 1D 원형 목록으로 변환: 2D 화면의 UI 요소를 1D 원형 목록으로 변환하고, 다이얼이나 휠 같은 회전 장치를 사용하여 빠르게 탐색.[18, 41, 42]

• 회전 입력의 효율성: 회전 입력은 일차원적 특성 덕분에 시각 장애인들이 마우스 휠을 사용해 스크롤로 목록을 탐색할 때 더 효율적임. [32]

  • Lee 등의 연구: Lee [43]등은 시각 사용자를 위해 물리적 휠 양쪽에 가상 휠을 배치하여 다중 휠 시스템을 설계함.

  • 실험 결과: 다중 휠을 사용하면 특정 작업(예: 볼륨 조절)을 단일 휠보다 최대 두 배 빠르게 수행할 수 있었으며, 반복 작업을 통해 사용자들의 숙련도가 향상됨.

→ 이 논문은

Wheeler를 다중 휠로 설계

Accommodations for Mouse and Virtual Cursors

• 운영 체제의 마우스 조정 기능: Windows는 '마우스 키' 기능을 통해 Num 키s [4]로 커서를 이동할 수 있고, MacOS는 트랙패드s [3]로 VoiceOver 화면 읽기 프로그램[13]을 제어.

• 사용성 문제: 시각 장애가 있는 참가자들은 이러한 조정 기능을 잘 사용하지 않음.

• 화면 읽기 프로그램의 커서 종류: JAWS[7]는 PC 커서, JAWS 커서, 가상 PC 커서의 세 가지 커서를 제공하며, NVDA[54]는 유사한 커서를 지원.

• 텍스트 보고 기능: 화면 읽기 프로그램은 커서를 이동할 때, 마우스 아래의 텍스트를 보고하도록 설정할 수 있음[53].

→ 이 논문은

다양한 애플리케이션과 작업에서 여러 개의 커서가 유용하다기에 Wheeler 디자인에 이를 반영.

sum up the contents of paper

1. 논문 개요

   • 제목: Wheeler - 시각장애인을 위한 3개의 휠이 달린 입력 장치

   • 주요 내용: 시각장애인의 컴퓨터 인터페이스 사용성을 높이기 위한 새로운 입력장치 제안

2. Wheeler의 주요 특징

   • 3개의 회전 휠과 2개의 버튼으로 구성

   • 두 가지 주요 모드 지원:

   • H-nav 모드: 계층적 메뉴 탐색용

   • 2d-nav 모드: 2차원 커서 조작용

3. 주요 연구 결과

   • 계층적 메뉴 탐색 시 키보드 대비 40% 빠른 속도

   • 12명의 시각장애인 대상 사용성 평가 진행

   • 공간 탐색 및 혼합 능력 협업 가능성 확인

4. 기술적 구현

   • 아두이노 기반 제어

   • 3D 프린팅으로 제작

   • 오픈소스 공개 예정

5. 기대 효과

   • 시각장애인의 컴퓨터 사용성 향상

   • 업무 생산성 증가

   • 혼합 능력 협업 가능성 제시

6. 한계점과 향후 연구

   • 하드웨어 디자인 개선 필요

   • 장기 사용에 따른 효과 검증 필요

   • 다양한 환경에서의 적용성 검토 필요

In conclusion

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3654777.3676396

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com