[CHI 24 REVIEW] Your Escape Route with a Seamless Mixed Reality Interface

Have you ever heard notion of calm technology[1] or ambient displays[2] ?

When using a VR device, information appears in a floating 2D format like this. If only one screen is used, it would be similar to a monitor, but imagine these displays floating around in daily life – it would feel cluttered. Therefore, this paper proposes an MR interface that projects this information onto objects around us, transforming it into ambient media.

한글요약:

Calm technology나 ambient displays라는 개념에 대해 들어본 적이 있나?

VR 기기를 사용하면 정보가 이렇게 떠 있는 2D 형식(Fig1)으로 나타난다. 만약 하나의 화면만 사용한다면 모니터와 비슷하겠지만, 이러한 화면들이 일상생활에서 떠 있다고 상상해보면 상당히 혼란스럽다. 따라서 오늘 정리할 논문에서는 이러한 정보를 주변 물체에 전사하여 주변 환경에 자연스럽게 녹아드는 미디어로 활용하는 MR 인터페이스(Fig2)를 제안한다.

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Readers Who Want to Know More about the Paper (관련 분야 전문가를 위한 내용)

• Summary of Lessons Learned (교훈 정리)

let’s start.

Meta Information about the Paper

Han, V. Y., Cho, H., Maeda, K., Ion, A., & Lindlbauer, D. (2023). BlendMR: A Computational Method to Create Ambient Mixed Reality Interfaces. Proceedings of the ACM on Human-Computer Interaction, 7(ISS), 217-241.

Video:

https://dl.acm.org/doi/10.1145/3626472

Researcher's Affiliation Site

Prof. Alexandra Ion

https://interactive-structures.org/

Content for General Readers

motivation

same as the introduction

한글 요약:

서론과 같다

contribution

1. A computational method that transfers information from 2D applications onto real-world 3D objects, creating cohesive ambient information displays, termed BlendMR.

2. A user study (N = 16) that demonstrates BlendMR reduces visual clutter and distractions, with users showing a preference for it over conventional 2D MR interfaces.

3. A collection of findings and application examples showcasing the adaptability of this approach for future MR interface designs.

한글요약:

• 2D 애플리케이션의 정보를 실제 3D 객체로 전송하여 통합된 주변 정보 디스플레이를 생성하는 컴퓨팅 기법인 BlendMR를 만들었다.

• 사용자 연구(N = 16)를 통해 BlendMR이 시각적 혼란과 방해 요소를 줄이며, 전통적인 2D MR 인터페이스에 비해 선호된다는 것을 입증했다.

• 이 접근법의 미래 MR 인터페이스 디자인에 대한 적응성을 보여주는 연구 결과와 응용 시나리오 모음을 보였다.

Content for Readers Who Want to Know More about the Paper

Experimental Conditions

Implementation

• BlendMR maps textures onto existing physical objects by using annotated 2D applications and scanned 3D meshes of those objects.

• It is designed to function as a peripheral display, providing glanceable information and serving as an access point to full applications.

• Information on BlendMR interfaces avoids overlap, follows established information hierarchies, and is grouped accordingly, based on one of the authors labeling 70 interfaces.

한글요약:

• BlendMR은 주석이 달린 2D 애플리케이션과 기존 물체의 스캔된 3D 메시를 입력으로 하여 물리적 객체에 텍스처를 매핑한다.

• 이는 주변 디스플레이로 설계되어 간단히 볼 수 있는 정보를 제공하며, 전체 애플리케이션에 접근할 수 있는 접점 역할을 한다.

• BlendMR 인터페이스의 정보는 중복을 피하고, 수립된 정보 계층 구조를 따르며, 저자 중 한 명이 70개의 인터페이스를 라벨링한 결과에 기반해 그룹화되어 있다.

Measurements

• Measure the time taken to complete the question-answering task.

• Error rate recorded manually by the experimenter.

• Post-condition questionnaire based on the System Usability Scale (SUS).

• Semi-structured post-study interview to explore reasoning and subjective experiences.

• Subjective ratings for preference, ease of use, clutter, and distraction.

한글 요약:

• 질문-응답 작업을 완료하는 데 걸린 시간 측정.

• 오류율은 실험자가 수동으로 기록.

• 시스템 사용성 척도(SUS)를 기반으로 한 사후 조건 설문지.

• 연구 후 반구조화된 인터뷰를 통해 이유와 주관적인 경험을 확장.

• 선호도, 사용 용이성, 혼잡도, 방해 요소에 대한 주관적 평가.

Study design

The study used a within-subject design with two independent variables: display mode (baseline, BlendMR) and environment (living room, work station). This resulted in four total conditions. The order of environments and display modes within each environment was counterbalanced using a Latin square design.

• The baseline refers to presenting information as 2D displays, as shown in Figure 1.

한글요약: 디스플레이 모드(기본, BlendMR)와 환경(거실, 작업 공간) 을 변수로 4가지 조건으로 스터디를 구성했다. 환경과 환경 내 디스플레이 모드의 순서는 라틴 스퀘어를 사용하여 정했다.

• 여기서 기본모드는 figure1처럼 2D 정보로 제시하는 경우이다

Limitation

• Currently, BlendMR requires users to manually select which applications to map onto physical objects. There is a need for methods to automatically infer the semantic connection between physical objects and virtual content.

• BlendMR has only been tested with simple geometric physical objects. Additional validation is needed for objects with complex shapes, materials, and sizes.

• BlendMR primarily focuses on information display. Further exploration and evaluation are needed regarding how users interact with the blended interface.

• Long-term usability assessments have not yet been conducted to determine how user experience may evolve with extended use and the effectiveness of BlendMR as an ambient information display.

• BlendMR mainly addresses information display applications, so consideration and exploration are needed for different application types, such as games, productivity, and creative tools.

한글요약:

• 현재 BlendMR은 사용자가 물리적 객체에 어떤 애플리케이션을 매핑할지 수동으로 선택해야 한다. 물리적 객체와 가상 콘텐츠 간의 의미론적 연결을 자동으로 추론하는 방법이 필요하다

• BlendMR은 단순한 형상의 물리적 객체에 대해서만 테스트되었기에 복잡한 형상, 재질, 크기를 가진 객체에 대한 추가 검증이 필요하다.

• BlendMR은 주로 정보 표시에 초점을 맞추고 있으며, 블렌딩된 인터페이스와의 상호작용 방식에 대한 추가 탐색과 평가가 필요하다.

• 장기간 사용했을 때 사용자 경험과 BlendMR의 주변 정보를 표시하는 인터페이스의 효과에 대한 사용성 평가는 아직 이루어지지 않았다.

• BlendMR은 정보 표시형 애플리케이션을 주로 다루고 있어 게임, 생산성, 크리에이티브 툴 등 다양한 애플리케이션 타입에 대한 고려와 적용 방안 모색이 필요하다.

Detailed Points for take away

사용성 평가 결과 어수선함과 방해되는 정도는 BlendMR이 단순히 2D 정보보다 눈에 띄게 적다. 그러나 정보 접근성 면에서는 2D 정보가 더 높은 것을 볼 수 있다.

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com

Reference (참고 자료)

[1] Mark Weiser and John Seely Brown. 1996. Designing calm technology. PowerGrid Journal 1, 1 (1996), 75–85.

[2] Jason Wu, Xiaoyi Zhang, Je Nichols, and Jerey P Bigham. 2021. Screen Parsing: Towards Reverse Engineering of UI Models from Screenshots. In The 34th Annual ACM Symposium on User Interface Software and Technology (Virtual Event, USA) (UIST ’21). Association for Computing Machinery, New York, NY, USA, 470–483. https://doi.org/10.1145/ 3472749.3474763