[CHI 24 REVIEW] Demonstrating New Materials, Software, and Hardware from the Hand and Machine Lab

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Bell, F., Friedman-Gerlicz, C., Gould, J., Mcclure, E., Gelosi, D., Bustos, A. N., ... & Buechley, L. (2024, May). Demonstrating New Materials, Software, and Hardware from the Hand and Machine Lab. In Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-5).

CHI 24 INTERACTIVITY

Jury Honorable Mentions

Video:

https://dl.acm.org/doi/10.1145/3613905.3648647

Researcher's Affiliation Site

Fiona bell

https://www.linkedin.com/in/fiona-a-bell/

https://www.cs.unm.edu/directory/faculty-profiles/leah-buechley.html

Content for General Readers

motivation

• Future AR interfaces should intelligently provide quick access to digital actions based on users' context to reduce friction in interacting with information encountered in the real world.

• There is limited understanding of the range of actions users intend to perform in real-world scenarios when encountering multimodal information.

• Existing systems cannot predict follow-up actions on aggregated data from multiple modalities.

한글 요약:

미래의 AR 인터페이스는 사용자의 맥락에 따라 지능적으로 디지털 행동에 빠르게 접근할 수 있도록 하여, 현실 세계에서 접하는 정보와의 상호작용 마찰을 줄여야 합니다. 사용자가 현실 세계에서 멀티모달 정보를 접할 때 의도하는 행동의 범위에 대한 이해는 제한적입니다. 이에 기존 시스템은 여러 모달리티에서 수집된 데이터를 기반으로 후속 행동을 예측할 수 없습니다.

contribution

1. A design space of follow-up actions that can be performed in response to multimodal sensory inputs, derived from a diary study. It includes 7 general and 17 specific categories of actions.

2. A novel pipeline called OmniActions that provides generalized predictions of follow-up actions for real-world multimodal sensory inputs. It leverages large language models and chain-of-thought reasoning to ground predictions in the design space.

3. An evaluation of different LLM techniques (in-context learning, fine-tuning) using the diary study data, showing competitive performance of the approach.

4. An interactive smartphone prototype that predicts target information and suggests follow-up actions. User feedback highlighted the system's potential and comprehensiveness of the design space.

한글요약:

• 다이어리 연구에서 도출된, 멀티모달 감각 입력에 반응하여 수행할 수 있는 후속 행동들의 디자인 공간이 제시됩니다. 이 디자인 공간에는 7개의 일반적인 카테고리와 17개의 구체적인 행동 카테고리가 포함됩니다.

• 실제 멀티모달 감각 입력에 대한 후속 행동을 일반화하여 예측하는 새로운 파이프라인인 OmniActions가 개발되었습니다. 이 파이프라인은 대규모 언어 모델과 사고 연쇄(chain-of-thought) 추론을 활용해 예측을 디자인 공간에 기반합니다.

• 다이어리 연구 데이터를 사용해 다양한 LLM 기술(맥락 학습, 파인튜닝)을 평가한 결과, 이 접근법이 경쟁력 있는 성능을 보여줍니다.

• 스마트폰용 상호작용 프로토타입도 개발되어 목표 정보를 예측하고 후속 행동을 제안하는 기능을 제공합니다. 사용자 피드백을 통해 이 시스템의 잠재력과 디자인 공간의 포괄성이 강조되었습니다.

Content for Korean Readers Who Want to Know More about the Paper

이번 논문은 소규모, 저비용의 Direct Write(DW) 3D 프린터와 함께 사용할 수 있는 새로운 소재, 소프트웨어, 하드웨어를 소개하고 있습니다.

새로운 소재

논문에서 소개된 새로운 소재들은 다음과 같습니다:

• 플레이 도우 [4], [8]

• 클레이 도우(점토와 플레이 도우 혼합물)

• 청동 점토[7]

• 유리 페이스트

• 달걀 껍질 페이스트

새로운 소프트웨어

개발된 새로운 소프트웨어는 다음과 같습니다:

• WeaveSlicer: 일정한 벽 두께를 유지하면서 인쇄 가능한 기하학적 구조를 확장하는 소프트웨어 [15]

• TRAvelSlicer: 유변학적으로 비선형인 소재를 위해 연속적인 압출 경로를 생성하는 소프트웨어 [7]

새로운 하드웨어

또한, 개발된 하드웨어 [8] 로는 프린팅 중에 재료를 건조할 수 있도록 압출기에 맞는 맞춤형 히터가 포함됩니다.

저자들은 이러한 새로운 소재, 소프트웨어, 하드웨어가 디지털 제작 과정에서 상호 연결되어 있음을 강조합니다.

실습 데모

이 논문은 CHI 커뮤니티에 이러한 새로운 3D 프린팅 소재와 도구를 실습 형태로 소개하는 것을 목표로 합니다.

이번 연구는 HCI와 디자인에서 물질성(materiality)에 대한 지속적인 논의에 기여하며, 디지털 제작에서 연구, 디자인, 예술적 기회의 잠재력을 보여줍니다.

In conclusion

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613905.3648647

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com