[CHI 24 REVIEW] Towards Designing for Multimodal Remembering: Findings from an Interview Study

다중 모달 기억 보조 시스템을 설계하기 위한 프레임워크를 구축하려는 연구자의 연구입니다.

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Otenen, E. (2024, May). Towards Designing for Multimodal Remembering: Findings from an Interview Study. In Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-6).

Video: null

Researcher's Affiliation Site

Ege Otenen

Ph.D. student in the Cognitive Science and Informatics (HCI) dual degree program at Indiana University, Bloomington

https://www.egeotenen.com/

• Research interest

  • Autobiographical Memory

  • Designing Technologies

  • Well-being

  • Individual Differences

  • Theory of Mind

  • Human-AI interaction

Content for General Readers

motivation

Humans experience and remember the world through multiple senses/modalities, but most existing memory technologies focus on unimodal approaches (mainly visual or verbal).

• There is a gap in understanding how different modalities contribute to remembering and expressing autobiographical memories.

• No previous studies have examined the influence of having multimodal memory expressing opportunities on memory recall and expression.

한글 요약:

인간은 다양한 감각을 통해 세상을 경험하고 기억하지만, 현재의 기억 기술은 주로 시각이나 언어와 같은 단일 감각에만 집중되어 있습니다. 다양한 감각이 자서전적 기억을 회상하고 표현하는 데 어떻게 영향을 미치는지에 대한 연구는 아직 충분히 이루어지지 않았습니다. 특히, 다중 감각을 활용한 기억 표현이 기억 회상과 표현에 미치는 영향을 조사한 연구는 없었습니다.

contribution

This is the first study to examine the contributions and experience of remembering and expressing memories with multiple modalities.

• It provides insights into how different modalities support memory recall and expression, which can inform the design of future memory technologies.

• It tests a "memory board" approach that allows multimodal memory expression, providing insights on user experience.

• It aims to develop a framework for exploring multimodal remembering and improve design practices for future memory technologies.

• It raises awareness of multimodal remembering as a neglected design domain in HCI.

한글요약:

이 연구는 다중 감각을 통한 기억 회상과 표현의 경험을 최초로 조사한 연구로, 다양한 감각이 기억을 회상하고 표현하는 데 어떤 역할을 하는지에 대한 새로운 통찰을 제공합니다. 연구에서는 "기억 보드"라는 다중 감각 기억 표현 방식을 실험하여 사용자 경험에 대한 중요한 시사점을 제시합니다. 이를 통해 미래의 기억 기술 설계에 도움이 되는 프레임워크를 개발하고, 다중 감각을 활용한 기억 회상의 중요성을 알리는 데 기여합니다.

Content for Korean Readers Who Want to Know More about the Paper

INTRO

• 자서전적 기억은 자아감[11] 및 웰빙[25,30[과 관련이 있어 HCI 연구자들의 큰 관심을 받음.

• 기억을 불러일으키거나 지원하기 위한 기술 개발 및 연구가 활발히 진행됨. [16, 18, 23, 35]

• 디자이너들은 사람들이 기억을 쉽게 떠올릴 수 있도록 돕는 기술을 개발함.

• 기존 연구 및 기술은 주로 언어적 또는 서면 표현(mostly verbal or written)에 의존하는 단일 모달리티 방식에 제한됨.

• 다양한 모달리티(시각, 후각, 청각) 간의 비교 연구[2,10,14,17,21,23,29,38,42,47]가 이루어졌으나, 대부분 기억의 "회상(remembering)" 단계에 집중됨.

• 기억을 표현하는 단계는 거의 항상 언어적 묘사[8,16,41]로 제한되어 감각적 경험이 충분히 표현되지 못함.

• 다중 모달리티 구조의 기억이 단일 모달리티로 표현되는 문제점이 존재함.[24]

• 본 연구는 자서전적 기억의 다양한 모달리티에 집중하여 기억의 회상과 표현에 미치는 영향을 탐구하려는 목적을 가짐.

related work

2.1 HCI and Autobiographical Memory

• 기존 기억 지원 기술은 주로 시각적 모달리티에 집중함.

  • 대표적인 기술: SenseCam[23], AffectCam[42], Narrative Clip[48], MyLifeBits[19] 등이 사진 촬영을 통해 삶을 기록하도록 설계됨.

    • 소형 카메라가 하루 동안 무작위 사진을 촬영하고, 사람들이 이를 검토해 기억을 강화함.

    • 일부 기술은 사용자가 사진에 대해 성찰[41]하거나 팝 퀴즈, 설문 조사[16]를 통해 기억을 검토하고 구두로 요약[16]하도록 유도함.

    • 이러한 성찰과 요약 과정은 개인의 기억을 떠올리고 공유하는 데 도움이 되어 기억을 강화함.[32]

• 기술 발전을 통해 사람들이 사진 검토나 언어적 질문에만 의존하지 않고, 다양한 모달리티를 활용하는 방법을 사용할 수 있게 됨.

  • 예: Dib 등의 연구에서는 녹음된 소리를 들으며 가족이 휴가를 회상하는 것이 사진 검토보다 더 창의적인 회상을 유도함.[15]

  • 또 다른 모달리티인 후각도 기억을 향상시켜, 후각 자극을 받은 참가자들이 대조군보다 기억 작업에서 더 나은 성과를 보임.[2]

2.2 Memory and Modalities

• 기억 연구도 HCI처럼 주로 언어적 또는 서면 묘사에 의존해왔음.[33, 43]

• 기존 연구는 기억을 유발하는 데 있어 모달리티의 역할만을 조사함(예: 시각, 청각, 후각 단서를 사용해 기억을 유도함). [10, 14, 17, 21, 29, 38, 47].

• 연구자들은 다양한 단일 또는 다중 모달리티 단서를 사용하여 기억을 자극했지만, 기억 표현에 있어 모달리티의 역할을 조사한 연구는 없음.

• 자서전적 기억은 특정 장소와 시간에 자신에게 일어난 사건을 묘사하며, 감각-지각 정보에 크게 의존[12]함.

  • 감각-지각 지식은 기억을 상상과 구별하는 핵심 요소로, 기억의 풍부함을 좌우함.[26,33]

• 하지만다중 모달리티로 기억을 표현하는 기회가 기억에 미치는 영향을 조사한 연구나 디자인은 존재하지 않음.

• 체화된 인지(embodied cognition) 이론에 따르면, 신체는 움직임을 통해 인지 부하를 줄이거[45]나 과거의 움직임을 모방[24]하여 기억을 지원함.

  • 최근 연구에 따르면, 신체 움직임(특히 제스처)은 에피소드적으로 풍부한 자서전적 기억을 이야기하는 것과 관련이 있음.[5]

  • 일부 HCI 연구자들은 체화된 기억을 위한 디자인을 이해하려고 시도 중.

  • Overdevest는 일기 연구를 통해 신체 사용이 기억에 미치는 영향을 조사함.[36]

  • 시각, 청각, 후각, 촉각 요소가 기억을 지원하며, 다양한 디자인이 이 모달리티를 활용한 기술을 제안했지만, 다중 모달리티 디자인을 활용한 연구는 매우 적음.

  • Kim et al. (2022)는 Slide2Remember라는 도구를 개발하여 시각, 청각, 촉각 경험을 결합한 기억 회상 도구를 제안함.[27]

2.3 Current Study

• 자서전적 기억을 회상하고 표현할 때 다양한 모달리티에 집중하는 것이 미치는 영향을 탐구하는 것을 목표로 함.

• 기억을 떠올리고 표현하는 데 있어 모달리티의 가치를 이해하려고 함.

• 연구 질문:

  1. 다양한 모달리티가 자서전적 기억을 지원하거나 기여하는가?

  2. 모달리티를 사용한 기억 회상 및 표현 경험은 어떠한가?

methodology:

• 터키 성인 12명의 참가자.

  • 과거 qualitative memory studies in HCI [13, 18, 46]를 기반으로 참가자 수 결정

  • ACM CHI 컨퍼런스의 질적 연구에서 가장 일반적인 표본 크기로 보고되었으며 [9], 모달리티가 기억에 미치는 일반적인 영향을 이해하는 데 충분할 것으로 저자는 판단함.

• Convenience Sampling 사용

  • * 특정 기준이나 무작위 추출에 의한 표집이 아니라, 시간, 장소, 자원 등의 제한적인 조건에서 가장 쉽게 조사할 수 있는 사람들을 표본으로 삼는 방식

  • 이는 시간이나 비용 측면에서 효율적이지만, 표본이 연구 전체를 대표하지 않을 가능성이 커서 결과를 일반화하기 어려울 수 있다는 단점이 있음.

• 최근 및 감정적으로 중요한 자서전적 기억을 분석.

Procedure

:최근의 감정적인 기억을 떠올리고 메모리 보드를 사용하여 그 기억을 표현하도록 지시 [44]

• 감정적인 기억은 중립적인 기억보다 더 높은 수준의 감각적 특성을 가지며 더 많은 세부 사항으로 쉽게 기억될 수 있기 때문 [43]

• 설문 작성(vividness, emotion, time of the event)[39]

  • 동일한 단계를 두 번째 기억도 반복

• 웰빙[40], 이미지화[7], 표현 능력[37] 및 인구 통계에 대한 개인차 설문을 작성했지만, 이 부분은 본 논문의 범위 내에서 논의되지 않을 것

Step 1. Remembering a Memory.

:지침[1, 4]에 따라 참가자들에게 최근 또는 감정적으로 중요한 자서전적 기억을 떠올리도록 요청.

Step 2. Expressing a Memory.

:참가자들이 다양한 재료(크레용, 점토, 빈 종이, 음악 재생기)가 제공된 기억 보드를 사용해 기억을 표현.

Step 3. Matching Modalities with Memory.

:참가자들이 모달리티 카드를 사용해 표현된 기억의 세부 사항과 일치시킴.

• 10개의 모달리티 카드

  • 시각, 청각, 미각, 후각, 촉각, 운동 감각-고유 감각(신체 또는 신체 부위의 위치 감지), 운동 감각-균형 감각(균형 감지), 촉각(외부 접촉을 수동적으로 감지) from Augstein과 Thomas Neumayr의 연구[3]

  • 온도 감지(열과 온도 감지) 및 통증 감지(신체 통증 감지)

    • 감각 경험을 포괄하기 위해 체감각 범주[22]에서 추가

• 먼저 모달리티 설명을 받은 후, 기억의 세부사항과 일치하는 모달리티를 찾도록 요청

  • ex. “징글벨이 울리고 있다” → 청각

Step 4. Reflections on Modalities and Memory Board.

:모달리티와 기억 일치 작업을 완료한 후, 참가자들은 기억을 표현하는 데 선호하는 모달리티가 있는지 답변하고, 가장 잘 표현하는 모달리티를 보고.

• 참가자들이 모달리티와 기억 보드 경험에 대해 성찰.

Preliminary Findings

• 자서전적 기억 연구에서 일반적으로 관찰되는 주제[6] 들이 이번 연구에서도 관찰됨

기억 속 세부사항과 일치하는 모달리티

• 시각적 모달리티가 기억에서 가장 흔하게 나타남.

• 청각, 후각, 촉각, 미각 모달리티는 거의 모든 기억에서 공통적으로 관찰

기억을 가장 잘 표현할 수 있는 모달리티

• 전반적으로 시각, 촉각, 청각 모달리티가 가장 잘 표현하는 모달리티로 선택

• 기억 속 세부사항과 일치하는 모달리티로 미각이 나왔지만, 표현에서는 그렇지 않을 수 있음을 보임. → 기억에 존재하는 모달리티와 가장 잘 표현되었다고 선택된 모달리티 간의 불일치

  • *보충 설명: 쿠키 냄새를 떠올리지만 냄새보다 눈으로 본 모습이나 손으로 만졌던 느낌을 더 잘 표현할 수 있음. 즉, 기억 속에서 냄새가 중요한데도, 표현할 때는 눈으로 본 것(시각)이나 손으로 느낀 것(촉각)이 더 나은 방법이라고 생각

기억 표현을 위한 모달리티

• 모두 구두로 표현

• 스케치를 사용할 경우 장면 구성이 중요할 때 [34]

• 대부분 참가자들이 기억을 표현하는 동안 도우를 가지고 놈

  • 제스처와 기억 세부 사항 사이의 긍정적인 관계 [5]를 근거로, 손의 움직임을 통해 기억 표현을 촉진했을 가능성을 염두

기억보드 → 기억 보드의 사용자 경험은 긍정적인 기억에 국한되어 바람직함

• 긍정적인 기억을 회상하는 것이 기분에 긍정적인 영향을 미친다는 점을 고려하여 [20] 기억 보드에 대한 경험에 긍정적임.

• 대부분의 참가자들에게 기억 보드는 기억을 회상하고 표현하는 데 도움을 줌.

• 일부 참가자들은 부정적인 기억을 표현하는 데 있어 기억 보드가 도움이 되지 않다고 느낌.

  • “self-distancing reduces the negative emotions[31]”의 효과가 기억보드로 인한 몰입으로 어렵기 때문

• 기억 보드는 기억을 창의적으로 표현하고 성찰할 수 있는 기회를 제공.

Conclusion and Discussion

• 이 연구는 기억을 회상하고 표현하는 데 있어 모달리티의 역할에 대한 통찰을 제공.

• 현존하는 기술에서 종종 간과되는 촉각 모달리티의 중요성을 강조.

  • 일상적인 물체와의 촉각 상호작용이 치매 환자에게 개선 효과[28]

• 기억 기술에 다중 모달리티 접근법의 필요성을 제안.

• 감정이 기억 표현에서 중요한 역할을 함.

  • 감정과 모달리티 간의 관계는 향후 디자인을 위해 철저히 조사될 수 있으며, 감정을 구체화하는 방법도 탐색할 수 있습

• 모달리티 선호에 대한 개인 차이가 맞춤형 접근법의 필요성을 시사.

  • 왜냐하면 앞선 연구 결과에서 내용(예: 감정적임)이나 기억의 시점(예: 최근)에 따른 모달리티 간에 차이가 없었기 때문에 이와 독립적으로 개인의 선호나 기억 및 표현 능력이 모달리티에 영향을 준다고 봄

In conclusion

촉각 상호작용이 기억을 떠올리는 데에 도움.

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613905.3647965

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com