[CHI 24 REVIEW] The Potential of Learning With AI-Generated Pedagogical Agents in Instructional Videos

• 사실적인 외형과 목소리를 가진 AI 생성 PA에 대한 연구 입니다.

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 한글 내용)

• In conclusion (마치며)

let’s start.

Meta Information about the Paper

Lim, J. (2024, May). The Potential of Learning With AI-Generated Pedagogical Agents in Instructional Videos. In Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (pp. 1-6).

CHI 24 Student Research Competition: Graduate 1st Place

Video: Null

Researcher's Affiliation Site

PhD Candidate . Jullia Lim

• in Teachers Colleage, Columbia University

https://www.limjsy.com/

• research interest

  • effects of generative AI contents on learning

Content for General Readers

motivation

• Recent advancements in generative AI allow for creation of hyper-realistic multimedia content, including human-like pedagogical agents (PAs) for educational videos

• There is limited research on pedagogical uses of this emerging technology, especially AI-generated PAs with hyper-realistic appearance and voice

• Need to further explore educational effectiveness of human-computer interaction with AI agents

• Potential to revolutionize traditional teaching and learning methods

한글 요약:

• 최근 생성 AI의 발전으로 인간과 유사한 교육 에이전트(PA)를 포함한 사실적인 멀티미디어 콘텐츠를 제작할 수 있게 됨.

• 이러한 신기술의 교육적 활용, 특히 사실적인 외형과 목소리를 가진 AI 생성 PA에 대한 연구가 부족함.

• AI 에이전트와의 인간-컴퓨터 상호작용이 교육적 효과성에 미치는 영향을 추가로 탐구할 필요가 있음.

• 전통적인 교육 방식과 학습 방식을 혁신할 잠재력이 있음.

contribution

• One of the first studies to empirically investigate effects of AI-generated PAs with hyper-realistic appearance and voice on learning outcomes, cognitive load, motivation, and attention

• Examines interactions between PA type (AI vs human) and voice type (AI vs human)

• Uses rigorous measures of learning outcomes, cognitive load, motivation, and attention

• Conducted in non-traditional classroom setting to reflect how educational videos are consumed today

• Findings will inform design and development of AI agents for education

• Helps bridge gap between human-computer interaction research and education

• Provides insights on potential of AI-generated PAs to facilitate learning compared to human instructors

• Lays groundwork for future studies with diverse populations and learning contexts

한글요약:

• 사실적인 외형과 목소리를 가진 AI 생성 PA가 학습 성과, 인지 부하, 동기, 주의에 미치는 영향을 실증적으로 조사한 최초의 연구 중 하나임.

• PA 유형(AI vs 인간)과 목소리 유형(AI vs 인간) 간의 상호작용을 조사함.

• 학습 성과, 인지 부하, 동기, 주의에 대한 엄격한 측정 방법을 사용함.

• 전통적인 교실 환경이 아닌, 현재 교육 영상이 소비되는 방식을 반영한 환경에서 연구가 수행됨.

• 연구 결과는 교육을 위한 AI 에이전트의 설계 및 개발에 기여할 것임.

• 인간-컴퓨터 상호작용 연구와 교육 간의 간극을 좁히는 데 도움이 됨.

• AI 생성 PA가 인간 교사에 비해 학습을 촉진할 수 있는 잠재력에 대한 통찰을 제공함.

• 다양한 인구와 학습 환경을 대상으로 한 향후 연구의 기초를 마련함.

Content for Korean Readers Who Want to Know More about the Paper

Introduction

• 생성 인공지능(GenAI)은 매우 사실적인 콘텐츠를 다양한 형식으로 제작 가능.[29, 19]

  • 교육에서 GenAI는 맞춤형 학습 지원[8] 및 교사의 교육 효율성[28]을 높일 수 있으나, 논의는 지능형 튜터링, 챗봇, 자동 채점[26]에 국한됨.

  • GenAI 기술의 교육적 잠재력에 대한 연구가 부족하며, 이를 조사할 필요가 있음.[16]

• 이번 연구는 AI 생성 교육 에이전트(pedagogical agents, PA)를 활용하여 학습 촉진 가능성 탐구.

  • PA는 멀티미디어 학습 환경에서 생동감 있는 캐릭터로 작동.

    • 기존의 컴퓨터 스크린을 통함[10]

    • 인간 같은 아바타와의 상호작용을 통해 특수 요구가 있는 사람들이 사회적 상호작용을 연습하도록 돕는 AR 작업에서 비롯됨.

• 연구자는 사회적 에이전시 이론(Social Agency Theory)을 바탕으로 학습 경험을 개선하기 위해 디지털 에이전트와의 상호작용에 주목.

  • 위 이론은 멀티미디어 학습 에피소드를 학습자가 정보 전달의 사례나 사회적 소통의 사례로 해석할 수도 있다는 아이디어[23]에 기반함.

  • 이전 연구에 따르면 애니메이션 PA가 학습 결과와 학습자의 행동, 동기 등에 긍정적인 영향[3]을 미침으로써 학습 결과를 개선 증거 제시[2]

    • 그러나 더 정교한 측정을 통해 조사해야한다고 지적[16]

• 파일럿 연구에서는 AI 생성 PA와 인간 교사 간 학습 결과가 거의 동일했으나, 사회적 존재감은 인간 교사 쪽에서 더 강하게 인식됨.

• 이번 연구는 AI 생성 PA와 인간 PA 및 목소리가 학습 결과, 인지 부하, 동기, 주의에 미치는 영향을 조사할 예정.

• 이번 연구는 사실적인 외형과 목소리를 지닌 AI 생성 PA의 학습 효과를 실증적으로 조사하는 최초의 연구 중 하나가 될 것임.

related work

• 학습자는 멀티미디어 학습 콘텐츠를 사회적 소통 사례로 해석할 수 있음[23].

• 인간 음성으로 전달된 오디오 단어가 기계 음성보다 더 깊은 학습을 가능하게 함. [20]

• 애니메이션 PA는 학습 결과를 개선[2]하고 학습자의 동기를 높이는 데 긍정적 영향을 미침[3].

Social agency theory

• 사회적 에이전시 이론은 “학습자가 멀티미디어 학습 에피소드를 정보 전달 사례 또는 사회적 소통 사례로 해석할 수 있다”는 아이디어에 기반gka. [23].

  • 이 이론에 따르면, PA의 사회적 신호(예: 인간 같은 제스처, 이미지, 대화 스타일, 시선, 움직임, 목소리)가 멀티미디어 환경에서 인간 간의 연결을 복제할 수 있으며, 이는 인간 간의 상호작용과 유사하게 인식됨 [2, 12].

  • 이러한 신호는 PA와 학습자 간의 사회적 관계를 형성하여, 더 깊은 인지 과정을 활용하여 학습을 촉진함 [2, 20, 22, 24].

Pedagogical agents and social cues

목소리

• PA의 목소리 역할은 인간 음성과 기계 생성 합성 음성을 비교하며 연구됨.

• 인간 음성을 사용하는 PA가 기계 음성을 사용하는 PA보다 학습 흥미를 증가시키고 더 나은 이전(transfer)을 돕는지 여부를 조사함.

• 연구 결과, 인간 음성 그룹의 학생들이 기계 음성 그룹보다 더 높은 성과를 보임 [2].

• 또 다른 연구에서, 문제 해결 이전 테스트에서 인간 음성을 사용하는 PA로 학습한 학생들이 기계 음성을 사용하는 PA로 학습한 학생들보다 더 좋은 성과를 나타냄 [22].

• 이제 GenAI가 하이퍼 리얼리즘 음성을 생성할 수 있는 만큼, 이러한 맥락에서 기계 생성 음성의 효과를 더 연구할 필요성이 있음.

구현(Embodiment)

• 여러 연구에서 PA의 구현에 대해 조사함 [3, 12, 25].

• 인간 같은 제스처와 지시를 보이는 PA가 있는 내레이션 멀티미디어 수업에서 인체의 심혈관계를 학습한 학생들이 낮은 구현의 PA로 학습한 학생들보다 이전 테스트에서 더 나은 성과를 보임 [12].

• 전기 회로를 PA의 인간 같은 지시로 학습한 참가자들이 화살표로 학습한 참가자들보다 더 좋은 이전 테스트 성과를 나타냄 [25].

• 제스처가 있는 PA로 컴퓨터 소프트웨어 사용법을 학습한 학생들이 제스처가 없는 PA로 학습한 학생들보다 더 나은 이해력 테스트 성과를 보임 [3].

• 구현은 PA가 학습을 촉진하는 중요한 특성으로, 특히 눈맞춤, 표정, 몸짓과 같은 인간 같은 움직임이 중요함 [14].

• GenAI 기술이 인간의 움직임과 얼굴 표정을 실제 인간에 가깝게 복제할 수 있는 만큼, 하이퍼 리얼리즘 구현의 학습 결과에 미치는 영향을 추가로 조사할 필요가 있음.

Limitation

• 이전 연구에서 PA의 긍정적인 효과를 지지하는 발견에도 불구하고 문헌에서의 간극이 있음.

  • 연구자들은 인간 같은 PA에 대한 더 광범위한 연구, 다양한 PA 사회적 신호 간의 상호작용, 동기, 다양한 학습 맥락에서 PA의 교육적 이점에 대한 연구의 필요성을 제기함 [11, 27, 30].

  • 대부분의 연구가 전통적인 교실이나 실험실 환경에서 진행되었고, 이는 오늘날 비디오 소비 맥락을 대표하지 못한다는 한계가 있음 [12].

  • AI 생성 합성 가상 강사에 대한 연구에서는 더 견고한 학습 결과 측정 도구를 활용할 필요성이 제기됨 [16].

• 이러한 문헌의 간극을 해결하기 위해, 이 연구는 하이퍼 리얼리즘 외관(appearance)과 음성(voice)을 가진 PA가 개인의 학습 결과, 인지 부하, 동기 및 주의력에 미치는 영향을 전통적인 교실이 아닌 환경 또는 실험실 환경에서 경험적으로 조사하는 최초의 연구 중 하나가 될 것임.

The potential of using avatars for special needs populations

• PA에 대한 이전 연구에 이어, 자폐 스펙트럼 장애(ASD) 학생과의 중재에 있어 라이브 애니메이션 아바타의 사용을 지지하는 증거가 증가하고 있음 [9].

• 이는 AI 생성 PA 연구를 확장하고 교육 환경에서 특수 필요 개인을 지원하는 것과 연결할 수 있는 가능성을 시사함.

• 이전 연구에서는 ASD 아동이 시각 학습자 경향이 있음을 발견했으며 [13], 이러한 시각 학습자를 돕기 위해 설계된 아바타의 효과에 대한 연구도 증가하고 있음.

• 자폐 아동이 애니메이션 아바타에 의해 참여하고 사회적 기술 학습 시 목표 기술의 시각적 모델을 보는 데 도움을 받을 수 있다고 밝혀짐 [6].

• 또 다른 연구에서는 컴퓨터 애니메이션 아바타의 사용이 ASD 학생들이 더 높은 동기를 부여하여 학습하도록 유도하며, 전통적인 개인 교육에 비해 방해 행동이 줄어드는 것으로 나타났음 [7].

• 연구자들은 인간형 아바타로의 중재가 언어를 통한 의사소통 동기를 변화시키고 향상시킬 수 있다는 증거를 발견함 [31].

• 이 연구의 발견은 다양한 학습자의 필요를 지원하기 위해 AI 교육 에이전트를 사용하는 가능성을 이해하는 데 중요한 이정표가 될 것임.

Research Approach and Methods

Research questions

“AI 생성된 PA가 교육 비디오에서 인간 강사와 동일하게 학습을 촉진할 수 있는가?”

이 질문은 아래 의 연구 목표를 통해 조사됨:

• AI 생성 PA의 특징이 학습자 인식에 미치는 영향은?

• AI 생성 PA가 교육 비디오에서 학습자의 주의에 미치는 영향은? 이는 PA 유형 및 음성 유형에 따라 어떻게 달라지는가?

• AI 생성 PA가 교육 비디오에서 학습자의 기억에 미치는 영향은? 이는 PA 유형 및 음성 유형에 따라 어떻게 달라지는가?

• AI 생성 PA가 교육 비디오에서 학습자의 인지 부담에 미치는 영향은? 이는 PA 유형 및 음성 유형에 따라 어떻게 달라지는가?

Research design

• 설계 유형: 2 x 2 요인 설계

  • PA 유형: AI 생성, 인간

  • 음성: AI 생성, 인간

• 참여자: 온라인 연구 플랫폼에서 3분 비디오 시청 후 질문에 응답

• 주요 종속 측정치: 사후 테스트 점수

• 수집 데이터: PA와의 사회적 연결(API), 주의(안구 추적), 동기(IMMS 설문지), 인지 부담(설문지)

• 참가자

  • 모집 기준: 성인(18세 이상), 카메라 녹화에 편안함, 보조 장치 불필요

  • 목표 샘플 크기: 140명 (각 조건당 35명)

    • 이전 연구 샘플 수 참조[1, 2,3,23]

  • 파일럿 연구: 30명 데이터 분석

• 자료 구성:

  • 사전 테스트 설문지 (10개 항목) - 이전 연구[21]에서도 학습효과가 결과에 사후에 영향을 미치는 것을 방지하거나 차이점[1]을 찾기 위해 사용.

  • 3분 교육 비디오 (4가지 버전)

  • 인지 부담 설문지 (10개 항목) [17,18]

  • 에이전트 페르소나 도구(Agent Persona Instrument, API) 설문지 (25개 항목)[5]

    • PA와의 사회적 관계도 측정

  • 교육 자료 동기 설문(IMSS) (36개 항목) [15]

    • ARCS (Attention, Relevance, Confidence, and. Satisfaction)모델의 프레임어크로 교육 자료에 대한 반응 조사

  • 사후 테스트 (5개 단답형 질문, 7개의 진위형 질문, 2개 단답형 전이[21] 질문)

    • 단답형 전이 질문은 이전 연구에서 기억력과 전이를 측정하기 위해 사용

      • *전이 테스트란 학습자가 이전에 배운 내용을 새로운 상황이나 맥락에 얼마나 잘 적용할 수 있는지를 평가하는 것

• 참가자 절차:

  1. 무작위 배정(4개 조건 그룹)

  2. 사전 테스트 설문지 작성

  3. 자극 비디오 시청

  4. 인지 부담 설문지 작성

  5. API 설문지 작성

  6. IMSS 설문지 작성

  7. 사후 테스트 설문지 작성

Analysis plan

Results and Contributions to Date

Preliminary pilot study

• AI PA와 인간 강사 비디오 간 비교.

  • 두 조건 모두 비슷한 학습 결과와 인지 부담 관찰.

  • Leiker et al.[16]의 연구 결과를 유사하게 재현.

  • 그러나 인간 강사 그룹에서 더 높은 사회적 존재감 인식 발견, 이는 현재 연구의 디자인에 영감을 주었음.

Pilot study 1

• 예비 파일럿 연구 이후, 정제된 측정을 포함하는 파일럿 연구 1 실시.

• PA 유형(AI 생성 vs. 인간)과 음성(AI 생성 vs. 인간)이 학습자의 에이전트 인식, 주의, 기억, 인지 부담에 미치는 영향 조사.

• 각 조건 그룹의 종속 변수(에이전트 인식, 주의, 기억, 인지 부담)의 평균 점수와 표준 편차를 표 1에 제시.

• 연구 질문 1 (RQ1) - AI 생성 PA 특징이 학습자의 에이전트 인식에 미치는 영향은?

  • API(agent perception measure)에 대한 2 x 2 ANOVA 결과, PA 유형에 대한 유의미한 주 효과 발견: F (1, 29) = 6.85, p = .015.

  • 각 하위 항목에 대한 추가 분석:

    • API-1(학습 촉진): 유의미한 주 효과, F (1, 29) = 5.17, p = .031.

    • API-3(인간 유사성): 유의미한 주 효과, F (1, 29) = 10.80, p = .003.

    • API-4(참여도): 유의미한 주 효과, F (1, 29) = 6.89, p = .014.

    • API-2(신뢰성)에서는 유의미한 결과 없음.

• 연구 질문 2 (RQ2) - AI 생성 PA가 학습자의 비디오 주의에 미치는 영향은?

  • 주의에 대한 2 x 2 ANOVA에서 유의미한 효과 없음.

• 연구 질문 3 (RQ3) - AI 생성 PA가 학습자의 기억에 미치는 영향은?

  • 기억에 대한 2 x 2 ANOVA 결과, PA에 대한 유의미한 주 효과 없음: F (1, 29) = 2.05, p = .17.

  • 음성에 대한 유의미한 주 효과 없음: F (1, 29) = .96, p = .34.

  • PA와 음성 간의 상호작용 효과 없음: F (1, 29) = 2.05, p = .17.

  • 그러나 영어 능력을 공변량으로 포함한 2 x 2 그룹 간 ANCOVA에서 PA와 음성 간의 유의미한 상호작용 효과 발견: F (1, 29) = 4.34, p = .045.

• 연구 질문 4 (RQ4) - AI 생성 PA가 학습자의 인지 부담에 미치는 영향은?

  • 인지 부담에 대한 2 x 2 ANOVA에서 유의미한 효과 없음.

  • 그러나 사전 지식을 공변량으로 포함한 2 x 2 그룹 간 ANCOVA에서 PA와 음성 간의 유의미한 상호작용 효과 발견: F (1, 29) = 4.42, p = .046.

Discussion

• 파일럿 연구 1 결과:

  • 유지력 및 인지 부하는 PA 외모에 영향을 받지만, 주의에는 영향을 미치지 않음.

  • PA 유형이 학습 촉진 능력, 인간 유사성, 참여 수준에 대한 인식에 영향을 미침.

  • PA 유형과 목소리가 주의에 기여하는 중요한 효과는 발견되지 않음.

  • 목소리는 인지 부하와 유지력에 상당한 영향을 미침.

• 영어 능력 및 사전 지식: AI 생성 PA 사용 시 중요한 요소로 나타남.

• 추가 연구 필요성: AI 생성 교육 에이전트의 효과에 영향을 미치는 요인 및 맥락 탐구.

• 수정된 전체 연구 계획:

  • 목표 표본 크기: 140명(조건별 35명, 총 4개 조건).

• 미래 연구 방향:

  • K-12, 특수 교육, 외국어로서의 영어 등 다양한 인구 집단 및 비공식 학습 탐구.

  • 다양한 학습 맥락에서 연구를 확장하여 결과의 일반화 촉진.

• 기여 가능성:

  • 교육 실천에서의 변혁 및 PA에 대한 기존 연구에 이론적 기여.

  • AI 및 HCI 설계 및 개발 방향에 대한 정보 제공, 인간-컴퓨터 상호작용 연구와 교육 간의 간극 좁히기.

In conclusion

일부 경우('학습을 도와주는 정도', '사람처럼 느껴지는 정도', '참여도') 에는 AI가 사람보다 더 좋은 반응을 얻기도 했다. 하지만 주의력과 기억력에서는 큰 차이가 없었다.

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613905.3647966

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com