[Advanced Materials Technologies 23 REVIEW] Teleoperation of Soft Robots with Real-Time Fingertip Haptic Feedback Using Small Batteries

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Value for HCI (HCI 분야에 기여하는 논문의 가치)

• Content for Readers Who Want to Know More about the Paper (관련 분야 전문가를 위한 내용) - 한글

• Value for HCI (HCI 분야에 기여하는 논문의 가치)

• In Conclusion (글을 마치며)

let’s start.

Meta Information about the Paper

Ham, H., Park, M., Park, T., Gao, X., Park, Y. L., & Park, M. J. (2023). Teleoperation of Soft Robots with Real‐Time Fingertip Haptic Feedback Using Small Batteries. Advanced Materials Technologies, 8(15), 2300070.

Video:https://onlinelibrary.wiley.com/doi/abs/10.1002/admt.202300070

(You can see more video data in Supporting Information)

Researcher's Affiliation Site

Prof. Yong-Lae Park

https://softrobotics.snu.ac.kr/

Content for General Readers

motivation

Soft robots are promising for grasping and manipulating objects, but their development has been challenging due to lack of compact, precise, controllable soft actuators. Real-time sensing capability and high-level user control of sensor-integrated ionic EAP (iEAP) actuators are key challenges. A haptic feedback system that can demonstrate real-time control of soft robots using low-voltage iEAP actuators is desired.

한글 요약:

소프트 로봇은 물체를 잡고 조작하는 데 유망하지만, 소형이면서도 정밀하게 제어 가능한 소프트 액추에이터가 부족하여 개발에 어려움이 있었다. 실시간 감지 기능과 고도의 사용자 제어가 가능한 센서 통합 이온성 전기활성 중합체(iEAP) 액추에이터는 주요 도전 과제이다. 저전압 iEAP 액추에이터를 사용하여 실시간으로 소프트 로봇을 제어할 수 있는 햅틱 피드백 시스템이 필요하다.

contribution

1. Developed the first haptic interactive system teleoperated by a human hand with real-time haptic feedback based on sensor-integrated iEAP actuators.

2. Advanced iEAP actuator was developed through synthesis of superionic polymer electrolytes and soft conducting electrodes.

3. Sensor-integrated iEAP actuator was rationally designed by introducing liquid-metal strain sensors into the iEAP actuator based on actuation–sensitivity relationship.

4. Identified dynamic model of the system and designed controller for actuators to accurately track trajectories. Implemented decision algorithm to determine contact state.

5. Combined wearable fingertip iEAP haptic device with dynamic system model to transmit sensor signal as cutaneous haptic feedback, enabling robust grasping by providing accurate interaction information.

한글요약:

• 인간 손의 원격 조작을 통해 실시간 햅틱 피드백을 제공하는 세계 최초의 햅틱 인터랙티브 시스템 개발(센서 통합 iEAP 액추에이터 기반 시스템)

• 초이온성 고분자 전해질과 부드러운 전도성 전극을 합성하여 고급 iEAP 액추에이터 개발

• 액추에이터의 작동–감도 관계에 기반한 설계를 통해 액상 금속 변형 센서를 도입한 센서 통합 iEAP 액추에이터 설계

• 시스템의 동적 모델 식별 및 정확한 경로 추적을 위한 액추에이터 제어기 설계하고 접촉 상태를 결정하는 의사결정 알고리즘 구현

• 착용 가능한 손끝 iEAP 햅틱 장치와 동적 시스템 모델을 결합하여 촉각 피드백을 제공, 견고한 그립을 가능하게 함

Content for Readers Who Want to Know More about the Paper

intro

최근 몇십 년 동안 소프트 로봇 공학 분야에서는 인공 근육, 생체 모방 장치, 착용 가능한 전자기기 생산에 관한 주목할 만한 발전이 이루어졌습니다.[5][6][7] 소프트 액추에이터는 전기, 빛, 열, 압력, 습기와 같은 외부 자극에 반응합니다.[8–15] 전기활성 폴리머(EAP) 기반 액추에이터는 컴팩트함과 경량화의 고유한 장점을 지니고 있습니다.[16] 이온성 EAP(iEAP) 액추에이터는 저전력 소비를 목표로 하는 소형 시스템 개발을 지향합니다.

현재 혁신적인 EAP 재료 탐색과 액추에이터 구조 다양화에 대한 연구가 진행되고 있습니다.[8][11][17] 단일 이온 전도성 폴리머 기반 iEAP 액추에이터는 1V에서 수십 밀리초의 초고속 스위칭 응답을 제공합니다.[8] 또한, iEAP 액추에이터는 이온 확산을 정밀하게 제어한 다층 구조로 설계되어 저전압에서 직선 운동이 가능합니다.[17] 높은 기계적 강도를 가진 슈퍼 이온 폴리머 전해질을 합성하여 고강도 iEAP 액추에이터 개발에도 박차를 가하고 있습니다.[11]

iEAP 액추에이터를 위한 세 가지 중요한 요구 사항은 다음과 같습니다: 첫째, 액추에이터 캡슐화 기술이 작동 특성을 크게 저하시켜서는 안 됩니다.[18] 둘째, 실시간 작동 상태를 추적할 수 있는 자기 감지 기능 개발이 필요합니다. 셋째, 모든 구성 요소가 부드럽고 유연하며 컴팩트하고 열역학적으로 호환되어야 합니다. 일반적으로 엘라스토머가 캡슐화 기술에 사용되지만, 기계적 특성의 비균일성이 문제로 지적되고 있습니다.[20]

구부림 변형과 전극 간 전하의 상호작용에 기반한 자기 감지 특성을 갖춘 EAP 액추에이터 개발이 진행 중이며,[20] 구동 전압과 측정된 전하가 결합되어 실시간 추정의 부정확성을 초래하고 있습니다.[21] iEAP 액추에이터에 추가 센서를 통합하는 것도 대안이지만, 아직 초기 단계에 있습니다.[19] 시각 센서(예: 광학 카메라)는 착용 가능한 장치 및 소규모 모바일 시스템에 적용 가능성을 제한하고 있습니다.[22] 자기 감지 기능은 생물학적 근육의 고유 감각에 비유될 수 있으며, 컴팩트한 형태와 휴대성을 유지하는 것이 바람직합니다.[23]

최근 로봇 기술에서 인간-루프(Human-in-the-loop) 개념이 광범위하게 사용되며, 세포 조작, 복잡한 환경에서의 잡기 및 로봇 수술 등에 적용되고 있습니다.[25][26] 그러나 공압 액추에이터는 부피가 크고 실제 착용이 어려운 단점이 있습니다.[27] 전기유전체 엘라스토머 액추에이터(DEAs)는 큰 변형, 높은 출력 및 빠른 반응 속도를 제공하지만 추가 차폐 및 전압 변환기가 필요합니다.[28] 따라서 저전압 iEAP 액추에이터를 사용한 소프트 로봇의 실시간 제어가 필요합니다

results and discussion

<2.1. Haptic Interaction System Teleoperated by a Human Hand with Real-Time Haptic Feedback>

인간 손의 실시간 촉각 피드백을 제공하는 원격 조작 시스템이 있습니다. 이 시스템에는 감지 장치가 장착된 인간 손과, 센서 통합 iEAP 액추에이터로 만들어진 부드러운 그리퍼, 그리고 손끝에 iEAP 피드백을 제공하는 타이블형 촉각 장치가 포함됩니다. 각 구성 요소는 인터페이스를 통해 연결되어 있으며, 폐쇄 루프 시스템 내에서 유기적으로 작동합니다.

여기서 사용되는 삼중층 iEAP 액추에이터는 두 개의 부드러운 전극 사이에 폴리머 전해질 층이 샌드위치 형태로 배치되어 있습니다. 액추에이터의 움직임을 실시간으로 모니터링하기 위해 방온 액체 금속(EGaIn) 스트레인 센서가 실리콘 엘라스토머를 보호층으로 사용하여 iEAP 액추에이터에 통합되었습니다. 이 센서는 소형 변형뿐만 아니라 대형 변형을 감지하는 데 있어 안정성, 반복성 및 선형성을 제공하며, 다른 스트레인 감지 메커니즘에 비해 간단한 제작 공정을 자랑합니다.

이 시스템은 사용자가 그리퍼에 명령을 내릴 수 있도록 하며, 통합 센서를 통해 그리퍼의 상태를 실시간으로 사용자에게 전달할 수 있습니다.

[Figure Explanation]

(left) illustrates a thimble-type haptic device, while (right) depicts a gripper, where the states of the gripper can be relayed back to the user in real-time through the proprioceptive feedback provided by the integrated sensor.

<2.2. Synthesis of a Tailor-Made PS-3H4S Electrolyte>

고성능의 바이펑셔널 폴리머 전해질을 설계하여 이온이 폴리머 매트릭스 내에서 빠르게 확산되고 높은 기계적 강도를 유지하도록 하여, iEAP 액추에이터가 높은 주파수에서 큰 변형과 높은 힘을 생성할 수 있도록 하는 문제를 해결하고자 하였습니다. PS-3H4S 전해질의 이온 전도도 및 기계적 성질은 [EMIm+][TFSI−]의 농도에 따라 조절되며, 이 둘은 역의 관계를 가집니다. 그러나 PS-3H4S 내의 이온 액체 함량이 과도하게 증가하면 기계적 강도가 급격히 감소하여 자립형 전해질 층을 형성하지 못하게 됩니다.

Figure 2는 PS-3H4S 전해질의 구조와 이온 이동에 대해 설명하고 있습니다.

(a) PS-3H4S 폴리머와 [EMIm+][TFSI-] 이온성 액체로 구성된 양쪽성 PS-3H4S 전해질의 화학 구조. 전해질 내에서 가능한 분자 내 및 분자 간 상호작용이 묘사되어 있음.

(b) [EMIm+][TFSI-] 함량에 따른 PS-3H4S 전해질의 이온 전도도와 전단 탄성률. 이온성 액체 함량이 증가하면 이온 전도도는 증가하고 기계적 강도는 감소함.

(c) 순수한 PS-3H4S와 60 wt% [EMIm+][TFSI-]가 함유된 PS-3H4S 전해질의 X-선 산란 프로필. 오른쪽 스키마틱은 P3-3H4S 전해질의 이온 채널 구조를 보여줌.

(d) 60 wt% [EMIm+][TFSI-]의 PS-3H4S와 PVdF-HFP 전해질에 대한 주파수 함수로서의 커패시턴스 플롯. PS-3H4S가 PVdF-HFP보다 커패시턴스가 높음.

(e) 1.5 V 전압 하에서 PS-3H4S와 PVdF-HFP 전해질의 in situ ATR-FTIR 스펙트라. 삽입 그림은 실험 셋업과 1184 cm-1에서의 정규화된 강도 비율을 보여줌.

즉 Figure 2에서는 양쪽성 PS-3H4S 전해질을 소개하고 이온성 액체 함량에 따른 전해질의 이온 수송 및 기계적 특성, 이온 채널 형성, 다른 전해질 대비 우수한 커패시턴스, 전압 인가 시 빠른 이온 축적 특성 등을 다양한 분석 결과를 통해 보여주었습니다.

<2.3. Actuation and Sensing Characteristics of the Sensor-Integrated iEAP Actuator>

• 수식 표현의 이해

(1) 식은 센서 통합 액추에이터의 중립축(ȳ)이 탄성체 모듈러스(E_ela)가 낮기 때문에 iEAP 액추에이터 층의 중립축(ȳ_EAP)과 동일하다고 가정한 것입니다. (2) 식은 액추에이터의 변형률(𝜖)이 센서 층의 두께(d)와 굽힘 각도(𝜃), 액추에이터 길이(L_0)에 의해 결정된다는 것을 보여줍니다. (3)-(5) 식은 센서 통합 액추에이터의 변형 에너지(U)가 굽힘 모멘트(M)와 iEAP 액추에이터의 영 계수(E), 면적 관성 모멘트(I), 곡률(𝜅), 탄성체 두께(d)에 의해 결정됨을 설명합니다.
(6) 식은 EGaIn 변형 센서의 민감도(ΔR/R_0)가 변형률(𝜖)의 함수로 표현됨을 보여줍니다. (7) 식은 센서 신호(ΔR/R_0)와 굽힘 각도(𝜃) 사이의 선형 모델을 나타냅니다. 이는 센서 통합 액추에이터의 동역학을 표현하는 데 활용됩니다. 즉, 이 관계식들은 센서가 통합된 iEAP 액추에이터의 구조 설계, 변형 메커니즘, 센서 특성을 설명하고, 이를 바탕으로 액추에이터의 동작을 정밀하게 제어할 수 있는 동역학 모델링에 활용되고 있음을 잘 보여주고 있습니다.

• Figure 3은 sensor-integrated iEAP actuator의 구조와 작동 원리, 특성에 대해 설명하고 있습니다.

a) Sensor-integrated iEAP actuator의 단면 구조와 변형에 따른 전기 저항 변화를 보여줌. iEAP actuator 층과 EGaIn sensor가 elastomer matrix에 내장되어 있음.

b) 유한요소해석(FEA)을 통해 전압 인가에 따른 sensor-integrated actuator의 변형을 예측함. iEAP actuator 층의 중심축이 EGaIn sensor와 떨어진 d값에 따라 변형률이 달라짐을 보여줌.

c) d값에 따른 sensor-integrated actuator의 굽힘각도와 민감도를 시뮬레이션한 결과. d가 커질수록 각도는 작아지지만 민감도(strain)은 커짐.

d) 0.2Hz의 다양한 전압에서 시간에 따른 sensor-integrated actuator의 굽힘 응답과 민감도(저항 변화율) 측정 결과

e) 0.2Hz의 다양한 전압에서 측정한 굽힘각도와 sensor 신호의 선형적 상관관계 f) 전압 주파수에 따른 sensor-integrated actuator의 peak-to-peak 굽힘각도 변화

g) ±0.5V, 1Hz에서 sensor-integrated actuator의 사이클 안정성 평가 즉, sensor와 actuator의 구조 설계를 통해 민감도와 구동을 동시에 최적화하고, 측정을 통해 sensor 신호와 굽힘각도의 선형적 관계를 확인하여 정밀한 모션 추정이 가능함을 보여주고 있습니다.

<2.4. Tracking Control and Teleoperation>

• Figure 4는 센서 일체형 iEAP 액추에이터의 궤적 추적과 원격 조작 결과를 보여줍니다.

a) 센서 일체형 iEAP 액추에이터가 다양한 모양(사인파, 삼각파, 사각파, 무작위)과 주파수(0.1, 0.2, 0.5Hz)로 미리 정의된 궤적을 정확하게 추적하는 것을 보여줍니다.

b) 사람 손가락의 움직임을 실시간으로 따라하도록 액추에이터를 원격 조작하는 결과입니다. 손가락의 느린(0.03Hz), 계단식(0.1Hz), 빠른(0.2Hz) 동작을 액추에이터가 따라하고 있습니다.

• Figure 5는 상호작용 다중 모델(IMM) 분석을 통해 센서 일체형 액추에이터의 접촉 상태를 추정하는 결과를 보입니다.

a) 장애물과 접촉하지 않은 자유 운동의 경우에는 접촉이 검출되지 않았습니다.
b) 다양한 입력 전압에서 장애물과 접촉했을 때는 액추에이터의 구부러짐 각도가 일정해지는 plateau가 관찰되었습니다.

c) 입력 전압을 높였을 때에도 접촉 중에는 구부러짐 각도가 일정하게 유지되었습니다. IMM 알고리즘은 이러한 센서 신호 변화를 통해 접촉 상태를 확률적으로 추정할 수 있었습니다(하단 그래프).

<2.5. Interactive Teleoperation of Soft Gripper with Haptic Feedback>

• Figure 6은 실시간 햅틱 피드백이 있는 소프트 그리퍼의 상호작용적 원격 조종 결과를 보여줍니다.

a) 사람 손으로 센서 일체형 액추에이터 그리퍼를 원격 조종하여 공을 옮기는 5단계 과정을 나타냅니다.

b) 그리퍼로 작업을 수행하는 동안 측정된 손가락 센서 신호, 구부러짐 각도, 그리퍼 센서 신호를 보여줍니다.

c) 사용자 엄지손가락에 부착된 햅틱 iEAP 모듈과 2V, 10Hz에서 측정된 손가락 끝에서의 힘을 보여줍니다.
d) 저전압 영역에서 iEAP 액추에이터의 전압-주파수-액추에이션 응력을 기존 연구와 비교한 그래프로, 본 연구의 iEAP가 저전압에서 빠른 속도와 높은 액추에이션 응력을 보임을 나타냅니다. 전체적으로 센서 일체형 iEAP 액추에이터를 활용해 사람 손의 움직임으로 소프트 로봇을 원격 조종하면서, 접촉 상태를 햅틱 피드백으로 전달하여 안정적인 그리핑이 가능한 상호작용 시스템을 구현한 결과를 보여주고 있습니다.

Value for HCI

This research presents several significant contributions to the Human-Computer Interaction (HCI) field:

• Wearable, Compact Haptic Devices: By developing a thimble-type, finger-tip attachable ionic polymer haptic feedback device, the research addresses the limitations of traditional haptic systems, which are often bulky and rigid. The result is a wearable, lightweight solution that enhances user comfort and integration in everyday applications.

• Real-Time, Precise Manipulation with Soft Robots: The integration of liquid metal strain sensors directly into the actuator enables real-time monitoring of the actuator's bending state. This innovation allows for precise control of soft robots like grippers, making them more capable of delicate and complex tasks, which is crucial for fields like robotics and medical technology.

• Intuitive and Interactive Teleoperation: The combination of a motion-capturing glove and the thimble device offers users an intuitive, interactive experience when controlling soft robots. The system allows for seamless hand teleoperation, providing a more natural and immersive interface between human and machine.

• Overcoming Vision Sensor Limitations: Traditional teleoperation systems have largely relied on vision-based sensors, which can introduce delays or inaccuracies in real-time control. This study demonstrates that through proprioception-based feedback, users can achieve precise teleoperation without needing external vision sensors, offering a more reliable and responsive interaction system.

By advancing soft material-based haptic systems that are both wearable and highly interactive, this research significantly enhances the potential for more user-friendly, precise, and compact HCI solutions.

한글요약:

• 착용 가능하고 소형화된 햅틱 장치: 손끝에 부착 가능한 골무형 이온성 폴리머 햅틱 피드백 장치를 개발하여, 기존의 부피가 크고 딱딱한 햅틱 시스템의 한계를 해결했습니다. 이를 통해 착용감이 뛰어나고 일상적인 사용에 적합한 가볍고 편리한 솔루션을 제공합니다.

• 정교하고 실시간 제어가 가능한 소프트 로봇: 액상 금속 변형 센서를 액추에이터에 직접 통합하여, 실시간으로 액추에이터의 굽힘 상태를 모니터링할 수 있게 되었습니다. 이로 인해 그리퍼와 같은 소프트 로봇을 정교하게 제어할 수 있으며, 로봇 공학과 의료 기술 분야에 중요한 기여를 합니다.

• 직관적이고 인터랙티브한 원격 조작: 모션 캡처 장갑과 골무형 장치를 결합하여, 사용자가 소프트 로봇을 직관적으로 원격 조작할 수 있는 인터랙티브한 시스템을 구축했습니다. 자연스럽고 몰입감 있는 사용자 인터페이스를 제공합니다.

• 비전 센서 의존성 극복: 기존의 원격 조작 시스템은 외부 카메라를 활용한 비전 센서에 의존했으나, 이 연구에서는 고유감각 기반 피드백만으로도 정교한 원격 조작이 가능하다는 것을 입증했습니다. 이를 통해 더 신뢰성 있고 반응성이 빠른 상호작용 시스템을 제시합니다.

이 연구는 착용 가능하고 사용자 친화적인 소프트 소재 기반 햅틱 시스템을 발전시켜, HCI 분야에서 정밀하고 직관적인 상호작용 솔루션의 가능성을 크게 확장했다는 점에 이 논문을 리뷰했습니다.

In Conclusion

Reference papers can be found below

https://onlinelibrary.wiley.com/doi/abs/10.1002/admt.202300070

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com