[Advanced Functional Materials 23 REVIEW] Multi-Modal Modular Textile Sensor for Physical Human–Robot Interaction Using Band-Stop Filters

This document is structured as follows:

• Meta Information about the Paper (논문 정보)

• Researcher's Affiliation Site (저자 연구실 정보)

• Content for General Readers (일반 독자를 위한 내용)

• Content for Korean Readers Who Want to Know More about the Paper (관련 분야 전문가를 위한 내용)

• Value for HCI (HCI 분야에 기여하는 논문의 가치) - My thoughts

• In Conclusion (글을 마치며)

let’s start.

Meta Information about the Paper

Kim, J., Kim, J., & Park, Y. L. (2024). Multi‐Modal Modular Textile Sensor for Physical Human–Robot Interaction Using Band‐Stop Filters. Advanced Functional Materials, 34(7), 2308571.

Researcher's Affiliation Site

Prof. Yong-Lae Park

https://softrobotics.snu.ac.kr/

Content for General Readers

motivation

For collaborative robots and humans to coexist safely, robots must be able to detect the presence of people nearby and physical contact applied to the robot. To achieve this, multi-modal sensors attached to the robot's surface are required. However, existing sensor arrays face limitations as the number of sensors increases, leading to complex wiring and challenges in system integration.

한글 요약:

• 협동 로봇과 인간이 안전하게 공존하기 위해서는 로봇이 주변 사람의 존재와 로봇에 가해지는 물리적 접촉을 감지할 수 있어야 함.

• 이를 위해서는 로봇 표면에 부착된 다중 모달 센서가 필요함.

• 기존 센서 배열들은 센서 수 증가에 따라 배선이 복잡해지고 시스템 통합이 어려운 한계가 있음.

contribution

• Designed based on a band-stop filter circuit, enabling the operation of multiple sensor modules with minimal signal lines.

• Each module independently detects contact force and human touch through frequency domain analysis.

• Functional modularity is achieved by eliminating inter-module interference using a compensation algorithm.

• Demonstrated applicability in various HRI (Human-Robot Interaction) applications, such as robot skin, wearable sensors, robotic hand sensors, and human-computer interfaces.

한글 요약:

• 모듈식 구조의 멀티모달 섬유 센서 배열 개발

• Band-stop filter 회로 기반 설계로 적은 신호선으로 여러 센서 모듈 구동

• 주파수 영역 분석을 통해 각 모듈이 개별적으로 접촉 힘과 사람 접촉 감지

• 보상 알고리즘으로 모듈간 간섭 제거하여 기능적 모듈성 구현

• 로봇 스킨, 웨어러블 센서, 로봇 핸드 센서, 휴먼-컴퓨터 인터페이스 등 다양한 HRI 응용 분야에 적용 가능성 입증

Content for Readers Who Want to Know More about the Paper

<Related paper appeared in Introduction>

1. 안전 기준 관련 사례 - 참고문헌 [4]

2. 시각 기반 방법의 한계 관련 사례 - 참고문헌 [5-9]

3. 로봇 표면에 센서를 부착하는 연구 사례 - 참고문헌 [10-12]

4. 근접 센서 개발 사례 - 참고문헌 [13-22]

   inductive,[13-15] capacitive,[12, 16-18] and optical[19-22] mechanisms

5. 힘 센서 개발 사례 - 참고문헌 [23-43]

   resistive[23-36] and capacitive[37-43]

6. 터치 센서 개발 사례 - 참고문헌 [44-46, 48]

   capacitive mechanism.[44-46, 48]

7. 센서 어레이 구성 사례 - 참고문헌 [13, 26, 27, 32-34, 36, 42-46]

8. 통신 산업에서 주파수 영역 신호 처리 사례 - 참고문헌 [49]

9. 주파수 영역에서 센서 어레이 신호 처리 연구 사례 - 참고문헌 [50-53]

10. 근접 센서와 힘 센서 통합 개발 사례 - 참고문헌 [13, 22, 54-57]

11. 접촉력과 온도 감지 피부 모사 센서 개발 사례 - 참고문헌 [58, 59]

<Figure 1>

• figure 1은 멀티모달 직물 센서 어레이와 동작 프로세스에 대한 내용을 요약해서 보여주고 있습니다.

• A)는 9개의 센서 모듈이 연결된 직물 센서 어레이의 설계를 보여줍니다. 이 센서 어레이는 단 두 개의 와이어로 동작할 수 있고, 센서 모듈은 전도성 스냅 버튼으로 어레이에 쉽게 부착할 수 있습니다.

• B)는 센서 시스템의 실시간 동작 프로세스를 개략적으로 나타냅니다. 각 센서 모듈은 다른 모듈의 간섭없이 동시에 인간의 접촉을 인식하고 접촉력을 측정할 수 있습니다.

• 즉, figure 1은 제안된 직물 기반의 멀티모달 센서 어레이의 구조와 특징을 나타내고 있는데, 주요 특징으로는 1) 단 두 개의 와이어로 다수의 센서 모듈 연결 가능 2) 센서 모듈의 쉬운 탈부착으로 모듈화된 구조 구현 3) 각 센서 모듈의 동시 접촉/접촉력 감지 가능 4) 센서 모듈간 상호 간섭 없는 독립적 동작 등이 있습니다. 이를 통해 로봇 스킨, 웨어러블 센서, HRI 등 다양한 응용분야에서 활용 가능함을 보여주고 있습니다. 이러한 내용을 도식화하면 아래와 같습니다.

• <Diagram>

<Figure 2>

Figure 2는 센서 시스템의 설계와 알고리즘을 보여주는 그림입니다.

A) 센서 시스템 구성도입니다. 센서 어레이는 두 개의 전도성 리본 사이에 9개의 센서 모듈이 병렬로 연결된 구조이며, 전도성 스냅 버튼으로 모듈을 쉽게 착탈할 수 있습니다.

B) 실제 센서 모듈의 모습입니다. 상하부에 스냅 버튼이 있고, 상부에는 인덕터와 저항이, 중앙의 검은색 부분은 힘과 터치 감지를 위한 센싱 영역입니다.

C) 2개 센서 모듈로 구성된 밴드 스톱 필터(BSF) 회로도입니다. 각 센서 모듈은 i)과 같이 인덕터, 커패시터, 가변저항으로 구성되어 있습니다. 사람의 터치는 추가 커패시터 연결로 모사했습니다.

D) 센서 모듈의 텍스타일 기반 다층 구조를 보여줍니다. 상하부는 전도성 직물, 중앙은 압력에 따라 저항이 변하는 Velostat 시트로 이루어져 있습니다.

E) BSF 회로 시뮬레이션 결과입니다. i) 외부 입력이 없을 때, ii) 첫번째 모듈에 힘을 가했을 때, iii) 첫번째 모듈에 힘과 터치를 동시에 가했을 때의 주파수 응답을 보여줍니다.

F) 센싱 알고리즘 다이어그램으로 i) 아날로그 부분과 ii) 디지털 부분으로 나뉩니다. 아날로그 부분에서 chirp 신호를 입력하고 감쇠된 출력을 측정하며, 디지털 부분에서 FFT를 통해 주파수 응답의 notch를 추적해 힘과 터치를 감지합니다.

즉, Figure 2는 제안된 멀티 모달 텍스타일 센서 어레이 시스템의 전체적인 구조, 회로 설계, 동작 원리, 센싱 알고리즘을 포괄적으로 설명하고 있으며 아래와 같이 내용을 도식화할 수 있습니다.

<Diagram>

<Table 1>

Table 1은 9개의 센서 모듈에 대한 전기적 파라미터와 특성을 요약하고 있습니다. 각 센서 모듈의 특징은 아래와 같이 정리됩니다.

1. 모듈 번호(Module no.): 센서 어레이를 구성하는 9개의 센서 모듈을 나타냅니다.

2. 인덕턴스(Inductance) [μH]: 각 센서 모듈에 사용된 인덕터의 인덕턴스 값입니다. 3900μH부터 82μH 까지 다양한 값을 가집니다.

3. 중심 주파수(Center frequency) [MHz]a): 비전도성 인덴터로 0N의 힘을 가했을 때 측정된 각 센서 모듈의 중심 주파수 값입니다. 0.5347MHz부터 3.9526MHz까지 분포되어 있습니다.

4. 인덕터의 DC 저항(DC resistance of inductor) [Ω]: 각 센서 모듈에 사용된 인덕터의 DC 저항 값입니다.

5. MTFD 범위(MTFD range) [at 0N/10N]: 0N과 10N의 힘을 가했을 때 각 센서 모듈의 MTFD(Magnitude of Transfer Function at Dip frequency) 값 범위입니다.

   • Non-cond. : 비전도성 인덴터로 측정했을 때의 범위

   • Cond. : 전도성 인덴터로 측정했을 때의 범위

6. 민감도(Sensitivity) [N-1] : 센서 모듈의 힘에 대한 MTFD의 민감도입니다. 단위는 1/N입니다.

   • Non-cond. : 비전도성 인덴터로 측정했을 때의 민감도

   • Cond. : 전도성 인덴터로 측정했을 때의 민감도

이와 같이 각 센서 모듈은 서로 다른 인덕턴스 및 중심 주파수를 가지며, MTFD 범위와 힘에 대한 민감도 등의 특징이 조금씩 차이가 있습니다. 또한 비전도성/전도성 물체와의 접촉에 따라서도 특성이 달라지는 것을 확인할 수 있습니다.

<diagram>

<Figure3>

Figure 3은 센서 모듈 #6의 특성 평가 결과를 보여줍니다. 각 그래프에 대해 세부적으로 설명하면 다음과 같습니다.

A) 비전도성 인덴터를 사용한 단일 센서 모듈 테스트 결과입니다. ΔMTFD (Magnitude of Transfer Function at Dip)가 가해지는 힘에 따라 변화하는 것을 보여줍니다. 로딩과 언로딩 과정에서 이력현상(hysteresis)이 관찰됩니다. 로딩 데이터를 rational function으로 curve fitting한 결과 정확도(R-squared)가 0.9996으로 매우 높게 나타났습니다. 이 fitting 결과가 해당 센서의 보정 곡선(calibration curve)이 됩니다.

B) 전도성 인덴터를 사용한 단일 센서 모듈 테스트 결과입니다. 인덴터가 사람 피부와 닿는 상황을 모사합니다. A와 유사하게 힘에 따른 ΔMTFD 변화와 이력현상이 나타납니다. Curve fitting 정확도 역시 0.9996으로 높습니다.

C, D) 센서 어레이에 9개 모듈을 연결한 상태에서의 모듈 #6의 MTFD 결과를 단일 모듈 테스트 결과 및 보상 알고리즘 적용 후 결과와 비교합니다. 보상 전에는 다른 모듈의 간섭으로 MTFD가 낮아졌지만(주황색 선), 보상 후에는 단일 모듈 테스트 결과와 유사해졌습니다(노란색 선).
E, F) C, D의 데이터에서 초기 오프셋을 제거한 ΔMTFD 결과입니다. 보상 전 ΔMTFD 범위가 단일 모듈 테스트보다 작고 곡선 형태도 왜곡되었으나, 보상 후에는 단일 모듈 테스트 결과와 매우 유사해졌습니다.

G) 모듈 #6에 대해 비전도성(파란색)과 전도성(초록색) 인덴터를 사용한 경우의 주파수-MTFD 그래프입니다. 두 궤적이 교차없이 분리되므로 이를 바탕으로 SVM을 학습시켜 사람 접촉을 분류할 수 있음을 보여줍니다.

Figure 3은 단일 센서 모듈의 보정, 센서 어레이에서의 보상 알고리즘 적용을 통한 모듈화 평가, 사람 접촉 감지를 위한 SVM 학습 데이터 등 제안된 센서 시스템의 핵심적인 특성 평가 결과들을 잘 요약하고 있습니다.

<Diagram for Figure 3>

<Figure 4>

Figure 4는 개발된 센서 시스템의 decoupling 성능을 평가한 실험 결과를 보여줍니다.

A) 외부 간섭이 있는 상황에서 실험 셋업과 두 가지 타입의 외부 간섭원을 보여줍니다.

B) 모듈 #5에 주기적 힘을 가하면서 측정한 보상 전후의 △MTFD 값 변화를 보여줍니다. 보상 알고리즘 적용 후 raw 데이터에 비해 외부 간섭에 의한 왜곡이 크게 감소한 것을 확인할 수 있습니다.

C) 모듈 #4, #6에 비주기적 외부 힘을 가하고, 모듈 #5에 주기적 힘을 가하면서 인접 주파수를 갖는 모듈 #3, #7까지 포함해 보상 전후의 △MTFD 값 변화를 시간 축에서 보여줍니다. 보상 전에는 모듈 #5의 주기적 힘에 의해 모듈 #3, #4, #6, #7의 신호에 저주파 진동이 발생하는 간섭 현상이 나타났으나, 보상 후에는 이러한 간섭이 크게 감소했습니다. 또한 모듈 #4, #6에 비주기적 힘을 가한 순간에도 이들에 의한 간섭 오차가 보상에 의해 크게 감소했습니다. 특히 모듈 #3, #7은 보상 후 값의 변화가 거의 없을 정도로 개선되었습니다.

전체적으로 이 실험을 통해 개발된 보상 알고리즘이 인접 주파수 대역을 갖는 센서 모듈 간 간섭을 크게 감쇄시켜 각 모듈이 독립적으로 동작할 수 있게 해주는 decoupling 기능을 잘 수행함을 입증하였습니다.

<Diagram for Figure 4>

<Figure 5>

Figure 5는 제안된 센서 시스템의 성능 평가 실험 결과를 보여주고 있습니다. 크게 단일 입력 추정 실험과 다중 입력 추정 실험으로 나뉘어 있네요. 단일 입력 추정 실험에서는 로봇팔을 이용해 9개의 센서 모듈에 차례로 힘을 가했습니다.

• 비전도성 인덴터를 사용한 경우(Figure 5A-i)에는 사람 접촉이 감지되지 않고, 각 모듈 별로 힘이 개별적으로 잘 추정되었습니다. 최대 오차율은 8.613%였습니다.

• 전도성 인덴터를 사용해 사람 접촉을 모사한 경우(Figure 5A-ii)에는 사람 접촉이 잘 감지되었고, 힘 추정 결과도 대체로 잘 따라갔지만 접촉 순간에 오프셋이 발생하는 경향이 있었습니다. 이는 접촉 감지와 힘 발생 시점의 차이 때문으로 분석되었습니다. 최대 오차율은 8.125%였습니다.

다중 입력 추정 실험에서는 3개의 인덴터를 로봇팔에 장착하여 여러 모듈에 동시에 힘과 접촉을 가했습니다(Figure 5B).

• Figure 5B-i는 힘이 가해진 모듈에서만 힘이 잘 측정되었음을 보여줍니다.

• Figure 5B-ii는 전도성 인덴터로 접촉된 모듈에서만 사람 접촉이 잘 감지되었음을 보여줍니다.

• 각 모듈이 독립적으로 다중 모달 센싱을 수행할 수 있음을 확인하였습니다.

종합하면 제안된 센서 시스템이 각 모듈 별로 힘과 사람 접촉을 동시에 감지할 수 있고, 모듈 간 간섭 없이 독립적으로 동작할 수 있음을 실험을 통해 입증하였습니다. 특히 보상 알고리즘을 통해 모듈 간 간섭이 크게 줄어든 점이 핵심적인 성과로 보입니다

<Diagram>

<Figure 6>

Figure 6은 제안된 센서 시스템을 협동 로봇의 로봇 스킨에 적용한 예시입니다.

A) 전체적인 시스템 구성도로, 7개의 센서 모듈이 협동 로봇의 로봇 암과 그리퍼에 부착되어 있습니다.

B) 센서 모듈의 상세 배치도입니다: i) 5개의 모듈이 로봇 암의 마지막 링크에 균등한 간격으로 부착되어 접촉 방향을 식별하고 인간과의 충돌을 회피할 수 있도록 합니다. ii) 2개의 모듈이 스펀지와 함께 그리퍼의 손가락 끝에 부착되어 힘 기반 파지가 가능하고 인간의 신체 일부를 잡았을 때 안전하게 열 수 있습니다.

C) 전체 시스템이 ROS 환경에서 통신하는 구조도입니다.

D) Pick and place 작업 시나리오에 따른 센서 출력 결과입니다: i) 사람의 손을 잡았을 때 그리퍼를 여는 모습 ii) 설정된 힘으로 도구를 파지하는 모습 iii), vi) 인간 접촉 시 반대 방향으로 움직여 회피하는 모습 iv) 도구를 내려놓기 위해 그리퍼를 여는 모습 v) 비전도성 물체 접촉은 무시하고 움직이는 모습 협동 로봇의 기능을 확장하고 사람과 가까이서 작업할 때의 안전성을 높이는데 제안된 센서 시스템이 쉽게 통합될 수 있음을 보여줍니다.

<Diagram>

<Figure 7>

Figure 7은 글러브 센서 어레이와 로봇 핸드 센서 어레이를 시연하는 내용을 보여주고 있습니다.

A) 힘-접촉 센서와 굽힘 센서가 있는 글러브 센서 어레이를 보여줍니다. 다섯 개의 힘-접촉 센서가 네 개의 손가락 끝과 손바닥에 위치하고 있고, 네 개의 굽힘 센서가 동일한 손가락의 손등 쪽에 배치되어 있습니다.

B) 힘-접촉 센서가 장착된 로봇 핸드 센서 어레이를 보여줍니다. 다섯 개의 변형된 힘-접촉 센서 모듈이 상용 로봇 핸드(Allegro Hand, Wonik Robotics)에 부착되어 있습니다.

C) 글러브 센서 어레이의 성능을 평가하는 내용입니다: i) 각 손가락 끝의 센서를 차례로 힘 게이지로 누르는 모습 ii) 반대쪽 손을 다양한 손가락 조합으로 누르는 모습 위 그래프에서는 각 손가락의 추정 힘이 힘 게이지로 측정한 기준 힘을 개별적으로 잘 따르고 있음을 보여줍니다. 또한 힘이 측정된 모듈 번호가 접촉 추정 결과와 일치하여 멀티모달 기능이 정상적으로 작동함을 확인할 수 있습니다.

D) 부착된 센서를 이용해 설정된 힘으로 로봇 손가락이 힘을 가하는 로봇 핸드 힘 제어 내용입니다. i) 스펀지를 이용한 실험 셋업 ii) 손가락 끝 센서로 측정된 힘이 사인파 형태의 원하는 힘을 잘 따르고 있는 결과 그래프

E) 글러브 센서 어레이를 이용한 로봇 핸드 원격조종 내용입니다. i) 실험 셋업 ii) 글러브 센서 어레이로 측정된 각도와 사람 손 움직임을 따르는 로봇 핸드 관절 각도 이를 통해 제안된 센서 시스템이 착용 가능한 장치로 사용하기에 적합하며, 로봇 핸드의 기능을 확장하는 데에도 유용함을 시연하고 있습니다.

<Diagram>

Value for HCI

:Development of a Multi-modal Sensor System for Physical Interaction Between Robots and Humans

• Developed a multi-modal sensor system designed for seamless physical interaction between robots and humans.

• The modular structure and simplified fabrication method allow easy integration into various HRI (Human-Robot Interaction) systems.

• Proposed a circuit design and algorithm that drives multiple sensors with minimal wiring while eliminating interference between sensors.

• Demonstrated potential for use in key HRI fields such as collaborative robots, wearable devices, and human-computer interfaces.

한글 요약:

1. 로봇과 사람의 물리적 상호작용을 위한 다중 모달 센서 시스템 개발

2. 모듈식 구조와 간단한 제작법으로 다양한 HRI 시스템에 쉽게 통합 가능

3. 적은 배선으로 다수 센서 구동하고 센서간 간섭 제거하는 회로 설계 및 알고리즘 제안

4. 협동 로봇, 웨어러블 디바이스, 휴먼-컴퓨터 인터페이스 등 HRI 핵심 분야에서 활용 가능성 입증

In Conclusion

band-stop filter을 이용해서 무엇을 했는가 한다면?

각 센서 모듈은 인덕터, 커패시터, 가변 저항으로 구성된 band-stop filter 회로에 연결되어 있고, 병렬로 연결된 여러개의 센서 모듈로 구성된 센서 어레이에서 단 2개의 신호선으로 모든 모듈의 데이터를 읽을 수 있습니다. 각 센서 모듈에서 멀티모달 센싱이 가능한 하므로, 주파수 영역에서 band-stop filter의 stopband 변화를 분석하여 force 와 human touch를 동시에 감지합니다. 센서 모듈의 커패시터는 전도성 섬유 2개 층으로 제작되었고, 가변 저항은 piezoresistive sheet을 사용해 force에 따라 저항값이 변하도록 디자인 했습니다. 이때, 각 센서 모듈은 고유의 stopband를 가지며, 스냅 버튼으로 쉽게 어레이에 연결할 수 있음. 주파수 영역에서의 회로 전달함수 분석에 기반한 센싱 알고리즘을 개발하여, 모든 센서 모듈이 2개의 신호선만으로 독립적인 멀티모달 센싱이 가능하도록 한 것이 이 논문의 결과물입니다.

알고리즘 요약

센서 시스템의 회로는 밴드스탑 필터(BSF) 회로로 구성되어 있으며, 각 센서 모듈은 특정 정지대역(stop band)에 대응됩니다. 센서 모듈에 힘이 가해지면 압저항 시트의 저항이 변하여 해당 모듈의 정지대역의 가장 낮은 dip(vertex)의 크기(magnitude)가 주로 변합니다. 따라서 vertex의 크기로 힘을 측정합니다. 사람의 접촉은 커패시터 연결이 되는 것처럼 작용하여 vertex의 주파수를 감소시킵니다[a1]. 따라서 주파수 변화로 사람 접촉을 이진 분류하는 SVM 모델을 이용해 추정합니다. 정지대역들 사이에 주파수 영역에서의 간섭이 발생하므로, 회로 모델 기반 보상 프로세스를 통해 간섭을 감소시켜 각 센서 모듈이 개별적으로 동작하도록 합니다. 보상된 각 모듈의 데이터(크기, 주파수)와 SVM 접촉 추정 결과를 이용해 캘리브레이션 곡선을 통해 최종적으로 힘의 크기를 계산합니다.

Reference papers can be found below

https://onlinelibrary.wiley.com/doi/full/10.1002/adfm.202308571?casa_token=8BkTYBcbPTMAAAAA%3A6XlkIAJzdcnqW0QTzea1mhg5K-2TB1p0lzbLAZ0ASVo7edZ0IwqRmmP3Kn3qou1OkmswPqg1o1GU4Qo

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com

보충 설명)

[a1] 사람의 몸이 도체로 작용하여 커패시턴스를 증가시키기 때문입니다. 사람의 접촉은 band-stop 필터 회로에서 stoband의 center frequency를 결정하는 LC 직렬회로에 기생 커패시턴스를 추가하는 효과를 내어 center frequency가 감소하게 됩니다. 만약 부도체 물체라면 변화를 주지 않으므로 사람의 터치인지 여부를 구분할 수 있을 것 같습니다.