KR20220052130A

KR20220052130A - 관절 운동 측정을 위한 캘리브레이션 시스템 및 방법 이를 이용한 착용형 관절 운동 측정 장치

Info

Publication number: KR20220052130A
Application number: KR1020200136113A
Authority: KR
Inventors: 김정; 박현규; 나영진; 조준휘
Original assignee: 한국과학기술원
Priority date: 2020-10-20
Filing date: 2020-10-20
Publication date: 2022-04-27
Also published as: KR102479536B1

Abstract

관절 운동 측정을 위한 캘리브레이션 시스템 및 방법 이를 이용한 착용형 관절 운동 측정 장치에 관한 것으로, 상세하게는 소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 시스템으로서, 착용자의 관절 부위의 각도 변화에 의해 발생된 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 센서 길이 변화 추출부; 근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 상기 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 사전 학습부; 및 상기 착용자의 관절 부위의 각도 변화에 대해 수집된 모션 데이터를 기반으로, 상기 사전 캘리브레이션 모델을 조정하는 전이 학습부;를 포함하는, 캘리브레이션 시스템 및 방법 이를 이용한 착용형 관절 운동 측정 장치에 관한 것이다.

Description

관절 운동 측정을 위한 캘리브레이션 시스템 및 방법 이를 이용한 착용형 관절 운동 측정 장치{Calibration system and method for measuring joint motion, and wearable joint motion measuring apparatus using the same}

본 발명은 관절 운동 측정을 위한 캘리브레이션 시스템 및 방법 이를 이용하여 착용자의 관절 동작을 측정하는 착용형 관절 운동 측정 장치에 관한 것이다.

사고 및 노화로 인한 하지의 병변이 있는 사람들과 무거운 짐을 옮기는 작업자들의 자세나 움직임의 도움을 위한 착용형 로봇(wearable robot)들이 소개되고 있으며, 주로 사용자의 근력을 보조하기 위한 수단으로 사용된다. 이러한 착용형 로봇은 착용자의 신체의 장애 유무 또는 신체적인 특징을 기초로 제공되어야 하므로, 로봇 처방 등을 위해서는 착용자의 보행 동작 측정이 선행되어야 한다.

이를 위해서는 다양한 환경에서 사용자의 관절별 움직임을 확인하고 동작의도를 파악하는 것이 중요하다. 이러한 동작의도의 파악을 위해 다양한 동작 측정 방법이 소개되고 있다. 동작분석이란 특정 동작 동안 인체의 근골격 구조의 변화를 측정하여 관절 및 근육의 부하, 관절의 운동각, 회전 토크 등의 정보를 측정하여 보행의 형태, 보폭, 보행속도 등의 정보를 확인할 수 있는 방법을 의미한다.

종래 소개되던 동작 측정 장치는 특정 공간에 설치된 복수의 카메라와 신체의 특정 부위에 부착되는 복수의 마커, 지면 반력 측정기 등을 이용하여 공간상 관절의 이동, 회전각 및 지면 반력에 근거한 보행 상태 등을 측정하는 방식으로 구성되었다.

그러나 종래의 방법은 동작 측정 장치의 설치 시 상당한 비용이 들고, 또한 동작 분석 장치 자체가 가지는 공간적 제약으로 인하여 다양한 동작을 측정하고 분석하는 것에 있어서는 어려움이 많았으며, 각각의 마커들을 실시간으로 공간상에서 재배치하여 좌표값을 매칭시켜야 하기 때문에 복잡한 신호처리가 요구되어, 실생활 또는 다양한 환경에서의 동작 측정이 어렵다는 문제가 있었다.

한편, Xsens Motion Technol BV, no February, pp 1-7, 2009에서는 관성측정장치(Inertial measurement Unit) 기반의 웨어러블 센싱 장치가 개시된 바 있다. 관성 측정 장치는 센서의 크기가 컴팩트하고 측정성능이 우수하나, 장시간 사용시 신호의 드리프트(drift) 현상이 발생하여 신호의 신뢰도가 떨어지고 센서가 견고한 소재로 구성되어 있어 착용자의 안전성을 헤칠 수 있다는 단점이 있다. 이러한 단점을 개선하기 위해, 발전된 신호처리 기술을 사용하는 연구가 발표되고 있으나 이러한 기술은 중력방향에 대해서만 드리프트 보상이 가능하여 기술의 장점이 제한적이며, 센서의 소형화가 이루어지고 있으나 가격이 큰 폭으로 높아진다는 실용적인 단점이 있다.

이러한 관성측정 장치 기반의 웨어러블 센싱 슈트의 단점을 해결하기 위해, Adv. Funct. Mater., vol. 26, no. 11, pp. 1678-1698, Mar. 2016. 및 Int. J. Rob. Res., vol. 33, no. 14, pp. 1748-1764, Dec. 2014.에서는 천, 고무, 유체 등 유연한 센서를 기반으로 다양한 물리량을 센싱하는 소프트 센서를 활용한 웨어러블 센싱 장치가 개시된 바 있다.

이러한 소프트 센서를 활용한 웨어러블 센싱 장치는 착용감과 탈착의의 편의성을 증대시키며 부드러움을 통해 사용자의 안전성을 확보할 수 있으며, 가격경쟁력이 우수하다는 장점이 있어 근래에 신소재공학, 그래픽스, 로봇공학 등 다양한 분야의 관심을 받고 있으나, 종래의 소프트 센서를 기반한 웨어러블 동작 경우, 소프트 센서의 측정 신호의 비선형성과 이력현상이 높아, 착용자의 관절 각도로의 맵핑이 어렵다는 단점이 있으며, 이로 인해, 무릎, 팔목과 같은 제한적인 단축(Single axis, single DOF) 관절 거동에만 주로 적용되어 왔다.

이에, IEEE/ASME Trans. Mechatronics, vol. 24, no. 1, pp. 56?66, Feb. 2019.에서와 같이 이러한 신호의 복잡성을 인공지능 기술(심층신경망, Deep Neural Network)을 통해 극복하려는 시도들이 기초적인 단계에서 수행되고 있다. 발전된 캘리브레이션 기법을 사용함으로써 다양한 관절을 동시에 측정할 수 있는 전신 수트에 대한 연구가 초기의 형태로 보고되었으나, 많은 측정 데이터양의 요구 및 사전에 정해진 몇 가지 동작만을 측정할 수 있다는 단점이 있다.

이에, 실생활에서 다양한 일상 동작을 측정하기 위해서는 이러한 한계점을 극복하여 적은 데이터만으로 각 관절의 각도를 정확히 측정할 수 있는 고속, 고성능 캘리브레이션 기법이 필요하며, 이러한 고성능의 계산 모델을 바탕으로 복합적인 관절 거동을 총체적으로 측정할 수 있는 장치 디자인에 대한 개발이 요구된다.

Xsens Motion Technol BV, no February, pp 1-7, 2009. Adv. Funct. Mater., vol. 26, no. 11, pp. 1678-1698, Mar. 2016. Int. J. Rob. Res., vol. 33, no. 14, pp. 1748-1764, Dec. 2014. IEEE/ASME Trans. Mechatronics, vol. 24, no. 1, pp. 56?66, Feb. 2019.

일 측면에서의 목적은 관절 운동 측정을 위한 캘리브레이션 시스템 및 방법을 제공하는 데 있다.

또한, 다른 일 측면에서는 상기 캘리브레이션 시스템을 이용하여 착용형 관절 운동 측정 장치를 제공하는 데 있다.

상기 목적을 달성하기 위해,

일 측면에서는,

소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 시스템으로서,

착용자의 관절 부위의 각도 변화에 의해 발생된 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 센서 길이 변화 추출부;

근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 사전 학습부; 및

상기 착용자의 관절 부위의 각도 변화에 대해 수집된 모션 데이터를 기반으로, 상기 사전 캘리브레이션 모델을 조정하는 전이 학습부;를 포함하는, 캘리브레이션 시스템이 제공된다.

이때, 상기 소프트 센서는 상기 소프트 센서의 길이 변화를 상기 센서의 정전용량 변화로 측정하는 정전용량 스트레치 센서일 수 있다.

상기 캘리브레이션 시스템은 근골격계 시뮬레이션 데이터를 수집하는 시뮬레이션 데이터 수집부;를 더 포함할 수 있고, 착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하는 모션 데이터 수집부;를 더 포함할 수 있다.

상기 캘리브레이션 시스템은 복수의 소프트 센서로부터 전달받은 센서 신호로부터 관절 부위의 다 자유도에 대한 각도 변화를 유추할 수 있다.

상기 캘리브레이션 시스템은 복수의 소프트 센서로부터 전달받은 센서 신호로부터 복수의 관절 부위의 각도 변화를 동시에 유추할 수 있고, 관절의 기설정된 운동 및 설정되지 않은 동작을 유추할 수 있다.

다른 일 측면에서는,

소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 방법으로서,

착용자의 관절 부위의 각도 변화에 의해 발생된 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 단계;

근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 단계; 및

상기 착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하고, 상기 수집한 모션 데이터를 기반으로 상기 사전 캘리브레이션 모델을 조정하는 단계;를 포함하는 캘리브레이션 방법이 제공된다.

또 다른 일 측면에서는

착용자의 상기 관절 부위와 이격되도록 배치되며, 상기 관절 부위의 각도 변화에 따른 센서 신호를 생성하는 소프트 센서를 포함하는 측정부; 및

상기 캘리브레이션 시스템을 이용하여 상기 측정부의 센서 신호로부터 관절 부위의 각도 변화를 유추하는 신호처리부;를 포함하는, 착용형 관절 운동 측정 장치가 제공된다.

상기 측정부는 상기 소프트 센서의 일단으로부터 연장 형성된 제1 고정 부재; 및 상기 소프트 센서)의 타단으로부터 연장 형성된 제2 고정 부재;를 더 포함할 수 있다.

상기 측정부는 복수의 소프트 센서를 포함할 수 있다.

상기 착용형 관절 운동 측정 장치는 상기 측정부의 신호를 상기 신호처리부로 전달하는 신호 전달부;를 더 포함할 수 있다.

또한, 상기 착용형 관절 운동 측정 장치는 사용자의 신체 중 적어도 일부가 착용되며 상기 측정부와 연결되는 착용부;를 더 포함할 수 있다.

또한, 상기 착용형 관절 운동 측정 장치는 상기 신호처리부에서 생성된 관절 각도 변화를 출력하는 신호 출력부;를 더 포함할 수 있다.

일 측면에서 제공되는 관절 운동을 감지하는 소프트 센서의 캘리브레이션 시스템 및 방법은 소프트 센서를 이용하여 착용자의 관절의 모든 자유도에 대한 각도 측정이 가능하며, 근골격계 시뮬레이션을 통해 풍부한 데이터로부터 사전 캘리브레이션 모델을 생성 및 학습하고, 착용자 별 맞춤형 캘리브레이션을 진행하여 상기 사전 캘리브레션 모델을 조정함으로써, 착용자의 적은 모션데이터만으로도 높은 성능의 캘리브레이션을 완수할 수 있으며, 기 설정된 동작뿐 아니라, 기 설정되지 않은 일상 속에서의 다양한 동작을 빠르고 정확하게 측정할 수 있다.

또한, 다른 일 측면에 따른 착용형 관절 운동 측정 장치는 착용을 통해 착용자의 관절 동작을 공간의 제약 없이 실시간으로 고성능 및 고속으로 측정할 수 있다.

도 1은 일 측면에서 제공되는 캘리브레이션 시스템을 개략적으로 나타낸 모식도이고
도 2는 다른 일 측면에서 제공되는 착용형 관절 운동 측정 장치의 측정부를 나타낸 모식도이고,
도 3은 상기 정적용량 측정방식의 스트레치 센서의 일 실시 예를 나타낸 모식도이고,
도 4는 발목 관절 운동을 측정하기 위해 착용자의 발목에 측정부를 배치한 사진이고,
도 5는 도 4와 같이 배치한 측정부를 포함하는 관절 운동 측정 장치를 이용하여 발목 관절의 2 자유도 거동을 측정한 실험 결과를 나타낸 사진 및 그래프이고,
도 6은 일 측면에서 제공되는 캘리브레이션 시스템, 시뮬레이션 데이터에 기반한 캘리브레이션 시스템을 이용한 발목 관절 움직임의 측정 성능을 비교한 그래프이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

일 측면에서는

도 1은 일 측면에서 제공되는 캘리브레이션 시스템을 개략적으로 나타낸 모식도이다.

이하, 일 측면에서 제공되는 캘리브레이션 시스템을 도면을 참조하여 상세히 설명한다.

일 측면에서 제공되는 캘리브레이션 시스템은 소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 시스템으로서, 보다 상세하게는 소프트 센서를 착용한 착용자의 관절 부위의 각도 변화를 유추하는 캘리브레이션 모델을 생성하는 시스템일 수 있다.

상기 캘리브레이션 시스템은 캘리브레이션 모델을 생성하기 위해 상기 소프트 센서를 착용한 착용자의 모션 데이터를 수집하는 모션 데이터 수집부를 더 포함할 수 있다.

상기 모션 데이터는 상기 소프트 센서를 착용한 착용자의 관절 운동에 따른 상기 소프트 센서의 신호 변화 및 관절 부위의 각도 변화 데이터로서, 상기 소프트 센서를 착용한 착용자의 모션 캡쳐 실험(motion capture experiment)을 통해 수집될 수 있다.

상기 모션 캡쳐 실험은 모션 캡쳐 카메라를 포함하는 모션 캡쳐 시스템을 이용하여 측정될 수 있다. 일례로, 착용자의 신체에 소트프 센서를 착용하고, 착용자의 관절 운동 즉, 관절의 각도 변화를 모션 캡쳐 카메라를 통해 측정함으로써, 상기 소프트 센서의 신호 변화에 따른 관절 부위의 각도 변화를 측정할 수 있다.

이때 상기 소프트 센서는 유연성 및/또는 신축성을 갖는 센서로, 인장 또는 굽힘과 같은 변형을 측정하는 스트레치 센서(또는 스트레인 센서)일 수 있고, 보다 바람직하게는 센서의 길이 변화에 따라 정전용량이 변화하는 정전용량 측정방식의 스트레치 센서(또는 스트레인 센서)일 수 있다.

상기 정전용량 측정방식의 스트레치 센서는 소프트 센서 중 선형성(linearity) 및 반복성(repeatability)이 우수하고, 이력 현상(hysteresis)이 낮은 장점이 있다. 이에, 소프트 센서로서 센서 신호에 대해 관절 각도의 맵핑이 보다 용이할 수 있다.

상기 캘리브레이션 시스템은 착용자의 관절 부위의 각도 변화에 의해 발생된 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 센서 길이 변화 추출부를 포함한다.

상기 센서 길이 변화 추출부는 이하, S-map(Sensor calibaration map) 부로 언급될 수 있다.

상기 S-map부는 착용자의 관절의 각도 변화에 따라 상기 소프트 센서의 길이가 변화하도록 상기 소프트 센서를 착용한 착용자의 관절 운동에 따라 발생되는 상기 소프트 센서 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 구성일 수 있다.

상기 S-map부는 상기 소프트 센서의 비선형성 및/또는 이력 현상을 보상하는 신호 변환부를 더 포함할 수 있으며, 이를 통해, 센서 신호의 비선형성 및/또는 이력 현상을 보상함으로써, 선형성(linearity)을 높이고 이력 현상(hysteresis)을 낮출 수 있다.

이에, 일 측면에서 제공되는 캘리브레이션 시스템은 상기 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 구성을 더 포함함으로써, 상기 소프트 센서의 신호로부터 관절의 각도 변화를 직접 유추하는 캘리브레이션 시스템 대비, 상기 소프트 센서의 신호로부터 센서의 길이 변화를 보다 정확하게 맵핑할 수 있다.

상기 S-map부는 일례로, 상기 소프트 센서로서 정전용량 측정방식의 스트레치 센서를 사용하여 상기 센서로부터 감지되는 정적 용량의 변화를 선형 계산법 또는 이력현상을 보상하는 계산법을 이용하여 센서의 길이 변화로 변환시킬 수 있다.

상기 캘리브레이션 시스템은 근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 사전 학습부를 포함한다.

상기 사전 학습부는 이하, MD-net(Motion decoding net)부로 언급될 수 있다.

상기 MD-net부는 상기 S-map부 이후에 수행되는 단계를 위한 구성으로, 상기 S-map부에서 추출한 센서의 길이 변화를 시뮬레이션 데이터를 기반으로 관절 부위의 각도 변화로 변환할 수 있고, 사전 캘리브레이션 모델을 생성 및 학습하는 구성일 수 있다.

이를 위해, 상기 캘리브레이션 시스템은 근골격계 시뮬레이션 데이터를 수집하는 시뮬레이션 데이터 수집부를 더 포함할 수 있다.

상기 시뮬레이션 데이터 수집부는 웨어러블 로봇의 동작을 유추하기 위한 시뮬레이션 데이터가 저장된 저장소 일례로, OpenSim 4.0 software로부터 데이터를 수집할 수 있다.

상기 MD-net부에서 복잡한 관절 운동에 대해 보다 많은 시뮬레이션 데이터를 통해 생성 및 학습된 상기 사전 캘리브레이션 모델은 기 설정된 관절 운동 이외에 설정되지 않은 다양한 관절 운동을 유추할 수 있다.

이때, 상기 MD-net부의 학습은 상기 근골격계 시뮬레이션 데이터를 기반으로 딥러닝 손실 함수(MSE, mean squared error) 및 adam(adaptive moment estimation) optimizer 알고리즘을 이용하여 수행될 수 있으나 이에 제한된 것은 아니며, 시뮬레이션 데이터를 기반으로 학습시키는 다양한 알고리즘이 사용될 수 있다.

상기 캘리브레이션 시스템은 착용자의 관절 부위의 각도 변화에 대해 수집된 모션 데이터를 기반으로, 상기 사전 캘리브레이션 모델을 조정하는 전이 학습부를 포함한다.

상기 전이 학습부는 이하, T-net(Transfer-net)부로 언급될 수 있다.

상기 T-net부는 시뮬레이션을 기반으로 학습된 사전 캘리브레이션 모델을 상기 모션 데이터를 기반으로 착용자에 맞도록 미세 조정하는 단계로서, 상기 T-net부를 통해 상기 사전 캘리브레인션 모델을 미세 조정하여 착용자별 맞춤형 캘리브레이션 모델을 생성할 수 있다.

도 6(a)는 모델 구축을 위해 사용한 발목 관절 움직임에 대해, 일 측면에서 제공되는 캘리브레이션 시스템을 통해 생성한 캘리브레이션 모델(Tranfer model) 및 근골격계 시뮬레이션 데이터에 기반하여 생성한 캘리브레이션 모델(Direct model)을 이용하여 측정한 결과를 모션 캡쳐로 측정한 실제 발의 움직임(Reference)과 비교한 그래프이고, 도 6(b)는 모델 구축을 위해 사용하지 않은 임의의 발목 관절 움직임에 대해, 일 측면에서 제공되는 캘리브레이션 시스템을 통해 생성한 캘리브레이션 모델(Tranfer model) 및 근골격계 시뮬레이션 데이터에 기반하여 생성한 캘리브레이션 모델(Direct model)을 이용하여 측정한 결과를 모션 캡쳐로 측정한 실제 발의 움직임(Reference)과 비교한 그래프이다.

도 6(a)에 도시한 바와 같이, 모델 구축을 위해 사용한 발목 관절 움직임에 대해서는 Tranfer model 및 Direct model 모두 실제 발목의 움직임과 유사한 결과를 나타낸 반면, 도 6(b)에 도시한 바와 같이, 모델 구축에 사용되지 않은 임의의 발목 움직임에 대해서는 Tranfer model은 실제 발목의 움직임과 유사한 반면 Direct model은 실제 발목의 움직임과의 유사성이 낮음을 알 수 있다.

상기 결과와 같이, 일 측면에서 제공되는 캘리브레이션 시스템은 풍부한 시뮬레이션 데이터를 기반으로 사전 캘리브레이션 모델을 이용함으로써, 기 설정된 관절 동작 이외에 기설정되지 않은 다양한 관절 동작을 유추할 수 있는 동시에, 상기 사전 캘리브레이션 모델이 착용자의 모션 데이터를 기반으로 미세 조정됨으로써, 적은 모션 데이터만으로도 정확성이 높이 캘리브레이션을 수행할 수 있는 캘리브레이션 모델을 생성하는 장점이 있다.

상기 T-net부는 착용자의 관절 부위의 각도 변화에 대해 수집된 모션 데이터를 기반으로 시뮬레이션 데이터 상의 각도 변화와 착용자의 각도 변화를 선형적으로 맵핑할 수 있다.

시뮬레이션 데이터 상의 각도 변화와 착용자의 각도 변화의 관계는 비선형적이다. 이를 선형적으로 맵핑하기 위해, 각각의 각도변화를 발끝의 직교 좌표계의 좌표값으로 변환 후 이를 선형으로 맵핑을 하는 방법이 수행될 수 있다. 이러한 방법으로 선형관계를 다룸으로써 적은 데이터로 고속으로 쉽게 관계를 구축할 수 있는 장점이 있다.

일 측면에서 제공되는 캘리브레이션 시스템은 상기 시스템은 복수의 소프트 센서로부터 전달받은 센서 신호로부터 관절 부위의 다 자유도에 대한 각도 변화를 유추할 수 있고, 복수의 관절 부위의 각도 변화를 동시에 유추할 수 있다.

또한, 종래의 경우, 소프트 센서를 이용하여 관절 각도를 직접적으로 맵핑하는 단대단(end-to-end) 방식을 사용하므로, 소프트 센서의 높은 비선형성 및 이력 현상으로 인해 유추된 관절 운동의 정확도 및 신뢰도가 낮은 문제가 있는 반면, 일 측면에서 제공되는 캘리브레이션 시스템은 복수의 단계로 나눠진 모듈화 방식을 사용하여 캘리브레이션 모델을 생성함으로써, 각 단계를 용이하게 조정할 수 있고, 소프트 센서의 선형성 및 이력현상을 낮춰 정확성을 높이는 동시에 캘리브레이션을 고속으로 수행할 수 있는 장점이 있다.

한편, 다른 일 측면에서는,

소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 단계;

착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하고, 상기 수집한 모션 데이터를 기반으로 상기 사전 캘리브레이션 모델을 조정하는 단계;를 포함하는 캘리브레이션 방법이 제공된다.

이하, 상기 캘리브레이션 방법을 각 단계별로 상세히 설명한다.

상기 캘리브레이션 방법은 소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 방법으로서, 전술한 캘리브레이션 시스템을 이용하여 캘리브레이션 모델을 생성하는 방법일 수 있다.

상기 캘리브레이션 방법은 소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하기 위해 상기 소프트 센서를 착용한 착용자의 모션 데이터를 수집하는 단계를 수행할 수 있다.

상기 모션 데이터는 상기 소프트 센서를 착용한 착용자의 모션 캡쳐 실험(motion capture experiment)을 통해 수집될 수 있다.

이후, 상기 캘리브레인션 방법은 상기 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 단계를 포함한다.

상기 단계는 상기 모션 캡쳐 실험 시 발생된 소프트 센서의 신호를 처리하는 단계일 수 있다.

상기 단계는 S-map(Sensor calibaration map) 단계로 언급될 수 있다.

상기 S-map 단계는 착용자의 관절의 각도 변화에 따라 상기 소프트 센서의 길이가 변화하도록 상기 소프트 센서를 착용한 착용자의 관절 운동에 따라 발생되는 상기 소프트 센서 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 단계일 수 있다.

상기 S-map 단계는 상기 소프트 센서의 비선형성 및/또는 이력 현상을 보상하는 신호 변환부를 더 포함할 수 있으며, 이를 통해, 센서 신호의 비선형성 및/또는 이력 현상을 보상함으로써, 상기 소프트 센서의 신호로부터 센서의 길이 변화를 보다 정확하게 맵핑할 수 있다.

다음, 상기 캘리브레이션 방법은 근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 단계를 포함한다.

상기 단계는 이하, MD-net(Motion decoding net) 단계로 언급될 수 있다.

상기 MD-net 단계는 상기 S-map 단계 이후에 수행되는 단계로, 상기 S-map 단계에서 추출한 센서의 길이 변화를 시뮬레이션 데이터를 기반으로 관절 부위의 각도 변화로 변환할 수 있고, 사전 캘리브레이션 모델을 생성 및 학습하는 단계일 수 있다.

이를 위해, 상기 캘리브레이션 방법은 근골격계 시뮬레이션 데이터를 수집하는 시뮬레이션 데이터 수집하는 단계를 더 포함할 수 있다.

상기 시뮬레이션 데이터는 웨어러블 로봇의 동작을 유추하기 위한 시뮬레이션 데이터가 저장된 저장소 일례로, OpenSim 4.0 software로부터 수집될 수 있다.

상기 MD-net 단계에서 복잡한 관절 운동에 대해 보다 많은 시뮬레이션 데이터를 통해 생성 및 학습된 상기 사전 캘리브레이션 모델은 기 설정된 관절 운동 이외에 설정되지 않은 다양한 관절 운동을 유추할 수 있다.

이때, 상기 MD-net 단계의 학습은 상기 근골격계 시뮬레이션 데이터를 기반으로 딥러닝 손실 함수(MSE, mean squared error) 및 adam(adaptive moment estimation) optimizer 알고리즘을 이용하여 수행될 수 있으나 이에 제한된 것은 아니며, 시뮬레이션 데이터를 기반으로 학습시키는 다양한 알고리즘이 사용될 수 있다.

다음, 상기 캘리브레이션 방법은 착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하고, 상기 수집한 모션 데이터를 기반으로 상기 사전 캘리브레이션 모델을 조정하는 단계를 포함한다.

상기 단계는 이하, T-net(Transfer-net) 단계로 언급될 수 있다.

상기 T-net 단계는 시뮬레이션을 기반으로 학습된 사전 캘리브레이션 모델을 상기 모션 데이터를 기반으로 착용자에 맞도록 미세 조정하는 단계로서, 상기 T-net부를 통해 착용자에 맞는, 맞춤형 캘리브레이션 모델이 형성될 수 있다.

상기 T-net 단계는 착용자의 관절 부위의 각도 변화에 대해 수집된 모션 데이터를 기반으로 시뮬레이션 데이터 상의 각도 변화와 착용자의 각도 변화를 선형적으로 맵핑할 수 있다.

또한, 다른 일 측면에서는

이하, 다른 일 측면에서 제공되는 착용형 관절 운동 측정 장치를 도면을 참조하여 상세히 설명한다.

도 2는 다른 일 측면에서 제공되는 착용형 관절 운동 측정 장치의 측정부(100)를 나타낸 모식도이다.

다른 일 측면에 따른 착용형 관절 운동 측정 장치는 착용을 통해 관절 운동, 바람직하게는 관절의 각도 변화를 측정하는 장치일 수 있고, 보다 바람직하게는 ㄱ관절의 다 자유도에 대한 각도 변화를 측정하는 장치일 수 있다.

이때, 상기 관절은 무릎 관절, 발목, 손목, 고관절 등으로, 1 자유도를 갖는 관절일 수 있고, 2 자유도 이상의 다자유도를 갖는 관절일 수 있다.

또한, 다른 일 측면에 따른 착용형 관절 운동 측정 장치는 근골격계 시뮬레이션 데이터기반의 전이학습된 상기 캘리브레이션 시스템을 이용하여 기 설정된 동작 이외에 정의되지 않은 일상의 다양한 동작을 빠르고 정확하게 측정할 수 있다.

상기 측정부(100)는 소프트 센서(10)를 포함한다.

상기 소프트 센서(10)는 유연성 및/또는 신축성을 갖는 센서로, 인장 또는 굽힘과 같은 변형을 측정하는 스트레치 센서(또는 스트레인 센서)일 수 있고, 보다 바람직하게는 센서의 길이 변화에 따라 정전용량이 변화하는 정전용량 측정방식의 스트레치 센서(또는 스트레인 센서)일 수 있다.

상기 정전용량 측정방식의 스트레치 센서는 절연체 층 사이에 전도체 층이 형성된 구조로 형성될 수 있다.

도 3은 상기 정적용량 측정방식의 스트레치 센서의 일 실시 예를 나타낸 모식도로, 도 3에 도시된 바와 같이, 상기 정적용량 측정방식의 스트레치 센서는 3개의 전도체 층(제1 내지 제3 전도체층) 사이에 2개의 절연체 층(제1 및 제2 절연체 층)이 배치된 5층 구조로 형성될 수 있으나 이에 제한된 것은 아니며, 센서의 길이 변화에 따라 정전용량이 변화하는 특성을 나타내는 다른 다양한 형태로 구성될 수 있다.

한편, 상기 소프트 센서(10)는 관절 운동 측정 시 착용자의 관절 부위와 이격되도록 배치되는 것이 바람직할 수 있다. 이는, 센서에 길이 변화 이외에 추가 변형이 발생되어, 관절의 각도 변화의 측정 신뢰성을 저하시키는 문제를 방지하기 위함으로, 만약, 상기 소프트 센서(10)가 착용자의 관절 부위의 표면상에 배치될 경우, 눌림, 휘어짐 등의 추가 변형이 발생될 수 있다.

이에, 상기 소프트 센서(10)는 예를 들어, 관절 운동 측정 시 착용자의 관절 부위로부터 제1 방향으로 연장 형성된 제1 링크 또는 상기 관절 부위로부터 제2 방향으로 연장 형성된 제2 링크 상에 배치될 수 있다.

이때, 상기 제1 링크 및 제2 링크는 관절과 연결된 부위를 의미할 수 있다. 일례로, 도 1에 도시한 바와 같이, 상기 관절이 착용자의 무릎 관절일 경우, 상기 제1 링크는 정강이일 수 있고, 제2 링크는 대퇴부일 수 있다.

한편, 상기 측정부(100)는 상기 소프트 센서(10)를 착용자의 관절 부위와 이격되도록 배치하되, 사용자의 관절 운동 시 상기 관절의 각도 변화에 따라 상기 소프트 센서(10)의 길이가 변하도록 상기 소트프 센서(10) 및 관절을 연결하기 위한 구성으로서, 상기 소프트 센서(10)의 일단으로부터 연장 형성된 제1 고정 부재(20) 및 상기 소프트 센서(10)의 타단으로부터 연장 형성된 제2 고정 부재(30)를 더 포함할 수 있다.

상기 제1 고정 부재(20)는 상기 소프트 센서(10)의 일단을 상기 제1 링크에 고정시킬 수 있고, 상기 제2 고정 부재(30)는 상기 소프트 센서(10)의 타단을 상기 관절 부위로부터 제2 방향으로 연장 형성된 제2 링크에 고정시킬 수 있다.

또한, 상기 제1 고정 부재(20) 및 제2 고정 부재(30)는 상기 소프트 센서를 착용자의 관절과 연결하되, 관절의 각도 변화에 따라 신축되지 않도록 신축성 및/또는 유연성이 미비하거나 없는 소재로 구성되는 것이 바람직할 수 있다.

한편, 상기 측정부(100)는 복수의 소프트 센서를 포함할 수 있다.

상기 소프트 센서는 관절의 자유도의 개수만큼 각 관절에 대해 복수 개 배치될 수 있고, 이를 통해 각각의 센서마다 관절의 각 자유도의 관절 각도 변화를 검출함으로써, 관절 내 모든 자유도에 대한 각도 변화를 측정할 수 있다. 일례로, 발목의 2 자유도 관절을 측정하기 위해, 각 자유도의 관절 축에 대한 수직방향으로 각각 두 개의 소프트 센서가 정강이에 배치될 수 있다.

또한, 상기 소프트 센서를 복수의 관절에 대해 배치함으로써, 복수의 관절의 각도 변화를 동시에 측정할 수 있다.

상기 측정부(100)는 상기 복수의 소프트 센서 각각을 착용자의 신체 중 일부에 고정하고, 상기 복수의 소프트 센서 각각을 관절과 연결하기 위해 상기 복수의 소프트 센서 각각의 일단 및 타단에 연장 형성된 상기 제1 고정 부재 및 제2 고정부재를 더 포함할 수 있다.

도 4는 발목 관절 운동을 측정하기 위해 일 측면에 따른 측정부(100)를 배치한 사진이고, 도 5는 도 4와 같이 측정부(100)를 배치하여 상기 발목 관절의 2 자유도 거동을 측정한 실험 결과를 나타낸 사진 및 그래프이다.

도 4에 도시한 바와 같이, 발목 관절 운동을 측정하기 위해, 상기 측정부(100)는 4개의 소프트 센서(10)를 포함할 수 있고, 상기 4개의 소프트 센서(10)는 거퇴관절 축(talocrural joint axis) 상에 배치되는 발등굽힘(dorsiflexion)을 측정하는 제1 소프트 센서(DF sensor), 발바닥 굽힘(plantar flexion)을 측정하는 제2 소프트 센서(PF sensor)를 포함할 수 있고, 거골하관절 축(subtalar joint axis) 상에 외전(supination)을 측정하는 제3 소프트 센서(SU sensor) 및 내전(pronation)을 측정하는 제4 소프트 센서(PF sensor)를 포함할 수 있고, 도 5에 도시한 바와 같이, 상기 측정부(100)를 통해 다자유도의 관절 운동을 측정할 수 있다.

한편, 다른 일 측면에서 제공되는 착용형 관절 운동 측정 장치는 상기 캘리브레이션 시스템을 이용하여 상기 측정부의 센서 신호로부터 관절 부위의 각도 변화를 유추하는 신호처리부를 포함한다.

상기 신호처리부는 상기 캘리브레이션 시스템을 이용하여 생성된 캘리브레이션 모델을 이용함으로써, 하나의 관절 내 다 자유도에 대한 다양한 운동을 측정할 수 있고, 또한 복수의 관절에 대한 운동을 동시에 측정할 수 있다.

상기 캘리브레이션 시스템은 전술된 캘리브레이션 시스템의 구성을 일부 또는 전부 포함할 수 있다.

상기 신호 전달부는 상기 측정부에서 발생된 신호를 유선 또는 무선 통신 방법으로 상기 신호 전달부로 전달할 수 있다.

상기 신호 전달부는 착용자의 신체 중 일부 예를 들어, 착용자의 허리에 착용될 수 있으나 이에 제한된 것은 아니며, 착용 또는 미착용 상태로 상기 측정부 및 신호 처리부와 통신적으로 연결할 수 있다.

상기 착용형 관절 운동 측정 장치는 또한, 사용자의 신체 중 적어도 일부가 착용되며 상기 측정부(100)와 연결되는 착용부를 더 포함할 수 있다.

상기 착용부는 상기 측정부와 연결된 상태로 사용자의 신체 중 일부에 착용될 수 있는 구성으로, 슈트(suit) 형태일 수 있다.

이때 상기 슈트는 사용자의 신체 전신에 착용되는 전신 슈트 형태일 수 있고, 또는 사용자의 신체 각 부위에 맞게 모듈화된 부분 슈트 형태일 수 있다.

일례로 발목 관절의 운동을 측정하기 위해 상기 착용부는 발에 착용되는 신발형태로서 상기 측정부(100)의 일단에 상기 신발 형태의 착용부에 연결되고, 상기 측정부(100)의 타단이 착용자의 신체 중 일부에 고정될 수 있으며, 상기 신발 형태의 착용부를 착용한 상태로 발목 관절을 움직임으로써 상기 발목 관절에 연결된 소프트 센서 및 상기 소프트 센서와 통신적으로 연결된 신호 처리부를 통해 상기 발목 관절의 움직임을 측정할 수 있다.

상기 착용형 관절 운동 측정 장치는 상기 신호처리부에서 생성된 관절 각도 변화를 출력하는 신호 출력부;를 더 포함할 수 있다.

상기 신호 출력부는 상기 신호처리부에서 처리된 신호를 사용자에게 출력하는 구성으로, 디스플레이 등의 화상 출력부일 수 있으나 이에 제한된 것은 아니며, 디지털 신호를 처리하는 다양한 신호 출력장치가 사용될 수 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 예에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

10: 소프트 센서
20: 제1 고정 부재
30: 제2 고정 부재
100: 착용형 관절 운동 측정 장치의 측정부

Claims

소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 시스템으로서,
착용자의 관절 부위의 각도 변화에 의해 발생된 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 센서 길이 변화 추출부;
근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 상기 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 사전 학습부; 및
상기 착용자의 관절 부위의 각도 변화에 대해 수집된 모션 데이터를 기반으로, 상기 사전 캘리브레이션 모델을 조정하는 전이 학습부;를 포함하는, 캘리브레이션 시스템.
제1항에 있어서,
상기 소프트 센서는 상기 소프트 센서의 길이 변화를 상기 센서의 정전용량 변화로 측정하는 정전용량 스트레치 센서인, 캘리브레이션 시스템.
제1항에 있어서,
상기 캘리브레이션 시스템은
착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하는 모션 데이터 수집부;를 더 포함하는, 캘리브레이션 시스템.
제1항에 있어서,
상기 캘리브레이션 시스템은
근골격계 시뮬레이션 데이터를 수집하는 시뮬레이션 데이터 수집부;를 더 포함하는, 캘리브레이션 시스템.
제1항에 있어서,
상기 캘리브레이션 시스템은 복수의 소프트 센서로부터 전달받은 센서 신호로부터 관절 부위의 다자유도에 대한 각도 변화를 유추하는, 캘리브레이션 시스템.
제1항에 있어서,
상기 캘리브레이션 시스템은 복수의 소프트 센서로부터 전달받은 센서 신호로부터 복수의 관절 부위의 각도 변화를 동시에 유추하는, 캘리브레이션 시스템.
제1항에 있어서,
상기 캘리브레이션 시스템은
관절의 기설정된 운동 및 설정되지 않은 동작을 유추하는, 캘리브레이션 시스템.
소프트 센서의 신호로부터 관절 운동을 유추하는 캘리브레이션 모델을 생성하는 캘리브레이션 방법으로서,
착용자의 관절 부위의 각도 변화에 의해 발생된 소프트 센서의 신호로부터 상기 소프트 센서의 길이 변화를 추출하는 단계;
근골격계 시뮬레이션 데이터를 기반으로 상기 소프트 센서의 길이 변화로부터 관절 부위의 각도 변화를 유추하는 사전 캘리브레이션 모델을 생성 및 학습시키는 단계; 및
상기 착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하고, 상기 수집한 모션 데이터를 기반으로 상기 사전 캘리브레이션 모델을 조정하는 단계;를 포함하는 캘리브레이션 방법.
제8항에 있어서,
상기 캘리브레이션 방법은
착용자의 관절 부위의 각도 변화에 대한 모션 데이터를 수집하는 단계;를 더 포함하는, 캘리브레이션 방법.
제8항에 있어서,
상기 캘리브레이션 방법은
근골격계 시뮬레이션 데이터를 수집하는 시뮬레이션 데이터를 수집하는 단계;를 더 포함하는, 캘리브레이션 시스템.
착용자의 상기 관절 부위와 이격되도록 배치되며, 상기 관절 부위의 각도 변화에 따른 센서 신호를 생성하는 소프트 센서를 포함하는 측정부; 및
제1항의 캘리브레이션 시스템을 이용하여 상기 측정부의 센서 신호로부터 관절 부위의 각도 변화를 유추하는 신호처리부;를 포함하는, 착용형 관절 운동 측정 장치.
제11항에 있어서,
상기 측정부는
상기 소프트 센서의 일단으로부터 연장 형성된 제1 고정 부재; 및
상기 소프트 센서)의 타단으로부터 연장 형성된 제2 고정 부재;를 더 포함하는, 착용형 관절 운동 측정 장치.
제11항에 있어서,
상기 착용형 관절 운동 측정 장치는
상기 측정부의 신호를 상기 신호처리부로 전달하는 신호 전달부;를 더 포함하는, 착용형 관절 운동 측정 장치.
제11항에 있어서,
상기 착용형 관절 운동 측정 장치는
사용자의 신체 중 적어도 일부가 착용되며 상기 측정부와 연결되는 착용부;를 더 포함하는, 착용형 관절 운동 측정 장치.
제11항에 있어서,
상기 착용형 관절 운동 측정 장치는
상기 신호처리부에서 생성된 관절 각도 변화를 출력하는 신호 출력부;를 더 포함하는, 착용형 관절 운동 측정 장치.