KR101950359B1 - 하이브리드 모션캡쳐 시스템의 위치 추정 방법 - Google Patents
하이브리드 모션캡쳐 시스템의 위치 추정 방법 Download PDFInfo
- Publication number
- KR101950359B1 KR101950359B1 KR1020160162077A KR20160162077A KR101950359B1 KR 101950359 B1 KR101950359 B1 KR 101950359B1 KR 1020160162077 A KR1020160162077 A KR 1020160162077A KR 20160162077 A KR20160162077 A KR 20160162077A KR 101950359 B1 KR101950359 B1 KR 101950359B1
- Authority
- KR
- South Korea
- Prior art keywords
- capture system
- motion capture
- rigid body
- error
- sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/003—Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Gyroscopes (AREA)
Abstract
본 발명은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템이 융합된 하이브리드 모션캡쳐 시스템에서 센서식 모션캡쳐 시스템의 구성요소인 모션센서가 추정한 위치에 대한 오차를 광학식 모션캡쳐 시스템에서 보상할 수 있도록 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법에 관한 것이다.
본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 강체(rigid body) 위치 추정 정보를 융합하여 강체의 위치를 추정하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서, 상기 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계와; 상기 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와; 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아, 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고, 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하는 것을 특징으로 한다.
본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 강체(rigid body) 위치 추정 정보를 융합하여 강체의 위치를 추정하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서, 상기 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계와; 상기 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와; 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아, 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고, 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하는 것을 특징으로 한다.
Description
본 발명은 강체의 위치 추정 방법에 관한 것으로, 특히 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템이 융합된 하이브리드 모션캡쳐 시스템에서 센서식 모션캡쳐 시스템의 구성요소인 모션센서가 추정한 위치에 대한 오차를 광학식 모션캡쳐 시스템에서 보상할 수 있도록 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법에 관한 것이다.
모션 캡쳐(Motion Cature)란 인체 또는 사물 등(이하, 강체로 총칭한다)에 센서를 부착시키거나, 적외선 카메라 등을 이용하는 방법으로 강체의 움직임을 파악하여 디지털 형태로 기록하는 작업을 말한다. 이러한 모션 캡쳐를 통해 얻어지는 모션 캡쳐 데이터는 디지털 콘텐츠로서, 애니메이션이나 영화 게임, 동작분석, 재활 등 다양하게 활용된다.
종래 모션 캡쳐 시스템으로는 여러 대의 카메라를 통해서 반사 마커의 위치를 추적함으로서 강체의 모션 캡쳐를 수행하는 광학식 모션캡쳐 시스템(Optical Position System)이 있는데, 이러한 광학식 모션캡쳐 방식은 마커가 관찰 가능할 때 정밀한 위치정보를 제공해 줄 수 있다. 하지만, 이러한 광학식 모션캡쳐 시스템은 반사 마커를 촬영하는 가시카메라의 수와 빛 반사 등의 외부 교란 신호, 반사 마커의 가림에 의해 정상 동작이 불가능해지는 경우가 발생하는 단점이 있다.
다른 방식으로 인체나 사물에 모션센서를 부착하고 이 모션센서의 움직임을 파악하여 모션 캡쳐를 수행하는 센서식 모션캡쳐 시스템이 이용되기도 하는데, 이 방식은 모션센서를 부착하는 방식이기 때문에 광학식에 비하면 사용자의 착용이 수월한 편이다. 이러한 센서식 모션캡쳐 방식은 광학식 모션캡쳐 방식에 비해 외부 환경의 영향을 덜 받지만, 센서의 바이어스 오차, 환산계수 오차, 비정렬 오차, 초기정렬 오차 등의 요인으로 오차가 급격히 증가하는 문제점이 있었다.
본 발명은 상기 종래 광학식 또는 센서식 모션캡쳐 시스템에서 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템을 융합하여 서로의 단점을 보완하는 하이브리드 모션캡쳐 시스템을 제공하되, 하이브리드 모션캡쳐 과정에서 발생하는 오차를 보상하여 강체의 정확한 위치 추정이 가능하도록 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 강체(rigid body) 위치 추정 정보를 융합하여 강체의 위치를 추정하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서, 상기 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계와; 상기 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와; 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아, 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고, 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하게 된다.
여기에서, 상기 칼만필터는 강체 위치에 대한 최종 추정값을 센서식 모션캡쳐 시스템에 피드백하여, 상기 센서식 모션캡쳐 시스템의 모션센서 오차 누적을 보상하도록 한다.
상기 통합 칼만필터는 이전 시간에서의 상기 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 센서식 모션캡쳐 시스템의 모션센서 출력값 센서오차를 이용하여 예측값을 계산하고, 상기 센서식 모션캡쳐 시스템의 모션센서에서 추정한 강체의 속도와 상기 두 시스템의 위치 차이를 이용하여 측정값을 계산하며, 상기 구해진 측정값에서 예측값을 빼줌으로서 오차 값()을 계산하고, 상기 계산된 오차 값에 칼만이득(Kk)을 곱한 값과 이전 추정값을 더함으로서 최종 추정값()을 산출하게 된다.
상기 통합 칼만필터의 상태모델은 다음의 수학식과 같이 나타낸다.
[수학식]
(여기서, x는 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 모션센서 출력값의 센서오차를 원소로 하는 입력값이고, F는 시간(t)에 따라 에러를 전달하는 다이나믹 행렬로 위치 오차, 속도 오차, 자세 오차, 자이로센서 오차, 가속도센서 오차를 포함하며, Gw(t)는 노이즈를 나타낸다)
또한, 상기 통합 칼만필터의 업데이트 단계를 위한 측정 상태모델은 다음의 수학식과 같이 나타낸다.
[수학식]
본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법은 센서식 모션센서 시스템과 광학식 모션센서 시스템의 단점을 서로 보완하기 위해, 광학식 모션캡쳐 시스템에서 추정한 오차와 센서식 모션캡쳐 시스템에서 추정한 오차를 통합칼만필터를 통해서 융합하고, 통합칼만필터에서 추정한 오차를 모션센서로 피드백하는 방식으로 오차를 보정함으로써 보다 정확한 위치 추정이 가능한 효과가 있다.
도 1은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 개념도,
도 2는 본 발명에 따른 하이브리드 모션캡쳐 시스템에서 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 융합 방식을 나타낸 개념도,
도 3은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 하드웨어 구성도,
도 4는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 나타낸 개념도,
도 5는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치추정 알고리즘의 처리 흐름도,
도 6은 본 발명에 따른 센서식 모션캡쳐 시스템에서 강체의 속도, 위치, 자세를 추정하는 과정을 나타낸 처리 흐름도,
도 7은 본 발명에 따른 광학식 모션캡쳐 시스템에서 반사 마커의 위치와 속도를 추적하는 과정을 나타낸 처리 흐름도,
도 2는 본 발명에 따른 하이브리드 모션캡쳐 시스템에서 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 융합 방식을 나타낸 개념도,
도 3은 본 발명에 따른 하이브리드 모션캡쳐 시스템의 하드웨어 구성도,
도 4는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 나타낸 개념도,
도 5는 본 발명에 따른 하이브리드 모션캡쳐 시스템의 위치추정 알고리즘의 처리 흐름도,
도 6은 본 발명에 따른 센서식 모션캡쳐 시스템에서 강체의 속도, 위치, 자세를 추정하는 과정을 나타낸 처리 흐름도,
도 7은 본 발명에 따른 광학식 모션캡쳐 시스템에서 반사 마커의 위치와 속도를 추적하는 과정을 나타낸 처리 흐름도,
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 개념도이고, 도 2는 하이브리드 모션캡쳐 시스템에서 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 융합 방식을 나타낸 개념도이다.
도 1과 도 2에 도시된 바와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 강체(인체 또는 사물)에 부착된 센서식 모션센서 시스템의 신호를 분석하여 인체의 3차원 움직임을 파악하고, 광학식 모션캡쳐 시스템을 통하여 강체에 부착된 반사 마커의 이동을 촬영하고 분석하여 위치 이동을 파악하며, 이러한 인체의 3차원 움직임 정보와 인체의 위치 이동 정보를 융합하여 강체의 고정밀 위치 추정을 수행하는 시스템이다. 즉, 자세측정센서 기반의 모션센서는 롤, 피치, 요의 자세정보만을 제공하기 때문에 강체의 움직임은 표현하지만 공간상에서의 이동정보는 표현할 수 없는데, 여기에 카메라 기반의 광학식 위치측정 시스템을 결합하여 모션캡쳐시 자세정보뿐만 아니라 이동 정보를 제공할 수 있게 된다.
도 3은 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 하드웨어 구성도를 나타낸 것이고, 도 4는 하이브리드 모션캡쳐 시스템의 위치 추정 방법을 나타낸 개념도이다.
도 3과 도 4에 도시된 바와 같이, 본 발명에 따른 하이브리드 모션캡쳐 시스템은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템 및 하이브리드 위치추정 융합 시스템을 포함한다.
상기 센서식 모션캡쳐 시스템은 속도와 위치 추정을 위한 가속도센서(Accelerometer)와, 자세 추정을 위한 자이로센서(Gyroscope)와, 상기 가속도센서와 자이로센서 신호를 분석하여 강체의 움직임을 추청하는 마이크로프로세서와, 외부 장치와 무선통신을 수행하는 무선통신모듈을 포함한다.
상기 광학식 모션캡쳐 시스템은 강체(Rigid Body)가 부착되는 반사 마커와, 반사 마커 촬영을 통하여 강체를 추적(tracking)하여 강체의 위치와 속도를 추정하는 광학식 카메라를 포함하는데, 본 발명의 실시예에서 상기 반사 마커는 강체에 3개가 부착된다.
상기 하이브리드 위치추정 융합 시스템은 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템의 위치 추정 정보를 융합하여 보다 정밀하게 강체의 위치를 추정하게 되는데, 이러한 위치 추정 정보의 융합은 하이브리드 위치추정 융합 시스템에 탑재된 위치추정 융합 알고리즘에 의해 수행된다. 상기 위치추정 융합 알고리즘은 광학식 모션캡쳐 시스템을 통하여 추정되는 마커 위치 및 속도 정보와, 센서식 모션캡쳐 시스템을 통하여 추정되는 센서 위치와 속도 및 자세 정보의 오차값을 통합 칼만필터를 통하여 융합하여 강체의 통합위치, 속도, 자세 추정값을 산출함으로써 강체의 위치를 추정하게 된다.
이하에서는 상기 하이브리드 위치추정 알고리즘을 통하여 강체의 위치가 추정되는 과정에 대하여 상세히 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 하이브리드 모션캡쳐 시스템의 위치추정 알고리즘의 처리 흐름도를 나타낸 것이다. 도 5에 따른 위치추정 알고리즘의 동작 설명은 (a) 센서식 모션캡쳐 시스템의 위치 추정 과정, (b) 광학식 모션캡쳐 시스템의 위치 추정 과정, (c) 센서식 모션캡쳐 시스템 및 광학식 모션캡쳐 시스템의 위치 추적 융합 과정으로 나누어 설명하기로 한다.
(a)
센서식
모션캡쳐
시스템의 위치 추정
먼저, 센서식 모션캡쳐 시스템의 모션센서에서 자이로센서와 가속도센서의 출력값을 통하여 강체의 자세와 위치를 추정하게 된다. 도 5에서 는 3차원 각 축의 가속도를 나타내고, 는 3차원 각 축의 각속도를 나타내며, 는 3차원 자세인 롤(roll), 피치(pitch), 요(yaw)의 초기값을 나타낸다. 상기 와 로 속도, 위치, 자세를 추정하는 과정은 도 6에 도시되어 있다.
상기 도 6에서, 자세추정계산은 다음의 수학식 1을 사용한다.
(b) 광학식
모션캡쳐
시스템의 위치 추정
광학식 모션캡쳐 시스템의 광학식 카메라에서 반사 마커의 위치를 추적하여 속도와 3차원상의 절대위치를 출력하게 되는데, 도 7은 광학식 카메라에서 반사 마커의 위치와 속도를 추적하는 과정을 나타낸 처리 흐름도이다.
도 7에서, 는 카메라로 촬영한 2차원 이미지 내의 마커 위치를 나타낸다. 또한, n은 다중 카메라의 수, j는 마커의 수를 나타낸다. 2차원 위치 행렬과 카메라 투영행렬 로 다음의 수학식 2를 이용하여 3차원 위치를 계산한다.
상기 수학식 2에서, 최종 출력값인 은 마커가 구성하는 강체(rigid body)의 위치값을 추적한 결과이며, 그 위치값을 적분하여 강체의 속도 를 구한다. 속도의 e,n,u는 east(동쪽), north(북쪽), up(상) 방향의 속도를 나타낸다.
(c)
센서식
모션캡쳐
시스템 및 광학식
모션캡쳐
시스템의 위치 추정 융합
상기 도 5에 도시된 바와 같이, 본 발명에서는 상기 센서식 모션캡쳐 시스템과 광학식 모션캡쳐 시스템을 융합하여 위치를 추정하기 위한 방법으로 통합 칼만필터를 설계하여 사용한다.
위 상태모델의 입력값인 x는 다음의 수학식 4와 같이 두 시스템의 출력값의 차이와 모션센서 출력값의 센서오차를 원소로 가진다.
여기서,는 위치 오차를 나타내는 벡터이고, 는 속도 오차 벡터이며, 는 자세 오차 벡터이고, 는 드리프트(오차누적)가 포함된 자이로센서 오차 벡터이며, 는 바이어스를 포함한 가속도센서의 오차 벡터를 나타낸다.
상기 수학식 3의 상태모델에서 시간에 따라 에러를 전달하는 다이나믹 행렬인 F는 다음의 수학식 5와 같이 표현한다.
상기 다이나믹 행렬 F의 각 요소 중, l은 지역좌표계(Local-Level frame), e는 지구중심고정좌표계(Earth Centered Earth Fixed frame), i는 관성좌표계(Inertial-Level frame), b는 동체좌표계(Body-Level frame)를 나타낸다.
먼저, 1항은 다음의 수학식 7과 같다.
여기서, 가속도 f의 e,n,u는 east(동쪽), north(북쪽), up(상) 방향의 속도를 나타낸다.
2항은 다음의 수학식 8과 같다.
또한, 3항과 4항 및 5항은 다음의 수학식 10과 수학식 11 및 수학식 12와 같다.
한편, 상기 수학식 5에서 관성센서 오차를 계산하는 4행과 5행은 각각 자이로센서와 가속도센서의 오차를 계산하며, 다음의 수학식들과 같이 표현될 수 있다. 먼저, 자이로센서 오차식은 다음의 수학식 16과 같다.
다음으로 가속도센서의 오차식은 다음의 수학식 17과 같다.
한편, 칼만필터의 업데이트 단계를 위한 측정 상태모델은 다음의 수학식 18과 같이 표현할 수 있다.
여기에서, z와 x는 동일한 값이므로, H는 다음의 수학식 19와 같이 표현된다.
따라서, 상기 측정 상태모델 z는 다음의 수학식 20과 같이 표현할 수 있다.
여기서, 은 모션센서에서 추정한 속도를 나타내고, 은 속도의 초기값을 나타내며, 은 초기속도의 불확실성을 표현한 것이다. 또한, 는 광학식에서 추적한 위치값이고, 는 모션센서에서 추정한 위치값이며, 는 측정한 위치의 불확실성을 나타낸다.
본 발명에서는 이러한 상태모델을 이용하여 칼만필터를 설계하는데, 도 8은 본 발명의 실시예에 따른 상태모델을 이용하여 칼만필터가 설계되는 과정을 나타낸 처리 흐름도이다.
도 8에서, Q는 공정 잡음인 시스템 잡음 공분산 행렬이고, R은 측정 잡음 공분산 행렬을 나타낸다.
시간 갱신(Time Update)에서는 이전 시간에서의 x와, 두 시스템(광학식 모션캡쳐 시스템 및 센서식 모션캡쳐 시스템)의 출력값의 차이와, 센서식 모션캡쳐 시스템의 모션센서 출력값의 센서오차로 미분된 예측값을 구한다. 그리고, 모션센서에서 추정한 속도와 두 시스템의 위치 차이를 이용하여 측정치 갱신(Measurement Update)에서 측정값을 구한다.
이렇게 구한 측정값에서 예측값을 빼줌으로서 오차 를 구하고, 이 값에 칼만이득(Kk)을 곱한 값과 이전 추정값을 더함으로서 최종 추정값 를 구하게 된다. 또한, 는 오차공분산으로 이 역시 업데이트되어 예측치 계산에 사용되게 된다.
이와 같이 본 발명에서는 광학식 모션캡쳐 시스템에서 추정한 위치와 센서식 모션캡쳐 시스템에서 추정한 위치의 오차를 통합 칼만필터를 통해서 융합하고, 통합 칼만필터에서 추정한 오차를 모션센서로 피드백하여 모션센서의 오차를 보정함으로써 정확한 강체의 위치 추정이 가능해진다. 즉, 센서식 모션캡쳐 시스템에서 추정한 속도와 위치의 오차누적을 광학식 모션캡쳐 시스템에서 추적한 마커의 위치와 속도로 보상함으로써 정확한 모션측정이 가능해진다.
본 발명은 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 출력값이 아닌, 두 시스템의 오차를 칼만필터의 입력값으로 가지는 오차모델을 설계하여 모션센서에서 나오는 출력값에 되먹임(feedback)함으로써 오차누적을 효과적으로 보상할 수 있다. 또한, 두 시스템의 최종 출력값을 보상할 뿐만 아니라, 모션센서의 센서 오차(자이로센서, 가속도센서 오차) 또한 칼만필터의 상태변수로 설계함으로써 시간갱신(Time Update) 단계에서 정확한 예측값을 추정할 수 있게 된다.
이러한 본 발명은 상술한 실시예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
Claims (5)
- 센서식 모션캡쳐 시스템에서 가속도센서와 자이로센서가 구비된 모션센서를 통하여 강체(rigid body)의 움직임을 측정하여 강체의 위치와 속도 및 자세를 추정하는 단계(a)와, 광학식 모션캡쳐 시스템에서 광학식 카메라를 통하여 강체에 부착된 마커를 촬영하여 강체의 이동을 측정하여 강체의 위치 및 속도를 추정하는 단계와(b)와, 통합 칼만필터에서 상기 광학식 모션캡쳐 시스템과 센서식 모션캡쳐 시스템의 강체 위치 및 속도 추정 차이값을 입력받아 현재 입력되는 차이값과 이전 시간에 입력된 차이값과 비교하여 추정 오차를 산출하고 산출된 추정 오차를 통하여 최종 추정값을 계산하여 강체의 현재 위치를 추정하는 단계((c);를 포함하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법으로서,
상기 통합 칼만필터는 강체 위치에 대한 최종 추정값을 센서식 모션캡쳐 시스템에 피드백하여, 상기 센서식 모션캡쳐 시스템의 모션센서 오차 누적을 보상하되,
상기 통합 칼만필터는 이전 시간에서의 상기 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 센서식 모션캡쳐 시스템의 모션센서 출력값 센서오차를 이용하여 예측값을 계산하고, 상기 센서식 모션캡쳐 시스템의 모션센서에서 추정한 강체의 속도와 상기 두 시스템의 위치 차이를 이용하여 측정값을 계산하며, 상기 구해진 측정값에서 예측값을 빼줌으로서 오차 값()을 계산하고, 상기 계산된 오차 값에 칼만이득(Kk)을 곱한 값과 이전 추정값을 더함으로서 최종 추정값()을 산출하며,
상기 통합 칼만필터의 상태모델은 다으의 수학식과 같이 나타내는 것을 특징으로 하는 하이브리드 모션캡쳐 시스템의 위치 추정 방법.
(여기서, x는 광학식 모션캡쳐 시스템과 센서식 모션센서 시스템의 출력값 차이와 모션센서 출력값의 센서오차를 원소로 하는 입력값이고, F는 시간(t)에 따라 에러를 전달하는 다이나믹 행렬로 위치 오차, 속도 오차, 자세 오차, 자이로센서 오차, 가속도센서 오차를 포함하며, Gw(t)는 노이즈를 나타낸다)
- 삭제
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160162077A KR101950359B1 (ko) | 2016-11-30 | 2016-11-30 | 하이브리드 모션캡쳐 시스템의 위치 추정 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160162077A KR101950359B1 (ko) | 2016-11-30 | 2016-11-30 | 하이브리드 모션캡쳐 시스템의 위치 추정 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180062137A KR20180062137A (ko) | 2018-06-08 |
KR101950359B1 true KR101950359B1 (ko) | 2019-02-20 |
Family
ID=62600579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160162077A KR101950359B1 (ko) | 2016-11-30 | 2016-11-30 | 하이브리드 모션캡쳐 시스템의 위치 추정 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101950359B1 (ko) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112513597A (zh) * | 2018-08-28 | 2021-03-16 | 东京电力控股株式会社 | 空间温度扫描器和空间温度的显示方法 |
CN110741413B (zh) * | 2018-11-29 | 2023-06-06 | 深圳市瑞立视多媒体科技有限公司 | 一种刚体配置方法及光学动作捕捉方法 |
KR102172362B1 (ko) * | 2018-12-06 | 2020-10-30 | (주)코어센스 | 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법 |
WO2020116837A1 (ko) * | 2018-12-06 | 2020-06-11 | (주)코어센스 | 융합형 모션 캡쳐 시스템 기반의 모션 구현 장치 및 그 방법 |
KR102262003B1 (ko) * | 2018-12-06 | 2021-06-09 | (주)코어센스 | 융합형 모션 캡쳐 시스템 기반의 모션 구현 장치 및 그 방법 |
KR102376973B1 (ko) * | 2020-03-25 | 2022-03-21 | 주식회사 아이팝 | 접선 속도 벡터를 이용한 휴먼 모션 구현의 오차 제거 방법 |
KR102472579B1 (ko) * | 2020-07-16 | 2022-11-30 | 주식회사 아이팝 | 가상 소방 훈련을 위한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법 |
KR102478415B1 (ko) * | 2020-07-17 | 2022-12-19 | 주식회사 아이팝 | 교차 공분산을 이용한 3차원 좌표 추정 방법 |
KR102427073B1 (ko) * | 2020-12-22 | 2022-07-29 | 주식회사 뉴메틱 | 3차원 애니메이션의 모션 보정 방법 및 서버 |
KR102590257B1 (ko) * | 2023-05-03 | 2023-10-19 | (주)한성컴퓨터 | 와이-파이 위치 추적 기술을 이용한 스마트 인터랙티브 화이트보드 장치 및 그 제어방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100761011B1 (ko) * | 2006-05-30 | 2007-09-21 | 학교법인 인하학원 | 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법 |
KR101080078B1 (ko) * | 2009-12-08 | 2011-11-04 | 숭실대학교산학협력단 | 통합센서 기반의 모션 캡쳐 시스템 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101483713B1 (ko) | 2008-06-30 | 2015-01-16 | 삼성전자 주식회사 | 모션 캡쳐 장치 및 모션 캡쳐 방법 |
KR20130049610A (ko) * | 2011-11-04 | 2013-05-14 | 삼성전자주식회사 | 이동 기기 및 보행 로봇 |
-
2016
- 2016-11-30 KR KR1020160162077A patent/KR101950359B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100761011B1 (ko) * | 2006-05-30 | 2007-09-21 | 학교법인 인하학원 | 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법 |
KR101080078B1 (ko) * | 2009-12-08 | 2011-11-04 | 숭실대학교산학협력단 | 통합센서 기반의 모션 캡쳐 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20180062137A (ko) | 2018-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101950359B1 (ko) | 하이브리드 모션캡쳐 시스템의 위치 추정 방법 | |
US20210012520A1 (en) | Distance measuring method and device | |
EP3679549B1 (en) | Visual-inertial odometry with an event camera | |
US8761439B1 (en) | Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit | |
US11132810B2 (en) | Three-dimensional measurement apparatus | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP4989660B2 (ja) | モーションキャプチャー装置およびそれに係る方法 | |
US7467061B2 (en) | Information processing method and apparatus for finding position and orientation of targeted object | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US10838427B2 (en) | Vision-aided inertial navigation with loop closure | |
US10322819B2 (en) | Autonomous system for taking moving images from a drone, with target tracking and improved target location | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
US20180075609A1 (en) | Method of Estimating Relative Motion Using a Visual-Inertial Sensor | |
KR20150088636A (ko) | 위치 추정 장치 및 방법 | |
CN109238277B (zh) | 视觉惯性数据深度融合的定位方法及装置 | |
CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知***及感知方法 | |
CN111723624B (zh) | 一种头部运动跟踪方法和*** | |
CN110207693B (zh) | 一种鲁棒立体视觉惯性预积分slam方法 | |
KR101737950B1 (ko) | 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 | |
CN114719848B (zh) | 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法 | |
EP3614341A1 (en) | Apparatus, method and computer program for detecting the form of a deformable object | |
JP2005062083A (ja) | 位置誤差補正機能を持つ測量システム | |
CN113587934A (zh) | 一种机器人、室内定位方法、装置和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
R401 | Registration of restoration |