KR20240094492A - 센서융합 위치측정 시스템 - Google Patents

센서융합 위치측정 시스템 Download PDF

Info

Publication number
KR20240094492A
KR20240094492A KR1020220176808A KR20220176808A KR20240094492A KR 20240094492 A KR20240094492 A KR 20240094492A KR 1020220176808 A KR1020220176808 A KR 1020220176808A KR 20220176808 A KR20220176808 A KR 20220176808A KR 20240094492 A KR20240094492 A KR 20240094492A
Authority
KR
South Korea
Prior art keywords
point
camera
measurement
model
state
Prior art date
Application number
KR1020220176808A
Other languages
English (en)
Inventor
박성식
Original Assignee
(주)스포투
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스포투 filed Critical (주)스포투
Priority to KR1020220176808A priority Critical patent/KR20240094492A/ko
Publication of KR20240094492A publication Critical patent/KR20240094492A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)

Abstract

본 발명의 센서융합 위치측정 시스템은 위너 과정(Wiener Process)를 이용하여 대상의 동작 상태에 대응되는 상태모델을 생성할 수 있다. 이 때, 위너 과정(Wiener Process)를 통해 생성된 상태모델은 칼만 필터 알고리즘(Kalman Filter Algorithm)이 적용될 수 있는 형태일 수 있다. 상태모델은 상태변수를 포함할 수 있다. 상태변수는 추정 대상이 되는 물리적인 변수를 포함할 수 있다. 본 발명에서 상태변수는 3차원 공간상의 가속도, 속도, 위치를 포함할 수 있다. 또한, 센서융합 위치측정 시스템은 측정값(카메라에서 생성된 영상데이터 및 관성센서에서 생성된 가속도데이터)을 기초로 대상의 동적 상태를 추정할 수 있다. 이 과정에서 칼만 필터 알고리즘(Kalman Filter Algorithm)이 이용될 수 있다. 칼만 필터 알고리즘(Kalman Filter Algorithm)이란, 잡음이 포함되어 있는 측정값을 이용하여 대상의 상태(본 발명에서는 대상의 동적 상태)를 추정하는 재귀 필터의 일종이다. 결과적으로, 센서융합 위치측정 시스템은 카메라 및 관성센서에서 생성된 데이터를 모두 활용하므로, 위치측정 정확도가 개선될 수 있다.

Description

센서융합 위치측정 시스템{SENSOR FUSION POSITION MEASUREMENT SYSTEM}
본 발명은 동적인 환경에서 대상의 위치를 정확하게 측정하는 시스템에 관한 것으로, 구체적으로는 카메라 및 관성센서 각각에서 측정된 데이터를 융합하여 대상의 위치를 정확하게 측정하는 시스템에 관한 것이다.
일반적으로, 사람을 포함한 대상의 자세를 측정하기 위해 카메라 또는 관성센서(IMU)에서 측정된 위치데이터가 활용된다. 예를 들어, 카메라에서 취득된 영상정보를 가공하여 객체 추적(Object tracking)을 통해 대상의 위치데이터를 산출할 수 있다. 또한, 대상에 관성센서(IMU)를 부착하고 관성센서(IMU)에서 취득되는 가속도데이터를 이용하여 대상의 속도데이터 및 위치데이터를 추정할 수 있다.
그러나, 카메라를 이용하여 위치데이터를 산출하는 경우, 그 성능이 카메라의 frame rate에 의해 제한된다는 문제점이 있다. 즉, 이 경우 대상의 속도데이터나 가속도데이터를 얻기는 어려우며, 대상이 빠르게 움직이는 상황에서 그러한 문제점이 더 커질 수 있다.
또한, 관성센서(IMU)를 이용하여 위치데이터를 산출하는 경우, 가속도를 적분하여 속도 및 위치를 추정할 수 있다. 그러나 이 경우, 시간이 지날수록 오차가 누적(Drift 현상)된다는 문제점이 있다. 즉, 카메라 또는 관성센서(IMU) 중 하나만을 이용하여 위치데이터를 추정하는 방식에는 정확도 측면에서 한계가 있다.
한편, frame rate가 높은 카메라를 사용하거나, 고가의 센서를 이용하여 상술한 문제점들을 해결할 수 있으나, 비용 측면에서 한계가 있다.
본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 카메라 및 관성센서(IMU)에서 취득한 데이터를 상호보완적으로 융합함으로써, 대상의 위치를 더욱 정확하게 측정할 수 있는 위치측정 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 센서융합 위치측정 시스템은 카메라, 관성센서, 연상장치를 포함할 수 있다. 카메라는 대상을 촬영하여 영상데이터를 생성할 수 있다. 관성센서는 상기 대상에 부착될 수 있다. 관성센서는 가속도를 감지하여 가속도데이터를 생성할 수 있다. 연산장치는 상기 카메라 및 상기 관성센서와 통신가능할 수 있다.
연산장치는 위치데이터 생성부, 상태모델 생성부, 측정모델 생성부, 및 센서융합모델 생성부를 포함할 수 있다.
위치데이터 생성부는 상기 영상데이터를 기초로 객체 추적(object tracking) 기술을 이용하여 상기 관성센서의 위치에 대응되는 위치데이터를 생성할 수 있다.
상태모델 생성부는 위너 과정(Wiener Process)을 이용하여, 3차원 공간 상의 위치, 속도, 및 가속도에 대한 상태모델을 생성할 수 있다.
측정모델 생성부는 상기 상태모델 기초로 측정모델을 생성할 수 있다.
센서융합모델 생성부는 상기 측정모델 및 상기 상태모델을 기초로 칼만 필터 알고리즘(Kalman Filter Algorithm)을 이용하여 센서융합모델을 생성할 수 있다.
본 발명의 일 실시예에 따른 상기 상태모델 생성부는 하기 수학식 1을 이용하여 상기 상태모델을 생성할 수 있다.
[수학식 1]
(여기서,
, k는 임의의 샘플링 시점, 는 k시점에서의 상태변수, 는 k시점에서의 x축 방향 위치, 는 k시점에서의 y축 방향 위치, 는 k시점에서의 z축 방향 위치, 는 k시점에서의 x축 방향 속도, 는 k시점에서의 y축 방향 속도, 는 k시점에서의 z축 방향 속도, 는 k시점에서의 x축 방향 가속도, 는 k시점에서의 y축 방향 가속도, 는 k시점에서의 z축 방향 가속도, 시스템 행렬 , 는 3차원 단위행렬, 시스템 잡음 , , T는 샘플링 주기를 의미함)
본 발명의 일 실시예에 따른 상기 측정모델 생성부는 하기 수학식 2를 이용하여 상기 측정모델을 생성할 수 있다.
[수학식 2]
(여기서, 는 k시점에서의 카메라-측정모델, 는 k시점에서의 관성센서-측정모델, 는 k시점에서의 상기 상태모델, 카메라-출력행렬 , 는 k시점에서의 카메라-측정잡음, 는 k시점에서의 관성센서-측정잡음을 의미함)
본 발명의 일 실시예에 따른 상기 측정모델 생성부는 하기 수학식 3을 이용하여 카메라-측정잡음 공분산행렬 및 관성센서-측정잡음 공분산행렬을 산출할 수 있다.
[수학식 3]
(여기서, 은 k시점에서의 카메라-측정잡음 공분산행렬, 는 k시점에서의 관성센서-측정잡음 공분산행렬, 는 k시점에서의 카메라-측정잡음, 는 k시점에서의 관성센서-측정잡음, T는 샘플링 주기를 의미함)
본 발명의 일 실시예에 따른 상기 센서융합모델 생성부는 하기 수학식 4 내지 6을 이용하여 상태변수 추정값 및 오차공분산을 산출할 수 있다.
[수학식 4]
(여기서, 는 상태변수 추정값, 는 상태변수 예측값, 는 카메라-상태변수 추정값, 는 관성센서-상태변수 추정값, 은 상태변수 예측값에 대한 가중치, 는 카메라-상태변수 추정값에 대한 가중치, 는 관성센서-상태변수 추정값에 대한 가중치, 는 오차공분산 예측값, 는 카메라-오차공분산, 는 관성센서-오차공분산을 의미함)
[수학식 5]
(여기서, 는 상태변수 예측값, F는 시스템 행렬, 는 상태변수 추정값, 는 오차공분산 예측값, 는 오차공분산 추정값, 시스템 잡음 공분산 을 의미함)
[수학식 6]
(여기서, 는 카메라-상태변수 추정값, 는 상태변수 예측값, 는 카메라-칼만이득, 는 k시점에서의 카메라-측정모델, 는 카메라-출력행렬, 는 관성센서-상태변수 추정값, 는 관성센서-칼만이득, 는 k시점에서의 관성센서-측정모델, 는 관성센서-출력행렬, 는 카메라-오차공분산, 는 오차공분산 예측값, 은 k시점에서의 카메라-측정잡음 공분산행렬, 는 관성센서-오차공분산, 는 k시점에서의 관성센서-측정잡음 공분산행렬을 의미함)
본 발명의 일 실시예에서, 상태변수 예측값에 대한 가중치 , 카메라-상태변수 추정값에 대한 가중치 , 및 관성센서-상태변수 추정값에 대한 가중치 는 하기 수학식 7에 의해 결정될 수 있다.
[수학식 7]
본 발명의 일 실시예에 따른 상기 상태모델 생성부, 상기 측정모델 생성부, 및 상기 센서융합모델 생성부는 상기 임의의 시점 k에 대해 반복적으로 연산하여 상기 상태모델, 상기 측정모델, 및 상기 센서융합모델을 생성할 수 있다.
본 발명의 일 실시예에 따른 상기 관성센서는 복수 개로 제공될 수 있다.
본 발명의 일 실시예에 따르면, 카메라 및 관성센서(IMU)에서 취득한 데이터를 상호보완적으로 융합함으로써, 대상의 위치를 더욱 정확하게 측정할 수 있는 위치측정 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템의 모습을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템의 블록도를 예시적으로 도시한 것이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템을 이용하여 실험한 결과를 도시한 것이다.
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다. 도면들에 있어서, 구성요소들의 비율 및 치수는 기술적 내용의 효과적인 설명을 위해 과장된 것일 수 있다.
"포함하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 어떤 구성요소 "상"으로 기재된 경우, 해당 구성요소의 위 또는 아래를 의미하고, 반드시 중력 방향을 기준으로 상측에 위치하는 것을 의미하는 것은 아니다.
또한, 어떤 구성요소가 다른 구성요소에 "연결" 또는 "결합"된다고 기재된 경우, 해당 구성요소가 다른 구성요소에 직접적으로 연결 또는 결합되는 경우뿐만 아니라, 해당 구성요소가 또 다른 구성요소를 통해 간접적으로 연결 또는 결합되는 경우도 포함할 수 있다.
또한, 어떤 구성요소를 설명하는데 있어서 제1, 제2 등의 용어를 사용할 수 있지만, 이러한 용어는 해당 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등을 한정하고자 하는 것은 아니다.
본 발명의 센서융합 위치측정 시스템(SFS)은 위너 과정(Wiener Process)을 이용하여 대상(OB)의 동작 상태에 대응되는 상태모델을 생성할 수 있다. 이 때, 위너 과정(Wiener Process)을 통해 생성된 상태모델은 칼만 필터 알고리즘(Kalman Filter Algorithm)이 적용될 수 있는 형태일 수 있다.
상태모델은 상태변수를 포함할 수 있다. 상태변수는 추정 대상(OB)이 되는 물리적인 변수를 포함할 수 있다. 본 발명에서 상태변수는 3차원 공간상의 가속도, 속도, 위치를 포함할 수 있다.
또한, 센서융합 위치측정 시스템(SFS)은 측정값(카메라(CM)에서 생성된 영상데이터 및 관성센서(IMU)에서 생성된 가속도데이터)을 기초로 대상(OB)의 동적 상태를 추정할 수 있다. 이 과정에서 칼만 필터 알고리즘(Kalman Filter Algorithm)이 이용될 수 있다. 칼만 필터 알고리즘(Kalman Filter Algorithm)이란, 잡음이 포함되어 있는 측정값을 이용하여 대상(OB)의 상태(본 발명에서는 대상(OB)의 동적 상태)를 추정하는 재귀 필터의 일종이다. 결과적으로, 센서융합 위치측정 시스템(SFS)은 카메라(CM) 및 관성센서(IMU)에서 생성된 데이터를 모두 활용하므로, 위치측정 정확도가 개선될 수 있다.
구체적으로, 칼만 필터 알고리즘(Kalman Filter Algorithm)은 초기값을 기초로 상태변수 예측값 및 오차공분산 예측값을 산출하는 과정을 포함할 수 있다. 이후, 상태변수 예측값 및 오차공분산 예측값을 기초로 칼만이득이 산출되는 과정이 수행될 수 있다. 이후, 칼만이득을 기초로 상태변수 추정값 및 오차공분산을 산출할 수 있다. 상태변수 추정값은 대상(OB)의 위치정보를 포함할 수 있다. 대상(OB)의 위치정보는 대상(OB)의 자세를 추적하는데 사용될 수 있다. 본 발명의 센서융합 위치측정 시스템(SFS)은 상술한 과정들을 임의의 시점 k에 대해 반복적으로 연산함으로써, 대상(OB)의 동적 상태를 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템(SFS)의 모습을 예시적으로 도시한 것이다. 도 2는 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템(SFS)의 블록도를 예시적으로 도시한 것이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템(SFS)은 카메라(CM), 및 관성센서(IMU), 및 연산장치(PC)를 포함할 수 있다.
카메라(CM)는 대상(OB)을 촬영하여 영상데이터를 생성할 수 있다.
관성센서(IMU)는 대상(OB)에 부착될 수 있다. 관성센서(IMU)는 가속도를 감지하여 가속도데이터를 생성할 수 있다.
연산장치(PC)는 카메라(CM) 및 관성센서(IMU)와 통신할 수 있다. 연산장치(PC)는 위치데이터 생성부(PD), 상태모델 생성부(SM), 측정모델 생성부(MM) 및 센서융합모델 생성부(SF)를 포함할 수 있다. 연산장치(PC)는 카메라(CM) 및 관성센서(IMU)로부터 데이터를 수신할 수 있다. 또한, 연산장치(PC) 대상(OB)의 위치 추정에 필요한 연산을 수행할 수 있다.
위치데이터 생성부(PD)는 영상데이터를 기초로 객체 추적(object tracking) 기술을 이용하여 관성센서(IMU)의 위치에 대응되는 위치데이터를 생성할 수 있다. 객체 추적(object tracking) 기술은 널리 알려진 기술이므로, 자세한 설명은 생략한다.
상태모델 생성부(SM)는 위너 과정(Wiener Process)을 이용하여, 3차원 공간 상의 위치, 속도, 및 가속도에 대한 상태모델을 생성할 수 있다. 상태모델 생성부(SM)에서 생성된 상태모델은 칼만 필터 알고리즘(Kalman Filter Algorithm)이 적용될 수 있는 형태일 수 있다. 상태모델은 상태변수를 포함할 수 있다. 상태변수는 추정 대상이 되는 물리적인 변수를 포함할 수 있다. 본 발명에서 상태변수는 3차원 공간상의 가속도, 속도, 위치를 포함할 수 있다.
본 발명의 일 실시예에서 상태모델 생성부(SM)는 하기 수학식 1을 이용하여 상태모델을 생성할 수 있다.
[수학식 1]
여기서,
,
k는 임의의 샘플링 시점, 는 k시점에서의 상태변수, 는 k시점에서의 x축 방향 위치, 는 k시점에서의 y축 방향 위치, 는 k시점에서의 z축 방향 위치, 는 k시점에서의 x축 방향 속도, 는 k시점에서의 y축 방향 속도, 는 k시점에서의 z축 방향 속도, 는 k시점에서의 x축 방향 가속도, 는 k시점에서의 y축 방향 가속도, 는 k시점에서의 z축 방향 가속도, 시스템 행렬 , 는 3차원 단위행렬, 시스템 잡음 ,
, T는 샘플링 주기를 의미한다.
시스템 행렬 는 모든 성분이 상수인 행렬로, 상태모델의 운동방정식을 의미한다. 예를 들어, 상태변수 가 3차원 공간상의 가속도를 포함하는 경우, 상태변수 와 시스템 행렬 사이의 행렬 곱셈을 통해 3차원 공간상의 속도 및 위치가 계산될 수 있다. 이 과정은 관성센서(IMU)에서 생성된 가속도데이터를 기초로, 3차원 공간 상에서의 대상(OB)의 속도 및 위치를 추정하는데 활용될 수 있다.
시스템 잡음 는 시스템에 유입되어 상태 변수에 영향을 주는 잡음을 의미한다.
측정모델 생성부(MM)는 상태모델 생성부(SM)에서 생성된 상태모델을 기초로 측정모델을 생성할 수 있다. 측정모델 생성부(MM)에서 생성된 측정모델은 칼만 필터 알고리즘(Kalman Filter Algorithm)이 적용될 수 있는 형태일 수 있다. 측정모델은 카메라-측정모델 및 관성센서-측정모델을 포함할 수 있다.
본 발명의 일 실시예에서, 측정모델 생성부(MM)는 하기 수학식 2를 이용하여 측정모델을 생성할 수 있다.
[수학식 2]
여기서, 는 k시점에서의 카메라-측정모델, 는 k시점에서의 관성센서-측정모델, 는 k시점에서의 상기 상태모델, 카메라-출력행렬 , 는 k시점에서의 카메라-측정잡음, 는 k시점에서의 관성센서-측정잡음을 의미한다.
카메라-출력행렬 는 카메라-측정모델 와 상태변수 의 관계를 의미한다. 즉, 카메라-측정모델 을 참조하면, 센서융합 위치측정 시스템(SFS)은 카메라(CM)에서 수집한 데이터 중 위치데이터만을 이용함을 알 수 있다.
는 관성센서-측정모델 와 상태변수 의 관계를 의미한다. 즉, 관성센서-측정모델 을 참조하면, 센서융합 위치측정 시스템(SFS)은 관성센서(IMU)에서 수집한 데이터 중 가속도데이터만을 이용함을 알 수 있다.
카메라-측정잡음 는 카메라(CM)에 유입되는 측정잡음을 의미할 수 있다.
관성센서-측정잡음 는 관성센서(IMU)에 유입되는 측정잡음을 의미할 수 있다.
일반적으로 잡음은 예측될 수 없으며, 오직 통계적으로 추정 가능하다. 칼만 필터 알고리즘(Kalman Filter Algorithm)에서는 잡음이 평균 0 인 정규분포를 따른다고 가정하므로, 잡음에 의한 영향을 수치화하기 위해 잡음의 분산(Variance)이 이용된다. 측정모델 생성부(MM)는 복수 개의 잡음들에 대해, 각 잡음의 분산을 계산하고 이를 기초로 잡음의 공분산행렬을 산출한다. 잡음의 공분산행렬은 카메라-측정잡음 공분산행렬 및 관성센서-측정잡음 공분산행렬을 포함할 수 있다.
본 발명의 일 실시예에서, 측정모델 생성부(MM)는 하기 수학식 3을 이용하여 카메라-측정잡음 공분산행렬 및 관성센서-측정잡음 공분산행렬을 산출할 수 있다.
[수학식 3]
여기서, 은 k시점에서의 카메라-측정잡음 공분산행렬, 는 k시점에서의 관성센서-측정잡음 공분산행렬, 는 k시점에서의 카메라-측정잡음, 는 k시점에서의 관성센서-측정잡음, T는 샘플링 주기를 의미한다.
센서융합모델 생성부(SF)는 측정모델 생성부(MM)에서 생성된 측정모델 및 상태모델 생성부(SM)에서 생성된 상태모델을 기초로 칼만 필터 알고리즘(Kalman Filter Algorithm)을 이용하여 센서융합모델을 생성할 수 있다. 센서융합모델은 카메라(CM) 및 관성센서(IMU)에서 수집한 데이터를 융합하여 대상의 동적 상태를 추정하는데 활용될 수 있다.
본 발명의 일 실시예에서, 센서융합모델 생성부(SF)는 하기 수학식 4 내지 6을 이용하여 상태변수 추정값 및 오차공분산을 산출할 수 있다.
[수학식 4]
여기서, 는 상태변수 추정값, 는 상태변수 예측값, 는 카메라-상태변수 추정값, 는 관성센서-상태변수 추정값, 은 상태변수 예측값에 대한 가중치, 는 카메라-상태변수 추정값에 대한 가중치, 는 관성센서-상태변수 추정값에 대한 가중치, 는 오차공분산 예측값, 는 카메라-오차공분산, 는 관성센서-오차공분산을 의미한다.
오차공분산은 상태변수 추정값 이 실제 참값과 얼마나 차이 나는지를 보여주는 척도이다. 즉, 오차공분산이 작을수록 추정오차도 작아진다.
[수학식 5]
여기서, 는 상태변수 예측값, 는 시스템 행렬, 는 상태변수 추정값, 는 오차공분산 예측값, 는 오차공분산 추정값, 시스템 잡음 공분산 을 의미한다.
즉, 센서융합모델 생성부(SF)는 임의의 시점 k에서의 상태변수 추정값 을 기초로 다음 시점 k+1에서의 상태변수 예측값 을 산출할 수 있다. 이 과정에서 시스템 행렬 와 상태변수 추정값 의 행렬곱 연산이 수행되고, (수학식 1에서 설명한 바와 같이) 관성센서(IMU)에서 생성된 가속도데이터로부터 3차원 공간 상에서의 대상(OB)의 속도 및 위치를 포함한 상태변수 예측값 이 산출될 수 있다.
[수학식 6]
여기서, 는 카메라-상태변수 추정값, 는 상태변수 예측값, 는 카메라-칼만이득, 는 k시점에서의 카메라-측정모델, 는 카메라-출력행렬, 는 관성센서-상태변수 추정값, 는 관성센서-칼만이득, 는 k시점에서의 관성센서-측정모델, 는 관성센서-출력행렬, 는 카메라-오차공분산, 는 오차공분산 예측값, 은 k시점에서의 카메라-측정잡음 공분산행렬, 는 관성센서-오차공분산, 는 k시점에서의 관성센서-측정잡음 공분산행렬을 의미한다.
칼만이득(, )은 상태변수 추정값(, )을 계산하는데 활용될 수 있다. 칼만이득(, )은 상태변수 추정값(, )을 계산하는 과정에서, 상태변수 예측값 과 측정모델 () 중 무엇을 더 신뢰할 것인지를 결정하는 변수일 수 있다. 또한, 칼만이득(, )은 수학식 6에 의해, 임의의 시점k에 대해 반복적으로 계산될 수 있다.
본 발명의 일 실시예에서 상태변수 예측값에 대한 가중치 , 카메라-상태변수 추정값에 대한 가중치 , 및 관성센서-상태변수 추정값에 대한 가중치 는 하기 수학식 7에 의해 결정될 수 있다.
[수학식 7]
즉, 본 발명의 센서융합 위치측정 시스템(SFS) 설계자는 , , 및 를 사전에 결정함으로써, 상태변수 추정값 계산 과정에서 상태변수 예측값 , 및 카메라-상태변수 추정값 , 관성센서-상태변수 추정값 중 무엇에 얼마만큼 가중치를 두어 계산할 것인지를 결정할 수 있다.
본 발명의 일 실시예에서, 상태모델 생성부(SM), 측정모델 생성부(MM), 및 센서융합모델 생성부(SF)는 임의의 시점 k에 대해 반복적으로 연산하여 상태모델, 측정모델, 및 센서융합모델을 생성할 수 있다. 즉, 본 발명의 센서융합 위치측정 시스템(SFS)은 임의의 시점 k 마다 상술한 과정을 반복 연산함으로써, 대상(OB)의 동적 상태를 추정할 수 있다.
본 발명의 일 실시예에서, 관성센서(IMU)는 복수 개로 제공될 수 있다. 즉, 복수의 관성센서들(IMU)에서 수집되는 데이터를 기초로, 대상의 동적 상태를 전체적으로 파악할 수 있다. 이를 이용하면, 대상의 자세 또한 파악될 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 센서융합 위치측정 시스템(SFS)을 이용하여 실험한 결과를 도시한 것이다. 본 발명의 센서융합 위치측정 시스템(SFS)와 달리, 키넥트(Kinect)는 카메라만(적외선 카메라 및 RGB 카메라)을 이용하여 대상의 위치 및 속도를 측정한다. 이에 반해, 본 발명의 센서융합 위치측정 시스템(SFS)은 카메라(CM)에서 수집된 데이터 뿐만 아니라 관성센서(IMU)에서 수집된 정보까지 융합하여 대상의 위치를 추정한다. 따라서, 본 발명의 센서융합 위치측정 시스템(SFS)이 마이크로소프트사의 키넥트(Kinect) 보다 대상의 위치 및 속도를 더 정확하게 측정할 것이라 예상할 수 있다. 이러한 예상을 검증하기 위해 본 실험이 수행되었다.
본 실험은 마이크로소프트사의 키넥트를 이용하여 동적인 대상의 위치 및 속도를 측정한 결과(Kinect)와 본 발명의 센서융합 위치측정 시스템(SFS)을 이용하여 동적인 대상의 위치 및 속도를 측정한 결과(fusion)를 비교하는 방식으로 수행되었다.
도 3을 참조하면, 동적인 대상이 천천히 움직이는 경우 위치 정보의 측정 정확도가 유사함을 알 수 있다. 반면, 동적인 대상이 빠르게 움직이는 경우 본 발명의 센서융합 위치측정 시스템(SFS)이 위치 정보를 더 민감하게 추정함을 알 수 있다.
또한, 동적인 대상이 빠르게 움직이는 경우 키넥트를 이용한 위치 측정 결과는 계단처럼 분절되는 것을 알 수 있다. 이는 키넥트에 내장된 카메라의 낮은 frame rate 때문에 급격한 위치변화가 정확하게 측정되지 않기 때문이다. 반면, 본 발명의 센서융합 위치측정 시스템(SFS)을 이용한 위치 측정 결과는 훨씬 매끄러운 것을 알 수 있다.
도 4를 참조하면, 동적인 대상에 대해 속도 정보를 측정하는 경우 키넥트와 본 발명의 센서융합 위치측정 시스템(SFS)의 측정 정확도가 더욱 차이나는 것을 알 수 있다.
결과적으로, 본 발명의 센서융합 위치측정 시스템(SFS)을 이용하면 마이크로소프트사의 키넥트를 이용한 경우보다, 더욱 정확하게 동적인 대상의 위치 및 속도를 측정할 수 있음을 알 수 있다. 또한, 본 발명의 센서융합 위치측정 시스템(SFS)은 기존 위치측정 기술에 비해, 적은 수의 카메라 및 센서를 활용하므로 더욱 경제적일 수 있다.
실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 또한 본 발명에 개시된 실시 예는 본 발명의 기술 사상을 한정하기 위한 것이 아니고, 하기의 특허 청구의 범위 및 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
SFS: 센서융합 위치측정 시스템 CM: 카메라
IMU: 관성센서 PC: 연산장치
PD: 위치데이터 생성부 SM: 측정모델 생성부
SF: 센서융합모델 생성부

Claims (8)

  1. 대상을 촬영하여 영상데이터를 생성하는 카메라;
    상기 대상에 부착되고, 가속도를 감지하여 가속도데이터를 생성하는 관성센서; 및
    상기 카메라 및 상기 관성센서와 통신가능한 연산장치를 포함하고,
    상기 연산장치는,
    상기 영상데이터를 기초로 객체 추적(object tracking) 기술을 이용하여 상기 관성센서의 위치에 대응되는 위치데이터를 생성하는 위치데이터 생성부;
    위너 과정(Wiener Process)을 이용하여, 3차원 공간 상의 위치, 속도, 및 가속도에 대한 상태모델을 생성하는 상태모델 생성부;
    상기 상태모델 기초로 측정모델을 생성하는 측정모델 생성부; 및
    상기 측정모델 및 상기 상태모델을 기초로 칼만 필터 알고리즘(Kalman Filter Algorithm)을 이용하여 센서융합모델을 생성하는 센서융합모델 생성부를 포함하는 센서융합 위치측정 시스템.
  2. 제1 항에서,
    상기 상태모델 생성부는 하기 수학식 1을 이용하여 상기 상태모델을 생성하는 센서융합 위치측정 시스템.
    [수학식 1]

    (여기서,
    , k는 임의의 샘플링 시점, 는 k시점에서의 상태변수, 는 k시점에서의 x축 방향 위치, 는 k시점에서의 y축 방향 위치, 는 k시점에서의 z축 방향 위치, 는 k시점에서의 x축 방향 속도, 는 k시점에서의 y축 방향 속도, 는 k시점에서의 z축 방향 속도, 는 k시점에서의 x축 방향 가속도, 는 k시점에서의 y축 방향 가속도, 는 k시점에서의 z축 방향 가속도, 시스템 행렬 , 는 3차원 단위행렬, 시스템 잡음 , , T는 샘플링 주기를 의미함)
  3. 제2 항에서,
    상기 측정모델 생성부는 하기 수학식 2를 이용하여 상기 측정모델을 생성하는 센서융합 위치측정 시스템.
    [수학식 2]


    (여기서, 는 k시점에서의 카메라-측정모델, 는 k시점에서의 관성센서-측정모델, 는 k시점에서의 상기 상태모델, 카메라-출력행렬 , 는 k시점에서의 카메라-측정잡음, 는 k시점에서의 관성센서-측정잡음을 의미함)
  4. 제3 항에서,
    상기 측정모델 생성부는 하기 수학식 3을 이용하여 카메라-측정잡음 공분산행렬 및 관성센서-측정잡음 공분산행렬을 산출하는 센서융합 위치측정 시스템.
    [수학식 3]


    (여기서, 은 k시점에서의 카메라-측정잡음 공분산행렬, 는 k시점에서의 관성센서-측정잡음 공분산행렬, 는 k시점에서의 카메라-측정잡음, 는 k시점에서의 관성센서-측정잡음, T는 샘플링 주기를 의미함)
  5. 제4 항에서,
    상기 센서융합모델 생성부는 하기 수학식 4 내지 6을 이용하여 상태변수 추정값 및 오차공분산을 산출하는 센서융합 위치측정 시스템.
    [수학식 4]


    (여기서, 는 상태변수 추정값, 는 상태변수 예측값, 는 카메라-상태변수 추정값, 는 관성센서-상태변수 추정값, 은 상태변수 예측값에 대한 가중치, 는 카메라-상태변수 추정값에 대한 가중치, 는 관성센서-상태변수 추정값에 대한 가중치, 는 오차공분산 예측값, 는 카메라-오차공분산, 는 관성센서-오차공분산을 의미함)
    [수학식 5]


    (여기서, 는 상태변수 예측값, F는 시스템 행렬, 는 상태변수 추정값, 는 오차공분산 예측값, 는 오차공분산 추정값, 시스템 잡음 공분산 을 의미함)
    [수학식 6]






    (여기서, 는 카메라-상태변수 추정값, 는 상태변수 예측값, 는 카메라-칼만이득, 는 k시점에서의 카메라-측정모델, 는 카메라-출력행렬, 는 관성센서-상태변수 추정값, 는 관성센서-칼만이득, 는 k시점에서의 관성센서-측정모델, 는 관성센서-출력행렬, 는 카메라-오차공분산, 는 오차공분산 예측값, 은 k시점에서의 카메라-측정잡음 공분산행렬, 는 관성센서-오차공분산, 는 k시점에서의 관성센서-측정잡음 공분산행렬을 의미함)
  6. 제5 항에 있어서,
    상태변수 예측값에 대한 가중치 , 카메라-상태변수 추정값에 대한 가중치 , 및 관성센서-상태변수 추정값에 대한 가중치 는 하기 수학식 7에 의해 결정되는 센서융합 위치측정 시스템.
    [수학식 7]
  7. 제6 항에 있어서,
    상기 상태모델 생성부, 상기 측정모델 생성부, 및 상기 센서융합모델 생성부는 상기 임의의 시점 k에 대해 반복적으로 연산하여 상기 상태모델, 상기 측정모델, 및 상기 센서융합모델을 생성하는 센서융합 위치측정 시스템.
  8. 제7 항이 있어서,
    상기 관성센서는 복수 개로 제공되는 센서융합 위치측정 시스템.
KR1020220176808A 2022-12-16 2022-12-16 센서융합 위치측정 시스템 KR20240094492A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220176808A KR20240094492A (ko) 2022-12-16 2022-12-16 센서융합 위치측정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220176808A KR20240094492A (ko) 2022-12-16 2022-12-16 센서융합 위치측정 시스템

Publications (1)

Publication Number Publication Date
KR20240094492A true KR20240094492A (ko) 2024-06-25

Family

ID=91711308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220176808A KR20240094492A (ko) 2022-12-16 2022-12-16 센서융합 위치측정 시스템

Country Status (1)

Country Link
KR (1) KR20240094492A (ko)

Similar Documents

Publication Publication Date Title
US11132810B2 (en) Three-dimensional measurement apparatus
KR100552688B1 (ko) 관성 항법 시스템의 자세 보상 방법 및 장치, 이를 이용한관성 항법 시스템의 위치 계산 방법 및 장치
JP5861235B2 (ja) 物体の向きをより正確に推定する方法および前記方法を実装した姿勢制御システム
KR100898169B1 (ko) 관성항법시스템의 초기정렬 방법
CN110030999A (zh) 一种基于惯性导航的定位方法、装置、***和车辆
Michel et al. On attitude estimation with smartphones
CN113074739A (zh) 基于动态鲁棒容积卡尔曼的uwb/ins融合定位方法
KR101522466B1 (ko) 보행자 발의 영속도 상태 검지 장치 및 그 방법, 및 이를 이용한 보행자 관성항법시스템
JP6488860B2 (ja) 勾配推定装置及びプログラム
KR20210013526A (ko) 관성 위치를 사용한 지형 참조 항법을 위한 장치 및 방법
KR101390776B1 (ko) 퍼지 확장 칼만 필터를 이용한 위치인식 장치, 방법 및 이동로봇
JP5652239B2 (ja) 運動推定装置及びプログラム
US10466054B2 (en) Method and system for estimating relative angle between headings
KR101226767B1 (ko) 주행 장치를 위한 위치측정 시스템 및 방법
CN104819717A (zh) 一种基于mems惯性传感器组的多旋翼飞行器姿态检测方法
JP5267100B2 (ja) 運動推定装置及びプログラム
KR20170111582A (ko) 도플러 비컨을 이용한 수중 이동체의 위치 및 속도 추정 방법 및 시스템
KR20240094492A (ko) 센서융합 위치측정 시스템
WO2019186677A1 (ja) ロボット位置姿勢推定・三次元計測装置
KR102489865B1 (ko) 다중 필터 및 센서 퓨전 기반의 차량의 위치 추정 방법
Brunner et al. Multiple MEMS-IMU localization: Architecture comparison and performance assessment
CN114705223A (zh) 多移动智能体在目标跟踪中的惯导误差补偿方法及***
KR101910515B1 (ko) 수중 운동체 항법 제어 장치 및 방법
Kundra et al. Bias compensation of gyroscopes in mobiles with optical flow
CN111735478A (zh) 基于lstm的行人实时导航零速检测方法