KR20150058882A - 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법 - Google Patents

관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법 Download PDF

Info

Publication number
KR20150058882A
KR20150058882A KR1020130142187A KR20130142187A KR20150058882A KR 20150058882 A KR20150058882 A KR 20150058882A KR 1020130142187 A KR1020130142187 A KR 1020130142187A KR 20130142187 A KR20130142187 A KR 20130142187A KR 20150058882 A KR20150058882 A KR 20150058882A
Authority
KR
South Korea
Prior art keywords
velocity
motion information
estimating
image frame
calculating
Prior art date
Application number
KR1020130142187A
Other languages
English (en)
Other versions
KR101575934B1 (ko
Inventor
장준수
김근호
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020130142187A priority Critical patent/KR101575934B1/ko
Publication of KR20150058882A publication Critical patent/KR20150058882A/ko
Application granted granted Critical
Publication of KR101575934B1 publication Critical patent/KR101575934B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

모션 캡쳐 장치는 제1 오브젝트의 모션 정보를 측정하는 관성 센서; 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부; 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 추정부를 포함할 수 있다.

Description

관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법{APPARATUS AND METHOD FOR MOTION CAPTURE USING INERTIAL SENSOR AND OPTICAL SENSOR}
모션 캡쳐 장치 및 방법에 연관되며, 구체적으로는 관성 센서를 기반으로 한 모션 캡쳐에 광학 센서에 의한 모션 캡쳐를 반영하여 오브젝트에 대한 모션 정보를 정확하게 추정하는 장치 및 방법에 연관된다.
모션 캡쳐는 움직이는 물체(인체, 도구 등의 움직임이 가능한 오브젝트)를 컴퓨터에서 인식할 수 있는 디지털 형태로 기록하는 장치 및 과정을 의미한다.
모션 캡쳐는 주로 인간의 동작을 캡쳐하여 합성된 가상의 연기자를 생성하는 데에 사용된다.
특별히 제작된 마커나 센서들을 연기자의 관절 주위에 부착시킨 후, 시간에 따른 마커들의 3차원 위치를 샘플링하는 하드웨어를 이용하여 모션 데이터 집합을 얻어낼 수 있다. 이들 데이터를 처리하는 소프트웨어 또는 하드웨어를 사용하여 연기자의 동작 데이터를 획득하게 된다.
기계식 방식의 모션 캡쳐 장치는 데이터의 품질이 떨어지는 점이 있으며, 자이로 방식의 모션 켭쳐 장치는 위치 값 등의 부재로 부정확한 위치값과 계단을 오를 수 없는 점이 있다. 마그네틱 방식의 모션 캡쳐 장치는 외부의 영향을 매우 쉽게 받아서 왜곡되는 일이 생길 수 있다.
또한, 광학식 방식의 모션 캡쳐 장치는 마커의 손실로 인한 동작의 에러 및 마커가 뒤바뀌는 스왑 현상이 있다.
따라서, 움직이는 오브젝트에 대한 정확하고 안정적인 위치 값 등을 추정할 수 있는 장치 및 방법이 필요하다.
일측에 따르면, 제1 오브젝트의 모션 정보를 측정하는 관성 센서; 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부; 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 추정부를 포함하는 모션 캡쳐 장치가 제공된다.
일실시예에 따르면, 상기 추정부는, 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산할 수 있다.
다른 일실시예에 따르면, 상기 추정부는, 상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정할 수 있다.
일실시예에 따르면, 상기 신뢰도는, 상기 패턴 마커에 있는 전체 특징점 개수에 대한 검출된 특징점 개수에 비례할 수 있다.
다른 일실시예에 따르면, 상기 신뢰도는, 상기 패턴 마커에 대한 측정된 컬러값 편차에 반비례할 수 있다.
한편, 상기 측정된 컬러값 편차는, 세부 패턴 마커 각각의 내부 픽셀 컬러값의 표준편차의 합일 수 있다.
또 다른 일실시예에 따르면, 상기 신뢰도는, 상기 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값에 비례할 수 있다.
일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나일 수 있다.
다른 일실시예에 따르면, 상기 계산부는, 상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하고, 상기 추정부는, 상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정할 수 있다.
또 다른 일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 각속도 정보이며, 상기 계산부는, 적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정할 수 있다.
일실시예에 따르면, 상기 추정부는, 서로 다른 패턴을 가지고 있는 제1 패턴 마커와 제2 패턴 마커를 구별할 수 있다.
또한, 상기 서로 다른 패턴은, 서로 다른 색깔 조합 및 서로 다른 명암 조합 중 적어도 하나일 수 있다.
다른 일측에 따르면, 관성 센서가 제1 오브젝트의 모션 정보를 측정하는 단계; 이미지 획득부가 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계; 계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 단계; 및 추정부가 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 단계를 포함하는 모션 캡쳐 방법이 제공된다.
일실시예에 따르면, 상기 제1 오브젝터의 위치를 추정하는 단계는, 상기 추정부가 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 상기 신뢰도를 계산하는 단계는, 상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정하는 단계를 포함할 수 있다.
또 다른 일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 가속도 정보 및 각속도 정보 중 적어도 하나일 수 있다.
일실시예에 따르면, 상기 계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하는 단계; 및 상기 추정부가 상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정하는 단계를 더 포함할 수 있다.
다른 일실시예에 따르면, 상기 모션 정보는, 상기 제1 오브젝트의 각속도 정보이며, 상기 계산부가 적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정하는 단계를 더 포함할 수 있다.
또 다른 일측에 따르면, 상기 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
도 1은 일실시예에 따른 모션 캡쳐 장치의 구성을 나타낸 블록도이다.
도 2는 일실시예에 따라, 관성 센서 및 광학 센서가 같은 특징점의 위치/속도를 추정할 수 있도록 하는 통합 센서 모듈의 예시 도면이다.
도 3은 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
도 4는 일실시예에 따라, 제1 오브젝트의 위치를 추정하는 단계를 상세하게 나타낸 흐름도이다.
도 5는 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
도 6은 일실시예에 따라, 제1 오브젝트의 속도를 추정하는 단계를 상세하게 나타낸 흐름도이다.
도 7은 또 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
도 8은 복수 개의 통합 센서를 신체의 각 부위에 부착하여 모션을 캡쳐하는 것을 나타낸 예시 도면이다.
이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 모션 캡쳐 장치의 구성을 나타낸 블록도이다.
모션 캡쳐 장치(100)는 센서의 타입에 의해서도 구분될 수 있다. 센서의 종류에 의해서 장치의 특성이 정해질 수 있다. 센서의 종류에 대해서는 회전, 위치에 관한 종류일 수 있다.
예를 들면, 회전값을 사용하는 방식은 기계식 방식 및 자이로 방식 중 적어도 하나를 포함할 수 있다. 또한 회전값과 위치값을 모두 사용하는 방식은 마그네틱 방식이 있다.
기계식 방식의 모션 캡쳐 장치(100)는 일실시예로 회전 방식을 이용할 수 있다. 기계식 방식의 모션 캡쳐 장치(100)는 인체의 각 관절에 3개의 축 방향으로 전위차계를 설치해서 관절의 회전 운동 값을 얻을 수 있다.
마그네틱 방식의 모션 캡쳐 장치(100)는 트랜스미터에서 자기장을 만들고 상기 자기장 안으로 제작된 마그네틱 센서를 부착한 오브젝트가 들어가게 되면 위치값 및 회전값의 데이터를 얻을 수 있다.
광학식 방식의 모션 캡쳐 장치(100)는 옵티칼 방식의 모션 캡쳐 장치(100)로 불려질 수 있다. 광학식 방식의 모션 캡쳐 장치(100)는 2대 이상의 카메라에서 촬영한 마커를 2차원 이미지로 만들고, 2차원 이미지에서 마커의 2차원 좌표를 얻을 수 있다. 2개의 이미지에서 공통의 마커를 알고리즘에 의한 계산으로 3차원 좌표를 구하는 방식이다.
광학식 방식의 모션 캡쳐 장치(100)는 마커(패턴 마커)를 흑백으로 대비로 촬영하고 명도 대비를 높여 마커의 구분이 용이 하게 하기 위해서 적외선 카메라를 사용할 수 있다.
모션 캡쳐 장치(100)는 관성 센서(110), 이미지 획득부(120), 계산부(130) 및 추정부(140)를 포함할 수 있다.
관성 센서(110)는 제1 오브젝트의 모션 정보를 측정할 수 있다. 모션 정보는 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나일 수 있다.
관성 센서(110)는 특징점의 속도 및 가속도 중 적어도 하나의 값을 얻을 수 있다. 여기서 특징점은 패턴 마커의 중심점이나 다른 점일 수도 있다.
이미지 획득부(120)는 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득할 수 있다.
이미지 획득부(120)는 광학 센서를 이용하여 관성 센서(110)에 부착된 패턴 마커의 특징점의 위치를 획득할 수 있다.
추정부(140)는 관성 센서(110)에서 획득된 가속도 정보로부터 제1 오브젝트의 속도 정보 및 위치 정보 중 적어도 하나를 추정할 수 있다. 또는 추정부(140)는 관성 센서(110)에서 획득된 각가속도 정보로부터 제1 오브젝트의 각속도 정보 및 각도 정보 중 적어도 하나를 추정할 수 있다. 이 경우, 추정부(140)는 광학 센서 기반으로 획득된 속도 정보 또는 위치 정보를 초기 조건으로 이용할 수 있다. 또는 추정부(140)는 광학 센서 기반으로 획득된 각속도 정보 또는 각도 정보를 초기 조건으로 이용할 수도 있다. 광학 센서 기반에서는 예를 들어 특징점의 노멀 벡터(normal vector)에 기초하여 각속도 또는 각도 정보가 획득될 수 있으며, 이에 대하여서는 더욱 상세하게 후술하도록 한다.
또한, 관성 센서(110)의 초기 위치, 속도 값을 위해서는 광학 센서 기반의 값을 사용할 수 있다. 위치, 속도, 가속도 값은 기준 좌표계를 기준으로 3축 방향 값일 수 있다.
계산부(130)는 모션 정보로부터 제1 오브젝트의 제1 위치를 계산할 수 있다. 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 위치를 계산할 수 있다.
일실시예에 따르면, 계산부(130)는 초기 위치 및 초기 속도를 이용하여 제1 오브젝트의 위치를 계산할 수 있다.
다른 일실시예에 따르면, 계산부(130)는, 칼만 필터를 이용하여 관성 센서(110)에 의한 정보와 광학 센서에 의한 정보를 융합할 수 있다.
칼만 필터를 이용하여 추정하고자 하는 스테이트 벡터(state vector) x는 위치 또는 속도 벡터일 수 있다. 스테이트 벡터 x는 다음 수학식 1과 같다.
Figure pat00001
수학식 1에서, p는 위치를 의미할 수 있으며, x,y,z 축의 3 정보를 포함할 수 있다. 아울러, v는 속도를 의미할 수 있으며, x,y,z 축의 3 정보를 포함할 수 있다. 이에 따라, 수학식 1의 x는 6x1 벡터로 표현될 수 있다.
칼만 필터 식은 다음 수학식 2와 같다.
Figure pat00002
Figure pat00003
Xk는 k번째 샘플링 타임에서 스테이트 벡터이고, Δt는 샘플링 간격이다.
Figure pat00004
는 광학 센서로부터 얻은 (위치, 속도) 벡터이다.
Wk,Vk는 노이즈 모델이다.
추정부(140)는 제1 위치 및 제2 위치를 각각의 반영 비율로 포함하는 제1 오브젝트의 위치를 추정할 수 있다. 예를 들면, 제1 위치에 대한 반영 비율을 70%로 설정하고, 제2 위치에 대한 반영 비율을 30%로 설정하여 추정부(140)는 제1 오브젝트의 위치를 추정할 수 있다.
또한, 추정부(140)는 제1 위치 계산시 검출된 제1 노이즈의 크기 및 제2 위치 계산시 검출된 제2 노이즈의 크기 비율에 대응하는 신뢰도를 계산할 수 있다. 추정부(140)는 계산된 노이즈에 기초하여 제1 위치 및 제2 위치 각각의 반영 비율을 결정할 수 있다.
일실시예에 따르면, Wk는 관성 센서(110)에 의한 노이즈이고, 다이고날(diagonal) 매트릭스 형태로 설정될 수 있다. 매트릭스 형태는 다음 수학식 3과 같다.
Figure pat00005
A는 임의의 양의 실수이고, 관성 센서(110)에 의한 노이즈를 고려하여 적절한 양의 실수값으로 설정될 수 있다.
I6는 6x6 단위행렬(identity matrix)이다.
일실시예에 따르면, Vk는 광학 센서에 의한 노이즈이고, 다이고날(diagonal) 매트리스 형태로 설정될 수 있다. 매트릭스 형태는 다음 수학식 4와 같다.
Figure pat00006
B는 임의의 양의 실수이고, 광학 센서에 의한 노이즈를 고려하여 적절한 양의 실수 값으로 설정할 수 있다.
일실시예에 따르면, 신뢰도(r)는 B에 대한 A의 비율로 구할 수 있다. 신뢰도는 다음 수학식 5와 같다.
Figure pat00007
다른 일실시예에 따르면, 노이즈 매트릭스를 설정하면 칼만 필터에서 두 가지 측정 값의 기여도는 신뢰도에 의해 조절이 가능하다.
일실시예에 따르면, 신뢰도는 패턴 마커에 있는 전체 특징점 개수에 대한 검출된 특징점 개수에 비례할 수 있다. 신뢰도는 수학식 6과 같다.
Figure pat00008
예를 들면, C1은 임의의 양의 실수이다. 4개의 사각형 세부 패턴 마커에서 모든 사각형의 모서리 점들을 특징점이라 정의하면 전체 특징점 개수는 9개이다. 영상 입력에서 검출된 특징점 개수는 0 에서 9 사이의 값일 수 있다. 또한, 4개의 원형 세부 패턴 마커에서 원의 중심점들을 특징점이라 정의하면 전체 특징점 개수는 4개이다. 영상 입력에서 검출된 특징점 개수는 0에서 4 사이의 값일 수 있다.
다른 일실시예에 따르면, 신뢰도는 패턴 마커에 대한 측정된 컬러값 편차에 반비례할 수 있다. 상기 측정된 컬러값 편차는 세부 패턴 마커 각각의 내부 픽셀 컬러값의 표준편차의 합일 수 있다. 신뢰도는 수학식 7과 같다.
Figure pat00009
예를 들면, C2는 임의의 양의 실수이다.
또 다른 일실시예에 따르면, 신뢰도는 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값에 비례할 수 있다. 신뢰도는 수학식 8과 같다.
Figure pat00010
예를 들면, C3는 임의의 양의 실수이다.
또 다른 일실시예에 따르면, 신뢰도는 상기 신뢰도 구하는 식의 선형 조합 형태일 수도 있다.
또한, 계산부(130)는 모션 정보로부터 제1 오브젝트의 제1 속도를 계산할 수 있다. 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 속도를 계산할 수 있다.
계산부(130)가 제1 속도 및 제2 속도를 계산함에 따라, 추정부(140)는 제1 속도 및 제2 속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 속도를 추정할 수 있다.
또 다른 예로, 모션 정보가 제1 오브젝트의 각속도 정보인 경우, 계산부(130)는, 적어도 하나의 이미지 프레임에서의 적어도 3 개의 특징점 좌표값으로부터 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산할 수 있다. 노말 벡터를 계산하여 추정부(140)는, 제1 오브젝트의 각도 및 각속도 중 적어도 하나를 추정할 수 있다.
모션 캡쳐 장치(100)가 다수의 세부 패턴 마커를 활용하는 경우, 특징점이 다수가 될 수 있고, 각각의 특징점의 3차원 좌표를 활용하여 제1 오브젝트의 위치를 정확하게 추정할 수 있다.
일실시예에 따르면, 모션 캡쳐 장치(100)는 각 점마다 독립적인 칼만 필터 수행 후에 특징점의 대표위치로 합칠 수 있다.
다른 일실시예에 따르면, 모션 캡쳐 장치(100)는 3개 이상의 특징점 좌표값을 알면 노말 벡터를 추정할 수 있으므로 제1 오브젝트의 3차원 각도 및 각속도를 추정할 수 있다.
도 2는 일실시예에 따라, 관성 센서 및 광학 센서가 같은 특징점의 위치/속도를 추정할 수 있도록 하는 통합 센서 모듈의 예시 도면이다.
도 210은 관성 센서(110)를 나타낸 예시 도면이다. 관성 센서(110)는 제1 오브젝트의 모션 정보를 측정할 수 있다.
모션 정보는 제1 오브젝트에 대한 가속도 및 각가속도 중 적어도 하나에 해당할 수 있다.
관성 센서(110)에 부착된 패턴 마커를 나타낸 예시 도면이다. 패턴 마커는 도시된 바와 같이 4개의 세부 패턴 마커를 포함할 수 있다. 세부 패턴 마커는 서로 다른 색상 또는 다른 명암(gray scale)일 수 있다. 세부 패턴 마커는 사각형, 원형 및 도넛형 일 수 있다.
각 세부 패턴 마커가 교차하는 점은 특징점일 수 있다. 관성 센서(110) 및 광학 센서는 동일한 특징점의 위치/속도를 추정할 수 있다.
일실시예에 따르면, 모션 캡쳐 장치(100)는 복수의 광학 센서를 통하여 각 광학 센서의 이미지 센서에 투영된 패턴 마커의 특징점(또는 중심점)의 2차원 좌표를 얻은 후, 각 광학 센서의 위치 관계를 이용하여 패턴 마커의 3차원 좌표를 얻을 수 있다. 여기서, 복수의 광학 센서는 복수의 카메라일 수 있다.
예를 들면, 사각형 패턴 마커의 경우, 계산부(130)는 모서리 또는 에지 검출 알고리즘을 활용하여 3차원 좌표를 얻을 수 있다. 또한, 원형 또는 도넛형 패턴 마커의 경우, 계산부(130)는 원 또는 동심원 검출 알고리즘을 활용하여 3차원 좌표를 얻을 수 있다.
도 3은 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
단계(310)은, 관성 센서(110)가 제1 오브젝트의 모션 정보를 측정하는 단계이다. 상기 모션 정보는 제1 오브젝트에 대한 가속도에 대한 정보일 수 있다.
일실시예에 따르면, 관성 센서(110)는 자이로 방식에 의하여 모션 정보를 획득할 수 있다.
단계(320)은, 이미지 획득부(120)가 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계이다.
일실시예에 따르면, 광학 센서를 가진 광학식 카메라는 관성 센서(110)에 부착된 패턴 마커의 이미지를 촬영할 수 있다.
단계(330)은, 계산부(130)가 모션 정보로부터 제1 오브젝트의 제1 위치를 계산하고, 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 위치를 계산하는 단계이다.
일실시예에 따르면, 계산부(130)는, 제1 오브젝트의 가속도 정보로부터 제1 오브젝트의 위치를 계산할 수 있다.
단계(340)은, 추정부(140)가 제1 위치 및 제2 위치를 각각의 반영 비율로 포함하는 제1 오브젝트의 위치를 추정하는 단계이다.
추정부(140)는 관성 센서(110)에 의한 정보를 통하여 계산된 제1 위치 및 광학 센서에 의한 정보를 통하여 계산된 제2 위치를 반영하여 제1 오브젝트의 위치를 추정할 수 있다.
도 4는 일실시예에 따라, 제1 오브젝트의 위치를 추정하는 단계를 상세하게 나타낸 흐름도이다.
일실시예에 따라, 도 4는 도 3의 제1 오브젝트의 위치를 추정하는 단계를 상세하게 나타낸 흐름도이다.
단계(410)은, 관성 센서(110)에 의한 노이즈와 광학 센서에 의한 노이즈를 검출하는 단계이다.
계산부(130)는, 관성 센서(110)에 의한 노이즈 크기 및 광학 센서에 의한 노이즈 크기를 계산할 수 있다.
단계(420)은, 제1 위치 및 제2 위치의 반영비율을 결정하는 단계이다.
단계(430)은, 광학 센서에 의한 노이즈와 광학 센서에 의한 노이즈를 이용하여 신뢰도를 계산하는 단계이다.
상술하였던 바와 같이, 신뢰도는 특징점 개수, 패턴 마커에 대한 측정된 컬러값 편차 및 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값 중 적어도 하나를 이용하여 구할 수 있다.
단계(440)은 제1 오브젝트의 위치를 추정하는 단계이다.
도 5는 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
단계(510)은, 관성 센서(110)가 제1 오브젝트의 모션 정보를 측정하는 단계이다. 상기 모션 정보는 제1 오브젝트의 가속도에 대한 정보이다.
단계(520)은, 이미지 획득부(120)가 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계이다.
단계(530)은, 계산부(130)가 모션 정보로부터 제1 오브젝트의 제1 속도를 계산하고, 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 속도를 계산하는 단계이다.
일실시예에 따르면, 계산부(130)는, 제1 오브젝트의 가속도 정보로부터 제1 오브젝트의 속도를 계산할 수 있다.
단계(540)은, 추정부(140)가 제1 속도 및 제2 속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 속도를 추정하는 단계이다.
도 6은 일실시예에 따라, 제1 오브젝트의 속도를 추정하는 단계를 상세하게 나타낸 흐름도이다.
일실시예에 따라, 도 6는 도 5의 제1 오브젝트의 속도를 추정하는 단계를 상세하게 나타낸 흐름도이다.
단계(610)은, 관성 센서(110)에 의한 노이즈와 광학 센서에 의한 노이즈를 검출하는 단계이다.
계산부(130)는, 관성 센서(110)에 의한 노이즈 크기 및 광학 센서에 의한 노이즈 크기를 계산할 수 있다.
단계(620)은, 제1 속도 및 제2 속도의 반영비율을 결정하는 단계이다.
단계(630)은, 광학 센서에 의한 노이즈와 광학 센서에 의한 노이즈를 이용하여 신뢰도를 계산하는 단계이다.
상술하였던 바와 같이, 신뢰도는 특징점 개수, 패턴 마커에 대한 측정된 컬러값 편차 및 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값 중 적어도 하나를 이용하여 구할 수 있다.
단계(640)은 제1 오브젝트의 속도를 추정하는 단계이다.
도 7은 또 다른 일실시예에 따른 모션 캡쳐 방법의 순서를 나타낸 흐름도이다.
단계(710)은, 관성 센서(110)가 제1 오브젝트의 모션 정보를 측정하는 단계이다. 상기 모션 정보는 제1 오브젝트의 각가속도에 대한 정보이다.
단계(720)은, 이미지 획득부(120)가 관성 센서(110)에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계이다.
단계(730)은, 계산부(130)가 모션 정보로부터 제1 오브젝트의 제1 각속도를 계산하고, 이미지 획득부(120)로부터 획득된 적어도 하나의 이미지 프레임에 기초하여 제1 오브젝트의 제2 각속도를 계산하는 단계이다.
단계(740)은, 추정부(140)가 제1 각속도 및 제2 각속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 각속도를 추정하는 단계이다.
또한, 단계(740)은, 추정부(140)가 제1 각속도 및 제2 각속도를 각각의 반영 비율로 포함하는 제1 오브젝트의 각도를 추정하는 단계일 수 있다.
도 8은 복수 개의 통합 센서를 신체의 각 부위에 부착하여 모션을 캡쳐하는 것을 나타낸 예시 도면이다.
모션 캡쳐 장치(100)는 신체의 각 부위에 부착된 복수 개의 패턴 마커의 이미지를 획득할 수 있다.
일실시예에 따르면, 추정부(140)는 서로 다른 패턴을 가지고 있는 제1 패턴 마커와 제2 패턴 마커를 구별할 수 있다. 서로 다른 패턴은 복수 개의 패턴 마커에 대하여 스왑이 일어나지 않도록 할 수 있다. 서로 다른 패턴은 서로 다른 색깔 조합 및 서로 다른 명암 조합 중 적어도 하나에 해당할 수 있다.
일실시예에 따르면, 모션 캡쳐 장치(100)는 패턴 마커 종류에 따라서 각 마커의 식별번호를 확인할 수 있다. 식별번호를 확인함으로써, 모션 캡쳐 장치(100)는 패턴 마커의 스왑 가능성을 줄일 수 있다.
다른 일실시예에 따르면, 관성 센서(110) 및 광학 센서에 의해 획득된 정보가 모두 유효할 경우, 칼만 필터에서 추정된 값(위치, 속도 등)을 사용할 수 있다. 또한, 관성 센서(110) 및 광학 센서에 의해 획득된 정보 중 하나의 정보가 유효하지 않을 경우, 모션 캡쳐 장치(100)는 나머지 유효한 정보를 이용하여 계속 캡쳐를 진행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 제1 오브젝트의 모션 정보를 측정하는 관성 센서;
    상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 이미지 획득부;
    상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 계산부; 및
    상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 추정부
    를 포함하는 모션 캡쳐 장치.
  2. 제1항에 있어서,
    상기 추정부는,
    상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 모션 캡쳐 장치.
  3. 제2항에 있어서,
    상기 추정부는,
    상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정하는 모션 캡쳐 장치.
  4. 제2항에 있어서,
    상기 신뢰도는,
    상기 패턴 마커에 있는 전체 특징점 개수에 대한 검출된 특징점 개수에 비례하는 모션 캡쳐 장치.
  5. 제2항에 있어서,
    상기 신뢰도는,
    상기 패턴 마커에 대한 측정된 컬러값 편차에 반비례하는 모션 캡쳐 장치.
  6. 제5항에 있어서,
    상기 측정된 컬러값 편차는,
    세부 패턴 마커 각각의 내부 픽셀 컬러값의 표준편차의 합인 모션 캡쳐 장치.
  7. 제2항에 있어서,
    상기 신뢰도는,
    상기 패턴 마커에 대한 세부 패턴 마커들의 경계에 해당하는 윤곽선에서 픽셀 차이 값에 비례하는 모션 캡쳐 장치.
  8. 제1항에 있어서,
    상기 모션 정보는,
    상기 제1 오브젝트의 가속도 정보 및 각가속도 정보 중 적어도 하나인 모션 캡쳐 장치.
  9. 제1항에 있어서,
    상기 계산부는,
    상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하고,
    상기 추정부는,
    상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정하는 모션 캡쳐 장치.
  10. 제8항에 있어서,
    상기 모션 정보는,
    상기 제1 오브젝트의 각속도 정보이며,
    상기 계산부는,
    적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정하는 모션 캡쳐 장치.
  11. 제1항에 있어서,
    상기 추정부는,
    서로 다른 패턴을 가지고 있는 제1 패턴 마커와 제2 패턴 마커를 구별하는 모션 캡쳐 장치.
  12. 제11항에 있어서,
    상기 서로 다른 패턴은,
    서로 다른 색깔 조합 및 서로 다른 명암 조합 중 적어도 하나인 모션 캡쳐 장치.
  13. 관성 센서가 제1 오브젝트의 모션 정보를 측정하는 단계;
    이미지 획득부가 상기 관성 센서에 부착된 패턴 마커에 대한 적어도 하나의 이미지 프레임을 획득하는 단계;
    계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 위치를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 위치를 계산하는 단계; 및
    추정부가 상기 제1 위치 및 상기 제2 위치를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 위치를 추정하는 단계
    를 포함하는 모션 캡쳐 방법.
  14. 제13항에 있어서,
    상기 제1 오브젝터의 위치를 추정하는 단계는,
    상기 추정부가 상기 제1 위치 계산시 검출된 제1 노이즈의 크기 및 상기 제2 위치 계산시 검출된 제2 노이즈의 크기의 비율에 대응하는 신뢰도를 계산하는 단계를 포함하는 모션 캡쳐 방법.
  15. 제14항에 있어서,
    상기 신뢰도를 계산하는 단계는,
    상기 계산된 노이즈에 기초하여 상기 제1 위치 및 상기 제2 위치 각각의 반영 비율을 결정하는 단계를 포함하는 모션 캡쳐 방법.
  16. 제13항에 있어서,
    상기 모션 정보는,
    상기 제1 오브젝트의 가속도 정보 및 각속도 정보 중 적어도 하나인 모션 캡쳐 방법.
  17. 제13항에 있어서,
    상기 계산부가 상기 모션 정보로부터 상기 제1 오브젝트의 제1 속도를 계산하고, 상기 획득된 적어도 하나의 이미지 프레임에 기초하여 상기 제1 오브젝트의 제2 속도를 계산하는 단계; 및
    상기 추정부가 상기 제1 속도 및 상기 제2 속도를 각각의 반영 비율로 포함하는 상기 제1 오브젝트의 속도를 추정하는 단계를 더 포함하는 모션 캡쳐 방법.
  18. 제16항에 있어서,
    상기 모션 정보는,
    상기 제1 오브젝트의 각속도 정보이며,
    상기 계산부가 적어도 하나의 이미지 프레임에서의 적어도 3개의 특징점들 좌표값으로부터 상기 특징점들에 대한 평면의 노말 벡터(Normal Vector)를 계산하여 각도 및 각속도 중 적어도 하나를 추정하는 단계를 더 포함하는 모션 캡쳐 방법.
  19. 제13항 내지 제19항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020130142187A 2013-11-21 2013-11-21 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법 KR101575934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130142187A KR101575934B1 (ko) 2013-11-21 2013-11-21 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130142187A KR101575934B1 (ko) 2013-11-21 2013-11-21 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150058882A true KR20150058882A (ko) 2015-05-29
KR101575934B1 KR101575934B1 (ko) 2015-12-10

Family

ID=53392993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130142187A KR101575934B1 (ko) 2013-11-21 2013-11-21 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101575934B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170103716A (ko) * 2017-06-24 2017-09-13 이영종 광학식 모션 트랙킹 센서
CN111382701A (zh) * 2020-03-09 2020-07-07 北京字节跳动网络技术有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
WO2023193763A1 (zh) * 2022-04-07 2023-10-12 深圳维测科技有限公司 数据处理方法及装置、追踪标记、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170103716A (ko) * 2017-06-24 2017-09-13 이영종 광학식 모션 트랙킹 센서
CN111382701A (zh) * 2020-03-09 2020-07-07 北京字节跳动网络技术有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
CN111382701B (zh) * 2020-03-09 2023-09-22 抖音视界有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
WO2023193763A1 (zh) * 2022-04-07 2023-10-12 深圳维测科技有限公司 数据处理方法及装置、追踪标记、电子设备及存储介质

Also Published As

Publication number Publication date
KR101575934B1 (ko) 2015-12-10

Similar Documents

Publication Publication Date Title
KR102209008B1 (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US9953461B2 (en) Navigation system applying augmented reality
EP2917754B1 (en) Image processing method, particularly used in a vision-based localization of a device
US10275661B2 (en) Image processing apparatus, image processing method, and computer program product
EP3236424B1 (en) Information processing apparatus and method of controlling the same
KR102016636B1 (ko) 카메라와 레이더의 캘리브레이션 장치 및 방법
US20150181198A1 (en) Automatic Scene Calibration
KR101592798B1 (ko) 배향 센서들에 기초한 호모그래피 분해 모호성의 해결
WO2015123774A1 (en) System and method for augmented reality and virtual reality applications
KR101706200B1 (ko) 회전체의 회전 특성 측정 방법 및 장치
JP2017187861A5 (ko)
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
CN104937608B (zh) 道路区域检测
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
KR101967554B1 (ko) 지시선을 이용하여 공간 정보를 측정하기 위한 방법, 그 방법을 이용한 장치
WO2018134866A1 (ja) カメラ校正装置
CN109696656A (zh) 基于相位对焦的定位方法及其***
KR20170120946A (ko) 입력 장치의 마커를 사용하여 입력 장치에 대한 정보를 도출하는 방법 및 장치
CN111161357A (zh) 信息处理方法及装置、增强现实设备和可读存储介质
KR102412275B1 (ko) 스테레오 방법을 이용한 3차원 형상정보 계측에 있어서의 이미지 왜곡 보정 방법 및 장치
TWI817124B (zh) 位置/姿勢推定裝置、位置/姿勢推定方法及記錄其程式之記錄媒體
KR20140068444A (ko) 다층 평면 물체 영상을 이용하여 카메라를 보정하기 위한 장치 및 그 방법
KR20240033982A (ko) 의류 제품의 사이즈 측정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 5