KR101034675B1 - 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템 - Google Patents

수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템 Download PDF

Info

Publication number
KR101034675B1
KR101034675B1 KR1020100098453A KR20100098453A KR101034675B1 KR 101034675 B1 KR101034675 B1 KR 101034675B1 KR 1020100098453 A KR1020100098453 A KR 1020100098453A KR 20100098453 A KR20100098453 A KR 20100098453A KR 101034675 B1 KR101034675 B1 KR 101034675B1
Authority
KR
South Korea
Prior art keywords
value
human body
image
rotation value
position value
Prior art date
Application number
KR1020100098453A
Other languages
English (en)
Inventor
서융호
오치민
이칠우
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020100098453A priority Critical patent/KR101034675B1/ko
Priority to PCT/KR2010/008334 priority patent/WO2012046913A1/ko
Application granted granted Critical
Publication of KR101034675B1 publication Critical patent/KR101034675B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인체 자세 추정 방법에 관한 것으로, 보다 구체적으로는 수치적인 역 운동학에 기반하여 이전시간의 영상의 인체 자세로부터 현재시간의 영상의 인체 자세를 추정하되, 언센티드 칼만 필터를 이용하여 관절의 변화를 갱신함으로써, 인체 자세를 빠르게 추정할 수 있는 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 그 방법을 실행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체, 그 프로그램을 통신망을 통해 전송할 수 있는 서버 시스템에 관한 것이다.

Description

수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템{Method of estimating human pose using unscented kalman filter based on numerical inverse kinematics, computer readable medium and server system}
본 발명은 인체 자세 추정 방법에 관한 것으로, 보다 구체적으로는 수치적인 역 운동학에 기반하여 이전시간의 영상의 인체 자세로부터 현재시간의 영상의 인체 자세를 추정하되, 언센티드 칼만 필터를 이용하여 관절의 변화를 갱신함으로써, 인체 자세를 빠르게 추정할 수 있는 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 그 방법을 실행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체, 그 프로그램을 통신망을 통해 전송할 수 있는 서버 시스템에 관한 것이다.
영상 기반의 인체 자세 추정은 게임 인터페이스, 보안 분야, HCI(Human Computer Interaction), 가상현실 및 증강현실 등 다양한 분야에 응용이 가능하므로 연구가 매우 활발한 분야이다.
일반적으로 영상 기반의 인체 자세 추정 방법은 현재 영상만을 이용하여 인체의 특징점과 관절 등을 3차원 데이터로 추출하는데, 이러한 방법을 구현하기 위한 시스템이 매우 고가이고, 조작이 어려울 뿐만 아니라, 빠르게 움직이는 인체에 대해서는 자세 추정의 실패 확률이 높고 및 추정 시간이 오래 걸리는 문제점이 있다.
한편, 역 운동학(inverse kinematics)이란 로보틱스 분야에서 매니퓰레이터 끝단(end-effector)의 위치를 지정할 때, 끝단을 연결하는 관절의 회전각을 계산하기 위해 사용하는 것으로, 예를 들면, 에니메이션 분야에서 관절에 의해 연결된 얼굴, 손, 발 등의 인체 특징점들 움직였을 때, 인체 특징점들을 연결하는 관절의 회전각이 변화하면서 따라가도록 하는 방법으로 설명할 수 있다.
도 1을 참조하여 더욱 자세하게 설명하면, 도 1은 수치적인 역 운동학의 개념을 설명하기 위한 것으로 이전시간의 인체 특징점인 손(10)의 위치(f(xt -1))가, 현재시간의 손(20)의 위치(f(xt))로 변화할 경우, 이전시간의 관절 회전 값(xt -1)이 현재시간에는 어떠한 관절 회전 값(xt)으로 변화하였을 지를 예측하는 방법이다.
여기서, 함수 f는 관절의 회전 값(회전 각도 값)을 이용한 순 운동학(forward kinematics)의 결과 값인 손의 3차원 위치 값, t는 현재시간, t-1은 이전시간, x는 관절의 3차원 회전 값으로 구성된 벡터를 의미한다.
또한, 이전시간에서 현재시간으로 변화하는 관절의 회전 값들을 xt i(i=1,...,n)라고 하였을 때, 이전시간의 관절 회전 값은 xt i - 1 로 표현할 수 있고, xt 0으로 초기화된다고도 표현할 수 있다.
일반적으로 수치적인 역 운동학은 뉴튼-랩슨 방법(Newton-Raphson method)을 이용하여 아래의 수학식 1과 같이 예상되는 관절의 회전 값(xt i -1 )을 순 운동의 위치 값(f(xt i -1))으로 계산하였을 때, 계산된 순 운동의 위치 값(f(xt i -1))과 현재시간의 손의 위치 값(gt=f(xt))의 오차 값(E)이 최소화되는 관절의 회전 값을 찾는 방법이다.
또한, 통상적으로 영상처리와 같은 분야에서 관절의 회전 값은 '예측 값'(predicted value)이라고 하고, '예측 값'으로부터 계산되는 손의 위치 값은 '관측 값'(measurements)이라고 한다.
Figure 112010065232485-pat00001
여기서, 오차 값(E)이 정해진 임계 오차 값 이하가 아니라면, 즉, 관절의 예측 회전 값을 현재시간에서 손의 관절 회전 값으로 간주할 수 없다면, 오차 값(E)이 정해진 임계 오차 값 이하가 될 때까지, 아래의 수학식 2와 같이 현재 예측한 관절의 예측 회전 값에 뉴튼 스탭을 더하여 갱신하며 오차 값을 확인해 간다.
즉, 아래의 수학식 2의 갱신된 관절의 예측 회전값(xt i)이 상기 수학식 1의 관절의 회전 값(xt i -1 )에 대입되어, 오차 값이 임계 오차 값 이하가 될 때까지 반복적으로 계산하는 것이다.
Figure 112010065232485-pat00002
여기서, δx는 관절의 회전 값 변화율, 즉, 뉴튼 스탭을 뜻하고, β는 뉴튼 스탭을 결정하는 계수로써, 일반적으로 최초에 1로 설정되고, 오차 값(E)이 정해진 임계 오차 값 이하가 될 때까지, 점차 작은 값으로 변화된다.
또한, J+는 자코비안 행렬 J의 의사역행렬(pseudo-inverse matrix)을 의미하며, 자코비안 행렬은 순 운동학 함수 f를 각 관절의 회전 값에 대해 편미분한 것으로 관절의 회전 값의 변화율을 위치 값의 변화율로 매핑하는 관계를 뜻한다.
즉, 수치적인 역 운동학만을 이용하여 현재시간의 관절 회전 값을 구하는 것은 계수 β 값의 변화에 따라 수많은 반복수행이 필요하므로 현재 인체 자세 추정에 많은 시간이 걸리는 문제점이 있다.
또한, 일반적으로 계수 β가 작을수록 현재시간의 관절 회전 값을 빠르게 구할 수 있지만 작을수록 해에 수렴하지 못하고 발산할 수 있는 확률이 높아지므로 임의의 값으로 조정하는데는 한계가 있다.
본 발명자들은 역 운동학을 이용하여 이전시간의 인체 자세로부터 현재시간의 인체 자세를 빠르게 추정할 수 있는 방법을 연구 노력한 결과, 역 운동학과 언센티드 칼만 필터(UKF:Unscented Kalman Filter)를 특이하게 조합하여 뉴튼 스탭 계수 β를 고정하고 빠르게 현재시간의 인체 자세를 추정할 수 있는 방법을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 역 운동학을 이용하되, 언센티드 칼만 필터를 이용하여 뉴튼 스탭 계수 β를 고정하고서도 빠르게 현재시간의 인체 자세를 추정할 수 있는 방법, 그 방법을 컴퓨터에 실행시키기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체 및 상기 프로그램이 저장되고, 상기 프로그램을 통신망을 통해 전송할 수 있는 서버 시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은 이전시간에 입력되거나 계산된 제1 영상의 인체 자세로부터 현재시간에 입력된 제2 영상의 인체 자세를 추정하기 위한 인체 자세 추정방법에 있어서, 상기 제1 영상의 인체 특징점들의 위치 값인 제1 위치 값과 상기 인체 특징점을 연결하는 관절의 회전 값인 제1 관절 회전 값을 계산하여 획득하는 제1 단계; 상기 제2 영상을 입력받아, 상기 제2 영상에서 상기 인체 특징점들의 위치 값인 제2 위치 값을 계산하여 획득하는 제2 단계; 상기 제1 관절 회전 값의 변화를 예측한 예측 회전 값과 상기 예측 회전 값을 위치 값으로 변환한 관측 위치 값을 산출하는 제3 단계; 상기 예측 회전 값과 상기 관측 위치 값을 기반으로 언센티드 칼만 필터(UKF:Unscented Kalman Filter)를 이용하여 상기 예측 회전 값에서 노이즈를 제거한 최종 관측 회전 값을 산출하는 제4 단계; 및 상기 최종 관측 회전 값을 위치 값으로 변환하여 최종 관측 위치 값을 획득하고, 상기 최종 관측 위치 값과 상기 제2 위치 값의 차이인 위치 오차 값을 구하며, 상기 위치 오차 값이 정해진 임계 위치 오차 값 이하일 경우, 상기 제2 영상의 인체 자세는 인체 특징점들이 상기 최종 관측 회전 값을 갖는 관절들로 연결되는 자세로 추정하고, 상기 위치 오차 값이 상기 임계 위치 오차 값을 초과하면, 상기 제1 관절 회전 값을 상기 최종 관측 회전 값으로 갱신하여 상기 오차 값이 상기 임계 위치 오차 값 이하가 될 때까지 상기 제3 단계, 상기 제4 단계 및 상기 위치 오차 값의 계산을 반복수행하는 제5 단계;를 포함 인체 자세 추정방법을 제공한다.
바람직한 실시예에 있어서, 상기 제3 단계:는 이전 상태 값과 공분산으로 계산되는 시그마 포인트들(sigma points)을 생성하는 제3-1 단계; 상기 시그마 포인트들을 평균하여 상기 예측 회전 값을 구하는 제3-2 단계; 및 관측 함수에 상기 시그마 포인트들을 입력하여 상기 시그마 포인트들을 위치 값인 예측 위치 값들을 구하고, 상기 예측 위치 값들을 평균하여 상기 관측 위치 값을 산출하는 제3-3 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제4 단계:는 상기 시그마 포인트들과 상기 예측 위치 값들의 교차 공분산에 상기 관측 위치 값의 역행렬을 곱하여 칼만 게인(Kalmal gain)을 구하는 제4-1 단계; 및 상기 제2 위치 값과 상기 관측 위치 값의 차이 값에 상기 칼만 게인을 곱하고 상기 시그마 포인트들의 평균값을 합하여 상기 최종 관측 회전 값을 구하는 제4-1 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제3 단계 이전에, 뉴튼-랩슨법(Newton-Raphson Method)을 이용하여 상기 제1 관절 회전 값이 변화할 것으로 예상되는 방향정보인 뉴튼 스탭을 구하는 제a 단계;를 더 포함하고, 상기 각 시그마 포인트는 상기 뉴튼 스탭이 더해져 생성된다.
바람직한 실시예에 있어서, 상기 제a 단계의 뉴튼 스탭은 순 운동학 함수를 상기 인체 특징점을 연결하는 각 관절 회전 값에 대해 편미분한 자코비안 행열(J)의 의사역행렬(J+,pseudo-inverse matrix)에 상기 제1 위치 값과 상기 제2 위치 값의 차이를 곱하여 구해지고, 상기 제5 단계에서 상기 제1 관절 회전 값이 갱신될 경우, 상기 뉴튼 스탭은 상기 갱신된 제1 관절 회전 값에 대해 편미분한 자코비안 행열(J)의 의사역행렬(J+,pseudo-inverse matrix)에 상기 갱신된 제1 관절 회전 값과 상기 제2 위치 값의 차이를 곱하여 구해진다.
바람직한 실시예에 있어서, 상기 제3 단계는, 상기 제3-1 단계 이후에, 상기 시그마 포인트들의 공분산을 계산하는 제b 단계를 더 포함하고, 상기 제5 단계에서 상기 제1 관절 회전 값이 갱신될 경우, 상기 시그마 포인트의 생성에 사용되는 공분산은 상기 시그마 포인트들의 공분산에 상기 칼만 게인, 상기 예측 위치 값의 공분산 및 상기 칼만 게인의 대칭행열을 곱한 값을 감한 값으로 갱신된다.
바람직한 실시예에 있어서, 상기 제1 영상 및 상기 제2 영상은 각각 서로 다른 방향에서 촬영한 적어도 두 개의 영상으로 이루어지며, 상기 제1 위치 값과 상기 제2 위치 값은 x-y-z축 상의 3차원 위치 값으로 계산되어 획득되고, 상기 제1 관절 회전 값은 x-y-z축을 기준으로 회전한 3차원 회전 값으로 계산되어 획득된다.
바람직한 실시예에 있어서, 상기 제1 단계:는 상기 제1 영상을 구성하는 각 영상들의 배경을 제거하는 제1-1 단계; 배경이 제거된 영상 내에서 피부색이 있는 지점을 검출하고, 검출된 지점을 상기 인체 특징점으로 획득하는 제1-2 단계; 및 카메라 교정 기법(camera calibration)을 이용하여 상기 제1 영상의 3차원 위치 값 및 3차원 회전 값을 구하는 1-3단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제2 단계:는 상기 제2 영상을 구성하는 각 영상들의 배경을 제거하는 제2-1 단계; 배경이 제거된 영상 내에서 피부색이 있는 지점을 검출하고, 검출된 지점을 상기 인체 특징점으로 획득하는 제2-2 단계; 카메라 교정 기법(camera calibration)을 이용하여 상기 제2 영상의 3차원 위치 값을 구하는 제2-3 단계; 및 상기 제2 영상의 3차원 위치 값을 상기 제1 영상의 3차원 위치 값의 좌표로 정규화하여 상기 제2 위치 값을 획득하는 제2-4 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 인체 특징점들은 얼굴, 오른손, 왼손, 오른발 및 왼발 중 적어도 하나를 포함하고, 상기 인체 특징점들을 연결하는 관절은 목, 척추, 오른쪽 어깨, 오른쪽 팔꿈치, 왼쪽 어깨, 왼쪽 팔꿈치, 오른쪽 골반, 오른쪽 무릎, 왼쪽 골반 및 왼쪽 무릅 중 적어도 하나를 포함한다.
또한, 본 발명은 상기 인체 자세 추정방법을 컴퓨터에 실행시키기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체를 제공한다.
또한, 본 발명은 상기 프로그램이 저장되고, 상기 프로그램을 통신망을 통해 전송할 수 있는 서버 시스템을 제공한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
본 발명의 인체 추정 방법에 의하면 언센티드 칼만 필터를 수행하기 위한 시그마 포인트를 생성 시, 역 운동학의 뉴튼 스탭을 반영하여 생성하되, 뉴튼 스탭의 계수는 고정함으로써, 수치적인 역 운동학 계산시에에 뉴튼 스탭 계수 변화에 의한 추정 시간 지연을 최소화할 수 있고, 시그마 포인트 생성시 뉴튼 스탭이 반영되므로 정확한 인체 자세를 추정할 수 있는 효과가 있다.
도 1은 수치적인 역 운동학의 개념을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 인체 자세 추정방법을 보여주는 흐름도,
도 3은 본 발명의 일 실시예에 따른 인체 자세 추정방법에서 이전시간에 입력된 인체 특징점들의 위치 값 및 관절 회전 값을 계산하는 과정을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 인체 자세 추정방법에서 현재시간에 입력된 인체 특징점들의 위치 값을 계산하는 과정을 설명하기 위한 도면,
도 5 내지 도 7은 일반적인 역 운동학의 뉴튼 스탭 계수에 변화에 따른 인체 자세 추정 결과를 보여주는 도면,
도 8은 본 발명의 일 실시예에 따른 인체 자세 추정방법을 이용한 인체 자세 추정 결과를 보여주는 도면이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명의 일 실시예에 따른 인체 자세 추정방법은 실질적으로 상기 인체 자세 추정방법을 수행할 수 있는 프로그램에 의해 수행되고, 상기 프로그램은 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등이 단독 또는 조합으로 구성된 프로그램일 수 있고, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드로 짜여진 프로그램일 수 있다.
또한, 상기 프로그램은 컴퓨터로 읽을 수 있는 매체에 저장되어 컴퓨터로 읽혀짐으로써 그 기능을 수행하고, 상기 매체는 본 발명을 위하여 특별히 설계되어 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에서 공지되어 사용 가능할 것일 수 있으며, 예를 들면, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD, DVD와 같은 광 기록 매체, 자기 및 광 기록을 겸할 수 있는 자기-광 기록 매체, 롬, 램, 플래시 메모리 등 단독 또는 조합에 의해 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치일 수 있다.
또한, 상기 프로그램은 상기 매체에 의해 컴퓨터에 읽혀질 수 있는 것뿐만 아니라, 인트라넷이나 인터넷 등의 통신망을 통해 정보를 전송할 수 있는 서버 시스템에 저장되어 컴퓨터로 전송됨으로써, 컴퓨터가 상기 인체 자세 추정방법을 수행하게 할 수도 있다.
그러나, 상기 서버 시스템에서 상기 프로그램을 컴퓨터로 전송하지 않고 컴퓨터가 접근하여 상기 서버 시스템에 저장된 프로그램을 상기 서버 시스템상에서 수행할 수 있는 플랫폼을 제공할 수도 있다.
이하에서는 도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 인체 자세 추정방법을 자세히 설명하기로 한다.
도 2 내지 도 4를 참조하면, 먼저 본 발명의 일 실시예에 따른 인체 자세 추정방법은 이전시간에 입력되거나 계산되어 갱신된 제1 영상(100)의 인체 자세로부터 현재시간에 입력된 제2 영상(200)의 인체 자세를 추정하기 위한 인체 자세 추정 방법으로써, 먼저, 상기 제1 영상(100)이 입력되고, 상기 제1 영상(100)의 인체 특징점들(141,142)의 위치 값인 제1 위치 값 및 상기 인체 특징점들(141,142)을 연결하는 관절의 회전 각도 값인 제1 관절 회전 값을 산출하여 획득한다(S1000).
여기서, 상기 제1 영상(100)이란 도 3에 도시한 바와 같이, 적어도 두 개의 카메라를 이용하여 동일한 자세의 인체를 서로 다른 방향에서 촬영한 영상들(101,102)로 구성된다.
이는, 상기 영상들(101,102)로부터 카메라 교정기법(camera calibration)을 이용하여 2차원의 영상들(101,102)의 인체의 위치를 3차원 위치로 복원하기 위함이다.
또한, 본 발명에서는 두 개의 카메라를 이용하여 촬영된 제1 영상(100)을 입력받는 것을 상정하였으나, 세 개 이상의 카메라로부터 촬영된 영상들을 상기 제1 영상(100)으로 입력받을 수 있음은 물론이다.
또한, 상기 제1 영상에서 상기 제1 위치 값과 상기 제1 관절 회전 값을 산출하는 과정을 더욱 자세하게 설명하면, 먼저, 서로 다른 방향에서 촬영한 영상들(101,102)이 입력되고(S1100), 상기 각 영상들 내의 배경을 제거하여 전경인 인체만으로 구성되는 영상(110)을 획득한다(S1200).
다음, 상기 배경이 제거된 영상(110)에서 노이즈를 제거하고(S1300), 피부색이 있는 지점을 검출하여, 인체 특징점(131a,132a)이 2차원 공간상에서 레이블링된 영상(130)을 획득한다(S1400). 즉, 상기 제1 영상(100)을 구성하는 각 영상들(101,102) 내부의 인체 특징점들(131a,132a)이 2차원 공간상에서 갖는 2차원 위치 값을 구하는 것이다.
또한, 상기 인체 특징점(131a,132a)들은 인체의 얼굴, 오른손, 왼손, 오른발 및 왼발과 같이 관절에 의해 연결되는 끝단(end-effector)을 뜻하고, 상기 관절은 목, 척추, 오른쪽 어깨, 오른쪽 팔꿈치, 왼쪽 어깨, 왼쪽 팔꿈치, 오른쪽 골반, 오른쪽 무릎, 왼쪽 골반 또는 왼쪽 무릎을 뜻한다.
다음, 상기 인체 특징점들(131a,132a)의 2차원 위치 값을 카메라 교정 기법(camera calibration)을 통하여 3차원 공간상에 투영함으로써, 상기 인체 특징점들(131a,132a)의 3차원 공간(140)상에서 갖는 3차원 위치 값(141) 및 상기 인체 특징점들(131a,132a)에 연결된 관절의 3차원 관절 회전 값(143)을 구한다(S1500).
예를 들면, 상기 카메라 교정 기법은 에피폴라(epipolar) 거리를 계산하여 상기 인체 특징점들(131a,132a)의 2차원 위치 값을 상기 3차원 공간(140)상에서 정합하는 방법을 사용할 수 있다.
즉, 상기 3차원 위치 값(141)과 상기 3차원 관절 회전 값(143)이 각각 상기 제1 위치 값 및 제1 관절 회전 값으로 계산되어 획득되는 것이다.
다음, 상기 제2 영상(200)이 입력되고 상기 제2 영상(200)의 인체 특징점(211)들의 위치 값인 제2 위치 값을 계산하여 획득한다(S2000).
또한, 상기 제2 영상(200)은 상기 제1 영상(100)과 마찬가지로, 상기 제1 영상(100)의 각 영상들(101,102)과 대응하는 두 개의 영상(201,202)이 입력되며(S2100), 입력된 영상들(201,202)의 인체 특징점의 3차원 위치 값(211)을 구하고, 구해진 3차원 위치 값(211)을 상기 제1 위치 값(141)의 3차원 공간(140) 즉, 상기 제1 위치 값(141)의 3차원 좌표로 정규화하여 상기 제2 위치 값(211a)을 구한다(S2200).
또한, 상기 제2 영상(200)의 인체 특징점들의 3차원 위치 값(211)을 구하는 방법은 실질적으로 상기 제1 영상(100)의 인체 특징점들의 제1 위치 값(141)을 구하는 방법과 동일하므로 설명을 생략하기로 한다.
따라서 본 발명은 이미 알고 있는 상기 제1 영상(100)의 위치 값(141) 및 관절 회전 값(143)으로부터 현재 입력된 영상의 인체 특징점들의 관절 회전 값을 예측하여 상기 제2 위치 값(211a)과 예측된 관절 회전 값을 갖는 현재 영상의 인체 자세(300)를 추정하는 방법이다.
이하에서는 상기 제2 영상(200)의 인체 특징점들의 연결하는 관절 회전 값을 예측하는 과정을 자세히 설명하기로 한다.
먼저, 상기 제1 영상(100)의 관절 회전 값(143)의 변화를 예측한 예측 회전 값을 구한다(S3000).
또한, 상기 예측 회전 값은 이전시간의 상태 값과 공분산으로 생성되는 시그마 포인트들(sigma point)의 평균값으로 계산되며, 상기 시그마 포인트들은 각각 아래의 수학식 3과 같이 앞서 설명한 수치적인 역 운동학의 뉴튼 스탭이 더 해져 생성된다(S3100).
즉, 상기 시그마 포인트들의 생성을 위해서는 상기 뉴튼 스탭의 계산이 선행되어야 한다(S3110).
Figure 112010065232485-pat00003
Figure 112010065232485-pat00004
Figure 112010065232485-pat00005
여기서, xt i -1은 이전시간의 상태 값, 즉, xt o 일 경우, 상기 제1 관절 회전 값(143)을 뜻하며, i의 값이 증가하여 xt o가 xt 1이 되면 상기 제1 관절 회전값(143)이 갱신된 값을 뜻한다. 또한, δx는 앞서 설명한 뉴튼 스탭이며, β는 뉴튼 스탭 계수, Q는 이전시간의 상태 공분산, n과 k는 각각 상태 계수와 가중치 계수를 뜻한다.
즉, 상기 시그마 포인트는 상기 제1 관절 회전 값(143)이 변화할 것으로 예상되는 회전 값들을 뜻한다.
일반적으로 수치적인 역 운동학에서는 상기 뉴튼 스탭 계수를 변화시켜면서 오차 값(E)이 정해진 임계 오차 값 이하가 될 때까지 상기 제1 관절 회전값(143)을 갱신하나, 본 발명에서는 상기 뉴튼 스탭 계수를 고정하여 상기 시그마 포인트를 계산하고 오차 값(E)이 정해진 임계 오차 값 이하가 될 때까지 상기 시그마 포인트를 갱신한다.
즉, 본 발명의 인체 자세 추정방법은 뉴튼 스탭 계수가 고정되므로 뉴튼-랩튼 방법을 이용하는 수치적인 역 운동학 방법에 계산속도가 매우 향상되는 장점이 있다.
다음, 상기 시그마 포인트들의 공분산을 계산한다(S3200).
이는 현재시간에 인체 자세를 추정하지 못할 경우, 상기 시그마 포인트의 계산에 사용되는 상태 공분산을 갱신하기 위한 것이고, 상기 뉴튼 스탭을 계산하는 자코비안 행렬의 갱신에도 사용된다.
다음, 상기 시그마 포인트들을 평균하여 상기 제1 관절 회전 값(143)이 회전할 것으로 예측되는 예측 회전값을 구한다(S3300).
다음, 상기 예측 회전 값으로 관측되는 관측 위치 값을 산출한다(S4000).
또한, 상기 관측 위치 값은 먼저, 관측함수에 상기 시그마 포인트들, 즉, 상기 예측 회전 값을 입력하여 상기 예측 회전값에 의해 예측되는 위치 값인 예측 위치 값을 계산하고(S4100), 상기 예측 위치 값들을 평균하여 산출한다(S4200).
다음, 상기 예측 위치 값의 공분산 및 상기 시그마 포인트들과 상기 예측 위치 값의 교차 공분산을 구한다. 또한, 상기 예측 위치 값의 공분산과 상기 교차 공분산은 아래에서 설명할 칼만 게인의 계산에 사용하기 위한 것이다.
다음, 상기 시그마 포인트들과 상기 예측 위치 값들을 기반으로 언센티드 칼만 필터(UKF:Unscented Kalman Filter)를 통해 최종 관측 회전 값을 산출한다(S5000).
즉, 상기 최종 관측 회전 값은 최종적으로 상기 제2 위치 값들이 연결될 것으로 예상되는 관절의 회전 값이다.
또한, 상기 최종 관측 회전 값은 아래의 수학식 4와 같이 먼저, 상기 교차 공분산에 상기 관측 위치 값의 역행렬을 곱하여 칼만 게인을 계산하고(S5100), 다음, 아래의 수학식 5와 같이 계산된 칼만 게인에 상기 제2 위치 값과 상기 관측 위치 값의 차 곱하고 상기 시그마 포인트들의 평균값을 더하여 산출된다(S5200).
Figure 112010065232485-pat00006
여기서, Kt는 칼만 게인, Qxy는 상기 교차 공분산, Qy는 상기 예측 위치 값의 공분산을 뜻한다.
Figure 112010065232485-pat00007
여기서, xt +는 상기 최종 관측 회전 값,
Figure 112010065232485-pat00008
는 상기 예측 회전 값, yt는 상기 제1 위치 값(141,이전시간에 계산된 위치 값)
Figure 112010065232485-pat00009
는 상기 관측 위치 값을 뜻한다.
다음, 상기 최종 관측 회전 값을 전술한 순 운동학(forward kinematics)의 위치 관측 함수 f에 대입하여 최종 관측 위치 값을 산출하고(S6000), 상기 최종 관측 위치 값과 상기 제2 영상의 위치 값(211a)의 오차 값인 위치 오차 값이 임계 위치 오차 값 이하일 경우(S7000), 도 4에 도시한 바와 같이 상기 제2 영상(200)의 인체 자세(300)는 상기 제2 영상(200)의 인체 특징점들(211a)이 상기 최종 관측 회전 값(310)에 의해 연결되는 자세로 추정한다(S8000).
그러나, 상기 위치 오차 값이 상기 임계 위치 오차 값을 초과하면, 상기 위치 오차 값이 상기 임계 오차 값 이하가 될 때까지, 상기 최종 관측 회전 값을 구하는 과정을 반복한다.
이때, 상기 제1 영상(100)의 관절 회전 값(143)과 상기 뉴튼 스탭의 계산에 사용되는 자코비안 행렬의 관절 회전 값은 상기 최종 관측 회전 값으로 갱신되고, 상기 시그마 포인트 생성에 사용되는 공분산은 아래의 수학식 6에 의해 갱신된다(S7100).
여기서, Qt +는 갱신되는 공분산, Qt -는 현재 상태의 공분산이며, Kt T는 상기 칼만 필터의 대칭행렬을 뜻한다.
따라서, 수치적인 역 운동학에서 뉴튼 계수를 변화시켜 인체 자세를 추정하는 방법에 비해서 고정된 뉴튼 스탭 계수에 의해 결정되는 뉴튼 스탭을 시그마 포인트 생성에 반영함으로써 빠르게 현재 영상의 인체 자세를 추정할 수 있다.
도 5 내지 도 8을 참조하면, 도 5는 종래의 수치적인 역 운동학에서 초기 뉴튼 스탭 계수를 '1'로 설정한 경우, 추정을 반복하는 횟수를 보여주는 도면이고, 도 6는 종래의 수치적인 역 운동학에서 초기 뉴튼 스탭 계수를 '0.5'로 설정한 경우, 추정을 반복하는 횟수를 보여주는 도면이고, 도 7는 종래의 수치적인 역 운동학에서 초기 뉴튼 스탭 계수를 '0.1'로 설정한 경우, 추정을 반복하는 횟수를 보여주는 도면이며, 도 8은 본 발명의 실시예에 따른 인체 자세 추정 방법을 이용하여 인체 자세를 추정하였을 때, 추정을 반복하는 횟수를 보여주는 도면이다.
도 5 내지 도 8에도 알 수 있듯이 종래의 수치적인 역 운동학만을 이용하여 인체 자세를 추정할 경우, 위치 오차 값이 임계 위치 오차 값으로 수렴하기 위해서는 뉴튼 스탭 계수가 '1', '0.5' 및 '1'일 때, 각각 342회, 171회, 34회로 추정이 반복되어 추정 시간이 상당히 오래 걸리고 있으나, 본 발명의 실시예에 따른 인체 추정방법을 이용할 경우, 약 9.5회 만에 위치 오차 값이 임계 위치 오차 값에 수렴하므로 종래의 방법에 비해 추정의 속도가 매우 빠른 것을 알 수 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
100:제1 영상 141:제1 위치 값
142:제1 관절 회전 값 200:제2 영상
211a:제2 위치 값 310:최종 관측 회전 값

Claims (12)

  1. 이전시간에 입력되거나 계산된 제1 영상의 인체 자세로부터 현재시간에 입력된 제2 영상의 인체 자세를 추정하기 위한 인체 자세 추정방법에 있어서,
    상기 제1 영상의 인체 특징점들의 위치 값인 제1 위치 값과 상기 인체 특징점을 연결하는 관절의 회전 값인 제1 관절 회전 값을 계산하여 획득하는 제1 단계;
    상기 제2 영상을 입력받아, 상기 제2 영상에서 상기 인체 특징점들의 위치 값인 제2 위치 값을 계산하여 획득하는 제2 단계;
    상기 제1 관절 회전 값의 변화를 예측한 예측 회전 값과 상기 예측 회전 값을 위치 값으로 변환한 관측 위치 값을 산출하는 제3 단계;
    상기 예측 회전 값과 상기 관측 위치 값을 기반으로 언센티드 칼만 필터(UKF:Unscented Kalman Filter)를 이용하여 상기 예측 회전 값에서 노이즈를 제거한 최종 관측 회전 값을 산출하는 제4 단계; 및
    상기 최종 관측 회전 값을 위치 값으로 변환하여 최종 관측 위치 값을 획득하고, 상기 최종 관측 위치 값과 상기 제2 위치 값의 차이인 위치 오차 값을 구하며, 상기 위치 오차 값이 정해진 임계 위치 오차 값 이하일 경우, 상기 제2 영상의 인체 자세는 인체 특징점들이 상기 최종 관측 회전 값을 갖는 관절들로 연결되는 자세로 추정하고, 상기 위치 오차 값이 상기 임계 위치 오차 값을 초과하면, 상기 제1 관절 회전 값을 상기 최종 관측 회전 값으로 갱신하여 상기 위치 오차 값이 상기 임계 위치 오차 값 이하가 될 때까지 상기 제3 단계, 상기 제4 단계 및 상기 위치 오차 값의 계산을 반복수행하는 제5 단계;를 포함하는 것을 특징으로 하는 인체 자세 추정방법.
  2. 제 1 항에 있어서,
    상기 제3 단계:는
    이전 상태 값과 공분산으로 계산되는 시그마 포인트들(sigma points)을 생성하는 제3-1 단계;
    상기 시그마 포인트들을 평균하여 상기 예측 회전 값을 구하는 제3-2 단계; 및
    관측 함수에 상기 시그마 포인트들을 입력하여 상기 시그마 포인트들을 위치 값인 예측 위치 값들을 구하고, 상기 예측 위치 값들을 평균하여 상기 관측 위치 값을 산출하는 제3-3 단계;를 포함하는 것을 특징으로 하는 인체 자세 추정 방법.
  3. 제 2 항에 있어서,
    상기 제4 단계:는
    상기 시그마 포인트들과 상기 예측 위치 값들의 교차 공분산에 상기 관측 위치 값의 역행렬을 곱하여 칼만 게인(Kalmal gain)을 구하는 제4-1 단계; 및
    상기 제2 위치 값과 상기 관측 위치 값의 차이 값에 상기 칼만 게인을 곱하고 상기 시그마 포인트들의 평균값을 합하여 상기 최종 관측 회전 값을 구하는 제4-1 단계;를 포함하는 것을 특징으로 하는 인체 자세 추정방법.
  4. 제 2 항에 있어서,
    상기 제3 단계 이전에,
    뉴튼-랩슨법(Newton-Raphson Method)을 이용하여 상기 제1 관절 회전 값이 변화할 것으로 예상되는 방향정보인 뉴튼 스탭을 구하는 제a 단계;를 더 포함하고,
    상기 각 시그마 포인트는 상기 뉴튼 스탭이 더해져 생성되는 것을 특징으로 하는 인체 자세 추정방법.
  5. 제 4 항에 있어서,
    상기 제a 단계의 뉴튼 스탭은 순 운동학 함수를 상기 인체 특징점을 연결하는 각 관절 회전 값에 대해 편미분한 자코비안 행열(J)의 의사역행렬(J+,pseudo-inverse matrix)에 상기 제1 위치 값과 상기 제2 위치 값의 차이를 곱하여 구해지고,
    상기 제5 단계에서 상기 제1 관절 회전 값이 갱신될 경우, 상기 뉴튼 스탭은 상기 갱신된 제1 관절 회전 값에 대해 편미분한 자코비안 행열(J)의 의사역행렬(J+,pseudo-inverse matrix)에 상기 갱신된 제1 관절 회전 값과 상기 제2 위치 값의 차이를 곱하여 구해지는 것을 특징으로 하는 인체 자세 추정방법.
  6. 제 2 항에 있어서,
    상기 제3 단계는, 상기 제3-1 단계 이후에,
    상기 시그마 포인트들의 공분산을 계산하는 제b 단계를 더 포함하고,
    상기 제5 단계에서 상기 제1 관절 회전 값이 갱신될 경우, 상기 시그마 포인트의 생성에 사용되는 공분산은 상기 시그마 포인트들의 공분산에 상기 칼만 게인, 상기 예측 위치 값의 공분산 및 상기 칼만 게인의 대칭행열을 곱한 값을 감한 값으로 갱신되는 것을 특징으로 하는 인체 자세 추정방법.
  7. 제 1 항에 있어서,
    상기 제1 영상 및 상기 제2 영상은 각각 서로 다른 방향에서 촬영한 적어도 두 개의 영상으로 이루어지며, 상기 제1 위치 값과 상기 제2 위치 값은 x-y-z축 상의 3차원 위치 값으로 계산되어 획득되고, 상기 제1 관절 회전 값은 x-y-z축을 기준으로 회전한 3차원 회전 값으로 계산되어 획득되는 것을 특징으로 하는 인체 자세 추정방법.
  8. 제 7 항에 있어서,
    상기 제1 단계:는
    상기 제1 영상을 구성하는 각 영상들의 배경을 제거하는 제1-1 단계;
    배경이 제거된 영상 내에서 피부색이 있는 지점을 검출하고, 검출된 지점을 상기 인체 특징점으로 획득하는 제1-2 단계; 및
    카메라 교정 기법(camera calibration)을 이용하여 상기 제1 영상의 3차원 위치 값 및 3차원 회전 값을 구하는 1-3단계;를 포함하는 것을 특징으로 하는 인체 자세 추정방법.
  9. 제 8 항에 있어서,
    상기 제2 단계:는
    상기 제2 영상을 구성하는 각 영상들의 배경을 제거하는 제2-1 단계;
    배경이 제거된 영상 내에서 피부색이 있는 지점을 검출하고, 검출된 지점을 상기 인체 특징점으로 획득하는 제2-2 단계;
    카메라 교정 기법(camera calibration)을 이용하여 상기 제2 영상의 3차원 위치 값을 구하는 제2-3 단계; 및
    상기 제2 영상의 3차원 위치 값을 상기 제1 영상의 3차원 위치 값의 좌표로 정규화하여 상기 제2 위치 값을 획득하는 제2-4 단계;를 포함하는 것을 특징으로 하는 인체 자세 추정방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 인체 특징점들은 얼굴, 오른손, 왼손, 오른발 및 왼발 중 적어도 하나를 포함하고,
    상기 인체 특징점들을 연결하는 관절은 목, 척추, 오른쪽 어깨, 오른쪽 팔꿈치, 왼쪽 어깨, 왼쪽 팔꿈치, 오른쪽 골반, 오른쪽 무릎, 왼쪽 골반 및 왼쪽 무릎 중 적어도 하나를 포함하는 것을 특징으로 하는 인체 자세 추정방법.
  11. 제 1 항 내지 제 9 항 중 어느 한 항의 인체 자세 추정방법을 컴퓨터에 실행시키기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체.
  12. 제 1 항 내지 제 9 항 중 어느 한 항의 인체 자세 추정방법을 컴퓨터에 실행시키기 위한 프로그램이 저장되고, 상기 프로그램을 통신망을 통해 전송할 수 있는 서버 시스템.
KR1020100098453A 2010-10-08 2010-10-08 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템 KR101034675B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100098453A KR101034675B1 (ko) 2010-10-08 2010-10-08 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템
PCT/KR2010/008334 WO2012046913A1 (ko) 2010-10-08 2010-11-24 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100098453A KR101034675B1 (ko) 2010-10-08 2010-10-08 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템

Publications (1)

Publication Number Publication Date
KR101034675B1 true KR101034675B1 (ko) 2011-05-16

Family

ID=44366051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100098453A KR101034675B1 (ko) 2010-10-08 2010-10-08 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템

Country Status (2)

Country Link
KR (1) KR101034675B1 (ko)
WO (1) WO2012046913A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150115278A (ko) * 2014-04-03 2015-10-14 한국지질자원연구원 융합 알고리즘을 이용하여 센싱신호를 융합하는 센싱장치, 융합 방법, 및 복합 멤스 센서 경사계
KR20220074564A (ko) 2020-11-27 2022-06-03 성균관대학교산학협력단 사람 자세 추정 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139355A1 (en) * 2004-12-27 2006-06-29 Seyoon Tak Physically based motion retargeting filter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. Yagi et al., "ACCV 2007, part I, LNCS4843, pp. 408-418, 2007.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150115278A (ko) * 2014-04-03 2015-10-14 한국지질자원연구원 융합 알고리즘을 이용하여 센싱신호를 융합하는 센싱장치, 융합 방법, 및 복합 멤스 센서 경사계
KR101595791B1 (ko) 2014-04-03 2016-02-19 한국지질자원연구원 융합 알고리즘을 이용하여 센싱신호를 융합하는 센싱장치, 융합 방법, 및 복합 멤스 센서 경사계
KR20220074564A (ko) 2020-11-27 2022-06-03 성균관대학교산학협력단 사람 자세 추정 장치 및 방법
KR102425441B1 (ko) 2020-11-27 2022-07-27 성균관대학교산학협력단 사람 자세 추정 장치 및 방법

Also Published As

Publication number Publication date
WO2012046913A1 (ko) 2012-04-12

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN108352071B (zh) 用于计算机视觉***中的运动结构处理的方法
Klein et al. Parallel tracking and mapping on a camera phone
Grest et al. Nonlinear body pose estimation from depth images
JP5555207B2 (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP2179398A1 (en) Estimating objects proper motion using optical flow, kinematics and depth information
CN111179427A (zh) 自主移动设备及其控制方法、计算机可读存储介质
US9914222B2 (en) Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image
KR101715780B1 (ko) 복셀 맵 생성기 및 그 방법
JP2010154920A (ja) ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム
Del Bue A factorization approach to structure from motion with shape priors
JP2015090298A (ja) 情報処理装置、情報処理方法
JP2014085933A (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
US10229508B2 (en) Dynamic particle filter parameterization
JP2008014691A (ja) ステレオ画像計測方法とそれを実施する装置
JP6626338B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
Lee et al. Human body tracking with auxiliary measurements
KR101034675B1 (ko) 수치적인 역 운동학 기반의 언센티드 칼만 필터를 이용한 인체 자세 추정 방법, 컴퓨터로 읽을 수 있는 매체 및 서버 시스템
KR101844278B1 (ko) 관절식 객체의 자세를 추정하기 위한 파라미터 학습 방법 및 관절식 객체의 자세 추정 방법
KR102333768B1 (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
Ha et al. 6-DOF direct homography tracking with extended Kalman filter
KR20090070258A (ko) 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법
Benamar et al. Gradient-Based time to contact on paracatadioptric camera
KR101645568B1 (ko) 카메라 선형화 기법을 기반으로 상대 위치 및 자세 추정 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160405

Year of fee payment: 6