KR20150144179A - 영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치 - Google Patents

Abstract

영상을 수신하는 영상 수신부; 수신된 영상에 기준점을 설정하는 기준점 설정부; 소정의 분류기를 이용하여 설정된 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고, 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복하는 제어부; 및 기준점의 이동과 관련된 정보를 이용하여 영상에서 상기 대상체 부위의 위치를 추정하는 위치 추정부를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치가 개시된다.

Description

영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치{The Method and Apparatus of Object Part Position Estimation}

본 개시는 영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치에 관한 것이다.

보다 자연스러운 유저 인터페이스(UI)를 찾기 위해, 대상 객체의 정보를 3차원 형태로 가져오는 깊이(depth) 카메라로부터의 신체 포즈를 추정하는 기술이 요구되고 있다. 깊이 카메라를 사용하여, 신체 포즈는 컴퓨터 비전 기술(Computer Vision)을 이용하여 실시간으로 추정될 수 있다. 신체 포즈는 머리, 목, 손, 팔꿈치, 발 등의 관절 위치로 구성되고, 신체 포즈 추정은 유저 인터페이스나 게임 컨트롤을 위해 사용될 수 있다.

깊이 카메라로 촬영된 영상에서, 인체의 관절부위를 추정하기 위해서, 기계-학습 방식에 의하여 신체 부위의 위치를 추정하는 기술이 존재한다.

예를 들어, 기계-학습된 분류기는 각 픽셀을 머리, 손, 몸 등과 같은 특정한 신체부위로 라벨링(label)할 수 있다. 또한, 기계-학습된 분류기는 신체 부위의 상대적 위치를 추정할 수 있는데, 예를 들어, 픽셀 (x,y,z)을 입력하면 분류기는 픽셀 (x,y,z)에서 머리에 대한 상대적 위치를 출력할 수 있다.

그러나, 이러한 픽셀-와이즈 라벨링 방식은 신체 부위의 분류를 위해 많은 계산 시간이 필요하고, 특정 신체 부위의 분류를 위한 시간을 조절하기 어려우며, 기계-학습된 분류기의 복잡성이 증가할 수 있는 문제가 있다.

본 개시는 기계-학습된 분류기를 이용하여 영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치에 관한 것이다.

일부 실시예는 영상을 수신하는 영상 수신부; 및 수신된 영상에 기준점을 설정하는 기준점 설정부; 소정의 분류기를 이용하여 상기 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고 상기 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복하는 제어부; 상기 소정의 횟수만큼 기준점을 재설정 함에 따른 상기 기준점의 이동과 관련된 정보를 이용하여 상기 영상에서 상기 대상체 부위의 위치를 추정하는 위치 추정부를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 소정의 분류기는 상기 대상체 부위에 대하여 기계-학습되어, 설정된 기준점이 상기 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 생성할 수 있다.

일부 실시예는 상기 기준점의 이동과 관련된 정보는 상기 기준점의 이동 경로를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 제어부는 상기 수신된 영상에서 배경을 제거하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 영상은 깊이 영상 및 이차원 영상 중 적어도 하나를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 대상체는 신체 및 물체 중 적어도 하나를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 기준점은 상기 배경이 제거된 영상에서 랜덤한 지점인, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 기준점은 상기 배경이 제거된 영상의 이전 프레임 영상들 중 하나의 영상에서 추정된 위치를 이용하여 설정되는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 기준점은 상기 배경이 제거된 영상의 중심점인, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 제어부는 상기 획득된 적어도 하나의 방향정보 중 하나의 방향정보를 랜덤하게 선택하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 제어부는 상기 획득된 적어도 하나의 방향정보 중 하나의 방향정보를 상기 방향정보의 확률에 기초하여 선택하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 소정의 거리는 상기 대상체 부위의 특징에 기초하여 결정되는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 소정의 횟수는 각 대상체 부위의 추정을 위한 소정의 할당시간에 기초하여 설정되는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 소정의 횟수는 상기 이동을 통해 변화되는 기준점들의 위치의 분산값에 기초하여 결정되는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 소정의 횟수는 상기 분류기를 통해 획득된 방향정보의 확률에 기초하여 결정되는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 상기 제어부는 상기 추정된 대상체 부위의 위치에 기초하여 상기 대상체의 자세(pose)를 추정하는, 영상에서 대상체 부위의 위치를 추정하는 장치를 포함할 수 있다.

일부 실시예는 영상에서 대상체 부위의 위치를 추정하는 방법으로서, 수신된 영상에 기준점을 설정하는 단계; 소정의 분류기를 이용하여 상기 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고 상기 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복하는 단계; 및 상기 소정의 횟수만큼 기준점을 재설정 함에 따른 상기 기준점의 이동과 관련된 정보를 이용하여 상기 영상에서 상기 대상체 부위의 위치를 추정하는 단계를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 방법을 포함할 수 있다.

일부 실시예는 상술한 방법 중 하나를 실행하는 컴퓨터 프로그램을 기록한 기록 매체를 포함할 수 있다.

도1은 일부 실시예에 따른 대상체 부위의 위치를 추정하는 방법의 개념도를 나타낸다.
도 2는 일부 실시예에 따른 영상에서 대상체 부위의 위치를 추정하는 방법의 흐름도를 나타낸다.
도 3은 일부 실시예에 따른 영상에서 기계-학습 방법에 의한 분류기를 생성하는 트레이닝 과정의 흐름도를 도시한다.
도 4는 일부 실시예에 따른 기계학습된 분류기를 생성하고 이를 이용하여 대상체 부위의 위치를 추정하는 방법의 흐름도를 나타낸다.
도 5는 일부 실시예에 따른 영상에서 대상체 부위의 위치를 추정하는, 특히 랜덤 지점을 시작점으로 하여 머리의 위치를 추정하는 과정을 도시한 도면이다.
도 6은 일부 실시예에 따른 영상에서 대상체 부위의 위치를 추정하는, 특히 이전 프레임 영상의 머리의 위치를 시작점으로 하여 영상에서 머리의 위치를 추정하는 과정을 도시한 도면이다.
도 7는 영상에서 기준점의 이동을 이용하여 대상체 부위의 위치를 추정하는 일부 실시예를 도시한 도면이다.
도 8은 일부 실시예에 따른 분류기를 이용하여 획득한 방향정보를 이용하여 기준점이 이동하는 과정을 설명하기 위한 도면이다.
도 9은 일부 실시예에 따른 영상에서 대상체 부위의 위치를 추정하는 장치를 도시하는 블록도이다.
도 10은 다른 일부 실시예에 따른 영상에서 대상체 부위의 위치를 추정하는 장치를 도시하는 블록도이다.

본 발명은 다양한 변형을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서, 대상체는 신체 또는 물체를 포함할 수 있다. 또한, 본 명세서에서 대상체가 아닌 신체라고 표현하였다 하더라도 대표적인 실시예일뿐, 사람의 신체 외의 물체를 배제하는 것은 아니다. 대상체 부위란 예를 들어 신체 부위인 머리, 팔, 다리, 손 등을 포함할 수 있다. 물체는 예를 들어, 새의 머리, 부리, 날개 등을 포함할 수 있다.

본 명세서에서, 대상체 부위란 찾기를 원하는 신체의 부위 또는 찾기를 원하는 물체의 특정 부위를 의미할 수 있다.

본 명세서에서, 대상체 부위를 분류한다는 것은 영상에서 대상체 부위의 위치를 추정한다는 의미일 수 있다.

본 명세서의 일부 실시예에 따른 분류기는 장치일 수 있고, 또한 프로세서에 의해 구현되는 분류 모듈일 수도 있다. 또한 본 명세서의 일부 실시예에 따른 분류기는 일부 실시예의 장치 내부 또는 외부에 존재할 수 있다.

이하, 다양한 실시 예들은 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

깊이 영상으로부터 신체 포즈를 추정하는 과정은 일반적으로 다음과 같다.

영상에서 신체가 배경으로부터 분리되고, 배경으로부터 분리된 신체에서 관절위치들이 기계-학습(machine learning) 기술을 사용하여 발견될 수 있다. 즉, 관절 위치는 배경으로부터 분리된 신체에서 각 픽셀에 대해 기계-학습 분류기를 실행하는 것에 의해 발견될 수 있다. 이 과정에서 필요한 기계-학습 분류기는 사용자 등에 의해 신체부위가 마킹된 영상을 이용하여 기계적으로 반복된 학습에 의하여 얻어질 수 있고, 이를 트레이닝 과정이라 한다.

여기에서, 기계-학습 분류기는 각각의 픽셀을 머리, 손, 몸통 등과 같은 특정 신체 부위로 분류할 수 있으며 또한 신체 부위의 상대적 위치(벡터)를 추정할 수 있다. 예를 들어, 분류기는 영상 및 영상의 픽셀 지점(x,y,z)을 입력으로 하여 픽셀 지점(x,y,z)로부터 머리까지의 상대적 위치를 출력할 수 있다. 분류기를 이용하여 파악한 신체 부위들의 위치(픽셀) 또는 상대적 위치들이 통합되어 영상에서 신체 부위를 분류하게 된다.

이러한 신체부위의 분류기술 중 종래기술인 픽셀-와이즈 라벨은 기계-학습을 통해 트레이닝된 분류기에 픽셀을 입력받아 픽셀에 대응하는 신체 부위를 라벨링하는 방식이다. 즉, 특정 픽셀을 분류기에 입력하면 특정 픽셀에 대응하는 신체부위의 명칭을 도출해내는 것이다. 이러한 방식의 문제점은 아래와 같은 것이 있다.

(1) 픽셀-와이즈 라벨 방식에서는 픽셀-와이즈 분류를 위한 많은 계산 시간이 필요하다. 즉, 신체 부위의 분류를 위한 크고 병렬적인 계산이 필요하다. 그렇지 않으면, 계산시간을 줄이기 위하여 깊이 영상을 리사이징 하는 경우 얇은 신체 부위들을 삭제하게 되는 리스크가 존재한다. 또한, 유니폼하게 픽셀을 분류한다면, 즉 일정한 간격을 두어 픽셀을 선택하여 분류한다면, 몸통과 같은 큰 부위를 쉽게 찾을 수 있을 것이나, 손과 같은 작은 부위들을 정확하게 파악하기 어려울 수 있다.

(2) 픽셀-와이즈 라벨 방식에서는 서로 다른 양의 계산 리소스들이 다른 신체 부위들 및 포즈에 할당된다. 예를 들어, 몸통은 손보다 크고, 몸통에는 손보다 보다 많은 픽셀들이 존재하므로, 몸통이 손보다 보다 많은 계산 시간을 필요로 한다. 그러나 몸통이 손보다 중요한 것은 아니라는 문제점이 있다.

또한, 카메라에 근접한 신체 부위들은 보다 큰 픽셀 영역을 가지므로, 앞에 위치한 신체 부위들은 뒤에 위치한 부위들보다 보다 많은 계산시간을 필요로 하게 된다. 또한, 픽셀-와이즈 라벨 방식은 보이지 않는 신체 부위들에 대해 분류가 가능하지 않다.

(3) 픽셀-와이즈 라벨 방식에서는 하나의 분류기가 모든 부위의 위치들을 추정하도록 트레이닝 되므로, 분류기 출력의 복잡성이 증가할 수록, 정확성이 감소할 수 있다.

본 발명은 상술한 문제점을 다음과 같이 해소할 수 있다.

즉, 일부 실시예에 의하면 기계-학습에 기초한 신체 부위 추정의 전체적인 계산 시간을 줄일 수 있다. 예를 들어, 일부 실시예에서 이동된 위치에서 계산된 확률이 어떠한 확실한 값에 이르거나 이동의 최대 반복 횟수가 달성되면 이동의 반복 작업을 중단하여 계산 시간을 줄일 수 있다. 또한, 이전 영상의 신체 부위 정보를 이용하여 현재 영상의 신체 부위 추정의 계산 시간을 감소시킬 수 있다. 구체적으로, 도 1과 관련한 설명에서 자세히 설명된다.

또한, 일부 실시예에 의하면 각각의 신체 부위들에 할당된 계산 시간의 양을 조절할 수 있다. 예를 들어, 각 신체 부위에 대하여 이동의 최대 횟수가 소정의 횟수로 정해질 수 있다. 또한, 보다 많은 계산 시간이 손과 같은 보다 중요한 신체 부위에 할당될 수 있다. 또한, 보이지 않는 신체 부위들에도 동일한 계산 자원이 할당될 수 있다.

또한, 일부 실시예에 의하면 각 신체 부위들에 대해 별도의 분류기가 사용되어, 분류기의 복잡성이 완화되어 신체 부위 추정을 보다 빠르고 정확하게 할 수 있다.

도1은 일부 실시예에 따른 대상체 부위의 위치를 추정하는 방법의 개념도를 나타낸다.

도 1에서 세모, 네모, 동그라미로 표시된 복수개의 점들은 일부 실시예에 따른 장치가 영상에서 머리(세모로 표시됨), 손(네모로 표시됨), 발(동그라미로 표시됨)를 각각 추정한 점들이다.

일부 실시예에 따른 장치에서 영상의 기준점을 이동하면, 소정의 횟수를 이동한 이후에는 대상체 부위 내에서 계속 이동하게 되는데, 이러한 지점들을 도시하면 도 1에 도시된 바와 같이 영상에서 대상체 부위의 위치를 점으로서 알 수 있다.

또한, 추정된 대상체 부위의 위치들을 이용하여, 자세(pose)를 추가적으로 추정할 수 있다.

도1 에는 추정된 대상체 부위가 세모, 네모, 동그라미 등의 기호로 도시되었지만, 이에 제한되지 않는다. 예를 들어, 서로 다른 컬러의 점을 사용하여 추정된 대상체 부위가 구분될 수 있다.

또한, 도 1에는 머리, 손, 발의 추정만이 도시되었지만, 어깨, 무릎, 몸통 등의 부위도 일부 실시예에 따른 장치를 이용하여 추정될 수 있다.

또한, 도 1에는 일부 실시예에 따른 장치가 사람의 인체를 대상으로 하여 도시되었지만, 이에 제한되지 않고, 동물 및 다른 대상체에 대해서도 적용될 수 있다.

도 2은 일부 실시예에 따른 깊이 영상에서 신체 부위의 위치를 추정하는 방법의 흐름도를 나타낸다.

단계 S210에서, 수신된 영상에 이동을 위한 시작점인 기준점을 설정한다. 영상은 깊이 영상일 수 있고, 또는 이차원 영상일 수 있다.

일부 실시예에 따르면, 기준점이 설정되기 전에 수신된 영상에서 배경을 제거할 수 있다. 즉 영상에서 배경을 제거하고 대상체 만을 남길 수 있다.

일부 실시예에 따르면, 기준점은 랜덤하게 설정될 수 있다. 또한, 기준점은 이전 프레임의 영상에서 해당 신체 부위 위치에 기초하여 설정될 수 있다. 예를 들어, 이전 프레임의 영상에서의 머리의 위치를 알고 있는 경우, 현재 프레임의 영상에서도 머리의 위치가 크게 변하지 않을 수 있다. 이전 프레임의 영상에서 해당 신체 부위 위치에 기초하여 설정된 기준점은 대상체의 부위를 보다 빠르게 탐색할 수 있게 한다.

또한, 기준점은 현재 영상에서 이미 파악된 다른 신체 부위의 위치에 기초하여 설정될 수 있다. 예를 들어, 팔의 위치를 추정하는 과정에서, 머리의 위치가 이전에 추정되었다면, 팔과 가까운 머리의 위치를 기준점으로 삼아서 이동을 시작할 수 있다. 또는 몸통, 다리, 머리의 위치가 이미 알려져 있다면, 이들 위치를 제외한 지점 중 하나를 기준점으로 삼을 수도 있다.

단계 S220 에서, 소정의 분류기를 이용하여 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고, 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복할 수 있다.

구체적으로, 기준점이 설정된 영상을 입력으로 하여 소정의 분류기를 이용하여, 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득할 수 있다. 소정의 분류기는 대상체 부위에 대하여 기계-학습된 분류기일 수 있다. 소정의 분류기와 관련하여서는 도 2에서 구체적으로 설명된다. 적어도 하나의 방향정보는 기준점에서 이동할 수 있는 복수개의 방향 및 이 방향을 따라 이동할 경우 기준점이 대상체 부위로 이동하게 될 확률을 포함할 수 있다. 예를 들어, 복수개의 방향은 복수개의 방향 유닛벡터일 수 있다. 복수개의 방향 및 확률에 대해서는 도 8에서 자세히 설명된다.

일부 실시예에 따르면, 영상이 이미 분류기에 입력되어 있는 경우 기준점만을 분류기에 입력할 수 있다.

일부 실시예에 따른 장치는 적어도 하나의 방향정보를 획득한 다음, 획득한 적어도 하나의 방향정보 중 하나의 방향정보를 선택할 수 있다. 예를 들어, 하나의 방향정보는 랜덤하게 선택될 수 있다. 또한, 하나의 방향정보는 방향정보에 대응되는 확률에 기초하여 선택될 수 있다. 예를 들어, 기준점이 대상체로 이동할 가장 높은 확률을 갖는 하나의 방향정보가 선택될 수 있다.

방향정보를 선택한 이후에, 선택된 방향정보를 이용하여 소정의 거리만큼 기준점을 이동한다. 소정의 거리는, 대상체 부위의 특징에 기초하여 결정될 수 있다. 예를 들어, 각 대상체 부위인 팔, 다리, 머리 각각에 대하여 이동을 위한 소정의 거리가 사용자에 의해 정의될 수 있다.

또한, 소정의 거리는 대상체 부위의 크기에 따라 적절하게 조절될 수 있는데, 예를 들어 몸통과 같이 큰 부위를 추정하는 경우라면, 이동 거리를 상대적으로 길게 할 수 있고, 손과 같은 작은 부위를 추정하는 경우라면, 이동 거리를 상대적으로 짧게 할 수 있다.

또한, 소정의 거리는 랜덤하게 설정될 수 있다. 또한 일부 실시예에 따르면 각 대상체 부위에 대하여 최적의 이동거리는 기계-학습을 통해 탐색되어 설정될 수 있다. 여기에서, 소정의 거리는 이동이 반복되는 동안 고정될 수 있다.

일부 실시예에 따르면, 반복되는 소정의 횟수는 각 부위에 대하여 설정된 이동의 최대반복횟수가 될 수 있다. 예를 들어, 머리의 추정을 위하여 이동의 최대반복횟수를 30회로 제한할 수 있다.

또한, 소정의 횟수는 분류기에 의하여 획득된 적어도 하나의 방향정보의 확률이 소정의 정확도를 가지는지 여부에 기초하여 설정될 수 있다. 예를 들어, 분류기에 의하여 획득된 방향정보는 이동방향 및 이에 대응하는 확률을 포함할 수 있다. 대응하는 확률이 소정의 임계값을 넘는 경우, 예를 들어 임계값이 98%이고 대상체 부위로 기준점이 이동할 확률이 99%를 나타내는 경우 현재의 기준점은 머리에 있을 것이라 추정할 수 있다. 또한, 획득된 방향정보가 복수개이고 이중 절반을 넘는 방향정보에 대응하는 확률이 소정의 임계값을 넘는 경우 현재의 기준점은 대상체 부위에 있다고 추정할 수 있다.

즉, 방향 벡터의 확률이 미리 결정한 임계값 또는 임계확률과 비교하여 높아지는 경우, 소정의 정확도가 달성되었다고 볼 수 있고, 이동의 반복을 중단하고 다음단계로 넘어갈 수 있다.

일부 실시예에 따르면, 소정의 횟수는 이동 구간의 분포가 소정의 영역 이내에 형성되는 경우의 횟수일 수 있다. 예를 들어, 100회째의 이동에서 90회에서 99회의 이동의 기준점들이 미리 결정된 넓이의 영역 이내에 위치하고 있다면, 소정의 횟수가 달성되었다고 볼 수 있다.

단계 S230에서, 기준점의 이동과 관련한 정보를 이용하여 영상에서 대상체 부위의 위치를 추정할 수 있다. 기준점의 이동과 관련한 정보는 기준점이 과거 이동한 흔적들을 포함하는 정보를 의미할 수 있다. 예를 들어, 기준점의 이동과 관련한 정보는 기준점이 이동한 모든 지점들을 포함할 수 있다.

구체적으로, 이동한 지점들에 기초하여 신체 부위의 위치를 추정할 수 있다. 즉, 복수 개의 방향 벡터 중에서 랜덤하게 선택하여 일정 거리를 이동하는 경우 대상체 부위로의 확률이 높은 방향으로 계속 이동하게 되고, 대상체 부위의 위치에서 계속 이동이 반복되게 되는데, 이때 이동된 지점들을 평균하여 신체 부위의 위치를 추정할 수 있다. 예를 들어, 이동을 50회 실행했는데 40회 이후에 이동한 지점들이 서로 근접한 위치에 분산되어 있다면, 최후 10회 정도에 이동한 지점들은 신체 부위라고 추정될 수 있다. 추정 과정에서, 뉴트럴 네트워크(neural network), 서포트 벡터 머신(support vector machine), 랜덤 워크(random walk), CART 등의 알고리즘이 사용될 수 있다.

신체 부위의 위치를 추정하는 과정은 도 5 및 도 6에서 자세하게 설명된다. 추정된 대상체 부위들의 위치 또는 상대적 위치는 종합적으로 고려되어 대상체의 포즈까지도 추정될 수 있다.

일부 실시예에 따른 소정의 분류기는 대상체 부위에 대하여 개별적으로 기계-학습되어 각각 생성될 수 있다. 즉, 대상체의 특정 부위에 대하여 기계-학습된 대상체의 특정 부위를 위한 분류기가 생성될 수 있다. 예를 들어, 머리에 대해 기계-학습된 분류기는 머리의 위치를 추정하기 위해 사용될 수 있다.

한편, 다른 실시예에 따른 분류기는 대상체 전체에 대하여도 기계-학습되어 생성될 수 있다. 대상체 전체에 대하여 학습된 분류기는 대상체의 임의의 부위의 위치를 추정하기 위한 과정에서 사용될 수 있다.

도 3은 일부 실시예에 따른 분류기를 생성하기 위한 트레이닝 과정을 도시한다. 트레이닝 과정은 다음과 같다.

단계 S310에서, 트레이닝 과정을 위한 복수의 마킹된 영상을 수집한다. 본 실시예에 의한 영상은 깊이 영상 또는 이차원 영상을 포함할 수 있다. 마킹된 영상이란 영상에서 신체 부위의 위치가 각각 표시되어 있는 영상을 의미할 수 있다.

단계 S320에서 복수의 영상에서 대상체 부위의 위치를 수집한다. 구체적으로 복수의 영상 각각에 대한 명백한(ground truth) 신체 부위 위치를 찾는 것을 의미할 수 있다. 이 신체 부위의 명백한 위치는 수집된 영상에 이미 표시되어 있거나, 수집된 영상에 사용자가 추가적으로 대상체 부위의 위치를 입력할 수 있다.

단계 S330에서, 신체 부위 주변의 랜덤 지점들을 복수 개 생성한다.

단계 S340에서, 생성된 랜덤 지점과 랜덤 지점으로부터 신체 부위에 대한 상대적 방향의 벡터 세트를 포함하는 트레이닝 샘플을 복수 개 생성한다.

단계 S350에서, 생성된 복수 개의 트레이닝 샘플을 이용하여 분류기를 기계-학습 방식에 의해 트레이닝한다. 트레이닝을 위한 알고리즘은 랜덤 트리, 포레스트, 뉴트럴 네트워크(neural network), 서포트 벡터 머신(support vector machine) 등이 사용될 수 있다. 구체적으로, 상대적 방향(Relative direction)의 회귀(regression)를 감소시키는 방향으로 분류기가 생성될 수 있다. 즉, 트레이닝 샘플의 정규화(normalization) 벡터를 기초로, 비슷한 정규화 벡터들이 모이도록 회귀 트리(regression tree)를 트레이닝할 수 있다. 또한, 생성된 분류기의 방향들을 정해진 수의 방향으로 결합(cluster)할 수 있다. 예를 들어, 클러스터(cluster)를 다시 4가지로 k-평균 클러스터(K-mean cluster)하여, 복수개의 방향이 4개의 방향으로 압축될 수 있다. 상술한 과정에 의하여, 깊이 영상의 각 랜덤 지점에서 대상체 부위로의 확률을 갖는 복수개의 벡터 방향이 학습될 수 있다.

상술한 과정에 의하여, 단계 S360에서 대상체 부위의 위치를 추정하기 위한 장치에서 이용되는 분류기의 기계-학습이 완료된다. 즉, 대상체 부위에 대한 분류기의 생성이 완료된다. 분류기는 상술한 단계들을 통하여 학습되어, 깊이 영상과 기준점을 입력 받아, 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 생성할 수 있다. 예를 들어, 선택할 수 있는 소정 개수의 방향의 정규화 벡터와 이 방향 각각에 대응되는 확률을 생성할 수 있다. 대응되는 확률은 기준점이 대응되는 방향을 선택하여 이동하는 경우 대상체 부위로 이동할 수 있는 확률을 의미할 수 있다. 이와 관련하여 도 8에서 보다 상세히 설명된다.

도 4는 일부 실시예에 따른 깊이 영상에서 신체 부위의 위치를 추정하는 방법의 전체적인 흐름도를 나타낸다. 아래에서 도 2 및 3에 이미 기술된 내용은 간략히 기재되거나 생략될 수 있다.

단계 S410에서, 트레이닝을 위한 복수의 마킹된 영상을 이용하여 기계-학습된 분류기를 생성할 수 있다.

단계 S420에서, 대상체의 위치 추정을 위한 깊이 영상 또는 이차원 영상을 수신하고, 수신된 영상에서 배경을 제거할 수 있다.

단계 S430에서, 배경이 제거된 영상에서 이동을 위한 시작점인 기준점을 설정할 수 있다.

단계 S440 에서, 기준점이 설정된 영상을 대상체 부위에 대하여 기계-학습된 분류기에 입력하여, 복수의 방향정보를 획득할 수 있다. 복수의 방향정보는 대상체 부위로의 각각의 확률을 갖는 적어도 하나의 방향 벡터를 포함할 수 있다.

단계 S450에서, 획득한 적어도 하나의 방향 벡터 중 하나의 방향 벡터를 선택할 수 있다.

단계 S460에서, 선택된 방향 벡터로 소정의 거리만큼 기준점을 이동할 수 있다.

단계 S470에서, 소정의 횟수가 달성되었는지 여부를 확인하여, 소정의 횟수가 달성되지 않았다면 S440~S460을 반복할 수 있다. 소정의 횟수가 달성되는 경우, 이동의 반복을 중단하고 단계 S480을 수행할 수 있다.

단계 S480에서, 기준점의 이동과 관련된 정보를 이용하여 대상체 부위의 위치를 추정할 수 있다. 예를 들어, 이동한 지점들에 기초하여 신체 부위의 위치를 추정할 수 있다.

도 5는 일부 실시예에 따른 깊이 영상에서 신체 부위를 추정하는, 특히 랜덤 지점을 기준점으로 하여 대상체 부위, 예를 들어 머리의 위치를 추정하는 분류를 위한 이동을 도시한다. 도 5를 참조하면, 랜덤 지점을 초기 기준점으로 하는 이동은, 랜덤하게 선택된 몸의 중심부근(501)에서 이동을 시작하여 일정한 거리로 머리를 향해 계속 이동하는 것으로 나타난다. 머리에 도달한 후에는 도 5에 도시된 바와 같이 머리 내에서 계속 이동하게 된다(510).

구체적으로, 일부 실시예에 의한 머리의 분류 알고리즘은 다음과 같다.

(1) 수신된 영상에서 기준점을 랜덤하게 선택한다.

(2) 머리에 대해 학습된 기계-학습 분류기를 사용하여, 기준점으로부터 머리의 상대적 방향을 확률적으로 탐색하여 복수의 방향을 획득한다. 일부 실시예에 따르면, 기준점에서 분류기에 의해 얻어진 복수의 방향은 기준점이 머리로 이동할 각각의 확률을 갖을 수 있다.

(3) 기준점에서 복수의 방향 중 하나를 선택하여 이동한다. 이동의 거리는 대상 신체 부위에 대해 기계-학습되거나 또는 일괄적으로 정해질 수 있다. 새로 이동된 지점은 새로운 기준점이 된다. 분류기로부터 얻어진 복수의 방향에서, 이동의 방향은 확률에 기초하여 랜덤하게 선택될 수 있다.

(4) 과정 (2)와 (3)을 최대 반복 횟수가 달성될 때까지 또는 신체 부위의 평균 위치가 소정의 확실성 내에서 찾아질 때까지 반복한다. 여기에서, 소정의 확실성은 이동한 지점들의 분포에 의해 측정될 수 있다. 예를 들어, 신체부위의 위치는 이동된 지점들의 평균에 의해 결정될 수 있는데, 이 때 지점들의 분포가 소정의 임계값 이하의 분산값을 가지는 경우 신체 부위의 위치가 확실하게 파악되었다고 추정할 수 있다. 최대 반복 횟수는 도2에서 설명된 바와 같다.

(5) 많은 이동을 수행하면 최종적으로 머리 근처에서 기준점이 대부분 생성된다. 즉, 분류기가 머리 쪽으로 트레이닝되었기 때문에, 이동을 많이 하면 확률적으로 기준점들이 머리에 대응하는 지점에서 모이게 된다. 기준점들의 이동에 기초하여 머리에 해당하는 지점들이 추정될 수 있다. 예를 들어, 이동된 기준점들을 평균하면 머리에 해당하는 지점들이 추정될 수 있다. 또한, 다른 실시예에 따르면, 기준점이 이동한 경로 전체에서, 가장 최근의 이동(510)에서 소정의 횟수 전까지 이동된 기준점들을 평균하여 머리에 해당하는 지점들이 추정될 수 있다.

도 6은 일부 실시예에 따른 깊이 영상에서 신체 부위를 분류하는, 특히 이전 프레임 영상에서의 머리의 위치를 시작점(601)으로 하여 현재 영상에서 머리의 위치를 추정하기 위한 이동을 도시한다. 도 5와 비교하여, 대상체 부위, 즉 머리까지 보다 적은 수의 이동에 의해 도달되는 것을 알 수 있다. 도시된 바와 같이, 영상에서 랜덤 지점에 기준 지점을 설정하여 이동을 시작하는 것보다 이전 프레임 영상의 해당하는 대상체 부위의 위치를 기초로 하여 이동을 시작하는 것이 대상체 부위의 빠른 탐색에 도움이 될 수 있다.

도 7은 일부 실시예에 따른 영상에서 기준점의 이동을 이용하여 대상체 부위의 위치를 추정하는 과정을 설명하기 위한 도면이다.

도 7에서 몸의 중앙 근처의 지점(701)에서 대상체 부위인 머리(750)까지 기준점이 이동한다. 이동의 후반부에서는 대상체 부위인 머리 내부(750)에서 이동을 반복하게 된다. 분류기가 머리(750)에 대하여 트레이닝 되었기 때문인데, 머리(750)로 향하는 기준점의 이동 과정을 이용하여 대상체 부위의 위치 정보를 파악할 수 있다.

예를 들어, 이동한 지점들을 소정의 개수를 묶어 분산된 분포를 고려하면, 분포가 소정의 넓이 이내에 위치한 경우, 기준점은 대상체의 위치로 이동했다고 추정할 수 있고, 이 소정의 개수의 이동 지점들의 위치가 대상체의 위치라고 추정할 수 있다.

또한, 이동된 지점들의 평균을 대상체의 위치로서 추정할 수 있다. 예를 들어, 이동된 기준점들을 평균하여 머리에 해당하는 지점들을 추정할 수 있다. 또한, 다른 실시예에 따르면, 기준점이 이동한 과정 전체에서, 가장 최근의 이동(710)로부터 소정의 횟수 전까지 이동된 기준점들을 평균하여 머리에 해당하는 지점들을 추정할 수 있다.

도 8은 일부 실시예에 따른 영상에서 대상체 부위의 위치를 추정하는, 이동 과정을 설명하기 위한 도면이다.

도 8에서, 도시된 픽셀 (X,Y)는 이차원 좌표에 해당한다. 좌상측에 위치하는 픽셀 (1,1)이 기준점이고, 우하측에 위치하는 픽셀 (10,10)이 머리라고 가정할 때, 영상에서 머리의 위치(픽셀)를 추정하는 일부 실시예는 다음과 같다.

분류기는 깊이 영상과 기준점 (1,1)을 이용하여 다음과 같을 수 있는 4가지 방향정보(x, y, p)를 생성할 수 있다.

예를 들어, 생성된 4가지 방향정보 (x, y, p) 는 (1, 0, 0.1), (0, 1, 0.1), (-1, 0, 0.25), (0.707, 0.707, 0.55)일 수 있다.

여기에서, 방향정보(x, y, p)에서 (x, y)는 유닛 벡터(unit vector)이고 p는 확률에 대응한다. (x, y)는 방향에 대한 유닉 벡터를 의미하며, p는 이 방향으로 이동했을 경우 대상체 부위로 이동할 수 있는 확률을 의미한다.

상술한 예에서 x*x + y*y = 1를 확인 할 수 있고, 확률 p_1 + p_2 + p_3 + p_4 = 1을 확인 할 수 있다. 4가지 방향정보 (x, y, p)에서 하나만 선택하여 기준점이 이동할 수 있는데, 어떤 것을 선택할지는 확률 {0.1, 0.1, 0.25, 0.55} 중에서 랜덤하게 선택(randomly select)될 수 있다.

(0.707, 0.707, 0.55)이 선택 되었다고 가정하는 경우, 기준점 (1, 1)에서 (0.707, 0.707) 방향으로 2.828 이동 하면 픽셀 (3, 3)으로 이동하게 된다. 여기에서 2.828은 소정의 거리(predetermined distance)일 수 있다. 소정의 거리는 도2와 관련하여 상술한 바와 같이 여러가지 방식에 의하여 결정될 수 있다.

그 다음으로, 분류기는 깊이 영상과 기준점 (3,3)을 이용하여 새로운 4개의 방향정보 (x, y, p)를 생성할 수 있다. 예를 들어, (-0.707, 0.707, 0.35), (-0.707, -0.707, 0.05), (-1, 0, 0.15), (0.707, 0.707, 0.45)이다.

기준점이 변경되면, 분류기는 기준점을 다시 입력받아 다시 새로운 4개의 방향정보 (x, y, p)를 생성할 수 있다. 여기에서 일부 실시예에 따른 장치는 다시 하나의 방향정보 (x, y, p)를 랜덤하게 선택하고 선택된 방향으로 2.828만큼 기준점을 이동할 수 있다. 예를 들어, (-1, 0, 0.15)이 선택 되었다고 가정하면 기준점은 픽셀 (3, 3)에서 픽셀 (0.172, 3)로 이동하게 되고, 픽셀 (0.172, 3)이 새로운 기준점이 된다.

이러한 과정을 반복적으로 수행하면 확률적으로 기준점들이 머리 지점에서 모이게 되는데, 분류기가 머리 쪽으로 트레이닝되었기 때문이다. 이동을 계속하면 머리(픽셀 (10,10)) 근처에서 기준점들이 계속적으로 이동하게 된다.

본 실시예에서는 설명의 간략함을 위해 이차원 영상을 기준으로 설명하였으나, 깊이 영상에도 동일한 방식으로 적용될 수 있다. 또한, 분류기가 4개의 방향을 생성하는 것을 예로 들었으나 이에 제한되지 않고, 방향의 개수는 트레이닝 과정에서 적절하게 선택되거나 조절될 수 있다.

도 9은 일부 실시예에 따른 깊이 영상에서 대상체 부위의 위치를 추정하기 위한 장치를 도시한다. 일부 실시예에 따른, 대상체 부위의 위치 추정 장치(900)는 영상 수신부(910), 기준점 설정부(920), 제어부(930) 및 위치 추정부(940)를 포함할 수 있다.

영상 수신부(910)는 이차원 영상 또는 깊이 영상(depth image)을 수신할 수 있다.

기준점 설정부(920)는 수신된 영상에 기준점을 설정할 수 있다.

제어부(930)는 소정의 분류기를 이용하여 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복할 수 있다.

위치 추정부(940)는 소정의 횟수만큼 기준점을 재설정 함에 따른 기준점의 이동과 관련된 정보를 이용하여 영상에서 대상체 부위의 위치를 추정할 수 있다.

도 10은 일부 실시예에 따른 깊이 영상에서 대상체 부위의 위치를 추정하기 위한 장치를 도시한다. 일부 실시예에 따른, 대상체 부위의 위치 추정 장치(1000)는 영상 수신부(1010), 기준점 설정부(1020), 제어부(1030), 위치 추정부(1040) 및 분류기(1050)을 포함할 수 있다.

영상 수신부(1010), 기준점 설정부(1020), 제어부(1030), 위치 추정부(1040)는 도 9에서 상술된 바와 같다.

분류기(1050)는 대상체 부위에 대하여 기계-학습되어, 기준점이 설정된 영상을 입력 받아, 설정된 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 생성할 수 있고, 생성된 방향정보를 제어부(1030)로 전달할 수 있다. 도 10에서 분류기(1050)가 장치 내에 존재하는 것으로 도시되었지만, 이에 제한되지 않고, 장치 외부에 존재할 수도 있다.

일부 실시예에 따른, 대상체 부위의 위치를 추정하기 위한 장치에 의하면, 위치 추정을 위한 전체적인 계산 시간을 줄일 수 있고, 각각의 신체 부위들의 추정을 위해 할당된 계산 시간의 양을 적절하게 조절할 수 있고, 각 신체 부위들에 대해 각각의 분류기를 사용함으로써 보다 효율적인 분류를 할 수 있다.

본 발명의 다양한 실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 메모리(permanent storage), 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.

소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 저장 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 프로세서에서 실행될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (23)

1. 영상을 수신하는 영상 수신부;
   상기 수신된 영상에 기준점을 설정하는 기준점 설정부;
   소정의 분류기를 이용하여 상기 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고, 상기 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복하는 제어부; 및
   상기 소정의 횟수만큼 기준점을 재설정 함에 따른 상기 기준점의 이동과 관련된 정보를 이용하여 상기 영상에서 상기 대상체 부위의 위치를 추정하는 위치 추정부를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
2. 제 1항에 있어서,
   상기 소정의 분류기는 상기 대상체 부위에 대하여 기계-학습되어, 설정된 기준점이 상기 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 생성하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
3. 제 1항에 있어서,
   상기 기준점의 이동과 관련된 정보는 상기 기준점의 이동 경로를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
   
4. 제1항에 있어서,
   상기 제어부는 상기 수신된 영상에서 배경을 제거하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
5. 제 1항에 있어서,
   상기 영상은 깊이 영상 및 이차원 영상 중 적어도 하나를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
6. 제 1항에 있어서,
   상기 대상체는 신체 및 물체 중 적어도 하나를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
7. 제4항에 있어서,
   상기 기준점은 상기 배경이 제거된 영상에서 랜덤한 지점인, 영상에서 대상체 부위의 위치를 추정하는 장치.
8. 제4항에 있어서,
   상기 기준점은 상기 배경이 제거된 영상의 이전 프레임 영상들 중 하나의 영상에서 추정된 위치를 이용하여 설정되는, 영상에서 대상체 부위의 위치를 추정하는 장치.
9. 제4항에 있어서,
   상기 기준점은 상기 배경이 제거된 영상의 중심점인, 영상에서 대상체 부위의 위치를 추정하는 장치.
10. 제1항에 있어서,
    상기 제어부는 상기 획득된 적어도 하나의 방향정보 중 하나의 방향정보를 랜덤하게 선택하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
11. 제1 항에 있어서,
    상기 제어부는 상기 획득된 적어도 하나의 방향정보 중 하나의 방향정보를 상기 방향정보의 확률에 기초하여 선택하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
12. 제1 항에 있어서,
    상기 소정의 거리는 상기 대상체 부위의 특징에 기초하여 결정되는, 영상에서 대상체 부위의 위치를 추정하는 장치.
13. 제1 항에 있어서,
    상기 소정의 횟수는 각 대상체 부위의 추정을 위한 소정의 할당시간에 기초하여 설정되는, 영상에서 대상체 부위의 위치를 추정하는 장치.
14. 제1 항에 있어서,
    상기 소정의 횟수는 상기 이동을 통해 변화되는 기준점들의 위치의 분산값에 기초하여 결정되는, 영상에서 대상체 부위의 위치를 추정하는 장치.
15. 제1 항에 있어서,
    상기 소정의 횟수는 상기 분류기를 통해 획득된 방향정보의 확률에 기초하여 결정되는, 영상에서 대상체 부위의 위치를 추정하는 장치.
16. 제 1항에 있어서,
    상기 제어부는 상기 추정된 대상체 부위의 위치에 기초하여 상기 대상체의 자세(pose)를 추정하는, 영상에서 대상체 부위의 위치를 추정하는 장치.
17. 영상을 수신하는 단계;
    상기 수신된 영상에 기준점을 설정하는 단계;
    소정의 분류기를 이용하여 상기 기준점이 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 획득하고, 상기 기준점을 상기 획득된 방향정보를 이용하여 소정의 거리만큼 이동하여 재설정하는 과정을 소정의 횟수만큼 반복하는 단계; 및
    상기 소정의 횟수만큼 기준점을 재설정 함에 따른 상기 기준점의 이동과 관련된 정보를 이용하여 상기 영상에서 상기 대상체 부위의 위치를 추정하는 단계를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 방법.
18. 제 17항에 있어서,
    상기 소정의 분류기는 상기 대상체 부위에 대하여 기계-학습되어, 설정된 기준점이 상기 대상체 부위로 이동할 확률 및 방향에 관한 적어도 하나의 방향정보를 생성하는, 영상에서 대상체 부위의 위치를 추정하는 방법.
19. 제 17항에 있어서,
    상기 기준점의 이동과 관련된 정보는 상기 기준점의 이동 경로를 포함하는, 영상에서 대상체 부위의 위치를 추정하는 방법.
20. 제17항에 있어서,
    상기 획득된 적어도 하나의 방향정보 중 하나의 방향정보를 랜덤하게 선택하는 단계를 보다 포함하는, 영상에서 대상체 부위의 위치를 추정하는 방법.
21. 제17항에 있어서,
    상기 획득된 적어도 하나의 방향정보 중 하나의 방향정보를 상기 확률에 기초하여 선택하는 단계를 보다 포함하는, 영상에서 대상체 부위의 위치를 추정하는 방법.
22. 제17항에 있어서,
    상기 추정된 대상체 부위의 위치에 기초하여 상기 대상체의 자세(pose)를 추정하는 단계를 보다 포함하는, 영상에서 대상체 부위의 위치를 추정하는 방법.
23. 제17항 내지 제22항 중 어느 한 항에 의한 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.

Images