KR101816170B1 - 3차원 깊이 정보 획득 장치 및 그 방법 - Google Patents

Abstract

본 발명은 공간상에서 움직이는 사용자의 동작을 인식하기 위하여 영상을 통해 3차원 깊이 정보를 획득하는 장치 및 그 방법에 관한 것이다. 이러한, 3차원 깊이 정보 획득 장치는 적외선 광원에서 방사되는 빛을 공간에 패턴으로 투사하는 패턴 투사부, 카메라를 이용하여 패턴에 해당하는 영상을 획득하는 영상 획득부 및 영상에서 패턴을 추출하고, 추출한 결과를 분석하여 공간 내부에 존재하는 객체들의 3차원 거리 정보를 계산하는 연산부를 포함한다.

Description

3차원 깊이 정보 획득 장치 및 그 방법{Apparatus and method for obtaining 3D depth information}

본 발명은 3차원 깊이 정보 획득 장치 및 그 방법 에 관한 것이다. 보다 상세하게는 공간상에서 움직이는 사용자의 동작을 인식하기 위하여 영상을 통해 3차원 깊이 정보를 획득하는 장치 및 그 방법에 관한 것이다.

공간상의 거리를 나타내는 깊이 영상을 획득하는 방법으로 광학식 방법이 널리 사용되고 있다.

광학식 방법은 두 개 이상의 시점을 갖도록 다수의 카메라를 사용하는 수동적 획득방식과 공간에 빛을 투영하고 이를 해석하는 능동적 획득방식을 포함한다.

수동적 획득방식은 스테레오 비전으로 널리 알려져 있으며, 사람의 양안과 같이 두 대의 카메라를 사용하거나, 보다 많은 다시점 카메라를 사용하는 방법이다.

이러한, 수동적 획득방식은 거리를 측정하고자 하는 공간 내부에 밝기 값 변화가 존재하는 특징점을 찾기 어려운 경우에 거리 측정이 잘 되지 않는 단점이 있다.

능동적 획득 방식은 공간의 조명 또는 특징점 유무에 따른 영향을 크게 받지 않으며, 정확한 거리 측정이 가능한 장점이 있다.

그러나, 기존의 능동적 획득 방식은 일반적으로 가시광선을 사용하며, 이 경우 눈부심 현상으로 인하여 사람이 있는 상황에 적용하기 어렵다. 또한, 능동적 획득 방식은 여러 장의 패턴을 투영함으로써 움직임이 있는 상황에 적용하기 어려운 단점이 있다.

본 발명의 목적은, 공간상에서 움직이는 사용자의 동작을 인식하기 위하여 영상을 통해 3차원 깊이 정보를 획득하는 장치 및 그 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 3차원 깊이 정보 획득 장치는

적외선 광원에서 방사되는 빛을 공간에 패턴으로 투사하는 패턴 투사부; 카메라를 이용하여 상기 패턴에 해당하는 영상을 획득하는 영상 획득부; 및 상기 영상에서 패턴을 추출하고, 추출한 결과를 분석하여 공간 내부에 존재하는 객체들의 3차원 거리 정보를 계산하는 연산부를 포함한다.

상기 패턴 투사부는 상기 적외선 광원에서 방사되는 빛을 평행광으로 변환하는 변환부; 상기 평행광을 패턴을 포함하는 빛으로 변환하는 패턴 마스크부; 및 상기 패턴을 포함하는 빛이 설정 거리에서 초점이 맞도록 상기 패턴을 포함하는 빛의 초점을 조정하는 조정부를 포함한다.

상기 변환부는 콜리메이트 렌즈 형태인 것을 특징으로 한다.

상기 패턴 마스크부는 일정한 규칙을 사용하여 코드화된 패턴을 렌즈에 새긴 형태인 것을 특징으로 한다.

상기 코드화는 2차원 수도랜덤 코딩 기법을 이용하여 복수개의 코드 벡터들 사이에서 가장 큰 해밍 거리를 갖는 코드 벡터들을 선택하는 것을 특징으로 한다.

상기 조정부는 프로젝션 렌즈 형태인 것을 특징으로 한다.

상기 연산부는 상기 영상 획득부에서 한대의 카메라를 이용하여 상기 영상을 획득한 경우, 삼각 측량 방법을 이용하여 상기 3차원 거리 정보를 계산하는 것을 특징으로 한다.

상기 연산부는 상기 영상 획득부에서 두대의 카메라를 이용하여 상기 영상을 획득한 경우, 상기 두대의 카메라를 이용하여 획득한 좌/우 영상에 삼각 측량 방법을 적용하여 상기 3차원 거리 정보를 계산하는 것을 특징으로 한다.

상기 두대의 카메라를 이용하여 상기 영상을 획득한 경우에는 상기 패턴 투사부와 상기 영상 획득부 간의 상호 위치 관계는 캘리브레이션을 통해 획득한다.

상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른, 3차원 깊이 정보 획득 방법은

적외선 광원에서 방사되는 빛을 공간에 패턴으로 투사하는 단계; 카메라를 이용하여 상기 패턴에 해당하는 영상을 획득하는 단계; 및 상기 영상에서 패턴을 추출하고, 추출한 결과를 분석하여 공간 내부에 존재하는 객체들의 3차원 거리 정보를 계산하는 단계를 포함한다.

상기 투사하는 단계는 상기 적외선 광원에서 방사되는 빛을 평행광으로 변환하는 단계; 상기 평행광을 패턴을 포함하는 빛으로 변환하는 단계; 및 상기 패턴을 포함하는 빛이 설정 거리에서 초점이 맞도록 상기 패턴을 포함하는 빛의 초점을 조정하는 단계를 포함한다.

상기 평행광으로 변환하는 단계는 콜리메이트 렌즈를 이용하는 것을 특징으로 한다.

상기 빛으로 변환하는 단계는 일정한 규칙을 사용하여 코드화된 패턴을 새긴 렌즈를 이용하는 것을 특징으로 한다.

상기 코드화는 2차원 랜덤 코딩 기법을 이용하여 복수개의 코드 벡터들 사이에서 가장 큰 해밍 거리를 갖는 코드 벡터들을 선택하는 것을 특징으로 한다.

상기 빛의 초점을 조정하는 단계는 프로젝션 렌즈를 이용하는 것을 특징으로 한다.

상기 3차원 거리 정보를 계산하는 단계는 삼각 측량 방법을 이용하여 상기 3차원 거리 정보를 계산하는 것을 특징으로 한다.

본 발명의 실시예에 따르면, 3차원 깊이 정보 획득 장치 및 그 방법은 적외선 광원과 패턴의 2차원 수도 랜덤 코딩 기법 또는 의사 랜덤 코딩 기법을 이용하여, 사용자가 자유롭게 동작하는 공간에서 특징점 유무에 관계없이 거리 정보를 나타내는 깊이맵을 빠르게 획득할 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 깊이 정보 획득 장치를 개략적으로 나타내는 구성도이다.
도 2는 본 발명의 실시예에 따른 패턴 투사부를 나타내는 구성도이다.
도 3은 본 발명의 실시예에 따른 패턴의 코드화를 나타내는 도면이다.
도 4 내지 도 5는 본 발명의 실시예에 따른 패턴을 구성하는 프리미티브를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 패턴 투사부를 통해 공간에 패턴을 투영하고, 카메라를 통해 공간을 촬영한 예를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 코드화된 수열을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 3차원 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하에서는, 본 발명의 실시예에 따른 3차원 깊이 정보 획득 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.

먼저, 본 발명의 실시예에 따른 깊이 정보는 공간상의 거리를 나타내는 깊이 영상에 해당하는 정보이다.

도 1은 본 발명의 실시예에 따른 3차원 깊이 정보 획득 장치를 개략적으로 나타내는 구성도이다. 또한, 도 2는 본 발명의 실시예에 따른 패턴 투사부를 나타내는 구성도이다.

도 1을 참고하면, 3차원 깊이 정보 획득 장치는 패턴 투사부(100), 영상 획득부(200) 및 연산부(300)를 포함한다.

패턴 투사부(100)는 적외선 광원에서 방사되는 빛을 공간에 패턴으로 투사한다.

도 2를 참고하면 패턴 투사부(100)는 변환부(110), 패턴 마스크부(120) 및 조정부(130)를 포함한다.

변환부(110)는 적외선 광원에서 방사되는 빛을 평행광으로 변환한다. 본 발명의 실시예에 따른 변환부(110)는 콜리메이트 렌즈(Collimate Lens)에 해당하는 것으로 이에 한정되지 않는다.

변환부(110)는 적외선 광원에서 방사되는 빛을 평행광으로 변환함으로써, 평행광이 패턴 마스크부(120)에 수직으로 입사할 수 있게 한다.

패턴 마스크부(120)는 평행광을 특정 패턴을 포함하는 빛으로 변환한다. 본 발명의 실시예에 따른 패턴 마스크부(120)는 평행광이 특정 패턴을 나타낼 수 있도록, 일정한 규칙을 사용하여 코드화된 패턴을 렌즈에 새긴 형태이고, 이에 한정되지 않는다. 여기서, 코드화는 복수개의 코드 벡터들 사이에 큰 해밍 거리를 갖는 코드 벡터들을 선택하기 위하여, 도 3과 같이 2차원 수도랜덤 코딩 기법 또는 의사 랜덤 코딩을 사용하여 다양한 형태로 표현 할 수 있다. 도 4 내지 도 5는 도 3의 세 번째 패턴을 구성하는 프리미티브(Primitive)를 나타낸다. 도 4는 이진 패턴에서 "1"을 표현하는 프리미티브이고, 도 5는 이진 패턴에서 "0"을 표현하는 프리미티브이다.

본 발명의 실시예에 따른, 패턴 마스크부(120)는 수도랜덤 코딩 기법을 사용하여 코드화된 수열을 도 4 내지 도 5와 같은 프리미티브들로 표현함으로써 특정 패턴을 생성한다.

조정부(130)는 특정 패턴을 포함하는 빛이 설정 거리에서 초점이 맞도록 특정 패턴을 포함하는 빛의 초점을 조정한다. 본 발명의 실시예에 따른, 조정부(130)는 프로젝션 렌즈(Projection Lens)에 해당하는 것으로, 이에 한정되지 않는다.

영상 획득부(200)는 공간에 투영된 패턴에 해당하는 영상을 획득한다. 이를 위하여, 영상 획득부(200)는 한대 또는 두 대의 카메라(도시하지 않음)를 포함한다.

본 발명의 실시예에 따른, 3차원 거리 정보는 도 6와 같이, 패턴 투사부(100)를 통해 투영되는 패턴과 카메라를 통해 촬영된 영상에서 추출된 패턴 간의 삼각 측량을 통해 획득할 수 있으며, 이에 한정되지 않는다. 이때, 사용되는 카메라 수에 따라 삼각 측량을 수행하는 방법이 달라지게 된다.

연산부(300)는 영상 획득부(200)를 통해 획득된 영상에서 패턴 투사부(100)를 통해 투영된 패턴을 추출하고, 추출한 결과를 분석하여 공간내부에 존재하는 객체들의 거리 즉, 3차원 거리 정보를 계산한다. 이때, 연산부(300)는 패턴 투사부(100)를 통해 투영된 패턴을 즉, 도 4 내지 도 5와 같은 사각 형태의 프리미티브 추출하기 위하여 특징 추출 방법을 이용한다. 여기서, 특징 추출 방법은 Harr wavelet을 이용하여 패턴 투사부(100)를 통해 투영된 패턴을 추출하는 방법이다.

다음, 연산부(300)는 추출한 결과를 요소들로 하여 AdaBoost 학습방법을 통해 각 요소들의 중요도(weight)를 결정한다. 이를 위하여, 연산부(300)는 프리미티브 검출기를 포함할 수 있으며, 이에 한정되지 않는다.

또한, 연산부(300)는 검출된 프리미티브로부터 도 7과 같이, 9지점을 획득하고, 이를 토대로 코드화된 수열을 찾아낸다.

한대의 카메라를 사용하는 경우에는 패턴 투사부(100)와 영상 획득부(200)의 위치를 고정한다. 이때, 사전 정보는 캘리브레이션을 통해 획득한 패턴 투사부(100)와 영상 획득부(200)간의 상호 위치 관계를 포함한다. 이때, 연산부(300)는 패턴 투사부(100)를 통해 투영된 패턴과 영상 획득부(200)를 통해 획득된 영상의 패턴과의 삼각 측량을 통해 거리값을 추정할 수 있다.

두 대의 카메라를 사용하는 경우에는 두 대의 카메라를 사람의 양안과 같이 일정한 간격을 두고 배치한다. 이때, 연산부(300)는 좌/우 영상의 특징점을 찾아 스테레오매칭 기법을 사용하면 거리값을 추정 할 수 있다. 하지만, 거리값을 알고자 하는 공간에 텍스처 정보가 부족한 경우에는 영상의 특징점을 찾기 어려워 거리값 추정이 어려운 것이 기존 스테레오매칭 기법의 큰 한계이다.

본 발명의 실시예에 따른 패턴 투사부(100)는 투영된 패턴이 공간상에 특징점을 생성할 수 있다. 즉, 영상 획득부(200)는 기 제작된 양안식 스테레오 카메라를 사용하는 것이 가능하며, 이로 인하여 구현이 매우 쉽고, 실시간 거리 획득 역시 가능할 수 있다.

또한, 두 대의 카메라를 사용하는 경우에는 패턴 투사부(100)와 카메라 간의 삼각측량이 아닌 두 대의 카메라 간의 삼각측량 기법을 이용하여 거리값을 추정할 수 있다. 여기서, 패턴 투사부(100)와 영상 획득부(200)간의 상호 위치 관계는 캘리브레이션을 통해 획득한다. 이때, 패턴 투사부(100)와 카메라 간의 위치관계를 알기 위해 수행하는 캘리브레이션은 오차가 발생하기 쉽다.

그러나, 본 발명의 실시예에 따른 연산부(300)는 두 대의 카메라를 사용하여 투영된 패턴간의 삼각 측량을 수행하여 거리를 측정할 수 있다.

다음, 3차원 깊이 정보를 획득하는 방법을 도 8을 참조하여 상세하게 설명한다.

도 8은 본 발명의 실시예에 따른 3차원 깊이 정보를 획득하는 방법을 나타내는 흐름도이다.

도 8을 참고하면, 3차원 깊이 정보 획득 장치는 적외선 광원에서 방사되는 빛을 평행광으로 변환한다(S510). 이때, 3차원 깊이 정보 획득 장치는 콜리메이트 렌즈(Collimate Lens)를 이용하여 적외선 광원에서 방사되는 빛을 평행광으로 변환한다.

3차원 깊이 정보 획득 장치는 평행광을 특정 패턴을 포함하는 빛으로 변환한다(S520).

3차원 깊이 정보 획득 장치는 특정 패턴을 포함하는 빛이 설정 거리에서 초점이 맞도록 특정 패턴을 포함하는 빛의 초점을 조정한다(S530). 이때, 3차원 깊이 정보 획득 장치는 프로젝션 렌즈(Projection Lens)를 이용하여 빛의 초점을 조정한다.

3차원 깊이 정보 획득 장치는 공간에 투영된 패턴에 해당하는 영상을 획득한다(S540).

3차원 깊이 정보 획득 장치는 공간에 투영된 패턴에 해당하는 영상에서 초점을 조정한 빛에 해당하는 특정 패턴을 추출하고, 추출한 결과를 분석하여 공간내부에 존재하는 객체들의 거리 즉, 3차원 거리 정보를 계산한다(S550).

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 패턴 투사부
110; 변환부
120; 패턴 마스크부
130; 조정부
200; 영상 획득부
300; 연산부

Claims (19)

1. 적외선 광원에서 방사되는 빛을 공간에 패턴으로 투사하는 패턴 투사부;
   카메라를 이용하여 상기 패턴에 해당하는 영상을 획득하는 영상 획득부; 및
   상기 영상에서 패턴을 추출하고, 추출한 결과를 분석하여 공간 내부에 존재하는 객체들의 3차원 거리 정보를 계산하는 연산부
   를 포함하고,
   상기 패턴 투사부는
   상기 적외선 광원에서 방사되는 빛을 평행광으로 변환하는 변환부;
   상기 평행광을 패턴을 포함하는 빛으로 변환하는 패턴 마스크부; 및
   상기 패턴을 포함하는 빛이 설정 거리에서 초점이 맞도록 상기 패턴을 포함하는 빛의 초점을 조정하는 조정부
   를 포함하고,
   상기 패턴 마스크부는
   일정한 규칙을 사용하여 코드화된 패턴을 렌즈에 새긴 형태이고,
   상기 코드화는
   2차원 수도 랜덤 코딩 기법 또는 의사 랜덤 코딩 기법을 이용하여 복수개의 코드 벡터들 사이에서 가장 큰 해밍 거리를 갖는 코드 벡터들을 선택하는 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
2. 청구항 1에 있어서,
   상기 패턴 투사부는
   코드화된 수열을 프리미티브들로 표현하여 상기 패턴을 생성하는 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
3. 삭제
4. 청구항 1에 있어서,
   상기 변환부는
   콜리메이트 렌즈 형태인 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
5. 삭제
6. 삭제
7. 청구항 1에 있어서,
   상기 조정부는
   프로젝션 렌즈 형태인 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
8. 청구항 1에 있어서,
   상기 연산부는
   상기 영상 획득부에서 한대의 카메라를 이용하여 상기 영상을 획득한 경우, 삼각 측량 방법을 이용하여 상기 3차원 거리 정보를 계산하는 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
9. 청구항 1에 있어서,
   상기 연산부는
   상기 영상 획득부에서 두대의 카메라를 이용하여 상기 영상을 획득한 경우, 상기 두대의 카메라를 이용하여 획득한 좌/우 영상에 삼각 측량 방법을 적용하여 상기 3차원 거리 정보를 계산하는 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
10. 청구항 9에 있어서,
    상기 두대의 카메라를 이용하여 상기 영상을 획득한 경우에는
    상기 패턴 투사부와 상기 영상 획득부 간의 상호 위치 관계는 캘리브레이션을 통해 획득하는 3차원 깊이 정보 획득 장치.
11. 청구항 1에 있어서,
    상기 연산부는
    Harr wavelet을 사용한 특징 추출 방법을 토대로 상기 영상에서 패턴을 추출하는 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
12. 청구항 1에 있어서,
    상기 연산부는
    추출한 결과를 요소로 설정하여 AdaBoost 학습방법을 통해 각 요소들의 중요도를 결정하는 것을 특징으로 하는 3차원 깊이 정보 획득 장치.
13. 적외선 광원에서 방사되는 빛을 공간에 패턴으로 투사하는 단계;
    카메라를 이용하여 상기 패턴에 해당하는 영상을 획득하는 단계; 및
    상기 영상에서 패턴을 추출하고, 추출한 결과를 분석하여 공간 내부에 존재하는 객체들의 3차원 거리 정보를 계산하는 단계
    를 포함하고,
    상기 투사하는 단계는
    상기 적외선 광원에서 방사되는 빛을 평행광으로 변환하는 단계;
    상기 평행광을 패턴을 포함하는 빛으로 변환하는 단계; 및
    상기 패턴을 포함하는 빛이 설정 거리에서 초점이 맞도록 상기 패턴을 포함하는 빛의 초점을 조정하는 단계
    를 포함하고,
    상기 빛으로 변환하는 단계는
    일정한 규칙을 사용하여 코드화된 패턴을 새긴 렌즈를 이용하고,
    상기 코드화는
    2차원 랜덤 코딩 기법을 이용하여 복수개의 코드 벡터들 사이에서 가장 큰 해밍 거리를 갖는 코드 벡터들을 선택하는 것을 특징으로 하는 3차원 깊이 정보 획득 방법.
14. 삭제
15. 청구항 13에 있어서,
    상기 평행광으로 변환하는 단계는
    콜리메이트 렌즈를 이용하는 것을 특징으로 하는 3차원 깊이 정보 획득 방법.
16. 삭제
17. 삭제
18. 청구항 13에 있어서,
    상기 빛의 초점을 조정하는 단계는
    프로젝션 렌즈를 이용하는 것을 특징으로 하는 3차원 깊이 정보 획득 방법.
19. 청구항 13에 있어서,
    상기 3차원 거리 정보를 계산하는 단계는
    삼각 측량 방법을 이용하여 상기 3차원 거리 정보를 계산하는 것을 특징으로 하는 3차원 깊이 정보 획득 방법.
    

Images