KR20130017009A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

Abstract

본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다. 본 발명에 따른 영상 처리 장치는, 피사체에 빛을 조사하는 광원, 상기 광원과 일정거리 이상 분리되어 배치되며, 상기 피사체에서 반사되는 빛을 감지하는 제1 카메라, 및 상기 제1 카메라가 감지한 빛으로부터 깊이 정보를 생성하고, 상기 제1 카메라의 화각, 상기 광원과 상기 제1 카메라 사이의 거리, 및 상기 광원과 상기 피사체 사이의 거리 중 적어도 하나에 기초하여 상기 깊이 정보의 왜곡을 보정하는 연산부를 포함한다. 본 발명에 따르면, 깊이 정보를 생성하는 카메라와 광원을 서로 일정 거리만큼 분리하여 배치해야 하는 구조에서, 광원과 카메라의 거리 차로 인해 깊이 정보에서 발생하는 왜곡 정보를 보정함으로써 광원과 카메라의 위치에 관계없이 정확한 깊이 정보를 생성할 수 있다.

Description

영상 처리 장치 및 영상 처리 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명은 왜곡이 보정된 깊이 정보를 영상과 합성함으로써, 영상에 포함된 피사체의 정확한 거리 정보를 제공할 수 있는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

TOF(Time-Of-Flight) 센서는 IR(적외선) 광원에서 방출되는 빛이 반사되어 돌아오는 것을 감지하는 센서로서, 깊이 정보(Depth Information)를 생성하는 깊이 카메라(Depth Camera)와 연결되어 특정 물체까지의 거리를 산출하는 데에 이용될 수 있다. TOF 센서를 포함한 TOF 카메라와 IR 광원을 포함하여 깊이 정보를 생성할 수 있는 영상 처리 장치에서, 통상 TOF 센서와 IR 광원은 가능한 가까운 위치, 혹은 이상적으로는 동일한 위치에 배치된다.

도 1은 깊이 정보를 생성할 수 있는 일반적인 영상 처리 장치를 간단하게 나타낸 개념도이다. 영상 처리 장치(100)는 빛을 방출하는 광원(110), 및 피사체(130)에서 반사되어 돌아오는 빛을 감지하는 TOF 센서(120)를 포함한다. TOF 센서(120)는 광원(110)이 방출하는 빛과, 피사체(130)에서 반사되어 돌아오는 빛의 위상차이를 이용하여 깊이 정보를 생성하므로, 계산된 거리의 오차를 최소화하기 위해서는 광원(110)과 TOF 센서(120)가 물리적으로 가능한 가깝게 배치되는 것이 바람직하다.

그러나 자동차의 후방 카메라와 같이 공간적인 제약으로 인해 광원(110)과 TOF 센서(120)가 일정 거리만큼 분리되어 배치되어야 하는 경우가 발생할 수 있으며, 이 경우 광원(110)과 TOF 센서(120) 사이의 거리에 따라 깊이 정보에 오차가 포함된다. 따라서, 광원(110)과 TOF 센서(120)의 배치의 자유도를 확보하기 위해, 광원(110)과 TOF 센서(120)의 상대적인 위치에 따라서 깊이 정보에 포함되는 오차를 보정할 수 있는 방법이 제공될 필요가 있다.

본 발명의 과제는 상기한 종래 기술의 문제점을 보완하기 위한 것으로서, 깊이 정보를 생성하는 카메라와 광원 사이의 거리에 따라 깊이 정보에 포함된 오차를 보정할 수 있는 영상 처리 장치 및 영상 처리 방법을 제공한다.

본 발명의 제1 기술적인 측면에 따르면, 피사체에 빛을 조사하는 광원, 상기 광원과 일정거리 이상 분리되어 배치되며, 상기 피사체에서 반사되는 빛을 감지하는 제1 카메라, 및 상기 제1 카메라가 감지한 빛으로부터 깊이 정보를 생성하고, 상기 제1 카메라의 화각, 상기 광원과 상기 제1 카메라 사이의 거리, 및 상기 제1 카메라가 감지한 빛으로부터 계산되는 상기 광원과 상기 피사체 사이의 거리 중 적어도 하나에 기초하여 상기 깊이 정보를 보정하는 연산부를 포함하는 영상 처리 장치를 제안한다.

또한, 상기 연산부는 상기 광원이 조사하는 빛의 위상과 상기 제1 카메라가 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 피사체 사이의 거리를 판단하는 영상 처리 장치를 제안한다.

또한, 상기 피사체를 촬영하여 영상을 생성하는 제2 카메라를 더 포함하는 영상 처리 장치를 제안한다.

또한, 상기 연산부는 상기 깊이 정보와 상기 제2 카메라가 생성한 영상을 합성하는 영상 처리 장치를 제안한다.

또한, 상기 깊이 정보는 상기 제2 카메라가 생성한 영상에 포함되는 피사체와 상기 제1 카메라 사이의 거리를 포함하는 영상 처리 장치를 제안한다.

또한, 상기 연산부는 상기 제2 카메라가 생성한 영상에 포함되는 피사체와 상기 제1 카메라 사이의 거리가 상기 제2 카메라가 생성한 영상에 표시되도록 상기 깊이 정보와 상기 제2 카메라가 생성한 영상을 합성하는 영상 처리 장치를 제안한다.

또한, 상기 제1 카메라는 TOF(Time-Of-Flight) 카메라인 영상 처리 장치를 제안한다.

한편, 본 발명의 제2 기술적인 측면에 의하면, 피사체에서 반사되는 빛을 감지하는 단계, 상기 감지한 빛으로부터 깊이 정보를 생성하는 단계, 및 상기 깊이 정보를 생성하는 제1 카메라의 화각, 상기 피사체에 빛을 조사하는 광원과 상기 제1 카메라 사이의 거리, 및 상기 광원과 상기 피사체 사이의 거리 중 적어도 하나에 기초하여 상기 깊이 정보의 왜곡을 보정하는 단계를 포함하는 영상 처리 방법을 제안한다.

또한, 상기 깊이 정보 생성 단계는 상기 광원이 조사하는 빛의 위상과 상기 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 피사체 사이의 거리를 포함하는 깊이 정보를 생성하는 영상 처리 방법을 제안한다.

또한, 상기 피사체를 포함하는 영상을 촬영하는 단계, 및 상기 왜곡이 보정된 깊이 정보와 상기 영상을 합성하는 단계를 더 포함하는 영상 처리 방법을 제안한다.

또한, 상기 제1 카메라와 상기 피사체 사이의 거리가 상기 영상에 표시되도록 상기 왜곡이 보정된 깊이 정보와 상기 영상을 합성하는 영상 처리 방법을 제안한다.

본 발명에 따르면, 깊이 정보를 생성하는 제1 카메라의 화각, 제1 카메라와 광원 사이의 거리, 광원과 피사체 사이의 거리 등에 기초하여 깊이 정보의 왜곡을 보정함으로써, 깊이 정보를 생성하는 제1 카메라와 광원을 물리적 제약 없이 자유롭게 배치할 수 있으며, 사용자에게 정확한 깊이 정보를 제공할 수 있다.

도 1은 깊이 정보를 생성할 수 있는 일반적인 영상 처리 장치를 간단하게 나타낸 개념도;
도 2는 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 블록도;
도 3은 본 발명의 실시예에 따른 영상 처리 방법을 설명하는데 제공되는 흐름도;
도 4 및 도 5는 본 발명의 실시예에 따른 영상 처리 장치가 깊이 정보에 포함된 왜곡을 보정하는 방법을 설명하는데 제공되는 도; 및
도 6은 본 발명의 실시예에 따른 영상 처리 장치가 출력하는 영상을 나타낸 도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 블록도이다.

본 실시예에 따른 영상 처리 장치(200)는 광원(210), 제1 카메라(220), 연산부(230), 및 메모리부(240)를 포함한다. 본 실시예에서는 제1 카메라(210)와 광원(240)의 거리에 관계없이 정확한 깊이 정보를 생성할 수 있는 본 발명의 구성을 드러내고자 광원(210)이 제1 카메라(220), 연산부(230), 및 메모리부(240)와 별도의 블록에 포함되는 것으로 도시하였으나, 이것이 광원(210)이 꼭 제1 카메라(220), 연산부(230), 및 메모리부(240)와 별도의 모듈로 구현되는 것을 의미하는 것은 아니다. 광원(210)이 다른 구성 요소와 별도의 모듈로 구현되는 경우에도, 깊이 정보의 왜곡을 보정하는 연산부(230)가 광원(210)에서 출력되는 빛과 제1 카메라(220)가 감지한 빛의 위상 차를 계산할 수 있도록 연산부(230)와 통신 가능하게 연결될 수 있다.

이하, 본 명세서 전반에 걸쳐서 "깊이 정보"라는 용어는, 영상 처리 장치(200)로부터 소정 거리만큼 떨어진 물체까지의 거리를 의미하는 것으로 해석될 수 있다. 깊이 정보는 연산부(230)가 광원(210)이 출력하는 빛과 제1 카메라(220)가 감지한 빛의 위상차로부터 계산할 수 있으며, 상기 물체의 특정 지점(포인트)까지의 거리를 의미할 수 있다.

영상 처리 장치(200)는 도 2에 도시된 구성 요소 이외에, 일반적인 영상을 촬영하는 제2 카메라(미도시)를 추가로 포함할 수 있다. 제2 카메라는 일반적인 컬러 또는 흑백 영상(동영상과 정지영상을 모두 포함)을 촬영할 수 있는 카메라로서, 제1 카메라(220)와 동일한 방향으로 마련되어 제1 카메라(220)가 감지한 빛을 반사시킨 피사체를 촬영할 수 있다. 연산부(230)는 제1 카메라(220)가 감지한 빛으로부터 생성한 깊이 정보를 제2 카메라가 촬영한 영상에 합성함으로써, 제2 카메라가 촬영한 영상에 포함되는 피사체에 대한 거리 정보를 사용자에게 제공할 수 있다.

이하, 도 2에 도시한 영상 처리 장치(200)의 구성 및 영상 처리 장치(200)가 실행하는 영상 처리 방법을 도 3에 도시한 흐름도를 참조하여 설명한다.

도 3은 본 발명의 실시예에 따른 영상 처리 방법을 설명하는데 제공되는 흐름도이다. 도 3을 참조하면, 본 실시예에 따른 영상 처리 방법은 영상 처리 장치(200)에 포함된 광원(210)이 빛을 방출하는 것으로 시작된다(S300).

광원(210)은 일정한 주기와 위상을 갖는 빛을 방출하며, 일례로 적외선을 방출할 수 있다. 이론적으로 광원(210)은 턴 온(turn-on)되는 시간과 턴 오프(turn-off)되는 시간을 각각 반주기로 포함하는 구형파(Square-Wave) 형태의 신호를 빛으로 방출하며, 실제로는 사인파(Sine-Wave) 형태의 신호를 빛으로 출력한다. 광원(210)이 방출하는 빛은 특정 물체에 부딪히는 경우 반사되어 되돌아오게 되며, 제1 카메라(220)는 반사된 빛을 감지한다(S310).

제1 카메라(220)는 빛을 반사시킨 물체, 즉 피사체에서 반사된 빛을 감지하는 TOF(Time-Of-Flight) 카메라일 수 있으며, 빛을 감지하기 위해 내부에 적어도 하나 이상의 수광 센서를 포함할 수 있다. 제1 카메라(220) 내의 수광 센서는 포토 다이오드(Photo-Diode)로 구현 가능하다. 연산부(230)는 제1 카메라(220)가 감지한 빛을 이용하여 빛을 반사시킨 피사체에 대한 깊이(Depth) 정보를 생성한다. 연산부(230)가 생성하는 깊이 정보는 피사체와 광원, 또는 피사체와 제1 카메라(220) 사이의 거리 정보를 포함할 수 있으며, 하나의 광원(210)에서 방출된 빛을 반사시킨 다수의 피사체에 대해 깊이 정보를 생성할 수 있음은 물론이다.

연산부(230)는 제1 카메라(220)에서 감지한 빛으로부터 깊이 정보를 생성한다(S320). 연산부(230)는 광원(210)이 방출하는 빛과 제1 카메라(220)가 감지한 빛의 위상차를 이용하여 광원 또는 제1 카메라(220)로부터 빛을 반사한 피사체까지의 거리에 대응하는 깊이 정보를 생성한다. 광원(210) 또는 제1 카메라(220)로부터의 거리에 따라 복수의 피사체 각각이 반사하는 빛의 위상이 서로 다르기 때문에, 연산부(230)는 복수의 피사체에 대해 깊이 정보를 생성할 수 있다. 복수의 피사체에 대해 생성된 깊이 정보는 하나의 깊이 영상(Depth Image) 형태로 합성될 수 있다.

연산부(230)는 깊이 정보, 또는 복수의 피사체에 대해 생성된 깊이 정보가 포함된 깊이 영상의 왜곡을 보정한다(S330). 본 실시예에서, 연산부(230)는 광원(210)과 제1 카메라(220) 사이의 거리, 광원(210) 또는 제1 카메라(220)와 피사체 사이의 최단 거리, 및 제1 카메라(220)의 화각 중 적어도 하나에 기초하여 깊이 정보의 왜곡을 보정할 수 있다. 이하, 도 4 및 도 5을 참조하여 자세히 설명한다.

도 4 및 도 5는 본 발명의 실시예에 따른 영상 처리 장치가 깊이 정보에 포함된 왜곡을 보정하는 방법을 설명하는데 제공되는 도이다. 도 4는 광원(410-1, 410-2) 및 제1 카메라(420)와 피사체 사이의 거리가 상대적으로 먼 경우에 깊이 정보의 왜곡을 보정하는 방법을 설명하기 위한 도이다. 설명의 편의상 도 4에 도시한 실시예에서, 영상 처리 장치(400)는 Y축 방향으로 동일한 위치에 놓이는 광원(410-1, 410-2)과 제1 카메라(420)를 포함하는 것을 가정하나, 이와 다른 실시예로도 구현가능함은 물론이다.

도 4에서 광원(410-1, 410-2) 및 제1 카메라(420)와 피사체 사이의 거리가 상대적으로 멀기 때문에, 제1 카메라(420)의 화각 θ에 거의 대부분의 피사체가 포함된다. 광원(410-1, 410-2)과 제1 카메라(420)는 X축 방향에서 서로 다른 위치에 배치되며, 하나의 제1 카메라(420) 좌, 우측에 각각 w/2 만큼 떨어져서 2개의 광원(410-1, 410-2)이 배치되는 것을 가정한다.

제1 카메라(420)가 피사체(430)의 Point 4에 대한 깊이 정보를 측정하고자 하는 경우, 제1 카메라(420)의 좌측에 배치되는 광원(410-1)에서 방출된 빛이 피사체(430)에 반사되어 돌아오는 경로는 2*distance_A로 표현할 수 있다. 제1 카메라(420)가 광원(410-1)과 동일한 위치에 배치되는 이상적인 경우를 가정하면 광원(410-1)에서 방출된 빛이 피사체(430)까지 진행하는 거리와, 피사체(430)에서 반사된 빛이 제1 카메라(420)로 돌아오는 거리가 모두 distance_A로 서로 동일하기 때문에 별도의 왜곡 보정 단계가 필요없으나, 도 4에 도시한 바와 같은 경우에는 광원(410-1)에서 방출된 빛의 진행 거리와 피사체(430)에서 반사된 빛의 진행 거리가 서로 다르기 때문에 왜곡을 보정할 필요가 있다.

제1 카메라(420)의 화각을 θ로, 제1 카메라(420) 또는 광원(410-1)으로부터 피사체(430)까지의 최단 거리를 d로 정의하면, 피사체(430)에서 반사된 빛이 제1 카메라(420)로 돌아오는 경로의 길이는 d*sec(θ/2)로 정의된다. 따라서, 제1 카메라(420)와 광원(410-1)이 동일한 위치에 마련되는 경우에 빛의 진행 경로인 2*distance_A와 달리, 본 실시예에서 빛의 진행 경로는 distance_A + d*sec(θ/2)로 정의되므로, 실제 빛의 이동 경로와 제1 카메라(420)가 인식하는 빛의 이동 경로 사이에 | distance_A - d*sec(θ/2) | 만큼의 오차가 발생한다. distance_A는 다음의 수학식 1과 같이 정의된다.

θ와 d, w는 위에서 정의한 바와 같이 각각 제1 카메라의 화각, 제1 카메라(420) 또는 광원(410-1)으로부터 피사체(430)까지의 최단 거리, 제1 카메라(420)와 광원(410-1)사이의 거리에 해당한다. 제1 카메라(420)는 광원(410-1)이 제1 카메라(420)와 동일한 위치에 있다고 인식하기 때문에, 제1 카메라(420)에서 인식하는 빛의 이동 경로는 2d*sec(θ/2)로 정의된다. 따라서, 실제 빛의 이동 경로와, 제1 카메라(420)에서 인식하는 빛의 이동 경로 사이의 비(ratio)는 수학식 2와 같이 표현될 수 있다.

제1 카메라(420)의 화각 θ, 및 제1 카메라(420)와 광원(410-1) 사이의 거리 w는 고정된 값이며, 제1 카메라(420) 또는 광원(410-1)과 피사체(430) 사이의 최단 거리인 d는, 제1 카메라(420)에서 측정되는 피사체(430)까지의 최단 거리를 통해 계산할 수 있다. 실제로, Point 2에 대한 깊이 정보를 생성하고자 하는 경우, 실제 빛의 이동 경로와 무관하게 제1 카메라(420)가 인식하는 빛의 경로는 2d로 표현되므로, 그로부터 d 값을 계산할 수 있다.

한편, Point 3에 대한 깊이 정보를 생성하는 경우에는, 빛의 실제 이동 경로와 제1 카메라(420)가 인식하는 빛의 경로가 수학식 3, 4와 같이 표현된다. 따라서, 제1 카메라(420)의 화각 θ를 배제하고 d와 w 값만 참조하여 깊이 정보의 왜곡을 보정할 수 있다.

도 5는 광원(510-1, 510-2) 및 제1 카메라(520)와 피사체 사이의 거리가 상대적으로 가까운 경우에 깊이 정보의 왜곡을 보정하는 방법을 설명하기 위한 도이다. 설명의 편의상 도 4에 도시한 실시예에서, 영상 처리 장치(500)는 Y축 방향으로 동일한 위치에 놓이는 광원(510-1, 510-2)과 제1 카메라(520)를 포함하는 것을 가정하나, 이와 다른 실시예로도 구현가능함은 물론이다.

도 5를 참조하면, 제1 카메라(520) 및 광원(510-1, 510-2)과 피사체(530) 사이의 최단 거리 d가 도 4의 경우보다 상대적으로 작기 때문에, 제1 카메라(520)의 화각 θ에 피사체(530)가 전부 들어오지 않는다. 제1 카메라(520)의 화각 θ로 촬영가능한 피사체(530)의 최외부에 해당하는 Point 4에 대한 깊이 정보를 생성하고자 하는 경우, 실제 빛의 이동 경로와 제1 카메라(520)가 인식하는 빛의 이동 경로는 각각 아래의 수학식 5, 6과 같다.

따라서, Point 4에 대해서는 화각 θ와 무관하게 d와 w값을 참조하여 깊이 정보의 왜곡을 보정할 수 있다. 한편, Point 3에 대한 깊이 정보를 생성하는 경우, 실제 빛의 이동 경로는 distance-B + d*sec(θ/2)로 정의되는 데에 반해, 제1 카메라(520)가 인식하는 빛의 이동 경로는 2d*sec(θ/2)로 정의된다. 이는, 도 4의 경우와 유사하게 제1 카메라(520)가 광원(510-1)이 제1 카메라(520)와 동일한 위치에 있다고 인식하기 때문이며, distance-B는 아래의 수학식 7과 같이 정의된다.

따라서, 실제 빛의 이동 경로와, 제1 카메라(520)에서 인식하는 빛의 이동 경로 사이의 비(ratio)는 수학식 8과 같이 표현될 수 있다.

수학식 8을 수학식 2와 비교하면, 루트 안에 포함된 성분에 차이가 있으나, 제곱을 통해 절대값으로 얻어지는 값이므로 실제로 계산되는 값에는 차이가 없다. 따라서, 도 4의 Point 4에 대한 깊이 정보의 왜곡을 보정하는 경우와 마찬가지로, 도 5의 Point 3에 포함된 깊이 정보의 왜곡은 제1 카메라(520)의 화각 θ, 제1 카메라(520) 및 광원(510-1)과 피사체(530) 사이의 최단 거리 d, 및 제1 카메라(520)와 광원(510-1) 사이의 거리 w를 참조하여 보정될 수 있다.

도 6은 본 발명의 실시예에 따른 영상 처리 장치가 출력하는 영상을 나타낸 도이다. 본 실시예에서는 자동차용 영상 표시 장치에 본 발명의 실시예에 따른 영상 처리 장치가 포함되는 것을 가정하나, 자동차용 영상 표시 장치 이외의 다양한 실시예에 적용될 수 있음은 물론이다. 이하, 설명의 편의를 위해 자동차용 후방 카메라 장치를 예시로 설명한다.

후방 카메라 장치는 주차장과 같은 환경에서 운전자가 자동차를 후진시키고자 하는 경우, 운전자가 안전하게 자동차를 운행할 수 있도록 후방의 영상을 카메라로 촬영해서 자동차 내부의 센터페시아 등에 설치된 화면으로 출력한다. 본 발명의 실시예에 따른 영상 처리 장치가 적용된 자동차용 후방 카메라 장치의 경우, 후방의 영상을 운전자에게 표시함과 더불어 자동차 후방에 위치한 물체, 즉 다른 차량이나 벽, 기둥 등과 같은 물체까지의 거리를 운전자에게 알려줄 수 있다.

도 6을 참조하면, 주차장에서 후진으로 주차하고자 하는 경우, 이미 주차된 다른 차량(610)과 기둥(620), 및 벽(630)까지의 거리가 색깔 또는 수치 등으로 표시될 수 있다. 앞서 설명한 바와 같이, 본 발명의 실시예에서, 영상 처리 장치(200)의 연산부(230)는 제1 카메라(220)가 감지하는 빛으로부터 다수의 피사체에 대한 깊이 정보를 생성할 수 있으므로, 도 6에 도시한 바와 같이 복수의 물체(610~630)에 대한 거리 정보를 운전자에게 동시에 표시할 수 있다. 또한, 제1 카메라(220)의 화각, 물체(610~630)까지의 거리, 및 제1 카메라(220)와 광원(210) 사이의 거리 중 적어도 하나를 참조하여 깊이 정보의 왜곡을 보정하고, 왜곡이 보정된 깊이 정보를 제2 카메라가 촬영한 영상과 합성함으로써 정확한 거리 정보를 운전자에게 제공할 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

200 : 영상 처리 장치
210, 410-1, 410-2, 510-1, 510-2 : 광원
220, 420, 520 : 제1 카메라
230 : 연산부
240 : 메모리부

Claims (12)

1. 피사체에 빛을 조사하는 광원;
   상기 광원과 일정거리 이상 분리되어 배치되며, 상기 피사체에서 반사되는 빛을 감지하는 제1 카메라; 및
   상기 제1 카메라가 감지한 빛으로부터 깊이 정보를 생성하고, 상기 제1 카메라의 화각, 상기 광원과 상기 제1 카메라 사이의 거리, 및 상기 제1 카메라가 감지한 빛으로부터 계산되는 상기 광원과 상기 피사체 사이의 거리 중 적어도 하나에 기초하여 상기 깊이 정보를 보정하는 연산부; 를 포함하는 영상 처리 장치.
2. 제1항에 있어서, 상기 연산부는,
   상기 광원이 조사하는 빛의 위상과 상기 제1 카메라가 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 피사체 사이의 거리를 판단하는 영상 처리 장치.
3. 제1항에 있어서,
   상기 피사체를 촬영하여 영상을 생성하는 제2 카메라; 를 더 포함하는 영상 처리 장치.
4. 제3항에 있어서, 상기 연산부는,
   상기 깊이 정보와 상기 제2 카메라가 생성한 영상을 합성하는 영상 처리 장치.
5. 제4항에 있어서,
   상기 깊이 정보는 상기 제2 카메라가 생성한 영상에 포함되는 피사체와 상기 제1 카메라 사이의 거리를 포함하는 영상 처리 장치.
6. 제4항에 있어서, 상기 연산부는,
   상기 제2 카메라가 생성한 영상에 포함되는 피사체와 상기 제1 카메라 사이의 거리가 상기 제2 카메라가 생성한 영상에 표시되도록 상기 깊이 정보와 상기 제2 카메라가 생성한 영상을 합성하는 영상 처리 장치.
7. 제1항에 있어서,
   상기 제1 카메라는 TOF(Time-Of-Flight) 카메라인 영상 처리 장치.
8. 피사체에서 반사되는 빛을 감지하는 단계;
   상기 감지한 빛으로부터 깊이 정보를 생성하는 단계; 및
   상기 깊이 정보를 생성하는 제1 카메라의 화각, 상기 피사체에 빛을 조사하는 광원과 상기 제1 카메라 사이의 거리, 및 상기 광원과 상기 피사체 사이의 거리 중 적어도 하나에 기초하여 상기 깊이 정보의 왜곡을 보정하는 단계; 를 포함하는 영상 처리 방법.
9. 제8항에 있어서, 상기 깊이 정보 생성 단계는,
   상기 광원이 조사하는 빛의 위상과 상기 감지한 빛의 위상의 차이를 이용하여 상기 광원과 상기 피사체 사이의 거리를 포함하는 깊이 정보를 생성하는 영상 처리 방법.
10. 제8항에 있어서,
    상기 피사체를 포함하는 영상을 촬영하는 단계; 및
    상기 왜곡이 보정된 깊이 정보와 상기 영상을 합성하는 단계; 를 더 포함하는 영상 처리 방법.
11. 제10항에 있어서,
    상기 제1 카메라와 상기 피사체 사이의 거리가 상기 영상에 표시되도록 상기 왜곡이 보정된 깊이 정보와 상기 영상을 합성하는 영상 처리 방법.
12. 제1항 내지 제7항 중 어느 한 항에 기재된 영상 처리 장치를 포함하는 자동차용 영상 표시 장치.

Images