KR102320198B1

KR102320198B1 - 깊이 영상 보정 방법 및 장치

Info

Publication number: KR102320198B1
Application number: KR1020170044226A
Authority: KR
Inventors: 하인우; 이형욱; 안민수; 성영훈
Original assignee: 삼성전자주식회사
Priority date: 2017-04-05
Filing date: 2017-04-05
Publication date: 2021-11-02
Also published as: US10991111B2; CN108694703B; US20180293745A1; KR20180113043A; EP3385903B1; EP3385903A1; CN108694703A

Abstract

깊이 영상 보정 방법 및 장치가 개시된다. 깊이 영상 보정 방법은 컬러 영상으로부터 컬러 픽셀들의 쉐이딩 정보를 추출하는 단계와 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 컬러 영상에 대응하는 깊이 영상을 보정하는 단계를 포함한다. 깊이 영상을 보정하는 단계는, 깊이 영상에 포함된 현재 깊이 픽셀에 필터를 적용하여 현재 깊이 픽셀의 깊이 값을 조정하는 단계를 포함하고, 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 현재 깊이 픽셀에 적용되는 필터의 특성이 결정될 수 있다.

Description

깊이 영상 보정 방법 및 장치{METHOD AND APPARATUS FOR REFINING DEPTH IMAGE}

아래의 실시예들은 영상 처리 기술에 관한 것으로, 구체적으로는 깊이 영상을 보정하는 기술에 관한 것이다.

최근, 3차원 깊이 정보를 가지는 깊이 영상을 이용하여 게임, 의료 등의 콘텐츠에 활용하는 서비스가 증가하고 있다. 이러한 깊이 영상은 일반적으로, 적외선 센서 등과 같은 장비로 별도의 깊이 정보를 측정하거나 또는 스테레오 카메라를 이용하여 생성된다. 깊이 정보는 물체와 측정 위치 간의 거리에 대한 정보를 나타낸다. 깊이 영상을 이용하여 목적하는 결과를 얻기 위해서는, 깊이 영상에 포함된 깊이 정보는 보존하면서 노이즈를 효과적으로 제거하는 것이 요구된다.

일 실시예에 따른 깊이 영상 보정 방법은, 컬러 영상으로부터 컬러 픽셀들의 쉐이딩 정보를 추출하는 단계; 및 상기 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 상기 컬러 영상에 대응하는 깊이 영상을 보정하는 단계를 포함할 수 있다.

일 실시예에 따른 깊이 영상 보정 방법에서, 상기 깊이 영상을 보정하는 단계는, 상기 깊이 영상에 포함된 현재 깊이 픽셀에 필터를 적용하여 상기 현재 깊이 픽셀의 깊이 값을 조정하는 단계를 포함하고, 상기 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 상기 현재 깊이 픽셀에 적용되는 필터의 특성이 결정될 수 있다.

일 실시예에 따른 깊이 영상 보정 방법에서, 상기 깊이 영상을 보정하는 단계는, 상기 표면 노멀 정보에 기초하여 상기 깊이 영상에 포함된 현재 깊이 픽셀이 속한 영역의 타입을 결정하는 단계; 및 상기 결정된 타입에 대응하는 필터를 상기 현재 깊이 픽셀에 적용하는 것에 의해 상기 현재 깊이 픽셀의 깊이 값을 조정하는 단계를 포함할 수 있다.

일 실시예에 따른 깊이 영상 보정 방법에서, 상기 영역을 결정하는 단계는, 상기 현재 깊이 픽셀의 주변 픽셀들의 표면 노멀 값의 변화에 기초하여 상기 현재 깊이 픽셀이 속한 영역을 결정할 수 있다.

일 실시예에 따른 깊이 영상 보정 방법은, 제1 시간의 깊이 영상의 깊이 정보에 기초하여 제2 시간의 깊이 영상을 보정할지 여부를 결정하는 단계를 더 포함할 수 있다.

일 실시예에 따른 깊이 영상 보정 방법은, 상기 제1 시간의 깊이 영상에 대응하는 컬러 영상과 상기 제2 시간의 깊이 영상에 대응하는 컬러 영상 간의 차이가 미리 설정된 조건을 만족시키는 경우, 상기 제1 시간의 깊이 영상의 깊이 정보에 기초하여 제2 시간의 깊이 영상을 보정하는 단계를 더 포함할 수 있다.

일 실시예에 따른 깊이 영상 보정 방법은, 상기 컬러 영상으로부터 컬러 픽셀들의 알베도 정보를 추출하는 단계를 더 포함하고, 상기 깊이 영상을 보정하는 단계는, 상기 표면 노멀 정보에 기초한 제1 가중치, 상기 알베도 정보에 기초한 제2 가중치 및 이전 시간의 컬러 영상과 현재 시간의 컬러 영상 간의 차이에 기초한 제3 가중치에 기초하여 상기 깊이 영상을 보정할 수 있다.

일 실시예에 따른 깊이 영상 보정 장치는, 프로세서를 포함하고, 상기 프로세서는, 컬러 영상으로부터 컬러 픽셀들의 쉐이딩 정보를 추출하고, 상기 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 상기 컬러 영상에 대응하는 깊이 영상을 보정할 수 있다.

일 실시예에 따른 깊이 영상 보정 장치에서, 상기 프로세서는, 상기 깊이 영상에 포함된 현재 깊이 픽셀에 필터를 적용하여 상기 현재 깊이 픽셀의 깊이 값을 조정하고, 상기 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 상기 현재 깊이 픽셀에 적용되는 필터의 특성이 결정될 수 있다.

도 1은 일 실시예에 따른 깊이 영상을 보정하는 시스템을 도시하는 도면이다.
도 2는 일 실시예에 따른 깊이 영상 보정 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 표면 노멀 정보에 기초하여 깊이 영상을 보정하는 과정을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 깊이 영상을 보정하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 깊이 영상을 보정하는 과정의 일례를 설명하기 위한 도면이다.
도 6a 및 도 6b는 일 실시예에 따른 쉐이딩 정보에 기초하여 깊이 픽셀이 속하는 영역의 타입을 결정하는 일례들을 설명하기 위한 도면들이다.
도 7a 및 도 7b는 일 실시예에 따른 필터를 이용하여 깊이 픽셀의 깊이 값을 조정하는 일례들을 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 피드백을 이용하여 쉐이딩 정보를 추출하는 과정을 설명하기 위한 흐름도이다.
도 9는 다른 실시예에 따른 깊이 영상 보정 방법의 동작을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 깊이 영상 보정 장치의 구성을 도시하는 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

"또는" 이라는 용어는 배타적 "논리합"(exclusive "or")이 아닌 포괄적 "논리합"(inclusive "or")을 의미하는 것으로 해석되어야 한다. 예를 들어, "X가 A 또는 B를 이용한다" 라는 기재는 다음과 같은 경우들: "X가 A를 이용한다", "X가 B를 이용한다" 및 "X가 A와 B 모두를 이용한다"의 경우를 모두 포함하는 것으로 해석되어야 한다.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 깊이 영상을 보정하는 시스템을 도시하는 도면이다.

도 1을 참조하면, 시스템은 영상 센서(110), 깊이 센서(120) 및 깊이 영상 보정 장치(130)를 포함한다. 영상 센서(110)는 피사체(또는 객체)에 대한 컬러 영상(115)(또는 컬러 프레임)을 획득하는 장치로서, 예를 들어, CMOS(Complementary Metal-Oxide-Semiconductor) 영상 센서, CCD(Charge-Coupled Device) 영상 센서 또는 스테레오 카메라 등일 수 있다. 컬러 영상(115)은 컬러 픽셀들을 포함하고, 각 컬러 픽셀은 컬러 값을 가진다. 깊이 센서(120)는 컬러 영상(115)의 피사체와 동일한 피사체에 대한 깊이 영상(125)(또는 깊이 프레임)을 획득하는 장치로서, 예를 들어, 키넥트(kinect), TOF(time-of-flight) 깊이 카메라 또는 광 3D 스캐너 등일 수 있다. 깊이 영상(125)은 컬러 영상(115)에 대응하고, 깊이 픽셀들을 포함한다. 각 깊이 픽셀은 피사체에 대한 거리 정보를 나타내는 깊이 값을 가진다. 영상 센서(110)에 의해 획득된 컬러 영상(115) 및 깊이 센서(120)에 의해 획득된 깊이 영상(125)은 깊이 영상 보정 장치(130)에 제공될 수 있다. 이 때, 컬러 센서 및 깊이 센서(120)는 각각 컬러 영상(115)들의 스트림(stream) 및 깊이 영상(125)들의 스트림을 깊이 영상 보정 장치(130)에 전달할 수 있다.

다른 실시예에서, 영상 센서(110)로서 스테레오 카메라가 이용되는 경우, 스테레오 카메라는 좌영상과 우영상을 포함하는 스테레오 영상을 획득할 수 있고, 획득된 스테레오 영상이 깊이 영상 보정 장치(130)에 제공될 수 있다. 깊이 영상 보정 장치(130)는 잘 알려진 스테레오 매칭(stereo matching) 기법을 통해 스테레오 영상으로부터 깊이 영상(125)을 생성할 수 있다. 이 때, 깊이 영상 보정 장치(130)는 별도의 깊이 센서(120)로부터 깊이 영상(125)을 제공받는 것 없이, 스테레오 영상으로부터 컬러 영상(115)(좌영상 및 우영상)과 깊이 영상(125)을 획득할 수 있다.

깊이 영상 보정 장치(130)는 컬러 영상(115)을 이용하여 깊이 영상(125)을 보정하고, 보정된 깊이 영상을 생성한다. 깊이 영상 보정 장치(130)는 보정된 깊이 영상을 생성하기 위해 깊이 영상(125)에서의 깊이 값들을 보정할 수 있다. 깊이 값들을 보정하는 과정은 깊이 영상(125)에 포함된 노이즈 성분을 줄이는 과정을 포함한다. 깊이 영상(125)에는 노이즈 성분이 존재할 수 있는데, 깊이 영상(125)을 이용하여 바람직한 결과를 얻기 위해서는 깊이 영상(125)에 포함된 깊이 특징(예를 들어, 객체의 에지(edge)에 대한 깊이 특징)은 보존하면서 노이즈를 효과적으로 줄이는 것이 중요하다. 예를 들어, 증강 현실(Augmented Reality; AR)을 구현하는데 있어, 실세계 영상과 가상 객체 간의 결합을 위해서는 실세계 영상에 대한 3D 공간 모델링이 필요하다. 이러한 3D 공간 모델링을 위해 깊이 영상(125)이 이용될 수 있는데, 깊이 영상(125)에 존재하는 노이즈가 실세계 영상과 가상 객체 간의 매끄러운 결합을 방해할 수 있다. 한편, 깊이 영상(125)의 보정 과정에서는 객체의 에지와 같은 특징이 되는 부분들이 잘 보존되어야 하는데, 깊이 영상(125)에서 에지와 노이즈를 구별하는 것은 쉽지가 않다.

아래에서 상세히 설명될 것처럼, 깊이 영상 보정 장치(130)는 컬러 영상(115)의 쉐이딩(shading) 정보를 이용함으로써 깊이 영상(125)을 효과적으로 보정할 수 있다. 보정에 의해, 깊이 영상(125)에 포함된 깊이 정보의 정확도가 높아질 수 있다. 쉐이딩 정보는 광원의 조사 방향과 객체 표면의 표면 노멀(surface normal) 간의 벡터 내적에 의해 결정되는 쉐이딩 값에 대한 정보를 나타내고, 표면 노멀은 3차원 객체에서 표면의 법선(normal) 방향 성분을 나타낸다. 깊이 영상 보정 장치(130)는 컬러 영상(115)에 나타난 표면 노멀의 분포 특징을 이용하여 깊이 영상(125)에서 노이즈 영역과 에지 영역을 구별하고, 노이즈 영역과 에지 영역에 서로 다른 특성의 필터를 적용함으로써 깊이 영상(125)의 보정에서 에지 특징은 잘 보존하면서 노이즈를 효과적으로 줄일 수 있다.

객체의 어느 점에서 보여지는 컬러는 객체의 형태와 재질(material), 광원 및 시점(viewpoint) 등과 같은 다양한 요소들에 영향을 받는다. 이러한 객체의 컬러 정보를 포함하는 컬러 영상(115)은 알베도(albedo) 성분(또는 반사(reflectance) 성분)과 쉐이딩 성분으로 나뉠 수 있다. 알베도 성분은 객체의 형태와 재질에 의해 결정되는 객체 고유의 컬러 성분 내지 재질 특성으로서, 광원 및 시점과는 무관하다. 쉐이딩 성분은 광원에서 조사된 광이 객체의 표면 노멀과 반응하여 나타나는 조명 특성 값을 나타낸다. 쉐이딩 성분의 변화를 통해 객체 표면의 표면 노멀의 변화가 추정될 수 있고, 표면 노멀의 변화로부터 깊이 영상(125) 내 특정 영역이 노이즈 영역인지 아니면 객체의 에지 영역인지가 추정될 수 있다. 깊이 영상 보정 장치(130)는 이와 같은 쉐이딩 성분 기반의 표면 노멀 분석을 통해 깊이 영상(125)에서 노이즈를 제거한다.

일 실시예에서, 보정된 깊이 영상은 스크린 상에 디스플레이되거나 저장소에 저장될 수 있다. 또는, 보정된 깊이 영상은 다른 컴퓨팅 디바이스로 전송될 수도 있다. 보정된 깊이 영상은 퍼스널 컴퓨터, 랩탑, 노트북, 넷북 또는 태블릿, 휴대 정보 단말기(personal digital assistant; PDA), 네비게이션, 가정용 전자기기(home appliance), 영상 처리 장치, 스마트폰, 3D TV 또는 DID(Digital Information Display) 등의 장치에서 3D 사용자 인터페이스(User Interface; UI), 3D 콘텐츠, 가상 현실(Virtual Reality; VR) 또는 증강 현실을 구현하는데 이용될 수 있다.

이하, 도면들을 참조하여 깊이 영상 보정 장치(130)가 깊이 영상(125)을 보정하는 방법에 대해 상세히 설명하도록 한다.

도 2는 일 실시예에 따른 깊이 영상 보정 방법의 동작을 설명하기 위한 흐름도이다.

깊이 영상 보정 방법은 도 1의 깊이 영상 보정 장치(또는 도 10의 깊이 영상 보정 장치)에 의해 수행될 수 있다. 도 2를 참조하면, 단계(210)에서 깊이 영상 보정 장치는 컬러 영상으로부터 컬러 픽셀들의 쉐이딩 정보를 추출한다. 쉐이딩 정보는 객체 표면의 표면 노멀 성분을 나타내는 표면 노멀 정보를 포함한다.

일 실시예에서, 컬러 영상에 포함된 각 컬러 픽셀의 컬러는 객체 고유의 컬러인 알베도 성분과 쉐이딩 성분 간의 곱으로 나타낼 수 있다. 컬러 공간에서 알베도 성분은 급격하게 변하고 쉐이딩 성분은 상대적으로 부드럽게(smoothly) 변하는 성질을 이용하여 컬러 영상에서 알베도 성분과 쉐이딩 성분이 분리될 수 있다. 예를 들어, 인접한 컬러 픽셀들 사이에서 컬러가 변하는 경우, 알베도 성분은 불연속성을 나타내나 쉐이딩 성분은 연속성을 나타낼 수 있다. 이러한 특성을 이용하여 컬러 영상으로부터 알베도 성분과 쉐이딩 성분이 추출될 수 있다. 쉐이딩 성분은 광원의 조사 방향과 객체 표면의 표면 노멀 간의 벡터 내적에 의해 결정될 수 있다. 광원의 조사 방향을 알거나 컬러 영상의 전체 영역에서 광원의 조사 방향이 일정하다고 가정하면, 쉐이딩 성분의 변화를 통해 표면 노멀 성분의 변화가 추정될 수 있다.

단계(220)에서, 깊이 영상 보정 장치는 컬러 영상에 대응하는 깊이 영상을 보정한다. 깊이 영상의 보정 과정은 깊이 값의 필터링을 통해 깊이 영상에서 객체의 에지 특징은 최대한 유지하면서 노이즈를 줄이는 과정을 포함한다. 필터링은 주변 깊이 픽셀의 깊이 정보에 기초하여 수행될 수도 있고, 이전 시간의 깊이 영상에 포함된 깊이 정보에 기초하여 수행될 수도 있다.

일 실시예에서, 깊이 영상 보정 장치는 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 깊이 영상에서 영역별로 표면 노멀을 분석하고, 분석 결과에 기초하여 깊이 영상에 포함된 노이즈를 줄일 수 있다. 깊이 영상 보정 장치는 표면 노멀 정보(또는 쉐이딩 정보)의 그레디언트(gradient)에 기초하여 현재 깊이 픽셀이 속한 영역의 타입을 결정할 수 있다.

예를 들어, 깊이 영상 보정 장치는 현재 컬러 픽셀과 현재 컬러 픽셀에 인접한 컬러 픽셀들 간에 표면 노멀 정보의 그레디언트가 0이거나 거의 0에 가까우면, 현재 컬러 픽셀에 대응하는 현재 깊이 픽셀이 객체의 편평한 표면 영역에 존재하는 것으로 결정할 수 있다. 만약, 해당 그레디언트가 컬러 픽셀들 간에 서서히 변하면, 현재 깊이 픽셀이 객체의 곡면의 표면 영역에 존재하는 것으로 결정될 수 있다. 한편, 컬러 픽셀들 간에 그레디언트가 거의 0에 가깝거나 서서히 변하는데, 현재 깊이 픽셀의 깊이 값이 주변 깊이 픽셀의 깊이 값과 차이가 크다면, 현재 깊이 픽셀이 노이즈 영역에 존재하는 것으로 결정될 수 있다. 또한, 현재 깊이 픽셀의 위치에서 그레디언트의 불연속성이 나타나면 현재 깊이 픽셀이 객체의 에지 영역에 존재하는 것으로 결정될 수 있다.

깊이 영상 보정 장치는 위 결정된 영역의 타입에 대응하는 필터를 현재 깊이 픽셀에 적용하여 현재 깊이 픽셀의 깊이 값을 조정할 수 있다. 필터는 현재 깊이 픽셀의 주변 깊이 픽셀의 깊이 값에 기초하여 현재 깊이 픽셀의 깊이 값을 조정하는데 이용될 수 있다. 영역의 타입에 따라, 현재 깊이 픽셀에 적용되는 필터의 특성이 다를 수 있다. 이와 같이, 주변 깊이 픽셀의 깊이 값을 이용하여 현재 깊이 픽셀의 깊이 값을 조정하는 것을 공간적 필터링(spatial filtering)이라고 지칭한다. 본 실시예에 대해서는 도 3에서 후술하도록 한다.

다른 실시예에서, 깊이 영상 보정 장치는 이전 시간의 깊이 정보에 기초하여 현재 시간의 깊이 영상을 보정할지 여부를 결정할 수 있다. 깊이 영상 보정 장치는 시간에 따른 컬러 영상의 변화에 기초하여 영역별로 시간의 흐름에 따른 변화가 있는지 여부를 결정할 수 있다. 예를 들어, 깊이 영상 보정 장치는 제1 시간의 깊이 영상에 대응하는 컬러 영상과 제2 시간의 깊이 영상에 대응하는 컬러 영상 간의 차이가 미리 설정된 조건을 만족시키는 경우, 깊이 영상 보정 장치는 제1 시간의 깊이 영상의 깊이 정보에 기초하여 제2 시간의 깊이 영상을 보정할 수 있다. 이와 같이 이전 시간의 깊이 정보를 이용하여 현재 시간의 깊이 영상을 보정하는 것을 시간적 필터링(temporal filtering)이라고 지칭한다.

시간적 필터링은 깊이 영상의 영역별로 수행될 수 있다. 예를 들어, 깊이 영상의 제1 영역에서는 시간에 따른 컬러 영상의 변화가 없는데, 깊이 영상의 제2 영역에서는 객체의 움직임에 따른 컬러 영상의 변화가 존재할 수 있다. 이 경우, 제1 영역에 포함된 깊이 픽셀에는 시간적 필터링이 수행되나, 제2 영역에 포함된 깊이 픽셀에는 시간적 필터링이 수행되지 않을 수 있다. 또한, 깊이 영상에 시간적 필터링과 공간적 필터링이 모두 적용될 수도 있다. 예를 들어, 위 제2 영역에는 시간적 필터링 대신 공간적 필터링이 적용될 수 있고, 제1 영역에는 시간적 필터링뿐만 아니라 공간적 필터링이 모두 수행될 수 있다.

위와 같은 보정 과정을 통해 깊이 영상에 포함된 깊이 정보가 보다 정확한 값으로 보정될 수 있다.

도 3은 일 실시예에 따른 표면 노멀 정보에 기초하여 깊이 영상을 보정하는 과정을 설명하기 위한 흐름도이다.

도 3을 참조하면, 단계(310)에서 깊이 영상 보정 장치는 표면 노멀 정보에 기초하여 깊이 영상에 포함된 깊이 픽셀이 속한 영역의 타입을 결정할 수 있다. 깊이 영상 보정 장치는 현재 깊이 픽셀과 인접 깊이 픽셀들의 위치에 대응하는 표면 노멀 값의 변화에 기초하여 현재 깊이 픽셀이 어느 영역(예를 들어 객체의 표면 영역, 객체의 에지 영역 또는 노이즈 영역)에 속하는지를 결정할 수 있다. 도 2에서 설명한 것과 유사하게, 예를 들어, 표면 노멀 값이 일정하거나 서서히 변한다면, 현재 깊이 픽셀이 객체의 표면 영역(평면 또는 곡면)에 위치하는 것으로 결정할 수 있고, 표면 노멀 값이 일정하다가 현재 깊이 픽셀의 위치에서 불연성이 나타난다면 현재 깊이 픽셀이 객체의 에지 영역에 위치하는 것으로 결정할 수 있다. 한편, 표면 노멀 값에 기초할 때, 현재 깊이 픽셀이 객체의 에지 영역에 위치하는 것이 아닌데 인접한 깊이 픽셀과의 깊이 값 차이가 크다면, 현재 깊이 픽셀은 노이즈 영역에 위치하는 것으로 결정될 수 있다.

단계(320)에서, 깊이 영상 보정 장치는 필터를 깊이 픽셀에 적용하여 깊이 픽셀의 깊이 값을 조정한다. 깊이 영상 보정 장치는 현재 깊이 픽셀에 속한 영역의 타입에 대응하는 필터를 이용하여 적응적인 필터링을 수행할 수 있다. 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 현재 깊이 픽셀에 적용되는 필터의 특성(예를 들어, 필터의 크기 및/또는 필터의 계수)이 결정될 수 있다.

일 실시예에서, 표면 노멀의 변화 정도에 따라 필터의 크기가 다른 필터가 현재 깊이 픽셀에 적용될 수 있다. 표면 노멀의 변화가 없거나 작은 영역의 깊이 픽셀에는 큰 크기의 필터가 적용되고, 표면 노멀의 변화가 크거나 불연속성이 나타난 깊이 픽셀에는 작은 크기의 필터가 적용될 수 있다. 예를 들어, 노이즈 영역 또는 객체의 표면 영역의 깊이 픽셀에 적용되는 필터의 크기는 객체의 에지 영역의 깊이 픽셀에 적용되는 필터의 크기보다 클 수 있다.

다른 실시예에서, 노이즈 영역 또는 객체의 표면 영역의 현재 깊이 픽셀에 적용되는 필터와 객체의 에지 영역의 현재 깊이 픽셀에 적용되는 필터에서, 현재 깊이 픽셀의 주변 깊이 픽셀에 적용되는 필터 계수는 서로 다를 수 있다. 필터 계수는 현재 깊이 픽셀의 깊이 값을 조정하는데 있어 주변 깊이 픽셀의 깊이 값에 적용되는 가중치에 대응한다. 일 실시예에서, 주변 깊이 픽셀에 적용되는 필터 계수가 클수록 현재 깊이 픽셀의 깊이 값을 결정하는데 있어 해당 주변 깊이 픽셀의 깊이 값의 영향이 커질 수 있다. 예를 들어, 객체의 에지 영역의 현재 깊이 픽셀에 적용되는 필터에서 주변 깊이 픽셀에 적용되는 필터 계수는 노이즈 영역 또는 객체의 표면 영역의 현재 깊이 픽셀에 적용되는 필터에서 주변 깊이 픽셀에 적용되는 필터 계수보다 작을 수 있다.

위와 같은 적응적인 필터링을 통해 깊이 영상에서 객체의 에지 영역에 대한 특징은 최대한 유지하면서 노이즈는 주변 깊이 픽셀의 깊이 값을 이용하여 효과적으로 제거할 수 있다.

단계(330)에서, 깊이 영상 보정 장치는 현재 깊이 픽셀이 깊이 영상의 마지막 깊이 픽셀인지 여부를 판단한다. 현재 깊이 픽셀이 마지막 깊이 픽셀이면, 도 3에 도시된 과정은 종료된다. 현재 깊이 픽셀이 마지막 깊이 픽셀이 아니고, 처리될 다른 깊이 픽셀이 남아 있으면 다음 깊이 픽셀에 대해 단계(310) 및 단계(320)의 과정이 수행될 수 있다. 깊이 영상 보정 장치는 깊이 영상에 포함된 각 깊이 픽셀에 대해 단계(310) 및 단계(320)의 과정을 수행하여 깊이 영상을 보정한다.

도 4는 일 실시예에 따른 깊이 영상을 보정하는 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 깊이 영상 보정 장치는 컬러 영상(410)으로부터 쉐이딩 정보를 추출(420)하고, 쉐이딩 정보로부터 객체 표면의 표면 노멀 정보를 추정한다. 깊이 영상 보정 장치는 표면 노멀 정보에 기초하여 컬러 영상(410)에서 영역별 표면 노멀 분포를 분석(430)한다. 깊이 영상 보정 장치는 컬러 영상(410) 내에서 각 영역별로 표면 노멀이 어떻게 변화하는지를 판단할 수 있다. 깊이 영상 보정 장치는 표면 노멀에 기반하여 컬러 영상(410)에 대응하는 깊이 영상(415)에서 노이즈를 제거(440)할 수 있다. 깊이 영상 보정 장치는 표면 노멀의 변화에 기초하여 깊이 영상(415)의 깊이 픽셀이 에지 영역, 객체의 표면 영역 또는 노이즈 영역에 위치하는지를 결정하고, 위치하는 영역에 따른 필터를 해당 깊이 픽셀에 적용하여 노이즈 성분을 줄일 수 있다. 이와 같은 과정을 깊이 영상(415)의 각 깊이 픽셀에 수행하면 보정된 깊이 영상(450)이 획득될 수 있다.

깊이 픽셀이 속하는 영역에 따른 적응적인 필터링이 아닌, 주변 깊이 픽셀들의 깊이 값의 평균 값으로 현재 깊이 픽셀의 깊이 값을 대체하는 경우, 노이즈 성분과 객체의 에지 성분이 모두 약해지는 문제가 있다. 또한, 깊이 값만으로는 노이즈 성분과 에지 성분을 구별하는 것이 쉽지가 않다. 그러나, 깊이 영상 보정 장치는 깊이 픽셀이 속한 영역의 속성을 구별하고, 영역의 속성에 적합한 필터를 이용하는 것에 의해 깊이 영상(4150)의 에지 성분을 보존하면서 깊이 영상(415)에 포함된 노이즈 성분을 제거할 수 있다.

도 5는 일 실시예에 따른 깊이 영상을 보정하는 과정의 일례를 설명하기 위한 도면이다.

도 5를 참조하면, 깊이 영상 보정 장치는 컬러 영상(510)으로부터 알베도 성분(520)과 쉐이딩 성분(530)을 추출할 수 있다. 알베도 성분(520)은 객체의 고유의 컬러 성분을 나타내고, 쉐이딩 성분(530)은 객체의 표면 노멀 변화에 의한 조명 값의 변화를 나타낸다. 깊이 영상 보정 장치는 쉐이딩 성분(530)에 기초하여 표면 노멀의 변화를 추정할 수 있다. 쉐이딩 값의 변화는 표면 노멀 값의 변화에 대응한다. 깊이 영상 보정 장치는 표면 노멀 값의 변화에 기초하여 깊이 영상(540)에서 각 깊이 픽셀들이 속하는 영역의 타입을 결정하고, 결정된 타입에 대응하는 필터를 이용하여 깊이 영상(540)을 보정할 수 있다.

깊이 영상(540)에서, 영역(544)은 쉐이딩 성분(530)의 변화가 적은 영역으로서, 영역(544)의 타입은 객체의 표면 영역인 것으로 결정될 수 있다. 깊이 영상 보정 장치는 영역(544)에 포함된 깊이 픽셀들에 대해서는 깊이 값 분포의 특징보다는 노이즈를 최소화하기 위한 필터를 적용할 수 있다. 예를 들어, 깊이 영상 보정 장치는 영역(544)에 포함된 깊이 픽셀들에 크기가 큰 필터 또는 주변 깊이 픽셀들의 깊이 값을 많이 반영하여 필터링을 수행하는 필터를 적용할 수 있다. 필터의 크기가 커질수록 현재 깊이 픽셀의 깊이 값을 조정하는데 이용되는 주변 깊이 픽셀들의 개수가 증가한다. 한편, 영역(542)은 쉐이딩 성분(530)이 급격하게 변하는 영역으로서, 영역(542)의 타입은 객체의 에지 영역인 것으로 결정될 수 있다. 깊이 영상 보정 장치는 영역(542)에 포함된 깊이 픽셀들의 깊이 특징(에지 특징)을 최대한 보존하기 위해, 영역(542)의 깊이 픽셀들에 크기가 작은 필터 또는 주변 깊이 픽셀들의 깊이 값을 적게 반영하여 필터링을 수행하는 필터를 적용할 수 있다.

위와 같은 깊이 픽셀의 보정 과정을 깊이 영상(540)의 각 깊이 픽셀에 대해 수행하면 보정된 깊이 영상(550)이 획득될 수 있다.

도 6a 및 도 6b는 일 실시예에 따른 쉐이딩 정보에 기초하여 깊이 픽셀이 속하는 영역의 타입을 결정하는 일례들을 설명하기 위한 도면들이다.

도 6a를 참조하면, 도면부호(610)는 위치 (x, y)에 따른 깊이 픽셀들의 깊이 값을 나타내고, 도면부호(630)는 위치 (x, y)에 따른 쉐이딩 값의 변화를 나타낸다. 쉐이딩 값의 변화는 객체의 표면 노멀의 변화를 반영한다. 예를 들어, 일 영역의 쉐이딩 값이 일정하면 해당 영역은 객체의 표면인 것으로 추정될 수 있고, 쉐이딩 값이 일정하다가 불연속(discontinuity)이 발생하면 이는 표면 노멀의 급격한 변화가 존재한다는 것을 나타내는 것으로, 해당 영역은 객체의 에지 영역인 것으로 추정될 수 있다. 또한, 쉐이딩 값이 서서히 변하면(증가 또는 감소하면), 해당 영역은 객체의 곡면인 것으로 추정될 수 있다.

도 6a에서, 깊이 픽셀(622)에 대응하는 영역의 쉐이딩 값은 위치에 따라 일정하므로, 깊이 픽셀(622)은 객체의 표면 영역에 위치하는 것으로 추정될 수 있다. 그러나, 깊이 픽셀(622)의 깊이 값은 주변 깊이 픽셀들의 깊이 값과 상대적으로 차이가 크기 때문에, 깊이 픽셀(622)의 깊이 값은 노이즈 성분인 것임을 알 수 있다. 깊이 영상 보정 장치는 노이즈 성분으로 결정된 깊이 픽셀(622)의 깊이 값에 대해서는 주변 깊이 픽셀들의 가중치를 높게 설정한 필터를 적용함으로써 노이즈 성분을 필터링할 수 있다. 또는, 깊이 영상 보정 장치는 깊이 픽셀(622)의 깊이 값에 크기가 큰 필터를 적용할 수 있다.

깊이 픽셀(624)의 경우, 깊이 픽셀(624)에 대응하는 위치에서 쉐이딩 값의 불연속이 발생하였으므로, 깊이 픽셀(624)은 객체의 에지 영역에 위치하는 것으로 추정될 수 있다. 깊이 영상 보정 장치는 깊이 픽셀(624)의 깊이 값에 대해서는 주변 깊이 픽셀들의 가중치를 낮게 설정한 필터를 적용함으로써 에지 성분을 보존할 수 있다. 또는, 깊이 영상 보정 장치는 깊이 픽셀(624)에 크기가 작은 필터를 적용할 수 있다.

도 6b를 참조하면, 도면부호(640)는 위치 (x, y)에 따른 깊이 픽셀들의 깊이 값을 나타내고, 도면부호(660)는 위치 (x, y)에 따른 쉐이딩 값의 변화를 나타낸다. 일 실시예에서, 깊이 영상 보정 장치는 윈도우(window) 영역(650) 기반으로 깊이 영상을 보정할 수 있다. 윈도우 영역(650)은 깊이 영상의 보정에 있어 기준이 되는 영역 단위이다. 윈도우 영역(650)의 크기 및 형태는 다양할 수 있다. 깊이 영상 보정 장치는 윈도우 영역(650)별로 표면 노멀 정보와 깊이 정보 간의 상관 관계를 분석하여 깊이 영상의 노이즈를 제거할 수 있다.

도면부호(640)에서와 같이, 윈도우 영역(650)에는 노이즈 성분과 에지 성분이 모두 나타날 수 있다. 이 경우, 깊이 영상 보정 장치는 윈도우 영역(650) 내의 표면 노멀의 전역적인 분포 특징에 기초하여 윈도우 영역(650)에 포함된 깊이 픽셀들의 깊이 정보 중 노이즈 성분과 에지 성분을 효과적으로 분리할 수 있다. 도면부호(660)에서, A와 C, B와 D는 각각 서로 동일한 쉐이딩 값을 가지므로 A와 C, B와 D는 각각 서로 동일한 표면 노멀 값을 가지는 것으로 추정될 수 있다. 따라서, A에 대응되는 깊이 픽셀들의 깊이 값 분포는 C에 대응되는 깊이 픽셀들의 깊이 값 분포와 유사하고, B에 대응되는 깊이 픽셀들의 깊이 값 분포는 D에 대응되는 깊이 픽셀들의 깊이 값 분포와 유사할 것으로 추정될 수 있다. 이러한 추정에 기초하여 윈도우 영역(650) 내 깊이 픽셀들에서 노이즈 성분과 에지 성분을 용이하게 분리할 수 있다.

도 7a 및 도 7b는 일 실시예에 따른 필터를 이용하여 깊이 픽셀의 깊이 값을 조정하는 일례들을 설명하기 위한 도면들이다.

도 7a를 참조하면, 깊이 영상(710)은 복수의 깊이 픽셀(720)들을 포함한다. 컬러 영상으로부터 추출된 쉐이딩 정보에 기초하여 컬러 영상에서의 표면 노멀의 변화가 추정될 수 있고, 표면 노멀의 변화에 기초하여 현재 깊이 픽셀(722)이 속하는 영역의 타입이 결정될 수 있다. 깊이 영상 보정 장치는 현재 깊이 픽셀(722)이 속하는 영역의 타입에 따라 서로 다른 크기의 필터를 현재 깊이 픽셀(722)에 적용할 수 있다. 일 실시예에서, 깊이 영상 보정 장치는 현재 깊이 픽셀(722)이 객체의 에지 영역, 객체의 표면 영역 또는 노이즈 영역에 속하는지 여부에 따라 3

3(깊이 픽셀 단위) 크기의 필터(732), 5

5 크기의 필터(734) 또는 7

7 크기의 필터(736)를 현재 깊이 픽셀(722)에 적용할 수 있다.

다른 실시예에서, 현재 깊이 픽셀(722)이 속하는 영역의 타입에 따라 필터 계수에 대한 감소율도 다르게 결정될 수 있다. 필터 계수에 대한 감소율에 따라 필터의 중심에서 주변으로 갈수록 필터 계수는 감소될 수 있다. 예를 들어, 현재 깊이 픽셀(722)이 에지 영역에 속하는 경우, 현재 깊이 픽셀(722)에 적용되는 필터의 필터 계수에 대한 감소율은 다른 영역에 적용되는 감소율에 비해 상대적으로 클 수 있다. 이에 따라, 현재 깊이 픽셀(722)의 보정된 깊이 값은 주변 깊이 픽셀들의 깊이 값에 영향을 적게 받을 수 있다. 한편, 현재 깊이 픽셀(722)이 노이즈 영역에 속하는 경우, 필터 계수에 대한 감소율은 다른 영역에 적용되는 감소율에 비해 상대적으로 작을 수 있다. 이에 따라, 현재 깊이 픽셀(722)의 보정된 깊이 값은 주변 깊이 픽셀들의 깊이 값에 영향을 많이 받을 수 있다.

도 7b는 일 실시예에 따른 필터에 기초하여 깊이 픽셀의 깊이 값이 조정되는 일례를 설명하기 위한 도면이다. 필터는 주변 깊이 픽셀의 깊이 값을 이용하여 현재 깊이 픽셀의 깊이 값을 조정하는데 이용될 수 있다. 도면부호(740)는 현재 깊이 픽셀에 적용되는 필터를 나타내고, 도면부호(742)는 필터가 적용될 영역(현재 깊이 픽셀을 중심으로 하는 영역)의 깊이 정보를 나타낸다. 필터는 현재 깊이 픽셀의 깊이 값 e에 적용된다. 도면부호(744)는 필터에 의해 조정된 현재 깊이 픽셀의 깊이 값 e'를 나타낸다.

예를 들어, 필터에 의해 조정된 현재 깊이 픽셀의 깊이 값 e'는 다음의 수학식 1에 따라 결정될 수 있다.

여기서, A, B, C, D, E, F, G, H 및 I는 필터를 구성하는 필터 계수를 나타내고, a, b, c, d, f, g, h 및 i는 현재 깊이 픽셀의 주변 깊이 픽셀들의 깊이 값들을 나타낸다. 수학식 1에 따르면, 필터링은 필터가 적용될 영역의 깊이 정보에 기초하여 수행될 수 있다.

도 8은 일 실시예에 따른 피드백을 이용하여 쉐이딩 정보를 추출하는 과정을 설명하기 위한 흐름도이다.

도 8을 참조하면, 깊이 영상 보정 장치는 상술한 과정에 따라 컬러 영상에서 쉐이딩 정보를 추출(810)하고, 추출한 쉐이딩 정보에 포함된 객체의 표면 노멀 정보에 기초하여 깊이 영상을 보정(820)한다. 깊이 영상 보정 장치는 보정된 깊이 영상의 깊이 정보를 이용하여 컬러 영상에서 쉐이딩 정보를 보다 정확하게 추출할 수 있다. 깊이 영상 보정 장치는 보정된 깊이 영상의 깊이 값 분포에 기초하여 윈도우 영역 내에서 객체의 표면에 해당하는 영역을 추정할 수 있다. 깊이 영상 보정 장치는 표면에 해당하는 영역에 대해서는 쉐이딩 성분의 가중치를 높이고, 알베도 성분의 가중치를 낮추는 것에 의해 보다 정확한 쉐이딩 정보를 획득할 수 있다.

객체의 표면 영역에서는 쉐이딩 값의 변화가 크지 않으므로, 객체의 표면인 것으로 추정된 영역에서의 쉐이딩 값의 변화는 알베도 성분의 영향에 의한 것일 수 있다. 보정된 깊이 영상의 깊이 값 분포를 통해 객체의 표면 영역을 식별할 수 있고, 객체의 표면 영역에 대해서는 알베도 성분보다는 쉐이딩 성분의 가중치를 높게 설정할 수 있다. 쉐이딩 성분과 알베도 성분 간의 곱은 정해져 있으므로, 쉐이딩 성분의 가중치를 높게 설정함으로써 쉐이딩 정보에서 객체의 표면 영역에 나타나는 알베도 성분의 영향을 줄일 수 있고, 이에 따라 보다 정확한 쉐이딩 정보가 획득될 수 있다.

도 9는 다른 실시예에 따른 깊이 영상 보정 방법의 동작을 설명하기 위한 흐름도이다.

도 9를 참조하면, 단계(910)에서 깊이 영상 보정 장치는 컬러 영상에서 쉐이딩 정보 및 알베도 정보를 추출한다. 도 2의 단계(220)에서 설명한 바와 같이, 깊이 영상 보정 장치는 컬러 영상으로부터 쉐이딩 성분을 추출할 수 있는데, 쉐이딩 성분을 제외한 나머지 성분이 알베도 성분이 된다. 쉐이딩 정보는 객체 표면의 표면 노멀 정보를 포함한다.

단계(920)에서, 깊이 영상 보정 장치는 표면 노멀 정보(또는 쉐이딩 정보)에 기초한 제1 가중치, 알베도 정보에 기초한 제2 가중치 및 이전 시간의 컬러 영상과 현재 시간의 컬러 영상 간의 차이에 기초한 제3 가중치에 기초하여 깊이 영상을 보정할 수 있다. 일 실시예에서, 제1 가중치, 제2 가중치 및 제3 가중치 중 어느 것이 최적인지를 결정하기 위해 국소 회귀 분석(local regression analysis)이 이용될 수 있다.

깊이 영상 보정 장치는 깊이 영상의 영역별로 결정된 가중치에 따라 서로 다른 방식으로 깊이 픽셀의 깊이 값을 보정할 수 있다. 예를 들어, 쉐이딩 성분이 비교적 정확하게 분리되어 표면 노멀의 분포를 용이하게 식별할 수 있는 영역에서는 제1 가중치가 높게 나타날 수 있다. 이 경우, 깊이 영상 보정 장치는 해당 영역에 포함된 깊이 픽셀들에 대해서는 상술한 내용에 따라 표먼 노멀의 변화에 기초하여 현재 깊이 픽셀이 속한 영역의 타입(예를 들어, 객체의 에지 영역, 표면 영역 또는 노이즈 영역)을 결정하고, 결정된 영역의 타입에 따라 서로 다른 특성의 필터를 현재 깊이 픽셀에 적용할 수 있다.

쉐이딩 성분이 정확하게 분리되지 않았으나 알베도 성분이 일정한 영역에서는 제2 가중치가 높게 나타날 수 있다. 이 경우, 깊이 영상 보정 장치는 해당 영역에 포함된 깊이 픽셀들에 대해서는 알베도 정보에 기초하여 현재 깊이 픽셀이 속한 영역의 타입(예를 들어, 객체의 에지 영역, 표면 영역 또는 노이즈 영역)을 결정하고, 결정된 영역의 타입에 따라 서로 다른 특성의 필터를 현재 깊이 픽셀에 적용할 수 있다.

한편, 이전 시간의 컬러 영상과 현재 시간의 컬러 영상 간에 변화가 없거나 거의 없는 영역에서는 제3 가중치가 높게 나타날 수 있다. 이 경우, 깊이 영상 보정 장치는 해당 영역에 포함된 깊이 픽셀들에 대해서는 이전 시간의 깊이 영상의 깊이 정보에 기초하여 깊이 값을 조정할 수 있다.

도 10은 일 실시예에 따른 깊이 영상 보정 장치의 구성을 도시하는 도면이다.

도 10을 참조하면, 깊이 영상 보정 장치는 센서(1010), 프로세서(1020) 및 메모리(1030)를 포함한다. 센서(1010), 프로세서(1020) 및 메모리(1030)는 통신 버스(1040; bus)를 통해 서로 통신할 수 있다. 실시예에 따라, 센서(1010)는 깊이 영상 보정 장치의 외부에 존재할 수 있고, 깊이 영상 보정 장치는 센서(1010)로부터 영상 정보를 수신할 수 있다.

센서(1010)는 컬러 영상을 획득하기 위한 영상 센서와 깊이 영상을 획득하기 위한 깊이 센서를 포함할 수 있다. 깊이 영상 보정 장치는 영상 센서와 깊이 센서를 모두 구비할 수도 있고, 실시예에 따라 스테레오 영상을 촬영하는 스테레오 카메라의 영상 센서만을 구비할 수도 있다. 스테레오 카메라를 통해 촬영된 스테레오 영상으로부터 컬러 영상과 (스테레오 매칭을 통해) 깊이 영상이 획득될 수 있다. 센서(1010)는 획득된 컬러 영상 및 깊이 영상을 프로세서(1020) 및 메모리(1030) 중 하나 이상에 전달할 수 있다.

프로세서(1020)는 깊이 영상 보정 장치를 제어하고, 상술한 깊이 영상의 보정에 관한 하나 이상의 동작을 처리한다. 일 실시예에서, 프로세서(1020)는 컬러 영상에서 컬러 픽셀들의 쉐이딩 정보를 추출하고, 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 컬러 영상에 대응하는 깊이 영상을 보정한다. 예를 들어, 프로세서(1020)는 깊이 영상에 포함된 현대 깊이 픽셀에 필터를 적용하여 현재 깊이 픽셀의 깊이 값을 조정할 수 있다. 이 때, 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 현재 깊이 픽셀에 적용되는 필터의 특성이 결정될 수 있다. 프로세서(1020)는 표면 노멀 정보에 기초하여 현재 깊이 픽셀이 속한 영역의 타입을 결정하고, 결정된 타입에 대응하는 필터를 현재 깊이 픽셀에 적용하여 현재 깊이 픽셀의 깊이 값을 조정할 수 있다.

다른 실시예에서, 프로세서(1020)는 컬러 영상으로부터 컬러 픽셀들의 표면 노멀 정보와 알베도 정보를 추출하고, 표면 노멀 정보에 기초한 제1 가중치, 알베도 정보에 기초한 제2 가중치 및 이전 시간의 컬러 영상과 현재 시간의 컬러 영상 간의 차이에 기초한 제3 가중치에 기초하여 깊이 영상을 보정할 수 있다. 프로세서(1020)는 깊이 영상의 영역별로 어느 가중치가 더 높게 나오는지를 결정하고, 높게 나오는 가중치에 따라 서로 다른 방식으로 깊이 픽셀의 깊이 값을 보정할 수 있다. 이에 대해서는 도 9에서 설명된 내용이 참조로서 여기에 포함된다.

이 밖에도, 프로세서(1020)는 도 1 내지 도 9를 통해 전술한 하나 이상의 동작을 수행할 수 있으며, 보다 상세한 설명은 생략한다.

메모리(1030)는 상술한 깊이 영상의 보정 과정에서 이용되는 정보 및 결과 정보를 저장할 수 있다. 또한, 메모리(1030)는 컴퓨터에서 읽을 수 있는 명령어들을 저장할 수 있다. 메모리(1030)에 저장된 명령어들이 프로세서(1020)에서 실행되면, 프로세서(1020)는 상술된 하나 이상의 동작을 처리할 수 있다.

깊이 영상 보정 장치는 입/출력 장치(도면 미표시)를 통하여 사용자 입력을 수신하거나 깊이 영상의 보정 결과 또는 보정된 깊이 영상에 기반한 데이터를 출력할 수 있다. 또한, 깊이 영상 보정 장치는 통신 장치(도면 미표시)를 통해 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 외부 장치와 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

컬러 영상으로부터 컬러 픽셀들의 쉐이딩(shading) 정보를 추출하는 단계; 및
상기 쉐이딩 정보에 포함된 객체의 표면 노멀(surface normal) 정보를 이용하여 상기 컬러 영상에 대응하는 깊이 영상(depth image)을 보정하는 단계
를 포함하고,
상기 깊이 영상을 보정하는 단계는,
상기 컬러 영상에 나타난 표면 노멀의 분포 특징에 기초하여 상기 깊이 영상에서 노이즈 영역과 에지 영역을 구별하는 단계; 및
상기 노이즈 영역과 상기 에지 영역에 서로 다른 특성의 필터를 적용하는 단계
를 포함하는, 깊이 영상 보정 방법.
제1항에 있어서,
상기 깊이 영상을 보정하는 단계는,
상기 깊이 영상에 포함된 현재 깊이 픽셀에 필터를 적용하여 상기 현재 깊이 픽셀의 깊이 값을 조정하는 단계를 포함하고,
상기 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 상기 현재 깊이 픽셀에 적용되는 필터의 상기 특성이 결정되는, 깊이 영상 보정 방법.
제2항에 있어서,
상기 표면 노멀 정보에 기초하여 상기 필터의 크기 및 필터 계수 중 적어도 하나가 결정되는, 깊이 영상 보정 방법.
제2항에 있어서,
상기 깊이 영상을 보정하는 단계는,
상기 표면 노멀 정보에 기초하여 상기 깊이 영상에 포함된 현재 깊이 픽셀이 속한 영역의 타입을 결정하는 단계; 및
상기 결정된 타입에 대응하는 필터를 상기 현재 깊이 픽셀에 적용하는 것에 의해 상기 현재 깊이 픽셀의 깊이 값을 조정하는 단계
를 포함하는 깊이 영상 보정 방법.
제4항에 있어서,
상기 현재 깊이 픽셀의 깊이 값을 조정하는 단계는,
상기 현재 깊이 픽셀의 주변 깊이 픽셀의 깊이 값을 이용하여 상기 현재 깊이 픽셀의 깊이 값을 조정하는, 깊이 영상 보정 방법.
제4항에 있어서,
상기 영역을 결정하는 단계는,
상기 현재 깊이 픽셀의 주변 픽셀들의 표면 노멀 값의 변화에 기초하여 상기 현재 깊이 픽셀이 속한 영역을 결정하는, 깊이 영상 보정 방법.
제4항에 있어서,
상기 영역을 결정하는 단계는,
상기 현재 깊이 픽셀이 노이즈 영역, 객체의 표면 영역 또는 객체의 에지(edge) 영역에 속하는지 여부를 결정하는, 깊이 영상 보정 방법.
제7항에 있어서,
상기 노이즈 영역 또는 상기 객체의 표면 영역의 깊이 픽셀에 적용되는 필터의 크기는 상기 객체의 에지 영역의 깊이 픽셀에 적용되는 필터의 크기보다 큰, 깊이 영상 보정 방법.
제7항에 있어서,
상기 노이즈 영역 또는 상기 객체의 표면 영역의 현재 깊이 픽셀에 적용되는 필터와 상기 객체의 에지 영역의 현재 깊이 픽셀에 적용되는 필터에서, 현재 깊이 픽셀의 주변 깊이 픽셀에 적용되는 필터 계수는 서로 다른 것을 특징으로 하는 깊이 영상 보정 방법.
제1항에 있어서,
제1 시간의 깊이 영상의 깊이 정보에 기초하여 제2 시간의 깊이 영상을 보정할지 여부를 결정하는 단계
를 더 포함하는 깊이 영상 보정 방법.
제10항에 있어서,
상기 제1 시간의 깊이 영상에 대응하는 컬러 영상과 상기 제2 시간의 깊이 영상에 대응하는 컬러 영상 간의 차이가 미리 설정된 조건을 만족시키는 경우, 상기 제1 시간의 깊이 영상의 깊이 정보에 기초하여 제2 시간의 깊이 영상을 보정하는 단계
를 더 포함하는, 깊이 영상 보정 방법.
제1항에 있어서,
상기 쉐이딩 정보를 추출하는 단계는,
상기 보정된 깊이 영상의 깊이 정보를 이용하여 상기 쉐이딩 정보를 추출하는, 깊이 영상 보정 방법.
컬러 영상으로부터 컬러 픽셀들의 쉐이딩(shading) 정보를 추출하는 단계;
상기 쉐이딩 정보에 포함된 객체의 표면 노멀(surface normal) 정보를 이용하여 상기 컬러 영상에 대응하는 깊이 영상(depth image)을 보정하는 단계; 및
상기 컬러 영상으로부터 컬러 픽셀들의 알베도 정보를 추출하는 단계
를 포함하고,
상기 깊이 영상을 보정하는 단계는,
상기 표면 노멀 정보에 기초한 제1 가중치, 상기 알베도 정보에 기초한 제2 가중치 및 이전 시간의 컬러 영상과 현재 시간의 컬러 영상 간의 차이에 기초한 제3 가중치에 기초하여 상기 깊이 영상을 보정하는, 깊이 영상 보정 방법.
제1항에 있어서,
상기 쉐이딩 정보는,
광원의 조사 방향과 객체 표면의 표면 노멀 간의 벡터 내적에 의해 결정되는, 깊이 영상 보정 방법.
제1항 내지 제14항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
프로세서를 포함하고,
상기 프로세서는,
컬러 영상으로부터 컬러 픽셀들의 쉐이딩 정보를 추출하고,
상기 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 상기 컬러 영상에 대응하는 깊이 영상을 보정하고,
상기 깊이 영상을 보정함에 있어서, 상기 컬러 영상에 나타난 표면 노멀의 분포 특징에 기초하여 상기 깊이 영상에서 노이즈 영역과 에지 영역을 구별하고, 상기 노이즈 영역과 상기 에지 영역에 서로 다른 특성의 필터를 적용하는, 깊이 영상 보정 장치.
제16항에 있어서,
상기 프로세서는,
상기 깊이 영상에 포함된 현재 깊이 픽셀에 필터를 적용하여 상기 현재 깊이 픽셀의 깊이 값을 조정하고,
상기 깊이 영상 내 영역별 표면 노멀 분포에 기초하여 상기 현재 깊이 픽셀에 적용되는 필터의 상기 특성이 결정되는, 깊이 영상 보정 장치.
제16항에 있어서,
상기 프로세서는,
상기 표면 노멀 정보에 기초하여 상기 깊이 영상에 포함된 현재 깊이 픽셀이 속한 영역의 타입을 결정하고, 상기 결정된 타입에 대응하는 필터를 상기 현재 깊이 픽셀에 적용하여 상기 현재 깊이 픽셀의 깊이 값을 조정하는, 깊이 영상 보정 장치.
프로세서를 포함하고,
상기 프로세서는,
컬러 영상으로부터 컬러 픽셀들의 쉐이딩 정보를 추출하고,
상기 쉐이딩 정보에 포함된 객체의 표면 노멀 정보를 이용하여 상기 컬러 영상에 대응하는 깊이 영상을 보정하고,
상기 컬러 영상으로부터 컬러 픽셀들의 알베도 정보를 추출하고,
상기 표면 노멀 정보에 기초한 제1 가중치, 상기 알베도 정보에 기초한 제2 가중치 및 이전 시간의 컬러 영상과 현재 시간의 컬러 영상 간의 차이에 기초한 제3 가중치에 기초하여 상기 깊이 영상을 보정하는, 깊이 영상 보정 장치.