KR20130001635A

KR20130001635A - 깊이 맵 생성 방법 및 장치

Info

Publication number: KR20130001635A
Application number: KR1020110062518A
Authority: KR
Inventors: 우대식; 김종대; 박재범; 전병기; 정원석
Original assignee: 에스케이플래닛 주식회사
Priority date: 2011-06-27
Filing date: 2011-06-27
Publication date: 2013-01-04
Also published as: KR101820456B1

Abstract

본 발명의 일 실시예는 깊이 맵 생성 방법 및 장치에 관한 것이다.
본 발명의 일 실시예는 입력된 2D 영상 데이터를 분석하여 분류하는 전처리부; 및 상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환부를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치를 제공한다.
본 발명의 일 실시예에 의하면, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 제공할 수 있는 효과가 있다.

Description

깊이 맵 생성 방법 및 장치{Method And Apparatus for Generating Depth MAP}

본 발명의 일 실시예는 깊이 맵 생성 방법 및 장치에 관한 것이다. 더욱 상세하게는, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 적용한 3D 영상 데이터를 제공하고자 하는 깊이 맵 생성 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

디지털 기술이 고도로 발전하고, 방송과 통신의 융합으로 방송 매체가 다양해짐에 따라 디지털 기술의 특성을 이용한 방송 관련 부가 서비스들이 새롭게 선보이고 있다. 현재 TV와 같은 영상 서비스의 발전 방향은 고화질과 대화면으로 가고 있으나, 아직까지 2D 영상 컨텐츠만을 제공하기 때문에 현재의 영상 컨텐츠를 통해서 시청자는 입체감을 느낄 수 없다.

이에 따라 점진적으로 입체 영상의 필요성이 대두되고 있는 실정이나 아직까지 입체 영상의 컨텐츠가 많이 부족한 실정이다. 입체 영상 처리기술은 차세대 정보통신 서비스 분야의 핵심 기술로서, 정보산업 사회로의 발달과 더불어 기술개발 경쟁이 치열한 최첨단 기술이다. 이러한 입체 영상 처리기술은 멀티미디어 응용에서 고품질의 영상 서비스를 제공하기 위해 필수적인 요소이며, 오늘날에는 이러한 정보통신 분야뿐만 아니라 방송, 의료, 교육, 군사, 게임 및 가상현실 등 그 응용분야가 매우 다양화되고 있다.

따라서, 2D 영상 컨텐츠를 입체 영상 컨텐츠로 제공하는 기술이 필요한 실정이다. 하지만, 현재의 기술로는 정밀한 입체감을 표현하기 어려운 문제가 있다. 물론, 수동방식으로 정밀한 입체 영상 변환 효과를 제공할 수 있지만, 이러한, 수동방식으로 작업하는 경우, 사람이 시각적인 인지능력을 이용하여 매우 긴 시간에 걸쳐 작업을 수행해야 하는 문제가 있다.

전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 영상의 특징에 따른 변환 알고리즘의 조합을 이용하여 생성된 깊이 맵 정보를 적용하는 깊이 맵 생성 방법 및 장치를 제공하는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 입력된 2D 영상 데이터를 분석하여 분류하는 전처리부; 및 상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환부를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치를 제공한다.

또한, 본 발명의 다른 목적에 의하면, 입력된 2D 영상 데이터를 분석하여 분류하는 전처리 단계; 및 상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환 단계를 포함하는 것을 특징으로 하는 깊이 맵 생성 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 제공할 수 있는 효과가 있다.

또한, 본 발명의 일 실시예에 의하면, 종래의 단일방식의 영상처리 알고리즘을 통해서 깊이 맵을 생성할 때 발생하는 부적절한 오류를 최소화 시키기 위해 영상의 분석 결과와 기 설정된 조건에 따른 적절한 최적의 깊이 맵을 생성할 수 있는 효과가 있다. 또한, 본 발명의 일 실시예에 의하면, 영상의 형태에 따라 영상을 분류하고 각 분류된 영상의 특징에 맞는 최적의 알고리즘의 선정 및 그들의 조합 등을 통해서 최종적으로 생성되는 깊이 맵의 효율성을 높일 수 있는 효과가 있다. 또한, 본 발명의 일 실시예에 의하면, 인간의 인지능력의 효과를 내기 위해서 시각적 특성을 반영하는 영상으로 분류하는 과정을 제공하고, 이러한 분류에 최적의 효과를 내는 영상처리 알고리즘을 적용함으로써 최적의 입체감을 표현할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 깊이 맵 생성 장치를 개략적으로 나타낸 블럭 구성도,
도 2는 본 발명의 일 실시예에 따른 영상 분류를 위한 제 1 조건을 나타낸 표,
도 3은 본 발명의 일 실시예에 따른 변환 알고리즘 조합을 위한 제 2 조건을 나타낸 표,
도 4는 본 발명의 일 실시예에 따른 변환 알고리즘 신뢰도 결정을 위한 제 3 조건을 나타낸 표,
도 5는 본 발명의 일 실시예에 따른 깊이 맵 생성 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따른 깊이 맵을 생성하기 위한 예시도이다.

이하, 본 발명에 따른 일 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명이 기재된 제 1 조건은 2D 영상을 분류하기 위한 조건을 포함한 정보로서, MTD(Modified Time Difference) 조건, 장면(Scence) 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다. 또한, 제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보를 말하며, 제 3 조건은 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함한 정보를 말한다.

도 1은 본 발명의 일 실시예에 따른 깊이 맵 생성 장치를 개략적으로 나타낸 블럭 구성도이다.

본 발명에 기재된 깊이 맵 생성 장치(100)는 2D 영상 데이터를 자동으로 3D 영상 데이터로 변환하는 장치를 말한다.이때, 깊이 맵 생성 장치(100)가 2D 영상 데이터를 3D 영상 데이터로 변환하는 일반적인 과정에 대해 설명하자면, 2D 영상 데이터에서 객체 또는 배경 등을 구분하여 분리하고, 각각의 객체들에 대해서 적절한 깊이 맵을 할당하여 거리감을 준다. 또한, 최종적으로 렌더링 작업을 통해서 좌측 시야용 영상과 우측 시야용 영상에 해당하는 3D 영상 데이터를 생성한다. 이러한 작업은 사용자에 의해 수작업을 통해서 진행될 수도 있지만, 본 발명과 같이 변환 알고리즘을 통해 진행될 수 있다.

한편, 3D 영상 데이터에 대해 설명하자면, 3D 영상 데이터(입체 영상 데이터)의 표현은 기본적으로 인간의 눈과 같이 왼쪽, 오른쪽에서 촬영한 두 개의 영상을 필요로 한다. 즉, 왼쪽, 오른쪽에서 각각 독립적으로 촬영한 두 개의 영상을 인간의 눈에 각각 독립적으로 왼쪽에서 촬영한 영상은 왼쪽 눈에, 오른쪽에서 촬영한 영상은 오른쪽 눈에 보여줌으로써 입체감을 느끼게 된다. 따라서 입체 영상을 촬영하기 위한 방송 카메라는 두 개의 카메라가 붙어있는 형태이거나 두 개의 렌즈부를 구비하고 있다. 이와 같이 입체 영상은 왼쪽 영상과 오른쪽 영상을 필요로 하기 때문에 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 좌, 우에 해당하는 두 개의 영상을 만들어야 한다.

깊이 맵 생성 장치(100)가 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정은 수작업 또는 프로그램에 의한 자동화 작업으로 가능하다. 물론 자동화 작업은 변환 알고리즘을 이용한 방법으로 수작업과 같은 작업이나 인간의 인지능력에 따른 현실적인 작업과정은 어렵지만 영상에 따라 적절한 변환 알고리즘을 통해서 상당히 개선된 결과를 얻을 수 있다. 예를 들어서, 일반적으로 2D 영상에서 3D 영상 생성에 필요한 깊이 맵을 생성하는 과정으로 수동방식의 경우는 사람이 직접 객체를 분리하고 각 개체별로 깊이 맵(값)을 할당하는 방식을 사용한다. 하지만, 자동 방식의 경우는 모션 분석, 주파수 분석, 히스토그램 분석과 같은 통상적인 영상 처리 방식을 사용하게 되는데 이것은 사람의 인지능력과 같이 판단하는 것이 불가능하기 때문에 오류를 발생할 수 있다. 즉, 여러 배경에 있는 객체(사람이나 자동차)를 분리해내는 것은 사람이 수동으로 작업하는 경우 즉각적으로 가능하지만, 프로그램을 통한 자동방식은 객체인 사람이나 자동차를 배경과 분리해 내는 것은 일반적으로는 어렵다. 하지만, 본 발명과 같이 적절한 조건이 주어진다면 이러한 오류를 최소화하며 영상 처리가 가능하다. 즉, 사람이나 자동차의 움직임이 존재한다면 모션 정보를 통해서 움직임이 없는 배경과 분리가 가능하고 또는 거리에 따른 블러(Blur) 현상을 이용하여 통상적으로 선명한 객체가 가까이 있다는 전제하에 가깝고 먼 객체의 구별이 가능하다. 또는 배경의 구조적인 특징들을 이용하여 정밀한 특징들을 표현하는 것은 어렵지만 전체적인 배경에 해당하는 깊이 맵의 생성도 가능하다. 즉, 영상이란 매우 다양한 형태이지만 앞서 설명한 바와 같이 영상의 특징적인 조건들을 분석한다면, 그에 맞는 최적의 변환 알고리즘을 적용시키는 것이 가능하다.

이러한, 깊이 맵 생성 장치(100)는 2D 영상 데이터를 3D 영상 데이터로 변환하기 위해 전처리부(110), 변환부(120) 및 후처리부(130)를 포함한다. 물론, 본 발명의 일 실시예에서는 깊이 맵 생성 장치(100)가 전처리부(110), 변환부(120) 및 후처리부(130)만을 포함하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 깊이 맵 생성 장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.

전처리부(110)의 일반적인 동작에 대해 설명하자면, 전처리부(110)는 영상을 분류하기 위한 동작을 수행하는데, 2D 영상 데이터가 연속적인 프레임의 집합으로 이루어져 있으므로 가능한 유사한 특성을 가지는 프레임 별로 2D 영상 데이터를 그룹화 하여 동일한 변환 알고리즘을 적용할 수 있도록 하는 영상 분류 과정을 수행한다.

전처리부(110)가 수행하는 주요 동작에 대해 설명하자면, 전처리부(110)는 입력된 2D 영상 데이터를 분석하여 분류한다. 이때, 전처리부(110)는 2D 영상 데이터를 분류하기 위해 기 설정된 제 1 조건을 이용한다. 여기서, 제 1 조건에 대해 개략적으로 설명하자면, 제 1 조건은 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다.

제 1 조건에 포함된 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건에 대해 설명하자면, MTD 조건은 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건이고, 장면 검출 조건은 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 조건이고, 영상 특징 부여 조건은 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 조건이다. 예를 들어서, 유사 장면 그룹으로 그룹핑된 영상은 현재 프레임(f(n)), 다음 프레임(f(n+1)) 및 그 다음 프레임(f(n+2)) 등등을 포함하게 되는 것이다.

또한, 전처리부(110)가 MTD 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 전처리부(110)는 MTD 검출 조건을 수행하기 위해, 2D 영상 데이터를 분석하고 2D 영상 데이터에서 수평(Horizontal)으로 이동하는 객체(Object) 또는 카메라의 수평 패닝(Panning)이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑한다. 이때, 전처리부(110)는 MTD 조건을 수행할 때 2D 영상 데이터를 분석하기 위해 모션 벡터 분석(Motion Vector Analysis), 수평 카메라 패닝(Horizontal Camera Panning), 수평 객체 움직임(Horizontal Moving) 중 적어도 하나 이상의 기술을 이용한다.

또한, 전처리부(110)가 장면 검출 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 전처리부(110)는 장면 검출 조건을 수행하기 위해, 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑한다. 이때, 전처리부(110)는 2D 영상 데이터 중 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점(Scene Detection Point)으로 설정한 후 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 장면 전환점으로 인식한다. 이때, 전처리부(110)는 현재 프레임과 다음 프레임을 비교하여 현재 프레임에서 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 판별된 변동 부분이 현재 프레임과 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단한다.

또한, 전처리부(110)가 영상 특징 부여 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여한다. 여기서, 영상 특징 정보는 정적 영상(Static), 동적 영상(Dynamic), 가까운 영상(Close up), 먼 영상(Non Close up), 자연적 영상(Natural) 및 인공적 영상(Artificial) 중 적어도 하나 이상의 정보를 포함한다. 이때, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 정적 영상과 동적 영상 중 어느 하나로 분류한다. 또한, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석(Blur Analysis), 특징점 검출(Saliency Detection), 포커스 분석(Focus Analysis) 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 가까운 영상과 먼 영상 중 어느 하나로 분류한다. 또한, 전처리부(110)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석(Spectrum Analysis), 엣지 변화 정보(Edge), 컬라 히스토그램(Color Histogram) 정보, 알파 블렌딩(Alpha Blending) 알고리즘, 수평 엣지 강조(Horizontal Edge Emphasis) 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 자연적 영상과 인공적 영상 중 어느 하나로 분류한다.

변환부(120)의 일반적인 동작에 대해 설명하자면, 전처리부(110)에 의핸 분류된 영상에 해당하는 최적의 변환 알고리즘을 선택하고, 이를 2D 영상 데이터에 적용한다. 한편, 이러한 변환부(120)는 2D 영상 데이터를 3D 영상 데이터이로 변환하는 과정에서 영상객체추출 (Object Extraction / Segmentation), 영상거리인식 (Depth Map Computation), 영상생성 (Rendering / Occlusion)을 수행한다.

한편, 본 발명의 일 실시예에 따른 변환부(120)의 주요 동작 과정에 대해 설명하자면, 변환부(120)는 전처리부(110)의 의해 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성한다. 이때 변환부(120)는 전처리부(110)를 통해 영상 특징 부여 조건을 수행한 분류된 영상에 대한 변환 알고리즘을 선택하기 위해 제 2 조건을 이용한다. 여기서, 제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보이다. 또한, 제 2 조건에 포함된 복수의 알고리즘은 알파 블렌딩(Alpha Blending) 알고리즘, 컨텍스트 뎁스(Context Depth) 알고리즘, 수직 뎁스(Vertical Depth) 알고리즘, 객체 뎁스(Object Depth) 알고리즘 및 포커스 뎁스(Focus Depth) 알고리즘 중 적어도 하나 이상의 알고리즘을 포함한다. 또한, 제 2 조건에 포함된 깊이 맵 비율은 메인 뎁스(Main Depth), 서브 1 뎁스(Sub 1 Depth), 서브 2 뎁스(Sub 2 Depth) 및 옵셔널 뎁스(Optional Depth) 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함한다.

변환부(120)가 깊이 맵을 생성하는 과정에 대해 구체적으로 설명하자면, 변환부(120)는 전처리부(110)에 의해 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성한다. 한편, 변환부(120)는 변환 알고리즘에 대한 신뢰도가 미반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 변환부(120)는 영상 특징 부여 조건을 수행한 분류된 영상에 포함된 영상 특징 정보에 따라 제 2 조건에 부합하는 조합 정보를 추출하고, 조합 정보에 매칭된 변환 알고리즘과 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출한다. 이때, 변환부(120)는 [수학식 1]을 이용하여 신뢰도 미반영 깊이 맵을 산출한다.

(A,B,C: 각 알고리즘, α: 기 설정된 메인 뎁스 비율, β: 기 설정된 서브 1 뎁스 비율, γ: 기 설정된 서브 2 뎁스 비율)

한편, 변환부(120)는 변환 알고리즘에 대한 신뢰도가 반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 변환부(120)는 변환 알고리즘 신뢰도(Fidelith)를 결정하기 위해 기 설정된 제 3 조건을 이용한다. 여기서, 제 3 조건은 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함한다. 변환부(120)는 [수학식 2]를 이용하여 신뢰도 반영 깊이 맵을 산출한다.

(A,B,C: 각 알고리즘, α`: 기 설정된 메인 뎁스 비율×A의 확률 정보, β`: 기 설정된 서브 1 뎁스 비율×B의 확률 정보, γ`: 기 설정된 서브 2 뎁스 비율×C의 확률 정보)

한편, 본 발명의 일 실시예에 따른 변환부(120)는 2D 데이터에 깊이 맵을 적용한 3D 영상 데이터를 생성한다. 즉, 변환부(120)가 2D 데이터에 깊이 맵을 적용한 3D 영상 데이터를 생성하는 과정에 대해 보다 구체적으로 설명하자면, 변환부(120)는 깊이 맵을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)된 3D 영상 데이터를 생성한다. 또한, 변환부(120)는 전처리부(110)의 의해 그룹핑된 MTD 검출 영상을 이용하여 3D 영상 데이터인 좌측 시야용 이미지 또는 우측 시야용 이미지를 생성한다.

후처리부(130)의 일반적인 동작에 대해 설명하자면, 3D 영상 데이터 대해서 완성도를 높이기 위해 3D 영상 데이터를 안정화한다. 즉, 후처리부(130)가 수행하는 동작에 대해 보다 구체적으로 설명하자면, 후처리부(130)는 3D 영상 데이터에 대한 뎁스 필터 보상 안정(Depth Filter Compensation Stabilizer)을 수행하여 3D 영상 데이터에 반영된 깊이 맵 정보가 기 설정된 임계치를 초과하지 않는 경우, 3D 영상 데이터가 안정화된 것으로 확인한다.

도 2는 본 발명의 일 실시예에 따른 영상 분류를 위한 제 1 조건을 나타낸 표이다.

도 2에 도시된 제 1 조건은 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다. 즉, 도 2에 도시된 제 1 조건은 영상의 특징이나 조건에 맞게 가장 최적의 변환 알고리즘을 선정하기 위해서는 2D 영상 데이터를 분류하기 위한 조건을 나타낸다. 즉, 2D 영상 데이터를 분류하기 위한 기준으로는 도 2에 도시된 바와 같이 크게 세 가지로 분류한다.

먼저, 도 2의 1번 항목인 MTD 조건은 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건이다. 즉, MTD 조건에 대해 설명하자면, 깊이 맵 생성 장치(100)는 MTD 조건을 수행하기 위해, 2D 영상 데이터를 분석하고 2D 영상 데이터에서 수평으로 이동하는 객체 또는 카메라의 수평 패닝이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑한다. 이때, 깊이 맵 생성 장치(100)는 MTD 조건을 수행할 때 2D 영상 데이터를 분석하기 위해 모션 벡터 분석, 수평 카메라 패닝, 수평 객체 움직임 중 적어도 하나 이상의 기술을 이용한다. 또한, 깊이 맵 생성 장치(100)는 장면 검출 조건을 수행하기 위해, 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑한다.

도 2의 2번 항목은 장면 검출 조건은 장면 검출 조건은 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 조건이다. 즉, 장면 검출 조건에 대해 설명하자면, 깊이 맵 생성 장치(100)는 2D 영상 데이터 중 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점으로 설정한 후 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 장면 전환점으로 인식한다. 이때, 깊이 맵 생성 장치(100)는 현재 프레임과 다음 프레임을 비교하여 현재 프레임에서 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 판별된 변동 부분이 현재 프레임과 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단한다.

도 2의 3번 항목은 영상 특징 부여 조건은 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 조건이다. 즉, 영상 특징 부여 조건에 대해 설명하자면, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여한다. 여기서, 영상 특징 정보는 정적 영상, 동적 영상, 가까운 영상, 먼 영상, 자연적 영상 및 인공적 영상 중 적어도 하나 이상의 정보를 포함한다. 이때, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 정적 영상과 동적 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석, 특징점 검출, 포커스 분석 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 가까운 영상과 먼 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 엣지 변화 정보, 컬라 히스토그램 정보, 알파 블렌딩 알고리즘, 수평 엣지 강조 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 자연적 영상과 인공적 영상 중 어느 하나로 분류한다.

도 3은 본 발명의 일 실시예에 따른 변환 알고리즘 조합을 위한 제 2 조건을 나타낸 표이다.

제 1 조건을 토대로 입력된 2D 영상 데이터의 분류가 완료 되면 이를 기반으로 가장 타당성이 있다고 판단되는 최적의 알고리즘을 선택할 수 있다. 이때, 깊이 맵 생성 장치(100)는 도 3에 도시된 제 2 조건을 이용할 수 있다. 즉, 제 1 조건을 토대로 분류된 영상 각각에 대해 적절한 알고리즘을 순서대로 나열하면 도 3에 도시된 제 2 조건과 같다.

제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보이다. 제 2 조건에 포함되는 복수의 알고리즘은 알파 블렌딩 알고리즘, 컨텍스트 뎁스 알고리즘, 수직 뎁스 알고리즘, 객체 뎁스 알고리즘 및 포커스 뎁스 알고리즘 중 적어도 하나 이상의 알고리즘을 포함한다. 또한, 제 2 조건에 포함되는 깊이 맵 비율은 메인 뎁스, 서브 1 뎁스, 서브 2 뎁스 및 옵셔널 뎁스 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함한다.

분류된 영상에 해당하는 영상 특징 정보를 확인하면, 도 3의 제 2 조건과 같이 특정 알고리즘의 조합이 정해지고, 그에 해당하는 깊이 맵 비중이 메인 뎁스, 서브 1 뎁스, 서브 2 뎁스, 옵셔널 뎁스로 나누어진다. 또한, 도 3의 제 2 조건과 같이 깊이 맵의 비율은 60 %, 25 %, 10 % 및 5 %의 초기 비율(초기 대표값)을 가질 수 있다. 이러한, 초기 비율은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 초기 비율을 다양하게 수정 및 변형하여 적용 가능할 것이다. 또한, 이러한 초기 비율을 반영한 깊이 맵은 영상 처리의 진행 단계에서 자동화된 방안으로 영상의 특성에 따라 [수학식 1]과 같이 결정될 수 있으며, 신뢰도를 포함하여 결정되는 경우 영상 특성에 따라 [수학식 2]와 같이 결정될 수 있다. 즉, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한 분류된 영상에 포함된 영상 특징 정보에 따라 제 2 조건에 부합하는 조합 정보를 추출하고, 조합 정보에 매칭된 변환 알고리즘과 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출한다. 깊이 맵 생성 장치(100)는 [수학식 1]을 이용하여 신뢰도 미반영 깊이 맵을 산출한다.

도 3의 제 2 조건에 대한 예를 들자면, 분류된 영상의 영상 특징 정보를 확인한 결과, 영상 특징 정보가 '정적 영상', '가까운 영상' 및 '자연적 영상'으로 분류된 영상의 경우, 깊이 맵의 메인 뎁스는 '객체 뎁스(Object Depth)'가 되며 백그라운드인 각각의 서브 뎁스 1, 2는 '알파 블렌딩 뎁스', '포커스 뎁스'의 순서로 각각 60 %, 25 %, 10 % 정도의 비율로 결정된다. 따라서 결과적으로 각 뎁스의 비율에 따라서 합산한 값으로 깊이 맵이 설정된다.

도 4는 본 발명의 일 실시예에 따른 변환 알고리즘 신뢰도 결정을 위한 제 3 조건을 나타낸 표이다.

제 1 조건과 제 2 조건에 따라 선택된 변환 알고리즘의 조합이 결정되고, 이들의 적절한 비율로 합산된 결과의 깊이 맵을 얻을 수 있지만, 추가적으로 각 알고리즘의 신뢰성을 반영할 필요가 있다. 이러한, 알고리즘 신뢰도를 반영하는 이유로는 제 1 조건을 통해 분류된 영상의 불확실성 때문이다. 즉, 영상 처리란 오류가 포함될 수 있고 영상 자체의 분류가 사람의 눈으로 확인하더라도 애매한 경우가 있기 때문에, 자동으로 영상의 분류를 판단하는 경우에도 불확실성 가지게 된다. 따라서 이러한 불확실성을 보완하기 위해 분류되는 결과에 대해서도 확률 정보를 반영하는 것이다.

예를 들어서, 가까운 영상과 먼 영상의 구별이 온(ON) 또는 오프(OFF)와 같이 결정되기 어려운 경우, 영상처리를 통한 확률로 표현이 되는데, 해당 영상에 대해서 스펙트럼 분석을 수행하고, 이를 다시 SVM(Support Vector Machine)을 통해서 해당 영상이 어느 쪽으로 분류될지를 결정하게 된다. 이때, 이러한 과정에서 학습을 통해서 정해진 비율을 반영하고, 이에 따라 해당 영상을 어느 쪽으로 분류할 지의 수치적인 요소가 나오고 이것이 결과적으로 분류될 상대적인 확률에 해당하게 된다.

따라서, 도 4의 제 3 조건과 같이 해당 알고리즘마다 각각의 신뢰도를 설정한다. 이때, 해당 확률은 정해진 것이 아니고 각 영상 분류과정마다 결과로 주어지는 값이 반영된다. 한편, 확률이 50 %를 넘는 경우, 해당 알고리즘 분류를 위한 선택 기준이 될 수 있다. 이때, 분류를 위한 기준이 확률이 50 %를 넘는 경우라 하더라고 절대적으로 완전하다고 볼 수 없기 때문에 제 3 조건과 같은 부가적인 수단을 반영하는 것이다.

즉, 깊이 맵 생성 장치(100)는 이러한 신뢰도를 반영한 깊이 맵을 생성하기 위해 [수학식 2]를 이용할 수 있다. 여기서, 깊이 맵 생성 장치(100)는 변환 알고리즘 신뢰도를 결정하기 위해 기 설정된 제 3 조건을 이용한다. 깊이 맵 생성 장치(100)는 [수학식 2]를 이용하여 신뢰도 반영 깊이 맵을 산출한다. 따라서 결과적으로 깊이 맵 생성 장치(100) 제 2 조건에 따라 선택된 알고리즘을 조합하고 각각의 깊이 맵 비율을 반영하는 과정에서 제 3 조건에 확률 정보를 반영하며 이러한 확률 정보에 근거하여 보다 신뢰성있는 깊이 맵을 산출할 수 있을 것이다.

도 5는 본 발명의 일 실시예에 따른 깊이 맵 생성 방법을 설명하기 위한 순서도이다.

깊이 맵 생성 장치(100)가 수행하는 주요 동작에 대해 설명하자면, 깊이 맵 생성 장치(100)는 입력된 2D 영상 데이터(S510)를 분석하여 분류하기 위해 기 설정된 제 1 조건을 수행한다(S520). 여기서, 제 1 조건에 대해 개략적으로 설명하자면, 제 1 조건은 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함한다. 즉, 제 1 조건에 포함된 MTD 조건, 장면 검출 조건 및 영상 특징 부여 조건에 대해 설명하자면, MTD 조건은 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건이고, 장면 검출 조건은 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 조건이고, 영상 특징 부여 조건은 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 조건이다.

단계 S520에서 깊이 맵 생성 장치(100)가 MTD 조건을 수행하는 과정에 대해 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 MTD 조건을 수행하기 위해, 2D 영상 데이터를 분석하고 2D 영상 데이터에서 수평으로 이동하는 객체 또는 카메라의 수평 패닝이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑한다. 이때, 깊이 맵 생성 장치(100)는 MTD 조건을 수행할 때 2D 영상 데이터를 분석하기 위해 모션 벡터 분석, 수평 카메라 패닝, 수평 객체 움직임 중 적어도 하나 이상의 기술을 이용한다.

또한, 깊이 맵 생성 장치(100)는 장면 검출 조건을 수행한다(S530). 깊이 맵 생성 장치(100)가 S530을 수행하는 과정에 대해 설명하자면, 2D 영상 데이터 중 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑한다. 또한, 깊이 맵 생성 장치(100)가 장면 검출 조건을 수행하는 과정에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 2D 영상 데이터 중 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점으로 설정한 후 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 장면 전환점으로 인식한다. 이때, 깊이 맵 생성 장치(100)는 현재 프레임과 다음 프레임을 비교하여 현재 프레임에서 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 판별된 변동 부분이 현재 프레임과 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단한다.

깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한다(S540). 단계 S540에서 깊이 맵 생성 장치(100)가 영상 특징 부여 조건을 수행하는 과정에 대해 설명하자면, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여한다. 여기서, 영상 특징 정보는 정적 영상, 동적 영상, 가까운 영상, 먼 영상, 자연적 영상 및 인공적 영상 중 적어도 하나 이상의 정보를 포함한다. 이때, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 정적 영상과 동적 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석, 특징점 검출, 포커스 분석 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 가까운 영상과 먼 영상 중 어느 하나로 분류한다. 또한, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 엣지 변화 정보, 컬라 히스토그램 정보, 알파 블렌딩 알고리즘, 수평 엣지 강조 중 적어도 하나 이상의 정보를 이용하여 유사 장면 그룹이 자연적 영상과 인공적 영상 중 어느 하나로 분류한다.

즉, 깊이 맵 생성 장치(100)는 단계 S510 내지 단계 S540을 통해 영상을 분류하기 위한 동작을 수행하는데, 2D 영상 데이터가 연속적인 프레임의 집합으로 이루어져 있으므로 가능한 유사한 특성을 가지는 프레임 별로 2D 영상 데이터를 그룹화 하여 동일한 변환 알고리즘을 적용할 수 있도록 하는 영상 분류 과정을 수행하는 것이다.

깊이 맵 생성 장치(100)는 영상 특징 부여 조건이 수행된 분류된 영상에 해당하는 변환 알고리즘을 선택한다(S550). 단계 S550을 수행할 때 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한 분류된 영상에 대한 변환 알고리즘을 선택하기 위해 제 2 조건을 이용한다. 여기서, 제 2 조건은 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보이다. 또한, 제 2 조건에 포함된 복수의 알고리즘은 알파 블렌딩 알고리즘, 컨텍스트 뎁스 알고리즘, 수직 뎁스 알고리즘, 객체 뎁스 알고리즘 및 포커스 뎁스 알고리즘 중 적어도 하나 이상의 알고리즘을 포함한다. 또한, 제 2 조건에 포함된 깊이 맵 비율은 메인 뎁스, 서브 1 뎁스, 서브 2 뎁스 및 옵셔널 뎁스 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함한다.

깊이 맵 생성 장치(100)는 변환 알고리즘의 조합에 따른 깊이 맵을 생성한다(S560). 단계 S560에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 변환 알고리즘에 대한 신뢰도가 미반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 깊이 맵 생성 장치(100)는 영상 특징 부여 조건을 수행한 분류된 영상에 포함된 영상 특징 정보에 따라 제 2 조건에 부합하는 조합 정보를 추출하고, 조합 정보에 매칭된 변환 알고리즘과 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출한다. 이때, 깊이 맵 생성 장치(100)는 [수학식 1]을 이용하여 신뢰도 미반영 깊이 맵을 산출한다. 한편, 깊이 맵 생성 장치(100)는 변환 알고리즘에 대한 신뢰도가 반영된 상태에서 깊이 맵을 생성할 수 있는데, 이에 대해 설명하자면, 깊이 맵 생성 장치(100)는 변환 알고리즘 신뢰도깊이 맵 생성 장치(100)를 결정하기 위해 기 설정된 제 3 조건을 이용한다. 여기서, 제 3 조건은 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함한다. 깊이 맵 생성 장치(100)는 [수학식 2]를 이용하여 신뢰도 반영 깊이 맵을 산출한다.

깊이 맵 생성 장치(100)는 2D 데이터에 깊이 맵을 적용한 3D 영상 데이터를 생성한다(S570). 단계 S570에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 깊이 맵을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링된 3D 영상 데이터를 생성한다. 또한, 깊이 맵 생성 장치(100)는 그룹핑된 MTD 검출 영상을 이용하여 3D 영상 데이터인 좌측 시야용 이미지 또는 우측 시야용 이미지를 생성한다. 깊이 맵 생성 장치(100) 3D 영상 데이터 대해서 완성도를 높이기 위해 3D 영상 데이터를 안정화를 수행한다(S580). 단계 S580에 대해 보다 구체적으로 설명하자면, 깊이 맵 생성 장치(100)는 3D 영상 데이터에 대한 뎁스 필터 보상 안정을 수행하여 3D 영상 데이터에 반영된 깊이 맵 정보가 기 설정된 임계치를 초과하지 않는 경우, 3D 영상 데이터가 안정화된 것으로 확인한다.

도 5에서는 단계 S510 내지 단계 S580을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S510 내지 단계 S580 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.

전술한 바와 같이 도 5에 기재된 본 발명의 일 실시예에 따른 깊이 맵 생성 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 발명의 일 실시예에 따른 깊이 맵 생성 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 발명의 일 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명의 일 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

도 6은 본 발명의 일 실시예에 따른 깊이 맵을 생성하기 위한 예시도이다.

도 6에 도시된 (A) 영상은 제 1 조건에 의해 '정적 영상'이면서 '가까운 영상이고, '자연적 영상'으로 분류된 경우, 도 6의 (B)에 도시된 바와 같이, 깊이 맵 생성 장치(100)는 제 2 조건에 따라 특징점 검출에 따른 '새'를 객체로 추출하게 되며, 도 6의 (C)에 도시된 바와 같이, '배경'과 '객체'에 원본 영상에서 얻은 영상 특징 정보를 이용하여 '알파 블렌딩 방식'을 적용하여 최종적인 결과를 얻을 수 있다. 한편, '포커스 뎁스'를 추가적으로 적용할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명은 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 영상의 특징에 따른 변환 알고리즘의 조합을 이용하여 생성된 깊이 맵 정보를 적용하는 분야에 적용되어, 2D 영상 데이터를 3D 영상 데이터로 변환하는 과정에서 보다 현실성 있는 입체감을 표현하기 위한 깊이 맵을 생성하기 위해 다양한 형태의 영상을 분석하고 분석 결과와 기 설정된 조건에 따라 영상을 분류하며, 분류된 각 영상에 맞는 최적의 변환 알고리즘을 조합한 깊이 맵 정보를 제공할 수 있는 효과를 발생하는 유용한 발명이다.

100: 깊이 맵 생성 장치 110: 전처리부
120: 분석부 130: 후처리부

Claims

입력된 2D 영상 데이터를 분석하여 분류하는 전처리부; 및
상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환부
를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 1 항에 있어서,
상기 전처리부는,
상기 2D 영상 데이터를 분류하기 위해 기 설정된 제 1 조건을 이용하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 2 항에 있어서,
상기 제 1 조건은,
MTD(Modified Time Difference) 조건, 장면(Scence) 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 3 항에 있어서,
상기 MTD 조건은,
상기 2D 영상 데이터 중 MTD에 해당하는 프레임을 선별하는 조건인 것을 특징으로 하는 깊이 맵 생성 장치.
제 3 항에 있어서,
상기 전처리부는,
상기 MTD 조건을 수행하기 위해, 상기 2D 영상 데이터를 분석하고 상기 2D 영상 데이터에서 수평(Horizontal)으로 이동하는 객체(Object) 또는 카메라의 수평 패닝(Panning)이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 5 항에 있어서,
상기 전처리부는,
상기 2D 영상 데이터를 분석하기 위해 모션 벡터 분석(Motion Vector Analysis), 수평 카메라 패닝(Horizontal Camera Panning), 수평 객체 움직임(Horizontal Moving) 중 적어도 하나 이상의 기술을 이용하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 5 항에 있어서,
상기 변환부는,
상기 MTD 검출 영상을 이용하여 3D 영상 데이터인 좌측 시야용 이미지 또는 우측 시야용 이미지를 생성하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 5 항에 있어서,
상기 전처리부는,
상기 장면 검출 조건을 수행하기 위해, 상기 2D 영상 데이터 중 상기 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 8 항에 있어서,
상기 전처리부는,
상기 2D 영상 데이터 중 상기 MTD로 분류되지 않은 그 나머지 영상 데이터 중 현재 프레임(f(n))을 장면 검출 시점(Scene Detection Point)으로 설정한 후 상기 현재 프레임을 기준으로 히스토그램 정보, 엣지 정보 및 모션 정보 중 어느 하나가 기 설정된 임계치 이상으로 불일치하는 시점까지의 프레임을 상기 장면 전환점으로 인식하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 9 항에 있어서,
상기 전처리부는,
상기 현재 프레임과 다음 프레임을 비교하여 상기 현재 프레임에서 상기 다음 프레임으로 전환될 때 변동되는 부분을 판별하고, 상기 판별된 변동 부분이 상기 현재 프레임과 상기 다음 프레임 간에 상호 연관성이 없는 경우, 독립적인 하나의 유사 장면 그룹으로 판단하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 8 항에 있어서,
상기 전처리부는,
상기 영상 특징 부여 조건을 수행하기 위해 상기 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 11 항에 있어서,
상기 영상 특징 정보는,
정적 영상(Static), 동적 영상(Dynamic), 가까운 영상(Close up), 먼 영상(Non Close up), 자연적 영상(Natural) 및 인공적 영상(Artificial) 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 12 항에 있어서,
상기 전처리부는,
상기 영상 특징 부여 조건을 수행하기 위해, 모션 벡터, 글로벌 모션 벡터, 로컬 모션 벡터, 엣지 변화 정보 및 히스토그램 정보 중 적어도 하나 이상의 정보를 이용하여 상기 유사 장면 그룹 내의 객체의 움직임이나 역동성을 확인하고, 확인 결과에 근거하여 상기 정적 영상과 상기 동적 영상 중 어느 하나로 분류하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 12 항에 있어서,
상기 전처리부는,
상기 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석, 블러 분석(Blur Analysis), 특징점 검출(Saliency Detection), 포커스 분석(Focus Analysis) 중 적어도 하나 이상의 정보를 이용하여 상기 유사 장면 그룹이 상기 가까운 영상과 상기 먼 영상 중 어느 하나로 분류하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 12 항에 있어서,
상기 전처리부는,
상기 영상 특징 부여 조건을 수행하기 위해, 스펙트럼 분석(Spectrum Analysis), 엣지 변화 정보(Edge), 컬라 히스토그램(Color Histogram) 정보, 알파 블렌딩(Alpha Blending) 알고리즘, 수평 엣지 강조(Horizontal Edge Emphasis) 중 적어도 하나 이상의 정보를 이용하여 상기 유사 장면 그룹이 상기 자연적 영상과 상기 인공적 영상 중 어느 하나로 분류하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 12 항에 있어서,
상기 변환부는,
상기 영상 특징 부여 조건을 수행한 상기 분류된 영상에 대한 상기 변환 알고리즘을 선택하기 위해 제 2 조건을 이용하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 16 항에 있어서,
상기 제 2 조건은,
상기 영상 특징 정보의 조합에 따른 조합 정보를 가지며, 상기 조합 정보마다 복수의 알고리즘과 기 설정된 깊이 맵 비율이 매칭된 정보인 것을 특징으로 하는 깊이 맵 생성 장치.
제 17 항에 있어서,
상기 복수의 알고리즘은,
알파 블렌딩(Alpha Blending) 알고리즘, 컨텍스트 뎁스(Context Depth) 알고리즘, 수직 뎁스(Vertical Depth) 알고리즘, 객체 뎁스(Object Depth) 알고리즘 및 포커스 뎁스(Focus Depth) 알고리즘 중 적어도 하나 이상의 알고리즘을 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 17 항에 있어서,
상기 깊이 맵 비율은,
메인 뎁스(Main Depth), 서브 1 뎁스(Sub 1 Depth), 서브 2 뎁스(Sub 2 Depth) 및 옵셔널 뎁스(Optional Depth) 중 적어도 하나 이상에 대한 깊이 맵 비율을 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 19 항에 있어서,
상기 변환부는,
상기 영상 특징 부여 조건을 수행한 상기 분류된 영상에 포함된 상기 영상 특징 정보에 따라 상기 제 2 조건에 부합하는 상기 조합 정보를 추출하고, 상기 조합 정보에 매칭된 상기 변환 알고리즘과 상기 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 20 항에 있어서,
상기 변환부는,
Depth(f) = αA + βB + γC
(A,B,C: 각 알고리즘, α: 기 설정된 메인 뎁스 비율, β: 기 설정된 서브 1 뎁스 비율, γ: 기 설정된 서브 2 뎁스 비율)
의 수학식을 이용하여 신뢰도 미반영 깊이 맵을 산출하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 18 항에 있어서,
상기 변환부는,
변환 알고리즘 신뢰도(Fidelith)를 결정하기 위해 기 설정된 제 3 조건을 이용하여 것을 특징으로 하는 깊이 맵 생성 장치.
제 22 항에 있어서,
상기 제 3 조건은,
상기 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 23 항에 있어서,
상기 변환부는,
Depth(f`) = α`A + β`B + γ`C
(A,B,C: 각 알고리즘, α`: 기 설정된 메인 뎁스 비율×A의 확률 정보, β`: 기 설정된 서브 1 뎁스 비율×B의 확률 정보, γ`: 기 설정된 서브 2 뎁스 비율×C의 확률 정보)
의 수학식을 이용하여 신뢰도 반영 깊이 맵을 산출하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 1 항에 있어서,
상기 변환부는,
상기 2D 데이터에 상기 깊이 맵을 적용한 3D 영상 데이터를 생성하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 25 항에 있어서,
상기 변환부는,
상기 깊이 맵을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)된 상기 3D 영상 데이터를 생성하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 1 항에 있어서,
상기 3D 영상 데이터를 안정화하는 후처리부를 추가로 포함하는 것을 특징으로 하는 깊이 맵 생성 장치.
제 27 항에 있어서,
상기 후처리부는,
상기 3D 영상 데이터에 대한 뎁스 필터 보상 안정(Depth Filter Compensation Stabilizer)을 수행하여 상기 3D 영상 데이터에 반영된 깊이 맵 정보가 기 설정된 임계치를 초과하지 않는 경우, 상기 3D 영상 데이터가 안정화된 것으로 확인하는 것을 특징으로 하는 깊이 맵 생성 장치.
입력된 2D 영상 데이터를 분석하여 분류하는 전처리 단계; 및
상기 분류된 영상에 해당하는 변환 알고리즘(Algorithm)을 선택하고, 상기 변환 알고리즘의 조합에 따른 깊이 맵(Depth MAP)를 생성하는 변환 단계
를 포함하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 29 항에 있어서,
상기 전처리 단계는,
상기 2D 영상 데이터를 분류하기 위해 MTD(Modified Time Difference) 조건, 장면(Scence) 검출 조건 및 영상 특징 부여 조건 중 적어도 하나 이상의 조건을 포함하는 제 1 조건을 이용하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 30 항에 있어서,
상기 전처리부 단계는,
상기 MTD 조건을 수행하기 위해, 상기 2D 영상 데이터를 분석하고 상기 2D 영상 데이터에서 수평(Horizontal)으로 이동하는 객체(Object) 또는 카메라의 수평 패닝(Panning)이 발생하는 프레임(f(m))을 MTD로 분류하고, MTD 검출 영상으로 그룹핑하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 30 항에 있어서,
상기 전처리 단계는,
상기 장면 검출 조건을 수행하기 위해, 상기 2D 영상 데이터 중 상기 MTD 검출 영상으로 분류되지 않은 그 나머지 영상 데이터에 대해 장면 전환점과 장면 전환점 내의 프레임을 유사 장면 그룹으로 그룹핑하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 30 항에 있어서,
상기 전처리 단계는,
상기 영상 특징 부여 조건을 수행하기 위해 상기 유사 장면 그룹을 각 그룹별로 분석하여 영상 특징 정보를 부여하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 33 항에 있어서,
상기 변환 단계는,
상기 영상 특징 부여 조건을 수행한 상기 분류된 영상에 대한 상기 변환 알고리즘을 선택하기 위해 제 2 조건을 이용하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 34 항에 있어서,
상기 변환 단계는,
상기 영상 특징 부여 조건을 수행한 상기 분류된 영상에 포함된 상기 영상 특징 정보에 따라 상기 제 2 조건에 부합하는 상기 조합 정보를 추출하고, 상기 조합 정보에 매칭된 상기 변환 알고리즘과 상기 깊이 맵 비율에 근거하여 신뢰도 미반영 깊이 맵 비율을 산출하는 것을 특징으로 하는 깊이 맵 생성 방법.
제 18 항에 있어서,
상기 변환 단계는,
변환 알고리즘 신뢰도(Fidelith)를 결정하기 위해 상기 제 2 조건에 포함된 알고리즘에 따른 확률 정보를 포함하는 제 3 조건을 이용하여 것을 특징으로 하는 깊이 맵 생성 방법.