KR20120133640A - 3ｄ 영상변환장치 그 구현방법 및 그 저장매체 - Google Patents

3ｄ 영상변환장치 그 구현방법 및 그 저장매체 Download PDF

Info

Publication number
KR20120133640A
KR20120133640A KR1020110052378A KR20110052378A KR20120133640A KR 20120133640 A KR20120133640 A KR 20120133640A KR 1020110052378 A KR1020110052378 A KR 1020110052378A KR 20110052378 A KR20110052378 A KR 20110052378A KR 20120133640 A KR20120133640 A KR 20120133640A
Authority
KR
South Korea
Prior art keywords
depth information
frame
frames
generating
image
Prior art date
Application number
KR1020110052378A
Other languages
English (en)
Inventor
권오윤
허혜현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110052378A priority Critical patent/KR20120133640A/ko
Priority to EP12160962A priority patent/EP2530940A1/en
Priority to CN201210116665XA priority patent/CN102811362A/zh
Priority to US13/482,238 priority patent/US8977036B2/en
Priority to JP2012123528A priority patent/JP2012253767A/ja
Publication of KR20120133640A publication Critical patent/KR20120133640A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 2차원 입력영상을 3차원 상으로 변환하는 3D 영상변환장치, 그 구현방법 및 그 저장매체에 대한 것이다. 본 발명에 따른 3D 영상변환장치에 의하여 구현되는 방법은, 복수의 프레임을 포함하는 입력영상을 수신하는 단계와; 상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하는 단계와; 상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하는 단계와; 상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택이 입력되는 단계와; 상기 제1오브젝트에 대하여 상기 선택된 설정모드에 대응하는 제1깊이정보를 생성하는 단계와; 상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 단계를 포함한다.

Description

3Ｄ 영상변환장치 그 구현방법 및 그 저장매체{3D IMAGE CONVERSION APPARATUS IMPLEMENTATION METHOD THEREOF AND COMPUTER-READABLE STORAGE MEDIUM THEREOF}
본 발명은 3D 영상변환장치, 그 구현방법 및 그 저장매체에 관한 것으로서, 보다 상세하게는 2차원 입력영상을 3차원 상으로 변환하는 3D 영상변환장치, 그 구현방법 및 그 저장매체에 대한 것이다.
최근 3차원 영상을 재생할 수 있는 디스플레이장치가 많이 개발되고 있다. 그러나 3차원 영상 컨텐츠의 생산은 3차원 영상 재생 장치의 발전 속도를 맞추고 있지 못하다. 3차원 영상의 제작은 통상적으로 막대한 규모의 장치와 개발 인력 등 비용과 시간이 많이 소요된다. 이에 따라 기존의 2차원 영상을 3차원 영상으로의 변환을 통한 3차원 영상 컨텐츠의 제작하고자 하지만, 3차원 영상의 품질 및 경제성을 고루 갖춘 3차원 영상변환장치 및 방법의 개발이 필요하다.
따라서, 본 발명의 목적은 3차원 영상의 품질과 경제성을 고려한 3차원 영상변환장치, 그 구현방법 및 그 저장매체를 제공하고자 한다.
상기 목적은, 본 발명에 따라, 3D 영상변환장치에 의하여 구현되는 방법에 있어서, 복수의 프레임을 포함하는 입력영상을 수신하는 단계와; 상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하는 단계와; 상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하는 단계와; 상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택이 입력되는 단계와; 상기 제1오브젝트에 대하여 상기 선택된 설정모드에 대응하는 제1깊이정보를 생성하는 단계와; 상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 단계를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법에 의하여 달성될 수 있다.
상기 제1프레임의 선택단계는, 상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하는 단계와; 상기 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함할 수 있다.
상기 제1프레임의 선택단계는, 상기 선택된 두 개의 키프레임 사이에 위치하는 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함할 수 있다.
상기 키프레임은, 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 선택될 수 있다.
상기 방법은, 상기 선택된 키프레임 중에서 제2오브젝트를 추출하는 단계와; 상기 제2오브젝트에 대하여 제2깊이정보를 생성하는 단계를 더 포함할 수 있다.
상기 설정모드 선택입력단계는, 상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성 및 표시하는 단계와; 상기 표시된 UI로부터 상기 복수 개의 깊이정보 설정모드 중 어느 하나의 설정모드를 선택하는 사용자의 선택을 입력받는 단계를 포함할 수 있다.
상기 복수 개의 깊이정보 설정모드는, 상기 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 제1깊이정보를 생성하는 제1모드와; 상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 제2모드와; 상기 제2깊이정보에 대응하는 제1깊이정보를 생성하는 제3모드와; 상기 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 제4모드를 포함할 수 있다.
또한, 상기 목적은 본 발명에 따라, 컴퓨터로 실행가능한 명령으로 인코딩된 컴퓨터로 판독 가능한 저장 매체에 있어서, 프로세서에 의해 상기 명령이 수행될 때, 상기 명령은 입력 영상을 렌더링하기 위한 방법을 수행하고, 상기 방법은, 복수의 프레임을 포함하는 입력영상을 수신하는 단계와; 상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하는 단계와; 상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하는 단계와; 상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택이 입력되는 단계와; 상기 제1오브젝트에 대하여 상기 선택된 설정모드에 대응하는 제1깊이정보를 생성하는 단계와; 상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 단계를 포함하는 컴퓨터 판독 가능한 저장매체에 의하여 달성될 수 있다.
상기 제1프레임의 선택단계는, 상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하는 단계와; 상기 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함할 수 있다.
상기 제1프레임의 선택단계는, 상기 선택된 두 개의 키프레임 사이에 위치하는 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함할 수 있다.
상기 키프레임은, 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 선택될 수 있다.
상기 선택된 키프레임 중에서 제2오브젝트를 추출하는 단계와; 상기 제2오브젝트에 대하여 제2깊이정보를 생성하는 단계를 더 포함할 수 있다.
상기 설정모드 선택입력단계는, 상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성 및 표시하는 단계와; 상기 표시된 UI로부터 상기 복수 개의 깊이정보 설정모드 중 어느 하나의 설정모드를 선택하는 사용자의 선택을 입력받는 단계를 포함할 수 있다.
상기 복수 개의 깊이정보 설정모드는, 상기 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 제1깊이정보를 생성하는 제1모드와; 상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 제2모드와; 상기 제2깊이정보에 대응하는 제1깊이정보를 생성하는 제3모드와; 상기 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 제4모드를 포함할 수 있다.
또한 상기 목적은 본 발명에 따라, 3D 영상변환장치에 있어서, 복수의 프레임을 포함하는 입력영상을 수신하는 수신부와; 상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하고, 상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하고, 상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택에 대응하는 제1깊이정보를 생성하고, 상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 영상변환부를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 달성될 수 있다.
상기 영상변환부는, 상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하고, 상기 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 적어도 어느 하나의 프레임을 제1프레임으로 선택할 수 있다.
상기 영상변환부는, 상기 선택된 두 개의 키프레임 사이에 위치하는 적어도 어느 하나의 프레임을 제1프레임으로 선택할 수 있다.
상기 키프레임은, 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 선택될 수 있다.
상기 영상변환부는, 상기 선택된 키프레임 중에서 제2오브젝트를 추출하고, 상기 제2오브젝트에 대하여 제2깊이정보를 생성할 수 있다.
상기 장치는, 사용자 입력부와; 상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성하는 UI 생성부를 더 포함하고, 상기 영상변환부는, 상기 UI를 통하여 상기 복수 개의 깊이정보 설정모드 중에서 사용자 선택에 의하여 선택된 어느 하나의 설정모드에 대응하는 제1깊이정보를 생성할 수 있다.
상기 복수 개의 깊이정보 설정모드는, 상기 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 제1깊이정보를 생성하는 제1모드와; 상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 제2모드와; 상기 제2깊이정보에 대응하는 제1깊이정보를 생성하는 제3모드와; 상기 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 제4모드를 포함할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 영상의 품질 및 경제성을 함께 고려하여 2차원 영상을 3차원 영상으로 변활 할 수 있는 3D 영상변환장치, 그 구현방법 및 그 저장매체가 제공된다.
도 1은 본 발명의 일 실시예에 따른 3D 영상변환장치의 제어블록도이고,
도 2는 도 1에 도시된 3D 영상변환장치의 제1프레임 선정을 도시하고,
도 3a 내지 도 3d는 도 1에 도시된 3D 영상변환장치의 변환처리부의 깊이설정모드에 따른 깊이정보생성방법을 도시하고,
도 4는 도 1에 도시된 3D 영상변환장치의 UI 생성 및 표시의 일 예시를 도시하고,
도 5는 도 1에 도시된 3D 영상변환장치의 동작을 도시한 플로우차트이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 3D 영상변환장치의 제어블록도이다.
본 발명의 일 실시예에 따른 3D 영상변환장치(1)는 외부의 소스제공장치(미도시)로부터 2차원 영상 또는 단안 영상을 수신하여 3차원 영상 또는 양안영상으로 변환할 수 있는 전자장치로서, 예를 들어 디스플레이장치, 특히 일반 PC 등을 포함할 수 있다. 본 발명의 일 실시예에 따른 3D 영상변환장치(1)는 수신된 입력영상을 소정 프로세서에 의하여 사용자의 선택이 반영된 깊이정보를 생성하고, 상기 생성된 깊이정보를 이용하여 3차원 영상을 생성한다.
3D 영상변환장치(1)는 소스제공장치(미도시)로부터 제공받은 2차원 영상을 3차원 영상으로 변환을 수행한 후 3D 영상변환장치(1)에서 상기 변환한 3차원 영상을 입체적으로 표시하거나 또는 외부의 3차원 영상을 재생할 수 있는 컨텐츠재생장치(미도시), 예컨대 TV, PC, 스마트폰, 스마트패드, PMP, MP3 플레이어 등으로 상기 변환한 3차원 영상을 전달할 수 있다.
본 실시예에서의 네트워크에 있어서, 2차원영상 및/또는 3차원영상의 전송을 위한 데이터 통신이라면, 유선 및/또는 무선 통신 방식 등 네트워크의 통신 방식에는 아무런 제한이 없으며, 알려진 통신 방식을 모두 포함한다.
도1에 도시된 바와 같이, 3D 영상변환장치(1)는 수신부(10), 영상변환부(20), 디스플레이부(30), UI 생성부(40), 및 사용자 입력부(50)를 포함한다.
수신부(10)는 외부의 소스제공장치(미도시)로부터 복수의 프레임을 포함하는 입력영상을 수신한다. 입력영상은 2차원 영상 또는 단안 영상을 포함한다. 3차원 영상은 시청자의 양안 시차를 이용하는 것으로서, 복수의 좌안프레임 및 복수의 우안프레임을 포함할 수 있다. 복수의 좌안프레임 및 복수의 우안프레임 중 한 쌍의 좌안프레임과, 우안프레임은, 입력영상의 복수의 프레임 중에서 대응하는 적어도 어느 하나로부터 각각 변환될 것일 수 있다.
수신부(10)는 소정의 네트워크(미도시)를 통하여 외부의 소스제공장치(미도시)로부터 2차원 영상을 제공받을 수 있다. 상기 소스제공장치는 예컨대 네트워크서버로서 2차원 영상을 저장하고 3D 영상변환장치(1)의 요청에 따라 2차원 영상을 3D 영상변환장치(1)에 전송할 수 있다.
다른 실시예로서, 수신부(10)는 네트워크가 아닌 다른 데이터 전송 수단을 통하여 소스제공장치(미도시)로부터 2차원 영상을 수신할 수 있다. 예컨대, 소스제공장치(미도시)는 2차원 영상을 저장하는 하드디스크, 플래시메모리 등과 같은 저장수단을 구비하는 장치로서, 3D 영상변환장치(1)에 로컬 장치로서 연결되어 3D 영상변환장치(1)의 요청에 따라 2차원 영상을 3D 영상변환장치(1)에 전송할 수 있다. 이 경우, 2차원 영상의 데이터 전송을 위한 것이라면, 수신부(10)와 소스제공장치(미도시) 간의 로컬 연결 방식에는 제한이 없으며, 예컨대 USB등을 포함한다.
영상변환부(20)는 수신부(10)로 수신된 입력영상을 3차원 영상으로 변환을 수행한다. 영상변환부(20)는 CPU(21), RAM(23) 및 저장부(25)를 포함할 수 있다. 저장부(25)는 단안영상을 양안영상으로의 변환을 수행하기 위한 변환프로그램(26), 변환할 단안영상 또는 입력영상(27), 및 단안영상으로부터 변환이 완료된 양안영상 또는 3차원영상(28)를 저장할 수 있다. 저장부(25)는 하드디스크, 플래시메모리 등의 비휘발성 메모리로 구현될 수 있다. RAM(23)에는 변환처리부(20)의 동작 시 변환프로그램(26)의 적어도 일부가 로딩되며, CPU(21)는 RAM(23)에 로딩된 변환프로그램(26)을 실행한다. 변환프로그램(26)은 CPU(21)에 의하여 실행 가능한 명령(instructions)을 가진다. 저장부(25)는 컴퓨터로 판독 가능한 저장매체의 일례이다. 변환처리부(20)의 동작에 대하여 하기 도 2 내지 도 4를 통하여 더욱 상세히 설명한다.
디스플레이부(30)는 후술할 UI 생성부(40)에 의하여 생성되는 UI를 표시한다. 또한, 변환처리부(20)에 의하여 변환이 진행 중인 입력영상을 상기 UI와 함께 표시할 수 있다. 또한 변환처리부(20)에 의하여 변환이 완료된 3차원 영상을 표시할 수 있다. 디스플레이부(30)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기 발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
UI 생성부(40)는 상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성할 수 있다. 상기 생성된 UI는 GUI의 형태로 구현될 수 있다. 상기 UI는 입력영상을 3차원으로 변환을 수행하는 과정에서 생성되는 것이 바람직하므로 UI 생성부(40)는 변환처리부(20)의 CPU(21)의 제어 하에 그 기능을 수행할 수 있다.
사용자입력부(50)는 사용자의 입력을 수신하는 유저 인터페이스로서, 3D 영상변환장치(1)의 기능 또는 작동과 관련된 사용자의 선택을 입력받는다. 사용자 입력부(50)는 적어도 하나의 키버튼을 구비할 수 있으며 3D 영상변환장치(1)에 마련되는 조작패널 또는 터치패널로 구현될 수 있다. 또한 3D 영상변환장치(1)에 유무선으로 연결되는 리모트 컨트롤, 키보드, 마우스 등의 형태로 구현될 수 있다.
도 2 내지 도 4를 참조하여 영상변환부(20)를 좀 더 상세히 설명한다.
도 2는 도 1에 도시된 3D 영상변환장치의 제1프레임 선정을 도시하고 있다.
복수의 프레임(110)을 포함하는 입력영상이 수신부(10)를 통하여 수신되면, 영상변환부(20)는 상기 복수의 프레임(110) 중에서 기 설정된 조건에 대응하는 제1프레임을 선택한다. 상기 기설정된 조건에 대응하는 제1프레임은, 상기 복수의 프레임 중에서 키프레임(111, 113, 115)을 제외한 나머지 프레임에 대응하는 적어도 어느 하나의 프레임(112, 114)을 포함한다. 예를 들어, 두 개의 키프레임(111, 113) 사이에 위치하는 적어도 어느 하나의 프레임(112)을 포함한다.
이 때, 영상변환부(20)는 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 적어도 하나의 키프레임을 선택한다. 영상변환부(20)는 적어도 하나의 키프레임이 선택되면, 상기 키프레임에서 적어도 하나의 오브젝트를 추출하고, 상기 추출된 적어도 하나의 오브젝트에 대하여 제2깊이정보를 생성한다. 이 때 키프레임의 오브젝트에 적용될 제2깊이정보는 일반적으로 알려진 깊이추정알고리즘을 이용하여 생성할 수 있다. 또 다른 실시예에서, 소정의 UI를 통하여 사용자의 선택 입력에 기초하여 상기 키프레임의 오브젝트에 적용될 제2깊이정보를 생성할 수도 있다. 영상변환부(20)는 상기 입력영상의 최초 키프레임부터 최종 키프레임에 이르기까지 복수의 키프레임 중의 오브젝트에 적용될 제2깊이정보의 변화를 그래프화할 수 있으며, 이의 일 실시예는 도 3(a)에서 보는 바와 같다. 도 3(a)에 도시된 바와 같이, 최초 키프레임부터 최종 키프레임에 이르기까지의 깊이정보 변화곡선을 확인할 수 있으며, 이는 제1프레임의 제1깊이정보의 생성에 이용할 수 있다.
영상변환부(20)는 상기 기설정 조건에 대응하는 제1프레임이 선택되면, 상기 제1프레임 중의 제1오브젝트를 추출한다. 이 때 제1오브젝트는 상기 제1프레임에 포함되는 적어도 하나의 오브젝트를 의미하는 것으로서, 복수 개의 오브젝트가 포함될 수도 있다.
영상변환부(20)는 상기 제1프레임의 제1오브젝트의 제1깊이정보를 생성하기 위하여 복수의 깊이정보 설정모드를 표시하는 UI를 생성 및 표시하도록 UI 생성부(40)를 제어할 수 있으며, 상기 생성된 UI의 예는 도 4에서 보는 바와 같다. 도 4에서 도시된 바와 같이, UI는 사용자가 선택할 수 있는 복수 개의 깊이정보 설정모드, 예를 들어, 제1모드 내지 제4모드를 선택할 수 있는 아이콘을 포함하고 있다. 사용자 입력부(50)를 통하여 사용자가 상기 예시로 표시된 제1모드 내지 제4모드 중 어느 한 모드를 선택하면, 영상변환부(20)는 상기 사용자 선택에 의한 모드에 대응한 깊이정보를 생성하게 된다. 영상변환부(20)는 상기 사용자 선택에 의한 깊이모드에 대응하여 생성된 깊이정보를 이용하여 입력영상을 렌더링을 수행하여 결과적으로 3차원 영상을 생성한다.
도 3(b)는 제1모드 및 제2모드를, 도 3(c)는 제3모드를, 도 3(d)는 제4모드를 도시하고 있다. 도 3(b)에서 도시하고 있는 바와 같이, 제1모드는 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 깊이정보를 생성하는 모드이다. 따라서, 미리 설정된 특정 크기의 깊이정보를 제1프레임의 제1오브젝트에 적용하는 모드이다. 제2모드는 상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 모드이다. 따라서, 제2모드에 의할 경우, 시간의 흐름에 따라 깊이정보가 점진적으로 증가하게 되는 모드이다.
도 3(c)에서 도시하고 있는 바와 같이, 제3모드는 상기 키프레임의 오브젝트에 적용되는 제2깊이정보에 대응하는 제1깊이정보를 생성하는 모드이다. 예를 들어, 도 3(a)의 M번째 키프레임과 M+1번째 키프레임 사이의 깊이정보의 변화 곡선이 a 구간과 같이 깊이정보가 감소한다면, 상기 M번째 키프레임과 M+1번째 키프레임 사이에 위치하는 적어도 하나의 제1프레임의 깊이정보는 a구간과 동일 또는 유사하게 변하는 b구간과 같은 깊이정보가 생성되도록 한다(도 3(c)참조).
도 3(d)에서 도시하고 있는 바와 같이, 제4모드는 상기 키프레임의 오브젝트에 적용되는 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 모드이다. 예를 들어, 도 3(a)의 M번째 키프레임과 M+1번째 키프레임 사이의 깊이정보의 변화 곡선이 a 구간과 같이 깊이정보가 감소한다면, 상기 M번째 키프레임과 M+1번째 키프레임 사이에 위치하는 적어도 하나의 제1프레임의 깊이정보는 a구간의 깊이정보보다 특정 범위 증감되는 크기의 제1깊이정보를 생성함으로써 b구간과 같은 깊이정보가 생성한다(도 3(d)참조). 따라서 제4모드에 의할 경우 깊이정보의 증감이 심하기 때문에 시청자는 좀더 극적인 입체감을 향유할 수 있게 된다.
상기 기재한 바와 같이, 본 발명의 일 실시예에 따른 3D 영상변환장치(1)의 이점은 입력영상을 이루는 복수의 프레임 중에서 키 프레임에 대하여 깊이정보를 생성하고, 키 프레임이 아닌 나머지 모든 프레임에 대하여는 사용자 선택에 의한 모드에 따른 깊이정보를 일괄 적용할 수 있다. 이에 의하여, 모든 프레임에 대하여 일괄적으로 깊이정보를 생성하여 적용하는 것보다는 시간 및 비용적인 측면에서 아주 큰 경제적인 효과를 누릴 수 있다.
도 5는 도 1에 도시된 3D 영상변환장치의 동작을 도시한 플로우차트이다.
복수의 프레임을 포함하는 입력영상을 수신하고 (S210), 상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택한다(S220). 상기 제1프레임은 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 선택되는 적어도 어느 하나의 프레임이다. 상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하는 단계를 더 포함할 수 있다(S220). 또한 상기 제1프레임의 선택단계는 상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하는 단계와, 상기 키프레임 중의 제2오브젝트를 선택하고, 제2오브젝트에 대한 제2깊이정보를 생성하는 단계를 더 포함할 수 있다.
상기 제1오브젝트에 대하여 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성 및 표시하고(S230), 상기 표시된 UI를 통하여 상기 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택이 입력된다(S240).
상기 제1오브젝트에 대하여 상기 선택된 설정모드에 대응하는 제1깊이정보를 생성하고(S250), 상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링을 수행하여 3차원 영상을 생성하는 단계(S260)를 포함한다.
상기 생성된 3차원영상을 3D 영상변환장치(1)에서 표시하는 단계를 더 포함할 수 있다.
또는, 상기 생성된 3차원영상을 외부의 컨텐츠재생장치(미도시)로 전송하는 단계를 더 포함할 수 있다.
본 발명에 따른 3D 영상변환장치(1)에 의하여 구현되는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령형태로 구현되어 컴퓨터 판독 가능한 저장매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 저장매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독 또는 조합하여 포함할 수 있다. 상기 저장매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크, 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
1: 3D 영상변환장치 10: 수신부
20: 영상변환부 30: 디스플레이부
40: UI 생성부 50: 사용자입력부

Claims (21)

  1. 3D 영상변환장치에 의하여 구현되는 방법에 있어서,
    복수의 프레임을 포함하는 입력영상을 수신하는 단계와;
    상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하는 단계와;
    상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하는 단계와;
    상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택이 입력되는 단계와;
    상기 제1오브젝트에 대하여 상기 선택된 설정모드에 대응하는 제1깊이정보를 생성하는 단계와;
    상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 단계를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  2. 제1항에 있어서,
    상기 제1프레임의 선택단계는,
    상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하는 단계와;
    상기 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  3. 제2항에 있어서,
    상기 제1프레임의 선택단계는,
    상기 선택된 두 개의 키프레임 사이에 위치하는 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  4. 제2항에 있어서,
    상기 키프레임은, 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 선택되는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  5. 제2항에 있어서,
    상기 선택된 키프레임 중에서 제2오브젝트를 추출하는 단계와;
    상기 제2오브젝트에 대하여 제2깊이정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  6. 제1항에 있어서,
    상기 설정모드 선택입력단계는,
    상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성 및 표시하는 단계와;
    상기 표시된 UI로부터 상기 복수 개의 깊이정보 설정모드 중 어느 하나의 설정모드를 선택하는 사용자의 선택을 입력받는 단계를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  7. 제1항에 있어서,
    상기 복수 개의 깊이정보 설정모드는,
    상기 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 제1깊이정보를 생성하는 제1모드와;
    상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 제2모드와;
    상기 제2깊이정보에 대응하는 제1깊이정보를 생성하는 제3모드와;
    상기 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 제4모드를 포함하는 것을 특징으로 하는 3D 영상변환장치에 의하여 구현되는 방법.
  8. 컴퓨터로 실행가능한 명령으로 인코딩된 컴퓨터로 판독 가능한 저장 매체에 있어서, 프로세서에 의해 상기 명령이 수행될 때, 상기 명령은 입력 영상을 렌더링하기 위한 방법을 수행하고,
    상기 방법은,
    복수의 프레임을 포함하는 입력영상을 수신하는 단계와;
    상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하는 단계와;
    상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하는 단계와;
    상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택이 입력되는 단계와;
    상기 제1오브젝트에 대하여 상기 선택된 설정모드에 대응하는 제1깊이정보를 생성하는 단계와;
    상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 단계를 포함하는 컴퓨터 판독 가능한 저장매체.
  9. 제8항에 있어서,
    상기 제1프레임의 선택단계는,
    상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하는 단계와;
    상기 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  10. 제9항에 있어서,
    상기 제1프레임의 선택단계는,
    상기 선택된 두 개의 키프레임 사이에 위치하는 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  11. 제9항에 있어서,
    상기 키프레임은, 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 선택되는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  12. 제9항에 있어서,
    상기 선택된 키프레임 중에서 제2오브젝트를 추출하는 단계와;
    상기 제2오브젝트에 대하여 제2깊이정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  13. 제8항에 있어서,
    상기 설정모드 선택입력단계는,
    상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성 및 표시하는 단계와;
    상기 표시된 UI로부터 상기 복수 개의 깊이정보 설정모드 중 어느 하나의 설정모드를 선택하는 사용자의 선택을 입력받는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  14. 제1항에 있어서,
    상기 복수 개의 깊이정보 설정모드는,
    상기 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 제1깊이정보를 생성하는 제1모드와;
    상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 제2모드와;
    상기 제2깊이정보에 대응하는 제1깊이정보를 생성하는 제3모드와;
    상기 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 제4모드를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  15. 3D 영상변환장치에 있어서,
    복수의 프레임을 포함하는 입력영상을 수신하는 수신부와;
    상기 복수의 프레임 중에서 기 설정된 조건에 대응하는 제1 프레임을 선택하고, 상기 선택된 제1프레임 중에서 제1 오브젝트를 추출하고, 상기 제1 오브젝트에 대하여 복수 개의 깊이정보 설정모드 중에서 어느 하나의 설정모드의 선택에 대응하는 제1깊이정보를 생성하고, 상기 생성된 제1깊이정보 이용하여 상기 입력영상을 렌더링하는 영상변환부를 포함하는 것을 특징으로 하는 3D 영상변환장치.
  16. 제15항에 있어서,
    상기 영상변환부는,
    상기 복수의 프레임 중에서 적어도 하나의 키프레임을 선택하고,
    상기 복수의 프레임 중에서 키프레임이 아닌 나머지 프레임 중에서 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 것을 특징으로 하는 3D 영상변환장치.
  17. 제16항에 있어서,
    상기 영상변환부는,
    상기 선택된 두 개의 키프레임 사이에 위치하는 적어도 어느 하나의 프레임을 제1프레임으로 선택하는 것을 특징으로 하는 3D 영상변환장치.
  18. 제16항에 있어서,
    상기 키프레임은, 상기 복수의 프레임 중에서 씬 변화, 중요 오브젝트의 출현, 오브젝트의 움직임 변화량 중 적어도 어느 하나에 기초하여 선택되는 것을 특징으로 하는 3D 영상변환장치.
  19. 제16항에 있어서,
    상기 영상변환부는,
    상기 선택된 키프레임 중에서 제2오브젝트를 추출하고,
    상기 제2오브젝트에 대하여 제2깊이정보를 생성하는 것을 특징으로 하는 3D 영상변환장치.
  20. 제15항에 있어서,
    사용자 입력부와;
    상기 복수 개의 깊이정보 설정모드를 표시하는 UI를 생성하는 UI 생성부를 더 포함하고,
    상기 영상변환부는, 상기 UI를 통하여 상기 복수 개의 깊이정보 설정모드 중에서 사용자 선택에 의하여 선택된 어느 하나의 설정모드에 대응하는 제1깊이정보를 생성하는 것을 특징으로 하는 3D 영상변환장치.
  21. 제15항에 있어서,
    상기 복수 개의 깊이정보 설정모드는,
    상기 제1프레임의 이전 프레임에 적용된 깊이정보와 동일한 크기를 갖는 제1깊이정보를 생성하는 제1모드와;
    상기 제1프레임의 이전 프레임에 적용된 깊이정보보다 소정 범위 더 큰 제1깊이정보를 생성하는 제2모드와;
    상기 제2깊이정보에 대응하는 제1깊이정보를 생성하는 제3모드와;
    상기 제2깊이정보에 기초하여 소정 범위 증감되는 제1깊이정보를 생성하는 제4모드를 포함하는 것을 특징으로 하는 3D 영상변환장치.
KR1020110052378A 2011-05-31 2011-05-31 3ｄ 영상변환장치 그 구현방법 및 그 저장매체 KR20120133640A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110052378A KR20120133640A (ko) 2011-05-31 2011-05-31 3ｄ 영상변환장치 그 구현방법 및 그 저장매체
EP12160962A EP2530940A1 (en) 2011-05-31 2012-03-23 Apparatus and method for 3D image conversion and a storage medium thereof
CN201210116665XA CN102811362A (zh) 2011-05-31 2012-04-19 用于三维图像转换的设备和方法
US13/482,238 US8977036B2 (en) 2011-05-31 2012-05-29 Apparatus and method for 3D image conversion and a storage medium thereof
JP2012123528A JP2012253767A (ja) 2011-05-31 2012-05-30 ３ｄ映像変換装置、その具現方法及びその保存媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110052378A KR20120133640A (ko) 2011-05-31 2011-05-31 3ｄ 영상변환장치 그 구현방법 및 그 저장매체

Publications (1)

Publication Number Publication Date
KR20120133640A true KR20120133640A (ko) 2012-12-11

Family

ID=46025327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110052378A KR20120133640A (ko) 2011-05-31 2011-05-31 3ｄ 영상변환장치 그 구현방법 및 그 저장매체

Country Status (5)

Country Link
US (1) US8977036B2 (ko)
EP (1) EP2530940A1 (ko)
JP (1) JP2012253767A (ko)
KR (1) KR20120133640A (ko)
CN (1) CN102811362A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2525581A3 (en) * 2011-05-17 2013-10-23 Samsung Electronics Co., Ltd. Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
CN103413322B (zh) * 2013-07-16 2015-11-18 南京师范大学 序列视频关键帧提取方法
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639838B2 (en) * 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
KR101574068B1 (ko) * 2008-12-26 2015-12-03 삼성전자주식회사 영상 처리 방법 및 장치
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
US8351689B2 (en) * 2009-09-30 2013-01-08 Disney Enterprises, Inc. Apparatus and method for removing ink lines and segmentation of color regions of a 2-D image for converting 2-D images into stereoscopic 3-D images
TW201114244A (en) * 2009-10-15 2011-04-16 Chunghwa Picture Tubes Ltd Method for generating a 3D image
US8538135B2 (en) * 2009-12-09 2013-09-17 Deluxe 3D Llc Pulling keys from color segmented images
WO2011086560A1 (en) * 2010-01-14 2011-07-21 Humaneyes Technologies Ltd Method and system for adjusting depth values of objects in a three dimensional (3d) display
US8718356B2 (en) * 2010-08-23 2014-05-06 Texas Instruments Incorporated Method and apparatus for 2D to 3D conversion using scene classification and face detection
KR20120133571A (ko) * 2011-05-31 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치, 3ｄ 영상변환장치에 의해 구현되는 방법 및 그 저장매체
KR20120133951A (ko) * 2011-06-01 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 깊이정보 조정방법 및 그 저장매체

Also Published As

Publication number Publication date
EP2530940A1 (en) 2012-12-05
US20120308118A1 (en) 2012-12-06
JP2012253767A (ja) 2012-12-20
CN102811362A (zh) 2012-12-05
US8977036B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
US20130093760A1 (en) Apparatus and method for generating depth information
KR20130008746A (ko) 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
KR20100002033A (ko) 영상 데이터 출력 방법 및 장치와, 영상 데이터 디스플레이방법 및 장치
US20120306866A1 (en) 3d-image conversion apparatus, method for adjusting depth information of the same, and storage medium thereof
EP2525581A2 (en) Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
EP2544457A2 (en) 3D image processing apparatus, implementation method of the same and computer-readable storage medium thereof
KR20120133571A (ko) 3ｄ 영상변환장치, 3ｄ 영상변환장치에 의해 구현되는 방법 및 그 저장매체
EP2549764A1 (en) Input apparatus of display apparatus, display system and control method thereof
US9154772B2 (en) Method and apparatus for converting 2D content into 3D content
KR20120133640A (ko) 3ｄ 영상변환장치 그 구현방법 및 그 저장매체
US20130057647A1 (en) Apparatus and method for converting 2d content into 3d content
EP2525582A2 (en) Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
KR101859412B1 (ko) 컨텐츠변환장치 및 컨텐츠변환방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid