KR101754976B1 - 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치 - Google Patents

적층형 홀로그램용 콘텐츠 변환방법 및 변환장치 Download PDF

Info

Publication number
KR101754976B1
KR101754976B1 KR1020150077107A KR20150077107A KR101754976B1 KR 101754976 B1 KR101754976 B1 KR 101754976B1 KR 1020150077107 A KR1020150077107 A KR 1020150077107A KR 20150077107 A KR20150077107 A KR 20150077107A KR 101754976 B1 KR101754976 B1 KR 101754976B1
Authority
KR
South Korea
Prior art keywords
image
hologram
display panel
background image
reproduced
Prior art date
Application number
KR1020150077107A
Other languages
English (en)
Other versions
KR20160141446A (ko
Inventor
오병기
Original Assignee
주식회사 쓰리디팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리디팩토리 filed Critical 주식회사 쓰리디팩토리
Priority to KR1020150077107A priority Critical patent/KR101754976B1/ko
Priority to PCT/KR2015/009492 priority patent/WO2016195167A1/ko
Publication of KR20160141446A publication Critical patent/KR20160141446A/ko
Application granted granted Critical
Publication of KR101754976B1 publication Critical patent/KR101754976B1/ko

Links

Images

Classifications

    • H04N13/0044—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0018—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2250/00—Laminate comprising a hologram layer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명의 일 실시예는 하나의 2D 영상 콘텐츠로부터 적층형 홀로그램을 생성하기 위한 적층형 홀로그램용 콘텐츠 변환장치의 콘텐츠 변환방법으로서, 상기 2D 영상 콘텐츠로부터 미리 정해진 프레임 레이트에 따라 정지영상을 추출하는 단계와, 추출된 정지영상에 대하여, 하나 이상의 객체가 포함된 목적영상과 배경영상을 분리하는 단계와, 분리된 목적영상 및 배경영상 각각에 대하여 특정 맵을 사용하여 맵핑을 수행하는 단계와, 매핑된 목적영상 및 배경영상 각각에 대하여 심도와 입체값을 이용하여 다시점 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

적층형 홀로그램용 콘텐츠 변환방법 및 변환장치{CONTENTS CONVERT METHOD FOR LAYERED HOLOGRAM AND APPARATU}
본 발명은 적층형 홀로그램용 콘텐츠 변환방법, 장치 및 프로그램에 관한 것이다.
3차원(이하, 3D) 영상 기술은 기존의 2차원(이하, 2D) 영상과는 달리 사람이 보고 느끼는 실제 영상과 유사하여 시각 정보의 질적 수준을 높여주는 새로운 개념의 실감 영상 미디어로서 차세대 디지털 영상 문화를 주도하게 될 것으로 전망된다.
이와 같은 3D 입체영상은 여러 대의 카메라를 통해 직접 촬영함으로써 획득될 수도 있으나, 2D 평면영상을 입체감을 가지는 3D 입체영상으로 변환하는 방식을 통해 획득될 수도 있다.
2D 평면영상을 이용하여 3D 입체영상을 생성하는 경우, 2D 평면영상의 객체에 뎁스 정보를 부여함으로써, 2D 평면영상이 입체감을 3D 입체감 있는 영상으로 변환될 수 있도록 한다.
한편, 3D 입체영상을 다시점 무안경 3D(AS3D; AutoStereoscopic 3D)을 3차원 공간상에 표시하여 객체를 좀 더 사실적이고 일관되게 표현할 필요성의 증대에 따라, 복수의 3D 영상을 AS3D 영상으로 변환하는 기술이 이용되고 있다.
그러나, 다시점 AS3D 영상은 3D 영상을 다시점 입체영상으로 3차원 공간상에 통합하여 표시하는 것이므로, 한시점에서는 입체감이 약하고 다른 시점에서는 입체감이 비교적 강하게 되는 입체감의 일관성이 떨어지게 되는 문제가 발생하게 됨으로써 시청자로 하여금 시각적인 피로도를 발생시키거나, 어지러움을 느끼게 되는 고스트 현상을 발생시킨다.
전술한 바와 같이, 2D 영상 콘텐츠를 이용하여, 고스트 현상없이 입체감이 향상된 다시점 3D 입체영상을 디스플레이 하기 위한 콘텐츠를 제작하는 기술을 제시하는 것을 목적으로 한다.
전술한 목적을 달성하기 위하여, 본 발명의 일 실시예는 입체감이 향상된 홀로그램을 제공하기 위한 콘텐츠 제작 방안을 제시한다.
본 발명의 일 실시예는 하나의 2D 영상 콘텐츠로부터 적층형 홀로그램을 생성하기 위한 적층형 홀로그램용 콘텐츠 변환장치의 콘텐츠 변환방법으로서, 상기 2D 영상 콘텐츠로부터 미리 정해진 프레임 레이트에 따라 정지영상을 추출하는 단계와, 추출된 정지영상에 대하여, 하나 이상의 객체가 포함된 목적영상과 배경영상을 분리하는 단계와, 분리된 목적영상 및 배경영상 각각에 대하여 특정 맵을 사용하여 맵핑을 수행하는 단계와, 매핑된 목적영상 및 배경영상 각각에 대하여 심도와 입체값을 이용하여 다시점 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예는 상기 2D 영상 콘텐츠로부터 미리 정해진 프레임 레이트에 따라 정지영상을 추출하고, 추출된 정지영상에 대하여, 하나 이상의 객체가 포함된 목적영상과 배경영상을 분리하는 추출모듈과, 상기 목적영상 및 배경영상 각각에 대하여 특정 맵을 사용하여 맵핑을 수행하는 맵핑모듈과, 매핑된 목적영상 및 배경영상 각각에 대하여 다시점 영상을 생성하는 시점 변환 모듈을 포함하는 하나의 2D 영상 콘텐츠로부터 적층형 홀로그램을 생성하기 위한 적층형 홀로그램용 콘텐츠 변환장치를 제공하는 것을 특징으로 한다.
본 발명의 실시예에 따르면 하나의 2D 영상 콘텐츠를, 다시점 3D 영상 콘텐츠로 변환하여, 목적영상과 배경영상을 물리적으로 분리된 두개의 디스플레이에서 재생 가능하게 하여 어지러움이나 고스트 현상없이 입체감 높은 영상을 제공할 수 있다.
도 1은 본 발명에 따른 적층형 홀로그램용 콘텐츠 변환장치의 주요 구성을 도시한 블럭도면이다.
도 2는 본 명세서의 일 실시 예에 따르는 적층형 홀로그램용 콘텐츠 변환장치의 콘텐츠 변환방법의 흐름도이다.
도 3a 및 도 3b는 본 명세서의 일 실시 예에 따르는 목적영상 및 배경영상 생성을 설명하기 위한 예시도이다.
도 4는 본 명세서의 일 실시 예에 따른 맵핑을 설명하기 위한 흐름도이다.
도 5a 내지 도 5e는 본 명세서의 일 실시 예에 따르는 목적영상과 배경영상각각의 맵핑을 설명하기 위한 예시도이다.
도 6a 및 도 6b는 본 명세서의 일 실시 예에 따라 다시점 영상을 생성하는 방법을 설명하기 위한 예시도이다.
도 7은 본 명세서의 일 실시예에 따라 생성된 목적영상과 배경영상 콘텐츠의 포맷을 나타내는 예시도이다.
도 8은 본 명세서의 일 실시예에 따라 목적영상과 배경영상을 하나의 파일로 동기화하기 위한 방법을 설명하기 위한 예시도이다.
도 9는 본 명세서의 일 실시예에 따른 목적영상과 배경영상을 디스플레이하기 위한 셋업 방법을 설명하기 위한 예시도이다.
도 10은 본 명세서의 일 실시예에 따른 적층형 홀로그램 구현 시스템을 설치한 예시도이다.
도 11은 본 명세서의 다른 실시예에 따른 적층형 홀로그램 구현 시스템을 설치한 예시도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
설명에 앞서, 본 발명에서 혼용하는 '3D', '3차원', '입체'는 동일한 의미로 사용된다.
또한, 디스플레이 패널(display panel)은 사람이 볼 수 있는 영상을 총칭한 의미로 사용된다.
도 1은 본 발명에 따른 적층형 홀로그램용 콘텐츠 변환장치의 주요 구성에 대한 상세 구성도이다.
도시된 것과 같이, 본 발명에 따른 적층형 홀로그램용 콘텐츠 변환장치는 추출모듈(110), 맵핑모듈(120), 시점 변환 모듈(130) 및 동기화 모듈(140)을 포함한다.
위와 같은 구성부는 본 발명의 실시예에 따른 적층형 홀로그램용 콘텐츠 변환장치를 각 기능에 따라 구분하여 표현한 것으로 하나의 구성부가 복수의 구성부로 나뉘어져 구성되거나 복수의 구성부가 하나의 구성부로 통합되어 구현될 수도 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
추출모듈(110)은 2D 영상 콘텐츠의 동영상으로부터 정지영상인 목적영상과 배경영상을 생성한다. 이를 위해 추출 모듈(110)은 2D 영상 콘텐츠의 동영상으로부터 미리 정해진 프레임 레이트로 정지영상을 추출할 수 있다. 프레임 레이트는 초당 진행되는 프레임의 수를 말한다. 예컨대 TV의 경우 초당 30프레임, 영화의 경우 초당 24 프레임으로 구성된다. 이러한 초당 프레임은 사용자에 의해 선택, 변경, 저장 될 수 있다.
추출모듈(110)이 획득한 2D 영상 콘텐츠는 단일 시점 영상일 수 있다. 단일 시점 영상이란 촬영장치를 통하여 하나의 객체 및 배경을 동일한 위치에서 촬영하여 획득한 영상을 말한다.
추출모듈(110)은 추출한 정지영상에 대하여, 하나 이상의 객체가 포함된 목적영상을 분리한다. 목적영상이 분리되고 남은 부분이 배경영상이 된다.
맵핑모듈(120)은 2D 영상 콘텐츠를 3D 영상으로 변환한다. 보다 구체적으로, 맵핑모듈(120)은 추출모듈(110)에서 분리된 목적영상 및 배경영상 각각에 대하여 맵핑을 수행한다. 이 때 사용되는 맵은 상기 특정 맵은 뎁스(depth) 맵, 디스플레이스먼트 맵, 텍스쳐 맵 및 그들의 조합 중 적어도 어느 하나 이상일 수 있다.
또한 맵핑모듈(120)은 복수의 단일 시점 2D 영상을 복수의 3D 영상으로 변환하기 위하여 3D 영상 변환기 또는 3D 영상 변환 프로그램을 포함한 다양한 변환 기술을 이용하여 복수의 3D 영상으로 변환한다.
시점 변환 모듈(130)은 3D 영상으로 변환된 목적영상 및 배경영상 각각에 대하여 다시점 영상을 생성한다. 시점 변환 모듈(140)은 3차원 공간에 프로젝티브 리컨스트럭션을 통해서 3차원 공간에서 다시점 AS3D 영상을 랜더링한다.
따라서 시점 변환 모듈(130)은 복수의 3D 영상을 단일의 3차원 공간에 표시하여 다시점 AS3D 영상으로 변환한다.
동기화 모듈(140)은 원천 2D 영상 콘텐츠의 하나의 정지영상으로부터 분리되어 처리된 다시점 AS3D 목적영상과 다시점 AS3D 영상 배경영상을 동기화한다.
이하 도 2 내지 도 8을 참조하여 적층형 홀로그램용 콘텐츠 변환장치의 콘텐츠 변환방법을 설명한다.
도 2는 본 명세서의 일 실시 예에 따르는 적층형 홀로그램용 콘텐츠 변환장치의 콘텐츠 변환방법의 흐름도이다.
도 3 내지 도 6은 본 명세서의 일 실시 예에 따라 정지영상을 추출하는 방법을 설명하기 위한 예시도이다.
도 7은 본 명세서의 일 실시예에 따라 생성된 목적영상과 배경영상 콘텐츠의 포맷을 나타내는 예시도이다.
도 8은 본 명세서의 일 실시예에 따라 목적영상과 배경영상을 하나의 파일로 동기화하기 위한 방법을 설명하기 위한 예시도이다.
먼저 도 2를 참조하면, 단계 S210에서 적층형 홀로그램용 콘텐츠 변환장치가 획득한 하나의 2D 영상 콘텐츠로부터 미리 정해진 프레임 레이트에 따라 정지영상을 추출한다.
도 3a는 복수개의 정지영상이 추출된 모습을 예시하는 도면이다. 이와 같이 추출된 각각의 정지영상은 2D 콘텐츠이다.
이렇게 추출된 각각의 정지영상에 대하여 다음의 작업을 수행하게 된다.
다음, 단계 220에서 적층형 홀로그램용 콘텐츠 변환장치는 단계 210에서 추출한 정지영상에서 하나 이상의 객체를 목적영상으로서 추출하고, 추출되지 않은 배경을 배경영상으로 정의함으로써 목적영상과 배경영상을 분리한다.
이와 같이 분리하는데 사용되는 기술의 일 예로서 로토스코핑 기술이 있다.
실제 촬영한 영상을 바탕으로 하여 각각의 프레임 위에 덧붙여 그리는 기법으로서, 도 3b에 도시한 바와 같이 목적영상으로서 원하는 객체 예컨대 사람의 윤곽선을 CG 프로그램으로 그리고, 이 윤곽선을 기준으로 사람의 영상과 배경의 영상을 분리한다.
이 외에 프레임에서 특정영역을 추출하기 위하여, 옵티컬(optical flow) 방법, 객체 분포의 유사도를 이용하는 커널 기반의 민-시프트(mean-shift) 방법 및 객체의 경계선을 검출을 기반으로 하는 콘투어(contour) 추적방법 등이 있을 수 있다. 또한, 깊이값을 충분히 활용하여 교합이 발생한 경우에도 원활하게 추적할 수 있다.
2D 평면에서 분리된 각 객체의 뎁스 정보는 단순한 평면 형태를 나타내므로, 실제 객체를 표현하기 위한 방법이 필요하다. 단계 230과 단계 240은 이러한 실제 객체를 표현하기 위한 단계이다.
단계 230에서는 목적영상과 배경영상 각각에 대하여 맵핑을 수행한다. 이 단계를 통해 단순한 평면 형태의 2D 영상 콘텐츠가 3D 영상 콘텐츠로 변환된다.
맵핑을 수행에 대하여, 도 4를 참조하여 이하에 설명한다.
도 4는 본 발명의 일 실시예에 따른 맵핑을 설명하기 위한 흐름도이다.
먼저, 단계 231에서 작업을 수행할 영상이 배경영상인지 확인한다. 배경영상은 하나의 영상에서 목적영상을 분리한 나머지 영상이므로, 목적영상의 분리에 의해 도 5(a)에 도시한 바와 같은 빈 영역(601)이 형성되어 있다.
단계 232에서 상기 빈 영역(601) 주위의 픽셀 및 해당 영상의 전/후 프레임의 정보를 참조하여 도 5(b)와 같이 빈 영역(601)에 픽셀을 채운다.
단계 231에서 배경영상이 아닌 목적영상인 경우, 단계 232를 거치지 않고 바로 다음 단계인 단계 233으로 진행한다.
단계 233에서는 목적영상 또는 배경영상 중 어느 하나인 작업영상에 포함된 객체가 복수개인 경우 각 객체의 심도를 추출하고, 단계 234에서 심도값(깊이값)을 참조하여 객체를 재배치한다.
각 픽셀의 깊이값은 영상내 객체 사이의 3차원 거리 차이를 나타내며 0부터 255 사이의 값으로 표현된다. 거리가 가까울수록 0에 접근한다. 따라서, 작은 깊이값을 갖는 객체를 큰 깊이값을 갖는 객체보다 앞에 배치한다.
예컨대 도 5c에 도시한 바와 같이 제일 작은 깊이값을 갖는 객체(T1)를 제일 전면(앞)에 배치하고, 중간 깊이값을 갖는 객체(T2)를 중간에 배치하고, 제일 큰 깊이값을 갖는 객체(T3)를 제일 후면(뒤)에 배치한다.
이를 디스플레이 옆면에서 볼 때 도 5(d)에 도시한 바와 같이, 디스플레이 패널(D)을 중심으로 제일 작은 깊이값을 갖는 객체(T1)이 전면에 배치되고, 디스플레이 패널(D)에 중간 깊이값을 갖는 객체(T2)가 배치되고, 디스플레이 패널(D) 후면에 제일 큰 깊이값을 갖는 객체(T3)가 배치된다.
단계 234에서 재배치된 객체에 입체감을 부여하여 배경영상과 목적영상 각각을 3D 영상으로 형성한다. 이와 같이 입체감이 부여된 목적영상은 도 5(e)에 예시되어있다.
이 단계를 갖지 않으면 객체가 종이판 처럼 보이는 카드보드 현상(cardboard Effect)이 발생하게 된다.
다시 도 3을 참조하여, 단계 240에서 3D 목적영상과 3D 배경영상 각각을 다시점 영상(AS3D)으로 변환한다.
3D 목적영상과 3D 배경영상에 대하여 각각 복수개의 시점의 영상을 생성한다. 도 6a와 도 6b에 도시한 바와 같이 단일 시점의 영상에 기초하여 다시점 영상을 생성하기 위하여는 3D 목적영상과 3D 배경영상으로부터 변이맵, 움직임보상 정보, 객체분할 정보 등 3차원 영상 정보를 추출하여 N개의 가상 시점 영상을 생성한다.
단계 250에서 다시점 영상으로 변환된 AS3D 목적영상과 AS3D 배경영상을 동기화시킨다.
각 생성된 AS3D 목적영상과 AS3D 배경영상이 서로 분리된 화면에서 각각 재생되도록 목적영상의 래스터 파일과, 다시점 영상의 래스터 파일을 생성한다. 예컨대, 도 7에 도시한 바와 같이, 본 명세서의 일 실시예에서와 같이 목적영상과 배경영상이 각각 9 시점 영상으로서 생성되었다고 가정하면, 각 시점에 따라 생성된 래스터 파일은 9 타일(tile) 콘텐츠이고, 각 영상이 1280×720의 해상도를 갖는다고 가정한다.
각각 생성된 래스터 파일을 동기화하기 위하여, 도 8에 도시한 바와 같이, 목적영상용 콘텐츠의 각시점 영상과 배경영상용 콘텐츠의 각시점 영상을 한쌍의 타일로 묶어 새로운 9개의 타일로 생성할 수 있다. 예컨대 목적영상 콘텐츠의 1안영상과 배경영상 콘텐츠의 1안영상이 한쌍으로 묶여 합쳐진 1안 영상의 콘텐츠가 된다. 한쌍으로 묶인 각 시점 영상은 동기화를 위한 처리가 수행될 수도 있다. 예컨대, 목적영상 콘텐츠와 배경영상 콘텐츠는 임의의 단위마다의 시간정보를 포함할 수 있다. 재생시, 시간정보를 맞추어 동기를 맞출 수 있게 된다.
목적영상 콘텐츠와 배경영상 콘텐츠를 한 쌍으로 묶어 생성된 영상은 총 3840×4320의 해상도를 가질 수도 있고 7680×2160 일 수도 있다.
도 9는 본 명세서의 일 실시예에 따른 목적영상과 배경영상을 디스플레이하기 위한 셋업 방법을 설명하기 위한 예시도이다.
도 9의 (a)와 (b)에 도시한 바와 같이, 재생장치에 연결된 PC 등의 표시화면을 통해 디스플레이 설정을 수행할 수 있다. 제1 디스플레이 패널과 제2 디스플레이 패널에 목적영상과 배경영상을 각각 재생하기 위하여 디스플레이 2개를 확장모드로 설정한다.
본 명세서의 실시예에서는, 휘도가 시점 수에 비례하여 감소하고, 해상도 또한 시점 수에 따라 감소하기 때문에, 입체영상 어레이를 위한 콘텐츠 재생시 안정적인 영상을 획득하기 위해서 9안 방식의 디스플레이를 채택하였으나, 이에 한정되는 것은 아니다. 또한 9안 방식의 디스플레이를 채택한 경우, 4K(3840x2160) 이상의 고해상도 LCD 패널을 채택하는 것이, 휘도와 해상도가 저하되는 문제를 방지할 수 있다는 점에서 바람직하다.
도 10은 본 명세서의 일 실시예에 따른 적층형 홀로그램 구현 시스템을 설치한 예시도이다.
도 9에 도시한 바와 같이 분리된 2개의 디스플레이 패널 중 제1 디스플레이 패널(210)는 배경영상을 디스플레이하기 위해 뒷면에 세워지게 설치되고, 제2 디스플레이 패널은 제1 디스플레이 패널 앞의 천정이나 바닥면에 높여 목적영상을 출력한다. 이 때 제2 디스플레이 패널에 45도 각도로 마련된 투웨이 미러(TWO WAY MIRROR)에 의해 목적영상이 플로팅되어 홀로그램을 형성한다. 따라서, 제1 디스플레이 패널에 의해 출력되는 배경영상 앞에 목적영상이 서로 다른 깊이를 갖게 적층되어 표시되게 된다.
일반적으로 무안경 3d 디스플레이 패널에서 표현할 수 있는 깊이감은 최대 돌출(pop-out) 거리와 최대 깊이감(depth in) 거리가 된다. 최대 돌출(pop-out) 거리와 최대 깊이감(depth in) 거리는 각각 디스플레이 패널 높이(H)의 0.5배가 되어, 하나의 디스플레이에서 표현 가능한 최대 깊이감 거리는 디스플레이 패널 높이가 된다.
도 9에 도시된 바와 같이 분리된 디스플레이 패널에 의해 배경영상과 목적영상이 출력되는 경우, 제1 디스플레이 패널과 제2 디스플레 패널 간의 물리적 거리만큼 더 깊은 깊이감을 표현할 수 있게 되고, 이러한 물리적인 거리는 조절가능하다.
도 11은 본 명세서의 다른 실시예에 따른 적층형 홀로그램 구현 시스템을 설치한 예시도이다.
제1 디스플레이 패널(410)과 제2 디스플레이 패널(420)은 서로 하나의 평면 상에 높이게 되고, 각각에 45도 각도로 세워진 투웨이 미러가 마련된다.
시청자를 중심으로 더 뒷쪽에 배치된 제1 디스플레이 패널(410)에서 배경영상을 재생시키고, 더 앞쪽에 배치된 제2 디스플레이 패널(420)에서 목적영상을 재생시킨다.
제1 디스플레이 패널(410)에서 출력되는 배경영상은 제1 투웨이 미러(430)에 의해 플로팅되어 제1 홀로그램을 생성하고, 제2 디스플레이 패널(420)에서 출력되는 목적영상은 제2 투웨이 미러(440)에 의해 플로팅되어 제2 홀로그램을 생성한다.
이에 따라, 제1 홀로그램과 제2 홀로그램은 서로 다른 깊이감을 갖고 적층되게 표시된다.
즉, 제1 디스플레이 패널(410)과 제2 디스플레이 패널(420)의 물리적인 거리만틈 제1 홀로그램과 제2 홀로그램 사이에 깊이감을 추가로 부여할 수 있게 된다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 모듈을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 모듈을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.
한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
110 : 추출모듈
120 : 맵핑모듈
130 : 시점 변환 모듈
140 : 동기화 모듈

Claims (10)

  1. 하나의 2D 영상 콘텐츠로부터 적층형 홀로그램을 생성하기 위한 적층형 홀로그램용 콘텐츠 변환장치의 콘텐츠 변환방법으로서,
    상기 2D 영상 콘텐츠로부터 미리 정해진 프레임 레이트에 따라 정지영상을 추출하는 단계;
    추출된 정지영상에 대하여, 하나 이상의 객체가 포함된 목적영상과 배경영상을 분리하는 단계;
    분리된 목적영상 및 배경영상 각각에 대하여 특정 맵을 사용하여 맵핑을 수행하는 단계;
    매핑된 목적영상 및 배경영상 각각에 대하여 심도와 입체값을 추출하여 다시점 영상을 생성하는 단계; 및
    생성된 목적영상의 다시점 영상과 배경영상의 다시점 영상을 하나의 파일로 묶은 후, 래스터 파일을 생성하고, 생성된 목적영상용 래스터 파일과 배경영상용 래스터 파일을 동기화시킴으로써 재생영상을 생성하는 단계
    를 포함하고,
    상기 재생영상에서 배경영상은 제1 디스플레이 패널에서 재생되고, 상기 재생영상에서 목적영상은 제2 디스플레이에서 재생되며, 제1 디스플레이 패널은 제2 디스플레이 보다 뒷면에 세워지게 설치되고, 제2 디스플레이 패널은 제1 디스플레이 패널 앞의 천정이나 바닥면에 놓이고, 제2 디스플레 패널에 비스듬히 마련된 투웨이 미러에 의해 제2 디스플레이 패널에서 재생되는 목적영상이 제1 디스플레이 패널에서 재생되는 배경 영상 앞에 플로팅되어 홀로그램을 형성하는 적층형 홀로그램용 콘텐츠 변환방법.
  2. 제1항에 있어서,
    분리된 목적영상 및 배경영상에 대하여 특정 맵을 사용하여 맵핑을 수행하는 단계는,
    상기 목적영상 및 배경영상에 포함된 하나 이상의 객체에 대하여 각 픽셀의 깊이값을 추출하는 단계; 및
    추출된 깊이값이 작은 객체를 깊이값이 큰 객체보다 전면에 재배치하는 단계
    를 포함하는 것을 특징으로 하는 적층형 홀로그램용 콘텐츠 변환방법.
  3. 제2항에 있어서,
    상기 목적영상에 포함된 하나 이상의 객체에 대하여 각 픽셀의 깊이값을 추출하는 단계 이전에,
    목적영상이 분리된 배경영상의 빈 영역에 빈 영역의 경계 주위의 픽셀을 참조하여 픽셀을 채우는 단계
    를 포함하는 것을 특징으로 하는 적층형 홀로그램용 콘텐츠 변환방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 특정 맵은 뎁스(depth) 맵, 디스플레이스먼트 맵, 텍스쳐 맵 및 그들의 조합중 적어도 어느 하나 이상인 것을 특징으로 하는 적층형 홀로그램용 콘텐츠 변환방법.
  6. 삭제
  7. 하나의 2D 영상 콘텐츠로부터 적층형 홀로그램을 생성하기 위한 적층형 홀로그램용 콘텐츠 변환장치로서,
    상기 2D 영상 콘텐츠로부터 미리 정해진 프레임 레이트에 따라 정지영상을 추출하고, 추출된 정지영상에 대하여, 하나 이상의 객체가 포함된 목적영상과 배경영상을 분리하는 추출모듈;
    상기 목적영상 및 배경영상 각각에 대하여 특정 맵을 사용하여 맵핑을 수행하는 맵핑모듈;
    매핑된 목적영상 및 배경영상 각각에 대하여 다시점 영상을 생성하는 시점 변환 모듈; 및
    생성된 목적영상의 다시점 영상과 배경영상의 다시점 영상을 하나의 파일로 묶은 후, 래스터 파일을 생성하고, 생성된 목적영상용 래스터 파일과 배경영상용 래스터 파일을 동기화시킴으로써 재생영상을 생성하는 동기화 모듈
    을 포함하고,
    상기 재생영상 중 배경영상은 제1 디스플레이 패널에서 재생되고, 상기 재생영상 중 목적영상은 제2 디스플레이에서 재생되며, 제1 디스플레이 패널은 제2 디스플레이 보다 뒷면에 세워지게 설치되고, 제2 디스플레이 패널은 제1 디스플레이 패널 앞의 천정이나 바닥면에 놓이고, 제2 디스플레 패널에 비스듬히 마련된 투웨이 미러에 의해 제2 디스플레이 패널에서 재생되는 목적영상이 제1 디스플레이 패널에서 재생되는 배경 영상 앞에 플로팅되어 홀로그램을 형성하는 적층형 홀로그램용 콘텐츠 변환장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 추출모듈은 매핑을 수행하기 이전 목적영상이 분리된 배경영상의 빈 영역에 빈 영역의 경계 주위의 픽셀을 참조하여 픽셀을 채우는 것을 특징으로 하는 적층형 홀로그램용 콘텐츠 변환장치.
  10. 제7항에 있어서,
    상기 맵핑모듈은 영상에 포함된 하나 이상의 객체에 대하여 각 픽셀의 깊이값을 추출하고, 추출된 깊이값이 작은 객체를 깊이값이 큰 객체보다 전면에 배치하는 것을 특징으로 하는 적층형 홀로그램용 콘텐츠 변환장치.
KR1020150077107A 2015-06-01 2015-06-01 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치 KR101754976B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150077107A KR101754976B1 (ko) 2015-06-01 2015-06-01 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
PCT/KR2015/009492 WO2016195167A1 (ko) 2015-06-01 2015-09-09 적층형 홀로그램용 콘텐츠 변환방법, 변환장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150077107A KR101754976B1 (ko) 2015-06-01 2015-06-01 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치

Publications (2)

Publication Number Publication Date
KR20160141446A KR20160141446A (ko) 2016-12-09
KR101754976B1 true KR101754976B1 (ko) 2017-07-06

Family

ID=57441403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150077107A KR101754976B1 (ko) 2015-06-01 2015-06-01 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치

Country Status (2)

Country Link
KR (1) KR101754976B1 (ko)
WO (1) WO2016195167A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071392A (zh) * 2016-12-23 2017-08-18 网易（杭州）网络有限公司 图像处理方法和装置
KR20180116708A (ko) * 2017-04-17 2018-10-25 주식회사 쓰리디팩토리 적층형 홀로그램용 콘텐츠 제공방법 및 제공장치
KR20240093270A (ko) * 2022-12-15 2024-06-24 한국전자기술연구원 사용자 단말의 동영상 촬영 기능을 이용한 홀로그램 제작 방법 및 상기 방법에 의해 제작된 홀로그램 보안 코드를 판독하기 위한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451236B1 (ko) * 2014-03-03 2014-10-15 주식회사 비즈아크 3차원 영상 변환 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100533328B1 (ko) * 2003-06-27 2005-12-05 한국과학기술연구원 2차원 이미지로부터 3차원 이미지를 생성하는 방법
KR20100036683A (ko) * 2008-09-30 2010-04-08 삼성전자주식회사 영상 출력 방법 및 장치
KR101356544B1 (ko) * 2012-03-29 2014-02-19 한국과학기술원 3차원 입체영상 생성 방법 및 장치
KR20140003741A (ko) * 2012-06-26 2014-01-10 세종대학교산학협력단 입체 컨텐츠 제작 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451236B1 (ko) * 2014-03-03 2014-10-15 주식회사 비즈아크 3차원 영상 변환 방법 및 그 장치

Also Published As

Publication number Publication date
WO2016195167A1 (ko) 2016-12-08
KR20160141446A (ko) 2016-12-09

Similar Documents

Publication Publication Date Title
US8471898B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
EP2347597B1 (en) Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
JP4489610B2 (ja) 立体視可能な表示装置および方法
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
CN102905145B (zh) 立体影像***、影像产生方法、影像调整装置及其方法
CN106296781B (zh) 特效图像生成方法及电子设备
AU2018249563B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
CN102932662B (zh) 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
WO2018090923A1 (zh) 显示处理方法及装置、终端
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
KR101754976B1 (ko) 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
JP2015534745A (ja) 立体画像の生成、送信、及び受信方法、及び関連する装置
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
KR101121979B1 (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及***
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
KR20120087867A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
Jeong et al. Depth image‐based rendering for multiview generation
KR20110091377A (ko) 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체
US10475233B2 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
KR101937127B1 (ko) 3d 디스플레이의 영상 정보 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right