KR20160135660A - 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치 - Google Patents

헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR20160135660A
KR20160135660A KR1020160058227A KR20160058227A KR20160135660A KR 20160135660 A KR20160135660 A KR 20160135660A KR 1020160058227 A KR1020160058227 A KR 1020160058227A KR 20160058227 A KR20160058227 A KR 20160058227A KR 20160135660 A KR20160135660 A KR 20160135660A
Authority
KR
South Korea
Prior art keywords
image
user
position state
electronic device
images
Prior art date
Application number
KR1020160058227A
Other languages
English (en)
Inventor
방건
이광순
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN201610637582.3A priority Critical patent/CN109361913A/zh
Publication of KR20160135660A publication Critical patent/KR20160135660A/ko

Links

Images

Classifications

    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H04N13/0011—
    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

입체 영상을 제공하기 위한 방법 및 장치가 제공된다. 입체 영상을 제공하는 전자 장치는 사용자의 위치에 따라 선택적으로 가상 시점의 영상을 생성한다. 영상 합성부는 전자 장치에 제공된 영상을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하고, 디스플레이부는 위치 상태에 대응하는 영상을 출력한다. 위치 상태에 대응하는 영상은 가상 지점의 영상을 포함할 수 잇고, 전자 장치에게 제공된 영상을 포함할 수 있다.

Description

헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING 3-DIMENSION IMAGE TO HEAD MOUNT DISPLAY}
아래의 실시예들은 영상 처리를 하기 위한 방법 및 장치에 관한 것으로 보다 상세히는 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법이 개시된다.
최근에 헤드-마운트 디스플레이(Head-Mount Display; HMD)에 관련된 기술이 발전함에 따라, 최신의 기술을 적용한 HMD들이 소개되고 있다.
특히, 최근의 HMD은, 사용자가 HMD를 착용하면, 사용자의 머리의 움직임을 실시간으로 감지할 수 있고, 머리가 어느 방향으로 움직이든지 그 방향에서의 시각(view)을 제공한다.
또한, HMD는 좌측 렌즈 및 우측 렌즈를 갖는다. 죄측 렌즈 및 우측 렌즈의 각각은 오목하게 굽어진 파노라마 디스플레이 영상을 제공한다. 이러한 파노라마 디스플레이 영상은 넓은 시야 각(viewing angle)을 제공하며, 사용자는 자신의 눈동자를 움직여도 가상 현실의 디스플레이를 볼 수 있다.
예를 들면, 최근의 HMD는 사용자의 머리의 움직임을 인지하는 트래킹 기술을 사용하며, 사용자의 양 눈들에 제공되는 양안식(stereoscopic) 영상을 생성한다. 사용자의 시점(view point)에 대응하는 양안식 영상을 제공함에 따라 HMD는 사용자가 자신이 가상 현실에 들어와 있다는 착각을 하게 할 수 있다.
전술된 것과 같은 HMD가 멀티-뷰(multi-view) 영상을 제공하는 방법으로서, 멀티-뷰 카메라에 의해 촬영된 영상들을 서로 간에 이어 붙임으로써 2개의 양안식 영상을 생성하는 방법이 일반적으로 사용된다.
이러한 방법에 있어서, 아래와 같은 문제가 발생할 수 있다. 1) 우선, 이어 붙여진 영상을 생성하기 위해서는 이웃하는 영상들 간의 상관 관계가 이용되어야 한다. 2) 또한, 영상의 매 프레임마다 영상들을 서로 간에 이어 붙이는 작업이 요구된다. 3) 또한, 고정된 해상도에 기반하여 이어 붙여진 영상을 생성해야 하기 때문에, 원본 영상의 해상도에 비해 제공되는 영상의 해상도가 더 감소되는 화질 저하가 발생한다.
일 실시예는 사용자의 시점에 따라 가상 시점의 영상을 선택적으로 생성하는 장치 및 방법을 제공할 수 있다.
일 측에 있어서, 전자 장치가 사용자에게 입체 영상을 제공하는 방법에 있어서, 상기 전자 장치에게 제공된 영상을 사용하여 상기 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하는 단계; 및 상기 위치 상태에 대응하는 영상을 출력하는 단계를 포함하고, 상기 위치 상태에 대응하는 영상은 상기 가상 시점의 영상을 포함하는 영상 제공 방법이 제공된다.
상기 위치 상태에 대응하는 영상은 상기 전자 장치에게 제공된 영상을 포함할 수 있다.
상기 위치 상태에 대응하는 영상은 상기 사용자의 좌안에 제공되는 좌측 영상 및 상기 사용자의 우안에 제공되는 우측 영상을 포함할 수 있다.
상기 좌측 영상의 시점 및 상기 우측 영상의 시점은 서로 다를 수 있다.
상기 좌측 영상의 시점 및 상기 우측 영상의 시점은 상기 사용자의 양안들 사이의 간격에 기반하여 결정될 수 있다.
상기 위치 상태는 상기 사용자에게 최초로 제공되는 영상의 시점을 기준으로 상기 사용자의 위치를 트래킹하는 정보일 수 있다.
상기 영상 제공 방법은, 상기 사용자의 머리의 움직임을 인식함으로써 상기 위치 상태를 생성하는 단계를 더 포함할 수 있다.
상기 위치 상태는 상기 사용자의 머리의 좌측 또는 우측으로의 이동의 변위을 나타내는 정보를 포함할 수 있다.
상기 위치 상태는 상기 사용자의 머리의 좌측 또는 우측으로의 회전을 나타내는 정보를 포함할 수 있다.
상기 가상 시점이 상기 제공된 영상의 하나 이상의 영상들 중 하나의 영상의 시점과 동일한 경우, 상기 하나 이상의 영상들 중 상기 가상 시점과 동일한 시점의 영상이 그대로 상기 가상 시점의 영상으로서 사용될 수 있다.
상기 위치 상태에 대응하는 영상은 하나 이상의 시점들의 하나 이상의 영상들일 수 있다.
상기 제공된 영상은 하나 이상의 시점들의 하나 이상의 영상들일 수 있다.
상기 가상 시점의 영상을 생성하는 단계는 상기 위치 상태에 대응하는 하나 이상의 영상들의 시점들 중 적어도 하나의 영상이 상기 하나 이상의 제공된 영상들의 하나 이상의 시점들 중 어느 시점과도 동일하지 않을 경우에 수행될 수 있다.
상기 영상 제공 방법은, 상기 위치 상태가 변화하였는지 여부를 판단하는 단계; 및 상기 위치 상태의 변화에 따라 카메라 파라미터를 업데이트하는 단계를 더 포함할 수 있다.
상기 카메라 파라미터를 업데이트하는 단계는, 상기 사용자의 머리의 좌측 또는 우측으로의 이동에 따라 상기 카메라 파라미터를 업데이트하는 단계를 포함할 수 있다.
상기 카메라 파라미터를 업데이트하는 단계는, 상기 사용자의 머리의 좌측 또는 우측으로의 회전에 따라 상기 카메라 파라미터를 업데이트하는 단계를 포함할 수 있다.
상기 위치 상태의 변화는 기준 시점을 기준으로 상기 사용자의 좌측 또는 우측으로의 이동에 따른 위치 이동의 변위를 나타낼 수 있다.
상기 위치 상태의 변화는 기준 시점을 기준으로 상기 사용자의 좌측 또는 우측으로의 회전에 따른 회전 각을 나타낼 수 있다.
상기 카메라 파라미터는 x 축으로의 초점 거리 및 y 축으로의 초점 거리를 포함하는 행렬일 수 있다.
상기 제공된 영상은 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)의 멀티-뷰 영상일 수 있다.
상기 제공된 영상은 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)의 스티치된 영상일 수 있다.
상기 가상 시점의 영상은 상기 제공된 영상에 대응하는 깊이 맵(depth map)을 사용하여 생성될 수 있다.
상기 가상 시점의 영상은 상기 제공된 영상에 대응하는 변위 맵(disparity map)을 사용하여 생성될 수 있다.
다른 일 측에 있어서, 전자 장치에 있어서, 상기 전자 장치에게 제공된 영상을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하는 영상 합성부; 및 상기 위치 상태에 대응하는 영상을 출력하는 디스플레이부를 포함하고, 상기 위치 상태에 대응하는 영상은 상기 가상 시점의 영상을 포함하는 전자 장치가 제공된다.
다른 일 측에 있어서, 헤드 마운트 디스플레이에 있어서, 상기 헤드 마운트 디스플레이에게 제공된 영상을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하는 영상 합성부; 및 상기 위치 상태에 대응하는 영상을 출력하는 디스플레이부를 포함하고, 상기 위치 상태에 대응하는 영상은 상기 가상 시점의 영상을 포함하는 헤드 마운트 디스플레이가 제공된다.
사용자의 시점에 따라 가상 시점의 영상을 선택적으로 생성하는 장치 및 방법이 제공된다.
도 1은 일 실시예에 따른 입체 영상을 제공하는 전자 장치의 구조도이다.
도 2는 일 예에 따른 HMD를 사용하는 전자 장치를 도시한다.
도 3은 일 예에 따른 HMD로서 구현된 전자 장치를 도시한다.
도 4는 일 예에 따른 전자 장치에 제공되는 영상을 설명한다.
도 5는 일 실시예에 따른 전자 장치 사용자에게 영상을 제공하는 방법의 흐름도이다.
도 6은 일 예에 따른 가상 시점의 영상이 요구되는지 여부를 판단하는 방법의 흐름도이다.
도 7은 일 실시예에 따른 3차원 영상 시스템의 구조를 설명한다.
도 8은 일 예에 따른 중간 뷰 합성을 통한 멀티-뷰 디스플레이를 설명한다.
도 9는 사용자의 머리의 움직임에 따른 스티치된 영상을 도시한다.
도 10은 일 실시예에 따른 전자 장치를 구현하는 컴퓨터 시스템을 도시한다.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
실시예에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 실시예에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않으며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다. 어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기의 구성요소들은 상기의 용어들에 의해 한정되어서는 안 된다. 상기의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하여 지칭하기 위해서 사용된다. 예를 들어, 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 실시예들에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소가 분리된 하드웨어나 하나의 소프트웨어 구성 단위로만 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열된 것이다. 예를 들면, 구성요소들 중 적어도 두 개의 구성요소들이 하나의 구성요소로 합쳐질 수 있다. 또한, 하나의 구성요소가 복수의 구성요소들로 나뉠 수 있다. 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예 또한 본질에서 벗어나지 않는 한 권리범위에 포함된다.
또한, 일부의 구성요소는 본질적인 기능을 수행하는 필수적인 구성요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성요소일 수 있다. 실시예들은 실시예의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 예를 들면, 단지 성능 향상을 위해 사용되는 구성요소와 같은, 선택적 구성요소가 제외된 구조 또한 권리 범위에 포함된다.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시예들을 상세히 설명하기로 한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
아래의 실시예에서, 영상은 한 순간(time)의 시각적 정보를 의미할 수 있다. 아래의 실시예에서의 단계들에서 처리되는 영상은 한 순간의 시각적 정보일 수 있다. 예를 들면, 영상은 시각 t에서의 프레임(frame)일 수 있다. 비디오는 하나 이상의 영상들을 포함될 수 있다. 비디오의 하나 이상의 영상들은 시계열적인 순서를 가질 수 있다.
아래의 실시예들의 단계들은 시간의 흐름에 따라 반복적으로 수행될 수 있다. 단계들이 반복되어 수행됨에 따라, 일련의 영상들이 순차적으로 처리될 수 있다.
아래의 실시예들에서, "깊이(depth)" 및 "변위(disparity)"는 서로 역의 관계를 가질 수 있다. 말하자면, 픽셀이 특정한 대상을 나타낼 때, 픽셀의 "깊이"는 픽셀의 "변위"의 역수일 수 있다. 실시예들에서, "깊이(depth)" 및 "변위(disparity)"는 서로 대체되어 사용될 수 있다.
아래의 실시예들에서, "깊이 맵"은 "깊이 영상"과 동일한 의미로 사용될 수 있다.
"깊이 맵"은 대응하는 영상에 대하여 픽셀의 깊이 값을 나타낼 수 있다. 예를 들면, "깊이 맵" 및 "영상"의 서로 동일한 좌표 값들을 갖는 픽셀들에 있어서, "영상"의 픽셀의 픽셀 값은 픽셀이 나타내는 대상의 색상을 나타낼 수 있고, "깊이 맵"의 픽셀의 픽셀 값은 픽셀이 나타내는 대상의 시점으로부터의 거리를 나타낼 수 있다.
아래의 실시예들에서, "변위 맵"은 "변위 영상"과 동일한 의미로 사용될 수 있다.
"변위 맵"은 대응하는 영상에 대하여 픽셀의 변위 값을 나타낼 수 있다. 예를 들면, "변위 맵" 및 "영상"의 서로 동일한 좌표 값들을 갖는 픽셀들에 있어서, "영상"의 픽셀의 픽셀 값은 픽셀이 나타내는 대상의 색상을 나타낼 수 있고, "변위 맵"의 픽셀의 픽셀 값은 픽셀이 나타내는 대상의 변위를 나타낼 수 있다. 대상의 변위는 대상의 시점으로부터의 거리의 역수를 나타낼 수 있다.
도 1은 일 실시예에 따른 입체 영상을 제공하는 전자 장치의 구조도이다.
전자 장치(100)는 영상 수신부(110), 영상 디코딩부(115), 트래킹부(120), 영상 합성부(130) 및 디스플레이부(140)를 포함할 수 있다.
디스플레이부(140)는 좌측 디스플레이부(141) 및 우측 디스플레이부(142)를 포함할 수 있다.
영상 수신부(110)는 외부로부터 제공되는 멀티-뷰 영상 및 깊이 맵을 수신할 수 있다. 영상 수신부(110)는 제공된 멀티-뷰 영상 및 깊이 맵을 영상 합성부(130)로 전송할 수 있다.
전자 장치(100)에게 제공된 영상은 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)의 멀티-뷰 영상일 수 있다. 또한, 전자 장치(100)에게 제공된 영상은 HEVC의 스티치된(stitched) 영상일 수 있다.
외부로부터 제공된 영상은 인코드된(encoded) 영상일 수 있다. 예를 들면, 영상 수신부(110)는 외부로부터 비트스트림(bitstream)을 수신할 수 있고, 외부로부터 제공된 멀티-뷰 영상 및 깊이 맵은 비트스트림 내에서 인코드된 데이터, 엔트로피(entropy) 인코드된 데이터 및 압축된(compressed) 데이터일 수 있다.
영상 디코딩부(115)는 인코딩된 제공된 영상에 대해, 디코딩을 수행함으로써 디코드된 영상을 생성할 수 있다. 이하, 영상 합성부(130)에서 사용되는 제공된 영상은 영상 디코딩부(115)에 의해 생성된 디코드된 영상일 수 있다.
예를 들면, 영상 디코딩부(115)는 인코드된 멀티-뷰 영상 및 인코드된 깊이 맵에 대한 디코딩을 수행하여 디코드된 멀티-뷰 영상 및 디코드된 깊이 맵을 생성할 수 잇다. 이하, 영상 합성부(130)에 의해 사용되는 멀티-뷰 영상 및 깊이 맵은 영상 디코딩부(115)에 의해 생성된 디코드된 멀티-뷰 영상 및 디코드된 깊이-맵일 수 있다.
예를 들면, 영상 디코딩부(115)는 HEVC의 멀티-뷰 영상 및 깊이 맵에 대해 HEVC에 따른 디코딩을 수행함으로써 디코드된 멀티-뷰 영상 및 디코드된 깊이 맵을 생성할 수 있다. 디코드된 멀티-뷰 영상 및 디코드된 깊이-맵은 아래에서 설명된 가상 시점의 영상의 합성에 적합할 수 있다. 영상 디코딩부(115)는 HEVC의 스티치된 영상에 대해 HEVC에 따른 디코딩을 수행함으로써 디코드된 영상을 생성할 수 있다. 디코드된 영상은 아래에서 설명된 가상 시점의 영상의 합성에 적합할 수 있다.
트래킹부(120)는 위치 상태의 신호를 생성할 수 있다. 위치 상태의 신호는 위치 상태를 나타내는 정보를 포함할 수 있다.
위치 상태에 따라 요구되는 시점이 결정될 수 있다. 예를 들면, 사용자의 위치 및/또는 자세에 따라서 전자 장치(100)가 어떤 시점의 영상을 사용자에게 제공해야 하는 지가 결정될 수 있다.
위치 상태는 사용자의 머리의 위치를 트래킹하는 정보일 수 있다. 예를 들면, 위치 상태는 좌우 이동 위치 및 회전 위치의 상태를 트래킹할 수 있다. 또는, 예를 들면, 예를 들면, 위치 상태는 전자 장치(100)의 사용자의 머리의 위치(position) 및/또는 자세(pose)를 나타낼 수 있다. 사용자의 머리의 위치 및/또는 자세는 사용자의 머리가 부착된 전자 장치(100) 또는 트래킹부(120)의 위치 및/또는 자세를 의미할 수 있다. 이하에서, 사용자의 머리의 위치 및/또는 자세는 전자 장치(100)의 위치 및/또는 자세 또는 트래킹부(120)의 위치 및/또는 자세로 대체될 수 있다.
위치 상태는 전자 장치(100)에 의해 최초로 디스플레이되는 영상의 시점을 기준으로 사용자의 위치를 트래킹하는 정보일 수 있다. 또는, 위치 상태는 사용자에게 최초로 제공되는 영상의 시점을 기준으로 사용자의 위치를 트래킹하는 정보일 수 있다. 예를 들면, 위치 상태는 전자 장치(100)에 의해 최초로 디스플레이되는 영상의 시점 또는 사용자에게 최초로 제공되는 영상의 시점을 기준으로 사용자의 좌우 이동 위치 및/또는 회전 위치의 상태를 트래킹할 수 있다.
영상 합성부(130)는 요구되는 시점의 영상을 생성할 수 있다. 요구되는 시점은 전자 장치(100)에서 출력되는 입체 영상의 시점일 수 있다. 사용자 또는 사용자의 머리의 위치에 따라, 전자 장치(100)에서 출력되는 입체 영상의 시점이 결정될 수 있다. 말하자면, 요구되는 시점은 사용자 또는 사용자의 머리의 위치 및/또는 자세에 따른 시점일 수 있다. 또는, 요구되는 시점은 전자 장치(100)의 위치 및/또는 자세에 따른 시점일 수 있다.
입체 영상은 복수의 시점들의 영상들을 포함할 수 있다. 영상 합성부(120)는 요구되는 복수의 시점들의 각 시점의 영상을 생성할 수 있다.
요구되는 시점이 외부로부터 전자 장치(100)에게 멀티-뷰 영상의 하나 이상의 영상들 중 하나의 영상의 시점과 동일한 경우, 영상 합성부(130)는 멀티-뷰 영상의 하나 이상의 영상들 중 요구되는 시점과 동일한 시점의 영상을 그대로 요구되는 시점의 영상으로서 사용할 수 있다.
요구되는 시점이 외부로부터 제공된 멀티-뷰 영상의 시점과 다른 경우, 영상 합성부(130)는 멀티-뷰 영상 및 깊이 맵을 사용하여 가상 시점의 영상을 생성할 수 있다. 여기에서, 가상 시점은 요구되는 시점 중 멀티-뷰 영상의 시점과 상이한 시점을 의미할 수 있다.
영상 합성부(130)는 멀티-뷰 영상의 하나 이상의 영상들 중 가상 영상과 이웃하는 영상을 사용하여 가상 시점의 영상을 생성할 수 있다. 영상 합성부(130)는 멀티-뷰 영상의 하나 이상의 영상들 중, 가상 시점과 가장 가까운 시점의 영상을 사용하여 가상 시점의 영상을 생성할 수 있다. 또는, 영상 합성부(130)는 멀티-뷰 영상의 하나 이상의 영상들 중, 가상 시점과 좌측 또는 우측으로 가장 가까운 시점의 영상을 사용하여 가상 시점의 영상을 생성할 수 있다. 또는, 영상 합성부(130)는 멀티-뷰 영상의 하나 이상의 영상들 중, 가상 시점과 좌측으로 가장 가까운 시점의 영상 및 가상 시점과 우측으로 가장 가까운 시점의 영상을 사용하여 가상 시점의 영상을 생성할 수 있다.
전자 장치(100)의 사용자는 자신의 양안들을 통해 입체 영상을 인식하 수 있다. 말하자면, 사용자에게 입체 영상을 제공하기 위한, 요구되는 시점은 2개일 수 있다. 요구되는 시점은 사용자의 좌측 눈에 대한 시점인 좌측 시점 및 사용자의 우측 눈에 대한 시점인 우측 시점을 포함할 수 있다.
영상 합성부(130)는 좌측 시점이 멀티-뷰 영상의 시점과 다른 경우, 좌측 시점의 영상을 생성할 수 있다. 또한, 영상 합성부(130)는 우측 시점이 멀티-뷰 영상의 시점과 다른 경우, 우측 시점의 영상을 생성할 수 있다.
디스플레이부(140)는 요구되는 시점의 영상을 출력할 수 있다. 좌측 디스플레이부(141)는 좌측 시점의 영상을 출력할 수 있다. 우측 디스플레이부(142)는 우측 시점의 영상을 출력할 수 있다.
멀티-뷰 영상의 구성
멀티-뷰 영상은 하나 이상의 영상들을 포함할 수 있다. 전술된 설명에서, 요구되는 시점이 멀티-뷰 영상의 시점과 동일하다는 것은 요구되는 시점이 멀티-뷰 영상의 하나 이상의 시점들 중 하나의 시점과 동일하다는 것을 의미할 수 있다. 또는, 요구되는 시점이 멀티-뷰 영상의 시점과 동일하다는 것은 요구되는 시점이 멀티-뷰 영상이 요구되는 시점의 영상을 포함한다는 것을 의미할 수 있다. 요구되는 시점이 멀티-뷰 영상의 시점과 다르다는 것은 요구되는 시점이 멀티-뷰 영상의 하나 이상의 시점들 중 어떤 시점도 요구되는 시점과 동일하지 않다는 것을 의미할 수 있다. 또는, 요구되는 시점이 멀티-뷰 영상의 시점과 다르다는 것은 요구되는 시점이 멀티-뷰 영상이 요구되는 시점과 동일한 시점의 영상을 포함하지 않는다는 것을 의미할 수 있다.
하나 이상의 영상들의 각 영상은 특정한 시점에서의 영상일 수 있다. 하나 이상의 영상들의 시점들은 서로 상이할 수 있다. 말하자면, 멀티-뷰 영상의 하나 이상의 영상들은 하나 이상의 카메라들이 객체(object) 및 배경(background)을 서로 다른 하나 이상의 위치에서 촬영함으로써 생성된 영상들일 수 있다. 촬영된 객체 및 배경은 영상에서 픽셀들로서 표현될 수 있다.
멀티-뷰 영상과 함께, 멀티-뷰 영상에 대응하는 깊이 맵이 전자 장치(100)로 제공될 수 있다. 멀티-뷰 영상의 픽셀 및 깊이 맵의 픽셀은 서로 대응할 수 있다. 서로 대응하는 멀티-뷰 영상의 픽셀 및 깊이 맵의 픽셀에 있어서, 멀티-뷰 영상의 픽셀의 픽셀 값은 촬영된 지점의 색상을 나타낼 수 있고, 깊이 맵의 픽셀의 픽셀 값은 촬영된 지점의 카메라로부터의 거리를 나타내는 깊이 값(depth value)일 수 있다. 또는, 깊이 맵의 픽셀의 픽셀 값은 촬영된 지점의 카메라로부터의 거리의 역을 나타내는 변위 값(disparity value)일 수 있다.
하나 이상의 영상들의 각 영상은 입체 영상일 수 있다. 각 영상이 입체 영상일 경우, 각 영상은 컬러 영상 및 깊이 맵을 포함할 수 있다.
컬러 영상 및 깊이 맵에 있어서, 컬러 영상의 한 픽셀 및 깊이 맵의 한 픽셀은 서로 대응할 수 있다. 예를 들면, 컬러 영상 및 깊이 맵에서, 동일한 좌표를 갖는 컬러 영상의 픽셀 및 깊이 맵의 픽셀은 서로 대응할 수 있다. 서로 대응하는 컬러 영상의 픽셀 및 깊이 맵의 픽셀에 있어서, 컬러 영상의 픽셀의 픽셀 값은 촬영된 지점의 색상을 나타낼 수 있고, 깊이 맵의 픽셀의 픽셀 값은 촬영된 지점의 카메라로부터의 거리를 나타내는 깊이 값(depth value)일 수 있다.
또는, 깊이 맵의 픽셀의 픽셀 값은 촬영된 지점의 카메라로부터의 거리의 역을 나타내는 변위 값(disparity value)일 수 있다.
영상 수신부(110), 영상 디코딩부(115), 트래킹부(120), 영상 합성(130) 및 디스플레이부(140)의 동작 및 기능에 대해서 아래에서 상세하게 설명된다.
선택적인 디코딩
영상 디코딩부(115)가 인코드된 멀티-뷰 영상의 하나 이상의 영상들 모두에 대해 디코딩을 수행하는 것은 과도한 연산량을 요구할 수 있다. 영상 디코딩부(115)가 인코드된 영상에 대한 디코딩을 수행함에 있어서, 영상 디코딩부(115)는 소정의 조건에 해당하는 영상에 대해서만 선택적으로 디코딩을 수행할 수 있다. 예를 들면, 영상 디코딩부(115)는 인코드된 멀티-뷰 영상의 하나 이상의 영상들 중, 요구되는 시점의 영상을 사용자에게 제공되기 위해 요구되는 영상에 대해서만 선택적으로 디코딩을 수행할 수 있다.
예를 들면, 영상 디코딩부(115)는 인코드된 멀티-뷰 영상의 하나 이상의 영상들 중, 1) 가상 시점의 영상을 생성하기 위해 사용되는 영상 및 2) 요구되는 시점과 동일한 시점의 영상에 대해서만 선택적으로 디코딩을 수행할 수 있다.
영상 디코딩부(115)가 인코드된 멀티-뷰 영상의 하나 이상의 영상들에 대해 선택적으로 디코딩을 수행하기 위해, 영상 합성부(130)는 영상의 선택을 위한 정보를 영상 디코딩부(115)로 전송할 수 있다. 영상의 선택을 위한 정보는, 인코드된 멀티-뷰 영상의 하나 이상의 영상들 중 영상 디코딩부(115)가 디코딩을 수행해야 하는 영상(들)을 나타낼 수 있다. 또는, 영상의 선택을 위한 정보는, 인코드된 멀티-뷰 영상의 하나 이상의 영상들 중 영상 합성부(130)에 의해 선택된 영상(들)을 나타낼 수 있다.
영상 합성부(130)는 멀티-뷰 영상의 하나 이상의 영상들 중 어떤 영상이 요구되는 시점의 영상을 제공하기 위해 요구되는지를 도출할 수 있고, 멀티-뷰 영상의 하나 이상의 영상들 중 어떤 영상이 요구되는 시점의 영상을 제공하기 위해 요구되는가에 따라서 영상의 선택을 위한 정보를 생성할 수 있다.
도 2는 일 예에 따른 HMD를 사용하는 전자 장치를 도시한다.
영상 수신부(110), 영상 디코딩부(115), 트래킹부(120), 영상 합성(130) 및 디스플레이부(140)의 적어도 일부는 각각 별개의 장치일 수 있다.
영상을 제공하는 동작 이전에, 영상 합성(130)는 영상 수신부(110), 영상 디코딩부(115), 트래킹부(120) 및 디스플레이부(140)의 각각과 서로 간에 연결될 수 있다.
사용자에게 입체 영상을 제공하기 위해 HMD가 사용될 수 있다. 예를 들면, 디스플레이부(140)는 HMD일 수 있다. 좌측 디스플레이(141)는 HMD의 좌측 렌즈일 수 있다. 우측 디스플레이(142)는 HMD의 우측 렌즈일 수 있다.
도 3은 일 예에 따른 HMD로서 구현된 전자 장치를 도시한다.
전자 장치(100)는 HMD일 수 있다. 예를 들면, 영상 수신부(110), 영싱디코딩부(115), 트래킹부(120), 영상 합성(130) 및 디스플레이부(140)는 HMD내의 부품일 수 있다.
도 4는 일 예에 따른 전자 장치에 제공되는 영상을 설명한다.
외부에서부터 전자 장치(100)로 영상이 제공될 수 있다. 전자 장치(100)에게 제공되는 영상은 멀티-뷰 영상일 수 있다. 또한, 전자 장치(100)에게 제공되는 영상은 멀티-뷰 및 깊이 맵일 수 있다.
전자 장치(100)에게 제공되는 영상은 네트워크(410)를 통해 전자 장치(100)로 전송될 수 있다.
예를 들면, 전자 장치(100)에게 제공되는 영상은 멀티-뷰 카메라에 의해 생성된 멀티-뷰 영상일 수 있다. 도 4에서, 멀티-뷰 카메라로서, 제1 카메라(420) 및 제2 카메라(430)가 도시되었다. 멀티-뷰 카메라는 카메라 어레이(array)일 수 있다.
또는, 예를 들면, 전자 장치(100)에게 제공되는 영상은 컴퓨터 그래픽(Computer Graphic; CG) 및/또는 실사의 멀티-뷰 영상일 수 있다. CG 및/또는 실사의 멀티-뷰 영상은 다른 전자 장치에 의해 생성될 수 있다.
전자 장치(100)에게 제공되는 영상은 압축된 영상일 수 있다.
도 5는 일 실시예에 따른 전자 장치 사용자에게 영상을 제공하는 방법의 흐름도이다.
단계(510)에서, 영상 수신부(110)는 전자 장치(100)에게 제공되는 영상을 수신할 수 있다.
전자 장치(100)에게 제공된 영상은 하나 이상일 수 있다. 전자 장치(100)에게 제공된 하나 이상의 영상들의 하나 이상의 시점들은 서로 상이할 수 있다. 말하자면, 전자 장치(100)에게 제공되는 영상은 멀티-뷰 영상일 수 있다.
전자 장치(100)에게 제공된 영상은 하나 이상의 시점들의 하나 이상의 영상들 수 있다. 예를 들면, 전자 장치(100)에게 제공되는 영상은 멀티-뷰 영상일 수 있다. 또한, 전자 장치(100)에게 제공되는 영상은 깊이 맵을 포함할 수 있다.
전자 장치(100)에게 제공된 복수의 영상들 중 적어도 일부는 실제 시점의 영상일 수 있다. 실제 시점의 영상은 특정한 시점에 대응하는 위치에 배치된 카메라에 의해 촬영된 영상일 수 있다.
단계(515)에서, 영상 디코딩부(115)는 인코드된 제공된 영상에 대해 디코딩을 수행함으로써 디코드된 영상을 생성할 수 있다.
이하에서, 전자 장치(100)에게 제공된 영상은 영상 디코딩부(115)에 의해 디코드된 영상을 나타낼 수 있다.
단계(520)에서, 트래킹부(120)는 사용자의 위치 상태의 정보를 획득할 수 있다. 트래킹부(120)는 사용자의 머리의 움직임을 인식함으로써 위치 상태를 생성할 수 있다.
예를 들면, 위치 상태는 사용자의 위치 및 자세를 나타내는 정보를 포함할 수 있다. 사용자의 위치 및 자세는 사용자의 머리의 위치 및 자세를 나타낼 수 있다. 이하에서는, "사용자의 위치 및 자세" 및 "사용자의 머리의 위치 및 자세"는 서로 간에 대체될 수 있다.
예를 들면, 위치 상태는 사용자의 위치 상태의 변화를 나타낼 수 있다. 위치 상태는 트래킹부(120)는 위치 상태의 변화를 감지할 수 있고, 위치 상태 또는 위치 상태의 변화를 나타내는 위치 상태의 정보를 생성할 수 있다. 위치 상태는 사용자의 머리의 이동 및 회전을 나타낼 수 있다. 위치 상태는 사용자의 머리의 좌측 또는 우측으로의 이동의 변위를 나타내는 정보를 포함할 수 있다. 위치 상태는 사용자의 머리의 좌측 또는 우측으로의 회전을 나타내는 정보를 포함할 수 있다.
영상 합성부(130)는 트래킹부(120)로부터 위치 상태의 정보를 획득할 수 있다. 영상 합성부(130)는 획득된 위치 상태에 기반하여 요구되는 시점을 계산할 수 있다. 요구되는 시점은 사용자의 위치 상태에 따라서 사용자에게 제공되어야 하는 영상의 시점을 나타낼 수 있다.
단계(530)에서, 영상 합성부(130)는 사용자의 위치 상태에 대응하는 가상 시점의 영상이 요구되는지 여부를 판단할 수 있다.
가상 시점의 영상이 요구될 경우, 단계(540)가 수행될 수 있다. 가상 시점의 영상이 요구되지 않는 경우, 단계(550)가 수행될 수 있다.
예를 들면, 위치 상태에 대응하는 영상이 하나 이상이고, 전자 장치(100)에게 제공된 영상이 하나 이상일 때, 가상 시점의 영상을 생성하는 단계(540)는 위치 상태에 대응하는 하나 이상의 영상들의 시점들 중 적어도 하나의 시점이 하나 이상의 전자 장치(100)에 제공된 영상들의 하나 이상의 시점들 중 어느 시점과도 동일하지 않을 경우에 수행될 수 있다. 말하자면, 가상 시점의 영상을 생성하는 단계(540)는 전자 장치(100)에 제공된 하나 영상들로는, 사용자의 위치 상태에 대응하는 시점의 영상이 제공되지 못할 때, 상기의 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하기 위해 수행될 수 있다.
단계(530)에서, 아래에서 도 6을 참조하여 더 상세하게 설명된다.
단계(540)에서, 영상 합성부(130)는 전자 장치(100)에게 제공된 영상을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성할 수 있다.
영상 합성부(130)는 가상 시점의 영상을 생성함에 있어서 깊이 맵을 사용할 수 있다. 영상 합성부(130)는 전자 장치(100)에게 제공된 영상 및 제공된 영상에 대응하는 깊이 맵을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성할 수 있다. 또는, 영상 합성부(130)는 사용자의 머리의 위치에 대응하는 카메라 파라미터를 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성할 수 있다.
가상 시점의 영상은 전자 장치(100)에게 제공된 영상의 시점과는 다른, 새로운 시점일 수 있다. 말하자면, 영상 합성부(130)는 전자 장치(100)에게 제공된 영상을 사용하여 가상 시점의 영상을 합성할 수 있다.
단계(540)가 수행되면, 다음으로 단계(540)에서 생성된 가상 시점의 영상을 제공하기 위해 단계(550)가 수행될 수 있다.
단계(550)에서, 디스플레이부(140)는 사용자의 위치 상태에 대응하는 영상을 출력할 수 있다.
영상의 출력에 있어서, 디스플레이부(140)는 전자 장치(100)에게 제공된 영상 및 가상 시점의 영상 중 어떤 영상을 출력할지를 결정할 수 있다. 디스플레이부(140)는 전자 장치(100)에게 제공된 하나 이상의 영상들 중 가상 시점의 영상과 함께 출력될 영상을 결정할 수 있다.
단계(540)가 수행된 경우, 위치 상태에 대응하는 영상은 가상 시점의 영상을 포함할 수 있다.
단계(550)가 수행되지 않은 경우, 위치 상태에 대응하는 영상은 단계(510)에서 전자 장치(100)에게 제공된 영상일 수 있다.
또한, 위치 상태에 대응하는 영상은 하나 이상의 시점들의 하나 이상의 영상들일 수 있다. 예를 들면, 사용자의 위치 상태에 따라, 2개의 영상들이 각각 사용자의 좌안 및 우안에 제공될 수 있다. 위치 상태에 대응하는 영상은 사용자의 좌안에 제공되는 좌측 영상 및 사용자의 우안에 제공되는 우측 영상을 포함할 수 있다.
위치 상태에 대응하는 복수의 영상들의 복수의 시점들은 서로 다를 수 있다. 예를 들면, 좌측 영상의 시점 및 우측 영상의 시점은 서로 다를 수 있다. 영상 합성부(130)는 사용자의 양안들 사이의 간격에 기반하여 좌측 영상의 시점 및 우측 영상의 시점 간의 차이를 결정할 수 있다.
위치 상태에 대응하는 영상이 복수인 경우, 적어도 일부의 영상은 가상 시점의 영상일 수 있다. 또한, 복수의 영상들 중 가상 시점의 영상을 제외한 나머지의 영상은 전자 장치(100)에게 제공된 영상일 수 있다. 말하자면, 위치 상태에 대응하는 영상은 1) 가상 시점의 영상 및 2) 전자 장치(100)에게 제공된 영상을 포함할 수 있다.
영상의 출력은 영상의 데이터를 외부로 출력하는 것을 의미할 수 있다. 또는, 영상의 출력은 영상을 사용자의 시각을 통해 인지될 수 있는 형태로 출력하는 것을 의미할 수 있다.
도 6은 일 예에 따른 가상 시점의 영상이 요구되는지 여부를 판단하는 방법의 흐름도이다.
도 5를 참조하여 전술된 단계(530)는 후술될 단계들(610, 620, 630, 640 650, 660 및 670)을 포함할 수 있다.
단계(610)에서, 영상 합성부(130)는 사용자의 위치 상태가 변화하였는지 여부를 판단할 수 있다.
위치 상태의 변화는 전자 장치(100)에 의해 출력되는 영상의 시점을 기준으로 결정될 수 있다. 전자 장치(100)에 의해 출력되는 영상의 시점은 기준 시점일 수 있다. 위치 상태의 변화는 기준 시점을 기준으로 사용자의 좌측 또는 우측으로의 이동에 따른 위치 이동의 변위를 나타낼 수 있다. 위치 상태의 변화는 기준 시점을 기준으로 사용자의 좌측 또는 우측으로의 회전에 따른 회전 각을 나타낼 수 있다. 또는, 위치 상태의 변화는 위치 이동의 변위 및/또는 회전 각을 나타낼 수 있다.
위치 상태가 변화한 경우, 변화된 위치에 따른 처리가 요구된다.
사용자의 위치 상태가 변한 것으로 판단된 경우, 단계(620)가 수행될 수 있다. 사용자의 위치 상태가 변하지 않은 것으로 판단된 경우, 단계(670)가 수행될 수 있다.
단계(620)에서, 영상 합성부(130)는 위치 상태의 변화에 따라 카메라 파라미터를 업데이트할 수 있다.
단계(620)는 단계들(630, 640, 650 및 660)을 포함할 수 있다. 단계(620)의 적어도 일부로서, 단계(630) 및 단계(650)가 각각 수행될 수 있다.
단계(630)에서, 영상 합성부(130)는 위치 상태가 사용자의 머리의 좌측 또는 우측으로의 이동을 나타내는지 여부를 판단할 수 있다.
위치 상태가 사용자의 머리의 좌측 또는 우측으로의 이동을 나타내는 경우, 단계(640)가 수행될 수 있다. 위치 상태가 사용자의 머리의 좌측 또는 우측으로의 이동을 나타내지 않는 경우, 단계(670)가 수행될 수 있다.
단계(640)에서, 영상 합성부(130)는 사용자의 머리의 좌측 또는 우측으로의 이동에 따라 카메라 파라미터를 업데이트할 수 있다. 업데이트된 카메라 파라미터는 사용자의 머리의 좌측 또는 우측으로의 이동을 반영할 수 있다.
단계(640)가 수행되면, 다음으로 단계(670)가 수행될 수 있다.
단계(650)에서, 영상 합성부(130)는 위치 상태가 사용자의 머리의 좌측 또는 우측으로의 회전을 나타내는지 여부를 판단할 수 있다.
위치 상태가 사용자의 머리의 좌측 또는 우측으로의 회전을 나타내는 경우, 단계(660)가 수행될 수 있다. 위치 상태가 사용자의 머리의 좌측 또는 우측으로의 회전을 나타내지 않는 경우, 단계(670)가 수행될 수 있다.
단계(660)에서, 영상 합성부(130)는 사용자의 머리의 좌측 또는 우측으로의 회전에 따라 카메라 파라미터를 업데이트할 수 있다. 업데이트된 카메라 파라미터는 사용자의 머리의 좌측 또는 우측으로의 회전을 반영할 수 있다.
단계(640)가 수행되면, 다음으로 단계(670)가 수행될 수 있다.
전술된 단계들(630, 640, 650 및 660)은 단지 예시적인 것일 수 있다. 예를 들면, 단계들(630 및 640)은 단계들(650 및 660)의 이전 또는 이후에 수행될 수 있다. 또는, 예를 들면, 단계들(630 및 650)가 수행된 후, 단계(640 및 660)가 한 번에 또는 나뉘어서 수행될 수 있다. 단계(640 및 650)가 한 번에 수행될 경우, 영상 합성부(130)는 사용자의 머리의 좌측 또는 우측으로의 이동 및/또는 회전에 따라 카메라 파라미터를 업데이트할 수 있다.
단계(670)에서, 영상 합성부(130)는 위치 상태가 나타내는 시점이 전자 장치(100)에게 제공된 영상의 시점과 동일한지 여부를 판단할 수 있다. 또는, 영상 합성부(130)는 전자 장치(100)에게 제공된 멀티-뷰 영상의 하나 이상의 시점들 중 위치 상태가 나타내는 시점과 동일한 시점이 존재하는지 여부를 판단할 수 있다.
동일한 시점이 존재하는 경우, 도 5를 참조하여 전술된 단계(540)가 수행될 수 있다. 단계(540)에서, 영상 합성부(130)는 전자 장치(100)에게 제공된 영상 및 카메라 파라미터를 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성할 수 있다.
동일한 시점이 존재하지 않는 경우, 도 5를 참조하여 전술된 단계(550)가 수행될 수 있다.
아래에서는 일 예에 따른 가상 시점의 영상의 합성 방법이 설명된다.
사용자가 전자 장치(100) 또는 HMD를 착용하고 자신의 머리를 좌측 또는 우측으로 회전하거나, 세로 방향으로 움직일 수 있다. 트래킹부(120)에 의해 감지되는 위치 상태는 사용자의 좌측 또는 우측으로의 회전을 나타내는 R hmd 및 사용자의 세로 방향으로의 이동을 나타내는 T hmd 를 포함할 수 있다. 또한, 위치 상태는 전자 장치(100) 또는 HMD를 착용하는 사용자가 바라보는 방향을 나타내는 시야각 F를 포함할 수 있다. 말하자면, 전자 장치(100) 또는 HMD가 가상 카메라로서 어떤 사물을 바라보고 있는 것으로 간주될 수 있다.
특정한 시점 v에서의 카메라 파라미터는 아래의 수학식 1, 2 및 3과 같이 표현될 수 있다.
Figure pat00001
행렬 K는 내부 카메라 파라미터를 나타낼 수 있다.
여기에서, f x 는 x 축으로의 초점 거리를 나타낼 수 있다. f y 는 y 축으로의 초점 거리를 나타낼 수 있다. C x 는 영상 평면(image plane)의 주점(principle point)의 x 좌표를 나타낼 수 있다. C y 는 영상 평면의 주점의 y 좌표를 나타낼 수 있다.
Figure pat00002
수학식 2에서, 행렬 R은 카메라의 회전 행렬을 나타낼 수 있다.
Figure pat00003
수학식 3에서, 행렬 T는 카메라의 위치를 나타낼 수 있다. 행렬 T가 나타내는 카메라의 위치는 월드 좌표계(world coordinate) 상의 위치일 수 있다.
영상 합성부(130)는 월드 좌표 상의 좌표 값 (x, y, z)을 특정한 시점 v의 임의의 점으로 투영(project) 시킬 수 있다.
월드 좌표 상의 좌표 값 (x, y, z)의 가상 시점 v의 임의의 점으로의 투영은 아래의 수학식 4와 같이 표현될 수 있다.
Figure pat00004
좌표 (x v , y v )는 가상 시점 v에서의 점을 나타낼 수 있다.
수학식 4에 따르면, 가상 시점 v에서의 깊이 값이 알려져 있으면, 영상 합성부(130)는 가상 시점 v에서의 깊이 값을 사용하는 재투영(re-projection)을 통해 월드 좌표 상의 좌표 값 (x, y, z)를 획득할 수 있다.
영상 합성부(130)는 좌표 값 (x, y, z)에 대하여 가상 시점 v의 내부 파라미터 K' 및 외부 파라미터 (R' | T')를 적용함으로써 기상 시점 v'에서의 좌표 값 (x', y')을 획득할 수 있다.
사용자 또는 전자 장치(100)의 움직임에 대한 트래킹에 의해 변경되는 값들 T'은 이동 거리 T hmd 및 이동 방향 부호
Figure pat00005
로 표현될 수 있다. 이동 방향 부호
Figure pat00006
는 좌측 또는 우측으로의 이동에 따른 부호를 나타낼 수 있다.
이동 거리 T hmd 는 아래의 수학식 5와 같이 표현될 수 있다.
Figure pat00007
Figure pat00008
의 값은 -1 또는 1일 수 있다.
사용자 또는 전자 장치(100)의 움직임에 대한 트래킹에 의해 변경되는 값들 T'은 아래의 수학식 6과 같이 표현될 수 있다.
Figure pat00009
R hmd 는 x 축을 중심으로
Figure pat00010
만큼 회전하는 것으로 간주될 수 있다. 상기의 간주에 따라 R hmd 는
Figure pat00011
로 변경될 수 있다. 또한, R hmd 는 아래의 수학식 7과 같이 표현될 수 있다.
Figure pat00012
영상 합성부(130)는 아래의 수학식 8에 따라, 트래킹에 의해 생성되는 가상 시점 v'를 생성할 수 있다.
Figure pat00013
전술된 가상 시점 생성 방법은 일 예이다. 영상 합성부(130)는 입력된 위치 상태 및 다양한 보간(interpolation) 방법을 사용하여 가상 시점을 생성할 수 있다.
도 7은 일 실시예에 따른 3차원 영상 시스템의 구조를 설명한다.
3차원(Dimension; D) 영상 시스템은 송신기 및 수신기를 포함할 수 있다.
수신기는 3D 비디오 인코더를 포함할 수 있다.
수신기는 3D 수신기, 스테레오 수신기 및 2D 수신기를 포함할 수 있다. 3D 수신기는 3D 비디오 디코더를 포함할 수 있다. 스테레오 수신기는 스테레오 비디오 디코더를 포함할 수 있다. 2D 수신기는 2D 비디오 디코더를 포함할 수 있다.
송신기는 스테레오 카메라, 깊이 카메라, 멀티-뷰 카메라 및 2D 영상의 3D 영상으로의 변환 등을 이용하여 멀티-뷰 영상의 콘텐츠를 획득할 수 있다. 멀티-뷰 영상의 영상들의 시점들의 개수는 M일 수 있다. M은 2 이상의 정수일 수 있다.
멀티-뷰 영상은 M개의 시점들의 영상들을 포함할 수 있다. 도 7에서, M개의 시점들의 영상들은 비디오 픽처들로서 도시되었다. 비디오 픽처는 비디오의 특정한 시점에서의 영상을 나타낼 수 있다.
또한, 멀티-뷰 영상은 M개의 시점들의 영상들의 깊이 맵들을 포함할 수 있다. 또한, 멀티-뷰 영상은 카메라와 관련된 부가 정보를 포함할 수 있다.
멀티-뷰 영상은 멀티-뷰 비디오 인코딩 방법에 의해 압축될 수 있다. 압축된 멀티-뷰 영상의 비트스크림은 네트워크를 통해 송신기로부터 수신기로 전송될 수 있다.
수신기는 멀티-뷰 비디오 디코딩 방법을 사용하여 전송된 비트스크림에 대한 디코딩을 수행할 수 있다. 디코딩에 의해 M개 시점들의 영상들이 복원될 수 있다.
수신기는 수신기에 맞는 디스플레이를 사용하여 M개 시점들의 영상들을 출력할 수 있다.
3D 수신기는 멀티-뷰 영상을 사용하는 중간 뷰 합성을 사용하여 멀티-뷰 영상이 포함하지 않은 시점의 영상을 생성할 수 있다. 중간 뷰 합성에 대해 아래에서 도 8을 참조하여 상세하게 설명된다.
도 8은 일 예에 따른 중간 뷰 합성을 통한 멀티-뷰 디스플레이를 설명한다.
도 8에서는, 디코드된 멀티-뷰-깊이(Multi View-Depth; MVD) 데이터가 도시되었다. 전자 장치(100)에게 제공된 영상은 3개의 영상들 및 3개의 깊이 맵들을 포함할 수 있다. 도 8에서, 전자 장치(100)에서 제공된 영상들 및 깊이 맵들은 V1, D1, V5, D5, V9 및 D9를 포함할 수 있다.
영상 합성부(130)는 디코드된 MVD 데이터로부트 복원된 M개의 시점들의 영상들에 깊이 맵 기반 랜더링(Depth-Image Based Rendering; DIBR)을 적용함으로써 가상 시점의 영상들 V2, V3, V4, V6, V7 및 V8을 생성할 수 있다.
DIBR은 멀티-뷰 영상 및 깊이 맵을 사용하는 3D 와핑(warping)을 사용하여 가상 시점의 영상을 생성하는 방법일 수 있다. DIBR의 하나로서 보편적으로 사용되는 방법은, 특정한 시점에 해당하는 카메라 파라미터 및 깊이 맵을 사용하여 좌표 값을 3차원 좌표계로 이동시킬 수 있고, 3차원 좌표계로 이동된 좌표 값을 다시 가상 시점으로 투영할 수 있다.
DIBR의 2 단계의 과정들은 다음과 같을 수 있다. 1) 제1 단계에서, 특정한 시점의 영상의 한 점은 월드 좌표계로 투영된다. 상기의 투영에 있어서, 깊아 맵의 대응하는 점의 깊이 값을 사용될 수 있다. 2) 제2 단계에서, 월드 좌표계로 투영된 접은 가상 시점의 가상 카메라의 이미지 평면 상의 가상 지점에 다시 투영될 수 있다.
영상 합성부(130)는 전자 장치(100)에게 제공된 영상 및 가상 시점의 영상을 포함하여 N개의 시점들의 영상들을 제공할 수 있다. N은 M 이상의 정수일 수 있다.
영상 합성부(130)는 N개의 시점들의 영상들 중 사용자의 위치에 따라 요구되는 시점의 영상을 제공할 수 있다. 도 8에서는, 제1 위치, 제2 위치 및 제3 위치의 각각에 대해서, 사용자의 우안 및 좌안의 각각에 요구되는 영상이 제공되는 것이 도시되었다.
N개의 시점들의 영상들은 다양한 멀티-뷰 3D 디스플레이 장치에 맞춰 재생될 수 있다. 재생을 통해 사용자에게 입체감이 있는 영상이 제공될 수 있다.
멀티-뷰 디스플레이에서 제공하는 시점의 개수가 증가할 수록, 합성을 요구하는 가상 시점의 영상의 개수도 증가할 수 있다. 이러한 증가는, 많은 계산 량을 요구할 수 있다. 전술된 실시예에서, 전자 장치(100)는 가상 시점의 영상의 합성을 선택적으로 수행함으로써 가상 시점의 영상의 제공을 위한 계산 량을 감소시킬 수 있다.
영상 합성부(130)는 멀티-뷰 영상에 포함된 N 개의 영상들 및 상기의 영상에 대응하는 N개의 깊이 맵들을 이용하여 M개의 시점들의 영상들을 제공할 수 있다. 영상 합성부(130)는 가능한 모든 가상 시점의 영상을 생성하지 않고, 트래킹부(120)에 의해 획득된 위치 상태를 이용하여 요구되는 시점의 영상만을 생성할 수 있다. 이러한 생성 방식은, 무안경 멀티-뷰 디스플레이가 모든 시점들의 가상 영상들을 합성하기 위해 요구되는 방대한 계산 량을 감소시킬 수 있다. 또한, 영상 합성부(130)는 선택적으로 가상 시점의 영상을 생성함에 따라, 원본 영상에 비한 영상의 해상도 저하 또는 영상의 왜곡을 감소시킬 수 있다.
도 9는 사용자의 머리의 움직임에 따른 스티치된 영상을 도시한다.
전술된 것과 같이, 사용자, 사용자의 머리 또는 전자 장치(100)의 움직임에 따라, 사용자에게 제공되어야 할 영상의 시점이 변경될 수 있다. 합성에 의해, 합성된 뷰들이 사용자에게 제공될 수 있다.
예를 들면, 사용자의 머리가 좌측으로 이동하면, 영상 합성부(130)는 좌측 스티치된(stitched) 영상을 생성할 수 있다. 또는, 사용자의 머리가 우측으로 이동하면, 영상 합성부(130)는 우측 스티치된 영상을 생성할 수 있다.
도 10은 일 실시예에 따른 전자 장치를 구현하는 컴퓨터 시스템을 도시한다.
전자 장치(100)는 도 10에서 도시된 컴퓨터 시스템(1000)으로서 구현될 수 있다.
도 10에서 도시된 바와 같이, 컴퓨터 시스템(1000)는 처리부(1010), 통신부(1020), 메모리(1030), 저장소(1040) 및 버스(1090) 중 적어도 일부를 포함할 수 있다. 처리부(1010), 통신부(1020), 메모리(1030) 및 저장소(1040) 등과 같은 컴퓨터 시스템(1000)의 구성요소들은 버스(1090)를 통해 서로 간에 통신할 수 있다.
처리부(1010)는 메모리(1030) 또는 저장소(1040)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 예를 들면, 처리부(1010)는 적어도 하나의 프로세서(processor)일 수 있다.
처리부(1010)는 컴퓨터 시스템(1000)의 동작을 위해 요구되는 작업을 처리할 수 있다. 처리부(1010)는 실시예들에서 설명된 처리부(1010)의 동작 또는 단계의 코드를 실행(execute)할 수 있다.
처리부(1010)는 정보의 생성, 저장 및 출력을 수행할 수 있으며, 기타 컴퓨터 시스템(1000)에서 이루어지는 단계의 동작을 수행할 수 있다.
통신부(1020)는 네트워크(1099)에 연결될 수 있다. 컴퓨터 시스템(1000)의 동작을 위해 요구되는 데이터 또는 정보를 수신할 수 있으며, 컴퓨터 시스템(1000)의 동작을 위해 요구되는 데이터 또는 정보를 전송할 수 있다. 통신부(1020)는 네트워크(1099)를 통해 다른 장치로 데이터를 전송할 수 있고, 다른 장치로부터 데이터를 수신할 수 있다. 예를 들면, 통신부(1020)는 네트워크 칩(chip) 또는 포트(port)일 수 있다.
메모리(1030) 및 저장소(1040)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 롬(ROM)(1031) 및 램(RAM)(1032) 중 적어도 하나를 포함할 수 있다. 저장소(1040)는 램, 플레시(flash) 메모리 및 하드 디스크(hard disk) 등과 같은 내장형의 저장 매체를 포함할 수 있고, 메모리 카드 등과 같은 탈착 가능한 저장 매체를 포함할 수 있다.
컴퓨터 시스템(1000)의 기능 또는 동작은 처리부(1010)가 적어도 하나의 프로그램 모듈을 실행함에 따라 수행될 수 있다. 메모리(1030) 및/또는 저장소(1040)는 적어도 하나의 프로그램 모듈을 저장할 수 있다. 적어도 하나의 프로그램 모듈은 처리부(1010)에 의해 실행되도록 구성될 수 있다.
컴퓨터 시스템(1000)는 사용자 인터페이스(User Interface; UI) 입력 디바이스(1050) 및 UI 출력 디바이스(1060)를 더 포함할 수 있다. UI 입력 디바이스(1050)는 컴퓨터 시스템(1000)의 동작을 위해 요구되는 사용자의 입력을 수신할 수 있다. UI 출력 디바이스(1060)는 컴퓨터 시스템(1000)의 동작에 따른 정보 또는 데이터를 출력할 수 있다.
컴퓨터 시스템(1000)는 센서(1070)를 더 포함할 수 있다.
영상 수신부(110)는 통신부(1020)에 대응할 수 있다. 트래킹부(120)는 센서(1070)에 대응할 수 있다. 영상 디코딩부(115) 및 영상 합성부(130)는 처리부(1010)에 대응할 수 있다. 디스플레이부(140)는 UI 출력 디바이스(1060)에 대응할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
100: 전자 장치
110: 영상 수신부
120: 트래킹부
130: 영상 합성부
140: 디스플레이부

Claims (20)

  1. 전자 장치가 사용자에게 입체 영상을 제공하는 방법에 있어서,
    상기 전자 장치에게 제공된 영상을 사용하여 상기 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하는 단계; 및
    상기 위치 상태에 대응하는 영상을 출력하는 단계
    를 포함하고,
    상기 위치 상태에 대응하는 영상은 상기 가상 시점의 영상을 포함하는 영상 제공 방법.
  2. 제1항에 있어서,
    상기 위치 상태에 대응하는 영상은 상기 전자 장치에게 제공된 영상을 포함하는 영상 제공 방법.
  3. 제1항에 있어서,
    상기 위치 상태에 대응하는 영상은 상기 사용자의 좌안에 제공되는 좌측 영상 및 상기 사용자의 우안에 제공되는 우측 영상을 포함하고,
    상기 좌측 영상의 시점 및 상기 우측 영상의 시점은 서로 다른 영상 제공 방법.
  4. 제3항에 있어서,
    상기 좌측 영상의 시점 및 상기 우측 영상의 시점은 상기 사용자의 양안들 사이의 간격에 기반하여 결정되는 영상 제공 방법.
  5. 제1항에 있어서,
    상기 위치 상태는 상기 사용자에게 최초로 제공되는 영상의 시점을 기준으로 상기 사용자의 위치를 트래킹하는 정보인 영상 제공 방법.
  6. 제1항에 있어서,
    상기 사용자의 머리의 움직임을 인식함으로써 상기 위치 상태를 생성하는 단계
    를 더 포함하는 영상 제공 방법.
  7. 제1항에 있어서,
    상기 위치 상태는 상기 사용자의 머리의 좌측 또는 우측으로의 이동의 변위을 나타내는 정보를 포함하는 영상 제공 방법.
  8. 제1항에 있어서,
    상기 위치 상태는 상기 사용자의 머리의 좌측 또는 우측으로의 회전을 나타내는 정보를 포함하는 영상 제공 방법.
  9. 제1항에 있어서,
    상기 가상 시점이 상기 제공된 영상의 하나 이상의 영상들 중 하나의 영상의 시점과 동일한 경우, 상기 하나 이상의 영상들 중 상기 가상 시점과 동일한 시점의 영상이 그대로 상기 가상 시점의 영상으로서 사용되는 영상 제공 방법.
  10. 제1항에 있어서,
    상기 위치 상태에 대응하는 영상은 하나 이상의 시점들의 하나 이상의 영상들이고,
    상기 제공된 영상은 하나 이상의 시점들의 하나 이상의 영상들이고,
    상기 가상 시점의 영상을 생성하는 단계는 상기 위치 상태에 대응하는 하나 이상의 영상들의 시점들 중 적어도 하나의 영상이 상기 하나 이상의 제공된 영상들의 하나 이상의 시점들 중 어느 시점과도 동일하지 않을 경우에 수행되는 영상 제공 방법.
  11. 제1항에 있어서,
    상기 위치 상태가 변화하였는지 여부를 판단하는 단계; 및
    상기 위치 상태의 변화에 따라 카메라 파라미터를 업데이트하는 단계
    를 더 포함하는 영상 제공 방법.
  12. 제11항에 있어서,
    상기 카메라 파라미터를 업데이트하는 단계는,
    상기 사용자의 머리의 좌측 또는 우측으로의 이동에 따라 상기 카메라 파라미터를 업데이트하는 단계
    를 포함하는 영상 제공 방법.
  13. 제11항에 있어서,
    상기 카메라 파라미터를 업데이트하는 단계는,
    상기 사용자의 머리의 좌측 또는 우측으로의 회전에 따라 상기 카메라 파라미터를 업데이트하는 단계
    를 포함하는 영상 제공 방법.
  14. 제11항에 있어서,
    상기 위치 상태의 변화는 기준 시점을 기준으로 상기 사용자의 좌측 또는 우측으로의 이동에 따른 위치 이동의 변위를 나타내는 영상 제공 방법.
  15. 제11항에 있어서,
    상기 위치 상태의 변화는 기준 시점을 기준으로 상기 사용자의 좌측 또는 우측으로의 회전에 따른 회전 각을 나타내는 영상 제공 방법.
  16. 제11항에 있어서,
    상기 카메라 파라미터는 x 축으로의 초점 거리 및 y 축으로의 초점 거리를 포함하는 행렬인 영상 제공 방법.
  17. 제1항에 있어서,
    상기 제공된 영상은 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)의 멀티-뷰 영상인 영상 제공 방법.
  18. 제1항에 있어서,
    상기 가상 시점의 영상은 상기 제공된 영상에 대응하는 깊이 맵을 사용하여 생성되는 영상 제공 방법.
  19. 전자 장치에 있어서,
    상기 전자 장치에게 제공된 영상을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하는 영상 합성부; 및
    상기 위치 상태에 대응하는 영상을 출력하는 디스플레이부
    를 포함하고,
    상기 위치 상태에 대응하는 영상은 상기 가상 시점의 영상을 포함하는 전자 장치.
  20. 헤드 마운트 디스플레이에 있어서,
    상기 헤드 마운트 디스플레이에게 제공된 영상을 사용하여 사용자의 위치 상태에 대응하는 가상 시점의 영상을 생성하는 영상 합성부; 및
    상기 위치 상태에 대응하는 영상을 출력하는 디스플레이부
    를 포함하고,
    상기 위치 상태에 대응하는 영상은 상기 가상 시점의 영상을 포함하는 헤드 마운트 디스플레이.
KR1020160058227A 2015-05-18 2016-05-12 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치 KR20160135660A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610637582.3A CN109361913A (zh) 2015-05-18 2016-05-18 用于对于头戴式显示器提供三维图像的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150069179 2015-05-18
KR20150069179 2015-05-18

Publications (1)

Publication Number Publication Date
KR20160135660A true KR20160135660A (ko) 2016-11-28

Family

ID=57706847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160058227A KR20160135660A (ko) 2015-05-18 2016-05-12 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20160135660A (ko)
CN (1) CN109361913A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190011492A (ko) * 2017-07-25 2019-02-07 삼성전자주식회사 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법
CN111937043A (zh) * 2018-04-06 2020-11-13 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
KR102613415B1 (ko) * 2022-12-22 2023-12-13 주식회사 하스퍼 시야 동기화 장치 및 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667438B (zh) * 2019-03-07 2023-05-26 阿里巴巴集团控股有限公司 视频重建方法、***、设备及计算机可读存储介质
CN111669561B (zh) * 2019-03-07 2023-05-26 阿里巴巴集团控股有限公司 多角度自由视角图像数据处理方法及装置、介质、设备
CN111669564B (zh) * 2019-03-07 2022-07-26 阿里巴巴集团控股有限公司 图像重建方法、***、设备及计算机可读存储介质
CN111669571B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角图像数据生成方法及装置、介质、设备
CN111669568B (zh) * 2019-03-07 2024-05-28 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
US11055901B2 (en) 2019-03-07 2021-07-06 Alibaba Group Holding Limited Method, apparatus, medium, and server for generating multi-angle free-perspective video data
CN111669570B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
CN112738534B (zh) * 2019-10-28 2023-06-23 阿里巴巴集团控股有限公司 数据处理方法及***、服务器和存储介质
CN112738495B (zh) * 2019-10-28 2023-03-28 阿里巴巴集团控股有限公司 虚拟视点图像生成方法、***、电子设备及存储介质
CN113473244A (zh) * 2020-06-23 2021-10-01 青岛海信电子产业控股股份有限公司 一种自由视点视频播放控制方法及设备
CN113891060B (zh) * 2020-07-03 2024-06-07 阿里巴巴集团控股有限公司 自由视点视频重建方法及播放处理方法、设备及存储介质
CN114071115A (zh) * 2020-07-31 2022-02-18 阿里巴巴集团控股有限公司 自由视点视频重建及播放处理方法、设备及存储介质
CN112235562B (zh) * 2020-10-12 2023-09-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496121C (zh) * 2007-04-11 2009-06-03 宁波大学 一种交互式多视点视频***的图像信号处理方法
CA2745392C (en) * 2008-12-18 2016-07-12 Lg Electronics Inc. Method for 3d image signal processing and image display for implementing the same
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播***及方法
JP5953916B2 (ja) * 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190011492A (ko) * 2017-07-25 2019-02-07 삼성전자주식회사 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법
US11320898B2 (en) 2017-07-25 2022-05-03 Samsung Electronics Co., Ltd. Device and method for providing content
CN111937043A (zh) * 2018-04-06 2020-11-13 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
US11902634B2 (en) 2018-04-06 2024-02-13 Huawei Technologies Co., Ltd. Associating file format objects and dynamic adaptive streaming over hypertext transfer protocol (DASH) objects
CN111937043B (zh) * 2018-04-06 2024-05-03 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
KR102613415B1 (ko) * 2022-12-22 2023-12-13 주식회사 하스퍼 시야 동기화 장치 및 방법

Also Published As

Publication number Publication date
CN109361913A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
KR20160135660A (ko) 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치
CN110999285B (zh) 基于纹理图与网格的3d图像信息的处理
US20200051269A1 (en) Hybrid depth sensing pipeline
JP6021541B2 (ja) 画像処理装置及び方法
JP4693900B2 (ja) 画像処理装置
Bertel et al. Megaparallax: Casual 360 panoramas with motion parallax
US8610707B2 (en) Three-dimensional imaging system and method
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
KR20120030005A (ko) 화상 처리 장치 및 방법과 입체 화상 표시 장치
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
WO2012140397A2 (en) Three-dimensional display system
WO2021081568A2 (en) Advanced stereoscopic rendering
JP6128748B2 (ja) 画像処理装置及び方法
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
WO2023003803A1 (en) Virtual reality systems and methods
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
Fachada et al. Chapter View Synthesis Tool for VR Immersive Video
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
US20230106679A1 (en) Image Processing Systems and Methods
CN109961395B (zh) 深度图像的生成及显示方法、装置、***、可读介质
JP4815004B2 (ja) 多視点画像符号化装置
JPWO2018186287A1 (ja) 映像データ生成装置、映像再生装置、映像データ生成方法、制御プログラム、及び記録媒体
KR20170077331A (ko) 임의시점 영상생성 방법 및 시스템
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
EP4030752A1 (en) Image generation system and method