KR102048381B1 - Method And System for Rendering for Binocular Disparity Image - Google Patents

Method And System for Rendering for Binocular Disparity Image Download PDF

Info

Publication number
KR102048381B1
KR102048381B1 KR1020180044021A KR20180044021A KR102048381B1 KR 102048381 B1 KR102048381 B1 KR 102048381B1 KR 1020180044021 A KR1020180044021 A KR 1020180044021A KR 20180044021 A KR20180044021 A KR 20180044021A KR 102048381 B1 KR102048381 B1 KR 102048381B1
Authority
KR
South Korea
Prior art keywords
image
right eye
left eye
distance
spherical image
Prior art date
Application number
KR1020180044021A
Other languages
Korean (ko)
Other versions
KR20190120619A (en
Inventor
김창동
전재철
최성기
김재원
조민기
Original Assignee
주식회사 루씨드드림
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루씨드드림 filed Critical 주식회사 루씨드드림
Priority to KR1020180044021A priority Critical patent/KR102048381B1/en
Publication of KR20190120619A publication Critical patent/KR20190120619A/en
Application granted granted Critical
Publication of KR102048381B1 publication Critical patent/KR102048381B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템을 개시한다.
본 실시예는 360˚ 스테레오스코픽 영상을 생성할 때, 다양한 시각차가 존재하는 카메라와 객체의 거리를 시점별 메타데이터를 별도로 패키징하여, 플레이어에서 영상을 렌더링할 때 사용자가 바라보는 시점에 따라 객체의 양안 시차를 다르게 적용함으로써 스테레오스코픽 영상과 추가로 삽입된 객체 간의 이질감을 해소할 수 있도록 하는 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템을 제공한다.Disclosed are a method and system for rendering a binocular disparity image for each view for object synthesis in a three-dimensional stereoscopic image.
In the present embodiment, when generating a 360˚ stereoscopic image, the distance between the camera and the object having various visual differences is packaged separately according to viewpoints, so that when the player renders the image, Provided are a method and a system for rendering a binocular parallax image for each point of view for object synthesis in a three-dimensional stereoscopic image, which can solve heterogeneity between a stereoscopic image and an additionally inserted object by applying binocular disparity differently.

Description

삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템{Method And System for Rendering for Binocular Disparity Image}Method and system for rendering binocular parallax image for each object in three-dimensional stereoscopic image {Method And System for Rendering for Binocular Disparity Image}

본 실시예는 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템에 관한 것이다.This embodiment relates to a method and system for rendering a binocular parallax image for each view for object synthesis in a three-dimensional stereoscopic image.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to this embodiment and do not constitute a prior art.

1990년대 중반 이후 평면적인 영상 정보에 깊이 정보를 더하여 실생활에서와 같은 느낄 수 있는 스테레오스코픽(Stereoscopic) 디스플레이 시스템이 주목을 받았다. 스테레오스코픽 기술은 3DTV(3 Dimension Television), 입체 영상(Stereoscopic Vision), 게임, 3차원 애니메이션, 입체 영상 영화 등 영상 산업 전반에 걸쳐 빠르게 발전하고 있다.Since the mid-1990s, stereoscopic display systems, which have added depth information to flat image information, can be felt as in real life. Stereoscopic technology is rapidly evolving throughout the video industry, including 3D Television, Stereoscopic Vision, Gaming, 3D Animation, and 3D Film.

스테레오스코픽 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라가 동일한 피사체를 촬영하여 각각 획득한 한 쌍의 좌영상과 우영상으로 이루어진다. 스테레오스코픽 영상은 피사체에 대한 입체감을 LCD(Liquid Crystal Display) 또는 PDP(Plasma Display Panel) 등과 같은 평면 디스플레이 장치에 구현된다.The stereoscopic image is composed of a pair of left and right images obtained by photographing the same subject by the left camera and the right camera, which are spaced apart by a certain distance. The stereoscopic image is implemented in a flat display device such as an LCD (Liquid Crystal Display) or a plasma display panel (PDP).

최근 들어 3차원 영상들이 다양한 영상 매체에서 많이 활용됨에 따라 3차원 영상에 다른 3차원 영상 또는 그래픽을 합성하기 위한 기술의 필요성이 증가하고 있는 추세이다.Recently, as 3D images are widely used in various image media, there is a growing need for a technology for synthesizing different 3D images or graphics into 3D images.

스테레오스코픽 영상 재생 시 가까운 거리일수록 물체에 대한 양안 시점이 다르게 출력된다. 이때, 3D 객체를 스테레오스코픽 영상 내에 배치하면 영상의 물체와 3D 객체 간 양안 시점이 다르게 되어 3D 객체가 2개로 보이는 현상이 발생한다.When the stereoscopic image is played, the closer the distance is, the different the binocular viewpoint of the object is output. At this time, when the 3D object is placed in the stereoscopic image, a phenomenon in which both eyes of the image and the 3D object are different from each other may cause two 3D objects to appear.

스테레오스코픽 영상은 좌안 영상과 구안 영상이 동일한 양안 시차를 가지지 않는다. 스테레오스코픽 영상은 매순간, 바라보는 영역에 따라 카메라와 물체 간 거리가 달라지며 이에 따른 양안 시차 또한 달라지게 되는 문제가 있다.In stereoscopic images, the left eye image and the old eye image do not have the same binocular disparity. The stereoscopic image has a problem that the distance between the camera and the object varies depending on the viewing area at every moment, and the binocular disparity is also changed accordingly.

본 실시예는 360˚ 스테레오스코픽 영상을 생성할 때, 다양한 시각차가 존재하는 카메라와 객체의 거리를 시점별 메타데이터를 별도로 패키징하여, 플레이어에서 영상을 렌더링할 때 사용자가 바라보는 시점에 따라 객체의 양안 시차를 다르게 적용함으로써 스테레오스코픽 영상과 추가로 삽입된 객체 간의 이질감을 해소할 수 있도록 하는 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템을 제공하는 데 목적이 있다.In the present embodiment, when generating a 360˚ stereoscopic image, the distance between the camera and the object having various visual differences is packaged separately according to viewpoints, so that when the player renders the image, It is an object of the present invention to provide a method and system for rendering a perspective binocular disparity image for object synthesis in a three-dimensional stereoscopic image that can resolve heterogeneity between a stereoscopic image and an additionally inserted object by differently applying binocular disparity.

본 실시예의 일 측면에 의하면, 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 영상 촬영 장치; 상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하고, 상기 대표 객체에 대응하는 거리 데이터를 추출하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하고, 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터(Metadata)를 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 영상 저작 장치; 및 상기 360° VR 컨텐츠를 언패키징하여 재생하는 영상 재생 장치를 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템을 제공한다.According to an aspect of the present embodiment, the image capture device for generating a 360 ° left eye image and 360 ° right eye image by taking an image at 360 °; The 360 ° left eye image and the 360 ° right eye image are stitched to generate a left eye sphere image and a right eye sphere image, and a representative object is formed in the left eye sphere image and the right eye sphere image. Selects and extracts distance data corresponding to the representative object, generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image, and writes a metadata about a location and a time at which the 3D object is to be inserted An image for generating data and generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image. Authoring apparatus; And an image reproducing apparatus for unpackaging and playing the 360 ° VR content.

본 실시예의 다른 측면에 의하면, 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 과정; 상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하는 과정; 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하는 과정; 상기 대표 객체에 대응하는 거리 데이터를 추출하는 과정; 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하는 과정; 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성하는 과정; 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 과정; 및 상기 360° VR 컨텐츠를 언패키징하여 재생하는 과정을 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 방법을 제공한다.According to another aspect of the embodiment, the process of generating a 360 ° left eye image and 360 ° right eye image by taking an image at 360 °; Generating a left eye sphere image and a right eye spherical image by stitching the 360 ° left eye image and the 360 ° right eye image, respectively; Selecting a representative object in the left eye spherical image and the right eye spherical image; Extracting distance data corresponding to the representative object; Generating a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image; Generating authoring metadata about a location and a time at which the 3D object is to be inserted; Generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image; And unpackaging and playing the 360 ° VR content.

이상에서 설명한 바와 같이 본 실시예에 의하면, 360˚ 스테레오스코픽 영상을 생성할 때, 다양한 시각차가 존재하는 카메라와 객체의 거리를 시점별 메타데이터를 별도로 패키징하여, 플레이어에서 영상을 렌더링할 때 사용자가 바라보는 시점에 따라 객체의 양안 시차를 다르게 적용함으로써 스테레오스코픽 영상과 추가로 삽입된 객체 간의 이질감을 해소할 수 있는 효과가 있다.As described above, according to the present embodiment, when generating a 360 ° stereoscopic image, the distance between the camera and the object having various visual differences is separately packaged by metadata for each view, so that the user renders the image in the player. By applying binocular parallax of the object differently depending on the viewpoint, the heterogeneity between the stereoscopic image and the additionally inserted object can be solved.

본 실시예에 의하면, 플레이어에서 영상(배경) 및 객체를 재생할 때, 관찰자가 객체를 바라보는 시점에서 인지부조화가 생기지 않도록 하는 효과가 있다. 다시 말해, 플레이어에서 360˚ 스테레오스코픽 영상를 재생할 때, 메타데이터에 기 저장되어 있는 양안 시차에 따른 오프셋값을 추출하여 추가로 삽입된 객체에 반영하므로 양안 시차에 따른 인지부조화가 생기지 않도록 하는 효과가 있다. According to the present embodiment, when playing a video (background) and an object in a player, there is an effect that cognitive dissonance does not occur when the viewer looks at the object. In other words, when playing a 360˚ stereoscopic video in the player, the offset value according to binocular disparity pre-stored in metadata is extracted and reflected on the inserted object, thereby preventing cognitive dissonance due to binocular disparity. .

도 1은 본 실시예에 따른 양안 시차 렌더링 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 양안 시차 렌더링 시스템에 포함되는 각 구성요소의 동작을 나타낸 도면이다.
도 3은 본 실시예에 따른 영상 촬영 장치의 동작 방법을 설명하기 위한 순서도이다.
도 4a,4b는 본 실시예에 따른 영상 촬영 장치의 촬영 방법의 예시를 나타낸 도면이다.
도 5는 본 실시예에 따른 영상 저작 장치의 동작 방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 영상 재생 장치의 동작 방법을 설명하기 위한 순서도이다.
도 7은 본 실시예에 따른 삼차원 스테레오스코픽 영상 내의 객체 합성 예시를 나타낸 도면이다.1 is a block diagram schematically illustrating a binocular parallax rendering system according to the present embodiment.
2 is a diagram illustrating the operation of each component included in the binocular parallax rendering system according to the present embodiment.
3 is a flowchart illustrating a method of operating an image capturing apparatus according to an exemplary embodiment.
4A and 4B are diagrams illustrating an example of a photographing method of an image photographing apparatus according to the present embodiment.
5 is a flowchart illustrating an operation method of an image authoring apparatus according to an exemplary embodiment.
6 is a flowchart for explaining a method of operating an image reproducing apparatus according to the present embodiment.
7 illustrates an example of object synthesis in a three-dimensional stereoscopic image according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 양안 시차 렌더링 시스템을 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically illustrating a binocular parallax rendering system according to the present embodiment.

본 실시예에 따른 양안 시차 렌더링 시스템은 영상 촬영 장치(110), 영상 저작 장치(120), 영상 재생 장치(130)를 포함한다. 양안 시차 렌더링 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The binocular parallax rendering system according to the present embodiment includes an image capturing apparatus 110, an image authoring apparatus 120, and an image reproducing apparatus 130. Components included in the binocular parallax rendering system are not necessarily limited thereto.

영상 촬영 장치(110)는 영상 및 하나 이상의 이미지를 촬영한다. 영상 촬영 장치(110)는 360°로 촬영 장소를 촬영한다. The image capturing apparatus 110 captures an image and one or more images. The image capturing apparatus 110 captures a photographing place at 360 °.

영상 촬영 장치(110)는 NPP(No Parallax Point)를 회전축과 일치시켜 영상 또는 이미지를 촬영한다. NPP는 무시차를 형상하는 영상 촬영 장치(110) 내 렌즈의 X, Y, Z축의 중심점을 의미한다. 영상 촬영 장치(110)는 NPP를 회전축에 일치시킴으로써, 시차 없는 하나 이상의 이미지 또는 영상을 촬영한다. 영상 촬영 장치(110)는 360°를 회전하며 영상 또는 이미지를 촬영한다.The image capturing apparatus 110 captures an image or an image by matching an NPP (No Parallax Point) with a rotation axis. NPP means a center point of the X, Y, and Z axes of the lens in the imaging apparatus 110 that forms a negligible difference. The image capturing apparatus 110 captures one or more images or images without parallax by matching the NPP to the rotation axis. The image capturing apparatus 110 rotates 360 ° to capture an image or an image.

영상 촬영 장치(110)는 360°를 회전하며 촬영함에 있어, 배경이나 움직임이 없는 사물과 같이, 시간이 지나더라도 변화가 없는 부분은 이미지로 촬영을 하고, 움직임이 있는 사물이나 사람과 같이 시간이 지남에 따라 변화하는 객체는 영상으로 촬영한다. When the image capturing apparatus 110 rotates 360 °, the image is not changed even after a time, such as an object without a background or motion, is recorded as an image, and the time is taken as a moving object or a person. Objects that change over time are captured by video.

영상 촬영 장치(110)는 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110)는 촬영 장소의 분할된 각 구간 내에 존재하는 대표 객체를 선정하고, 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터로 저장한다.The image capturing apparatus 110 generates a 360 ° left eye image and a 360 ° right eye image by capturing an image at 360 °. The image capturing apparatus 110 selects a representative object existing in each divided section of the photographing place, and collects photographing time, photographing angle, and distance data from the camera for each representative object and stores the photographing metadata as photographing metadata.

영상 촬영 장치(110)는 거리 데이터 수집부(112)를 포함한다.The image capturing apparatus 110 includes a distance data collector 112.

영상 촬영 장치(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the image capturing apparatus 110 may be connected to a communication path connecting a software module or a hardware module inside the apparatus to operate organically with each other. These components communicate using one or more communication buses or signal lines.

거리 데이터 수집부(112)는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.The distance data collector 112 refers to a unit that processes at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.

거리 데이터 수집부(112)는 촬영 장소 내에 존재하는 객체들을 기준으로 표시된 부호, 마커 또는 포인터들에 대한 거리 정보를 수집하거나, 객체와 무관하게 기 설정된 미터 단위로 표시된 부호, 마커 또는 포인터들에 대한 거리 정보를 수집하여 촬영 메타데이터로 저장한다.The distance data collection unit 112 collects distance information on signs, markers, or pointers displayed on the basis of objects existing in the photographing location, or on the signs, markers, or pointers displayed on a predetermined meter unit regardless of the object. Collect distance information and store it as shooting metadata.

거리 데이터 수집부(112)는 영상 촬영 장치(110)에 센서(예컨대, 라이다)가 구비된 경우, 카메라를 이용하여 촬영 장소를 촬영할 때, 센서를 이용하여 촬영 장소 내에 존재하는 객체들의 거리를 수집하여 촬영 메타데이터로 저장한다.When the image capturing apparatus 110 is equipped with a sensor (for example, a lidar), the distance data collector 112 uses the sensor to determine the distance of objects existing in the photographing location. Collect and save as shooting metadata.

거리 데이터 수집부(112)는 촬영 장소 내에 객체들이 미존재하더라도 합성할 객체의 위치를 확인하기 위해 부호, 마커 또는 포인터들의 기 설정된 미터 단위로 수집하여 촬영 메타데이터로 저장한다.The distance data collecting unit 112 collects and stores the captured data in predetermined meter units of a sign, a marker, or pointers in order to identify the location of the object to be synthesized even if there are no objects in the photographing location.

영상 저작 장치(120)는 영상 촬영 장치(110)로부터 360° 좌안 영상 및 360° 우안 영상을 수신한다. 영상 저작 장치(120)는 360° 좌안 영상 및 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성한다.The image authoring apparatus 120 receives a 360 ° left eye image and a 360 ° right eye image from the image capturing apparatus 110. The image authoring apparatus 120 stitches the 360 ° left eye image and the 360 ° right eye image, respectively, to generate a left eye sphere image and a right eye spherical image.

영상 저작 장치(120)는 영상 촬영 장치(110)로부터 촬영 메타데이터를 수신한다. 영상 저작 장치(120)는 촬영 메타데이터로부터 좌안 구형상 영상과 우안 구형상 영상에 대한 좌안 카메라, 우안 카메라와의 카메라 간 거리 정보, 카메라와 촬영장소까지의 거리 정보를 추출한다. The image authoring apparatus 120 receives photographing metadata from the image capturing apparatus 110. The image authoring apparatus 120 extracts, from the photographing metadata, the left eye camera for the left eye spherical image and the right eye spherical image, distance information between the camera with the right eye camera, and distance information between the camera and the shooting location.

영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상을 기반으로 추가로 삽입될 3D 객체(예컨대, 자막, CG: Computer Graphic)를 배치한다. 영상 저작 장치(120)는 추가로 삽입될 3D 객체(예컨대, 자막, CG)를 배치할 때 관찰자의 시점을 기준으로 객체를 바라볼 수 있는 후보 각도를 산출한다. 영상 저작 장치(120)는 후보 각도 별로 양안 시차를 보정할 수 있는 오프셋값을 생성하여 저작 메타데이터로서 같이 저장한다.The image authoring apparatus 120 arranges a 3D object (eg, a caption, CG: Computer Graphic) to be additionally inserted based on the left eye spherical image and the right eye spherical image. The image authoring apparatus 120 additionally calculates a candidate angle at which the object can be viewed based on the viewpoint of the observer when the 3D object (eg, caption or CG) to be inserted is placed. The image authoring apparatus 120 generates an offset value for correcting binocular disparity for each candidate angle and stores the offset value as the metadata.

영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상 각각에 거리 데이터, 저작 메타데이터, 3D 객체(예컨대, 자막, CG)를 패키징하여 영상 재생 장치(130)로 전송한다.The image authoring apparatus 120 packages distance data, authoring metadata, and 3D objects (eg, subtitles, CG) into the left eye spherical image and the right eye spherical image, respectively, and transmits the same to the image reproducing apparatus 130.

영상 저작 장치(120)는 스테레오스코픽 3D기법으로 촬영된 360˚ VR 컨텐츠에 추가로 삽입한 3D 객체가 함께 출력될 때 양안 시차에 따라 상호작용할 수 있는 오프셋값을 생성하여 저작 메타데이터에 저장한다.The image authoring apparatus 120 generates an offset value that can interact according to binocular disparity when the 3D object inserted in addition to the 360 ° VR content captured by the stereoscopic 3D technique is output together and stores it in the authoring metadata.

360˚ VR 컨텐츠에서 추가로 삽입될 3D 객체는 스테레오스코픽 3D 영상의 전면에 위치하게 된다. 3D 객체는 영상의 양안 시차보다 항상 커야 한다. 하지만, 3D 객체가 영상보다 너무 큰 시차를 제공하면 어지러움이 발생할 수 있으며 이는 바라보는 영역의 영상을 맞춰서 시차를 제공해야 한다. 일반적인 스테레오스코픽 3D 영상에서는 전화면에 대하여 일관적인 시차값이 존재하나, 360˚ 스테레오스코픽 3D 영상에서는 바라보는 시점에 따라서 차등화된 시차값이 존재한다.Additional 3D objects to be inserted in the 360˚ VR content are located in front of the stereoscopic 3D image. The 3D object should always be larger than the binocular parallax of the image. However, if the 3D object provides a parallax that is too large than the image, dizziness may occur, which must be provided by matching the image of the viewing area. In general stereoscopic 3D image, there is a consistent parallax value with respect to the full screen, but in 360 ° stereoscopic 3D image, there is a differential parallax value depending on the viewing point.

영상 저작 장치(120)는 바라보는 영역마다 다른 거리감을 저작 메타데이터로 저장하고, 저작 메타데이터를 이용하여 효율적으로 양안 시차를 고려한 3D 객체를 합성 배치함으로서 시청자의 어지러움을 해소할 수 있다.The video authoring apparatus 120 may solve the dizziness of the viewer by storing a different sense of distance for each viewing area as the metadata and efficiently disposing the 3D object considering binocular disparity by using the metadata.

영상 저작 장치(120)는 360° VR 컨텐츠 제작 시 360˚로 촬영된 스테레오스코픽 3D 영상 내에 객체의 양안 시차를 저작 메타데이터로 별도로 저장하여, 스테레오스코픽 3D 영상 내에 3D 객체를 배치했을 때 시차로 인해 발생하는 문제를 해소할 수 있다.The image authoring apparatus 120 separately stores binocular parallax of an object in the stereoscopic 3D image photographed at 360 ° when producing 360 ° VR content as authoring metadata, and when the 3D object is placed in the stereoscopic 3D image due to parallax Problems that occur can be solved.

영상 저작 장치(120)에서 일반적으로 실시간으로 영상 내의 추가로 객체를 합성할 때 시차가 발생하는 부분을 해결함으로써, 360˚ 스테레오스코픽 3D 영상 내의 실시간으로 3D 객체를 추가로 삽입하는 합성 기술을 제공한다. 영상 저작 장치(120)는 스테레오스코픽 3D 영상 합성을 다양한 분야에 적용하여 다양한 컨텐츠를 저작할 수 있다.The image authoring device 120 generally solves a part where parallax occurs when synthesizing additional objects in an image in real time, thereby providing a synthesis technique for additionally inserting a 3D object in real time in a 360 ° stereoscopic 3D image. . The image authoring apparatus 120 may author various contents by applying stereoscopic 3D image synthesis to various fields.

일반적인 양안시차 보정 방법은 평면 영상에 대한 동일한 값을 반영하는 방식이나, 본 실시예에 따른 영상 저작 장치(120)는 360˚ VR 컨텐츠를 재생할 때 관찰자가 바라보는 각도에 따라 다르게 양안 시차에 대한 값을 적용한다. 일반적으로 360˚ VR 컨텐츠 내에서 일반적인 평면 영상과 같이 동일한 값을 적용하더라도 하나의 시야각(컨텐츠를 바라보는 각도)으로 양안 시차가 해결되지 않는다. 따라서, 본 실시예에 따른 영상 저작 장치(120)는 360˚ VR 영상 저작시 관찰차가 컨텐츠를 바라보는 각도 별로 오프셋값을 생성하여 저작 메타데이터와 함께 패키징한다.A general method for correcting binocular disparity reflects the same value for a planar image, but the image authoring apparatus 120 according to the present embodiment has a value for binocular disparity differently depending on an angle viewed by an observer when playing 360 ° VR content. Apply. In general, even when the same value is applied as in a general planar image in a 360 ° VR content, binocular disparity is not solved with one viewing angle (angle of viewing content). Accordingly, the image authoring apparatus 120 according to the present exemplary embodiment generates an offset value for each angle at which the observation difference views the content during the 360 ° VR image authoring, and packages it together with the authoring metadata.

영상 저작 장치(120)는 영상 저작 툴(122)을 포함한다.The video authoring apparatus 120 includes a video authoring tool 122.

영상 저작 툴(122)은 영상 촬영 장치(110)로부터 수신된 360° 좌안 영상 및 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 내에서 대표 객체를 선정한다. 영상 저작 툴(122)은 대표 객체에 대응하는 거리 데이터를 추출한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성한다. The image authoring tool 122 stitches the 360 ° left eye image and the 360 ° right eye image received from the image capturing apparatus 110 to generate a left eye sphere image and a right eye spherical image, respectively. The image authoring tool 122 selects a representative object in the left eye spherical image and the right eye spherical image. The image authoring tool 122 extracts distance data corresponding to the representative object. The image authoring tool 122 generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image.

영상 저작 툴(122)은 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 각각에 거리 데이터, 저작 메타데이터, 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 영상 재생 장치(130)로 전송한다.The image authoring tool 122 generates authoring metadata about a time and a position at which the 3D object is to be inserted. The image authoring tool 122 generates 360 ° VR (Virtual Reality) content packaged with distance data, authoring metadata, and 3D object in each of the left eye spherical image and the right eye spherical image, and transmits them to the image reproducing apparatus 130. .

영상 재생 장치(130)는 HMD(Head Mounted Display)인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.The video reproducing apparatus 130 is preferably a head mounted display (HMD), but is not necessarily limited thereto.

영상 재생 장치(130)는 영상 저작 장치(120)로부터 360° VR 컨텐츠를 수신한다. 영상 재생 장치(130)는 360° VR 컨텐츠를 언패키징하여 재생한다. 영상 재생 장치(130)는 양안에 출력되는 3D 객체의 위치값을 조정하여 거리감을 제공한다.The image reproducing apparatus 130 receives the 360 ° VR content from the image authoring apparatus 120. The video reproducing apparatus 130 unpacks and reproduces 360 ° VR content. The image reproducing apparatus 130 adjusts the position value of the 3D object output to both eyes to provide a sense of distance.

영상 재생 장치(130)는 영상 저작 장치(120)에서 별도로 패키징한 저작 메타데이터에 포함된 좌안 구형상 영상, 우안 구형상 영상, 거리 데이터, 저작 메타데이터, 3D 객체를 기반으로 좌안 구형상 영상, 우안 구형상 영상을 각각 재생시 추가로 삽입되는 3D 객체의 배치 위치를 조정할 수 있다.The video reproducing apparatus 130 may include a left eye spherical image, a right eye spherical image, distance data, an authoring metadata, and a 3D object based on a left eye spherical image included in the authoring metadata separately packaged by the image authoring apparatus 120. The position of the 3D object to be additionally inserted when playing the right eye spherical image can be adjusted.

영상 재생 장치(130)는 VR 플레이어(132)를 포함한다. VR 플레이어(132)는 영상 재생부(134), 3D 렌더링부(136)를 포함한다.The image reproducing apparatus 130 includes a VR player 132. The VR player 132 includes an image player 134 and a 3D renderer 136.

VR 플레이어(132)는 영상(배경)을 기반으로 객체 또는 컨텐츠(예컨대, 자막)를 배치할 때, 저작 메타데이터에 적용된 오프셋값을 적용한다.The VR player 132 applies an offset value applied to the authoring metadata when arranging an object or content (eg, a subtitle) based on an image (background).

3D 렌더링부(136)는 스테레오스코픽 3D기법으로 제작된 360˚ 동영상과 3D 객체 동시 출력하는 과정에서 스테레오스코픽 3D기법으로 촬영된 360˚ VR 동영상에 3D 객체를 함께 출력한다.The 3D rendering unit 136 outputs the 3D object together to the 360 ° VR video photographed by the stereoscopic 3D technique in the process of simultaneously outputting the 360 ° video produced by the stereoscopic 3D technique and the 3D object.

도 2는 본 실시예에 따른 양안 시차 렌더링 시스템에 포함되는 각 구성요소의 동작을 나타낸 도면이다.2 is a diagram illustrating the operation of each component included in the binocular parallax rendering system according to the present embodiment.

본 실시예에 따른 영상 촬영 장치(110)는 거리 데이터 수집부(112)를 포함한다.The image capturing apparatus 110 according to the present exemplary embodiment includes a distance data collector 112.

영상 촬영 장치(110)는 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110)는 NPP를 고려하여 360° 좌안 영상 및 360° 우안 영상을 생성한다.The image capturing apparatus 110 generates a 360 ° left eye image and a 360 ° right eye image by capturing an image at 360 °. The imaging apparatus 110 generates a 360 ° left eye image and a 360 ° right eye image in consideration of NPP.

영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 360˚좌안 영상, 360˚우안 영상 각각을 관찰자(촬영자)의 시야각을 기준으로 기 설정된 구간으로 분할한다. 영상 촬영 장치(110)는 분할된 각 구간 내에 존재하는 대표 객체를 선정한다.When the image capturing apparatus 110 captures an image at 360 °, the image capturing apparatus 110 divides the 360 ° left eye image and the 360 ° right eye image into predetermined sections based on the viewing angle of the observer (photographer). The image capturing apparatus 110 selects a representative object existing in each divided section.

영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터에 저장한다.The distance data collecting unit 112 in the image capturing apparatus 110 collects the photographing time, the photographing angle, and the distance data from the camera for each representative object and stores the photographing data in the photographing metadata.

영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 거리를 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터를 배경과 함께 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 기 설정된 미터 단위를 촬영 메타데이터에 저장한다.When the image capturing apparatus 110 captures an image at 360 °, the image capturing apparatus 110 records a sign, a marker, or a pointer indicating a distance to a representative object in a predetermined metric unit with the background as the center (reference) of the camera to be photographed with 360 °. A left eye image and a 360 ° right eye image are generated. The distance data collector 112 in the image capturing apparatus 110 stores a predetermined meter unit in the photographing metadata.

영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 360°로 영상을 촬영할 때, 구비된 센서를 이용하여 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 센싱한다. 영상 촬영 장치(110) 내의 거리 데이터 수집부(112)는 센싱된 대표 객체별 거리 정보를 촬영 메타데이터에 저장한다.When the image capturing unit 112 in the image capturing apparatus 110 captures an image at 360 °, the distance data collecting unit 112 senses a camera photographing using a provided sensor to a representative object with a center (reference) as a center. The distance data collection unit 112 in the image capturing apparatus 110 stores the sensed distance information for each representative object in photographing metadata.

본 실시예에 따른 영상 저작 장치(120)는 영상 저작 툴(122)을 포함한다. 영상 저작이란 제작된 영상을 편집/개작하는 개념을 의미한다.The video authoring apparatus 120 according to the present embodiment includes a video authoring tool 122. Video authoring refers to the concept of editing / modifying a produced video.

영상 저작 툴(122)은 360° 좌안 영상 및 360° 우안 영상을 각각 스티칭하여 좌안 구형상 영상과 우안 구형상 영상을 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 내에서 대표 객체를 선정한다. 영상 저작 툴(122)은 대표 객체에 대응하는 거리 데이터를 추출한다.The image authoring tool 122 stitches the 360 ° left eye image and the 360 ° right eye image to generate a left eye spherical image and a right eye spherical image, respectively. The image authoring tool 122 selects a representative object in the left eye spherical image and the right eye spherical image. The image authoring tool 122 extracts distance data corresponding to the representative object.

영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성한다. 영상 저작 툴(122)은 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성한다. 영상 저작 툴(122)은 좌안 구형상 영상과 우안 구형상 영상 각각에 거리 데이터, 저작 메타데이터, 3D 객체를 패키징한 360° VR 컨텐츠를 생성한다.The image authoring tool 122 generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image. The image authoring tool 122 generates authoring metadata about a time and a position at which the 3D object is to be inserted. The image authoring tool 122 generates 360 ° VR content in which distance data, authoring metadata, and 3D objects are packaged in the left eye spherical image and the right eye spherical image, respectively.

영상 저작 툴(122)은 영상 촬영 장치(110)로부터 수신된 촬영 메타데이터로부터 카메라와 대표 객체 각각까지의 거리 데이터를 추출한다. 영상 저작 툴(122)은 좌안 구형상 영상, 우안 구형상 영상 각각 내에 존재하는 대표 객체마다 관측자의 시야각을 기준으로 거리 데이터를 매핑하여 저작 메타데이터에 저장한다.The image authoring tool 122 extracts distance data of each of the camera and the representative object from the photographing metadata received from the image capturing apparatus 110. The image authoring tool 122 maps distance data based on a viewer's field of view for each representative object present in each of the left eye spherical image and the right eye spherical image, and stores the distance data in the authoring metadata.

영상 저작 툴(122)은 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체마다 추가로 삽입될 3D 객체에 거리 데이터를 매핑하여 저작 메타데이터에 저장한다.The image authoring tool 122 maps the distance data to the 3D object to be additionally inserted for each representative object existing in the left eye spherical image and the right eye spherical image, and stores the distance data in the authoring metadata.

본 실시예에 따른 VR 플레이어(132)는 영상 재생부(134), 3D 렌더링부(136)를 포함한다.The VR player 132 according to the present embodiment includes an image reproducing unit 134 and a 3D rendering unit 136.

VR 플레이어(132)의 영상 재생부(134)는 360° VR 컨텐츠를 언패키징하여 재생한다. The video player 134 of the VR player 132 unpacks and plays back 360 ° VR content.

VR 플레이어(132) 내의 3D 렌더링부(136)는 360° VR 컨텐츠를 수신하여, 360° VR 컨텐츠 내 포함된 좌안 구형상 영상, 우안 구형상 영상, 거리 데이터, 저작 메타데이터, 3D 객체를 분리한다. VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 저작 메타데이터에 대응하는 영역에 3D 객체 영상을 오버레이되도록 제어한다.The 3D rendering unit 136 in the VR player 132 receives 360 ° VR content and separates left eye spherical image, right eye spherical image, distance data, authoring metadata, and 3D object included in the 360 ° VR content. . The 3D rendering unit 136 in the VR player 132 controls the 3D object image to be overlaid on the area corresponding to the authoring metadata on each of the left eye spherical image and the right eye spherical image.

VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차가 보정되도록 처리한다.When the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, the 3D rendering unit 136 in the VR player 132 processes the binocular disparity based on the distance data to be corrected.

VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차를 보정되도록 거리 데이터를 기준으로 3D 객체 영상의 출력 위치를 조정되도록 렌더링한다.When the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, the 3D renderer 136 in the VR player 132 corrects the binocular disparity based on the distance data so as to correct the 3D object image based on the distance data. Render to adjust the output position of the.

VR 플레이어(132) 내의 3D 렌더링부(136)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 좁혀지도록 조정한다.The 3D rendering unit 136 in the VR player 132 determines that the distance is far when the distance from the representative object existing in the left eye spherical image and the right eye spherical image exceeds a preset threshold based on the distance data. As the distance is increased, the distance difference between the 3D objects output to the left eye spherical image and the right eye spherical image is narrowed.

VR 플레이어(132) 내의 3D 렌더링부(136)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 멀어지도록 조정한다.The 3D rendering unit 136 in the VR player 132 determines that the distance is close when the distance to the representative object existing in the left eye spherical image and the right eye spherical image is less than or equal to a preset threshold based on the distance data. The distance difference between the 3D objects output to the left eye spherical image and the right eye spherical image is adjusted to be farther away.

VR 플레이어(132) 내의 3D 렌더링부(136)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이하기 위하여 좌안, 우안에 각각 매칭되는 캔버스 레이어를 생성한다. VR 플레이어(132) 내의 3D 렌더링부(136)는 캔버스 레이어 상에 3D 객체가 출력되도록 한다.The 3D rendering unit 136 in the VR player 132 generates a canvas layer that matches the left eye and the right eye, respectively, in order to overlay the 3D object image on the left eye spherical image and the right eye spherical image. The 3D rendering unit 136 in the VR player 132 allows the 3D object to be output on the canvas layer.

VR 플레이어(132) 내의 영상 재생부(134)는 좌안 구형상 영상, 우안 구형상 영상 내의 객체가 복수의 위치에 존재할 때, 관찰자의 시야각을 기준으로 분할된 기 설정된 구간에 따라 기 저장된 사운드가 출력되도록 한다.The image reproducing unit 134 in the VR player 132 outputs pre-stored sounds according to a predetermined section divided based on the viewer's viewing angle when objects in the left eye spherical image and the right eye spherical image exist at a plurality of positions. Be sure to

VR 플레이어(132) 내의 영상 재생부(134)는 거리 데이터에 따라 사운드 출력(데시벨)이 조절되도록 하며, 시야각에 따라 사운드 채널이 변경되도록 조정한다.The video player 134 in the VR player 132 adjusts the sound output (decibel) according to the distance data and adjusts the sound channel according to the viewing angle.

도 3은 본 실시예에 따른 영상 촬영 장치의 동작 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a method of operating an image capturing apparatus according to an exemplary embodiment.

영상 촬영 장치(110)는 360˚로 영상을 촬영하여 360˚좌안 영상, 360˚우안 영상을 각각 생성한다(S310).The image capturing apparatus 110 captures an image at 360 ° and generates 360 ° left eye image and 360 ° right eye image, respectively (S310).

영상 촬영 장치(110)는 360˚좌안 영상, 360˚우안 영상 각각을 촬영자의 시야각을 기준으로 기 설정된 구간(영역)으로 분할한다(S320). 단계 S320에서, 영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 360˚좌안 영상, 360˚우안 영상 각각을 관찰자(촬영자)의 시야각을 기준으로 기 설정된 구간으로 분할한다.The image capturing apparatus 110 divides the 360 ° left eye image and the 360 ° right eye image into predetermined sections (areas) based on the photographer's viewing angle (S320). In operation S320, when capturing an image at 360 °, the image capturing apparatus 110 divides the 360 ° left eye image and the 360 ° right eye image into preset sections based on the viewing angle of the observer (photographer).

영상 촬영 장치(110)는 분할된 각 구간(영역) 내에서 대표 객체를 선별한다. 영상 촬영 장치(110)는 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집(센싱 또는 거리 입력)하여 촬영 메타데이터로 저장한다(S330).The image capturing apparatus 110 selects the representative object in each divided section (region). The image capturing apparatus 110 collects (captures or inputs a distance) the photographing time, the photographing angle, and the distance data from the camera for each representative object and stores the photographing metadata as photographing metadata (S330).

단계 S330에서, 영상 촬영 장치(110)는 분할된 각 구간 내에 존재하는 대표 객체를 선정한다. 영상 촬영 장치(110)는 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터에 저장한다.In operation S330, the image capturing apparatus 110 selects a representative object existing in each divided section. The image capturing apparatus 110 collects photographing time, photographing angle, and distance from the camera for each representative object and stores the photographing data in photographing metadata.

영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 거리를 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터를 배경과 함께 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다. 영상 촬영 장치(110)는 기 설정된 미터 단위를 촬영 메타데이터에 저장한다.When the image capturing apparatus 110 captures an image at 360 °, the image capturing apparatus 110 records a sign, a marker, or a pointer indicating a distance to a representative object in a predetermined metric unit with the background as the center (reference) of the camera to be photographed with 360 °. A left eye image and a 360 ° right eye image are generated. The image capturing apparatus 110 stores a predetermined meter unit in the photographing metadata.

영상 촬영 장치(110)는 360°로 영상을 촬영할 때, 구비된 센서를 이용하여 촬영하는 카메라를 중심(기준)으로 대표 객체까지의 센싱한다. 영상 촬영 장치(110)는 센싱된 대표 객체별 거리 정보를 촬영 메타데이터에 저장한다.When the image capturing apparatus 110 captures an image at 360 °, the image capturing apparatus 110 senses a camera photographed using the provided sensor to a representative object with a center (reference) as the center. The image capturing apparatus 110 stores the sensed distance information for each representative object in photographing metadata.

영상 촬영 장치(110)는 360˚좌안 영상, 360˚우안 영상 및 촬영 메타데이터를 영상 저작 장치(120) 내의 영상 저작 툴(122)로 전송한다(S340).The image capturing apparatus 110 transmits a 360 ° left eye image, a 360 ° right eye image, and photographing metadata to the image authoring tool 122 in the image authoring apparatus 120 (S340).

도 3에서는 단계 S310 내지 단계 S340을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, steps S310 to S340 are described as being sequentially executed, but are not necessarily limited thereto. In other words, since the steps described in FIG. 3 may be applied by changing or executing one or more steps in parallel, FIG. 3 is not limited to the time series order.

전술한 바와 같이 도 3에 기재된 본 실시예에 따른 영상 촬영 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 촬영 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the operating method of the image capturing apparatus according to the present embodiment described in FIG. 3 may be implemented in a program and recorded in a computer-readable recording medium. The computer-readable recording medium having recorded thereon a program for implementing an operating method of an image capturing apparatus according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system.

도 4a,4b는 본 실시예에 따른 영상 촬영 장치의 촬영 방법의 예시를 나타낸 도면이다.4A and 4B are diagrams illustrating an example of a photographing method of an image photographing apparatus according to the present embodiment.

도 4a에 도시된 바와 같이, 영상 촬영 장치(110)는 360˚ 카메라를 이용하여 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다.As shown in FIG. 4A, the image capturing apparatus 110 generates a 360 ° left eye image and a 360 ° right eye image by capturing an image using a 360 ° camera.

영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상을 생성할 때, 카메라를 기준으로 촬영 장소의 바닥에 거리를 측정할 수 있는 위치들이 미리 표시된 부호(마커)을 함께 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성한다.When the image capturing apparatus 110 generates a 360 ° left eye image and a 360 ° right eye image, the image capturing apparatus 110 records a 360-degree mark (marker) with positions that can measure a distance at the bottom of the shooting location with respect to the camera. A left eye image and a 360 ° right eye image are generated.

다시 말해, 영상 촬영 장치(110)는 촬영하는 카메라를 중심(기준)으로 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터들을 배경과 함께 촬영한다.In other words, the image capturing apparatus 110 photographs a sign, a marker, or pointers, which are displayed in a predetermined unit of meter, with the background as the center of the camera.

영상 촬영 장치(110)는 촬영 장소 내에 존재하는 객체들을 기준으로 표시된 부호, 마커 또는 포인터들을 함께 촬영하거나, 객체와 무관하게 기 설정된 미터 단위로 표시된 부호, 마커 또는 포인터들을 함께 촬영할 수 있다.The image capturing apparatus 110 may photograph symbols, markers, or pointers displayed on the basis of objects existing in the photographing location together, or photograph the symbols, markers, or pointers displayed on a predetermined meter unit regardless of the object.

영상 촬영 장치(110)가 센서(예컨대, 라이다)를 구비한 경우, 카메라를 이용하여 촬영 장소를 촬영할 때, 센서를 이용하여 촬영 장소 내에 존재하는 객체들의 거리를 측정하여 360° 좌안 영상 및 360° 우안 영상과 함께 저장할 수 있다.When the image capturing apparatus 110 includes a sensor (eg, a lidar), when a photographing location is taken by using a camera, the 360 ° left eye image and 360 by measuring the distance of objects existing in the shooting location by using the sensor ° Can be saved with the right eye image.

영상 촬영 장치(110)는 촬영 장소 내에 객체들이 미존재하더라도 합성할 객체의 위치를 확인하기 위해 기 설정된 미터 단위로 표시된 부호, 마커 또는 포인터들을 360° 좌안 영상 및 360° 우안 영상과 함께 저장할 수 있다.The image capturing apparatus 110 may store a sign, a marker, or pointers, which are displayed in a predetermined metric unit, together with a 360 ° left eye image and a 360 ° right eye image to identify the position of the object to be synthesized even if there are no objects in the photographing location. .

도 4a에 도시된 바와 같이, 영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상을 촬영할 때, 촬영 장소를 촬영자의 시점(시야)에 따라 복수 개의 구간(예컨대, 제1 구간 내지 제6 구간)으로 구분한다. 시점(시야)에 따라 구분된 구간마다 객체의 위치에 따라 거리를 확인하기 위한 부호, 마커 또는 포인터들이 표시된다. 구간별로 표시된 부호, 마커 또는 포인터들은 각 객체의 거리를 나타내기 위한 구간별 대표값, 평균값을 갖는다.As shown in FIG. 4A, when the image capturing apparatus 110 captures a 360 ° left eye image and a 360 ° right eye image, a plurality of sections (eg, first to second) may be selected according to the viewpoint (field of view) of the photographer. 6 sections). Signs, markers, or pointers for confirming distance according to the position of the object are displayed for each section divided according to the viewpoint. The symbols, markers, or pointers displayed for each section have a representative value and an average value for each section to indicate the distance of each object.

영상 촬영 장치(110)는 시점(시야)에 따라 구분된 ‘제1 구간’ 내에 존재하는 객체를 모두 확인하고, 기 설정된 임계값 이상의 크기를 객체들을 ‘제1 대표 객체’로 선별한다. 영상 촬영 장치(110)는 ‘제1 구간’ 내에 존재하는 ‘제1 대표 객체’들까지의 거리를 센싱하거나 ‘제1 대표 객체’들을 구간별 대표값(또는 평균값)을 갖는 부호 또는 마커, 포인터로 표시한다. 영상 촬영 장치(110)는 ‘제1 구간’을 촬영한 후 ‘제1 구간’ 내에 존재하는 ‘제1 대표 객체’들까지의 거리 정보를 함께 저장한다.The image capturing apparatus 110 checks all objects present in the 'first section' classified according to the viewpoint (field of view), and selects objects as the 'first representative object' with a size larger than or equal to a preset threshold. The image capturing apparatus 110 senses the distance to the 'first representative objects' existing in the 'first section' or uses the symbols, markers, and pointers having the representative values (or average values) for each section. Display. The image capturing apparatus 110 captures the 'first section' and stores the distance information to the 'first representative objects' existing in the 'first section' together.

영상 촬영 장치(110)는 시점(시야)에 따라 구분된 ‘제2 구간’ 내에 존재하는 객체를 모두 확인하고, 기 설정된 임계값 이상의 크기를 객체들을 ‘제2 대표 객체’로 선별한다. 영상 촬영 장치(110)는 ‘제2 구간’ 내에 존재하는 ‘제2 대표 객체’들까지의 거리를 센싱하거나 ‘제2 대표 객체’들을 구간별 대표값(또는 평균값)을 갖는 부호 또는 마커, 포인터로 표시한다. 영상 촬영 장치(110)는 ‘제2 구간’을 촬영한 후 ‘제2 구간’ 내에 존재하는 ‘제2 대표 객체’들까지의 거리 정보를 함께 저장한다.The image capturing apparatus 110 checks all objects existing in the 'second section' classified according to the viewpoint (field of view), and selects objects as the 'second representative object' with a size larger than or equal to a preset threshold. The image capturing apparatus 110 senses a distance to the 'second representative objects' existing in the 'second section' or uses a sign, a marker, or a pointer having a representative value (or an average value) for each section. Display. The image capturing apparatus 110 stores the distance information to the 'second representative objects' existing in the 'second section' after capturing the 'second section'.

이후, 영상 촬영 장치(110)는 도 4a에 도시된 바와 같이, ‘제3 구간’ 내지 ‘제6 구간’까지 ‘제1,2 구간’ 과 동일한 방식으로 대표 객체를 인식하고, 대표 객체까지의 거리 정보를 추출하여 저장하는 동작을 반복한다.Thereafter, as shown in FIG. 4A, the image capturing apparatus 110 recognizes the representative object in the same manner as the 'first and second sections' from 'third section' to 'sixth section', and to the representative object. The operation of extracting and storing distance information is repeated.

도 4b에 도시된 바와 같이, 영상 촬영 장치(110)는 카메라 중심으로 ‘객체 A’, ‘객체 B’, ‘객체 C’에 따른 거리를 확인하기 부호, 마커 또는 포인터 등을 함께 촬영하여 360˚ 영상을 생성한다.As shown in FIG. 4B, the image capturing apparatus 110 records 360 degrees by capturing a sign, a marker, or a pointer to determine the distance according to 'object A', 'object B', and 'object C' with respect to the camera. Create an image.

영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상 내에서 카메라 중심부터 ‘객체 A’에 표시된 부호, 마커 또는 포인터까지의 제1 거리 데이터를 산출한다. 영상 촬영 장치(110)는 기 저장된 구간별 거리 정보를 기준으로 ‘객체 A’에 표시된 부호, 마커 또는 포인터까지의 거리를 산출하거나, 구비된 센서(예컨대, 라이다)에서 측정한 ‘객체 A’까지의 거리 데이터를 이용한다.The image capturing apparatus 110 calculates first distance data from a camera center to a sign, a marker, or a pointer displayed on the object 'A' in the 360 ° left eye image and the 360 ° right eye image. The image capturing apparatus 110 calculates a distance to a sign, a marker, or a pointer displayed on 'object A' based on previously stored section information, or 'object A' measured by a sensor (for example, lidar). Use distance data up to.

영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상 내에서 카메라 중심부터 ‘객체 B’에 표시된 부호, 마커 또는 포인터까지의 제2 거리 데이터를 산출한다. 영상 촬영 장치(110)는 기 저장된 구간별 거리 정보를 기준으로 ‘객체 B’에 표시된 부호, 마커 또는 포인터까지의 거리를 산출하거나, 구비된 센서(예컨대, 라이다)에서 측정한 ‘객체 B’까지의 거리 데이터를 이용한다.The image capturing apparatus 110 calculates second distance data from the center of the camera to a sign, a marker, or a pointer displayed on the 'object B' in the 360 ° left eye image and the 360 ° right eye image. The image capturing apparatus 110 calculates a distance to a sign, a marker, or a pointer displayed on the object B based on previously stored interval information, or measures the object B measured by a sensor (eg, a lidar). Use distance data up to.

영상 촬영 장치(110)는 360° 좌안 영상 및 360° 우안 영상 내에서 카메라 중심부터 ‘객체 C’에 표시된 부호, 마커 또는 포인터까지의 제3 거리 데이터를 산출한다. 영상 촬영 장치(110)는 기 저장된 구간별 거리 정보를 기준으로 ‘객체 C’에 표시된 부호, 마커 또는 포인터까지의 거리를 산출하거나, 구비된 센서(예컨대, 라이다)에서 측정한 ‘객체 C’까지의 거리 데이터를 이용한다.The image capturing apparatus 110 calculates third distance data from a camera center to a sign, a marker, or a pointer displayed on the object C within the 360 ° left eye image and the 360 ° right eye image. The image capturing apparatus 110 calculates a distance to a sign, a marker, or a pointer displayed on the object C based on previously stored interval information, or measures the object C measured by a sensor (eg, a lidar). Use distance data up to.

영상 촬영 장치(110)는 촬영 장소 내에 객체와 무관하게 구간 별로 기 설정된 거리를 인식할 수 있도록 표시된 부호, 마커 또는 포인터들을 함께 촬영한 후 기리 정보와 함께 저장할 수 있다.The image capturing apparatus 110 may photograph the displayed signs, markers, or pointers together with the gry information to recognize the preset distance for each section regardless of the object in the photographing place.

영상 촬영 장치(110)는 시간대별로 움직이는 객체(‘객체 A’, ‘객체 B’, ‘객체 C’)에 대한 거리 정보를 구분된 영역(제1 구간 내지 제6 구간)에 매핑 시켜서 저장한다.The image capturing apparatus 110 maps and stores distance information about moving objects (eg, 'object A', 'object B', and 'object C') for each time zone in the divided regions (first to sixth sections).

도 5는 본 실시예에 따른 영상 저작 장치의 동작 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating an operation method of an image authoring apparatus according to an exemplary embodiment.

영상 저작 장치(120)는 영상 촬영 장치(110)로부터 360° 좌안 영상 및 360° 우안 영상을 수신한다. 영상 저작 장치(120)는 영상 촬영 장치(110)로부터 수신된 360˚좌안 영상, 360˚우안 영상을 각각 스티칭하여 좌안 구형상 영상, 우안 구형상 영상을 생성한다(S510).The image authoring apparatus 120 receives a 360 ° left eye image and a 360 ° right eye image from the image capturing apparatus 110. The image authoring apparatus 120 stitches the 360 ° left eye image and the 360 ° right eye image received from the image capturing apparatus 110 to generate a left eye spherical image and a right eye spherical image (S510).

영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상 각각 내에 존재하는 대표 객체마다 관측자를 기준으로 거리 데이터를 매칭한다(S520).The image authoring apparatus 120 matches distance data based on the viewer for each representative object existing in each of the left eye spherical image and the right eye spherical image (S520).

영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상 내에서 대표 객체를 선정한다. 영상 저작 장치(120)는 영상 촬영 장치(110)로부터 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 포함한 촬영 메타데이터를 수신한다. 영상 저작 장치(120)는 촬영 메타데이터로부터 대표 객체에 대응하는 거리 데이터를 추출한다.The image authoring apparatus 120 selects a representative object in the left eye spherical image and the right eye spherical image. The image authoring apparatus 120 receives photographing metadata including photographing time, photographing angle, and distance from the camera for each representative object from the photographing apparatus 110. The video authoring apparatus 120 extracts distance data corresponding to the representative object from the photographing metadata.

단계 S520에서, 영상 저작 장치(120)는 시간대별로 대표 객체가 움직이는 경우(제1 구간 → 제2 구간 이동), 시간대와 거리감의 싱크를 맞추는 작업을 수행한다.In operation S520, when the representative object moves for each time zone (moving the first section to the second section), the image authoring apparatus 120 performs a task of matching the time zone and the sense of distance.

예컨대, 특정 대표 객체가 1초의 시간대에 카메라 중심축으로부터 2m의 거리에 존재하다가 2초에 구간 4m의 거리로 이동하거나, 특정 대표 객체가 1초의 시간대에 제1 구간에 존재하다가 2초에 제2 구간으로 이동하는 경우, 영상 저작 장치(120)는 시간대별 거리 정보를 객체에 매핑시키는 작업을 수행한다. For example, a specific representative object exists at a distance of 2 m from the camera central axis in a time zone of 1 second and then moves to a distance of 4 m section in 2 seconds, or a specific representative object exists in a first section at a time zone of 1 second, and then a second at 2 seconds. When moving to the section, the image authoring apparatus 120 performs a task of mapping distance information for each time zone to an object.

영상 저작 장치(120)는 좌안 구형상 영상과 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성한다. 영상 저작 장치(120)는 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성한다(S530).The image authoring apparatus 120 generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image. The video authoring apparatus 120 generates authoring metadata regarding a position and a time at which the 3D object is to be inserted (S530).

영상 저작 장치(120)는 영상 촬영 장치(110)로부터 수신된 촬영 메타데이터로부터 카메라와 대표 객체 각각까지의 거리 데이터를 추출한다. 영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상 각각 내에 존재하는 대표 객체마다 관측자의 시야각을 기준으로 거리 데이터를 매핑(Mapping)하여 저작 메타데이터에 저장한다.The image authoring apparatus 120 extracts distance data of each of the camera and the representative object from the photographing metadata received from the image capturing apparatus 110. The image authoring apparatus 120 maps distance data based on a viewer's viewing angle for each representative object existing in each of the left eye spherical image and the right eye spherical image, and stores the distance data in the authoring metadata.

영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체마다 추가로 삽입될 3D 객체에 거리 데이터를 매핑하여 저작 메타데이터에 저장한다.The image authoring apparatus 120 maps the distance data to the 3D object to be additionally inserted for each representative object existing in the left eye spherical image and the right eye spherical image and stores the distance data in the metadata.

영상 저작 장치(120)는 좌안 구형상 영상, 우안 구형상 영상, 객체별 거리 데이터, 추가로 삽입할 3D 객체, 저작 메타데이터를 패키징하여 360° VR 컨텐츠를 생성한다(S540). 영상 저작 장치(120)는 360° VR 컨텐츠를 영상 재생 장치(130) 내의 VR 플레이어(132)로 전송한다(S550).The video authoring apparatus 120 generates a 360 ° VR content by packaging a left eye spherical image, a right eye spherical image, distance data for each object, an additional 3D object to be inserted, and an authoring metadata (S540). The video authoring apparatus 120 transmits the 360 ° VR content to the VR player 132 in the video reproducing apparatus 130 (S550).

도 5에서는 단계 S510 내지 단계 S550을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 5, steps S510 to S550 are sequentially executed, but the present disclosure is not limited thereto. In other words, since the steps described in FIG. 5 may be applied by changing the execution or performing one or more steps in parallel, FIG. 5 is not limited to the time series order.

전술한 바와 같이 도 5에 기재된 본 실시예에 따른 영상 저작 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 저작 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the operating method of the video authoring apparatus according to the present embodiment described in FIG. 5 may be implemented in a program and recorded in a computer-readable recording medium. A computer-readable recording medium having recorded thereon a program for implementing an operating method of an image authoring apparatus according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system.

도 6은 본 실시예에 따른 영상 재생 장치의 동작 방법을 설명하기 위한 순서도이다.6 is a flowchart for explaining a method of operating an image reproducing apparatus according to the present embodiment.

영상 재생 장치(130)는 360° VR 컨텐츠를 언패키징한다. 영상 재생 장치(130)는 360° VR 컨텐츠를 수신하여, 360° VR 컨텐츠 내 포함된 좌안 구형상 영상, 우안 구형상 영상, 거리 데이터, 저작 메타데이터, 3D 객체를 분리한다. The video reproducing apparatus 130 unpackages 360 ° VR content. The image reproducing apparatus 130 receives the 360 ° VR content and separates the left eye spherical image, the right eye spherical image, distance data, authoring metadata, and 3D object included in the 360 ° VR content.

영상 재생 장치(130)는 추가 삽입 객체가 양안 시차를 발생하도록 하기 위해 영상 재생 장치(130) 내의 좌안, 우안에 매칭되는 캔버스 레이어를 생성한다(S610).The image reproducing apparatus 130 generates a canvas layer matching the left eye and the right eye in the image reproducing apparatus 130 so that the additional insertion object generates binocular disparity (S610).

단계 S610에서, 영상 재생 장치(130)는 스테레오스코픽으로 생성된 360˚ 영상에 3D 객체를 삽입하여 재생하기 위한 별도의 레이어를 생성한다. 영상 재생 장치(130)는 스테레오스코픽으로 생성된 360˚ 영상을 재생하기 위한 2개의 디스플레이를 구비한다. 영상 재생 장치(130)는 좌안 영상을 좌측 디스플레이에 재생할 때, 별도의 3D 객체(예컨대, 자막, CG)를 삽입하기 위한 레이어를 생성하고, 우안 영상을 우측 디스플레이에 재생할 때, 별도의 3D 객체(예컨대, 자막, CG)를 삽입하기 위한 레이어를 생성한다.In operation S610, the image reproducing apparatus 130 generates a separate layer for reproducing and inserting the 3D object into the 360 ° image generated by the stereoscopic. The image reproducing apparatus 130 includes two displays for reproducing a 360 ° image generated by stereoscopic. When playing the left eye image on the left display, the image reproducing apparatus 130 generates a layer for inserting a separate 3D object (eg, a caption, CG), and when playing the right eye image on the right display, the separate 3D object ( For example, a layer for inserting subtitles, CG) is generated.

영상 재생 장치(130)는 360° VR 컨텐츠 내에 포함된 저작 메타데이터에서 우안 구형상 영상, 우안 구형상 영상 내의 객체에 대한 거리 데이터를 확인한다(S620). 영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 추가 삽입 객체를 프레임별로 매핑한다(S630).The image reproducing apparatus 130 checks distance data of the right eye spherical image and the object in the right eye spherical image from the authoring metadata included in the 360 ° VR content (S620). The image reproducing apparatus 130 maps an additional insertion object to each of the left eye spherical image and the right eye spherical image (S630).

영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이하기 위하여 좌안, 우안에 각각 매칭되는 캔버스 레이어를 생성한다. 영상 재생 장치(130)는 캔버스 레이어 상에 3D 객체가 출력되도록 한다.The image reproducing apparatus 130 generates a canvas layer that matches the left eye and the right eye so that the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, respectively. The image reproducing apparatus 130 outputs the 3D object on the canvas layer.

영상 재생 장치(130)는 추가 삽입 객체가 출력되는 시점에 해당 프레임 내의 존재하는 객체의 거리 데이터를 기준으로 양안 시차가 발생하도록 좌안, 우안에 따라 추가 삽입 객체의 출력 위치가 조정되도록 렌더링한다(S640).The image reproducing apparatus 130 renders the output position of the additional insertion object adjusted according to the left eye and the right eye so that binocular disparity occurs based on the distance data of the object present in the frame at the time when the additional insertion object is output (S640). ).

단계 S640에서, 영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차를 보정되도록 거리 데이터를 기준으로 3D 객체 영상의 출력 위치를 조정되도록 렌더링한다.In operation S640, when the 3D object image is overlaid on each of the left eye spherical image and the right eye spherical image, the image reproducing apparatus 130 outputs the 3D object image based on the distance data so as to correct binocular disparity based on the distance data. Render to adjust position.

영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 저작 메타데이터에 대응하는 영역에 3D 객체 영상이 오버레이되도록 제어한다. 영상 재생 장치(130)는 좌안 구형상 영상, 우안 구형상 영상 각각에 3D 객체 영상이 오버레이될 때, 거리 데이터를 기반으로 양안 시차가 보정되도록 처리한다.The image reproducing apparatus 130 controls the 3D object image to be overlaid on a region corresponding to the authoring metadata on each of the left eye spherical image and the right eye spherical image. When the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, the image reproducing apparatus 130 processes the binocular disparity based on the distance data to be corrected.

영상 재생 장치(130)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 좁혀지도록 조정한다.When the distance between the representative object existing in the left eye spherical image and the right eye spherical image exceeds a preset threshold, the image reproducing apparatus 130 determines that the distance is farther and the farther the left eye spherical shape is, based on the distance data. Adjust the distance difference between the 3D objects output on the image and the right eye spherical image, respectively.

영상 재생 장치(130)는 거리 데이터를 기반으로 좌안 구형상 영상, 우안 구형상 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 좌안 구형상 영상, 우안 구형상 영상에 각각 출력되는 3D 객체 간의 거리차이가 멀어지도록 조정한다.The image reproducing apparatus 130 determines that the distance is close when the distance between the representative object existing in the left eye spherical image and the right eye spherical image is less than or equal to a preset threshold based on the distance data, and the closer the distance is, the left eye spherical image Adjust the distance difference between the 3D objects output to the right eye spherical image.

영상 재생 장치(130)는 사운드 출력시 시야에 따른 헤드트래킹(HeadTracking)을 지원하면서 각 객체별 거리 데이터에 따라서 볼륨이 조절되도록 제어한다(S650).The video reproducing apparatus 130 controls the volume to be adjusted according to the distance data for each object while supporting head tracking according to the field of view when the sound is output (S650).

영상 재생 장치(130)는 360˚ VR 컨텐츠에 존재하는 객체가 복수의 위치에 존재할 때, 구간에 따라 사운드를 저장하고 있다가 시점(시야)에 따라 해당 구간의 사운드가 출력되도록 한다.When the object present in the 360 ° VR content exists in a plurality of positions, the video reproducing apparatus 130 stores the sound according to the section and outputs the sound of the corresponding section according to the viewpoint (viewing field).

영상 재생 장치(130)는 시차(시야)나 거리값을 확인할 수 있으므로, 사운드를 시차(시야)나 거리값에 따라 고정된 값이 출력되도록 한다. 예컨대, 영상 재생 장치(130)는 거리에 따른 사운드 출력(데시벨)이 조절되도록 하며, 시차(시야)에 따라서 사운드 채널이 변경되도록 한다.Since the image reproducing apparatus 130 may check the parallax (field of view) or the distance value, the image reproducing apparatus 130 outputs a fixed value according to the parallax (field of view) or the distance value. For example, the image reproducing apparatus 130 allows the sound output (decibel) to be adjusted according to the distance, and the sound channel to be changed according to the parallax (field of view).

도 6에서는 단계 S610 내지 단계 S650을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 6, steps S610 to S650 are sequentially executed, but the present disclosure is not limited thereto. In other words, since the steps described in FIG. 6 may be applied by changing or executing one or more steps in parallel, FIG. 6 is not limited to the time series order.

전술한 바와 같이 도 6에 기재된 본 실시예에 따른 영상 재생 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 재생 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the operating method of the image reproducing apparatus according to the present embodiment described in FIG. 6 may be implemented in a program and recorded in a computer-readable recording medium. The computer-readable recording medium having recorded thereon a program for implementing an operating method of an image reproducing apparatus according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system.

도 7은 본 실시예에 따른 삼차원 스테레오스코픽 영상 내의 객체 합성 예시를 나타낸 도면이다.7 illustrates an example of object synthesis in a three-dimensional stereoscopic image according to the present embodiment.

영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 3D 객체를 삽입하여 재생할 때, 360° 좌안 영상 및 360° 우안 영상 내에 존재하는 대표 객체와의 거리를 확인한다.When the 3D object is inserted into the 360 ° left eye image and the 360 ° right eye image, the image reproducing apparatus 130 checks the distance from the representative object existing in the 360 ° left eye image and the 360 ° right eye image.

영상 재생 장치(130)는 도 7에 도시된 바와 같이, 360° 좌안 영상 및 360° 우안 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 좁혀지도록 조정한다.As illustrated in FIG. 7, when the distance between the representative object existing in the 360 ° left eye image and the 360 ° right eye image exceeds a preset threshold, the image reproducing apparatus 130 determines that the distance is farther, Adjust the distance difference between the left eye addition object and the right eye addition object to be narrowed.

영상 재생 장치(130)는 도 7에 도시된 바와 같이, 360° 좌안 영상 및 360° 우안 영상 내에 존재하는 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 멀어지도록 조정한다.As illustrated in FIG. 7, when the distance between the representative object existing in the 360 ° left eye image and the 360 ° right eye image is less than or equal to a preset threshold, the image reproducing apparatus 130 determines that the distance is closer to the left eye. Adjust the distance difference between the additional object and the right eye additional object.

다시 말해, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 3D 객체를 삽입할 때, 3D 객체는 동일하나 좌안 또는 우안에 맞게 3D 객체의 위치를 이동시킨다. 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 멀면 좌안과 우안에 간의 거리를 좁힌다.In other words, when the 3D object is inserted into the 360 ° left eye image and the 360 ° right eye image, the image reproducing apparatus 130 moves the position of the 3D object in accordance with the same left eye or right eye. The image reproducing apparatus 130 narrows the distance between the left eye and the right eye when the distance of the representative object existing in the 360 ° left eye image and the 360 ° right eye image is far.

영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 객체의 거리가 가까우면 좌안과 우안에 간의 거리를 벌린다.The image reproducing apparatus 130 increases the distance between the left eye and the right eye when the distance between the object existing in the 360 ° left eye image and the 360 ° right eye image is close.

도 7에 도시된 바와 같이, 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체가 A 위치에 존재하는 경우, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 가까운 것으로 판단하여 별도의 캔버스 레이어 각각에 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 멀어지도록 간격을 조정하여 출력되도록 한다.As shown in FIG. 7, when a representative object previously existing in the 360 ° left eye image and the 360 ° right eye image exists at the A position, the image reproducing apparatus 130 may be in the 360 ° left eye image and the 360 ° right eye image. It is determined that the distance of the existing representative object is close, and the gap is adjusted so that the distance difference between the left eye additional object and the right eye additional object is separated from each other in the canvas layer.

360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체가 B 위치에 존재하는 경우, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 보통인 것으로 판단하여 별도의 레이어 각각에 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 보다 가까워지도록 간격을 조정하여 출력되도록 한다.When the representative object previously existing in the 360 ° left eye image and the 360 ° right eye image exists in the B position, the image reproducing apparatus 130 has a distance of the representative object existing in the 360 ° left eye image and the 360 ° right eye image. It is determined to be normal so that the distance is adjusted so that the difference in distance between the left eye additional object and the right eye additional object is closer to each other layer.

360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 객체가 C 위치에 존재하는 경우, 영상 재생 장치(130)는 360° 좌안 영상 및 360° 우안 영상에 내에 기 존재하는 대표 객체의 거리가 먼 것으로 판단하여 별도의 레이어 각각에 좌안 추가 객체와 우안 추가 객체 간의 거리차이가 좁아지도록 간격을 조정하여 출력되도록 한다.When an object previously existing in the 360 ° left eye image and the 360 ° right eye image exists at the C position, the image reproducing apparatus 130 may move the distance of the representative object previously existing in the 360 ° left eye image and the 360 ° right eye image. It is determined that the distance is adjusted so that the distance difference between the left eye additional object and the right eye additional object is narrowed in each of the separate layers.

영상 재생 장치(130)는 기준은 카메라 특성에 따른 거리 정보를 최적값을 일종의 룩업 테이블 형태로 저장한다. 영상 재생 장치(130)는 기 저장된 룩업 테이블로부터 거리 데이터에 따른 오프셋값을 추출하여 반영한다.The image reproducing apparatus 130 stores, as a reference, an optimum value as a kind of lookup table. The image reproducing apparatus 130 extracts and reflects an offset value according to distance data from a previously stored lookup table.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those skilled in the art to which the present embodiment belongs may make various modifications and changes without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment but to describe the present invention, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

110: 영상 촬영 장치 112: 거리 데이터 수집부
120: 영상 저작 장치 122: 영상 저작 툴
130: 영상 재생 장치 132: VR 플레이어
134: 영상 재생부 136: 3D 렌더링부110: image recording device 112: distance data collector
120: video authoring apparatus 122: video authoring tool
130: video playback device 132: VR player
134: video playback unit 136: 3D rendering unit

Claims (14)

360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 영상 촬영 장치;
상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하고, 상기 대표 객체에 대응하는 거리 데이터를 추출하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하고, 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터(Metadata)를 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 영상 저작 장치; 및
상기 360° VR 컨텐츠를 언패키징하여 재생할 때, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내의 객체가 복수의 위치에 존재할 때, 관찰자의 시야각을 기준으로 분할된 기 설정된 구간에 따라 기 저장된 사운드가 출력되도록 하는 영상 재생 장치
를 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.An imaging apparatus for photographing an image at 360 ° to generate a 360 ° left eye image and a 360 ° right eye image;
The 360 ° left eye image and the 360 ° right eye image are stitched to generate a left eye sphere image and a right eye sphere image, and a representative object is formed in the left eye sphere image and the right eye sphere image. Selects and extracts distance data corresponding to the representative object, generates a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image, and writes a metadata about a location and a time at which the 3D object is to be inserted An image for generating data and generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image. Authoring apparatus; And
When the 360 ° VR content is unpackaged and played back, when the objects in the left eye spherical image and the right eye spherical image exist in a plurality of positions, the pre-stored sound is divided according to a predetermined section divided based on the viewer's viewing angle. Video playback device to output
A system for rendering a binocular parallax image comprising a. 제 1 항에 있어서,
상기 영상 촬영 장치는,
360°로 영상을 촬영할 때, 상기 360˚좌안 영상, 상기 360˚우안 영상 각각을 관찰자의 시야각을 기준으로 기 설정된 구간으로 분할하고, 분할된 각 구간 내에 존재하는 상기 대표 객체를 선정하고, 상기 대표 객체마다 촬영 시간, 촬영 각도, 카메라와의 거리 데이터를 수집하여 촬영 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 1,
The video photographing device,
When capturing an image at 360 °, the 360 ° left eye image and the 360 ° right eye image are divided into predetermined sections based on the viewer's viewing angle, and the representative object existing in each divided section is selected, and the representative A binocular parallax image rendering system, characterized in that for collecting the shooting time, angle of shooting, distance data from the camera for each object and stored in the shooting metadata. 제 2 항에 있어서,
상기 영상 촬영 장치는,
360°로 영상을 촬영할 때, 촬영하는 카메라를 중심으로 상기 대표 객체까지의 거리를 기 설정된 미터 단위로 표시한 부호, 마커 또는 포인터를 배경과 함께 촬영하여 상기 360° 좌안 영상 및 상기 360° 우안 영상을 생성하고, 기 설정된 미터 단위를 상기 촬영 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 2,
The video photographing device,
When the image is taken at 360 °, the 360 ° left eye image and the 360 ° right eye image are taken by photographing a sign, a marker, or a pointer indicating a distance from the camera to the representative object in a predetermined meter unit with a background. And generate a predetermined meter unit in the photographing metadata. 제 2 항에 있어서,
상기 영상 촬영 장치는,
360°로 영상을 촬영할 때, 구비된 센서를 이용하여 촬영하는 카메라를 중심으로 상기 대표 객체까지의 센싱하고, 센싱된 대표 객체별 거리 정보를 상기 촬영 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 2,
The video photographing device,
When capturing an image at 360 °, a binocular parallax image comprising sensing to the representative object centered on a camera photographing using the provided sensor and storing distance information for each representative object in the photographing metadata Rendering system. 제 2 항에 있어서,
상기 영상 저작 장치는,
상기 촬영 메타데이터로부터 상기 카메라와 상기 대표 객체 각각까지의 상기 거리 데이터를 추출하고, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각 내에 존재하는 상기 대표 객체마다 관측자의 시야각을 기준으로 상기 거리 데이터를 매핑(Mapping)하여 상기 저작 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 2,
The video authoring apparatus,
Extracting the distance data from the photographing metadata to each of the camera and the representative object, and extracting the distance data based on the viewer's viewing angle for each representative object present in each of the left eye spherical image and the right eye spherical image. And mapping and storing the same in the authoring metadata. 제 3 항에 있어서,
상기 영상 저작 장치는,
상기 좌안 구형상 영상, 상기 우안 구형상 영상 내에 존재하는 상기 대표 객체마다 추가로 삽입될 상기 3D 객체에 상기 거리 데이터를 매핑하여 상기 저작 메타데이터에 저장하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 3, wherein
The video authoring apparatus,
And mapping the distance data to the 3D object to be additionally inserted for each of the representative objects existing in the left eye spherical image and the right eye spherical image and storing the distance data in the authoring metadata. 제 1 항에 있어서,
상기 영상 재생 장치는,
상기 360° VR 컨텐츠를 수신하여, 상기 360° VR 컨텐츠 내 포함된 상기 좌안 구형상 영상, 상기 우안 구형상 영상, 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 분리하고, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 저작 메타데이터에 대응하는 영역에 상기 3D 객체 영상을 오버레이되도록 제어하고, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 3D 객체 영상이 오버레이될 때, 상기 거리 데이터를 기반으로 양안 시차를 보정되도록 처리하여 상기 360° VR 컨텐츠를 재생하여 출력하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 1,
The video reproducing apparatus,
Receiving the 360 ° VR content, separating the left eye spherical image, the right eye spherical image, the distance data, the authoring metadata, and the 3D object included in the 360 ° VR content, and the left eye spherical image And when the 3D object image is overlaid on each of the right eye spherical images corresponding to the author metadata, and when the 3D object image is overlaid on the left eye spherical image and the right eye spherical image, respectively. A binocular parallax image rendering system, characterized in that for processing the binocular parallax correction based on the distance data to reproduce the 360 ° VR content to output. 제 7 항에 있어서,
상기 영상 재생 장치는,
상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 3D 객체 영상이 오버레이될 때, 상기 거리 데이터를 기반으로 양안 시차를 보정되도록 상기 거리 데이터를 기준으로 상기 3D 객체 영상의 출력 위치를 조정되도록 렌더링하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
When the 3D object image is overlaid on each of the left eye spherical image and the right eye spherical image, the output position of the 3D object image is adjusted to be adjusted based on the distance data so as to correct binocular disparity based on the distance data. Rendering system for binocular parallax image, characterized in that. 제 7 항에 있어서,
상기 영상 재생 장치는,
상기 거리 데이터를 기반으로 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내에 존재하는 상기 대표 객체와의 거리가 기 설정된 임계치를 초과하는 경우, 거리가 멀다고 판단하여 거리 멀수록, 상기 좌안 구형상 영상, 상기 우안 구형상 영상에 각각 출력되는 상기 3D 객체 간의 거리차이가 좁혀지도록 조정하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
Based on the distance data, when the distance to the representative object existing in the left eye spherical image and the right eye spherical image exceeds a preset threshold, it is determined that the distance is farther, the farther distance from the left eye spherical image, And a distance difference between the 3D objects respectively output to the right eye spherical image to be narrowed. 제 7 항에 있어서,
상기 영상 재생 장치는,
상기 거리 데이터를 기반으로 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내에 존재하는 상기 대표 객체와의 거리가 기 설정된 임계치를 이하인 경우, 거리가 가깝다고 판단하여 거리 가까울수록, 상기 좌안 구형상 영상, 상기 우안 구형상 영상에 각각 출력되는 상기 3D 객체 간의 거리차이가 멀어지도록 조정하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
When the distance to the representative object existing in the left eye spherical image and the right eye spherical image is less than or equal to a preset threshold based on the distance data, it is determined that the distance is close, so that the closer the distance is, the left eye spherical image, the And a distance difference between the 3D objects respectively output on the right eye spherical image is adjusted to be farther away. 제 7 항에 있어서,
상기 영상 재생 장치는,
상기 좌안 구형상 영상, 상기 우안 구형상 영상 각각에 상기 3D 객체 영상이 오버레이하기 위하여 좌안, 우안에 각각 매칭되는 캔버스 레이어를 생성하고, 상기 캔버스 레이어 상에 상기 3D 객체가 출력되도록 하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.The method of claim 7, wherein
The video reproducing apparatus,
In order to overlay the 3D object image on each of the left eye spherical image and the right eye spherical image, a canvas layer matching each of the left eye and the right eye is generated, and the 3D object is output on the canvas layer. Rendering system of binocular parallax image. 삭제delete 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 영상 촬영 장치;
상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하고, 상기 대표 객체에 대응하는 거리 데이터를 추출하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하고, 상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터(Metadata)를 생성하고, 상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 영상 저작 장치; 및
상기 360° VR 컨텐츠를 언패키징하여 재생할 때, 상기 거리 데이터에 따라 사운드 출력이 조절되도록 하며, 관찰자의 시야각에 따라 사운드 채널이 변경되도록 조정하는 영상 재생 장치
를 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 시스템.An imaging apparatus for photographing an image at 360 ° to generate a 360 ° left eye image and a 360 ° right eye image;
The 360 ° left eye image and the 360 ° right eye image are stitched to generate a left eye sphere image and a right eye sphere image, and a representative object is formed in the left eye sphere image and the right eye sphere image. Selecting, extracting distance data corresponding to the representative object, generating a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image, and writing meta An image for generating data and generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image. Authoring apparatus; And
When unpackaging and playing the 360 ° VR content, the sound output is adjusted according to the distance data, and the image reproducing apparatus is adjusted to change the sound channel according to the viewing angle of the viewer.
A system for rendering a binocular parallax image comprising a. 360°로 영상을 촬영하여 360° 좌안 영상 및 360° 우안 영상을 생성하는 과정;
상기 360° 좌안 영상 및 상기 360° 우안 영상을 각각 스티칭(Stitching)하여 좌안 구(Sphere)형상 영상과 우안 구형상 영상을 생성하는 과정;
상기 좌안 구형상 영상과 상기 우안 구형상 영상 내에서 대표 객체를 선정하는 과정;
상기 대표 객체에 대응하는 거리 데이터를 추출하는 과정;
상기 좌안 구형상 영상과 상기 우안 구형상 영상에 추가로 삽입될 3D 객체를 생성하는 과정;
상기 3D 객체가 삽입될 위치, 시간에 대한 저작 메타데이터를 생성하는 과정;
상기 좌안 구형상 영상과 상기 우안 구형상 영상 각각에 상기 거리 데이터, 상기 저작 메타데이터, 상기 3D 객체를 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 과정; 및
상기 360° VR 컨텐츠를 언패키징하여 재생할 때, 상기 좌안 구형상 영상, 상기 우안 구형상 영상 내의 객체가 복수의 위치에 존재할 때, 관찰자의 시야각을 기준으로 분할된 기 설정된 구간에 따라 기 저장된 사운드가 출력되도록 하는 과정
을 포함하는 것을 특징으로 하는 양안 시차 영상의 렌더링 방법.
Photographing an image at 360 ° to generate a 360 ° left eye image and a 360 ° right eye image;
Generating a left eye sphere image and a right eye sphere image by stitching the 360 ° left eye image and the 360 ° right eye image, respectively;
Selecting a representative object in the left eye spherical image and the right eye spherical image;
Extracting distance data corresponding to the representative object;
Generating a 3D object to be additionally inserted into the left eye spherical image and the right eye spherical image;
Generating authoring metadata about a location and a time at which the 3D object is to be inserted;
Generating and transmitting 360 ° VR (Virtual Reality) content packaged with the distance data, the authoring metadata, and the 3D object in each of the left eye spherical image and the right eye spherical image; And
When the 360 ° VR content is unpackaged and played back, when the objects in the left eye spherical image and the right eye spherical image exist in a plurality of positions, the pre-stored sound is divided according to a predetermined section divided based on the viewer's viewing angle. Process for output
The rendering method of the binocular parallax image comprising a.
KR1020180044021A 2018-04-16 2018-04-16 Method And System for Rendering for Binocular Disparity Image KR102048381B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180044021A KR102048381B1 (en) 2018-04-16 2018-04-16 Method And System for Rendering for Binocular Disparity Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180044021A KR102048381B1 (en) 2018-04-16 2018-04-16 Method And System for Rendering for Binocular Disparity Image

Publications (2)

Publication Number Publication Date
KR20190120619A KR20190120619A (en) 2019-10-24
KR102048381B1 true KR102048381B1 (en) 2019-11-25

Family

ID=68423261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180044021A KR102048381B1 (en) 2018-04-16 2018-04-16 Method And System for Rendering for Binocular Disparity Image

Country Status (1)

Country Link
KR (1) KR102048381B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102455716B1 (en) * 2021-10-07 2022-10-18 주식회사 벤타브이알 Video stitching method and system for real-time 3D VR video relay

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136407A1 (en) * 2010-04-28 2011-11-03 (주)아이티엑스시큐리티 Apparatus and method for image recognition using a stereo camera
KR102560029B1 (en) * 2016-09-12 2023-07-26 삼성전자주식회사 A method and apparatus for transmitting and receiving virtual reality content

Also Published As

Publication number Publication date
KR20190120619A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
CN106331732B (en) Generate, show the method and device of panorama content
US8675048B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US8836760B2 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
JP4793451B2 (en) Signal processing apparatus, image display apparatus, signal processing method, and computer program
EP2306729B1 (en) Video encoding device, video encoding method, video reproduction device, video recording medium, and video data stream
US8768043B2 (en) Image display apparatus, image display method, and program
CN106066701B (en) A kind of AR and VR data processing equipment and method
KR20100002049A (en) Image processing method and apparatus
US9210407B2 (en) Image processing apparatus and method, and program
JP2008103820A (en) Stereoscopic image processing apparatus
RU2012101829A (en) INSERTING THREE-DIMENSIONAL OBJECTS IN A STEREOSCOPIC IMAGE TO A RELATIVE DEPTH
NO340415B1 (en) Device and program for generating stereographic image display
CN103533340A (en) Naked eye 3D (three-dimensional) playing method of mobile terminal and mobile terminal
WO2012070636A1 (en) Image processing device, image processing method, and image processing program
KR101198557B1 (en) 3D stereoscopic image and video that is responsive to viewing angle and position
WO2013108285A1 (en) Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method
KR102048381B1 (en) Method And System for Rendering for Binocular Disparity Image
JP2003284095A (en) Stereoscopic image processing method and apparatus therefor
JP2011108028A (en) Image reproduction device, imaging device and image reproduction method
JP5049416B2 (en) Image file generation device, image file playback device, and image file generation method
CN113382222B (en) Display method based on holographic sand table in user moving process
KR20110025083A (en) Apparatus and method for displaying 3d image in 3d image system
JP2002024856A (en) Display system of solid object and receiver thereof
JPH0715748A (en) Picture recording and reproducing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant