KR101820359B1 - Method and apparatus for transmitting 360 degree image - Google Patents

Method and apparatus for transmitting 360 degree image Download PDF

Info

Publication number
KR101820359B1
KR101820359B1 KR1020160137626A KR20160137626A KR101820359B1 KR 101820359 B1 KR101820359 B1 KR 101820359B1 KR 1020160137626 A KR1020160137626 A KR 1020160137626A KR 20160137626 A KR20160137626 A KR 20160137626A KR 101820359 B1 KR101820359 B1 KR 101820359B1
Authority
KR
South Korea
Prior art keywords
information
image
input images
stitching
input
Prior art date
Application number
KR1020160137626A
Other languages
Korean (ko)
Inventor
김동호
서봉석
장정엽
유동호
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020160137626A priority Critical patent/KR101820359B1/en
Application granted granted Critical
Publication of KR101820359B1 publication Critical patent/KR101820359B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a method and an apparatus for transmitting a 360-degree image. The method for transmitting a 360-degree image can comprise the steps of: obtaining six input images corresponding to each face of a hexahedron; obtaining stitching information relating to a combination of the input images; and transmitting information about the input image together with the stitching information. Therefore, the amount of transmission data can be reduced.

Description

360도 영상 전송 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING 360 DEGREE IMAGE}METHOD AND APPARATUS FOR TRANSMITTING 360 DEGREE IMAGE < RTI ID = 0.0 >

아래의 설명은 360도 영상에 관한 기술로서, 360도 영상을 전송하는 방법에 관한 것이다.The following description relates to a 360 degree image and relates to a method of transmitting a 360 degree image.

최근 가상 현실(Virtual Reality, VR) 콘텐츠에 대한 수요와 함께 VR 콘텐츠의 실시간 서비스에 대한 수요가 증가하고 있다. VR 콘텐츠는 구형으로 렌더링되어야 하지만, 구형의 영상 변환 및 전송은 기존의 영상 변환 포맷 또는 방송 전송 포맷에 부합하지 않는 문제점이 있었다. 이에 따라 지도 투영법 중 메르카토르도법(원통도법)을 적용하여 구형의 영상을 사각형의 평면으로 재구성하는 기술이 개발되었다. 하지만, 이러한 기술은 평면으로 변환하는 과정에서 영상의 데이터가 증가하는 문제점이 있었다.Recently, demand for real - time services of VR contents is increasing with demand for virtual reality (VR) contents. The VR content must be rendered in a spherical shape, but the spherical image conversion and transmission has a problem that it does not conform to the existing image conversion format or broadcast transmission format. Accordingly, a technique of reconstructing a rectangular image into a rectangular plane was developed by applying the Mercator projection method (cylindrical projection method) in the map projection method. However, this technique has a problem in that image data increases in the process of converting into a plane.

본 발명은 육면체의 각 면에 대응하는 영상을 처리함으로써 전송 데이터의 용량을 줄일 수 있는 방법을 제공한다.The present invention provides a method for reducing the capacity of transmission data by processing an image corresponding to each surface of a hexahedron.

본 발명은 사용자가 향하는 방향에 대응하는 영상만을 처리함으로써, 전송 데이터의 용량을 더욱 줄일 수 있다.The present invention can further reduce the capacity of transmission data by processing only the image corresponding to the direction to which the user is directed.

일 실시예에 따른 360도 영상 전송 방법은, 육면체의 각 면에 대응하는 6개의 입력 영상을 획득하는 단계, 상기 입력 영상들 간의 결합에 관한 스티칭 정보를 획득하는 단계 및 상기 스티칭 정보와 함께 상기 입력 영상에 관한 정보를 전송하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a method of transmitting a 360-degree image, comprising the steps of: acquiring six input images corresponding to respective faces of a hexahedron; acquiring stitching information relating to a combination of the input images; And transmitting information about the image.

상기 스티칭 정보를 획득하는 단계는, 상기 6개의 입력 영상을 결합하여 구형으로 변환하는 단계 및 상기 변환된 6개의 입력 영상 간의 결합에 관한 스티칭 정보를 획득하는 단계를 포함할 수 있다.The step of acquiring the stitching information may include converting the six input images into a sphere shape and obtaining stitching information related to the combination of the six input images.

상기 변환하는 단계는, 상기 구형에 기초하여 상기 6개의 입력 영상의 영역 또는 밝기를 조정할 수 있다.The converting may adjust the area or brightness of the six input images based on the spherical shape.

상기 스티칭 정보는 상기 구형에 기초하여 조정된 상기 6개의 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 포함할 수 있다.The stitching information may include distortion information, brightness information, or area information of the six input images adjusted based on the spherical shape.

상기 전송하는 단계는, 수신기의 전송 요청에 포함된 상기 수신기의 방향 정보에 대응하는 상기 입력 영상에 관한 정보를 전송할 수 있다.The transmitting step may transmit information on the input image corresponding to the direction information of the receiver included in the transmission request of the receiver.

상기 방향 정보에 대응하는 상기 입력 영상에 관한 정보는, 상기 6개의 입력 영상 중에서 상기 방향 정보에 대응하는 사용자의 시야에 필요한 입력 영상에 관한 정보를 포함할 수 있다.The information on the input image corresponding to the direction information may include information on the input image necessary for the view of the user corresponding to the direction information among the six input images.

일 실시예에 따른 360도 영상 전송 장치는, 적어도 하나의 프로세서 및 상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 육면체의 각 면에 대응하는 6개의 입력 영상을 획득하는 동작, 상기 입력 영상들 간의 결합에 관한 스티칭 정보를 획득하는 동작 및 상기 스티칭 정보와 함께 상기 입력 영상에 관한 정보를 전송하는 동작을 실행하도록 구성될 수 있다.A 360 degree image transfer device according to an embodiment comprises at least one processor and at least one memory for storing instructions to be executed by the processor, the instructions, when executed by the processor, The processor is configured to perform operations of acquiring six input images corresponding to respective faces of the hexahedron, acquiring stitching information relating to the coupling between the input images, and transmitting the information about the input image together with the stitching information As shown in FIG.

일 실시예에 따른 360도 영상 수신 방법은, 사용자의 방향 정보를 획득하는 단계, 방향 정보를 포함하는 전송 요청을 송신기로 전송하는 단계 및 상기 방향 정보에 대응하는 입력 영상에 관한 정보 및 상기 입력 영상에 관한 정보에 대응하는 스티칭 정보를 수신하는 단계를 포함하고, 상기 입력 영상에 관한 정보는 육면체의 각 면에 대응하는 6개의 입력 영상 중 상기 방향 정보와 관련된 입력 영상에 관한 정보를 포함하고, 상기 스티칭 정보는 상기 방향 정보와 관련된 입력 영상 간의 결합에 관한 정보를 포함할 수 있다.A method of receiving a 360-degree image according to an exemplary embodiment includes acquiring direction information of a user, transmitting a transmission request including direction information to a transmitter, and information on an input image corresponding to the direction information, Wherein the information on the input image includes information on an input image related to the direction information among six input images corresponding to respective faces of the hexahedron, The stitching information may include information about a combination of input images related to the direction information.

상기 스티칭 정보는 상기 6개의 입력 영상을 결합하여 구형으로 변환함으로써 획득될 수 있다.The stitching information can be obtained by combining the six input images and converting the input images into a rectangle.

상기 스티칭 정보는 상기 구형에 기초하여 조정된 상기 6개의 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 포함할 수 있다.The stitching information may include distortion information, brightness information, or area information of the six input images adjusted based on the spherical shape.

일 실시예에 따른 360도 영상 수신 장치는, 적어도 하나의 프로세서 및 상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 사용자의 방향 정보를 획득하는 동작, 상기 방향 정보를 포함하는 전송 요청을 송신기로 전송하는 동작 및 상기 방향 정보에 대응하는 입력 영상에 관한 정보 및 상기 입력 영상에 관한 정보에 대응하는 스티칭 정보를 수신하는 동작을 실행하도록 구성되고, 상기 입력 영상 정보는 육면체의 각 면에 대응하는 6개의 입력 영상 중 상기 방향 정보와 관련된 입력 영상에 관한 정보를 포함하고, 상기 스티칭 정보는 상기 방향 정보와 관련된 입력 영상 간의 결합에 관한 정보를 포함할 수 있다.A 360 degree imaging device, according to one embodiment, includes at least one processor and at least one memory for storing instructions to be executed by the processor, wherein the instructions, when executed by the processor, A method for controlling a processor, the method comprising: acquiring direction information of a user; transmitting a transmission request including the direction information to a transmitter; information about an input image corresponding to the direction information; Wherein the input image information includes information on an input image related to the direction information among six input images corresponding to respective faces of a hexahedron, And information about the association between the related input images.

일 실시예에 따르면, 육면체의 각 면에 대응하는 영상을 처리함으로써 전송 데이터의 용량을 줄일 수 있다.According to an embodiment, the capacity of transmission data can be reduced by processing an image corresponding to each surface of the hexahedron.

일 실시예에 따르면, 사용자가 향하는 방향에 대응하는 영상만을 처리함으로써, 전송 데이터의 용량을 더욱 줄일 수 있다.According to the embodiment, the capacity of the transmission data can be further reduced by processing only the image corresponding to the direction to which the user is directed.

도 1은 일 실시예에 따른 360도 영상을 전송하기 위한 전송 장치의 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 360도 영상을 전송하는 동작을 도시한 흐름도이다.
도 3a은 일 실시예에 따른 육면체의 각 방향으로 촬영된 영상들의 일례를 도시한 도면이다.
도 3b는 일 실시예에 따른 도 3a의 영상들을 스티칭한 전체 영상을 도시한 도면이다.
도 4는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 도시한 도면이다.
도 5는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 이용하여 영상을 전송하는 과정을 설명하기 위해 도시한 도면이다.
도 6는 일 실시예에 따른 360도 영상을 수신하기 위한 수신 장치의 구성을 도시한 도면이다.
도 7은 일 실시예에 따른 360도 영상을 수신하기 위한 동작을 도시한 흐름도이다.
도 8a는 일 실시예에 따른 영상들을 스티칭한 전체 영상을 도시한 도면이다.
도 8b는 일 실시예에 따른 제1 방향에 대응하여 수신된 영상을 스티칭한 도면이다.
도 8c는 일 실시예에 따른 제2 방향에 대응하여 수신된 영상을 스티칭한 도면이다.
도 8d는 일 실시예에 따른 제3 방향에 대응하여 수신된 영상을 스티칭한 도면이다.1 is a block diagram of a transmission apparatus for transmitting a 360-degree image according to an embodiment of the present invention.
2 is a flowchart illustrating an operation of transmitting a 360-degree image according to an exemplary embodiment of the present invention.
FIG. 3A is a view showing an example of images taken in each direction of a hexahedron according to an embodiment.
FIG. 3B is a view showing a whole image obtained by stitching the images of FIG. 3A according to an embodiment.
4 is a diagram illustrating a model of a service layer signaling according to an exemplary embodiment.
FIG. 5 is a diagram illustrating a process of transmitting an image using a service layer signaling model according to an exemplary embodiment. Referring to FIG.
FIG. 6 is a diagram illustrating a configuration of a reception apparatus for receiving a 360-degree image according to an embodiment.
7 is a flow diagram illustrating an operation for receiving a 360 degree image in accordance with one embodiment.
8A is a view showing a whole image obtained by stitching images according to an embodiment.
8B is a view stitching a received image corresponding to a first direction according to an embodiment.
8C is a view stitching a received image corresponding to a second direction according to an embodiment.
8D is a view showing stitching of a received image corresponding to a third direction according to an embodiment.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of embodiments are set forth for illustration purposes only and may be embodied with various changes and modifications. Accordingly, the embodiments are not intended to be limited to the particular forms disclosed, and the scope of the disclosure includes changes, equivalents, or alternatives included in the technical idea.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second, etc. may be used to describe various elements, but such terms should be interpreted solely for the purpose of distinguishing one element from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected or connected to the other element, although other elements may be present in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", and the like, are used to specify one or more of the described features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

실시예들은 360도 영상의 전송 및 렌더링과 관련된 기술에 적용될 수 있다. 360도 영상의 전송과 관련하여 실시예들은 UHD 서비스의 전송 방법 중의 하나인 ROUTE 프로토콜에 적용될 수 있다.Embodiments can be applied to techniques related to transmission and rendering of 360 degree images. Embodiments related to the transmission of the 360-degree image can be applied to the ROUTE protocol, which is one of the transmission methods of the UHD service.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and a duplicate description thereof will be omitted.

도 1은 일 실시예에 따른 360도 영상을 전송하기 위한 전송 장치의 구성을 도시한 도면이다.1 is a block diagram of a transmission apparatus for transmitting a 360-degree image according to an embodiment of the present invention.

일 실시예에 따르면, 360도 영상 전송 장치(110)는 하나 이상의 카메라로부터 육면체의 각 면에 대응하는 영상을 획득하고, 각 영상을 스티칭(stitching)하여 구형을 기초로 전체 영상 중의 부분 영상으로 변환할 수 있다. 각 영상을 스티칭하는 과정에서 각 영상의 밝기 또는 영역이 조정될 수 있다. 이하에서, 스티칭은 결합으로 지칭될 수 있다. 카메라로부터 육면체의 각 면에 대응하여 획득된 영상은 입력 영상으로 지칭될 수 있다. 육면체는 방향의 기준이 되는 가상의 입체를 의미할 수 있다. 예를 들어, 360도 영상은 가상 현실(Virtual Reality, VR) 영상일 수 있다.According to one embodiment, the 360-degree image transmission apparatus 110 acquires images corresponding to respective faces of the hexahedron from one or more cameras, stitches the respective images, and converts the images into partial images in the entire image based on the spherical shape can do. The brightness or the area of each image can be adjusted in the process of stitching each image. In the following, stitching can be referred to as bonding. An image obtained from the camera corresponding to each face of the hexahedron may be referred to as an input image. A hexahedron can mean a virtual three-dimensional body which is a reference of a direction. For example, a 360 degree image may be a Virtual Reality (VR) image.

일 실시예에 따르면, 360도 영상 전송 장치(110)는 카메라(111), 프로세서(113), 메모리(115), 수신기(116) 및 송신기(117)를 포함할 수 있다.According to one embodiment, the 360 degree image transmission device 110 may include a camera 111, a processor 113, a memory 115, a receiver 116 and a transmitter 117. [

카메라(111)는 육면체의 각 면에 대응하는 방향의 영상을 획득할 수 있다. 카메라(111)는 하나일 수도 있고 복수일 수도 있다. 예를 들어, 정적인 환경에서는 각 영상의 촬영 시간에 차이가 있어도 동시에 촬영한 것과 같은 영상을 획득할 수 있으므로, 카메라(111)는 하나일 수 있다.The camera 111 can acquire an image in a direction corresponding to each face of the hexahedron. The camera 111 may be one or a plurality of cameras. For example, in a static environment, even if there is a difference in the shooting time of each image, the same image as the one shot at the same time can be obtained, so that the camera 111 can be one.

카메라(111)는 복수일 수 있다. 예를 들어, 동적인 환경에서는 각 영상의 촬영 시간에 차이가 생기는 경우 360도 영상의 재현에 장애가 발생할 수 있으므로, 복수의 카메라가 사용될 수 있다. 예를 들어, 카메라(111)는 카메라(131)일 수 있다. 카메라(131)은 육면체의 각 면에 수직 방향으로 배치된 카메라를 각각 포함할 수 있다.The camera 111 may be plural. For example, in a dynamic environment, if there is a difference in the shooting time of each image, a failure may occur in the reproduction of the 360-degree image, so that a plurality of cameras can be used. For example, the camera 111 may be a camera 131. The camera 131 may include a camera vertically arranged on each side of the hexahedron.

프로세서(113)는 카메라(111)로부터 육면체의 각 면에 대응하는 6개의 입력 영상을 획득할 수 있다. 육면체는 큐브로 지칭될 수 있다. 프로세서(113)는 육면체의 각 면에 대응하는 입력 영상들을 스티칭함으로써 전체 영상을 생성할 수 있다. 여기서, 프로세서(113)는 입력 영상들 간의 결합에 관한 스티칭 정보를 획득할 수 있다. 전체 영상은 구형 형태로 결합된 입력 영상들의 평면 형태를 지칭할 수 있다. 전체 영상은 6개의 입력 영상을 스티칭한 결과뿐만 아니라 수신 장치로부터 수신한 방향 정보에 대응하는 일부의 입력 영상을 결합한 결과를 포함할 수 있다. 또한, 입력 영상에 관한 정보는 전체 영상 중에서 입력 영상에 대응하는 부분 영상을 포함할 수 있다.The processor 113 can obtain six input images corresponding to the respective faces of the hexahedron from the camera 111. [ A cube may be referred to as a cube. The processor 113 may generate the entire image by stitching input images corresponding to respective faces of the hexahedron. Here, the processor 113 may acquire stitching information regarding the combination of the input images. The entire image can refer to a planar shape of input images combined in a spherical shape. The entire image may include not only a result obtained by stitching the six input images, but also a result obtained by combining a part of the input images corresponding to the direction information received from the receiving apparatus. In addition, the information about the input image may include a partial image corresponding to the input image among the entire images.

메모리(115)는 카메라(111)로부터 획득한 입력 영상을 저장할 수 있다. 메모리(115)는 각 영상을 스티칭함으로써 생성된 전체 영상 또는 스티칭 정보를 저장할 수 있다. 또한, 메모리(115)는 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장할 수 있다.The memory 115 may store an input image obtained from the camera 111. [ The memory 115 may store the entire image or stitching information generated by stitching each image. In addition, the memory 115 may store instructions to be executed by the processor.

수신기(116)는 수신 장치(120)로부터 사용자의 방향 정보를 수신할 수 있다. 사용자의 방향 정보는 사용자가 향하는 방향에 관한 정보로서, 예를 들어 자이로 센서 또는 가속도 센서 등으로부터 센싱된 센서 정보를 처리하여 획득될 수 있다.The receiver 116 may receive direction information of the user from the receiving device 120. [ The direction information of the user may be obtained by processing sensor information sensed from a gyro sensor, an acceleration sensor, or the like, for example, as information on the direction the user is facing.

송신기(117)는 프로세서(113)에 의해 스티칭 정보와 함께 입력 영상에 관한 정보를 수신 장치(120)로 전송할 수 있다. 여기서, 송신기(117)는 방향 정보와 관련된 영상 및 이와 관련된 스티칭 정보만을 수신 장치(120)로 전송할 수도 있다. 수신 장치(120)는 스티칭 정보를 이용하여 입력 영상에 관한 정보에 포함된 부분 영상을 스티칭함으로써 전체 영상을 생성할 수 있다. 수신 장치(120)는 전체 영상을 구형 형태로 렌더링할 수 있다. 렌더링한 결과는 360도 영상이 될 수 있다.The transmitter 117 may transmit information about the input image to the receiving apparatus 120 together with the stitching information by the processor 113. [ Here, the transmitter 117 may transmit only the image related to the direction information and the related stitching information to the receiving apparatus 120. The receiving apparatus 120 can generate the entire image by stitching the partial image included in the information about the input image using the stitching information. The receiving apparatus 120 may render the entire image in a spherical form. The rendered result can be a 360 degree image.

구형 형태의 영상의 비디오 포맷은 기존의 인터넷 및 방송 프로토콜에는 적합하지 않다. 따라서, 구형 형태의 영상은 직사각형의 형태로 재구성된다. 그러나, 360도 영상이 전송되는 경우 직사각형의 형태로 전송되기 때문에 구형 형태로 영상이 획득된 경우 평면 영상으로 변환되는 과정에서 왜곡이 커지고 잉여데이터가 증가하게 된다.The video format of the spherical image is not suitable for the existing Internet and broadcasting protocols. Therefore, the image of the spherical shape is reconstructed into the shape of the rectangle. However, when a 360-degree image is transmitted, the image is transmitted in the form of a rectangle. Therefore, when the image is acquired in a spherical form, distortion is increased and surplus data is increased in the process of converting the image into a plane image.

일 실시예에 따르면, 360도 영상 전송 장치(110)는 육면체의 각 면에 대응하는 영상을 처리함으로써 구형 형태의 영상을 획득하는 경우에 비해 전송 데이터의 용량을 줄일 수 있다. 전송 데이터의 용량이 감소됨으로써 실시간 서비스가 더 용이해질 수 있다.According to one embodiment, the 360-degree image transmission apparatus 110 can reduce the capacity of transmitted data by processing an image corresponding to each face of the hexahedron, as compared with the case of acquiring a rectangular-shaped image. The real-time service can be made easier by reducing the capacity of the transmission data.

도 2는 일 실시예에 따른 360도 영상을 전송하는 동작을 도시한 흐름도이다.2 is a flowchart illustrating an operation of transmitting a 360-degree image according to an exemplary embodiment of the present invention.

일 실시예에 따르면, 단계(210)에서, 도 1의 360도 영상 전송 장치(110)는 육면체의 각 면에 대응하는 6개의 입력 영상을 획득할 수 있다. 360도 영상 전송 장치(110)는 도 1의 카메라(111)를 이용하여 육면체의 각 면에 대응하는 6개의 입력 영상을 획득할 수 있다.According to one embodiment, in step 210, the 360-degree image transmission device 110 of FIG. 1 may obtain six input images corresponding to each side of the hexahedron. The 360-degree image transmission apparatus 110 can acquire six input images corresponding to the respective faces of the hexahedron using the camera 111 of FIG.

일 실시예에 따르면, 단계(220)에서, 360도 영상 전송 장치(110)는 입력 영상들 간의 결합에 관한 스티칭 정보를 획득할 수 있다. 360도 영상 전송 장치(110)는 6개의 입력 영상을 결합하여 구형에 기초한 전체 영상으로 변환할 수 있다. 360도 영상 전송 장치(110)는 구형에 기초하여 6개의 입력 영상의 영역 또는 밝기를 조정할 수 있다. 육면체의 각 면에 대응하는 영상이 결합되어 구형에 기초한 전체 영상으로 변환되는 경우, 각 영상은 결합을 위해 부분적으로 확대되거나 축소될 수 있다. 또한, 결합되는 경계가 식별되지 않도록 하거나 전체 영상의 균일성을 위해 밝기 등이 조정될 수 있다. 또한, 각 영상 또는 영상의 부분의 위치가 조정될 수 있다.According to one embodiment, in step 220, the 360 degree image transmission device 110 may obtain stitching information regarding the combination of input images. The 360-degree image transmission apparatus 110 can combine the six input images and convert them into a whole image based on a spherical shape. The 360-degree image transmission apparatus 110 can adjust the area or brightness of six input images based on the spherical shape. When the images corresponding to the respective faces of the cube are combined and converted into a whole image based on the spherical shape, each image can be partially enlarged or reduced for combining. In addition, the brightness or the like can be adjusted for preventing the boundary to be combined or for uniformity of the entire image. Further, the position of each image or part of the image can be adjusted.

360도 영상 전송 장치(110)는 변환된 6개의 입력 영상 간의 결합에 관한 스티칭 정보를 획득할 수 있다. 스티칭 정보는 구형에 기초하여 조정된 6개의 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 포함할 수 있다. 왜곡 정보는 결합을 위해 부분적으로 확대되거나 축소되는 영상이 변환 전 영상에 대해 변경된 부분에 대한 정보를 의미할 수 있다. 밝기 정보는 결합되는 경계가 식별되지 않도록 하거나 전체 영상의 균일성을 위해 조정되는 밝기에 관한 정보를 의미할 수 있다. 영역 정보는 영상의 변환에 의해 조정된 영상의 위치 또는 영상의 부분의 위치를 의미할 수 있다.The 360-degree image transmission apparatus 110 can acquire stitching information regarding the combination of the six input images. The stitching information may include distortion information, brightness information, or area information of six input images adjusted based on the spherical shape. The distortion information may mean information about a part of the image that has been partially enlarged or reduced for the combination to be changed with respect to the pre-conversion image. The brightness information may refer to information about the brightness to be combined so that the boundary is not identified or adjusted for uniformity of the entire image. The area information may indicate the position of the image or the position of the image adjusted by the image transformation.

일 실시예에 따르면, 단계(230)에서, 360도 영상 전송 장치(110)는 스티칭 정보와 함께 입력 영상에 관한 정보를 전송할 수 있다. 360도 영상 전송 장치(110)는 수신기의 전송 요청에 포함된 수신기의 방향 정보에 대응하는 입력 영상에 관한 정보를 전송할 수 있다. 입력 영상에 관한 정보는, 6개의 입력 영상 중에서 방향 정보에 대응하는 사용자의 시야에 필요한 전체 영상 중의 부분 영상을 포함할 수 있다. 이처럼, 360도 영상 전송 장치(110)는 전체 영상 중의 일부만을 수신 장치로 전송함으로써 전송 데이터의 용량을 줄일 수 있다.According to one embodiment, in step 230, the 360-degree image transmission device 110 may transmit information about the input image together with the stitching information. The 360-degree image transmission apparatus 110 may transmit information on the input image corresponding to the direction information of the receiver included in the transmission request of the receiver. The information on the input image may include a partial image in the entire image that is required for a view of the user corresponding to the direction information among the six input images. As described above, the 360-degree image transmission apparatus 110 can transmit only a part of the entire image to the reception apparatus, thereby reducing the capacity of transmission data.

도 3a은 일 실시예에 따른 육면체의 각 방향으로 촬영된 영상들의 일례를 도시한 도면이다. 도 3b는 일 실시예에 따른 도 3a의 영상들을 스티칭한 전체 영상을 도시한 도면이다.FIG. 3A is a view showing an example of images taken in each direction of a hexahedron according to an embodiment. FIG. 3B is a view showing a whole image obtained by stitching the images of FIG. 3A according to an embodiment.

도 3a를 참고하면, 360도 영상 전송 장치(110)는 하나 이상의 카메라로부터 육면체의 각 면에 대응하는 영상을 획득할 수 있다. 입력 영상(301, 302, 303, 304, 305, 306)은 육면체의 각 면에 대응할 수 있다. 예를 들어, 입력 영상(301)은 좌측면, 입력 영상(302)은 우측면, 입력 영상(303)은 배면, 입력 영상(304)은 전면, 입력 영상(305)은 평면, 입력 영상(306)은 저면에 대응할 수 있다.Referring to FIG. 3A, the 360-degree image transmission apparatus 110 can acquire images corresponding to respective faces of the hexahedron from one or more cameras. The input images 301, 302, 303, 304, 305, and 306 may correspond to respective faces of the hexahedron. For example, the input image 301 is the left side, the input image 302 is the right side, the input image 303 is the back side, the input image 304 is the front side, the input image 305 is the plane, Can correspond to the bottom surface.

수신 장치에서 디스플레이되는 영상은 구형 형태의 영상일 수 있다. 예를 들어, 360도 영상일 수 있다. 입력 영상(301, 302, 303, 304, 305 및 306)은 육면체의 각 면에 대응하는 영상이므로 구형 형태로 디스플레이되기에 부적합할 수 있다. 따라서, 360도 영상 전송 장치(110)는 6개의 입력 영상을 결합하여 구형을 기초로한 전체 영상으로 미리 변환할 수 있다. 360도 영상 전송 장치(110)는 구형에 기초하여 6개의 입력 영상의 영역 또는 밝기를 조정할 수 있다.The image displayed on the receiving device may be a spherical image. For example, it may be a 360 degree image. Since the input images 301, 302, 303, 304, 305, and 306 are images corresponding to respective faces of the hexahedron, they may be unsuitable for being displayed in a spherical form. Accordingly, the 360-degree image transmission apparatus 110 can combine the six input images and convert them into a whole image based on a rectangle. The 360-degree image transmission apparatus 110 can adjust the area or brightness of six input images based on the spherical shape.

도 3b를 참고하면, 구형 형태로 결합된 입력 영상들의 평면 형태가 도시된다. 전체 영상의 부분 영상(311, 312, 313, 314, 315 및 316)은 입력 영상(301, 302, 303, 304, 305 및 306)으로부터 변환된 것일 수 있다. Referring to FIG. 3B, a plan view of input images combined in a spherical shape is shown. The partial images 311, 312, 313, 314, 315 and 316 of the entire image may be transformed from the input images 301, 302, 303, 304, 305 and 306.

예를 들어, 부분 영상(311)은 입력 영상(301)에 대응될 수 있다. 부분 영상(312)은 입력 영상(302)에 대응될 수 있다. 부분 영상(313)은 입력 영상(303)에 대응될 수 있다. 부분 영상(314)은 입력 영상(304)에 대응될 수 있다. 부분 영상(315)은 입력 영상(305)에 대응될 수 있다. 부분 영상(316)은 입력 영상(306)에 대응될 수 있다.For example, the partial image 311 may correspond to the input image 301. The partial image 312 may correspond to the input image 302. The partial image 313 may correspond to the input image 303. The partial image 314 may correspond to the input image 304. The partial image 315 may correspond to the input image 305. The partial image 316 may correspond to the input image 306.

부분 영상(311, 312, 313, 314, 315 및 316)은 입력 영상(301, 302, 303, 304, 305 및 306)으로부터 변환된 결과이므로, 부분 영상(311, 312, 313, 314, 315 및 316)과 입력 영상(301, 302, 303, 304, 305 및 306) 사이에는 왜곡, 위치 차이 및 밝기 차이가 존재할 수 있다.Since the partial images 311, 312, 313, 314, 315 and 316 are transformed results from the input images 301, 302, 303, 304, 305 and 306, the partial images 311, 312, 313, 314, 315, 316 and the input images 301, 302, 303, 304, 305, and 306 may have a distortion, a position difference, and a brightness difference.

도 4는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 도시한 도면이다. 도 5는 일 실시예에 따른 서비스 레이어 시그널링의 모델을 이용하여 영상을 전송하는 과정을 설명하기 위해 도시한 도면이다.4 is a diagram illustrating a model of a service layer signaling according to an exemplary embodiment. FIG. 5 is a diagram illustrating a process of transmitting an image using a service layer signaling model according to an embodiment. Referring to FIG.

DASH(Dynamic Adaptive Streaming over HTTP)는 브로드밴드(Broadband) 망에서 HTTP(HyperText Transfer Protocol) 전송 프로토콜을 통해 수신 환경에 맞추어 DASH 세그먼트의 양과 질을 적응적으로 스트리밍하는 전송 방법이다. ROUTE(Real-time Object delivery over Unidirectional Transprot) 프로토콜은 UHDTV(Ultra High Definition Television) 서비스의 전송 방법 중의 하나로서 실시간 객체 전송이 가능한 전송 방법이다. ROUTE 프로토콜을 이용하면 브로드밴드 망에서 전송되는 DASH 세그먼트와 동일한 형식으로 방송(Broadcast) 망을 통해서도 UHD 급의 DASH 세그먼트들이 전송될 수 있다.Dynamic Adaptive Streaming over HTTP (DASH) is a method for adaptively streaming the amount and quality of DASH segments according to the receiving environment through a HyperText Transfer Protocol (HTTP) transmission protocol in a broadband network. The ROUTE (Real-time Object delivery over Unidirectional Transprot) protocol is one of transmission methods of UHDTV (Ultra High Definition Television) service. Using the ROUTE protocol, UHD class DASH segments can be transmitted through a broadcast network in the same format as a DASH segment transmitted in a broadband network.

UHDTV 서비스를 구성하는 DASH 세그먼트들이 수신 장치에 전송되기 위해서는 서비스의 종류, 전송 시간 및 전송 방법에 대한 정보가 수신 장치에 전송되어야 한다. 시그널링은 전송될 DASH 세그먼트와 관련된 서비스의 종류, 전송 시간 및 전송 방법에 대한 정보를 포함하는 객체를 의미할 수 있다. 시그널링은 서비스 레이어 시그널링(Service Layer Signaling, SLS)과 서비스 리스트 테이블(Service List Table, SLT)을 포함한다. 서비스 리스트 테이블은 서비스 레이어 시그널링의 전송 경로에 대한 정보를 포함한다. 이하에서, 서비스 레이어 시그널링은 서비스 시그널링으로 지칭될 수 있다.In order for the DASH segments constituting the UHDTV service to be transmitted to the receiving device, information on the type of service, transmission time, and transmission method should be transmitted to the receiving device. Signaling may refer to an object that contains information about the type of service, transmission time, and transmission method associated with the DASH segment to be transmitted. Signaling includes Service Layer Signaling (SLS) and Service List Table (SLT). The service list table includes information on the transmission path of the service layer signaling. In the following, the service layer signaling may be referred to as service signaling.

서비스 레이어 시그널링은 USBD(User Service Bundle Description)(410), MPD(Media Presentation Description)(430), S-TSID(Service Transport Session Instance Description)(420)를 포함하고, USBD(410)는 하나의 USD(User Service Description)(411)를 포함한다.The service layer signaling includes a USBD (User Service Bundle Description) 410, a MPD (Media Presentation Description) 430 and an S-TSID 420, and the USBD 410 includes one USD (User Service Description) 411.

USBD(410)/USD(411)는 다른 객체를 참조하는 역할을 한다. 도 4를 참조하면, 예를 들어, USBD(410)/USD(411)는 S-TSID(420) 또는 MPD(430)를 참조할 수 있다. S-TSID(420)는 세그먼트가 어떠한 전송 세션을 통해 전송되는지를 나타내는 역할을 한다. MPD(430)는 서비스될 컨텐츠 자체와 관련된 정보를 포함하며, 전송될 세그먼트에 대응하는 피리어드(Period), 어뎁테이션 세트(Adaptation Set), 리프리젠테이션(Representation)을 나타내는 역할을 한다.The USBD 410 / USD 411 serves to reference other objects. Referring to FIG. 4, for example, the USBD 410 / USD 411 may refer to the S-TSID 420 or the MPD 430. The S-TSID 420 serves to indicate through which transmission session the segment is transmitted. The MPD 430 includes information related to the content itself to be serviced and serves to represent a Period, an Adaptation Set, and a Representation corresponding to segments to be transmitted.

피리어드는 컨텐츠가 시간 단위로 구분된 객체를 의미한다. 예를 들어, 피리어드는 동영상 컨텐츠가 60초 단위로 구분된 객체일 수 있다. 어뎁테이션 세트는 각 피리어드가 컴포넌트 단위로 구분된 객체를 의미한다. 여기서, 컴포넌트는 비디오 또는 오디오 등의 컨텐츠 종류를 의미할 수 있다. 리프리젠테이션은 각 컴포넌트가 해상도 등의 서비스 퀄리티 별로 구분된 객체를 의미한다. 세그먼트는 각 리프리젠테이션이 시간 단위로 구분된 객체를 의미한다.A period is an object whose contents are divided in time units. For example, the period may be an object whose video content is divided by 60 seconds. An adaptation set is an object in which each period is divided into component units. Here, the component may refer to a content type such as video or audio. The presentation means an object in which each component is classified according to service quality such as resolution. A segment is an object in which each representation is divided in time units.

일 실시예에 따르면, 리프리젠테이션은 서비스 퀄리티 뿐만 아니라 육면체의 어느 면에 대응하는 영상인지도 나타낼 수 있다.According to one embodiment, the representation may represent not only the service quality, but also the image corresponding to which side of the cube.

일 실시예에 따르면, 서비스 레이어 시그널링은 SI(Stitching Information)(440)을 더 포함할 수 있다. SI(440)는 스티칭 정보를 포함할 수 있다. 여기서, 스티칭 정보는 6개의 입력 영상 간의 결합에 관한 정보로서, 구형에 기초하여 조정된 6개의 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 포함할 수 있다.According to one embodiment, the service layer signaling may further include Stitching Information (SI) SI 440 may include stitching information. Here, the stitching information is information on the combination of the six input images, and may include distortion information, brightness information, or area information of six input images adjusted based on the spherical shape.

일 실시예에 따르면, USBD(410)/USD(411)는 SI(440)을 더 참조할 수 있다. According to one embodiment, the USBD 410 / USD 411 may further refer to the SI 440.

도 5를 참조하면, UCP/IP 프로토콜 및 ROUTE 프로토콜에 연결된 가상 채널들에 물리 채널이 할당될 수 있다. 여기서 가상 채널은 논리 채널을 의미할 수 있다.Referring to FIG. 5, a physical channel may be allocated to virtual channels connected to the UCP / IP protocol and the ROUTE protocol. Here, the virtual channel may mean a logical channel.

예를 들어, 가상 채널(#0)은 UDP/IP 프로토콜을 위하여 할당될 수 있다. 가상채널(#0)을 통하여 서비스 리스트 테이블이 전송될 수 있다.For example, the virtual channel (# 0) may be allocated for the UDP / IP protocol. The service list table can be transmitted through the virtual channel # 0.

예를 들어, 가상 채널(#1~#N)은 ROUTE 프로토콜을 위하여 할당될 수 있다. ROUTE 프로토콜에 의하여 복수의 전송 세션(SLS, v1, … ,v6)이 설정될 수 있다. 각 전송 세션은 서비스 레이어 시그널링(또는 서비스 시그널링) 및 세그먼트(예를 들어, 비디오 세그먼트)가 전송되는 경로가 될 수 있다. ROUTE 프로토콜을 위하여 할당된 가상 채널(#1~#N)은 복수의 전송 세션에 할당될 수 있다.For example, the virtual channels # 1 to #N may be allocated for the ROUTE protocol. A plurality of transmission sessions (SLS, v1, ..., v6) can be established by the ROUTE protocol. Each transport session may be a path through which service layer signaling (or service signaling) and segments (e.g., video segments) are transmitted. The virtual channels (# 1 to #N) allocated for the ROUTE protocol can be allocated to a plurality of transmission sessions.

일 실시예에 따르면, 도 1의 360도 영상 전송 장치(110)는 육면체의 각 면에 대응하는 6개의 입력 영상을 획득할 수 있다. 육면체의 각 면에 대응하는 6개의 입력 영상은 각각 v1에서 v6의 식별자가 할당될 수 있다. 입력 영상은 세그먼트 단위로 구분될 수 있다. 예를 들어, 6개의 입력 영상은 각각 v1-세그먼트#1, v1-세그먼트#2, … , v6-세그먼트#1, v6-세그먼트#2, … , v6-세그먼트#M 등으로 분할될 수 있다. 여기서 #M은 시간 단위로 구분된 식별자를 나타낼 수 있다.According to one embodiment, the 360-degree image transmission apparatus 110 of FIG. 1 may acquire six input images corresponding to respective faces of the hexahedron. The six input images corresponding to each face of the cube may be assigned v1 to v6 identifiers, respectively. Input images can be segmented into segments. For example, the six input images are v1-segment # 1, v1-segment # 2, ... , v6-segment # 1, v6-segment # 2, ... , v6-segment #M, and the like. Here, #M may represent an identifier separated by time unit.

360도 영상 전송 장치(110)는 각 세그먼트들을 가상 채널(#1~#N)을 통하여 동일한 식별자(v1~v6)에 대응하는 전송 세션(v1~v6)에 대응시킬 수 있다. 360도 영상 전송 장치(110)는 해당 전송 세션(v1~v6)을 이용하여 각 세그먼트들을 수신 장치로 전송할 수 있다.The 360 degree image transmission apparatus 110 can associate the segments with the transmission sessions v1 to v6 corresponding to the same identifiers v1 to v6 through the virtual channels # 1 to #N. The 360-degree image transmission apparatus 110 may transmit the segments to the reception apparatus using the transmission sessions v1 to v6.

일 실시예에 따르면, 360도 영상 전송 장치(110)는 각 세그먼트들을 전송하기 위하여, 전송 세션(SLS)를 통해 서비스 레이어 시그널링(또는 서비스 시그널링)을 수신 장치로 전송할 수 있다. 서비스 레이어 시그널링은 USBD/USD, MPD, S-TSID 및 SI를 포함할 수 있다.According to one embodiment, the 360-degree image transmission device 110 may transmit service layer signaling (or service signaling) to a receiving device over a transmission session (SLS) to transmit the segments. The service layer signaling may include USBD / USD, MPD, S-TSID and SI.

도 1의 수신 장치(120)는 USBD/USD를 이용하여 MPD, S-TSID 및 SI를 참조할 수 있다. 예를 들어, USD에 포함된 @serviced(0x1001)는 현재 실행중인 서비스를 나타낼 수 있다. @fullMPDUri=asd.mpd는 MPD를 참조하기 위한 정보를 나타낼 수 있다. @sTSDIUri=asd.stsid는 S-TSID를 참조하기 위한 정보를 나타낼 수 있다. @SIUri=asd.si는 SI를 참조하기 위한 정보를 나타낼 수 있다.The receiving apparatus 120 of FIG. 1 can refer to MPD, S-TSID, and SI using USBD / USD. For example, @serviced (0x1001) in USD can indicate the service currently running. @ fullMPDUri = asd.mpd can represent information to refer to MPD. @sTSDIUri = asd.stsid may represent information for referring to the S-TSID. @ SIUri = asd.si can represent information to refer to SI.

수신 장치(120)는 MPD를 이용하여 전송될 세그먼트에 대응하는 피리어드, 어뎁테이션 세트 및 리프리젠테이션을 확인할 수 있다. 예를 들어, MPD에 포함된 Period는 피리어드로서 세그먼트가 속한 시간 단위로 구분된 객체를 나타낼 수 있다. Adaptation Set는 어뎁테이션 세트로서 세그먼트가 속한 컴포넌트의 종류(예를 들어, 비디오 컴포넌트)를 나타낼 수 있다. representation은 리프리젠테이션으로서 세그먼트가 속한 서비스 퀄리티 또는 육면체의 어느 면에 대응하는 영상인지를 나타낼 수 있다. 예를 들어, representation(v1)은 v1 식별자가 할당된 방향의 영상을 나타낼 수 있다. 마찬가지로 representation(v6)는 v6 식별자가 할당된 방향의 영상을 나타낼 수 있다. segmentURL(…/seg#1)은 전송될 세그먼트와 관련된 주소 정보를 의미할 수 있다.The receiving device 120 can identify the period, adaptation set, and representation corresponding to the segment to be transmitted using the MPD. For example, a Period included in an MPD can represent an object separated by a time unit in which a segment belongs as a period. An adaptation set is an adaptation set that can represent the type of component (e.g., video component) to which the segment belongs. The representation is a representation that can indicate which aspect of the service quality or cube the segment belongs to. For example, the representation (v1) may represent an image in the direction in which the v1 identifier is assigned. Similarly, representation (v6) can represent an image in the direction to which the v6 identifier is assigned. segmentURL (... / seg # 1) may refer to address information associated with the segment to be transmitted.

수신 장치(120)는 S-TSID를 이용하여 세그먼트가 어떠한 전송 세션을 통해 전송되는지를 알 수 있다. 예를 들어, 도 5를 참조하면, @tsi-v1는 전송 세션(v1)을 통하여 세그먼트가 전송된다는 것을 나타낼 수 있다. ScrFlow는 전송될 데이터가 무엇인지를 나타내며, ContentInfo(v1)은 전송될 데이터가 v1 식별자에 대응하는 영상의 세그먼트임을 나타낼 수 있다. 마찬가지로, ContentInfo(v6)은 전송될 데이터가 v6 식별자에 대응하는 영상의 세그먼트임을 나타낼 수 있다.The receiving apparatus 120 can know the transmission session through which the segment is transmitted using the S-TSID. For example, referring to FIG. 5, @ tsi-v1 may indicate that a segment is transmitted through a transmission session (v1). ScrFlow indicates what data to be transmitted, and ContentInfo (v1) can indicate that the data to be transmitted is a segment of the video corresponding to the v1 identifier. Similarly, ContentInfo (v6) may indicate that the data to be transmitted is a segment of the video corresponding to the v6 identifier.

수신 장치(120)는 SI를 이용하여 v1~v6에 대응하는 영상들의 스티칭 정보를 알 수 있다. 예를 들어, SrcFlow는 전송될 데이터가 무엇인지를 나타내며, Stitchinginfo(v1)은 전송될 데이터가 v1 식별자에 대응하는 영상의 스티칭 정보임을 나타낼 수 있다. position(…)은 해당 스티칭 정보에 포함된 영역 정보를 나타내고, distortion(…)은 해당 스티칭 정보에 포함된 왜곡 정보를 나타내고, bright(…)는 해당 스티칭 정보에 포함된 밝기 정보를 나타낼 수 있다.The receiving apparatus 120 can recognize stitching information of images corresponding to v1 to v6 using SI. For example, SrcFlow indicates what data is to be transmitted, and StitchingInfo (v1) may indicate that the data to be transmitted is stitching information of an image corresponding to the v1 identifier. The position (...) represents the area information included in the stitching information, the distortion (...) represents the distortion information included in the stitching information, and the bright (...) represents the brightness information included in the stitching information.

도 6는 일 실시예에 따른 360도 영상을 수신하기 위한 수신 장치의 구성을 도시한 도면이다.FIG. 6 is a diagram illustrating a configuration of a reception apparatus for receiving a 360-degree image according to an embodiment.

일 실시예에 따르면, 수신 장치(620)는 전송 장치(610)로 사용자의 방향 정보를 포함하는 전송 요청을 전송할 수 있다. 전송 장치(610)는 수신된 방향 정보에 대응하여 필요한 부분의 영상만을 전송할 수 있다. 수신 장치(620)는 수신된 필요한 부분의 영상을 스티칭함으로써 사용자의 방향의 시야에 대응하는 장면을 생성할 수 있다. 이처럼, 수신 장치(620)는 방향 정보에 대응하는 영상만을 요청하여 육면체의 각 면에 대응하는 영상을 처리함으로써, 줄어든 전송 데이터의 용량을 더욱 줄일 수 있다.According to one embodiment, the receiving device 620 may send a transmission request containing the direction information of the user to the transmitting device 610. [ The transmitting apparatus 610 can transmit only the necessary portion of the image corresponding to the received direction information. The receiving apparatus 620 can create a scene corresponding to the field of view of the user by stitching the image of the necessary portion received. As described above, the receiving apparatus 620 requests only the image corresponding to the direction information and processes the image corresponding to each face of the hexahedron, thereby further reducing the capacity of the reduced transmission data.

일 실시예에 따르면, 수신 장치(620)는 송신기(611), 수신기(612), 프로세서(613), 메모리(614) 및 디스플레이(615)를 포함할 수 있다.According to one embodiment, the receiving device 620 may include a transmitter 611, a receiver 612, a processor 613, a memory 614 and a display 615.

송신기(611)는 사용자가 향하는 방향에 대한 방향 정보를 포함하는 전송 요청을 송신 장치(610)로 전송할 수 있다. 여기서 전송 요청은 입력 영상에 관한 정보 및 입력 영상에 관한 정보에 대응하는 스티칭 정보에 대한 전송 요청을 의미할 수 있다. 입력 영상에 관한 정보는 육면체의 각 면에 대응하는 부분 영상을 포함할 수 있다. 프로세서(613)는 센서(미도시)로부터 사용자의 방향 정보를 획득하여 송신기(611)로 전송할 수 있다. 방향 정보는 센서를 통해 획득된 정보가 프로세서(613)에 의해 처리되어 생성될 수도 있다. 예를 들어, 센서는 자이로 센서 또는 가속도 센서 등을 포함할 수 있다.The transmitter 611 may send a transmission request to the transmitting device 610 that includes direction information about the direction the user is facing. Here, the transmission request may be a request for transmission of the information about the input image and the stitching information corresponding to the information about the input image. The information on the input image may include a partial image corresponding to each face of the hexahedron. The processor 613 may obtain the direction information of the user from a sensor (not shown) and transmit it to the transmitter 611. The direction information may be generated by the processor 613 by processing information obtained through the sensor. For example, the sensor may include a gyro sensor or an acceleration sensor.

수신기(612)는 송신 장치(610)로부터 방향 정보에 대응하는 영상 정보 및 스티칭 정보를 수신할 수 있다. 방향 정보를 수신한 송신 장치(610)는 방향 정보에 대응하는 부분 영상들을 선택하고 선택된 부분 영상들 및 선택된 부분 영상들의 스티칭 정보를 수신기(612)로 전송할 수 있다.The receiver 612 can receive the image information and the stitching information corresponding to the direction information from the transmitting device 610. The transmitting apparatus 610 having received the direction information may select the partial images corresponding to the direction information and transmit the selected partial images and the stitching information of the selected partial images to the receiver 612.

프로세서(613)는 수신된 스티칭 정보를 이용하여 수신된 부분 영상들을 스티칭할 수 있다. 예를 들어, 프로세서(613)는 스티칭 정보를 이용하여 수신된 부분 영상들의 밝기 또는 영역의 위치를 조정할 수 있다. 프로세서(613)는 부분 영상들을 조정한 후 조정된 부분 영상들을 결합할 수 있다. 프로세서(613)는 스티칭된 전체 영상이 디스플레이(615)에서 구형으로 렌더링될 수 있도록 전체 영상을 처리할 수 있다.The processor 613 may stitch the received partial images using the received stitching information. For example, the processor 613 may adjust the brightness or the position of the received partial images using the stitching information. Processor 613 may adjust the partial images and then combine the adjusted partial images. The processor 613 can process the entire image so that the stitched whole image can be rendered sphere on the display 615. [

메모리(614)는 수신기(612)로부터 수신된 영상 및 스티칭 정보를 저장할 수 있다. 메모리(614)는 프로세서(613)로부터 생성된 전체 영상을 저장할 수 있다. 또한, 메모리(614)는 프로세서에 의해 실행될 인스트럭션들을 저장할 수 있다.The memory 614 may store the image and stitching information received from the receiver 612. The memory 614 may store the entire image generated by the processor 613. [ The memory 614 may also store instructions to be executed by the processor.

디스플레이(615)는 프로세서(613)에 의해 처리된 전체 영상을 렌더링할 수 있다. 여기서 전체 영상이란 사용자가 향하는 방향에 대응하는 영상을 의미할 수 있다. 예를 들어, 디스플레이(615)는 헤드 마운트 디스플레이(Head Mount Display, HMD) 장치의 디스플레이(625)일 수 있다. 이처럼, 수신 장치(620)는 사용자가 향하는 방향에 대응하는 영상만을 처리함으로써, 송신 장치(610)가 전송하는 전송 데이터의 용량을 더욱 줄일 수 있다.The display 615 may render the entire image processed by the processor 613. Here, the whole image may mean an image corresponding to a direction that the user is facing. For example, the display 615 may be a display 625 of a head-mounted display (HMD) device. As described above, the receiving apparatus 620 can reduce the capacity of the transmission data transmitted by the transmitting apparatus 610 by processing only the image corresponding to the direction that the user is facing.

도 7은 일 실시예에 따른 360도 영상을 수신하기 위한 동작을 도시한 흐름도이다.7 is a flow diagram illustrating an operation for receiving a 360 degree image in accordance with one embodiment.

일 실시예에 따르면, 단계(710)에서, 도 6의 수신 장치(620)는 사용자의 방향 정보를 획득할 수 있다. 예를 들어, 수신 장치(620)는 자이로 센서 또는 가속도 센서 등을 이용하여 사용자가 바라보는 방향을 파악할 수 있다.According to one embodiment, at step 710, the receiving device 620 of FIG. 6 may obtain direction information of the user. For example, the receiving apparatus 620 can recognize the direction in which the user is looking by using a gyro sensor, an acceleration sensor, or the like.

일 실시예에 따르면, 단계(720)에서, 수신 장치(620)는 방향 정보를 포함하는 전송 요청을 송신기로 전송할 수 있다. 여기서 전송 요청은 입력 영상에 관한 정보 및 입력 영상에 관한 정보에 대응하는 스티칭 정보에 대한 전송 요청을 의미할 수 있다. 입력 영상 정보는 육면체의 각 면에 대응하는 6개의 입력 영상 중 방향 정보와 관련된 부분 영상을 포함하고, 스티칭 정보는 부분 영상 간의 결합에 관한 정보를 포함할 수 있다. According to one embodiment, in step 720, the receiving device 620 may send a transmission request including direction information to the transmitter. Here, the transmission request may be a request for transmission of the information about the input image and the stitching information corresponding to the information about the input image. The input image information includes a partial image related to the direction information among the six input images corresponding to each face of the hexahedron, and the stitching information may include information about the combination of the partial images.

스티칭 정보는 송신 장치(610)에 의해 6개의 입력 영상을 결합하여 구형으로 변환함으로써 획득될 수 있다. 스티칭 정보는 구형에 기초하여 조정된 6개의 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 포함할 수 있다.The stitching information can be obtained by combining the six input images by the transmitting device 610 and converting them into a rectangle. The stitching information may include distortion information, brightness information, or area information of six input images adjusted based on the spherical shape.

일 실시예에 따르면, 단계(730)에서, 수신 장치(620)는 방향 정보에 대응하는 입력 영상에 관한 정보 및 입력 영상에 관한 정보에 대응하는 스티칭 정보를 수신할 수 있다. 수신 장치(620)는 수신된 스티칭 정보에 포함된 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 이용하여 입력 영상에 관한 정보에 포함된 부분 영상을 스티칭할 수 있다. 수신 장치(620)는 스티칭된 결과로서 전체 영상을 생성할 수 있고, 전체 영상을 처리하여 구형의 360도 영상을 렌더링할 수 있다.According to one embodiment, in step 730, the receiving apparatus 620 may receive the information on the input image corresponding to the direction information and the stitching information corresponding to the information on the input image. The receiving apparatus 620 may stitch the partial image included in the information about the input image using the distortion information, the brightness information, or the area information of the input image included in the received stitching information. The receiving device 620 may generate the entire image as a result of stitching, and may process the entire image to render a 360-degree rectangular image.

도 8a는 일 실시예에 따른 영상들을 스티칭한 전체 영상을 도시한 도면이다. 도 8b는 일 실시예에 따른 제1 방향에 대응하여 수신된 영상을 스티칭한 도면이다. 도 8c는 일 실시예에 따른 제2 방향에 대응하여 수신된 영상을 스티칭한 도면이다. 도 8d는 일 실시예에 따른 제3 방향에 대응하여 수신된 영상을 스티칭한 도면이다.8A is a view showing a whole image obtained by stitching images according to an embodiment. 8B is a view stitching a received image corresponding to a first direction according to an embodiment. 8C is a view stitching a received image corresponding to a second direction according to an embodiment. 8D is a view showing stitching of a received image corresponding to a third direction according to an embodiment.

일 실시예에 따르면, 송신 장치(610)는 도 8a와 같은 전체 영상을 생성할 수 있다. 여기서, 부분 영상(811, 812, 813, 814, 815 및 816)은 입력 영상으로부터 변환되어 스티칭된 결과이므로, 부분 영상(811, 812, 813, 814, 815 및 816)과 입력 영상 사이에는 왜곡, 위치 차이 및 밝기 차이가 존재할 수 있다.According to one embodiment, the transmitting apparatus 610 may generate the entire image as shown in FIG. 8A. Since the partial images 811, 812, 813, 814, 815, and 816 are transformed and stitched from the input image, distortion and distortion are generated between the partial images 811, 812, 813, 814, 815, There may be position differences and brightness differences.

도 8b를 참조하면, 예를 들어, 수신 장치(620)는 부분 영상(811, 813 및 815)의 방향에 대응하는 방향 정보를 포함하는 전송 요청을 송신 장치(610)로 전송할 수 있다. 수신 장치(620)는 송신 장치(610)로부터 수신된 부분 영상(811, 813 및 815)에 관한 영상 정보 및 스티칭 정보를 이용하여 부분 영상(811, 813 및 815)을 스티칭하여 전체 영상을 렌더링할 수 있다.8B, for example, the receiving apparatus 620 may transmit a transmission request to the transmitting apparatus 610 that includes direction information corresponding to the directions of the partial images 811, 813, and 815. The receiving apparatus 620 stitches the partial images 811, 813, and 815 using the image information and the stitching information about the partial images 811, 813, and 815 received from the transmitting apparatus 610 to render the entire image .

도 8c를 참조하면, 예를 들어, 수신 장치(620)는 부분 영상(812, 814 및 815)의 방향에 대응하는 방향 정보를 포함하는 전송 요청을 송신 장치(610)로 전송할 수 있다. 수신 장치(620)는 송신 장치(610)로부터 수신된 부분 영상(812, 814 및 815)에 관한 영상 정보 및 스티칭 정보를 이용하여 부분 영상(812, 814 및 815)을 스티칭하여 전체 영상을 렌더링할 수 있다.8C, for example, the receiving device 620 may send a transmission request to the transmitting device 610 that includes direction information corresponding to the direction of the partial images 812, 814, and 815. The receiving device 620 stitches the partial images 812, 814, and 815 using the image information and the stitching information about the partial images 812, 814, and 815 received from the transmitting device 610 to render the entire image .

도 8d를 참조하면, 예를 들어, 수신 장치(620)는 부분 영상(811, 813 및 816)의 방향에 대응하는 방향 정보를 포함하는 전송 요청을 송신 장치(610)로 전송할 수 있다. 수신 장치(620)는 송신 장치(610)로부터 수신된 부분 영상(811, 813 및 816)에 관한 영상 정보 및 스티칭 정보를 이용하여 부분 영상(811, 813 및 816)을 스티칭하여 전체 영상을 렌더링할 수 있다.8D, for example, the receiving apparatus 620 may transmit a transmission request to the transmitting apparatus 610 including direction information corresponding to the directions of the partial images 811, 813 and 816. [ The receiving apparatus 620 stitches the partial images 811, 813, and 816 using the image information and the stitching information about the partial images 811, 813, and 816 received from the transmitting apparatus 610 to render the entire image .

이처럼, 수신 장치(620)는 방향 정보에 대응하는 영상만을 요청하여 육면체의 각 면에 대응하는 영상을 처리함으로써, 전송 데이터의 용량을 줄일 수 있고, 전송 데이터의 용량이 감소됨으로써 실시간 서비스가 더 용이해질 수 있다.As described above, the receiving apparatus 620 requests only the image corresponding to the direction information to process the image corresponding to each face of the hexahedron, thereby reducing the capacity of the transmission data and reducing the capacity of the transmission data, .

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented in hardware components, software components, and / or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, such as an array, a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for an embodiment or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

110: 전송 장치
111: 카메라
113: 프로세서
115: 메모리
116: 수신기
117: 송신기
120: 수신 장치
131: 카메라110: Transmission device
111: camera
113: Processor
115: Memory
116: receiver
117: Transmitter
120: Receiver
131: camera

Claims (10)

360도 영상 전송 방법에 있어서,
육면체의 각 면에 대응하는 6개의 입력 영상을 획득하는 단계;
상기 육면체의 각 면에 대응하는 6개의 입력 영상들 간의 결합에 관한 스티칭 정보를 획득하는 단계; 및
상기 스티칭 정보와 함께 상기 육면체의 각 면에 대응하는 6개의 입력 영상들에 관한 정보를 전송하는 단계
를 포함하고,
상기 스티칭 정보를 획득하는 단계는,
상기 6개의 입력 영상들을 결합하여 구형으로 변환하는 단계; 및
상기 변환된 6개의 입력 영상들 간의 결합에 관한 스티칭 정보를 획득하는 단계
를 포함하는 360도 영상 전송 방법.
In a 360 degree video transmission method,
Obtaining six input images corresponding to respective faces of the hexahedron;
Obtaining stitching information relating to a combination of six input images corresponding to respective surfaces of the hexahedron; And
And transmitting information on six input images corresponding to respective faces of the hexahedron together with the stitching information
Lt; / RTI >
The step of acquiring the stitching information includes:
Combining the six input images into a rectangle; And
Acquiring stitching information relating to the combination of the six input images;
/ RTI >
삭제delete 제1항에 있어서,
상기 변환하는 단계는,
상기 구형에 기초하여 상기 6개의 입력 영상의 영역 또는 밝기를 조정하는, 360도 영상 전송 방법.
The method according to claim 1,
Wherein the converting comprises:
And adjusting an area or brightness of the six input images based on the spherical shape.
제1항에 있어서,
상기 스티칭 정보는 상기 구형에 기초하여 조정된 상기 6개의 입력 영상의 왜곡 정보, 밝기 정보 또는 영역 정보를 포함하는, 360도 영상 전송 방법.
The method according to claim 1,
Wherein the stitching information includes distortion information, brightness information, or area information of the six input images adjusted based on the spherical shape.
제1항에 있어서,
상기 전송하는 단계는,
수신기의 전송 요청에 포함된 상기 수신기의 방향 정보에 대응하는 상기 입력 영상에 관한 정보를 전송하는, 360도 영상 전송 방법.
The method according to claim 1,
Wherein the transmitting comprises:
And transmits the information on the input image corresponding to the direction information of the receiver included in the transmission request of the receiver.
제5항에 있어서,
상기 방향 정보에 대응하는 상기 입력 영상에 관한 정보는,
상기 6개의 입력 영상 중에서 상기 방향 정보에 대응하는 사용자의 시야에 필요한 입력 영상에 관한 정보를 포함하는, 360도 영상 전송 방법.
6. The method of claim 5,
Wherein the information on the input image corresponding to the direction information is information on the input image,
And information about an input image necessary for a view of a user corresponding to the direction information among the six input images.
적어도 하나의 프로세서; 및
상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고,
상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
육면체의 각 면에 대응하는 6개의 입력 영상들을 획득하는 동작;
상기 육면체의 각 면에 대응하는 6개의 입력 영상들 간의 결합에 관한 스티칭 정보를 획득하는 동작; 및
상기 스티칭 정보와 함께 상기 입력 영상에 관한 정보를 전송하는 동작
을 실행하도록 구성되고,
상기 스티칭 정보를 획득하는 동작은,
상기 육면체의 각 면에 대응하는 6개의 입력 영상들을 결합하여 구형으로 변환하는 동작; 및
상기 변환된 6개의 입력 영상들 간의 결합에 관한 스티칭 정보를 획득하는 동작
을 포함하는 360도 영상 전송 장치.
At least one processor; And
And at least one memory for storing instructions to be executed by the processor,
The instructions, when executed by the processor, cause the processor to:
Obtaining six input images corresponding to respective faces of the hexahedron;
Obtaining stitching information relating to a combination of six input images corresponding to respective faces of the hexahedron; And
An operation of transmitting information about the input image together with the stitching information
, ≪ / RTI >
The operation of acquiring the stitching information includes:
Combining the six input images corresponding to the respective faces of the hexahedron to convert them into a spherical shape; And
Acquiring stitching information relating to the combination of the six input images;
And a 360 degree image transmission device.
360도 영상 수신 방법에 있어서,
사용자의 방향 정보를 획득하는 단계;
상기 방향 정보를 포함하는 전송 요청을 송신기로 전송하는 단계; 및
상기 방향 정보에 대응하는 입력 영상에 관한 정보 및 상기 입력 영상에 관한 정보에 대응하는 스티칭 정보를 수신하는 단계를 포함하고,
상기 입력 영상에 관한 정보는 육면체의 각 면에 대응하는 6개의 입력 영상 중 상기 방향 정보와 관련된 입력 영상에 관한 정보를 포함하고, 상기 스티칭 정보는 상기 방향 정보와 관련된 입력 영상 간의 결합에 관한 정보를 포함하는,
상기 스티칭 정보는, 360도 영상 전송 장치에 의해, 상기 육면체의 각 면에 대응하는 6개의 입력 영상들을 결합하여 구형으로 변환하고, 상기 변환된 6개의 입력 영상들을 결합함으로써 획득되는
360도 영상 수신 방법.

In a 360-degree image receiving method,
Obtaining direction information of a user;
Transmitting a transmission request including the direction information to a transmitter; And
Receiving information on the input image corresponding to the direction information and the stitching information corresponding to the information on the input image,
Wherein the information on the input image includes information on an input image related to the direction information among six input images corresponding to respective faces of a hexahedron, and the stitching information includes information about a combination of input images related to the direction information Including,
The stitching information is obtained by combining six input images corresponding to respective faces of the hexahedron by a 360-degree image transmission device, converting the six input images into a rectangle, and combining the converted six input images
360 degree video receiving method.

제8항에 있어서,
상기 스티칭 정보는 상기 6개의 입력 영상을 결합하여 구형으로 변환함으로써 획득되는, 360도 영상 수신 방법.
9. The method of claim 8,
Wherein the stitching information is obtained by combining the six input images and converting the input images into a sphere.
적어도 하나의 프로세서; 및
상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고,
상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
사용자의 방향 정보를 획득하는 동작;
상기 방향 정보를 포함하는 전송 요청을 송신기로 전송하는 동작; 및
상기 방향 정보에 대응하는 입력 영상에 관한 정보 및 상기 입력 영상에 관한 정보에 대응하는 스티칭 정보를 수신하는 동작을 실행하도록 구성되고,
상기 입력 영상 정보는 육면체의 각 면에 대응하는 6개의 입력 영상 중 상기 방향 정보와 관련된 입력 영상에 관한 정보를 포함하고, 상기 스티칭 정보는 상기 방향 정보와 관련된 입력 영상 간의 결합에 관한 정보를 포함하고,
상기 스티칭 정보는, 360도 영상 전송 장치에 의해, 상기 육면체의 각 면에 대응하는 6개의 입력 영상들을 결합하여 구형으로 변환하고, 상기 변환된 6개의 입력 영상들을 결합함으로써 획득되는,
360도 영상 수신 장치.
At least one processor; And
And at least one memory for storing instructions to be executed by the processor,
The instructions, when executed by the processor, cause the processor to:
Obtaining direction information of the user;
Transmitting a transmission request including the direction information to a transmitter; And
And to receive the stitching information corresponding to the information about the input image and the information about the input image corresponding to the direction information,
Wherein the input image information includes information on an input image related to the direction information among six input images corresponding to respective faces of a hexahedron, the stitching information includes information about a combination of input images related to the direction information, ,
The stitching information is obtained by combining six input images corresponding to respective faces of the hexahedron by a 360-degree image transmission device, converting the six input images into a rectangle, and combining the converted six input images.
360 degree video receiving device.
KR1020160137626A 2016-10-21 2016-10-21 Method and apparatus for transmitting 360 degree image KR101820359B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160137626A KR101820359B1 (en) 2016-10-21 2016-10-21 Method and apparatus for transmitting 360 degree image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160137626A KR101820359B1 (en) 2016-10-21 2016-10-21 Method and apparatus for transmitting 360 degree image

Publications (1)

Publication Number Publication Date
KR101820359B1 true KR101820359B1 (en) 2018-01-19

Family

ID=61025196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160137626A KR101820359B1 (en) 2016-10-21 2016-10-21 Method and apparatus for transmitting 360 degree image

Country Status (1)

Country Link
KR (1) KR101820359B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019151798A1 (en) * 2018-01-31 2019-08-08 엘지전자 주식회사 Method and device for transmitting/receiving metadata of image in wireless communication system
KR20230094889A (en) * 2021-12-21 2023-06-28 경희대학교 산학협력단 A base station and method for providing 360°video content
KR20240027182A (en) 2022-08-22 2024-03-04 한국전자기술연구원 Point cloud encoding system for streaming

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212231B1 (en) 2012-07-13 2012-12-13 송헌주 Method for displaying advanced virtual reality blended of freedom movement
KR101652753B1 (en) * 2015-09-11 2016-09-01 주식회사 마이다스아이티 Method for providing 3d panorama virtual reality image and system for providing 3d panorama virtual reality image using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212231B1 (en) 2012-07-13 2012-12-13 송헌주 Method for displaying advanced virtual reality blended of freedom movement
KR101652753B1 (en) * 2015-09-11 2016-09-01 주식회사 마이다스아이티 Method for providing 3d panorama virtual reality image and system for providing 3d panorama virtual reality image using the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김병철 외3, "제한적 네트워크 환경 하에서 효율적인 파노라마식 멀티미디어 콘텐츠 분할 전송 방법", 방송공학학회지 제16권 제5호 2011.*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019151798A1 (en) * 2018-01-31 2019-08-08 엘지전자 주식회사 Method and device for transmitting/receiving metadata of image in wireless communication system
US11303826B2 (en) 2018-01-31 2022-04-12 Lg Electronics Inc. Method and device for transmitting/receiving metadata of image in wireless communication system
KR20230094889A (en) * 2021-12-21 2023-06-28 경희대학교 산학협력단 A base station and method for providing 360°video content
KR102639493B1 (en) * 2021-12-21 2024-02-23 경희대학교 산학협력단 A base station and method for providing 360°video content
KR20240027182A (en) 2022-08-22 2024-03-04 한국전자기술연구원 Point cloud encoding system for streaming

Similar Documents

Publication Publication Date Title
JP7223106B2 (en) Method, device and computer program for adaptive streaming of virtual reality media content
KR102375307B1 (en) Method, apparatus, and system for sharing virtual reality viewport
US20220174252A1 (en) Selective culling of multi-dimensional data sets
US11653065B2 (en) Content based stream splitting of video data
US11483629B2 (en) Providing virtual content based on user context
KR102261559B1 (en) Information processing methods and devices
JP7085816B2 (en) Information processing equipment, information providing equipment, control methods, and programs
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
CN110876051B (en) Video data processing method, video data transmission method, video data processing system, video data transmission device and video data transmission device
KR101820359B1 (en) Method and apparatus for transmitting 360 degree image
WO2018123646A1 (en) Generation device, identification information generation method, reproduction device, and image generation method
KR20210072086A (en) Information processing system, information processing method, and storage medium
US20170013327A1 (en) Facilitating high-definition panoramic videos
US10750243B2 (en) Distribution device, distribution method, reception device, reception method, program, and content distribution system
CN107835435B (en) Event wide-view live broadcasting equipment and associated live broadcasting system and method
JP6952456B2 (en) Information processing equipment, control methods, and programs
KR101906066B1 (en) Method and apparatus for transmitting multiview image
JP5520146B2 (en) Video receiving apparatus and control method thereof
Zheng et al. Research on panoramic stereo live streaming based on the virtual reality
GB2567136A (en) Moving between spatially limited video content and omnidirectional video content
US20220303518A1 (en) Code stream processing method and device, first terminal, second terminal and storage medium
Lee et al. Real‐time multi‐GPU‐based 8KVR stitching and streaming on 5G MEC/Cloud environments
KR102656614B1 (en) Methods and devices for transmitting video content and methods and devices for receiving video content
US20200226716A1 (en) Network-based image processing apparatus and method
US20210289194A1 (en) System, method, and computer program for generating volumetric video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant