KR101521890B1 - Multi-view video steaming system and providing method thereof - Google Patents
Multi-view video steaming system and providing method thereof Download PDFInfo
- Publication number
- KR101521890B1 KR101521890B1 KR1020140037029A KR20140037029A KR101521890B1 KR 101521890 B1 KR101521890 B1 KR 101521890B1 KR 1020140037029 A KR1020140037029 A KR 1020140037029A KR 20140037029 A KR20140037029 A KR 20140037029A KR 101521890 B1 KR101521890 B1 KR 101521890B1
- Authority
- KR
- South Korea
- Prior art keywords
- viewpoint
- view video
- video
- user terminal
- streaming
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010025 steaming Methods 0.000 title abstract 2
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 다시점 비디오 스트리밍 시스템 및 그 제공방법에 관한 것이다. 보다 상세하게는 본 발명은 다시점 비디오를 구성하는 개별 시점 비디오 중 인접한 시점의 영상을 이용하여 합성되는 중간시점 영상(보간 영상)을 효율적으로 제공할 수 있는 다시점 비디오 스트리밍 시스템 및 그 제공방법에 관한 것이다.
The present invention relates to a multi-view video streaming system and a method for providing the same. More particularly, the present invention relates to a multi-view video streaming system and a method for providing the multi-view video streaming system capable of effectively providing an intermediate view image (interpolated image) synthesized using an image at an adjacent viewpoint among the individual viewpoint videos constituting a multi-view video .
디지털 시대가 도래함에 따라 다양한 멀티미디어 기술들이 급속히 발전하고 있으며, 이를 바탕으로 한 디지털 콘텐츠 시장도 해마다 그 규모가 괄목할 정도로 성장하고 있다. 이러한 흐름과 함께 디지털 영상 분야에서는 실감미디어에 대한 관심이 높아지고 있다. 최근에는 이러한 실감미디어의 하나로 다시점 비디오(multi-view video)에 대한 연구가 활발히 진행되고 있다.With the advent of the digital age, various multimedia technologies are rapidly evolving, and the digital contents market based on this is growing year by year. Along with this trend, interest in realistic media is increasing in digital image field. In recent years, multi-view video has been actively studied as one of such realistic media.
다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술이다.Multi-view video is a three-dimensional image processing technique that geometrically corrects images photographed using two or more cameras and spatially processes them to provide various view images in various directions to the user.
통상적인 다시점 비디오 시스템에서는 다시점 카메라를 이용하여 하나의 장면에 대한 여러 시점의 비디오를 촬영하고, 촬영된 영상의 효과적인 전송을 위하여 다시점 비디오 부호화를 수행한다. 수신단에서는 전송된 압축 비트 스트림(bit stream)에서 다시점 영상을 다시 복호하고, 복호된 다시점 영상을 이용하여 시청자의 요구에 따라 다양한 응용 서비스를 제공한다.In a conventional multi-view video system, multi-view video of one scene is captured using a multi-view camera, and multi-view video encoding is performed for effective transmission of the captured image. At the receiving end, the multi-view video is decoded again in the transmitted bit stream, and various application services are provided according to the viewer's request using the decoded multi-view video.
도 1은 이러한 종래의 다시점 비디오 스트리밍 시스템을 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 종래의 다시점 비디오 스트리밍 시스템에서는 다수의 카메라(10)에 의해 촬영된 개별 시점 영상이 다시점 영상 부호화부(20)에 의해 부호화/다중화되어 다시점 비디오 파일(31)이 생성되며, 다시점 비디오 스트리밍 서버(30)는 생성된 다시점 비디오 파일(31)을 사용자 단말(40)으로 스트리밍할 수 있다. 한편, 사용자 단말(40)에 포함되어 있는 다시점 영상 복호화부(41)는 스트리밍되는 다시점 동영상 스트림을 역다중화/복호화하여 개별 시점 비디오 스트림으로 분리할 수 있으며, 시점 선택부(42)는 사용자가 원하는 시점의 비디오 스트림을 선택하여 선택된 개별 시점 비디오 스트림을 디스플레이 장치(50)에 출력할 수 있다.FIG. 1 is a diagram for explaining such a conventional multi-view video streaming system. 1, in the conventional multi-view video streaming system, the individual view images captured by the plurality of
다시점 비디오는 시청자에게 시청 시점을 자유롭게 선택할 수 있도록 하고 3차원 입체감을 느낄 수 있도록 하는 장점을 가지지만, 시점 수가 증가하는 만큼 사용자 단말로 전송해야 하는 데이터의 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 따라서, 최근에는 인접한 시점의 영상을 이용하여 중간 시점의 영상을 합성하는 방법이 연구되고 있는데, 이러한 방법을 영상 보간법이라고 한다. 종래의 영상 보간 방법은 통상적으로 클라이언트 측에서 중간 영상(즉, 보간 영상)을 생성하는데, 클라이언트 측에서 보간 영상을 생성하기 위해서 방대한 오버헤드가 발생하므로 컴퓨팅 파워가 부족한 클라이언트에서는 이용하기 어렵다는 단점이 있다.However, since the amount of data to be transmitted to the user terminal increases as the number of viewpoints increases, an efficient data processing method is required . Therefore, in recent years, a method of synthesizing an image at an intermediate viewpoint by using an image at an adjacent viewpoint has been studied. Such a method is called an image interpolation method. The conventional image interpolation method typically generates an intermediate image (i.e., an interpolated image) on the client side. However, since it generates a large overhead to generate an interpolated image on the client side, it is disadvantageous in that it is difficult to use in a client lacking computing power .
따라서, 영상 보간법을 클라이언트의 컴퓨팅 파워와 무관하게 범용적으로 이용하기 위해서는 서버 측에서 보간 영상을 생성하여야 할 것이나, 서버 측에서 보간 영상을 생성하여 클라이언트 측으로 전송하게 되면, 결국 사용자 단말로 제공해야 하는 시점 수가 증가하는 것과 동일한 결과가 되므로 사용자 단말로 전송하여야 할 데이터의 양이 증가하여 제한된 대역폭을 가지고 있는 전송 환경 하에서는 다시점 비디오 스트리밍이 제공되기 어려우며, 초기 버퍼링 시간이 매우 길어지고 전송되는 데이터 대비 사용되는 콘텐츠의 사용 효율이 매우 낮다는 문제점이 있다.
Therefore, in order to use image interpolation method universally regardless of the computing power of the client, an interpolation image should be generated at the server side. However, if the interpolation image is generated at the server side and transmitted to the client side, Since the amount of data to be transmitted to the user terminal is increased because the number of viewpoints is increased, it is difficult to provide multi-point video streaming in a transmission environment having a limited bandwidth, and the initial buffering time becomes long, There is a problem that the use efficiency of the content is very low.
본 발명은 상기 종래 기술의 제문제를 해결하고자 안출된 발명으로써, 본 발명은 다시점 동영상에 포함된 개별 시점 비디오와 인접한 개별 시점 비디오를 합성하여 생성되는 보간 영상을 함께 사용자 단말로 스트리밍할 수 있으면서, 스트리밍에 필요한 대역폭을 줄을 수 있는 다시점 비디오 스트리밍 시스템 및 그 방법을 제공하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art, and it is an object of the present invention to provide an apparatus and method for streaming an interpolation image generated by synthesizing an individual viewpoint video included in a multi- Point video streaming system capable of reducing the bandwidth required for streaming, and a method thereof.
본 발명의 일 측면에 따르면, 다시점 비디오를 구성하며, 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 저장하는 저장모듈, 사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 스트리밍모듈, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 보간모듈, 상기 사용자 단말로부터 재생속도 정보를 수신하는 수신모듈 및 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상이 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 제어모듈을 포함하는 다시점 비디오 스트리밍 시스템이 제공된다.According to an aspect of the present invention, there is provided a video display device including: a storage module configured to store a plurality of individual viewpoint videos photographed at different viewpoints, a streaming module for streaming a current viewpoint video being displayed on the user terminal to the user terminal, An interpolation module for interpolating the current viewpoint video and the adjacent viewpoint video adjacent to the current viewpoint video to generate an interpolated viewpoint image; a receiving module for receiving the playback speed information from the user terminal; A control module for controlling the streaming module such that the current view video and the generated interpolation viewpoint image are streamed to the user terminal.
일 실시예에서, 상기 수신모듈은, 상기 사용자 단말로부터 시점이동명령을 더 수신하고, 상기 보간모듈은, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 상기 시점이동명령에 상응하는 시점이동방향으로 인접한 인접 시점 비디오를 영상 보간하여 상기 보간 시점 영상을 생성할 수 있다.In one embodiment, the receiving module further receives a viewpoint movement instruction from the user terminal, and the interpolation module is operable to determine whether the current viewpoint video and the current viewpoint video are adjacent to each other in a viewpoint movement direction corresponding to the viewpoint movement instruction The interpolation viewpoint image may be generated by interpolating the viewpoint video.
일 실시예에서, 상기 보간모듈은, 상기 복수의 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 세트를 생성하고, 상기 제어모듈은, 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어할 수 있다.In one embodiment, the interpolation module generates a set of interpolated images corresponding to the multi-view video by image interpolating all of the plurality of individual viewpoint videos, and the control module determines whether the received playback speed is less than or equal to the limit speed , The streaming module may be controlled such that the current view video and the generated set of interpolation view images are streamed to the user terminal.
일 실시예에서, 상기 제어모듈은, 수신한 상기 재생속도가 0인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어할 수 있다.In one embodiment, the control module may control the streaming module such that the current view video and the generated set of interpolation view images are streamed to the user terminal if the received playback speed is zero.
일 실시예에서, 상기 저장모듈은, 상기 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함, 상기 스트리밍모듈은, 상기 복수의 벌크 데이터 중 상기 현재 시점 비디오를 포함하는 대상 벌크 데이터를 상기 사용자 단말로 스트리밍할 수 있다.In one embodiment, the storage module divides and stores the plurality of individual viewpoint videos into a plurality of bulk data, wherein one bulk data includes a plurality of adjacent individual viewpoint videos, the streaming module comprising: And the target bulk data including the current-view video among the plurality of bulk data may be streamed to the user terminal.
일 실시예에서, 상기 보간모듈은, 상기 대상 벌크 데이터에 포함된 개별 시점 비디오 전부를 영상 보간하여 상기 대상 벌크 데이터에 상응하는 보간 영상 세트를 생성하고, 상기 제어모듈은, 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 대상 벌크 데이터 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어할 수 있다.In one embodiment, the interpolation module generates a set of interpolated images corresponding to the target bulk data by image interpolating all of the individual view video included in the target bulk data, and the control module determines And controlling the streaming module such that the target bulk data and the generated interpolation point-in-time image set are streamed to the user terminal if the difference is less than or equal to the limit speed.
일 실시예에서, 상기 보간모듈은, 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 보간 시점 영상을 생성할 수 있다.In one embodiment, the interpolation module may generate the interpolation viewpoint image if the received playback speed is less than or equal to a predetermined limit speed.
본 발명의 다른 일 측면에 따르면, 다시점 비디오를 구성하며, 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 저장하는 저장모듈, 저장된 상기 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 비디오를 생성하는 보간모듈, 사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 스트리밍모듈, 상기 사용자 단말로부터 재생속도 정보를 수신하는 수신모듈 및 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 보간 시점 비디오가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 제어모듈을 포함하는 다시점 비디오 스트리밍 시스템이 제공된다.According to another aspect of the present invention, there is provided a video decoding method comprising: a storage module for configuring multi-view video and storing a plurality of individual view video captured at different viewpoints; An interpolation module for generating interpolated video, a streaming module for streaming the current view video being displayed on the user terminal to the user terminal, a receiving module for receiving the reproduction speed information from the user terminal, A control module that controls the streaming module such that the current view video and the interpolation view video adjacent to the current view video are streamed to the user terminal.
본 발명의 다른 일 측면에 따르면, (a) 다시점 비디오 스트리밍 시스템이, 다시점 비디오를 구성하며, 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 저장하는 단계, (b) 상기 다시점 비디오 스트리밍 시스템이, 사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계, (c) 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 단계, (d) 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말로부터 재생속도 정보를 수신하는 단계 및 (e) 상기 다시점 비디오 스트리밍 시스템이, 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상을 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법이 제공된다.According to another aspect of the present invention, there is provided a multi-viewpoint video streaming system, comprising: (a) a multi-view video streaming system comprising a multi-viewpoint video and comprising a plurality of individual viewpoint videos photographed at different viewpoints, (C) generating an interpolation viewpoint image by performing image interpolation between the current viewpoint video and the adjacent viewpoint video adjacent to the current viewpoint video, (c) d) receiving, by the multi-view video streaming system, playback rate information from the user terminal; and (e) when the playback speed is below a predetermined limit rate, And a step of streaming the generated interpolation viewpoint image to the user terminal There is provided a method for providing a multi-view video streaming system.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템 제공방법은, 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말로부터 시점이동명령을 더 수신하는 단계를 더 포함하되, 상기 (c) 단계는, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 상기 시점이동명령에 상응하는 시점이동방향으로 인접한 인접 시점 비디오를 영상 보간하여 상기 보간 시점 영상을 생성할 수 있다.In one embodiment, the multi-view video streaming system providing method further comprises: the multi-view video streaming system further receiving a viewpoint movement instruction from the user terminal, wherein (c) The interpolation viewpoint image may be generated by performing image interpolation between the video and the current viewpoint video and the adjacent viewpoint video adjacent to the viewpoint moving direction corresponding to the viewpoint movement instruction.
일 실시예에서, 상기 (c) 단계는, 상기 복수의 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 세트를 생성하는 단계를 포함하고, 상기 (e) 단계는, 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트를 상기 사용자 단말로 스트리밍하는 단계를 포함할 수 있다.In one embodiment, the step (c) includes the step of image interpolating all of the plurality of individual viewpoint videos to generate an interpolated image set corresponding to the multi-view video, wherein (e) And streaming the current view video and the generated set of interpolation view images to the user terminal if the playback speed is below the limit speed.
일 실시예에서, 상기 (a) 단계는, 상기 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하는 단계-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함-를 포함하고, 상기 (b) 단계는, 상기 복수의 벌크 데이터 중 상기 현재 시점 비디오를 포함하는 대상 벌크 데이터를 상기 사용자 단말로 스트리밍하는 단계를 포함할 수 있다.In one embodiment, the step (a) includes dividing and storing the plurality of individual viewpoint videos into a plurality of bulk data, wherein one bulk data includes a plurality of adjacent individual viewpoint videos And the step (b) may include the step of streaming, to the user terminal, target bulk data including the current time video among the plurality of bulk data.
일 실시예에서, 상기 (c) 단계는, 상기 대상 벌크 데이터에 포함된 개별 시점 비디오 전부를 영상 보간하여 상기 대상 벌크 데이터에 상응하는 보간 영상 세트를 생성하는 단계를 포함하고, 상기 (e) 단계는, 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 대상 벌크 데이터 및 생성된 상기 보간 시점 영상 세트를 상기 사용자 단말로 스트리밍하는 단계를 포함할 수 있다.In one embodiment, step (c) includes interpolating all of the individual viewpoint videos included in the target bulk data to generate an interpolated image set corresponding to the target bulk data, wherein step (e) And the step of streaming the target bulk data and the generated set of interpolation point-in-time images to the user terminal if the received reproduction speed is equal to or lower than the limit speed.
일 실시예에서, 상기 (c) 단계는, 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 보간 시점 영상을 생성하는 단계를 포함할 수 있다.In one embodiment, the step (c) may include generating the interpolation viewpoint image when the received playback speed is equal to or lower than a predetermined limit speed.
본 발명의 다른 일 측면에 따르면, 다시점 비디오를 구성하며, 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 저장하는 단계, 저장된 상기 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 비디오를 생성하는 단계, 사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계, 상기 사용자 단말로부터 재생속도 정보를 수신하는 단계 및 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 보간 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법이 제공된다.According to another aspect of the present invention, there is provided a method for rendering a multi-view video, comprising: storing a plurality of individual view video captured at different viewpoints; interpolating all of the stored individual view video; The method comprising the steps of: generating video video, streaming the current view video being displayed at the user terminal to the user terminal, receiving playback speed information from the user terminal, and, if the received playback speed is below a predetermined limit speed, There is provided a method for providing a multi-view video streaming system, comprising the steps of: streaming current view video and an interpolation view video adjacent to the current view video to the user terminal.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, there is provided a computer-readable recording medium on which a program for performing the above-described method is recorded.
본 발명의 다른 일 측면에 따르면, 다시점 비디오 스트리밍 시스템으로서, 프로세서 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 다시점 비디오 스트리밍 시스템이 상술한 방법을 수행하도록 하는 다시점 비디오 스트리밍 시스템이 제공된다.
According to another aspect of the present invention there is provided a multi-view video streaming system comprising a processor and a memory for storing a computer program executed by the processor, wherein the computer program, when executed by the processor, A multi-view video streaming system is provided for allowing a video streaming system to perform the method described above.
본 발명의 일 실시예에 따르면, 사용자 단말이 상기 다시점 비디오를 재생하는 재생 속도가 느린 경우(즉, 한계속도 이하인 경우)에만 보간 시점 영상을 스트리밍하므로 재생 속도가 느려져 그에 따라 전송해야 할 스트리밍 데이터의 양이 작아진 경우에만 보간 시점 영상을 전송할 수 있다. 따라서, 서버 측에서 보간 시점 영상을 전송할 수 있으면서도 스트리밍에 필요한 대역폭이 지나치게 넓어지는 문제점이 발생하지 않게 되는 효과가 있다.According to an embodiment of the present invention, since the interpolation point-in-time image is streamed only when the user terminal is slow in reproducing the multi-view video (i.e., when the reproduction speed is lower than the limit speed), the reproduction speed is slowed and the streaming data It is possible to transmit the interpolation viewpoint image only when the amount of the interpolated viewpoint image is small. Therefore, there is an effect that the interpolation point-in-time image can be transmitted from the server side, but the bandwidth required for streaming becomes too wide.
또한, 본 발명의 일 실시예에 따르면, 다시점 비디오에 포함된 모든 개별 시점 비디오와 그에 상응하는 보간 시점 영상을 스트리밍하는 것이 아니라 그 중 일부만을 벌크 단위로 스트리밍할 수 있으므로 스트리밍에 필요한 대역폭을 현저히 줄일 수 있는 효과가 있다.
In addition, according to an embodiment of the present invention, not all the individual viewpoint video included in the multi-view video and the corresponding interpolation viewpoint video can be streamed, but only a part of them can be streamed in a bulk unit, There is an effect that can be reduced.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 다시점 비디오 스트리밍 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템의 동작방법을 개략적으로 설명하기 위한 흐름도이다.
도 4(a) 내지 도 4(b)는 각각 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템이 사용자 단말로 스트리밍하는 비디오의 일 예를 도시한 도면이다.
도 5는 터치 스크린을 통하여 시점이동명령이 입력되는 예를 도시한 도면이다
도 6은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템에서 다시점 비디오를 벌크에 분할 저장하는 방법을 설명하기 위한 도면이다.
도 7(a) 및 도 7(b)는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템이 벌크 단위로 스트리밍하는 방법을 설명하기 위한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS A brief description of each drawing is provided to more fully understand the drawings recited in the description of the invention.
FIG. 1 is a diagram for explaining a conventional multi-view video streaming system.
2 is a block diagram illustrating a multi-view video streaming system according to an embodiment of the present invention.
3 is a flowchart illustrating a method of operating a multi-view video streaming system according to an exemplary embodiment of the present invention.
4 (a) to 4 (b) are views showing an example of video streamed to a user terminal by a multi-view video streaming system according to an embodiment of the present invention, respectively.
5 is a diagram illustrating an example in which a viewpoint movement command is input through a touch screen
FIG. 6 is a diagram for explaining a method of dividing and storing multi-view video in a bulk in a multi-view video streaming system according to an embodiment of the present invention.
7A and 7B are views for explaining a method of streaming a multi-view video streaming system according to an embodiment of the present invention in a bulk unit.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.Also, in this specification, when any one element 'transmits' data to another element, the element may transmit the data directly to the other element, or may be transmitted through at least one other element And may transmit the data to the other component. Conversely, when one element 'directly transmits' data to another element, it means that the data is transmitted to the other element without passing through another element in the element.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail with reference to the embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
도 2는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템을 설명하기 위한 블록도이다.2 is a block diagram illustrating a multi-view video streaming system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템 제공방법을 구현하기 위하여, 다시점 비디오 스트리밍 시스템(100)이 구비될 수 있다. Referring to FIG. 2, a multi-view
상기 다시점 비디오 스트리밍 시스템(101)은 인터넷 또는 기타 유/무선 네트워크(예를 들면, LAN 등)을 통하여 사용자 단말(200)로 다시점 비디오를 스트리밍 할 수 있다.The multi-view video streaming system 101 may stream multi-view video to the
상기 다시점 비디오는 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오로 구성될 수 있다. 개별 시점 비디오는 하나의 카메라가 특정 시점에서 촬영한 영상을 의미할 수 있으며, 서로 인접한 두 개의 개별 시점 비디오는 서로 인접한 두 카메라에 의해 각각 촬영된 개별 시점 비디오를 의미할 수 있다.The multi-view video may be composed of a plurality of individual view video captured at different viewpoints. The individual viewpoint video may refer to an image captured by a single camera at a specific point in time, and two individual viewpoint video adjacent to each other may refer to individual viewpoint video captured by two cameras adjacent to each other.
상기 다시점 비디오 스트리밍 시스템(100)은 상기 복수의 개별 시점 비디오 중 하나 또는 2이상의 개별 시점 비디오를 상기 사용자 단말(200)로 스트리밍할 수 있다. 만약 2 이상의 개별 시점 비디오가 상기 사용자 단말(200)로 스트리밍되는 경우, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 2 이상의 개별 시점 비디오를 부호화/다중화하여 상기 사용자 단말(200)로 전송할 수 있으며, 상기 사용자 단말(200)은 이를 복호화/역다중화하여 상기 2 이상의 개별 시점 비디오 중 어느 하나를 디스플레이할 수 있다.The multi-view
한편, 상기 사용자 단말(200)은 다시점 비디오를 복호화하고 디스플레이할 수 있는 소정의 프로세싱 시스템일 수 있다. 상기 사용자 단말(200)은 컴퓨터, 랩탑, 데스크탑, 타블렛 PC, PDA(Personal Digital Assistant), 워크스테이션(Workstation)을 포함할 수 있으며, 휴대 전화, 위성 전화, 무선 전화, SIP(Session Initiation Protocol), WLL(Wireless Local Loop) 스테이션, 스마트폰, 기타 무선 접속 기능을 갖는 핸드헬드 장치를 포함하는 무선 컴퓨팅 장치 또는 다른 무선 모뎀에 연결된 프로세싱 장치일 수도 있다.Meanwhile, the
상기 다시점 비디오 스트리밍 시스템(100)은 인접한 개별 시점 비디오를 합성하여 보간 시점 영상을 생성할 수 있다. 상기 보간 시점 영상은 카메라에 의해 촬영된 영상은 아니며, 중간영상 보간법 등 공지된 다양한 보간 영상 생성 방법으로 합성된 영상일 수 있다. 본 명세서에서 인접한 개별 시점 비디오를 합성하여 보간 시점 영상을 생성하는 구체적인 방법에 대해서는 상세한 설명을 생략하기로 한다.The multi-view
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 사용자 단말에서 상기 다시점 비디오를 재생하는 재생 속도에 따라 보간 시점 영상을 개별 시점 비디오와 함께 스트리밍할지 여부를 결정할 수 있는데, 이에 대하여 도 3을 참조하여 설명하기로 한다.Meanwhile, the multi-view
도 3을 참조하면, 상기 다시점 비디오 스트리밍 시스템(100)은 다시점 비디오를 구성하며, 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 저장할 수 있으며(S100), 인접한 개별 시점 비디오를 영상 보간하여 보간 시점 영상을 생성할 수 있다(S110).Referring to FIG. 3, the multi-view
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 사용자 단말(200)로부터 재생속도 정보를 수신할 수 있다(S120). 재생속도는 통상적인 비디오 플레이어에서 '배속'이라고 표현되는 것일 수 있다. 예를 들어, 재생속도는 1배속, 0.5배속 일 수 있다. 또한 재생속도는 0일 수 있다. 즉, 사용자 단말(200)에서 다시점 비디오의 재생을 정지하거나 일시정지하는 경우에 재생속도가 0일 수 있다.Meanwhile, the multi-view
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 재생 속도를 소정의 한계속도(예를 들어, 0)와 비교하여, 재생 속도가 한계속도 보다 큰 경우에는 상기 사용자 단말(200)에서 재생 중인 개별 시점 비디오(이하, '현재 시점 비디오'라고 함)를 스트리밍하며, 보간 시점 영상은 스트리밍하지 않을 수 있다(S140). 만약 재생 속도가 상기 한계속도 이상인 경우, 상기 다시점 비디오 스트리밍 시스템(100)은 현재 시점 비디오과 보간 시점 영상을 함께 사용자 단말(200)로 스트리밍할 수 있다(S150).The multi-view
이하에서는 다시 도 2를 참조하여, 상기 다시점 비디오 스트리밍 시스템(100)의 각 구성요소에 대하여 설명하기로 한다.Hereinafter, each component of the multi-view
도 2를 참조하면, 상기 다시점 비디오 스트리밍 시스템(100)은 저장모듈(110), 스트리밍모듈(120), 보간모듈(130), 수신모듈(140), 제어모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따른 상기 다시점 비디오 스트리밍 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.Referring to FIG. 2, the multi-view
상기 다시점 비디오 스트리밍 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 다시점 비디오 스트리밍 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 다시점 비디오 스트리밍 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 저장모듈(110), 스트리밍모듈(120), 보간모듈(130), 수신모듈(140) 및/또는 제어모듈(150)은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 스트리밍모듈(120), 보간모듈(130), 수신모듈(140) 및/또는 제어모듈(150) 등 각각의 모듈을 구성하는 세부구성 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 세부요소들이 서로 유기적으로 결합되어 개별 모듈들이 수행하는 기능을 실현할 수도 있다.The multi-view
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In this specification, a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and it does not necessarily mean a physically connected code or a kind of hardware. Can be easily deduced to the average expert in the field of < / RTI >
상기 제어모듈(150)은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템(100)에 포함된 다른 구성들(예컨대, 저장모듈(110), 스트리밍모듈(120), 보간모듈(130) 및/또는 수신모듈(140) 등)의 기능 및/또는 리소스를 제어할 수 있다.The
상기 저장모듈(110)은 다시점 비디오를 구성하며, 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 저장할 수 있다.The
상기 스트리밍모듈(120)은 사용자 단말(200)에서 디스플레이 중인 개별 시점 비디오(즉, 현재 시점 비디오)를 상기 사용자 단말(200)로 스트리밍할 수 있다. The
상기 스트리밍모듈(120)이 현재 시점 비디오를 상기 사용자 단말(200)로 스트리밍하는 방법은 다양할 수 있다. 예를 들어, 상기 스트리밍모듈(120)은 현재 시점 비디오만을 상기 사용자 단말(200)로 스트리밍할 수도 있지만, 실시 예에 따라 현재 시점 비디오와 인접한 개별 시점 비디오를 상기 현재 시점 비디오와 함께 스트리밍할 수도 있으며, 상기 다시점 비디오를 구성하는 개별 시점 비디오 전체를 스트리밍할 수도 있다. 또한, 후술하는 바와 같이 현재 시점 비디오를 포함하는 벌크 스트림을 스트리밍할 수도 있다. 한편, 상기 스트리밍모듈(120)은 상기 제어모듈(150)의 제어에 의해 보간 시점 영상을 함께 스트리밍할 수도 있다.The manner in which the
상기 스트리밍모듈(120)이 2 이상의 개별 시점 비디오를 동시에 스트리밍하는 경우, 스트리밍되는 2 이상의 개별 시점 비디오를 부호화/다중화한 후 스트리밍할 수 있다.When the
한편, 상기 보간모듈(130)은 현재 시점 비디오 및 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성할 수 있다. 상기 보간모듈(130)이 보간 시점 영상을 생성하기 위해 이용하는 방법은 다양할 수 있다. 예를 들어, 상기 보간모듈(130)은 계층적 깊이영상(Layered Depth Image), Light Field 렌더링 등의 영상기반 렌더링 기법, Droese가 제안한 변위 기반 영상보간법 등의 기법을 이용할 수 있으며, 이 외에도 공지된 다양한 영상보간 기법을 이용하여 보간 시점 영상을 생성할 수 있다.Meanwhile, the
또한, 상기 보간모듈(130)이 현재 시점 비디오를 영상 보간하는 시점 역시 다양할 수 있다. 상기 보간모듈(130)은 상기 다시점 비디오가 상기 다시점 비디오 스트리밍 시스템(100)으로 업로드 혹은 저장되면 상기 다시점 비디오를 구성하는 각 개별 시점 비디오에 상응하는 보간 시점 영상을 생성할 수도 있으며, 상기 사용자 단말(200)이 상기 다시점 비디오의 스트리밍을 요청하는 시점에 상기 다시점 비디오를 구성하는 각 개별 시점 비디오에 상응하는 보간 시점 영상을 생성할 수도 있다. 또한, 구현 예에 따라, 사용자 단말(200)이 다시점 비디오를 재생하기 시작하거나 시점을 이동함으로써 현재 시점 비디오가 결정된 후에 상기 현재 시점 비디오에 상응하는 보간 시점 영상을 생성할 수도 있다.In addition, the
한편, 상기 수신모듈(140)은 상기 사용자 단말(200)로부터 재생속도 정보를 수신할 수 있다.Meanwhile, the receiving
상기 제어모듈(150)은 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상이 상기 사용자 단말(200)로 스트리밍되도록 상기 스트리밍모듈(120)을 제어할 수 있다.The
도 4(a) 내지 도 4(b)는 본 발명의 일 실시예에 따른 제어모듈(120)의 제어에 의해 상기 스트리밍모듈(120)이 사용자 단말(200)로 스트리밍하는 비디오의 일 예를 도시한 도면이다. 도 4(a) 내지 도 4(d)는 상기 다시점 비디오가 6 개의 개별 시점 비디오(v1 내지 v6)로 구성된 예를 도시하고 있다. 한편, 도 4(a) 내지 도 4(d)에서 굵은 화살표는 사용자 단말에 디스플레이 되는 개별 시점 비디오(현재 시점 비디오)를 나타내며, 가는 화살표는 스트리밍 되지난 디스플레이되지는 않는 개별 시점 비디오를 나타내고, 점선 화살표는 보간 시점 영상을 나타낸다.4A through 4B illustrate an example of video streamed by the
도 4(a)는 수신한 상기 재생속도가 상기 한계속도 보다 큰 경우를 도시하고 있다. 도 4(a)에 도시된 바와 같이, 상기 제어모듈(150)은 보간 시점 영상은 스트리밍되지 않고, 개별 시점 비디오(v1 내지 v6)만이 스트리밍되도록 제어할 수 있다.Fig. 4 (a) shows a case where the received playback speed is greater than the limit speed. As shown in Figure 4 (a), the
만약 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 일 실시예에서, 상기 제어모듈(150)은 도 4(b)에 도시된 바와 같이, 개별 시점 비디오(v1 내지 v6) 이외에도 현재 시점 비디오(v3)와 인접한 개별 시점 비디오(v2, v4) 각각을 영상 보간하여 생성된 보간 시점 영상(i23, i34)이 사용자 단말(200)로 더 스트리밍되도록 제어할 수 있다.If the received playback speed is less than or equal to the limit speed, in one embodiment, the
다른 일 실시예에서, 상기 제어모듈(150)은 만약 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 도 4(c)에 도시된 바와 같이, 개별 시점 비디오(v1 내지 v6) 이외에도 상기 다시점 비디오에 포함된 각각의 개별 시점 비디오에 상응하는 보간 시점 영상(i12, i23, i34, i45, i56) 전부(이하에서, '다시점 비디오에 상응하는 보간 영상 세트'라고 함)가 사용자 단말(200)로 더 스트리밍되도록 제어할 수 있다.In another embodiment, the
다시점 비디오의 재생을 멈추거나 일시정지한 상태에 상기 다시점 비디오의 시점을 바꾸어가며 감상하는 경우가 많으므로, 일 실시예에서, 상기 제어모듈(150)은 수신한 상기 재생속도가 0인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말(200)로 스트리밍되도록 상기 스트리밍모듈(120)을 제어할 수 있다.In many cases, the
한편, 상기 사용자 단말(200)은 구비되어 있는 소정의 입력장치(미도시)를 통해 사용자로부터 시점이동명령을 입력받을 수 있으며, 시점이동명령이 입력되는 경우, 상기 시점이동명령에 상응하는 시점이동신호를 상기 다시점 비디오 스트리밍 시스템(100)로 전송할 수 있다. 상기 입력장치는 키보드, 키패드, 터치 패드, 터치 스트린 등 다양할 수 있으며, 상기 시점이동명령 및 상기 시점이동신호는 시점 이동 방향에 대한 정보를 포함할 수 있다. 이동 가능한 시점은 수직 양방향, 수평 양방향, 대각선 양방향 등 다양할 수 있다.Meanwhile, the
도 5는 터치 스크린을 통하여 시점이동명령이 입력되는 예를 도시한 도면이다. 도 5에 도시된 바와 같이, 상기 사용자 단말(200)에 구비된 터치 스크린(210) 상에서 손가락이나 스타일러스 팬 등의 객체의 움직임이 있는 경우, 상기 사용자 단말(200)은 객체의 움직임을 감지하고, 상기 객체의 움직임이 감지되면 시점이동명령이 입력된 것으로 판단할 수 있다. 예를 들어, 상기 사용자 단말(200)은 객체가 위로 움직이는 경우에는 아래방향으로의 시점이동명령이 입력된 것으로 인식할 수 있으며, 객체가 아래쪽으로 움직이는 경우 위쪽방향으로의 시점이동명령이 입력된 것으로 인식할 수 있다. 이와 반대로, 객체가 움직이는 방향으로의 시점이동명령으로 인식하는 실시예도 있을 수 있다. 한편, 상기 시점이동신호에는 시점이동명령으로부터 판단할 수 있는 시점 이동 방향에 대한 정보가 포함될 수 있다.5 is a diagram illustrating an example in which a viewpoint movement command is input through a touch screen. 5, when there is movement of an object such as a finger or a stylus fan on the
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 사용자가 원하는 시점 이동의 방향에 대해서만 보간 영상을 제공할 수도 있다. 이를 위하여, 상기 수신모듈(140)은 상기 사용자 단말로부터 시점이동명령을 더 수신할 수 있으며, 상기 보간모듈(130)은 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 상기 시점이동명령에 상응하는 시점이동방향으로 인접한 인접 시점 비디오를 영상 보간하여 상기 보간 시점 영상을 생성할 수 있다. 또한, 상기 제어모듈(150)은 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 상기 시점이동명령에 상응하는 시점이동방향으로 인접한 인접 시점 비디오를 영상 보간하여 생성된 보간 시점 영상이 스트리밍되도록 제어할 수 있으며, 그 예가 도 4(d)에 도시되어 있다. 즉, 만약 사용자 단말(200)이 아래쪽 방향의 시점이동명령을 전송한 경우, 도 4(d)에 도시된 바와 같이, 상기 제어모듈(150)은 각각의 개별 시점 비디오(v1 내지 v6)와 함께 현재 시점 비디오(v3)와 아래쪽 방향으로 인접한 개별 시점 비디오(v4, v5, v6)들을 영상 보간하여 생성된 보간 시점 영상(i34, i45, i56)이 더 스트리밍되도록 제어할 수 있다.Meanwhile, the multi-view
이와 같이, 본 발명의 기술적 사상에 따르면, 상기 다시점 비디오 스트리밍 시스템(100)은 사용자 단말(200)이 상기 다시점 비디오를 재생하는 재생 속도가 느린 경우(즉, 한계속도 이하인 경우)에만 보간 시점 영상을 스트리밍할 수 있다. 즉, 상기 다시점 비디오 스트리밍 시스템(100)은 재생 속도가 느려져 그에 따라 전송해야 할 스트리밍 데이터의 양이 작아진 경우에만 보간 시점 영상을 전송하므로 보간 시점 영상의 전송에 의해 대역폭이 지나치게 넓어지는 문제점이 발생하지 않게 되는 효과가 있다.As described above, according to the technical idea of the present invention, the multi-view
한편, 상기 저장모듈(110)은 상기 다시점 비디오를 복수의 벌크 데이터로 분할하여 저장할 수 있다.Meanwhile, the
하나의 벌크 데이터는 복수의 개별 시점 비디오를 포함할 수 있으며, 하나의 벌크 데이터에 저장된 복수의 개별 시점 비디오는 서로 인접할 수 있다. 따라서, 하나의 벌크 데이터에 저장된 복수의 개별 시점 비디오는 순차적으로 배열된 복수의 카메라에 의해 촬영된 영상일 수 있다. 실시예에 따라, 각각의 벌크 데이터에 저장되는 개별 시점 비디오의 개수는 모두 동일할 수도 있고, 서로 상이할 수도 있다.One bulk data may include a plurality of individual viewpoint videos, and a plurality of individual viewpoint videos stored in one bulk data may be adjacent to each other. Accordingly, a plurality of individual viewpoint videos stored in one bulk data may be images captured by a plurality of cameras sequentially arranged. Depending on the embodiment, the number of individual view video stored in each bulk data may be all the same or may be different from each other.
본 발명에서, 하나의 벌크 데이터는 HDD(Hard Disk Drive)에 저장된 단일의 파일의 형태일 수도 있으며, 실시예에 따라, 벌크 데이터는 클라우드에 분산 저장된 데이터 그룹 혹은 버퍼 메모리(예를 들면, RAM)에 저장된 데이터를 의미할 수도 있다. 이하에서는 편의를 위하여, 벌크 데이터가 벌크 파일로 구현된 예를 설명하지만 벌크 데이터가 다른 형태로 구현되는 경우에도 마찬가지로 적용될 수 있음은 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다.In the present invention, one bulk data may be in the form of a single file stored in a hard disk drive (HDD), and according to an embodiment, the bulk data may be stored in a cloud or in a buffer memory (e.g., RAM) Quot; data " Hereinafter, an example in which bulk data is implemented as a bulk file is described for convenience, but it is to be understood that the present invention can be applied to a case where bulk data is implemented in another form as well, There will be.
예를 들어, 다시점 비디오가 N개의 카메라에 의해 서로 다른 시점에서 촬영된 N개의 개별 시점 비디오 v1 내지 vN(vi는 i번째 카메라(1<=i<=N)에 의해 촬영된 비디오임)으로 구성되며, 상기 다시점 비디오가 M개의 벌크 파일 F1 내지 FM에 분할 저장되고, 벌크 파일 Fj(1<=j<=M)에 포함되어 있는 개별 시점 비디오의 개수가 |Fj|라고 하자.For example, the multi-view video is captured by N cameras at N different viewpoint videos v 1 to v N (v i is video captured by i-th camera (1 <= i <= N) , Wherein the multi-view video is divided and stored in M bulk files F 1 to F M , and the number of individual view video included in the bulk file F j (1 <= j <= M) is | F Let j |
한편, 
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 다시점 비디오를 구성하는 복수의 개별 시점 비디오를 순차적으로 나열하고 소정의 개수씩 분할하여 상기 복수의 벌크 파일을 생성할 수 있거나, 소정의 다시점 영상 부호화 장치(미도시)에 의해 이와 같은 방식으로 생성된 상기 복수의 파일을 저장할 수 있다.In one embodiment, the multi-viewpoint
일 실시예에서, 복수의 벌크 파일 각각은 MVC(Multi-View Coding)에 의해 부호화 복수의 개별 시점 비디오를 포함할 수 있으며, 여기서 MVC라고 함은 다수의 개별 시점 비디오를 하나의 데이터로 부호화하기 위한 일체의 코딩 방식을 포함할 수 있으며, 구현 예에 따라, H.264 등의 다양한 표준 기술이 이용될 수 있다. 또한, 상기 벌크 파일 각각은 MPEG-2 TS 등 다채널 컨테이너에 다시점을 다중화(muxing)한 영상으로 구현될 수도 있다.In one embodiment, each of the plurality of bulk files may include a plurality of encoded individual view video by MVC (Multi-View Coding), wherein the MVC refers to a plurality of individual view video Any coding scheme may be included, and various standard techniques such as H.264 may be used, depending on the implementation. In addition, each of the bulk files may be implemented as an image obtained by muxing multiple points into a multi-channel container such as an MPEG-2 TS.
도 6은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템(100)에서 다시점 비디오를 벌크에 분할 저장하는 방법을 설명하기 위한 도면이다. 도 6은 다시점 비디오가 총 36개의 카메라에서 촬영된 36개의 개별 시점 비디오로 구성되며, 6개의 벌크 파일에 분할 저장되는 예를 도시하고 있다. 또한, 설명의 편의를 위하여, 도 6의 예시에서는 각각의 분할 파일은 모두 동일한 개수(6개)의 개별 시점 비디오를 포함하는 것으로 한다.6 is a diagram for explaining a method of dividing and storing multi-view video in a bulk in the multi-view
도 6을 참조하면, 다시점 동영상은 카메라 1내지 카메라 36이 서로 다른 시점에서 촬영한 개별 시점 비디오(제1시점 비디오(v1) 내지 제36시점 비디오(v36))로 구성될 수 있으며, 동영상 부호화부는 상기 36개의 개별 시점 비디오를 순차적으로 6개씩 분할하여 복호화하고, 6개의 분할 파일(제1벌크 파일 내지 제6벌크 파일)을 생성할 수 있다. 따라서, 도 6에 도시된 바와 같이, 제1벌크 파일은 v1 내지 v6를 복호화한 파일일 수 있으며, 제2벌크 파일은 v7내지 v12를 복호화한 파일일 수 있으며, …, 제6벌크 파일은 v31 내지 v36을 복호화한 파일일 수 있다.Referring to FIG. 6, the multi-view video may be composed of individual view video (first view video (v 1 ) to 36 th view video (v 36 )) taken by
한편, 상기 스트리밍모듈(120)은 상기 다시점 비디오를 벌크 파일 단위로 스트리밍할 수 있다. 즉, 상기 스트리밍모듈(120)은 사용자 단말(200)에 디스플레이 되고 있는 개별 시점 비디오(현재 시점 비디오)를 포함하는 벌크 파일에 상응하는 비트 스트림(즉, 벌크 스트림)을 상기 사용자 단말(200)로 스트리밍할 수 있다.Meanwhile, the
한편, 본 발명의 다른 일 실시예에 따르면, 상기 각각의 벌크 파일은 시각(time) 순으로 나열된 일련의 벌크 영상을 포함하며, 상기 벌크 영상은 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시간에 해당하는 영상이 1차원 또는 2차원으로 연결된 형태의 영상일 수 있다. 예를 들어, 상기 벌크 파일이 제1개별 시점 비디오 내지 제m개별 시점 비디오를 포함하고 있으며, 각 개별 시점 비디오는 t1, t2, t3, …, tn-1, tn 시각의 영상(t1 < t2 < t3, …, tn-1 < tn)으로 구성되어 있다고 하면, 상기 벌크 파일은 각각의 시각 t1, t2, t3, …, tn-1, tn에 상응하는 벌크 영상으로 구성될 수 있으며, 예를 들어 특정 시각 ti(1<=i<=N)에 상응하는 벌크 영상은 제1개별 시점 비디오의 ti 시각의 영상, 제2 개별 시점 비디오의 ti시각의 영상, …, 제m개별 시점 비디오의 ti시각의 영상이 연결된 영상일 수 있다. 이 경우 실시예에 따라, 하나의 벌크 영상에 포함된 각 개별 시점 비디오의 특정 시각의 영상은 1차원(예를 들면, 가로 혹은 세로 방향)으로 연결되거나 2차원(예를 들면, 가로 및 세로 방향)으로 연결될 수 있다. 특히, 각 개별 시점 비디오의 영상의 가로 사이즈가 세로 사이즈보다 큰 경우에는 세로로 연결될 수 있으며, 반대로 세로 사이즈가 큰 경우에는 가로로 연결될 수 있다. 이 경우, 벌크 영상은 정사각형에 보다 가까운 형태가 되므로 상기 벌크 영상의 인코딩 효율이 높아질 수 있는 장점이 있다. 한편, 하나의 벌크 영상에 포함된 각 개별 시점 비디오의 영상 사이에는 소정의 구분자(예를 들어, 공백, 소정의 색깔 또는 소정의 패턴을 가지는 구분 영역 등)가 더 배치될 수도 있다. 따라서, 일반적인 비디오 플레이어에서 상기 벌크 스트림을 플레이하는 경우, 여러 개의 분할 영상이 합쳐진 형태의 하나의 영상이 출력될 수 있을 것이다. 한편, 본 실시예에서, 상기 다시점 비디오 스트리밍 서버(300)는 각 벌크 파일에 포함될 모든 개별 시점 비디오에서 각 시각 별 영상을 추출하고 하나로 합쳐 벌크 영상을 생성하고, 생성된 일련의 벌크 영상을 다시점 비디오 인코딩 방식이 아닌 통상적인 비디오 인코딩 방식에 의해 인코딩하여 벌크 파일을 생성할 수 있으며, 상기 다시점 비디오 스트리밍 시스템(100)은 하나의 벌크 영상에서 사용자 단말(200)에 디스플레이될 시점의 영상에 상응하는 부분만을 잘라내어(crop) 사용자 단말(200)에 디스플레이 할 수 있다.Meanwhile, according to another embodiment of the present invention, each of the bulk files includes a series of bulk images arranged in a time order, and the bulk images are included in a plurality of individual view video included in the bulk data The image corresponding to the time corresponding to the bulk image may be a one-dimensional or two-dimensional linked image. For example, the bulk file may include a first individual viewpoint video to an m-th viewpoint video, each individual viewpoint video including t 1 , t 2 , t 3 , ... , T n-1, the image of the t n time (t 1 <t 2 <t 3, ..., t n-1 <t n) as if they are configured, the bulk file each time t 1, t 2, t 3 , ... , T n-1, may consist of the bulk image corresponding to t n, for example, a bulk image corresponding to a certain time t i (1 <= i < = N) are first of t i each time a video time The video of the second individual viewpoint video at t i time, the video of the second individual viewpoint video, , And the image at time t i of the m- th individual viewpoint video may be connected. In this case, according to the embodiment, an image at a specific time of each individual view video included in one bulk image may be connected in one dimension (for example, in the horizontal or vertical direction) or two-dimensional (for example, ). In particular, when the horizontal size of the video of each individual view video is larger than the vertical size, the video can be vertically connected. On the contrary, when the vertical size is large, the video can be connected horizontally. In this case, since the bulk image has a shape closer to the square, the encoding efficiency of the bulk image can be enhanced. Meanwhile, a predetermined delimiter (for example, a blank, a predetermined color, or a segmented region having a predetermined pattern) may be further disposed between the images of each individual view video included in one bulk image. Therefore, when the bulk stream is played in a general video player, one image in which a plurality of divided images are combined may be output. Meanwhile, in the present embodiment, the multi-view
한편, 본 발명의 또 다른 실시예에서는, 앞서 설명한 실시예에서와 마찬가지로 하나의 벌크 파일을 일련의 벌크 영상으로 구성하기는 하지만, 특정 시각의 벌크 영상에 포함될 각 개별 시점 비디오의 상기 특정 시각의 영상을 일정한 크기의 R 개의 분할 영상으로 나누고, 나누어진 분할 영상을 차례로 나열하여 상기 특정 시각의 벌크 영상을 구성할 수 있다. 특히, 각 개별 시점 비디오의 상기 특정 시각의 영상의 가로 사이즈가 세로 사이즈보다 큰 경우에는 상기 특정 시각의 영상들을 가로로 잘라 세로로 나열할 수 있으며, 반대로 세로 사이즈가 큰 경우에는 세로로 잘라 가로로 나열할 수 있다. 이 경우, 벌크 영상은 정사각형에 보다 가까운 형태가 되므로 상기 벌크 영상의 인코딩 효율이 높아질 수 있다.Meanwhile, in another embodiment of the present invention, as in the above-described embodiment, one bulk file is constituted by a series of bulk images, but the bulk image of each individual view video to be included in the bulk image of the specific time Is divided into R divided images of a predetermined size, and the divided images are sequentially arranged to form a bulk image of the specific time. In particular, when the horizontal size of the image at the specific time of each individual view-point video is larger than the vertical size, the images of the specific time may be cut horizontally and arranged vertically. On the contrary, when the vertical size is large, Can be listed. In this case, since the bulk image becomes closer to the square, the encoding efficiency of the bulk image can be enhanced.
한편, 상기 스트리밍모듈(120)은 벌크 데이터 단위로 스트리밍할 수 있다. 도 7(a)는 상기 스트리밍모듈(120)이 벌크 데이터 단위로 스트리밍하는 방법을 설명하기 위한 도면이다. 도 7(a) 및 후술하는 도 7(b)은 다시점 비디오가 9 개의 개별 시점 비디오(v1 내지 v9)로 구성되며, 각각 3 개의 개별 시점 비디오를 포함하는 3개의 벌크(B1, B2, B3)로 분할된 예를 도시하고 있다. 한편, 도 7(a) 및 후술하는 도 7(b)에서 굵은 화살표는 사용자 단말(200)에 디스플레이 되는 개별 시점 비디오 (현재 시점 비디오)를 나타내며, 가는 화살표는 스트리밍 되지만 디스플레이되지는 않는 개별 시점 비디오를 나타낸다. 또한, 하나의 점선 상자는 하나의 벌크 스트림을 나타낸다.Meanwhile, the
도 7(a)에 도시된 바와 같이, 현재 시점 비디오가 개별 시점 비디오(v5)인 경우, 상기 스트리밍모듈(120)은 현재 시점 비디오(v5)를 포함하고 있는 벌크 스트림(B1)을 스트리밍할 수 있다.7A, if the current point of view video is the individual point of view video v 5 , the
만약 사용자가 아래쪽 방향의 시점이동명령을 내려 개별 시점 비디오(v6)가 현재 시점 비디오로 변경된 경우에도 상기 스트리밍모듈(120)은 변경된 현재 시점 비디오(v6)가 포함되어 있는 벌크 스트림(B1)을 스트리밍할 수 있다. 만약 다시 사용자가 아래쪽 방향의 시점이동명령을 내려 개별 시점 비디오(v7)가 현재 시점 비디오로 변경된 경우에는 상기 스트리밍모듈(120)은 벌크 스트림(B2) 대신에 개별 시점 비디오(v7)가 포함된 벌크 스트림(B3)를 사용자 단말(200)로 스트리밍할 수 있다.If the bulk stream, a user is down the time movement command of the downward-individual time video (v 6), wherein the
한편, 상술한 바와 같이 벌크 단위로 스트리밍하는 실시예에서, 상기 보간모듈(130)은 현재 시점 비디오를 포함하는 대상 벌크 데이터에 포함된 개별 시점 비디오 전부를 영상 보간하여 상기 대상 벌크 데이터에 상응하는 보간 영상 세트를 생성할 수 있으며, 상기 제어모듈(150)은 상기 사용자 단말(200)로부터 수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 대상 벌크 데이터 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말(200)로 스트리밍되도록 상기 스트리밍모듈(120)을 제어할 수 있다. 예를 들어, 도 7(b)에 도시된 바와 같이, 현재 시점 비디오가 개별 시점 비디오(v5)인 경우, 상기 보간모듈(130)은 현재 시점 비디오(v5)를포함하고 있는 벌크(B2)에 포함되어 있는 개별 시점 비디오(v4, v5, v6) 전부를 영상 보간 하여 영상 보간 세트(i45, i56)을 생성할 수 있으며, 상기 스트리밍모듈(120)은 상기 제어모듈(150)의 제어에 의해 개별 시점 비디오(v4, v5, v6)뿐만 아니라 영상 보간 세트(i45, i56)를 모두 포함하는 벌크(B2')을 상기 사용자 단말(200)로 스트리밍할 수 있다.On the other hand, in the embodiment in which streaming is performed on a bulk basis as described above, the
이와 같이 본 발명의 상술한 일 실시예에 따르면, 다시점 비디오에 포함된 모든 개별 시점 비디오와 그에 상응하는 보간 시점 영상을 스트리밍하는 것이 아니라 그 중 일부만을 벌크 단위로 스트리밍할 수 있다. 따라서, 본 발명의 기술적 사상에 따른 다시점 비디오 스트리밍 시스템(100)은 다시점 비디오에 포함된 모든 개별 시점 비디오 스트림을 스트리밍하는 종래의 방법에 비하여 스트리밍에 필요한 대역폭을 현저히 줄일 수 있는 효과가 있다.As described above, according to the above-described embodiment of the present invention, not all the individual viewpoint video included in the multi-view video and the corresponding interpolation viewpoint video stream but only a part of them can be streamed in a bulk unit. Accordingly, the multi-view
한편, 구현 예에 따라서, 상기 다시점 비디오 스트리밍 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 다시점 비디오 스트리밍 시스템(100)으로 하여금, 상술한 다시점 비디오 스트리밍 시스템 제공방법을 수행하도록 할 수 있다.On the other hand, according to an embodiment, the multi-view
한편, 본 발명의 실시예에 따른 다시점 비디오 스트리밍 시스템 제공방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, a method of providing a multi-view video streaming system according to an exemplary embodiment of the present invention may be implemented as a computer-readable program command and stored in a computer-readable recording medium. And the target program may also be stored in a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of software.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk and a magnetic tape, optical media such as CD-ROM and DVD, a floptical disk, And hardware devices that are specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. The above-mentioned medium may also be a transmission medium such as a light or metal wire, wave guide, etc., including a carrier wave for transmitting a signal designating a program command, a data structure and the like. The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include machine language code such as those produced by a compiler, as well as devices for processing information electronically using an interpreter or the like, for example, a high-level language code that can be executed by a computer.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .
Claims (17)
사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 스트리밍모듈;
상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 보간모듈;
상기 사용자 단말로부터 재생속도 정보를 수신하는 수신모듈; 및
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상이 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 제어모듈을 포함하고,
상기 수신모듈은,
상기 사용자 단말로부터 시점이동명령을 더 수신하고,
상기 보간모듈은,
상기 현재 시점 비디오 및 상기 현재 시점 비디오와 상기 시점이동명령에 상응하는 시점이동방향으로 인접한 인접 시점 비디오를 영상 보간하여 상기 보간 시점 영상을 생성하는 다시점 비디오 스트리밍 시스템.
A storage module for constructing a multi-view video and storing a plurality of individual viewpoint videos photographed at different viewpoints;
A streaming module for streaming the current view video being displayed on the user terminal to the user terminal;
An interpolation module which generates an interpolation viewpoint image by interpolating the current viewpoint video and adjacent viewpoint video adjacent to the current viewpoint video;
A receiving module for receiving playback speed information from the user terminal; And
And a control module for controlling the streaming module such that the current viewpoint video and the generated interpolation viewpoint image are streamed to the user terminal when the received playback speed is equal to or lower than a predetermined limit speed,
The receiving module includes:
Further receiving a viewpoint movement instruction from the user terminal,
Wherein the interpolation module comprises:
Wherein the interpolation viewpoint image is generated by interpolating the current viewpoint video and the current viewpoint video and adjacent viewpoint video adjacent to the viewpoint movement direction corresponding to the viewpoint movement instruction.
사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 스트리밍모듈;
상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 보간모듈;
상기 사용자 단말로부터 재생속도 정보를 수신하는 수신모듈; 및
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상이 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 제어모듈을 포함하고,
상기 보간모듈은,
상기 복수의 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 세트를 생성하고,
상기 제어모듈은,
수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 다시점 비디오 스트리밍 시스템.
A storage module configured to store a plurality of individual viewpoint videos photographed at different viewpoints;
A streaming module for streaming the current view video being displayed on the user terminal to the user terminal;
An interpolation module which generates an interpolation viewpoint image by interpolating the current viewpoint video and adjacent viewpoint video adjacent to the current viewpoint video;
A receiving module for receiving playback speed information from the user terminal; And
And a control module for controlling the streaming module such that the current viewpoint video and the generated interpolation viewpoint image are streamed to the user terminal when the received playback speed is equal to or lower than a predetermined limit speed,
Wherein the interpolation module comprises:
Generating an interpolated image set corresponding to the multi-view video by image interpolating all of the plurality of individual viewpoint videos,
The control module includes:
And controls the streaming module such that the current view video and the generated set of interpolation view images are streamed to the user terminal if the received playback speed is below the limit speed.
수신한 상기 재생속도가 0인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 다시점 비디오 스트리밍 시스템.
The control module according to claim 3,
And controls the streaming module such that the current view video and the generated set of interpolation view images are streamed to the user terminal if the received playback speed is zero.
상기 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함,
상기 스트리밍모듈은,
상기 복수의 벌크 데이터 중 상기 현재 시점 비디오를 포함하는 대상 벌크 데이터를 상기 사용자 단말로 스트리밍하는 다시점 비디오 스트리밍 시스템.
4. The apparatus of claim 2 or 3,
Dividing and storing the plurality of individual viewpoint videos into a plurality of bulk data, wherein one bulk data comprises a plurality of adjacent individual viewpoint videos,
The streaming module comprises:
Streaming target bulk data including the current-view video to the user terminal among the plurality of bulk data.
사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 스트리밍모듈;
상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 보간모듈;
상기 사용자 단말로부터 재생속도 정보를 수신하는 수신모듈; 및
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상이 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 제어모듈을 포함하고,
상기 저장모듈은,
상기 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함,
상기 스트리밍모듈은,
상기 복수의 벌크 데이터 중 상기 현재 시점 비디오를 포함하는 대상 벌크 데이터를 상기 사용자 단말로 스트리밍하고,
상기 보간모듈은,
상기 대상 벌크 데이터에 포함된 개별 시점 비디오 전부를 영상 보간하여 상기 대상 벌크 데이터에 상응하는 보간 영상 세트를 생성하고,
상기 제어모듈은,
수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 대상 벌크 데이터 및 생성된 상기 보간 시점 영상 세트가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 다시점 비디오 스트리밍 시스템.
A storage module for constructing a multi-view video and storing a plurality of individual viewpoint videos photographed at different viewpoints;
A streaming module for streaming the current view video being displayed on the user terminal to the user terminal;
An interpolation module which generates an interpolation viewpoint image by interpolating the current viewpoint video and adjacent viewpoint video adjacent to the current viewpoint video;
A receiving module for receiving playback speed information from the user terminal; And
And a control module for controlling the streaming module such that the current viewpoint video and the generated interpolation viewpoint image are streamed to the user terminal when the received playback speed is equal to or lower than a predetermined limit speed,
Wherein the storage module comprises:
Dividing and storing the plurality of individual viewpoint videos into a plurality of bulk data, wherein one bulk data comprises a plurality of adjacent individual viewpoint videos,
The streaming module comprises:
Streaming target bulk data including the current view video among the plurality of bulk data to the user terminal,
Wherein the interpolation module comprises:
Generating an interpolation image set corresponding to the target bulk data by performing image interpolation on all of the individual viewpoint video included in the target bulk data,
The control module includes:
And controls the streaming module so that the target bulk data and the generated set of interpolation point-in-time images are streamed to the user terminal when the received playback speed is equal to or less than the limit speed.
상기 보간모듈은,
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 보간 시점 영상을 생성하는 다시점 비디오 스트리밍 시스템.
The method according to claim 2 or 3,
Wherein the interpolation module comprises:
And generates the interpolation viewpoint image when the received playback speed is equal to or less than a predetermined limit speed.
저장된 상기 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 비디오를 생성하는 보간모듈;
사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 스트리밍모듈;
상기 사용자 단말로부터 재생속도 정보를 수신하는 수신모듈; 및
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 보간 시점 비디오가 상기 사용자 단말로 스트리밍되도록 상기 스트리밍모듈을 제어하는 제어모듈을 포함하는 다시점 비디오 스트리밍 시스템.
A storage module configured to store a plurality of individual viewpoint videos photographed at different viewpoints;
An interpolation module for interpolating all of the stored individual viewpoint video to generate an interpolated video corresponding to the multi-view video;
A streaming module for streaming the current view video being displayed on the user terminal to the user terminal;
A receiving module for receiving playback speed information from the user terminal; And
And a control module for controlling the streaming module such that the current view video and the interpolation view video adjacent to the current view video are streamed to the user terminal if the received playback speed is equal to or less than a predetermined limit speed, .
(b) 상기 다시점 비디오 스트리밍 시스템이, 사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계;
(c) 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 단계;
(d) 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말로부터 재생속도 정보를 수신하는 단계; 및
(e) 상기 다시점 비디오 스트리밍 시스템이, 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상을 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법에 있어서,
상기 다시점 비디오 스트리밍 시스템 제공방법은,
상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말로부터 시점이동명령을 더 수신하는 단계를 더 포함하되,
상기 (c) 단계는,
상기 현재 시점 비디오 및 상기 현재 시점 비디오와 상기 시점이동명령에 상응하는 시점이동방향으로 인접한 인접 시점 비디오를 영상 보간하여 상기 보간 시점 영상을 생성하는 다시점 비디오 스트리밍 시스템 제공방법.
(a) the multi-view video streaming system comprises a multi-view video comprising multiple viewpoint videos photographed at different viewpoints;
(b) the multi-view video streaming system streaming the current view video being displayed at the user terminal to the user terminal;
(c) generating an interpolation viewpoint image by interpolating the current viewpoint video and adjacent viewpoint video adjacent to the current viewpoint video;
(d) receiving, by the multi-view video streaming system, playback rate information from the user terminal; And
(e) the multi-view video streaming system streaming the current view video and the generated interpolation view image to the user terminal if the received playback speed is less than or equal to a predetermined limit speed, A method for providing a system,
A method for providing a multi-view video streaming system,
The multi-view video streaming system may further include receiving a viewpoint movement command from the user terminal,
The step (c)
And generating the interpolation viewpoint image by interpolating the neighboring viewpoint video adjacent to the current viewpoint video and the current viewpoint video in a viewpoint movement direction corresponding to the viewpoint movement command.
(b) 상기 다시점 비디오 스트리밍 시스템이, 사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계;
(c) 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 인접 시점 비디오를 영상 보간하여 보간 시점 영상을 생성하는 단계;
(d) 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말로부터 재생속도 정보를 수신하는 단계; 및
(e) 상기 다시점 비디오 스트리밍 시스템이, 수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상을 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법에 있어서,
상기 (c) 단계는,
상기 복수의 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 세트를 생성하는 단계를 포함하고,
상기 (e) 단계는,
수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 현재 시점 비디오 및 생성된 상기 보간 시점 영상 세트를 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
(a) the multi-view video streaming system comprises a multi-view video comprising multiple viewpoint videos photographed at different viewpoints;
(b) the multi-view video streaming system streaming the current view video being displayed at the user terminal to the user terminal;
(c) generating an interpolation viewpoint image by interpolating the current viewpoint video and adjacent viewpoint video adjacent to the current viewpoint video;
(d) receiving, by the multi-view video streaming system, playback rate information from the user terminal; And
(e) the multi-view video streaming system streaming the current view video and the generated interpolation view image to the user terminal if the received playback speed is less than or equal to a predetermined limit speed, A method for providing a system,
The step (c)
And interpolating all of the plurality of individual viewpoint videos to generate an interpolated image set corresponding to the multi-view video,
The step (e)
And streaming the current view video and the generated set of interpolation view images to the user terminal if the received playback speed is less than or equal to the limit speed.
상기 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하는 단계-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함-를 포함하고,
상기 (b) 단계는,
상기 복수의 벌크 데이터 중 상기 현재 시점 비디오를 포함하는 대상 벌크 데이터를 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
12. The method as claimed in claim 10 or 11, wherein the step (a)
Dividing and storing the plurality of individual viewpoint videos into a plurality of bulk data, wherein one bulk data comprises a plurality of adjacent individual viewpoint videos,
The step (b)
Streaming target bulk data including the current view video among the plurality of bulk data to the user terminal.
상기 (c) 단계는,
상기 대상 벌크 데이터에 포함된 개별 시점 비디오 전부를 영상 보간하여 상기 대상 벌크 데이터에 상응하는 보간 영상 세트를 생성하는 단계를 포함하고,
상기 (e) 단계는,
수신한 상기 재생속도가 상기 한계속도 이하인 경우, 상기 대상 벌크 데이터 및 생성된 상기 보간 시점 영상 세트를 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
13. The method of claim 12,
The step (c)
And interpolating all of the individual viewpoint video included in the target bulk data to generate an interpolated video set corresponding to the target bulk data,
The step (e)
Streaming the target bulk data and the generated set of interpolation point-in-time images to the user terminal when the received reproduction speed is equal to or less than the limit speed.
상기 (c) 단계는,
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 보간 시점 영상을 생성하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
The method according to claim 10 or 11,
The step (c)
And generating the interpolation viewpoint image if the received playback speed is less than or equal to a predetermined limit speed.
저장된 상기 개별 시점 비디오 전부를 영상 보간하여 상기 다시점 비디오에 상응하는 보간 영상 비디오를 생성하는 단계;
사용자 단말에서 디스플레이 중인 현재 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계;
상기 사용자 단말로부터 재생속도 정보를 수신하는 단계; 및
수신한 상기 재생속도가 소정의 한계속도 이하인 경우, 상기 현재 시점 비디오 및 상기 현재 시점 비디오와 인접한 보간 시점 비디오를 상기 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
Storing a plurality of individual viewpoint videos photographed at different viewpoints constituting a multi-view video;
Generating interpolated video corresponding to the multi-view video by image interpolating all of the stored individual view video;
Streaming a current view video being displayed at a user terminal to the user terminal;
Receiving playback rate information from the user terminal; And
Streaming the current view video and the interpolation view video adjacent to the current view video to the user terminal if the received playback speed is less than or equal to a predetermined limit speed.
A computer-readable recording medium having recorded thereon a program for carrying out the method according to any one of claims 10, 11 or 15.
프로세서; 및
상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,
상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 다시점 비디오 스트리밍 시스템이 제10항, 제11항 또는 제15항 중 어느 한 항에 기재된 방법을 수행하도록 하는 다시점 비디오 스트리밍 시스템.A multi-view video streaming system,
A processor; And
A memory for storing a computer program executed by the processor,
The computer program, when executed by the processor, causes the multi-view video streaming system to perform the method of any one of claims 10, 11 or 15.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140037029A KR101521890B1 (en) | 2014-03-28 | 2014-03-28 | Multi-view video steaming system and providing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140037029A KR101521890B1 (en) | 2014-03-28 | 2014-03-28 | Multi-view video steaming system and providing method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101521890B1 true KR101521890B1 (en) | 2015-05-22 |
Family
ID=53395166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140037029A KR101521890B1 (en) | 2014-03-28 | 2014-03-28 | Multi-view video steaming system and providing method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101521890B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050014893A (en) * | 2002-06-28 | 2005-02-07 | 샤프 가부시키가이샤 | Image data delivery system, image data transmitting device thereof, and image data receiving device thereof |
| KR20110097596A (en) * | 2010-02-23 | 2011-08-31 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving of data |
| KR101350915B1 (en) * | 2013-06-27 | 2014-02-18 | 주식회사 넥스트이온 | Multi-view video steaming system and providing method thereof |
-
2014
- 2014-03-28 KR KR1020140037029A patent/KR101521890B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050014893A (en) * | 2002-06-28 | 2005-02-07 | 샤프 가부시키가이샤 | Image data delivery system, image data transmitting device thereof, and image data receiving device thereof |
| KR20110097596A (en) * | 2010-02-23 | 2011-08-31 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving of data |
| KR101350915B1 (en) * | 2013-06-27 | 2014-02-18 | 주식회사 넥스트이온 | Multi-view video steaming system and providing method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6501904B2 (en) | Spherical video streaming | |
| KR102155681B1 (en) | Systems and methods for virtual reality video conversion and streaming | |
| KR101350915B1 (en) | Multi-view video steaming system and providing method thereof | |
| US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
| JP2017528947A (en) | System and method for use in playback of panoramic video content | |
| KR20080064966A (en) | Multi-view video delivery | |
| US20180176650A1 (en) | Information processing apparatus and information processing method | |
| JP5700703B2 (en) | Video decoding apparatus, video transmission / reception system, video decoding method, and video transmission / reception method | |
| US11523144B2 (en) | Communication apparatus, communication method, and computer-readable storage medium | |
| EP2642764B1 (en) | Transcoding a video stream to facilitate accurate display | |
| US9544619B2 (en) | Multi-view video streaming system and providing method thereof | |
| JP7320146B2 (en) | Support for multi-view video motion with disocclusion atlas | |
| CN112753224A (en) | Apparatus and method for generating and rendering video stream | |
| JP5941000B2 (en) | Video distribution apparatus and video distribution method | |
| JP6006680B2 (en) | Video distribution apparatus and video distribution program | |
| KR101399951B1 (en) | Multi-view video steaming system and providing method thereof | |
| JP2020524450A (en) | Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof | |
| KR101521890B1 (en) | Multi-view video steaming system and providing method thereof | |
| CN110999309A (en) | Generation device, reproduction device, generation method, reproduction method, control program, and recording medium | |
| KR102356037B1 (en) | Method and apparatus for streaming multi-view 360 degree video | |
| JP2019033362A (en) | Distribution apparatus, reception apparatus, and program | |
| KR102499900B1 (en) | Image processing device and image playing device for high resolution image streaming and operaing method of thereof | |
| JP6224522B2 (en) | Video distribution device, video distribution method, and video distribution program | |
| JP4594432B1 (en) | Movie playback method, movie playback system, and program | |
| JP2014176016A (en) | Video reproduction device, video distribution device, video reproduction method, video distribution method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180302 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190513 Year of fee payment: 5 |