KR101883981B1 - Apparatus and method for providing virtual reality video - Google Patents
Apparatus and method for providing virtual reality video Download PDFInfo
- Publication number
- KR101883981B1 KR101883981B1 KR1020170097779A KR20170097779A KR101883981B1 KR 101883981 B1 KR101883981 B1 KR 101883981B1 KR 1020170097779 A KR1020170097779 A KR 1020170097779A KR 20170097779 A KR20170097779 A KR 20170097779A KR 101883981 B1 KR101883981 B1 KR 101883981B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- moving picture
- fragments
- virtual reality
- point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000012634 fragment Substances 0.000 claims abstract description 54
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 가상 현실 동영상 제공 장치 및 제공 방법에 관한 것이다.The present invention relates to an apparatus and method for providing a virtual reality video.
종래의 경우, 가상 현실 동영상의 프레임 전체를 사용자 단말에 보내주면, 사용자 단말은 프레임 전체에 해당하는 이미지 중 사용자가 바라보는 방향에 해당하는 부분만을 디스플레이 한다. 이 경우, 서버에서 전송되는 가상 현실 동영상의 각 프레임이 4k의 해상도를 갖더라도, 사용자 단말에서는 540p의 해상도만이 보여지게 된다. 즉, 서버에서 전송되는 동영상 프레임 중 극히 일부만이 디스플레이 되는 문제가 있다.In the conventional case, if the entire frame of the virtual reality moving picture is sent to the user terminal, the user terminal displays only the part corresponding to the direction in which the user views the whole image corresponding to the whole frame. In this case, although each frame of the virtual reality video transmitted from the server has a resolution of 4k, only the resolution of 540p is displayed on the user terminal. That is, there is a problem that only a small part of moving picture frames transmitted from the server are displayed.
한국공개특허 제 10-2003-0040808 호 (발명의 명칭: 360도를 동시 촬상 가능한 촬상 장치)Korean Patent Laid-Open No. 10-2003-0040808 entitled " Image pickup device capable of simultaneously capturing 360 degrees "
본 발명은, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함으로써, 전송되는 가상 현실 동영상의 전체 프레임 중 디스플레이 되는 부분의 비율을 높이는 것을 목적으로 한다.An object of the present invention is to increase the proportion of a displayed portion of all frames of a transmitted virtual reality moving picture by transmitting a portion of a virtual reality moving picture frame except a portion which is less likely to be displayed on a user terminal.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 서버에 의해 수행되는, 가상 현실 동영상 제공 방법에 있어서, (a) 기준 시점에 기초하여 제 1 동영상 프레임을 복수의 프레임 조각들로 변환하는 단계; (b) 프레임 조각들 중 기준 시점에 대응되는 프레임 조각의 나머지 프레임 조각들에 대해 크롭을 수행하는 단계; 및 (c) 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하는 단계;를 포함하되, 제 1 동영상 프레임은 360도 이미지에 대응되고, 기준 시점은 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점일 수 있다.According to another aspect of the present invention, there is provided a method for providing a virtual reality video, the method comprising the steps of: (a) Converting; (b) performing cropping on the remaining frame fragments of the frame fragments corresponding to the reference time point among the frame fragments; And (c) providing a second moving picture frame comprising cropped frame fragments, wherein the first moving picture frame corresponds to a 360 degree image, and the reference point corresponds to a point at which the user views the first moving picture frame Lt; / RTI >
또한, 본 발명의 다른 일 실시예에 따른 가상 현실 동영상 제공 장치는 가상 현실 동영상 제공 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 프로그램을 실행하기 위한 프로세서;를 포함하며, 프로세서는, 프로그램의 실행에 의해, 기준 시점에 기초하여 제 1 동영상 프레임을 복수의 프레임 조각들로 변환하고, 프레임 조각들 중 기준 시점에 대응되는 프레임 조각의 나머지 프레임 조각들에 대해 크롭을 수행하고, 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하되, 제 1 동영상 프레임은 360도 이미지에 대응되고, 기준 시점은 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점일 수 있다.According to another aspect of the present invention, there is provided an apparatus for providing a virtual reality video, including: a memory for storing a program for performing a virtual reality video providing method; And a processor for executing the program, wherein the processor converts the first moving picture frame into a plurality of frame fragments based on the reference time point by executing the program, Performing a cropping on the remaining frame fragments of the fragment and providing a second video frame including the cropped frame fragments, wherein the first video frame corresponds to a 360 degree image, It can be a point of view.
본 발명의 일 실시예에 따른 가상 현실 동영상 제공 장치 및 제공 방법에 의하면, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함으로써, 전송되는 가상 현실 동영상의 전체 프레임 중 디스플레이 되는 부분의 비율을 높일 수 있다.According to the apparatus and method for providing a virtual reality video according to an exemplary embodiment of the present invention, a portion of a virtual reality video frame that is less likely to be displayed is excluded from a user terminal, Can be increased.
또한, 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 장치 및 제공 방법에 의하면, 사용자가 바라보는 시점이 기준 시점으로부터 일정 이상 멀어지는 경우, 새로운 기준 시점에 기초하여 변환된 가상 현실 동영상을 제공할 수 있다.According to the apparatus and method for providing a virtual reality video according to an exemplary embodiment of the present invention, when the user's viewpoint is far from the reference point by a predetermined distance or more, have.
도 1은 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 가상 현실 동영상의 전체 프레임을 프레임 조각으로 분할하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 프레임 조각들을 정육면체에 대응되도록 변환하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 프레임 조각들에 대해 크롭을 수행하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 변환된 가상 현실 동영상의 프레임을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 기준 시점을 변경하는 방법을 나타낸 도면이다.1 is a block diagram of a system for providing a virtual reality video according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of a server according to an embodiment of the present invention.
3 is a flowchart illustrating a method for providing a virtual reality video performed by a server according to an embodiment of the present invention.
4 is a diagram illustrating a method of dividing an entire frame of a virtual reality moving picture into frame fragments according to an embodiment of the present invention.
5 is a diagram illustrating a method of transforming frame fragments corresponding to a cube according to an embodiment of the present invention.
6 is a diagram illustrating a method of performing cropping on frame fragments according to an embodiment of the present invention.
7 is a diagram illustrating a frame of a converted virtual reality moving picture according to an embodiment of the present invention.
8 is a diagram illustrating a method of changing a reference time according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
명세서 전체에서, 서버(100)는 가상 현실 동영상 제공 장치를 의미할 수 있다.Throughout the specification, the
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.The following examples are intended to further illustrate the present invention and are not intended to limit the scope of the present invention. Accordingly, the same scope of the invention performing the same function as the present invention will also fall within the scope of the present invention.
도 1은 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 시스템(1)의 구성을 나타낸 도면이다.1 is a block diagram of a system for providing a virtual
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 동영상 제공 시스템(1)은 서버(100) 및 사용자 단말(200)을 포함한다. 또한, 서버(100)와 복수 개의 사용자 단말들(201 및 202)을 상호 연결하는 통신망(300)을 포함한다.Referring to FIG. 1, a virtual reality moving
본 발명의 일 실시예에 따른 서버(100)는 사용자 단말(200)에 가상 현실 동영상을 제공하고, 사용자 단말(200)은 서버(100)로부터 제공받은 가상 현실 동영상을 사용자에게 표시하는 것을 특징으로 한다.The
여기서, 가상 현실 동영상은 360도 이미지로 구성된 원본 동영상에서 일부가 서버(100)에 의해 크롭(crop) 수행된 동영상일 수 있다.Here, the virtual reality video may be a video in which a part of the original video composed of 360-degree images is cropped by the
여기서, 크롭(crop)은 비디오 또는 이미지의 일부 영역만이 남도록 잘라내는 것을 의미한다. 예컨대, 1920x1080의 해상도를 갖는 비디오 또는 이미지에서 좌측 상단에서부터 960x540의 해상도만큼을 크롭하는 경우, 960x540의 해상도에 해당하는 영역을 제외한 나머지 영역이 제거될 수 있다.Here, crop refers to cropping to leave only a portion of the video or image. For example, when a video or an image having a resolution of 1920x1080 is cropped by a resolution of 960x540 from the upper left corner, the remaining region excluding the region corresponding to the resolution of 960x540 may be removed.
사용자 단말(200)은 서버(100)로부터 제공받은 가상 현실 동영상에서, 사용자가 바라보는 기준 시점에 대응되는 부분을 사용자에게 표시할 수 있다.The
여기서, 기준 시점은 3차원 방향 정보를 포함할 수 있다. 예컨대, 기준 시점은 피치(Pitch) 및 요(Yaw) 값을 포함할 수 있다.Here, the reference time point may include three-dimensional direction information. For example, the reference time may include a pitch and a yaw value.
선택적 실시예로서, 기준 시점은 롤(Roll) 값을 더 포함할 수 있다.As an alternative embodiment, the reference time may further include a Roll value.
사용자 단말(200)은 단말 어플리케이션을 통해 가상 현실 동영상을 표시할 수 있다. 단말 어플리케이션은 가상 현실 동영상 재생 전용 어플리케이션일 수 있다.The
여기서, 가상 현실 동영상 재생 전용 어플리케이션은 사용자 단말(200)에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드되어 사용자 단말(200)에 설치된 어플리케이션일 수 있다.Here, the virtual reality video reproduction-only application may be an application embedded in the
복수 개의 사용자 단말(200)들은 유무선 통신 환경에서 단말 어플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 여기서 사용자 단말(200)은 사용자의 휴대용 단말기일 수 있다. 도 1에서는 사용자 단말(200)이 휴대용 단말기의 일종인 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 아니하며, 상술한 바와 같이 단말 어플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.The plurality of
이를 더욱 상세히 설명하면, 사용자 단말(200)은 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 헤드 마운티드 디스플레이(Head Mounted Display; HMD) 디바이스 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다. In more detail, the
한편, 통신망(300)은 서버(100)와 사용자 단말(200)들을 연결하는 역할을 수행한다. 즉, 통신망(300)은 사용자 단말(200)들이 서버(100)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Meanwhile, the
도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 나타낸 도면이다.2 is a diagram illustrating a configuration of a
도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.Referring to FIG. 2, a
상세히, 통신 모듈(110)은 통신망(300)과 연동하여 서버(100)와 사용자 단말(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 사용자 단말(200)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.In detail, the
여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.Here, the
메모리(120)는 가상 현실 동영상 제공 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
프로세서(130)는 일종의 중앙처리장치로서 가상 현실 동영상을 제공하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 3을 참조하여 후술하기로 한다.The
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the
데이터베이스(140)에는 가상 현실 동영상의 전체 프레임 및 사용자 단말(200)에 제공하기 위해 크롭된 동영상 프레임 등이 저장될 수 있다.The
비록 도 2에는 도시하지 아니하였으나, 가상 현실 동영상의 전체 프레임 및 크롭된 동영상 프레임 중 일부는 데이터베이스(140)와 물리적 또는 개념적으로 분리된 데이터베이스(미도시)에 저장될 수 있다.Although not shown in FIG. 2, some of the entire frames of the virtual reality video and the cropped video frames may be stored in a database (not shown) physically or conceptually separated from the
도 3은 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법을 나타낸 동작 흐름도이다.3 is a flowchart illustrating a method for providing a virtual reality video performed by a server according to an embodiment of the present invention.
도 3을 참조하면, 먼저 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은, 기준 시점에 기초하여 제 1 동영상 프레임을 복수의 프레임 조각들로 변환한다(S310).Referring to FIG. 3, a method for providing a virtual reality moving image performed by a server according to an embodiment of the present invention converts a first moving image frame into a plurality of frame fragments based on a reference time (S310).
여기서, 가상 현실 동영상은 360도 비디오에 대응되고, 제 1 동영상 프레임은 360도 이미지에 대응될 수 있다.Here, the virtual reality moving picture corresponds to the 360-degree video, and the first moving picture frame corresponds to the 360-degree image.
또한, 기준 시점은 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점일 수 있다.In addition, the reference time point may be a point viewed by the user on the first video frame.
단계(S310)에서 서버는, 제 1 동영상 프레임을 6개의 프레임 조각들로 분할하는 할 수 있다.In step S310, the server may divide the first video frame into six frame fragments.
여기서, 서버는 제 1 동영상 프레임에 대응되는 360도 이미지를 90도의 화각을 갖는 6개의 이미지 조각들로 분할하고, 이미지 조각들 각각에 대응되도록 제 1 동영상 프레임을 6개의 프레임 조각들로 분할할 수 있다.Here, the server divides the 360-degree image corresponding to the first moving picture frame into 6 image pieces having an angle of view of 90 degrees, and divides the first moving picture frame into 6 pieces of the picture so as to correspond to each of the image pieces have.
여기서, 6개의 프레임 조각들에는 기준 시점을 중앙점으로 하는 기준 프레임 조각이 포함될 수 있다. 또한, 6개의 프레임 조각들에는 기준 프레임 조각에 대응되는 면을 정면(front face)으로 하였을 때, 우면(right face), 후면(rear face), 좌면(left face), 상면(top face) 및 저면(bottom face)에 대응되는 프레임 조각들이 포함될 수 있다.Here, the six frame fragments may include a reference frame fragment having a reference point as a central point. The six frame pieces include a right face, a rear face, a left face, a top face, and a bottom face when the face corresponding to the reference frame piece is a front face. a frame piece corresponding to a bottom face may be included.
단계(S310)에서 서버는, 프레임 조각들 각각이 정육면체의 각 면에 대응되도록 프레임 조각들을 변환할 수 있다.In step S310, the server may convert the frame fragments such that each of the frame fragments corresponds to each face of the cube.
여기서, 서버는 제 1 동영상 프레임이 분할된 6개의 프레임 조각들이 정육면체의 6면들에 일대일 대응되도록 정사각형 형태로 변환할 수 있다.Here, the server may convert the first moving picture frame into a square form so that six pieces of the divided frame fragments correspond one-to-one to six sides of the cube.
다음으로, 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은, 프레임 조각들 중 기준 시점에 대응되는 프레임 조각의 나머지 프레임 조각들에 대해 크롭을 수행한다(S320).Next, the virtual reality moving image providing method performed by the server according to the embodiment of the present invention performs cropping on the remaining frame fragments of the frame fragments corresponding to the reference time point among the frame fragments (S320).
단계(S320)에서 서버는, 6개의 프레임 조각들을 정육면체의 6면들에 일대일 대응시키고, 정육면체의 면들을 평면 상에 펼쳐 전개도를 생성할 수 있다.In step S320, the server may correspond to six sides of the cube in one-to-one correspondence with six pieces of frame, and the sides of the cube may be laid out on a plane to generate a developed view.
여기서 서버는, 기준 프레임 조각에 대응되는 면을 기준면으로 하였을 때, 기준면에 인접한 4면들이 전개도 상에서도 기준면에 접한 형태의 전개도를 생성할 수 있다.Here, the server may generate a developed view in which four faces adjacent to the reference plane are in contact with the reference plane on the developed view when the plane corresponding to the reference frame piece is taken as the reference plane.
예컨대, 6개의 프레임 조각들에 대응되는 6면들이 정면, 우면, 후면, 좌면, 상면 및 저면일 때, 정면이 기준면이 되고, 정면에 인접한 우면, 좌면, 상면 및 저면이 전개도 상에서도 기준면에 접하도록 전개도를 생성할 수 있다.For example, when the six surfaces corresponding to six frame pieces are the front surface, the right surface, the rear surface, the left surface, the top surface, and the bottom surface, the front surface becomes the reference surface, and the right surface, the left surface, A developed view can be created.
위와 같은 전개도의 형태에 따라, 서버가 전개도 상에서 크롭을 수행하는 경우, 기준면에 접한 4면들(예컨대, 우면, 좌면, 상면 및 저면)에 대해 크롭이 수행될 수 있다.According to the form of the developed view, when the server performs cropping on the developed view, cropping can be performed on the four sides (e.g., the right side, the left side, the upper side, and the bottom side) facing the reference plane.
단계(S320)에서 서버는, 기준면에 대응되는 영역을 기준 영역으로 하여, 기준 영역을 기준면에 접한 4면들 각각에 대한 방향으로 확장한 확장 영역을 설정하고, 확장 영역에 기초하여 크롭을 수행할 수 있다.In step S320, the server sets the extended region extending in the direction of each of the four faces facing the reference plane, and performs the cropping based on the extended region, using the region corresponding to the reference plane as the reference region have.
여기서, 서버는 확장 영역에 포함되는 4면들 각각의 면적 비율이 기설정된 기준 면적 비율이 되도록 확장 영역을 설정할 수 있다.Here, the server can set the extended area so that the area ratio of each of the four faces included in the extended area is a predetermined reference area ratio.
예컨대, 서버는 확장 영역에 포함되는 우면, 좌면, 상면 및 저면 각각의 면적 비율이 50%이 되도록 확장 영역을 설정할 수 있다. 이에 대한 구체적인 내용은 도 6을 참조하여 후술하기로 한다.For example, the server can set the extended area so that the area ratio of each of the right side, left side, top side, and bottom side included in the extended area is 50%. Specific details thereof will be described later with reference to FIG.
선택적 실시예로서, 서버는 확장 영역에 포함되는 4면들 각각의 면적 비율이 서로 다른 비율을 갖도록 확장 영역을 설정할 수 있다.As an alternative embodiment, the server may set the extended area such that the area ratio of each of the four sides included in the extended area has a different ratio.
예컨대, 서버는 확장 영역에 포함되는 우면 및 좌면의 면적 비율이 100%, 확장 영역에 포함되는 상면 및 저면의 면적 비율이 50%이 되도록 확장 영역을 설정할 수 있다.For example, the server can set the extension area so that the area ratio of the right and left sides included in the extension area is 100%, and the area ratio of the top and bottom sides included in the extension area is 50%.
이에 따라, 본 발명의 일 실시예에 의하면, 사용자의 양안 화각이 좌우로 더 넓은 경우를 고려하여, 좌우로 더 넓은 화각을 갖도록 프레임 조각들을 크롭할 수 있다.Accordingly, in accordance with an embodiment of the present invention, the frame pieces may be cropped so as to have a wider angle of view on the left and right in consideration of the case where the binocular angle of view of the user is wider on both sides.
다음으로, 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은, 크롭된 프레임 조각들을 포함하는 제 2 동영상 프레임을 제공한다(S330).Next, a virtual reality moving image providing method performed by a server according to an exemplary embodiment of the present invention provides a second moving image frame including cropped frame fragments (S330).
예컨대, 단계(S320)에서 우면, 좌면, 상면 및 저면 각각의 면적 비율이 50%이 되도록 하여 크롭이 수행된 경우, 단계(S330)에서 서버는 정면(100%), 우면(50%), 좌면(50%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들을 포함하는 제 2 동영상 프레임을 제공할 수 있다.For example, in step S320, if the cropping is performed such that the area ratio of each of the right side, left side, top side, and bottom side is 50%, in step S330, the server calculates the front side (100% (50%), an upper face (50%) and a lower face (50%).
또한, 단계(S320)에서 우면 및 좌면의 면적 비율이 100%, 확장 영역에 포함되는 상면 및 저면의 면적 비율이 50%이 되도록 하여 크롭이 수행된 경우, 단계(S330)에서 서버는 정면(100%), 우면(100%), 좌면(100%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들을 포함하는 제 2 동영상 프레임을 제공할 수 있다.In step S320, if the area ratio of the right and left sides is 100%, and the area ratio of the top and bottom sides included in the extended area is 50%, in step S330, (50%), a right side (100%), a left side (100%), a top side (50%) and a bottom side (50%).
선택적 실시예로서, 단계(S330)에서 서버는 크롭된 프레임 조각들을 직사각형을 이루도록 배열할 수 있다.In an alternative embodiment, the server may arrange the cropped frame fragments to be rectangular in step S330.
예컨대, 크롭된 프레임 조각들이 정면(100%), 우면(50%), 좌면(50%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들인 경우, 정면(100%)의 모서리 길이가 기준 길이(예컨대, 1)이고, 면적이 기준 면적(예컨대, 1x1)이라고 하였을 때, 프레임 조각들의 총 면적이 기준 면적의 3배이므로, 기준 면적의 3배인 직사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 2x1.5, 3x1 등)할 수 있다.For example, if the cropped frame pieces are frame pieces corresponding to the front (100%), the right side (50%), the left side (50%), the top side (50%) and the bottom side When the edge length is a reference length (for example, 1) and the area is a reference area (for example, 1x1), the total area of the frame pieces is three times the reference area, (E.g., 2x1.5, 3x1, etc.).
예컨대, 크롭된 프레임 조각들이 정면(100%), 우면(100%), 좌면(100%), 상면(50%) 및 저면(50%)에 대응되는 프레임 조각들인 경우, 정면(100%)의 모서리 길이가 기준 길이(예컨대, 1)이고, 면적이 기준 면적(예컨대, 1x1)이라고 하였을 때, 면적이 기준 면적의 4배이므로, 기준 면적의 4배인 직사각형이 되도록 크롭된 프레임 조각들을 배열(예컨대, 2x2, 4x1 등)할 수 있다.For example, if the cropped frame pieces are frame pieces corresponding to front (100%), right (100%), left (100%), top (50% When the edge length is a reference length (for example, 1) and the area is a reference area (for example, 1x1), since the area is four times the reference area, the frame pieces cropped so as to become a rectangle four times the reference area , 2x2, 4x1, etc.).
이에 따라, 본 발명의 일 실시예에 의하면, 가상 현실 동영상의 프레임에서 사용자 단말에서 디스플레이 될 가능성이 낮은 부분을 제외하여 전송함으로써, 전송되는 가상 현실 동영상의 전체 프레임 중 디스플레이 되는 부분의 비율을 높일 수 있다.Accordingly, according to an embodiment of the present invention, by transmitting a portion of a virtual reality moving picture frame that excludes a portion that is less likely to be displayed in the user terminal, the ratio of the displayed portion of all the frames of the transmitted virtual reality moving image can be increased have.
비록 도 3에는 도시되지 아니하였으나, 본 발명의 일 실시예에 따른 서버에 의해 수행되는 가상 현실 동영상 제공 방법은 변경된 시점을 수신하는 단계(미도시), 변경된 시점이 기설정된 기준 화각 영역을 벗어나는지 여부를 판단하는 단계(미도시), 및 기준 화각을 벗어나는 경우 변경된 시점을 새로운 기준 시점으로 설정하는 단계(미도시)를 더 포함할 수 있다. 이에 대한 구체적인 내용은 도 8을 참조하여 후술하기로 한다.Although not shown in FIG. 3, a method for providing a virtual reality video performed by a server according to an exemplary embodiment of the present invention includes receiving a changed time point (not shown), determining whether a changed time is out of a predetermined reference angle of view range And a step (not shown) of setting a changed time point as a new reference time point when the reference angle of view is out of the predetermined reference angle. Specific details thereof will be described later with reference to FIG.
도 4는 본 발명의 일 실시예에 따른 가상 현실 동영상의 프레임을 프레임 조각으로 분할하는 방법을 나타낸 도면이다.4 is a diagram illustrating a method of dividing a frame of a virtual reality moving picture according to an embodiment of the present invention into frame fragments.
도 4를 참조하면, 가상 현실 동영상의 전체 프레임(400)은 기준 시점(410)에 따라 서로 다른 레이아웃(layout)을 갖는 프레임 조각들(420a 내지 420f)로 분할됨을 알 수 있다.Referring to FIG. 4, it can be seen that the
여기서, 도 4(a)는 기준 시점(410)이 전체 프레임(400)의 정중앙에 위치한 경우의 예이며, 도 4(b)는 기준 시점(410)이 전체 프레임(400)의 좌상단에 위치한 경우의 예이다.4A is an example of a case where the
여기서 전체 프레임(400)은 360도 이미지에 대응되고, 프레임 조각들(420a 내지 420f) 각각은 90도의 화각을 갖는 이미지 조각에 대응될 수 있다.Here, the
또한, 프레임 조각들(420a 내지 420f) 각각은 정면(420a), 우면(420b), 후면(420c), 좌면(420d), 상면(420e) 및 저면(420f)에 대응될 수 있다.Each of the
도 5는 본 발명의 일 실시예에 따른 프레임 조각들을 정육면체에 대응되도록 변환하는 방법을 나타낸 도면이다.5 is a diagram illustrating a method of transforming frame fragments corresponding to a cube according to an embodiment of the present invention.
여기서, 도 5(a)는 가상 현실 동영상의 전체 프레임(400)을 프레임 조각들로 분할한 결과의 일 예이며, 도 5(b)는 프레임 조각들 중 서로 떨어져 있는 프레임 조각들(423a 및 423b)을 합친 결과(510)의 일 예이며, 도 5(c)는 프레임 조각들을 정육면체의 6면들에 대응되도록 변환하였을 때의 전개도(520)의 일 예이다.5 (a) is an example of a result of dividing the
여기서, 전개도(520)는 기준면에 나머지 4면들인 인접하는 형태로 생성될 수 있다.Here, the
예컨대, 정육면체의 6면들에 대해, 정면(a)을 기준면으로 하고 나머지 면들을 각각 우면(b), 후면(c), 좌면(d), 상면(e) 및 저면(f)이라고 할 때, 전개도(520)는 정면(a)에 우면(b), 좌면(d), 상면(e) 및 저면(f)이 인접하는 형태로 생성될 수 있다.For example, when the front face (a) is a reference plane and the remaining faces are a right side (b), a rear side (c), a left side (d), an upper side (e), and a bottom side The
도 6은 본 발명의 일 실시예에 따른 프레임 조각들에 대해 크롭을 수행하는 방법을 나타낸 도면이다.6 is a diagram illustrating a method of performing cropping on frame fragments according to an embodiment of the present invention.
도 6을 참조하면, 프레임 조각들은 전개도(520) 상에서 설정된 확장 영역(610)에 따라 크롭이 수행됨을 알 수 있다.Referring to FIG. 6, it can be seen that the frame pieces are cropped according to the
여기서, 도 6(a)는 전개도(520) 상에서 확장 영역(610)이 설정된 경우의 일 예이며, 도 6(b)는 확장 영역(610)에 따라 크롭이 수행된 결과(620)의 일 의 예이다.6 (a) is an example of the case where the
확장 영역(610)은 확장 영역(610)에 포함되는 4면들(b, d, e 및 f)의 면적 비율이 기설정된 기준 면적 비율이 되도록 설정될 수 있다.The
도 6(a)의 경우, 기준 면적 비율이 50%인 경우로서, 확장 영역(610)에 포함되는 4면들(b, d, e 및 f)의 면적 비율이 50%이 됨을 알 수 있다.6A, the area ratio of the four faces (b, d, e, and f) included in the
도 7은 본 발명의 일 실시예에 따른 변환된 가상 현실 동영상의 프레임(800)을 나타낸 도면이다.FIG. 7 is a diagram illustrating a transformed virtual reality moving
도 7을 참조하면, 변환된 가상 현실 동영상의 프레임(800)은 360도 이미지가 아니라 사용자(810)가 바라보는 기준 시점(410)을 기준으로 화각이 제한된 이미지에 대응됨을 알 수 있다.Referring to FIG. 7, it can be seen that the transformed virtual
특히, 도 7은 기준 면적 비율이 50%가 되도록 변환된 가상 현실 동영상의 프레임(800)으로서, 프레임(800)에는 사용자(810)가 바라보는 기준 시점(410)을 기준으로 좌우 180도, 상하 180도의 화각을 갖는 이미지(820)가 포함될 수 있다.In particular, FIG. 7 shows a
비록 도 7에는 도시되지 아니하였으나, 우면 및 좌면의 기준 면적 비율이 100%가 되도록 변환되는 경우, 프레임(800)에는 사용자(810)가 바라보는 기준 시점(410)을 기준으로 좌우 270도의 화각을 갖는 이미지(미도시)가 포함될 수 있다.Although not shown in FIG. 7, when the reference area ratio of the right and left sides is converted so as to be 100%, the
도 8은 본 발명의 일 실시예에 따른 기준 시점을 변경하는 방법을 나타낸 도면이다.8 is a diagram illustrating a method of changing a reference time according to an embodiment of the present invention.
특히 도 8은 기준 시점(410)에 의해 변환된 가상 현실 동영상의 프레임(900)을 2차원 상으로 나타낸 것이다.In particular, FIG. 8 shows a two-dimensional view of a frame 900 of a virtual reality moving image converted by the
사용자(810)의 시야각(910)은 좌우 60도인 경우, 변환된 가상 현실 동영상의 프레임(900)에 좌우 180도의 화각을 갖는 이미지(920)가 포함되므로, 사용자(810)가 시점을 좌우로 어느 정도 이동시켜도, 변경된 시점에 대응되는 이미지가 표시될 수 있다.When the
다만, 변환된 가상 현실 동영상의 프레임(900)에는 360도 이미지 전체가 포함되어 있지는 않기 때문에, 사용자(810)의 시점이 일정 이상 이동하는 경우, 새로운 기준 시점에 기초하여 변환된 가상 현실 동영상의 프레임(미도시)을 제공할 필요가 있다.However, since the entirety of the 360-degree image is not included in the converted virtual reality video frame 900, when the viewpoint of the
먼저, 서버(100)는 사용자(810)가 바라보는 방향(830)에 기초한 변경된 시점(미도시)를 수신한다. 이 때, 바라보는 방향(830) 또는 변경된 시점(미도시)이 기준 화각 영역(940)을 벗어나는 경우, 변경된 시점(미도시)을 새로운 기준 시점으로 설정할 수 있다.First, the
이에 따라, 본 발명의 일 실시예에 의하면, 사용자가 바라보는 시점이 기준 시점으로부터 일정 이상 멀어지는 경우, 새로운 기준 시점에 기초하여 변환된 가상 현실 동영상을 제공할 수 있다.Thus, according to an embodiment of the present invention, when the viewpoint of the user is away from the reference point by a predetermined distance or more, the converted virtual reality moving picture can be provided based on a new reference point.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. The computer-readable recording medium may also include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.While the methods and systems of the present invention have been described in connection with specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
1: 가상 현실 동영상 제공 시스템
100: 서버 110: 통신 모듈
120: 메모리 130: 프로세서
140: 데이터베이스 200: 사용자 단말
300: 통신망1: Virtual reality video delivery system
100: server 110: communication module
120: memory 130: processor
140: Database 200: User terminal
300: Network
Claims (10)
(a) 기준 시점에 기초하여 제 1 동영상 프레임을 복수의 프레임 조각들로 변환하는 단계;
(b) 상기 프레임 조각들 중 상기 기준 시점에 대응되는 프레임 조각의 나머지 프레임 조각들에 대해 크롭을 수행하는 단계; 및
(c) 상기 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 사용자 단말로 제공하는 단계;
를 포함하되,
상기 (a) 단계는,
상기 제 1 동영상 프레임을 복수의 프레임 조각들로 분할하는 단계; 및
상기 프레임 조각들 각각이 정육면체의 각 면에 대응되도록, 상기 프레임 조각들의 배치관계를 변환하는 단계;를 포함하며,
상기 (b) 단계는,
상기 복수의 프레임 조각들 중 상기 기준 시점에 대응하는 기준 프레임 조각과 상기 기준 프레임 조각을 중심으로 인접한 위치에 배치된 프레임 조각들의 일부를 크롭하는 단계;를 포함하며,
상기 제 1 동영상 프레임은 360도 이미지에 대응되고,
상기 사용자 단말로 제공되는 실시간 스트리밍 360도 동영상은 복수의 제 2 동영상 프레임으로 구성되며,
상기 기준 시점은 상기 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점인 것인, 가상 현실 동영상 제공 방법.A method for providing a virtual reality video, performed by a server,
(a) converting a first video frame into a plurality of frame fragments based on a reference time point;
(b) performing cropping on the remaining frame fragments of the frame fragments corresponding to the reference time point among the frame fragments; And
(c) providing a second moving picture frame including the cropped frame fragments to a user terminal;
, ≪ / RTI &
The step (a)
Dividing the first moving picture frame into a plurality of frame fragments; And
Transforming the arrangement relationship of the frame fragments such that each of the frame fragments corresponds to each face of the cube,
The step (b)
And extracting a reference frame fragment corresponding to the reference time point and a part of frame fragments arranged at a position adjacent to the reference frame fragment among the plurality of frame fragments,
Wherein the first moving picture frame corresponds to a 360 degree image,
Wherein the real-time streaming 360-degree moving picture provided to the user terminal comprises a plurality of second moving picture frames,
Wherein the reference point is a point viewed by a user on the first moving picture frame.
상기 프레임 조각들은 상기 360도 이미지를 90도의 화각을 갖도록 6개로 분할한 이미지 조각들에 대응되는 것인, 가상 현실 동영상 제공 방법.The method according to claim 1,
Wherein the frame fragments correspond to image fragments divided into six so that the 360 degree image has an angle of view of 90 degrees.
상기 (a) 단계는
상기 6개의 프레임 조각들에 상기 기준 시점을 중앙점으로 하는 기준 프레임 조각이 포함되도록 분할하는 것인, 가상 현실 동영상 제공 방법.3. The method of claim 2,
The step (a)
And dividing the six frame fragments so that the reference frame fragments including the reference point as a central point are included in the six frame fragments.
상기 (b) 단계는
상기 6개의 프레임 조각들을 정육면체의 6면들에 일대일 대응시키고, 상기 기준 프레임 조각에 대응되는 기준면에 다른 4면들이 접하도록 상기 정육면체의 면들을 평면 상에 펼친 전개도 상에서 크롭을 수행하는 것인, 가상 현실 동영상 제공 방법.The method of claim 3,
The step (b)
Wherein the six frame pieces are one-to-one corresponded to the six faces of the cube, and the cropping is performed on a developed view on which the faces of the cube are arranged on the plane so that the reference plane corresponding to the reference frame piece is in contact with four other faces. How to provide videos.
상기 (b) 단계는
상기 기준면에 대응되는 영역을 기준 영역으로 하여, 상기 기준 영역을 상기 기준면에 접한 4면들 각각에 대한 방향으로 확장한 확장 영역을 설정하고, 상기 확장 영역에 기초하여 크롭을 수행하는 것인, 가상 현실 동영상 제공 방법.5. The method of claim 4,
The step (b)
Setting an extended area in which the reference area is extended in a direction to each of four sides facing the reference surface with the area corresponding to the reference surface as a reference area and performing cropping based on the extended area, How to provide videos.
상기 (b) 단계는
상기 확장 영역에 포함되는 상기 4면들 각각의 면적 비율이 기설정된 기준 면적 비율이 되도록 상기 확장 영역을 설정하는 것인, 가상 현실 동영상 제공 방법.6. The method of claim 5,
The step (b)
Wherein the extension region is set such that an area ratio of each of the four faces included in the extension region is a predetermined reference area ratio.
(d) 변경된 시점을 수신하는 단계;
(e) 상기 변경된 시점이 기설정된 기준 화각 영역을 벗어나는지 여부를 판단하는 단게; 및
(f) 상기 기준 화각 영역을 벗어나는 경우, 상기 변경된 시점을 새로운 기준 시점으로 설정하는 단계;
를 더 포함하는 것인, 가상 현실 동영상 제공 방법.The method according to claim 1,
(d) receiving the changed time point;
(e) determining whether the changed point of time is out of a predetermined reference angle of view range; And
(f) setting the changed point of time as a new reference point when the reference angle falls outside the reference angle of view range;
Further comprising the steps of:
상기 기준 화각 영역은
상기 제 2 동영상 프레임에 대응되는 화각보다 좁은 화각을 갖도록 설정되는 것인, 가상 현실 동영상 제공 방법.8. The method of claim 7,
The reference angle-
Is set to have an angle of view narrower than an angle of view corresponding to the second moving picture frame.
가상 현실 동영상 제공 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서;를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
기준 시점에 기초하여 제 1 동영상 프레임을 복수의 프레임 조각들로 변환하되, 상기 제 1 동영상 프레임을 복수의 프레임 조각들로 분할하고, 상기 프레임 조각들 각각이 정육면체의 각 면에 대응되도록, 상기 프레임 조각들의 배치관계를 변환하고,
상기 프레임 조각들 중 상기 기준 시점에 대응되는 프레임 조각의 나머지 프레임 조각들에 대해 크롭을 수행하되, 상기 복수의 프레임 조각들 중 상기 기준 시점에 대응하는 기준 프레임 조각과 상기 기준 프레임 조각을 중심으로 인접한 위치에 배치된 프레임 조각들의 일부를 크롭하고,
상기 크롭된 프레임 조각들을 포함하는 제2 동영상 프레임을 제공하되,
상기 제 1 동영상 프레임은 360도 이미지에 대응되고,
상기 사용자 단말로 제공되는 실시간 스트리밍 360도 동영상은 복수의 제 2 동영상 프레임으로 구성되며,
상기 기준 시점은 상기 제 1 동영상 프레임 상의 사용자가 바라보는 일 지점인 것인, 가상 현실 동영상 제공 장치.A virtual reality video providing apparatus comprising:
A memory in which a program for performing a virtual reality video providing method is recorded; And
And a processor for executing the program,
The processor, by executing the program,
A method of transforming a first moving picture frame into a plurality of frame fragments based on a reference time point, the method comprising: dividing the first moving picture frame into a plurality of frame fragments, each of the frame fragments corresponding to each face of a cube, Transform the placement relationship of the pieces,
A reference frame piece corresponding to the reference time point and a reference frame piece corresponding to the reference frame piece are adjacent to each other, Cropping a part of the frame pieces arranged in the position,
Providing a second video frame comprising the cropped frame fragments,
Wherein the first moving picture frame corresponds to a 360 degree image,
Wherein the real-time streaming 360-degree moving picture provided to the user terminal comprises a plurality of second moving picture frames,
Wherein the reference point is a point viewed by a user on the first moving picture frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170097779A KR101883981B1 (en) | 2017-08-01 | 2017-08-01 | Apparatus and method for providing virtual reality video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170097779A KR101883981B1 (en) | 2017-08-01 | 2017-08-01 | Apparatus and method for providing virtual reality video |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101883981B1 true KR101883981B1 (en) | 2018-07-31 |
Family
ID=63078076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170097779A KR101883981B1 (en) | 2017-08-01 | 2017-08-01 | Apparatus and method for providing virtual reality video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101883981B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200088753A (en) | 2019-01-15 | 2020-07-23 | 유홍준 | Multidimensional Media Contents Control System and Method Based on Network Information Decomposition Assembly |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030040808A (en) | 2001-11-16 | 2003-05-23 | 이재신 | Imaging system capable of photographing 360 degree surroundings simultaneously |
KR100837545B1 (en) * | 2007-05-09 | 2008-06-12 | 에스케이 텔레콤주식회사 | Handset displaying a movie with multiple lcd and method thereof |
KR20140029732A (en) * | 2012-08-29 | 2014-03-11 | 김재광 | Method for simulating virtual space |
KR20160125708A (en) * | 2015-04-22 | 2016-11-01 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving image data for virtual reality streaming service |
-
2017
- 2017-08-01 KR KR1020170097779A patent/KR101883981B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030040808A (en) | 2001-11-16 | 2003-05-23 | 이재신 | Imaging system capable of photographing 360 degree surroundings simultaneously |
KR100837545B1 (en) * | 2007-05-09 | 2008-06-12 | 에스케이 텔레콤주식회사 | Handset displaying a movie with multiple lcd and method thereof |
KR20140029732A (en) * | 2012-08-29 | 2014-03-11 | 김재광 | Method for simulating virtual space |
KR20160125708A (en) * | 2015-04-22 | 2016-11-01 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving image data for virtual reality streaming service |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200088753A (en) | 2019-01-15 | 2020-07-23 | 유홍준 | Multidimensional Media Contents Control System and Method Based on Network Information Decomposition Assembly |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11521347B2 (en) | Method, apparatus, medium, and device for generating multi-angle free-respective image data | |
JP5456020B2 (en) | Information processing apparatus and method | |
US8581961B2 (en) | Stereoscopic panoramic video capture system using surface identification and distance registration technique | |
KR20170132669A (en) | Method, apparatus and stream for immersive video format | |
KR20170127505A (en) | Methods and apparatus for performing environmental measurements and / or using these measurements in 3D image rendering | |
CN115409940A (en) | Terminal, receiving method, distributing device and distributing method | |
JP2017532847A (en) | 3D recording and playback | |
US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
CN111669561B (en) | Multi-angle free view image data processing method and device, medium and equipment | |
CN111669567A (en) | Multi-angle free visual angle video data generation method and device, medium and server | |
KR101883981B1 (en) | Apparatus and method for providing virtual reality video | |
JP6952456B2 (en) | Information processing equipment, control methods, and programs | |
CN111669568B (en) | Multi-angle free view angle interaction method and device, medium, terminal and equipment | |
WO2020032113A1 (en) | Image processing device, 3d data generation device, control program, and recording medium | |
CN111034193B (en) | Multi-source video stabilization | |
US20220353484A1 (en) | Information processing apparatus, information processing method, and program | |
CN111669604A (en) | Acquisition equipment setting method and device, terminal, acquisition system and equipment | |
CN111669570A (en) | Multi-angle free visual angle video data processing method and device, medium and equipment | |
CN111669569A (en) | Video generation method and device, medium and terminal | |
KR102034826B1 (en) | Apparatus and method for providing virtual reality video | |
KR102034825B1 (en) | Apparatus and method for providing virtual reality video considering binocular angle | |
CN111669603B (en) | Multi-angle free visual angle data processing method and device, medium, terminal and equipment | |
KR20180070234A (en) | Apparatus and user device for providing time slice video | |
CN111669571A (en) | Multi-angle free visual angle image data generation method and device, medium and equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |