KR20190085681A - Method and server for providing realistic virtual reality image - Google Patents

Method and server for providing realistic virtual reality image Download PDF

Info

Publication number
KR20190085681A
KR20190085681A KR1020180003851A KR20180003851A KR20190085681A KR 20190085681 A KR20190085681 A KR 20190085681A KR 1020180003851 A KR1020180003851 A KR 1020180003851A KR 20180003851 A KR20180003851 A KR 20180003851A KR 20190085681 A KR20190085681 A KR 20190085681A
Authority
KR
South Korea
Prior art keywords
image
user terminal
camera
transmitting
photographed
Prior art date
Application number
KR1020180003851A
Other languages
Korean (ko)
Inventor
김영
Original Assignee
주식회사 제이슨와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이슨와이 filed Critical 주식회사 제이슨와이
Priority to KR1020180003851A priority Critical patent/KR20190085681A/en
Publication of KR20190085681A publication Critical patent/KR20190085681A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

According to an embodiment of the present invention, disclosed is a method for providing a realistic virtual reality (VR) image comprising the steps of: mapping location information of a plurality of VR images photographed by each of a plurality of VR cameras and storing the mapped location information; receiving a request for transmitting a VR image from a user terminal; in response to the request for transmission, transmitting, to the user terminal, a first VR image photographed by one of the plurality of VR cameras; and transmitting, to the user terminal, a converted VR image generated based on the first VR image and at least one second VR image according to a change in location of the user terminal.

Description

실감형 ＶＲ 영상의 제공 방법 및 이를 위한 서버 장치{METHOD AND SERVER FOR PROVIDING REALISTIC VIRTUAL REALITY IMAGE}Technical Field [0001] The present invention relates to a real-time VR image providing method, and a server device for the real-

본 발명은 영상 제공 분야에 관한 것이다. 보다 구체적으로, 본 발명은 서버-클라이언트 환경에서 사용자에게 실감형 VR 영상을 제공하는 방법 및 이를 위한 서버에 관한 것이다.The present invention relates to the field of image provision. More particularly, the present invention relates to a method for providing a real-time VR image to a user in a server-client environment and a server therefor.

영상 기술의 발전에 따라 영상을 촬영하는 카메라의 성능 역시 발전하고 있다. 일 예로서, 현실 세계에서 다방향 또는 전방향을 촬영하여 VR(virtual reality) 영상을 생성하는 VR 카메라가 대중적으로 판매 및 이용되고 있다.The performance of cameras that capture images according to the development of image technology is also developing. As one example, VR cameras that shoot VR (virtual reality) images by shooting in multi-direction or all directions in the real world are being popularly sold and used.

VR 영상은 일명 360도 영상으로도 불리우는데, 사용자는 자신의 기기로 VR 영상을 보면서, 기기의 자세 변경 또는 마우스 클릭 등을 통해 영상을 다양한 시점으로 감상할 수 있다.The VR image is also called a 360-degree image. The user can view the image at various points of view through changing the attitude of the device or clicking the mouse while viewing the VR image with his own device.

그러나, VR 영상을 촬영한 카메라의 위치는 고정되어 있으므로, 아직까지는 사용자가 모바일 기기로 VR 영상을 감상하면서 이동하더라도 사용자에게 VR 영상 내에서 실제 이동한 것과 같은 느낌을 주지 못한다. 따라서, 사용자의 위치 이동을 고려하여 사용자에게 현실감을 줄 수 있는 실감형 VR 영상의 제공 방법이 요구된다 할 것이다.However, since the position of the camera that captures the VR image is fixed, the user does not feel the same as the actual movement in the VR image even if the user moves while viewing the VR image with the mobile device. Accordingly, there is a need for a method of providing realistic VR images that can give a sense of reality to the user in consideration of the movement of the user.

본 발명의 일 실시예에 따른 실감형 VR 영상의 제공 방법 및 이를 위한 서버 장치는 적은 수의 VR 카메라를 이용하여 VR 영상 내에서 사용자에게 현실감을 제공하는 것을 기술적 과제로 한다.A method of providing realistic VR images and a server device therefor according to an embodiment of the present invention is to provide realism to users in a VR image using a small number of VR cameras.

또한, 본 발명의 일 실시예에 따른 실감형 VR 영상의 제공 방법 및 이를 위한 서버 장치는 VR 영상을 액자 구조 방식으로 제공함으로써 사용자의 신규한 체험을 가능하게 하는 것을 기술적 과제로 한다.The present invention also provides a method of providing a sensory VR image and a server device therefor, which enable a user to experience a new experience by providing a VR image in a frame structure format.

또한, 본 발명의 일 실시예에 따른 VR 영상의 공유 시스템은 사용자가 촬영한 텍스트, 사물 등에 근거하여 그에 부합하는 VR 영상을 사용자에게 제공하는 것을 기술적 과제로 한다.According to another aspect of the present invention, there is provided a system for sharing a VR image, which provides a VR image to a user based on text, objects, and the like captured by a user.

본 발명의 일 실시예에 따른 실감형 VR 영상의 제공 방법은,According to an embodiment of the present invention, there is provided a method for providing a real-

복수의 VR 카메라의 위치 정보를 상기 복수의 VR 카메라 각각에 의해 촬영된 복수의 VR 영상에 매핑시켜 저장하는 단계; 사용자 단말로부터 VR 영상의 전송 요청을 수신하는 단계; 상기 전송 요청에 따라, 상기 복수의 VR 카메라 중 어느 하나의 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계; 및 상기 사용자 단말의 위치 변경에 따라 상기 제 1 VR 영상과 적어도 하나의 제 2 VR 영상에 기초하여 생성된 변환 VR 영상을 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.Mapping location information of a plurality of VR cameras to a plurality of VR images photographed by each of the plurality of VR cameras and storing the same; Receiving a request for transmission of a VR image from a user terminal; Transmitting a first VR image photographed by a first VR camera of any one of the plurality of VR cameras to the user terminal according to the transmission request; And transmitting the converted VR image generated based on the first VR image and the at least one second VR image to the user terminal according to the change of the position of the user terminal.

상기 실감형 VR 영상의 제공 방법은, 상기 변환 VR 영상을 상기 사용자 단말로 전송하기 전에, 상기 사용자 단말이 이동한 위치를 고려하여, 상기 적어도 하나의 제 2 VR 영상을 촬영한 적어도 하나의 제 2 VR 카메라를 결정하는 단계를 더 포함할 수 있다.The method of providing realistic VR images may further include prior to transferring the converted VR images to the user terminal, considering at least one position of the at least one second VR image, And determining the VR camera.

상기 적어도 하나의 제 2 VR 카메라를 결정하는 단계는, 상기 사용자 단말의 최초 위치를 상기 제 1 VR 카메라의 위치에 대응시키고, 제 1 VR 카메라의 위치를 중심으로 상기 사용자 단말이 이동한 위치와 소정 거리 이내에 위치하는 상기 적어도 하나의 제 2 VR 카메라를 결정하는 단계를 포함할 수 있다.Wherein the determining of the at least one second VR camera comprises: associating an initial position of the user terminal with a position of the first VR camera; And determining the at least one second VR camera located within a distance.

상기 변환 VR 영상을 상기 사용자 단말로 전송하는 단계는, 상기 사용자 단말의 이동 방향 및 이동 거리를 기초로, 상기 제 1 VR 영상과 상기 적어도 하나의 제 2 VR 영상을 합성하여 상기 변환 VR 영상을 생성하는 단계를 포함할 수 있다.Wherein the step of transmitting the converted VR image to the user terminal comprises the steps of combining the first VR image and the at least one second VR image based on the moving direction and the moving distance of the user terminal, .

상기 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계는, 상기 제 1 VR 영상의 패킷들을 스트리밍 방식으로 상기 사용자 단말로 전송하는 단계를 포함하되, 상기 변환 VR 영상을 상기 사용자 단말로 전송하는 단계는, 상기 사용자 단말의 위치 변경에 따라 상기 제 1 VR 영상의 패킷들 대신 상기 변환 VR 영상의 패킷들을 스트리밍 방식으로 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.Wherein the step of transmitting the first VR video to the user terminal comprises transmitting packets of the first VR video stream to the user terminal in a streaming manner, And transmitting packets of the transformed VR image to the user terminal in a streaming manner instead of the packets of the first VR image according to the change of the location of the user terminal.

상기 변환 VR 영상은, 상기 사용자 단말이 이동한 위치의 가상 VR 카메라에 의해 촬영된 VR 영상에 대응할 수 있다.The converted VR image may correspond to a VR image photographed by a virtual VR camera at a position where the user terminal has moved.

상기 사용자 단말의 화면에는, 상기 사용자 단말의 카메라에 의해 촬영되고 있는 영상이 표시되고 있는 상태에서, 상기 영상 중에 가상체가 함께 표시되되, 상기 가상체에 대한 사용자의 조작에 따라 상기 카메라에 의해 촬영되고 있는 영상 대신 상기 제 1 VR 영상이 표시될 수 있다.Wherein a virtual body is displayed together with the image captured by the camera of the user terminal on the screen of the user terminal while being photographed by the camera in accordance with the user's operation on the virtual body The first VR image may be displayed instead of the first VR image.

상기 사용자의 조작은, 상기 사용자 단말의 위치 변경 또는 상기 화면에 대한 터치를 포함할 수 있다.The manipulation of the user may include changing the position of the user terminal or touching the screen.

상기 사용자 단말로부터 VR 영상의 전송 요청을 수신하는 단계는, 상기 사용자 단말의 카메라에 의해 촬영되고 있는 영상 중에서 식별된 텍스트, 사물 및 건축물 중 적어도 하나를 상기 사용자 단말로부터 수신하는 단계를 포함하고, 상기 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계는, 상기 수신된 텍스트, 사물 및 건축물 중 적어도 하나에 대응하는 상기 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.Wherein the step of receiving a request for transmission of a VR image from the user terminal comprises receiving at least one of the identified text, objects and buildings from the user terminal, the image being taken by the camera of the user terminal, The step of transmitting the first VR image to the user terminal may include transmitting the first VR image corresponding to at least one of the received text, objects and buildings to the user terminal.

본 발명의 다른 실시예에 따른 서버 장치는,According to another aspect of the present invention,

복수의 VR 카메라의 위치 정보 및 상기 복수의 VR 카메라 각각에 의해 촬영된 복수의 VR 영상을 매핑시켜 저장하는 메모리; 사용자 단말로부터 VR 영상의 전송 요청을 수신하고, 상기 전송 요청에 따라, 상기 복수의 VR 카메라 중 어느 하나의 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 상기 사용자 단말로 전송하는 통신부; 및 상기 사용자 단말의 위치 변경에 따라 상기 제 1 VR 영상과 적어도 하나의 제 2 VR 영상에 기초하여, 변환 VR 영상을 생성하는 제어부를 포함하되, 상기 통신부는, 상기 사용자 단말의 위치 변경에 따라 상기 변환 VR 영상을 상기 사용자 단말로 전송할 수 있다.A memory for storing position information of a plurality of VR cameras and a plurality of VR images photographed by each of the plurality of VR cameras; A communication unit for receiving a request for transmission of a VR image from a user terminal and transmitting a first VR image photographed by a first VR camera of any one of the plurality of VR cameras to the user terminal according to the transmission request; And a control unit for generating a converted VR image based on the first VR image and the at least one second VR image in accordance with the position change of the user terminal, And transmit the converted VR image to the user terminal.

본 발명의 일 실시예에 따른 실감형 VR 영상의 제공 방법 및 이를 위한 서버 장치는 적은 수의 VR 카메라를 이용하여 VR 영상 내에서 사용자에게 현실감을 제공할 수 있다.A realistic VR image providing method and a server apparatus therefor according to an embodiment of the present invention can provide a sense of reality to a user in a VR image using a small number of VR cameras.

또한, 본 발명의 일 실시예에 따른 실감형 VR 영상의 제공 방법 및 이를 위한 서버 장치는 VR 영상을 액자 구조 방식으로 제공함으로써 사용자의 신규한 체험을 가능하게 할 수 있다.In addition, the present invention provides a realistic VR image providing method and a server device therefor, which can provide a new experience for a user by providing VR images in a frame structure format.

또한, 본 발명의 일 실시예에 따른 VR 영상의 공유 시스템은 사용자가 촬영한 텍스트, 사물 등에 근거하여 그에 부합하는 VR 영상을 사용자에게 제공할 수 있다.In addition, the VR image sharing system according to an embodiment of the present invention can provide the user with a VR image corresponding to the text, object, or the like captured by the user.

다만, 본 발명의 일 실시예에 따른 실감형 VR 영상의 제공 방법 및 이를 위한 서버 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the method of providing realistic VR images and the server device therefor according to an embodiment of the present invention are not limited to those described above, and other effects not mentioned are described in the following description And will be apparent to those skilled in the art to which the present invention pertains.

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 서버가 적용되는 환경을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버의 동작을 설명하기 위한 순서도이다.
도 3은 서버에 저장되는 매핑 정보를 도시하는 예시적인 도면이다.
도 4a 내지 도 4c는 사용자 단말의 위치 변경에 따라 변환 VR 영상의 생성을 위한 제 2 VR 카메라를 결정하는 방법을 설명하기 위한 도면들이다.
도 5a 내지 도 5d는 사용자 단말의 화면에 VR 영상이 표시되는 방법을 설명하기 위한 도면들이다.
도 6은 본 발명의 일 실시예에 따른 서버의 구성을 도시하는 블록도이다.BRIEF DESCRIPTION OF THE DRAWINGS A brief description of each drawing is provided to more fully understand the drawings recited herein.
FIG. 1 is a diagram for explaining an environment to which a server according to an embodiment of the present invention is applied.
2 is a flowchart illustrating an operation of a server according to an exemplary embodiment of the present invention.
3 is an exemplary diagram showing mapping information stored in a server.
FIGS. 4A to 4C are diagrams for explaining a method of determining a second VR camera for generating a transformed VR image according to a position change of a user terminal.
5A to 5D are diagrams illustrating a method of displaying a VR image on a screen of a user terminal.
6 is a block diagram showing the configuration of a server according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It is to be understood, however, that the intention is not to limit the invention to the specific embodiments, but on the contrary, the intention is to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In addition, numerals (e.g., first, second, etc.) used in the description of the present invention are merely an identifier for distinguishing one component from another.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.Also, in this specification, when an element is referred to as being "connected" or "connected" with another element, the element may be directly connected or directly connected to the other element, It should be understood that, unless an opposite description is present, it may be connected or connected via another element in the middle.

또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.In the present specification, a component represented by 'unit', 'module', or the like refers to a case where two or more components are combined into one component, or one component is divided into two or more ≪ / RTI > In addition, each of the components to be described below may additionally perform some or all of the functions of the other components in addition to the main functions of the component itself, and some of the main functions And may be performed entirely by components.

이하, 본 발명의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail.

도 1은 본 발명의 일 실시예에 따른 서버(100)가 적용되는 환경을 설명하기 위한 도면이다.1 is a diagram for explaining an environment to which a server 100 according to an embodiment of the present invention is applied.

도 1을 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 복수의 사용자 단말(200)과 네트워크를 통해 연결될 수 있다. 여기서, 네트워크는 유선 네트워크와 무선 네트워크를 포함할 수 있다. 예를 들어, 네트워크는 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등의 다양한 네트워크를 포함할 수 있다. 또한, 네트워크는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명의 실시예에 따른 네트워크는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크, 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.Referring to FIG. 1, a server 100 according to an embodiment of the present invention may be connected to a plurality of user terminals 200 through a network. Here, the network may include a wired network and a wireless network. For example, the network may include various networks such as a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and the like. In addition, the network may include a known World Wide Web (WWW). However, the network according to the embodiment of the present invention is not limited to the above listed networks, and may include at least a known wireless data network, a known telephone network, a known wired and wireless television network.

서버(100)는 복수의 VR 카메라(10) 각각에 의해 촬영된 복수의 VR 영상을 수신한다. 서버(100)는 복수의 VR 카메라(10) 각각으로부터 VR 영상을 직접 수신할 수도 있고, 외부 장치로부터 VR 영상을 수신할 수도 있다.The server 100 receives a plurality of VR images photographed by each of the plurality of VR cameras 10. The server 100 may directly receive the VR image from each of the plurality of VR cameras 10 or may receive the VR image from the external device.

복수의 사용자 단말(200) 각각은 서버(100)로 요청하여 서버(100)로부터 VR 영상을 수신 및 재생한다. 도 1은 각 사용자 단말(200)로서 스마트폰을 도시하고 있는데, 각 사용자 단말(200)은 스마트폰에 한정되는 것은 아니고, 노트북, 태블릿 PC, 스마트워치 등 서버(100)와 통신 가능한 다양한 종류의 모바일 기기를 포함할 수 있다.Each of the plurality of user terminals 200 requests the server 100 to receive and reproduce the VR image from the server 100. 1 illustrates a smart phone as each user terminal 200. Each user terminal 200 is not limited to a smart phone but may be various types of communication devices capable of communicating with the server 100 such as a notebook computer, Mobile devices.

본 발명의 실시예들에 따르면, 사용자 단말(200)은 사용자에게 소지되어 위치 변경이 될 수 있고, 사용자 단말(200)의 위치 변경에 따라 VR 영상의 촬영 지점이 변경됨으로써 사용자는 실감형 VR 영상을 감상할 수 있게 된다.According to the embodiments of the present invention, the user terminal 200 can be located and changed in position, and the shooting point of the VR image is changed according to the change of the position of the user terminal 200, .

도 2는 본 발명의 일 실시예에 따른 서버(100)의 동작을 설명하기 위한 순서도이다.2 is a flowchart illustrating an operation of the server 100 according to an embodiment of the present invention.

S210 단계에서, 서버(100)는 복수의 VR 카메라(10)의 위치 정보를 복수의 VR 카메라(10)에 의해 촬영된 복수의 VR 영상 각각에 매핑시켜 저장한다. 복수의 VR 카메라(10)의 위치 정보는 복수의 VR 카메라(10) 각각이 설치된 위치의 정보로서, 예를 들어, GPS 좌표와 같은 절대 좌표를 포함할 수 있으며, 또는, 구현예에 따라서 상대 좌표, 실내 측위 방식에 따라 측정된 실내 좌표를 포함할 수도 있다.In step S210, the server 100 maps the location information of the plurality of VR cameras 10 to each of the plurality of VR images photographed by the plurality of VR cameras 10, and stores the information. The positional information of the plurality of VR cameras 10 may be information of a position where each of the plurality of VR cameras 10 is installed, for example, may include absolute coordinates such as GPS coordinates, , And indoor coordinates measured according to the indoor positioning method.

도 3에 도시된 바와 같이, 서버(100)는 카메라 A, 카메라 B, 카메라 C, 카메라 D 및 카메라 E 각각에 의해 촬영된 VR 영상에 각 카메라의 위치 정보를 매핑시켜 미리 저장할 수 있다.As shown in FIG. 3, the server 100 can previously store the location information of each camera in a VR image photographed by the camera A, the camera B, the camera C, the camera D, and the camera E, respectively.

S220 단계에서, 서버(100)는 사용자 단말(200)로부터 VR 영상의 전송 요청을 수신한다. 사용자 단말(200)은 네트워크를 통해 서버(100)에 접속하여 특정 VR 영상의 전송을 요청할 수도 있고, 후술하는 바와 같이, 사용자 단말(200)의 카메라에 의해 인식된 텍스트, 사물 및 건축물 중 적어도 하나를 서버(100)로 전송함으로써 VR 영상의 전송을 요청할 수도 있다.In step S220, the server 100 receives a request for transmission of a VR image from the user terminal 200. [ The user terminal 200 may access the server 100 through the network to request transmission of a specific VR image and may transmit at least one of text, objects and buildings recognized by the camera of the user terminal 200 To the server 100 so as to request the transmission of the VR image.

또한, 사용자 단말(200)은 서버(100)로 VR 영상의 전송 요청을 할 때, 사용자 단말(200)의 현재 위치 정보도 서버(100)로 전송할 수 있다.The user terminal 200 may also transmit the current location information of the user terminal 200 to the server 100 when requesting the server 100 to transmit the VR image.

S230 단계에서, 서버(100)는 복수의 VR 카메라(10) 중 어느 하나의 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 사용자 단말(200)로 전송한다. 예를 들어, 서버(100)는 사용자 단말(200)이 제 1 VR 영상을 특정하며 전송 요청을 한 경우, 사용자 단말(200)이 특정한 제 1 VR 영상을 사용자 단말(200)로 전송할 수도 있고, 사용자 단말(200)이 특정 카테고리를 선택한 경우에는 특정 카테고리에 대응하는 여러 VR 영상들 중 무작위로 선택된 제 1 VR 영상 또는 타 사용자들의 감상 횟수가 가장 많은 제 1 VR 영상을 사용자 단말(200)로 전송할 수도 있다.In step S230, the server 100 transmits the first VR image photographed by the first VR camera of any one of the plurality of VR cameras 10 to the user terminal 200. For example, when the user terminal 200 specifies a first VR image and transmits a transmission request, the server 100 may transmit a specific first VR image to the user terminal 200, When the user terminal 200 selects a specific category, the first VR image selected randomly among the plurality of VR images corresponding to the specific category or the first VR image having the largest viewing count of other users is transmitted to the user terminal 200 It is possible.

사용자 단말(200)로 전송된 제 1 VR 영상은 사용자 단말(200)의 화면에 표시되는데, 제 1 VR 영상이 화면에 표시되는 방법에 대해서는 도 5a 내지 도 5d를 참조하여 후술한다.The first VR image transmitted to the user terminal 200 is displayed on the screen of the user terminal 200. A method of displaying the first VR image on the screen will be described later with reference to FIGS. 5A through 5D.

S240 단계에서, 서버(100)는 사용자 단말(200)의 위치 변경을 감지한다. 사용자 단말(200)은 GPS 센서, 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나를 포함할 수 있는데, 사용자 단말(200)은 센서의 측정 값을 서버(100)로 전송하고, 서버(100)는 수신된 센서의 측정 값에 따라 사용자 단말(200)이 이동한 위치를 감지할 수 있다.In step S240, the server 100 detects a change in the location of the user terminal 200. [ The user terminal 200 may include at least one of a GPS sensor, an acceleration sensor, a gyro sensor, and a geomagnetic sensor, wherein the user terminal 200 transmits the measured value of the sensor to the server 100, The position of the user terminal 200 can be detected according to the measured value of the received sensor.

S250 단계에서, 서버(100)는 사용자 단말(200)이 이동한 위치에 기초하여 적어도 하나의 제 2 VR 카메라를 결정하고, 적어도 하나의 제 2 VR 카메라에 의해 촬영된 적어도 하나의 제 2 VR 영상과 제 1 VR 영상을 합성하여 변환 VR 영상을 생성한다. 변환 VR 영상은 사용자 단말(200)이 이동한 위치의 가상의 VR 카메라에 의해 촬영된 VR 영상에 대응하며, 변환 VR 영상은 사용자 단말(200)로 제공된다.In step S250, the server 100 determines at least one second VR camera based on the position of movement of the user terminal 200, and determines at least one second VR image photographed by the at least one second VR camera And the first VR image to generate a converted VR image. The converted VR image corresponds to the VR image taken by the virtual VR camera at the position where the user terminal 200 moved, and the converted VR image is provided to the user terminal 200.

서버(100)는 제 1 VR 영상과 변환 VR 영상을 스트리밍 방식으로 제공할 수 있는데, 구체적으로, 제 1 VR 영상의 패킷들을 스트리밍 방식으로 사용자 단말(200)로 전송하면서, 사용자 단말(200)의 위치 변경에 따라 변환 VR 영상의 패킷들을 스트리밍 방식으로 사용자 단말(200)로 전송할 수 있다.The server 100 may provide the first VR image and the converted VR image in a streaming manner. Specifically, the server 100 may transmit the packets of the first VR image to the user terminal 200 in a streaming manner, The packets of the converted VR image can be transmitted to the user terminal 200 in a streaming manner according to the change of the location.

변환 VR 영상은 제 1 VR 영상을 감상하고 있는 사용자가 이동한 경우, 제 1 VR 영상 내에서 사용자가 실제 이동한 것과 같은 느낌을 주기 위해 제공되는 것이다. 예를 들어, a 지점에 위치한 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 사용자가 감상하면서 a 지점으로부터 100m만큼 이동한 경우, 100m 이동한 위치의 가상 VR 카메라가 촬영한 것과 같은 변환 VR 영상을 사용자에게 제공하는 것이다. The converted VR image is provided to give the user the same feeling as when the user who is watching the first VR image moves in the first VR image. For example, when the user views the first VR image photographed by the first VR camera located at the point a and moves by 100 meters from the point a, the converted VR image captured by the virtual VR camera at the position moved by 100 m To the user.

위와 같은 실감형 VR 영상을 제공하기 위해서는 여러 위치에 많은 수의 VR 카메라를 설치하여야 하나, 본 발명의 일 실시예에 따르면, 적은 수의 VR 카메라만을 설치하고 사용자의 이동에 따라 VR 카메라에 의해 촬영된 VR 영상을 합성하여 변환 VR 영상을 생성하므로 상대적으로 적은 수의 VR 카메라만으로도 실감형 서비스를 제공할 수 있게 된다. 다시 말하면, 앞선 예와 같이, a 지점에 위치한 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 사용자가 감상하면서 a 지점으로부터 100m만큼 이동한 경우, 사용자가 이동한 위치에 실제 VR 카메라가 존재하지 않더라도, a 지점으로부터 200m만큼 이격된 제 2 VR 카메라의 제 2 VR 영상과 제 1 VR 영상을 합성하여 a 지점으로부터 100m만큼 이격된 지점의 가상 VR 카메라에 의해 촬영된 것과 같은 변환 VR 영상을 생성하는 것이다.In order to provide the realistic VR images as described above, a large number of VR cameras should be installed at various positions. According to one embodiment of the present invention, only a small number of VR cameras are installed, The generated VR images are synthesized and converted VR images are generated, so that a realistic service can be provided by only a relatively small number of VR cameras. In other words, when the user views the first VR image photographed by the first VR camera located at the point a and moves by 100 meters from the point a as in the previous example, there is no actual VR camera at the position where the user moved , A second VR image and a first VR image of the second VR camera spaced by 200m from the a point are synthesized to generate a converted VR image such as the one captured by the virtual VR camera at a distance of 100m from the a point will be.

이하에서는, 도 4a 내지 도 4c를 참조하여 적어도 하나의 제 2 VR 카메라를 결정하는 방법에 대해 설명한다.Hereinafter, a method of determining at least one second VR camera will be described with reference to Figs. 4A to 4C.

도 4a 내지 도 4c는 사용자 단말(200)의 위치 변경에 따라 변환 VR 영상의 생성을 위한 제 2 VR 카메라를 결정하는 방법을 설명하기 위한 도면들이다.4A to 4C are diagrams for explaining a method of determining a second VR camera for generating a transformed VR image according to a change in the position of the user terminal 200. FIG.

먼저, 도 4a와 같이, 소정의 공간에 5대의 VR 카메라가 설치되어 있고, 각 카메라에 의해 촬영된 5개의 VR 영상이 서버(100)에 제공되며, 사용자 단말(200)로는 제 1 VR 영상으로서 a 카메라에 의해 촬영된 영상이 제공된 것으로 가정한다.First, as shown in FIG. 4A, five VR cameras are installed in a predetermined space, and five VR images taken by each camera are provided to the server 100. As the first VR images, a It is assumed that an image photographed by a camera is provided.

먼저, 서버(100)는 사용자 단말(200)의 현재 위치를 a 카메라의 위치에 대응시킨다. 그리고, 사용자 단말(200)의 위치 변경에 따라 사용자 단말(200)이 이동한 위치를 식별한다.First, the server 100 associates the current position of the user terminal 200 with the position of the camera a. In addition, the location of the user terminal 200 is identified according to the location change of the user terminal 200.

도 4b에서 사용자 단말(200)이 이동한 위치는 P1으로 식별되었다. 서버(100)는 사용자 단말(200)이 이동한 위치(P1)와 a 카메라 사이의 거리가 임계 거리(r)를 초과하였는지를 판단하고, 사용자 단말(200)이 이동한 위치(P1)가 다른 카메라, 즉, c 카메라와 임계 거리(r) 내에 위치하였는지를 판단한다.In FIG. 4B, the location where the user terminal 200 moved is identified as P1. The server 100 determines whether the distance between the position P1 where the user terminal 200 moved and the distance between the camera a exceeds the threshold distance r, , I.e., within the critical distance r, with the camera c.

사용자 단말(200)이 이동한 위치(P1)와 a 카메라 사이의 거리가 임계 거리를 초과한 경우, 서버(100)는 사용자 단말(200)로 제공되는 제 1 VR 영상의 변경이 필요하다는 것을 인지하게 되고, 사용자 단말(200)이 이동한 위치(P1)가 c 카메라와 임계 거리 내이면, 제 1 VR 영상 대신 c 카메라에 의해 촬영된 VR 영상을 사용자 단말(200)로 제공하여야 한다고 판단하게 된다. 이에 따라 사용자 단말(200)은 a 카메라에 의해 촬영된 제 1 VR 영상 대신 c 카메라에 의해 촬영된 VR 영상을 감상하게 된다. When the distance between the position P1 where the user terminal 200 has moved and the distance between the camera a exceeds the threshold distance, the server 100 recognizes that it is necessary to change the first VR image provided to the user terminal 200 And determines that the VR image photographed by the c camera should be provided to the user terminal 200 instead of the first VR image if the position P1 at which the user terminal 200 has moved is within the critical distance from the c camera . Accordingly, the user terminal 200 views the VR image photographed by the camera c instead of the first VR image photographed by the camera a.

그러나, 도 4c에 도시된 바와 같이, 사용자 단말(200)이 이동한 위치(P2)와 a 카메라 사이의 거리가 임계 거리를 초과하였고, 타 카메라의 임계 거리 내에 사용자 단말(200)이 위치하지 않는 경우, 서버(100)는 사용자 단말(200)로 변환 VR 영상을 제공하여야 하는 것으로 판단한다.However, as shown in FIG. 4C, when the distance between the position P2 where the user terminal 200 has moved and the camera a exceeds the critical distance and the user terminal 200 is not located within the critical distance of another camera , The server 100 determines that the converted VR image should be provided to the user terminal 200.

구체적으로, 서버(100)는 사용자 단말(200)이 이동한 위치(P2)와 가장 근접한 또는, 사용자 단말(200)이 이동한 위치(P2)로부터 소정 거리 내에 위치하는 적어도 하나의 제 2 VR 카메라를 결정한다. 도 4c의 예에서, 서버(100)는 c 카메라를 제 2 VR 카메라로 결정할 수 있다.More specifically, the server 100 is provided with at least one second VR camera 102 located closest to the position P2 at which the user terminal 200 has moved or within a predetermined distance from the position P2 at which the user terminal 200 has moved. . In the example of FIG. 4C, the server 100 can determine the c-camera as the second VR camera.

이후, 서버(100)는 사용자 단말(200)의 이동 방향, 이동 거리 및 이동 속도 등 사용자 단말(200)의 센서에 의해 측정된 값을 기초로 a 카메라에 의해 촬영된 제 1 VR 영상과 c 카메라에 의해 촬영된 제 2 VR 영상을 합성한다. 합성 결과 생성된 변환 VR 영상은 사용자 단말(200)로 제공되게 된다. 예를 들어, 제 1 VR 영상과 제 2 VR 영상 내 동일 객체가 포함되어 있는 경우, 해당 객체로부터 제 1 VR 카메라 사이의 거리와 각도, 및 해당 객체로부터 제 2 VR 카메라 사이의 거리와 각도를 기반으로, 변환 VR 영상에 포함될 객체의 형태를 합성할 수 있다. 위치 기반 다수의 영상을 현재 위치 중심의 영상으로 합성하기 위한 객체 회전 기술, 객체 보간 기술, 객체 확대 기술, 객체 축소 기술 등은 이미지 처리 분야 등에서 사용되고 있으므로, 상세한 내용의 설명은 생략한다.Thereafter, the server 100 generates a first VR image photographed by the camera a based on the value measured by the sensor of the user terminal 200, such as a moving direction, a moving distance and a moving speed of the user terminal 200, And a second VR image captured by the second VR camera. The converted VR image generated as a result of synthesis is provided to the user terminal 200. For example, when the same object is included in the first VR image and the second VR image, the distance and angle between the first VR camera and the distance and angle between the second VR camera and the object are calculated , The form of the object to be included in the converted VR image can be synthesized. The object rotation technique, the object interpolation technique, the object enlargement technique, and the object reduction technique for composing a plurality of position-based images into the image of the center of the current position are used in the field of image processing and the like, and a detailed description thereof will be omitted.

변환 VR 영상이 사용자 단말(200)로 제공된 후, 사용자가 변환 VR 영상이 제공될 때의 사용자 단말(200)의 위치로부터 일정 거리를 더 이동한 경우, 서버(100)는 변환 VR 영상을 재생성하여 사용자 단말(200)로 제공할 수 있다.After the converted VR image is provided to the user terminal 200, when the user further moves a certain distance from the position of the user terminal 200 when the converted VR image is provided, the server 100 regenerates the converted VR image To the user terminal (200).

도 4c의 예에서는 하나의 c 카메라만이 합성 대상 카메라로 선택되었으나, 이는 하나의 실시예일뿐이며, 사용자 단말(200)이 이동한 위치(P2)로부터 소정 거리 내에 위치하는 복수의 카메라가 합성 대상 카메라로 선택될 수도 있다.In the example of FIG. 4C, only one c camera is selected as the subject-to-be-combined camera. However, this is only one embodiment, and a plurality of cameras located within a predetermined distance from the position P2, . ≪ / RTI >

한편, 앞서 설명한 바와 같이, 서버(100)로부터 제 1 VR 영상을 수신한 사용자 단말(200)은 화면에 이를 표시하는데, 이에 대해 도 5a 내지 도 5d를 참조하여 설명한다.Meanwhile, as described above, the user terminal 200 receiving the first VR image from the server 100 displays it on the screen, which will be described with reference to FIGS. 5A to 5D.

사용자 단말(200)이 소정 어플리케이션을 실행시키면, 도 5a에 도시된 바와 같이, 사용자 단말(200)의 카메라에 의해 촬영되는 영상이 사용자 단말(200)의 화면에 표시될 수 있다. 사용자가 사용자 단말(200)의 자세 또는 위치를 조작하여 도 5b에 도시된 바와 같이, 소정 텍스트(예를 들어, paris)(510)가 촬영되면, 사용자 단말(200)은 소정 텍스트(510)를 인식한 후, 서버(100)로 소정 텍스트(510)를 전송하여 그와 관련된 VR 영상의 전송 요청을 할 수 있다. 구현예에 따라서, 단말(200)은 소정 텍스트(510)뿐만 아니라, 사물이나 건축물이 카메라에 의해 인식되면, 서버(100)로 사물 또는 건축물의 영상을 전송하여 그와 관련돤 VR 영상의 전송 요청을 할 수도 있다.When the user terminal 200 executes a predetermined application, an image photographed by the camera of the user terminal 200 may be displayed on the screen of the user terminal 200, as shown in FIG. 5A. When the user manipulates the posture or position of the user terminal 200 and the predetermined text (for example, paris) 510 is photographed as shown in FIG. 5B, the user terminal 200 displays the predetermined text 510 And transmits the predetermined text 510 to the server 100 to request the transmission of the VR image related thereto. The terminal 200 transmits the image of the object or the building to the server 100 and notifies the transmission request of the VR image related thereto .

서버(100)는 paris라는 텍스트가 수신되면(또는 기 설정된 사물, 건축물의 영상이 수신되면), 파리와 관련된 제 1 VR 영상을 사용자 단말(200)로 전송할 수 있다. 구현예에 따라서, 도 5b와 같은 텍스트 인식 과정 및 텍스트 전송에 따른 VR 영상의 전송 요청 과정은 생략될 수도 있다.The server 100 may transmit the first VR image associated with the Paris to the user terminal 200 when the text paris is received (or a preset object or image of the building is received). According to the embodiment, the text recognition process and the transmission request process of the VR image according to the text transmission as shown in FIG. 5B may be omitted.

제 1 VR 영상을 수신한 사용자 단말(200)은 도 5c에 도시된 바와 같이, 사용자 단말(200)에 표시되는 영상 중에 가상체(520)를 표시한다. 가상체(520)는 제 1 VR 영상을 사용자 단말(200)의 화면에 표시하기 위한 일종의 아이콘에 해당할 수 있는데, 도 5c와 같이, 원의 형태를 가질 수 있고, 도어(문)의 형태를 가질 수도 있다. 가상체(520)의 내부에는 제 1 VR 영상의 일부(530)가 표시될 수 있으며, 사용자는 가상체(520)를 통해 제 1 VR 영상을 감상할 수 있다는 것을 인지할 수 있다.5C, the user terminal 200 receiving the first VR image displays a hypothetical object 520 in an image displayed on the user terminal 200. The virtual body 520 may correspond to a kind of icon for displaying the first VR image on the screen of the user terminal 200. The virtual body 520 may have a circle shape as shown in FIG. . A portion 530 of the first VR image may be displayed inside the virtual body 520, and the user may recognize that the first VR image can be viewed through the virtual body 520.

사용자 단말(200)은 사용자의 조작에 따라 카메라에 의해 촬영되고 있는 영상 대신 제 1 VR 영상을 도 5d와 같이 표시한다. 상기 사용자의 조작은 사용자 단말(200)의 위치 변경 또는 가상체(520)에 대한 터치 입력 등을 포함할 수 있다. 구체적으로, 사용자가 사용자 단말(200)을 소지한 채 가상체(520) 쪽으로 이동하면 사용자 단말(200)은 카메라 영상 대신 제 1 VR 영상을 화면에 표시할 수 있고, 사용자가 가상체(520)를 터치한 경우 카메라 영상 대신 제 1 VR 영상을 화면에 표시할 수도 있다.The user terminal 200 displays the first VR image instead of the image being photographed by the camera according to the user's operation as shown in FIG. 5D. The manipulation of the user may include a change of the position of the user terminal 200 or a touch input to the virtual body 520. The user terminal 200 can display the first VR image on the screen instead of the camera image and the user can view the virtual VR image 520 on the screen, The first VR image may be displayed on the screen instead of the camera image.

사용자 단말(200)에 표시된 제 1 VR 영상 내에도 가상체가 표시될 수 있는데, 해당 가상체에 대한 사용자의 조작에 따라 사용자 단말(200)은 제 1 VR 영상 대신 카메라에 의해 촬영되고 있는 영상을 화면에 표시할 수 있다.A virtual object can also be displayed in the first VR image displayed on the user terminal 200. The user terminal 200 can display an image photographed by the camera instead of the first VR image on the screen Can be displayed.

도 6은 본 발명의 일 실시예에 따른 서버(100)의 구성을 도시하는 블록도이다.6 is a block diagram showing a configuration of the server 100 according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 메모리(610), 통신부(630) 및 제어부(650)를 포함할 수 있다. 메모리(610), 통신부(630) 및 제어부(650)는 프로세서로 구현될 수 있으며, 메모리(610)에 저장된 프로그램에 따라 동작할 수 있다.Referring to FIG. 6, a server 100 according to an embodiment of the present invention may include a memory 610, a communication unit 630, and a control unit 650. The memory 610, the communication unit 630, and the control unit 650 may be implemented as a processor, and may operate according to a program stored in the memory 610.

메모리(610)는 복수의 VR 카메라(10)의 위치 정보를 복수의 VR 카메라(10) 각각에 의해 촬영된 복수의 VR 영상에 매핑시켜 저장한다. 또한, 메모리(610)는 사용자 단말(200)의 위치 정보도 저장할 수 있다.The memory 610 maps the position information of the plurality of VR cameras 10 to a plurality of VR images photographed by each of the plurality of VR cameras 10 and stores the information. The memory 610 may also store location information of the user terminal 200. [

통신부(630)는 사용자 단말(200)과의 통신을 통해 사용자 단말(200)과 데이터를 송수신한다. 구체적으로, 통신부(630)는 사용자 단말(200)로부터 VR 영상의 전송 요청을 수신하고, 상기 전송 요청에 따라, 상기 복수의 VR 카메라(10) 중 어느 하나의 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 사용자 단말(200)로 전송한다.The communication unit 630 transmits and receives data to and from the user terminal 200 through communication with the user terminal 200. Specifically, the communication unit 630 receives a request for transmission of a VR image from the user terminal 200, and, in response to the transmission request, transmits, to the first VR camera 10, 1 VR image to the user terminal 200.

제어부(650)는 메모리(610) 및 통신부(630)의 동작을 제어한다. 구체적으로, 제어부(650)는 사용자 단말(200)의 위치 변경에 따라 제 1 VR 영상과 적어도 하나의 제 2 VR 영상에 기초하여, 변환 VR 영상을 생성한다. 변환 VR 영상은 통신부(630)를 통해 사용자 단말(200)로 전송될 수 있다.The control unit 650 controls operations of the memory 610 and the communication unit 630. Specifically, the control unit 650 generates a converted VR image based on the first VR image and the at least one second VR image in accordance with the change of the position of the user terminal 200. [ The converted VR image may be transmitted to the user terminal 200 through the communication unit 630.

제어부(650)는 제 1 VR 영상과의 합성 대상인 적어도 하나의 제 2 VR 영상을 선택하기 위해, 사용자 단말(200)이 이동한 위치를 고려하여 적어도 하나의 제 2 VR 카메라를 선택한다. 제어부(650)는 사용자 단말(200)이 이동한 위치로부터 가장 근접한 적어도 하나의 제 2 VR 카메라, 또는 사용자 단말(200)이 이동한 위치로부터 소정 거리 내에 위치하는 적어도 하나의 제 2 VR 카메라를 선택할 수 있다.The control unit 650 selects at least one second VR camera in consideration of the position where the user terminal 200 has moved to select at least one second VR image to be combined with the first VR image. The control unit 650 may select at least one second VR camera that is closest to the position where the user terminal 200 moved or at least one second VR camera that is located within a predetermined distance from the position where the user terminal 200 moved .

한편, 위에서 설명한 실시예에서는 서버(100)가 제 1 VR 영상과 적어도 하나의 제 2 VR 영상을 합성하여 변환 VR 영상을 생성하는 것으로 설명하였는데, 구현예에 따라서, 서버(100)는 적어도 하나의 제 2 VR 영상을 사용자 단말(200)로 전송하고, 사용자 단말(200)이 직접 제 1 VR 영상과 적어도 하나의 제 2 VR 영상을 합성하여 변환 VR 영상을 생성할 수도 있다. In the above-described embodiment, the server 100 generates the converted VR image by combining the first VR image and the at least one second VR image. According to an embodiment, the server 100 may include at least one The second VR image may be transmitted to the user terminal 200 and the user terminal 200 may synthesize the first VR image and the at least one second VR image directly to generate the converted VR image.

또한, 서버(100) 또는 사용자 단말(200)은 제 1 VR 영상과 적어도 하나의 제 2 VR 영상을 합성하여 변환 VR 영상을 생성하는데 있어, GPU(graphics processing unit) 프로세서를 이용하여 더욱 신속하게 변환 VR 영상을 생성할 수도 있다.In addition, the server 100 or the user terminal 200 may convert the first VR image and the at least one second VR image more quickly by using a graphics processing unit (GPU) VR images may be generated.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.Meanwhile, the embodiments of the present invention described above can be written in a program that can be executed in a computer, and the created program can be stored in a medium.

매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The medium may be one that continues to store computer executable programs, or temporarily store them for execution or download. In addition, the medium may be a variety of recording means or storage means in the form of a combination of a single hardware or a plurality of hardware, but is not limited to a medium directly connected to a computer system, but may be dispersed on a network. Examples of the medium include a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, And program instructions including ROM, RAM, flash memory, and the like. As another example of the medium, a recording medium or a storage medium managed by a site or a server that supplies or distributes an application store or various other software to distribute the application may be mentioned.

이상, 본 발명의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Various modifications and variations are possible.

10: VR 카메라
100: 서버
200: 사용자 단말
610: 메모리
630: 통신부
650: 제어부10: VR camera
100: Server
200: user terminal
610: Memory
630:
650:

Claims (10)

복수의 VR 카메라의 위치 정보를 상기 복수의 VR 카메라 각각에 의해 촬영된 복수의 VR 영상에 매핑시켜 저장하는 단계;
사용자 단말로부터 VR 영상의 전송 요청을 수신하는 단계;
상기 전송 요청에 따라, 상기 복수의 VR 카메라 중 어느 하나의 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계; 및
상기 사용자 단말의 위치 변경에 따라 상기 제 1 VR 영상과 적어도 하나의 제 2 VR 영상에 기초하여 생성된 변환 VR 영상을 상기 사용자 단말로 전송하는 단계를 포함하는 것을 특징으로 하는, 서버에 의한 실감형 VR 영상의 제공 방법.
Mapping location information of a plurality of VR cameras to a plurality of VR images photographed by each of the plurality of VR cameras and storing the same;
Receiving a request for transmission of a VR image from a user terminal;
Transmitting a first VR image photographed by a first VR camera of any one of the plurality of VR cameras to the user terminal according to the transmission request; And
And transmitting the converted VR image generated based on the first VR image and the at least one second VR image to the user terminal according to the change of the position of the user terminal. A method of providing VR images.
제1항에 있어서,
상기 실감형 VR 영상의 제공 방법은,
상기 변환 VR 영상을 상기 사용자 단말로 전송하기 전에, 상기 사용자 단말이 이동한 위치를 고려하여, 상기 적어도 하나의 제 2 VR 영상을 촬영한 적어도 하나의 제 2 VR 카메라를 결정하는 단계를 더 포함하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
The method according to claim 1,
The method of providing realistic VR images includes:
Determining at least one second VR camera that has photographed the at least one second VR image, taking into account the location where the user terminal has moved before transmitting the converted VR image to the user terminal Wherein the VR image is a still image.
제2항에 있어서,
상기 적어도 하나의 제 2 VR 카메라를 결정하는 단계는,
상기 사용자 단말의 최초 위치를 상기 제 1 VR 카메라의 위치에 대응시키고, 제 1 VR 카메라의 위치를 중심으로 상기 사용자 단말이 이동한 위치와 소정 거리 이내에 위치하는 상기 적어도 하나의 제 2 VR 카메라를 결정하는 단계를 포함하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
3. The method of claim 2,
Wherein determining the at least one second VR camera comprises:
Determining the at least one second VR camera located within a predetermined distance from a position at which the user terminal has moved about the position of the first VR camera, associating the initial position of the user terminal with the position of the first VR camera, The method comprising the steps of:
제1항에 있어서,
상기 변환 VR 영상을 상기 사용자 단말로 전송하는 단계는,
상기 사용자 단말의 이동 방향 및 이동 거리를 기초로, 상기 제 1 VR 영상과 상기 적어도 하나의 제 2 VR 영상을 합성하여 상기 변환 VR 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
The method according to claim 1,
Wherein the transmitting the transformed VR image to the user terminal comprises:
And generating the converted VR image by combining the first VR image and the at least one second VR image based on the moving direction and the moving distance of the user terminal, Delivery method.
제1항에 있어서,
상기 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계는,
상기 제 1 VR 영상의 패킷들을 스트리밍 방식으로 상기 사용자 단말로 전송하는 단계를 포함하되,
상기 변환 VR 영상을 상기 사용자 단말로 전송하는 단계는,
상기 사용자 단말의 위치 변경에 따라 상기 제 1 VR 영상의 패킷들 대신 상기 변환 VR 영상의 패킷들을 스트리밍 방식으로 상기 사용자 단말로 전송하는 단계를 포함하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
The method according to claim 1,
Wherein the transmitting the first VR image to the user terminal comprises:
Transmitting the packets of the first VR video stream to the user terminal in a streaming manner,
Wherein the transmitting the transformed VR image to the user terminal comprises:
And transmitting packets of the transformed VR image to the user terminal in a streaming manner instead of packets of the first VR image according to a change of the position of the user terminal.
제1항에 있어서,
상기 변환 VR 영상은,
상기 사용자 단말이 이동한 위치의 가상 VR 카메라에 의해 촬영된 VR 영상에 대응하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
The method according to claim 1,
The transformed VR image,
Wherein the VR image corresponds to a VR image captured by a virtual VR camera at a position where the user terminal has moved.
제1항에 있어서,
상기 사용자 단말의 화면에는,
상기 사용자 단말의 카메라에 의해 촬영되고 있는 영상이 표시되고 있는 상태에서, 상기 영상 중에 가상체가 함께 표시되되, 상기 가상체에 대한 사용자의 조작에 따라 상기 카메라에 의해 촬영되고 있는 영상 대신 상기 제 1 VR 영상이 표시되는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
The method according to claim 1,
Wherein the screen of the user terminal comprises:
Wherein a virtual object is displayed together with the image being photographed by the camera of the user terminal, wherein the first VR is displayed in place of the image photographed by the camera in accordance with the user's operation on the virtual object, And displaying an image on the display unit.
제7항에 있어서,
상기 사용자의 조작은,
상기 사용자 단말의 위치 변경 또는 상기 화면에 대한 터치를 포함하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
8. The method of claim 7,
The operation of the user,
And changing the position of the user terminal or touching the screen.
제1항에 있어서,
상기 사용자 단말로부터 VR 영상의 전송 요청을 수신하는 단계는,
상기 사용자 단말의 카메라에 의해 촬영되고 있는 영상 중에서 식별된 텍스트, 사물 및 건축물 중 적어도 하나를 상기 사용자 단말로부터 수신하는 단계를 포함하고,
상기 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계는,
상기 수신된 텍스트, 사물 및 건축물 중 적어도 하나에 대응하는 상기 제 1 VR 영상을 상기 사용자 단말로 전송하는 단계를 포함하는 것을 특징으로 하는 실감형 VR 영상의 제공 방법.
The method according to claim 1,
Wherein the step of receiving a request for transmission of a VR image from the user terminal comprises:
And receiving from the user terminal at least one of the identified text, objects, and architecture among the images being photographed by the camera of the user terminal,
Wherein the transmitting the first VR image to the user terminal comprises:
And transmitting the first VR image corresponding to at least one of the received text, objects and buildings to the user terminal.
복수의 VR 카메라의 위치 정보를 상기 복수의 VR 카메라 각각에 의해 촬영된 복수의 VR 영상에 매핑시켜 저장하는 메모리;
사용자 단말로부터 VR 영상의 전송 요청을 수신하고, 상기 전송 요청에 따라, 상기 복수의 VR 카메라 중 어느 하나의 제 1 VR 카메라에 의해 촬영된 제 1 VR 영상을 상기 사용자 단말로 전송하는 통신부; 및
상기 사용자 단말의 위치 변경에 따라 상기 제 1 VR 영상과 적어도 하나의 제 2 VR 영상에 기초하여, 변환 VR 영상을 생성하는 제어부를 포함하되,
상기 통신부는, 상기 사용자 단말의 위치 변경에 따라 상기 변환 VR 영상을 상기 사용자 단말로 전송하는 것을 특징으로 하는 서버 장치.A memory for mapping the position information of a plurality of VR cameras to a plurality of VR images photographed by each of the plurality of VR cameras;
A communication unit for receiving a request for transmission of a VR image from a user terminal and transmitting a first VR image photographed by a first VR camera of any one of the plurality of VR cameras to the user terminal according to the transmission request; And
And a controller for generating a converted VR image based on the first VR image and the at least one second VR image according to the position change of the user terminal,
Wherein the communication unit transmits the converted VR image to the user terminal according to a change in the location of the user terminal.
KR1020180003851A 2018-01-11 2018-01-11 Method and server for providing realistic virtual reality image KR20190085681A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180003851A KR20190085681A (en) 2018-01-11 2018-01-11 Method and server for providing realistic virtual reality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180003851A KR20190085681A (en) 2018-01-11 2018-01-11 Method and server for providing realistic virtual reality image

Publications (1)

Publication Number Publication Date
KR20190085681A true KR20190085681A (en) 2019-07-19

Family

ID=67511995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180003851A KR20190085681A (en) 2018-01-11 2018-01-11 Method and server for providing realistic virtual reality image

Country Status (1)

Country Link
KR (1) KR20190085681A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114762353A (en) * 2019-11-29 2022-07-15 株式会社阿尔法空间 Device and method for playing virtual reality images input by multiple cameras in real time
KR20230028917A (en) 2021-08-23 2023-03-03 조성애 VR image correction system for immersive experience

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114762353A (en) * 2019-11-29 2022-07-15 株式会社阿尔法空间 Device and method for playing virtual reality images input by multiple cameras in real time
CN114762353B (en) * 2019-11-29 2023-01-24 株式会社阿尔法空间 Device and method for playing virtual reality images input by multiple cameras in real time
KR20230028917A (en) 2021-08-23 2023-03-03 조성애 VR image correction system for immersive experience

Similar Documents

Publication Publication Date Title
US10764626B2 (en) Method and apparatus for presenting and controlling panoramic image, and storage medium
US20160086306A1 (en) Image generating device, image generating method, and program
US9392248B2 (en) Dynamic POV composite 3D video system
WO2015174729A1 (en) Augmented reality providing method and system for providing spatial information, and recording medium and file distribution system
JP7164987B2 (en) Route guidance method and system using video call
US11107184B2 (en) Virtual object translation
WO2019017582A1 (en) Method and system for collecting cloud sourcing-based ar content templates and automatically generating ar content
EP3633497A1 (en) Information processing apparatus, information processing method, and program
KR20160007473A (en) Method, system and recording medium for providing augmented reality service and file distribution system
JP2022507502A (en) Augmented Reality (AR) Imprint Method and System
KR102225175B1 (en) Method and system for navigation using video call
KR20190085681A (en) Method and server for providing realistic virtual reality image
CN112870714B (en) Map display method and device
KR102314782B1 (en) apparatus and method of displaying three dimensional augmented reality
KR102200115B1 (en) System for providing multi-view 360 angle vr contents
KR101964661B1 (en) Sharing system of virtual reality image for reducing traffic
CN113542679B (en) Image playing method and device
Kruppa et al. The virtual room inhabitant–intuitive interaction with intelligent environments
WO2021078182A1 (en) Playback method and playback system
US20210356276A1 (en) Providing video of space to calibrate user location relative to desired destination
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
WO2024070762A1 (en) Information processing device, information processing method, and program
JP7029118B2 (en) Image display method, image display system, and image display program
KR102676846B1 (en) Operation method for dome display in a metaverse environment
CN114935975B (en) Virtual reality multi-user interaction method, electronic device and readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application