KR20190003339A - Method and server for controlling video - Google Patents

Method and server for controlling video Download PDF

Info

Publication number
KR20190003339A
KR20190003339A KR1020180064838A KR20180064838A KR20190003339A KR 20190003339 A KR20190003339 A KR 20190003339A KR 1020180064838 A KR1020180064838 A KR 1020180064838A KR 20180064838 A KR20180064838 A KR 20180064838A KR 20190003339 A KR20190003339 A KR 20190003339A
Authority
KR
South Korea
Prior art keywords
user
virtual
image
space
real space
Prior art date
Application number
KR1020180064838A
Other languages
Korean (ko)
Other versions
KR102094772B1 (en
Inventor
김선혁
박정경
설정민
Original Assignee
주식회사 레벨나인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레벨나인 filed Critical 주식회사 레벨나인
Publication of KR20190003339A publication Critical patent/KR20190003339A/en
Application granted granted Critical
Publication of KR102094772B1 publication Critical patent/KR102094772B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a method for controlling a video which can share the same virtual video regardless of a type of virtual video output devices. The method for controlling a video comprises the steps of: (a) obtaining position information of a user present in a real space; (b) matching a position of the user in a virtual space generated to correspond to the real space based on the position information; (c) generating a virtual video for the virtual space by displaying a virtual object related to each user at the position of the user matching the virtual space; and (d) providing the generated virtual video to a video output device.

Description

영상 제어 방법 및 서버{METHOD AND SERVER FOR CONTROLLING VIDEO}METHOD AND SERVER FOR CONTROLLING VIDEO

본 발명은 영상 제어 기술에 관한 것으로서, 타기종의 가상현실 기기 간에 출력되는 영상을 동기화 하고, 가상현실 기기를 착용하고 있는 사용자가 실제로 위치하고 있는 현실공간의 위치를 반영하는 영상 제어 방법 및 서버에 관한 것이다.The present invention relates to an image control technology, and more particularly, to a video control method and a server for synchronizing images output from virtual reality devices of other models and reflecting a position of a real space in which a user wearing a virtual reality device is actually located will be.

현재의 가상현실(Virtual Reality, VR) 영상을 제공하는 기기들의 경우 타 기종간에 같은 가상공간을 공유하기가 매우 어렵고, 헤드 마운티드 디스플레이(Head Mounted Display, HMD)와 같은 가상현실 영상을 제공하는 기기를 착용하고 있는 사용자들의 현실 공간에서의 위치와 가상현실 영상 안에서의 위치가 동기화되지 못하는 문제가 있어 사용자들 간의 충돌과 같은 위험한 상황이 발생하는 문제가 있다. 따라서, 다수의 인원이 동일한 공간 안에서 가상현실 컨텐츠를 체험하는 경우에 다수의 인원이 보고 있는 가상현실 영상의 동기화가 필요하고 가상현실 영상 내에서의 체험이 실제로도 반영이 되도록 하는 것이 필요하다.It is very difficult to share the same virtual space among other types of devices in the case of present virtual reality (VR) image providing devices, and devices providing virtual reality images such as a head mounted display (HMD) There is a problem that the wearer's position in the real space and the position in the virtual reality image can not be synchronized with each other, resulting in dangerous situations such as collision between users. Therefore, it is necessary to synchronize the virtual reality images viewed by a large number of people when a plurality of people experience the virtual reality contents in the same space, and it is necessary that the experiences in the virtual reality images are actually reflected.

한국공개특허 제10-2012-0013021호Korean Patent Publication No. 10-2012-0013021

본 발명의 목적은 현실공간에 배치된 레이저, 마이크, 또는 영상촬영장치로부터 획득되는 데이터를 기초로 각 사용자들의 위치를 획득하여 가상공간에 대한 가상영상에 반영하고, 해당 가상영상을 사용자가 착용하고 있는 헤드 마운티드 디스플레이 또는 현실공간에 설치된 프로젝터에 제공하여, 헤드 마운티드 디스플레이를 착용하고 있는 사용자 및 착용하고 있지 않은 사용자 모두가 동일한 가상영상에 대한 체험이 가능하도록 하는 영상 제어 방법 및 서버를 제공하는데 있다. An object of the present invention is to acquire the position of each user based on data obtained from a laser, a microphone, or a video photographing apparatus disposed in a physical space, to reflect the virtual camera on a virtual image of a virtual space, The present invention provides a video control method and a server that enable a user who wears a head-mounted display and a user who does not wear the same to experience the same virtual image.

상기 목적을 달성하기 위한 본 발명의 제1 측면은, 영상 제어 방법으로서, (a) 현실공간에 위치하고 있는 사용자의 위치정보를 획득하는 단계; (b) 상기 위치정보를 기초로, 상기 현실공간에 대응되도록 생성된 가상공간에 상기 사용자의 위치를 매칭시키는 단계; (c) 상기 가상공간에 매칭된 상기 사용자의 위치에 각 사용자와 연관된 가상객체를 표시하여 상기 가상공간에 대한 가상영상을 생성하는 단계; 및 (d) 상기 생성된 가상영상을 영상출력장치에 제공하는 단계를 포함한다.According to a first aspect of the present invention, there is provided an image control method comprising the steps of: (a) acquiring location information of a user located in a real space; (b) matching the position of the user with the virtual space created to correspond to the real space based on the position information; (c) displaying a virtual object associated with each user at a location of the user matched with the virtual space to generate a virtual image of the virtual space; And (d) providing the generated virtual image to a video output apparatus.

바람직하게, 상기 (a) 단계는 상기 현실공간에 배치된 레이저 장치, 마이크 장치, 또는 영상촬영장치로부터 상기 사용자의 위치에 대한 정보를 획득하여, 각 사용자에 대한 위치좌표를 산출하는 단계를 포함할 수 있다.Preferably, the step (a) includes acquiring information on the position of the user from the laser device, the microphone device, or the image photographing device disposed in the real space, and calculating position coordinates for each user .

바람직하게, 상기 (b) 단계는 상기 각 사용자에 대한 위치좌표와 상기 가상공간의 위치좌표를 매칭시켜 상기 각 사용자의 가상공간 상의 위치를 결정하는 단계를 포함할 수 있다.Preferably, the step (b) may include a step of determining a position on the virtual space of each user by matching position coordinates of the user with position coordinates of the virtual space.

바람직하게, 상기 (d) 단계는 상기 영상출력장치가, 상기 사용자 중 적어도 하나의 사용자가 착용하고 있는 헤드마운티드 디스플레이에 해당하는 경우에는, 상기 헤드마운티드 디스플레이를 착용하고 있는 사용자의 위치 및 시점에 따라, 상기 헤드마운티드 디스플레이를 통하여 출력될 가상영상의 시점을 조절하는 단계를 더 포함할 수 있다.Preferably, in the step (d), when the video output apparatus corresponds to a head-mounted display worn by at least one user of the user, And adjusting a viewpoint of a virtual image to be output through the head-mounted display.

바람직하게, 상기 (d) 단계는 상기 영상출력장치가, 상기 현실공간에 가상영상을 출력시키기 위한 프로젝터에 해당하는 경우에는, 기설정된 시점방향에 따라 상기 프로젝터를 통하여 출력될 가상영상의 시점을 조절하는 단계를 더 포함하되, 상기 프로젝터는 상기 현실공간의 전면, 바닥, 좌측, 및 우측에 가상영상을 출력할 수 있다.Preferably, in the step (d), when the image output apparatus corresponds to a projector for outputting a virtual image in the real space, the step (d) adjusts a viewpoint of a virtual image to be outputted through the projector according to a predetermined view direction Wherein the projector is capable of outputting virtual images on the front, bottom, left, and right sides of the physical space.

상기 목적을 달성하기 위한 본 발명의 제2 측면은, 영상 제어 서버로서, 현실공간에 위치하고 있는 사용자의 위치정보를 획득하는 위치정보 획득부; 상기 위치정보를 기초로, 상기 현실공간에 대응되도록 생성된 가상공간에 상기 사용자의 위치를 매칭시키는 위치 매칭부; 상기 가상공간에 매칭된 상기 사용자의 위치에 각 사용자와 연관된 가상객체를 표시하여 상기 가상공간에 대한 가상영상을 생성하는 영상 생성부; 및 상기 생성된 가상영상을 영상출력장치에 제공하는 영상 제공부를 포함한다.According to a second aspect of the present invention, there is provided an image control server, comprising: a position information obtaining unit for obtaining position information of a user located in a real space; A position matching unit for matching a position of the user with a virtual space generated to correspond to the real space based on the position information; An image generating unit displaying a virtual object associated with each user at a position of the user matched with the virtual space to generate a virtual image of the virtual space; And an image providing unit for providing the generated virtual image to the image output apparatus.

바람직하게, 상기 위치정보 획득부는 상기 현실공간에 배치된 레이저 장치, 마이크 장치, 또는 영상촬영장치로부터 상기 사용자의 위치에 대한 정보를 획득하여, 각 사용자에 대한 위치좌표를 산출할 수 있다.Preferably, the position information obtaining unit obtains information on the position of the user from the laser device, the microphone device, or the image photographing device arranged in the real space, and calculates the position coordinates for each user.

바람직하게, 상기 위치 매칭부는 상기 각 사용자에 대한 위치좌표와 상기 가상공간의 위치좌표를 매칭시켜 상기 각 사용자의 가상공간 상의 위치를 결정할 수 있다.Preferably, the location matching unit may determine a location on the virtual space of each user by matching the location coordinates of the user with the location coordinates of the virtual space.

바람직하게, 상기 영상출력장치에 제공될 가상영상의 시점을 조정하는 영상 시점 조정부를 더 포함할 수 있다.The apparatus may further include an image viewpoint adjusting unit for adjusting a viewpoint of a virtual image to be provided to the image output apparatus.

바람직하게, 상기 영상 시점 조정부는 상기 영상출력장치가, 상기 사용자 중 적어도 하나의 사용자가 착용하고 있는 헤드마운티드 디스플레이에 해당하는 경우에는, 상기 헤드마운티드 디스플레이를 착용하고 있는 사용자의 위치 및 시점에 따라, 상기 헤드마운티드 디스플레이를 통하여 출력될 가상영상의 시점을 조절할 수 있다.Preferably, when the video output device corresponds to a head-mounted display worn by at least one user of the user, the image-point-of-view adjustment unit adjusts the image-view point according to a position and a time point of a user wearing the head- The viewpoint of the virtual image to be output through the head-mounted display can be adjusted.

바람직하게, 상기 영상 시점 조정부는 상기 영상출력장치가, 상기 현실공간에 가상영상을 출력시키기 위한 프로젝터에 해당하는 경우에는, 기설정된 시점방향에 따라 상기 프로젝터를 통하여 출력될 가상영상의 시점을 조절하되, 상기 프로젝터는 상기 현실공간의 전면, 바닥, 좌측, 및 우측에 가상영상을 출력할 수 있다.Preferably, the image-point-of-view adjustment unit adjusts a viewpoint of a virtual image to be output through the projector according to a predetermined viewing direction when the image output apparatus corresponds to a projector for outputting a virtual image in the real space , The projector can output virtual images on the front, bottom, left, and right sides of the physical space.

상기한 바와 같이 본 발명에 의하면, 가상영상을 출력하는 기기의 종류에 상관없이 동일한 가상영상을 공유할 수 있고, 현실공간과 가상영상 내에서의 사용자의 위치를 동기화시키므로, 동일한 공간안에서 다수의 사용자들이 가상영상을 이용한 체험을 수행하는 경우에 사용자들 간의 인터랙션 및 현실공간 과의 인터랙션이 가능한 효과가 있다.As described above, according to the present invention, the same virtual image can be shared regardless of the types of devices outputting the virtual image, and the positions of the users in the real space and the virtual image are synchronized, There is an effect that the interaction between the users and the interaction with the real space can be performed.

도 1은 본 발명의 바람직한 실시예에 따른 영상 제어 시스템에 대한 구성도이다.
도 2는 일 실시예에 따른 영상 제어 서버에 대한 블록도이다.
도 3은 일 실시예에 따른 영상 제어 방법을 나타내는 흐름도이다.1 is a block diagram of an image control system according to a preferred embodiment of the present invention.
2 is a block diagram of an image control server according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating an image control method according to an exemplary embodiment.

이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will be more apparent from the following detailed description taken in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification. "And / or" include each and every combination of one or more of the mentioned items.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, components and / or sections, it is needless to say that these elements, components and / or sections are not limited by these terms. These terms are only used to distinguish one element, element or section from another element, element or section. Therefore, it goes without saying that the first element, the first element or the first section mentioned below may be the second element, the second element or the second section within the technical spirit of the present invention.

또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Also, in each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, Unless the order is described, it may happen differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 바람직한 실시예에 따른 영상 제어 시스템에 대한 구성도이다.1 is a block diagram of an image control system according to a preferred embodiment of the present invention.

도 1을 참조하면, 영상 제어 시스템(100)은 영상출력장치(110), 영상 제어 서버(120), 레이저 장치(130), 마이크 장치(140), 영상촬영장치(150)를 포함한다.1, the image control system 100 includes an image output apparatus 110, an image control server 120, a laser apparatus 130, a microphone apparatus 140, and a photographing apparatus 150.

영상출력장치(110)는 가상공간에 대한 가상현실 영상인 가상영상을 출력하는 장치이다. 바람직하게, 영상출력장치(110)는 사용자가 직접 착용 가능한 형태의 기기, 예를 들어, 헤드 마운티드 디스플레이(HMD)일 수 있고, 가상영상을 출력할 수 있는 기기, 예를 들어, 프로젝터, PC, 모바일 단말일 수 있다. 여기에서, 영상출력장치(110)는 제한된 특정한 현실공간 내에 위치되고, 그 개수에는 제한이 없다.The video output apparatus 110 is a device for outputting a virtual image which is a virtual reality image for a virtual space. Preferably, the image output device 110 may be a device that can be directly worn by a user, for example, a head-mounted display (HMD), and may be a device capable of outputting virtual images, Mobile terminal. Here, the video output apparatus 110 is located within a limited specific physical space, and the number of the video output apparatuses 110 is not limited.

영상 제어 서버(120)는 가상영상을 생성하여 제공하는 장치이다. 바람직하게, 영상 제어 서버(120)는 각 영상출력장치(110), 레이저 장치(130), 마이크 장치(140), 영상촬영장치(150)와 연결되어, 동일한 현실공간 내에 위치하고 있는 사용자들의 위치를 반영한 가상영상을 생성하고, 생성된 가상영상을 각 영상출력장치(110)에 제공할 수 있다. The image control server 120 is a device for generating and providing a virtual image. Preferably, the image control server 120 is connected to each of the video output device 110, the laser device 130, the microphone device 140, and the image capturing device 150 to determine the position of users located in the same physical space And may provide the generated virtual image to each image output apparatus 110. [0050] FIG.

레이저 장치(130), 마이크 장치(140), 및 영상촬영장치(150) 각각은 현실공간에 설치되고, 현실공간에 위치하고 있는 각 사용자의 위치를 결정하기 위한 정보를 획득하여 영상 제어 서버(120)에 제공한다. 바람직하게, 레이저 장치(130), 마이크 장치(140), 및 영상촬영장치(150) 중 적어도 한 종류의 장치만이 현실공간에 배치될 수도 있고, 현실공간에 배치되는 해당 장치의 개수에는 제한이 없다. Each of the laser device 130, the microphone device 140 and the image capturing device 150 is installed in the real space and acquires information for determining the position of each user located in the real space, . Preferably, only the device of at least one of the laser device 130, the microphone device 140, and the image capturing device 150 may be arranged in the real space, and the number of the devices arranged in the real space is limited none.

도 2는 일 실시예에 따른 영상 제어 서버에 대한 블록도이다.2 is a block diagram of an image control server according to an exemplary embodiment of the present invention.

도 2를 참조하면, 영상 제어 서버(120)는 위치정보 획득부(210), 위치 매칭부(220), 영상 생성부(230), 영상 제공부(240), 및 제어부(250)를 포함한다. 제어부(250)는 위치정보 획득부(210), 위치 매칭부(220), 영상 생성부(230), 및 영상 제공부(240)의 동작 및 데이터의 흐름을 제어한다. 이하에서는, 도 3을 참조하여, 영상 제어 서버(120)에서 수행되는 영상 제어 방법에 대하여 보다 구체적으로 설명한다.2, the image control server 120 includes a position information obtaining unit 210, a position matching unit 220, an image generating unit 230, an image providing unit 240, and a controller 250 . The control unit 250 controls the operation of the location information obtaining unit 210, the location matching unit 220, the image generating unit 230, and the image providing unit 240 and the flow of data. Hereinafter, with reference to FIG. 3, an image control method performed by the image control server 120 will be described in more detail.

본 발명에 따른 영상 제어 방법은, 제한된 공간인 특정한 현실공간에 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)가 설치되어 있고, 해당 현실공간의 벽면에 가상영상을 투사하기 위한 영상출력장치(예를 들어, 프로젝터)가 설치되어 있고, 가사영상을 출력하는 영상출력장치(예를 들어, HMD)를 착용하고 있는 사용자 및 착용하고 있지 않은 사용자가 해당 현실공간에 위치하고 있는 환경에서 수행된다. The image control method according to the present invention includes the laser device 130, the microphone device 140, or the image capturing device 150 in a specific real space having a limited space, and projects a virtual image on a wall surface of the real space A user wearing a video output device (for example, an HMD) for outputting a lyric image and a user who is not wearing the video output device (for example, a projector) Environment.

먼저, 영상 제어 서버(120)는 특정한 현실공간에 대응되는 가상공간을 구축하고, 가상공간에 대한 가상영상을 생성하여 영상출력장치(110)에 제공한다. First, the image control server 120 constructs a virtual space corresponding to a specific real space, generates a virtual image for the virtual space, and provides the virtual image to the image output apparatus 110.

도 3을 참조하면, 위치정보 획득부(210)는 현실공간에 위치하고 있는 사용자의 위치정보를 획득한다(단계 S310). 바람직하게, 위치정보 획득부(210)는 현실공간에 배치된 레이저 장치(130) 또는 마이크 장치(140)로부터 각 사용자까지의 거리 및 방위각에 대한 정보, 또는 영상촬영장치(150)로부터 깊이값, 및 영상에서의 컴퓨터 비전 데이터에 대한 정보를 획득하여 현실공간에 위치하고 있는 사용자의 인원 및 위치를 결정할 수 있다. Referring to FIG. 3, the location information obtaining unit 210 obtains location information of a user located in the real space (step S310). The position information obtaining unit 210 may obtain information on the distance and the azimuth angle from the laser device 130 or the microphone device 140 disposed in the physical space to each user or the depth value, And information on the computer vision data in the image, thereby determining the number and position of the user located in the real space.

보다 구체적으로, 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150) 각각의 신호원으로부터 발생된 신호가 목표물에 해당하는 사용자로부터 반사되어오면, 위치정보 획득부(210)는 반사된 신호의 위상변화값을 기초로 신호를 발생시킨 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)와 사용자간의 거리를 측정한다. 여기에는 TOF(Time of Flight) 방식이 이용될 수 있다. 그 다음, 위치 정보 획득부(210)는 측정된 거리와 신호를 발생시킨 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)가 설치된 위치에서의 방위각을 기초로 삼각측량(triangulation) 방식을 이용하여 사용자의 위치를 결정할 수 있다.More specifically, when a signal generated from a signal source of each of the laser device 130, the microphone device 140, and the image pickup device 150 is reflected from a user corresponding to the target, the positional information obtaining section 210 obtains The distance between the laser device 130, the microphone device 140, or the image photographing device 150 and the user that has generated the signal based on the phase change value of the reflected signal is measured. A time-of-flight (TOF) scheme may be used. The positional information obtaining unit 210 then calculates the positional information of the laser device 130, the microphone device 140, or the image capturing device 150, based on the measured distance and the azimuth angle at the position where the image capturing device 150 is installed. triangulation method can be used to determine the location of the user.

또는, 위치정보 획득부(210)는 현실공간의 XYZ 평면에 각각 위치하고 있는 복수의 영상촬영장치(150)로부터 획득된 영상들로부터 깊이값을 획득하고, 정지(still)화면들의 RGB값을 획득한다. 여기에서, 영상촬영장치(150)는 깊이카메라(Depth camera)에 해당할 수 있다. 그 다음, 위치정보 획득부(210)는 깊이값, RGB값, 기설정된 화면 내의 기준점, 영상촬영장치(150)의 화각을 기초로 사용자의 위치를 결정할 수 있다. 즉, 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)가 설치되어 있는 위치는 미리 저장되어 있는바, 위치정보 획득부(210)는 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)의 위치와 그 각각의 장치로부터 사용자까지의 거리를 이용하여 특정 현실공간에서의 사용자의 위치를 결정할 수 있는 것이다.Alternatively, the position information obtaining unit 210 obtains the depth values from the images obtained from the plurality of image capturing apparatuses 150 respectively located in the XYZ plane of the real space, and obtains the RGB values of the still images . Here, the image capturing apparatus 150 may correspond to a depth camera. Then, the positional information obtaining unit 210 can determine the position of the user based on the depth value, the RGB value, the reference point within the preset screen, and the angle of view of the image capturing apparatus 150. That is, the position where the laser device 130, the microphone device 140, or the image capturing device 150 is installed is stored in advance. The position information obtaining unit 210 may be a laser device 130, a microphone device 140 or the position of the image capturing device 150 and the distance from the respective devices to the user can be used to determine the position of the user in a specific real space.

여기에서는, 위치정보 획득부(210)가 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)로부터 획득된 정보를 제공받아 사용자의 위치를 결정하는 것으로 설명하였으나, 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)에서 직접 사용자의 위치가 결정될 수도 있고, 이 경우에는 위치정보 획득부(210)는 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)로부터 결정된 사용자의 위치를 제공받을 수 있다. 또한, 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150) 각각으로부터 획득된 정보를 기초로 사용자의 위치가 결정되거나, 이들 각각으로부터 획득된 정보를 조합하거나 또는 종합하여 사용자의 위치가 결정될 수 있으며, 사용자의 위치를 결정하는 방법은 여기에 제한되지 않는다.Herein, it is described that the position information obtaining unit 210 receives the information obtained from the laser device 130, the microphone device 140, or the image photographing device 150 to determine the position of the user. However, In this case, the position information obtaining unit 210 may be a laser device 130, a microphone device 140, or the like. In this case, The position of the user determined by the image photographing apparatus 150 may be provided. It is also possible to determine the position of the user based on the information obtained from each of the laser device 130, the microphone device 140 and the image photographing device 150, combine the information obtained from each of them, The position can be determined, and the method of determining the position of the user is not limited thereto.

바람직하게, 위치정보 획득부(210)는 사용자의 위치에 대한 정보들을 기초로 현실공간의 특정 벽면을 기초로 거리별로 사용자의 위치에 대한 정보를 필터링하여 사용자의 위치 및 인원을 최종적으로 결정할 수 있다.Preferably, the location information obtaining unit 210 may finally determine the location and the user of the user by filtering information on the user's location by distance based on the specific wall surface of the real space based on the information on the location of the user .

위치 매칭부(220)는 위치정보 획득부(210)를 통하여 결정된 위치정보를 기초로, 현실공간에 대응되도록 생성된 가상공간에 사용자의 위치를 매칭시킨다(단계 S320). 바람직하게, 위치 매칭부(220)는 각 사용자에 대한 위치좌표와 가상공간의 위치좌표를 매칭시켜 각 사용자의 가상공간 상의 위치를 결정할 수 있다.The location matching unit 220 matches the location of the user to the virtual space created to correspond to the real space based on the location information determined through the location information obtaining unit 210 (step S320). Preferably, the location matching unit 220 may determine the location of each user in the virtual space by matching the location coordinates of the user with the location coordinates of the virtual space.

일 실시예에서, 영상 제어 서버(120)는 동작정보 획득부(도면에 도시하지 않음)를 포함할 수 있고, 동작정보 획득부는 현실공간에 위치한 사용자의 동작에 대한 정보를 획득한다. 바람직하게, 사용자가 착용하고 있는 영상출력장치(110)에 해당하는 헤드 마운티드 디스플레이는 착용자의 동작을 파악하는 동작인식장치를 구비할 수 있고, 동작정보 획득부는 동작인식장치로부터 헤드 마운티드 디스플레이를 착용하고 있는 사용자의 동작에 대한 정보를 획득할 수 있다. 또한, 동작정보 획득부는 헤드 마운티드 디스플레이를 착용하고 있는 사용자의 위치 및 방위각을 기초로 해당 착용자와 인터렉션하고 있는 사용자(HMD를 착용하지 않고 프로젝터를 통하여 출력되는 영상을 보고 있는 사용자)의 동작을 추측할 수 있다. 이에 더하여, 영상촬영장치(150)가 3D 카메라인 경우에는 영상촬영장치(150)를 통한 특정 현실공간의 3D 스캐닝이 가능하므로, 동작정보 획득부는 영상촬영장치(150)로부터 촬영된 3D 스캐닝 정보를 기초로 현실공간에 위치하고 있는 사용자의 동작정보를 획득할 수 있고, 레이저 장치(130)가 특정 개수 이상으로 현실공간에 설치되면 레이저 장치(130)를 통한 면적 단위의 스캔이 가능하므로, 동작정보 획득부는 레이저 장치(130)로부터 획득된 면적 단위의 스캔 정보를 기초로 특정 현실공간에 위치하고 있는 사용자의 동작정보를 획득할 수 있다.In one embodiment, the image control server 120 may include an operation information obtaining unit (not shown), and the operation information obtaining unit obtains information on the operation of the user located in the real space. Preferably, the head-mounted display corresponding to the video output device 110 worn by the user may include an operation recognition device for grasping the operation of the wearer, and the operation information obtaining section may wear the head-mounted display from the motion recognition device It is possible to obtain information about the operation of the user. Further, the operation information obtaining unit estimates the operation of a user interacting with the wearer (a user viewing an image output through the projector without wearing the HMD) based on the position and azimuth of the user wearing the head-mounted display . In addition, when the image capturing apparatus 150 is a 3D camera, it is possible to perform 3D scanning of a specific real space through the image capturing apparatus 150, so that the operation information obtaining unit obtains 3D scanning information photographed from the image capturing apparatus 150 It is possible to acquire the operation information of the user located in the real space and to scan the area unit through the laser device 130 when the laser device 130 is installed in a real space with a predetermined number or more, The unit can acquire operation information of a user located in a specific physical space based on the scan information of the area unit obtained from the laser device 130. [

영상 생성부(230)는 가상공간에 매칭된 사용자의 위치에 각 사용자와 연관된 가상객체를 표시하여 가상공간에 대한 가상영상을 생성한다(단계 S330). 바람직하게, 영상 생성부(230)는 각 사용자의 현실공간에서의 위치와 가상영상 내에서의 위치를 동기화 하여 표시하고, 동작정보 획득부로부터 획득된 각 사용자의 동작과 가상객체의 동작을 동기화하여 표시할 수 있다.The image generating unit 230 generates virtual images for the virtual space by displaying the virtual objects associated with the users at the positions of the users matched in the virtual space (step S330). Preferably, the image generating unit 230 synchronously displays the position of each user in the real space and the position in the virtual image, and synchronizes the motion of each user obtained from the motion information obtaining unit with the motion of the virtual object Can be displayed.

영상 제공부(240)는 생성된 가상영상을 영상출력장치에 제공한다(단계 S340). 바람직하게, 영상 제공부(240)를 통하여 가상영상을 제공하기 이전에, 영상 시점 조정부(도면에 도시되지 않음)는 영상출력장치(110)에 제공될 가상영상의 시점을 조정할 수 있다. 즉, 각 사용자의 위치좌표를 기초로 생성된 가상영상은, 제공될 영상출력장치(110)에 따라 시점이 조절된 후 제공되므로, 가상영상과 현실공간의 상태가 보다 정확하게 동기화될 수 있다.The video data providing unit 240 provides the generated virtual image to the video output device (step S340). Preferably, an image viewpoint adjustment unit (not shown) adjusts the viewpoint of the virtual image to be provided to the image output apparatus 110 before providing the virtual image through the image data providing unit 240. That is, since the virtual image generated based on the position coordinates of each user is provided after the view point is adjusted according to the video output device 110 to be provided, the state of the virtual image and the real space can be more accurately synchronized.

일 실시예에서, 영상출력장치(110)가 현실공간에 위치하고 있는 사용자 중 적어도 하나의 사용자가 착용하고 있는 헤드 마운티드 디스플레이(HMD)에 해당하는 경우에는, 영상 시점 조정부는 해당 HMD를 착용하고 있는 사용자의 위치 및 시점방향(사용자가 바라보고 있는 방향)에 따라, HMD를 통하여 출력될 가상영상의 시점을 조절할 수 있다. 바람직하게, HMD는 관성측정장치(IMU)를 구비할 수 있고, 영상 시점 조정부는 관성측정장치로부터 HMD의 방향, 속도, 및 가속도 등에 대한 정보를 제공받아 시점방향을 결정할 수 있다. 다른 실시예에서, 영상출력장치(110)가 현실공간에 설치된 프로젝터에 해당하는 경우에는, 영상 시점 조정부는 기설정된 위치 및 시점방향에 따라 프로젝터를 통하여 출력될 가상영상의 시점을 조절할 수 있다. 여기에서, 프로젝터를 통하여 출력되는 가상영상은 현실공간의 전면, 바닥, 좌측벽, 및 우측벽에 투사될 수 있다.In one embodiment, when the video output device 110 corresponds to a head-mounted display (HMD) worn by at least one user among the users located in the real space, The viewpoint of the virtual image to be output through the HMD can be adjusted according to the position and the view direction (the direction in which the user is looking). Preferably, the HMD may include an inertial measurement unit (IMU), and the image viewpoint adjustment unit may receive information on the direction, speed, and acceleration of the HMD from the inertial measurement device to determine the view direction. In another embodiment, when the image output apparatus 110 corresponds to a projector installed in a real space, the image viewpoint adjustment unit can adjust the viewpoint of a virtual image to be output through the projector according to a predetermined position and a viewpoint direction. Here, the virtual image output through the projector can be projected on the front, bottom, left wall, and right wall of the real space.

바람직하게, 상기에서 설명된 단계 S310 내지 단계 S340은 반복적으로 수행될 수 있다. 즉, 위치정보 획득부(210)는 레이저 장치(130), 마이크 장치(140), 또는 영상촬영장치(150)를 통하여 지속적으로 획득된 정보에 따라 현실공간 내에 위치하고 있는 사용자의 인원 및 위치를 지속적으로 갱신하고, 위치 매칭부(220)는 갱신되는 인원 및 위치를 가상공간상에 매칭시키고, 영상 생성부(230)는 가상공간상에 매칭된 사용자의 인원 및 위치에 따라 가상영상 상의 가상객체의 개수 및 위치를 조정하여 가상영상을 생성하고, 영상 제공부(240)는 영상 시점 조정부를 통하여 시점이 조정된 가상영상을 각 영상출력장치(110)에 제공할 수 있는 것이다.Preferably, steps S310 to S340 described above may be repeatedly performed. That is, the position information obtaining unit 210 may continuously determine the position and the position of the user located in the real space according to the information continuously acquired through the laser device 130, the microphone device 140, or the image photographing device 150 And the position matching unit 220 matches the positions and positions to be updated on the virtual space, and the image generating unit 230 generates the virtual objects on the virtual image according to the position and the position of the user matched on the virtual space. The virtual image is generated by adjusting the number and position of the virtual image, and the image providing unit 240 can provide the virtual image whose viewpoint is adjusted through the image viewpoint adjusting unit to each image output apparatus 110.

또한, 단계 S310 내지 단계 S340의 반복적인 수행에 따라 획득되는 데이터 및 영상은 저장될 수 있고, 본 발명에 따르면 저장된 데이터 및 영상을 제공함에 따라 새로운 사용자가 과거의 가상현실에 반영되어 유사한 경험을 체험할 수 있게 된다. 여기에서, 새로운 사용자가 과거의 가상현실에 반영되는 방법은 상기에서 설명된 방법이 동일하게 적용될 수 있다. 예를 들어, 역사 수업 컨텐츠의 경우에는 미리 구축해 놓은 공간 및 데이터에 학생과 선생님이 참가하여 체험할 수 있고, 콘서트 영상과 같은 컨텐츠의 경우에는 저장된 콘서트 영상에 새로운 사용자가 참가하여 그 현장을 경험할 수 있게 되는 것이다.In addition, data and images obtained in accordance with the repetitive execution of steps S310 to S340 can be stored. According to the present invention, as the stored data and images are provided, a new user is reflected in the past virtual reality, . Here, the method described above can be equally applied to a method in which a new user is reflected in a past virtual reality. For example, in the case of history class contents, students and teachers can participate and experience the space and data that have been constructed in advance. In the case of content such as a concert video, a new user can participate in the stored concert video and experience the scene .

따라서, 본 발명에 의하면, 각 사용자들의 현실공간에서의 위치가 가상영상에 반영되어 HMD로부터 출력되는 가상영상을 보는 사용자 및 프로젝터로부터 출력되는 가상영상을 보는 사용자가 해당 현실공간에 위치하고 있는 모든 사용자들의 위치를 가상영상 내에서 확인할 수 있으므로, 다수의 사용자들이 특정한 현실공간에서 동일한 가상영상을 보면서 서로간의 인터렉션 및 다양한 체험이 가능하도록 할 수 있다.Therefore, according to the present invention, when a user viewing a virtual image output from an HMD and a virtual image output from a projector are reflected in a virtual image of a position of each user in a real space, The location can be confirmed in the virtual image, so that a plurality of users can experience the same interaction and various experiences while viewing the same virtual image in a specific real space.

한편, 본 발명의 일 실시예에 따른 영상 제어 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the image control method according to an embodiment of the present invention can also be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.For example, the computer-readable recording medium includes a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , And optical data storage devices.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.In addition, the computer readable recording medium may be distributed and executed in a computer system connected to a computer communication network, and may be stored and executed as a code readable in a distributed manner.

전술한 본 발명에 따른 영상 제어 방법 및 서버에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.The image control method and server according to the present invention have been described. However, the present invention is not limited to this, and various modifications and changes may be made within the scope of the claims, the detailed description of the invention and the accompanying drawings And this also belongs to the present invention.

100: 영상 제어 시스템
110: 영상출력장치
120: 영상 제어 서버
130: 레이저 장치
140: 마이크 장치
150: 영상촬영장치
210: 위치정보 획득부
220: 위치 매칭부
230: 영상 생성부
240: 영상 제공부100: Image control system
110: Video output device
120: image control server
130: Laser device
140: Microphone device
150:
210: Position information obtaining unit
220: Position matching unit
230:
240:

Claims (12)

(a) 현실공간에 위치하고 있는 사용자의 위치정보를 획득하는 단계;
(b) 상기 위치정보를 기초로, 상기 현실공간에 대응되도록 생성된 가상공간에 상기 사용자의 위치를 매칭시키는 단계;
(c) 상기 가상공간에 매칭된 상기 사용자의 위치에 각 사용자와 연관된 가상객체를 표시하여 상기 가상공간에 대한 가상영상을 생성하는 단계; 및
(d) 상기 생성된 가상영상을 영상출력장치에 제공하는 단계를 포함하는 영상 제어 방법.
(a) acquiring location information of a user located in a real space;
(b) matching the position of the user with the virtual space created to correspond to the real space based on the position information;
(c) displaying a virtual object associated with each user at a location of the user matched with the virtual space to generate a virtual image of the virtual space; And
(d) providing the generated virtual image to a video output device.
제1항에 있어서, 상기 (a) 단계는
상기 현실공간에 배치된 레이저 장치, 마이크 장치, 또는 영상촬영장치로부터 상기 사용자의 위치에 대한 정보를 획득하여, 각 사용자에 대한 위치좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 제어 방법.
The method of claim 1, wherein step (a)
And acquiring information on the position of the user from the laser device, the microphone device, or the image photographing device disposed in the real space, and calculating position coordinates for each user.
제2항에 있어서, 상기 (b) 단계는
상기 각 사용자에 대한 위치좌표와 상기 가상공간의 위치좌표를 매칭시켜 상기 각 사용자의 가상공간 상의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 제어 방법.
3. The method of claim 2, wherein step (b)
And determining a position on the virtual space of each user by matching position coordinates of each user with position coordinates of the virtual space.
제1항에 있어서, 상기 (d) 단계는
상기 영상출력장치가, 상기 사용자 중 적어도 하나의 사용자가 착용하고 있는 헤드마운티드 디스플레이에 해당하는 경우에는, 상기 헤드마운티드 디스플레이를 착용하고 있는 사용자의 위치 및 시점에 따라, 상기 헤드마운티드 디스플레이를 통하여 출력될 가상영상의 시점을 조절하는 단계를 더 포함하는 것을 특징으로 하는 영상 제어 방법.
2. The method of claim 1, wherein step (d)
When the video output device corresponds to a head-mounted display worn by at least one user of the user, the video output device outputs the video output through the head-mounted display according to the position and time of the user wearing the head- Further comprising the step of adjusting a viewpoint of the virtual image.
제1항에 있어서, 상기 (d) 단계는
상기 영상출력장치가, 상기 현실공간에 가상영상을 출력시키기 위한 프로젝터에 해당하는 경우에는, 기설정된 시점방향에 따라 상기 프로젝터를 통하여 출력될 가상영상의 시점을 조절하는 단계를 더 포함하되,
상기 프로젝터는 상기 현실공간의 전면, 바닥, 좌측, 및 우측에 가상영상을 출력하는 것을 특징으로 하는 영상 제어 방법.
2. The method of claim 1, wherein step (d)
When the image output apparatus corresponds to a projector for outputting a virtual image in the real space, adjusting a viewpoint of a virtual image to be outputted through the projector according to a predetermined viewpoint direction,
Wherein the projector outputs virtual images on the front, bottom, left, and right sides of the physical space.
현실공간에 위치하고 있는 사용자의 위치정보를 획득하는 위치정보 획득부;
상기 위치정보를 기초로, 상기 현실공간에 대응되도록 생성된 가상공간에 상기 사용자의 위치를 매칭시키는 위치 매칭부;
상기 가상공간에 매칭된 상기 사용자의 위치에 각 사용자와 연관된 가상객체를 표시하여 상기 가상공간에 대한 가상영상을 생성하는 영상 생성부; 및
상기 생성된 가상영상을 영상출력장치에 제공하는 영상 제공부를 포함하는 영상 제어 서버.
A position information acquiring unit for acquiring position information of a user located in a real space;
A position matching unit for matching a position of the user with a virtual space generated to correspond to the real space based on the position information;
An image generating unit displaying a virtual object associated with each user at a position of the user matched with the virtual space to generate a virtual image of the virtual space; And
And an image providing unit for providing the generated virtual image to a video output apparatus.
제6항에 있어서, 상기 위치정보 획득부는
상기 현실공간에 배치된 레이저 장치, 마이크 장치, 또는 영상촬영장치로부터 상기 사용자의 위치에 대한 정보를 획득하여, 각 사용자에 대한 위치좌표를 산출하는 것을 특징으로 하는 영상 제어 서버.
7. The apparatus of claim 6, wherein the position information obtaining unit
Acquiring information on the position of the user from the laser device, the microphone device, or the image photographing device disposed in the real space, and calculating position coordinates for each user.
제7항에 있어서, 상기 위치 매칭부는
상기 각 사용자에 대한 위치좌표와 상기 가상공간의 위치좌표를 매칭시켜 상기 각 사용자의 가상공간 상의 위치를 결정하는 것을 특징으로 하는 영상 제어 서버.
8. The apparatus of claim 7, wherein the position matching unit
Wherein the position of each user in the virtual space is determined by matching position coordinates of each user with position coordinates of the virtual space.
제6항에 있어서,
상기 영상출력장치에 제공될 가상영상의 시점을 조정하는 영상 시점 조정부를 더 포함하는 것을 특징으로 하는 영상 제어 서버.
The method according to claim 6,
Further comprising an image viewpoint adjustment unit for adjusting a viewpoint of a virtual image to be provided to the image output apparatus.
제9항에 있어서, 상기 영상 시점 조정부는
상기 영상출력장치가, 상기 사용자 중 적어도 하나의 사용자가 착용하고 있는 헤드 마운티드 디스플레이에 해당하는 경우에는, 상기 헤드마운티드 디스플레이를 착용하고 있는 사용자의 위치 및 시점방향에 따라, 상기 헤드마운티드 디스플레이를 통하여 출력될 가상영상의 시점을 조절하는 것을 특징으로 하는 영상 제어 서버.
10. The apparatus of claim 9, wherein the image-point-
Wherein when the video output device corresponds to a head-mounted display worn by at least one user of the user, the video output device outputs, via the head-mounted display, And controls the viewpoint of the virtual image to be displayed.
제9항에 있어서, 상기 영상 시점 조정부는
상기 영상출력장치가, 상기 현실공간에 가상영상을 출력시키기 위한 프로젝터에 해당하는 경우에는, 기설정된 위치 및 시점방향에 따라 상기 프로젝터를 통하여 출력될 가상영상의 시점을 조절하되,
상기 프로젝터는 상기 현실공간의 전면, 바닥, 좌측, 및 우측에 가상영상을 출력하는 것을 특징으로 하는 영상 제어 서버.
10. The apparatus of claim 9, wherein the image-point-
Wherein when the video output device corresponds to a projector for outputting a virtual image in the real space, a viewpoint of a virtual image to be output through the projector is adjusted according to a predetermined position and a viewpoint direction,
Wherein the projector outputs virtual images on the front, bottom, left, and right sides of the physical space.
제1항 내지 제5항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium on which a computer-executable method of any one of claims 1 to 5 is recorded.
KR1020180064838A 2017-06-30 2018-06-05 Method and server for controlling video KR102094772B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170083128 2017-06-30
KR20170083128 2017-06-30

Publications (2)

Publication Number Publication Date
KR20190003339A true KR20190003339A (en) 2019-01-09
KR102094772B1 KR102094772B1 (en) 2020-04-23

Family

ID=65017521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064838A KR102094772B1 (en) 2017-06-30 2018-06-05 Method and server for controlling video

Country Status (1)

Country Link
KR (1) KR102094772B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013021A (en) 2010-08-04 2012-02-14 주식회사 자이닉스 A method and apparatus for interactive virtual reality services
KR20120046991A (en) * 2010-11-03 2012-05-11 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20140082610A (en) * 2014-05-20 2014-07-02 (주)비투지 Method and apaaratus for augmented exhibition contents in portable terminal
KR20150062235A (en) * 2013-11-28 2015-06-08 한국과학기술연구원 Laser-guided head mounted display for augmented reality and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013021A (en) 2010-08-04 2012-02-14 주식회사 자이닉스 A method and apparatus for interactive virtual reality services
KR20120046991A (en) * 2010-11-03 2012-05-11 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20150062235A (en) * 2013-11-28 2015-06-08 한국과학기술연구원 Laser-guided head mounted display for augmented reality and method thereof
KR20140082610A (en) * 2014-05-20 2014-07-02 (주)비투지 Method and apaaratus for augmented exhibition contents in portable terminal

Also Published As

Publication number Publication date
KR102094772B1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
US10990342B2 (en) Multi-viewpoint switched shooting system and method
US11151790B2 (en) Method and device for adjusting virtual reality image
US20220188971A1 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
KR101730737B1 (en) Distance adaptive holographic displaying method and device based on eyeball tracking
JP2022530012A (en) Head-mounted display with pass-through image processing
US10122976B2 (en) Projection device for controlling a position of an image projected on a projection surface
US8743187B2 (en) Three-dimensional (3D) imaging based on MotionParallax
US10638247B2 (en) Audio processing
US10412527B1 (en) Head-related transfer function determination using base stations
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
CN105611267B (en) Merging of real world and virtual world images based on depth and chrominance information
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
US10248842B1 (en) Face tracking using structured light within a head-mounted display
CN110969706B (en) Augmented reality device, image processing method, system and storage medium thereof
JP2018500690A (en) Method and system for generating magnified 3D images
WO2012131862A1 (en) Image-processing device, method, and program
KR102094772B1 (en) Method and server for controlling video
KR101860215B1 (en) Content Display System and Method based on Projector Position
US11310472B2 (en) Information processing device and image generation method for projecting a subject image onto a virtual screen
WO2023040551A1 (en) Method for displaying image on display screen, electronic device, and apparatus
KR20180050126A (en) Method for providing Binocular Augmented Reality
JP2009156955A (en) Video presentation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant