KR101703924B1 - 3d virtual reality system using 3d-spectacles for virtual image display - Google Patents

3d virtual reality system using 3d-spectacles for virtual image display Download PDF

Info

Publication number
KR101703924B1
KR101703924B1 KR1020150133539A KR20150133539A KR101703924B1 KR 101703924 B1 KR101703924 B1 KR 101703924B1 KR 1020150133539 A KR1020150133539 A KR 1020150133539A KR 20150133539 A KR20150133539 A KR 20150133539A KR 101703924 B1 KR101703924 B1 KR 101703924B1
Authority
KR
South Korea
Prior art keywords
virtual reality
server
moving
user
reality glasses
Prior art date
Application number
KR1020150133539A
Other languages
Korean (ko)
Inventor
하태진
Original Assignee
하태진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하태진 filed Critical 하태진
Priority to KR1020150133539A priority Critical patent/KR101703924B1/en
Priority to PCT/KR2016/001893 priority patent/WO2017052008A1/en
Application granted granted Critical
Publication of KR101703924B1 publication Critical patent/KR101703924B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/23238—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

A virtual reality system includes: a server which stores location information of a plurality of panorama cameras which are arranged to take a moving picture at 360 degrees around a subject and the taken moving picture; and virtual reality spectacles which receive the location information from the server, reset a viewing location based on a gazing direction and a calculated moving distance after calculating the moving distance corresponding to a change rate of vibration if the vibration occurs when a user gazes in a direction which the user wants to view, receive the moving picture corresponding to the corresponding viewing location from the server, and play the moving picture. The present invention can change the viewing location by sensing the movement of the user.

Description

관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템{3D VIRTUAL REALITY SYSTEM USING 3D-SPECTACLES FOR VIRTUAL IMAGE DISPLAY}TECHNICAL FIELD [0001] The present invention relates to a virtual reality system including virtual reality glasses capable of changing viewing positions,

본 발명은 가상현실 시스템에 관한 것으로서, 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템에 관한 것이다.The present invention relates to a virtual reality system, and more particularly, to a virtual reality system including virtual reality glasses capable of changing viewing positions.

가상현실은 현실에서 불가능한 경험을 실제처럼 경험할 수 있도록 하는 기술이다. 즉, 가상현실은 시간, 거리, 금액, 건강 등의 이유로 공연장에 직접 가지 않더라도 현장에서 보는 것 같은 경험을 체험할 수 있도록 하여 감동을 극대화 할 수 있다.Virtual reality is a technique that enables people to experience the impossible experience in reality. In other words, virtual reality can maximize the emotion by making it possible to experience experiences that are seen in the field even if the virtual reality does not go directly to the theater due to time, distance, amount of money, and health.

도 1은 종래의 가상현실 시스템의 카메라 촬영 구성도이다.FIG. 1 is a camera configuration diagram of a conventional virtual reality system.

도 1을 참조하면, 기존에는 단일 카메라를 이용하여 360도 파노라마 촬영을 진행한다. 즉, 단일 카메라를 360도 회전시키면서 파노라마 촬영을 하는 방식이다.Referring to FIG. 1, conventionally, a 360-degree panoramic photographing is performed using a single camera. That is, a single camera is rotated 360 degrees and panoramic shooting is performed.

이러한 종래의 촬영방법은, 피사체가 무대와 관중 등을 동시에 포함할 때 적합한 촬영방법이므로, 피사체의 구도에 따라 촬영각도의 한계점이 발생한다.Such a conventional photographing method is a suitable photographing method when the subject includes a stage and a crowd at the same time, so that a limit of the photographing angle is generated according to the composition of the subject.

또한, 하나의 카메라를 회전시키면서 360도를 파노라마 촬영하므로, 특정 시간대에 사용자가 감상하고자 하는 방향이 촬영되지 않아 원하는 장면을 감상하지 못하는 단점이 존재한다.In addition, since a 360-degree panoramic image is taken while rotating one camera, there is a disadvantage that a user can not view a desired scene because a direction to be enjoyed by the user is not photographed at a specific time.

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 사용자의 움직임을 감지하여 관람위치 변경이 가능한 가상현실안경 및 가상현실 시스템을 제공한다.The present invention provides a virtual reality glasses and a virtual reality system capable of changing a viewing position by detecting movement of a user.

본 발명의 일 실시예에 따르면, 피사체의 주변 360도를 동영상 촬영하도록 배치되는 복수의 파노라마 카메라의 위치정보와 상기 복수의 파노라마 카메라에서 촬영된 동영상을 저장하는 서버; 및 상기 서버로부터 상기 위치정보를 전송받으며, 사용자가 관람하고 싶은 방향을 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 관람위치를 재설정하며, 해당 관람위치에 해당하는 동영상을 상기 서버로부터 제공받아 재생하는 가상현실안경;을 포함하는 가상현실 시스템이 제공된다.According to an embodiment of the present invention, there is provided a server for storing location information of a plurality of panoramic cameras arranged to photograph moving 360 degrees of a moving object and moving images photographed by the plurality of panoramic cameras; And a controller that receives the position information from the server and calculates a movement distance corresponding to a rate of change of vibration when vibration occurs in a state in which a user is looking at a direction to be viewed, And a virtual reality glasses for providing a moving picture corresponding to the viewing position and reproducing the received moving picture from the server.

또한, 상기 위치정보는 각 파노라마 카메라와 상기 피사체와의 거리정보와, 회전정보로 구성되는 것을 특징으로 한다.The position information may include distance information between each panorama camera and the subject, and rotation information.

또한, 상기 복수의 파노라마 카메라는 시간 동기된 상태에서 동영상을 촬영하는 것을 특징으로 한다.The plurality of panorama cameras take a moving picture in a time-synchronized state.

또한, 상기 관람위치에 대응하는 동영상은, 상기 서버에서 상기 가상현실안경으로 일정시간 재생할 수 있는 용량이 다운로드 되는 것을 특징으로 한다.In addition, the moving image corresponding to the viewing position may be downloaded from the server to the virtual reality glasses for a predetermined period of time.

또한, 상기 관람위치에 대응하는 동영상은, 상기 서버에서 상기 가상현실안경으로 실시간 스트리밍 되는 것을 특징으로 한다.In addition, the moving picture corresponding to the viewing position is streamed from the server to the virtual reality glasses in real time.

본 발명의 실시예에 따른 가상현실 시스템에서 가상현실안경 (HMD: Head Mounted Display)을 착용한 사용자는 영상을 단순히 보는 것 뿐만 아니라 관람 위치를 바꾸는 등의 여러 행동들을 실제처럼 해 볼 수 있다. In a virtual reality system according to an embodiment of the present invention, a user wearing a virtual reality glasses (HMD) can view various behaviors such as changing a viewing position as well as viewing a video simply.

특히, 사용자의 응시방향과 진동의 변화율을 통해 관람방향 및 관람위치를 변경할 수 있으며, 영상을 확대하고 3D형태로 관람할 수 있으므로 생생한 현장감을 느낄 수 있다.Particularly, viewing directions and viewing positions can be changed through the direction of the user's gaze and the rate of change of the vibration, and the user can view the image in a 3D form.

도 1은 종래의 가상현실 시스템의 카메라 촬영 구성도.
도 2는 본 발명의 실시예에 따른 가상현실 시스템의 구성도.
도 3은 도 2의 가상현실 시스템의 동영상 촬영과정을 나타낸 순서도.
도 4는 도 2의 가상현실 시스템의 촬영위치 및 방향을 도시한 도면.
도 5는 도 2의 가상현실 시스템에서 관람위치를 변경하는 과정을 도시한 구성도.
도 6은 도 2의 가상현실 시스템에서 영상을 디스플레이하는 과정을 도시한 순서도.Brief Description of the Drawings Fig. 1 is a schematic view of a camera taken in a conventional virtual reality system.
2 is a configuration diagram of a virtual reality system according to an embodiment of the present invention;
FIG. 3 is a flowchart showing a moving picture capturing process of the virtual reality system of FIG. 2;
FIG. 4 is a view showing a photographing position and a direction of the virtual reality system of FIG. 2; FIG.
FIG. 5 is a diagram illustrating a process of changing a viewing position in the virtual reality system of FIG. 2. FIG.
FIG. 6 is a flowchart illustrating a process of displaying an image in the virtual reality system of FIG. 2. FIG.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention.

도 2는 본 발명의 실시예에 따른 가상현실 시스템(1)의 구성도이다.2 is a configuration diagram of a virtual reality system 1 according to an embodiment of the present invention.

본 실시예에 따른 가상현실 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The virtual reality system 1 according to the present embodiment includes only a simple configuration for clearly explaining the technical ideas to be proposed.

도 1을 참조하면, 가상현실 시스템(1)은 서버(100)와, 가상현실안경(200)을 포함한다.Referring to FIG. 1, a virtual reality system 1 includes a server 100 and virtual reality glasses 200.

상기와 같이 구성되는 가상현실 시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.The detailed configuration and main operation of the virtual reality system 1 configured as described above will be described below.

복수의 파노라마 카메라는 피사체의 주변 360도를 감싸도록 배치되는데, 일정한 간격을 두고 배치되어 피사체의 주변 360도를 동영상 촬영한다. 복수의 파노라마 카메라는 시간 동기된 상태에서 동영상을 촬영하여 촬영된 동영상을 서버(100)로 전달한다.The plurality of panoramic cameras are disposed so as to surround 360 degrees of the object, and are arranged at regular intervals to photograph the 360 degrees around the object. The plurality of panoramic cameras capture moving images in a time-synchronized state and transmit the photographed moving images to the server 100.

서버(100)는 복수의 파노라마 카메라의 위치정보와, 복수의 파노라마 카메라에서 촬영된 동영상을 저장한다. 여기에서 복수의 파노라마 카메라의 위치정보는 각 파노라마 카메라와 피사체 사이의 거리정보와, 회전정보 - 파노라마 카메라 사이의 회전각도 정보임 - 로 구성된다.The server 100 stores location information of a plurality of panorama cameras and moving images photographed by a plurality of panorama cameras. Here, the position information of the plurality of panorama cameras is composed of distance information between each panorama camera and the subject, and rotation angle information between the rotation information and the panorama camera.

즉, 서버(100)는 복수의 파노라마 카메라로부터 위치정보와, 촬영된 동영상을 동시에 전달받아 저장한다. 서버(100)와 가상현실안경(200)은 무선방식을 통해 데이터를 교환하도록 구성되는 것이 바람직하다.That is, the server 100 simultaneously receives the position information and the photographed moving image from the plurality of panorama cameras and stores the same. The server 100 and the virtual reality glasses 200 are preferably configured to exchange data through a wireless scheme.

도 3은 도 2의 가상현실 시스템(1)의 동영상 촬영과정을 나타낸 순서도이다.FIG. 3 is a flowchart showing a moving picture capturing process of the virtual reality system 1 of FIG.

도 3을 참조하면, 피사체를 중심으로 피사체를 360도 둘러싸면서 복수의 파노라마 카메라가 일정간격을 두고 배치된다. Referring to FIG. 3, a plurality of panoramic cameras are arranged at regular intervals while the subject is surrounded by 360 degrees about the subject.

또한, 서버(100)는 복수의 파노라마 카메라로부터 각 파노라마 카메라의 위치정보를 전달받아 저장한다.In addition, the server 100 receives and stores position information of each panorama camera from a plurality of panorama cameras.

또한, 복수의 파노라마 카메라는 동영상을 촬영하되, 시간 동기를 맞춰서 동영상을 촬영하도록 구성되며, 영상을 보정한 후에 서버(100)에 동영상을 전달한다.In addition, the plurality of panoramic cameras are configured to capture a moving image and synchronize with time, and to transmit the moving image to the server 100 after correcting the image.

도 4는 도 2의 가상현실 시스템(1)의 촬영위치 및 방향을 도시한 도면이다.4 is a view showing the photographing position and direction of the virtual reality system 1 of Fig.

도 4를 참조하면, 예를 들어 4개의 파노라마 카메라가 중심에 피사체를 두고, 90도 간격으로 배치되어 있다. 얼굴형태의 객체는 촬영시점, 촬영위치, 방향을 도시한 것이며, 이는 각 파노라마 카메라의 촬영시점, 촬영위치, 방향과 일치한다.Referring to FIG. 4, for example, four panoramic cameras are disposed at 90-degree intervals with the subject at the center. The face-shaped object shows the shooting time, shooting position, and direction, which coincide with the shooting time, shooting position, and direction of each panorama camera.

즉, 각 파노라마 카메라는 사용자가 해당 위치에서 피사체를 바라보는 관점에서 동영상을 촬영하여 서버(100)로 전달한다.That is, each panorama camera captures a moving image from the viewpoint of the user looking at the subject at the corresponding position, and delivers the captured moving image to the server 100.

다시 도 2를 참조하면, 가상현실안경(200)은 가상현실안경(200)을 착용한 사용자의 시선 및 진동변화를 감지하고, 그 감지된 결과를 토대로 관람위치 변경하여 동영상을 재생한다.Referring again to FIG. 2, the virtual reality glasses 200 detect a change in the line of sight and vibration of the user wearing the virtual reality glasses 200, and change the viewing position based on the detected result to reproduce the moving image.

즉, 가상현실안경(200)은 서버(100)로부터 복수의 파노라마 카메라의 위치정보 및 동영상을 전송받아서 사용자의 움직임을 감지한 후 움직임에 대응하는 위치에서 촬영된 동영상을 표시한다. 이때 동영상은 3D 형태로 재생되는 것이 바람직하다.That is, the virtual reality glasses 200 receives the position information and the moving images of the plurality of panorama cameras from the server 100, detects motion of the user, and displays moving images photographed at positions corresponding to the motions. At this time, the moving picture is preferably reproduced in 3D form.

가상현실안경(200)은 사용자가 관람하고 싶은 방향을 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 관람위치를 재설정하며, 해당 관람위치에 해당하는 동영상을 서버(100)로부터 제공받아 재생한다. 즉, 진동의 변화율이 크다는 것은 사용자가 달리거나 빠르게 움직이는 것이며, 진동의 변화율이 작다는 것은 사용자가 천천히 움직이는 것에 해당하는 것이므로, 이를 토대로 이동거리를 산출할 수 있다.The virtual reality glasses 200 calculate the movement distance corresponding to the rate of change of the vibration when the user is looking at a direction in which the user wants to view the camera, and then reset the viewing position based on the gazing direction and the calculated travel distance , The moving image corresponding to the viewing position is received from the server 100 and is reproduced. That is, the large change rate of the vibration means that the user is running or moving fast, and the small change rate of the vibration corresponds to the user moving slowly, so that the travel distance can be calculated based on this.

이때, 관람위치에 대응하는 동영상은, 서버(100)에서 가상현실안경(200)으로 일정시간 재생할 수 있는 용량이 다운로드 될 수 있다.At this time, the moving image corresponding to the viewing position can be downloaded from the server 100 to the virtual reality glasses 200 for a predetermined time.

또한, 관람위치에 대응하는 동영상은, 서버(100)에서 가상현실안경(200)으로 실시간 스트리밍 될 수도 있을 것이다.In addition, the moving image corresponding to the viewing position may be streamed from the server 100 to the virtual reality glasses 200 in real time.

도 5는 도 2의 가상현실 시스템(1)에서 관람위치를 변경하는 과정을 도시한 구성도이고, 도 6은 도 2의 가상현실 시스템(1)에서 영상을 디스플레이하는 과정을 도시한 순서도이다.FIG. 5 is a diagram illustrating a process of changing a viewing position in the virtual reality system 1 of FIG. 2. FIG. 6 is a flowchart illustrating a process of displaying an image in the virtual reality system 1 of FIG.

도 5 및 도 6을 참조하면, 사용자가 관람하고 싶은 방향을 응시한 상태에서 도 5 기준으로 사용자가 오른쪽으로 고개를 돌리고 오른쪽을 바라보는 동시에 진동이 계속해서 발생할 경우, 가상현실안경(200)은 사용자의 응시방향과 진동을 토대로 이동방향 및 이동거리를 산출한다.Referring to FIGS. 5 and 6, when the user gazes at a direction to be watched and the user continuously turns his / her head to the right on the basis of FIG. 5 and vibrates continuously while viewing the right side, The moving direction and the moving distance are calculated based on the gazing direction and the vibration of the user.

여기에서 진동은 사용자가 걷거나 뛰거나 했을 때의 진동을 의미하며, 가상현실안경(200)은 진동의 변화율을 토대로 사용자의 이동거리를 산출한다.Here, the vibration refers to the vibration when the user walks or runs, and the virtual reality glasses 200 calculates the movement distance of the user based on the rate of change of vibration.

즉, 가상현실안경(200)은, 산출된 이동방향 및 이동거리를 토대로 관람위치를 재설정하고, 새로운 관람위치에 해당하는 동영상을 재생하게 된다. 가상현실안경(200)은 각 파노라마 카메라와 피사체 사이의 거리정보(D1,D2)와, 회전정보(A°, 회전각도)를 보유하고 있으므로, 사용자가 응시한 방향과 이동거리를 산출하여 새로운 관람위치에 해당하는 동영상을 재생하게 된다. 참고적으로 사용자의 관람위치는 곡선형의 경로를 통해 부드러운 움직임을 갖도록 설정되며, 그 곡선형 경로에 대응하는 동영상이 부드럽게 시점을 이동하면서 재생되는 것이 바람직하다.That is, the virtual reality glasses 200 resets the viewing position based on the calculated moving direction and moving distance, and reproduces the moving image corresponding to the new viewing position. Since the virtual reality glasses 200 have the distance information D1 and D2 between each panorama camera and the subject and the rotation information (A degree, rotation angle), it is possible to calculate the direction and the movement distance of the user, The video corresponding to the position is reproduced. For reference, the viewing position of the user is set to have a smooth motion through a curved path, and the moving image corresponding to the curved path is preferably reproduced while moving the viewpoint smoothly.

참고적으로, 가상현실안경(200)은 내장된 센서를 통해 사용자의 머리 회전을 감지하고, 진동을 감지한 후 새로운 관람위치를 산출하는데, 걷거나 뛰는 행동을 진동의 변화율을 통해 그 이동거리를 파악한다. 또한, 가상현실안경(200)은 동영상에 3D 정보 객체를 삽입하여, 외부 광고를 인터랙티브 형태로 구동할 수 있다.For reference, the virtual reality glasses 200 detect the user's head rotation through the built-in sensor, and calculate a new viewing position after detecting the vibration. The walking or running behavior is detected through the rate of change of the vibration do. In addition, the virtual reality glasses 200 can insert a 3D information object into a moving image to drive an external advertisement in an interactive manner.

가상현실안경(200)은, 사용자가 응시한 방향을 감지할 때, 머리의 회전방향을 토대로 응시방향을 감지하도록 구성될 수 있고, 눈동자의 이동방향을 감지하여 응시방향을 감지하도록 구성될 수 있을 것이다.The virtual reality glasses 200 can be configured to detect the gazing direction based on the rotation direction of the head when detecting the gazing direction by the user and can detect the gazing direction by sensing the moving direction of the pupil will be.

또한, 머리의 회전방향 및 눈동자의 이동방향을 동시에 감지하고, 두 감지결과에 우선비중을 달리하여 응시방향을 보다 정밀하게 산출할 수 있다. 즉, 머리의 회전으로 인한 회전각도 감지에 50% 내지 100%의 비중을 부여하고, 눈동자의 이동방향에 0% 내지 60%의 비중을 부여하여 응시방향을 산출하도록 구성될 수 있을 것이다.Further, it is possible to simultaneously detect the rotational direction of the head and the moving direction of the pupil, and calculate the gaze direction more precisely by differentiating the specific gravity first from the two detection results. That is, it is possible to provide a specific gravity of 50% to 100% for detecting the rotation angle due to rotation of the head, and to calculate the gaze direction by giving a specific gravity of 0% to 60% to the moving direction of the pupil.

또한, 가상현실안경(200)이 산출한 이동거리가 5미터 일 경우, 동영상 내에서는 20미터 이동한 것으로 이동거리에 가중치를 부여할 수 있다.In addition, when the moving distance calculated by the virtual reality glasses 200 is 5 meters, moving distance is 20 meters in the moving image, and weight can be given to the moving distance.

즉, 가상현실안경(200)에서 이동거리확장 설정모드를 선택하고 실행하여, 산출된 이동거리의 2배 내지 100배의 가중치가 반영되도록 사용자가 설정할 수 있다.That is, the virtual reality glasses 200 can select and execute the movement distance extension setting mode so that the user can set the weight to be 2 to 100 times the calculated movement distance.

또한, 가상현실안경(200)은 진동의 변화율에 대응하는 이동거리를 산출함에 있어서, 노이즈 값을 제외하기 위해, 진동 크기의 상위값 10%와 하위값 20%를 제외하고, 나머지 진동값의 변화율을 토대로 이동거리를 산출할 수 있다.In calculating the moving distance corresponding to the rate of change of the vibration, the virtual reality glasses 200 exclude the upper value 10% and the lower value 20% of the magnitude of vibration to exclude the noise value, It is possible to calculate the moving distance.

또한, 가상현실안경(200)은 사용자가 피사체 방향으로 가까이 접근하는 것으로 이동방향을 감지할 경우, 이동거리에 대응하여 동영상의 확대비율을 조절하여 재생할 수 있다. 또한, 가상현실안경(200)은 사용자가 피사체 반대방향으로 멀리 이동하는 것으로 이동방향을 감지할 경우, 이동거리에 대응하여 동영상의 축소비율을 조절하여 재생하도록 구성될 수 있다. 즉, 피사체에 가까이 다가가는 관람위치와, 피사체에서 멀리 떨어지는 관람위치를 영상의 확대 또는 축소를 통해 반영할 수 있다.In addition, when the user approaches the subject in the direction of the subject and detects the moving direction, the virtual reality glasses 200 can adjust the enlargement ratio of the moving image corresponding to the moving distance and reproduce the moving image. In addition, the virtual reality glasses 200 may be configured to adjust the reduction ratio of the moving image corresponding to the moving distance when the user senses the moving direction by moving away in the direction opposite to the subject. That is, it is possible to reflect the viewing position approaching the subject and the viewing position distant from the subject through enlargement or reduction of the image.

또한, 가상현실안경(200)은 사용자의 머리 회전에 따라 관람시점을 변경하여 동영상을 재생할 수 있는데, 사용자가 정지한 상태에서 단순히 고개를 좌우로 회전시킬 경우, 그 회전방향 - 회전각도 - 를 산출한 후, 복수의 파노라마 카메라 중 어느 하나에서 촬영된 영상을 재생할 수 있다.In addition, the virtual reality glasses 200 can reproduce a moving image by changing the viewing time according to the rotation of the user's head. When the user simply rotates the head to the left or right while the user is stationary, After that, an image photographed by any one of the plurality of panorama cameras can be reproduced.

이때, 이웃하는 파노라마 카메라가 중복된 영역을 촬영했을 경우, 가상현실안경(200)은 사용자의 시선에 해당하는 영역의 영상만을 합성하여 재생하도록 구성될 수 있다. 즉, 제1 파노라마 카메라의 영상과 제2 파노라마 카메라의 영상을 파노라마 형태로 합성한 후, 사용자의 시선에 해당하는 영상만을 재생하도록 구성될 수 있다.At this time, when the neighboring panoramic camera captures an overlapping area, the virtual reality glasses 200 may be configured to synthesize and reproduce only the image of the area corresponding to the user's gaze. That is, the image of the first panoramic camera and the image of the second panoramic camera may be synthesized in a panoramic shape, and then, only the image corresponding to the user's gaze may be reproduced.

한편, 가상현실안경(200)은 외부 입력장치의 버튼을 이용하여 관람시점 및 관람위치를 재설정하도록 구성될 수 있다. 예를 들어 가상현실안경(200)의 버튼조작을 통해 관람시점 및 관람위치가 변경될 수 있다. 특히 가상현실안경(200)에 블루투스 셀카봉이 부착될 수 있는데, 블루투스 셀카봉의 조작버튼의 조작을 통해 관람시점 및 관람위치가 변경되도록 구성될 수 있다.On the other hand, the virtual reality glasses 200 can be configured to reset the viewing time and the viewing position using the buttons of the external input device. For example, the viewing point and the viewing position can be changed through button operation of the virtual reality glasses 200. [ In particular, a bluetooth cellular phone bar may be attached to the virtual reality glasses 200, and the viewing time and the viewing position may be changed through manipulation of the operation button of the bluetooth cellular phone bar.

또한, 가상현실안경(200)에 구비된 게임패드의 버튼, 터치버튼 등의 조작을 통해 관람시점 및 관람위치가 변경되도록 구성될 수도 있을 것이다.In addition, the viewing point and the viewing position may be changed through manipulation of a button, a touch button, or the like of a game pad provided in the virtual reality glasses 200.

또한, 각 파노라마 카메라는 좌우로 일정각도 회전하면서 이웃하는 파노라마 카메라와 일정부분 중첩되도록 동영상을 촬영할 수 있으며, 이러한 카메라의 좌우회전을 사용자의 응시방향에 적용시킬 수 있다. 예를 들어 사용자가 정지한 상태에서 좌측방향으로 20도 응시방향을 변경했을 경우, 해당 카메라가 좌측방향으로 20도 회전하여 촬영했을 때의 영상을 표시하도록 구성될 수 있다.In addition, each panorama camera can photograph a moving image so as to overlap with a neighboring panorama camera at a predetermined angle while rotating left and right at a predetermined angle, and the left and right rotation of the camera can be applied to the gazing direction of the user. For example, when the direction of gazing at 20 degrees in the left direction is changed while the user is stationary, the camera may be configured to display the image when the camera is rotated 20 degrees in the leftward direction.

또한, 각 파노라마 카메라는 상하로 일정각도 회전하면서 동영상을 촬영할 수 있으며, 이러한 카메라의 상하회전을 사용자의 응시방향에 적용시킬 수 있다. 예를 들어 사용자가 정지한 상태에서 위쪽으로 20도 응시방향을 변경했을 경우, 해당 카메라가 위쪽방향으로 20도 회전하여 촬영했을 때의 영상 표시하도록 구성될 수 있다.In addition, each panoramic camera can photograph a moving image while rotating up and down at a predetermined angle, and the up and down rotation of the camera can be applied to the gazing direction of the user. For example, when the direction of gazing at 20 degrees upward is changed while the user is stationary, the camera may be configured to display images when the camera is rotated 20 degrees in the upward direction.

또한, 각 파노라마 카메라는 상술한 좌우 및 상하회전을 동시에 적용하여 동영상을 촬영하도록 구성될 수도 있을 것이다.Further, each of the panoramic cameras may be configured to simultaneously photograph the moving images by applying the above-described left and right and up-and-down rotations simultaneously.

도 6은 도 2의 가상현실 시스템(1)에서 영상을 디스플레이하는 과정을 도시한 순서도이다.FIG. 6 is a flowchart illustrating a process of displaying an image in the virtual reality system 1 of FIG.

도 6을 참조하면, 3D로 재생되는 가상현실을 시청하기 위해, 사용자는 가상현실안경(200)을 착용하고, 가상현실안경(200)의 소프트웨어(S/W)를 실행하고, 서버(100)로부터 위치정보를 전송받는다.6, the user wears the virtual reality glasses 200, executes the software (S / W) of the virtual reality glasses 200, and displays the virtual reality glasses 200 on the server 100 in order to view the virtual reality reproduced in 3D. And receives the position information from the terminal.

또한, 사용자가 관람하고 싶은 방향을 응시한 상태에서 걷거나, 뛰거나, 안경을 흔들거나, 치는 행동을 할 경우, 가상현실안경(200)은 진동의 변화율에 대응하는 이동거리를 산출한 후 새로운 관람위치를 설정하게 된다.In addition, when the user walks, runs, wiggles, or strikes the glasses while gazing in the direction to be watched, the virtual reality glasses 200 calculate the moving distance corresponding to the rate of change of the vibration, Position.

또한, 서버(100)는 새로운 관람위치에 해당하는 동영상을 가상현실안경(200)으로 전송하게 되고, 가상현실안경(200)은 동영상을 3D화 시켜서 재생한다. 이때 가상현실안경(200)은 전송된 동영상을 안경의 재생환경에 맞도록 맵핑하게 된다. 가상현실안경(200)은 사용자의 최종 응시방향을 확인한 후, 그 응시방향에 맞는 동영상을 재생한다.In addition, the server 100 transmits the moving image corresponding to the new viewing position to the virtual reality glasses 200, and the virtual reality glasses 200 reproduces the moving images in 3D. At this time, the virtual reality glasses 200 map the transmitted moving images to match the reproduction environment of the glasses. The virtual reality glasses 200 confirm the final examination direction of the user and then reproduce the moving images corresponding to the examination direction.

본 발명의 실시예에 따른 가상현실 시스템에서 가상현실안경 (HMD: Head Mounted Display)을 착용한 사용자는 영상을 단순히 보는 것 뿐만 아니라 관람 위치를 바꾸는 등의 여러 행동들을 실제처럼 해 볼 수 있다. In a virtual reality system according to an embodiment of the present invention, a user wearing a virtual reality glasses (HMD) can view various behaviors such as changing a viewing position as well as viewing a video simply.

특히, 사용자의 응시방향과 진동의 변화율을 통해 관람방향 및 관람위치를 변경할 수 있으며, 영상을 확대하고 3D형태로 관람할 수 있으므로 생생한 현장감을 느낄 수 있다.Particularly, viewing directions and viewing positions can be changed through the direction of the user's gaze and the rate of change of the vibration, and the user can view the image in a 3D form.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

1 : 가상현실 시스템
100 : 서버
200 : 가상현실안경1: Virtual Reality System
100: Server
200: Virtual Reality Glasses

Claims (5)

피사체의 주변 360도를 동영상 촬영하도록 배치되는 복수의 파노라마 카메라의 위치정보와 상기 복수의 파노라마 카메라에서 촬영된 동영상을 저장하는 서버; 및
상기 서버로부터 상기 위치정보를 전송받으며, 사용자가 관람하고 싶은 방향을 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 관람위치를 재설정하며, 해당 관람위치에 해당하는 동영상을 상기 서버로부터 제공받아 재생하는 가상현실안경;을 포함하고,
상기 관람위치는 곡선형 경로를 통해 부드러운 움직임을 갖도록 변경되며, 상기 곡선형 경로에 대응하는 동영상이 부드럽게 시점을 이동하면서 재생되고,
상기 복수의 파노라마 카메라 중 서로 이웃하는 파노라마 카메라가 중복된 영역을 촬영했을 경우, 상기 가상현실안경은 촬영된 영상을 파노라마 형태로 합성한 후, 상기 사용자의 시선에 해당하는 영역의 영상만을 재생하는 것을 특징으로 하는 가상현실 시스템.
A server for storing position information of a plurality of panoramic cameras arranged to photograph 360 degrees of the surroundings of the subject and moving images photographed by the plurality of panoramic cameras; And
The position information is received from the server, and when a vibration occurs in a state in which the user is looking at a direction to be viewed, a movement distance corresponding to a rate of change of vibration is calculated, and then, based on the gaze direction and the calculated movement distance, And virtual reality glasses for receiving and reproducing a moving image corresponding to the viewing position from the server,
Wherein the viewing position is changed to have a smooth motion through a curved path, the moving image corresponding to the curved path is smoothly reproduced while moving the viewpoint,
When the panoramic camera which is adjacent to one another among the plurality of panoramic cameras is photographed, the virtual reality glasses combine the photographed images into a panoramic shape and then reproduce only the image of the area corresponding to the user's gaze Features a virtual reality system.
제1항에 있어서,
상기 위치정보는 각 파노라마 카메라와 상기 피사체와의 거리정보와, 회전정보로 구성되는 것을 특징으로 하는 가상현실 시스템.
The method according to claim 1,
Wherein the position information comprises distance information between each panorama camera and the subject, and rotation information.
제1항에 있어서,
상기 복수의 파노라마 카메라는 시간 동기된 상태에서 동영상을 촬영하는 것을 특징으로 하는 가상현실 시스템.
The method according to claim 1,
Wherein the plurality of panorama cameras take a moving picture in a time-synchronized state.
제1항에 있어서,
상기 관람위치에 대응하는 동영상은, 상기 서버에서 상기 가상현실안경으로 일정시간 재생할 수 있는 용량이 다운로드 되는 것을 특징으로 하는 가상현실 시스템.
The method according to claim 1,
Wherein the capacity corresponding to the viewing position is downloaded for a predetermined time from the server to the virtual reality glasses.
제1항에 있어서,
상기 관람위치에 대응하는 동영상은, 상기 서버에서 상기 가상현실안경으로 실시간 스트리밍 되는 것을 특징으로 하는 가상현실 시스템.The method according to claim 1,
Wherein the moving picture corresponding to the viewing position is streamed in real time from the server to the virtual reality glasses.
KR1020150133539A 2015-09-22 2015-09-22 3d virtual reality system using 3d-spectacles for virtual image display KR101703924B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150133539A KR101703924B1 (en) 2015-09-22 2015-09-22 3d virtual reality system using 3d-spectacles for virtual image display
PCT/KR2016/001893 WO2017052008A1 (en) 2015-09-22 2016-02-26 Virtual reality system including virtual reality glasses capable of changing viewing position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150133539A KR101703924B1 (en) 2015-09-22 2015-09-22 3d virtual reality system using 3d-spectacles for virtual image display

Publications (1)

Publication Number Publication Date
KR101703924B1 true KR101703924B1 (en) 2017-02-07

Family

ID=58108051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150133539A KR101703924B1 (en) 2015-09-22 2015-09-22 3d virtual reality system using 3d-spectacles for virtual image display

Country Status (2)

Country Link
KR (1) KR101703924B1 (en)
WO (1) WO2017052008A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844588B1 (en) * 2017-02-08 2018-04-02 한림대학교 산학협력단 Apparatus and method for providing image using indoor positioning
KR20180137816A (en) * 2017-06-19 2018-12-28 주식회사 케이티 Server, device and method for providing virtual reality experience service
KR101917359B1 (en) * 2017-08-03 2019-01-24 한국과학기술연구원 Realistic seeing-through method and system using adaptive registration of inside and outside images
KR20190079008A (en) * 2017-12-27 2019-07-05 주식회사 버넥트 An augmented reality system to which a dynamic expression technique of an augmented image according to a user's gaze information is applied
KR20190092806A (en) * 2018-01-31 2019-08-08 호남대학교 산학협력단 Display system using depth camera
KR101983249B1 (en) * 2017-12-27 2019-08-28 주식회사 버넥트 An augmented reality system with dynamic representation technique of augmented images according to distance from an object
KR102387355B1 (en) * 2021-05-21 2022-04-18 주식회사 버드핸드 The method and apparatus for providing perpormance contents based on augmented reality

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277442A (en) * 2017-06-20 2017-10-20 南京第五十五所技术开发有限公司 One kind is based on intelligent panoramic real-time video VR inspections supervising device and monitoring method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085203A1 (en) * 2012-09-26 2014-03-27 Seiko Epson Corporation Video image display system and head mounted display
KR101501632B1 (en) * 2013-11-29 2015-03-12 주식회사 비주얼리액터 Interactive 5D Rider fly Battle Racing device.
JP2015115848A (en) * 2013-12-13 2015-06-22 セイコーエプソン株式会社 Head-mounted type display device and method for controlling head-mounted type display device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101446324B1 (en) * 2013-02-08 2014-10-07 주식회사 차후 Management system for pipe of the process of semiconductor and method thereof
WO2014178476A1 (en) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 Digital device and content providing method using same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085203A1 (en) * 2012-09-26 2014-03-27 Seiko Epson Corporation Video image display system and head mounted display
KR101501632B1 (en) * 2013-11-29 2015-03-12 주식회사 비주얼리액터 Interactive 5D Rider fly Battle Racing device.
JP2015115848A (en) * 2013-12-13 2015-06-22 セイコーエプソン株式会社 Head-mounted type display device and method for controlling head-mounted type display device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844588B1 (en) * 2017-02-08 2018-04-02 한림대학교 산학협력단 Apparatus and method for providing image using indoor positioning
KR102111501B1 (en) 2017-06-19 2020-05-15 주식회사 케이티 Server, device and method for providing virtual reality experience service
KR20180137816A (en) * 2017-06-19 2018-12-28 주식회사 케이티 Server, device and method for providing virtual reality experience service
US10754423B2 (en) 2017-06-19 2020-08-25 Kt Corporation Providing virtual reality experience service
KR101917359B1 (en) * 2017-08-03 2019-01-24 한국과학기술연구원 Realistic seeing-through method and system using adaptive registration of inside and outside images
KR20190079008A (en) * 2017-12-27 2019-07-05 주식회사 버넥트 An augmented reality system to which a dynamic expression technique of an augmented image according to a user's gaze information is applied
KR102103980B1 (en) * 2017-12-27 2020-04-23 주식회사 버넥트 An augmented reality system to which a dynamic expression technique of an augmented image according to a user's gaze information is applied
KR101983249B1 (en) * 2017-12-27 2019-08-28 주식회사 버넥트 An augmented reality system with dynamic representation technique of augmented images according to distance from an object
KR102139081B1 (en) * 2018-01-31 2020-07-29 호남대학교 산학협력단 Display system using depth camera
KR20190092806A (en) * 2018-01-31 2019-08-08 호남대학교 산학협력단 Display system using depth camera
KR102387355B1 (en) * 2021-05-21 2022-04-18 주식회사 버드핸드 The method and apparatus for providing perpormance contents based on augmented reality
KR20220157872A (en) * 2021-05-21 2022-11-29 주식회사 버드핸드 Augmented reality-based performance content providing device that supports a technology for correcting a visual difference according to a user's viewing position and performing method thereof
KR102569419B1 (en) * 2021-05-21 2023-08-24 주식회사 버드핸드 Augmented reality-based performance content providing device that supports a technology for correcting a visual difference according to a user's viewing position and performing method thereof

Also Published As

Publication number Publication date
WO2017052008A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
KR101703924B1 (en) 3d virtual reality system using 3d-spectacles for virtual image display
JP7132280B2 (en) Extended field of view re-rendering for VR viewing
CN110536726B (en) Second Screen virtual Window of VR Environment
JP6663505B2 (en) Audience view perspective in VR environment
US8330793B2 (en) Video conference
JP5538483B2 (en) Video processing apparatus, video processing method, and video processing system
JP2020123962A (en) Apparatus and method for gaze tracking
US10049496B2 (en) Multiple perspective video system and method
CN109069932A (en) Watch VR environment associated with virtual reality (VR) user interaction
US10416757B2 (en) Telepresence system
CN109475774A (en) Spectators' management at view location in reality environment
CN109069934A (en) Spectators' view tracking to the VR user in reality environment (VR)
JP6576536B2 (en) Information processing device
KR20120117104A (en) Virtual reality running machine
CN105939497A (en) Media streaming system and media streaming method
US20160379407A1 (en) Virtual Fantasy System and Method of Use
US11187895B2 (en) Content generation apparatus and method
JPWO2018123074A1 (en) Imaging device
JP2017046065A (en) Information processor
KR102335209B1 (en) Virtual Reality Display Mobile Device
JP6164780B2 (en) A moving image processing apparatus, a moving image processing method, a moving image processing program, and a moving image processing display system.
KR102200115B1 (en) System for providing multi-view 360 angle vr contents
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
JP2024031113A (en) Information processing device and image generation method
JP2021034744A (en) Image presentation device and program

Legal Events

Date Code Title Description
A201 Request for examination
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 4