WO2017204581A1 - 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 - Google Patents

혼합현실을 이용한 가상현실 시스템 및 그 구현방법 Download PDF

Info

Publication number
WO2017204581A1
WO2017204581A1 PCT/KR2017/005477 KR2017005477W WO2017204581A1 WO 2017204581 A1 WO2017204581 A1 WO 2017204581A1 KR 2017005477 W KR2017005477 W KR 2017005477W WO 2017204581 A1 WO2017204581 A1 WO 2017204581A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual reality
image information
mixed reality
camera
Prior art date
Application number
PCT/KR2017/005477
Other languages
English (en)
French (fr)
Inventor
윤병주
이상훈
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to US16/302,094 priority Critical patent/US10587868B2/en
Priority to CN201780032462.3A priority patent/CN109196406B/zh
Publication of WO2017204581A1 publication Critical patent/WO2017204581A1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Definitions

  • the present invention relates to a technology for implementing virtual reality, and more particularly, to recognize a user's body, substitute a virtual reality, and track a user's head when providing a three-dimensional environment that is reflected in the movement of the user's head.
  • the present invention relates to a virtual reality system using a mixed reality that can maximize the realism by matching the position of the user and the viewing angle of the user and its implementation method.
  • Virtual real i ty is a human being that uses a computer to create a certain environment or situation in 3D content, making it look as if the person using the 3D content is interacting with the environment or environment around them. Generic term for interface between computers.
  • the three-dimensional sense perceived by a person is the degree of change in the thickness of the lens depending on the position of the object to be observed, the difference in angle between the two eyes and the object, the difference in the position and shape of the visible object in the left and right eyes, and the parallax caused by the movement of the object.
  • various psychological and memory effects occur in combination.
  • binocular disparity (binocular di spari ty), which appears when the human eyes are about 6.5 cm apart in the horizontal direction.
  • binocular parallax is used to look at the angle difference of the object, and this difference results in different images coming into each eye, and when these two images are transmitted to the brain through the retina, the brain receives these two pieces of information. You can feel the original 3D stereoscopic image by fusion of exactly each other.
  • Such stereoscopic 3D contents have been widely used in various media fields and have been well received by consumers. Examples are 3D movies, 3D games and experience displays. As described above, along with the generalization of 3D contents of virtual reality technology, development of a technology capable of providing a more immersive virtual reality service is required in various ways.
  • the present invention maximizes reality by matching the position of the camera in the virtual reality with the user's viewing angle by tracking the user's head when providing a three-dimensional environment that recognizes the user's body and assigns it to the virtual reality.
  • the object of the present invention is to provide a virtual reality system using a mixed reality that can be made and a method of implementing the same.
  • another object of the present invention is a virtual reality system using a mixed reality that can maximize the reality by using a reference point indicating the same position in the mixed reality and the virtual reality, when placing the user interaction in the virtual reality and It provides a way to implement it.
  • Chroma key environment booth formed with a chroma key screen in the space of the user's field of view;
  • a depth camera unit installed on an upper surface of the chroma key environment booth to photograph the user and generate depth image information;
  • a stereoscopic camera that is worn on the user's head and captures a position at both sides of the user is located, and a head tracking marker is positioned at the top of the stereoscopic camera, and an HMD output for outputting an image on the side of the user's both sides.
  • An HMD device composed of parts; And receiving the depth image information to detect the head tracking marker located in the HMD device to detect the position and rotation value of the user's head in a real environment, and output the output to the HMD device in response to the position and rotation value.
  • a virtual reality rendering camera for a virtual reality for generating image information the output image information to the user's body captured by the stereoscopic camera and a mixed reality processing apparatus for overlaying the image information on the apparatus.
  • the user's head is tracked while the user's head is tracked to match the position of the virtual reality camera and the viewing angle of the user when providing a three-dimensional environment. There is an effect to maximize.
  • the present invention has the effect of maximizing the reality by utilizing the point of the point representing the same position in the mixed reality and the virtual reality when placing the interaction object input by the user in the virtual reality.
  • FIG. 1 is a physical configuration diagram of a virtual reality system using a mixed reality according to an embodiment of the present invention
  • FIG. 2 is an abstract configuration diagram of the virtual reality system of FIG.
  • FIG. 3 and 4 are schematic views showing the structure of the mixed reality booth of FIG. 1
  • FIG. 5 is a schematic diagram showing a process of implementing a mixed reality according to the present invention
  • FIG. 6 is a camera position and rotation value detection according to the present invention
  • FIG. 7 is a diagram illustrating a camera and a rotation value correction process.
  • FIG. 8 is a diagram schematically showing a process of implementing a mixed reality according to the present invention
  • FIG. 9 is a diagram illustrating a process of inputting and displaying an interaction object in a virtual reality according to the present invention.
  • FIGS. 10 and 11 are diagrams illustrating an implementation process of an interaction object in virtual reality according to the present invention.
  • components, steps, operations, and elements referred to as “comprising” or “including” means the presence or addition of one or more other components, steps, operations, elements, and devices.
  • the present invention recognizes a user's body, substitutes it into virtual reality, and provides a virtual reality service using a immersive mixed reality by providing a three-dimensional environment that is reflected in the movement of the user's head.
  • the present invention provides a virtual reality service that maximizes reality by tracking the user's head to match the position of the camera in the virtual reality with the viewing angle of the user.
  • the present invention can satisfy the needs of various users by using a reference point indicating the same position in the mixed reality and the virtual reality when placing the interaction object input by the user in the virtual reality. For example, it is possible to perform an operation such as touching an interactive object input by a user in a mixed reality.
  • FIG. 1 is a block diagram of a virtual reality system using a mixed reality according to a preferred embodiment of the present invention
  • Figure 2 is an abstract configuration diagram of the virtual reality system
  • Figure 3 and 4 is a side view of the chroma key booth and Top view is shown.
  • the virtual reality system includes a chroma key environment booth 100, a depth camera unit 102, a mixed reality processing apparatus 104, a stereoscopic camera and a head tracking marker.
  • Type HMD Head Mounted Display) device 106 The chroma key environment booth 100 is configured in the form of a rectangular box with one side open, and one side is open. Through an open side of the chroma key environment booth 100, a user may enter and position the center of the chroma key environment booth 100.
  • a chroma key screen is formed on an inner surface of the chroma key environment booth 100, and as shown in FIG.
  • the user may turn the head left and right to have a field of view so that the chroma key may be processed by more than 180 degrees, that is, A chroma key screen is formed for a space that may have a 180+ camera field of view.
  • a depth camera unit 102 is installed on an upper surface of the chroma mark booth 100, and the height of the chroma key environment booth 100 is set so that the user's hand reaches the depth camera part 102 when the user extends the hand. It is formed to have a height that can be imaged by.
  • the chroma key environmental booth 100 can be manufactured in various forms, such as cylindrical.
  • the chroma key screen is a screen shaped like a blue screen zone.
  • a chroma-key is a light blue screen in which a person or an object is placed in front of a color camera and photographed with a color camera. It means how to fit it on a very different screen.
  • the blue color should not be used for the subject being fitted, but on the contrary, the blue color can be used consciously to produce a special effect. Since this technical process is all performed in an electronic circuit, it is suitable for the realization of a mixed reality in that it can be instantaneously synthesized by only a switch operation.
  • the chroma key screen applied in the embodiment of the present invention is formed by uniformly coloring all walls, ceilings, and floors in blue, and is formed to secure a space enough for a person or an object to take motion in the space.
  • an illumination system may be installed around the chroma key screen to form illumination light to uniformly enter the camera.
  • the depth camera unit 102 is a motion recognition camera, which is installed on the upper surface of the chroma key environment booth 100 and disposed at a position where the user's body and the head tracking markers installed on the HMD device 106 can be captured. Is installed.
  • the depth camera unit 102 may be adopted a Kinect device, without a separate controller It is a new concept motion recognition camera that detects the human body and voice and reflects it on the monitor screen.
  • the depth camera unit 102 recognizes and visualizes a body and a head tracking marker of a user wearing the HMD device 106 in three dimensions and matches them with a world coordinate system in virtual reality. Provide data.
  • the HMD device 106 is a display device worn on a human head, and displays a mixed reality in which a real environment and a virtual reality are mixed at a position worn on the user's head and proximate both eyes of the user.
  • the HMD device 106 is composed of a stereoscopic camera, two head tracking markers located above the stereoscopic camera, a direction sensor, and an HMD output device.
  • the head tracking marker is in the form of a rod located between both eyes of the user, as shown in FIG. 3, which indicates the movement of the user's head, and the head tracking marker is captured by the depth camera unit 102 and the mixed reality. It is provided to the processing apparatus 104.
  • the stereoscopic camera is installed in both eyes of the user, and captures the user's body such as front image information that can be acquired by each of the user's both eyes, for example, the user's hand, and the like.
  • the direction sensor is located between both eyes of the user, senses the direction of the user's head, and provides the sensing and information according to the mixed reality processing device 104.
  • the HMD output device displays the output image data provided by the mixed reality processing device 104 and provides it to both eyes of the user.
  • the mixed reality processing apparatus 104 is a data processing apparatus such as a computer, such as depth image information provided by the depth camera 102, stereo imaging information provided by the stereoscopic camera of the HMD device 106, direction sensing information, and virtual reality. Using the content information for generating the output image data to enable the mixed reality and output through the HMD output device of the HMD device 106.
  • the mixed reality processing apparatus 104 detects the head tracking marker from the depth image information provided by the depth camera 102 to detect the position and rotation value of the stereoscopic camera indicating the user's gaze, according to the present invention.
  • the position of the stereoscopic camera and The rotation value information is applied to the virtual reality rendering camera from the content information for the virtual reality, and the stereo image information provided by the stereoscopic camera is overlaid to generate output image data for the mixed reality.
  • the position and rotation information of the stereoscopic camera to the rendering camera, since the stereoscopic camera acts as the user's eye in the real environment in the real environment, the rendering camera acts as the user's eye in the virtual reality, This means that both cameras look at the same place and adjust the render camera to be in the same position.
  • the mixed reality processing apparatus 104 includes a virtual reality program for changing a camera position and a rotation value in content information, a mixed reality support API unit through a virtual reality and a mixed reality API, and a mixed reality using depth image information. It consists of a mixed reality processing unit. The operation of the virtual reality system using the mixed reality according to the preferred embodiment of the present invention will be described by dividing the camera position and rotation value detection process and the input and display process of the interactive object in the virtual reality.
  • the present invention captures the user's body by using a stereoscopic camera attached to the HMD device 106, and separates the user's body from the background using the chroma key technique, and adds the separated user's body to the virtual reality environment By displaying, we realize mixed reality. This has the same effect as the user exists in the virtual reality and can be immersed in the virtual reality more naturally because the user's body position can be seen directly when interacting with the object in the virtual reality.
  • FIG. 5 is a conceptual diagram illustrating a mixed reality implementation process according to the present invention.
  • the present invention grasps a user's head position, a rotation value, and a direction to apply a mixed reality to a rendering camera of a virtual reality.
  • the relative position and direction with respect to the preset reference point ( ⁇ , ⁇ ) Is set.
  • the reference point A is fixed to the real environment
  • the reference point B can be moved by the movement of the virtual user in the virtual reality
  • the two reference points indicate the same position in the virtual reality and reality.
  • the depth camera unit 102 is installed on the upper surface of the chroma key environment booth 100 to perform imaging in the direction of looking down at the user to generate depth image information, and provide the depth image information to the mixed reality processing apparatus 104. (Step 200).
  • the HMD device 106 senses the direction of the user's head through the direction sensor, and provides direction sensing information according to the sensing to the mixed reality processing device 104 (step 202).
  • the mixed reality processing apparatus 104 detects the head tracking marker from the depth image information, and detects the position and rotation value of the stereoscopic camera from the detected head tracking marker (steps 204 and 206).
  • the mixed reality processing apparatus 104 corrects the rotation value of the stereoscopic camera according to the direction sensing information from the HMD apparatus 106 (step 208). This rotation value correction process is as shown in FIG.
  • the mixed reality processing apparatus 104 converts the camera position and rotation value with respect to the reference point fixed to the virtual reality, and provides the converted camera position and rotation value information to the virtual reality program (Ste 212).
  • the virtual reality program changes the output image information of the content according to the camera position and rotation value information, and provides the user with a virtual reality that is reflected on the user's movement.
  • 7 illustrates a process of extracting a camera position and a rotation value from depth image information.
  • FIG. 7A illustrates depth image information, and objects separated from the depth image information are shown in FIG. 7B, and objects belonging to a similar range of a predetermined size and shape among the separated objects.
  • (C) of FIG. 7 illustrates the detection of the head tracking marker.
  • FIG. 7 (d) shows a direction vector indicated by a direction sensing value by the direction sensor
  • FIG. 7 (e) illustrates a process of generating a direction vector and a center point by using the positions of two markers
  • FIG. 7 (f) illustrates a process of changing a relative coordinate system with respect to a reference point.
  • FIG. 8 illustrates a mixed reality output process.
  • the same reference point is used in the real environment and the virtual reality, and the position, direction, and F0V (f ield) of the camera are referred to the reference point. of view) to the same, and take the user's body part of the chroma key captured image input through the stereoscopic camera to overlay the image information of the virtual reality to generate and output the final output image information.
  • the 3D position and size information of the object to be interacted with is transmitted to the mixed reality system as a relative coordinate with respect to a reference point, and the mixed reality system is connected with the information of the object.
  • a check is made to see if an interaction has occurred against the depth image information received from the depth camera. Then, when the interaction occurs, it passes to the virtual reality program.
  • 9 illustrates a user input processing process according to a preferred embodiment of the present invention.
  • the mixed reality processing apparatus 104 receives the 3D position and size information of the object to be interacted with and stores it in a storage device (step 302). It is entered as a relative coordinate with respect to the reference point matched in the real and real environment.
  • the mixed reality processing apparatus 104 When the mixed reality processing apparatus 104 is requested to delete a pre-stored interaction object (step 304), the mixed reality processing device 104 stores the requested interaction object from a storage device or the like. Delete (step 306).
  • the mixed reality processing apparatus 104 detects the user's body based on the depth image information, reads each of the interactive objects from the storage device, etc., and displays the output image at the corresponding position. Insert objects into the information (step 402).
  • the mixed reality processing apparatus 104 checks whether any of the display positions of the interaction objects overlap with the body part recorded in the depth image information (step 404).
  • operation 404 it is checked whether any of the display positions of the interactive objects overlap with the detected body part of the user through depth image information.
  • Information about the interaction objects superimposed on the body part is transmitted to the virtual reality program, so that the interaction objects can provide a reaction such as deformation due to contact with the body (step 406).
  • FIG. 10 is a diagram illustrating an interaction between an interaction object displayed through a virtual reality and a user in a real environment according to the present invention, in which the user touches the interaction object in a mixed reality. To provide users with more realistic virtual reality.
  • FIG. 11 illustrates a process of detecting that an object and a user's body overlap each other according to the present invention, and detects position and height information of a user's body with respect to a region in which an object is located through depth image information. And when the object is located in the area of the height, it is determined that the object and the user's body overlap.
  • 100 chroma key environment booth
  • 102 depth camera unit
  • 104 mixed reality processing device
  • 106 HMD device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따르는 흔합현실을 이용한 가상현실 시스템은, 사용자의 시야 범위에 대응되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스; 상기 크로마키 환경부스의 상면에 설치되어 사용자를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부; 상기 사용자의 머리에 착용되며 사용자의 양안에 대응되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고, 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며, 사용자의 양안에 대응되는 면에 영상을 출력하는 HMD 출력부로 구성된 HMD 장치; 및 상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 헤드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고, 그 위치 및 회전값에 대응되게 상기 HMD 장치로 출력되는 출력영상정보를 생성하는 가상현실을 위한 가상현실 렌더링 카메라에 적용하며, 상기 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하는 흔합현실 처리장치;로 구성됨을 특징으로 한다.

Description

【명세서】
【발명의 명칭】
흔합현실을 이용한 가상현실 시스템 및 그 구현방법
【기술분야】
본 발명은 가상현실 구현기술에 관한 것으로， 더욱 상세하게는 사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대웅되는 3차원 환경을 제공할 때에 사용자의 머리를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화시킬 수 있는 흔합현실을 이용한 가상현실 시스템 및 그 구현방법에 관한 것이다.
【배경기술】
가상 현실 (Vi rtual real i ty)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감있는 3D 컨텐츠로 제작하여, 그 3D 컨텐츠를 사용하는 사람이 마치 실제 주변 상황， 환경과 상호작용하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스 등을 총칭한다.
일반적으로 사람이 지각하는 입체감은 관찰하는 물체의 위치에 따른 수정체의 두께 변화 정도， 양쪽 눈과 대상물과의 각도 차이， 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이， 대상물의 운동에 따라 생기는 시차， 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용하여 생긴다.
그 중 사람이 입체감을 느끼는 가장 중요한 요인은， 사람의 두 눈이 가로 방향으로 약 6.5cm가량 떨어져 있음으로써, 나타나게 되는 양안 시차 (binocular di spari ty)이다. 즉， 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고， 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다.
이러한 입체감있는 3D 컨텐츠들은 이미 여러 미디어 분야에 두루 이용되어 소비자들로부터 호평을 받아오고 있다. 예를 들어 3D 영화, 3D 게임 및 체험 디스플레이와 같은 것들이 대표적이다. 이와 같이 가상 현실 기술 3D 컨텐츠들의 보편화와 더불어， 더욱 몰입도 높은 가상 현실 서비스를 제공할 수 있는 기술의 개발이 다각적으로 요구되고 있다.
【발명의 상세한설명】
【기술적 과제】
본 발명은사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대웅되는 3차원 환경을 제공할 때에 사용자의 머리를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화시킬 수 있는흔합현실을 이용한가상현실 시스템 및 그 구현방법을 제공하는 것을그 목적으로 한다.
또한 본 발명의 다른 목적은 사용자가 입력한 상호작용물체를 가상현실내에 위치시킬 때에， 흔합현실과 가상현실내에 동일한 위치를 나타내는 기준점을 활용함으로써 현실감을 극대화시킬 수 있는 흔합현실을 이용한 가상현실 시스템 및 그구현방법을 제공하는 것이다.
【기술적 해결방법】
상술한 목적을 달성하가 위한 본 발명에 따르는 흔합현실을 이용한 가상현실 시스템은, 사용자의 시야 범위에 대웅되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스; 상기 크로마키 환경부스의 상면에 설치되어 사용자를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부; 상기 사용자의 머리에 착용되며 사용자의 양안에 대웅되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고， 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며 사용자의 양안에 대웅되는 면에 영상을 출력하는 HMD출력부로 구성된 HMD 장치; 및 상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 헤드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고， 그 위치 및 회전값에 대웅되게 상기 HMD 장치로 출력되는 출력영상정보를 생성하는 가상현실을 위한 가상현실 렌더링 카메라에 적용하며， 상기 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를오버레이하는흔합현실 처리장치;로 구성됨을특징으로 한다. 【유리한효과】
상기한 본 발명은사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대웅되는 3차원 환경을 제공할 때에 사용자의 머리를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화시킬 수 있는효과가 있다.
또한 본 발명은 사용자가 입력한 상호작용물체를 가상현실내에 위치시킬 때에, 흔합현실과 가상현실내에 동일한 위치를 나타내는 가준점을 활용함으로써 현실감을극대화시킬 수 있는 효과가 있다.
【도면의 간단한설명】
도 1은 본 발명의 실시예에 따른 흔합현실을 이용한 가상현실 시스템의 물리적 구성도，
도 2는도 1의 가상현실 시스템의 추상적 구성도，
도 3 및 도 4는도 1의 흔합현실부스의 구조를 개략적으로 도시한도면， 도 5는본 발명에 따른흔합현실 구현과정을 개략적으로 도시한도면， 도 6은본 발명에 따른 카메라위치 및 회전값검출과정을도시한도면, 도 7은 카메라와회전값보정과정을 예시한도면,
도 8은본 발명에 따른흔합현실 구현과정을 개략적으로 도시한도면， 도 9는 본 발명에 따른 가상현실에서의 상호작용 오브젝트의 입력 및 표시과정을도시한도면，
도 10 및 도 11은 본 발명에 따른 가상현실에서의 상호작용 오브젝트의 구현과정을 예시한도면이다.
【발명의 실시를 위한 형태】
본 발명의 이점 및 특징， 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나본 발명은 여기에서 설명되는실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지， 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서， 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로표시된 부분들은동일한구성요소를 나타낸다.
또한， 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한， 명세서에서 사용되는 "포함한다" 또는 "포함하는' '으로 언급된 구성요소， 단계， 동작 및 소자는 하나 이상의 다른 구성요소， 단계 , 동작， 소자 및 장치의 존재 또는추가를 의미한다 . 본 발명은 사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대웅되는 3차원 환경을 제공함으로써， 몰입도 높은흔합 현실을 이용한 가상현실 서비스를 제공한다.
특히 본 발명은사용자의 헤드를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을극대화한가상현실 서비스를 제공한다. 또한 본 발명은 사용자가 입력한 상호작용물체를 가상현실내에 위치시킬 때에, 흔합현실과 가상현실내에 동일한 위치를 나타내는 기준점을 활용함으로써 다양한 사용자의 욕구를 만족시켜 줄 수 있게 한다. 예를들어, 사용자가 입력한 상호작용물체를흔합현실상에서 터치하는등의 동작을 이행할수 있게 한다. 이러한본 발명의 바람직한실시예를도면을 참조하여 상세히 설명한다. 도 1은 본 발명의 바람직한 실시예에 따른 흔합현실을 이용한 가상현실 시스템의 블럭구성도이고, 도 2는 상기 가상현실 시스템의 추상적 구성도이고， 도 3 및 도 4는크로마키 환경부스의 측면도 및 상면도를도시한 것이다.
상기 도 1 내지 도 4를 참조하면， 상기 가상현실 시스템은, 크로마키 환경부스 (100)와， 깊이 카메라부 (102)와, 흔합현실 처리장치 ( 104)와， 스테레오스코픽 카메라 및 헤드 트래킹 마커 부착형 HMD Head Mounted Display) 장치 (106)로구성된다. 상기 크로마키 환경부스 ( 100)는 일측이 개방된 직육면체의 박스형태로 구성되며, 일측면은 개방된다. 상기 크로마키 환경부스 (100)의 개방된 일측면을 통해 사용자는 상기 크로마키 환경부스 ( 100)의 중앙으로 진입하여 위치할 수 있게 한다. 특히 상기 크로마키 환경부스 ( 100)의 내부면에는 크로마키 스크린이 형성되며, 도 4에 도시한 바와 같이 사용자가 머리를 좌우로 돌려 시야를 가질 경우에도 크로마키 처리될 수 있도록 180도 이상， 즉 180 + 카메라 시야각을 가질 수 있는 공간에 대해 크로마키 스크린이 형성된다. 그리고 상기 크로마크 환경부스 ( 100)의 상면에는 깊이 카메라부 ( 102)가 설치되며， 상기 크로마키 환경부스 ( 100)의 높이는 사용자가 손을 뻗었을 때에 상기 사용자의 손이 깊이 카메라부 ( 102)에 의해 촬상될 수 있을 정도의 높이를 가지도록 형성된다. 여기서, 본 발명의 바람직한 실시예에서는 크로마키 환경부스 ( 100)를 직육면체로 구성한 예만을 예시하였으나， 원통형 등 다양한 형태로 제작될 수 있음은 본 발명에 의해 당업자에게 자명하다. 그리고， 크로마키 스크린은 블루 스크린 존 (Blue Screen Zone)을 형상하는 스크린으로， 크로마키 (chroma-key)란 라이트 블루의 스크린 앞에 인물이나 물체를 배치하고 컬러 카메라로 촬영하여 이 피사체상 (被寫體像)을 아주 다른 화면에 끼워 맞추는 방법을 의미한다. 끼워 맞춰지는 피사체에는 블루 계통의 색을 사용하면 잘 안되지만 반대로 블루 계통의 색을 의식적으로 사용해서 특수한 효과를 낼 수도 있다. 이 기술 과정은 모두 전자회로 (電子回路)에서 행하여지므로 스위치 조작만으로 순간적으로 합성할수 있다는 점에서 흔합 현실 구현에 적합하다.
이에 본 발명의 실시예에서 적용되는 크로마키 스크린은 모든 벽면 및 천정， 바닥이 균일한 파란색으로 채색되어 형성되며， 사람 또는 객체가 그 공간내에서 모션을 취할수 있을 정도의 공간이 확보되도록 형성된다. 또한상기 크로마키 스크린 주변에 카메라에 색이 균일하게 들어올 수 있도록 조명광을 형성하는조명 시스템이 설치될 수도 있다.
그리고 깊이 카메라부 ( 102)는 동작인식 카메라로서, 상기 크로마키 환경부스 ( 100)의 상면에 설치되어， 사용자의 신체와 상기 HMD 장치 ( 106)에 설치된 헤드 트레킹 마커를 촬상할 수 있는 위치에 배치되어 설치된다. 이러한 깊이 카메라부 ( 102)는 키넥트 장치가 채용될 수 있으며， 별도의 컨트를러 없이 사람의 신체와 음성을 감지해 모니터 화면안에 그대로 반영하는 신개념 동작인식 카메라에 해당한다. 본 발명의 실시예에서는 상기 깊이 카메라부 (102)를 통해 상기 HMD 장치 (106)를 착용한 사용자의 신체 및 헤드 트레킹 마커를 3차원으로 인식하고 영상화하여 가상현실내의 월드좌표계와 매칭시킬 수 있는 좌표 데이터를 제공하게 된다.
상기 HMD 장치 (106)는 사람의 머리에 착용하는 디스플레이 장치로서， 사용자의 머리에 착용되어 사용자의 양안에 근접된 위치에서 실환경 및 가상현실이 흔합된 흔합현실을 디스플레이한다. 이러한 HMD 장치 (106)는 스테레오스코픽 (STEREOSCOPIC) 카메라와 그 스테레오스코픽 카메라의 상측에 각각 위치하는 두 개의 헤드 트래킹 마커와 방향센서와 HMD 출력장치로 구성된다. 상기 헤드 트레킹 마커는 도 3에 도시한 바와 같이 사용자의 양안 사이에 위치하는 막대형태로, 사용자의 머리의 움직임을 지시하며， 이 헤드 트레킹 마커는 깊이 카메라부 (102)에 의해 촬상되어 상기 흔합현실 처리장치 (104)로 제공한다. 상기 스테레오스코픽 카메라는 사용자의 양안에 대웅되게 설치되어， 사용자의 양안 각각으로 취득될 수 있는 전면의 영상정보， 예를들면 사용자의 손 등과 같은 사용자의 육체를 촬상하고 이를 상기 흔합현실 처리장치 (104)로 제공한다. 상기 방향센서는 사용자의 양안 사이에 위치하여, 사용자의 머리에 대한 방향을 센싱하고， 그에 따른 센싱、정보를 상기 흔합현실 처리장치 (104)로 제공한다. 상기 HMD 출력장치는 상기 흔합현실 처리장치 (104)가 제공하는 출력영상데이터를표시하여 사용자의 양안으로 제공한다.
상기 흔합현실 처리장치 (104)는 컴퓨터 등과 같은 데이터 처리장치로서 깊이 카메라 (102)가 제공하는 깊이 이미지 정보와 HMD 장치 (106)의 스테레오스코픽 카메라가 제공하는 스테레오 촬상정보와 방향센싱정보와 가상현실을 위한 컨텐츠 정보를 이용하여 흔합현실을 가능하게 하는 출력영상데이터를 생성하여 상기 HMD 장치 (106)의 HMD 출력장치를 통해 출력한다. 특히 상기 흔합현실 처리장치 (104)는 본 발명에 따라 깊이 카메라 (102)가 제공하는 깊이 이미지 정보로부터 헤드 트래킹 마커를 검지하여 사용자의 시선을 지시하는 스테레오스코픽 카메라의 위치 및 회전값을 검출하며， 상기 회전값을 상기 방향센싱정보에 따라 보정한 후에， 상기 스테레오스코픽 카메라의 위치 및 회전값 정보를 가상현실을 위한 컨텐츠 정보에서의 가상현실 렌더링 카메라에 적용함과 아울러， 스테레오스코픽 카메라가 제공하는 스테레오 촬상정보를 오버레이하여 흔합현실을 위한 출력영상데이터를 생성한다. 여기서， 상기 스테레오스코픽 카메라의 위치 및 회전값 정보를 렌더링 카메라에 적용한다는 것은, 실환경에서 스테레오스코픽 카메라가 실환경의 사용자의 눈 역할을 하고， 가상현실에서는 렌더링 카메라가 사용자의 눈역할을 하므로， 두 카메라가 같은 곳을보고 같은 위치에 위치하도록 렌더링 카메라를 조정한다는 것을 의미한다. 상기한 흔합현실 처리장치 (104)에는 컨텐츠 정보에서 카메라 위치 및 회전값을 변경하는 가상현실 프로그램과， 가상현실 및 흔합현실 API를 통한 흔합현실 지원 API부와， 깊이 이미지 정보를 이용하여 흔합현실을 위한흔합현실 처리부로 구성된다. 이러한본 발명의 바람직한 실시예에 따르는 흔합현실을 이용한 가상현실 시스템의 동작을 카메라 위치 및 회전값 검출과정과 가상현실에서의 상호작용 오브젝트의 입력 및 표시과정으로 나누어 설명한다.
<카메라위치 및 회전값검출과정>
본 발명에 따르는 흔합현실을 이용한 가상현실 시스템의 동작 중 카메라 위치 및 회전값 검출과정을도 5 내지 도 8을 참조하여 설명한다.
본 발명은 HMD 장치 (106)에 부착된 스테레오스코픽 카메라에 의해 사용자의 신체를 촬영하고 크로마키 기법을 활용하여 배경과 사용자의 신체를 분리하고, 그 분리된 사용자의 신체를 가상현실 환경에 덧입혀 표시함으로써 흔합현실을 구현한다. 이는 사용자가 가상현실내에 존재하는 것과 같은 효과를 가져오며 가상현실내의 오브젝트와의 상호작용시 사용자의 신체위치를 직접 볼 수 있으므로보다자연스럽게 가상현실에 몰입될 수 있게 한다.
도 5는 본 발명에 따르는 흔합현실 구현과정에 대한 개념도를 도시한 것으로， 본 발명은 사용자의 머리 위치 및 회전값， 방향을 파악하여 가상현실의 가상현실 렌더링 (RENDERING) 카메라에 적용하여 흔합현실을 실현한다. 이러한 적용시에는 미리 설정된 기준점 (Α,Β)과의 상대적 위치 및 방향을 기준으로 설정된다. 특히 상기 기준점 A는 실환경에 고정되며, 상기 기준점 B는 가상현실내에 가상의 사용자의 이동에 의하여 이동될 수 있으며， 두 기준점은 가상현실과 현실에서 동일한 위치를 지시한다.
이러한 본 발명에 따르는 헤드 트래킹에 의한 카메라 위치 및 회전값 검출과정을 도 6을 참조하여 설명한다.
깊이 카메라부 (102)는 크로마키 환경부스 (100)의 상면에 설치되어 사용자를 내려보는 방향으로 촬상을 이행하여 깊이 이미지 정보를 생성하고, 그 깊이 이미지 정보를 흔합현실 처리장치 (104)로 제공한다 (200단계) .
상기 HMD 장치 (106)는 방향센서를 통해 사용자의 머리의 방향을 센싱하고， 그 센싱에 따른 방향센싱정보를 상기 흔합현실 처리장치 (104)로 제공한다 (202단계) .
상기 흔합현실 처리장치 (104)는 상기 깊이 이미지 정보로부터 헤드 트래킹 마커를 검출하고， 그 검출된 헤드 트래킹 마커로부터 스테레오스코틱 카메라의 위치 및 회전값을 검출한다 (204， 206단계) .
이후 상기 흔합현실 처리장치 (104)는 상기 HMD 장치 (106)로부터의 방향센싱정보에 따라 상기 스테레오스코픽 카메라의 회전값을 보정한다 (208단계) . 이러한 회전값의 보정과정은 도 7에 도시한 바와 같다.
상기 회전값이 보정되면， 상기 흔합현실 처리장치 (104)는 가상현실에 고정된 기준점에 대한 카메라 위치 및 회전값으로 변환하고， 그 변환된 카메라 위치 및 회전값 정보를 가상현실 프로그램에 제공한다 (212단계) . 상기 가상현실 프로그램은 상기 카메라 위치 및 회전값 정보에 따라 콘텐츠 중 출력영상정보를 변경하여， 사용자의 움직임에 대웅되는 가상현실을 사용자에게 제공한다. 도 7은 깊이 이미지 정보로부터 카메라 위치 및 회전값을 추출하는 과정을 도시한 것이다. 도 7의 (a)는 깊이 이미지 정보를 도시한 것이며， 이 깊이 이미지 정보로부터 오브젝트들을 분리한 것이 도 7의 (b)이며， 분리된 오브젝트들 중 미리 정해둔 크기와 모양의 유사 범위에 속하는 오브젝트들을 검출하여 헤드 트래킹 마커를 검출한 것을 예시한 것이 도 7의 (c)이다. 그리고 도 7의 (d)는 방향센서에 의한 방향센싱값이 지시하는 방향백터를 도시한 것이고， 도 7의 (e)는 두 마커의 위치를 이용하여 방향백터와 중심점을 생성하는 과정을 도시한 것이며, 도 7의 ( f )는 기준점에 대한 상대좌표체계로 변경하는 과정을 도시한 것이다. 도 8은 흔합현실 출력과정을 예시한 것으로， 본 발명에 따르는 흔합현실 출력시에는 실환경과 가상현실내에서 동일한 기준점을 사용하고， 그 기준점을 기준으로 하여 카메라의 위치， 방향， F0V( f ield of view)를 동일하게 맞추며， 스테레오스코픽 카메라를 통해 입력받은 크로마키 촬상영상 중 사용자의 신체 부분을 가져와 가상현실의 영상정보에 오버레이하여 최종 출력영상정보를 생성하여 출력한다.
<가상현실에서의 상호작용오브젝트의 입력 및 표시과정>
이제 본 발명에 따르는 가상현실에서의 상호작용 오브젝트의 입력 및 표시과정을 도 9 내자도 11을 참조하여 설명한다.
본 발명은 가상현실내에서 사용자 범위내에 상호작용할 물체가 발생할 경우, 상호작용할 물체에 대한 3차원 위치， 크기 정보를 기준점에 대한 상대좌표로 흔합현실 시스템에 전달하고， 흔합현실 시스템은 물체의 정보와 깊이 카메라로부터 전달받은 깊이 이미지 정보와 대조하여 상호작용이 일어났는지에 대한 확인을 이행한다. 이후 상호작용이 발생할 경우에 가상현실 프로그램에 전달한다. 도 9는 본 발명의 바람직한 실시예에 따른 사용자 입력 처리 과정을 도시한 것이다.
상기 흔합현실 처리장치 (104)는 상호작용 오브젝트의 입력이 요청되면 (300단계)， 상호작용할 물체에 대한 3차원 위치 및 크기정보를 입력받아 저장장치 등에 저장하며 (302단계)， 상기 위치는 가상현실과 실환경에서 일치된 기준점에 대한 상대좌표로서 입력된다.
상기 흔합현실 처리장치 (104)는 미리 저장된 상호작용 오브젝트의 삭제가 요청되면 (304단계)， 상기 삭제 요청된 상호작용 오브젝트를 저장장치 등으로부터 삭제한다 (306단계) .
또한 상기 혼합현실 처리장치 (104)는 깊이 이미지 정보가 수신되면， 깊이 이미지 정보를 토대로 사용자의 신체를 검출함과 아울러， 상호작용 오브젝트들 각각을 저장장치 등으로부터 독취하여 해당 위치에 표시되도록 출력영상정보에 오브젝트들을 삽입한다 (402단계) .
이후 상기 흔합현실 처리장치 (104)는 상호작용 오브젝트들의 표시위치 중 깊이 이미지 정보에 기록된 신체부위에 중첩되는 것이 있는지를 체크한다 (404단계) . 상기 상호작용 오브젝트들의 표시위치 중 깊이 이미지 정보를 통해 검출된 사용자의 신체부위와 중첩되는 것이 있는지를 체크한다 (404단계) . 상기 신체부위에 중첩되는 상호작용 오브젝트들에 대한 정보를 가상현실 프로그램에 전송하여, 해당 상호작용 오브젝트들이 신체와의 접촉에 따른 변형 등의 리액션을 제공할 수 있게 한다 (406단계) .
도 10은 본 발명에 따라 가상현실을 통해 표시된 상호작용 오브젝트와 실제환경에서의 사용자가 서로 결합되어 흔합현실에서 사용자가 상호작용 오브젝트를 터치하는 것을 예시한 도면으로， 실제환경과 가상현실상에는 동일한 기준점을 사용하여 사용자에게 더욱 현장감있는 가상현실을 제공한다.
도 11은 본 발명에 따라오브젝트와 사용자의 신체가 서로 중첩되는 것을 검지하는 과정을 예시한 것으로, 깊이 이미지 정보를 통해 오브젝트가 위치하는 영역에 대한 사용자 신체의 위치 및 높이정보를 검출하고， 그 위치 및 높이에 대웅되는 영역에 오브젝트가 위치하면， 오브젝트와 사용자의 신체가 중첩되는 것으로 판단한다. 이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만， 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
<부호의 설명 >
100： 크로마키 환경부스， 102: 깊이 카메라부
104： 흔합현실 처리장치， 106 : HMD 장치

Claims

【청구의 범위】
【청구항 1】
흔합현실을 이용한 가상현실 시스템에 있어서,
사용자의 시야 범위에 대웅되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스;
상기 크로마키 환경부스의 상면에 설치되어 사용자를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부;
상기 사용자의 머리에 착용되며 사용자의 양안에 대웅되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고， 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며， 사용자의 양안에 대웅되는 면에 영상을 출력하는 HMD 출력부로 구성된 HMD 장치 ; 및
상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 해드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고, 그 위치 및 회전값에 대웅되게 상기 HMD 장치로 출력되는 출력영상정보를 생성하는 가상현실을 위한 가상현실 렌더링 카메라에 적용하며， 상기 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하는 흔합현실 처리장치;로 구성됨을 특징으로 하는 흔합현실을 이용한 가상현실 시스템 .
【청구항 2】
제 1항에 있어서，
상기 시야범위에 대웅되는 공간은 미리 정해둔 각도에 상기 스테레오스코픽 카메라의 촬상각을 더한 것임을 특징으로 하는 흔합현실을 이용한 가상현실 시스템 .
【청구항 3】
거 U항에 있어서，
상기 HMD 장치에는 사용자의 시야에 대웅되는 방향을 검출하기 위한 방향센서가 더 구비되며， 상기 흔합현실 처리장치는 상기 방향센서가 검출한 방향센싱값에 따라 상기 회전값을보정함을특징으로 하는흔합현실을 이용한가상현실 시스템.
【청구항 4]
제 1항에 있어서，
상기 흔합현실 처리장치는
상기 크로마키 환경부스에 표기된 실제환경에서의 기준점과
상기 가상현실을 위한출력영상정보에서의 기준점을 일치시킴을 특징으로 하는흔합현실을 이용한가상현실 시스템.
【청구항 5】
계 1항에 있어서,
상기 흔합현실 처리장치는，
상호작용오브젝트에 대한위치 및 크기정보를 입력받아등록하고, 상기 깊이 카메라에 의해 검출된 사용자의 신체가 상기 상호작용 오브젝트의 위치 및 크기에 대웅되는 영역과중첩되는지를 검출하고，
상기 신체와 상기 상호작용 오브젝트가 중첩되면 이를 지시하는 정보를 상기 출력영상정보에 부가함을 특징으로 하는 흔합현실을 이용한 가상현실 시스템.
【청구항 6】
흔합현실을 이용한가상현실 구현방법에 있어서,
사용자의 시야 범위에 대웅되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스의 상면에 설치된 깊이 카메라가 사용자를 촬상하여 깊이 이미지 정보를 생성하는 단계;
상기 사용자의 머리에 착용되는 HMD 장치가 사용자의 양안에 근접하여 외부로부터의 출력영상정보를출력하는 단계;
상기 HMD 장치 중 사용자의 양안에 대웅되는 위치에 설치된 스테레오스코픽 카메라가사용자의 전면을 촬상하는 단계; 및 흔합현실 처리장치가, 상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 헤드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고， 그 위치 및 회전값에 대응되게 상기 HMD 장치로 출력되는 출력영상정보를 생성하는 가상현실을 위한 가상현실 렌더링 카메라에 적용하며， 상기 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하는 단계;를 구비하며，
상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 형성됨을 흔합현실을 이용한 가상현실 구현방법 .
【청구항 7】
제 6항에 있어서,
상기 시야범위에 대웅되는 공간은 미리 정해둔 각도에 상기 스테레오스코픽 카메라의 촬상각을 더한 것임을 특징으로 하는 흔합현실을 이용한 가상현실 구현방법 .
【청구항 8】
계 6항에 있어서,
상기 HMD 장치에는 사용자의 시야에 대웅되는 방향을 검출하기 위한 방향센서가 더 구비되며，
상기 흔합현실 처리장치는 상기 방향센서가 검출한 방향센싱값에 따라 상기 회전값을 보정함을 특징으로 하는 흔합현실을 이용한 가상현실 구현방법.
【청구항 9】
제 6항에 있어서，
상기 흔합현실 처리장치는
상기 크로마키 환경부스에 표기된 실제환경에서의 기준점과
상기 가상현실을 위한 출력영상정보에서의 기준점을 일치시킴을 특징으로 하는 흔합현실을 이용한 가상현실 구현방법 . 【청구항 10】
제 6항에 있어서，
상기 흔합현실 처리장치는，
상호작용 오브젝트에 대한 위치 및 크기정보를 입력받아등록하고， 상기 깊이 카메라에 의해 검출된 사용자의 신체가 상기 상호작용 오브젝트의 위치 및 크기에 대웅되는 영역과 중첩되는지를 검출하고，
상기 신체와 상기 상호작용 오브젝트가 중첩되면 이를 지시하는 정보를 상기 출력영상정보에 부가함을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법 .
PCT/KR2017/005477 2016-05-26 2017-05-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 WO2017204581A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/302,094 US10587868B2 (en) 2016-05-26 2017-05-25 Virtual reality system using mixed reality and implementation method thereof
CN201780032462.3A CN109196406B (zh) 2016-05-26 2017-05-25 利用混合现实的虚拟现实***及其实施方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160064970A KR101822471B1 (ko) 2016-05-26 2016-05-26 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR10-2016-0064970 2016-05-26

Publications (1)

Publication Number Publication Date
WO2017204581A1 true WO2017204581A1 (ko) 2017-11-30

Family

ID=60411346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005477 WO2017204581A1 (ko) 2016-05-26 2017-05-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Country Status (4)

Country Link
US (1) US10587868B2 (ko)
KR (1) KR101822471B1 (ko)
CN (1) CN109196406B (ko)
WO (1) WO2017204581A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147237A1 (en) * 2018-01-24 2019-08-01 Hewlett-Packard Development Company, L.P. Augmented reality display
US10748440B1 (en) 2018-10-03 2020-08-18 Lockheed Martin Corporation Projectorless simulator with adjustable size canopy

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611575A (zh) * 2016-10-13 2020-09-01 创新先进技术有限公司 基于虚拟现实场景的业务实现方法及装置
US10474006B2 (en) * 2017-04-20 2019-11-12 Lifetouch Inc. Outdoor photography system
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US11212509B2 (en) 2018-12-20 2021-12-28 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
KR102489290B1 (ko) * 2020-11-20 2023-01-17 부산대학교 산학협력단 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
KR102442715B1 (ko) * 2020-12-02 2022-09-14 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법
KR102344817B1 (ko) * 2021-04-28 2021-12-30 주식회사 차후 두개 이상의 마커를 이용하는 증강현실 방위 보정 방법 및 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 실행하는 전자 디바이스
US11993394B2 (en) 2021-11-10 2024-05-28 Rockwell Collins, Inc. Flight safety demonstration and infotainment through mixed reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127251A (ko) * 2004-03-26 2006-12-11 아츠시 타카하시 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US9390698B2 (en) * 2006-04-05 2016-07-12 Lawrence G. Ryckman Audio remastering system
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20160371888A1 (en) * 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
JP6307627B2 (ja) * 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
WO2015168406A1 (en) * 2014-04-30 2015-11-05 Cubic Corporation Adaptive gate walkway floor display
US9754552B2 (en) * 2014-06-17 2017-09-05 Amazon Technologies, Inc. Architectures for processing of head tracking on a mobile device
CN105611267B (zh) * 2014-11-21 2020-12-15 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修***的实现设备与方法
US20180151000A1 (en) * 2016-11-27 2018-05-31 Cix Liv Deployable mixed and virtual reality environment system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127251A (ko) * 2004-03-26 2006-12-11 아츠시 타카하시 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147237A1 (en) * 2018-01-24 2019-08-01 Hewlett-Packard Development Company, L.P. Augmented reality display
US11182973B2 (en) 2018-01-24 2021-11-23 Hewlett-Packard Development Company, L.P. Augmented reality display
US10748440B1 (en) 2018-10-03 2020-08-18 Lockheed Martin Corporation Projectorless simulator with adjustable size canopy

Also Published As

Publication number Publication date
US20190156586A1 (en) 2019-05-23
CN109196406A (zh) 2019-01-11
KR101822471B1 (ko) 2018-01-29
US10587868B2 (en) 2020-03-10
CN109196406B (zh) 2021-06-04
KR20170134829A (ko) 2017-12-07

Similar Documents

Publication Publication Date Title
WO2017204581A1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
JP4725595B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体
US9651782B2 (en) Wearable tracking device
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
US9014414B2 (en) Information processing apparatus and information processing method for processing image information at an arbitrary viewpoint in a physical space or virtual space
US20170213085A1 (en) See-through smart glasses and see-through method thereof
CN111007939B (zh) 一种基于深度感知的虚拟现实***空间定位方法
TWI657431B (zh) 動態顯示系統
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
US11956415B2 (en) Head mounted display apparatus
WO2016169409A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
KR20160014601A (ko) 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치
CN110969658B (zh) 利用来自多个设备的图像进行定位和标测
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
KR20110132260A (ko) 모니터 기반 증강현실 시스템
US9600938B1 (en) 3D augmented reality with comfortable 3D viewing
JP2007318754A (ja) 仮想環境体験表示装置
JP2000310826A (ja) 仮想環境体験表示装置
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US11589001B2 (en) Information processing apparatus, information processing method, and program
JP2017046065A (ja) 情報処理装置
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17803100

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17803100

Country of ref document: EP

Kind code of ref document: A1