KR101822471B1 - 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 - Google Patents

혼합현실을 이용한 가상현실 시스템 및 그 구현방법 Download PDF

Info

Publication number
KR101822471B1
KR101822471B1 KR1020160064970A KR20160064970A KR101822471B1 KR 101822471 B1 KR101822471 B1 KR 101822471B1 KR 1020160064970 A KR1020160064970 A KR 1020160064970A KR 20160064970 A KR20160064970 A KR 20160064970A KR 101822471 B1 KR101822471 B1 KR 101822471B1
Authority
KR
South Korea
Prior art keywords
user
image information
camera
mixed reality
virtual reality
Prior art date
Application number
KR1020160064970A
Other languages
English (en)
Other versions
KR20170134829A (ko
Inventor
윤병주
이상훈
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020160064970A priority Critical patent/KR101822471B1/ko
Priority to CN201780032462.3A priority patent/CN109196406B/zh
Priority to PCT/KR2017/005477 priority patent/WO2017204581A1/ko
Priority to US16/302,094 priority patent/US10587868B2/en
Publication of KR20170134829A publication Critical patent/KR20170134829A/ko
Application granted granted Critical
Publication of KR101822471B1 publication Critical patent/KR101822471B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따르는 혼합현실을 이용한 가상현실 시스템은, 사용자의 시야 범위에 대응되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스; 상기 크로마키 환경부스의 상면에 설치되어 사용자를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부; 상기 사용자의 머리에 착용되며 사용자의 양안에 대응되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고, 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며, 사용자의 양안에 대응되는 면에 영상을 출력하는 HMD 출력부로 구성된 HMD 장치; 및 상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 헤드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고, 그 위치 및 회전값에 대응되게 상기 HMD 장치로 출력되는 출력영상정보를 생성하는 가상현실을 위한 가상현실 렌더링 카메라에 적용하며, 상기 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하는 혼합현실 처리장치;로 구성됨을 특징으로 한다.

Description

혼합현실을 이용한 가상현실 시스템 및 그 구현방법{Virtual Reality System using of Mixed reality, and thereof implementation method}
본 발명은 가상현실 구현기술에 관한 것으로, 더욱 상세하게는 사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대응되는 3차원 환경을 제공할 때에 사용자의 머리를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화시킬 수 있는 혼합현실을 이용한 가상현실 시스템 및 그 구현방법에 관한 것이다.
가상 현실(Virtual reality)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감있는 3D 컨텐츠로 제작하여, 그 3D 컨텐츠를 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스 등을 총칭한다.
일반적으로 사람이 지각하는 입체감은 관찰하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용하여 생긴다.
그 중 사람이 입체감을 느끼는 가장 중요한 요인은, 사람의 두 눈이 가로 방향으로 약 6.5㎝가량 떨어져 있음으로써, 나타나게 되는 양안 시차(binocular disparity)이다. 즉, 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다.
이러한 입체감있는 3D 컨텐츠들은 이미 여러 미디어 분야에 두루 이용되어 소비자들로부터 호평을 받아오고 있다. 예를 들어 3D 영화, 3D 게임 및 체험 디스플레이와 같은 것들이 대표적이다.
이와 같이 가상 현실 기술 3D 컨텐츠들의 보편화와 더불어, 더욱 몰입도 높은 가상 현실 서비스를 제공할 수 있는 기술의 개발이 다각적으로 요구되고 있다.
대한민국 공개특허 제10-2014-0001167호 대한민국 공개특허 제10-2013-0137692호 대한민국 특허등록 제10-1619468호
본 발명은 사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대응되는 3차원 환경을 제공할 때에 사용자의 머리를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화시킬 수 있는 혼합현실을 이용한 가상현실 시스템 및 그 구현방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명의 다른 목적은 사용자가 입력한 상호작용물체를 가상현실내에 위치시킬 때에, 혼합현실과 가상현실내에 동일한 위치를 나타내는 기준점을 활용함으로써 현실감을 극대화시킬 수 있는 혼합현실을 이용한 가상현실 시스템 및 그 구현방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명에 따르는 혼합현실을 이용한 가상현실 시스템은, 사용자의 시야 범위에 대응되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스; 상기 크로마키 환경부스의 상면에 설치되어 사용자를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부; 상기 사용자의 머리에 착용되며 사용자의 양안에 대응되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고, 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며, 사용자의 양안에 대응되는 면에 영상을 출력하는 HMD 출력부로 구성된 HMD 장치; 및 상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 헤드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고, 그 위치 및 회전값에 대응되게 상기 HMD 장치로 출력되는 출력영상정보를 생성하는 가상현실을 위한 가상현실 렌더링 카메라에 적용하며, 상기 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하는 혼합현실 처리장치;로 구성됨을 특징으로 한다.
상기한 본 발명은 사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대응되는 3차원 환경을 제공할 때에 사용자의 머리를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화시킬 수 있는 효과가 있다.
또한 본 발명은 사용자가 입력한 상호작용물체를 가상현실내에 위치시킬 때에, 혼합현실과 가상현실내에 동일한 위치를 나타내는 기준점을 활용함으로써 현실감을 극대화시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 혼합현실을 이용한 가상현실 시스템의 물리적 구성도.
도 2는 도 1의 가상현실 시스템의 추상적 구성도.
도 3 및 도 4는 도 1의 혼합현실부스의 구조를 개략적으로 도시한 도면.
도 5는 본 발명에 따른 혼합현실 구현과정을 개략적으로 도시한 도면.
도 6은 본 발명에 따른 카메라 위치 및 회전값 검출과정을 도시한 도면.
도 7은 카메라의 회전값 보정과정을 예시한 도면.
도 8은 본 발명에 따른 혼합현실 구현과정을 개략적으로 도시한 도면.
도 9는 본 발명에 따른 가상현실에서의 상호작용 오브젝트의 입력 및 표시과정을 도시한 도면.
도 10 및 도 11은 본 발명에 따르는 상호작용 오브젝트의 구현과정을 예시한 도면.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.
본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
본 발명은 사용자의 신체를 인식하여 가상현실에 대입하며 사용자 머리의 움직임에 대응되는 3차원 환경을 제공함으로써, 몰입도 높은 혼합 현실을 이용한 가상 현실 서비스를 제공한다.
특히 본 발명은 사용자의 헤드를 트래킹하여 가상현실내 카메라의 위치와 사용자의 시야각을 일치시켜 현실감을 극대화한 가상현실 서비스를 제공한다.
또한 본 발명은 사용자가 입력한 상호작용물체를 가상현실내에 위치시킬 때에, 혼합현실과 가상현실내에 동일한 위치를 나타내는 기준점을 활용함으로써 다양한 사용자의 욕구를 만족시켜 줄 수 있게 한다. 예를들어, 사용자가 입력한 상호작용물체를 혼합현실상에서 터치하는 등의 동작을 이행할 수 있게 한다.
이러한 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 바람직한 실시예에 따르는 혼합현실을 이용한 가상현실 시스템의 블럭구성도이고, 도 2는 상기 가상현실 시스템의 추상적 구성도이고, 도 3 및 도 4는 크로마키 환경부스의 측면도 및 상면도를 도시한 것이다.
상기 도 1 내지 도 4를 참조하면, 상기 가상현실 시스템은, 크로마키 환경부스(100)와 깊이 카메라부(102)와 혼합현실 처리장치(104)와 스테레오스코픽 카메라 및 헤드 트래킹 마커 부착형 HMD(Head Mounted Display) 장치(106)로 구성된다.
상기 크로마키 환경부스(100)는 일측이 개방된 직육면체의 박스형태로 구성되며, 일측면은 개방된다. 상기 크로마키 환경부스(100)의 개방된 일측면을 통해 사용자는 상기 크로마키 환경부스(100)의 중앙으로 진입하여 위치할 수 있게 한다. 특히 상기 크로마키 환경부스(100)의 내부면에는 크로마키 스크린이 형성되며, 도 4에 도시한 바와 같이 사용자가 머리를 좌우로 돌려 시야를 가질 경우에도 크로마키 처리될 수 있도록 180도 이상, 즉 180 + 카메라 시야각을 가질 수 있는 공간에 대해 크로마키 스크린이 형성된다. 그리고 상기 크로마크 환경부스(100)의 상면에는 깊이 카메라부(102)가 설치되며, 상기 크로마키 환경부스(100)의 높이는 사용자가 손을 뻗었을 때에 상기 사용자의 손이 깊이 카메라(102)에 의해 촬상될 수 있을 정도의 높이를 가지도록 형성된다. 여기서, 본 발명의 바람직한 실시예에서는 크로마키 환경부스(100)를 직육면체로 구성한 예만을 예시하였으나, 원통형 등 다양한 형태로 제작될 수 있음은 본 발명에 의해 당업자에게 자명하다. 그리고, 크로마키 스크린은 블루 스크린 존(Blue Screen Zone)을 형상하는 스크린으로, 크로마키(chroma-key)란 라이트 블루의 스크린 앞에 인물이나 물체를 배치하고 컬러 카메라로 촬영하여 이 피사체상(被寫體像)을 아주 다른 화면에 끼워 맞추는 방법을 의미한다. 끼워 맞춰지는 피사체에는 블루 계통의 색을 사용하면 잘 안되지만 반대로 블루 계통의 색을 의식적으로 사용해서 특수한 효과를 낼 수도 있다. 이 기술 과정은 모두 전자회로(電子回路)에서 행하여지므로 스위치 조작만으로 순간적으로 합성할 수 있다는 점에서 혼합 현실 구현에 적합하다.
이에 본 발명의 실시예에서 적용되는 크로마키 스크린은 모든 벽면 및 천정, 바닥이 균일한 파란색으로 채색되어 형성되며, 사람 또는 객체가 그 공간내에서 모션을 취할 수 있을 정도의 공간이 확보되도록 형성된다. 또한 상기 크로마키 스크린 주변에 카메라에 색이 균일하게 들어올 수 있도록 조명광을 형성하는 조명 시스템이 설치될 수도 있다.
그리고 깊이 카메라부(102)는 동작인식 카메라로서, 상기 크로마키 환경부스(100)의 상면에 설치되어, 사용자의 신체와 상기 HMD 장치(106)에 설치된 헤드 트레킹 마커를 촬상할 수 있는 위치에 배치되어 설치된다. 이러한 깊이 카메라부(102)는 키넥트 장치가 채용될 수 있으며, 별도의 컨트롤러없이 사람의 신체와 음성을 감지해 모니터 화면안에 그대로 반영하는 신개념 동작인식 카메라에 해당한다. 본 발명의 실시예에서는 상기 깊이 카메라부(102)를 통해 상기 HMD 장치(106)를 착용한 사용자의 신체 및 헤드 트레킹 마커를 3차원으로 인식하고 영상화하여 가상현실내의 월드좌표계와 매칭시킬 수 있는 좌표 데이터를 제공하게 된다.
상기 HMD 장치(106)는 사람의 머리에 착용하는 디스플레이 장치로서, 사용자의 머리에 착용되어 사용자의 양안에 근접된 위치에서 실환경 및 가상현실이 혼합된 혼합현실을 디스플레이한다. 이러한 HMD 장치(106)는 스테레오스코픽(STEREOSCOPIC) 카메라와 그 스테레오스코픽 카메라의 상측에 각각 위치하는 두개의 헤드 트래킹 마커와 방향센서와 HMD 출력장치로 구성된다. 상기 헤드 트레킹 마커는 도 3에 도시한 바와 같이 사용자의 양안 사이에 위치하는 막대형태로, 사용자의 머리의 움직임을 지시하며, 이 헤드 트레킹 마커는 깊이 카메라부(102)에 의해 촬상되어 상기 혼합현실 처리장치(104)로 제공한다. 상기 스테레오스코픽 카메라는 사용자의 양안에 대응되게 설치되어, 사용자의 양안 각각으로 취득될 수 있는 전면의 영상정보, 예를들면 사용자의 손 등과 같은 사용자의 육체를 촬상하고 이를 상기 혼합현실 처리장치(104)로 제공한다. 상기 방향센서는 사용자의 양안 사이에 위치하여, 사용자의 머리에 대한 방향을 센싱하고, 그에 따른 센싱정보를 상기 혼합현실 처리장치(104)로 제공한다. 상기 HMD 출력장치는 상기 혼합현실 처리장치(104)가 제공하는 출력영상데이터를 표시하여 사용자의 양안으로 제공한다.
상기 혼합현실 처리장치(104)는 컴퓨터 등과 같은 데이터 처리장치로서 깊이 카메라(102)가 제공하는 깊이 이미지 정보와 HMD 장치(106)의 스테레오스코픽 카메라가 제공하는 스테레오 촬상정보와 방향센싱정보와 가상현실을 위한 컨텐츠 정보를 이용하여 혼합현실을 가능하게 하는 출력영상데이터를 생성하여 상기 HMD 장치(106)의 HMD 출력장치를 통해 출력한다. 특히 상기 혼합현실 처리장치(104)는 본 발명에 따라 깊이 카메라(102)가 제공하는 깊이 이미지 정보로부터 헤드 트래킹 마커를 검지하여 사용자의 시선을 지시하는 스테레오스코픽 카메라의 위치 및 회전값을 검출하며, 상기 회전값을 상기 방향센싱정보에 따라 보정한 후에, 상기 스테레오스코픽 카메라의 위치 및 회전값 정보를 가상현실을 위한 컨텐츠 정보에서의 가상현실 렌더링 카메라에 적용함과 아울러, 스테레오스코픽 카메라가 제공하는 스테레오 촬상정보를 오버레이하여 혼합현실을 위한 출력영상데이터를 생성한다. 여기서, 상기 스테레오스코픽 카메라의 위치 및 회전값 정보를 렌더링 카메라에 적용한다는 것은, 실환경에서 스테레오스코픽 카메라가 실환경의 사용자의 눈 역할을 하고, 가상현실에서는 렌더링 카메라가 사용자의 눈역할을 하므로, 두 카메라가 같은 곳을 보고 같은 위치에 위치하도록 렌더링 카메라를 조정한다는 것을 의미한다.
상기한 혼합현실 처리장치(104)에는 컨텐츠 정보에서 카메라 위치 및 회전값을 변경하는 가상현실 프로그램과, 가상현실 및 혼합현실 API를 통한 혼합현실 지원 API부와, 깊이 이미지 정보를 이용하여 혼합현실을 위한 혼합현실 처리부로 구성된다.
이러한 본 발명의 바람직한 실시예에 따르는 혼합현실을 이용한 가상현실 시스템의 동작을 카메라 위치 및 회전값 검출과정과 가상현실에서의 상호작용 오브젝트의 입력 및 표시과정으로 나누어 설명한다.
<카메라 위치 및 회전값 검출과정>
본 발명에 따르는 혼합현실을 이용한 가상현실 시스템의 동작 중 카메라 위치 및 회전값 검출과정을 도 5 내지 도 8을 참조하여 설명한다.
본 발명은 HMD 장치(106)에 부착된 스테레오스코픽 카메라에 의해 사용자의 신체를 촬영하고 크로마키 기법을 활용하여 배경과 사용자의 신체를 분리하고, 그 분리된 사용자의 신체를 가상현실 환경에 덧입혀 표시함으로써 혼합현실을 구현한다. 이는 사용자가 가상현실내에 존재하는 것과 같은 효과를 가져오며 가상현실내의 오브젝트와의 상호작용시 사용자의 신체위치를 직접 볼 수 있으므로 보다 자연스럽게 가상현실에 몰입될 수 있게 한다.
도 5는 본 발명에 따르는 혼합현실 구현과정에 대한 개념도를 도시한 것으로, 본 발명은 사용자의 머리 위치 및 회전값, 방향을 파악하여 가상현실의 가상현실 렌더링(RENDERING) 카메라에 적용하여 혼합현실을 실현한다. 이러한 적용시에는 미리 설정된 기준점(A,B)과의 상대적 위치 및 방향을 기준으로 설정된다. 특히 상기 기준점 A는 실환경에 고정되며, 상기 기준점 B는 가상현실내에 가상의 사용자의 이동에 의하여 이동될 수 있으며, 두 기준점은 가상현실과 현실에서 동일한 위치를 지시한다.
이러한 본 발명에 따르는 헤드 트래킹에 의한 카메라 위치 및 회전값 검출과정을 도 6을 참조하여 설명한다.
깊이 카메라부(102)는 크로마키 환경부스(100)의 상면에 설치되어 사용자를 내려보는 방향으로 촬상을 이행하여 깊이 이미지 정보를 생성하고, 그 깊이 이미지 정보를 혼합현실 처리장치(104)로 제공한다(200단계).
상기 HMD 장치(106)는 방향센서를 통해 사용자의 머리의 방향을 센싱하고, 그 센싱에 따른 방향센싱정보를 상기 혼합현실 처리장치(104)로 제공한다(202단계).
상기 혼합현실 처리장치(104)는 상기 깊이 이미지 정보로부터 헤드 트래킹 마커를 검출하고, 그 검출된 헤드 트래킹 마커로부터 스테레오스코틱 카메라의 위치 및 회전값을 검출한다(204,206단계).
이후 상기 혼합현실 처리장치(104)는 상기 HMD 장치(106)로부터의 방향센싱정보에 따라 상기 스테레오스코픽 카메라의 회전값을 보정한다(208단계). 이러한 회전값의 보정과정은 도 7에 도시한 바와 같다.
상기 회전값이 보정되면, 상기 혼합현실 처리장치(104)는 가상현실에 고정된 기준점에 대한 카메라 위치 및 회전값으로 변환하고, 그 변환된 카메라 위치 및 회전값 정보를 가상현실 프로그램에 제공한다(212단계). 상기 가상현실 프로그램은 상기 카메라 위치 및 회전값 정보에 따라 콘텐츠 중 출력영상정보를 변경하여, 사용자의 움직임에 대응되는 가상현실을 사용자에게 제공한다.
도 7은 깊이 이미지 정보로부터 카메라 위치 및 회전값을 추출하는 과정을 도시한 것이다. 도 7의 (a)는 깊이 이미지 정보를 도시한 것이며, 이 깊이 이미지 정보로부터 오브젝트들을 분리한 것이 도 7의 (b)이며, 분리된 오브젝트들 중 미리 정해둔 크기와 모양의 유사 범위에 속하는 오브젝트들을 검출하여 헤드 트래킹 마커를 검출한 것을 예시한 것이 도 7의 (c)이다. 그리고 도 7의 (d)는 방향센서에 의한 방향센싱값이 지시하는 방향벡터를 도시한 것이고, 도 7의 (e)는 두 마커의 위치를 이용하여 방향벡터와 중심점을 생성하는 과정을 도시한 것이며, 도 7의 (f)는 기준점에 대한 상대좌표체계로 변경하는 과정을 도시한 것이다.
도 8은 혼합현실 출력과정을 예시한 것으로, 본 발명에 따르는 혼합현실 출력시에는 실환경과 가상현실내에서 동일한 기준점을 사용하고, 그 기준점을 기준으로 하여 카메라의 위치, 방향, FOV(field of view)를 동일하게 맞추며, 스테레오스코픽 카메라를 통해 입력받은 크로마키 촬상영상 중 사용자의 신체 부분을 가져와 가상현실의 영상정보에 오버레이하여 최종 출력영상정보를 생성하여 출력한다.
<가상현실에서의 상호작용 오브젝트의 입력 및 표시과정>
이제 본 발명에 따르는 가상현실에서의 상호작용 오브젝트의 입력 및 표시과정을 도 9 내지 도 11을 참조하여 설명한다.
본 발명은 가상현실내에서 사용자 범위내에 상호작용할 물체가 발생할 경우, 상호작용할 물체에 대한 3차원 위치, 크기 정보를 기준점에 대한 상대좌표로 혼합현실 시스템에 전달하고, 혼합현실 시스템은 물체의 정보와 깊이 카메라로부터 전달받은 깊이 이미지 정보와 대조하여 상호작용이 일어났는지에 대한 확인을 이행한다. 이후 상호작용이 발생할 경우에 가상현실 프로그램에 전달한다.
도 9는 본 발명의 바람직한 실시예에 따른 사용자 입력 처리 과정을 도시한 것이다.
상기 혼합현실 처리장치(104)는 상호작용 오브젝트의 입력이 요청되면(300단계), 상호작용할 물체에 대한 3차원 위치 및 크기정보를 입력받아 저장장치 등에 저장하며(302단계), 상기 위치는 가상현실과 실환경에서 일치된 기준점에 대한 상대좌표로서 입력된다.
상기 혼합현실 처리장치(104)는 미리 저장된 상호작용 오브젝트의 삭제가 요청되면(304단계), 상기 삭제 요청된 상호작용 오브젝트를 저장장치 등으로부터 삭제한다(306단계).
또한 상기 혼합현실 처리장치(104)는 깊이 이미지 정보가 수신되면, 깊이 이미지 정보를 토대로 사용자의 신체를 검출함과 아울러, 상호작용 오브젝트들 각각을 저장장치 등으로부터 독취하여 해당 위치에 표시되도록 출력영상정보에 오브젝트들을 삽입한다(402단계).
이후 상기 혼합현실 처리장치(104)는 상호작용 오브젝트들의 표시위치 중 깊이 이미지 정보에 기록된 신체부위에 중첩되는 것이 있는지를 체크한다(404단계). 상기 상호작용 오브젝트들의 표시위치 중 깊이 이미지 정보를 통해 검출된 사용자의 신체부위와 중첩되는 것이 있는지를 체크한다(404단계). 상기 신체부위에 중첩되는 상호작용 오브젝트들에 대한 정보를 가상현실 프로그램에 전송하여, 해당 상호작용 오브젝트들이 신체와의 접촉에 따른 변형 등의 리액션을 제공할 수 있게 한다(406단계).
도 10은 본 발명에 따라 가상현실을 통해 표시된 상호작용 오브젝트와 실제환경에서의 사용자가 서로 결합되어 혼합현실에서 사용자가 상호작용 오브젝트를 터치하는 것을 예시한 도면으로, 실제환경과 가상현실상에는 동일한 기준점을 사용하여 사용자에게 더욱 현장감있는 가상현실을 제공한다.
도 11은 본 발명에 따라 오브젝트와 사용자의 신체가 서로 중첩되는 것을 검지하는 과정을 예시한 것으로, 깊이 이미지 정보를 통해 오브젝트가 위치하는 영역에 대한 사용자 신체의 위치 및 높이정보를 검출하고, 그 위치 및 높이에 대응되는 영역에 오브젝트가 위치하면, 오브젝트와 사용자의 신체가 중첩되는 것으로 판단한다.
이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100: 크로마키 환경부스
102 : 깊이 카메라부
104 : 혼합현실 처리장치
106 : HMD 장치

Claims (10)

  1. 사용자의 시야 범위에 대응되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스; 상기 사용자의 머리에 착용되며 사용자의 양안에 대응되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고, 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며, 상기 사용자의 양안 사이에 위치하여 상기 사용자 머리에 대한 방향을 센싱하는 방향센서와, 상기 사용자의 양안에 대응되는 면에 영상을 출력하는 HMD 출력부로 구성된 HMD 장치; 상기 크로마키 환경부스의 상면에 설치되어 사용자의 신체 및 헤드 트래킹 마커를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부; 및 상기 깊이 이미지 정보를 제공받아 상기 HMD 장치에 위치한 헤드 트래킹 마커를 검출하여 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하고, 상기 회전값을 상기 방향센서가 검출한 방향센싱값에 따라 상기 회전값을 보정하며, 상기 위치 및 보정된 회전값 정보를 가상현실 렌더링 카메라에 적용하여 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하여 혼합현실을 구현하며, 상기 혼합현실 구현시에 상기 크로마키 환경부스에 표기된 실제환경에서의 기준점과 상기 가상현실을 위한 출력영상정보에서의 기준점을 일치시키는 혼합현실 처리장치;를 포함하고,
    상기 혼합현실 처리장치는,
    상기 깊이 이미지 정보에서 오브젝트들을 분리하고, 분리된 오브젝트 중 미리 정해둔 크기와 모양의 유사 범위에 속하는 오브젝트들을 검출하여 상기 헤드 트래킹 마커를 검출하고,
    상기 방향 센서에 의한 방향센싱값이 지시하는 방향벡터를 통해 방향을 보정하고 2개의 헤드 트래킹 마커의 위치를 이용하여 상기 방향벡터와 중심점을 생성하는 것을 특징으로하는 혼합현실을 이용한 가상현실 시스템.
  2. 제1항에 있어서,
    상기 시야범위에 대응되는 공간은 미리 정해둔 각도에 상기 스테레오스코픽 카메라의 촬상각을 더한 것임을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  3. 제1항에 있어서,
    상기 헤드 트래킹 마커는 상기 사용자의 양안 사이에 위치하는 2개의 막대 형태로 형성되고 상기 사용자의 머리의 움직임을 지시하는 것을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 혼합현실 처리장치는,
    상호작용 오브젝트에 대한 위치 및 크기정보를 입력받아 등록하고,
    상기 깊이 카메라에 의해 검출된 사용자의 신체가 상기 상호작용 오브젝트의 위치 및 크기에 대응되는 영역과 중첩되는지를 검출하고,
    상기 신체와 상기 상호작용 오브젝트가 중첩되면 이를 지시하는 정보를 상기 출력영상정보에 부가함을 특징으로 하는 혼합현실을 이용한 가상현실 시스템.
  6. 사용자의 시야 범위에 대응되는 공간에 크로마키 스크린이 형성된 크로마키 환경부스; 상기 사용자의 머리에 착용되며 사용자의 양안에 대응되는 위치에서 촬상하는 스테레오스코픽 카메라가 위치하고, 상기 스테레오스코픽 카메라의 상단에는 헤드 트래킹 마커가 위치하며, 상기 사용자의 양안 사이에 위치하여 상기 사용자 머리에 대한 방향을 센싱하는 방향센서와, 상기 사용자의 양안에 대응되는 면에 영상을 출력하는 HMD 출력부로 구성된 HMD 장치; 상기 크로마키 환경부스의 상면에 설치되어 사용자의 신체 및 헤드 트래킹 마커를 촬상하여 깊이 이미지 정보를 생성하는 깊이 카메라부; 및 상기 깊이 이미지 정보를 제공받아 가상현실 렌더링 카메라에 적용하여 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하여 혼합현실을 구현하는 혼합현실 처리장치;를 구비하는 가상현실 시스템의 혼합현실을 이용한 가상현실 구현방법에 있어서,
    상기 혼합현실 처리 장치가,
    상기 깊이 이미지 정보에서 오브젝트들을 분리하고, 분리된 오브젝트 중 미리 정해둔 크기와 모양의 유사 범위에 속하는 오브젝트들을 검출하여 상기 헤드 트래킹 마커를 검출하고, 검출된 헤드 트래킹 마커를 통해 실제 환경에서의 사용자의 머리의 위치 및 회전값을 검출하는 단계;
    상기 방향 센서에 의한 방향센싱값이 지시하는 방향벡터를 통해 방향을 보정하고 2개의 헤드 트래킹 마커의 위치를 이용하여 상기 방향벡터와 중심점을 생성하여 상기 회전값을 상기 방향센서가 검출한 방향센싱값에 따라 상기 회전값을 보정하는 단계; 및
    상기 위치 및 보정된 회전값 정보를 가상현실 렌더링 카메라에 적용하여 출력영상정보에 상기 스테레오스코픽 카메라에 의해 촬상된 사용자의 신체에 대한 영상정보를 오버레이하여 혼합현실을 구현하는 단계를 포함하고,
    상기 혼합현실 구현시에 상기 크로마키 환경부스에 표기된 실제환경에서의 기준점과 상기 가상현실을 위한 출력영상정보에서의 기준점을 일치시키는 것을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
  7. 제6항에 있어서,
    상기 시야범위에 대응되는 공간은 미리 정해둔 각도에 상기 스테레오스코픽 카메라의 촬상각을 더한 것임을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
  8. 제6항에 있어서,
    상기 헤드 트래킹 마커는 상기 사용자의 양안 사이에 위치하는 2개의 막대 형태로 형성되고 상기 사용자의 머리의 움직임을 지시하는 것을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
  9. 삭제
  10. 제6항에 있어서,
    상기 혼합현실 처리장치는,
    상호작용 오브젝트에 대한 위치 및 크기정보를 입력받아 등록하는 단계;
    상기 깊이 카메라에 의해 검출된 사용자의 신체가 상기 상호작용 오브젝트의 위치 및 크기에 대응되는 영역과 중첩되는지를 검출하는 단계; 및
    상기 신체와 상기 상호작용 오브젝트가 중첩되면 이를 지시하는 정보를 상기 출력영상정보에 부가하는 단계를 더 포함하는 것을 특징으로 하는 혼합현실을 이용한 가상현실 구현방법.
KR1020160064970A 2016-05-26 2016-05-26 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 KR101822471B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160064970A KR101822471B1 (ko) 2016-05-26 2016-05-26 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN201780032462.3A CN109196406B (zh) 2016-05-26 2017-05-25 利用混合现实的虚拟现实***及其实施方法
PCT/KR2017/005477 WO2017204581A1 (ko) 2016-05-26 2017-05-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US16/302,094 US10587868B2 (en) 2016-05-26 2017-05-25 Virtual reality system using mixed reality and implementation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064970A KR101822471B1 (ko) 2016-05-26 2016-05-26 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Publications (2)

Publication Number Publication Date
KR20170134829A KR20170134829A (ko) 2017-12-07
KR101822471B1 true KR101822471B1 (ko) 2018-01-29

Family

ID=60411346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064970A KR101822471B1 (ko) 2016-05-26 2016-05-26 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Country Status (4)

Country Link
US (1) US10587868B2 (ko)
KR (1) KR101822471B1 (ko)
CN (1) CN109196406B (ko)
WO (1) WO2017204581A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139321A1 (en) 2017-11-03 2019-05-09 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
WO2022119038A1 (ko) * 2020-12-02 2022-06-09 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038361B (zh) * 2016-10-13 2020-05-12 创新先进技术有限公司 基于虚拟现实场景的业务实现方法及装置
US10474006B2 (en) * 2017-04-20 2019-11-12 Lifetouch Inc. Outdoor photography system
US11182973B2 (en) 2018-01-24 2021-11-23 Hewlett-Packard Development Company, L.P. Augmented reality display
US10748440B1 (en) 2018-10-03 2020-08-18 Lockheed Martin Corporation Projectorless simulator with adjustable size canopy
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
KR102489290B1 (ko) * 2020-11-20 2023-01-17 부산대학교 산학협력단 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
KR102344817B1 (ko) * 2021-04-28 2021-12-30 주식회사 차후 두개 이상의 마커를 이용하는 증강현실 방위 보정 방법 및 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 실행하는 전자 디바이스
US11993394B2 (en) 2021-11-10 2024-05-28 Rockwell Collins, Inc. Flight safety demonstration and infotainment through mixed reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093687A1 (ja) 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US9390698B2 (en) * 2006-04-05 2016-07-12 Lawrence G. Ryckman Audio remastering system
KR20130099317A (ko) 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015136250A1 (en) * 2014-03-10 2015-09-17 Bae Systems Plc Interactive information display
EP3116616B1 (en) * 2014-03-14 2019-01-30 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
US9582941B2 (en) * 2014-04-30 2017-02-28 Cubic Corporation Adaptive gate walkway floor display
US9754552B2 (en) * 2014-06-17 2017-09-05 Amazon Technologies, Inc. Architectures for processing of head tracking on a mobile device
KR101638550B1 (ko) * 2014-06-25 2016-07-12 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN105611267B (zh) * 2014-11-21 2020-12-15 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修***的实现设备与方法
US20180151000A1 (en) * 2016-11-27 2018-05-31 Cix Liv Deployable mixed and virtual reality environment system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139321A1 (en) 2017-11-03 2019-05-09 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
WO2022119038A1 (ko) * 2020-12-02 2022-06-09 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Also Published As

Publication number Publication date
KR20170134829A (ko) 2017-12-07
CN109196406A (zh) 2019-01-11
CN109196406B (zh) 2021-06-04
WO2017204581A1 (ko) 2017-11-30
US20190156586A1 (en) 2019-05-23
US10587868B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
EP3379525B1 (en) Image processing device and image generation method
JP4900741B2 (ja) 画像認識装置および操作判定方法並びにプログラム
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
US9651782B2 (en) Wearable tracking device
JP5114795B2 (ja) 画像認識装置および操作判定方法並びにプログラム
US20170213085A1 (en) See-through smart glasses and see-through method thereof
CN111007939B (zh) 一种基于深度感知的虚拟现实***空间定位方法
TWI657431B (zh) 動態顯示系統
US20230156176A1 (en) Head mounted display apparatus
KR20110132260A (ko) 모니터 기반 증강현실 시스템
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
KR101670328B1 (ko) 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
KR101980297B1 (ko) 3차원 vr 영상 처리 장치, 방법 및 프로그램
US11589001B2 (en) Information processing apparatus, information processing method, and program
JP2009212582A (ja) バーチャルスタジオ用フィードバックシステム
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
KR102287939B1 (ko) 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
JP6467039B2 (ja) 情報処理装置
WO2018173206A1 (ja) 情報処理装置
WO2021145244A1 (ja) 表示装置、画像生成方法及びプログラム
WO2022255058A1 (ja) 情報処理装置および画像生成方法
JP5520772B2 (ja) 立体画像の表示システム及び表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant