KR102332326B1 - 화상 표시 장치 및 화상 표시 방법 - Google Patents

화상 표시 장치 및 화상 표시 방법 Download PDF

Info

Publication number
KR102332326B1
KR102332326B1 KR1020167013247A KR20167013247A KR102332326B1 KR 102332326 B1 KR102332326 B1 KR 102332326B1 KR 1020167013247 A KR1020167013247 A KR 1020167013247A KR 20167013247 A KR20167013247 A KR 20167013247A KR 102332326 B1 KR102332326 B1 KR 102332326B1
Authority
KR
South Korea
Prior art keywords
image
world
real world
unit
display
Prior art date
Application number
KR1020167013247A
Other languages
English (en)
Other versions
KR20160111904A (ko
Inventor
유키 야마모토
겐타 가와모토
다카야스 곤
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20160111904A publication Critical patent/KR20160111904A/ko
Application granted granted Critical
Publication of KR102332326B1 publication Critical patent/KR102332326B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

헤드부나 얼굴부에 장착해서 화상의 시청에 이용되는, 우수한 화상 표시 장치 및 화상 표시 방법을 제공한다. 헤드·마운트·디스플레이(100)는, 영화나 컴퓨터 그래픽스 등의 가상 세계의 화상을 표시부(309)에서 표시하고 있을 때, 터치 패널에서 지정된 부분의 화상을 일시적으로 지우고, 외측 카메라(312)로 촬영하는 현실 세계의 화상을 표시한다. 유저는, 가상 세계의 화상에 혼합된 현실 세계의 화상을 바라봄으로써, 현실 세계를 지각하고, 현실 세계와 적절한 인터랙션을 행하여, 심리적 저항감을 경감함과 함께, 현실 세계의 물체와의 충돌 등에 의한 물리적 손해를 회피할 수 있다.

Description

화상 표시 장치 및 화상 표시 방법{IMAGE DISPLAY DEVICE AND IMAGE DISPLAY METHOD}
본 명세서에서 개시하는 기술은, 유저의 헤드부나 얼굴부에 장착해서 화상의 시청에 이용되는 화상 표시 장 및 화상 표시 방법에 관한 것이다.
헤드부 또는 얼굴부에 장착해서 화상의 시청에 이용되는 화상 표시 장치, 즉, 헤드·마운트·디스플레이가 알려져 있다. 헤드·마운트·디스플레이는, 예를 들어 좌우의 눈마다 화상 표시부가 배치되어, 허상 광학계에 의해 표시 화상의 확대 허상을 형성함으로써, 유저는 현장감이 있는 화상을 관찰할 수 있다. 헤드·마운트·디스플레이의 인기는 매우 높다. 향후 양산이 진행되면, 휴대 전화나 스마트폰, 휴대 게임기처럼 보급되어, 1명이 1대의 헤드·마운트·디스플레이를 소지하게 될지도 모른다.
헤드·마운트·디스플레이는, 헤드부에 장착했을 때, 유저의 눈을 직접 덮도록 구성되어 있다. 바꿔 말하면, 헤드·마운트·디스플레이는, 차광성이 있어, 화상 시청 시에 몰입감이 증가한다. 허상 광학계를 사용해서 표시 화면을 확대 투영하여, 적당한 화각이 되는 확대 허상으로서 유저에게 관찰시킴과 함께, 헤드폰으로 다채널을 재현하면, 영화관에서 시청하는 것 같은 현장감을 재현할 수 있다(예를 들어, 특허문헌 1을 참조). 한편, 투과성의 헤드·마운트·디스플레이도 존재하여, 유저가 헤드부에 장착해서 화상을 표시하고 있는 동안에도, 화상 너머로 외경을 바라볼(즉, 시쓰루) 수 있다(예를 들어, 특허문헌 2를 참조).
차광성 및 투과성 중 어느 타입으로 하든, 헤드·마운트·디스플레이는, 장착한 유저의 시각이나 청각을 제한한다. 이 때문에, 유저는 현실 세계로부터 폐쇄되어, 외계에서 일어나고 있는 사상에 대한 반응이 늦어질 것이 염려된다.
일본 특허 공개 제2012-141461호 공보 일본 특허 공개 제2012-42654호 공보 일본 특허 공개 제2008-304268호 공보 일본 특허 공개 제2013-258573호 공보
본 명세서에서 개시하는 기술의 목적은, 유저의 헤드부나 얼굴부에 장착해서 화상의 시청에 이용되는, 우수한 화상 표시 장치 및 화상 표시 방법을 제공하는 데 있다.
본원은, 상기 과제를 참작해서 이루어진 것이며, 청구항 1에 기재된 기술은,
표시부와,
현실 세계의 화상을 취득하는 현실 세계 화상 취득부와,
현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정부와,
상기 지정된 영역에 기초하여, 가상 화상 내에 현실 세계의 화상을 혼합하여, 상기 표시부에 표시하는 화상을 생성하는 화상 생성부,
를 구비하는, 헤드부 또는 얼굴부에 장착하는 화상 표시 장치이다.
본원의 청구항 2에 기재된 기술에 의하면, 청구항 1에 기재된 화상 표시 장치의 상기 표시부는, 상기 화상 표시 장치를 헤드부 또는 얼굴부에 장착하는 유저의 눈의 위치에 배치되고, 또한 상기 유저의 시선 방향을 촬영하는 촬영부를 더 구비하고 있다. 그리고, 상기 현실 세계 화상 취득부는, 상기 촬영부가 촬영하는 현실 세계의 화상을 취득하도록 구성되어 있다.
본원의 청구항 3에 기재된 기술에 의하면, 청구항 1에 기재된 화상 표시 장치는, 가상 세계의 화상을 생성하는 가상 세계 화상 생성부와, 상기 영역 지정부가 지정한 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성부를 더 구비하고 있다. 그리고, 상기 화상 생성부는, 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체하여, 상기 표시부에 표시하는 화상을 생성하도록 구성되어 있다.
본원의 청구항 4에 기재된 기술에 의하면, 청구항 3에 기재된 화상 표시 장치의 상기 영역 지정부는, 유저의 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하도록 구성되어 있다.
본원의 청구항 5에 기재된 기술에 의하면, 청구항 4에 기재된 화상 표시 장치의 상기 화상 생성부는, 유저가 영역을 지정하는 조작을 행하고 나서의 경과 시간에 기초하여 현실 세계의 화상의 혼합율을 제어하도록 구성되어 있다.
본원의 청구항 6에 기재된 기술에 의하면, 청구항 5에 기재된 화상 표시 장치의 상기 화상 생성부는, 유저가 영역을 지정하는 조작을 행하고 나서 일정 시간이 경과하면, 상기 대응 영역을 현실 세계의 화상 RI로부터 가상 세계의 화상 RV로 전환하거나, 또는 서서히 가상 세계의 화상 RV로 되돌리도록 구성되어 있다.
본원의 청구항 7에 기재된 기술에 의하면, 청구항 4에 기재된 화상 표시 장치는, 유저가 입력 조작을 행하는 입력부를 더 구비하고 있다. 그리고, 상기 영역 지정부는, 상기 입력부에 대한 유저의 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하도록 구성되어 있다.
본원의 청구항 8에 기재된 기술에 의하면, 청구항 7에 기재된 화상 표시 장치의 상기 입력부는 터치 패널이다. 그리고, 상기 영역 지정부는, 상기 터치 패널을 유저가 접촉한 장소에 대응하는 영역을 지정하도록 구성되어 있다.
본원의 청구항 9에 기재된 기술에 의하면, 청구항 8에 기재된 화상 표시 장치의 상기 터치 패널은, 상기 표시부의 표시 화면의 배면에 배치되어 있다.
본원의 청구항 10에 기재된 기술에 의하면, 청구항 4에 기재된 화상 표시 장치의 상기 영역 지정부는, 유저의 제스처 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하도록 구성되어 있다.
본원의 청구항 11에 기재된 기술에 의하면, 청구항 4에 기재된 화상 표시 장치의 상기 영역 지정부는, 현실 세계의 화상과 가상 세계의 화상의 경계에 대한 유저의 조작에 따라, 현실 세계의 화상을 표시하는 영역을 변경하도록 구성되어 있다.
본원의 청구항 12에 기재된 기술에 의하면, 청구항 1에 기재된 화상 표시 장치는, 현실 세계의 오브젝트를 검출하는 오브젝트 검출부와, 상기 현실 세계 화상 취득부가 취득한 현실 세계의 화상에 기초하여 상기 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 상기 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 3차원 모델 계산부를 더 구비하고 있다. 그리고, 상기 화상 생성부는, 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행하게 구성되어 있다.
본원의 청구항 13에 기재된 기술에 의하면, 청구항 12에 기재된 화상 표시 장치의 상기 오브젝트 검출부는, 유저의 신체의 일부 또는 미리 정해진 현실 세계의 물체를 검출하도록 구성되어 있다.
본원의 청구항 14에 기재된 기술에 의하면, 청구항 12에 기재된 화상 표시 장치의 상기 오브젝트 검출부는, 상기 화상 표시 장치로부터 일정 거리 이내에 있는 현실 세계의 물체를 검출하도록 구성되어 있다.
본원의 청구항 15에 기재된 기술에 의하면, 청구항 12에 기재된 화상 표시 장치의 상기 화상 생성부는, 상기 오브젝트 검출부가 오브젝트를 검출하고 나서의 경과 시간에 기초하여 현실 세계의 화상의 혼합율을 제어하도록 구성되어 있다.
본원의 청구항 16에 기재된 기술에 의하면, 청구항 12에 기재된 화상 표시 장치의 상기 영역 지정부는, 오브젝트의 현재 위치가 현실 세계의 3차원 모델 MI와 가상 세계 V의 경계에 겹치는 것을 조건으로 해서, 경계를 조작하도록 구성되어 있다.
또한, 본원의 청구항 17에 기재된 기술은,
현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정 스텝과,
상기 지정된 영역에 기초하여, 가상 화상 내에 현실 세계의 화상을 혼합해서 화상을 생성하는 화상 생성 스텝과,
생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝,
을 갖는 화상 표시 방법이다.
또한, 본원의 청구항 18에 기재된 기술은,
현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정 스텝과,
가상 세계의 화상을 생성하는 가상 세계 화상 생성 스텝과,
상기 영역 지정 스텝에서 지정된 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성 스텝과,
가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체해서 화상을 생성하는 화상 생성 스텝과,
생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝,
을 갖는 화상 표시 방법이다.
또한, 본원의 청구항 19에 기재된 기술은,
현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
현실 세계의 오브젝트를 검출하는 오브젝트 검출 스텝과,
검출한 오브젝트의 가상 세계의 3차원 모델 V의 대응 영역 RV를 지정하는 영역 지정 스텝과,
상기 현실 세계 화상 취득부가 취득한 현실 세계의 화상에 기초하여 상기 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 상기 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 3차원 모델 계산 스텝과,
가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행해서 화상을 생성하는 화상 생성 스텝과,
생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝을 갖는 화상 표시 방법이다.
본 명세서에서 개시하는 기술에 의하면, 유저의 헤드부나 얼굴부에 장착해서 화상의 시청에 이용되고, 또한 유저가 외계에서 일어나고 있는 사상을 관찰할 수 있는, 우수한 화상 표시 장치 및 화상 표시 방법을 제공할 수 있다.
본 명세서에서 개시하는 기술에 의하면, 화상 표시 장치는, 가상 세계의 화상에, 카메라 등으로 촬영된 현실 세계의 화상을 혼합해서 표시하도록 구성되어 있다. 따라서, 화상 표시 장치를 헤드부 또는 얼굴부에 장착한 유저는, 화상이 표시되어 있는 동안에도, 외계, 즉 현실 세계를 관찰할 수 있다. 또한, 본 명세서에서 개시하는 기술을 적용한 화상 표시 장치는, 시청 중인 화상, 즉 가상 세계에의 몰입감을 손상시키지 않고, 현실 세계와의 인터랙션이 가능해진다. 또한, 화상 표시 장치를 헤드부 또는 얼굴부에 장착한 유저는, 가상 세계에 몰입한 상태에서 현실 세계의 신체 운동을 행해도, 현실 세계를 관찰할 수 있으므로, 신체 운동에 기인하는 물리적 손해 등의 위험성을 저감할 수 있다.
또한, 본 명세서에 기재된 효과는, 어디까지나 예시이며, 본 발명의 효과는 이것에 한정되는 것이 아니다. 또한, 본 발명이, 상기의 효과 이외에, 또한 부가적인 효과를 발휘하는 경우도 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다.
도 1은 헤드·마운트·디스플레이(100)를 헤드부에 장착하고 있는 유저를 정면에서 바라본 모습을 도시한 도면이다.
도 2는, 도 1에 도시한 헤드·마운트·디스플레이(100)를 장착한 유저를 상방에서 바라본 모습을 도시한 도면이다.
도 3은 헤드·마운트·디스플레이(100)의 내부 구성예를 도시한 도면이다.
도 4는 유저의 뇌 내에서 융상되는 표시 화상 상에서, 시선의 중심선과 커서와 조작하는 손가락이 일직선상에 배열되도록 커서를 두는 모습을 도시한 도면이다.
도 5는 유저가 터치 패널(315)을 사용해서 현실 세계의 화상을 표시하는 영역을 지정하는 모습을 도시한 도면이다.
도 6은 표시부(309)가 표시하는 가상 세계의 화상(601) 중, 유저의 조작에 의해 지정된 영역(602)이 현실 세계의 화상으로 교체되어 있는 모습을 도시한 도면이다.
도 7은 헤드·마운트·디스플레이(100)가 표시 영역의 일부의 영역을 현실 세계의 화상으로 교체해서 표시하기 위한 기능적 구성을 도시한 도면이다.
도 8은 가상 세계의 렌더링 결과 V와, 유저가 지정한 영역에 대응 영역의 화상 RV를 예시한 도이다.
도 9는 외측 카메라(312)가 촬영하는 현실 세계의 화상 I와, 유저가 지정한 영역에 대응하는 영역의 화상 RI를 예시한 도이다.
도 10은 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체한 표시 화상을 예시한 도이다.
도 11은 헤드·마운트·디스플레이(100)가 표시 영역의 일부의 영역을 현실 세계의 화상으로 교체해서 표시하기 위한 처리 수순을 나타낸 흐름도이다.
도 12는 유저가 현실 세계를 표시하고 싶은 영역(1201)의 경계를 지시한 손끝을 움직이게 해서 영역(1202)으로 확대하는 모습을 도시한 도면이다.
도 13은 유저가 현실 세계를 표시하고 싶은 영역(1301)의 경계를 지시한 손끝을 움직이게 해서 영역(1302)으로 축소하는 모습을 도시한 도면이다.
도 14는 헤드·마운트·디스플레이(100)가 현실 세계에 존재하는 오브젝트의 3차원 모델을 가상 세계에 배치한 화상을 표시하기 위한 기능적 구성을 도시한 도면이다.
도 15는 현실 세계에서 특정한 오브젝트를 검출하는 모습을 예시한 도이다.
도 16은 검출한 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 가상 공간 V의 대응 영역 RV를 계산하는 모습을 예시한 도이다.
도 17은 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링한 결과를 예시한 도이다.
도 18은 헤드·마운트·디스플레이(100)가 현실 세계에 존재하는 오브젝트의 3차원 모델을 가상 세계에 배치한 화상을 표시하기 위한 처리 수순을 나타낸 흐름도이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대해서 상세하게 설명한다.
도 1에는, 본 명세서에서 개시하는 기술을 적용한 헤드·마운트·디스플레이(100)를 헤드부에 장착하고 있는 유저를 정면에서 바라본 모습을 나타내고 있다.
헤드·마운트·디스플레이(100)는, 유저가 헤드부 또는 얼굴부에 장착했을 때 유저의 눈을 직접 덮어, 화상 시청 중인 유저에게 몰입감을 부여할 수 있다. 또한, 시쓰루의 타입과는 달리, 헤드·마운트·디스플레이(100)를 장착한 유저는 현실 세계의 풍경을 직접 바라볼 수는 없다. 단, 유저의 시선 방향의 풍경을 촬영하는 외측 카메라(312)를 장비하여, 그 촬상 화상을 표시함으로써, 유저는 간접적으로 현실 세계의 풍경을 바라볼(즉, 비디오·시쓰루로 풍경을 표시할) 수 있다. 물론, 비디오·시쓰루 화상에 대하여, AR 화상 등의 가상적인 표시 화상을 중첩해서 보일 수 있다. 또한, 표시 화상은, 외측(즉, 타인)에서는 보이지 않으므로, 정보 표시 시에 프라이버시가 지켜지기 쉽다.
도 1에 도시하는 헤드·마운트·디스플레이(100)는, 모자 형상에 유사한 구조체이며, 장착한 유저의 좌우의 눈을 직접 덮도록 구성되어 있다. 헤드·마운트·디스플레이(100) 본체의 내측의 좌우의 눈에 대향하는 위치에는, 유저가 관찰하는 표시 패널(도 1에서는 도시하지 않음)이 배치되어 있다. 표시 패널은, 예를 들어 유기 EL 소자나 액정 디스플레이 등의 마이크로·디스플레이나, 망막 직묘 디스플레이 등의 레이저 주사 방식 디스플레이로 구성된다.
헤드·마운트·디스플레이(100) 본체 전방면의 거의 중앙에는, 주위 화상(유저의 시계) 입력용의 외측 카메라(312)가 설치되어 있다. 또한, 헤드·마운트·디스플레이(100) 본체의 좌우의 양단 부근에 각각 마이크로폰(103L, 103R)이 설치되고 있다. 좌우 거의 대칭적으로 마이크로폰(103L, 103R)을 가짐으로써, 중앙에 정위한 음성(유저의 목소리)만을 인식함으로써, 주위의 잡음이나 타인의 이야기 소리와 분리할 수 있어, 예를 들어 음성 입력에 의한 조작 시의 오동작을 방지할 수 있다.
또한, 헤드·마운트·디스플레이(100) 본체의 외측에는, 유저가 손끝 등을 사용해서 터치 입력할 수 있는 터치 패널(315)이 배치되어 있다. 도시한 예에서는, 좌우 한 쌍의 터치 패널(315)을 구비하고 있지만, 단일 또는 3 이상의 터치 패널(315)을 구비하고 있어도 된다.
도 2에는, 도 1에 도시한 헤드·마운트·디스플레이(100)를 장착한 유저를 상방에서 바라본 모습을 나타내고 있다. 도시한 헤드·마운트·디스플레이(100)는, 유저의 안면과 대향하는 측면에, 좌안용 및 우안용의 표시 패널(104L, 104R)을 갖는다. 표시 패널(104L, 104R)은, 예를 들어 유기 EL 소자나 액정 디스플레이 등의 마이크로·디스플레이나 망막 직묘 디스플레이 등의 레이저 주사 방식 디스플레이로 구성된다. 좌우의 표시 패널(104L, 104R)의 전방에는, 허상 광학부(101L, 101R)가 각각 배치되어 있다. 허상 광학부(101L, 101R)는, 표시 패널(104L, 104R)의 표시 화상의 확대 허상을 각각 유저의 좌우의 눈동자에 결상한다. 유저는, 좌우의 확대 허상을 뇌 내에서 융상하여 관찰하게 된다. 또한, 눈의 높이나 눈 폭에는 유저마다 개인차가 있기 때문에, 좌우의 각 표시계와 장착한 유저의 눈을 위치 정렬할 필요가 있다. 도 2에 도시하는 예에서는, 우안용의 표시 패널과 좌안용의 표시 패널의 사이에 눈 폭 조정 기구(105)를 장비하고 있다.
도 3에는, 헤드·마운트·디스플레이(100)의 내부 구성예를 나타내고 있다. 이하, 각 부에 대해서 설명한다.
제어부(301)는, ROM(Read Only Memory)(301A)이나 RAM(Random Access Memory)(301B)을 구비하고 있다. ROM(301A) 내에는, 제어부(301)에서 실행하는 프로그램·코드나 각종 데이터를 저장하고 있다. 제어부(301)는, ROM(301A)이나 기억부(306)(후술)로부터 RAM(301B)에 로드한 프로그램을 실행함으로써, 화상의 표시 제어을 비롯해서, 헤드·마운트·디스플레이(100) 전체의 동작을 통괄적으로 컨트롤한다. ROM(301A)에 저장하는 프로그램이나 데이터로서, 동화상 재생 등의 화상의 표시 제어 프로그램이나, 표시 화상을 시청 중인 유저에게 현실 세계와의 인터랙션을 가능하게 하는 인터랙션 제어 프로그램, 당해 헤드·마운트·디스플레이(100)에 고유한 식별 정보, 당해 헤드·마운트·디스플레이(100)를 사용하는 유저의 유저 속성 정보 등을 들 수 있다.
입력 인터페이스(IF)부(302)는, 키나 버튼, 스위치 등, 유저가 입력 조작을 행하는 하나 이상의 조작자(모두 도시하지 않음)를 구비하고, 조작자를 통한 유저의 지시를 접수하여, 제어부(301)에 출력한다. 또한, 입력 인터페이스부(302)는, 리모콘 수신부(303)에서 수신한 리모콘·커맨드를 포함하는 유저의 지시를 접수하여, 제어부(301)에 출력한다.
또한, 입력 인터페이스부(302)는, 헤드·마운트·디스플레이(100) 본체의 외측에 배치되어 있는 터치 패널(315)에 대하여 유저가 손끝으로 터치 조작을 행하면, 터치된 손끝 위치의 좌표 데이터 등의 입력 정보를 제어부(301)에 출력한다. 예를 들어, 헤드·마운트·디스플레이(100) 본체의 전방면이고, 바로 표시부(309)의 표시 화상(허상 광학부(310) 너머로 관찰되는 확대 허상)의 배면에 터치 패널(315)을 배치하면, 유저는 표시 화상 상을 손끝으로 접촉하는 듯한 감각으로 터치 조작을 행할 수 있다.
상태 정보 취득부(304)는, 당해 헤드·마운트·디스플레이(100) 본체, 또는 당해 헤드·마운트·디스플레이(100)를 장착한 유저의 상태 정보를 취득하는 기능 모듈이다. 상태 정보 취득부(304)는, 스스로 상태 정보를 검출하기 위한 각종 센서를 장비하고 있어도 되고, 이들 센서류의 일부 또는 전부를 구비한 외부 기기(예를 들어, 유저가 몸에 지니고 있는 스마트폰이나 손목 시계, 기타 다기능 단말기)로부터 통신부(305)(후술)를 통해서 상태 정보를 취득하도록 해도 된다.
상태 정보 취득부(304)는, 유저의 헤드부 동작을 추적하기 위해서, 예를 들어 유저의 헤드부의 위치 및 자세의 정보 또는 자세의 정보를 취득한다. 유저의 헤드부 동작을 추적하기 위해서, 상태 정보 취득부(304)는, 예를 들어 3축 자이로·센서, 3축 가속도 센서, 3축 지자기 센서의 합계 9축을 검출 가능한 센서로 한다. 또한, 상태 정보 취득부(304)는, GPS(Global Positioning System)센서, 도플러·센서, 적외선 센서, 전파 강도 센서 등 중 어느 하나 또는 2 이상의 센서를 또한 조합해서 사용해도 된다. 또한, 상태 정보 취득부(304)는, 위치 자세 정보의 취득에, 휴대 전화 기지국 정보나 PlaceEngine(등록 상표) 정보(무선 LAN 액세스 포인트로부터의 전측 정보) 등, 각종 인프라 스트럭쳐로부터 제공되는 정보를 또한 조합해서 사용하도록 해도 된다. 도 3에 도시하는 예에서는, 헤드부 동작 추적을 위한 상태 취득부(304)는, 헤드·마운트·디스플레이(100)에 내장되지만, 헤드·마운트·디스플레이(100)에 외장되는 악세서리 부품 등으로 구성하도록 해도 된다. 후자의 경우, 외장 접속되는 상태 취득부(304)는, 헤드부의 자세 정보를 예를 들어 회전 매트릭스의 형식으로 표현하고, Bluetooth(등록 상표) 통신 등의 무선 통신이나 USB(Universal Serial Bus)와 같은 고속의 유선 인터페이스 경유로 헤드·마운트·디스플레이(100) 본체에 송신한다.
또한, 상태 정보 취득부(304)는, 상술한 유저의 헤드부 동작의 추적 이외에, 당해 헤드·마운트·디스플레이(100)를 장착한 유저의 상태 정보로서, 예를 들어 유저의 작업 상태(헤드·마운트·디스플레이(100)의 장착 유무)나, 유저의 행동 상태(정지, 보행, 주행 등의 이동 상태, 손이나 손끝에 의한 제스처, 눈꺼풀의 개폐 상태, 시선 방향, 동공의 대소), 정신 상태(유저가 표시 화상을 관찰 중에 몰두 또는 집중하고 있는지 등의 감동도, 흥분도, 각성도, 감정이나 정동 등), 나아가 생리 상태를 취득한다. 또한, 상태 정보 취득부(304)는, 이들 상태 정보를 유저로부터 취득하기 위해서, 외측 카메라(312)나, 기계 스위치 등을 포함하는 장착 센서, 유저의 얼굴을 촬영하는 내측 카메라, 자이로·센서, 가속도 센서, 속도 센서, 압력 센서, 체온 또는 기온을 검지하는 온도 센서, 발한 센서, 맥박 센서, 근 전위 센서, 눈 전위 센서, 뇌파 센서, 호기 센서, 가스·이온 농도 센서 등의 각종 상태 센서, 타이머(모두 도시하지 않음)를 구비하고 있어도 된다.
환경 정보 취득부(316)는, 당해 헤드·마운트·디스플레이(100) 본체, 또는 당해 헤드·마운트·디스플레이(100)를 장착한 유저를 둘러싸는 환경에 관한 정보를 취득하는 기능 모듈이다. 여기에서 말하는 환경에 관한 정보로서, 소리, 풍량, 기온, 기압, 분위기(연기, 농무나, 당해 헤드·마운트·디스플레이(100) 또는 유저가 받는 전자파(자외선, 블루 라이트, 전파), 열선(적외선), 방사선, 대기 중의 일산화탄소나 이산화탄소, 산소, 질소 화합물(니코틴), 대기 중을 떠도는 질소 산화물(NOx)이나 탄화수소(휘발성 유기 화합물(VOC: Volatile Organic Compounds) 또는 이들이 자외선의 영향에 의해 광화학 반응을 일으켜서 생성된 광화학 스모그, 입자상 물질, 꽃가루, 집먼지 등의 분진, 아스베스트 등의 유해 화학 물질), 기타 환경 인자를 들 수 있다. 환경 정보 취득부(316)는, 환경 정보를 검출하기 위해서, 소리 센서나 풍량 센서를 비롯해서 각종 환경 센서를 장비하고 있어도 된다. 상술한 마이크로폰이나 외측 카메라(312)를 환경 센서에 포함할 수도 있다. 또는, 환경 정보 취득부(316)는, 이들 센서류의 일부 또는 전부를 구비한 외부 기기(예를 들어, 유저가 몸에 지니고 있는 스마트폰이나 손목 시계, 기타 다기능 단말기)로부터 통신부(305)(후술)를 통해서 환경 정보를 취득하도록 해도 된다.
외측 카메라(312)는, 예를 들어 헤드·마운트·디스플레이(100) 본체 전방면의 거의 중앙에 배치되어(도 1을 참조), 주위 화상을 촬영할 수 있다. 유저는, 입력 인터페이스부(302)를 통한 입력 조작이나, 내측 카메라나 근 전위 센서 등으로 인식되는 동공의 대소나 음성 입력을 통해서, 외측 카메라(312)의 줌을 조정할 수 있는 것으로 한다. 또한, 상태 정보 취득부(304)에서 취득한 유저의 시선 방향에 맞춰서 외측 카메라(312)의 팬, 틸트, 롤 방향의 자세 제어를 행함으로써, 외측 카메라(312)로 유저 자신의 시선의 화상, 즉 유저의 시선 방향의 화상을 촬영할 수 있다. 외측 카메라(312)의 촬영 화상을, 표시부(309)에 표시 출력할 수 있고, 또한 촬영 화상을 통신부(305)로부터 송신하거나 기억부(306)에 보존하거나 할 수도 있다.
외측 카메라(312)는, 시차 정보를 이용하여, 주위 화상의 3차원 정보를 취득할 수 있도록, 외측 카메라(312)를 복수대의 카메라로 구성하는 것이 보다 바람직하다. 또한, 1대의 카메라로도, SLAM(Simultaneous Localization and Mapping) 화상 인식을 사용하여, 카메라를 이동시키면서 촬영을 행하여, 시간적으로 전후에 있는 복수의 프레임 화상을 사용해서 시차 정보를 산출하고(예를 들어, 특허문헌 3을 참조), 산출한 시차 정보로부터 주위 화상의 3차원 정보를 취득할 수도 있다.
외측 카메라(312)는, 3차원 정보를 취득할 수 있으므로, 거리 센서로서도 이용할 수 있다. 또는, 예를 들어 물체로부터의 반사 신호를 검출하는 PSD(Position Sensitive Detector) 등 저렴한 디바이스를 포함하는 거리 센서를 외측 카메라(312)와 병용하도록 해도 된다. 외측 카메라(312)나 거리 센서는, 헤드·마운트·디스플레이(100)를 장착하는 유저의 신체 위치, 자세, 형상을 검출하기 위해서 사용할 수 있다.
통신부(305)는, 외부 기기와의 통신 처리, 및 통신 신호의 변복조 및 부호화 복호 처리를 행한다. 외부 기기로서, 유저가 헤드·마운트·디스플레이(100)를 사용할 때의 시청 콘텐츠를 공급하는 콘텐츠 재생 장치(블루레이·디스크 또는 DVD 플레이어)나, 스마트폰 등의 다기능 단말기, 게임기, 스트리밍·서버를 들 수 있다. 또한, 제어부(301)는, 외부 기기에의 송신 데이터를 통신부(305)로부터 송출한다.
통신부(305)의 구성은 임의이다. 예를 들어, 통신 상대가 되는 외부 기기와의 송수신 동작에 사용하는 통신 방식에 따라, 통신부(305)를 구성할 수 있다. 통신 방식은, 유선, 무선 중 어느 형태이어도 된다. 여기에서 말하는 통신 규격으로서, MHL(Mobile High-definition Link)이나 USB(Universal Serial Bus), HDMI(등록 상표)(High Definition Multimedia Interface), Wi-Fi(등록 상표), Bluetooth(등록 상표) 통신이나 BLE(Bluetooth(등록 상표) Low Energy) 통신, ANT 등의 초 저소비 전력 무선 통신, IEEE 802.11s 등으로 규격화된 메쉬·네트워크 등을 들 수 있다. 또는, 통신부(305)는, 예를 들어 W-CDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution) 등의 표준 규격에 따라서 동작하는, 셀룰러 무선 송수신기여도 된다.
기억부(306)는, SSD(Solid State Drive) 등으로 구성되는 대용량 기억 장치이다. 기억부(306)는, 제어부(301)에서 실행하는 어플리케이션 프로그램이나 각종 데이터를 기억하고 있다. 예를 들어, 유저가 헤드·마운트·디스플레이(100)를 사용하여, 시청하는 콘텐츠를 기억부(306)에 저장한다.
화상 처리부(307)는, 제어부(301)로부터 출력되는 화상 신호에 대하여 화질 보정 등의 신호 처리를 또한 행함과 함께, 표시부(309)의 화면에 맞춘 해상도로 변환한다. 그리고, 표시 구동부(308)는, 표시부(309)의 화소를 행마다 순차 선택함과 함께 선 순차 주사하여, 신호 처리된 화상 신호에 기초하는 화소 신호를 공급한다.
표시부(309)는, 예를 들어 유기 EL(Electro-Luminescence) 소자나 액정 디스플레이 등의 마이크로·디스플레이, 또는, 망막 직묘 디스플레이 등의 레이저 주사 방식 디스플레이로 구성되는 표시 패널을 갖는다. 허상 광학부(310)는, 표시부(309)의 표시 화상을 확대 투영하여, 유저에게는 확대 허상으로서 관찰시킨다.
또한, 표시부(309)에서 출력하는 표시 화상으로서, 콘텐츠 재생 장치(블루레이·디스크 또는 DVD 플레이어)나 스마트폰 등의 다기능 단말기, 게임기, 스트리밍·서버로부터 공급되는 상용 콘텐츠(가상 세계), 외측 카메라(312)의 촬영 화상(현실 세계) 등을 들 수 있다.
음성 처리부(313)는, 제어부(301)로부터 출력되는 음성 신호에 대하여 음질 보정이나 음성 증폭, 입력된 음성 신호 등의 신호 처리를 또한 행한다. 그리고, 음성 입출력부(314)는, 음성 처리 후의 음성을 외부 출력, 및 마이크로폰(상술)으로부터의 음성 입력을 행한다.
도 1 내지 도 2에 도시한 바와 같은 헤드·마운트·디스플레이(100)는, 차광성, 즉, 장착한 유저의 눈을 덮는다. 그리고, 표시부(309)에는, 영화 등의 동화상 콘텐츠나, 컴퓨터 그래픽스 등으로 표현된 화상을 표시한다. 허상 광학부(310)는, 표시부(309)의 표시 화상을 확대 투영하여, 적당한 화각이 되는 확대 허상으로서 유저에게 관찰시켜, 예를 들어 영화관에서 시청하고 있는 듯한 현장감을 재현한다. 유저는, 표시부(309)에 표시되는 가상 세계에 몰입 체험할 수 있다.
그러나, 유저는, 가상 세계에 몰입할 때 현실 세계와의 인터랙션이 상실되어버릴 것이 염려된다. 유저의 신체는 현실 세계에 존재함에도 불구하고, 시각이나 청각 등 일부의 지각만이 가상 세계를 체험하게 되면, 유저는 심리적 저항감을 받는다. 또한, 유저는, 시각이나 청각이 가상 세계를 향하고 있으므로, 현실 세계의 물체와의 접촉이나 충돌 등을 감지하기 어려워져, 물리적 손해를 입을 위험성이 있다. 물론, 차광성이 아니라, 투과성의 헤드·마운트·디스플레이에 있어서도, 유저는 가상 세계에 어느 정도는 몰입되므로, 심리적 저항감이나 물리적 손해의 위험성 문제는 마찬가지로 있다.
따라서, 본 실시 형태에서는, 헤드·마운트·디스플레이(100)는, 영화나 컴퓨터 그래픽스 등의 가상 세계의 화상을 표시부(309)에서 표시하고 있을 때, 외측 카메라(312)로 촬영하는 외계, 즉 현실 세계의 화상을 혼합하도록 하고 있다. 따라서, 유저는, 가상 세계의 화상에 혼합된 현실 세계의 화상을 바라봄으로써, 현실 세계를 지각하고, 현실 세계와 적절한 인터랙션을 행하여, 심리적 저항감을 경감함과 함께, 현실 세계의 물체와의 충돌 등에 의한 물리적 손해를 회피할 수 있다.
실시예 1
제1 실시예에서는, 헤드·마운트·디스플레이(100)는, 가상 세계의 화상을 표시하고 있는 표시부(309)의 표시 영역 중, 유저가 지정한 일부의 영역을, 외측 카메라(312)로 촬영하는 현실 세계의 화상으로 교체해서 표시한다.
표시부(309)에서 표시하는 화상(허상 광학부(310)를 통해서 유저의 눈동자로 관찰되는 화상)은, 상용 콘텐츠의 재생 화상 등의 가상 세계의 정보와, 외측 카메라(312)로 촬영된 현실 세계의 정보가 조합된 것이다. 따라서, 유저는, 콘텐츠가 표현하는 가상 세계에 몰입한 상태를 중단하지 않고, 연속적으로 주위 환경(자신의 근방에서 현실에 일어나고 있는 사상)을 파악할 수 있다. 표시되는 현실 세계의 화상은, 기본적으로는 외측 카메라(312)로 촬영되는 라이브 화상이지만, 기억부(306)에 일단 기억된 녹화 화상이어도 된다.
또한, 유저가 지정한 영역에 현실 세계의 화상이 표시되는 것은 일시적이다. 예를 들어 유저가 영역의 지정을 해제하는 명시적인 조작에 의해, 표시부(309)의 표시 영역 전체를 가상 세계의 화상으로 되돌리도록 해도 된다. 또는, 유저가 영역을 지정하고 나서 일정 시간이 경과하면 현실 세계의 화상으로부터 가상 세계의 화상으로 전환하도록 해도 되고, 서서히(예를 들어, 현실 세계의 화상과 가상 세계의 화상의 혼합율을 변화시키면서) 가상 세계의 화상으로 되돌리도록 해도 된다. 시간의 경과에 의해 원래의 가상 세계의 화상으로 되돌리는 것은, 유저가 조작을 행하고 나서 일정 시간이 지나면, 이미 유저는 현실 세계의 표시를 필요로 하지 않게 된다고 생각되기 때문이다.
또한, 유저가 현실 세계의 화상을 표시하는 영역을 지정하는 방법은 임의이다. 예를 들어, 입력 인터페이스부(302)에 포함되는 버튼을 유저가 조작하여, 현실 세계로 교체하는 영역을 지정하도록 해도 된다. 예를 들어, 십자 키의 조작에 따라서, 현실 세계로 교체하는 영역을 상하 좌우로 이동시키도록 해도 된다. 또는, 터치 패널(315)에 대하여 유저가 손끝으로 터치 조작한 장소에 대응하는 영역을 현실 세계로 교체하도록 해도 된다. 또는, 유저가 손 등을 사용해서 행하는 제스처를 외측 카메라(312)로 촬영하여, 제스처로 지시된 영역을 현실 세계로 교체하도록 해도 된다.
예를 들어, 헤드·마운트·디스플레이(100) 본체의 전방면이고, 바로 표시부(309)의 표시 화상(허상 광학부(310) 너머로 관찰되는 확대 허상)의 배면에 터치 패널(315)을 배치하면, 유저는 표시 화상 상을 손끝으로 접촉하는 듯한 감각으로 터치 조작을 행할 수 있다. 보다 구체적으로는, 터치 패널(315)을 접촉한 장소에 상당하는 위치에 커서를 표시하는 경우, 도 4에 도시한 바와 같이, (유저의 뇌 내에서 융상되는 확대 허상을 관찰하는) 시선의 중심선(401)과 손끝으로 터치하는 장소(402)가 일직선상에 배열되도록 커서(403)를 두도록 하면, 유저는, 표시 화상을 배면으로부터 직접 접촉하는 듯한 감각으로, 표시 영역 상의 희망하는 장소를 지시할 수 있다(예를 들어, 특허문헌 4를 참조).
도 5에는, 유저가 터치 패널(315)을 사용해서 현실 세계의 화상을 표시하는 영역을 지정하는 모습을 나타내고 있다. 표시부(309)가 가상 세계의 화상만을 표시하고 있는 상태에서, 유저는, 참조 번호 501, 502로 나타내는 바와 같이, 표시부(309)의 배면에 있는 터치 패널(315) 상에서 손끝을 이동시켜, 현실 세계를 표시하고 싶은 장소(503)를 지정한다.
도 6에는, 표시부(309)가 표시하는 가상 세계의 화상(601) 중, 도 5에 도시한 유저의 조작에 의해 지정된 영역(602) 내가 외측 카메라(312)로 촬영한 현실 세계의 화상으로 교체되어 있는 모습을 나타내고 있다. 표시부(309)에서 표시하는 화상은, 가상 세계의 정보와 현실 세계의 정보가 조합된 것이다. 따라서, 유저는, 콘텐츠가 표현하는 가상 세계에 몰입한 상태를 중단하지 않고, 연속적으로 주위 환경(자신의 근방에서 현실에 일어나고 있는 사상)을 파악할 수 있다.
도 7에는, 헤드·마운트·디스플레이(100)가 표시 영역의 일부의 영역을 현실 세계의 화상으로 교체해서 표시하기 위한 기능적 구성을 나타내고 있다.
가상 세계 화상 생성부(701)는, 예를 들어 기억부(306)에 미리 기억되거나, 또는 통신부(305)에서 외부로부터 수신하는 가상 세계의 정보에 기초하여, 표시부(309)에서 표시하는 가상 세계의 렌더링 결과 V를 계산한다. 현실 세계 화상 취득부(702)는, 외측 카메라(312)로 촬영하는 화상 등에 기초하여, 유저의 주위의 현실 세계의 화상 I를 취득한다.
영역 지정부(703)는, 유저에 의한 터치 패널(315)의 조작이나(도 5를 참조), 입력 인터페이스부(302)의 조작, 제스처 입력 등에 기초하여, 표시부(309)의 표시 화면 중, 현실 세계의 화상 정보를 표시해야 할 영역을 지정한다.
영역 화상 생성부(704)는, 영역 지정부(703)에서 지정된 영역에 대응하는 현실 세계의 화상 RI와, 가상 세계의 화상 RV를 계산한다. 그리고, 화상 교체부(705)는, 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체한 화상을 합성한다. 합성된 화상은, 표시부(309)에 표시된다.
또한, 상기의 각 기능 블록(701 내지 705)은, 예를 들어 제어부(301)가 실행하는 프로그램에 의해 실현되지만, 전용의 하드웨어로서 구성할 수도 있다.
도 8에는, 가상 세계의 렌더링 결과 V와, 유저가 지정한 영역에 대응 영역의 화상 RV를 예시하고 있다. 또한, 도 9에는, 외측 카메라(312)가 촬영하는 현실 세계의 화상 I와, 유저가 지정한 영역에 대응하는 영역의 화상 RI를 예시하고 있다. 또한, 도 10에는, 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체한 표시 화상을 예시하고 있다.
도 11에는, 헤드·마운트·디스플레이(100)가 표시 영역의 일부의 영역을 현실 세계의 화상으로 교체해서 표시하기 위한 처리 수순을 흐름도의 형식으로 나타내고 있다.
가상 세계 화상 생성부(701)는, 가상 세계의 렌더링 결과 V를 계산한다(스텝 S1101). 가상 세계의 정보는, 예를 들어 기억부(306)에 미리 기억되거나 또는 통신부(305)에서 외부로부터 수신함으로써 준비된다.
또한, 가상 세계의 렌더링 처리와 병행하여, 영역 지정부(703)는, 유저로부터의 조작에 기초하여 현실 세계의 표시 영역을 지정한다(스텝 S1102). 상술한 바와 같이, 유저는, 터치 패널(315)의 조작이나(도 5를 참조), 입력 인터페이스부(302)의 조작, 제스처 입력 등에 의해, 현실 세계의 표시 영역을 지정할 수 있다.
또한, 가상 세계의 렌더링 처리나 유저로부터 현실 세계의 표시 영역이 지정되어 있는 동안에, 현실 세계 화상 취득부(702)는, 외측 카메라(312)로 촬영하는 화상 등으로부터, 유저의 주위, 즉 현실 세계의 화상 I를 취득한다(스텝 S1103).
계속해서, 영역 화상 생성부(704)는, 스텝 S1102에서 지정된 영역에 대응하는 현실 세계의 촬영 화상 RI와, 가상 세계의 화상 RV를 계산한다(스텝 S1104).
그리고, 화상 교체부(705)는, 스텝 S1101에서 계산한 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체하여, 가상 세계의 화상에 현실 세계의 화상을 혼합한 화상을 생성한다(스텝 S1105). 생성된 화상은, 표시부(309)에서 표시된다(스텝 S1106).
유저가 지정한 영역에 현실 세계의 화상 RI가 표시되는 것은 일시적이다. 예를 들어 유저가 영역의 지정을 해제하는 명시적인 조작에 의해, 표시부(309)의 표시 영역 전체를 가상 세계의 화상으로 되돌리도록 해도 된다. 또는, 유저가 영역을 지정하고 나서 일정 시간이 경과하면, 가상 세계의 화상 RV로 전환하도록 해도 되고, 서서히(예를 들어, 현실 세계의 화상 RI와 가상 세계의 화상 RV의 혼합율을 변화시키면서) 가상 세계의 화상 RV로 되돌리도록 해도 된다. 시간의 경과에 따라 원래의 가상 세계의 화상으로 되돌리는 것은, 유저가 조작을 행하고 나서 일정 시간이 지나면, 이미 유저는 현실 세계의 표시를 필요로 하지 않게 된다고 생각되기 때문이다.
그리고, 표시부(309)에서 가상 세계의 화상 표시를 계속할 때는(스텝 S1107의 "아니오"), 스텝 S1101로 돌아가서, 상술한 처리를 반복 실행한다.
또한, 현실 세계의 화상 RI를 표시하고 있는 기간 중에는, 스텝 S1102에서, 현실 세계의 표시 영역이 수시로 갱신된다. 예를 들어, 유저가 현실 세계를 표시하고 싶은 영역(602)의 경계를 지시한 손끝을 움직이게 하면, 스텝 S1102에서는 터치 패널(315)이 손끝을 이동한 위치를 판독하여, 도 12에 도시하는 바와 같이 영역(1201)으로부터 영역(1202)으로 확대하거나, 반대로, 도 13에 도시하는 바와 같이 영역(1301)으로부터 영역(1302)으로 축소하거나 할 수 있다. 유저는, 현실 세계의 상황을 더 알고 싶어지면, 도 12에 도시한 바와 같은 조작에 의해 현실 세계의 화상을 표시하는 영역을 확대하면 되고, 현실 세계의 상황이 중요하지 않게 되면, 도 13에 도시한 바와 같은 조작에 의해 현실 세계의 화상을 표시하는 영역을 축퇴시켜서, 가상 세계를 표시하는 영역을 보다 넓게 할 수 있다.
상술한 바와 같이, 제1 실시예에 관한 헤드·마운트·디스플레이(100)에 의하면, 유저는, 가상 세계에의 몰입감을 손상시키지 않고, 현실 세계와의 인터랙션이 가능해진다. 이러한 헤드·마운트·디스플레이(100)를 장착한 유저는, 가상 세계에 몰입하는 것에 대한 심리적 저항감을 저감시킬 수 있다. 또한, 유저는, 가상 세계에 몰입한 상태이어도, 현실 세계의 신체 운동에 기인하는 물리적 손해 등의 위험성을 저감시킬 수 있다.
실시예 2
제2 실시예에서는, 헤드·마운트·디스플레이(100)는, 3차원적인 가상 세계 중에, 현실 세계에 존재하는 특정한 오브젝트의 3차원 모델을 배치시킨 화상을 표시한다. 제1 실시예에서는, 가상 세계의 표시 화상의 일부에 (자화면과 같이) 현실 세계의 화상이 중첩되는 것에 반해, 제2 실시예에서는, 표시 화상 전체가 가상 세계의 화상이라고 하는 점에서 상이하다. 제2 실시예에서는, 현실 세계의 오브젝트에 대응하는 3차원 모델이, 가상 세계의 화상 내의 오브젝트로서 표시된다. 3차원 모델은, 현실 세계의 정보이지만, 오브젝트가 3차원 모델화된 것으로, 가상 세계의 표시 화상과 친화성이 높다.
여기에서 말하는 현실 세계의 오브젝트는, 예를 들어 오른손 등, 헤드·마운트·디스플레이(100)를 장착하고 있는 유저의 신체의 일부이다. 또는, 유저의 지인 등 특정한 인물, 애완동물 등의 특정한 동물, 이동체, 정지물 등, 현실 세계의 다양한 오브젝트의 3차원 모델을 가상 세계 내에 배치해서 표시하도록 해도 된다. 가상 세계에 배치하는 오브젝트는, 고정이어도 되고, 순서대로 유저가 선택할 수 있도록 해도 된다. 헤드·마운트·디스플레이(100)는, 현실 세계의 오브젝트를, 외측 카메라(312)나 거리 센서를 사용해서 검출하면, 추적하여, 그 3차원 모델을 가상 세계 내에 배치해서 렌더링 처리를 행한다.
또한, 헤드·마운트·디스플레이(100)로부터 일정 거리 이내에 있는 현실 세계의 모든 물체를 자동으로 오브젝트로서 검출하여, 그 3차원 모델 MI를 가상 세계 내에 배치해서 표시하도록 해도 된다. 예를 들어, 유저가 컵 등의 물체를 쥔 손을 헤드·마운트·디스플레이(100)에 근접시키면, 오브젝트로서 자동으로 검출되고, 그 손이 헤드·마운트·디스플레이(100)로부터 일정 거리 이내에 있는 동안에는 추적하여, 그 3차원 모델 MI를 가상 세계 내에 배치해서 계속해서 표시한다. 손이 일정 거리로부터 벗어나면, 검출되지 않게 되어, 그 3차원 모델 MI의 표시도 소멸된다. 3차원 모델 MI의 표시를 순간적으로 소멸시키는 것이 아니라, 거리에 따라 투명도를 조금씩 높여서, 자동으로 원래의 가상 세계만의 표시로 하도록 해도 된다. 일정 거리로부터 벗어난 오브젝트의 표시를 유저는 필요로 하지 않게 된다고 생각되기 때문이다.
제2 실시예에서는, 표시부(309)에서 표시하는 화상(허상 광학부(310)를 통해서 유저의 눈동자로 관찰되는 화상)은, 상용 콘텐츠의 재생 화상 등의 가상 세계의 정보와, 외측 카메라(312)로 촬영된 현실 세계의 정보를 3차원 모델화한 것이 조합된 것이다. 따라서, 유저는, 콘텐츠가 표현하는 가상 세계에 몰입한 상태를 중단하지 않고, 연속적으로 주위 환경(자신의 근방에서 현실에 일어나고 있는 사상)을 파악할 수 있다. 3차원 모델은, 기본적으로는 외측 카메라(312)로 촬영되는 라이브 화상에 찍혀 있는 현실 세계의 오브젝트에 기초해서 생성되지만, 기억부(306)에 일단 기억된 녹화 화상에 찍혀 있는 현실 세계의 오브젝트 따라서 생성되는 것이어도 된다.
제1 실시예에서는, 2차원적인 화상 처리로 가상 세계의 정보와 현실 세계의 정보를 조합하는 데 반해, 제2 실시예에서는, 3차원적인 렌더링 처리로 가상 세계의 정보와 현실 세계의 정보를 조합한다는 차이가 있다. 물론, 제2 실시예에서도, 현실 세계의 2차원적인 표시와 3차원적인 표시의 기능을 조합하도록 해도 된다.
또한, 오브젝트를 검출한 장소에 대응하는 영역에 현실 세계의 화상이 표시되는 것은 일시적이다. 예를 들어, 현실 세계에서 오브젝트를 검출하지 않게 되면(오브젝트가 시계로부터 사라지거나 또는 놓치면), 가상 세계의 표시 화상으로부터 오브젝트에 대응하는 3차원 모델을 소멸시키도록 해도 되고, 현실 세계의 오브젝트에 대응하는 3차원 모델을 서서히(예를 들어, 현실 세계의 화상과 가상 세계의 화상의 혼합율을 변화시키면서) 투명하게 해나가, 원래의 가상 세계만의 화상으로 되돌리도록 해도 된다. 오브젝트가 보이지 않게 되면, 이미 유저는 현실 세계의 표시를 필요로 하지 않게 된다고 생각되기 때문이다. 또는 유저가 영역의 지정을 해제하는 명시적인 조작에 의해, 표시부(309)의 표시 영역 전체를 가상 세계의 화상으로 되돌리도록 해도 된다.
도 14에는, 헤드·마운트·디스플레이(100)가 현실 세계에 존재하는 오브젝트를 3차원 모델화해서 가상 세계에 배치한 화상을 표시하기 위한 기능적 구성을 나타내고 있다.
오브젝트 검출부(1401)는, 외측 카메라(312)의 촬영 화상의 인식 처리나 거리 센서의 검출 신호 등에 기초하여, 유저의 신체의 일부 등 특정한 오브젝트를 현실 세계에서 검출한다. 또한, 헤드·마운트·디스플레이(100)로부터 일정 거리 이내에 있는 현실 세계의 모든 물체를 자동으로 오브젝트로서 검출해도 된다.
현실 세계 화상 취득부(1402)는, 외측 카메라(312)로 촬영하는 화상 등에 기초하여, 오브젝트 검출부(1401)가 검출하는 오브젝트를 포함하는 현실 세계의 화상을 취득한다.
3차원 모델 계산부(1403)는, 오브젝트 검출부(1401)에 의한 검출 결과와, 현실 세계 화상 취득부(1402)가 취득한 현실 세계의 화상에 기초하여, 검출한 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성한다. 또한, 3차원 모델 계산부(1403)는, 오브젝트 검출부(1401)가 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산한다.
가상 세계 화상 생성부(1404)는, 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행한다. 그리고, 렌더링된 화상은 표시부(309)에 표시된다.
또한, 상기의 각 기능 블록(1401 내지 1404)은, 예를 들어 제어부(301)가 실행하는 프로그램에 의해 실현되지만, 전용의 하드웨어로서 구성할 수도 있다.
도 15에는, 참조 번호 1501로 나타내는 바와 같이, 오브젝트 검출부(1401)가 유저의 신체의 일부 등 특정한 오브젝트를 현실 세계에서 검출하는 모습을 예시하고 있다. 외측 카메라(312)는, 오브젝트 검출부(1401)가 검출하는 오브젝트를 포함하는 현실 세계의 화상을 촬영하고 있다. 도 15에 도시하는 예에서는, 현실 세계에 있어서, 테이블 위에 놓인, 유저가 오른손으로 잡은 페트병이, 오브젝트 검출부(1401)에 의해 검출된다.
도 16에는, 참조 번호 1601로 나타내는 바와 같이, 3차원 모델 계산부(1403)가, 오브젝트 검출부(1401)가 검출한 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성하는 모습을 예시하고 있다. 도시한 예에서는, 유저의 오른손과 오른손으로 잡은 페트병이 3차원 모델화된 화상 MI가 생성된다. 또한, 도 16에는, 참조 번호 1602로 나타내는 바와 같이, 3차원 모델 계산부(1403)가, 오브젝트 검출부(1401)가 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 모습을 예시하고 있다.
도 17에는, 가상 세계 화상 생성부(1404)가, 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링한 결과를 예시하고 있다. 도시한 예에서는, 가상 공간 V의 3차원 모델 화상에, 유저의 오른손과 오른손으로 잡은 페트병이 3차원 모델화된 화상 MI가 중첩되어 있다.
또한, 도 15 내지 도 17에 나타낸 예에서는, 오브젝트의 3차원 모델 MI의 가상 공간 V 내의 대응 영역 RV의 앞쪽에는 가상 오브젝트는 존재하지 않으므로, 도 17에 도시한 바와 같이 3차원 모델 MI는 모두 표시되지만, 현실 세계의 오브젝트(도 15 내지 도 17에 나타낸 예에서는, 페트병)보다도 앞쪽에 가상 오브젝트가 존재하는 경우에는, 3차원 모델 MI는 그 가상 오브젝트에 가려져서 표시되게 된다.
도 18에는, 헤드·마운트·디스플레이(100)가 현실 세계에 존재하는 오브젝트의 3차원 모델을 가상 세계에 배치한 화상을 표시하기 위한 처리 수순을 흐름도의 형식으로 나타내고 있다.
오브젝트 검출부(1401)는, 외측 카메라(312)의 촬영 화상의 인식 처리나 거리 센서의 검출 신호 등에 기초하여, 유저의 신체의 일부 등 특정한 오브젝트를 현실 세계에서 검출한다(스텝 S1801).
스텝 S1801에서는, 오브젝트 검출부(1401)는, 헤드·마운트·디스플레이(100)로부터 일정 거리 이내에 있는 현실 세계의 모든 물체를 자동으로 검출하도록 해도 된다. 예를 들어, 유저가 컵 등의 물체를 쥔 손을 헤드·마운트·디스플레이(100)에 근접시키면, 오브젝트로서 자동으로 검출하여, 일정 거리 이내에 있는 동안에는 추적한다. 또한, 손이 일정 거리로부터 벗어나면, 오브젝트 검출부(1401)는 검출하지 않게 되고, 추적을 멈춘다.
또한, 오브젝트 검출부(1401)에 의한 오브젝트의 검출 처리와 병행하여, 현실 세계 화상 취득부(1402)는, 외측 카메라(312)로 촬영하는 화상 등에 기초하여, 오브젝트 검출부(1401)가 검출하는 오브젝트를 포함하는 현실 세계의 화상을 취득한다(스텝 S1802).
그리고, 3차원 모델 계산부(1403)는, 오브젝트 검출부(1401)에 의한 검출 결과와, 현실 세계 화상 취득부(1402)가 취득한 현실 세계의 화상에 기초하여, 검출한 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성한다(스텝 S1803).
또한, 3차원 모델 계산부(1403)는, 오브젝트 검출부(1401)가 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산한다(스텝 S1804).
계속해서, 가상 세계 화상 생성부(1404)는, 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트를 포함하는 소정 범위의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산해서(스텝 S1805), 3차원 모델 MM의 렌더링 처리를 행한다(스텝 S1806). 그리고, 렌더링된 화상은 표시부(309)에 표시된다(스텝 S1807).
그리고, 표시부(309)에서 가상 세계의 화상 표시를 계속할 때는(스텝 S1808의 "아니오"), 스텝 S1801로 돌아가서, 상술한 처리를 반복 실행한다.
또한, 현실 세계의 오브젝트의 3차원 모델 MI를 표시하고 있는 기간 중에는, 스텝 S1801에서, 현실 세계에서 오브젝트가 이동함에 수반하여, 가상 공간 V에 3차원 모델 MI를 배치하는 대응 영역 RV가 수시로 갱신된다. 또한, 오브젝트의 현재 위치가, 표시부(309)에 표시되어 있는 현실 세계의 3차원 모델 MI와 가상 세계 V의 경계에 중첩되는 것을 조건으로 해서, 경계를 조작하도록 해도 된다. 또는, 유저의 특정한 제스처를 인식함으로써, 경계를 조작할 수 있는 상태로 이행해도 된다.
상술한 바와 같이, 제2 실시예에 관한 헤드·마운트·디스플레이(100)에 의하면, 유저는, 가상 세계에의 몰입감을 손상시키지 않고, 현실 세계와의 인터랙션이 가능해진다. 이러한 헤드·마운트·디스플레이(100)를 장착한 유저는, 가상 세계에 몰입하는 것에 대한 심리적 저항감을 저감시킬 수 있다. 또한, 유저는, 가상 세계에 몰입한 상태이어도, 현실 세계의 신체 운동에 기인하는 물리적 손해 등의 위험성을 저감시킬 수 있다.
[산업상 이용 가능성]
이상, 특정한 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대해서 상세하게 설명해 왔다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시 형태의 수정이나 대용을 이룰 수 있음은 자명하다.
본 명세서에서는, 본 명세서에서 개시하는 기술을 차광성의 헤드·마운트·디스플레이에 적용한 실시 형태를 중심으로 설명해 왔지만, 본 명세서에서 개시하는 기술의 요지는 이것에 한정되는 것은 아니다. 투과성의 헤드·마운트·디스플레이나, 헤드업·디스플레이, 카메라를 구비한 스마트폰, 다기능 단말기 등, 현실 세계의 화상과 가상 세계의 화상을 표시하는 기능을 구비한 다양한 타입의 화상 표시 장치에 대하여 마찬가지로 본 명세서에서 개시하는 기술을 적용할 수 있다.
요컨대, 예시라는 형태에 의해 본 명세서에서 개시하는 기술에 대해서 설명해 온 것이며, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허 청구 범위를 참작해야 한다.
또한, 본 명세서의 개시의 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 표시부와,
현실 세계의 화상을 취득하는 현실 세계 화상 취득부와,
현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정부와,
상기 지정된 영역에 기초하여, 가상 화상 내에 현실 세계의 화상을 혼합하여, 상기 표시부에 표시하는 화상을 생성하는 화상 생성부,
를 구비하는, 헤드부 또는 얼굴부에 장착하는 화상 표시 장치.
(2) 상기 표시부는, 상기 화상 표시 장치를 헤드부 또는 얼굴부에 장착하는 유저의 눈의 위치에 배치되고,
상기 유저의 시선 방향을 촬영하는 촬영부를 더 구비하고,
상기 현실 세계 화상 취득부는, 상기 촬영부가 촬영하는 현실 세계의 화상을 취득하는, 상기 (1)에 기재된 화상 표시 장치.
(3) 가상 세계의 화상을 생성하는 가상 세계 화상 생성부와,
상기 영역 지정부가 지정한 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성부를 더 구비하고,
상기 화상 생성부는, 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체하여, 상기 표시부에 표시하는 화상을 생성하는, 상기 (1) 또는 (2) 중 어느 한 항에 기재된 화상 표시 장치.
(4) 상기 영역 지정부는, 유저의 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하는, 상기 (3)에 기재된 화상 표시 장치.
(5) 상기 화상 생성부는, 유저가 영역을 지정하는 조작을 행하고 나서의 경과 시간에 기초하여 현실 세계의 화상의 혼합율을 제어하는, 상기 (4)에 기재된 화상 표시 장치.
(6) 상기 화상 생성부는, 유저가 영역을 지정하는 조작을 행하고 나서 일정 시간이 경과하면, 상기 대응 영역을 현실 세계의 화상 RI로부터 가상 세계의 화상 RV로 전환하거나, 또는 서서히 가상 세계의 화상 RV로 되돌리는, 상기 (5)에 기재된 화상 표시 장치.
(7) 유저가 입력 조작을 행하는 입력부를 더 구비하고,
상기 영역 지정부는, 상기 입력부에 대한 유저의 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하는, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 화상 표시 장치.
(8) 상기 입력부는 터치 패널이며,
상기 영역 지정부는, 상기 터치 패널을 유저가 접촉한 장소에 대응하는 영역을 지정하는, 상기 (7)에 기재된 화상 표시 장치.
(9) 상기 터치 패널은, 상기 표시부의 표시 화면의 배면에 배치되는, 상기 (8)에 기재된 화상 표시 장치.
(10) 상기 영역 지정부는, 유저의 제스처 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하는, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 화상 표시 장치.
(11) 상기 영역 지정부는, 현실 세계의 화상과 가상 세계의 화상의 경계에 대한 유저의 조작에 따라, 현실 세계의 화상을 표시하는 영역을 변경하는, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 화상 표시 장치.
(12) 현실 세계의 오브젝트를 검출하는 오브젝트 검출부와,
상기 현실 세계 화상 취득부가 취득한 현실 세계의 화상에 기초하여 상기 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 상기 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 3차원 모델 계산부,
를 더 구비하고,
상기 화상 생성부는, 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행하는, 상기 (1) 또는 (2) 중 어느 한 항에 기재된 화상 표시 장치.
(13) 상기 오브젝트 검출부는, 유저의 신체의 일부 또는 미리 정해진 현실 세계의 물체를 검출하는, 상기 (12)에 기재된 화상 표시 장치.
(14) 상기 오브젝트 검출부는, 상기 화상 표시 장치로부터 일정 거리 이내에 있는 현실 세계의 물체를 검출하는, 상기 (12)에 기재된 화상 표시 장치.
(15) 상기 화상 생성부는, 상기 오브젝트 검출부가 오브젝트를 검출하고 나서의 경과 시간에 기초하여 현실 세계의 화상의 혼합율을 제어하는, 상기 (12) 내지 (14) 중 어느 한 항에 기재된 화상 표시 장치.
(16) 상기 영역 지정부는, 오브젝트의 현재 위치가 현실 세계의 3차원 모델 MI와 가상 세계 V의 경계에 중첩되는 것을 조건으로 해서, 경계를 조작하는, 상기 (12) 내지 (15) 중 어느 한 항에 기재된 화상 표시 장치.
(17) 현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정 스텝과,
상기 지정된 영역에 기초하여, 가상 화상 내에 현실 세계의 화상을 혼합해서 화상을 생성하는 화상 생성 스텝과,
생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝,
을 갖는 화상 표시 방법.
(18) 현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정 스텝과,
가상 세계의 화상을 생성하는 가상 세계 화상 생성 스텝과,
상기 영역 지정 스텝에서 지정된 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성 스텝과,
가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체해서 화상을 생성하는 화상 생성 스텝과,
생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝,
을 갖는 화상 표시 방법.
(19) 현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
현실 세계의 오브젝트를 검출하는 오브젝트 검출 스텝과,
검출한 오브젝트의 가상 세계의 3차원 모델 V의 대응 영역 RV를 지정하는 영역 지정 스텝과,
상기 현실 세계 화상 취득부가 취득한 현실 세계의 화상에 기초하여 상기 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 상기 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 3차원 모델 계산 스텝과,
가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행해서 화상을 생성하는 화상 생성 스텝과,
생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝
을 갖는 화상 표시 방법.
100 : 헤드·마운트·디스플레이 101L, 101R : 허상 광학부
103L, 103R : 마이크로폰 104L, 104R : 표시 패널
105 : 눈 폭 조정 기구 301 : 제어부
301A : ROM 301B : RAM
302 : 입력 인터페이스부 303 : 리모콘 수신부
304 : 상태 정보 취득부 305 : 통신부
306 : 기억부 307 : 화상 처리부
308 : 표시 구동부 309 : 표시부
310 : 허상 광학부 312 : 외측 카메라
313 : 음성 처리부 314 : 음성 입출력부
315 : 터치 패널 316 : 환경 정보 취득부
701 : 가상 세계 화상 생성부 702 : 현실 세계 화상 취득부
703 : 영역 지정부 704 : 영역 화상 생성부
705 : 화상 교체부 1401 : 오브젝트 검출부
1402 : 현실 세계 화상 취득부 1403 : 3차원 모델 계산부
1404 : 가상 세계 화상 생성부

Claims (19)

  1. 표시부와,
    현실 세계의 화상을 취득하는 현실 세계 화상 취득부와,
    현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정부와,
    상기 지정된 영역에 기초해서, 가상 화상 내에 현실 세계의 화상을 혼합하여, 상기 표시부에 표시하는 화상을 생성하는 화상 생성부와,
    가상 세계의 화상을 생성하는 가상 세계 화상 생성부와,
    상기 영역 지정부가 지정한 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성부를 구비하고,
    상기 화상 생성부는, 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체하여, 상기 표시부에 표시하는 화상을 생성하는, 헤드부 또는 얼굴부에 장착하는 화상 표시 장치.
  2. 제1항에 있어서,
    상기 표시부는, 상기 화상 표시 장치를 헤드부 또는 얼굴부에 장착하는 유저의 눈의 위치에 배치되고,
    상기 유저의 시선 방향을 촬영하는 촬영부를 더 구비하고,
    상기 현실 세계 화상 취득부는, 상기 촬영부가 촬영하는 현실 세계의 화상을 취득하는, 화상 표시 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 영역 지정부는, 유저의 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하는, 화상 표시 장치.
  5. 제4항에 있어서,
    상기 화상 생성부는, 유저가 영역을 지정하는 조작을 행하고 나서의 경과 시간에 기초하여 현실 세계의 화상의 혼합율을 제어하는, 화상 표시 장치.
  6. 제5항에 있어서,
    상기 화상 생성부는, 유저가 영역을 지정하는 조작을 행하고 나서 일정 시간이 경과하면, 상기 대응 영역을 현실 세계의 화상 RI로부터 가상 세계의 화상 RV로 전환하거나, 또는 서서히 가상 세계의 화상 RV로 되돌리는, 화상 표시 장치.
  7. 제4항에 있어서,
    유저가 입력 조작을 행하는 입력부를 더 구비하고,
    상기 영역 지정부는, 상기 입력부에 대한 유저의 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하는, 화상 표시 장치.
  8. 제7항에 있어서,
    상기 입력부는 터치 패널이며,
    상기 영역 지정부는, 상기 터치 패널을 유저가 접촉한 장소에 대응하는 영역을 지정하는, 화상 표시 장치.
  9. 제8항에 있어서,
    상기 터치 패널은, 상기 표시부의 표시 화면의 배면에 배치되는, 화상 표시 장치.
  10. 제4항에 있어서,
    상기 영역 지정부는, 유저의 제스처 조작에 기초하여, 현실 세계의 화상을 표시하는 영역을 지정하는, 화상 표시 장치.
  11. 제4항에 있어서,
    상기 영역 지정부는, 현실 세계의 화상과 가상 세계의 화상의 경계에 대한 유저의 조작에 따라, 현실 세계의 화상을 표시하는 영역을 변경하는, 화상 표시 장치.
  12. 제1항에 있어서,
    현실 세계의 오브젝트를 검출하는 오브젝트 검출부와,
    상기 현실 세계 화상 취득부가 취득한 현실 세계의 화상에 기초하여 상기 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 상기 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 3차원 모델 계산부
    를 더 구비하고,
    상기 화상 생성부는, 가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행하는, 화상 표시 장치.
  13. 제12항에 있어서,
    상기 오브젝트 검출부는, 유저의 신체의 일부 또는 미리 정해진 현실 세계의 물체를 검출하는, 화상 표시 장치.
  14. 제12항에 있어서,
    상기 오브젝트 검출부는, 상기 화상 표시 장치로부터 일정 거리 이내에 있는 현실 세계의 물체를 검출하는, 화상 표시 장치.
  15. 제12항에 있어서,
    상기 화상 생성부는, 상기 오브젝트 검출부가 오브젝트를 검출하고 나서의 경과 시간에 기초하여 현실 세계의 화상의 혼합율을 제어하는, 화상 표시 장치.
  16. 제12항에 있어서,
    상기 영역 지정부는, 오브젝트의 현재 위치가 현실 세계의 3차원 모델 MI와 가상 세계 V의 경계에 중첩되는 것을 조건으로 해서, 경계를 조작하는, 화상 표시 장치.
  17. 현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
    현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정 스텝과,
    상기 지정된 영역에 기초하여, 가상 화상 내에 현실 세계의 화상을 혼합해서 화상을 생성하는 화상 생성 스텝과,
    생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝
    을 갖고,
    가상 세계의 화상을 생성하는 가상 세계 화상 생성 스텝과,
    상기 영역 지정 스텝에서 지정된 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성 스텝을 더 구비하고,
    상기 화상 생성 스텝에서는, 가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체하여, 상기 표시부에 표시하는 화상을 생성하는,
    화상 표시 방법.
  18. 현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
    현실 세계의 화상을 표시하는 영역을 지정하는 영역 지정 스텝과,
    가상 세계의 화상을 생성하는 가상 세계 화상 생성 스텝과,
    상기 영역 지정 스텝에서 지정된 영역에 대응하는 현실 세계의 화상 RI와 가상 세계의 화상 RV를 계산하는 영역 화상 생성 스텝과,
    가상 세계의 렌더링 결과 V의 대응 영역의 화상 RV를 현실 세계의 대응 영역의 화상 RI로 교체해서 화상을 생성하는 화상 생성 스텝과,
    생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝
    을 갖는 화상 표시 방법.
  19. 현실 세계의 화상을 취득하는 현실 세계 화상 취득 스텝과,
    현실 세계의 오브젝트를 검출하는 오브젝트 검출 스텝과,
    검출한 오브젝트의 가상 세계의 3차원 모델 V의 대응 영역 RV를 지정하는 영역 지정 스텝과,
    상기 현실 세계 화상 취득 스텝에서 취득한 현실 세계의 화상에 기초하여 상기 오브젝트를 포함하는 소정의 범위의 3차원 모델 MI를 생성함과 함께, 상기 오브젝트를 검출한 장소에 대응하는 가상 공간 V의 영역 RV를 계산하는 3차원 모델 계산 스텝과,
    가상 세계의 3차원 모델 V의 대응 영역 RV에, 오브젝트의 3차원 모델 MI를 배치한 3차원 모델 MM을 계산하여, 렌더링 처리를 행해서 화상을 생성하는 화상 생성 스텝과,
    생성한 화상을 유저의 눈의 위치에 배치된 표시부에서 표시하는 표시 스텝
    을 갖는 화상 표시 방법.
KR1020167013247A 2014-01-23 2014-11-11 화상 표시 장치 및 화상 표시 방법 KR102332326B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014010582 2014-01-23
JPJP-P-2014-010582 2014-01-23
PCT/JP2014/079812 WO2015111283A1 (ja) 2014-01-23 2014-11-11 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
KR20160111904A KR20160111904A (ko) 2016-09-27
KR102332326B1 true KR102332326B1 (ko) 2021-11-30

Family

ID=53681105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167013247A KR102332326B1 (ko) 2014-01-23 2014-11-11 화상 표시 장치 및 화상 표시 방법

Country Status (6)

Country Link
US (1) US10134189B2 (ko)
EP (2) EP3410264B1 (ko)
JP (1) JP6524917B2 (ko)
KR (1) KR102332326B1 (ko)
CN (2) CN105992986B (ko)
WO (1) WO2015111283A1 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
JP6340301B2 (ja) 2014-10-22 2018-06-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
JP6618260B2 (ja) * 2015-02-19 2019-12-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2016191950A1 (zh) * 2015-05-29 2016-12-08 深圳市柔宇科技有限公司 显示调节的方法及头戴式显示设备
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN106484085B (zh) * 2015-08-31 2019-07-23 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
JP6675209B2 (ja) * 2016-01-20 2020-04-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
JP6790417B2 (ja) * 2016-03-31 2020-11-25 ソニー株式会社 情報処理装置及び情報処理サーバ
KR102673480B1 (ko) * 2016-04-27 2024-06-07 로비 가이드스, 인크. 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템
US9851792B2 (en) 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CN106200881A (zh) * 2016-06-29 2016-12-07 乐视控股（北京）有限公司 一种数据展示方法及装置与虚拟现实设备
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
CN106383578B (zh) * 2016-09-13 2020-02-04 网易（杭州）网络有限公司 虚拟现实***、虚拟现实交互装置及方法
US10642345B2 (en) * 2016-10-18 2020-05-05 Raytheon Company Avionics maintenance training
CN109983532A (zh) * 2016-11-29 2019-07-05 夏普株式会社 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序
CN106774869B (zh) * 2016-12-08 2020-05-19 广州大西洲科技有限公司 一种实现虚拟现实的方法、装置及虚拟现实头盔
EP3561570A1 (en) * 2016-12-22 2019-10-30 Shenzhen Royole Technologies Co., Ltd. Head-mounted display apparatus, and visual-aid providing method thereof
CN110199244B (zh) * 2017-01-20 2022-05-24 索尼公司 信息处理设备、信息处理方法以及程序
WO2018176235A1 (zh) * 2017-03-28 2018-10-04 深圳市柔宇科技有限公司 头戴式显示设备及其显示切换方法
CN107172414A (zh) * 2017-04-20 2017-09-15 北京安云世纪科技有限公司 一种虚拟现实头戴显示器设备及其处理信息的方法
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
CN107179876B (zh) * 2017-06-30 2023-08-25 吴少乔 基于虚拟现实***的人机交互装置
KR102077665B1 (ko) * 2017-09-26 2020-04-07 에이케이엔코리아 주식회사 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
CN111279292B (zh) 2017-09-29 2022-06-14 苹果公司 检测物理边界
US11622153B2 (en) 2017-10-04 2023-04-04 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing
JP2021043476A (ja) * 2017-12-26 2021-03-18 株式会社Ｎｔｔドコモ 情報処理装置
DE102018207653A1 (de) * 2018-05-16 2019-11-21 Siemens Aktiengesellschaft Anzeigegerät zum Darstellen virtueller Realität mit einer berührungsempfindlichen Bedieneinheit; Anzeigesystem; Bediensystem
US10600246B2 (en) 2018-06-15 2020-03-24 Microsoft Technology Licensing, Llc Pinning virtual reality passthrough regions to real-world locations
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
CN110163977B (zh) * 2018-07-13 2024-04-12 腾讯数码（天津）有限公司 多世界虚拟场景中的虚拟通道渲染方法及装置
JP6739847B2 (ja) * 2018-09-12 2020-08-12 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US20200111256A1 (en) * 2018-10-08 2020-04-09 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
DE102019135676A1 (de) * 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
WO2021048985A1 (ja) * 2019-09-12 2021-03-18 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及び、プログラム
CN112562088A (zh) * 2019-09-26 2021-03-26 苹果公司 基于用户移动来呈现环境
US11842449B2 (en) * 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP7023005B2 (ja) * 2019-10-24 2022-02-21 克己 横道 情報処理システム、情報処理方法およびプログラム
JP7127659B2 (ja) 2020-02-07 2022-08-30 カシオ計算機株式会社 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
EP3926588A1 (en) 2020-06-19 2021-12-22 Alpine Electronics, Inc. Image displaying apparatus and method of displaying image data on a vr display device, particularly disposed in a vehicle
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
US11595636B1 (en) * 2021-08-23 2023-02-28 At&T Intellectual Property I, L.P. Enhanced emotive engagement with volumetric content
US11960082B2 (en) * 2022-07-13 2024-04-16 Htc Corporation Virtual reality system and object detection method applicable to virtual reality system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
JP4136420B2 (ja) * 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP4724476B2 (ja) * 2004-09-07 2011-07-13 キヤノン株式会社 情報処理方法及び装置
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP2012141461A (ja) * 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
KR20130067450A (ko) * 2011-12-14 2013-06-24 한국전자통신연구원 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법
JP5938977B2 (ja) 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
JP5953963B2 (ja) 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实***中基于虚拟模型预处理的虚实遮挡处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display

Also Published As

Publication number Publication date
CN105992986B (zh) 2019-03-12
WO2015111283A1 (ja) 2015-07-30
JP6524917B2 (ja) 2019-06-05
EP3098689A4 (en) 2017-09-20
EP3410264B1 (en) 2020-08-26
EP3410264A1 (en) 2018-12-05
EP3098689A1 (en) 2016-11-30
CN109828671A (zh) 2019-05-31
CN105992986A (zh) 2016-10-05
KR20160111904A (ko) 2016-09-27
JPWO2015111283A1 (ja) 2017-03-23
EP3098689B1 (en) 2019-04-03
US10134189B2 (en) 2018-11-20
US20160379413A1 (en) 2016-12-29
CN109828671B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
KR102332326B1 (ko) 화상 표시 장치 및 화상 표시 방법
JP6079614B2 (ja) 画像表示装置及び画像表示方法
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
JP6525010B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
WO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US11170580B2 (en) Information processing device, information processing method, and recording medium
JP6428268B2 (ja) 画像表示装置及び画像表示方法、並びに画像表示システム
JP6217747B2 (ja) 情報処理装置及び情報処理方法
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
KR102340665B1 (ko) 프라이버시 스크린
JP2018526716A (ja) 媒介現実
US20150044662A1 (en) Acceleration sensation presentation device, acceleration sensation presentation method, and acceleration sensation presentation system
KR20180010845A (ko) Hmd 및 그 hmd의 제어 방법
JP2018190335A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
TW201908951A (zh) 虛擬實境即時導覽方法及系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant