KR102642775B1 - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR102642775B1
KR102642775B1 KR1020207016917A KR20207016917A KR102642775B1 KR 102642775 B1 KR102642775 B1 KR 102642775B1 KR 1020207016917 A KR1020207016917 A KR 1020207016917A KR 20207016917 A KR20207016917 A KR 20207016917A KR 102642775 B1 KR102642775 B1 KR 102642775B1
Authority
KR
South Korea
Prior art keywords
display
user
obstruction
information processing
restricted area
Prior art date
Application number
KR1020207016917A
Other languages
English (en)
Other versions
KR20200100059A (ko
Inventor
아카네 곤도
도모야 나리타
료 후카자와
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20200100059A publication Critical patent/KR20200100059A/ko
Application granted granted Critical
Publication of KR102642775B1 publication Critical patent/KR102642775B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 기술의 일 형태에 따른 정보 처리 장치는, 설정부와, 표시 제어부를 구비한다. 상기 설정부는, 진입이 제한되는 제한 영역을 설정한다. 상기 표시 제어부는, 가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어한다. 이것에 의하여, 방해 오브젝트를 적정하게 표시하는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램
본 기술은, 가상 체험을 제공하는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.
종래, 유저에게 가상 체험을 제공하는 기술이 개발되어 있다. 예를 들어 유저의 주위의 현실의 공간에 가상적인 화상을 중첩시켜 표시시킴으로써, 유저는 확장 현실(AR: Augmented Reality)을 체험하는 것이 가능하다. 또한, 예를 들어 3차원적인 가상 공간을 표시시킴으로써, 유저는 가상 현실(VR: Virtual Reality)을 체험하는 것이 가능하다.
예를 들어 특허문헌 1에는, AR 공간에 있어서의 가상 오브젝트의 표시를 제어하는 표시 제어 장치에 대하여 기재되어 있다. 표시 제어 장치에서는, 실 공간을 촬영한 화상으로부터 실 오브젝트의 위치 및 자세가 인식된다. 이 인식 결과에 따라 가상 오브젝트의 위치 및 자세가 특정되어, 가상 오브젝트가 AR 공간에 배치된다. AR 공간에 배치된 가상 오브젝트는, 투과형 HMD(Head Mount Display)나 스마트폰 등의 표시부에 표시된다. 이 결과, 유저는 표시부를 통하여, 실 공간에 중첩되어 표시된 가상 오브젝트를 열람하는 것이 가능해진다(특허문헌 1의 명세서 단락 [0017] [0020] [0031] [0032] 도 1 등).
일본 특허 공개 제2014-191718호 공보
AR이나 VR 등의 기술을 이용한 가상 체험은, 예를 들어 어뮤즈먼트, 교육, 생산 현장 등의 다양한 씬에서의 응용이 기대되고 있으며, 자연스런 가상 체험을 제공하는 것이 가능한 기술이 요구되고 있다.
이상과 같은 사정을 감안하여 본 기술의 목적은, 자연스런 가상 체험을 제공하는 것이 가능한 정보 처리 장치, 정보 처리 방법, 및 프로그램을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 기술의 일 형태에 따른 정보 처리 장치는, 설정부와, 표시 제어부를 구비한다.
상기 설정부는, 진입이 제한되는 제한 영역을 설정한다.
상기 표시 제어부는, 가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어한다.
이 정보 처리 장치에서는, 진입이 제한되는 제한 영역이 설정되고, 당해 제한 영역으로의 진입을 방해하는 가상 오브젝트인 방해 오브젝트의 표시가 제어된다. 방해 오브젝트의 표시 제어는, 가상 오브젝트를 표시 가능한 표시 범위에 기초하여 실행된다. 이것에 의하여, 방해 오브젝트를 적정하게 표시하는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.
상기 표시 제어부는, 상기 방해 오브젝트가 상기 표시 범위에 들도록, 상기 방해 오브젝트의 표시를 제어해도 된다.
이것에 의하여, 방해 오브젝트를 표시 범위 내에 적정하게 표시하는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.
상기 정보 처리 장치는, 또한, 상기 제한 영역에 관련되는 소정의 대상물의 정보를 취득하는 취득부를 구비해도 된다. 이 경우, 상기 표시 제어부는, 상기 소정의 대상물을 기준으로 하여 상기 방해 오브젝트의 표시를 제어해도 된다.
이것에 의하여, 예를 들어 유저가 행동하는 공간에 존재하는 사물 등을 이용하여 방해 오브젝트를 표시하는 것이 가능해져, 제한 영역으로의 진입 등을 자연스레 방지하는 것이 가능해진다.
상기 표시 제어부는, 상기 표시 범위에 기초하여, 상기 소정의 대상물에 대한 상기 방해 오브젝트의 표시 위치 및 표시 사이즈 중 적어도 한쪽을 조정해도 된다.
이것에 의하여, 예를 들어 방해 오브젝트의 위치나 자세 등을 상세히 조정하는 것이 가능해져, 방해 오브젝트를 자연스레 표시하는 것이 가능해진다.
상기 표시 제어부는, 상기 소정의 대상물을 기준으로 하여 상기 방해 오브젝트의 후보를 생성하고, 상기 표시 범위에 기초하여, 상기 방해 오브젝트의 후보를 표시할 것인지 여부를 판정해도 된다.
이것에 의하여, 예를 들어 방해 오브젝트가 부자연스럽게 표시되는 상태를 용이하게 회피하는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.
상기 표시 제어부는, 상기 방해 오브젝트의 후보가 상기 표시 범위에 드는지 여부를 판정함으로써, 상기 방해 오브젝트의 후보를 표시할 것인지 여부를 판정해도 된다.
이것에 의하여, 예를 들어 표시 범위에 들도록 방해 오브젝트를 표시하는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.
상기 취득부는, 상기 소정의 대상물의 정보로서, 서로 이격된 제1 대상물 및 제2 대상물의 각각의 정보를 취득 가능해도 된다. 이 경우, 상기 표시 제어부는, 상기 제1 및 상기 제2 대상물 사이에 상기 방해 오브젝트를 표시해도 된다.
예를 들어 방해 오브젝트를 사용하여 두 대상물 사이의 통로를 막는다는 것이 가능해진다. 이 결과, 유저의 침입을 자연스레 방지하는 것이 가능해진다.
상기 표시 제어부는, 상기 소정의 대상물에 중첩시켜 상기 방해 오브젝트를 표시해도 된다.
이와 같이, 소정의 대상물에 겹쳐서 방해 오브젝트를 표시시킴으로써, 진입이 제한되어 있음이 강조되어, 제한 영역으로의 진입 등을 충분히 방지하는 것이 가능해진다.
상기 정보 처리 장치는, 또한, 상기 표시 범위로서 상기 가상 오브젝트가 표시되는 표시부의 화각을 산출하는 산출부를 구비해도 된다.
이것에 의하여, 예를 들어 표시부의 화각에 맞추어 방해 오브젝트 등을 고정밀도로 표시하는 것이 가능해진다. 이 결과, 표시부를 이용한 자연스런 가상 체험을 실현하는 것이 가능해진다.
상기 표시부는, 유저의 두부에 장착되는 HMD(Head Mount Display)에 마련되어도 된다. 이 경우, 상기 산출부는, 상기 유저의 두부의 위치 및 자세 중 적어도 한쪽에 기초하여 상기 표시부의 화각을 산출해도 된다.
이것에 의하여, 표시부의 화각을 고정밀도로 산출하는 것이 가능해져, 방해 오브젝트 등을 정밀도 높게 표시시키는 것이 가능해진다.
상기 표시부는, 투과형 디스플레이여도 된다.
투과형 디스플레이를 이용함으로써, 용이하게 AR 체험 등을 제공하는 것이 가능해진다.
상기 표시 제어부는, 유저의 위치 및 진행 방향 중 적어도 한쪽에 따라 상기 방해 오브젝트를 표시해도 된다.
이것에 의하여, 유저의 행동에 맞추어 동적으로 방해 오브젝트를 표시하는 것이 가능해져, 유저의 행동의 자유도를 유지하면서 자연스런 가상 체험을 제공하는 것이 가능해진다.
상기 표시 제어부는, 상기 유저의 주변의 상기 제한 영역으로의 진입을 제한하는 상기 방해 오브젝트를 표시해도 된다.
이것에 의하여, 예를 들어 유저를 용이하게 유도하는 것이 가능해진다.
상기 설정부는, 유저의 위치 및 목적지 중 적어도 한쪽에 기초하여 상기 제한 영역을 설정해도 된다.
이것에 의하여, 예를 들어 유저를 목적지로 유도하는 것이 가능해져, 유저의 행동의 자유도를 유지하면서 자연스런 내비게이션 등을 실현하는 것이 가능해진다.
상기 설정부는, 상기 제한 영역으로의 진입의 제한의 정도를 나타내는 제한도를 설정 가능해도 된다. 이 경우, 상기 표시 제어부는, 상기 제한도에 따라, 상기 방해 오브젝트의 표시를 제어해도 된다.
예를 들어 진입 제한의 정도를 적당히 설정함으로써, 유저의 자발적인 행동 등을 저해하는 일 없이, 행동의 자유도가 높은 가상 체험을 제공하는 것이 가능해진다.
상기 정보 처리 장치는, 또한, 상기 제한 영역으로의 진입 및 접근 중 적어도 한쪽을 통보하는 통보 정보를 생성하는 통보부를 구비해도 된다.
이것에 의하여, 유저가 제한 영역에 진입 혹은 접근한 경우에 제한 영역의 존재를 적정하게 알리는 것이 가능해져, 예를 들어 안전한 가상 체험을 실현하는 것이 가능해진다.
상기 통보 정보는, 소리 정보, 표시 정보 및 진동 정보 중 적어도 하나를 포함해도 된다.
이것에 의하여, 제한 영역으로의 진입 혹은 접근을 용이하게 알리는 것이 가능해진다.
본 기술의 일 형태에 따른 정보 처리 방법은, 컴퓨터 시스템에 의하여 실행되는 정보 처리 방법이며, 진입이 제한되는 제한 영역을 설정하는 것을 포함한다. 가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시가 제어된다.
본 기술의 일 형태에 따른 프로그램은, 컴퓨터 시스템으로 하여금 이하의 스텝을 실행하게 한다.
진입이 제한되는 제한 영역을 설정하는 스텝.
가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하는 스텝.
이상과 같이 본 기술에 따르면, 자연스런 가상 체험을 제공하는 것이 가능해진다. 또한 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 기술의 일 실시 형태에 따른 HMD의 외관을 도시하는 사시도다.
도 2는 도 1에 도시하는 HMD의 기능적인 구성예를 도시하는 블록도다.
도 3은 HMD를 장착한 유저의 시야 범위의 일례를 도시하는 모식도다.
도 4는 투과형 디스플레이의 화각에 대하여 설명하기 위한 모식도다.
도 5는 제한 영역의 일례를 도시하는 모식도다.
도 6은 실물체를 기준으로 하여 표시되는 방해 오브젝트의 일례를 도시하는 모식도다.
도 7은 HMD의 기본적인 동작의 일례를 설명하기 위한 모식도다.
도 8은 HMD의 동작의 일례를 도시하는 흐름도다.
도 9는 방해 오브젝트의 표시 제어의 일례를 도시하는 흐름도다.
도 10은 방해 오브젝트의 표시 제어의 일례를 설명하기 위한 모식도다.
도 11은 실물체를 기준으로 한 방해 오브젝트의 표시예를 도시하는 모식도다.
도 12는 통보부의 동작예를 설명하기 위한 모식도다.
도 13은 방해 오브젝트의 표시예를 도시하는 모식도다.
도 14는 방해 오브젝트의 표시예를 도시하는 모식도다.
도 15는 방해 오브젝트의 표시예를 도시하는 모식도다.
도 16은 방해 오브젝트의 표시예를 도시하는 모식도다.
도 17은 방해 오브젝트의 표시예를 도시하는 모식도다.
도 18은 방해 오브젝트의 표시예를 도시하는 모식도다.
도 19는 방해 오브젝트의 표시예를 도시하는 모식도다.
도 20은 방해 오브젝트의 표시예를 도시하는 모식도다.
도 21은 비교예로서 예로 드는 방해 오브젝트의 표시예를 도시하는 모식도다.
도 22는 비교예로서 예로 드는 화살표 화상의 표시예를 도시하는 모식도다.
도 23은 비교예로서 예로 드는 유도 화면의 표시예를 도시하는 모식도다.
이하, 본 기술에 따른 실시 형태를, 도면을 참조하면서 설명한다.
[정보 처리 장치의 구성]
도 1은, 본 기술의 일 실시 형태에 따른 HMD의 외관을 도시하는 사시도다. HMD(100)는, 투과형 디스플레이를 구비한 안경형 장치이며, 유저의 두부에 장착되어 사용된다. HMD(100)는 프레임(10), 좌안용 렌즈(11a) 및 우안용 렌즈(11b), 좌안용 디스플레이(12a) 및 우안용 디스플레이(12b), 좌안용 카메라(13a) 및 우안용 카메라(13b), 그리고 외향 카메라(14)를 갖는다.
프레임(10)은 안경형 형상으로 이루어지며, 림부(15) 및 템플부(16)를 갖는다. 림부(15)는, 유저의 좌우안의 전방에 배치되는 부분이며, 좌안용 렌즈(11a) 및 우안용 렌즈(11b)를 각각 지지한다. 템플부(16)는 림부(15)의 양단으로부터 유저의 양 귀를 향하여 후방으로 연장되어, 선단이 양 귀에 장착된다. 림부(15) 및 템플부(16)는, 예를 들어 합성 수지, 금속 등의 재료로 형성된다.
좌안용 렌즈(11a) 및 우안용 렌즈(11b)는, 유저의 시야의 적어도 일부를 가리도록 유저의 좌우안의 전방에 각각 배치된다. 전형적으로는, 각 렌즈는 유저의 시력을 교정하도록 설계된다. 물론 이에 한정되지 않으며, 이른바 무도수 렌즈가 이용되어도 된다.
좌안용 디스플레이(12a) 및 우안용 디스플레이(12b)는 투과형 디스플레이이며, 좌안용 및 우안용 렌즈(11a 및 11b)의 일부의 영역을 가리도록 각각 배치된다. 즉, 좌안용 및 우안용 렌즈(11a 및 11b)는 유저의 좌우안의 전방에 각각 배치된다.
좌안용 및 우안용 디스플레이(12a 및 12b)에는 좌안용 및 우안용 화상 등이 각각 표시된다. HMD(100)를 장착하는 유저는 현실의 경치를 시인함과 동시에, 각 디스플레이(12a 및 12b)에 표시되는 화상을 시인하는 것이 가능해진다. 이것에 의하여, 유저는 확장 현실(AR) 등을 체험하는 것이 가능해진다.
각 디스플레이(12a 및 12b)에는, 예를 들어 가상적인 표시물(가상 오브젝트)이 표시된다. 예를 들어 캐릭터 등의 CG(Computer Graphics), 사진, 문자 등을 가상 오브젝트로서 표시 가능하다. 물론 이에 한정되지 않으며, 임의의 가상 오브젝트가 표시되어도 된다. 본 실시 형태에서는, 좌안용 및 우안용 디스플레이(12a 및 12b)는, 가상 오브젝트가 표시되는 표시부에 상당한다.
좌안용 및 우안용 디스플레이(12a 및 12b)로서는, 예를 들어 투과형 유기 EL 디스플레이나 LCD(Liquid Crystal Display, 액정 표시 소자) 디스플레이 등이 이용된다. 이 외에, 좌안용 및 우안용 디스플레이(12a 및 12b) 구체적인 구성은 한정되지 않으며, 예를 들어 투명한 스크린에 화상을 투영하여 표시하는 방식이나, 프리즘 등을 이용하여 화상을 표시하는 방식 등의 임의의 방식의 투과형 디스플레이가 적당히 이용되어도 된다.
좌안용 카메라(13a) 및 우안용 카메라(13b)는, 유저의 좌안 및 우안을 촬상 가능하도록 프레임(10)에 적당히 설치된다. 예를 들어 좌안용 및 우안용 카메라(13a 및 13b)에 의하여 촬영된 좌안 및 우안의 화상에 기초하여, 유저의 시선에 관한 시선 정보 등이 취득된다.
좌안용 및 우안용 카메라(13a 및 13b)로서는, 예를 들어 CMOS(Complementary Metal-Oxide Semiconductor) 센서나 CCD(Charge Coupled Device) 센서 등의 이미지 센서를 구비하는 디지털 카메라가 이용된다. 또한, 예를 들어 적외선 LED 등의 적외선 조명을 탑재한 적외선 카메라가 이용되어도 된다.
이하에서는, 좌안용 렌즈(11a) 및 우안용 렌즈(11b)를 모두 렌즈(11)라 기재하고, 좌안용 디스플레이(12a) 및 우안용 디스플레이(12b)를 모두 투과형 디스플레이(12)라 기재하는 경우가 있다. 또한 좌안용 카메라(13a) 및 우안용 카메라(13b)를 모두 내향 카메라(13)라 기재하는 경우가 있다. 본 실시 형태에서는, 투과형 디스플레이(12)는 표시부에 상당한다.
외향 카메라(14)는 프레임(10)(림부(15))의 중앙에, 외측(유저와는 반대측)을 향하여 배치된다. 외향 카메라(14)는, 유저의 시야에 포함되는 실 공간의 화상을 촬영한다. 외향 카메라(14)로서는, 예를 들어 CMOS 센서나 CCD 센서 등의 이미지 센서를 구비하는 디지털 카메라가 이용된다.
도 2는, 도 1에 도시하는 HMD(100)의 기능적인 구성예를 도시하는 블록도다. 도 2에 도시한 바와 같이 HMD(100)는 또한, 스피커(20)와 진동부(21)와 통신부(22)와 커넥터(23)와 조작 버튼(24)과 센서부(30)와 기억부(40)와 컨트롤러(50)를 갖는다.
스피커(20)는 프레임(10)의 소정의 위치에 마련된다. 스피커(20)의 구성은 한정되지 않으며, 예를 들어 스테레오 음성이나 모노럴 음성 등을 출력 가능한 스피커(20)가 적당히 이용되어도 된다. 진동부(21)는 프레임(10)의 내부에 마련되어 진동을 발생시킨다. 예를 들어 통지용 바이브레이션 등을 발생 가능한 임의의 진동 모터 등이 진동부(21)로서 이용된다.
통신부(22)는, 다른 디바이스와의 사이에서 네트워크 통신이나 근거리 무선 통신 등을 실행하기 위한 모듈이다. 예를 들어 WiFi 등의 무선 LAN 모듈이나, Bluetooth(등록 상표) 등의 통신 모듈이 마련된다.
커넥터(23)는, 다른 디바이스와의 접속을 위한 단자이다. 예를 들어 USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface) 등의 단자가 마련된다. 또한 충전 시에는, 충전용 도그(크레이들)의 충전 단자와 커넥터(23)가 접속되어 충전이 행해진다.
조작 버튼(24)은, 예를 들어 프레임(10)의 소정의 위치에 마련된다. 조작 버튼(24)에 의하여, 전원의 ON/OFF의 조작, 화상 표시나 음성 출력에 관한 기능이나 네트워크 통신 기능 등의, HMD(100)가 갖는 다양한 기능에 관한 조작을 실행할 수 있다.
센서부(30)는 9축 센서(31)와 GPS(32)와 생체 센서(33)와 마이크(34)를 갖는다.
9축 센서(31)는 3축 가속도 센서, 3축 자이로 센서 및 3축 컴퍼스 센서를 포함한다. 9축 센서(31)에 의하여, HMD(100)의 3축에 있어서의 가속도, 각속도 및 방위를 검출하는 것이 가능하다. GPS(32)는 HMD(100)의 현재 위치의 정보를 취득한다. 9축 센서(31) 및 GPS(32)의 검출 결과는, 예를 들어 유저의 자세나 위치 등의 산출에 이용된다. 이들 센서는, 예를 들어 프레임(10)의 소정의 위치에 마련된다.
생체 센서(33)는 유저의 생체 정보를 취득한다. 예를 들어 생체 센서(33)로서 뇌파 센서, 근전 센서, 맥박 센서, 발한 센서, 온도 센서, 혈류 센서, 체동 센서 등이 마련된다. 이들 센서는, 예를 들어 검출 단자부가 몸의 소정의 위치에 접촉하도록 HMD(100)의 소정의 위치에 마련된다. 혹은 검출 단자부가 HMD(100)와는 따로 마련되어도 된다. 예를 들어 뇌파 센서는, 두부의 소정의 위치에 접촉 가능하게 마련된다. 맥박 센서는, 목의 혈관에 접촉 가능한 위치에 마련된다.
마이크(34)는 유저의 주변의 소리 정보를 검출한다. 예를 들어 유저가 발화한 음성 등이 적당히 검출된다. 이것에 의하여, 예를 들어 유저는, 음성 통화를 하면서 AR 체험을 행하는 것이나, 음성 입력을 이용한 HMD(100)의 조작 입력을 행하는 것이 가능하다.
센서부(30)로서 마련되는 센서의 종류는 한정되지 않으며, 임의의 센서가 마련되어도 된다. 예를 들어 HMD(100)를 사용하는 환경의 온도나 습도 등을 측정 가능한 온도 센서나 습도 센서 등이 마련되어도 된다.
기억부(40)는 불휘발성 기억 디바이스이며, 예를 들어 HDD(Hard Disk Drive)나 SSD(Solid State Drive) 등이 이용된다.
기억부(40)에는 맵 데이터(41)가 기억된다. 맵 데이터(41)는, 실 공간에 관한 지도로서 기능하는 데이터이다. 본 실시 형태에서는 맵 데이터(41)로서, 실 공간을 측정하여 생성된 실 공간의 지형이나, 실 공간에 존재하는 물체·구조물 등의 메시 데이터를 포함하는 환경 모델이 이용된다. 이것에 의하여, 예를 들어 유저가 행동하는 공간의 지형이나, 그 공간에 존재하는 물체나 건물의 형상 등을 3차원 모델로서 다루는 것이 가능해진다. 맵 데이터(41)의 구체적인 구성은 한정되지 않으며, 점군 데이터 등을 이용한 깊이 정보나, 실 공간의 화상을 이용한 텍스처 정보 등을 포함하는 맵 데이터(41)가 적당히 이용되어도 된다.
또한 기억부(40)에는, HMD(100)의 전체의 동작을 제어하기 위한 제어 프로그램(42)이 기억된다. 맵 데이터(41) 및 제어 프로그램(42)을 HMD(100)에 인스톨하는 방법은 한정되지 않는다.
컨트롤러(50)는, HMD(100)가 갖는 각 블록의 동작을 제어한다. 컨트롤러(50)는, 예를 들어 CPU나 메모리(RAM, ROM) 등의, 컴퓨터에 필요한 하드웨어 구성을 갖는다. CPU가, 기억부(40)에 기억되어 있는 제어 프로그램(42)을 RAM에 로드하여 실행함으로써, 다양한 처리가 실행된다.
컨트롤러(50)로서, 예를 들어 FPGA(Field Programmable Gate Array) 등의PLD(Programmable Logic Device), 그 외, ASIC(Application Specific Integrated Circuit) 등의 디바이스가 이용되어도 된다.
본 실시 형태에서는, 컨트롤러(50)의 CPU가, 본 실시 형태에 따른 프로그램을 실행함으로써, 기능 블록으로서 정보 취득부(51), 영역 설정부(52), 진입 판정부(53), 표시 범위 산출부(54), 레이아웃 계획부(55), 레이아웃 판정부(56), 출력 제어부(57) 및 통보부(58)가 실현된다. 그리고 이들 기능 블록에 의하여 본 실시 형태에 따른 정보 처리 방법이 실행된다. 또한 각 기능 블록을 실현하기 위하여 IC(집적 회로) 등의 전용 하드웨어가 적당히 이용되어도 된다.
정보 취득부(51)는, 컨트롤러(50)의 각 기능 블록의 동작에 필요한 정보를 HMD(100)의 각 부로부터 읽어들인다. 예를 들어 정보 취득부(51)에 의하여, 내향 카메라(13) 및 외향 카메라(14)에 의하여 촬영된 화상 정보나, 센서부(30)의 각 센서의 검출 결과 등이 읽어들여진다.
또한 정보 취득부(51)는, 기억부(40)에 기억된 맵 데이터(41)를 적당히 읽어들이는 것이 가능하다. 상기한 바와 같이 맵 데이터(41)에는, 실 공간에 존재하는 물체(실물체)의 3차원 모델의 정보 등이 포함된다. 따라서 정보 취득부(51)는 실물체의 정보를 취득한다고도 할 수 있다. 본 실시 형태에서는, 정보 취득부(51)는 취득부에 상당한다.
표시 범위 산출부(54)는, 가상 오브젝트를 표시 가능한 표시 범위를 산출한다. 상기한 바와 같이 HMD(100)를 장착한 유저는 투과형 디스플레이(12)를 통하여 실 공간을 시인한다. 이때, 투과형 디스플레이(12)를 통하여 시인되는 경치에 포함되는 실물체(실 공간의 물체나 구조물 등)에 대하여 가상 오브젝트 등이 표시된다. 이와 같이 AR에 의한 가상 체험이 제공되는 경우, 가상 오브젝트를 표시할 수 있는 실 공간의 범위가 표시 범위로 된다고도 할 수 있다.
도 3은, HMD(100)를 장착한 유저의 시야 범위(60)의 일례를 도시하는 모식도다. 도 3의 A 및 도 3의 B에는, 서로 다른 위치로부터 시인되는 경치(시야 범위(60))가 모식적으로 도시되어 있다. 또한 도 3의 A 및 도 3의 B에서는, HMD(100)의 프레임(10) 및 렌즈(11) 등의 도시가 생략되어 있다.
HMD(100)에서는, 유저의 시야 범위(60)의 일부의 영역에 겹쳐지도록 투과형 디스플레이(12)가 배치된다. 이 투과형 디스플레이(12)에 의하여 화상 등이 표시되는 영역이, 가상 오브젝트를 표시 가능한 표시 범위(61)로 된다. 도 3의 A 및 도 3의 B에서는, 투과형 디스플레이(12)에 의한 표시 범위(61)가 점선으로 모식적으로 도시되어 있다.
예를 들어 도 3의 A에 도시하는 경치를 시인하고 있던 유저가 이동하여, 도 3의 B에 도시하는 경치를 시인하게 되었다고 하자. 이때, 투과형 디스플레이(12)를 통하여 시인되는 경치, 즉, 표시 범위(61)로 되는 실 공간의 범위도 변화된다. 따라서 표시 범위(61)는 유저(투과형 디스플레이(12))의 위치나 자세에 따라 변화되게 된다.
본 실시 형태에서는 표시 범위(61)로서, 가상 오브젝트가 표시되는 투과형 디스플레이(12)의 화각이 산출된다. 도 4는, 투과형 디스플레이(12)의 화각에 대하여 설명하기 위한 모식도다. 도 4에는, HMD(100)를 장착한 유저(1)의 안구(2)와, 안구(2)의 전방에 배치된 투과형 디스플레이(12)가 모식적으로 도시되어 있다.
투과형 디스플레이(12)의 화각(62)이란, 투과형 디스플레이(12)를 통하여 유저(1)의 안구(2)(망막)에 비추어지는 경치의 범위를, 각도(화각값)를 이용하여 나타낸 것이다. 도 4에 도시한 바와 같이 투과형 디스플레이(12)의 화각(62)은, 예를 들어 시추대(frustum)에 의하여 나타내는 것이 가능하다. 시추대는, 사각뿔을 저면에 평행으로 절단하여, 정점을 포함하는 부위를 제거한 형상이다. 이 절단면에 상당하는 면이 투과형 디스플레이(12)의 표시면으로 된다.
이 투과형 디스플레이(12)의 화각(62)에 포함되는 실물체가 표시 범위(61)에 포함되게 된다. 이와 같이 HMD(100)에서는, 투과형 디스플레이(12)의 화각(62)에 의하여, 가상 오브젝트를 표시 가능한 표시 범위(61)를 나타내는 것이 가능하다. 예를 들어 투과형 디스플레이(12)의 화각(62)(시추대)의 배향이 바뀌면, 거기에 포함되는 실물체가 바뀌어 표시 범위(61)의 경치도 바뀌게 된다.
표시 범위 산출부(54)는, 예를 들어 실 공간에 있어서의 투과형 디스플레이(12)의 위치, 자세 및 화각값 θ에 기초하여 화각(62)을 산출한다. 또한 화각값으로서는, 예를 들어 투과형 디스플레이(12)(HMD(100))의 수평 방향의 화각값(수평 화각), 수직 방향의 화각값(수직 화각), 및 대각 방향의 화각값(대각 화각) 등이 이용된다. 이것에 의하여, 투과형 디스플레이(12)를 통하여 유저(1)가 시인하는 경치의 위치, 방향, 범위 등을 식별하는 것이 가능해진다. 본 실시 형태에서는, 표시 범위 산출부(54)는 산출부에 상당한다.
영역 설정부(52)는, 진입이 제한되는 제한 영역을 설정한다. 제한 영역은, 예를 들어 실 공간의 지도 정보(맵 데이터(41) 등)에 기초하여, 유저(1)가 실제로 이동하는 실 공간에 대하여 설정된다. 예를 들어 유저(1)가 물리적으로 이동 가능한 범위(통로, 계단, 도로, 광장 등)에 대하여 제한 영역이 설정된다. 제한 영역의 면적, 형상, 수 등은 한정되지 않으며, 예를 들어 유저(1)에게 제공되는 서비스의 목적 등에 맞추어 적당히 설정 가능하다.
도 5는, 제한 영역의 일례를 도시하는 모식도다. 도 5에서는, 실 공간에 존재하는 실물체(70)(책상이나 파티션 등의 장애물(71a 내지 71g))로 구획된 영역(맵(43))이 모식적으로 도시되어 있다. 이들 장애물(71a 내지 71g) 사이의 통로 등에 대하여 제한 영역(63)(사선 영역)이 설정된다. 또한 각 장애물(71)의 배치나 형상 등은 맵 데이터(41)로서 기억부(40)에 기억되어 있다.
본 실시 형태에서는, 유저(1)의 위치 및 목적지(44)에 기초하여 제한 영역(63)이 설정된다. 예를 들어 유저(1)의 현재값 및 목적지(44)의 각각의 위도 경도 정보에 기초하여 맵 데이터(41) 상에서의 경로가 산출된다. 이 경로에 맞추어 유저(1)가 이동 가능하도록 제한 영역(63)이 적당히 설정된다. 도 5에 도시하는 예에서는, 유저(1)가 목적지(44)를 향하는 경로의 주위에 제한 영역(63)이 설정된다.
제한 영역(63)을 설정하는 방법 등은 한정되지 않는다. 예를 들어 유저(1)의 위치 및 목적지(44) 중 어느 한쪽에 기초하여 제한 영역이 적당히 설정되어도 된다. 또한 유저(1)의 위치나 목적지(44)에 관계없이 제한 영역(63)을 설정하는 것도 가능하다. 예를 들어 유저(1)가 진입하지 않기를 바라는 영역을 미리 지정하고, 지정된 영역을 제한 영역으로 설정하는 처리가 실행되어도 된다.
또한 영역 설정부(52)는, 제한 영역(63)으로의 진입의 제한의 정도를 나타내는 제한도를 설정 가능하다. 예를 들어 도 5에 도시하는 영역 있어서, 도면 중의 우측의 장애물(71) 사이의 스페이스를 통과한 경우에도, 유저(1)는 목적지(44)를 향하는 것이 가능하다. 이와 같은 스페이스에 대하여 설정되는 제한 영역(63)에 대해서는 제한도가 낮게 설정된다. 한편, 유저(1)의 진입이 금지되는 영역(위험 영역이나 출입 금지 영역 등)에 대해서는 제한도가 높게 설정된다. 이 외에, 제한도를 설정하는 방법 등은 한정되지 않는다.
도 2로 되돌아가, 진입 판정부(53)는, 제한 영역(63)에 유저(1)가 진입하였는지 여부를 판정한다. 예를 들어 진입 판정부(53)는, 유저(1)의 현재지의 정보(HMD(100)의 GPS(32)의 출력 등)를 적당히 참조하여, 유저(1)의 현재지가, 영역 설정부(52)에 의하여 설정된 제한 영역(63)에 포함되어 있는지 여부를 판정한다. 판정 결과는, 후술하는 통보부(58) 등에 출력된다.
레이아웃 계획부(55)는, 투과형 디스플레이(12)에 방해 오브젝트를 표시하기 위한 레이아웃 계획을 생성한다. 여기서 방해 오브젝트란, 제한 영역(63)으로의 진입을 방해하는 가상 오브젝트이다. 레이아웃 계획으로서는, 예를 들어 방해 오브젝트를 투과형 디스플레이(12)에 표시할 때의 표시 위치나 표시 사이즈 등의 표시 파라미터가 산출된다.
레이아웃 계획부(55)는 유저(1)의 위치 및 진행 방향에 기초하여, 방해 오브젝트를 표시하는 제한 영역(63)을 선택하고, 당해 제한 영역(63)에 대하여 방해 오브젝트를 표시하기 위한 레이아웃 계획을 생성한다. 제한 영역(63)을 선택하는 방법에 대해서는, 도 7 등을 참조하여 상세히 후술한다.
본 실시 형태에서는, 실물체(70)를 기준으로 하여 방해 오브젝트가 표시되도록 레이아웃 계획이 생성된다. 구체적으로는, 실 공간에 존재하는 실물체(70) 중, 제한 영역(63)에 관련되는 실물체(70)가, 방해 오브젝트를 표시하기 위한 기준(표시 기준)으로서 이용된다. 즉, 제한 영역(63)에 관련되는 실물체(70)를 기준으로 하여 방해 오브젝트의 표시가 제어되게 된다.
도 6은, 실물체(70)를 기준으로 하여 표시되는 방해 오브젝트의 일례를 도시하는 모식도다. 도 6의 A 및 도 6의 B에는, 제한 영역(63)으로의 진입을 방해하는 가상 오브젝트(80)인 방해 오브젝트(81)가 모식적으로 도시되어 있다. 또한 도 6의 A 및 도 6의 B에 도시하는 방해 오브젝트(81)는, 도 5에 도시하는 화살표(64a 및 64b)가 나타내는 방향을 향한 투과형 디스플레이(12)의 화각(62)(표시 범위(61))에 있어서 표시되는 방해 오브젝트(81)이다.
도 6의 A에 도시하는 예에서는, 유저(1)의 정면에 제한 영역(63)이 존재한다. 또한 제한 영역(63)의 양측에는 장애물(71c 및 71d)이 존재한다. 레이아웃 계획에서는, 양측의 장애물(71c 및 71d)을 표시 기준으로 하여 테이프 형상의 방해 오브젝트(81)의 양단의 좌표(표시 위치) 등이 산출된다. 이 경우, 양측의 장애물(71c 및 71d)이, 제한 영역(63)에 관련되는 실물체로 된다.
또한 도 6의 B에 도시하는 예에서는, 유저(1)의 정면의 통로의 좌측에 제한 영역(63)이 존재한다. 이 경우, 좌측의 제한 영역(63)의 양측의 장애물(71f 및 71g)이, 제한 영역(63)에 관련되는 실물체(70)로 되며, 이들 장애물(71f 및 71g)을 표시 기준으로 하여 방해 오브젝트(81)의 표시 위치 등이 산출된다.
제한 영역(63)에 관련되는 실물체(70)(표시 기준으로 되는 실물체)를 설정하는 방법 등은 한정되지 않는다. 예를 들어 제한 영역(63)의 주변이나 내부에 존재하고, 방해 오브젝트(81)를 표시하기에 적합한 사이즈나 배치를 가진 실물체(70)가, 방해 오브젝트(81)의 표시 기준으로서 적당히 설정된다. 또한, 예를 들어 맵 데이터(41) 등에 있어서, 방해 오브젝트(81)를 표시하기 위한 기준으로 되는 실물체(70) 등이 미리 지정되어 있어도 된다. 이 경우, 지정된 실물체(70) 중, 화각(62)에 포함되는 제한 영역(63)의 주변이나 내부에 존재하는 실물체(70)가 표시 기준으로서 설정된다. 본 실시 형태에서는, 제한 영역(63)에 관련되는 실물체는, 제한 영역에 관련되는 소정의 대상물에 상당한다.
또한 레이아웃 계획에 의하여 표시가 계획된 방해 오브젝트(81)가 실제로 표시되는지 여부는 레이아웃 판정부(56)에 의하여 판정된다. 따라서 레이아웃 계획부(55)는, 제한 영역(63)에 관련되는 실물체(70)을 기준으로 하여 방해 오브젝트(81)의 후보를 생성한다고도 할 수 있다.
도 2로 되돌아가, 레이아웃 판정부(56)는 투과형 디스플레이(12)의 화각(62)에 기초하여, 레이아웃 계획으로서 계획된 방해 오브젝트(81)를 표시할 것인지 여부를 판정한다. 즉, 레이아웃 판정부(56)는 표시 범위(61)에 기초하여, 방해 오브젝트(81)의 후보를 표시할 것인지 여부를 판정한다. 방해 오브젝트(81)의 후보를 표시할 것인지 여부를 판정하는 방법에 대해서는 나중에 상세히 설명한다.
출력 제어부(57)는, 투과형 디스플레이(12)에 표시되는 가상 오브젝트(80) 등의 화상을 생성한다. 예를 들어 레이아웃 판정부(56)에 의하여 표시한다고 판정된 방해 오브젝트(81)의 후보의 정보(레이아웃 계획)에 기초하여 방해 오브젝트(81)의 후보 화상이 생성된다. 물론 방해 오브젝트(81)와는 상이한, 다른 가상 오브젝트(80)의 화상 등을 생성하는 것도 가능하다. 이들 화상을 구성하는 화상 정보는 투과형 디스플레이(12)에 적당히 출력된다.
이와 같이 레이아웃 계획부(55), 레이아웃 판정부(56) 및 출력 제어부(57)에 의하여, 표시 범위(61)에 기초하여, 제한 영역(63)으로의 진입을 방해하는 방해 오브젝트(81)의 표시가 제어된다. 본 실시 형태에서는, 레이아웃 계획부(55), 레이아웃 판정부(56) 및 출력 제어부(57)가 공동함으로써 표시 제어부가 실현된다.
통보부(58)는, 제한 영역(63)으로의 진입 및 접근을 통보하는 통보 정보를 생성한다. 예를 들어 통보부(58)는, 진입 판정부(53)의 판정 결과나, 제한 영역(63)과 유저(1) 사이의 거리 등에 기초하여, 유저(1)가 제한 영역(63)에 진입 혹은 접근하고 있다는 취지를 유저(1)에게 알리기 위한 통보 정보를 생성한다. 생성된 통보 정보는 투과형 디스플레이(12), 스피커(20) 및 진동부(21) 등에 적당히 출력된다.
도 7은, HMD(100)의 기본적인 동작의 일례를 설명하기 위한 모식도다. 도 7에는, 도 5에 도시하는 맵(43) 내를 유저(1)가 이동한 경우에 방해 오브젝트(81)가 표시되는 제한 영역(63)이 모식적으로 도시되어 있다. 또한 도 7에서는, 유저(1)가 이동 가능한 방향이, 화살표를 이용하여 모식적으로 도시되어 있다.
유저(1)는, 맵(43)의 우측 하방의 초기 위치로부터 맵(43) 좌측 상방의 목적지(44)까지 이동하는 것으로 한다. 맵(43a)에서는, 유저(1)는 초기 위치에 있다. 맵(43b) 및 맵(43c)에서는, 유저(1)는 맵(43)의 중앙의 통로(72a)를 통과하여 목적지(44)로 이동한다. 한편, 맵(43d) 및 맵(43e)에서는, 유저(1)는 맵(43)의 우측의 통로(72b)를 통과하여 목적지(44)로 이동한다. 또한 맵(43a)에서는, 중앙의 통로(72a) 및 우측의 통로(72b)가 점선으로 모식적으로 도시되어 있다.
본 실실시 형태에서는, 유저(1)의 위치 및 진행 방향에 따라 방해 오브젝트(81)가 표시된다. 즉, 유저(1)의 이동에 따라 방해 오브젝트(81)가 동적으로 표시된다. 예를 들어 레이아웃 계획부(55)에 의하여, 유저(1)의 위치 및 진행 방향에 따른 방해 오브젝트(81)의 후보가 생성된다. 그리고 레이아웃 판정부(56)에 의하여 표시한다고 판정된 방해 오브젝트(81)가 투과형 디스플레이(12)에 표시된다.
맵(43a)에 도시하는 바와 같이, 유저(1)가 초기 위치에 있는 경우, 중앙의 통로(72a)에 들어가기 바로 전의 제한 영역(63)에 대하여 방해 오브젝트(81)가 표시된다. 예를 들어 유저(1)는 중앙의 통로(72a)측(맵(43a)의 좌측)으로 이동하였다고 하자. 이때, 유저(1)의 정면에 설정된 제한 영역(63)에 대하여 방해 오브젝트(81)가 표시된다. 이것에 의하여, 정면의 영역은 유저(1)의 진입이 제한되어 있음을 유저(1)에게 알리는 것이 가능하다. 이 결과, 유저(1)를 중앙의 통로(72a)로 유도하는 것이 가능해진다.
맵(43b)에 도시하는 바와 같이, 유저(1)가 중앙의 통로(72a)에 진입하면, 중앙의 통로(72a)의 양측에 존재하고 유저(1)에 가까운 제한 영역(63)에 대하여 각각 방해 오브젝트(81)가 표시된다. 또한 유저(1)에 가까운 제한 영역(63)이란, 예를 들어 유저(1)의 위치로부터 소정의 거리 내에 존재하는 제한 영역(63)이다.
맵(43c)에 도시하는 바와 같이, 유저(1)가 중앙의 통로(72a)를 진행하면, 유저(1)의 진행 방향의 양측에 존재하는 제한 영역(63)에 대하여 방해 오브젝트(81)가 표시된다. 유저(1)의 진행 방향은, 예를 들어 유저(1)의 위치의 변화 등에 기초하여 검출된다. 이와 같이 유저(1)의 진행 방향에 따라 방해 오브젝트(81)를 표시함으로써, 유저(1)를 목적지(44)로 용이하게 유도하는 것이 가능하다.
또한, 예를 들어 맵(43a)에 있어서, 유저(1)가 초기 위치로부터 우측을 향하여 이동한다고 하자. 이 경우, 유저(1)의 위치에 기초하여 새로이 제한 영역(63)이 설정된다. 예를 들어 우측의 통로(72b)를 통과하여 목적지(44)를 향하는 경로가 생성되고, 생성된 경로의 주위에 제한 영역(63)이 설정된다.
맵(43d)에 도시한 바와 같이, 유저(1)가 우측의 통로(72b)에 진입하면, 우측의 통로(72b)의 일방측에 설정된 제한 영역(63)에 대하여 방해 오브젝트(81)가 표시된다. 또한 우측의 통로(72b)를 사이에 두고 제한 영역(63)과는 반대측은 벽으로 되어 있으며, 제한 영역(63) 등은 설정되어 있지 않다.
또한 유저(1)는, 맵(43d)에 도시하는 제한 영역(63)(장애물(71f 및 71g) 사이의 스페이스)을 통과한 경우에도 목적지(44)를 향하는 것이 가능하다. 이와 같은 제한 영역(63)에 대해서는, 진입을 제한하는 정도(제한도)가 낮게 설정된다. 예를 들어 유저(1)의 진행 방향이나 시선 등이 장애물(71f 및 71g) 사이의 스페이스를 향해 있는 경우에는 방해 오브젝트(81)를 표시하지 않으며, 유저(1)의 통과가 허가된다.
이와 같이 제한도에 따라 방해 오브젝트(81)의 표시가 제어된다. 예를 들어 제한도가 낮게 설정되어 있는 제한 영역(63)에 대해서는, 유저(1)의 행동(진행 방향이나 시선 등)에 맞추어 방해 오브젝트(81)를 표시하지 않는다는 처리가 실행된다. 반대로 제한도가 높게 설정되어 있는 제한 영역(63)(위험 영역 등)에서는, 유저(1)의 행동에 관계없이 방해 오브젝트(81)가 표시된다. 이와 같은 처리가 실행되어도 된다.
맵(43e)에 도시한 바와 같이, 유저(1)가 우측의 통로(72b)를 진행한 경우, 맵(43)의 우측 상방에 설정된 제한 영역(63)에 대하여 방해 오브젝트(81)가 표시된다. 이 결과, 유저(1)가 우측의 통로(72b)를 따라 우측 상방의 제한 영역(63)에 진입하는 것을 방해하는 것이 가능해진다.
또한 우측의 통로(72b)를 통과하도록 설정된 경로에서는, 장애물(71e 및 71f) 사이의 스페이스가 경로의 일부로 되어 있다. 또한 장애물(71e 및 71f) 사이의 스페이스를 사이에 두고 유저(1)와는 반대측에는 제한 영역(63)이 설정되어 있으며, 방해 오브젝트(81)가 표시된다. 이것에 의하여, 장애물(71e 및 71f) 사이의 스페이스가 통행 가능함을 유저(1)에게 알리는 것이 가능해져, 장애물(71e 및 71f) 사이의 스페이스를 통과하도록 유저(1)를 유도하는 것이 가능하다.
이와 같이 본 실시 형태에서는, 유저(1)의 주변의 제한 영역(63)으로의 진입을 제한하는 방해 오브젝트(81)가 표시된다. 이것에 의하여 유저(1)를 용이하게 유도하는 것이 가능해진다. 또한 방해 오브젝트(81)를 이용하여 제한 영역(63)을 가시화하는 것은, 유저(1)가 행동 가능한 범위를 가시화하고 있다고도 할 수 있다. 따라서 유저(1)는, 행동 가능한 범위라면 자유로이 이동하는 것이 가능해져, 유저(1)의 행동의 자유도를 유지하면서 유저(1)를 목적지(44)를 향하여 자연스레 유도하는 것이 가능해진다.
또한 주변의 제한 영역(63)에 대하여 방해 오브젝트(81)를 표시함으로써, 표시되는 방해 오브젝트(81)의 수 등을 감소시키는 것이 가능하다. 이 결과, 투과형 디스플레이(12)의 표시가 심플해져, 방해 오브젝트(81)(가상 오브젝트(80))의 표시에 대한 위화감 등을 경감시키는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.
도 8은, HMD(100)의 동작의 일례를 도시하는 흐름도다. 도 8에 도시하는 흐름도의 처리는, HMD(100)의 동작 중에 반복하여 실행되는 처리이다.
정보 취득부(51)에 의하여, HMD(100)를 장착한 유저(1)의 자기 위치가 취득된다(스텝 101). 예를 들어 유저(1)의 자기 위치로서, GPS(32)에 의하여 검출된 HMD(100)의 위도 및 경도가 읽어들여진다. 또한 옥내 등에서 유저(1)가 행동하고 있는 경우 등에는, SLAM(Simultaneous Localization and Mapping) 등의 자기 위치 추정 기술을 이용하여 검출된, 유저(1)(HMD(100))의 자기 위치의 정보 등이 읽어들여져도 된다.
목적지(44)의 위치 정보가 취득된다(스텝 102). 예를 들어 HMD(100)를 이용하여 내비게이션 등의 서비스가 제공되고 있는 경우에는, 유저(1) 등에 의하여 입력된 목적지의 위도 및 경도가 읽어들여진다. 또한 실 공간을 플레이 에어리어로 하는 게임 서비스 등이 제공되고 있는 경우에는, 게임의 진행에 따라 목적지(44)가 변경된다는 일도 있을 수 있다. 이 경우, 최신 목적지(44)의 위도 및 경도가 읽어들여진다.
영역 설정부(52)에 의하여, 유저(1)의 진입이 제한되는 제한 영역이 설정된다(스텝 103). 예를 들어 유저(1)의 자기 위치로부터 목적지까지의 경로가 산출되고, 당해 경로의 주변에 제한 영역(63)이 설정된다(도 5 참조). 이때, 맵 데이터(41) 등에서 미리 지정된 위험 영역이나 출입 금지 영역 등이 제한 영역(63)에 추가된다. 이와 같이 제한 영역(63)을 설정함으로써, 유저(1)를 목적지까지 안전하게 유도하는 것이 가능해진다.
진입 판정부(53)에 의하여, 유저(1)가 제한 영역(63)에 진입해 있는지 여부가 판정된다(스텝 104). 진입 판정부(53)는, 유저(1)의 자기 위치가 제한 영역(63)에 포함되어 있는지 여부를 판정한다. 유저(1)의 자기 위치가 제한 영역(63)에 포함되어 있지 않다고 판정된 경우(스텝 104의 아니오), 즉, 유저(1)가 제한 영역(63)에 진입하지 않은 경우, 방해 오브젝트(81)의 표시 제어가 실행된다(스텝 105).
도 9는, 방해 오브젝트(81)의 표시 제어의 일례를 도시하는 흐름도다. 도 9에 도시하는 흐름도는, 도 8에 도시하는 스텝 105에서 행해지는 처리의 일례이다. 도 10은, 방해 오브젝트(81)의 표시 제어의 일례를 설명하기 위한 모식도다. 이하에서는, 도 9 및 도 10을 참조하여 방해 오브젝트(81)의 표시 제어에 대하여 설명한다.
도 9에 도시한 바와 같이, 먼저 유저(1)의 신체 정보가 취득된다(스텝 201). 본 실시 형태에서는, 유저(1)의 신체 정보에는 유저(1)의 두부의 위치 및 자세의 정보가 포함된다. 유저(1)의 두부의 위치란, 예를 들어 실 공간 상에서의 유저(1)의 두부의 3차원 좌표(위도, 경도, 높이)이다. 또한 유저(1)의 두부의 자세는, 예를 들어 실 공간 상에서 유저(1)가 향하고 있는 방향 등에 의하여 나타난다.
유저(1)의 두부의 위치 및 자세의 정보로서는, 전형적으로는, 유저(1)의 두부에 장착된 HMD(100)의 실 공간 상에서의 위치 및 자세의 정보가 이용된다. 예를 들어 GPS(32)나 SLAM에 의하여 검출된 HMD(100)의 3차원 좌표가 유저(1)의 두부의 위치로서 이용된다. 또한, 예를 들어 9축 센서(31) 등을 이용하여 검출된 HMD(100)의 배향, 즉, 투과형 디스플레이(12)가 향해지는 방향 등이 유저(1)의 두부의 자세로서 이용된다.
또한 유저(1)의 신체 정보로서, 유저(1)의 진행 방향, 및 유저의 시선 등의 정보가 취득된다. 예를 들어 유저(1)의 자기 위치의 변화나, 9축 센서(31)의 출력 등에 기초하여 유저(1)의 진행 방향이 산출되고, 산출 결과가 적당히 읽어들여진다. 또한, 예를 들어 내향 카메라(13)를 이용하여 촬영된 유저(1)의 안구(2)의 화상 등에 기초하여 유저(1)의 시선이 검출되고, 검출 결과가 적당히 읽어들여진다.
유저(1)의 신체 정보의 구체적인 구성은 한정되지 않는다. 또한 유저(1)의 신체 정보를 검출하는 방법은, HMD(100)에 탑재된 각 센서를 이용하는 경우에 한정되지 않으며, 예를 들어 유저(1)의 모습을 외부로부터 촬영한 화상 등에 기초하여 유저(1)의 신체 정보가 검출되어도 된다. 이 경우, HMD(100)의 외부로부터 송신된 신체 정보가 통신부(22) 등을 통하여 수신된다. 이와 같은 처리가 실행되어도 된다.
표시 범위 산출부(54)에 의하여 투과형 디스플레이(12)의 화각(62)이 산출된다(스텝 202). 구체적으로는, 표시 범위 산출부(54)에 의하여, 스텝 201에서 취득된 유저(1)의 두부(HMD(100))의 위치 및 자세와, 투과형 디스플레이(12)(HMD(100))의 화각값에 기초하여, 투과형 디스플레이(12)를 통하여 시인되는 실 공간의 범위(가상 오브젝트(80)의 표시 범위(61))가 산출된다.
예를 들어 HMD(100)에 설정된 수평 화각 및 수직 화각에 기초하여 시추대가 산출된다(도 4 참조). 또한 투과형 디스플레이(12)의 위치 및 자세(배향)에 기초하여, 실 공간에서의 시추대의 위치나 시추대가 향한 방향 등이 산출된다. 시추대를 이용하는 경우, 투과형 디스플레이(12)로부터 시추대의 저면까지의 거리, 즉, 화각(62)에 있어서의 깊이를 적당히 설정하는 것이 가능하다. 또한 시추대를 이용하여 화각(62)을 나타내는 경우에 한정되지 않으며, 예를 들어 화각(62)을 산출 가능한 임의의 방법이 이용되어도 된다.
방해 오브젝트(81)를 표시하기 위한 기준으로 되는 실물체(70)의 정보가 취득된다(스텝 203). 예를 들어 투과형 디스플레이(12)의 화각(62) 내에 존재하는 제한 영역(63)이 검출되고, 검출된 제한 영역(63)에 관련되는 실물체(70)의 정보가 맵 데이터(41)로부터 적당히 읽어들여진다.
도 10에 도시하는 예에서는, 제한 영역(63)에 관련되는 실물체(70)의 일례로서 6개의 폴(73a 내지 73f)이 도시되어 있다. 이들 폴(73a 내지 73f)의 위치나 형상(3차원 모델)에 관한 정보는 맵 데이터(41)에 기록되어 있다.
본 실시 형태에서는 정보 취득부(51)에 의하여, 제한 영역(63)에 관련되는 실물체(70)로서, 서로 이격된 제1 실물체(70) 및 제2 실물체(70)의 각각의 정보가 취득된다. 예를 들어 도 10에서는, 6개의 폴(73a 내지 73f) 중, 1세트의 폴(73)의 3차원 모델의 정보가 취득된다. 이 경우, 취득된 폴(73)의 페어가 각각 제1 및 제2 실물체(70)로 된다. 본 실시 형태에서는, 제1 실물체(70) 및 제2 실물체(70)는 제1 대상물 및 제2 대상물에 상당한다.
실물체(70)의 페어(폴(73)의 페어)를 설정하는 방법 등은 한정되지 않는다. 예를 들어 맵 데이터(41)에 있어서, 방해 오브젝트(81)를 표시하기 위한 기준으로 되는 실물체(70)의 페어가 미리 지정되어 있어도 된다. 이것에 의하여 용이하게 실물체(70)의 페어 정보를 읽어들이는 것이 가능해져, 처리 부하를 경감시키는 것이 가능해진다. 또한, 예를 들어 유저(1)까지의 거리가 가까운 순으로 실물체(70)의 페어를 설정하는 처리나, 실물체(70)의 위치 관계에 기초하여 페어를 설정하는 처리가 실행되어도 된다.
이하에서는, 제1 페어(폴(73a) 및 폴(73b))와 제2 페어(폴(73c) 및 폴(73d))와 제3 페어(폴(73e) 및 폴(73f))가 맵 데이터(41)에 기록되어 있는 것으로 한다. 또한 스텝 203에서는, 유저(1)에 가까운 순으로 폴(73)의 페어의 3차원 모델의 정보가 맵 데이터(41)로부터 읽어들여지는 것으로 한다. 따라서 첫 번째 루프에서는 제1 페어의 정보가 읽어들여진다.
레이아웃 계획부(55)에 의하여, 제한 영역(63)에 관련되는 실물체(70)를 기준으로 하여 방해 오브젝트(81)의 레이아웃 계획이 생성된다(스텝 204). 즉, 스텝 203에서 취득된 실물체(70)를 기준으로 하여 방해 오브젝트(81)의 후보가 생성된다. 이하에서는, 레이아웃 계획으로서 생성되는 방해 오브젝트(81)의 후보를 간단히 방해 오브젝트(81)라 기재하는 경우가 있다.
예를 들어 도 10에 도시한 바와 같이, 실물체(70)의 페어가 기준으로 되는 경우에는, 각 실물체 사이에 방해 오브젝트(81)가 표시되도록 레이아웃 계획이 생성된다. 즉, 제1 및 제2 실물체(70) 사이에 방해 오브젝트(81)가 표시되도록 방해 오브젝트(81)의 표시 파라미터가 산출된다.
첫 번째 루프에서는, 폴(73a) 및 폴(73b) 사이에 테이프 형상의 방해 오브젝트(81a)를 표시하는 레이아웃 계획이 생성된다. 예를 들어 폴(73a) 및 폴(73b)의 소정의 위치에 맞추어 테이프 형상의 방해 오브젝트(81a)를 표시하기 위한, 투과형 디스플레이(12)에 있어서의 표시 위치나 표시 사이즈가 산출된다. 또한 폴(73a) 및 폴(73b)의 3차원 모델 등에 있어서 방해 오브젝트(81a)를 표시하는 위치가 미리 지정되어 있어도 된다. 이것에 의하여 용이하게 레이아웃 계획을 생성하는 것이 가능해진다.
레이아웃 판정부(56)에 의하여, 방해 오브젝트(81)의 크기가 투과형 디스플레이(12)의 화각(62)에 드는지 여부가 판정된다(스텝 205). 본 실시 형태에서는, 방해 오브젝트(81)의 후보가 투과형 디스플레이(12)의 화각(62)에 드는지 여부를 판정함으로써, 방해 오브젝트(81)의 후보를 표시할 것인지 여부가 판정된다.
예를 들어 레이아웃 계획으로서 생성된 방해 오브젝트(81)의 단부(테이프의 네 정점 등)의 좌표가, 화각(62)으로 나타나는 공간에 포함되어 있는지 여부가 판정된다. 또한 방해 오브젝트(81)가 화각(62)에 포함되는 비율이 소정의 비율보다도 큰지 여부가 판정되어도 된다. 예를 들어 방해 오브젝트(81)의 표시 면적이 소정의 비율(예를 들어 90% 등) 이상으로 화각(62)에 포함되는 경우에 방해 오브젝트(81)가 화각에 든다고 판정된다. 이와 같은 처리가 실행되어도 된다. 이 외에, 방해 오브젝트(81)가 화각(62)에 드는지 여부를 판정하는 방법 등은 한정되지 않는다.
도 10에 도시한 바와 같이, 폴(73a) 및 폴(73b) 사이의 방해 오브젝트(81a)는 화각(62)에 들지 않는다고 판정된다. 예를 들어 제1 페어를 기준으로 하여 방해 오브젝트(81a)를 표시한 경우, 방해 오브젝트(81a)의 일부만이 투과형 디스플레이(12)에 표시된다. 이 결과, 유저(1)의 시야 범위(60)에서는, 투과형 디스플레이(12)(표시 범위(61))의 단부에서 끊기는 방해 오브젝트(81a)가 표시되게 된다(도 3 참조). 이 경우, 방해 오브젝트(81a)는, 표시하지 않는다고 판정된다.
방해 오브젝트(81)가 화각(62)에 들지 않는다고 판정된 경우(스텝 205)의 아니오), 스텝 201로 되돌아가, 다음 실물체(70)의 정보가 취득되고, 취득된 실물체(70)를 기준으로 하여 방해 오브젝트(81)의 레이아웃 계획이 생성된다.
예를 들어 두 번째 루프에서는, 폴(73c) 및 폴(73d)의 제2 페어의 정보가 맵 데이터로 읽어들여져, 폴(73c) 및 폴(73d) 사이에 테이프 형상의 방해 오브젝트(81b)를 표시하는 레이아웃 계획이 생성된다. 그리고 방해 오브젝트(81b)가 투과형 디스플레이(12)의 화각(62)에 드는지 여부가 판정된다.
도 10에 도시한 바와 같이, 폴(73c) 및 폴(73d) 사이의 방해 오브젝트(81b)는 화각(62)에 든다. 따라서, 예를 들어 제2 페어를 기준으로 하여 방해 오브젝트(81b)를 표시한 경우, 방해 오브젝트(81b)의 전체가 투과형 디스플레이(12)에 표시된다. 이 경우, 방해 오브젝트(81b)는, 표시한다고 판정된다.
방해 오브젝트(81)가 화각(62)에 든다고 판정된 경우(스텝 205의 예), 출력 제어부(57)에 의하여, 표시한다고 판정된 방해 오브젝트(81)에 대하여, 투과형 디스플레이(12)에 표시하기 위한 화상 정보가 생성된다(도 8의 스텝 106). 예를 들어 레이아웃 계획에 기초하여 방해 오브젝트(81)의 표면의 무늬나 명암 등이 적당히 설정되어, 방해 오브젝트(81)의 화상을 구성하는 화상 정보가 생성된다. 생성된 화상 정보는 스텝 108의 출력 처리를 거쳐 투과형 디스플레이(12)에 출력되어, 방해 오브젝트(81)가 표시된다.
이와 같이, 투과형 디스플레이(12)의 화각(62)에 들도록 방해 오브젝트(81)의 표시가 제어된다. 이것에 의하여, 부자연스럽게 끊긴 방해 오브젝트(81) 등이 표시되는 상황이 회피되어, 충분히 자연스런 가상 체험을 제공하는 것이 가능해진다.
또한 도 10에 도시한 바와 같이, 제3 페어(폴(73e) 및 폴(73f))를 기준으로 하는 방해 오브젝트(81c)도 투과형 디스플레이(12)의 화각(62)에 든다. 그러나 방해 오브젝트(81c)와 유저(1) 사이에는, 이미 방해 오브젝트(81b)를 표시하는 것이 가능하다. 이 때문에 방해 오브젝트(81c)의 표시는 실행되지 않는다.
따라서 방해 오브젝트(81)가 겹쳐 표시되는 것을 방지하는 것이 가능하다. 이 결과, 불필요한 표시를 감소시키는 것이 가능해져, 심플한 AR 표시를 실현하는 것이 가능해진다. 이 결과, 가상 오브젝트(80)가 다중으로 표시됨으로써 화면이 보기 어려워지는 상황을 충분히 회피하는 것이 가능해진다.
도 11은, 실물체(70)를 기준으로 한 방해 오브젝트(81)의 표시예를 도시하는 모식도다. 도 11의 A 내지 도 11의 D에는, 실물체(70)를 기준으로 표시되는 방해 오브젝트(81)의 예가 모식적으로 도시되어 있다.
도 11의 A에서는, 화각(62)에 맞추어 방해 오브젝트(81)의 표시 위치가 제어된다. 예를 들어 실물체(70)의 3차원 모델에 있어서, 방해 오브젝트(81)의 표시 위치가 화각(62)의 상측에 설정되어 있었다고 하자. 이 경우, 레이아웃 계획부(55)에 의하여, 투과형 디스플레이(12)의 화각(62)에 맞추어, 실물체(70)에 대한 방해 오브젝트(81)의 표시 위치를 낮추는 처리가 실행된다.
또한, 예를 들어 유저(1)와 실물체(70) 사이의 거리가 떨어져 있는 경우에는, 실물체(70)에 대한 방해 오브젝트(81)의 사이즈를 확대하여 보이기 쉽게 하는 처리가 실행된다. 이와 같이, 레이아웃 계획부(55)는 투과형 디스플레이(12)의 화각(62)에 기초하여, 제한 영역(63)에 관련되는 실물체(70)에 대한 방해 오브젝트(81)의 표시 위치 및 표시 사이즈를 조정한다.
투과형 디스플레이(12)의 화각(62)에 기초하여 방해 오브젝트(81)의 표시 위치 및 표시 사이즈를 조정함으로써, 유저(1)가 깨닫기 쉬운 자연스런 위치에 방해 오브젝트(81)를 배치하는 것이 가능하다. 이것에 의하여, 제한 영역(63)이 존재하고 있는 장소 등을 자연스레 알리는 것이 가능해진다.
도 11의 B에서는, 유저(1)의 진행 방향에 대하여 방해 오브젝트(81)가 정지 상태로 표시된다. 예를 들어 폴(73) 사이에 표시되는 테이프(방해 오브젝트(81))가 유저(1)의 접근에 맞추어 적당히 확대하여 표시된다. 이 결과, 현실의 공간에 실제로 테이프가 설치되어 있는 경우와 마찬가지로 방해 오브젝트(81)를 표시하는 것이 가능해진다.
도 11의 C에서는, 실물체(70)를 덮도록 방해 오브젝트(81)가 표시된다. 즉, 실물체(70)에 중첩되어 방해 오브젝트(81)가 표시된다. 도 11의 C에서는, 폴(73)의 페어에 더해, 폴(73)의 페어 사이에 설치되어 있는 장애물(71)이, 방해 오브젝트(81)를 표시하기 위한 기준으로서 이용된다. 예를 들어 장애물(71)의 형상을 나타내는 3차원 모델을 이용하여, 장애물(71)을 덮도록 암색의 방해 오브젝트(81d)가 표시된다. 또한 암색의 방해 오브젝트(81)에 가려지도록 테이프 형상의 방해 오브젝트(81e)가 표시된다.
이와 같이, 현실의 장애물(71)과 마찬가지의 형태를 한 방해 오브젝트(81d)를 암색으로 표시시킴으로써, 현실의 장애물(71)에 의하여 차폐되어 있는 것처럼 테이프 형상의 방해 오브젝트(81)를 표시하는 것이 가능해진다. 이것에 의하여, 현실과 조화되기 쉬운 표시를 실현하는 것이 가능해진다. 또한 현실의 장애물(71)과 방해 오브젝트(81e)에 의하여 이중으로 진입이 제한되어 있음을 유저(1)에게 알리는 것이 가능해져, 제한 영역(63)으로의 진입을 충분히 제한하는 것이 가능해진다.
도 11의 D에서는, 실 공간에 있어서의 단차에 대하여 방해 오브젝트(81)가 표시된다. 예를 들어 맵 데이터(41)에 있어서의 지형의 3차원 모델 등에 기초하여 단차 등이 실물체(70)로서 검출된다. 예를 들어 보행 평면의 높이가 변화되는 영역은, 낙하나 전도 등이 생길 우려가 있기 때문에 제한 영역(63)으로서 설정된다.
이와 같이, 실 공간의 지형 등에 맞추어 제한 영역(63)이 되어도 된다. 지형에 맞추어 제한 영역(63)을 설정하는 방법 등은 한정되지 않으며, 예를 들어 깊이가 현저히 깊은(깊이 차분이 큰) 영역에 대해서도 제한 영역(63)이 설정되어도 된다. 이것에 의하여, 유저(1)가 이동하는 지형에 맞추어 방해 오브젝트(81)를 표시하는 것이 가능해져, 안전한 가상 체험을 제공하는 것이 가능해진다.
도 8로 되돌아가, 유저(1)가 제한 영역(63)에 진입해 있다고 판정된 경우(스텝 104의 예), 통보부(58)에 의하여, 제한 영역(63)으로의 진입을 알리는 통보 정보가 생성된다(스텝 107).
도 12는, 통보부(58)의 동작예를 설명하기 위한 모식도다. 도 12에 도시하는 예에서는 통보 정보로서 소리 정보가 생성된다. 예를 들어 맵(43)에 설정된 제한 영역(63)에 유저(1)가 진입하면, 버저음이나 알람음 등을 2D 사운드로서 재생하는 소리 정보 등이 생성된다. 여기서 2D 사운드란, 예를 들어 일정한 음량으로 재생되는 소리이다. 따라서 유저(1)가 제한 영역(63)에 진입해 있는 동안에는 일정한 음량으로 버저 소리 등이 출력된다.
또한, 예를 들어 제한 영역(63)에 진입한 경우에 BGM의 음량을 낮추는 처리가 실행되어도 된다. 이 경우, 제한 영역(63)에 진입하기 직전보다도 음량이 감소한 BGM을 재생하는 소리 정보가 생성된다. 이와 같이 불쾌한 소리나 위화감이 있는 소리를 이용한 음향 피드백을 행함으로써, 제한 영역(63)으로의 진입을 유저(1)에게 용이하게 알리는 것이 가능해진다.
투과형 디스플레이(12)를 이용하여 제한 영역(63)으로의 진입이 통보되어도 된다. 예를 들어 방치 정보로서, 투과형 디스플레이(12)에 의한 표시를 명멸시키는 표시 정보 등이 생성된다. 또한 투과형 디스플레이(12)의 주연(표시면의 외주)에, 소정의 색의 영역 등을 표시시키는 표시 정보 등이 생성되어도 된다. 이와 같이 투과형 디스플레이(12)에 있어서 부자연스런 표시를 행함으로써, 제한 영역(63)으로의 진입을 유저(1)에게 용이하게 알리는 것이 가능해진다.
바이브레이션 등의 진동을 발생시킴으로써 제한 영역(63)으로의 진입을 방치하는 것도 가능하다. 이 경우, 통보 정보로서, 진동부(21)를 소정의 패턴으로 진동시키는 진동 정보 등이 생성된다. 통보 정보의 구체적인 구성은 한정되지 않으며, 예를 들어 소리 정보, 표시 정보 및 진동 정보가 각각 단독으로 생성되어도 된다. 물론 이들을 조합한 통보 정보가 적당히 생성되어도 된다.
이것에 의하여, 제한 영역(63)으로의 진입이 판정된 경우에, 소리, 표시 및 진동 등을 이용한 불쾌 표현을 제시하는 것이 가능해진다. 이 결과, 제한 영역(63)으로의 진입을 유저(1)에게 알림과 함께, 제한 영역(63)으로부터 이탈하도록 유저(1)를 유도하는 것이 가능해진다. 즉, 유저(1)가 제한 영역(63)에 머물지 않도록 유저(1)의 행동을 컨트롤하는 것이 가능해진다.
또한 통보부(58)는, 제한 영역(63)으로의 접근을 알리는 통보 정보를 생성 가능하다. 접근을 알리는 통보 정보는, 유저(1)가 제한 영역(63)에 진입하였는지 여부에 구애받지 않고 생성되어도 된다. 예를 들어 도 12에 도시하는 맵(43)에서 설정된 제한 영역(63) 내에 가상의 음원(82)이 설치된다. 통보부(58)는, 가상의 음원(82)과 유저(1) 사이의 거리에 따라 음량이 제어되는 3D 사운드를 재생 가능한 소리 정보를 생성한다.
예를 들어 3D 사운드는, 유저(1)가 가상의 음원(82)에 접근할수록 음량이 증가하도록 설정된다. 이것에 의하여, 유저(1)가 제한 영역(63)에 진입하기 전에, 유저(1)에게 제한 영역(63)으로의 접근을 알리는 것이 가능해진다. 이와 같은 처리가 실행되어도 된다.
생성된 통보 정보는, 도 8의 스텝 108의 출력 처리를 거쳐 HMD(100)의 각 부에 적당히 출력된다. 예를 들어 소리 정보는 스피커(20)에 출력되어 버저 소리 등이 재생된다. 또한 표시 정보는 투과형 디스플레이(12)에 출력되어 명멸 등의 표시가 행해진다. 또한 진동 정보는 진동부(21)에 출력되어 바이브레이션 등의 진동을 발생시키는 동작이 행해진다.
이와 같이 HMD(100)에서는, 유저(1)의 위치에 따라 유저(1)에 대한 피드백 처리가 실행된다. 즉, 유저(1)가 행동 가능한 플레이 에어리어 내에 있는 경우에는 피드백 처리로서, 제한 영역(63)을 알리는 방해 오브젝트(81)가 적당히 표시된다. 또한 유저(1)가 플레이 에어리어로부터 벗어나 제한 영역(63)에 진입한 경우에는 피드백 처리로서 각종 불쾌 표현이 제시된다. 이것에 의하여, 유저(1)의 행동의 자유도를 유지하면서 유저(1)가 플레이 에어리어 내를 이동하도록 유저(1)를 자연스레 유도하는 것이 가능해진다.
도 13 내지 도 20은, 방해 오브젝트(81)의 표시예를 도시하는 모식도다. 도 13 내지 도 20에서는, HMD(100)를 장착한 유저(1)의 시야 범위(60)와, 가상 오브젝트(80)의 표시 범위(61)가 모식적으로 도시되어 있다. 이하에서는, 도 13 내지 도 20을 참조하여, 유저(1)가 실 공간을 이동할 때 투과형 디스플레이(12)에 표시되는 방해 오브젝트(81)에 대하여 설명한다.
도 13에는, 4개의 펜스 포스트(83)와 4개의 펜스 포스트(83)에 설치되는 테이프(84)를 포함하는 방해 오브젝트(81f)가 표시되어 있다. 방해 오브젝트(81)는, 보도(74)의 경계부(75a 및 75b)를 기준으로 하여 보도(74)를 차단하도록 표시된다. 따라서 도 13에 도시하는 예에서는, 보도(74)의 경계부(75a 및 75b)가, 방해 오브젝트(81)의 표시 기준으로 되는 실물체(70)(제한 영역(63)에 관련되는 실물체(70))로 된다.
도 13에서는, 표시 범위(61)(투과형 디스플레이(12)의 화각(62))의 대략 중앙에 방해 오브젝트(81)가 표시된다. 이것에 의하여, 유저(1)가 전방으로 진행하는 것을 방해하는 것이 가능해진다. 또한 이 시점에서는, 유저(1)는 좌우 어느 방향으로 이동할지는 미확정인 상태이다.
도 14에 도시한 바와 같이, 유저(1)가 도 13의 시야 범위(60)로부터 우측으로 시선을 옮긴 경우, 방해 오브젝트(81f)의 안쪽에 다른 방해 오브젝트(81g)가 표시된다. 이것에 의하여 유저(1)가 방해 오브젝트(81f)의 우측 안쪽으로 진행하는 것이 방해되어, 화면의 좌측으로 유저(1)가 유도된다. 또한 도 13에서 표시된 방해 오브젝트(81f)는, 표시가 계속된다.
도 15에서는, 유저(1)는 방해 오브젝트(81f 및 81g)가 표시된 보도(74)에 접근한다. 이때, 보도(74)를 차단하도록 방해 오브젝트(81f 및 81g)가 배치되어 있다. 따라서 보도(74)를 따라 전방으로 진행하는 것이 강하게 제한되어 있음을 유저(1)에게 알리는 것이 가능하다.
도 16에서는, 방해 오브젝트(81f)의 정면으로 유저(1)가 이동한다. 이 결과, 방해 오브젝트(81f)와 방해 오브젝트(81g)가 겹쳐져서 표시된다. 이와 같이 방해 오브젝트(81)가 겹쳐지는 경우에도, 이미 표시되어 있는 방해 오브젝트(81)는 계속해서 표시시킨다는 처리가 실행되어도 된다.
또한, 예를 들어 방해 오브젝트(81f)와 방해 오브젝트(81g)가 겹친다고 판정되는 경우에는, 전방의 방해 오브젝트(81f)는 표시시키고 후방의 방해 오브젝트(81g)는 표시시키지 않는 처리가 실행되어도 된다. 반대로 후방의 방해 오브젝트(81g)는 표시시키고 전방의 방해 오브젝트(81f)는 표시시키지 않는, 이와 같은 처리가 실행되어도 된다. 이것에 의하여, 심플한 AR 표시를 실현하는 것이 가능하다.
도 17에서는, 전방의 방해 오브젝트(81f)를 넘어서서 유저(1)가 전진한다. 이 경우, 투과형 디스플레이(12)에는 후방의 방해 오브젝트(81g)만이 표시된다. 또한 방해 오브젝트(81f 및 81g) 사이가 제한 영역(63)으로 설정되어 있는 경우에는 버저 소리 등의 불쾌 표현이 제시된다. 이것에 의하여 유저(1)에게, 제한 영역(63)에 진입하였음을 알리는 것이 가능하다.
또한 도 16에 있어서, 방해 오브젝트(81f)만이 표시되고 있는 경우 등에는, 유저(1)가 방해 오브젝트(81f)를 지난 타이밍에, 도 17에 도시하는 방해 오브젝트(81g)가 새로이 표시되는 처리가 실행되어도 된다. 이것에 의하여, 예를 들어 제한 영역(63)으로의 진입이 강하게 제한되고 있음을 유저(1)에게 알리는 것이 가능하다.
도 18에서는, 터널형 통로의 입구 및 출구를 기준으로 하여 방해 오브젝트(81h 및 81i)가 표시된다. 이것에 의하여, 터널형 통로가 폐쇄되어 있는 듯한 광경을 창출하는 것이 가능해져, 터널형 통로로의 진입이 강하게 제한되고 있음을 알리는 것이 가능하다. 이 결과, 유저(1)가 터널형 통로를 통과하여 전방으로 진행하는 것을 충분히 방해하는 것이 가능해진다. 물론 방해 오브젝트(81h 및 81i) 중 어느 한쪽을 표시하는 처리가 실행되어도 된다.
도 19에서는, 유저(1)가 통행하는 보도(74a)가 다른 보도(74b)에 합류하는 위치(T자로)에 방해 오브젝트(81j)가 표시된다. 방해 오브젝트(81j)의 표시 위치는, 예를 들어 T자로에서의 보도(74)의 경계부(76a 및 76b)를 기준으로 산출된다. 이것에 의하여, 유저(1)가 통행하는 보도(74a)가 도중에 차폐되어 있는 듯한 광경을 창출하는 것이 가능하다. 이 결과, 유저(1)가 다른 보도(74b)에 진입하는 것을 자연스레 제한하는 것이 가능하다.
도 20에서는, 도 19에 도시하는 T자로에 유저(1)가 접근한다. 즉, 유저(1)는, 도 19에 있어서 방해 오브젝트(81j)가 표시되고 있던 위치에 접근한다. 이 경우, 방해 오브젝트(81j)는 투과형 디스플레이(12)의 화각(62)에 들지 않게 되는 경우가 있을 수 있다(도 21 참조). 이와 같은 경우에는, 도 20에 도시한 바와 같이, 방해 오브젝트(81j) 대신, 화각(62)에 드는 방해 오브젝트(81k)가 표시된다.
방해 오브젝트(81k)는, 예를 들어 유저(1)의 T자로로의 접근에 따라 화면 상에 표시된다. 이때, 도 19에 도시하는 방해 오브젝트(81j)는, 유저(1)의 T자로로의 접근에 따라 표시되지 않게 된다. 이와 같이, 방해 오브젝트(81j)가 화각(62)에 들지 않게 된 경우에 다른 방해 오브젝트(81k)의 표시로 전환하는 처리가 실행되어도 된다. 이것에 의하여, 부자연스럽게 끊긴 방해 오브젝트(81)가 표시되는 상황이 회피되어, 적정한 표시를 계속하는 것이 가능해진다.
이상, 본 실시 형태에 따른 컨트롤러(50)에서는, 진입이 제한되는 제한 영역(63)이 설정되고, 당해 제한 영역(63)으로의 진입을 방해하는 가상 오브젝트(80)인 방해 오브젝트(81)의 표시가 제어된다. 방해 오브젝트(81)의 표시 제어는, 가상 오브젝트(80)를 표시 가능한 표시 범위(61)에 기초하여 실행된다. 이것에 의하여, 방해 오브젝트(81)를 적정하게 표시하는 것이 가능해져, 자연스런 가상 체험을 제공하는 것이 가능해진다.
유저의 시야에 가상 화상 등을 표시하는 구성에서는, 유저의 시야의 크기와 가상 화상 등이 표시되는 표시면의 크기가 다른 경우를 생각할 수 있다. 예를 들어 유저의 시야에 비해 표시면이 작은 경우에는, 가상 화상이 표시면의 단부에서 부자연스럽게 끊기는 상황이 발생할 가능성이 있다.
도 21은, 비교예로서 예로 드는 방해 오브젝트(81)의 표시예를 도시하는 모식도다. 도 21에서는, 도 19에 도시하는 방해 오브젝트(81j)의 표시가 계속된 그대로 유저(1)가 T자로에 접근한다. 유저(1)가 T자로에 접근함에 따라 방해 오브젝트(81j)의 표시 사이즈는 커진다. 이 결과, 방해 오브젝트(81j)는 투과형 디스플레이(12)의 화각(62)(표시 범위(61))에 들지 않게 되어, 투과형 디스플레이(12)의 주연에서 부자연스럽게 끊기게 된다. 이 때문에, 표시된 내용을 파악하는 것이 곤란해지거나 혹은 시계가 가려지는 문제가 생길 가능성이 있다.
또한 가상 체험을 행하는 유저를 유도하는 방법으로서, 화살표나 캐릭터 등의 가상 화상을 표시하여 목적지까지의 경로를 직접 표시하는 방법을 생각할 수 있다. 이와 같은 유도 방법에서는, 유저는 화살표를 따라 이동하게(혹은 캐릭터의 지시에 맞추어 이동하게) 된다. 또한 유저를 유도하기 위하여 목적지까지의 거리나 방위, 도착 시간 등의 다양한 정보가 표시되는 것을 생각할 수 있다.
도 22는, 비교예로서 예로 드는 화살표 화상의 표시예를 도시하는 모식도다. 도 23은, 비교예로서 예로 드는 유도 화면의 표시예를 도시하는 모식도다.
도 22의 A에 도시한 바와 같이, 우회전을 나타내는 화살표 화상이 표시된 경우, 유저는 화살표 화상(90)을 따라 이동(우회전)하는 것에 집중할 것으로 생각된다. 또한 도 22의 B에 도시한 바와 같이, 좌회전을 나타내는 화살표 화상(90)이 표시된 경우에는, 유저는 좌회전하는 것에 집중할 것으로 생각된다. 이와 같이 화살표 화상(90) 등을 이용하여 유저의 경로를 직접 표시한 경우, 유저의 행동은, 화살표를 쫓는 작업에 집중(작업화)하여 이동 이외의 태스크를 동시에 처리하는 것이 곤란해질 가능성이 생긴다.
또한 도 23에 도시하는 유도 화면(91)에서는, 유도의 스타트 지점(92), 유저의 경로(93), 목적지까지의 거리(94)나 방향(95), 주변의 점포 정보(96) 등을 나타내는 가상 화상이 표시된다. 이와 같이, 시계에 표시되는 가상 화상의 수가 증가할수록 현실 세계의 시계가 좁아져 유저의 행동이 저해되는 경우가 있을 수 있다. 또한 현실 세계의 시계가 좁아짐으로써, 상정되는 위해 등을 미연에 회피하는 것이 어려워져 사고 등의 위험성이 높아질 가능성이 생긴다.
본 실시 형태에 따른HMD(100)에서는, 투과형 디스플레이(12)의 화각(62), 즉, 가상 오브젝트(80)의 표시 범위(61)에 기초하여, 제한 영역(63)으로의 진입을 방해하는 방해 오브젝트(81)가 표시된다. 구체적으로는, 방해 오브젝트(81)는 표시 범위(61)에 들도록 적당히 표시된다. 이 결과, 방해 오브젝트(81) 전체를 적정하게 표시하는 것이 가능해져, 표시가 부자연스럽게 끊기는 상황을 충분히 회피하는 것이 가능해진다. 또한 방해 오브젝트(81) 전체가 표시되기 때문에, 제한 영역(63)의 존재 등을 정확히 알리는 것이 가능해진다.
또한 방해 오브젝트(81)는 실물체(70)를 기준으로 표시된다. 이것에 의하여 유저(1)의 시야 범위(60)에는, 실 공간의 환경과 조화되도록 자연스런 위치 및 사이즈로 방해 오브젝트(81) 등이 표시된다. 이 결과, 유저(1)에게 자연스런 가상 체험을 제공하는 것이 가능해진다.
또한 방해 오브젝트(81)를 이용함으로써, 유저(1)에 대하여 진입이 제한되는 제한 영역(63)의 존재를 알리는 것이 가능하다. 즉, 유저(1)가 행동 가능한 범위(플레이 에어리어)의 경계를 자연스레 지각시키는 것이 가능하다. 이 결과, 예를 들어 유저(1)는, 플레이 에어리어를 자유로이 이동하는 행동을 선택하는 것이 가능해져, 유저(1)의 자발적인 행동을 저해하는 일 없이 자유도가 높은 가상 체험을 제공하는 것이 가능해진다.
방해 오브젝트(81)의 표시는 유저(1)의 위치나 진행 방향에 따라 제어된다. 이것에 의하여, 예를 들어 유저(1)를 자연스레 목적지(44)로 유도하는 것이 가능하다. 또한 유저(1)의 주변의 제한 영역(63)에 대하여 방해 오브젝트(81)의 표시를 행함으로써, 표시되는 방해 오브젝트(81)의 수를 감소시키는 것이 가능하다. 이 결과, 유저(1)의 시계를 가리는 일 없이 유저(1)를 안전하게 목적지로 유도하는 것이 가능하다.
<그 밖의 실시 형태>
본 기술은 이상 설명한 실시 형태에 한정되지 않으며, 다른 다양한 실시 형태를 실현할 수 있다.
상기 실시 형태에서는, 맵 데이터에 기록된 실물체의 3차원 모델 등을 읽어들임으로써, 제한 영역에 관련되는 실물체의 정보가 취득되었다. 이에 한정되지 않으며, 예를 들어 외향 카메라 등을 이용하여 촬영된 실 공간의 화상 등에 기초하여 실물체의 정보가 취득되어도 된다. 이 경우, 패턴 매칭 등의, 물체 검출이 가능한 기술 등을 이용함으로써, 화각에 포함되는 실물체를 검출하는 것이 가능하다.
또한 실 공간의 정보를 검출하는 센서로서, 실 공간에 존재하는 실물체까지의 거리를 측정하는 거리 센서 등이 이용되어도 된다. 거리 센서로서는, 스테레오 카메라, TOF(Time of Flight) 센서, LiDAR(Laser Imaging Detection and Ranging) 센서, 및 레이저 레인지 파인더 등의 임의의 센서가 이용되어도 된다. 이들 거리 센서의 정보에 기초하여 유저의 자기 위치 추정 및 주변 지도 작성(SLAM)이 실행됨으로써, 맵 데이터를 생성하면서 실물체의 정보를 읽어들이는 것이 가능해진다.
상기에서는, 실 공간에 존재하는 실물체를 기준으로 하여 방해 오브젝트가 표시되었다. 이에 한정되지 않으며, 예를 들어 방해 오브젝트를 실 공간 내의 임의의 위치에 표시하는 처리가 실행되어도 된다. 예를 들어 투과형 디스플레이 등의 표시 범위에 포함되는 실 공간 내의 임의의 포인트의 좌표(위도, 경도, 높이) 등을 지정하고, 그 포인트에 방해 오브젝트를 표시하는 처리가 실행되어도 된다. 이것에 의하여, 방해 오브젝트의 표시 위치 등을 용이하게 산출하는 것이 가능해져, 처리 속도를 향상시키는 것이 가능해진다.
상기 실시 형태에서는, 투과형 디스플레이를 구비하는 HMD(AR 글라스)에 의하여 확장 현실(AR)을 이용한 가상 체험이 제공되었다. 이에 한정되지 않으며, 예를 들어 외향 카메라 등을 이용하여 촬영된 실 공간의 화상을 표시함으로써 AR 표시를 실현하는 몰입형 HMD 등에 대해서도 본 기술은 적용 가능하다. 이 경우, 몰입형 HMD에 탑재된 표시 장치에 비추어지는 화상의 화각(외향 카메라의 화각)이, 가상 오브젝트를 표시 가능한 표시 범위로 된다.
또한 유저의 두부에 장착되는 HMD 등의 디바이스에 한정되지 않으며, 예를 들어 스마트폰, 태블릿 단말기 및 PC(Personal Computer) 등을 이용하여 AR 표시가 실현되어도 된다. 이 경우, 예를 들어 스마트폰 등에 탑재된 카메라의 화각에 들도록 방해 오브젝트의 표시를 제어하는 처리가 실행된다. 이것에 의하여 자연스런 AR 체험을 제공하는 것이 가능하다. 또한 AR에 한정되지 않으며, 예를 들어 가상 현실(VR: Virtual Reality)이나 복합 현실(Mixed Reality) 등을 이용한 가상 체험이 제공되는 경우에도 본 기술은 적용 가능하다.
상기에서는, 본 기술에 따른 정보 처리 장치의 일 실시 형태로서, 화상 표시 장치인 HMD를 예로 들었다. 그러나, HMD와는 별도로 구성되고 유선 또는 무선을 통하여 HMD에 접속되는 임의의 컴퓨터에 의하여 본 기술에 따른 정보 처리 장치가 실현되어도 된다. 예를 들어 클라우드 서버에 의하여 본 기술에 따른 정보 처리 방법이 실행되어도 된다. 혹은 HMD와 다른 컴퓨터가 연동하여 본 기술에 따른 정보 처리 방법이 실행되어도 된다.
즉, 본 기술에 따른 정보 처리 방법 및 프로그램은, 단체(單體)의 컴퓨터에 의하여 구성된 컴퓨터 시스템뿐 아니라, 복수의 컴퓨터가 연동하여 동작하는 컴퓨터 시스템에 있어서도 실행 가능하다. 또한 본 개시에 있어서 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서 별개의 하우징에 수납되고 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는 모두 시스템이다.
컴퓨터 시스템에 의한 본 기술에 따른 정보 처리 방법 및 프로그램의 실행은, 예를 들어 제한 영역의 설정이나, 표시 범위에 기초하는 방해 오브젝트의 표시의 제어 등이 단체의 컴퓨터에 의하여 실행되는 경우, 및 각 처리가 다른 컴퓨터에 의하여 실행되는 경우의 양쪽을 포함한다. 또한 소정의 컴퓨터에 의한 각 처리의 실행은, 당해 처리의 일부 또는 전부를 다른 컴퓨터로 하여금 실행하게 하고 그 결과를 취득하는 것을 포함한다.
즉, 본 기술에 따른 정보 처리 방법 및 프로그램은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성에도 적용하는 것이 가능하다.
이상 설명한 본 기술에 따른 특징 부분 중, 적어도 두 특징 부분을 조합하는 것도 가능하다. 즉, 각 실시 형태에서 설명한 다양한 특징 부분은, 각 실시 형태의 구별 없이 임의로 조합되어도 된다. 또한 상기에서 기재한 다양한 효과는 어디까지나 예시이지 한정되는 것은 아니며, 또 다른 효과가 발휘되어도 된다.
또한 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 진입이 제한되는 제한 영역을 설정하는 설정부와,
가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하는 표시 제어부
를 구비하는 정보 처리 장치.
(2) (1)에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 상기 방해 오브젝트가 상기 표시 범위에 들도록, 상기 방해 오브젝트의 표시를 제어하는
정보 처리 장치.
(3) (1) 또는 (2)에 기재된 정보 처리 장치이며, 또한,
상기 제한 영역에 관련되는 소정의 대상물의 정보를 취득하는 취득부를 구비하고,
상기 표시 제어부는, 상기 소정의 대상물을 기준으로 하여 상기 방해 오브젝트의 표시를 제어하는
정보 처리 장치.
(4) (3)에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 상기 표시 범위에 기초하여, 상기 소정의 대상물에 대한 상기 방해 오브젝트의 표시 위치 및 표시 사이즈 중 적어도 한쪽을 조정하는
정보 처리 장치.
(5) (3) 또는 (4)에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 상기 소정의 대상물을 기준으로 하여 상기 방해 오브젝트의 후보를 생성하고, 상기 표시 범위에 기초하여, 상기 방해 오브젝트의 후보를 표시할 것인지 여부를 판정하는
정보 처리 장치.
(6) (5)에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 상기 방해 오브젝트의 후보가 상기 표시 범위에 드는지 여부를 판정함으로써, 상기 방해 오브젝트의 후보를 표시할 것인지 여부를 판정하는
정보 처리 장치.
(7) (3) 내지 (6) 중 어느 하나에 기재된 정보 처리 장치이며,
상기 취득부는, 상기 소정의 대상물의 정보로서, 서로 이격된 제1 대상물 및 제2 대상물의 각각의 정보를 취득 가능하고,
상기 표시 제어부는, 상기 제1 및 상기 제2 대상물 사이에 상기 방해 오브젝트를 표시하는
정보 처리 장치.
(8) (3) 내지 (7) 중 어느 하나에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 상기 소정의 대상물에 중첩시켜 상기 방해 오브젝트를 표시하는
정보 처리 장치.
(9) (1) 내지 (8) 중 어느 하나에 기재된 정보 처리 장치이며, 또한,
상기 표시 범위로서 상기 가상 오브젝트가 표시되는 표시부의 화각을 산출하는 산출부를 구비하는
정보 처리 장치.
(10) (9)에 기재된 정보 처리 장치이며,
상기 표시부는, 유저의 두부에 장착되는 HMD(Head Mount Display)에 마련되고,
상기 산출부는, 상기 유저의 두부의 위치 및 자세 중 적어도 한쪽에 기초하여, 상기 표시부의 화각을 산출하는
정보 처리 장치.
(11) (9) 또는 (10)에 기재된 정보 처리 장치이며,
상기 표시부는, 투과형 디스플레이인
정보 처리 장치.
(12) (1) 내지 (11) 중 어느 하나에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 유저의 위치 및 진행 방향 중 적어도 한쪽에 따라 상기 방해 오브젝트를 표시하는
정보 처리 장치.
(13) (12)에 기재된 정보 처리 장치이며,
상기 표시 제어부는, 상기 유저의 주변의 상기 제한 영역으로의 진입을 제한하는 상기 방해 오브젝트를 표시하는
정보 처리 장치.
(14) (1) 내지 (13) 중 어느 하나에 기재된 정보 처리 장치이며,
상기 설정부는, 유저의 위치 및 목적지 중 적어도 한쪽에 기초하여 상기 제한 영역을 설정하는
정보 처리 장치.
(15) (1) 내지 (14) 중 어느 하나에 기재된 정보 처리 장치이며,
상기 설정부는, 상기 제한 영역으로의 진입의 제한의 정도를 나타내는 제한도를 설정 가능하고,
상기 표시 제어부는, 상기 제한도에 따라, 상기 방해 오브젝트의 표시를 제어하는
정보 처리 장치.
(16) (1) 내지 (15) 중 어느 하나에 기재된 정보 처리 장치이며, 또한,
상기 제한 영역으로의 진입 및 접근 중 적어도 한쪽을 통보하는 통보 정보를 생성하는 통보부를 구비하는
정보 처리 장치.
(17)(16)에 기재된 정보 처리 장치이며,
상기 통보 정보는, 소리 정보, 표시 정보 및 진동 정보 중 적어도 하나를 포함하는
정보 처리 장치.
(18) 진입이 제한되는 제한 영역을 설정하고,
가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하는
것을 컴퓨터 시스템이 실행하는 정보 처리 방법.
(19) 진입이 제한되는 제한 영역을 설정하는 스텝과,
가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하는 스텝
을 컴퓨터 시스템으로 하여금 실행하게 하는 프로그램.
1: 유저
12: 투과형 디스플레이
41: 맵 데이터
42: 제어 프로그램
50: 컨트롤러
51: 정보 취득부
52: 영역 설정부
53: 진입 판정부
54: 표시 범위 산출부
55: 레이아웃 계획부
56: 레이아웃 판정부
57: 출력 제어부
58: 통보부
60: 시야 범위
61: 표시 범위
62: 화각
63: 제한 영역
70: 실물체
80: 가상 오브젝트
81, 81a 내지 81k: 방해 오브젝트
100: HMD

Claims (19)

  1. 정보 처리 장치로서,
    진입이 제한되는 제한 영역을 설정하도록 구성된 설정부와,
    가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하도록 구성된 표시 제어부와,
    상기 표시 범위로서 상기 가상 오브젝트가 표시되는 표시부의 화각을 산출하도록 구성된 산출부를 구비하고,
    상기 표시 제어부는,
    상기 방해 오브젝트의 크기 및 다른 방해 오브젝트의 크기가 상기 화각에 드는지를 판정하고,
    상기 화각에 드는 상기 방해 오브젝트의 크기 및 상기 다른 방해 오브젝트의 크기에 기초하여 상기 방해 오브젝트 및 상기 다른 방해 오브젝트의 표시를 제어하고,
    상기 방해 오브젝트가 상기 다른 방해 오브젝트와 중첩하는지를 판정하고,
    상기 방해 오브젝트가 상기 다른 방해 오브젝트와 중첩한다는 판정에 기초하여 상기 방해 오브젝트 또는 상기 다른 방해 오브젝트 중 하나를 표시시키지 않고,
    상기 설정부, 상기 표시 제어부, 및 상기 산출부는 적어도 하나의 프로세서를 통해 각각 구현되는
    정보 처리 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는, 상기 방해 오브젝트가 상기 표시 범위에 들도록, 상기 방해 오브젝트의 표시를 제어하도록 더 구성되는
    정보 처리 장치.
  3. 제1항에 있어서,
    추가로,
    상기 제한 영역에 관련되는 소정의 대상물에 관한 정보를 취득하도록 구성되는 취득부를 구비하고,
    상기 표시 제어부는, 상기 소정의 대상물을 기준으로 하여 상기 방해 오브젝트의 표시를 제어하도록 구성되고,
    상기 취득부는 적어도 하나의 프로세서를 통해 구현되는
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 표시 제어부는, 상기 표시 범위에 기초하여, 상기 소정의 대상물에 대한 상기 방해 오브젝트의 표시 위치 또는 표시 사이즈 중 적어도 한쪽을 조정하도록 더 구성되는
    정보 처리 장치.
  5. 제3항에 있어서,
    상기 표시 제어부는, 상기 소정의 대상물을 기준으로 하여 상기 방해 오브젝트의 후보를 생성하고, 상기 표시 범위에 기초하여, 상기 방해 오브젝트의 후보를 표시할 것인지 여부를 판정하도록 더 구성되는
    정보 처리 장치.
  6. 제5항에 있어서,
    상기 표시 제어부는, 상기 방해 오브젝트의 후보가 상기 표시 범위에 드는지 여부를 판정함으로써, 상기 방해 오브젝트의 후보를 표시할 것인지 여부를 판정하도록 더 구성되는
    정보 처리 장치.
  7. 제3항에 있어서,
    상기 취득부는, 상기 소정의 대상물에 관한 정보로서, 서로 이격된 제1 대상물 및 제2 대상물의 각각에 관한 정보를 취득하도록 더 구성되고,
    상기 표시 제어부는, 상기 제1 및 상기 제2 대상물 사이에 상기 방해 오브젝트를 표시하도록 더 구성되는
    정보 처리 장치.
  8. 제3항에 있어서,
    상기 표시 제어부는, 상기 소정의 대상물에 중첩시켜 상기 방해 오브젝트를 표시하도록 더 구성되는
    정보 처리 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 표시부는, 유저의 두부에 장착되는 HMD(Head Mount Display)에 마련되고,
    상기 산출부는, 상기 유저의 두부의 위치 또는 자세 중 적어도 한쪽에 기초하여, 상기 표시부의 화각을 산출하도록 더 구성되는
    정보 처리 장치.
  11. 제1항에 있어서,
    상기 표시부는, 투과형 디스플레이를 포함하는
    정보 처리 장치.
  12. 제1항에 있어서,
    상기 표시 제어부는, 유저의 위치 또는 진행 방향 중 적어도 한쪽에 따라 상기 방해 오브젝트를 표시하도록 더 구성되는
    정보 처리 장치.
  13. 제12항에 있어서,
    상기 표시 제어부는, 상기 유저의 주변의 상기 제한 영역으로의 진입을 제한하는 상기 방해 오브젝트를 표시하도록 더 구성되는
    정보 처리 장치.
  14. 제1항에 있어서,
    상기 설정부는, 유저의 위치 또는 목적지 중 적어도 한쪽에 기초하여 상기 제한 영역을 설정하도록 더 구성되는
    정보 처리 장치.
  15. 제1항에 있어서,
    상기 설정부는, 상기 제한 영역으로의 진입의 제한의 정도를 나타내는 제한도를 설정하도록 더 구성되고,
    상기 표시 제어부는, 상기 제한도에 따라, 상기 방해 오브젝트의 표시를 제어하도록 더 구성되는
    정보 처리 장치.
  16. 제1항에 있어서,
    추가로, 상기 제한 영역으로의 진입 또는 접근 중 적어도 한쪽을 통보하는 통보 정보를 생성하도록 구성된 통보부를 구비하고,
    상기 통보부는 적어도 하나의 프로세서를 통해 구현되는
    정보 처리 장치.
  17. 제16항에 있어서,
    상기 통보 정보는, 소리 정보, 표시 정보 또는 진동 정보 중 적어도 하나를 포함하는
    정보 처리 장치.
  18. 정보 처리 방법으로서,
    진입이 제한되는 제한 영역을 설정하고,
    가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하고,
    상기 표시 범위로서 상기 가상 오브젝트가 표시되는 표시부의 화각을 산출하고,
    상기 방해 오브젝트의 크기 및 다른 방해 오브젝트의 크기가 상기 화각에 드는지를 판정하고,
    상기 화각에 드는 상기 방해 오브젝트의 크기 및 상기 다른 방해 오브젝트의 크기에 기초하여 상기 방해 오브젝트 및 상기 다른 방해 오브젝트의 표시를 제어하고,
    상기 방해 오브젝트가 상기 다른 방해 오브젝트와 중첩하는지를 판정하고,
    상기 방해 오브젝트가 상기 다른 방해 오브젝트와 중첩한다는 판정에 기초하여 상기 방해 오브젝트 또는 상기 다른 방해 오브젝트 중 하나를 표시시키지 않는
    것을 컴퓨터 시스템이 실행하는 정보 처리 방법.
  19. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 정보 처리 방법을 실행하게 하는 프로그램이 내장된 비일시적 컴퓨터로 판독 가능한 기록 매체로서, 상기 정보 처리 방법은,
    진입이 제한되는 제한 영역을 설정하고,
    가상 오브젝트를 표시 가능한 표시 범위에 기초하여, 상기 제한 영역으로의 진입을 방해하는 상기 가상 오브젝트인 방해 오브젝트의 표시를 제어하고,
    상기 표시 범위로서 상기 가상 오브젝트가 표시되는 표시부의 화각을 산출하고,
    상기 방해 오브젝트의 크기 및 다른 방해 오브젝트의 크기가 상기 화각에 드는지를 판정하고,
    상기 화각에 드는 상기 방해 오브젝트의 크기 및 상기 다른 방해 오브젝트의 크기에 기초하여 상기 방해 오브젝트 및 상기 다른 방해 오브젝트의 표시를 제어하고,
    상기 방해 오브젝트가 상기 다른 방해 오브젝트와 중첩하는지를 판정하고,
    상기 방해 오브젝트가 상기 다른 방해 오브젝트와 중첩한다는 판정에 기초하여 상기 방해 오브젝트 또는 상기 다른 방해 오브젝트 중 하나를 표시시키지 않는
    것을 포함하는 비일시적 컴퓨터로 판독 가능한 기록 매체.
KR1020207016917A 2017-12-27 2018-12-12 정보 처리 장치, 정보 처리 방법, 및 프로그램 KR102642775B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017251435 2017-12-27
JPJP-P-2017-251435 2017-12-27
PCT/JP2018/045731 WO2019131143A1 (ja) 2017-12-27 2018-12-12 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20200100059A KR20200100059A (ko) 2020-08-25
KR102642775B1 true KR102642775B1 (ko) 2024-03-05

Family

ID=67067162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016917A KR102642775B1 (ko) 2017-12-27 2018-12-12 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (6)

Country Link
US (1) US11156844B2 (ko)
EP (1) EP3734428A4 (ko)
JP (1) JP7322713B2 (ko)
KR (1) KR102642775B1 (ko)
CN (1) CN111512277B (ko)
WO (1) WO2019131143A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7401245B2 (ja) 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
CN114981847A (zh) * 2020-03-06 2022-08-30 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
CN113304480B (zh) * 2021-05-25 2024-07-02 网易（杭州）网络有限公司 游戏的显示方法、装置和终端
US20230068730A1 (en) * 2021-09-02 2023-03-02 Snap Inc. Social connection through distributed and connected real-world objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150331236A1 (en) * 2012-12-21 2015-11-19 Harman Becker Automotive Systems Gmbh A system for a vehicle
JP2015224981A (ja) 2014-05-28 2015-12-14 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
US20160109940A1 (en) * 2014-10-19 2016-04-21 Philip Lyren Electronic Device Displays an Image of an Obstructed Target
JP2016138852A (ja) * 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5971466B2 (ja) * 2012-05-08 2016-08-17 日本電気株式会社 フライトパス表示システム、方法及びプログラム
WO2014147858A1 (ja) * 2013-03-19 2014-09-25 Ｎｅｃソリューションイノベータ株式会社 ３次元ロック解除装置、３次元ロック解除方法及びプログラム
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US9889860B2 (en) 2015-12-15 2018-02-13 Universal City Studios Llc Multi-passenger ride vehicle
JP6727807B2 (ja) 2015-12-29 2020-07-22 株式会社バンダイナムコアミューズメント ゲーム装置及びプログラム
US10403043B2 (en) * 2016-04-14 2019-09-03 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150331236A1 (en) * 2012-12-21 2015-11-19 Harman Becker Automotive Systems Gmbh A system for a vehicle
JP2015224981A (ja) 2014-05-28 2015-12-14 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
US20160109940A1 (en) * 2014-10-19 2016-04-21 Philip Lyren Electronic Device Displays an Image of an Obstructed Target
JP2016138852A (ja) * 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法

Also Published As

Publication number Publication date
WO2019131143A1 (ja) 2019-07-04
EP3734428A4 (en) 2021-03-03
KR20200100059A (ko) 2020-08-25
US20200319472A1 (en) 2020-10-08
US11156844B2 (en) 2021-10-26
CN111512277B (zh) 2024-06-18
CN111512277A (zh) 2020-08-07
JP7322713B2 (ja) 2023-08-08
JPWO2019131143A1 (ja) 2021-02-04
EP3734428A1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
KR102642775B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US10701509B2 (en) Emulating spatial perception using virtual echolocation
JP6813501B2 (ja) 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
JP6363587B2 (ja) 情報処理装置および警告提示方法
US11865448B2 (en) Information processing apparatus and user guide presentation method
JP2017140285A (ja) 仮想空間における視界領域調整方法、およびプログラム
JP6276434B1 (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2019217269A (ja) 立体視効果を調節するためのシステムおよび方法
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6634654B2 (ja) 情報処理装置および警告提示方法
JP7481395B2 (ja) 情報処理装置および警告提示方法
JP2018124989A (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN117063204A (zh) 信息处理装置、信息处理方法和程序
JP2018120521A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant