CN113168279A - 影像显示装置和方法 - Google Patents

影像显示装置和方法 Download PDF

Info

Publication number
CN113168279A
CN113168279A CN201880099833.4A CN201880099833A CN113168279A CN 113168279 A CN113168279 A CN 113168279A CN 201880099833 A CN201880099833 A CN 201880099833A CN 113168279 A CN113168279 A CN 113168279A
Authority
CN
China
Prior art keywords
image
sight
line
images
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099833.4A
Other languages
English (en)
Inventor
中出真弓
桥本康宣
伊藤保
吉泽和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN113168279A publication Critical patent/CN113168279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Accounting & Taxation (AREA)
  • Social Psychology (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及影像显示装置,提供能够提高关于AR(增强现实)等的生成图像的、用户的操作性或易用性的技术。作为影像显示装置的HMD,在显示面(2)显示AR图像(30),创建ID图像(40),其包含用于辅助用户对AR图像(30)的操作的识别信息(ID),检测用户的视线方向来设定视线区域(20),在AR图像(30)位于视线区域(20)内的情况下,将ID图像(40)与AR图像(30)对应地进行显示。HMD受理用户对ID图像(40)的选择操作,在接受了ID图像(40)的选择操作的情况下,选择与ID图像(40)对应的AR图像(30),实施与AR图像(30)相关联的规定处理。

Description

影像显示装置和方法
技术领域
本发明涉及影像显示装置的技术,涉及相对于现实空间的影像(有时记载为实像)显示由计算机生成的生成图像(有时记载为虚像)的技术。
背景技术
相对于实像的物体等,显示增强现实(AR:Augmented Reality)、虚拟现实(VR:Virtual Reality)、混合现实(MR:Mixed Reality)等的生成图像的技术的开发正在发展。生成图像包括静止图像或者运动图像。作为能够显示生成图像的影像显示装置,能够举例头戴式显示器(Head Mounted Display:HMD,头部穿戴型显示装置)或平视显示器(Head UpDisplay:HUD)等。例如,具有AR功能的HMD,在透射型或者非透射型的显示面中,使在实像上叠加作为生成图像的AR图像(有时记载为AR目标等)来显示。用户从显示面的多个AR图像选择操作目的AR图像。HMD实施与所选择的AR图像相关联的规定的处理。
作为上述影像显示装置的现有技术例,能够举例日本特开2016-218868号公报(专利文献1)。在专利文献1中记载有,在显示控制方法等中,提高所显示的对象数据的选择性的主旨。在专利文献1中记载有,HMD生成与显示器的显示范围中包含的可选择的对象数据的数量对应的数量的识别信息,对显示范围中包含的对象数据,分别相关联地显示所生成的各识别信息。即,在专利文献1中记载有,如图2等所示,对于AR图像,赋予识别信息(有时记载为ID)的图像(有时记载为ID图像)而显示。该ID图像可以说是AR图像的一种。
现有技术文献
专利文献
专利文献1:日本特开2016-218868号公报
发明内容
发明要解决的技术问题
现有技术例的HMD等的影像显示装置,例如在显示面内存在大量物体和大量AR图像的情况下,用户难以选择操作所希望的AR图像。另外,现有技术例中的AR图像的选择操作的方式,例如为使用摄像机检测手指的手势的方式。该手势例如有用手指模拟触摸目的AR图像的操作或捏合操作。但是,该方式存在AR图像的选择操作的检测困难的情况。
现有技术例的影像显示装置,关于AR等的生成图像的用户的操作性和易用性存在改善的余地。本发明的目的在于,关于影像显示装置的技术,提供能够提高关于AR等的生成图像的用户的操作性和易用性的技术。上述以外的课题、结构、效果等,以用于实施本发明的方式能够说明。
用于解决课题的技术方案
本发明中的代表的实施方式具有以下所示的构成。一实施方式的在实像上叠加地显示生成图像的影像显示装置,在显示面显示所述生成图像,创建ID图像,该ID图像包含用于辅助用户对所述生成图像的操作的识别信息,检测所述用户的视线方向来设定与所述视线方向对应的视线区域,在所述生成图像位于所述视线区域内的情况下,将所述ID图像与所述生成图像对应地进行显示,受理所述用户对所述ID图像的选择操作,在接受了所述ID图像的所述选择操作的情况下,选择与所述ID图像对应的所述生成图像,实施与所述生成图像相关联的规定处理。
发明效果
按照本发明中代表性的实施方式,关于影像显示装置的技术,能够提高关于AR等的生成图像的用户的操作性和易用性。
附图说明
图1是表示本发明的实施方式1的影像显示装置即HMD的外观的图。
图2是表示实施方式1的影像显示装置的功能模块构成的图。
图3是表示在实施方式1的影像显示装置中主要的处理流程的图。
图4是表示在实施方式1的影像显示装置中关于ID图像的处理流程的图。
图5是表示在实施方式1的影像显示装置中软件构成例的图。
图6是表示在实施方式1的影像显示装置中ID图像显示的基本的图。
图7是表示在实施方式1的影像显示装置视线区域的构成例的图。
图8是表示在实施方式1的影像显示装置中管理表的构成例的图。
图9是表示在实施方式1的影像显示装置中声音输入的命令表的图。
图10是表示在实施方式1的影像显示装置中实像、AR图像和ID图像的第一例的图。
图11是表示在实施方式1的影像显示装置中实像、AR图像和ID图像的第二例的图。
图12是表示在实施方式1的影像显示装置中ID图像的第一例的图。
图13是表示在实施方式1的影像显示装置中ID图像的第二例的图。
图14是表示在实施方式1的影像显示装置中影像的第一状态的图。
图15是表示在实施方式1的影像显示装置中影像的第二状态的图。
图16是表示在实施方式1的影像显示装置中影像的例子的图。
图17是表示在实施方式1的影像显示装置中ID图像选择时的例子的图。
图18是表示在实施方式1的影像显示装置中视线区域的放大/缩小的第一例的图。
图19是表示在实施方式1的影像显示装置中视线区域的放大/缩小的第二例的图。
图20是表示在实施方式1的影像显示装置中视线区域的固定的例子的图。
图21是表示在实施方式1的影像显示装置中视线区域的偏离的例子的图。
图22是表示本发明的实施方式2的影像显示装置中的影像的例子的图。
图23是表示实施方式2的影像显示装置中选择区域的第一例的图。
图24是表示在实施方式2的影像显示装置中选择区域的第二例的图。
图25是表示在实施方式2的影像显示装置中选择区域的第三例的图。
图26是表示在实施方式2的影像显示装置中选择区域的第四例的图。
图27是表示本发明的实施方式3的影像显示装置中的处理流程的图。
图28是表示本发明的实施方式4的影像显示装置中的影像的例子的图。
图29是表示本发明的实施方式5的影像显示装置中的视线深度的图。
图30是表示本发明的实施方式6的影像显示装置中的影像的例子的图。
图31是表示本发明的实施方式7的影像显示装置中的影像的例子的图。
具体实施方式
以下,基于附图详细说明本发明的实施方式。此外,用于说明实施方式的全部附图中,对于相同部分原则上标注相同的附图标记,省略重复的说明。
(实施方式1)
使用图1~图21对本发明的实施方式1的影像显示装置进行说明。实施方式1的影像显示装置表示适用HMD的情况。作为HMD的方式表示了透射型HMD的情况,对于非透射型HMD等的其它方式的情况也同样地能够适用。
[HMD(1)]
图1是表示作为实施方式1的影像显示装置的HMD1的外观。HMD1在头戴型的壳体中具有显示面2、扬声器3、视线检测部4、摄像机5和未图示的麦克风等。在HMD1的壳体中内置有控制部和显示部。控制部由集成电路等构成,包含显示部,控制HMD1的整体。显示部包含显示面2,在显示面2上显示影像。显示面2是用户能够识别影像的区域。显示面2例如是配置在用户的两眼之前的眼镜形状的显示元件,例如为透射型的显示面。即,HMD1为透射型HMD。控制部控制相对于显示面2的包含AR图像的影像的显示。显示部例如由投射型显示装置构成,包括光源、透镜等的光学***、驱动电路等。在透射型HMD的情况下,在从用户的眼观看的显示面2中,前方的实像透射,在该实像上叠加显示AR图像等的生成图像。在另外的实施方式中使用非透射型HMD的情况下,包含显示面2的显示部例如由液晶显示元件构成。在该情况下,在显示面2中,显示相对于由摄像机5拍摄到的前方的影像合成了生成图像的影像。对显示面2的影像显示方式例如能够应用投射型显示方式,没有特别的限定。
扬声器3按照来自控制部的控制而发出声音。麦克风输入用户的声音,并向控制部输送。控制部根据麦克风的输入声音进行语音识别处理,检测预先规定的规定命令等。控制部根据检测到的命令实施预先规定的规定处理。由此,能够实现包括AR控制在内的各种功能。在HMD1的存储器中预先具有声音命令的词典(后述的命令表),登记有各种命令。实施方式1的HMD1使用声音命令,能够进行AR图像的ID图像的选择操作、视线区域的操作。
视线检测部4检测用户的双眼的视线的状态、至少检测视线方向。视线检测部4除此之外也可以检测眨眼等的状态。控制部与视线检测部4协作而总是掌握用户的视线方向。摄像机5拍摄HMD1的前方并获得图像。摄像机5也可以是立体摄像机等。控制部处理摄像机5的图像,进行例如物体的检测。
在HMD1的壳体中具有GPS接收器、电子罗盘、陀螺仪传感器、加速度传感器等的传感器类。HMD1使用这些传感器检测HMD1的位置、方向、加速度等。
图1的HMD1、即影像显示装置的主体装置通过无线通信接口或者有线通信接口连接操作器(换言之为遥控器)。控制部与操作器协作,受理来自操作器的操作输入。在该情况下,用户用手指操作操作器的按钮等,能够对主体装置发出指令。操作器并不限于专用装置,能够应用用户的智能手机等的通用的便携信息终端装置。在该情况下,用户能够从智能手机等操作HMD1。例如,在用户的智能手机内也可以存在AR的应用程序和数据。在该情况下,HMD1的控制部通过通信与智能手机内的AR的应用程序和数据协作。
[HMD(2)]
图2表示HMD1的功能模块构成。HMD1具有主控制部100、存储部110、影像处理部120、声音处理部130、通信处理部140、传感器部150、操作输入部160、电池170、***总线180等。各部经由***总线180进行命令和数据的发送接收。主控制部2是由MPU等构成的处理器,按照存储部120的程序111控制HMD1整体。处理器将存储装置的程序的数据读取到处理用的存储器上,通过实施按照程序的处理而实现规定功能等。
存储部120例如由闪存ROM或SSD等的非易失性存储装置构成。存储部120保存有动作控制用的程序111、DB112和设定信息113等的数据和信息。程序111包括实现HMD1的OS的程序、实现AR功能的程序、实现辅助功能的程序等。
DB112是保存AR图像等的内容数据、用于辅助的ID图像等的数据和管理信息等的各种数据的数据库,包括基于文件、表或者列表等的数据结构的数据。设定信息113包括***设定信息和用户设定信息。存储部120包括处理用的工作区。另外,在存储部120中,也能够存储从通信网或外部装置取得的例如AR程序、例如影像和声音的内容数据、其它各种信息。各种信息例如能够列举关于地图上的物体的检索信息。另外,在存储部120中,存储利用摄像机5拍摄到的影像数据等。但并不限定于此,也可以在与HMD1协作的外部的服务器装置等中保存各种的数据和程序。
传感器部150包括用于检测HMD1和附近的状态的各种传感器。传感器部150包括例如GPS接收器、地磁传感器(电子罗盘)、加速度传感器、陀螺仪传感器、距离传感器等。HMD1通过这些传感器能够检测HMD1的位置(例如纬度、经度、海拔)、方向(例如方位角或仰角)、倾斜、加速度等的运动、与对象物的距离等。传感器部150也可以具有照度传感器、接近传感器、气压传感器等的其它传感器。
通信处理部140由IC芯片等构成,包括通信处理电路和天线等。通信处理部140包括LAN通信部141、电话网通信部142等。LAN通信部141经由接入点通过Wi-Fi(注册商标)等的方式进行与LAN的数据通信处理等。电话网通信部142例如通过W-CDMA(注册商标)、GSM、LTE等的方式进行与移动体电话通信网的基站的无线通信处理,由此能够进行通话和数据通信。通信处理部140除此之外也可以具有BlueTooth(注册商标)和红外线等的方式的通信部。
影像处理部120由IC芯片等构成,包括撮影部121、视线检测部4、显示部123等。撮影部121包括摄像机5。显示部123包括显示面2。撮影部121的摄像机5将从透镜输入的光利用CCD或CMOS等元件转换为电信号,由此能够获得图像数据。视线检测部4的视线检测方式能够使用公知的方式。该方式例如有利用可视摄像机拍摄内眼角和虹膜来检测视线的方式,利用基于红外线LED和红外线摄像机的角膜反射法来检测视线的方式等。显示部123包括影像处理电路和视频RAM等,基于输入到视频RAM的影像数据,在显示面2中叠加显示AR图像。此外,在显示部123中也可以进一步应用触摸面板等。
声音处理部130由IC芯片等构成,包括声音输入部131、语音识别部132、声音输出部133。声音输入部131包括麦克风,将输入声音转换为声音数据。声音输出部133包括扬声器3,由声音数据转换为声音而输出。语音识别部132分析输入声音数据,检测命令等。语音识别部132可以由专用IC构成,也可以通过基于主控制部100的程序处理构成。
操作输入部160是受理对HMD1的基本操作输入(例如電源通断、音量調整等)的部分,例如包括硬件按钮和触摸传感器等。HMD1使用电池180的电力,即使没有从外部供电的状态下也能够动作。
[处理流程(1)]
图3表示HMD1的主要的处理流程。图3的流程包括步骤S1~S9。以下按照步骤的顺序进行说明。主要的处理的主体为处理器。
在步骤S1中,HMD1检测HMD1的位置和方向。HMD1的位置例如为地理上的三维空间内的位置,使用GPS接收器等作为坐标(纬度、经度、海拔)而获得。HMD1的方向与图1的观看显示面2的前方的方向(Z方向)对应,使用电子罗盘作为方位角和仰角而获得。此外,HMD1使用传感器部150检测当前的状态。
在步骤S2中,HMD1(例如AR程序)以规定方式生成AR图像并进行显示。例如HMD1从显示面2的实像内检测成为AR的对象的规定物体。例如HMD1使用摄像机5等检测该物体的三维位置和与HMD1的距离,并检测在显示面2内的该物体的二维位置和图像区域。HMD1对所检测到的物体取得物体信息。例如HMD1可以从地图数据和互联网检索与该物体的位置对应的物体信息。或者,HMD1基于HMD1的当前位置而从地图数据取得在当前位置的附近存在的物体的信息。HMD1例如可以利用Google Street View等的服务来取得地图上的店铺等的物体的信息。
HMD1基于所取得的物体信息生成AR图像,在显示面2内进行显示。例如HMD1的AR程序以与在显示面2的物体的位置、图像区域相关联的方式显示AR图像。
HMD1检测通过上述AR程序生成、显示的AR图像,取得关于AR图像的信息。HMD1可以参照在DB112(后述的管理表)中保存的AR对象的信息,并从互联网取得AR对象的信息。
在步骤S3中,HMD1使用视线检测部4实时地检测例如图1的视线方向ED那样的用户的视线方向。HMD1在显示面2中设定与所检测到的视线方向对应的视线区域(后述的图6)。视线区域例如设定为以视线方向与显示面2交叉的点作为中心点、具有规定半径的圆形区域。实施方式1的HMD1,在基本设定中为不将视线区域显示在显示面2中的结构,但也可以是在基本设定中将视线区域显示在显示面2中的结构。另外,实施方式1的HMD1根据用户的操作(后述的命令)也能够切换视线区域的显示和非显示。视线区域的位置等在控制上的各时刻被更新。视线的移动较小的情况下,能够使用与前一次相同的视线区域。
另外,HMD1在步骤S3的处理内也判断视线区域是否从显示面2偏离了。HMD1在视线区域的偏离时实施规定处理。该处理例如能够列举关于视线区域内的ID图像的重建处理。另外,HMD1的使用开始时,能够使用初始设定的视线区域。
在步骤S4中,HMD1进行步骤S2的AR图像与步骤S3的视线区域是否位于显示面2内的判断。即,HMD1判断AR图像的位置或者区域是否进入到此时的视线区域内、是否叠加等的判断。例如,HMD1判断后述的管理表(图8)中的“AR图像”的“显示位置”是否位于此时的视线区域的范围内。
在步骤S5中,HMD1相对于位于视线区域内的AR图像生成相关联地赋予的ID图像,在显示面2内在与AR图像对应的位置显示该ID图像。该ID图像表示对应的AR图像能够选择操作。这时,HMD1在视线区域内存在1个以上的AR图像的情况下,对于这些AR图像,例如从1起依次地赋予ID号码。并且,HMD1生成具有该ID的ID图像,显示在靠近AR图像的位置。
实施方式1的HMD1,像这样关于进入到视线区域内的AR图像限定地显示ID图像,关于处于视线区域外的AR图像不显示ID图像。此外,HMD1关于处于视线区域外的AR图像,在内部处理上也可以准备ID和ID图像但不进行显示。能够选择操作的AR图像为处于视线区域内的被赋予ID图像的AR图像。如上所述,因为能够减少显示面2内显示的ID图像的数量,减少信息量,因此用户容易选择ID图像(对应的AR图像)。
在步骤S6中,HMD1受理用户的操作输入。HMD1尤其是受理关于ID图像的选择操作的输入。实施方式1的HMD1至少受理基于语音识别的命令输入产生的ID图像选择操作。
在步骤S7中,HMD1确认是否有步骤S6的ID图像选择操作输入,在有ID图像选择操作输入的情况下(是)前进到步骤S8,在没有的情况下(否)前进到步骤S9。
在步骤S8中,HMD1选择由被选择操作的ID图像的ID指定的AR图像(换言之成为选择状态),使与该AR图像对应的规定处理通过对应的AR程序来实施。
在步骤S9中,HMD1确认AR功能和辅助功能涉及的规定结束操作是否被实施,当实施了结束操作的情况下(是),结束流程,在没有实施结束操作的情况下(否),返回最初的步骤S1反复进行同样的处理。
此外,在上述流程的反复循环中,在步骤S1中,HMD1判断HMD1的位置和方向等的变化是否为规定程度以上,在是规定程度以上的情况下,可以实施之后的更新处理(例如视线区域和ID图像的更新)。同样地,在步骤S3中,HMD1判断视线方向的变化是否为规定程度以上,在是规定程度以上的情况下,可以实施以后的更新处理。另外,HMD1在判断上述视线区域的变化等时,也可以使用所设定的阈值。例如,HMD1在表示视线方向的角度为所设定的角度阈值(例如10度)以上的情况下,判断为视线方向的变化,进行更新处理。或者,HMD1在表示视线方向的角度以规定时间阈值(例如1秒)以上持续变化的情况下,也可以判断为视线方向的变化。另外,例如,HMD1在时间点间的HMD1的位置的差为所设定的距离阈值(例如0.1m)以上的情况下,判断为HMD1的位置的变化,进行更新处理。HMD1在视线区域等没有变化或者变化小的情况下,继续使用前一次设定完成的视线区域等。
[处理流程(2)]
图4表示关于步骤S6~S8的ID图像的处理的详细处理例的流程。图4包括步骤S21~S27。在步骤S21中,HMD1基于语音识别检测规定命令。HMD1依据后述的命令表(图9)进行处理。在步骤S22中,HMD1实施与检测到的命令对应的规定功能的处理。命令有关于视线区域的操作的命令、关于ID图像的操作的命令等,各命令规定了对应的处理。
在步骤S23中,HMD1确认ID图像是否已被选择,在没有被选择的情况下(否)结束流程,在已被选择的情况下(是)进入步骤S24。在步骤S24中,HMD1对于所选择的ID图像,使在显示面2中的显示状态区别化显示。即,HMD1在显示面2中将其ID图像以规定显示效果(例如闪烁显示、高亮度显示、特定颜色显示等)进行显示。由此,向用户传达哪个ID图像是已被选择的状态等。
在步骤S25中,HMD1选择与已被选择的ID图像相关联的AR图像。例如,HMD1对与已被选择的AR图像相关联的AR程序发送选择通知(后述的图5)。由此,接收了该选择通知的AR程序使该AR图像成为选择状态,实施与AR图像的选择对应的规定处理。作为一例,在提供地图上的店铺等的信息的AR应用的情况下,该AR应用取得与已被选择的AR图像对应的店铺的详细信息,生成显示其详细信息的AR图像并进行显示。作为另一例子,用户能够在实像内任意地配置AR图像的AR应用的情况下,该AR应用使AR图像为选择状态,根据用户的操作进行该AR图像的移动和消除、对该AR图像的指令等。
在实施方式1中,作为操作输入方式还能够一并使用手势方式。图4的流程表示一并使用该方式的情况下的流程,包括对应的步骤S26、S27。在步骤S26中,HMD1使用摄像机5取得拍摄前方而得到的图像,根据该图像通过图像识别处理判断并检测规定的手势。检测对象的手势例如为在与显示面2对应的区域内,用户使手指保持放置在ID图像的位置规定时间以上并静止的状态的触摸手势。或者,另外的检测对象的手势为用户用手指模拟地捏合ID图像的的手势。
在步骤S27中,HMD1根据检测到的手势实施预先规定的规定功能的处理。该处理至少具有对应规定手势的ID图像选择操作处理。步骤S27之后进入步骤S23,同样地,确认ID图像是否已被选择。
[软件构成例]
图5表示实施方式1的HMD1的软件的构成例。图5表示了在HMD1的OS或中间件的级别中安装了辅助功能的例子。HMD1具有OS500、AR程序501、AR应用502、程序510。OS500包括中间件等。AR程序501为包含在OS500中的、具有进行AR图像的生成、显示的功能的程序。AR程序501为例如将HMD1的时刻、电池状态、通信状态等的信息、各种功能的图标等作为AR图像显示在显示面2中的程序。本例中表示,AR程序501生成AR图像Ax并显示在显示面2中的情况。
AR应用502为在OS500上工作的、具有进行AR图像的生成、显示的功能的各种应用程序。AR应用502例如作为多个AR应用具有AR应用P1~Pm。在本例中表示了,各AR应用502(P1~Pm)生成各AR图像A1~Am并显示在显示面2中的情况。
如本例所示,作为前提,HMD1通过OS500的AR程序501和各AR应用502分别在显示面2中显示AR图像。AR程序501和各AR应用502分别具有实施与AR图像相关联的规定处理的功能。
并且,实施方式1的HMD1具有安装有辅助功能的程序510。程序510可以作为OS500的一部分安装,也可以以1个应用的级别安装。主控制部100通过在OS500上实施依据程序510的处理,实现辅助功能。该辅助功能为AR图像操作辅助功能。该辅助功能为关于基于AR程序501和各AR应用502产生的多个AR图像以使选择操作等容易的方式使用ID图像进行辅助的功能。该辅助功能为根据视线区域对AR图像进行ID图像的赋予、显示的功能。该辅助功能为通过ID图像的选择操作而能够实现AR图像的选择操作的功能。
程序510与AR程序501和各AR应用502协作。程序510对于在显示面2中显示的AR图像504生成ID图像504,并相关联地进行显示。例如,表示对于AR图像A1~Am和AR图像Ax分别相关联地显示ID图像B1~Bm和ID图像Bx的情况。
程序510受理由用户进行的ID图像504的选择操作的输入(例如指定ID的声音命令)。程序510将该选择操作的输入作为ID图像和AR图像的选择来解释。程序510在与已被选择的ID图像504相关联的AR图像503被选择了的情况下,将选择通知发送到对应的程序(AR程序501或者AR应用502)。接收了该选择通知的程序使对象的AR图像为选择状态,实施与该AR图像相关联的规定处理。
作为其它的实施方式,也可以仅在特定的应用安装程序510的辅助功能。在该情况下,该特定的应用仅以自身进行控制的特定的AR图像作为对象,进行ID图像的显示等,由此进行选择操作涉及的辅助。
[ID图像表示]
图6表示关于对包含显示面2的AR图像的影像的ID图像的赋予、显示的基本内容。图6中,矩形的框概略地表示显示面2。此外,显示面2的二维的坐标系用(x、y)表示。x方向为横向,作为面内水平方向,y方向为纵向,作为面内垂直方向。在显示面2内,存在与未图示的物体和地理位置对应或者与物体独立地、显示1个以上的AR图像30的情况。在本例中,AR图像30具有心形的标记的AR图像a1、星形的标记的AR图像a2。AR图像a1表示在显示面2内的位置p2(x2、y2)。
另一方面,在显示面2中,对应于用户的视线方向设定视线区域20。视线区域20对应于视线方向的变化而动态地设定。用户的视线方向与显示面2相交的点例如作为位置p1(x1、y1)。在该情况下,以位置p1为中心点具有规定半径r1的圆区域设定为视线区域20。视线区域20在基本设定中不显示,用虚线图示。
例如AR图像30(a1)进入到视线区域20内。在该情况下,HMD1对于该AR图像30(a1)生成ID图像40(b1),并相关联地显示。在本例中,ID图像40包括作为ID编号具有“1”的矩形的ID图像b1。ID图像b1为例如在矩形的框内配置了数字“1”的图像。ID图像b1的框内例如为透射区域,但也可以为非透射区域。在本例中,ID图像b1显示在相对于AR图像a1的位置p2靠近的位置p3(x3,y3)、例如AR图像a1的上侧的位置。AR图像a2因为没有进入视线区域20内,所以ID图像40不显示。相对AR图像30的位置显示ID图像40的位置可以不限于上侧的位置,例如对应于此时的显示面2内的AR图像30和ID图像40的显示状态,能够选择空的适当的位置。
[视线区域]
图7表示视线区域20的构成例。图7中作为视线区域20的例子表示视线区域20a、20b、20c。视线区域20a与图6同样地是具有圆形的例子。视线区域20的形状不限于此,能够设定各种形状。视线区域20b是具有横长的椭圆形状的例子。视线区域20c是具有横长的矩形的例子。另外,关于视线区域20的半径等的尺寸,可以采用预先设定的固定的尺寸,也可以按用户设定来变更。例如,视线区域20的纵和横的宽度能够由用户设定。另外,将在后文说明,在HMD1的使用时对应于用户进行的规定操作输入,能够进行视线区域20的尺寸等的变更。
另外,视线区域20a表示设定在显示面2的中心的位置pc(xc、yc)的情况。在实施方式1中,视线区域20的位置对应于用户的视线方向而变动。例如,视线方向的先前的位置从位置pc变化到位置pd(xd、yd)的情况下,视线区域20a向视线区域20d移动。
作为变形例的HMD1,可以不依赖于用户的视线方向,在预先设定的显示面2内的固定位置、例如中心位置pc(xc,yc),固定地设定视线区域20。通过位置pc的纵横的虚线为显示面2的纵横的宽度的二等分线。该变形例相当于将用户的视线方向看作与HMD1的方向大致相同来控制视线区域20的方式。在该变形例的情况下,能够更加简化硬件和软件的构成。用户通过移动头部能够变更HMD1的方向。由此,相对空间的视线区域发生变动。
另外,将在后文说明,对应于用户进行的规定操作输入,能够固定在显示面2中的视线区域20的位置和进行固定解除。由此,在用户注视某视线方向的状态下,能够使视线区域20内的ID图像的显示固定等。
另外,将在后文说明,对应于用户进行的规定操作输入,能够使表示视线区域20的图像(视线区域边界线)作为AR图像的一种显示在显示面2内,或者将其切换为非显示。表示视线区域20的图像例如为边界线,也可以为如图示那样的虚线等的图像。例如,使视线区域20a显示的情况下,图示的虚线的圆形作为边界线显示。
[管理表]
图8表示用于关于AR图像和ID图像的控制的管理表的构成例。该管理表具有关于全部的AR图像和ID图像的列表。HMD1在该管理表中读写全部的AR图像和ID图像的信息。HMD1的处理器在存储器上作为DB112的一部分创建并保存管理表。HMD1通过参照该管理表,能够掌握该时间点的AR图像和ID图像的状态。
图8的管理表作为项目具有管理ID、AR对象、显示位置、基础位置、识别信息。“管理ID”为管理用的识别信息,是地址或者行编号等。“AR对象”为AR图像,具有对应的图像数据文件等。“显示位置”为在显示面2中显示AR图像时的成为基准位置的二维坐标(x、y)。“基础位置”为成为AR图像的生成的基础的三维位置坐标(X、Y、Z)。“基础位置”例如对应于地图上或现实空间内的位置。此外,与现实的物体独立地生成的AR图像的情况下,也存在不具有“基础位置”的情况。“识别信息”包含ID和ID图像。ID为用于识别AR图像并进行选择的编号等的信息。ID图像为包含该ID的显示用的图像,具有对应的图像数据文件。ID号码例如按1、2、3、……的顺序生成。此外,在AR图像中没有赋予ID图像的状态的情况下,在“识别信息”项目中设定表示无ID图像的值(0)。作为其它数据项目,也可以设置表示ID图像的选择可否的图表等。
[命令表]
图9表示与实施方式1的语音识别方式对应的命令表的构成例。在该命令表中预先设定能够使用的命令。该命令表作为项目具有命令ID、对象(类别)、命令、声音、备注。按表的每一行设定命令。HMD1从输入声音检测在命令表中存在的“命令”。“命令ID”表示“命令”的识别符。“对象(类别)”表示该“命令”的对象、类别。“声音”表示该“命令”的输入时的声音的例子。“声音”不限于例示的声音,只要是能够将各命令唯一区别的声音即可,能够进行各种各样的设定。“备注”表示处理内容等的说明。
命令ID=C01~C06的“对象(类别)”为“视线”,是关于视线区域的控制的命令组。命令ID=C11~C42的“对象(类别)”为“ID”,是关于ID图像的控制的命令组。
命令ID=C01的“视线区域显示开启”命令是切换为将图6等的表示视线区域20的图像(例如边界线)显示在显示面2内的状态的命令,声音例如为“视线开启”。命令ID=C02的“视线区域显示关闭”命令是切换为将表示视线区域20的图像不显示在显示面2内的状态的命令,声音例如为“视线关闭”。
命令ID=C03的“视线区域固定”命令是切换为固定显示面2内的视线区域20的位置的状态的命令,声音例如为“视线固定”、“停止”等。命令ID=C04的“视线区域固定解除”命令是切换为解除视线区域20的位置的固定成为自由状态的命令,声音例如是“视线解除”等。
命令ID=C05的“视线区域放大”命令是使显示面2内的视线区域20的尺寸放大的命令,声音例如为“视线放大”、“变大”等。命令ID=C06的“视线区域缩小”命令是使视线区域20的尺寸缩小的命令,声音例如为“视线缩小”、“变小”等。
命令ID=C11的“ID显示开启”命令是切换为在显示面2内显示ID图像的状态的命令,声音例如为“识别开启”、“ID开启”等。命令ID=C12的“ID显示关闭”命令是切换为在显示面2内不显示ID图像的的状态的命令,声音例如为“识别关闭”、“ID关闭”等。
从命令ID=C21的“ID1选择”命令至命令ID=C29的“ID9选择”命令为用于独立地选择例如从ID“1”至ID“9”的9个ID的各ID的命令。例如“ID1选择”命令为选择作为ID编号具有“1”的ID图像“1”(例如图6的ID图像b1)的命令,声音例如为“第一”、“号码1”、“ID1”等。此外,本例中作为ID使用了“1”~“9”的9个,但也可以使用10个以上的ID,也可以准备与“10”以上的号码对应的各命令。
根据用户的输入声音通过语音识别检测到的声音例如符合“第一”的情况下,能够解释为是“ID1选择”命令,能够解释为ID图像“1”的选择操作。并且,该ID图像“1”的选择操作能够解释为在此时与该ID图像“1”相关联的AR图像的选择操作。由此,选择该AR图像,实施与该AR图像相关联的规定处理。
命令ID=C30的“所有ID选择”命令是选择视线区域内的全部ID图像的命令,声音例如为“全部”。命令ID=C31的“1ID选择”命令为按规定规则选择视线区域内的任意一个ID图像的命令,声音例如为“选择”。该命令是在多个ID图像进入到特定的视线区域内的情况下,例如选择最靠近视线区域的中心点(即视线方向)的1个ID图像的命令。
命令ID=C32的“所有ID选择解除”命令是关于视线区域内的全部ID图像,在存在选择状态的ID图像的情况下解除该选择状态而恢复到非选择状态的命令。对应的声音例如为“全部解除”。另外,命令ID=C33的“1ID选择解除”命令为解除视线区域内的任意一个ID图像的选择状态而恢复到非选择状态的命令。C32和C33的命令适用于关于ID图像和对应的AR图像,在控制上将选择状态与非选择状态区别地具有的情况。
命令ID=C34的“ID实施”命令是存在选择状态的ID图像的情况下,使与该ID图像相关联的AR图像的处理实施的命令。声音输入例如为“实施”。C34的命令适用于关于AR图像,在控制上分为选择与实施的情况。关于AR图像,在控制上没有分为选择与实施的情况下,相当于选择操作照原样处理实施指示。
命令ID=C41的“AR信息显示”命令是使关于视线区域内的ID图像或者与选择状态的ID图像相关联的AR图像的信息显示的命令。声音例如为“信息开启”。C42的“AR信息非显示”命令是将基于C41的命令的AR信息切换为非显示状态的命令,声音例如为“信息关闭”。所谓关于AR图像的信息是指,例如生成该AR图像的AR程序等的名称和功能等的信息。通过看该信息,用户能够确认该AR图像的功能和意义等。此外,该命令与作为基于AR程序产生的AR图像的处理实施的一例的数据输出是不同的。某AR程序在选择了AR图像的情况下,作为规定处理的一例进行数据输出。例如提供地图上的店铺的信息的AR应用的情况下,该数据输出将店铺的信息作为AR图像显示。
此外,HMD1与上述例不同,也可以设置用于基于OS等的各种功能的操作的声音命令。另外,在AR应用和辅助功能一体地安装的方式的情况下,作为声音命令的例,也可以设置与基于AR应用的AR图像处理实施对应的命令。例如能够举例使与AR图像对应的数据显示的“数据开启”命令等。例如,提供店铺的信息的AR应用在输入了“数据开启”命令的情况下,关于选择状态的AR图像,显示包含店铺的信息的AR图像。
图2的声音处理部130也可以具有声音合成功能。HMD1可以使用声音合成功能对用户适当地输出声音应答。例如HMD1在用户输入了规定声音命令的情况下,也可以输出对应的声音应答。声音应答的例子能够举例输入命令确认的声音、提问的声音等。
[AR图像和ID图像]
图10和图11表示在显示面2中的AR图像和ID图像的显示例。图10的例子作为在室外利用HMD1的情况下的影像的例子,示意性地表示包含在道路附近能够看到店铺等的建筑物的实像的情况。图11的例子作为在室内利用HMD1的情况下的影像的例子,示意性地表示包含能够看到桌子和墙壁等的实像的情况。首先,关于通过已有的AR程序能够显示的AR图像的显示例如以下所述。关于生成AR图像并进行显示的方式,能够应用公知技术,没有特别地限定。也可以各种AR方式混合存在。例如图5的各AR应用503的AR方式也可以不同。
图10的影像中,作为AR图像(=AR目标)的例子表示AR图像A1~A13。AR图像A1和AR图像A2是为了用户愉悦等而在实像内任意地配置的AR图像的例子。该AR图像例如为鸟或猫等的动物或者模拟的角色等的AR图像,例如由动画图像等构成。用户通过规定操作在显示面2内配置所选择的所希望的AR图像。该AR图像例如显示在显示面2内的指定的固定位置。或者,该AR图像也可以依据程序自律地在显示面2内移动。例如鸟的AR图像A1在显示面2内进行飞行那样的运动。另外,该AR图像也可以不依赖于用户和HMD1的位置总是显示在显示面2内。
AR图像A3、A4是显示店铺的信息的AR图像的例子,例如是在矩形区域中显示店铺的名字等的字符的图像。例如某AR应用将店铺等的信息利用AR图像进行引导。该AR应用从地图数据与HMD1的当前位置或方向相对应地检索附近的店铺等。AR应用使用检索到的信息生成AR图像A3等,显示在与该店铺等的地理位置对应的显示面2内的位置。或者,某AR应用从摄像机5的图像检测店铺等的建筑物或广告牌的物体,取得该物体的信息,生成使用了该信息的AR图像病进行显示。物体的信息能够适用名称、种类、住所、状态等所设定的任意的信息。
AR图像A5、A6是显示用于用户的移动的导航的箭头和对话框等的信息的图像的例子。例如某AR应用具有包含路线检索的导航功能,根据用户输入的目的地,生成用于从当前位置到目的地的路线的导航的AR图像。例如AR图像A5是表示在下一交叉点右转、或在其前方30m有目的地的图像。AR图像A6是表示在箭头的方向上有车站的图像。
AR图像A7是相对于检测到的人的脸显示框图像的例子。例如,某AR应用预先登记有用户的熟人等的人的信息。该AR应用基于摄像机5的图像,检测熟人等的人的脸。该AR应用对于检测到的脸的区域赋予并显示框图像或该人的信息作为AR图像A7。由此,用户能够确认熟人等的人的发现、该人的信息确认。
AR图像A8、A81、A82、A83表示在由AR图像A4所示的某店铺为餐馆的情况下,显示该餐馆提供的本日的推荐菜品的信息的多个AR图像的组的例子。AR图像A8为“本日推荐”的字符图像。AR图像A81、A82、A83为与AR图像A8相关联的、多个各菜品的图像。例如,某AR应用,作为店铺的信息将这样的详细信息作为推送信息自动显示。
图11的影像中表示AR图像A21~A28。AR图像A21为用户配置的多个鸟等的AR图像,自主地运动。AR图像A22为用户所配置的猫等的AR图像,例如是静止的。AR图像A23、A24为在实像的桌子上用户所配置的花瓶、食物等的AR图像。AR图像A25、A26、A27为相对于实像的墙壁而由用户配置的日历、绘画、钟表等的AR图像。例如某AR应用是能够在室内的所希望的位置配置各种AR目标的应用。AR图像A28为对于显示面2内的规定位置,由用户配置的多个书类等的图标的AR图像。对应的程序在AR图像A28已被选择的情况下,将书类等的内容显示在显示面2内。
如上述所例示,AR图像的显示上的方式包括图标、标记、字符、图形、动画、三维模型等的图像,能够是各种方式,没有特别的限定。另外,如上述所例示,AR图像也有与现实的物体相对应地显示的类型的AR图像,也有与物体独立地显示的类型的AR图像。另外,AR图像也可以伴随有声音输出(例如音效声、动物的叫声等)。
后者的类型的其它例子,能够举例显示HMD1的OS等的程序进行控制用的AR图像的情况。作为该AR图像的例子,能够举例各种功能和应用的图标的AR图像、日期时间、电池、表示通信等的状态的AR图像、表示邮件通知等的AR图像等。该类型的AR图像例如与现实的物体的位置无关地、在一定时间在显示面2内显示。
AR等的方式不限于上述例子,能够应用公知的各种方式。作为一个例子也可以应用AR标志方式。在该方式中,HMD1通过摄像机5的图像的识别从实像内检测规定标志(例如二维码),与该标志的位置相对应地生成并显示规定AR图像。作为其它的方式也可以使用,利用用户的视线方向,检测处于其视线方向上的物体或者地点,与该物体或地点相对应地生成并显示AR图像的方式。
关于对于上述AR图像的ID图像的显示例如以下所述。图10中,作为视线区域20的例子,在显示面2内的稍微右上的位置存在视线区域20。在该视线区域20内有AR图像A1、AR图像A4、AR图像A6、AR图像A8、A81、A82、A83共计7个。HMD1相对于视线区域20内的多个AR图像,按照靠中心点从近到远的顺序赋予ID编号来显示ID图像。在本例中,按照靠视线区域20的中心点从近到远的顺序生成、显示ID图像“1”~“7”的7个ID图像。例如对AR图像A81赋予ID图像“1”。对AR图像A82赋予ID图像“2”。对AR图像A83赋予ID图像“3”。对AR图像A8赋予ID图像“4”。对AR图像A1赋予ID图像“5”。对AR图像A4赋予ID图像“6”。对AR图像A6赋予ID图像“7”。在本例中,是对视线区域20内的全部的AR图像赋予并显示ID图像的例子。
在图11中,作为视线区域20的例子,在显示面2内的稍微靠上的位置存在视线区域20。在该视线区域20内有3个AR图像A21、AR图像A23、A24、AR图像A25、A26共计7个。在本例中,按照靠近视线区域20的中心点从近到远的顺序生成并显示ID图像“1”~“7”的7个ID图像。例如对3个AR图像A21赋予ID图像“1”~“3”。对AR图像A23赋予ID图像“4”。对AR图像A25赋予ID图像“5”。对AR图像A24赋予ID图像“6”。对AR图像A26赋予ID图像“7”。
[ID图像]
在上述例子中,作为ID图像的ID使用了“1”、“2”等的编号。ID图像的ID也可以设定能够使用的范围。例如HMD1在默认设定中设定ID的范围为“1”~“9”。另外,关于在显示面2内能够同时显示的ID图像的数量或者在视线区域20内能够同时显示的ID图像的数量也能够设定。例如HMD1在默认设定中在视线区域20内的ID图像的最大数量为5个。通过这些制限能够抑制显示面2内的信息量,能够容易观看。
ID图像的ID号码的编号按照规定规则进行。例如,按照靠近视线区域内的中心点从近到远的顺序从“1”起依次赋予编号。另外,ID号码的编号能够根据状况动态地完成。关于某相同AR图像,能够根据状况赋予不同的ID。另外,在后述的第一控制例中,HMD1以在时间序列上对于某相同AR图像尽可能维持相同ID的ID图像的方式进行控制。例如对于某AR图像,一旦被赋予某ID之后,可以至少在一定时间维持相同ID。另外,在后述的第二控制例中,HMD1在控制的每一时间点,对于视线区域内的AR图像按规定规则重新赋予ID图像。
另外,HMD1也能够按照关于特定的AR应用的AR图像赋予并显示ID图像,而关于其它特定的AR应用的AR图像不赋予显示ID图像的方式,进行关于控制对象的用户设定。
图12表示ID图像的各种显示上的方式的例子,均能够适用。(A)的例子中,AR图像a1在左侧的位置无框地显示具有ID“1”的ID图像b1。(B)的例子中,AR图像a1以在相同位置叠加的方式显示ID“1”的ID图像b1。(C)的例子中,AR图像a1在上侧的位置在圆形的框中显示具有ID“A”的ID图像b1。该ID为使用英字符母“A”的例子。ID并不限于数字,能够应用各种字符。
(D)的例子是,在相对于AR图像a1的位置稍微离开的位置配置具有ID“1”的ID图像b1的例子。另外,AR图像a1和ID图像b1为了表示相互关联,用连接线的表示来结合。例如在靠近AR图像a1没有空间的情况下,可以应用这样的显示。
(E)的例子是,在相对于实像的店铺j1的位置稍微离开的位置通过相关联的连接线具有用于显示该店铺j1的信息的AR图像a101。AR图像a101在矩形区域内显示店铺j1的名字等的字符。并且,在相对于该AR图像a101的上侧的位置显示具有ID“1”的ID图像b1。
(F)的例子是,相对于在显示面2内移动的AR图像A1,显示具有ID“1”的ID图像b1。该ID图像b1基本上显示在追随AR图像A1的移动的位置。作为变形例,该ID图像b1不是在追随AR图像A1的移动的位置、而是显示在一定的位置。或者,该ID图像b1也可以以比AR图像A1的移动慢的速度移动的方式被显示。
(G)的例子表示,相对于箭头等的AR图像A5,对应于用户设定,即使是视线区域内也不赋予、显示ID图像的情况。在相对于某种AR图像显示ID图像不容易理解的情况下,能够像这样不显示。另外,例如原本具有编号等的字符或形状的AR图像的情况下,能够不显示ID图像。
作为其它的ID的例子,也可以是根据颜色或形状的不同而能够识别的ID。例如能够应用圆形、三角形、四边形等的形状。或者,例如能够应用红色、蓝色、黄色等的颜色。
图13的(A)的例子中,多个、例如3个AR图像a1、a2、a3密集地配置在靠近的位置。HMD1基本上在各AR图像的靠近的位置显示各ID图像。此时,例如在各AR图像的上侧显示ID图像的情况下,成为如(A)那样的状态。ID“1”~“3”的3个ID图像b1、b2、b3被密集地显示。在该情况下,用户稍微不容易看到信息。对此,在(B)等中表示了改善的例子。(B)的例子是,对于相同的3个AR图像a1~a3分别在不同的位置、例如向外侧扩展的位置显示ID图像。由此,多个ID图像b1~b3不叠加而容易观看。(C)的例子是,相对于相同的3个AR图像a1~a3,将3个ID图像b1~b3整理并显示在对话框图像内。在对话框图像内,首先各AR图像(也可以是缩小图像)纵向排列地显示。并且,在对话框图像内在各AR图像的旁边显示对应的各ID图像。
另外,(D)的例子是表示,将多个AR图像(例如AR图像a1~a3)作为1个组赋予、显示1个ID图像b101的例子。ID图像b101例如是具有ID=组ID=“A”的图像。例如在AR图像a1~a3的靠近的位置、或者对话框图像的靠近的位置,显示组ID“A”的ID图像b101。该情况下,对应于组单位的ID图像b101的选择操作,能够将组的多个AR图像a1~a3一并选择。作为变形例,HMD1最初在靠近密集的多个AR图像a1~a3的位置,仅显示组单位的ID图像b101。HMD1在用户选择操作ID图像b101的情况下,将该组中包含的多个AR图像a1~a3和ID图像b1~b3的信息在对话框图像等中显示,能够独立地选择操作。
(E)是表示如图10的AR图像A8、A81~A83那样,存在原本作为组相关联的多个AR图像的情况下,同样地赋予、显示组单位的ID图像b101的例子。HMD1将作为组的AR图像A8、A81~A83例如用框包围,赋予、显示包含该框的ID图像b101。(F)是图11的3个AR图像A21的例子,同样地赋予、显示组单位的ID图像b101的例子。
[显示控制例(1)]
关于实施方式1中的、更详细的ID图像的显示控制例在以下进行说明。HMD1对应于与视线区域20的变化相应的AR图像的变化,进行赋予、显示ID图像的控制。
图14等表示第一控制例。第一控制例相对于某AR图像尽可能维持相同ID的ID图像。例如在某第一AR图像进入视线区域内的情况下,赋予、显示ID“1”的ID图像。之后,第一AR图像出了视线区域的情况下,在内部处理上维持ID“1”的赋予,使ID图像不显示。之后,当第一AR图像再次进入视线区域内时,再次显示相同ID“1”的ID图像。另一方面,第二控制例对于某AR图像没有尽可能维持相同ID的ID图像,而是对应于此时的视线区域内的状态每次重新赋予ID。
图14表示显示面2的影像的第一状态。本例中,实像在道路附近能够看到3个店铺的建筑物。作为在第一状态显示的AR图像的例子,有AR图像a1、a2、a3、a4、a5、a11、a12、a13。AR图像a1~a5为各形状的标记的例子,AR图像a11、a12、a13是表示店铺的信息的矩形图像的例子。视线区域20在第一状态下为视线区域E1,中心的位置p1(x1、y1),具有半径r1。在第一状态下,在视线区域E1内进入了AR图像a1、a2、a3。AR图像a4、a5、a11、a12、a13处于视线区域E1外。此外,在本例中,在视线区域内是否进入了AR图像的判断,采用AR图像的“显示位置”(图8)是否进入到视线区域内的判断,但并不限定于此。作为其它方式,也可以采用AR图像的区域的一部分是否进入到视线区域内的判断。
HMD1例如按照从靠视线区域E1的中心位置p1近的AR图像起依次赋予ID。在本例中,按照靠位置p1从近到远的顺序为AR图像a1、a2、a3。因此,HMD1对于3个AR图像a1、a2、a3赋予、显示3个ID图像“1”、“2”、“3”。
ID编号赋予方式不限于本例,能够应用各种方式。作为其它方式的例子,也有按照AR图像进入视线区域内的顺序进行编号的方式。另外,作为其它方式的例子,按照规定的顺序对视线区域内进行扫描(例如从左上向右下线序扫描)并按该顺序编号的方式。
如上述例子,实施方式1的HMD1在显示面2内存在多个AR图像的情况下,限定在视线区域内显示ID图像。由此,对于用户能够抑制信息量,因此AR图像的操作容易。用户关于在视线方向的附近注视的AR图像,通过选择操作ID图像能够操作AR图像。此外,HMD1在视线区域内的AR图像显示ID图像后,也可以在经过一定时间后消去。ID图像也可以是半透射图像。
图15表示显示面2的影像的第二状态。从第一状态的视线区域E1起HMD1的方向和视线稍微向左移动,成为第二状态的视线区域E2。在第二状态中,在视线区域E2内,AR图像a1保持进入的原样,AR图像a11新进入,AR图像a2、a3出到区域外。AR图像a11是显示店铺的信息(“店铺AAA”)的矩形图像的例子。
HMD1关于AR图像a1维持ID图像“1”的显示。HMD1关于AR图像a2、a3使ID图像“2”、“3”为非显示。HMD1关于AR图像a11赋予、显示ID图像“4”。在第一控制例中,关于AR图像a2、a3的ID图像“2”、“3”,即使为非显示也维持赋予编号,关于AR图像a11被赋予“3”的下一个编号“4”。在第二状态中,在视线区域E2内显示ID图像“1”、“4”这2个。
使用第二控制例的情况如下所述。HMD1关于从视线区域E2内出来的AR图像a2、a3取消ID图像“2”、“3”的赋予。HMD1关于新进入的AR图像a11,赋予、显示具有ID图像“1”的下一个编号的ID图像“2”。在该状态下,在视线区域E2内显示ID图像“1”、“2”。
另外,例如从第二状态的视线区域E2再次恢复第一状态的视线区域E1的情况下,在第一控制例中如下所述。HMD1对于进入视线区域E1内的AR图像a2、a3,再次显示与先前相同的ID图像“2”、“3”,并且关于从视线区域E1出来的AR图像a11使ID图像“4”为非显示。
[显示控制例(2)]
图16表示显示面2的影像的例子。从图14的第一状态的视线区域E1起用户的视线稍微向右移动,成为图16的视线区域E3的状态。在视线区域E3内,AR图像a1、a2、a3保持进入的原样,AR图像a4、a5新进入。在此,作为用户设定的状态,ID的范围为“1”~“9”,使视线区域内的ID图像的同时显示的最大数量为3个。在视线区域E3内进入了5个AR图像的位置,但HMD1限定显示最大数量=3个的ID图像。
在第一控制例中如以下所述。HMD1首先对于最初进入的AR图像a4赋予、显示ID图像“4”,并关于AR图像a1使ID图像“1”为非显示。在该时间点,显示了最大数量=3个的ID图像“2”、“3”、“4”。HMD1对于接下来进入的AR图像a5赋予、显示ID图像“5”,关于AR图像a2使ID图像“2”为非显示。在该时间点,显示最大数量=3个地ID图像“3”、“4”、“5”。像这样,HMD1对新进入的AR图像显示ID图像,并且为了抑制最大数量而使旧的ID(或者位于视线区域的移动的后侧的ID等)依次为非显示。另外,HMD1同样地在使用至范围的最后的ID=“9”的情况下,在此之后,返回循环使用范围最初的ID=“1”。
关于同样的状况,在第二控制例中成为如下所述。同样地,ID的范围为“1”~“3”,设为最大数量=3个。HMD1首先相对于最初进入的AR图像a4赋予、显示ID图像“1”,关于AR图像a1取消ID图像“1”的赋予并消去。在该时间点显示最大数量=3个的ID图像“1”、“2”、“3”。HMD1对于接下来进入的AR图像a5赋予、显示ID图像“2”,关于AR图像a2消去ID图像“2”。在该时间点,显示最大数量=3个的ID图像“1”、“2”、“3”。像这样,HMD1以总是使用规定范围的ID图像“1”、“2”、“3”的方式对新进入的AR图像赋予、显示ID图像,并且取消并消去任意的AR图像的ID图像的赋予。
如上所述,实施方式1的HMD1能够预先设定在视线区域内能够显示的ID图像的最大数量,能够抑制被显示的ID图像的数量。另外,例如存在在视线区域内多个AR图像密集超过了最大数量,不能显示关于这些全部AR图像的多个ID图像的情况。HMD1对应于视线区域中的多个AR图像的密度的状态可以自动地控制视线区域的放大或者缩小。例如HMD1在多个AR图像密集地配置的情况下,可以缩小视线区域减小尺寸。例如HMD1在多个AR图像稀疏地配置的情况下,可以放大视线区域放大尺寸。例如HMD1为了匹配同时显示的最大数量可以调节视线区域的尺寸。通过使在显示面2中显示的ID图像的数量为大致一定数量,用户容易进行选择操作。另外,也可以将同时显示的最大数量设定为1个。在该情况下,因为在显示面2和视线区域20内仅显示最大1个的ID图像,所以容易进行选择操作。
[ID图像的选择、AR图像的处理实施]
图17表示与图15的影像的例子同样的实像的例子中,用户通过对应的ID图像b11(=ID图像“4”)来选择操作视线区域E2内的AR图像a11的情况的显示例。AR图像a1、a11进入视线区域E2内,显示ID图像“1”、“4”。某AR应用显示具有店铺的信息的AR图像a11。该AR应用进一步对应于该AR图像a11的选择操作,作为规定处理将关于该店铺的详细信息进一步作为AR图像提供。
用户想要看在AR图像a11中所示的关于店铺的详细信息。在该情况下,用户作为基本选择操作AR图像a11。这时,用户能够代替AR图像a11而利用为了辅助而显示的ID图像b11。在本例中,用户选择操作ID图像b11。在使用声音命令的情况下,用户将由ID图像b11表示的ID号码“4”(对应的“ID4选择”命令)用声音输入。例如用户输入声音“第四”等。HMD1识别该声音,作为“ID4选择”命令进行检测。HMD1根据该命令解释为具有ID“4”的ID图像b11的选择操作,这时,解释为与该ID图像b11相关联的AR图像a11的选择操作。
HMD1对应于ID图像b11的选择操作进行该ID图像b11的区别化显示(图4,步骤S24)。此外,相应地对于对象的AR图像a11也可以进行区别化显示。另外,HMD1将该AR图像a11的选择通知到对应的AR应用(图5)。由此,该AR应用使AR图像a11为选择状态,对应于该选择操作进行规定的规定处理、在本例中进行店铺详细信息显示。
该AR应用构成包含关于该店铺的详细信息的AR图像a11b,显示在AR图像a11的位置或者附近的位置。在本例中,AR图像a11b的详细信息包含“店铺AAA”的种类和营业时间等的信息。此外,AR应用中,某AR图像也可以由多个AR图像(例如多个阶层或多个页面等)构成。HMD1可以对于这些多个AR图像赋予、显示各自的ID图像。基于AR应用的数据输出也可以是声音输出。另外,例如AR应用在受理对于AR图像a11或者AR图像a11b的用户的规定操作(例如第二次的选择操作)的情况下,将AR图像a11b消去。
[ID图像的消去]
对ID图像的消去的控制例进行说明。HMD1对应于用户的规定操作消去视线区域内的ID图像,换言之切换为非显示。使用图14的影像的例子进行说明。在视线区域E1内对应于AR图像a1~a3显示了3个ID图像“1”~“3”。用户在该状态下想要消去视线区域E1内的ID图像的情况下,例如输入图9的C12的“ID显示关闭”命令。接收该命令,HMD1将视线区域E1内的ID图像“1”~“3”切换为非显示状态。HMD1在ID图像的非显示状态下,使该ID图像的选择操作无效。在ID图像被消去了的状态下,显示对应的AR图像,但不能进行选择操作。例如,在该状态下用户即使输入“ID1选择”命令,也不能选择ID图像“1”和AR图像a1。
另外,用户再次想要显示ID图像的情况下,例如输入图9的C11的“ID显示开启”命令。接收该命令,HMD1将视线区域E1内的ID图像“1”~“3”切换为显示状态。
作为变形例,也可以根据规定命令将ID图像和对应的AR图像同时消去。
[多个ID图像的选择]
说明从视线区域内的多个ID图像选择1个或者多个ID图像的情况下的控制例。首先,在图14的影像的例子中,用户关于视线区域E1内的ID图像“1”~“3”使用独立的命令(图9、C21~C29)能够指定并选择独立的AR图像。另外,用户通过在一定时间内将多个ID图像连续地指定的操作,能够将多个AR图像一并选择。例如在使用声音方式的情况下,用户在一定时间内连续地发声多个ID编号。HMD1在进行语音识别处理时检测出在一定时间内的多个单词(对应的声音单位),解释为多个单词相连产生的命令。输入声音例如为“1、3、5”等。由此,ID图像能够将“1”、“3”、“5”一并选择。另外,例如想要选择号码连续的ID图像“2”、“3”、“4”、“5”的范围的情况下,用户发声该范围。输入声音例如为“2至5”(2~5的意思)。由此能够将该范围一并选择。
作为其它方式,用户想要将视线区域E1内的全部ID图像“1”~“3”选择操作的情况下,例如输入图9的C30的“所有ID选择”命令。接收该命令,HMD1选择视线区域E1内的全部ID图像“1”~“3”。由此,能够将对应的3个AR图像a1~a3全部选择。
作为其它的方式,用户能够选择视线区域E1内的最靠近视线中心的1个ID图像。在该情况下,用户输入例如图9的C31的“1ID选择”命令。接收该命令,HMD1选择视线区域E1内的最靠近中心的ID图像、例如ID图像“1”。由此,能够仅选择对应的1个AR图像a1。
[视线区域的放大/缩小]
图18表示对应于用户的规定操作将视线区域放大或者缩小的情况的控制例。图18的影像的例与图14是相同的。最初为视线区域E1的状态。用户在相应放大视线区域的情况下,例如输入图9的C05的“视线区域放大”命令。接收该命令,HMD1将视线区域E1放大显示。显示出放大后的视线区域E11。视线区域E11具有比原来大的半径r11(r11>r1)。另外,用户想要缩小视线区域的情况下,例如输入图9的C06的“视线区域缩小”命令。接收该命令,HMD1将视线区域E1缩小地显示。显示出缩小后的视线区域E12。视线区域E12具有比原来小的半径r12(r12<r1)。
在放大后的视线区域E11的情况下,AR图像a4、a11新进入。与此相应地,例如HMD1在最大数量(例如5个)的条件内,对于AR图像a4、a11赋予、显示ID图像“4”、“5”。此外,在最大数量例如为3个的情况下,不对AR图像a4、a11赋予、显示ID图像“4”、“5”。在缩小后的视线区域E12的情况下,AR图像a2、a3出区域外,仅AR图像a1保持进入的原样。与此相应地,HMD1将AR图像a2、a3的ID图像“2”、“3”切换为非显示。像这样,通过视线区域的放大/缩小的操作,能够改变在显示面2中显示的ID图像的数量。对应于从用户所看到的状态,能够改变ID图像的数量,因此,用户容易进行ID图像的选择操作。
变形例的HMD1作为关于视线区域的放大/缩小的其它控制例,也可以按以下所述使用。在该控制例中,HMD1不是如图18所示以用户的操作为契机将视线区域放大/缩小,而是基于自动的判断将视线区域放大/缩小。预先基于用户设定,将在视线区域内能够同时显示的ID图像的最大数量设定为例如3个。此外,也可以设置用于对该最大数量进行设定变更的命令。声音的例子为“最大,三”等。
图19的(A)的例子为,在显示面2内多个AR图像(例如AR图像a1、a2、a3)密度比较小地、以较宽间隔配置。在该情况下,HMD1以视线的中心位置p1为基准,按照离该位置p1的距离从近到远的顺序检测至最大数量=3个的AR图像。例如按从近到远的顺序为AR图像a1、a2、a3。HMD1以与该3个AR图像的配置状态相匹配的尺寸构成视线区域20。在本例中,采用能够包含3个AR图像a1~a3的半径r1a,构成具有该半径r1a的视线区域E1a。并且,HMD1对于该视线区域E1a内的AR图像a1~a3赋予、显示各ID图像“1”~“3”。
图19的(B)的例子为,在显示面2内多个AR图像(例如AR图像a1、a2、a3)密度比较大地、以狭窄的间隔配置。例如AR图像的状态从(A)的状态向(B)的状态发生了变动。在该情况下,HMD1同样地按离视线的中心位置p1距离从近到远的顺序,检测至最大数量=3个的AR图像。HMD1以与该3个AR图像的配置状态相匹配的尺寸构成视线区域20。在本例中,采用能够包含3个AR图像a1~a3的半径r1b,构成具有该半径r1b的视线区域E1b。并且,HMD1对于该视线区域E1b内的AR图像a1~a3赋予、显示各ID图像“1”~“3”。
像这样,在该变形例中,对应与显示面2内的AR图像的配置状况自动地调节视线区域。该变形例尤其是在显示表示视线区域的图像的情况下等是有效的。
作为其它的控制例,也可以使用规定命令将视线区域的形状变形。例如,可以设置上下放大、上下缩小、左右放大、左右缩小等的各命令。用户能够在HMD1预先提供的与用户设定画面对应的显示中,选择视线区域的尺寸或形状等。
[视线区域的固定]
图20表示关于视线区域的固定和视线区域内的ID图像的固定的控制例。用户根据规定操作能够暂时将视线区域固定、或者解除该固定。通过视线区域的固定,视线区域内的ID图像的显示被固定,即使在视线移动了的情况下,也能够维持该ID图像的显示。
图20的影像的例子为最初视线区域E21的状态。在以位置p21为中心的视线区域E21内,AR图像a1、a11进入,显示对应的ID图像“1”、“2”。用户在想要将该视线区域E21的ID图像“1”、“2”的状态固定的情况下,例如输入图9的C03的“视线区域固定”命令。接收到了该操作的情况下,HMD1将包含此时的视线区域E21的位置和尺寸在内的状态固定。与该固定一起也固定在该视线区域E21内显示的ID图像“1”、“2”的状态。
上述固定后,例如用户使视线向右移动,视线方向的前端从位置p21向位置p22移动、从位置p22向位置p23移动。此时,如果没有固定的情况下,视线区域E21如视线区域E22、E23那样发生变动。AR图像a13新进入到视线区域E23内,赋予、显示ID图像。另一方面,如本控制例那样进行了固定的情况下,视线区域E21照原样不发生变化。由此,AR图像a1、a11的ID图像“1”、“2”照原样显示,关于AR图像a13也不赋予、显示ID图像。用户的视线即使处于位置p23等的状态下,用户也能够对ID图像“1”、“2”进行选择操作。
另外,用户在想要解除视线区域20的固定的情况下,作为规定操作输入例如图9的C04的“视线区域固定解除”命令。接收该命令,HMD1解除视线区域E21的固定的状态。HMD1与在解除时存在的视线的位置相匹配地重新再设定视线区域。例如,在解除时,视线处于位置p23的情况下,构成视线区域E23。由此,相对于处于视线区域E23内的AR图像a13例如赋予、显示ID图像“1”,关于处于视线区域E23外的AR图像a1等,消去ID图像“1”等。
[视线区域的偏离]
图21表示关于视线区域的偏离的情况下的控制例。HMD1在上述图3的步骤S3中,设定视线区域时,判断视线区域是否从显示面2偏离。HMD1在判断为视线区域的偏离了的情况下,与此相匹配地重新设定视线区域。最初为图21的(A)的状态。在该状态下,AR图像a1~a3进入到视线区域E1内,显示ID图像“1”~“3”。另外,在显示面2内显示与店铺等对应的AR图像a11。此外,在AR图像a11表示的建筑物的左边相邻位置也有建筑物,因为不能取得信息,所以不能生成对应的AR图像。在该状态下,视线区域E1不从显示面2偏离。
接着,例如由于用户的头部的动作而HMD1的方向发生变动,形成为(B)的状态。视线对着相同位置p1。在该状态下,视线区域E1的一半左右从显示面2的区域出到外侧,在显示面2内剩余半圆左右的部分。HMD1例如在视线的中心的位置p1从显示面2的区域出到外侧的情况下,将该状态判断为视线区域的“偏离”。此外,在(B)中,为了说明上容易理解,在显示面2之外也图示了与(A)对应的AR图像。本例为,由于HMD1的方向的变化而视线区域发生了偏离的情况,但也有由于用户的视线的移动而视线区域发生偏离的情况。
位置p1处于显示面2内的情况下,例如即使半圆程度的部分的视线区域也是有效的。关于处于该视线区域内的AR图像a1维持ID图像“1”的显示。另一方面,关于出到了显示面2的外侧的半圆程度的部分内的AR图像a2、a3,与对应的ID图像“2”、“3”一起当然都不显示。位置p1出了显示面2外的情况下,HMD1判断为偏离了视线区域E1的状态,关于处于该视线区域内的ID图像,进行重新设定。例如,HMD1关于AR图像a2、a3取消ID图像“2”、“3”的赋予。
另外,HMD1在用户的视线的位置恢复到显示面2内的情况下,对应于该位置设定视线区域。例如在视线的前端从(B)的位置p1移动到位置p5的情况下,与该位置p5对应地构成视线区域E5。在该情况下,与AR图像a11新进入视线区域E5内相对应,对该AR图像a11例如赋予、显示ID图像“2”。
作为变形例,HMD1也可以判断视线区域20的整个图像区域是否完全偏离显示面2以外。
[效果等(1)]
如上所述,依据实施方式1的影像显示装置,对应于用户注视的视线方向设定视线区域,通过在该视线区域内显示ID图像,能够提高关于AR图像的用户的操作性或易用性。尤其是,依据实施方式1,因为将ID图像显示限定在视线区域内,从用户看能够抑制显示面2的信息量,能够容易地进行使用ID的AR图像的选择操作。用户因为能够从较少数量的ID选择即可,因此容易操作。
另外,在实施方式1中,如图3所示,在AR图像的检测(步骤S2)后设定视线区域(步骤S3),显示ID图像(步骤S5)。用户能够一边观看显示面2内的AR图像一边设定视线区域,能够对该视线区域内的ID图像进行选择操作。由此,能够降低显示面2内的AR图像的漏看。
[比较例]
作为相对实施方式1的比较例的影像显示装置即HMD,使用专利文献1记载的构成例进行比较说明。比较例的HMD例如从显示于显示面内的AR图像(=AR目标)的一览取得1个AR图像,在该AR图像是能够选择的AR图像的情况下,对ID编号进行编排。并且,HMD将所编排的ID图像显示在AR图像的附近。在比较例中,与用户的视线方向无关、对AR图像赋予、显示ID图像。因此,存在在显示面中AR图像和对应的ID图像(对应的号码)变得很多的情况、或多个ID图像密集的情况。在该情况下存在用户难以选择操作ID图像的可能性。
另一方面,实施方式1的HMD1,即使在显示面2内存在很多AR图像的情况下,基本上限定于视线区域内来显示ID图像。另外,实施方式1的HMD1以多个ID图像尽可能容易观看的方式显示。由此,用户容易进行与所期望的AR图像相对应的ID图像的选择操作。另外,实施方式1的HMD1能够实现使用声音的视线区域的操作,由此能够提高ID图像的操作性。
[变形例(1)]
作为关于实施方式1的HMD1的变形例,可以有以下的例子。在实施方式1中,ID图像的选择作为基本的概念包括AR图像的选择和与AR图像相关联的处理的实施。即,用户在对某ID图像进行了选择操作的情况下,关于与该ID图像对应的AR图像的规定处理通过对应的程序自动地实施。在变形例的HMD中,ID图像的选择也可以构成为分为AR图像选择与AR图像处理实施的概念。在该情况下,用户在对某ID图像进行了选择操作的情况下,与该ID图像对应的AR图像通过对应的程序而成为被选择的状态。并且,用户在对于该选择状态的AR图像做出了规定操作的情况下,与该AR图像相关的规定处理通过对应的程序被实施。另外,关于上述ID图像选择概念,也可以混合存在,也可以以对应于AR应用或特定的AR图像在ID图像的选择操作时进行不同的动作的方式来设定。
[变形例(2)]
变形例的HMD具有能够将多个ID图像作为1个组来选择操作的功能。例如,存在用户想要将显示面2内的所希望的多个AR图像作为1个组来选择的情况,换言之,想要将多个AR图像一并选择的情况。首先,使用由上述图13所示的组ID,通过指定组ID的操作能够实现组的选择操作。另外,通过使用上述的“所有ID选择”命令,能够将视线区域内的全部ID图像一并选择。
作为其它方式,用户例如输入规定的“组选择”命令,接着依次指定独立的ID图像。例如,在选择视线区域内的ID图像“1”、“3”、“5”的情况下,输入声音例如为“选择1、3、5”等。另外,在AR图像选择与AR图像处理实施分开的情况下,使所希望的AR图像成为选择状态,通过输入规定的“实施”命令,能够使AR图像的处理实施。
(实施方式2)
使用图22~图26对本发明的实施方式2的影像显示装置进行说明。实施方式2等的基本的构成与实施方式1是相同的,以下关于与实施方式2等中的与实施方式1不同的构成部分进行说明。实施方式2的HMD在显示面内设置ID图像的选择操作用的区域(有时记载为“选择区域”或者“识别信息区域”等)。用户不仅能够对显示面内的选择区域以外的区域中显示的ID图像进行选择操作,也能够对选择区域内显示的ID图像进行选择操作。
在实施方式2的情况下,在上述图4的流程中,步骤S23的确认包含选择区域内的ID图像是否已被选择的确认。另外,步骤S26、S27的手势的判断包含对选择区域内的ID图像的手势的判断。
[选择区域(1)]
图22是表示实施方式2的HMD1中的显示面2的影像的例子。在显示面2内设置有关于ID图像的选择区域60。该选择区域60在本例中作为在显示面2的区域的下边的附近的横长的矩形区域而设置,例如是透射区域。该选择区域60可以构成为从用户看不见,也可以通过选择区域边界线的显示等从用户能够看见。
在视线区域20内,与上述(图11)同样地进入了3个AR图像A21、AR图像A23、A24、A25、A26共计7个AR图像。因为这些AR图像比较靠近地配置,照原样难以进行选择操作。在使用实施方式1的控制的情况下,对于7个AR图像赋予、显示ID图像“1”~“7”。因为这些ID图像“1”~“7”也比较靠近地配置,因此也存在照原样难以进行选择操作的可能性。
因此,实施方式2的HMD1,关于视线区域20内的7个AR图像将对应的ID图像显示在选择区域60内。HMD1在选择区域60内将多个ID图像按规定的规则进行整理而配置。在本例中,在选择区域60内,7个ID图像“1”~“7”按均等的间隔、且从左向右编号依次升序地排列而配置。例如,从选择区域60的左侧起依次有ID图像c1、c2、c3、……、c7。另外,在本例中,在选择区域60内,多个ID图像以比视线区域20内的ID图像大的尺寸显示。该ID图像起到ID选择按钮那样的功能。
用户能够对选择区域60内的各ID图像进行选择操作。这时,作为操作输入方式不限于上述的声音方式,也能够使用手势方式。例如用户想要选择ID图像c3=ID图像“3”。在声音方式的情况下,通过输入上述的“ID3选择”命令,能够选择ID图像c3,能够选择对应的1个AR图像A21。在使用手势方式的情况下,用户利用手指对ID图像c3的位置进行模拟的触摸的手势。该手势例如为,从用户看使指尖向与ID图像“3”的矩形区域叠加的位置移动并在该位置将之间放置规定时间以上的状态。在该手势时,用户的手指处于HMD1的显示面2的前方的外侧,透射显示面2和ID图像能够看见。因此,用户和摄像机5能够掌握该手指的状态。
HMD1基于摄像机5的图像的识别检测该手势,解释为ID图像c3的选择操作。基于该手势的ID图像选择操作的检测,与现有技术例的HMD中检测对于显示面内的各种位置的AR图像或ID图像的手势的情况相比,是容易的且检测精度较高。在实施方式2中,因为只要判断对预先决定的选择区域60内的ID图像的位置的手势即可,因此检测是容易的。即使在显示面2内AR图像或ID图像移动的情况下,ID图像显示在选择区域60内的固定的位置,因此检测是容易的。
此外,在图22的控制例中,在视线区域20内和选择区域60内的两者显示各自的ID图像。例如,关于AR图像A21,ID图像“1”在视线区域20内和选择区域60内双重显示。但并不限定于此,作为变形例,也可以仅在选择区域60内显示ID图像。但是,在该情况下,需要知道AR图像与ID图像的对应关系。例如,与ID图像一起显示AR图像的缩小图像、或者将AR图像和ID图像用连接线结合来显示,由此可知对应关系。
作为其它的操作输入方式,可以适用HMD1的操作输入部160。例如用户通过按压主体装置或者具有操作器的规定硬件按钮,能够进行选择区域60的ID图像的选择操作。
[选择区域(2)]
作为实施方式2的变形例,可以在选择区域60内,将ID图像与对应的AR图像的缩小图像等作为组对应地显示。
图23表示变形例中的显示例。AR图像a1、a2、a11进入到视线区域20内。HMD1将与视线区域20内的AR图像a1、a2、a11对应的ID图像“1”、“2”、“3”在选择区域60内按均匀的间隔k1分散地配置在排列的位置(左、中央、右)。并且,HMD1将各AR图像a1~a3的缩小图像与各ID图像作为一组配置。在选择区域60内,例如在左侧的位置,AR图像a1的ID图像“1”和包含AR图像a1的缩小图像的矩形图像作为一组显示。例如在中央位置,AR图像a11的ID图像“2”和包含AR图像a11的缩小图像的矩形图像作为一组显示。在选择区域60中,不限于AR图像的缩小图像,也可以显示截取AR图像之中的一部分的部分图像、或者将一部分的字符等放大了的图像等。
AR图像的缩小图像由于是与原本的AR图像的对应关系容易理解的图像,因此用户有近似直接操作原本的AR图像的感觉,能够容易进行ID图像的选择操作。
该选择区域60内的多个ID图像能够根据位置(例如左、中央、右)识别。实施方式2的HMD1即使使用位置指定的方式的命令,也能够进行选择区域60内的ID图像的选择操作。声音命令的例子能够举例“左ID选择”命令、“右ID选择”命令、“中央ID选择”命令等。“左ID选择”命令是从选择区域60的ID图像之中选择配置在左侧的ID图像的命令,声音例如是“左”。“右ID选择”命令是从选择区域60之中选择配置在右侧的ID图像的命令,声音例如是“右”。“中央ID选择”是从选择区域60之中选择配置在中央的ID图像的命令,声音例如是“中央”。
作为选择区域60内的其它配置例,在1个ID图像的情况下,在选择区域60的中央的位置显示1个ID图像,在2个ID图像的配置的情况下,在选择区域60内的左右的位置显示2个ID图像。在这些情况下也同样地使用规定命令进行独立的ID图像的选择操作。此外,本例为在选择区域60内从左侧起编号依次升序地配置的例子,但可以不限于此。
作为变形例,选择区域60中的ID图像、或保护AR图像的缩小图像的矩形图像,为了识别也可以为不同的颜色或形状。在该情况下,用户能够使用位置指定、颜色指定、形状指定等的方式的命令,将各ID图像或者AR图像相区别地进行选择操作。在设置颜色或形状的区别的情况下,可以在AR图像和ID图像的一者或者两者。例如,对选择区域60内的每一个位置(例如左、中央、右)显示的ID图像(或者AR图像的缩小图像)设定不同的颜色。例如,以选择区域60内的左侧的位置为红色、中央位置为蓝色、右侧的位置为黄色的方式进行设定。用户例如通过输入“红色ID选择”命令(例如声音“红色”),能够选择左侧的位置的ID图像。
另外,例如按选择区域60内的每一个位置设定不同的形状。例如以在选择区域60内的左侧的位置为圆形、中央位置为四边形、右侧的位置为三角形的方式设定。用户例如通过输入“三角ID选择”命令(例如声音为“三角”),能够选择操作右侧的位置的ID图像。
作为变形例,可以省略选择区域60内的ID图像的显示,也可以仅显示AR图像的缩小图像。
作为变形例,在选择区域60中多个ID图像也可以集中地配置在左、中央或右的任意的位置。
作为变形例,在ID图像的ID构成中,也能够适用编号以外的方式,例如颜色、形状等。ID图像只要是用户能够区别地指定的图像即可,因此编号的方式没有限定。在编号以外的ID图像的情况下,用户可以使用基于位置指定、颜色指定、形状指定等的方式的规定命令,进行ID图像的选择操作。
作为变形例,存在作为AR图像的生成的基础的实像的物体的情况下,也可以将该物体的图像、该物体图像的缩小图像、该物体图像的一部分图像等作为ID图像使用,或者一并使用。
[选择区域(3)]
作为实施方式2的变形例,在选择区域60内配置、显示ID图像时,在与对应的AR图像的位置尽可能匹配的位置进行配置、显示。
图24作为该变形例中的显示例表示了2个显示例。HMD1将关于视线区域20内的AR图像a1、a2、a11的ID图像“1”~“3”显示在下边的选择区域60内时,在显示面2的x方向(横方向)上,在与AR图像的位置尽可能对应的位置配置对应的ID图像。在本例中,在选择区域60内从左起依次配置有AR图像a11的ID图像“2”、AR图像a1的ID图像“1”、AR图像a2的ID图像“3”。在该情况下,ID编号没有依次地排列,但x方向位置表示出与AR图像的对应关系,因此用户容易进行选择操作。
作为另一显示例,HMD1也可以在显示面2内的其它位置设置选择区域60。选择区域60b是设置在显示面2内的右边的附近的例子。HMD1将关于视线区域20内的AR图像a1、a2、a11的ID图像“1”~“3”显示在右边的选择区域60b内时,在显示面2的y方向(纵向)上,在与AR图像的位置尽可能对应的位置配置对应的ID图像。此外,想要进一步使AR图像与ID图像的对应关系容易理解时,可以显示用虚线箭头表示的连接线。同样地,也可以在显示面2内的上边或左边设置选择区域60。另外,关于在显示面2内设置选择区域60的位置,也可以对应于用户的视线的位置或移动作为可变的位置来决定。
[效果等(2)]
如上所述,依据实施方式2的影像显示装置,通过使用选择区域60,能够提高关于AR图像的用户的操作性或易用性。尤其是,依据实施方式2,因为在选择区域60内显示ID图像,所以ID图像的选择操作容易进行。另外,即使在使用手势方式的情况下,与现有技术例相比能够提高检测精度,ID图像的选择操作容易进行。另外,在显示面2内显示的多个AR图像有可能各种各样的AR图像混合存在。各AR图像也可能具有各种尺寸或形状。在实施方式2中,即使存在各种各样的AR图像的情况下,也赋予ID编号,并统一为一定的尺寸,整理在选择区域60内来进行信息显示。由此,用户能够容易进行ID图像的选择操作。
[变形例(1)]
作为关于实施方式2的变形例也可以由以下的例子。在以下说明基于变形例的HMD1的使用了选择区域60的控制例。在该控制例中,HMD1将关于出到视线区域20外的AR图像的ID图像,在选择区域60内按规定规则配置来显示。
图25表示该控制例中的显示例。在本例中,将要使用的ID的范围设为“1”~“9”,将视线区域20内的同时显示的最大数量设为5个。最初,用户的视线形成为视线区域E21的状态。在视线区域E21内进入了AR图像a4、a5、AR图像a12、a13,对应地显示例如ID图像“1”~“4”。接着,视线例如向左移动,成为视线区域E22的状态。在视线区域E22内进入了AR图像a1、a2、a3、a4,对应地显示例如ID图像“4”~“7”。关于出到视线区域E22外的AR图像a5、a12、a13,在使用实施方式1的控制的情况下,使ID图像“1”~“3”为非显示。
该变形例的HMD1关于出到视线区域E22外的AR图像a5、a12、a13,使对应的ID图像“1”~“3”为非显示,并且在选择区域60内作为对应的ID图像c1~c3(ID图像“1”~“3”)来显示。HMD1在选择区域60内将3个ID图像c1~c3以均匀的间隔k1分散地配置在排列的位置(右、中央、左)。
用户在该状态下能够对选择区域60内的各ID图像c1~c3进行选择操作。由此,用户对于出到视线区域E22外的AR图像a5等也能够进行选择。例如用户对选择区域60内的ID图像c1=ID图像“1”进行了选择操作的情况下,能够选择与其对应的AR图像a5。
进一步,视线向左移动,形成为视线区域E23的状态。在视线区域E23内进入了AR图像a1、a11,对应地对于AR图像a1、a11例如显示ID图像“7”、“8”。在该变形例中,HMD1对于出到视线区域E23外的AR图像a2、a3、a4使对应的ID图像“5”、“6”、“4”为非显示,并且在选择区域60内追加显示对应的ID图像“5”、“6”、“4”。即,在选择区域60内,ID图像“1”~“6”与图22的例子同样地规则地配置而显示。同样地,在该状态下,用户能够对选择区域60内的各ID图像进行选择操作。此外,关于在选择区域60内显示的ID图像的数量,也可以设定最大数量。例如,该最大数量为3个的情况下,在选择区域60内不是显示ID图像“1”~“6”,而显示ID图像“4”~“6”。
作为变形例,HMD1也可以关于出到视线区域20外的AR图像,在时序上按照出到视线区域20外的顺序,将对应的ID图像在选择区域60内以历史记录的方式显示。在该选择区域60内,最多规定数量的多个ID图像相邻地显示,在超过了规定数量的情况下,从旧的ID图像起依次消去。在图25的例子中,出到视线区域外的AR图像的顺序为AR图像a13、a12、a5、a4、a3、a2的情况下,在选择区域60内依次地显示ID图像“3”、“2”、“1”、“4”、“6”、“5”。
[变形例(2)]
作为变形例的HMD1,如上述图21的例子所示,视线区域从显示面2偏离了的情况下,也可以将处于偏离了的视线区域内的ID图像在选择区域60内显示。图26表示偏离时的显示例。HMD1在判断为视线区域E1从显示面2偏离了的情况下,对于已进入到该视线区域E1内但看不到了的AR图像的ID图像,显示在选择区域60内。例如处于视线区域E1内的AR图像a2的ID图像“2”和AR图像a3的ID图像“3”配置在选择区域60的右侧的附近。在本例中,因为在显示面2的右边侧发生了偏离,因此在选择区域60内的靠右侧的位置显示ID图像。这时显示的ID图像与上述同样地,可以使用AR图像的缩小图像等。该变形例关于出到显示面2外的ID图像能够有效利用。
(实施方式3)
使用图27对本发明的实施方式3的影像显示装置进行说明。实施方式3的HMD关于图3的流程,处理的顺序不同,作为主要的变更点是步骤S2与步骤S3颠倒。实施方式3的HMD在设定了视线区域之后,提取视线区域内的AR图像并显示,并且赋予、显示ID图像。
图27中表示实施方式3的流程。步骤S1中,HMD1检测HMD1的位置等。在步骤S2b中,HMD1检测视线方向,并设定视线区域。在步骤S3b中,HMD1生成AR图像,并在位于视线区域内的情况下在视线区域内显示该AR图像。在步骤S4b中,HMD1检测与视线区域内对应的AR图像。在步骤S5中,HMD1对视线区域内的AR图像赋予并显示ID图像。实施方式3中,通过这样的流程构成,限定在视线区域内地显示AR图像和ID图像。
[显示例]
实施方式3的HMD1中的影像的显示例如以下所述。使用上述图14的例子。在图14中,AR图像在视线区域E1之外被显示,在实施方式3的情况下,仅在视线区域E1内显示AR图像和ID图像。例如,AR图像a1、a2、a3因为显示位置在视线区域E1内,因此被显示,显示ID图像“1”、“2”、“3”。AR图像a4、a5、a11、a12、a13因为显示位置处于视线区域E1外,所以不显示,ID图像也不显示。此外,视线区域E1移动,而显示位置变成了在内的状态,则显示该AR图像和ID图像。
[效果等(3)]
依据实施方式3,与视线匹配地抑制在显示面2中显示的AR图像和ID图像的数量,因此用户注视视线区域内的AR图像和ID图像进行操作即可,容易进行选择操作。在实施方式3中,不需要显示显示面2内的全部的AR图像,具有处理高效化等的优点。
(实施方式4)
使用图28对本发明的实施方式4的影像显示装置进行说明。实施方式4的HMD在视线区域内的AR图像移动而出了视线区域外的情况下,继续ID图像的显示。
[显示例]
图28表示实施方式4的影像的例子。(A)表示第一状态,(B)表示第二状态。图28的实像是十字路口附近的例子。本例中,将人作为显示AR图像的对象。某AR应用检测人的脸,将该人的信息作为AR图像提供。(A)的影像的显示面2内,存在例如人A、人B、人C者三人。人A和人C是用户不认识的普通人,人B是用户熟识的人。在AR应用中,预先登记有包含人B在内的、用户的熟识的人的脸和信息。
AR应用从摄像机5的图像通过公知的图像处理提取人的脸的区域。例如分别提取人A、人B、人C的脸的区域。AR应用基于特征识别等的图像处理,对特定的人(例如人B)的脸进行识别、判断。换言之,AR应用进行个人识别处理。此外,这时,例如能适应人B的脸图像的登记信息。AR应用检测到例如人B的脸的情况下,对于该人B的脸区域显示AR图像。该AR图像为表示是用户的熟人等特定的人(例如人B)的图像。本例中,该AR图像如AR图像a41所示是包围脸区域的框图像。该AR图像并不限定于此,也可以是包围身体的框图像、对话框图像、对应与人的标记等。
图28中,为了说明而将人B的脸附近放大来图示。该放大图中,在人B的脸的周围由作为AR图像a41的框图像。另外,该AR图像a41也可以伴随有人B的名字等的信息的字符图像。另外,AR应用在该AR图像a41被选择和实施的情况下,可以显示被登记的人B的信息。另外,AR应用在该AR图像a41被选择和实施的情况下,使用对话框图像等可以将人B的信息放大显示。
另外,在本例中,在图28的影像中,作为基于另一AR应用的AR图像的例子,显示了AR图像a42。AR图像a42为路线引导等的用于导航的箭头图像。该AR图像a42表示用户应该行进的方向。
实施方式3的HMD1,对进入到视线区域E41内的AR图像a41和AR图像a42对应地赋予显示ID图像b41和ID图像b42。例如,ID图像b41具有ID“1”,ID图像b42具有ID“2”。
从(A)的第一状态经过了时间,例如人B进行移动而成为(B)的第二状态。视线区域E41几乎处于相同位置。如果应用实施方式1的基本的控制的情况下,为以下的方式。在(B)的第二状态,因为AR图像a41出到视线区域E41外,ID图像b41的“1”成为非显示。在该情况下,不能进行ID图像b41的选择操作。用户例如在追踪人B的AR图像a41的情况下,移动视线而使视线区域移动,捕捉运动的人的AR图像a41。在该情况下,人B的AR图像a41的ID图像b41也被显示,因此能够进行ID图像b41的选择操作。但是,例如在视线区域内存在多个物体或AR图像,各自进行运动的情况下,或者注视一部分的AR图像的情况下,如人B那样一部分的AR图像移动而出到视线区域外,存在用户不能追踪的情况。
对此,实施方式4的HMD1在该第二状态下,关于出到视线区域E41外的AR图像a41也照原样继续显示ID图像b41的ID“1”。在该情况下,用户即使不移动视线,人B的AR图像a41和ID图像b41也继续显示。只要在显示面2内存在人B,用户能够追踪AR图像a41和ID图像b41,能够进行ID图像b41的选择操作。
此外,实施方式4的控制例如预先是用户设定,能够以在特定的AR应用或特定类型的AR图像的情况下适用的方式进行设定。或者,在用户进行了规定操作(例如“ID追踪”命令)的情况下,可以将该控制切换为适用状态。另外,也可以作为与实施方式2相组合的方式,在选择区域内显示追跡对象的AR图像的ID图像。
作为另一例子,关于箭头的AR图像a42如以下所述。某AR应用为了向目的地导航,依次地显示AR图像a42和AR图像a43等的多个AR图像。例如,在最初的某时间点显示AR图像a42,在接下来的某时间点显示AR图像a43。也可以是自动地依次地显示多个AR图像的方式,如果用户选择最初的AR图像a42,则接下来显示AR图像a43的方式。像这样,存在相关联的多个AR图像显示在不同的位置的情况。该情况下,存在至少一部分的AR图像出到视线区域20外的情况。例如AR图像a43出到视线区域E41外。
在这样的情况下,HMD1关于相关联的多个AR图像,关于出到视线区域外的AR图像也显示ID图像。例如,对于AR图像a42显示ID图像b42,对于AR图像a43显示ID图像b43。在本例中,ID图像b43的ID与ID图像b42的ID相同设为“2”。在有3个以上相关联的AR图像的情况下也是同样的。
[效果等(4)]
依据实施方式4,能够与物体、AR图像和ID图像的运动相匹配地继续进行ID图像的显示,因此用户对于出到视线区域外的AR图像也能够追踪并进行操作。此外,实施方式4的控制并不限于物体移动的情况下能够适用。例如,也可以在物体和AR图像静止,向视线区域移动的情况下能够适用。
(实施方式5)
适用图29对本发明的实施方式5的影像显示装置进行说明。实施方式5的HMD使用用户的视线的视线深度实现ID图像的控制。
[视线深度]
图29示意性地表示实施方式5中的视线深度的概念等。(A)是表示实像中的物体(例如人)的对应与位置的大小的例子。(B)表示从用户的眼的位置(=视点位置)起对应于进深方向上的物体的位置的视线深度范围。实施方式5的HMD1的视线检测部4具有检测视线深度的功能。视线检测部4分别检测左眼的视线方向与右眼的视线方向作为用户的两眼的视线方向。视线检测部4从左眼的视线方向与右眼的视线方向交叉的点起能够检测视线深度。
如上述图28的例子,在存在从用户看在进深方向上分别位于不同的位置的物体的情况下,如图29的(A)的影像例示,各个物体的大小不同。(A)的影像中,在三个人(人A、人B、人C)中,人A与HMD1的距离相对较近,视线深度浅。人C与HMD1的距离相对较远,视线深度深,人B为人A与人C的中间程度的距离,视线深度为它们的中间程度。
(B)用虚线表示分别来自用户的左眼与右眼的视线方向。2个视线方向交叉的点对应于视线深度。所谓视线深度范围是指有效的视线深度的范围。(B)中,纵轴表示HMD1与对象的人之间的距离,具有与人A的距离ZA,与人B的距离ZB,与人C的距离ZC。作为与距离对应的视线深度范围,表示视线深度范围HA、HB、HC。HMD1与所检测的视线方向和视线深度范围对应地设定视线区域20。例如在所检测的视线深度范围为视线深度范围HB的情况下,在(A)的影像中,设定视线区域E60。在该情况下,例如与人B对应的AR图像的ID图像的选择操作能够容易进行。
[控制例]
作为实施方式5的控制例,进一步,HMD1可以根据视线深度自动地调整视线区域的大小等。在图29的视线深度范围的左侧,表示了该控制例中的视线区域的大小的控制例。HMD1例如对应与视线深度的大中小的3个级别的判断,将视线区域的大小(例如半径)设定为从大中小的3个级别选择的级别。在该控制例中,对应于用户的视线方向和视线深度的状态,设定适当的大小的视线区域。对应于该视线区域的大小,决定视线区域内的AR图像和ID图像。即使用户的视线方向相同,对应于视线深度的不同而设定不同大小的视线区域。其结果是,成为选择候补的ID图像不同。例如,在图14的影像中,相对于AR图像a1,AR图像a2和AR图像a4的基础位置处于进深方向的位置。相对于用户注视AR图像a1的情况下,注视AR图像a2等的情况下的视线深度变得更深。与此相应地,HMD1设定更小的尺寸的视线区域20。由此,进入到视线区域20内的AR图像进一步缩小范围。其结果是,被显示的ID图像的数量变少,能够以进一步缩小范围的状态进行ID图像的选择操作。
[效果等(5)]
依据实施方式5,作为视线深度添加三维空间内的进深方向的视线状态,因此能够更详细地控制视线区域或ID图像。例如用户根据视线的注视容易对于选择对象的ID图像缩小范围。
(实施方式6)
使用图30对本发明的实施方式6的影像显示装置进行说明。实施方式6的HMD,作为关于特定的AR应用的控制例,利用多个ID图像对于物体对应的多个AR图像进行选择操作,实现规定功能。
[显示例(1)]
图30的(A)表示实施方式6的影像的例子。该实像在室内的角落中作为物体151有三角形桌子。实施方式5的HMD1使用传感器部150掌握室内的HMD1的位置。HMD1例如使用摄像机5、传感器部150的距离传感器,测量HMD1与墙壁或床的距离,或者测量HMD1与物体151的距离。HMD1关于室内的各种物体,掌握三维空间内的位置,掌握与HMD1的位置关系。此外,作为距离传感器,能够适用例如TOF(Time Of Flight)方式、使用了激光的图案照射方式、使用多个摄像机进行计算的方式等的公知的方式。
实施方式5的HMD1,例如某AR应用使用摄像机5拍摄室内等的空间,使用该拍摄影像生成AR图像。该AR应用例如是具有根据用户的操作在室内模拟地配置物体(对应的AR目标)的功能的应用,例如能够用于室内的布局的模拟等。
HMD1例如在处于视线区域20内的三角形桌子的物体151上,配置用户指定的AR目标152并进行显示。AR目标152例如是表示圆柱形状的物体的AR图像。该AR目标152根据AR应用或用户的指定例如能够形成为花瓶或模型等各种各样的图像。HMD1对于该AR目标152位于视线区域20内的情况下赋予、显示ID图像153。
另外,AR应用根据用户的规定操作(例如手势)将AR目标152移动并显示。即,用户能够将AR目标152配置在所希望的位置。HMD1根据AR目标152的移动,也使对应的ID图像153移动。作为另一例子是,AR目标154对墙壁配置表示绘画或窗户等的矩形图像的例子。
HMD1例如在AR目标152的ID图像153被选择操作了的情况下,实施与AR目标152相关联的规定处理。该处理例如能够使使AR目标152成为选择状态的处理、AR目标152的显示的开启/关闭等的各种处理。例如,存在基于直接的触摸或滑动等的手势的AR目标152的移动操作难以进行的情况。在该情况下,用户通过声音输入选择ID图像153,使AR目标152成为选择状态。并且,用户使用AR应用提供的规定命令(例如“右移动”、“左移动”等的命令),能够使AR目标152移动。
[显示例(2)]
图30的(B)表示另一影像的例子。HMD1的AR应用关于1个三角形桌子等的物体151,能够附加显示多个AR对象。某AR应用具有例如测量物体的长度等的功能。HMD1基于摄像机5的图像识别,检测物体151的边缘、特征点。由此,例如能够检测物体151的上表面的左角的点p51、右角的点p52、进深侧的点p53等。HMD1例如对于左右2个角的点p51、p52显示AR目标a51、a52。AR目标a51为表示左角点的箭头图像,AR目标a52为表示右角点的箭头图像。并且,HMD1对于各AR目标a51、a52分别赋予、显示ID图像。例如对于AR目标a51作为ID图像b51显示ID图像“2”,对于AR目标a52作为ID图像b52显示ID图像“3”。
用户通过视线区域20内的ID图像的选择操作,能够选择多个AR目标。在本例中,用户使用该AR应用的测量功能,测量物体151的2点间的长度。因此,用户选择操作与2点对应的2个ID图像b51、b52。操作例如是“ID2选择”命令和“ID3选择”命令的输入。由此,能够使2个ID图像b51、b52为选择状态。AR应用在多个AR图像成为选择状态的情况下,掌握这些AR图像间的关系,基于该关系,实施对多个AR图像的规定处理。本例中,AR应用技术选择状态的点p51与点p52之间的距离(2点间的直线的长度)。AR应用也可以显示2点间的直线的AR图像。AR应用将所计算的距离的信息作为例如AR图像155显示。同样地,AR应用根据物体的3点的指定,能够测量3点间的区域的面积。
[效果等(6)]
依据实施方式6,如上述例子所述能够有效地辅助处理多个AR图像的AR应用的操作输入。在AR图像小的情况下或者要求精细的操作的情况下等,也能够使用ID图像进行操作。
(实施方式7)
使用图31对本发明的实施方式7的影像显示装置进行说明。实施方式7中,在特定的AR应用中,对于实像的物体直接赋予、显示ID图像,能够进行该物体的模拟的操作。
图31表示实施方式7的影像的例子。该实像是在室内,例如存在椅子和桌子等的多个(例如2个)物体OB1、OB2。HMD1基于摄像机5的图像的识别,对显示面2内的多个物体OB1、OB2的图像区域R1、R2相区别地进行检测。HMD1判断在视线区域20内包含的物体图像区域,对在视线区域20内包含的物体图像区域赋予并显示ID图像。例如,对于物体OB1的区域R1赋予、显示ID图像“1”。
用户对与所希望的物体对应的所希望的ID图像进行选择操作。例如,通过声音输入用于选择与物体OB1对应的ID图像“1”的命令。HMD1使与所选择的ID图像对应的物体的物体图像区域成为选择状态。对应的AR应用实施关于选择状态的物体的物体图像区域的规定处理。AR应用の处理例如下所述。
第一例的AR应用例如通过互联网从所选择的物体图像区域检索并取得关于该物体的信息。该AR应用将所取得的信息作为AR图像显示在显示面2内。例如在物体为商品的情况下,能够显示该商品的信息。
第二例的AR应用与实施方式5同样地,是模拟室内的布局的应用的另一例子。该AR应用将所选择的物体图像区域根据用户的规定操作模拟地移动。规定操作例如可以是手指的滑动的手势,也可以是指示物体的移动的声音命令。在该移动时,程序对实像的物体图像区域叠加显示整面涂抹等的图像,而使其不能被看到或者能够明白其是要移动的物体的表现方式来显示。AR应用一边使该物体图像区域移动一边进行显示。由此,对于用户能够看成是模拟地进行了物体移动。由此,用户能够进行物体的配置的模拟等。
图31的(A)表示物体OB1的模拟的移动前的状态,(B)表示物体OB1的模拟的移动后的状态。用户使(A)的物体OB1的物体图像区域向右移动。视线区域也向右移动。在移动前的状态下,AR应用对视线区域E71内的物体OB1赋予、显示ID图像“1”。AR应用也可以将表示区域R1的框图像作为AR图像来显示。用户对与物体OB1对应的ID图像“1”进行选择操作,通过规定操作使物体OB1模拟地向右移动。HMD1对移动前的物体OB1的区域R1显示整面涂抹图像g1,其用于使移动后物体OB1不能被看到。此外,关于整面涂抹图像g1,如果使用周围图像进行用于模拟地看成背景的图像加工,则更加优选。HMD1在移动后的区域R1b中显示表示物体OB1的图像g2。图像g2为AR图像的一种,是与物体的图像区域对应的AR图像。HMD1对图像g2维持ID图像“1”的显示。此外,移动后的区域R1b的图像g2可以与移动前的物体OB1的图像相同,通过图像加工处理而形成为调整了物体的方向或尺寸等的图像,则更加优选。
[效果等(7)]
依据实施方式7,对于实像的物体使用ID图像,能够进行模拟的操作。
[附记]
(1)影像显示装置根据视线区域内的生成图像的数量或者密度自动地放大或者缩小视线区域。
(2)影像显示装置在时序上对相同生成图像尽可能地维持包含相同识别信息的ID图像。
(3)影像显示装置在每一时间点,对视线区域内的生成图像按规定规则重新赋予包含识别信息的ID图像。
(4)影像显示装置,在作为生成图像而多个生成图像密集的情况下,将ID图像以不密集的状态显示。
(5)影像显示装置,在作为生成图像而多个生成图像构成组的情况下,按组的单位赋予、显示ID图像,对应于组的ID图像的选择操作选择组的多个生成图像。
以上,基于实施方式对本发明进行了具体的说明,但本发明不限与上述的实施方式,在不偏离主旨的范围内能够进行各种变更。也能够实现各实施方式相组合的构成,或实现实施方式的构成要素的追加、删除、置换等的构成。实施方式的影像显示装置表示了适用HMD的情况,但并不限定于此,只要是具有对实像叠加显示生成图像的功能的装置,也能够适用于HUD装置等。关于在实施方式中所说明的程序处理或信息处理,可以是基于通用的软件程序处理而实现,也可以是基于FPGA或ASIC等的专用的硬件电路等来实现。程序的数据可以存储在诸如磁盘或存储卡等的计算机可读存储介质中。程序可以在产品出厂时存储,或者可以存储在通信网络上的伺服或DB等中。数据结构不限于表结构。关于上述识别信息(ID)可以被替换为识别符等的类似的表现。
附图标记的说明
1…HMD、2…显示面、3…扬声器、4…视线检测部、5…摄像机。

Claims (20)

1.一种在实像上叠加地显示生成图像的影像显示装置,其特征在于:
在显示面显示所述生成图像,
创建ID图像,该ID图像包含用于辅助用户对所述生成图像的操作的识别信息,
检测所述用户的视线方向来设定与所述视线方向对应的视线区域,
在所述生成图像位于所述视线区域内的情况下,将所述ID图像与所述生成图像对应地进行显示,
受理所述用户对所述ID图像的选择操作,
在接受了所述ID图像的所述选择操作的情况下,选择与所述ID图像对应的所述生成图像,实施与所述生成图像相关联的规定处理。
2.如权利要求1所述的影像显示装置,其特征在于:
在所述生成图像进入到所述视线区域内的情况下显示所述ID图像,在所述生成图像移出到所述视线区域外的情况下不显示所述ID图像,
使得显示了所述ID图像的所述生成图像能够被选择,并使得没有显示所述ID图像的所述生成图像不能被选择。
3.如权利要求1所述的影像显示装置,其特征在于:
所述识别信息由包含编号的字符、颜色、形状和对所述生成图像进行了加工而得到的图像中的至少一者构成。
4.如权利要求1所述的影像显示装置,其特征在于:
所述ID图像的所述选择操作是通过基于语音识别的命令、手指的手势检测和硬件按钮输入中的至少一者来受理的。
5.如权利要求1所述的影像显示装置,其特征在于:
按照所述用户的操作来切换表示所述视线区域的图像的显示与非显示。
6.如权利要求1所述的影像显示装置,其特征在于:
响应所述用户的操作来放大或缩小所述视线区域。
7.如权利要求1所述的影像显示装置,其特征在于:
响应所述用户的操作来将所述视线区域内的所述ID图像的显示固定或者解除固定。
8.如权利要求1所述的影像显示装置,其特征在于:
响应所述用户的操作来切换所述ID图像的显示与非显示。
9.如权利要求1所述的影像显示装置,其特征在于:
响应所述用户的操作来选择所述视线区域内的所述ID图像的全部或其中任一者。
10.如权利要求1所述的影像显示装置,其特征在于:
设定有在所述视线区域内能够同时显示的所述ID图像的最大数量。
11.如权利要求1所述的影像显示装置,其特征在于:
在所述显示面内设定显示所述ID图像而受理所述选择操作的选择区域。
12.如权利要求11所述的影像显示装置,其特征在于:
在所述选择区域内显示移出到所述视线区域外的所述生成图像的所述ID图像。
13.如权利要求11所述的影像显示装置,其特征在于:
在所述选择区域内将所述ID图像显示在等间隔分散地排列的位置。
14.如权利要求11所述的影像显示装置,其特征在于:
所述选择区域内的所述ID图像的所述选择操作是通过位置指定、颜色指定和形状指定中的至少一者来受理的。
15.如权利要求1所述的影像显示装置,其特征在于:
在设定了所述视线区域后,显示位于所述视线区域内的所述生成图像,并对所述生成图像显示所述ID图像。
16.如权利要求1所述的影像显示装置,其特征在于:
在所述视线区域内显示有所述ID图像的所述生成图像,在移出到所述视线区域外的情况下,继续所述ID图像的显示并受理所述选择操作。
17.如权利要求1所述的影像显示装置,其特征在于:
检测所述用户的视线深度,并与所述视线方向和所述视线深度相应地设定所述视线区域。
18.如权利要求1所述的影像显示装置,其特征在于:
按照所述用户的操作,来在所述实像内的所述用户所指定的位置配置所述用户所指定的所述生成图像,
响应与所述生成图像对应的所述ID图像的所述选择操作来使所述生成图像移动。
19.如权利要求1所述的影像显示装置,其特征在于:
对于所述实像内的物体,将所述ID图像与其相关联地进行显示,
响应所述ID图像的所述选择操作来操作与所述物体的图像区域对应的所述生成图像。
20.一种在实像上叠加地显示生成图像的影像显示装置的影像表示方法,其特征在于,包括:
在显示面显示所述生成图像的步骤;
创建ID图像的步骤,该ID图像包含用于辅助用户对所述生成图像的操作的识别信息;
检测所述用户的视线方向来设定与所述视线方向对应的视线区域的步骤;
在所述生成图像位于所述视线区域内的情况下,将所述ID图像与所述生成图像对应地进行显示的步骤;
受理所述用户对所述ID图像的选择操作的步骤;和
在接受了所述ID图像的所述选择操作的情况下,选择与所述ID图像对应的所述生成图像,实施与所述生成图像相关联的规定处理的步骤。
CN201880099833.4A 2018-11-29 2018-11-29 影像显示装置和方法 Pending CN113168279A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044066 WO2020110270A1 (ja) 2018-11-29 2018-11-29 映像表示装置および方法

Publications (1)

Publication Number Publication Date
CN113168279A true CN113168279A (zh) 2021-07-23

Family

ID=70854189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099833.4A Pending CN113168279A (zh) 2018-11-29 2018-11-29 影像显示装置和方法

Country Status (5)

Country Link
US (3) US11487359B2 (zh)
EP (1) EP3889749A4 (zh)
JP (3) JP7076007B2 (zh)
CN (1) CN113168279A (zh)
WO (1) WO2020110270A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922690B2 (en) * 2019-06-25 2024-03-05 Semiconductor Energy Laboratory Co., Ltd. Data processing system and data processing method
TW202117503A (zh) * 2019-10-15 2021-05-01 視鏡科技股份有限公司 互動式眼鏡框試戴系統及方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
GB2591745A (en) 2020-01-31 2021-08-11 Mclaren Automotive Ltd Augmented reality system
CN112270297B (zh) * 2020-11-13 2024-05-31 杭州睿琪软件有限公司 用于显示识别结果的方法和计算机***
WO2022173724A1 (en) * 2021-02-15 2022-08-18 Dathomir Laboratories Llc Transitioning content in views of three-dimensional environments using alternative positional constraints
JPWO2023079875A1 (zh) * 2021-11-04 2023-05-11
WO2023181549A1 (ja) * 2022-03-24 2023-09-28 キヤノン株式会社 制御装置、制御方法、プログラム
US20240045496A1 (en) * 2022-08-03 2024-02-08 Sony Interactive Entertainment Inc. Improving accuracy of interactions for gaze-enabled ar objects when in motion

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160564A (ja) 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
JP5853406B2 (ja) * 2011-04-25 2016-02-09 カシオ計算機株式会社 電子機器、アイコン表示方法、プログラム
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
JP6291894B2 (ja) * 2014-02-20 2018-03-14 日本電気株式会社 入力装置、入力方法及びプログラム
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置
KR102212030B1 (ko) 2014-05-26 2021-02-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
JP2016004340A (ja) 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6609994B2 (ja) * 2015-05-22 2019-11-27 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
JP2017182247A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20170289533A1 (en) * 2016-03-30 2017-10-05 Seiko Epson Corporation Head mounted display, control method thereof, and computer program
CN110419063B (zh) 2017-03-17 2024-07-16 麦克赛尔株式会社 Ar显示装置和ar显示方法
JP6903998B2 (ja) * 2017-03-29 2021-07-14 セイコーエプソン株式会社 ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JP7076007B2 (ja) 2022-05-26
US20230019625A1 (en) 2023-01-19
JP2022119826A (ja) 2022-08-17
EP3889749A1 (en) 2021-10-06
US11487359B2 (en) 2022-11-01
WO2020110270A1 (ja) 2020-06-04
JPWO2020110270A1 (ja) 2021-09-27
US11803240B2 (en) 2023-10-31
EP3889749A4 (en) 2022-07-06
JP2023168575A (ja) 2023-11-24
US20230418376A1 (en) 2023-12-28
JP7364740B2 (ja) 2023-10-18
US20210397252A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
JP7364740B2 (ja) 映像表示装置
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US20230316682A1 (en) Beacons for localization and content delivery to wearable devices
US20220004255A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10591729B2 (en) Wearable device
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
JP5675470B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
US9459706B2 (en) Information display system, information display method, and recording medium
JP5714855B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JPWO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11397320B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20210025769A (ko) 증강현실 기반 관람 가이드 서비스 방법
KR20200111144A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20200004135A (ko) 증강현실 기반의 모델하우스 가상이미지 제공방법
KR102473669B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220224

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right