JP7076007B2 - 映像表示装置および方法 - Google Patents
映像表示装置および方法 Download PDFInfo
- Publication number
- JP7076007B2 JP7076007B2 JP2020557491A JP2020557491A JP7076007B2 JP 7076007 B2 JP7076007 B2 JP 7076007B2 JP 2020557491 A JP2020557491 A JP 2020557491A JP 2020557491 A JP2020557491 A JP 2020557491A JP 7076007 B2 JP7076007 B2 JP 7076007B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- sight
- user
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 108
- 230000008569 process Effects 0.000 claims description 41
- 230000004044 response Effects 0.000 claims description 19
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 151
- 238000012545 processing Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 41
- 230000004048 modification Effects 0.000 description 25
- 238000012986 modification Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 15
- 238000007726 management method Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- TUBQDCKAWGHZPF-UHFFFAOYSA-N 1,3-benzothiazol-2-ylsulfanylmethyl thiocyanate Chemical compound C1=CC=C2SC(SCSC#N)=NC2=C1 TUBQDCKAWGHZPF-UHFFFAOYSA-N 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
- H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- Social Psychology (AREA)
- Optics & Photonics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
Description
図1~図21を用いて、本発明の実施の形態1の映像表示装置について説明する。実施の形態1の映像表示装置は、HMDに適用した場合を示す。HMDの方式として透過型HMDである場合を示すが、非透過型HMD等の他の方式の場合にも、同様に適用可能である。
図1は、実施の形態1の映像表示装置であるHMD1の外観を示す。HMD1は、頭部装着型の筐体に、表示面2、スピーカ3、視線検出部4、カメラ5、および図示しないマイク等を備えている。HMD1の筐体には、制御部や表示部が内蔵されている。制御部は、集積回路等で構成され、表示部を含め、HMD1の全体を制御する。表示部は、表示面2を含み、表示面2に映像を表示する。表示面2は、ユーザが映像を視認できる領域である。表示面2は、例えばユーザの両目の前に配置される眼鏡形状の表示素子であり、例えば透過型の表示面である。すなわち、HMD1は、透過型HMDである。制御部は、表示面2に対するAR画像を含む映像の表示を制御する。表示部は、例えば投射型表示装置で構成され、光源、レンズ等の光学系、駆動回路等を含む。透過型HMDの場合、ユーザの目から見た表示面2において、前方の実像が透過され、その実像上に、AR画像等の生成画像が重畳表示される。他の実施の形態で非透過型HMDを用いる場合、表示面2を含む表示部は例えば液晶表示素子で構成される。この場合、表示面2には、カメラ5で撮影した前方の映像に対し生成画像を合成した映像が表示される。表示面2への映像表示方式は、例えば投射型表示方式が適用可能であるが、特に限定しない。
図2は、HMD1の機能ブロック構成を示す。HMD1は、主制御部100、記憶部110、映像処理部120、音声処理部130、通信処理部140、センサ部150、操作入力部160、バッテリ170、システムバス180等を有する。各部は、システムバス180を介して、コマンドやデータの送受信を行う。主制御部2は、MPU等で構成されるプロセッサであり、記憶部120のプログラム111に従って、HMD1全体を制御する。プロセッサは、記憶装置のプログラムのデータを処理用のメモリ上に読み出し、プログラムに従った処理を実行することにより、所定の機能等を実現する。
図3は、HMD1の主な処理のフローを示す。図3のフローは、ステップS1~S9を有する。以下、ステップの順に説明する。主な処理の主体はプロセッサである。
図4は、ステップS6~S8のID画像の処理に関する詳細処理例のフローを示す。図4は、ステップS21~S27を有する。ステップS21で、HMD1は、音声認識に基づいて所定のコマンドを検出する。HMD1は、後述のコマンド表(図9)に従って処理を行う。ステップS22で、HMD1は、検出したコマンドに対応した所定の機能の処理を実行する。コマンドは、視線領域の操作に関するコマンドや、ID画像の操作に関するコマンド等があり、各コマンドには、対応する処理が規定されている。
図5は、実施の形態1のHMD1のソフトウェアの構成例を示す。図5では、HMD1のOSやミドルウェアのレベルにおいて、支援機能を実装した例を示している。HMD1は、OS500、ARプログラム501、ARアプリ502、プログラム510を有する。OS500はミドルウェア等を含む。ARプログラム501は、OS500に含まれている、AR画像の生成、表示を行う機能を持つプログラムである。ARプログラム501は、例えば、HMD1の時刻、バッテリ状態、通信状態等の情報、各種の機能のアイコン等を、AR画像として表示面2に表示するプログラムである。本例では、ARプログラム501がAR画像Axを生成し表示面2に表示している場合を示す。
図6は、表示面2のAR画像を含む映像に対するID画像の付与、表示についての基本を示す。図6で、矩形の枠は、表示面2を概略的に示している。なお、表示面2の2次元の座標系を(x,y)で示す。x方向は横方向、面内水平方向とし、y方向は縦方向、面内垂直方向とする。表示面2内には、図示しない物体や地理的位置に応じて、あるいは、物体とは独立で、1つ以上のAR画像30が表示される場合がある。本例では、AR画像30は、ハート形状のマークのAR画像a1や、スター形状のマークのAR画像a2を有する。AR画像a1は、表示面2内の位置p2(x2,y2)に表示されている。
図7は、視線領域20の構成例を示す。図7では、視線領域20の例として、視線領域20a,20b,20cを示す。視線領域20aは、図6と同様に円形を持つ例である。視線領域20の形状は、これに限らず、各種の形状が設定可能である。視線領域20bは、横長の楕円形状を持つ例である。視線領域20cは、横長の矩形を持つ例である。また、視線領域20の半径等のサイズについては、予め設定された固定のサイズとしてもよいし、ユーザ設定で変更可能としてもよい。例えば、視線領域20の縦および横の幅をユーザ設定可能としてもよい。また、後述するが、HMD1の使用時、ユーザによる所定の操作入力に応じて、視線領域20のサイズ等の変更が可能である。
図8は、AR画像およびID画像に関する制御のための管理テーブルの構成例を示す。この管理テーブルは、すべてのAR画像およびID画像に関するリストを持つ。HMD1は、この管理テーブルに、すべてのAR画像およびID画像の情報を読み書きする。HMD1のプロセッサは、メモリ上、DB112の一部として、管理テーブルを作成し、保持する。HMD1は、この管理テーブルを参照することで、その時点のAR画像やID画像の状態を把握できる。
図9は、実施の形態1における音声認識方式に対応した、コマンド表の構成例を示す。このコマンド表には、予め、使用できるコマンドが設定されている。このコマンド表は、項目として、コマンドID、対象(種別)、コマンド、音声、備考を有する。表の行毎にコマンドが設定されている。HMD1は、入力音声から、コマンド表にある「コマンド」を検出する。「コマンドID」は、「コマンド」の識別子を示す。「対象(種別)」は、その「コマンド」の対象、種別を示す。「音声」は、その「コマンド」の入力時の音声の例を示す。「音声」は、例示する音声に限定されず、各コマンドを一意に区別できる音声であればよく、様々に設定可能である。「備考」は、処理内容等の説明を示す。
図10および図11は、表示面2におけるAR画像およびID画像の表示例を示す。図10の例は、室外でHMD1を利用している場合の映像の例として、道路付近で店舗等の建物が見える実像を含む場合を模式的に示す。図11の例は、室内でHMD1を利用している場合の映像の例として、テーブルや壁等が見える実像を含む場合を模式的に示す。まず、既存のARプログラムによって表示可能であるAR画像の表示例については以下の通りである。AR画像を生成し表示する方式については、公知技術を適用可能であり、特に限定しない。各種のAR方式が混在してもよい。例えば図5の各ARアプリ503のAR方式は異なってもよい。
上記例では、ID画像のIDとしては「1」「2」等の番号を用いている。ID画像のIDは、使用できる範囲が設定されてもよい。例えば、HMD1は、デフォルト設定では、IDの範囲が「1」~「9」と設定される。また、表示面2内に同時に表示できるID画像の数、または視線領域20内に同時に表示できるID画像の数についても、設定可能である。例えば、HMD1は、デフォルト設定では、視線領域20内のID画像の最大数が5個と設定される。これらの制限によって、表示面2内の情報量を抑制し、見やすくすることができる。
実施の形態1における、より詳しいID画像の表示制御例について以下に説明する。HMD1は、視線領域20の変化に応じたAR画像の変化に応じて、ID画像を付与、表示する制御を行う。
図16は、表示面2の映像の例を示す。図14の第1状態の視線領域E1から、ユーザの視線が少し右に移動して、図16の視線領域E3の状態になったとする。視線領域E3内には、AR画像a1,a2,a3が入ったままであり、新たに、AR画像a4,a5が入っている。ここで、ユーザ設定の状態として、IDの範囲が「1」~「9」であり、視線領域内のID画像の同時表示の最大数が3個であるとする。視線領域E3内には5個のAR画像の位置が入っているが、HMD1は、最大数=3個に限定してID画像を表示する。
図17は、図15の映像の例と同様の実像の例で、ユーザが視線領域E2内のAR画像a11を、対応するID画像b11(=ID画像「4」)によって選択操作する場合の表示例を示す。視線領域E2内には、AR画像a1,a11が入っており、ID画像「1」「4」が表示されている。あるARアプリは、店舗の情報を持つAR画像a11を表示している。このARアプリは、さらに、このAR画像a11の選択操作に応じて、所定の処理として、その店舗に関する詳細情報を、さらなるAR画像として提供する。
ID画像の消去の制御例について説明する。HMD1は、ユーザの所定の操作に応じて、視線領域内のID画像を消去、言い換えると非表示に切り替える。図14の映像の例を用いて説明する。視線領域E1内には、AR画像a1~a3に対応して、3個のID画像「1」~「3」が表示されている。ユーザは、この状態で、視線領域E1内のID画像を消去したい場合、例えば図9のC12の「ID表示オフ」コマンドを入力する。これを受けて、HMD1は、視線領域E1内のID画像「1」~「3」を非表示状態に切り替える。HMD1は、ID画像の非表示状態では、そのID画像の選択操作を無効とする。ID画像が消去された状態では、対応するAR画像は表示されているが、選択操作はできない。例えば、この状態でユーザが「ID1選択」コマンドを入力しても、ID画像「1」およびAR画像a1の選択はできない。
視線領域内の複数のID画像から1つまたは複数のID画像を選択する場合の制御例を説明する。まず、図14の映像の例で、ユーザは、視線領域E1内のID画像「1」~「3」について、個別のコマンド(図9、C21~C29)を用いて、個別のAR画像を指定して選択可能である。また、ユーザは、一定時間内に複数のID画像を連続的に指定する操作によって、複数のAR画像をまとめて選択することもできる。例えば、音声方式を用いる場合、ユーザは、一定時間内で、連続的に、複数のID番号を発声する。HMD1は、音声認識処理の際、一定時間内での複数のワード(対応する音声単位)を検出し、複数のワードのつながりによるコマンドとして解釈する。入力音声は、例えば「イチ、サン、ゴ」等である。これにより、ID画像「1」「3」「5」をまとめて選択できる。また、例えば、番号が連続するID画像「2」「3」「4」「5」の範囲を選択したい場合、ユーザは、その範囲を発声する。入力音声は例えば「ニ、カラ、ゴ」(2~5の意味)である。これによってその範囲がまとめて選択可能である。
図18は、ユーザの所定の操作に応じて視線領域を拡大または縮小する場合の制御例を示す。図18の映像の例は図14と同様である。最初、視線領域E1の状態であるとする。ユーザは、視線領域を拡大したい場合、例えば、図9のC05の「視線領域拡大」コマンドを入力する。これを受けて、HMD1は、視線領域E1を拡大して表示する。拡大後の視線領域E11を示す。視線領域E11は、元よりも大きい半径r11を持つ(r11>r1)。また、ユーザは、視線領域を縮小したい場合、例えば、図9のC06の「視線領域縮小」コマンドを入力する。これを受けて、HMD1は、視線領域E1を縮小して表示する。縮小後の視線領域E12を示す。視線領域E12は、元よりも小さい半径r12を持つ(r12<r1)。
図20は、視線領域の固定、および視線領域内のID画像の固定に関する制御例を示す。ユーザは、所定の操作に応じて、一時的に視線領域を固定することや、その固定を解除することができる。視線領域の固定によって、視線領域内のID画像の表示が固定され、視線が移動した場合でもそのID画像の表示を維持することができる。
図21は、視線領域の逸脱の場合に関する制御例を示す。HMD1は、前述の図3のステップS3で、視線領域を設定する際には、視線領域が表示面2から逸脱するかどうかを判断する。HMD1は、視線領域の逸脱と判定した場合、それに合わせて、視線領域を再設定する。最初、図21の(A)の状態であるとする。この状態では、視線領域E1内にAR画像a1~a3が入っており、ID画像「1」~「3」が表示されている。また、表示面2内には、店舗等に対応するAR画像a11が表示されている。なお、AR画像a11で示す建物の左隣りにも建物があるが、情報が取得できなかったので、対応するAR画像が生成されていない。この状態で、視線領域E1は、表示面2から逸脱していない。
上記のように、実施の形態1の映像表示装置によれば、ユーザが注目する視線方向に応じて視線領域を設定し、視線領域内にID画像を表示することで、AR画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態1によれば、視線領域内にID画像表示を限定するので、ユーザから見て表示面2の情報量が抑制され、IDを用いたAR画像の選択操作を容易に行うことができる。ユーザは、少ない数のIDから選択すればよいので、操作がしやすい。
実施の形態1に対する比較例の映像表示装置であるHMDとして、特許文献1に記載の構成例を用いて、比較説明する。比較例のHMDは、例えば、表示面内に表示されるAR画像(=ARオブジェクト)の一覧から1つのAR画像を取得し、そのAR画像が選択可能なAR画像である場合には、IDの番号を採番する。そして、HMDは、採番したIDの画像を、AR画像の付近に表示する。比較例では、ユーザの視線方向に関係無く、AR画像に対しID画像が付与、表示される。そのため、表示面では、AR画像および対応するID画像(対応する番号)が多数になる場合や、複数のID画像が密集する場合がある。その場合、ユーザがID画像を選択操作しにくい可能性がある。
実施の形態1のHMD1に関する変形例として以下も可能である。実施の形態1で、ID画像の選択は、基本的な概念として、AR画像の選択と、AR画像に対応付けられた処理の実行とを含むものとした。すなわち、ユーザが、あるID画像を選択操作した場合、そのID画像に対応付けられたAR画像に関する所定の処理が、対応するプログラムによって自動的に実行される。変形例のHMDでは、ID画像の選択は、AR画像選択とAR画像処理実行とを分けた概念としてもよい。この場合、ユーザが、あるID画像を選択操作した場合、そのID画像に対応付けられたAR画像が、対応するプログラムによって、選択された状態になる。そして、ユーザが、その選択状態のAR画像に対し、所定の操作をした場合に、そのAR画像に関する所定の処理が、対応するプログラムによって実行される。また、上記ID画像選択概念に関しては、混在してもよく、ARアプリや特定のAR画像に応じて、ID画像の選択操作時に異なる動作を行うように設定されてもよい。
変形例のHMDは、複数のID画像を1つのグループとして選択操作できる機能を有する。例えば、ユーザが、表示面2内の所望の複数のAR画像を、1つのグループとして選択したい場合、言い換えると、複数のAR画像をまとめて選択したい場合がある。まず、前述の図13で示したグループIDを用いて、グループIDを指定する操作によって、グループの選択操作が可能である。また、前述の「全ID選択」コマンドを用いることで、視線領域内の全ID画像をまとめて選択できる。
図22~図26を用いて、本発明の実施の形態2の映像表示装置について説明する。実施の形態2等の基本的な構成は実施の形態1と同様であり、以下では実施の形態2等における実施の形態1とは異なる構成部分について説明する。実施の形態2のHMDは、表示面内に、ID画像の選択操作用の領域(「選択領域」または「識別情報領域」等と記載する場合がある)を設ける。ユーザは、表示面内の選択領域以外の領域に表示されているID画像だけでなく、選択領域内に表示されているID画像を選択操作することができる。
図22は、実施の形態2のHMD1における表示面2の映像の例を示す。表示面2内に、ID画像に関する選択領域60が設けられている。この選択領域60は、本例では、表示面2の領域の下辺の付近の横長の矩形領域として設けられ、例えば透過領域である。この選択領域60は、ユーザから見えないようにしてもよいし、選択領域境界線の表示等によってユーザから見えるようにしてもよい。
実施の形態2の変形例として、選択領域60内には、ID画像と共に、対応するAR画像の縮小画像等を組として対応付けて表示してもよい。
実施の形態2の変形例として、選択領域60内に、ID画像を配置、表示する際に、対応するAR画像の位置となるべく合わせた位置に配置して表示してもよい。
上記のように、実施の形態2の映像表示装置によれば、選択領域60を用いることで、AR画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態2によれば、選択領域60内にID画像を表示するので、ID画像の選択操作がしやすい。また、ジェスチャー方式を用いる場合でも、従来技術例よりも検出精度を高め、ID画像の選択操作がしやすい。また、表示面2内に表示される複数のAR画像は、様々なものが混在する可能性がある。各AR画像は、様々なサイズや形状を持つかもしれない。実施の形態2では、様々なAR画像がある場合でも、ID番号を付与し、一定のサイズに揃えて、選択領域60内に整理して情報を表示する。よって、ユーザは、ID画像の選択操作がしやすい。
実施の形態2に関する変形例として以下も可能である。変形例のHMD1による、選択領域60を用いた制御例を以下に説明する。この制御例では、HMD1は、視線領域20から外に出たAR画像についてのID画像を、選択領域60内に所定の規則で配置して表示する。
変形例のHMD1として、前述の図21の例のように表示面2から視線領域が逸脱した場合に、逸脱した視線領域内にあったID画像を、選択領域60内に表示するようにしてもよい。図26は、逸脱時の表示例を示す。HMD1は、視線領域E1が表示面2から逸脱したと判定した場合、その視線領域E1内に入っていたが見えなくなったAR画像のID画像について、選択領域60内に表示する。例えば、視線領域E1内にあったAR画像a2のID画像「2」およびAR画像a3のID画像「3」が、選択領域60の右側の付近に配置されている。本例では、表示面2の右辺側で逸脱が発生したので、選択領域60内の右側に寄せた位置にID画像を表示している。この際に表示するID画像は、前述と同様に、AR画像の縮小画像等を用いてもよい。この変形例は、表示面2から外に出たID画像についても有効活用できる。
図27を用いて、本発明の実施の形態3の映像表示装置について説明する。実施の形態3のHMDは、図3のフローに関して、処理の順序が異なり、主な変更点としては、ステップS2とステップS3とが逆になる。実施の形態3のHMDは、視線領域を設定した後に、視線領域内のAR画像を抽出して表示し、ID画像を付与、表示する。
実施の形態3のHMD1における映像の表示例は以下の通りである。前述の図14の例を用いる。図14では、視線領域E1の外にもAR画像が表示されていたが、実施の形態3の場合には、視線領域E1内のみにAR画像およびID画像が表示される。例えば、AR画像a1,a2,a3は、表示位置が視線領域E1内に該当するので表示され、ID画像「1」「2」「3」が表示される。AR画像a4,a5,a11,a12,a13は、表示位置が視線領域E1外にあるので、表示されず、ID画像も表示されない。なお、視線領域E1が移動して、表示位置が該当する状態になれば、そのAR画像およびID画像が表示される。
実施の形態3によれば、視線に合わせて、表示面2に表示されるAR画像およびID画像の数が抑制されるので、ユーザは、視線領域内のAR画像およびID画像に注目して操作すればよく、選択操作がしやすい。実施の形態3では、表示面2内の全てのAR画像を表示する必要は無く、処理効率化等の利点もある。
図28を用いて、本発明の実施の形態4の映像表示装置について説明する。実施の形態4のHMDは、視線領域内のAR画像が動いて外に出た場合に、ID画像の表示を継続する。
図28は、実施の形態4における映像の例を示す。(A)は第1状態、(B)は第2状態を示す。図28の実像は、交差点付近の例である。本例では、AR画像を表示する対象として、人を扱う。あるARアプリは、人の顔を検出し、その人の情報をAR画像として提供する。(A)の映像の表示面2内には、例えば人A、人B、人Cのように三人がいる。人Aおよび人Cは、ユーザが知らない一般人であり、人Bは、ユーザの知り合いの人であるとする。ARアプリには、予め、人Bを含む、ユーザの知り合いの人の顔および情報が登録されている。
実施の形態4によれば、物体、AR画像およびID画像の動きに合わせて、ID画像の表示を継続できるので、ユーザは、視線領域外に出たAR画像についても追跡して操作が可能である。なお、実施の形態4の制御は、物体が移動する場合に限らず適用可能である。例えば、物体およびAR画像が静止していて視線領域の方が移動する場合にも適用可能である。
図29を用いて、本発明の実施の形態5の映像表示装置について説明する。実施の形態5のHMDは、ユーザの視線の視線深度を用いて、ID画像の制御を実現する。
図29は、実施の形態5における、視線深度の概念等を模式的に示す。(A)は、実像における物体(例えば人)の位置に応じた大きさの例を示す。(B)は、ユーザの目の位置(=視点位置)から奥行き方向における物体の位置に応じた視線深度範囲を示す。実施の形態5のHMD1の視線検出部4は、視線深度を検出する機能を備える。視線検出部4は、ユーザの両眼の視線方向として、左眼の視線方向と右眼の視線方向とのそれぞれを検出する。視線検出部4は、左眼の視線方向と右眼の視線方向とが交差する点から、視線深度を検出できる。
実施の形態5における制御例として、さらに、HMD1は、視線深度に応じて、視線領域の大きさ等を自動的に調整してもよい。図29の視線深度範囲の左側には、この制御例における視線領域の大きさの制御例を示している。HMD1は、例えば、視線深度の大中小の3つのレベルの判断に応じて、視線領域の大きさ(例えば半径)を大中小の3つのレベルから選択したレベルに設定する。この制御例では、ユーザの視線方向および視線深度の状態に応じて、好適な大きさの視線領域が設定される。その視線領域の大きさに応じて、視線領域内のAR画像およびID画像が決定される。ユーザの視線方向が同じでも、視線深度の違いに応じて、異なる大きさの視線領域が設定される。その結果、選択候補となるID画像が異なってくる。例えば、図14の映像で、AR画像a1に対し、AR画像a2やAR画像a4は、ベース位置が奥方向の位置にあるとする。ユーザがAR画像a1を注目する場合に対し、AR画像a2等を注目する場合には、視線深度がより深くなる。これに対応して、HMD1は、より小さなサイズの視線領域20を設定する。これにより、視線領域20内に入るAR画像がより絞り込まれる。その結果、表示されるID画像の数は少なくなり、より絞り込まれた状態でID画像の選択操作が可能である。
実施の形態5によれば、視線深度として3次元空間内の奥行き方向の視線状態を加味するので、より詳細に視線領域やID画像を制御することができる。例えば、ユーザは、視線の注目に応じて、選択対象のID画像を絞り込みやすい。
図30を用いて、本発明の実施の形態6の映像表示装置について説明する。実施の形態6のHMDは、特定のARアプリに関する制御例として、物体に対応付けられた複数のAR画像を、複数のID画像によって選択操作し、所定の機能を実現する。
図30の(A)は、実施の形態6における映像の例を示す。この実像は、室内で、角隅に、物体151として、三角テーブルがある。実施の形態5のHMD1は、センサ部150を用いて、室内におけるHMD1の位置を把握する。HMD1は、例えば、カメラ5や、センサ部150の距離センサを用いて、HMD1と壁や床との距離や、HMD1と物体151との距離を計測する。HMD1は、室内の各種の物体に関して、3次元空間内の位置を把握し、HMD1との位置関係を把握する。なお、距離センサとしては、例えばTOF(Time Of Flight)方式や、レーザを用いたパターン照射方式や、複数のカメラを用いて計算する方式、等の公知の方式が適用できる。
図30の(B)は、他の映像の例を示す。HMD1のARアプリは、1個の三角テーブル等の物体151について、複数のARオブジェクトを付加し表示することができる。あるARアプリは、例えば物体の長さ等を測定する機能を有する。HMD1は、カメラ5の画像認識に基づいて、物体151のエッジ、特徴点を検出する。これにより、例えば、物体151の上面の左角の点p51、右角の点p52、奥の点p53等が検出できる。HMD1は、例えば、左右の2つの角の点p51,p52に対し、ARオブジェクトa51,a52を表示する。ARオブジェクトa51は左角点を表す矢印画像、ARオブジェクトa52は右角点を表す矢印画像である。そして、HMD1は、各ARオブジェクトa51,a52に対し、それぞれ、ID画像を付与、表示する。例えば、ARオブジェクトa51にはID画像b51としてID画像「2」、ARオブジェクトa52にはID画像b52としてID画像「3」が表示されている。
実施の形態6によれば、上記例のように複数のAR画像を扱うARアプリの操作入力を効果的に支援することができる。AR画像が小さい場合や、細かい操作を要求される場合等にも、ID画像を用いた操作が可能である。
図31を用いて、本発明の実施の形態7の映像表示装置について説明する。実施の形態7では、特定のARアプリにおいて、実像の物体に対し、直接的にID画像を付与、表示し、その物体の仮想的な操作を可能とする。
実施の形態7によれば、実像の物体に対し、ID画像を用いて、仮想的に操作を行うことができる。
(1) 映像表示装置は、視線領域内の生成画像の数または密度に応じて、視線領域を自動的に拡大または縮小する。
(2) 映像表示装置は、時系列上、同じ生成画像にはなるべく同じ識別情報を含むID画像を維持する。
(3) 映像表示装置は、時点毎に、視線領域内の生成画像に対し、所定の規則で識別情報を含むID画像を付与し直す。
(4) 映像表示装置は、生成画像として複数の生成画像が密集している場合に、ID画像を密集していない状態で表示する。
(5) 映像表示装置は、生成画像として複数の生成画像がグループを構成している場合に、グループの単位でID画像を付与して表示し、グループのID画像の選択操作に応じて、グループの複数の生成画像を選択する。
Claims (17)
- 実像上に生成画像を重畳して表示する映像表示装置であって、
表示面に前記生成画像を表示し、
前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、
前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、
前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、
前記ID画像に対する前記ユーザの選択操作を受け付け、
前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行し、
前記ユーザの操作に応じて、前記視線領域を拡大または縮小する、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記生成画像が前記視線領域内に入っている場合には前記ID画像を表示し、前記生成画像が前記視線領域外に出ている場合には前記ID画像を表示せず、
前記ID画像が表示されている前記生成画像を選択可能にし、前記ID画像が表示されていない前記生成画像を選択不可能にする、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記ユーザの操作に基づいて、前記視線領域を表す画像の表示と非表示とを切り替える、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記ユーザの操作に応じて、前記ID画像の表示と非表示とを切り替える、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記ユーザの操作に応じて、前記視線領域内の前記ID画像のすべて、またはいずれか1つを選択する、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記視線領域内に同時表示可能な前記ID画像の最大数が設定されている、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記ユーザの操作に基づいて、前記実像内の前記ユーザが指定した位置に、前記ユーザが指定した前記生成画像を配置し、
前記生成画像に対応付けられた前記ID画像の前記選択操作に応じて、前記生成画像を移動させる、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記実像内の物体に対し、前記ID画像を対応付けて表示し、
前記ID画像の前記選択操作に応じて、前記物体の画像領域に対応させた前記生成画像を操作する、
映像表示装置。 - 請求項1記載の映像表示装置において、
前記ユーザの操作に応じた設定に基づいて、所定数までの前記生成画像を包含するように前記視線領域を拡大または縮小する、
映像表示装置。 - 実像上に生成画像を重畳して表示する映像表示装置であって、
表示面に前記生成画像を表示し、
前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、
前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、
前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、
前記ID画像に対する前記ユーザの選択操作を受け付け、
前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行し、
前記ユーザの操作に応じて、前記視線領域内の前記ID画像の表示を固定または固定解除する、
映像表示装置。 - 実像上に生成画像を重畳して表示する映像表示装置であって、
表示面に前記生成画像を表示し、
前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、
前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、
前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、
前記ID画像に対する前記ユーザの選択操作を受け付け、
前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行し、
前記表示面内に、前記ID画像を表示して前記選択操作を受け付ける選択領域を設定する、
映像表示装置。 - 請求項11記載の映像表示装置において、
前記選択領域内に、前記視線領域から外に出た前記生成画像の前記ID画像を表示する、
映像表示装置。 - 請求項11記載の映像表示装置において、
前記選択領域内に、前記ID画像を、等間隔で分散して整列した位置に表示する、
映像表示装置。 - 請求項11記載の映像表示装置において、
前記選択領域内の前記ID画像の前記選択操作を、位置指定、色指定、または形状指定の少なくとも1つによって受け付ける、
映像表示装置。 - 実像上に生成画像を重畳して表示する映像表示装置であって、
表示面に前記生成画像を表示し、
前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、
前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、
前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、
前記ID画像に対する前記ユーザの選択操作を受け付け、
前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行し、
前記視線領域内で前記ID画像が表示されている前記生成画像が、前記視線領域の外に出た場合に、前記ID画像の表示を継続し、前記選択操作を受け付ける、
映像表示装置。 - 実像上に生成画像を重畳して表示する映像表示装置であって、
表示面に前記生成画像を表示し、
前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成し、
前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、
前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示し、
前記ID画像に対する前記ユーザの選択操作を受け付け、
前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行し、
前記ユーザの視線深度を検出し、前記視線方向および前記視線深度に合わせて前記視線領域を設定する、
映像表示装置。 - 実像上に生成画像を重畳して表示する映像表示装置における映像表示方法であって、
表示面に前記生成画像を表示するステップと、
前記生成画像に対するユーザの操作を支援するための識別情報を含むID画像を構成するステップと、
前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定するステップと、
前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ID画像を対応付けて表示するステップと、
前記ID画像に対する前記ユーザの選択操作を受け付けるステップと、
前記ID画像の前記選択操作を受けた場合に、前記ID画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行するステップと、
前記ユーザの操作に応じて、前記視線領域を拡大または縮小するステップと、
を有する、映像表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022080185A JP7364740B2 (ja) | 2018-11-29 | 2022-05-16 | 映像表示装置 |
JP2023173414A JP2023168575A (ja) | 2018-11-29 | 2023-10-05 | 映像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/044066 WO2020110270A1 (ja) | 2018-11-29 | 2018-11-29 | 映像表示装置および方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022080185A Division JP7364740B2 (ja) | 2018-11-29 | 2022-05-16 | 映像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020110270A1 JPWO2020110270A1 (ja) | 2021-09-27 |
JP7076007B2 true JP7076007B2 (ja) | 2022-05-26 |
Family
ID=70854189
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020557491A Active JP7076007B2 (ja) | 2018-11-29 | 2018-11-29 | 映像表示装置および方法 |
JP2022080185A Active JP7364740B2 (ja) | 2018-11-29 | 2022-05-16 | 映像表示装置 |
JP2023173414A Pending JP2023168575A (ja) | 2018-11-29 | 2023-10-05 | 映像表示装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022080185A Active JP7364740B2 (ja) | 2018-11-29 | 2022-05-16 | 映像表示装置 |
JP2023173414A Pending JP2023168575A (ja) | 2018-11-29 | 2023-10-05 | 映像表示装置 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11487359B2 (ja) |
EP (1) | EP3889749A4 (ja) |
JP (3) | JP7076007B2 (ja) |
CN (1) | CN113168279A (ja) |
WO (1) | WO2020110270A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020261028A1 (ja) * | 2019-06-25 | 2020-12-30 | ||
TW202117503A (zh) * | 2019-10-15 | 2021-05-01 | 視鏡科技股份有限公司 | 互動式眼鏡框試戴系統及方法 |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
GB2591745A (en) * | 2020-01-31 | 2021-08-11 | Mclaren Automotive Ltd | Augmented reality system |
CN112270297B (zh) * | 2020-11-13 | 2024-05-31 | 杭州睿琪软件有限公司 | 用于显示识别结果的方法和计算机*** |
WO2022173724A1 (en) * | 2021-02-15 | 2022-08-18 | Dathomir Laboratories Llc | Transitioning content in views of three-dimensional environments using alternative positional constraints |
WO2023079875A1 (ja) * | 2021-11-04 | 2023-05-11 | 株式会社Nttドコモ | 情報処理装置 |
WO2023181549A1 (ja) * | 2022-03-24 | 2023-09-28 | キヤノン株式会社 | 制御装置、制御方法、プログラム |
US20240045496A1 (en) * | 2022-08-03 | 2024-02-08 | Sony Interactive Entertainment Inc. | Improving accuracy of interactions for gaze-enabled ar objects when in motion |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015173882A1 (ja) | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
JP2016004340A (ja) | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
JP2016197461A (ja) | 2012-06-14 | 2016-11-24 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
JP2016218868A (ja) | 2015-05-22 | 2016-12-22 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
WO2017169400A1 (ja) | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびコンピュータ可読媒体 |
WO2018167966A1 (ja) | 2017-03-17 | 2018-09-20 | マクセル株式会社 | Ar表示装置及びar表示方法 |
JP2018170554A (ja) | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010160564A (ja) | 2009-01-06 | 2010-07-22 | Toshiba Corp | 携帯端末 |
JP5853406B2 (ja) | 2011-04-25 | 2016-02-09 | カシオ計算機株式会社 | 電子機器、アイコン表示方法、プログラム |
US20130293530A1 (en) | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Product augmentation and advertising in see through displays |
US9235051B2 (en) | 2013-06-18 | 2016-01-12 | Microsoft Technology Licensing, Llc | Multi-space connected virtual data objects |
JP6291894B2 (ja) | 2014-02-20 | 2018-03-14 | 日本電気株式会社 | 入力装置、入力方法及びプログラム |
KR102212030B1 (ko) | 2014-05-26 | 2021-02-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
KR20160128119A (ko) * | 2015-04-28 | 2016-11-07 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US20170289533A1 (en) * | 2016-03-30 | 2017-10-05 | Seiko Epson Corporation | Head mounted display, control method thereof, and computer program |
-
2018
- 2018-11-29 CN CN201880099833.4A patent/CN113168279A/zh active Pending
- 2018-11-29 WO PCT/JP2018/044066 patent/WO2020110270A1/ja unknown
- 2018-11-29 US US17/297,575 patent/US11487359B2/en active Active
- 2018-11-29 EP EP18941206.7A patent/EP3889749A4/en active Pending
- 2018-11-29 JP JP2020557491A patent/JP7076007B2/ja active Active
-
2022
- 2022-05-16 JP JP2022080185A patent/JP7364740B2/ja active Active
- 2022-09-14 US US17/944,482 patent/US11803240B2/en active Active
-
2023
- 2023-09-13 US US18/466,502 patent/US20230418376A1/en active Pending
- 2023-10-05 JP JP2023173414A patent/JP2023168575A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197461A (ja) | 2012-06-14 | 2016-11-24 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
WO2015173882A1 (ja) | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
JP2016004340A (ja) | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
JP2016218868A (ja) | 2015-05-22 | 2016-12-22 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
WO2017169400A1 (ja) | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびコンピュータ可読媒体 |
WO2018167966A1 (ja) | 2017-03-17 | 2018-09-20 | マクセル株式会社 | Ar表示装置及びar表示方法 |
JP2018170554A (ja) | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020110270A1 (ja) | 2021-09-27 |
EP3889749A1 (en) | 2021-10-06 |
US20230019625A1 (en) | 2023-01-19 |
EP3889749A4 (en) | 2022-07-06 |
CN113168279A (zh) | 2021-07-23 |
US11803240B2 (en) | 2023-10-31 |
US20210397252A1 (en) | 2021-12-23 |
US20230418376A1 (en) | 2023-12-28 |
JP2022119826A (ja) | 2022-08-17 |
WO2020110270A1 (ja) | 2020-06-04 |
JP2023168575A (ja) | 2023-11-24 |
JP7364740B2 (ja) | 2023-10-18 |
US11487359B2 (en) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7076007B2 (ja) | 映像表示装置および方法 | |
JP7283506B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
US11699271B2 (en) | Beacons for localization and content delivery to wearable devices | |
US20220326781A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
JP5675470B2 (ja) | 画像生成システム、プログラム及び情報記憶媒体 | |
CN105637564B (zh) | 产生未知对象的扩增现实内容 | |
CN105027033B (zh) | 用于选择扩增现实对象的方法、装置和计算机可读媒体 | |
CN109844454A (zh) | 用于在全球定位***(gps)拒止环境中进行导航的方法、***和软件 | |
CN105973231A (zh) | 一种导航方法和装置 | |
KR20150133585A (ko) | 3차원 영상의 단면 탐색 시스템 및 방법 | |
CN109582123A (zh) | 信息处理设备、信息处理***和信息处理方法 | |
CN109099902A (zh) | 一种基于Unity 3D的虚拟现实全景导航*** | |
JP2015149032A (ja) | 拡張現実提供システム、プログラムおよび拡張現実提供方法 | |
Chippendale et al. | Personal shopping assistance and navigator system for visually impaired people | |
US20230060150A1 (en) | Physical action-based augmented reality communication exchanges | |
EP4286993A1 (en) | Information processing method, information processing device, and non-volatile storage medium | |
JP2017167501A (ja) | 位相特定装置、携帯端末、位相特定方法及びプログラム | |
Scheibert | Overcoming the problem of uncertain tracking errors in an AR navigation application | |
WO2018074054A1 (ja) | 表示制御装置、表示制御方法及びプログラム | |
KR20190087267A (ko) | 사용자 주변 포커싱을 통한 지역 정보 자동 인식 장치 및 방법 | |
US20230062366A1 (en) | Handcrafted augmented reality experiences | |
US11863963B2 (en) | Augmented reality spatial audio experience | |
EP4286992A1 (en) | Information processing method, information processing device, and non-volatile storage medium | |
Chang | Multimodal Data Integration for Real-Time Indoor Navigation Using a Smartphone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7076007 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |