JP6488661B2 - Head-mounted display device, display system, head-mounted display device control method, and computer program - Google Patents
Head-mounted display device, display system, head-mounted display device control method, and computer program Download PDFInfo
- Publication number
- JP6488661B2 JP6488661B2 JP2014232342A JP2014232342A JP6488661B2 JP 6488661 B2 JP6488661 B2 JP 6488661B2 JP 2014232342 A JP2014232342 A JP 2014232342A JP 2014232342 A JP2014232342 A JP 2014232342A JP 6488661 B2 JP6488661 B2 JP 6488661B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- moving image
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は、頭部装着型表示装置の技術に関する。 The present invention relates to a head-mounted display device.
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。 A head-mounted display device (Head Mounted Display, HMD) that is a display device mounted on the head is known. The head-mounted display device is used, for example, by generating image light using a liquid crystal display and a light source, and guiding the generated image light to a user's eye using a projection optical system or a light guide plate Make the person visually recognize the virtual image. There are two types of head-mounted display devices: a transmission type in which the user can visually recognize the outside scene in addition to a virtual image, and a non-transmission type in which the user cannot visually recognize the outside scene. The transmissive head-mounted display device includes an optical transmissive type and a video transmissive type.
特許文献１には、所定の範囲に静止している静止物体に対して超音波を照射することで、超音波を照射した超音波センサーから静止物体までの距離情報を取得し、距離情報に基づいて静止物体の立体像を取得する物体の自動認識方法が開示されている。また、特許文献２には、ゴルフクラブのヘッドに慣性センサーのデータを取得するセンサーユニットが搭載され、使用者が当該ゴルフクラブをスイングすると、当該ゴルフクラブと無線通信によって接続されている解析処理装置が慣性センサーによって取得されたデータを解析するゴルフクラブの解析システムが開示されている。
In
しかし、特許文献１に記載された技術では、１つの静止した物体の立体像を認識することしかできず、動いている物体や複数の物体の立体像を認識したいという課題があった。また、特許文献２に記載された技術では、センサーユニットが搭載されたゴルフクラブの慣性のデータは取得できるものの、センサーが搭載されていない物体についての動きなどのデータが取得できず、これらのデータを取得したいという課題があった。そのほか、従来の頭部装着型表示装置においては、使い勝手の向上等が望まれていた。
However, the technique described in
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve the above-described problems, and can be realized as the following forms.
（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、外景の中から第１の対象を検出する検出部と；前記外景を透過可能で、画像を表示可能な画像表示部と；検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、透過して視認できる実物に合わせて表示される動画像を視認しながら、作業等を行なうことができるため、使用者の作業の効率性などを向上させることができる。 (1) According to one aspect of the present invention, a transmissive head-mounted display device is provided. The head-mounted display device includes: a detection unit that detects a first object from an outside scene; an image display unit that can transmit the outside scene and display an image; and the detected first object A display image setting unit that causes the image display unit to display a first moving image that is an associated moving image. According to the head-mounted display device of this embodiment, the user can perform work and the like while visually recognizing the moving image displayed in conformity with the real thing that can be seen through. Efficiency etc. can be improved.
（２）上記形態の頭部装着型表示装置において、前記表示画像設定部は、前記第１の動画像を検出された前記第１の対象の位置に対応付けて表示してもよい。この形態の頭部装着型表示装置によれば、使用者は、実物の位置に合わせて表示される動画像を視認しながら、作業等を行なうことができるため、使用者の作業の効率性などをさらに向上させることができる。 (2) In the head mounted display device of the above aspect, the display image setting unit may display the first moving image in association with the detected position of the first target. According to this form of the head-mounted display device, the user can perform work while visually recognizing the moving image displayed in accordance with the actual position, so the efficiency of the user's work, etc. Can be further improved.
（３）上記形態の頭部装着型表示装置において、前記検出部は、前記外景を撮像し、撮像した撮像画像の中から前記第１の対象を検出してもよい。この形態の頭部装着型表示装置によれば、第１の対象を画像として検出するため、第１の対象の検出の精度を向上させることができる。 (3) In the head-mounted display device of the above aspect, the detection unit may capture the outside scene and detect the first target from the captured image. According to this form of the head-mounted display device, since the first object is detected as an image, the accuracy of detection of the first object can be improved.
（４）上記形態の頭部装着型表示装置において、前記第１の動画像は、検出された前記第１の対象に対して行なわれる作業に関連する動画像であってもよい。この形態の頭部装着型表示装置によれば、使用者は、作業の推奨動作をより認識しやすく、使用者の作業の効率性などがさらに向上する。 (4) In the head-mounted display device of the above aspect, the first moving image may be a moving image related to a work performed on the detected first object. According to this form of the head-mounted display device, the user can more easily recognize the recommended operation of the work, and the efficiency of the user's work is further improved.
（５）上記形態の頭部装着型表示装置において、前記検出部は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出し；前記表示画像設定部は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者に対して、適宜、状況に適した画像を視認させることができるため、使用者の使い勝手がさらに向上する。 (5) In the head-mounted display device of the above aspect, the detection unit detects a second target different from the first target from the outside scene; the display image setting unit is configured to display the image If the second target is detected while the first moving image is displayed on the display unit, the first moving image associated with the second target is used instead of the first moving image. A second moving image that is a moving image different from the first moving image may be displayed on the image display unit. According to the head-mounted display device of this aspect, the user can be made to visually recognize an image suitable for the situation as appropriate, so that the user's convenience is further improved.
（６）上記形態の頭部装着型表示装置において、さらに；外部の音声を取得する音声取得部を備え；前記表示画像設定部は、検出された前記第１の対象と取得された前記音声との組み合わせに基づいて、前記第１の動画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、検出された第１の対象に加えて、使用者は、第１の動画像を操作できるため、使用者の使い勝手がさらに向上する。 (6) The head-mounted display device according to the above aspect further includes: an audio acquisition unit that acquires external audio; the display image setting unit includes the detected first object and the acquired audio Based on this combination, the first moving image may be displayed on the image display unit. According to the head-mounted display device of this form, in addition to the detected first object, the user can operate the first moving image, so that the usability of the user is further improved.
（７）上記形態の頭部装着型表示装置において、さらに；前記第１の動画像が前記画像表示部に表示されているときに、前記第１の動画像に対応付けられた音声を出力する音声出力部を備えてもよい。この形態の頭部装着型表示装置によれば、使用者に対して、第１の動画像に加えて、音声によっても情報を認識させることができ、使用者は、視覚および聴覚によってより多くの情報を認識でき、使用者の利便性が向上する。 (7) In the head-mounted display device according to the above aspect, further, when the first moving image is displayed on the image display unit, a sound associated with the first moving image is output. An audio output unit may be provided. According to this form of the head-mounted display device, the user can be made to recognize information by voice in addition to the first moving image, and the user can more visually and auditorily. Information can be recognized and user convenience is improved.
（８）上記形態の頭部装着型表示装置において、さらに；使用者の生体情報を取得する生体情報取得部を備え；前記表示画像設定部は、検出された前記第１の対象と取得された使用者の前記生体情報とに基づいて、前記第１の動画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、検出された第１の対象に、取得された使用者の生体情報も加えた動画像を使用者に視認させることができ、使用者の利便性がさらに向上する。 (8) The head mounted display device according to the above aspect further includes: a biological information acquisition unit that acquires biological information of the user; the display image setting unit is acquired as the detected first object. The first moving image may be displayed on the image display unit based on the biological information of the user. According to this form of the head-mounted display device, the user can visually recognize a moving image obtained by adding the acquired biological information of the user to the detected first target, which is convenient for the user. Is further improved.
（９）上記形態の頭部装着型表示装置において、前記第１の対象と前記第１の動画像との対応付けは、検出された前記第１の対象の種類と前記第１の対象の動きと前記外景における前記第１の対象の位置と前記第１の対象の向きとの少なくとも１つと、前記第１の動画像と、の組み合わせであってもよい。この形態の頭部装着型表示装置によれば、複数の要素によって種々の動画像が選択されるため、使用者は、種々の動画像から簡単に所望の動画像を選択できる。 (9) In the head-mounted display device of the above aspect, the association between the first object and the first moving image is performed by detecting the type of the first object and the movement of the first object. A combination of at least one of the position of the first object and the orientation of the first object in the outside scene and the first moving image. According to the head-mounted display device of this aspect, since various moving images are selected by a plurality of elements, the user can easily select a desired moving image from various moving images.
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。 A plurality of constituent elements of each embodiment of the present invention described above are not essential, and some or all of the effects described in the present specification are to be solved to solve part or all of the above-described problems. In order to achieve the above, it is possible to appropriately change, delete, replace with another new component, and partially delete the limited contents of some of the plurality of components. In order to solve some or all of the above-described problems or achieve some or all of the effects described in this specification, technical features included in one embodiment of the present invention described above. A part or all of the technical features included in the other aspects of the present invention described above may be combined to form an independent form of the present invention.
例えば、本発明の一形態は、検出部と、画像表示部と、表示画像設定部と、３つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、検出部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、表示画像設定部を有していてもよく、有していなくてもよい。検出部は、例えば、外景の中から第１の対象を検出してもよい。画像表示部は、例えば、前記外景を透過可能で、画像を表示可能であってもよい。表示画像設定部は、例えば、検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。 For example, an embodiment of the present invention can be realized as a device including a detection unit, an image display unit, a display image setting unit, and one or more of three elements. That is, this apparatus may or may not have the detection unit. Further, the apparatus may or may not have an image display unit. The apparatus may or may not have a display image setting unit. For example, the detection unit may detect the first target from the outside scene. For example, the image display unit may be capable of transmitting the outside scene and displaying an image. For example, the display image setting unit may cause the image display unit to display a first moving image that is a moving image associated with the detected first target. Such a device can be realized as, for example, a head-mounted display device, but can also be realized as a device other than the head-mounted display device. According to such a form, it is possible to solve at least one of various problems such as improvement and simplification of the operability of the device, integration of the device, and improvement of convenience of the user who uses the device. it can. Any or all of the technical features of each form of the head-mounted display device described above can be applied to this device.
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示システム、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。 The present invention can also be realized in various forms other than the head-mounted display device. For example, a display system, a head-mounted display device control method, an information system having a head-mounted display device, a head-mounted display device control method, a computer program for realizing the information system, and the computer program The present invention can be realized in the form of a recorded recording medium and a data signal including the computer program and embodied in a carrier wave.
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置（ＨＭＤ）の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。
A. First embodiment:
A-1. Configuration of head mounted display (HMD):
FIG. 1 is an explanatory diagram showing an external configuration of a head-mounted display device 100 (HMD 100). The
ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
The
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
The
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
The
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
The right
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
The
カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
The
マイク６３は、外部の音声を取得する。マイク６３は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に配置されている。なお、マイク６３は、請求項における音声取得部に相当する。
The
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
The
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６の反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
The
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。
The
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、無線通信部１３２と、シナリオデータベース１３８（シナリオＤＢ１３８）と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。
FIG. 2 is a block diagram functionally showing the configuration of the
電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。
The
記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０のＲＯＭには、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、記憶部１２０のＲＯＭから各種コンピュータープログラムを読み取り、記憶部１２０のＲＡＭに格納することで、各種コンピュータープログラムを実行する。
The
シナリオＤＢ１３８は、ＡＲ（Augmented Reality）画像を含む複数の動画であるＡＲシナリオを記憶している。本実施形態におけるＡＲシナリオは、カメラ６１の撮像画像の中から予め設定された特定の対象物が検出されると、画像表示部２０に表示されるＡＲ画像や、イヤホン３２，３４を介して出力される音声を含む動画である。他の実施形態では、単に、何らかの動画を含むデータをＡＲシナリオとしてみなすこともでき、ＡＲシナリオに含まれる動画としては、テキスト画像のポップアップ等であってもよい。シナリオＤＢ１３８は、複数のＡＲシナリオをいくつかのカテゴリーに分類して記憶している。分類されたカテゴリーとしては、例えば、料理、家電の取扱、スケジュール管理などがある。なお、ＨＭＤ１００は、シナリオＤＢ１３８に記憶されたＡＲシナリオだけではなく、無線通信部１３２を介して、他の装置から受信するＡＲシナリオを実行することもできる。
The
ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、表示画像設定部１６５、および、物体認識部１６８として機能する。
The
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。
The
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
The
画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
The
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３によって取得された音声を、制御信号として表示画像設定部１６５に送信する。
The
物体認識部１６８は、パターンマッチングや統計的識別法によって、カメラ６１の撮像画像の中から、シナリオＤＢ１３８に記憶されている複数のＡＲシナリオに対応付けられている特定の対象の画像である第１の対象の画像を検出する。本実施形態では、シナリオＤＢ１３８に記憶された複数のＡＲシナリオを分類したカテゴリーが選択された後に、物体認識部１６８は、選択されたカテゴリーに含まれるＡＲシナリオに対応付けられている第１の対象の画像を検出する。以降では、撮像画像の中から、特定の対象の画像が検出されることを、単に、特定の対象が検出されるともいう。なお、物体認識部１６８は、実行されているＡＲシナリオの状況などに応じて、第１の対象とは異なる特定の対象である第２の対象や第３の対象等も撮像画像の中から検出する。物体認識部１６８は、撮像画像の中から第１の対象を検出すると、検出した第１の対象と、検出した第１の対象に対応付けられたＡＲシナリオと、の情報を表示画像設定部１６５へと送信する。なお、カメラ６１および物体認識部１６８は、請求項における検出部に相当する。また、第１の対象に対応付けられたＡＲシナリオは、請求項における第１の動画像に相当する。他の実施形態では、物体認識部１６８は、撮像画像の中から、無線通信部１３２によって他の装置から受信したＡＲシナリオに対応付けられた第１の対象を検出してもよいし、インターフェイス１８０を介して接続されたＵＳＢメモリ等に記憶されたＡＲシナリオに対応付けられた第１の対象を検出してもよい。なお、無線通信部１３２は、請求項における受信部に相当する。また、無線通信部１３２によって通信する他の装置は、請求項における記憶装置に相当する。
The
また、物体認識部１６８は、ＨＭＤ１００が何らかのＡＲシナリオを実行しているときに、カメラ６１の撮像画像の中から、第１の対象とは異なる特定の対象である第２の対象を検出することもできる。第２の対象は、第１の対象に対応付けられたＡＲシナリオとは異なるＡＲシナリオに対応付けられている。物体認識部１６８は、撮像画像の中から第２の対象を検出すると、表示画像設定部１６５に、検出した第２の対象と第２の対象に対応付けられているＡＲシナリオの情報を送信する。
Further, the
ＣＰＵ１４０は、物体認識部１６８から送信された情報に基づいて、撮像画像の中から検出された特定の対象物に対応付けられたＡＲシナリオを実行する。ＡＲシナリオが実行されると、表示画像設定部１６５は、実行されるＡＲシナリオに含まれる画像等を光学像表示部２６，２８に表示させる。表示画像設定部１６５は、ＡＲシナリオに含まれる少なくとも１つのＡＲ画像を、撮像画像の中から検出された特定の対象物の位置や向きに関連付けて画像表示部２０に表示させる。ＡＲシナリオには、検出される特定の対象物について優先度が設定されており、表示画像設定部１６５は、検出された特定の対象物の内、設定された優先度が高い特定の対象物に対応付けられた画像を優先的に光学像表示部２６，２８に表示させる。
Based on the information transmitted from the
ＣＰＵ１４０は、何らかのＡＲシナリオを実行しているときに、物体認識部１６８が第２の対象を検出すると、実行しているＡＲシナリオとは異なる第２の対象に対応付けられた別のＡＲシナリオを実行する。表示画像設定部１６５は、第２の対象が撮像画像の中から検出されると、実行されていたＡＲシナリオに含まれる画像に代えて別のＡＲシナリオに含まれる画像を光学像表示部２６，２８に表示させる。なお、第２の対象に対応付けられたＡＲシナリオは、請求項における第２の動画像に相当する。
When the
音声処理部１７０は、イヤホン３２，３４を介して、別のＡＲシナリオに含まれる音声信号に基づく音声を出力する。また、音声処理部１７０は、イヤホン３２，３４を介して、ＡＲシナリオに含まれる音声信号に基づく音声を出力する。音声処理部１７０は、マイク６３から取得した音声に基づいて、各種処理を行なう。例えば、ＡＲシナリオに選択肢が含まれる場合には、音声処理部１７０は、取得した音声に基づいて、選択肢の中から１つの選択肢を選択したりする。
The
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
The
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、マイク６３と、を備えている。
The
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
The right
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
The right projection
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
The left
図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
FIG. 3 is an explanatory diagram illustrating a state in which image light is emitted by the image light generation unit. The
Ａ−２．ＡＲシナリオ実行処理：
図４は、ＡＲシナリオ実行処理のフローチャートである。ＡＲシナリオ実行処理は、ＣＰＵ１４０が撮像画像の中から検出した対象に応じたＡＲシナリオを実行する処理である。ＡＲシナリオ実行処理では、初めに、ＣＰＵ１４０は、操作部１３５がＡＲシナリオを実行する所定の操作を受け付けたか否かを判定する（ステップＳ１１）。本実施形態では、ＣＰＵ１４０は、シナリオＤＢ１３８に記憶されて分類されたＡＲシナリオのカテゴリーを使用者に選択させるための画像を光学像表示部２６，２８に表示させる。ＣＰＵ１４０は、ＡＲシナリオを実行するための所定の操作として、光学像表示部２６，２８に表示させたＡＲシナリオのカテゴリーの選択を受け付けたか否かを判定する。所定の操を受け付けていないと判定された場合には（ステップＳ１１：ＮＯ）、ＣＰＵ１４０は、ＡＲシナリオ実行処理を終了する。なお、本実施形態では、ＡＲシナリオのカテゴリーとして、「料理」が選択された場合について説明する。
A-2. AR scenario execution processing:
FIG. 4 is a flowchart of the AR scenario execution process. The AR scenario execution process is a process for executing an AR scenario corresponding to a target detected by the
ステップＳ１１の処理において、ＣＰＵ１４０は、ＡＲシナリオを実行する所定の操作を受け付けたと判定した場合には（ステップＳ１１：ＹＥＳ）、カメラ６１を介して、外景を撮像する（ステップＳ１３）。次に、物体認識部１６８は、カメラ６１が撮像した外景の撮像画像の中から、シナリオＤＢ１３８に記憶されたＡＲシナリオに対応付けられた特定の対象としての第１の対象の画像（以下、単に「第１の対象」ともいう）を検出する（ステップＳ１５）。物体認識部１６８は、撮像画像の中から第１の対象を検出しない場合には（ステップＳ１５：ＮＯ）、引き続き、撮像画像の中から第１の対象の検出を待機する（ステップＳ１５）。撮像画像の中から第１の対象が検出された場合には（ステップＳ１５：ＹＥＳ）、ＣＰＵ１４０は、第１の対象に対応付けられている複数のＡＲシナリオがあるか否かを判定する（ステップＳ１７）。第１の対象に対応付けられている複数のＡＲシナリオがあると判定された場合には（ステップＳ１７：ＹＥＳ）、表示画像設定部１６５は、複数のＡＲシナリオから１つのＡＲシナリオを選択させるための選択画像を光学像表示部２６，２８に表示させて、使用者に１つのＡＲシナリオを選択させる（ステップＳ１９）。ＣＰＵ１４０は、使用者によって実行する１つのＡＲシナリオが選択されたと判定した場合（ステップＳ１９）、選択されたＡＲシナリオを実行する（ステップＳ２１）。また、ＣＰＵ１４０は、ステップＳ１７の処理において複数のＡＲシナリオがないと判定した場合には（ステップＳ１７：ＮＯ）、自動的に１つのＡＲシナリオを実行する。（ステップＳ２１）。なお、以降では、実行する１つの当該ＡＲシナリオを第１シナリオとも呼ぶ。
In the process of step S11, if the
図５は、複数のＡＲシナリオから実行される第１シナリオを選択するときに使用者が視認する視野ＶＲを示す説明図である。図５には、光学像表示部２６，２８を透過して使用者に視認される外景ＳＣと、光学像表示部２６，２８に表示された選択画像ＩＭＧ１と矢印画像ＣＳ３とが示されている。選択画像ＩＭＧ１および矢印画像ＣＳ３は、光学像表示部２６，２８において、画像を表示できる最大の領域である画像表示最大領域ＰＮ内に表示される。外景ＳＣには、まな板ＢＣと、板ＢＣの上に載っている魚ＦＳとが含まれる。魚ＦＳの頭部から尾にかけての体の表面には、複数のうろこＦＳＣが張り付いている。なお、本実施形態では、魚ＦＳの種類は、鯛である。表示画像設定部１６５は、検出された魚ＦＳと選択された「料理」のＡＲシナリオのカテゴリーとに基づいて、魚ＦＳに対応付けられた複数のＡＲシナリオの候補を選択画像ＩＭＧ１として画像表示最大領域ＰＮに表示させる。図５の選択画像ＩＭＧ１に示すように、魚ＦＳに対応付けられたＡＲシナリオの候補は、「１．三枚おろし」と「２．塩焼き」と「３．姿煮」とである。表示画像設定部１６５は、検出された魚ＦＳの位置に関わらず、画像表示最大領域ＰＮにおける固定の位置に選択画像ＩＭＧ１を表示させる。操作部１３５が使用者の操作を受け付けることで、矢印画像ＣＳ３が画像表示最大領域ＰＮ内を移動する。矢印画像ＣＳ３が選択画像ＩＭＧ１のいずれかの選択肢に重複した状態で操作部１３５が決定操作を受け付けると、ＣＰＵ１４０は、実行する１つのＡＲシナリオを選択する。なお、他の実施形態では、マイク６３が音声入力を受け付けることで、選択画像ＩＭＧ１のいずれかの選択肢が選択されてもよい。本実施形態では、第１シナリオとして「１．三枚おろし」が選択された場合について説明する。なお、図５および以降の図では、便宜上、画像表示最大領域ＰＮを示しているものの、破線で示した画像表示最大領域ＰＮの外枠は、使用者には視認されない。
FIG. 5 is an explanatory diagram showing a visual field VR visually recognized by the user when selecting a first scenario executed from a plurality of AR scenarios. FIG. 5 shows an external scene SC that is visible to the user through the optical
ＡＲシナリオが実行されると、表示画像設定部１６５は、ＡＲシナリオに含まれるＡＲ画像を、物体認識部１６８によって特定された第１の対象の位置や向きに対応付けて画像表示最大領域ＰＮに表示させる（ステップＳ２３）。物体認識部１６８は、撮像画像の中の魚ＦＳに対してパターンマッチングを行なうことで、撮像画像の中における魚ＦＳが占める領域や座標の位置を特定する。物体認識部１６８は、特定した領域や座標の位置に基づいて、魚ＦＳの頭の位置と尾の位置とを特定することで、撮像画像における魚ＦＳの向きを特定する。表示画像設定部１６５は、特定された撮像画像の中の魚ＦＳにおける予め定められた１つの座標に対応付けて、画像表示最大領域ＰＮ内に画像を表示させる。なお、本実施形態のＡＲシナリオは、主に、ＨＭＤ１００の使用者の動作を支援する動画である。そのため、シナリオＤＢ１３８に記憶されたＡＲシナリオに含まれる動画は、使用者に促したい推奨動作である場合が多い。表示画像設定部１６５が画像表示部２０に表示させた動画と同等の動作が使用者によって行なわれたと撮像画像によって判断した場合には、ＣＰＵ１４０は、実行している第１シナリオを終了する、または、別のＡＲシナリオを実行する。
When the AR scenario is executed, the display
図６は、ＡＲシナリオに含まれるＡＲ画像が画像表示最大領域ＰＮに表示されたときに使用者が視認する視野ＶＲを示す説明図である。図６には、シナリオＤＢ１３８の中から「料理」のＡＲシナリオのカテゴリーが選択された場合に、第１対象としての魚ＦＳに対応付けられた「うろこ取り」のＡＲ画像である画像ＡＲ１が表示されたときの視野ＶＲが示されている。図６に示すように、画像表示最大領域ＰＮに画像ＡＲ１が表示されるため、使用者は、光学像表示部２６，２８を透過する板ＢＣおよび魚ＦＳを含む外景ＳＣを視認すると同時に、画像表示最大領域ＰＮに表示された画像ＡＲ１を視認する。表示画像設定部１６５は、物体認識部１６８によって特定された魚ＦＳの頭部と尾とを往復する画像ＡＲ１の動画を画像表示最大領域ＰＮ内に表示させる。画像ＡＲ１は、使用者にうろこ取りで魚ＦＳのうろこを取る動作を支援する動画である。図６に示した矢印画像ＣＳ１は、画像ＡＲ１の頭と尾とを往復するイメージを示しており、矢印画像ＣＳ１が画像表示最大領域ＰＮ内に表示されるわけではない。なお、本実施形態では、カメラ６１の画角と使用者が視認する視野ＶＲとが同じになるように設定されている。
FIG. 6 is an explanatory diagram showing a visual field VR visually recognized by the user when an AR image included in the AR scenario is displayed in the image display maximum area PN. In FIG. 6, when the AR scenario category “cooking” is selected from the
図４のステップＳ２３において、魚ＦＳの位置や向きに対応付けられて画像ＡＲ１が画像表示最大領域ＰＮに表示されると、物体認識部１６８は、画像ＡＲ１を含む実行されている「うろこ取り」のＡＲシナリオが推奨する動作を使用者が行なったか否かを判定する（ステップＳ２５）。物体認識部１６８は、「うろこ取り」の動作を使用者が行なったか否かの判定を、撮像画像の中から実物のうろこ取りの検出と、実物のうろこ取りの動きとに基づいて行なう。具体的な判定方法は、撮像画像の中から画像ＡＲ１に相当する実物のうろこ取りが検出され、検出された実物のうろこ取りが魚ＦＳの頭部から尾までを予め設定された回数往復したか否かを検出することで判定する。
In step S23 of FIG. 4, when the image AR1 is displayed in the image display maximum area PN in association with the position and orientation of the fish FS, the
ステップＳ２５の処理において、物体認識部１６８は、実行されている第１シナリオが推奨する動作を使用者が行なっていないと判定した場合には（ステップＳ２５：ＮＯ）、物体認識部１６８は、撮像画像の中から、第１シナリオとは異なるＡＲシナリオである第２シナリオに対応付けられた第２の対象の画像（以下、単に「第２の対象」とも呼ぶ）を検出する（ステップＳ２７）。撮像画像の中から第２の対象が検出された場合には（ステップＳ２７：ＹＥＳ）、ＣＰＵ１４０は、第２の対象に対応付けられた第２シナリオを実行する（ステップＳ２９）。第２シナリオが実行されると、表示画像設定部１６５は、第２シナリオに含まれるＡＲ画像を、検出された第２の対象の位置や向きに対応付けて、画像表示最大領域ＰＮ内に表示させる（ステップＳ２３）。
In the process of step S25, when the
図７は、撮像画像の中から第２の対象が検出されて第２シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図７には、ＡＲシナリオが促す「うろこ取り」の推奨動作が終了していない状態で、第２の対象としての包丁ＫＮが撮像画像の中から検出された場合に、使用者の視野ＶＲが示されている。視野ＶＲには、光学像表示部２６，２８を透過した外景ＳＣに加えて、第２シナリオに含まれるＡＲ画像であるうろこ取りの画像ＡＲ２およびテキスト画像ＴＸ１が含まれている。表示画像設定部１６５は、第２シナリオに含まれるＡＲ画像として、包丁ＫＮではなく、うろこ取りによって魚ＦＳのうろこを取る動作を促す文字で表したテキスト画像ＴＸ１と、うろこ取りの画像ＡＲ２と、を画像表示最大領域ＰＮに表示させる。表示画像設定部１６５は、テキスト画像ＴＸ１および画像ＡＲ１の画像表示最大領域ＰＮにおける表示位置を、検出された第２の対象である包丁ＫＮの位置や向きに対応付けて表示させる。そのため、第１シナリオで魚ＦＳの位置に対応付けられ表示されるうろこ取りの画像ＡＲ１と、第２シナリオで包丁ＫＮの位置に対応付けられて表示されるうろこ取りの画像ＡＲ２とは、画像表示最大領域ＰＮにおいて異なる位置に表示される。なお、音声処理部１７０は、表示画像設定部１６５によるテキスト画像ＴＸ１の表示に合わせて、イヤホン３２，３４を介してテキスト画像ＴＸ１の文字と同じ音声を出力してもよい。
FIG. 7 is an explanatory diagram showing the visual field VR visually recognized by the user when the second scenario is executed by detecting the second target from the captured image. FIG. 7 shows that the user's visual field VR is displayed when the knife KN as the second object is detected from the captured image in a state where the recommended operation of “scaling” that the AR scenario prompts has not ended. It is shown. The visual field VR includes a scaly image AR2 and a text image TX1, which are AR images included in the second scenario, in addition to the outside scene SC transmitted through the optical
図４のステップＳ２３の処理において、包丁ＫＮの位置に対応付けられてテキスト画像ＴＸ１および画像ＡＲ２が画像表示最大領域ＰＮに表示されると、物体認識部１６８は、第２シナリオが使用者に推奨する動作が行なわれたか否かを判定する（ステップＳ２５）。物体認識部１６８は、図７のテキスト画像ＴＸ１に従って使用者が包丁ＫＮではなく、画像ＡＲ２に示すうろこ取りを持ったことを検出した場合に、第２シナリオの推奨動作が行なわれたと判定する。推奨動作が行なわれた判定された場合には（ステップＳ２５：ＹＥＳ）、物体認識部１６８は、撮像画像の中から選択されたカテゴリーのＡＲシナリオに対応付けられた特定の対象の画像を検出しているか否かを判定する（ステップＳ３１）。物体認識部１６８は、撮像画像の中に第１の対象としての魚ＦＳを検出しているため（ステップＳ３１：ＹＥＳ）、ステップＳ１７，１９の処理を行なわれた後、第１の対象に対応付けられた第１シナリオを実行する（ステップＳ２１）。表示画像設定部１６５は、第１シナリオに含まれるうろこ取りの画像ＡＲ１を魚ＦＳの位置に対応付けて画像表示最大領域ＰＮに表示させ（ステップＳ２５）、物体認識部１６８は、第１シナリオの推奨動作である魚ＦＳのうろこ取りが終了したか否かを判定する（ステップＳ２５）。物体認識部１６８は、検出したうろこ取りが所定の回数（例えば、２０回）以上、魚ＦＳの頭部と尾との間を往復した場合には、第１シナリオの推奨動作であるうろこ取りが使用者に行なわれたと判定する。なお、うろこ取りの推奨動作が行なわれたか否かの判定は、種々変形可能であり、例えば、魚ＦＳの表面のうろこを画像認識することで、判定されてもよい。
In the process of step S23 in FIG. 4, when the text image TX1 and the image AR2 are displayed in the maximum image display area PN in association with the position of the knife KN, the
物体認識部１６８は、推奨動作である魚ＦＳのうろこ取りが終了したと判定した場合には（ステップＳ２５：ＹＥＳ）、撮像画像の中から、その他のＡＲシナリオに対応付けられた特定の対象を検出する（ステップＳ３１）。撮像画像の中からその他の対象が検出されない場合には（ステップＳ３１：ＮＯ）、ＣＰＵ１４０は、その他のシナリオを実行するか否かを判定する（ステップＳ３３）。ＣＰＵ１４０は、操作部１３５が受け付けた操作やマイク６３が取得した音声などによって、シナリオＤＢ１３８に記憶されたＡＲシナリオ以外のＡＲシナリオ（例えば、無線通信部１３２を介して取得したＡＲシナリオ）の実行など受け付ける。
If the
ステップＳ３３の処理において、ＣＰＵ１４０は、無線通信部１３２を介してその他のＡＲシナリオを受信し、操作部１３５が受け付けた操作によって受信したＡＲシナリオを実行すると判定した場合には（ステップＳ３３：ＹＥＳ）、物体認識部１６８は、撮像画像の中から実行するＡＲシナリオに対応付けられた特定の対象である第３の対象を検出する（ステップＳ１５）。なお、ここでいう第３の対象は、第１の対象と同じである。第３の対象が検出されると（ステップＳ１５：ＹＥＳ）、ＣＰＵ１４０は、ステップＳ１７以降の処理を行なう。なお、第３の対象は、請求項における第１の対象に相当する。
In the process of step S33, when the
本実施形態では、うろこ取りが終了した魚ＦＳが第３の対象として検出され、魚ＦＳを３枚におろすことを使用者の動作推奨とする第３の対象に対応付けられたＡＲシナリオが実行される。なお、以降では、第３の対象に対応付けられたＡＲシナリオを、単に、第３シナリオとも呼ぶ。 In the present embodiment, the fish FS whose scale has been removed is detected as the third target, and the AR scenario associated with the third target in which the user recommends that the fish FS be lowered to three is executed. Is done. Hereinafter, the AR scenario associated with the third target is also simply referred to as a third scenario.
図８は、撮像画像の中から第３の対象が検出されて第３シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図８には、第３の対象として、うろこ取りが終了した魚ＦＳを含む外景ＳＣが示されている。また、図８に示すように、使用者の右手ＲＨが包丁ＫＮを持ち、使用者の左手ＬＨが魚ＦＳの頭部を押さえている。物体認識部１６８が第３の対象を検出すると、表示画像設定部１６５は、実行される第３シナリオに含まれる包丁のＡＲ画像である画像ＡＲ３と、推奨動作を示すテキスト画像ＴＸ２とを画像表示最大領域ＰＮに表示させる。画像ＡＲ３およびテキスト画像ＴＸ２は、第３の対象としての魚ＦＳに対応付けられて画像表示最大領域ＰＮに表示される。そのため、テキスト画像ＴＸ２が表示される位置は、図７における包丁ＫＮに対応付けられたテキスト画像ＴＸ１の位置とは異なる。テキスト画像ＴＸ２は、魚ＦＳを３枚におろす推奨動作を促す第３シナリオにおいて、初めに、魚ＦＳの内臓を取り出すことを使用者に促す文字画像である。物体認識部１６８によって検出された第３の対象やその他の対象に基づいて、表示画像設定部１６５は、実行される第３シナリオに含まれる画像を画像表示最大領域ＰＮに表示する。また、同様に、音声処理部１７０は、イヤホン３２，３４を介して、実行される第３シナリオに含まれる音声を出力する。
FIG. 8 is an explanatory diagram illustrating a visual field VR visually recognized by the user when a third target is detected from the captured image and the third scenario is executed. FIG. 8 shows an outside scene SC that includes a fish FS that has been scaled off as a third object. Further, as shown in FIG. 8, the user's right hand RH has a knife KN, and the user's left hand LH holds the head of the fish FS. When the
図９は、第３シナリオが終了した後に実行される第４シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図９には、魚ＦＳを三枚におろす第３シナリオの動作推奨が使用者によって完了した後に、撮像画像の中から三枚におろされた魚ＦＳのそれぞれが第４の対象として検出されて、第４の対象に対応付けられたＡＲシナリオである第４シナリオが実行されたときに使用者が視認する視野ＶＲが示されている。物体認識部１６８は、第４シナリオが実行されると、第４シナリオに含まれるＡＲ画像の矢印画像ＣＳ２と、三枚におろされた魚ＦＳに対する処理を使用者に選択させるためのテキスト画像ＴＸ３とを画像表示最大領域ＰＮに表示させる。テキスト画像ＴＸ３および矢印画像ＣＳ２は、三枚におろされた魚ＦＳのそれぞれの切身ＣＢ１，ＣＢ２および中骨ＭＢを検出すると、画像表示最大領域ＰＮに表示される。物体認識部１６８は、テキスト画像ＴＸ３および矢印画像ＣＳ２が表示される位置を、切身ＣＢ１，ＣＢ２および中骨ＭＢの位置や向きとは関係なく、画像表示最大領域ＰＮにおける固定の位置に表示させる。テキスト画像ＴＸ３は、切身ＣＢ１と切身ＣＢ２と中骨ＭＢとに対する処理として、保存と刺身と昆布締めとを使用者に選択させるための画像である。操作部１３５が使用者の操作を受け付けることで、テキスト画像ＴＸ３のいずれかの選択肢（例えば、１．切身ＣＢ１）が選択されると、ＣＰＵ１４０は、選択された選択肢に対応付けられた画像および音声を出力させる。また、マイク６３が音声入力を受け付けることで、テキスト画像ＴＸ３のいずれかの選択肢が選択されてもよい。
FIG. 9 is an explanatory diagram showing the visual field VR visually recognized by the user when the fourth scenario executed after the third scenario is completed. In FIG. 9, after the recommendation of the operation of the third scenario for dropping the fish FS into three sheets is completed by the user, each of the fish FS dropped into the three sheets is detected as the fourth target from the captured image. The visual field VR visually recognized by the user when the fourth scenario that is the AR scenario associated with the fourth target is executed is shown. When the fourth scenario is executed, the
図１０は、図９のテキスト画像ＴＸ３の内の選択肢が選択された後に使用者が視認する視野ＶＲを示す画像である。図１０には、図９のテキスト画像ＴＸ３において、処理される対象として「１．切身ＣＢ１」が選択され、切身ＣＢ１の処理として、「３．昆布締め」が選択された場合に、画像表示最大領域ＰＮに表示されるＡＲ画像である画像ＡＲ４とテキスト画像ＴＸ４とが示されている。表示画像設定部１６５は、実行されているＡＲシナリオの具体的な処理を示すテキスト画像ＴＸ４を、画像表示最大領域ＰＮにおける固定の位置に表示させる。また、表示画像設定部１６５は、使用者に選択されると共に物体認識部１６８によって撮像画像の中から検出された切身ＣＢ１の位置と向きに対応付けて、昆布締めに使用される昆布のＡＲ画像を画像ＡＲ４として画像表示最大領域ＰＮ内に表示させる。これにより、ＨＭＤ１００は、使用者に対して、切身ＣＢ１に昆布締めに必要な処理を推奨動作として認識させることができる。
FIG. 10 is an image showing the visual field VR visually recognized by the user after an option in the text image TX3 of FIG. 9 is selected. In FIG. 10, when “1. fillet CB1” is selected as the processing target in the text image TX3 of FIG. 9 and “3. kelp fastening” is selected as the processing of the fillet CB1, the maximum image display is shown. An image AR4 that is an AR image displayed in the region PN and a text image TX4 are shown. The display
図４のステップＳ２５において、推奨動作として第４シナリオの昆布締めの処理が切身ＣＢ１に行なわれると（ステップＳ２５：ＹＥＳ）、物体認識部１６８は、その他の対象を撮像画像の中から検出する（ステップＳ３１）。その他の対象が検出されない場合に（ステップＳ３１：ＮＯ）、ＣＰＵ１４０は、その他のＡＲシナリオをもう実行しないと判定した場合には（ステップＳ３３：ＮＯ）、ＡＲ実行処理を終了する。
In step S25 of FIG. 4, when the kelp tightening process of the fourth scenario is performed on the fillet CB1 as a recommended operation (step S25: YES), the
以上説明したように、第１実施形態のＨＭＤ１００では、物体認識部１６８がカメラ６１の撮像画像の中から第１の対象を検出し、表示画像設定部１６５は、第１の対象に対応付けられた魚ＦＳのうろこ取りの推奨動作の第１シナリオ実行される場合に、検出されたＦＳ魚の位置に対応付けてうろこ取りの画像ＡＲ１を画像表示最大領域ＰＮに表示させる。そのため、第１実施形態のＨＭＤ１００では、外景ＳＣに含まれる複数の物体の内から１つの物体を検出して、検出した物体の位置に対応付けた画像を表示する。これにより、使用者は、実物の位置に合わせて表示される画像を視認しながら、作業等を行なうことができるため、使用者が行なう作業を支援し、使用者の作業の効率性などを向上させることができる。
As described above, in the
また、第１実施形態のＨＭＤ１００では、物体認識部１６８は、画像として第１の対象である魚ＦＳを検出するため、魚ＦＳを検出する精度を向上させることができる。
Further, in the
また、第１実施形態のＨＭＤ１００では、第１の対象としての魚ＦＳに対応付けられたうろこ取りの画像ＡＲ１は、魚ＦＳに対して行なわれるうろこ取りの推奨動作に関連する動画であるため、使用者は、推奨動作をより認識しやすく、使用者の作業の効率性などがさらに向上する。
In the
また、第１実施形態のＨＭＤ１００では、物体認識部１６８が撮像画像の中から第２の対象としての包丁ＫＮを検出した場合に、表示画像設定部１６５は、実行される第２シナリオに含まれるテキスト画像ＴＸ１およびうろこ取りの画像ＡＲ２を画像表示最大領域ＰＮに表示させる。そのため、第１実施形態のＨＭＤ１００では、検出される物体に優先度が設定されており、複数のＡＲシナリオに対応付けられた複数の特定の対象物が検出されても、検出された特定の対象物に設定された優先度に基づいて、画像表示最大領域ＰＮに表示される画像が変更される。これにより、使用者に対して、状況の最も適した画像を視認させることができるため、使用者の使い勝手がさらに向上する。
In the
また、第１実施形態のＨＭＤ１００では、表示画像設定部１６５は、マイク６３が取得した音声に基づいて、三枚におろされた魚ＦＳの切身ＣＢ１に対して受け付けた処理に対応付けて、テキスト画像ＴＸ４および画像ＡＲ４を画像表示最大領域ＰＮに表示される。そのため、第１実施形態のＨＭＤ１００では、検出された特定の対象物に加えて、使用者は、音声によっても画像表示最大領域ＰＮに表示させる画像を操作できるため、使用者の使い勝手がさらに向上する。
Moreover, in HMD100 of 1st Embodiment, the display
また、第１実施形態のＨＭＤ１００では、音声処理部１７０は、第１シナリオが実行されている場合に、第２の対象としての包丁ＫＮが検出されると、画像表示最大領域ＰＮに表示されるテキスト画像ＴＸ１の文字と同じ音声を出力する。そのため、第１実施形態のＨＭＤ１００では、使用者に対して、画像表示最大領域ＰＮに表示される画像に加えて、音声によっても情報を認識させることができ、使用者は、視覚および聴覚によってより多くの情報を認識でき、使用者の利便性が向上する。
Further, in the
Ｂ．第２実施形態：
Ｂ−１．ＨＭＤの構成：
図１１は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、生体情報取得センサー９０と、ＣＰＵ１４０ａの生体情報処理部１６９と、を備える点が異なり、その他の構成については同じである。生体情報取得センサー９０は、制御部１０および画像表示部２０とは別体で形成されたセンサーである。生体情報取得センサー９０は、使用者の生体情報を取得する。本実施形態では、生体情報取得センサー９０は、腕時計型のセンサーであり、使用者の手首に装着された状態で、ひずみゲージによるひずみ検出によって、現時点での使用者の筋力を測定する。生体情報取得センサー９０は、取得した使用者の筋力の測定データを制御部１０ａのＣＰＵ１４０ａへと送信する。取得された生体情報を処理する。生体情報処理部１６９は、取得された使用者の筋力の測定データに基づいて、実行されるＡＲシナリオに含まれる各種処理を実行する。
B. Second embodiment:
B-1. HMD configuration:
FIG. 11 is a block diagram functionally showing the configuration of the
Ｂ−２．ＡＲシナリオ実行処理：
第２実施形態では、自動車のタイヤの交換を推奨動作とするＡＲシナリオ（以下、単に、「タイヤ交換シナリオ」とも呼ぶ）について、ＡＲシナリオ実行処理について説明する。第２実施形態では、第１実施形態のＡＲシナリオ実行処理（図４）における処理の内、異なる処理であるステップＳ２１以降の処理について説明する。
B-2. AR scenario execution processing:
In the second embodiment, an AR scenario execution process will be described for an AR scenario (hereinafter, also simply referred to as “tire replacement scenario”) in which replacement of a tire of a vehicle is a recommended operation. In the second embodiment, a process after step S21 which is a different process among the processes in the AR scenario execution process (FIG. 4) of the first embodiment will be described.
図１２は、第１の対象が検出されてタイヤ交換シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図１２には、第１対象としてのタイヤＴＲの画像が撮像画像の中から検出された場合に、ＣＰＵ１４０ａによってＡＲシナリオとしてのタイヤ交換シナリオが実行され、表示画像設定部１６５がＡＲ画像である画像ＡＲ５が画像表示最大領域ＰＮに表示されたときに視野ＶＲが示されている。外景ＳＣに含まれるタイヤＴＲは、４箇所のボルトＢＴによって自動車の本体に固定されている。画像ＡＲ５は、工具としての六角レンチを表す工具画像ＡＲＲと、工具画像ＡＲＲを持っている腕画像ＡＲＨと、腕画像ＡＲＨの手首に装着されている筋力センサー画像ＡＲＳと、から構成されている。すなわち、画像ＡＲ５は、使用者に、筋力センサーを装着した腕で六角レンチにてタイヤＴＲのボルトＢＴを外すことを推奨動作とする画像である。表示画像設定部１６５は、検出されたタイヤＴＲのボルトＢＴの位置に対応付けて画像ＡＲ５の内の工具画像ＡＲＲを画像表示最大領域ＰＮに表示させる。また、表示画像設定部１６５は、画像ＡＲ５の内の腕画像ＡＲＨおよび筋力センサー画像ＡＲＳを、工具画像ＡＲＲに対応付けて画像表示最大領域ＰＮに表示させる。腕画像ＡＲＨの表示部には、工具を回すために推奨とされる筋力の数値が表示される。表示される数値（８０）は、パーセンテージ（％）の単位であり、予め、ＨＭＤ１００の使用者の筋力とひずみゲージとの関係が設定された上で、推奨される数値である。
FIG. 12 is an explanatory diagram showing the visual field VR visually recognized by the user when the first object is detected and the tire replacement scenario is executed. In FIG. 12, when an image of the tire TR as the first object is detected from the captured image, the tire replacement scenario as the AR scenario is executed by the
タイヤ交換シナリオが実行され（図４のステップＳ２３）、タイヤ交換シナリオに対応付けられた画像ＡＲ５が画像表示最大領域ＰＮに表示されると（図４のステップＳ２３）、物体認識部１６８は、タイヤ交換シナリオの推奨動作が終了したか否かを判定する（ステップＳ２５）。
When the tire replacement scenario is executed (step S23 in FIG. 4) and the image AR5 associated with the tire replacement scenario is displayed in the image display maximum area PN (step S23 in FIG. 4), the
図１３は、タイヤ交換シナリオが実行されているときに第２の対象が検出された場合に使用者が視認する視野ＶＲを示す説明図である。図１３には、タイヤ交換シナリオが実行されている場合に、第２の対象が検出された場合に、画像表示最大領域ＰＮに表示されるテキスト画像ＴＸ５と画像ＡＲ５，ＡＲ６とが示されている。第２実施形態における第２の対象は、実物の六角レンチである工具ＲＮと足ＬＧとが所定の位置関係として検出された状態である。図１３では、画像ＡＲ５の内の工具画像ＡＲＲは、実物の工具ＲＮと重なっている。物体認識部１６８が実物の工具ＲＮに使用者の足ＬＧが接触している位置関係を検出した場合に、表示画像設定部１６５は、画像ＡＲ５に加えて、テキスト画像ＴＸ５および画像ＡＲ６を画像表示最大領域ＰＮに表示させる。テキスト画像ＴＸ５は、足ＬＧで工具ＲＮを回転させることの禁止を促す文字画像である。また、画像ＡＲ６は、テキスト画像ＴＸ５の内容を強調するための「×」を示すＡＲ画像である。表示画像設定部１６５は、画像ＡＲ６を、検出された工具ＲＮと足ＬＧとの接触位置に対応させて画像表示最大領域ＰＮ内に表示させる。
FIG. 13 is an explanatory diagram showing the visual field VR visually recognized by the user when the second target is detected when the tire replacement scenario is being executed. FIG. 13 shows a text image TX5 and images AR5 and AR6 displayed in the image display maximum area PN when the second target is detected when the tire replacement scenario is executed. . The second object in the second embodiment is a state in which the tool RN and the foot LG, which are real hex wrenches, are detected as a predetermined positional relationship. In FIG. 13, the tool image ARR in the image AR5 overlaps with the actual tool RN. When the
タイヤ交換シナリオの推奨動作が終了していない場合に（図４のステップＳ２５：ＮＯ）、第２の対象としての工具ＲＮおよび足ＬＧが検出されると（ステップＳ２７：ＹＥＳ）、ＣＰＵ１４０ａは、タイヤ交換を足ではなく腕を使って行なう推奨動作のＡＲシナリオである第２シナリオを実行する（ステップＳ２９）。第２シナリオが実行されると、表示画像設定部１６５は、図１３に示すように、画像表示最大領域ＰＮ内に画像ＡＲ５に加えて、画像ＡＲ６およびテキスト画像ＴＸ５を表示させる（ステップＳ２３）。第２シナリオの推奨動作に従って、足ＬＧが検出されなくなった場合には（ステップＳ２５：ＹＥＳ）、タイヤＴＲが検出されるため（ステップＳ３１：ＹＥＳ）、ＣＰＵ１４０ａは、タイヤ交換シナリオを実行する（ステップＳ２１）。その後、表示画像設定部１６５は、画像ＡＲ５を画像表示最大領域ＰＮに表示させる（ステップＳ２３）。
When the recommended operation of the tire replacement scenario has not ended (step S25 in FIG. 4: NO), when the tool RN and the foot LG as the second target are detected (step S27: YES), the
図１４は、第１の対象が検出されたタイヤ交換シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図１４には、画像表示最大領域ＰＮに、図１２と同様の画像ＡＲ５が表示され、かつ、実物の使用者の腕ＨＤと、腕ＨＤの手首に装着された筋力センサーＳＳと、腕ＨＤが持っている工具ＲＮと、テキスト画像ＴＸ６とを含む視野ＶＲが示されている。図１４に示すように、画像ＡＲ５の内の工具画像ＡＲＲと実物の工具ＲＮとの位置関係と、腕画像ＡＲＨと腕ＨＤとの位置関係とは異なる。換言すれば、使用者の腕ＨＤおよび工具ＲＮのそれぞれは、推奨動作として表示された画像ＡＲ５と重複しておらず、物体認識部１６８は、使用者にタイヤ交換シナリオの推奨動作が行なわれていないと判定する。物体認識部１６８は、撮像画像の中における複数のボルトＢＴの位置と大きさとによって、タイヤＴＲの位置や向きを特定する。そのため、物体認識部１６８は、特定したタイヤＴＲのボルトＢＴに対して、実物の工具ＲＮが正しい位置に挿入されているか否かを判定できる。表示画像設定部１６５は、検出された工具ＲＮが正しい位置に挿入されていないと判定されると、工具ＲＮをボルトＢＴに対して正しい位置に挿入する動作を促すテキスト画像ＴＸ６を画像表示最大領域ＰＮに表示させる。なお、図１４では、工具ＲＮが正しい位置に挿入されていないため、使用者は工具ＲＮを回転させることができず、筋力センサーＳＳの数値は０（％）と表示されている。
FIG. 14 is an explanatory diagram showing a visual field VR visually recognized by the user when the tire replacement scenario in which the first target is detected is executed. In FIG. 14, the image AR5 similar to that in FIG. 12 is displayed in the image display maximum area PN, and the arm HD of the actual user, the strength sensor SS attached to the wrist of the arm HD, and the arm HD are displayed. A field of view VR including the tool RN that it has and the text image TX6 is shown. As shown in FIG. 14, the positional relationship between the tool image ARR and the actual tool RN in the image AR5 is different from the positional relationship between the arm image ARH and the arm HD. In other words, each of the user's arm HD and the tool RN does not overlap with the image AR5 displayed as the recommended action, and the
使用者がテキスト画像ＴＸ６に従い、工具ＲＮがボルトＢＴに対して正しい位置に挿入されると、表示画像設定部１６５が画像ＡＲ５を非表示にして、生体情報処理部１６９は、生体情報取得センサー９０としての筋力センサーＳＳの筋力の数値を検出する。生体情報処理部１６９は、筋力センサーＳＳによって取得された値が８０％を中心とする７５％から８５％までの間の数値以外で、工具ＲＮが回されているか否かを判定する。当該数値の間で工具ＲＮが回されていると判定した場合には、表示画像設定部１６５は、８０％の筋力で工具ＲＮを回転させるように促すテキスト画像を画像表示最大領域ＰＮに表示させる。生体情報処理部１６９が８０％の筋力で工具ＲＮが回転させられていると判定すると、表示画像設定部１６５がテキスト画像を非表示にして、表示画像設定部１６５は、別のボルトＢＴを外すＡＲ画像を画像表示最大領域ＰＮに表示させる。以上のような動作が繰り返されると、ＣＰＵ１４０ａは、タイヤ交換シナリオを終了する。
When the user follows the text image TX6 and the tool RN is inserted at the correct position with respect to the bolt BT, the display
以上説明したように、第２実施形態のＨＭＤ１００ａでは、生体情報取得センサー９０によって検出された使用者の筋力に基づいて、表示画像設定部１６５は、画像表示最大領域ＰＮに画像を表示させる。そのため。第２実施形態のＨＭＤ１００ａでは、撮像画像の中に検出された特定の対象物に、取得された使用者の生体情報も加えた画像を使用者に視認させることができ、使用者の利便性がさらに向上する。
As described above, in the
Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
C. Variation:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.
Ｃ−１．変形例１：
上記実施形態では、撮像画像の中から検出される第１の対象は、１つの物体であったが、これに限られず、複数の物体などであってもよい。例えば、物体認識部１６８は、第１の対象として、撮像画像の中から複数の物体の位置も含めた組み合わせを検出してもよい。また、物体認識部１６８は、同じ特定の対象であっても、特定の対象が特定の動きをしている場合にのみ、第１の対象として、検出してもよい。また、物体認識部１６８は、複数の特定の対象を検出して、複数の特定の対象の内から使用者が１つの特定の対象を選択することで、選択された特定の対象を第１の対象として検出してもよい。
C-1. Modification 1:
In the above embodiment, the first target detected from the captured image is a single object, but is not limited to this, and may be a plurality of objects. For example, the
上記第１実施形態では、第２の対象としての包丁ＫＮが検出された場合に、実行するＡＲシナリオとして第２シナリオへと変更されたが、第１シナリオから他のシナリオへの変更については、種々変形可能である。例えば、「うろこ取り」の第１シナリオが実行されているときに、実物のうろこ取りが検出されても、実物のうろこ取りの位置や動きが、矢印画像ＣＳ１と大きく異なる場合に、ＣＰＵ１４０は、第２の対象が検出されたとして、別のＡＲシナリオを実行してもよい。
In the first embodiment, when the knife KN as the second object is detected, the AR scenario to be executed is changed to the second scenario. However, the change from the first scenario to another scenario is as follows. Various modifications are possible. For example, when the actual scale removal is detected when the first scenario of “scale removal” is being executed, if the actual scale removal position or movement is significantly different from the arrow image CS1, the
上記実施形態では、パターンマッチング等の画像認識により、撮像画像の中から第１の対象を検出されたが、第１の対象が検出される方法については、これに限られず、種々変形可能である。例えば、物体認識部１６８は、撮像画像に対する画像認識ではなく、デプスセンサーなどを用いて、ＴＯＦ（Time-of-Flight）方法などによって、デプスセンサーから第１の対象までの距離を測定することで、第１の対象を検出してもよい。
In the above embodiment, the first target is detected from the captured image by image recognition such as pattern matching. However, the method for detecting the first target is not limited to this, and various modifications can be made. . For example, the
撮像画像の中から検出される特定の対象物の画像は、上記実施形態の例に限られず、種々変形可能である。例えば、特定の対象物は、撮像画像の中から検出される実物であれば、ＡＲシナリオに対応付けられることができる。特定の対象物は、上記実施形態のように、人が持ち運ぶことで移動可能な魚ＦＳであってもよいし、移動不可能な建造物などであってもよい。また、特定の対象物は、時間の経過によって規則的な移動をする太陽などであってもよい。また、請求項における第１の対象と第１の動画像とが対応付けられているとは、外景ＳＣから特定の対象物として何らかの対象物が検出されることで、検出された特定の対象物のＡＲシナリオが実行されることを含む。第１の対象と第１の動画像とが対応付けられているには、例えば、撮像画像の中から特定の対象物の画像が検出されることやデプスセンサーなどによって外景ＳＣから特定の形状が検出されることやデプスセンサーによって画像表示部２０から特定の距離に何らかの対象が検出されることで、ＡＲシナリオが実行されることが含まれる。
The image of the specific object detected from the captured image is not limited to the example in the above embodiment, and can be variously modified. For example, a specific object can be associated with an AR scenario if it is a real object detected from a captured image. The specific object may be a fish FS that can be moved by being carried by a person as in the above-described embodiment, or may be a structure that cannot be moved. The specific object may be the sun that moves regularly over time. In addition, the first object and the first moving image in the claims are associated with each other when a certain object is detected as a specific object from the outside scene SC. The AR scenario is executed. The first object and the first moving image are associated with each other, for example, when a specific object image is detected from the captured image, or a specific shape is formed from the outside scene SC by a depth sensor or the like. It includes that the AR scenario is executed by detecting or detecting a certain object at a specific distance from the
上記実施形態では、シナリオＤＢ１３８のカテゴリーが選択された後に、選択されたカテゴリーに含まれるＡＲシナリオの第１の対象が撮像画像の中から検出されたが、第１の対象となるＡＲシナリオの設定については、種々変形可能である。例えば、物体認識部１６８は、ＡＲシナリオをカテゴリーに分類せずに、全てのＡＲシナリオに対応付けられた第１の対象を撮像画像の中から検出してもよい。
In the above embodiment, after the category of the
第１の対象に対応付けてＡＲシナリオを実行する方法については、上記実施形態の例に限られず、種々変形可能である。例えば、シナリオＤＢ１３８は、複数のＡＲシナリオをいくつかのカテゴリーに分類して記憶するだけでなく、撮像画像における第１の対象の位置、第１の対象の動き、検出された特定の対象の順番、撮像画像における第１の対象の向き、これらと取得した外部の音声との組み合わせのテーブルを記憶していてもよい。例えば、撮像画像の中から検出された１つの特定の対象物が検出され、かつ、検出された特定の対象物の所定の時間内に予め設定された動作が検出された場合に、ＣＰＵ１４０は、シナリオＤＢ１３８に対応付けて記憶されたＡＲシナリオを実行してもよい。また、第１の対象として、ホールケーキが検出され、かつ、外部音声としての「８等分」や「６等分」が取得されたときに、ケーキをカットするナイフと、検出されたケーキに対して切り込む位置と、がＡＲ画像として表示されるＡＲシナリオが実行されてもよい。この変形例では、複数の要素によって種々のＡＲシナリオが選択されるため、使用者は、種々のＡＲシナリオから簡単に所望のＡＲシナリオを選択できる。
The method of executing the AR scenario in association with the first target is not limited to the example of the above embodiment, and various modifications can be made. For example, the
上記実施形態では、特定の対象が検出された場合に、１つのＡＲシナリオが実行されたが、必ずしも、実行されるＡＲシナリオは、１つに限られず、複数であってもよい。例えば、ＣＰＵ１４０は、第１の対象に対応付けられたＡＲシナリオを全て実行した上で、その後に検出された第１の対象と異なる特定の対象に基づいて、実行していた複数のＡＲシナリオから、実行するＡＲシナリオをいくつかに限定してもよい。
In the above embodiment, one AR scenario is executed when a specific target is detected. However, the number of AR scenarios to be executed is not necessarily limited to one, and may be plural. For example, the
上記実施形態では、第１の対象に対応付けられた複数のＡＲシナリオがある場合に、操作部１３５が受け付けた操作に基づいて、１つのＡＲシナリオが選択されたが、複数のＡＲシナリオから１つのＡＲシナリオを選択する方法については、種々変形可能である。例えば、ＣＰＵ１４０は、第１の対象に対応付けられた複数のＡＲシナリオがある場合に、最近実行されたＡＲシナリオを、実行する第１シナリオとして選択してもよい。
In the above embodiment, when there are a plurality of AR scenarios associated with the first target, one AR scenario is selected based on the operation received by the
請求項における動画像とは、静止画の組み合わせであるパラパラ漫画なども含み、同じ画像でもサイズが異なるように変化する動画も含む。動画像とは、時間の経過に伴い全く変化しない静止画像以外の広い概念のことをいい、複数の静止画像の組み合わせが変化する画像も含む。 The moving image in the claims includes a flip cartoon that is a combination of still images, and also includes a moving image that changes in size even in the same image. A moving image refers to a wide concept other than a still image that does not change at all over time, and includes an image in which a combination of a plurality of still images changes.
また、ＡＲシナリオに含まれる画像としては、種々変形可能であり、ＲＧＢデータを変化させることで、半透明のＡＲ画像や二次元の画像として生成してもよい。例えば、図６に示す例において、「うろこ取り」の画像ＡＲ１に対して、うろこ取りを持つ半透明の人の手の画像が、うろこ取りの画像ＡＲ１と同時に画像表示最大領域ＰＮに表示されてもよい。この変形例では、ＡＲシナリオを実行している使用者がうろこ取りの持ち方などがわからない場合に、うろこ取りの画像ＡＲ１と対応付けて半透明の人の手の画像を画像表示最大領域ＰＮに表示させることで、使用者の利便性が向上する。 The image included in the AR scenario can be variously modified and may be generated as a translucent AR image or a two-dimensional image by changing RGB data. For example, in the example shown in FIG. 6, an image of a translucent person having a scale removal is displayed in the maximum image display area PN at the same time as the scale removal image AR1 with respect to the “scale removal” image AR1. Also good. In this modification, when the user who is executing the AR scenario does not know how to hold the scale, the image of the translucent person's hand is associated with the scale removal image AR1 in the image display maximum area PN. By displaying, the convenience for the user is improved.
上記実施形態では、カメラ６１の画角と光学像表示部２６，２８を透過して使用者が視認する視野とは、対応するように予め設定されていたが、必ずしも対応するように設定されている必要はなく、これらの設定については、種々変形可能である。例えば、操作部１３５が操作を受け付けることで、カメラ６１の画角が変更されてもよい。また、ＣＰＵ１４０は、画像表示最大領域ＰＮにキャリブレーション用の画像を表示させて、所定の操作を使用者に促すことで、カメラ６１の画角を調整してもよい。
In the above embodiment, the angle of view of the
上記第２実施形態では、生体情報取得センサー９０として、筋力センサーＳＳを例に挙げて説明したが、種々変形可能である。例えば、生体情報取得センサー９０は、使用者の脈拍や発汗状態などを取得するセンサーであってもよい。生体情報取得センサー９０は、赤外線を腕に発光させて、反射光を検出することで、血液の流れについて波形を取得することもできる。
In the second embodiment, the muscular force sensor SS has been described as an example of the biological
上記第２実施形態では、筋力センサーＳＳが表示する推奨の筋力の数値が８０％であったが、これらの値については、種々変形可能である。例えば、筋力センサーＳＳではなく、トルクレンチと筋力とを関連付けることにより、筋力センサーＳＳが取得したひずみに基づいて、いくつのトルクが工具ＲＮにかかっているかが表示されてもよい。 In the second embodiment, the recommended strength value displayed by the strength sensor SS is 80%. However, these values can be variously modified. For example, the number of torques applied to the tool RN may be displayed based on the strain acquired by the muscle force sensor SS by associating the muscle force with a torque wrench instead of the muscle force sensor SS.
上記第２実施形態では、生体情報取得センサー９０としての筋力センサーＳＳの使用について、一例を挙げて説明したが、生体情報取得センサー９０の設定については、種々変形可能である。例えば、使用者の握力、腕等を回す動作、トルクレンチやゴルフクラブを握ったとき状態において、予め複数回の計測がされ、これらの計測から得られた最大値や平均値と、筋力センサーＳＳなどと関連付けられているＡＲシナリオと、の関係が設定されてもよい。さらに具体的には、特定のＡＲシナリオで使用される生体情報取得センサー９０および工具が決まっている場合には、予め、当該工具を使用した場合の計測を行なわれ、ＡＲシナリオに反映させることで、ＣＰＵ１４０は、ＡＲシナリオを実行する使用者に「コツ」なども含めた作業支援の画像等を認識させることができる。
In the second embodiment, the use of the muscle force sensor SS as the biological
Ｃ−２．変形例２：
上記実施形態では、ＡＲシナリオの推奨動作の終了の判定は、撮像画像の中から検出された人の動き等によって行なわれたが、種々変形可能である。例えば、物体認識部１６８が所定の動作を検出することで、推奨動作の終了を判定するのではなく、マイク６３が取得した音声（例えば、「終了しました」）によって判定されてもよい。
C-2. Modification 2:
In the above embodiment, the end of the recommended operation of the AR scenario is determined based on the movement of a person detected from the captured image, but various modifications can be made. For example, instead of determining the end of the recommended operation by detecting a predetermined operation by the
上記実施形態では、上記実施形態では、第１シナリオが実行されているときに、第２の対象が検出されると、第２シナリオが実行される態様であったが、第１シナリオと第２シナリオとの関係については、このような関係に限られず、種々変形可能である。例えば、第１シナリオと第２シナリオとを合わせて、１つの複合されたＡＲシナリオとして取り扱われてもよい。この場合、ＣＰＵ１４０は、１つのＡＲシナリオを実行しているときに、上記実施形態における第２の対象が検出された場合には、実行しているＡＲシナリオにおいて分岐したとも言い換えることができる。
上記実施形態では、第２の対象が検出された場合に、第２シナリオが実行されたが、必ずしも第２シナリオが実行される必要はない。例えば、ＣＰＵ１４０は、第１の対象を検出して第１シナリオを実行しているときに、第１シナリオに対応付けられていない特定の対象物を検出しなくてもよい。
In the above embodiment, in the above embodiment, the second scenario is executed when the second target is detected when the first scenario is executed. The relationship with the scenario is not limited to such a relationship, and various modifications can be made. For example, the first scenario and the second scenario may be combined and handled as one combined AR scenario. In this case, if the second target in the above embodiment is detected while executing one AR scenario, the
In the above embodiment, the second scenario is executed when the second object is detected, but the second scenario is not necessarily executed. For example, when detecting the first target and executing the first scenario, the
上記実施形態では、表示画像設定部１６５は、検出された第１対象としての魚ＦＳの位置などに対応付けてＡＲ画像を画像表示最大領域ＰＮに表示させたが、画像を表示させる位置については、種々変形可能である。例えば、表示画像設定部１６５は、特定の対象物が検出された場合に、特定の対象物の位置に関わらず、画像表示最大領域ＰＮとの関係において、ＡＲ画像を表示させる位置を設定してもよい。
In the above embodiment, the display
上記実施形態では、使用者の作業を支援するＡＲシナリオとして、魚ＦＳの調理方法やタイヤＴＲの交換を例に挙げて説明したが、これらに限られず、種々変形可能である。例えば、工場の特定の作業を支援するＡＲシナリオであってもよいし、ゴルフなどのスポーツにおけるスポーツ用具の使い方をレクチャーするＡＲシナリオであってもよい。 In the above embodiment, the AR scenario for supporting the user's work has been described by taking the cooking method of the fish FS and the replacement of the tire TR as examples. However, the present invention is not limited to these, and various modifications are possible. For example, it may be an AR scenario that supports specific work in a factory, or an AR scenario that lectures how to use sports equipment in sports such as golf.
上記実施形態では、マイク６３、イヤホン３２，３４、音声処理部１７０がＨＭＤ１００の構成に含まれていたが、必ずしも必要ではなく、マイク６３等がなくてもよい。
In the above embodiment, the
Ｃ−３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。
C-3. Modification 3:
In the above embodiment, the
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。
For example, the image light generation unit may include an organic EL (Organic Electro-Luminescence) display and an organic EL control unit. Further, for example, the image light generation unit may use LCOS (Liquid crystal on silicon, LCoS is a registered trademark), a digital micromirror device, or the like instead of the LCD. Further, for example, the present invention can be applied to the laser retinal
また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
Further, for example, the
また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。
Moreover, HMD100 may be used with the display apparatus only for displaying the image based on the image signal received from the other apparatus. Specifically, it is used as a display device corresponding to a desktop PC monitor. For example, by receiving an image signal from a desktop PC, an image is displayed in the maximum image display area PN of the
また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。
Moreover, HMD100 may be used so that it may function as a part of system. For example, the
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。 The earphone may be an ear-hook type or a headband type, or may be omitted. Further, for example, it may be configured as a head-mounted display device mounted on a vehicle such as an automobile or an airplane. For example, it may be configured as a head-mounted display device built in a body protective device such as a helmet.
Ｃ−４．変形例４：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
C-4. Modification 4:
The configuration of the
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。
As the image display unit, instead of the
図１５は、変形例におけるＨＭＤの外観構成を示す説明図である。図１５（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１５（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。
FIG. 15 is an explanatory diagram showing an external configuration of an HMD in a modified example. 15A, the difference from the
また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
In the above-described embodiment, the
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
In the above embodiment, a part of the configuration realized by hardware may be replaced by software, and conversely, a part of the configuration realized by software may be replaced by hardware. Good. For example, in the above-described embodiment, the
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。 In addition, when part or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, etc. It also includes an external storage device fixed to the computer.
また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
Moreover, in the said embodiment, as shown in FIG. 1 and FIG. 2, the
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each form described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン（音声出力部）
３４…左イヤホン（音声出力部）
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（検出部）
６３…マイク（音声取得部）
９０…生体情報取得センサー（生体情報取得部）
１００…ＨＭＤ
１２０…記憶部
１３０…電源
１３２…無線通信部（受信部）
１３５…操作部
１３８…シナリオＤＢ
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…表示画像設定部
１６８…物体認識部（検出部）
１６９…生体情報処理部（生体情報取得部）
１７０…音声処理部（音声取得部、音声出力部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＩＭＧ１…選択画像
ＯＡ…外部機器
ＳＣ…外景
ＢＣ…まな板
ＨＤ…腕
ＬＥ…左眼
ＲＥ…右眼
ＬＧ…足（第２の対象）
ＲＨ…右手
ＬＨ…左手
ＩＬ…照明光
ＰＬ…画像光
ＥＬ…端部
ＰＮ…画像表示最大領域
ＫＮ…包丁（第２の対象）
ＲＮ…工具（第２の対象）
ＡＰ…先端部
ＶＲ…視野
ＴＲ…タイヤ（第１の対象）
ＥＲ…端部
ＳＳ…筋力センサー（生体情報取得部）
ＦＳ…魚（第１の対象）
ＢＴ…ボルト（第１の対象）
ＣＢ１，ＣＢ２…切身
ＭＢ…中骨
ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６…画像
ＣＳ１，ＣＳ２，ＣＳ３…矢印画像
ＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４，ＴＸ５，ＴＸ６…テキスト画像
ＡＲＨ…腕画像
ＡＲＲ…工具画像
ＡＲＳ…筋力センサー画像
DESCRIPTION OF
34 ... Left earphone (voice output unit)
DESCRIPTION OF
63 ... Microphone (voice acquisition unit)
90 ... Biometric information acquisition sensor (Biometric information acquisition unit)
100 ... HMD
120:
135 ...
140 ... CPU
DESCRIPTION OF
169 ... Biological information processing unit (biological information acquisition unit)
170 ... Audio processing unit (audio acquisition unit, audio output unit)
180 ... interface 190 ...
242 ... Left LCD
251 ... Right projection
RH ... Right hand LH ... Left hand IL ... Illumination light PL ... Image light EL ... End PN ... Maximum image display area KN ... Knife (second object)
RN ... Tool (second target)
AP ... tip portion VR ... visual field TR ... tire (first object)
ER ... end SS ... muscle force sensor (biological information acquisition unit)
FS ... Fish (first target)
BT ... Bolt (first target)
CB1, CB2 ... fillet MB ... middle bone AR1, AR2, AR3, AR4, AR5, AR6 ... image CS1, CS2, CS3 ... arrow image TX1, TX2, TX3, TX4, TX5, TX6 ... text image ARH ... arm image ARR ... Tool image ARS ... Muscle sensor image
Claims (12)
外景の中から第１の対象を検出する検出部と、
前記外景を透過可能で、画像を表示可能な画像表示部と、
検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定部と、を備え、
前記検出部は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出し、
前記表示画像設定部は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させる、頭部装着型表示装置。 A transmissive head-mounted display device,
A detection unit for detecting a first object from the outside scene;
An image display unit capable of transmitting the outside scene and displaying an image;
A display image setting unit that displays a first moving image that is a moving image associated with the detected first object on the image display unit,
The detection unit detects a second object different from the first object from the outside scene,
When the second target is detected when the first moving image is displayed on the image display unit, the display image setting unit replaces the first moving image with the second moving image. A head-mounted display device that causes a second moving image, which is a moving image different from the first moving image associated with the target, to be displayed on the image display unit.
前記表示画像設定部は、前記第１の動画像を検出された前記第１の対象の位置に対応付けて表示する、頭部装着型表示装置。 The head-mounted display device according to claim 1,
The display image setting unit is a head-mounted display device that displays the first moving image in association with the detected position of the first target.
前記検出部は、前記外景を撮像し、撮像した撮像画像の中から前記第１の対象を検出する、頭部装着型表示装置。 The head-mounted display device according to claim 1 or 2,
The detection unit is a head-mounted display device that images the outside scene and detects the first target from the captured images.
前記第１の動画像は、検出された前記第１の対象に対して行なわれる作業に関連する動画像である、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 3,
The head-mounted display device, wherein the first moving image is a moving image related to a work performed on the detected first object.
外部の音声を取得する音声取得部を備え、
前記表示画像設定部は、検出された前記第１の対象と取得された前記音声との組み合わせに基づいて、前記第１の動画像を前記画像表示部に表示させる、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 4, further comprising:
It has an audio acquisition unit that acquires external audio,
The display image setting unit is a head-mounted display device that displays the first moving image on the image display unit based on a combination of the detected first target and the acquired sound.
前記第１の動画像が前記画像表示部に表示されているときに、前記第１の動画像に対応付けられた音声を出力する音声出力部を備える、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 5, further comprising:
A head-mounted display device comprising an audio output unit that outputs audio associated with the first moving image when the first moving image is displayed on the image display unit.
使用者の生体情報を取得する生体情報取得部を備え、
前記表示画像設定部は、検出された前記第１の対象と取得された使用者の前記生体情報とに基づいて、前記第１の動画像を前記画像表示部に表示させる、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 6, further comprising:
A biometric information acquisition unit for acquiring biometric information of the user;
The display image setting unit displays the first moving image on the image display unit based on the detected first target and the acquired biological information of the user. apparatus.
前記第１の対象と前記第１の動画像との対応付けは、検出された前記第１の対象の種類と前記第１の対象の動きと前記外景における前記第１の対象の位置と前記第１の対象の向きとの少なくとも１つと、前記第１の動画像と、の組み合わせである、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 7,
The first object and the first moving image are associated with each other by detecting the type of the first object, the movement of the first object, the position of the first object in the outside scene, and the first object. A head-mounted display device that is a combination of at least one of the orientations of one object and the first moving image.
前記検出部は、前記第１の対象および前記第２の対象を含む複数の特定の対象物を検出し、
前記表示画像設定部は、検出された前記複数の特定の対象物のうち設定された優先度が高い特定の対象物に対応付けられた動画像を優先的に前記画像表示部に表示させる、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 8,
The detection unit detects a plurality of specific objects including the first object and the second object,
The display image setting unit is configured to preferentially display a moving image associated with a specific object having a high priority set among the plurality of detected specific objects on the image display unit. Part-mounted display device.
前記記憶装置は、
動画像を記憶する記憶部と、
記憶された前記動画像を前記頭部装着型表示装置へと送信する送信部と、を備え、
前記頭部装着型表示装置は、
外景の中から第１の対象を検出する検出部と、
前記外景を透過可能で、画像を表示可能な画像表示部と、
検出された前記第１の対象に対応付けられ、前記記憶装置に記憶された前記動画像である第１の動画像を受信する受信部と、
前記第１の動画像を前記画像表示部に表示させる表示画像設定部と、を備え、
前記検出部は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出し、
前記表示画像設定部は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させる、表示システム。 A display system having a storage device and a transmissive head-mounted display device,
The storage device
A storage unit for storing moving images;
A transmission unit for transmitting the stored moving image to the head-mounted display device,
The head-mounted display device is
A detection unit for detecting a first object from the outside scene;
An image display unit capable of transmitting the outside scene and displaying an image;
A receiving unit that receives the first moving image that is the moving image that is associated with the detected first object and stored in the storage device;
A display image setting unit for displaying the first moving image on the image display unit,
The detection unit detects a second object different from the first object from the outside scene,
When the second target is detected when the first moving image is displayed on the image display unit, the display image setting unit replaces the first moving image with the second moving image. A display system for causing the image display unit to display a second moving image that is a moving image different from the first moving image associated with the target.
外景の中から第１の対象を検出する検出工程と、
検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定工程と、を備え、
前記検出工程は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出し、
前記表示画像設定工程は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させる、制御方法。 A control method for a transmissive head-mounted display device having an image display unit capable of transmitting an outside scene and displaying an image,
A detection step of detecting a first object from the outside scene;
A display image setting step of causing the image display unit to display a first moving image that is a moving image associated with the detected first object,
The detection step detects a second object different from the first object from the outside scene,
In the display image setting step, when the second moving object is detected while the first moving image is displayed on the image display unit, the second moving image is used instead of the first moving image. A control method for causing the image display unit to display a second moving image that is a moving image different from the first moving image associated with the target.
外景の中から第１の対象を検出する検出機能と、
検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定機能と、をコンピューターに実現させ、
前記検出機能は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出する機能を含み、
前記表示画像設定機能は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させる機能を含む、コンピュータープログラム。 A computer program for a transmissive head-mounted display device having an image display unit capable of transmitting an outside scene and displaying an image,
A detection function for detecting the first object from the outside scene;
Causing the computer to realize a display image setting function for causing the image display unit to display a first moving image that is a moving image associated with the detected first object;
The detection function includes a function of detecting a second object different from the first object from the outside scene,
When the second target is detected while the first moving image is being displayed on the image display unit, the display image setting function replaces the first moving image with the second moving image. A computer program including a function of causing the image display unit to display a second moving image that is a moving image different from the first moving image associated with the target.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014232342A JP6488661B2 (en) | 2014-11-17 | 2014-11-17 | Head-mounted display device, display system, head-mounted display device control method, and computer program |
| CN201510623115.0A CN105607253B (en) | 2014-11-17 | 2015-09-25 | Head-mounted display device, control method, and display system |
| US14/919,231 US9746914B2 (en) | 2014-11-17 | 2015-10-21 | Head mounted display, display system, control method of head mounted display, and computer program |
| US15/657,937 US10185388B2 (en) | 2014-11-17 | 2017-07-24 | Head mounted display, display system, control method of head mounted display, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014232342A JP6488661B2 (en) | 2014-11-17 | 2014-11-17 | Head-mounted display device, display system, head-mounted display device control method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016096488A JP2016096488A (en) | 2016-05-26 |
| JP6488661B2 true JP6488661B2 (en) | 2019-03-27 |
Family
ID=56070423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014232342A Active JP6488661B2 (en) | 2014-11-17 | 2014-11-17 | Head-mounted display device, display system, head-mounted display device control method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6488661B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6783618B2 (en) * | 2016-10-18 | 2020-11-11 | 株式会社日立システムズ | Information display device and its processing control method |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165531A (en) * | 2003-12-01 | 2005-06-23 | Canon Inc | Information apparatus, its control method and program |
| JP5293025B2 (en) * | 2008-09-11 | 2013-09-18 | ブラザー工業株式会社 | Head mounted display |
| JP5104679B2 (en) * | 2008-09-11 | 2012-12-19 | ブラザー工業株式会社 | Head mounted display |
| JP5168161B2 (en) * | 2009-01-16 | 2013-03-21 | ブラザー工業株式会社 | Head mounted display |
| JP5195537B2 (en) * | 2009-03-09 | 2013-05-08 | ブラザー工業株式会社 | Head mounted display |
| JP5141672B2 (en) * | 2009-11-30 | 2013-02-13 | ブラザー工業株式会社 | Head mounted display device and image sharing system using head mounted display device |
| JP6076099B2 (en) * | 2013-01-18 | 2017-02-08 | オリンパス株式会社 | Glasses-type operating device and glasses-type operating system |
| JP6299067B2 (en) * | 2013-02-14 | 2018-03-28 | セイコーエプソン株式会社 | Head-mounted display device and method for controlling head-mounted display device |
| JP6089898B2 (en) * | 2013-04-09 | 2017-03-08 | ソニー株式会社 | Image processing apparatus and storage medium |
-
2014
- 2014-11-17 JP JP2014232342A patent/JP6488661B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016096488A (en) | 2016-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10185388B2 (en) | Head mounted display, display system, control method of head mounted display, and computer program | |
| US10297062B2 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
| US10133344B2 (en) | Head mounted display apparatus | |
| US11176681B2 (en) | Image processing apparatus, control method for image processing apparatus, and computer program | |
| US10140768B2 (en) | Head mounted display, method of controlling head mounted display, and computer program | |
| US9547372B2 (en) | Image processing device and head mounted display apparatus including the same | |
| JP6155622B2 (en) | Display device, head-mounted display device, display device control method, and head-mounted display device control method | |
| JP6421543B2 (en) | Head-mounted display device, method for controlling head-mounted display device, computer program | |
| JP6600945B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
| JP6492673B2 (en) | Head-mounted display device, method for controlling head-mounted display device, computer program | |
| JP2018142168A (en) | Head mounted type display device, program, and control method for head mounted type display device | |
| JP2017091433A (en) | Head-mounted type display device, method of controlling head-mounted type display device, and computer program | |
| JP6364735B2 (en) | Display device, head-mounted display device, display device control method, and head-mounted display device control method | |
| JP6358038B2 (en) | Head-mounted display device, method for controlling head-mounted display device, computer program | |
| JP6620420B2 (en) | Head-mounted display device, display system, head-mounted display device control method, and computer program | |
| JP2019012537A (en) | Head mounted display device and computer program | |
| JP6488661B2 (en) | Head-mounted display device, display system, head-mounted display device control method, and computer program | |
| US9866823B2 (en) | Head mounted display device, control method for head mounted display device, and computer program | |
| JP2017134630A (en) | Display device, control method of display device, and program | |
| JP2018085595A (en) | Head-mounted display device and method for controlling the same | |
| JP6287399B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
| JP2018092206A (en) | Head-mounted display, program, and method for controlling head-mounted display | |
| JP2019053714A (en) | Head mounted display device and control method for head mounted display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6488661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |