JP2014120786A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents
頭部装着型表示装置および頭部装着型表示装置の制御方法 Download PDFInfo
- Publication number
- JP2014120786A JP2014120786A JP2012272167A JP2012272167A JP2014120786A JP 2014120786 A JP2014120786 A JP 2014120786A JP 2012272167 A JP2012272167 A JP 2012272167A JP 2012272167 A JP2012272167 A JP 2012272167A JP 2014120786 A JP2014120786 A JP 2014120786A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- head
- mounted display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 393
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000009826 distribution Methods 0.000 claims description 45
- 230000000638 stimulation Effects 0.000 claims description 9
- 230000001154 acute effect Effects 0.000 claims description 6
- 230000035807 sensation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 122
- 238000012545 processing Methods 0.000 description 79
- 230000003287 optical effect Effects 0.000 description 58
- 238000012790 confirmation Methods 0.000 description 55
- 238000001931 thermography Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 18
- 238000012986 modification Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 11
- 230000006854 communication Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000015541 sensory perception of touch Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920002635 polyurethane Polymers 0.000 description 1
- 239000004814 polyurethane Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013404 process transfer Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】使用者が虚像と外景を同時に視認可能な頭部装着型表示装置は、頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、使用者に注意を促すための画像である注意情報を生成する注意情報生成部と、注意情報を虚像として使用者に視認させる画像表示部とを備える。
【選択図】図10
Description
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイ100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
図5は、第1実施形態における注意喚起処理の手順を示すフローチャートである。注意喚起処理は、使用者の視界方向における注意点を推定し、使用者に注意を喚起する処理である。注意喚起処理の開始トリガーは任意に定めることができる。例えば、ヘッドマウントディスプレイ100が起動されたこと、換言すれば、電源のONを検出したことを開始トリガーとしてもよい。また、例えば、OS150や、特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。なお、注意喚起処理が特定のアプリケーションから呼び出されて実行される場合、注意喚起処理は、特定のアプリケーションのサブルーチンとして動作する。
(a2)使用者が体や着衣を挟み込まれるおそれのある挟み込み部。例えば、プレス機器のホルスターとスライド、マシニングセンターのテーブルとフレーム等。
(a3)使用者が体や着衣を巻き込まれるおそれのある巻き込み部。例えば、丸鋸盤のローラー、攪拌機の攪拌羽根等。
注意情報生成部142は、外景画像を画像認識して、記憶部120に予め記憶されているパターンとの一致箇所を特定することによって、外景画像から、上記の場所(a1)〜(a3)に該当する場所を特定する。図6の外景画像の例では、注意情報生成部142は、場所(a1)に該当する場所としてテーブルソーの鋸刃部分を特定する。このようにすれば、注意情報生成部142は、画像認識とパターン照合の手法を用いて、鋭角部と、挟み込み部と、巻き込み部と、を特定することによって、個別に予め用意された危険場所に関する情報を必要とせずに、使用者の視界方向における注意点を推定することができる。
(b2)温度分布画像において温度が第2の閾値以下である低温部。第2の閾値は任意に定めることができ、例えば、人間が触れると皮膚組織が壊死するおそれがある温度とすることができる。
図6のように、テーブルソーが置かれた作業場においては、注意情報生成部142は、場所(b1)に該当する場所として、テーブルソーのモーター部分を特定する。
このようにすれば、注意情報生成部142は、温度分布画像と、温度に関する第1、第2の閾値とを用いることで、個別に予め用意された危険場所に関する情報を必要とせずに、使用者の視界方向における注意点を推定することができる。
なお、注意喚起処理(図5)では、さらに、以下のような付加的処理1〜3を行ってもよい。付加的処理1〜3は、単独で付加してもよいし、組み合わせて付加してもよい。
付加的処理1では、虚像の表示領域と、画像取得部(カメラ61、サーモグラフィー62)の取得領域とのキャリブレーションを行う。注意情報生成部142は、注意喚起処理(図5)に先立って、下記A〜Gに示す処理を行う。
(B)注意情報生成部142は、記憶部120に格納されているガイド画像データーを読み出して、ガイド画像データーを画像処理部160へ送信する。ガイド画像データーを受信した画像処理部160では、図2で説明した処理が実行される。この結果、ヘッドマウントディスプレイ100の使用者の視野VRにはガイド画像が虚像VIとして表示される。
(D)注意情報生成部142は、カメラ61に外景画像を撮像させる。
(E)注意情報生成部142は、カメラ61により撮像された外景画像を画像認識して、人間の指先の位置を特定する。注意情報生成部142は、各案内マークについて、指先位置の座標を取得し、記憶部120へ保存する。例えば、指先位置の座標は、外景画像の最も左上部分の画素を(0,0)とした場合のX方向、Y方向の移動量として定義することができる。
(G)注意情報生成部142は、注意喚起処理(図5)のステップS104において、カメラ61により撮像された外景画像のうち、重複領域内の画像を画像認識する。そして、ステップS106において重複領域に対応した注意情報CP1を生成する。同様に、注意情報生成部142は、注意喚起処理のステップS110において、サーモグラフィー62により撮像された温度分布画像のうち、重複領域内の画像を画像解析する。そして、ステップS112において重複領域に対応した注意情報CP2を生成する。
付加的処理2では、音声を用いてヘッドマウントディスプレイ100の使用者に注意を促す。注意情報生成部142は、注意喚起処理(図5)において、下記H〜Jに示す処理を行う。
(I)注意情報生成部142は、注意喚起処理のステップS112において、注意情報CP2の生成に加えて、注意喚起用の音声データーを生成する。音声データーは、ステップS110において特定された場所の種類b1、b2に応じて変更されることが好ましい。たとえば、ステップS110において場所(b1)に該当する場所が特定された場合、注意情報生成部142は「高温の場所があります。やけどに注意してください。」等の音声データーを生成する。
付加的処理3では、触覚を通じた刺激を用いてヘッドマウントディスプレイ100の使用者に注意を促す。付加的処理3を実現するために、図1に示したヘッドマウントディスプレイ100において、右保持部21および左保持部23の内側、換言すれば、ヘッドマウントディスプレイ100の装着時における使用者の頭部に対向する側であって、ヘッドマウントディスプレイ100の装着時における使用者の側頭部に対応する位置に、加圧部と、振動モーターとを備える構成とする。
本発明の第2実施形態では、頭部装着型表示装置において、使用者が行う作業を支援すると共に、当該作業に付随する危険等の注意点を使用者に知らせることが可能な構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
図11は、第2実施形態におけるヘッドマウントディスプレイ100aの構成を機能的に示すブロック図である。図2に示した第1実施例との違いは、制御部10に代えて制御部10aを備える点である。制御部10aは、注意情報生成部142に代えて注意情報生成部142aを備え、さらに、手順管理部144と、手順管理テーブル122とを備えている。注意情報生成部142aと、手順管理部144とは、協働することによって手順管理処理を実行する。
図13は、第2実施形態における手順管理処理の手順を示すフローチャートである。第2実施形態では、図5で説明した注意喚起処理に代えて、図13で示す手順管理処理が実行される。手順管理処理は、使用者が行う作業を支援すると共に、当該作業に付随する危険等の注意点を使用者に知らせる処理である。手順管理処理の開始トリガーは任意に定めることができる。例えば、ヘッドマウントディスプレイ100aが起動されたことを開始トリガーとしてもよいし、OS150や特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。なお、手順管理処理が特定のアプリケーションから呼び出されて実行される場合、手順管理処理は、特定のアプリケーションのサブルーチンとして動作する。
(i)アイコン画像IC3、画像SB3、メッセージMG3の配置は、任意に変更することができる。ただし、使用者の視界を過度に遮らない態様で使用者に注意を促すためには、アイコン画像IC3と、メッセージMG3とは、注意情報CP3の端部(換言すれば四辺の近傍)に配置されることが好ましい。
(ii)注意情報生成部142aは、使用者の特徴に応じて異なる注意情報CP3を生成してもよい。なお、使用者の特徴は、年齢と、性別と、体格と、作業に対する熟練度と、の少なくともいずれか1つを含む。例えば、注意情報生成部142aは、使用者の年齢に応じて、アイコン画像IC3、画像SB3、メッセージMG3の大きさを変更してもよい。例えば、注意情報生成部142aは、使用者の作業に対する熟練度が低い場合は注意情報CP3にアイコン画像IC3とメッセージMG3とを配置し、使用者の作業に対する熟練度が高い場合は注意情報CP3にメッセージMG3のみを配置してもよい。なお、使用者の特徴は、予め取得して記憶部120内に記憶させておいてもよいし、手順管理処理を開始する前に、その都度取得してもよい。このようにすれば、注意情報生成部142aは、使用者の特徴に応じたきめ細かな注意情報CP3の生成を行うことができる。
(I)使用者から「確認」の意思表示を取得する処理。
(II)カメラ61(画像取得部)により取得された外景画像を画像認識し、画像認識の結果が予め定められた条件を満たすことを確認する処理、または、サーモグラフィー62(画像取得部)により取得された温度分布画像の画像解析し、画像解析の結果が予め定められた条件を満たすことを確認する処理。ステップS214において手順管理部144が、上記(I)、(II)のどちらの処理を実行するかは、手順管理テーブル122の制限フィールドの値によって決定される。
・手順管理部144は、使用者の特徴に応じて、処理(I)、(II)を使い分けてもよい。なお、使用者の特徴は、年齢と、性別と、体格と、作業に対する熟練度と、の少なくともいずれか1つを含む。
例えば、手順管理部144は、使用者の熟練度が高い場合は処理(I)を実行し、使用者の熟練度が低い場合は処理(II)を実行することとしてもよい。このようにすれば、手順管理部144は、使用者の特徴に応じたきめ細かな確認処理を行うことができる。
・処理(II)において、手順管理部144は、使用者の特徴に応じた異なる条件を用いて、外景画像の画像認識結果の判定、または、温度分布画像の画像解析結果の判定を行ってもよい。
例えば、手順管理部144は、使用者の熟練度に応じて、両手が素手であることが認識できた場合に確認処理が成功したと判定する、少なくとも片手が素手であることが認識できた場合に確認処理が成功したと判定する、両手に手袋を装着していても確認処理が成功したと判定する、等の条件の使い分けをしてもよい。このようにすれば、手順管理部144は、使用者の特徴に応じたきめ細かな確認処理を行うことができる。
・処理(II)において、手順管理部144は、サーモグラフィー62により取得された温度分布画像を画像解析し、作業の安全性を確認してもよい。例えば、手順管理部144は、確認用画像CW2を用いてサーモグラフィー62に使用者の足元の温度分布画像を取得させる。手順管理部144は、取得した温度分布画像を画像解析し、つま先部分の温度が所定温度以上でないことを確認することで、使用者が安全靴を着用しているか否かを判定してもよい。このようにすれば、手順管理部144は、「温度」という観点からも確認処理を実行することができる。
なお、手順管理処理(図13)では、さらに、以下のような付加的処理1〜3を行ってもよい。付加的処理1〜3は、単独で付加してもよいし、組み合わせて付加してもよい。
付加的処理1では、虚像の表示領域と、画像取得部(カメラ61、サーモグラフィー62)の取得領域とのキャリブレーションを行う。注意情報生成部142aと手順管理部144は、手順管理処理(図13)に先立って、下記A〜F、G1に示す処理を行う。
(G1)注意情報生成部142aは、手順管理処理(図13)のステップS206において、重複領域に対応した注意情報CP3を生成する。手順管理部144は、手順管理処理のステップS218において、重複領域に対応した手順情報CP4を生成する。
付加的処理2では、音声を用いてヘッドマウントディスプレイ100aの使用者に注意を促す。注意情報生成部142aは、手順管理処理(図13)において、下記H1、J1に示す処理を行う。
(J1)注意情報生成部142aは、手順管理処理のステップS210において、注意情報に加えて、上記の処理H1で生成した音声データーを音声処理部170へ送信する。音声データーを受信した音声処理部170は、取得した音声データーに基づいて、右イヤホン32のスピーカー(発音体)と、左イヤホン34のスピーカー(発音体)とに対して音声信号を供給する。
付加的処理3では、触覚を通じた刺激を用いてヘッドマウントディスプレイ100aの使用者に注意を促す。付加的処理3を実現するために、図11に示したヘッドマウントディスプレイ100aにおいて、右保持部21および左保持部23の内側に、加圧部と、振動モーターとを備える構成とする。詳細は第1実施形態の「A−3−3.付加的処理3」と同様である。注意情報生成部142aは、手順管理処理(図13)のステップS210において、注意情報の送信に加えて、加圧部と、振動モーターとを作動させる。なお、この際、手順管理テーブル122のヒヤリハット事例フィールド、および、事故事例フィールドの値の有無に応じて、加圧部の駆動レベル(加圧強さ)と、振動モーターの駆動レベル(振動強さ、振動周期)とを変化させてもよい。
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記第1実施形態では、注意喚起処理の一例を示した。しかし、図5に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
上記第2実施形態では、手順管理処理の一例を示した。しかし、図13に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
第2実施形態の手順管理処理(図13)は、第1実施形態の注意喚起処理(図5)に代えて実行されるものとした。しかし、注意喚起処理(図5)と、手順管理処理(図13)とは、並列に実行されてもよい。
上記実施形態では、注意情報CP1〜CP3、手順情報CP4の一例を挙げて説明した。しかし、これらの画像は上記実施形態での例示に限らず、種々の変形が可能である。
上記実施形態では、手順管理テーブルの一例を示した。しかし、手順管理テーブルの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールドの追加、削除、変更を行うことができる。また、手順管理テーブルは、複数のテーブルに分割して正規化してもよい。
上記第2実施形態では、ヘッドマウントディスプレイに手順管理テーブルと、手順管理部とを備え、他の装置を必要とせずに手順管理処理(図13)を実行可能な例について説明した。しかし、ヘッドマウントディスプレイと、外部に設けられたサーバーとを備える作業支援システムにおいても、同様の処理を実現することができる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ(画像取得部)
62…サーモグラフィー(画像取得部)
110…入力情報取得部
100…ヘッドマウントディスプレイ(頭部装着型表示装置)
120…記憶部
122…手順管理テーブル(注意点データー)
130…電源
140…CPU
142…注意情報生成部
144…手順管理部
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー
Data2…左眼用画像データー
OA…外部機器
PC…パーソナルコンピューター
SC…外景
RE…右眼
VI…虚像
EL…端部
IL…照明光
PL…画像光
AP…先端部
ER…端部
VR…視野
SB1…図形
SB2…図形
SB3…図形、画像
SP2…抽出画像
MP4…地図
MG3…メッセージ
MG4…メッセージ
CP1…注意情報
CP2…注意情報
CP3…注意情報
CP4…手順情報
CW1…確認用画像
CW2…確認用画像
CW3…確認用画面
Claims (13)
- 使用者が虚像と外景を同時に視認可能な頭部装着型表示装置であって、
前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部と、
前記画像取得部により取得された前記画像に基づいて、前記使用者に注意を促すための画像である注意情報を生成する注意情報生成部と、
前記注意情報を前記虚像として前記使用者に視認させる画像表示部と、
を備える、頭部装着型表示装置。 - 請求項1に記載の頭部装着型表示装置であって、
前記注意情報生成部は、前記画像取得部により取得された前記画像から前記使用者が注意を要する場所を特定すると共に、特定された前記場所の近傍に所定の画像を配置した注意情報を生成する、頭部装着型表示装置。 - 請求項2に記載の頭部装着型表示装置であって、
前記画像取得部は、物体から放射される赤外光を検出して温度の分布を表した温度分布画像を取得し、
前記注意情報生成部は、前記画像取得部により取得された前記温度分布画像において、温度が第1の閾値以上である場所を特定し、当該場所を前記使用者が注意を要する場所であるとする、頭部装着型表示装置。 - 請求項2に記載の頭部装着型表示装置であって、
前記画像取得部は、物体から放射される赤外光を検出して温度の分布を表した温度分布画像を取得し、
前記注意情報生成部は、前記画像取得部により取得された前記温度分布画像において、温度が第2の閾値以下である場所を特定し、当該場所を前記使用者が注意を要する場所であるとする、頭部装着型表示装置。 - 請求項2に記載の頭部装着型表示装置であって、
前記画像取得部は、物体から放射される可視光から物体の形状を表す画像を取得し、
前記注意情報生成部は、前記画像取得部により取得された前記画像を画像認識して予め記憶されているパターンとの一致箇所を特定し、前記一致箇所を前記使用者が注意を要する場所であるとする、頭部装着型表示装置。 - 請求項5に記載の頭部装着型表示装置であって、
前記パターンには、鋭角部が含まれている、頭部装着型表示装置。 - 請求項2から請求項6のいずれか一項に記載の頭部装着型表示装置であって、
前記所定の画像は、前記使用者に警告を連想させる文字、絵柄、図形、およびこれらの組み合わせからなる画像である、頭部装着型表示装置。 - 請求項2から請求項6のいずれか一項に記載の頭部装着型表示装置であって、
前記所定の画像は、特定された前記場所の形状に対応した形状を有する図形からなる画像である、頭部装着型表示装置。 - 請求項3または請求項4に記載の頭部装着型表示装置であって、
前記所定の画像は、前記画像取得部により取得された前記温度分布画像から、温度が前記第1の閾値以上である場所または前記第2の閾値以下である場所を抽出した画像である、頭部装着型表示装置。 - 請求項1から請求項9のいずれか一項に記載の頭部装着型表示装置であって、
前記注意情報生成部は、前記画像取得部により取得された前記画像のうち、前記虚像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して、前記注意情報を生成する、頭部装着型表示装置。 - 請求項1から請求項10のいずれか一項に記載の頭部装着型表示装置であって、さらに、
発音体を備え、
前記注意情報生成部は、前記画像取得部により取得された前記画像に基づいて、前記使用者に注意を促すための音声を前記発音体から出力させる、頭部装着型表示装置。 - 請求項1から請求項11のいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記使用者に対して触覚を通じた刺激を加える触覚刺激部を備え、
前記注意情報生成部は、前記画像取得部により取得された前記画像に基づいて、前記使用者に注意を促すために前記触覚刺激部を作動させる、頭部装着型表示装置。 - 使用者が虚像と外景を同時に視認可能な頭部装着型表示装置の制御方法であって、
(a)前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する工程と、
(b)前記画像取得部により取得された前記画像に基づいて、前記使用者に注意を促すための画像である注意情報を生成する工程と、
(c)前記注意情報を前記虚像として前記使用者に視認させる工程と、
を備える、頭部装着型表示装置の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012272167A JP6155614B2 (ja) | 2012-12-13 | 2012-12-13 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US14/095,827 US9448407B2 (en) | 2012-12-13 | 2013-12-03 | Head-mounted display device, control method for head-mounted display device, and work supporting system |
CN201310674651.4A CN103869469B (zh) | 2012-12-13 | 2013-12-11 | 头戴式显示装置、该装置的控制方法以及作业支援*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012272167A JP6155614B2 (ja) | 2012-12-13 | 2012-12-13 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014120786A true JP2014120786A (ja) | 2014-06-30 |
JP6155614B2 JP6155614B2 (ja) | 2017-07-05 |
Family
ID=51175315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012272167A Active JP6155614B2 (ja) | 2012-12-13 | 2012-12-13 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6155614B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016085634A (ja) * | 2014-10-27 | 2016-05-19 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2016110542A (ja) * | 2014-12-10 | 2016-06-20 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
JP2017049761A (ja) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | 電子機器及び方法 |
EP3156181A2 (en) | 2015-10-16 | 2017-04-19 | Max Co., Ltd. | Safety device and tool |
JP2017084059A (ja) * | 2015-10-27 | 2017-05-18 | 東京エレクトロン株式会社 | 注意喚起情報提供システム |
WO2017122508A1 (ja) * | 2016-01-15 | 2017-07-20 | 株式会社東芝 | 情報表示システムおよび情報表示方法 |
JP2018104934A (ja) * | 2016-12-23 | 2018-07-05 | 前田建設工業株式会社 | トンネル切羽面の変位監視装置 |
JP2018195321A (ja) * | 2018-07-03 | 2018-12-06 | 株式会社東芝 | ウェアラブル端末及び方法 |
JP2019029983A (ja) * | 2017-07-26 | 2019-02-21 | 宇博先進電子工業有限公司LEAPSY International Ltd. | 熱画像表示機能を有するウェアラブル装置 |
JP2019197373A (ja) * | 2018-05-09 | 2019-11-14 | 高砂熱学工業株式会社 | 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP2019534717A (ja) * | 2016-08-16 | 2019-12-05 | インサイト メディカル システムズ インコーポレイテッド | 医療処置における感覚増強のためのシステム |
JP2021015185A (ja) * | 2019-07-11 | 2021-02-12 | 株式会社ネクスコ・エンジニアリング北海道 | 投影システム、投影装置、投影方法及びプログラム |
JP2022515761A (ja) * | 2018-12-21 | 2022-02-22 | レイア、インコーポレイテッド | ビュー終端インジケータを有するマルチビューディスプレイシステム、マルチビューディスプレイ及び方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10222792A (ja) * | 1997-02-05 | 1998-08-21 | Kotaro Kishi | 車両用障害物監視装置 |
JP2006146778A (ja) * | 2004-11-24 | 2006-06-08 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイ装置 |
JP2006171302A (ja) * | 2004-12-15 | 2006-06-29 | Konica Minolta Photo Imaging Inc | 映像表示装置及び情報提供システム |
JP2010136263A (ja) * | 2008-12-08 | 2010-06-17 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010144773A (ja) * | 2008-12-17 | 2010-07-01 | Brother Ind Ltd | 危険回避システム、及びヘッドマウントディスプレイ |
JP2010197153A (ja) * | 2009-02-24 | 2010-09-09 | Konica Minolta Holdings Inc | 作業支援装置及び作業支援システム |
JP2011134079A (ja) * | 2009-12-24 | 2011-07-07 | Panasonic Corp | 照合検査装置および照合検査方法 |
JP2011227879A (ja) * | 2010-03-30 | 2011-11-10 | Ns Solutions Corp | 情報提供装置、情報提供方法、及びプログラム |
-
2012
- 2012-12-13 JP JP2012272167A patent/JP6155614B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10222792A (ja) * | 1997-02-05 | 1998-08-21 | Kotaro Kishi | 車両用障害物監視装置 |
JP2006146778A (ja) * | 2004-11-24 | 2006-06-08 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイ装置 |
JP2006171302A (ja) * | 2004-12-15 | 2006-06-29 | Konica Minolta Photo Imaging Inc | 映像表示装置及び情報提供システム |
JP2010136263A (ja) * | 2008-12-08 | 2010-06-17 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010144773A (ja) * | 2008-12-17 | 2010-07-01 | Brother Ind Ltd | 危険回避システム、及びヘッドマウントディスプレイ |
JP2010197153A (ja) * | 2009-02-24 | 2010-09-09 | Konica Minolta Holdings Inc | 作業支援装置及び作業支援システム |
JP2011134079A (ja) * | 2009-12-24 | 2011-07-07 | Panasonic Corp | 照合検査装置および照合検査方法 |
JP2011227879A (ja) * | 2010-03-30 | 2011-11-10 | Ns Solutions Corp | 情報提供装置、情報提供方法、及びプログラム |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016085634A (ja) * | 2014-10-27 | 2016-05-19 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2016110542A (ja) * | 2014-12-10 | 2016-06-20 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
US10235856B2 (en) | 2015-09-01 | 2019-03-19 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
JP2017049761A (ja) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | 電子機器及び方法 |
US11741811B2 (en) | 2015-09-01 | 2023-08-29 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
US11176797B2 (en) | 2015-09-01 | 2021-11-16 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
US10755545B2 (en) | 2015-09-01 | 2020-08-25 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
US10937304B2 (en) | 2015-10-16 | 2021-03-02 | Max Co., Ltd. | Safety device and tool |
US10083602B2 (en) | 2015-10-16 | 2018-09-25 | Max Co., Ltd. | Safety device and tool |
EP3156181A2 (en) | 2015-10-16 | 2017-04-19 | Max Co., Ltd. | Safety device and tool |
JP2017084059A (ja) * | 2015-10-27 | 2017-05-18 | 東京エレクトロン株式会社 | 注意喚起情報提供システム |
WO2017122508A1 (ja) * | 2016-01-15 | 2017-07-20 | 株式会社東芝 | 情報表示システムおよび情報表示方法 |
JP2019534717A (ja) * | 2016-08-16 | 2019-12-05 | インサイト メディカル システムズ インコーポレイテッド | 医療処置における感覚増強のためのシステム |
JP2022116157A (ja) * | 2016-08-16 | 2022-08-09 | インサイト メディカル システムズ インコーポレイテッド | 医療処置における感覚増強のためのシステム |
JP2018104934A (ja) * | 2016-12-23 | 2018-07-05 | 前田建設工業株式会社 | トンネル切羽面の変位監視装置 |
JP2019029983A (ja) * | 2017-07-26 | 2019-02-21 | 宇博先進電子工業有限公司LEAPSY International Ltd. | 熱画像表示機能を有するウェアラブル装置 |
JP7131958B2 (ja) | 2018-05-09 | 2022-09-06 | 高砂熱学工業株式会社 | 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP2019197373A (ja) * | 2018-05-09 | 2019-11-14 | 高砂熱学工業株式会社 | 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP2018195321A (ja) * | 2018-07-03 | 2018-12-06 | 株式会社東芝 | ウェアラブル端末及び方法 |
JP2022515761A (ja) * | 2018-12-21 | 2022-02-22 | レイア、インコーポレイテッド | ビュー終端インジケータを有するマルチビューディスプレイシステム、マルチビューディスプレイ及び方法 |
JP2021015185A (ja) * | 2019-07-11 | 2021-02-12 | 株式会社ネクスコ・エンジニアリング北海道 | 投影システム、投影装置、投影方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6155614B2 (ja) | 2017-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6119228B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム | |
JP6155614B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
US9448407B2 (en) | Head-mounted display device, control method for head-mounted display device, and work supporting system | |
US10445579B2 (en) | Head mounted display device, image display system, and method of controlling head mounted display device | |
CN105607255B (zh) | 头部佩戴型显示装置、控制其的方法及计算机可读存储介质 | |
JP6155622B2 (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 | |
JP6237000B2 (ja) | 頭部装着型表示装置 | |
CN108957761B (zh) | 显示装置及其控制方法、头戴式显示装置及其控制方法 | |
US10140768B2 (en) | Head mounted display, method of controlling head mounted display, and computer program | |
EP3022671B1 (en) | Information processing apparatus, information processing method, and information processing system | |
US9823473B2 (en) | Head-mounted display device and control method for head-mounted display device | |
JP6299067B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6232763B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
US9824496B2 (en) | Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device | |
JP6264014B2 (ja) | 頭部装着型表示装置 | |
US10073262B2 (en) | Information distribution system, head mounted display, method for controlling head mounted display, and computer program | |
US9799144B2 (en) | Head mounted display, and control method for head mounted display | |
JP6315118B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム | |
JP2017091433A (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
JP6492673B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
JP6268778B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
US20150168728A1 (en) | Head mounted display device | |
JP2015177404A (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP2015019274A (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6287399B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151006 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6155614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |