JP2019079469A - 作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置 - Google Patents

Abstract

【課題】実視界像の状態に拘わらず、仮想表示領域に視認性に優れた表示を表示することができる。【解決手段】 作業支援装置は、ユーザの視界中に仮想表示領域を形成する表示部と、上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像部と、上記撮像部での撮像結果に基づいて、上記表示部の表示態様を変更する制御部とを具備することで、実視界像の状態に拘わらず、仮想表示領域に視認性に優れた情報画像を表示することができる。【選択図】図１

Description

本発明は、作業を確実、効率的に支援する作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置に関する。

頭部搭載型の表示装置として、例えば、日常用途に適した眼鏡型表示装置が開発されている。シースルー光学系を採用した頭部搭載型表示装置は、外界の視界を遮ることなく各種情報の表示が可能である。例えばシースルー光学系を採用した頭部搭載型表示装置として、小型・軽量で、電気回路を眼鏡の片方のツルに収納し、仮想表示領域を装着者の視野の一部に配置するように構成された眼鏡型表示装置も開発されている。仮想表示領域は、例えば、視界内の一部の領域に配置した表示部に、表示コントローラによって生成した情報画像を表示することで得られる。

このような眼鏡型表示装置は、装着者に、眼鏡のレンズ越しに得られる外界視界（以下、実視界という）と、仮想表示領域において得られる視界（以下、仮想表示視界という）とを与えることができる。つまり、使用者は、実視界において外界の状況を視認することができると同時に、仮想表示視界において表示部に表示された情報画像を視認して各種情報を取得することができる。

従って、使用者は、このような眼鏡型表示装置を日常的に使用することも可能である。更に、このような眼鏡型表示装置は、仮想表示領域に外界の状況に関する例えば補助的な情報等を表示させることもでき、各種作業を確実且つ効率的に支援する作業支援装置としても有用である。

このような頭部搭載型表示装置を用いた作業支援装置は、外界の視認性だけでなく仮想表示領域の視認性も優れていた方が好ましい。しかしながら、シースルー光学系を採用した頭部搭載型表示装置においては、実視界を背景とし、この背景上に仮想表示視界が重なって存在することから、作業対象物からの光が人間の目に結像されて知覚される像（以下、実視界像という）の状態によっては、仮想表示領域の視認性が悪化することがある。特に、瞳分割シースルー光学系を採用した頭部搭載型表示装置においては、仮想表示領域においても実視界像を視認することができることから、背景となる実視界像が仮想表示領域の視認性に与える影響は大きい。

そこで、特許文献１においては、外界の撮像画像を元にして背景を打ち消す画像を生成し、この画像と情報画像とを重ねて表示することで、背景を見えにくくして情報画像の表示部分を見やすくする技術が開示されている。

特許第５１３６４４２号公報

しかしながら、特許文献１の提案では、背景を打ち消す画像を実視界に正確に、かつリアルタイムに合わせこむために、複雑、かつ高速な処理を必要とする。一方、眼鏡型表示装置においては、重量や消費電力の制限から、十分な処理を行なえずに、結果、情報画像が著しく見ににくくなるという問題があった。

本発明は、実視界像の状態に拘わらず、仮想表示領域に視認性に優れた情報画像を表示することができる作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置を提供することを目的とする。

本発明の一態様による作業支援装置は、ユーザの視界中に仮想表示領域を形成する表示部と、上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像部と、上記撮像部での撮像結果に基づいて、上記表示部の表示態様を変更する制御部とを具備する。

また、本発明の一態様による作業支援方法は、ユーザの視界中に仮想表示領域を形成する表示ステップと、上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像ステップと、上記撮像ステップでの撮像結果に基づいて、上記表示ステップにおける表示態様を変更する制御ステップとを具備する。

また、本発明の一態様による作業支援プログラムは、コンピュータに、ユーザの視界中に仮想表示領域を形成する表示ステップと、上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像ステップと、上記撮像ステップでの撮像結果に基づいて、上記表示ステップにおける表示態様を変更する制御ステップとを実行させる。

また、本発明の一態様による頭部搭載型表示装置は、ユーザの頭部に取り付け可能な支持部と、上記支持部によってユーザの頭部に搭載されて上記ユーザの視界中に仮想表示領域を形成する表示部と、上記支持部に支持されて、上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像部と、上記支持部に配置されて、上記撮像部からの撮像画像を用いて、上記ユーザの観察対象からの光が上記ユーザの目に入射して形成される実視界像の影響による上記仮想表示領域上の表示の視認性の程度を判定する画像判定部と、上記支持部に配置されて、上記画像判定部の判定結果に基づいて、上記表示部の表示態様を変更する制御部とを具備する。

本発明によれば、実視界像の状態に拘わらず、仮想表示領域に視認性に優れた情報画像を表示することができるという効果を有する。

本発明の第１の実施の形態に係る頭部搭載型表示装置を示すブロック図。 図１の頭部搭載型表示装置の外観の一例を示す説明図。 ウェアラブル端末１０の各部と顔との位置関係を示す説明図。 視界を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 作業中における情報画像を説明するための説明図。 作業中における情報画像を説明するための説明図。 作業中における情報画像を説明するための説明図。 作業中における情報画像を説明するための説明図。 本発明の第２の実施の形態に係る作業支援装置を示すブロック図。 作業判定装置９０の制御の制御を示すフローチャート。 ウェアラブル端末８０の制御を示すフローチャート。 携帯端末１００の制御を示すフローチャート。 支援する作業の一例として機器の修理のフローを示すフローチャート。 図９に対応した詳細情報画像及び視認性優先情報画像の例を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る頭部搭載型表示装置を示すブロック図である。図２は図１の頭部搭載型表示装置の外観の一例を示す説明図である。図２はウェアラブル端末である眼鏡型表示装置によって頭部搭載型表示装置を構成した例を示している。

本実施の形態における頭部搭載型表示装置は、現実世界の観察対象物からの直接又は光学系を介した光の知覚による像（実視界像）が得られる視界（以下、実視界という）と画像信号が与えられた表示部の表示によって形成される仮想表示領域において得られる視界（仮想表示視界）とを得るものである。

図２の例は実視界と仮想表示視界とを同時に得る光学系として、実視界については眼鏡のレンズや空気等の透明なものを介して得るシースルー光学系を採用したものである。また、シースルー光学系としては、ハーフミラーを用いて、表示部からの光と実視界からの光とを目に入射するものや、瞳のサイズよりも小さい表示部を用いることで、表示部により形成される仮想表示領域においても実視界の像（実視界像）が知覚可能な瞳分割方式を採用したもの等がある。本実施の形態においては、瞳分割シースルー光学系を用いた例を示しているが、実視界と仮想表示視界とが同時に得られるものであれば、どのようなシースルー光学系を採用してもよい。

ウェアラブル端末１０は、図１の回路を内蔵した筐体をユーザの身体の一部に取り付けるための支持部を有しており、ユーザの顔の動きに合わせて変位自在である。例えば、ウェアラブル端末１０が眼鏡型で構成された場合には、図２に示すように、眼鏡フレーム１８のツル部分が支持部となり、ユーザの顔４１の動きに合わせて、ウェアラブル端末１０全体が移動する。

ウェアラブル端末１０は制御部１１を備えている。制御部１１は、ウェアラブル端末１０の各部を制御する。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

制御部１１には表示制御部１１ａが設けられている。表示制御部１１ａは、表示に関する各種処理を実行する。表示制御部１１ａは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部１１とは別体に構成されていてもよい。表示制御部１１ａは、表示部１３の表示を制御する。例えば、表示制御部１１ａは、後述する記録部１４からの情報画像を表示部１３に表示させることができる。

ウェアラブル端末１０は撮像部１２を有している。撮像部１２は、例えば、図示しないイメージセンサによって構成することができ、ウェアラブル端末１０を装着する装着者の視界の例えば全域を含む範囲を撮像範囲として観察対象を撮像し、撮像画像を制御部１１に出力するようになっている。

ウェアラブル端末１０には操作部１５が設けられている。操作部１５は図示しないスイッチやボタン等によって構成されており、ユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部１１に供給するようになっている。制御部１１は操作部１５からの操作信号に基づいて動作する。なお、操作部１５として図示しないマイクロホンを採用し、制御部１１において音声認識処理を可能とすることにより、装着者等の発話に応じて制御部１１が各部を制御することも可能である。

ウェアラブル端末１０には通信部１６が設けられている。通信部１６は、制御部１１に制御されて、図示しない外部機器との間で有線又は無線による通信が可能である。例えば、通信部１６は、外部機器との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送路としてＬＡＮケーブルが採用された場合にはＬＡＮコントローラが、Ｗｉ−Ｆｉ（登録商標）が採用された場合にはＷｉ−Ｆｉコントローラが通信部１６として採用される。また、伝送路がＵＳＢケーブルの場合にはＵＳＢコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部１６として採用される。

制御部１１は、通信部１６を制御して、撮像部１２からの撮像画像を外部機器に送信させることができるようになっている。また、制御部１１は、通信部１６を制御して、外部機器からの情報を受信することができる。

また、ウェアラブル端末１０にはバッテリー１９が内蔵されている。バッテリー１９は、制御部１１に制御されて、ウェアラブル端末１０の各部に電力を供給するようになっている。

図２は図１中のウェアラブル端末１０の外観を説明するためのものである。図２はウェアラブル端末１０を眼鏡型表示装置によって構成した例を示している。

図２において、眼鏡フレーム１８の一部には、図１の制御部１１、撮像部１２及び通信部１６と表示部１３及び記録部１４の一部を構成する各回路が収納される回路収納部１７が取り付けられている。回路収納部１７の先端には、装着者の視界の全てを含む範囲を撮像する撮像部１２を構成する撮像レンズ１２ａが配設されている。被写体からの光学像は、撮像レンズ１２ａを介して回路収納部１７内に設けられた撮像部１２の撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。図２の例では、撮像レンズ１２ａは、眼鏡フレーム１８のツル部分の先端に取り付けられた回路収納部１７に設けられており、ツル部分は人物の顔４１と略同じ向きを向いており、撮像部１２は、人の右目４２Ｒによる視界の例えば全てを含む視野範囲の被写体を撮像することが可能である。これにより、撮像部１２は、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。

眼鏡フレーム１８の左右のリムに嵌込まれる左右のレンズのうち右レンズの前方側には、回路収納部１７に支持された導光部１３ｂが設けられている。また、回路収納部１７の側面には、導光部１３ｂの入射面に向かって映像光を出射する表示パネル１３ａが配設されている。表示パネル１３ａ及び導光部１３ｂによって表示部１３が構成される。導光部１３ｂの出射面は、人物が顔４１に眼鏡フレーム１８を装着した状態で、右目４２Ｒの前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。

回路収納部１７内に収納された表示制御部１１ａは、制御部１１によって処理した映像信号を表示部１３に与え、表示部１３は、この映像信号に基づく映像光を表示パネル１３ａから導光部１３ｂの入射面に向かって出射する。映像光は矢印にて示すように導光部１３ｂ内を導光されて出射面から出射される。こうして、右目４２Ｒによる視界の一部の右目４２Ｒから所定距離に知覚される仮想表示領域に、制御部１１からの映像信号に基づく画像（情報画像）が視認されることになる。

なお、図２では操作部１５の一例としてマイクロホン１５ａが設けられている例を示してある。マイクロホン１５ａは、周囲音を収音して、収音した音声信号を制御部１１に供給するようになっている。制御部１１はマイクロホン１５ａによって収音した音声に対する音声認識処理によって、ユーザの操作を受け付けることができるようなっている。

右目４２Ｒの視野範囲内において、導光部１３ｂは例えば４ｍｍ以下の細幅に構成されており、右目４２Ｒは導光部１３ｂによって遮られることなく、前方の観察対象物を観察可能である。即ち、眼鏡型表示装置は、シースルーで観察対象を直接観察することを妨げず、直接観察による観察対象と視界の一部の仮想表示領域に見える情報画像とを同時に観察することができるように構成されている。例えば、眼鏡型表示装置であるウェアラブル端末１０を装着したユーザは、各種作業時に、作業の状況を直接観察すると同時に、作業の手順書等に基づく情報画像を観察することも可能である。しかも、ウェアラブル端末１０は、ハンズフリーの機器であるから、作業及び観察に際して手足の動作が制限されることはないので、両手を駆使して作業性を損なうことなく情報画像の観察が可能である。

また、図３はウェアラブル端末１０の各部と顔との位置関係を示す説明図である。

表示部１３は、図３に示すように、顔４１の右目４２Ｒ前方に配置された導光部１３ｂによって、表示制御部１１ａからの情報画像を視認可能とする。図３における右目４２Ｒ及び左目４２Ｌをそれぞれ囲む破線は左右の目４２Ｒ，４２Ｌによる視界５１Ｒ，５１Ｌを示している。

図４はこの視界を説明するための説明図である。左視界５１Ｌは左目４２Ｌによる視界を示し、右視界５１Ｒは右目４２Ｒによる視界を示している。左視界５１Ｌは図示しない左レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光による実視界であり、右視界５１Ｒは図示しない右レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した実視界である。なお、右視界５１Ｒと左視界５１Ｌとは相互に重なる領域を有する。右視界５１Ｒの一部に、導光部１３ｂの出射面からの光による仮想表示視界５２が設けられる。仮想表示視界５２中の右目４２Ｒから所定距離離れた位置に仮想表示領域が形成される。

左右の視界５１Ｌ，５１Ｒは、ウェアラブル端末１０を装着した作業者が観察対象をシースルー光学系を介して知覚できる実視界であり、仮想表示視界５２はウェアラブル端末１０の表示制御部１１ａからの情報画像を視認できる人工的な視界である。従って、ウェアラブル端末１０を装着した作業者は、作業対象等を略正面の視線方向周辺の観察範囲５３ｕにおいて確認しつつ両手を駆使して注意を要する作業をしながら、視線を下に向けて観察範囲５３ｄを注目することによって、仮想表示視界５２において情報画像を視認することができる。

図４に示すように、本実施の形態においては、撮像部１２により撮像される撮像範囲（視野範囲）をカメラ視界５５として示してある。なお、図４の例では、撮像部１２によるカメラ視界５５は、左右の視界５１Ｌ，５１Ｒの全ての領域を含んでいるが、少なくとも仮想表示視界５２の全範囲を含んでいればよい場合もある。

本実施の形態においては、制御部１１は画像判定部１１ｂを有している。画像判定部１１ｂは、撮像部１２からの撮像画像に対する画像処理によって、仮想表示領域における情報画像の視認性の程度を判定する。仮想表示視界５２は実視界である両目の視界５１Ｌ，５１Ｒと重なっており、ウェアラブル端末１０の装着者が仮想表示視界５２中の仮想表示領域を注目する場合には、視界５１Ｌ，５１Ｒは、仮想表示視界５２の背景として知覚される。上述したように、シースルー光学系では、仮想表示視界５２上においても視界５１Ｌ，５１Ｒにおける像（実視界像）をある程度視認することができ、特に仮想表示視界５２の領域及びその周辺における実視界によって仮想表示領域の視認性が影響を受ける。

例えば、仮想表示視界５２の領域及びその周辺の実視界像（以下、背景像という）が比較的細かい像である場合、或いは仮想表示領域に表示される情報画像と背景像とが類似した絵柄、類似した細かさ、類似した輝度、類似した色等である場合、或いは背景像が静止している場合等には、仮想表示領域の表示が見にくくなる虞がある。

画像判定部１１ｂは、作業者の目が見ているものを、撮像画像から判定する機能で、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、その専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよいが、ここでは、マイコンが特定のシーケンスや演算で判定する。
この画像判定部１１ｂは、作業者の目の代用であるから、まさにその作業者が作業している様子、特に手の動きなどを、作業者目線の撮像方向からリアルタイムに判定できるというメリットがある。つまり、画像判定部１１ｂは、その作業者の手作業の集中ぶりやチェックしているものそのものを画像の変化、作業者自身の手や指や使っている道具、部品、資料、薬液など、あるいは補助者がいる場合は、差し出された手や指や、道具、部品、資料、薬液など、特定の特徴物の画像内の位置、対象物の特徴的な色やパターンやその動きによって判定することが出来る。例えば、撮像画像中において、作業者自身の手は眼鏡型端末の撮像画像の下の方から特定の特徴のパターンや色や動きの画像として入り、補助者の手は、それとは異なる方向から特徴的なパターンや色や動きの画像として出入りする。撮像部１２によって、手作業の解析に最適な画像が得られるので、画像判定部１１ｂは、作業の手を休めたかどうかや、作業に専念して手を動かしているかなども判定できる。
その他、画像判定部１１ｂは撮像画像から作業対象を判定して特定し、作業対象に合わせて解析をより高度化することも簡単にできる。例えば、作業者の指や手のパターンと背景のパターン、あるいは手で持ったものといった具体的な対象物が作業の中での位置付けと共に判定可能である。作業対象を判定することで、部品を持ってから何秒経過とか、道具の取り間違えをしたとか、作業基準との比較判定ができる。もちろん、これは作業ベース、あるいは作業工程ベースで、どこに手があって、どう動いているか、という判定だけに単純化してもよい。作業工程中の作業開始時刻からの経過であったり、作業用の表示開始からの経過時間であったり、標準作業時間との対比などから作業状況の判定ができる。
また、画像判定部１１ｂは、撮像画像中の全体又は仮想表示視界５２に対応する画像部分やその周辺の画像部分（以下、背景撮像画像という）について、画像の細かさを示す空間周波数や、輝度、色、動きベクトル等を求めて、仮想表示領域における視認性を判定する。なお、画像判定部１１ｂは、背景撮像画像の特徴と情報画像の特徴との比較によって、仮想表示領域における視認性を判定してもよい。

例えば、画像判定部１１ｂは、背景撮像画像の空間周波数と情報画像の空間周波数とを比較して類似度を算出し、類似度が所定の閾値よりも小さく背景撮像画像と情報画像とが類似していない場合には視認性が良好であるものと判定し、類似度が所定の閾値以上で類似している場合には視認性が不良であるものと判定してもよい。また、画像判定部１１ｂは、背景撮像画像と情報画像とを比較して類似度を算出し、類似度によって背景撮像画像と情報画像とが類似していない場合には視認性が良好であるものと判定し、類似している場合には視認性が不良であるものと判定してもよい。例えば、画像判定部１１ｂは、輝度によって類似度を判定してもよく、色によって類似度を判定してもよい。また、画像判定部１１ｂは、背景撮像画像の動きベクトルが所定の閾値よりも大きい場合には視認性が良好であるものと判定し、所定の閾値以下の場合には視認性が不良であるものと判定してもよい。

また、画像判定部１１ｂは、背景撮像画像と情報画像とを合成し、合成画像についての画像処理によって視認性良否の判定を行ってもよい。例えば、情報画像が既知の文字列を表示する画像である場合には、合成画像に対する文字認識処理を実行し、文字認識率が所定の閾値よりも大きい場合には視認性が良好であるものと判定し、文字認識率が所定の閾値以下の場合には視認性が不良であるものと判定してもよい。
また、画像判定部１１ｂは、ユーザの目の感度や視力などの個人差を考慮して判定を行ってもよく、見えるか見えないかのサンプルテストを行った結果を学習して反映させてもよい。この場合、背景撮像画像と情報画像を例えば記録部に複数画像で記録しておき、これらを読み出して仮想的に作成して表示し、それぞれ入れ替えて、いろいろな組合せで表示し、見えやすい、見えにくいをアンケート式に入力（タッチやタップで入力や音声認識を利用）し、ユーザの見やすいパターンや色やコントラストや表示スピードを学習してもよく、「必ずこの色でこの大きさでこのスピードが良い」といった簡単な法則が分かれば、学習するまでもなく、そのテスト結果を反映した表示を行えばよい。また、作業の中で学習して行くような応用も可能である。また、目が疲れてきたら、こちらの表示が良い、といった事もあるので、作業開始からの時間変化で、こうした結果を反映させた制御を行ってもよい。ゆっくり大きく表示させるのは、見えやすくても作業のスピードに影響するので、疲労なし状態なら（作業継続時間や対象物に応じた見つめ時間、あるいは自己申告の操作でも可）、少し見えにくくても時間優先の表示とする必要がある。さらに視認性という切り口以外にも、疲れやすいかどうかや、見えていても、間違えやすいかどうかなど、といった切り口での判断を入れ込んでも、あるいはそのどれかを選んで判定をしても良い。

記録部１４には詳細情報データベース（ＤＢ）１４ａ及び視認性優先情報データベース（ＤＢ）１４ｂが記録されている。詳細情報ＤＢ１４ａ及び視認性優先情報ＤＢ１４ｂには、仮想表示領域に表示する情報画像又は情報画像を生成するための情報が記録されている。なお、情報画像を生成するための情報とは、例えば、情報画像が文字列を表示するものである場合には表示される文字列の情報であり、また例えば、情報画像が図形を表示するものである場合には表示されるラスタ図形に対応したベクタ情報等である。なお、以下、詳細情報ＤＢ１４ａ及び視認性優先情報ＤＢ１４ｂに記録されている情報画像及び情報画像を生成するための情報を表示情報というものとする。また、制御部１１は、詳細情報ＤＢ１４ａ及び視認性優先情報ＤＢ１４ｂに記録する表示情報を通信部１６を介して外部から取込むようになっていてもよく、また、操作部１５の操作によって表示情報を更新することができるようになっていてもよい。

詳細情報ＤＢ１４ａには、詳細な情報を表示するための表示情報（以下、詳細表示情報という）が記録されている。一方、視認性優先情報ＤＢ１４ｂには、詳細表示情報に対応した情報であって、視認性に優れた表示を行うための表示情報（以下、視認性優先表示情報という）が記録されている。例えば、詳細情報ＤＢ１４ａには比較的多くの文字や詳細な図形等を表示するための表示情報が記憶され、視認性優先情報ＤＢ１４ｂには比較的少ない文字や簡略化した図形等を表示するための表示情報が記憶されている。例えば、詳細情報ＤＢ１４ａには比較的小さいサイズの文字を表示するための詳細表示情報が記憶され、視認性優先情報ＤＢ１４ｂには比較的大サイズの文字を表示するための視認性優先表示情報が記憶される。また、例えば、視認性優先情報ＤＢ１４ｂには、詳細情報ＤＢ１４ａに記録されている情報のキーワードや要約の情報、詳細情報ＤＢ１４ａに記録されている情報に関連した図形（アイコン）の情報等が記録されている。

例えば、情報画像として所定の作業に関する手順を記載した文字列の画像を表示する場合には、詳細情報ＤＢ１４ａに手順書の詳細な文章の詳細表示情報を記録させ、視認性優先情報ＤＢ１４ｂには手順書の各工程を簡略に説明するアイコンや文字列等の視認性優先表示情報を記録させるようになっていてもよい。

なお、画像判定部１１ｂは、詳細情報ＤＢ１４ａに記録されている詳細表示情報に基づく情報画像と当該情報画像表示時における背景撮像画像とに基づいて、仮想表示領域における情報画像の視認性の良否判定を行うようになっている。

表示情報判定部１１ｃは、画像判定部１１ｂによる視認性の良否の判定結果に基づいて、仮想表示領域に表示すべき情報画像の表示態様を判定して表示制御部１１ａを制御するようになっている。例えば、表示情報判定部１１ｃは、画像判定部１１ｂによって視認性の程度が所定の閾値よりも大きいことから視認性が良好と判定された場合には、詳細情報ＤＢ１４ａに記憶されている詳細表示情報に基づく情報画像（以下、詳細情報画像という）を表示制御部１１ａに表示させる。

本実施の形態においては、表示情報判定部１１ｃは、画像判定部１１ｂによって視認性の程度が所定の閾値以下であることから視認性が不良と判定された場合には、情報画像の視認性を良好にするための表示態様を表示制御部１１ａに指示する。例えば、表示情報判定部１１ｃは、画像判定部１１ｂによって視認性が不良と判定された場合には、視認性優先情報ＤＢ１４ｂに記憶されている視認性優先表示情報に基づく情報画像（以下、視認性優先情報画像という）を表示制御部１１ａに表示させる。視認性優先情報画像は、例えば、キーワードやアイコンや要約の情報を表示するものである。従って、この場合には、ユーザは、詳細情報画像のように例えば比較的小さい多くの文字が配列された画像を見ることはなく、比較的大きく、少ない文字数の情報や直感的に理解しやすいキーワードやアイコン等の画像を見ることになり、情報画像の視認性が向上する。

なお、表示情報判定部１１ｃは、詳細表示情報及び視認性優先表示情報のいずれを用いた場合でも、視認性に優れた情報画像（視認性優先情報画像）を表示させる表示態様を表示制御部１１ａに指示するようになっていてもよい。例えば、表示情報判定部１１ｃは、画像判定部１１ｂによって視認性が不良と判定された場合には、いずれかの表示情報に基づく文字列をスクロールさせて表示したり、輝度の調整や色の変更等により視認性を向上させた視認性優先情報画像を表示させたりすることも可能である。

例えば、表示情報判定部１１ｃは、表示制御部１１ａを制御して、色の類似によって視認性が不良と判定された場合には背景撮像画像と異なる色の文字列による視認性優先情報画像を表示させたり、輝度の類似によって視認性が不良と判定された場合には背景撮像画像の輝度よりも所定の閾値だけ明るくする視認性優先情報画像を表示させたりしてもよい。

なお、図１では、記録部１４は、２種類の表示情報を含む詳細情報ＤＢ１４ａ及び視認性優先情報ＤＢ１４ｂを有する例を示したが、３種類以上の表示情報を記録し、画像判定部１１ｂによる視認性の程度の判定結果に応じて、表示情報判定部１１ｃが表示態様の変更、即ち、用いる表示情報や表示の仕方を切換えるようになっていてもよい。

また、記録部１４には、作業の各工程に関する情報が記録されていてもよい。例えば、記録部１４には、作業の各工程における観察対象物の画像が基準画像として記録されていてもよい。制御部１１の画像判定部１１ｂは、撮像部１２からの撮像画像と、記録部１４から読出した観察対象物の基準画像との比較によって、作業の達成度を判定することができるようになっていてもよい。制御部１１は、画像判定部１１ｂによる作業の達成度の判定に基づいて、作業の達成に必要な警告表示やガイド表示を表示部１３に表示させるようになっていてもよい。

また、制御部１１は、記録部１４から読出す表示情報を、操作部１５に対するユーザ操作に基づいて選択して表示するようになっていてもよく、また、画像判定部１１ｂによる作業の達成度の判定に応じて表示情報及びその切換タイミングを自動判定して、情報画像を表示部１３に表示させるようになっていてもよい。

制御部１１は、画像判定部１１ｂによる作業の達成度の判定結果又はユーザ操作に基づいて、各工程の作業が終了する毎及び全工程の作業が終了する毎に、検査情報を記録部１４に記録する工程エビデンス化及び最終エビデンス化を行うようになっていてもよい。

次に、このように構成された実施の形態の動作について図５及び図６Ａから図６Ｄを参照して説明する。図５は第１の実施の形態の動作を説明するためのフローチャートである。また、図６Ａから図６Ｄは作業中における情報画像を説明するための説明図である。

いま、図１のウェアラブル端末１０を用いて電子装置の回路基板の診断作業を行う場合を例に説明する。図６Ａ〜図６Ｄにおいては、図１のウェアラブル端末１０は筐体６０，６１により構成された外観を有し、ウェアラブル端末１０の各構成部は筐体６０，６１内に収納された例を示している。また、図６Ａ〜図６Ｄの例では、ウェアラブル端末１０は眼鏡レンズ等を有しておらずユーザ６２の耳にかける頭部搭載型表示装置である。筐体６０は図２の眼鏡フレーム１８、回路収納部１７及び表示部１３等に相当し、筐体６１には撮像部１２が収納されている。

電子装置６４は電子部品６６が搭載された回路基板６７を収納しており、図６Ａ〜図６Ｄにおいてはユーザ６２が蓋６５を外すことにより、回路基板６７が露呈した状態を示している。塗り潰し部分で示す電子部品６６は、比較的パターンが密な部分を有する。

図５のステップＳ１において、撮像部１２は撮像を開始する。ユーザ６２は顔を回路基板６７側に向け、観察対象物である回路基板６７を見ながら作業を行う。撮像部１２はユーザ６２の視線方向を撮像しており、撮像部１２からの撮像画像中には、観察対象物である回路基板６７の画像部分が含まれる。

制御部１１は、ユーザ６２の操作部１５の操作に基づいて、或いは画像判定部１１ｂによる作業の種類の判定結果に従って、現在の作業対象について作業内容に対応した表示情報を詳細情報ＤＢ１４ａから検索する（ステップＳ２）。表示制御部１１ａは、読出した表示情報に基づいて詳細情報画像を表示部１３に表示させる。表示部１３の導光部１３ｂの出射面からの光がユーザ６２の目に入射し、ユーザ６２の視界中の一部の仮想表示領域に、情報画像が視認される。

図６Ａでは、吹き出しの表示によってユーザ６２の視界の一部の視界７０を示している。視界７０内には、仮想表示視界を構成する仮想表示領域７２が存在し、視界７０内の仮想表示領域７２を除く部分は実視界７１を示している。なお、ウェアラブル端末１０はシースルー光学系を採用していることから、仮想表示領域７２部分にも実視界７１が存在する。

実視界７１では、回路基板６７の像６７ａ及び電子部品６６の像６６ａが視認される。一方、仮想表示領域７２には詳細情報画像である文字列７３が表示される。しかし、ユーザ６２の視線の仮想表示領域７２の遠方側には実視界７１がある程度見えている。即ち、電子部品６６は、実視界７１中の仮想表示領域７２の範囲では電子部品６６の像６６ｂとして視認される。この像６６ｂの影響によって、図６Ａに示すように、文字列７３の視認性は著しく劣化している。

撮像部１２は、視界７０の範囲を撮像している。画像判定部１１ｂは、ステップＳ３において、視界７０の範囲の撮像画像、特に背景撮像画像についての画像解析により、仮想表示領域７２の視認性の良否の判定を行う。なお、画像判定部１１ｂは、上述したように、撮像画像だけでなく、仮想表示領域７２に表示されている情報画像を用いて、視認性の良否判定を行ってもよい。

表示情報判定部１１ｃは、ステップＳ４において、画像判定部１１ｂの良否判定の結果に基づいて処理を分岐する。即ち、画像判定部１１ｂは、撮像画像のパターンが比較的粗い場合等のように、仮想表示領域７２の視認性が背景撮像画像の影響を殆ど受けず、良好と判定された場合には、処理をステップＳ５に移行して、詳細情報画像を表示させる。また、画像判定部１１ｂは、撮像画像のパターンが比較的細かい場合等のように、仮想表示領域７２の視認性が背景撮像画像の影響により不良と判定された場合には、処理をステップＳ６に移行して、視認性優先情報画像を表示させる。
この時、ユーザ６２が自らの意思で、表示を切り替えても良く、また、撮像部１２の撮像画像を遠隔地に転送して遠隔操作者がその撮像画像や情報画像を見ている場合には、遠隔操作者が表示を切り替えるような実施例であってもよい。遠隔操作者の方が、作業者の間違いやすい状況や画像パターンの組合せの情報を持っている場合もある。こうした表示の切換え操作が学習されて、自動で切換るようにしてもよい。この表示開始は、ユーザ６２が自ら指定してもよく、遠隔、あるいは近くにいる補助者が指定してもよい。また、作業を判定して開始してもよい。さらに表示が始まってからの時間情報は重要なので記録しておいた方が良く、表示開始してすぐに内容理解は困難であるから、特定の理解時間を考慮して、様々な制御を行っても良い。例えば、表示開始後、しばらく手が止まっているのは、内容理解時間として正常だが、表示の内容にもよるが、それが例えば１分以上だと異常で、そもそも作業者は表示に気づいていないとか、読めずに困っているといった判断が可能となる。正常な状況の後、理解が進んだとして、表示を切り替えたり、表示を消すような制御を行ってもよい。ただ、これらの状況は撮像情報から切り分け判定が可能で、表示しても手の動きが以前の動きと変わらず止まらない場合（作業継続）は、気づいていない場合や、見なくとも分かる状況だと考えられ、表示して手が止まったが、何か規定の動き以外をしている場合や、背景が落ち着き無く変わる場合は、読めないと見なすことが出来る。読んでいる場合は、特定の姿勢を保持するはずで、手も休め、背景画像もほとんど止まっている画像が得られる。これは、表示した内容によっても、作業の工程によっても変わりうる。つまり、画像判定部１１ｂは撮像部からの撮像画像を用いて、前記ユーザ６２の作業の進行程度、継続度、集中度、作業以外への注意の度合いを判定することができるものとすることも出来る。こうした画像判定部の作業継続の判定結果に基づいて、前記表示部の表示態様を変更して前記仮想表示領域上の表示の態様を変更する制御部とを具備したことを特徴とする作業支援装置と表現してもよい。もちろん、手の動きは作業目的、内容やその工程によって変わるので、こうした要素を判定の一助としてもよい。

例えば、図６Ａの状態では、表示情報判定部１１ｃは、例えば視認性優先情報ＤＢ１４ｂに記憶されている表示情報を読出し、表示制御部１１ａは読出された表示情報を用いて、視認性優先情報画像を表示部１３に表示させる。

図６Ｂはこの場合の視認性優先情報画像の一例を示している。図６Ａの詳細情報画像にて表示される文字列７３は、「まず基板の表面をくまなく眺め各部品に事実上の問題や各部品に変色等がないかを確認する。」という作業手順を示すものである。一方、図６Ｂの視認性優先情報画像では、「基板目視」という文字列７５が表示されている。図６Ａの文字列７３は、詳細な情報をユーザ６２に提供するものであるが、実視界７１の影響によって視認性が著しく低い。これに対し、図６Ｂの文字列７５は、情報量は少ないが、文字サイズが大きいことから、実視界７１の影響は小さく、視認性に優れている。なお、文字列７５としては、色を目立ちやすい色、例えば赤色等で表示してもよく、また、文字列７５を仮想表示領域７２内で繰り返しスクロールさせながら表示させてもよい。また、視認性優先情報画像として、文字列７３，７５に対応するアイコン等を表示してもよい。なお、ステップＳ６において、文字列をスクロールさせて表示させる場合には、文字列の先頭からスクロールを開始するように表示制御される。

また、ユーザ６２が視認性優先情報画像を見ただけでは作業内容は把握することができない場合には、例えば、ユーザ６２は部屋の壁等の比較的空間周波数が比較的低い像が知覚される対象物に視線を向ける。この場合には、画像判定部１１ｂは、ステップＳ４において情報画像の視認性が良好になるものと判定し、表示情報判定部１１ｃは、ステップＳ５において、詳細情報画像である文字列７３を仮想表示領域７２に表示させる。

図６Ｃはこの場合の詳細情報画像を示している。図６Ｃに示すように、実視界７１の像は無地の壁等であり、仮想表示領域７２の視認性に悪影響を与えることがない。このため、図６Ｃの例では文字列７３は視認性に優れている。

画像判定部１１ｂは、ステップＳ５，Ｓ６の表示処理の次のステップＳ７において、撮像画像と記録部１４に記録されている画像との比較を行う。例えば、記録部１４には、回路基板６７の状態として適切な状態を示す画像（基準画像）が作業工程毎に記録されており、画像判定部１１ｂは、記録部１４から現在の作業工程における基準画像と撮像画像との比較によって、回路基板６７の異常や作業の達成度等を判定する。画像判定部１１ｂの判定結果により、回路基板６７に異常があったり、作業の達成度が比較的低いこと等が示されたりした場合には、表示制御部１１ａは、ステップＳ９において、警告表示やガイド表示等を表示部１３に表示させる。

このステップＳ９の終了後又はステップＳ８において回路基板６７に異常がなく、作業の達成度が比較的高いものと判定された場合には、次のステップＳ１０において、制御部１１は所定の工程が終了したか否かを判定する。制御部１１は、工程が終了していない場合には、処理をステップＳ３に戻し、工程が終了すると処理をステップＳ１１に移行する。

なお、制御部１１は、ステップＳ１０において、画像判定部１１ｂの判定結果によらず、操作部１５のユーザ操作に基づいて、工程の終了を判定してもよい。また、操作部１５としてマイクロホン１５ａを採用した場合には、ユーザが工程終了を示す例えば「工程終了」等の発話を行うことで、制御部１１が工程の終了を判定してもよい。また、ステップＳ１０において、画像判定部１１ｂが作業の達成度等を判定するのではなく、ユーザの所定の合図の撮像結果によって、工程の終了を判定してもよい。

図６Ｄはこのような工程終了の合図を説明するものである。図６Ｄにおいては、仮想表示領域７２には、視認性優先情報画像として「蓋を取る」という文字列７６が表示されている。図６Ｄは、ユーザ６２が蓋６５を取り外した後に、仮想表示領域７２に右手６３Ｒの指を進入させたことを示している。この指の画像は、撮像部１２によって撮像される。ユーザ６２の視界７０には、指の像７８が視認されている。ユーザ６２の指は撮像部１２によって撮像され、撮像画像中には像７８に対応する指の画像が含まれる。画像判定部１１ｂは、撮像画像から仮想表示領域７２に進入した指を検出すると、当該作業工程が終了したものと判定する。制御部１１はこの判定結果を受けて、ステップＳ１０からステップＳ１１に処理を移行してもよい。
このような、作業中に手が離せない状況で、一本の指の動きだけで、誤作動なく表示などの切換えを制御することは、作業現場では極めて現実的なソリューションであるが、ここでは、３次元的に特定の場所に指を持っていって、そこを操作するのではなく、二次元的な動きだけで、操作を可能にしている点がメリットでもあり特徴ともなっている。

制御部１１は、ステップＳ１１において、所定の工程についての検査情報を記録部１４に記録する工程エビデンス化を行う。次に、制御部１１は、所定の作業の全行程が終了したか否かを判定し（ステップＳ１２）、終了した場合には、当該作業についての検査情報を記録部１４に記録する最終エビデンス化を行って（ステップＳ１４）、処理を終了する。制御部１１は、全行程が終了していない場合には、ステップＳ１３において、次の作業工程に対応する情報画像を記録部１４から読出して表示部１３に表示させた後、処理をステップＳ３に戻す。

このように本実施の形態においては、撮像画像に基づいて、実視界から得られる実視界像の影響による仮想表示領域の視認性の程度を判定し、実視界像による影響によっても仮想表示領域の視認性が良好であるものと判定した場合には、仮想表示領域に詳細情報画像を表示させ、実視界像により視認性が不良となるものと判定した場合には、仮想表示領域に視認性優先情報画像を表示させる。これにより、シースルー光学系によって得られる実視界の視認性を悪化させることなく、仮想表示領域に表示される情報画像の視認性が、実視界像によって悪化することを防止することができる。

従って、本実施の形態に係る頭部搭載型表示装置を作業支援装置として用いた場合には、両手を駆使しながら、実視界において作業対象を確認する共に、仮想表示視界に表示させた作業内容等を確実に確認することが可能である。仮想表示領域における視認性は、実視界像に拘わらず常に良好であり、仮想表示領域に表示される情報画像を見るための労力を低減して、作業対象に対する作業に集中することを容易にすることができる。

なお、上記実施の形態においては、記録部１４は予め視認性優先情報ＤＢ１４ｂを備えているものとして説明したが、視認性優先情報ＤＢ１４ｂを省略して、外部の機器から視認性優先表示情報を読み込んでもよい。また、視認性優先表示情報は、詳細表示情報から生成することができる場合もあるので、詳細情報画像の視認性が低下した場合には、制御部１１において、表示している詳細情報画像に対応する視認性優先表示情報を生成してもよい。また、制御部１１は、人工知能を利用する外部機器に詳細表示情報を送信し、詳細表示情報に対応する視認性優先表示情報を人工知能により生成させて、生成された視認性優先表示情報を受信して視認性優先情報画像を表示するようになっていてもよい。

（第２の実施の形態）
図７は本発明の第２の実施の形態に係る作業支援装置を示すブロック図である。図７において図１と同一の構成要素には同一符号を付して説明を省略する。図２はウェアラブル端末である眼鏡型表示装置によって頭部搭載型表示装置を構成した例を示している。第１の実施の形態においては、ウェアラブル端末１０は、作業支援装置として必要な、撮像部１２、表示部１３、制御部１１、表示制御部１１ａ、画像判定部１１ｂ、表示情報判定部１１ｃ、記録部１４、詳細情報ＤＢ１４ａ、視認性優先情報ＤＢ１４ｂの全てを備えている例を示した。しかし、ウェアラブル端末としては必ずしもこれらの全てを備えている必要は無く、撮像部１２、表示部１３、制御部１１及び通信部１６を有していれば、表示制御部１１ａ、画像判定部１１ｂ、表示情報判定部１１ｃ、記録部１４、詳細情報ＤＢ１４ａ及び視認性優先情報ＤＢ１４ｂについては、これらと同様の機能を有する回路を他の装置が備えていてもよい。

図７は作業支援装置を、主にウェアラブル端末８０及び作業判定装置９０によって構成した例を示している。ウェアラブル端末８０は、図１の制御部１１に代えて制御部８１を採用し、図１の記録部１４に代えて記録部８２を採用した点が図１のウェアラブル端末１０と異なる。制御部８１は、図１の画像判定部１１ｂ及び表示情報判定部１１ｃの機能を有していない。制御部８１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。制御部８１は、操作部１５からの操作信号に基づいて、ウェアラブル端末８０の各部を制御する。

制御部８１は、撮像部１２からの撮像画像を通信部１６を介して作業判定装置９０に送信することができるようになっている。また、制御部８１は、通信部１６を介して表示情報又は情報画像を受信することができる。表示制御部８１ａは受信した表示情報又は情報画像に基づいて、表示部１３に情報画像を表示させることができるようになっている。

記録部８２は、詳細情報ＤＢ１４ａ及び視認性優先情報ＤＢ１４ｂを有していない点が記録部１４と異なり、制御部８１は記録部８２に各種情報を記録すると共に読出すことができるようになっている。

作業判定装置９０は、通信部９４を備えている。通信部９４は、ウェアラブル端末８０の通信部１６との間で通信を行って、画像情報を含む各種情報を伝送することができるようになっている。

作業判定装置９０は、制御部９１を備えている。制御部９１は、作業判定装置９０の各部を制御する。制御部９１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

制御部９１には、図１の画像判定部１１ｂ及び表示情報判定部１１ｃとそれぞれ同様の機能を有する画像判定部９１ｂ及び表示情報判定部９１ｃを備えている。即ち、画像判定部９１ｂはウェアラブル端末８０からの撮像画像又はこの撮像画像及び情報画像に基づいて、仮想表示領域に表示される情報画像の視認性を判定し、表示情報判定部９１ｃは、この視認性の判定結果に基づいて仮想表示領域に表示させる情報画像を選択することができるようになっている。

制御部９１の表示制御部９１ａは、表示情報判定部９１ｃの判定結果に基づいてウェアラブル端末８０において表示させる情報画像に関する表示情報又は情報画像の情報を通信部９４を介してウェアラブル端末８０に送信させることができるようになっている。

作業別ＤＢ記録部９２には、作業毎に、詳細表示情報及び視認性優先表示情報を記録した複数の領域９２ａ〜９２ｄを有している。図７の例では、作業別ＤＢ記録部９２は、作業Ａ〜Ｄに対応した領域９２ａ〜９２ｄを備えた例を示しているが、領域数は限定されるものではない。表示制御部９１ａは、表示情報判定部１１ｃの判定結果に従って、ウェアラブル端末８０に表示させる情報を作業別ＤＢ記録部９２から読出すようになっている。

エビデンス記録部９３は、制御部９１に制御されて、工程毎の検査情報や作業毎の検査情報等が記録されるようになっている。

携帯端末１００は、例えば、スマートフォンやタブレット端末等によって構成することができる。携帯端末１００は、制御部１０１を有している。制御部１０１は、携帯端末１００の各部を制御する。制御部１０１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

携帯端末１００は、通信部１０５を有している。通信部１０５は、ウェアラブル端末８０の通信部１６や作業判定装置９０の通信部９４との間で通信を行って情報を送受信することができるようになっている。制御部１０１には表示制御部１０１ａが設けられている。表示制御部１０１ａは、表示に関する各種処理を実行する。表示制御部１０１ａは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部１０１とは別体に構成されていてもよい。例えば、表示制御部１０１ａは、各種メニュー表示を表示させたり、通信部１０５を介して受信した情報を表示部１３に表示させたりすることができる。

携帯端末１００には操作部１０２が設けられている。操作部１０２は図示しないスイッチやボタン等によって構成されていてもよく、また、表示部１０３の表面に設けたタッチパネル等によって構成されていてもよい。操作部１０２は、ユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部１０１に供給するようになっている。制御部１０１は操作部１０２からの操作信号に基づいて動作する。なお、操作部１０２として図示しないマイクロホンを採用し、制御部１０１において音声認識処理を可能とすることにより、装着者等の発話に応じて制御部１０１が各部を制御することも可能である。また、携帯端末１００は、記録部１０４を有している。記録部１０４は、制御部１０１に制御されて、各種情報が記録されると共に、記録されている情報を制御部１０１に出力する。

なお、携帯端末１００において、作業判定装置９０と同様の機能を備えるようにしてもよい。この場合には、制御部１０１には画像判定部９１ｂ及び表示情報判定部９１ｃの機能を実現する画像判定及び表示情報判定部１０１ｂを設ける。また、記録部１０４は、作業別ＤＢ記録部９２に記録されている情報と同様の作業別ＤＢを記録するようにすればよい。

また、ウェアラブル端末８０と携帯端末１００とが近接して配置され、作業判定装置９０がこれらの端末とは比較的離れた位置の遠隔地に位置する場合等においては、携帯端末１００の通信機能を利用して、ウェアラブル端末８０は、携帯端末１００を介して作業判定装置９０との間で情報の授受を行うようになっていてもよい。携帯端末１００をスマートフォン等によって構成した場合には携帯端末１００は公衆回線を利用した通信が可能である場合があり、作業判定装置９０がウェアラブル端末８０に対して遠隔地に配置される場合等においては携帯端末１００を経由した通信が有利な場合がある。

次に、このように構成された実施の形態の動作について図８Ａから図８Ｃ、図９及び図１０を参照して説明する。図８Ａから図８Ｃは、それぞれ作業判定装置９０の制御、ウェアラブル端末８０の制御及び携帯端末１００の制御を示すフローチャートである。図９は支援する作業の一例として機器の修理のフローを示すフローチャートであり、図１０は図９に対応した詳細情報画像及び視認性優先情報画像の例を示す説明図である。なお、図８Ａ及び図８Ｂにおいて図５と同一の手順には同一符号を付してある。

本実施の形態における作業支援装置は、現場に作業員を派遣し、遠隔地のオペレータが現場の作業員に指示を出しながら作業を遂行させる遠隔支援用途に適している。本実施の形態においては、遠隔地のオペレータの役割を作業判定装置９０が担うことができる。また、図８Ａ〜図８Ｃの例では、携帯端末１００は、ウェアラブル端末８０と作業判定装置９０との通信の確立の補助的な役割と作業対象を指定する役割を実現するのみである。

現場の作業員は、例えば眼鏡型で構成されたウェアラブル端末８０を頭部に装着して作業を行う。また、現場の作業員は携帯端末１００を保持しているものとする。現場の作業員は、作業開始に先立って、携帯端末１００を操作し、ウェアラブル端末８０と作業判定装置９０との通信を確立する。

例えば、現場の作業員は、携帯端末１００の操作部１０２であるタッチパネルにより、各種機能のうち作業支援機能を実現するための作業アイコンを操作する。制御部１０１は、図８ＣのステップＳ４１において、作業アイコンが操作されたことを判定するとステップＳ４２において、作業判定装置９０との間で通信を行う。なお、他のアイコンが操作された場合には、制御部１０１は操作されたアイコンに対応するその他の機能を実現する。

作業判定装置９０の制御部９１は、図８ＡのステップＳ２１において、携帯端末１００との通信を行い、各種設定情報を受信する。例えば、携帯端末１００の制御部１０１は、現場の作業員の操作部１０２に対する操作によって、或いは、現場の作業員が保持するウェアラブル端末８０との通信によって得た情報に基づいて、現場の作業員が装着するウェアラブル端末８０を指定し（ステップＳ４３）、現場の作業員が作業する対象を指定する（ステップＳ４４）。

この通信によって、作業判定装置９０の制御部９１は、作業支援を行うウェアラブル端末８０を特定すると共に、支援すべき作業がいずれの作業であるかを検索する（ステップＳ２）。制御部９１は、作業別ＤＢ記録部９２にアクセスして、指定された作業に対応する作業を領域９２ａ〜９２ｄから検索する。制御部９１は検索した作業についての表示情報を読出す。例えば、作業Ａが指定されている場合には、制御部９１は、領域９２ａに格納されている表示情報を読出す。制御部９１は、ステップＳ２２において、通信部９４，１６を介してウェアラブル端末８０との間で通信を確立する。制御部９１は作業別ＤＢ記録部９２から読出した表示情報をウェアラブル端末８０に送信する。

現場の作業員が装着するウェアラブル端末８０の撮像部１２は、ステップＳ１において作業対象である被写体の撮像を開始する。ウェアラブル端末８０の制御部８１は、ステップＳ３１において、必要に応じて携帯端末１００と通信した後、作業判定装置９０との間で通信を確立して、通信によって得た情報（通信情報）を表示部１３に表示させる。また、制御部８１は、ステップＳ３１において、撮像画像を通信部１６，９４を介して作業判定装置９０の制御部９１に送信する。

作業判定装置９０の画像判定部９１ｂは、ウェアラブル端末８０から受信した撮像画像に対して、ステップＳ３において画像解析を行って、ウェアラブル端末８０の表示部１３によって形成される仮想表示領域の視認性の良否の程度を判定する。なお、図８ＡのステップＳ３の処理は、図５のステップＳ３と同様の処理であり、画像判定部９１ｂは、撮像画像だけでなく、仮想表示領域に表示する情報画像を用いて、視認性の良否判定を行ってもよい。

表示情報判定部９１ｃは、ステップＳ２３において、画像判定部９１ｂの良否判定の結果に基づいて処理を分岐する。即ち、画像判定部９１ｂは、撮像画像のパターンが比較的粗い場合等のように、仮想表示領域の視認性が背景撮像画像の影響を殆ど受けず、良好と判定される場合には、処理をステップＳ２４に移行して、詳細表示情報を送信させる。また、画像判定部９１ｂは、撮像画像のパターンが比較的細かい場合等のように、仮想表示領域の視認性が背景撮像画像の影響により不良と判定される場合には、処理をステップＳ２５に移行して、視認性優先表示情報を送信させる。
このように、ここでは、視認性での分岐を行っているが、後述のように、ここを作業中かどうか、作業を開始してどれくらい経ったか、疲労や作業の理解度などを考慮した分岐であってもよい。また、頻繁な手の動きなど作業の開始を画像で判定しても良く、表示をじっくり見ていられる状況かどうかは、撮像結果で判断が可能である。最もシンプルには、作業前には空を見て表示を見ている可能性が高い。もちろん、これは姿勢センサなどでも判定できるが、手を休めている、あるいは止めて作業以外に集中している可能性も高いので、これは画像で判断した方が良い。また、熟練者には通常不要な詳細表示（詳細情報画像）は、必要な時のみ表示するようにしてもよい。

ウェアラブル端末８０の制御部８１は、ステップＳ３１において、通信部９４，１６を介して詳細表示情報又は視認性優先表示情報を受信し、表示制御部８１ａは受信した表示情報を用いて表示部１３に情報画像を表示する。表示部１３によって現場の作業員に視認される情報画像は、作業判定装置９０において視認性が考慮されていることから、現場の作業員は、作業対象を観察しながら、確実に情報画像を確認することができる。

ここで、設定された作業が所定の機器Ａの修理であるものとして、仮想表示領域に表示される情報画像の例について、図９及び図１０を参照して説明する。

作業判定装置９０の制御部９１は、図９のステップＳ５１において、作業別ＤＢ記録部９２から読出した「電源投入確認」のための表示情報を送信させる。図１０のＳ５１は電源投入確認のための表示情報に基づいて、ウェアラブル端末８０の表示部１３による形成される仮想表示領域７２の表示を示している。図１０に示すように、作業判定装置９０から詳細表示情報が送信された場合には、仮想表示領域７２には、「コンセントに挿し電源スイッチを入れて表示が出る事を確認」という文字列による詳細情報画像が表示される。また、作業判定装置９０から視認性優先表示情報が送信された場合には、仮想表示領域７２には、コンセントのアイコン表示と「コンセント」という文字列とによる視認性優先情報画像１やスイッチのアイコン表示と「スイッチ」という文字列とによる視認性優先情報画像２等が表示される。

作業判定装置９０の制御部９１は、図９のステップＳ５２において、作業別ＤＢ記録部９２から読出した「分解内部基板目視確認」のための表示情報を送信させる。図１０のＳ５２は場合の仮想表示領域７２の表示を示している。図１０に示すように、作業判定装置９０から詳細表示情報が送信された場合には、仮想表示領域７２には、「外装のカバーを開けて内装の基板や配線に異常が無いかを確認」という文字列による詳細情報画像が表示される。また、作業判定装置９０から視認性優先表示情報が送信された場合には、仮想表示領域７２には、カバーを留めるネジのアイコン表示と「カバー」という文字列とによる視認性優先情報画像１や人の目のアイコン表示と「内部」という文字列とによる視認性優先情報画像２等が表示される。

詳細情報画像は、現場の作業員が行うべき作業の内容を明確に示すものであり、現場の作業員は詳細情報画像を確認することによって、作業を確実に行うことが可能である。また、実視界像の影響によって詳細情報画像の視認性が悪化する状況では、作業判定装置９０から視認性優先表示情報が送信され、仮想表示領域７２には、視認性優先情報画像が表示される。図１０に示すように、視認性優先情報画像は、アイコンや詳細表示情報を要約した文字列のみを見やすい表示態様で表示するものであり、現場の作業員は実視界像に拘わらず視認性優先情報画像の確認を容易に行うことができる。
このように、作業者が作業内容を理解するためのいわば５Ｗ１Ｈを重視した文章の表示と、その作業を理解した上で、作業者の備忘録的な簡略表示の両方が出来ることは、本発明のポイントの一つで、いわば、前者はひとつひとつの理解を進めるための「アルゴリズム式」の表示であり（分かりやすく、作業リストとして「箇条書き」にしてもよい）、後者は５Ｗ１Ｈの中で要点となる部分のみを選択したいわば「ヒューリスティクス的」な表示となる。これは、特定の作業のスピードを上げるような場合にも有効で、人間を作業者とする場合、心理学的にも認知学的にも有効である。つまり、人間の作業者の場合、あらかじめそれなりの知識があるので、要点だけで作業が進められる。人が暗黙のうちに用いている簡便な解法などを有効利用した方法とも言え、経験則的に判断に至る時間は早いが、判断結果に偏りが生じるという問題がある。しかし、そうした「認知バイアス」によって作業にばらつきがでないように、バイアスがかかりにくい具体的な道具や作業などを単純化して明示、あるいは行間などを読む必要のない数値やチェック項目、具体的な単語や名称のみを強調表示させればよい。ウェアラブル端末の場合、その作業時にその利用者しか見ないという特徴もあるので、こうした個人的な作業ばらつきを考慮した表示にしてもよい。詳細情報表示（詳細情報画像）を「アルゴリズム表示」、視認性優先表示（視認性優先情報画像）を、広義の視認性、つまり、人間に迅速な判断を促すという意味での視認性をもたらす表示として、「ヒューリスティクス補助表示」と呼び変えても良い。特に前者の場合、判断に時間がかかるので、実物を見る時間が相対的に犠牲になり、迅速な手作業などを伴う作業中には、要点を探す手間が要り、必ずしも必要でない場合がある。また、反対に後者は要点だけを伝えるので、表示を見ている時間を短くでき、より実作業に専念できるというメリットがある、理解して作業が始まってしまえば、こちらの表示が要点を端的に表現して実用的とも言える。また、逆に熟練作業者の場合、通常は簡略表示（例えば視認性優先情報画像）で、必要な時のみ詳細表示（例えば詳細情報画像）をした方が良い場合もある。

ウェアラブル端末８０の制御部８１は、図８ＢのステップＳ３１の次のステップＳ３２において、工程終了操作が発生したか否かを判定しており、現場の作業員によって工程終了操作が行われた場合には、ステップＳ３３において、工程終了通信を行う。

作業判定装置９０の制御部９１は、図８ＡのステップＳ１０において工程の終了を判定しており、ウェアラブル端末８０からの工程終了通信が発生した場合、又は画像判定部１１ｂの画像解析によって工程が終了したものと判定した場合には、処理をステップＳ１１に移行して工程エビデンス化を行う。制御部９１は、工程終了でないものと判定した場合には処理をステップＳ３に戻す。図８ＡのステップＳ１０〜Ｓ１４の処理は図５のステップＳ１０〜Ｓ１４の処理と同様であり、工程が終了すると、制御部９１はステップＳ１３において、次の工程に対応した表示情報を読出してウェアラブル端末８０に送信する。

即ち、作業判定装置９０の制御部９１は、図９のステップＳ５３において、作業別ＤＢ記録部９２から読出した「各部品目視確認」のための表示情報を送信させる。図１０のＳ５３はこの場合の仮想表示領域７２の表示を示している。図１０に示すように、作業判定装置９０から詳細表示情報が送信された場合には、仮想表示領域７２には、「特にコンデンサやレギュレータ周辺の変色等を確認」という文字列による詳細情報画像が表示される。また、作業判定装置９０から視認性優先表示情報が送信された場合には、仮想表示領域７２には、コンデンサのアイコン表示と「コンデンサ」という文字列とによる視認性優先情報画像１やレギュレータのアイコン表示と「レギュレータ」という文字列とによる視認性優先情報画像２等が表示される。

ここで、作業判定装置９０の画像判定部９１ｂにおいて、現在の撮像画像では作業の確認を確実に行うことができないものとする。画像判定部９１ｂは図８ＡのステップＳ２４，Ｓ２５の次のステップＳ２６において、受信画像を作業ＤＢ内の基準画像と比較している。この処理は図５のステップＳ７と同様の処理であり、画像判定部９１ｂは、現在の作業工程における基準画像と受信した撮像画像との比較によって、機器Ａの異常や作業の達成度等を判定する。画像判定部９１ｂによる判定が確実でない場合や、判定結果によって機器に異常があったり、作業の達成度が比較的低いこと等が示されたりした場合には、制御部９１はステップＳ８から処理をステップＳ２７に移行して、ウェアラブル端末８０に詳細情報（例えば拡大画像）の要求を行う。なお、この要求では、撮像画像のうちのいずれの部分を拡大するかを示す領域の情報も含まれる。更に、制御部９１は、ステップＳ２８において、警告表示やガイド表示等をウェアラブル端末８０に指示する。

ウェアラブル端末８０の制御部８１は、図８ＢのステップＳ３３の次のステップＳ３４において、拡大画像の送信要求が発生したか否かを判定しており、拡大画像の送信要求が発生すると、例えば撮像部１２の図示しない光学レンズをズーム状態にして撮像画像中の指示された領域を拡大して撮像した後、撮像画像を作業判定装置９０に送信する（ステップＳ３５）。

また、ウェアラブル端末８０の制御部８１は、ステップＳ３５の次のステップＳ３６において、警告やガイド等の指示が発生したか否かを判定しており、警告やガイド等の指示が発生すると、警告表示やガイド表示等を表示部１３に表示させる（ステップＳ９）。

作業判定装置９０の制御部９１は、図９のステップＳ５４において、作業別ＤＢ記録部９２から読出した「問題部品交換」のための表示情報を送信させる。図１０のＳ５４はこの場合の仮想表示領域７２の表示を示している。図１０に示すように、作業判定装置９０から詳細表示情報が送信された場合には、仮想表示領域７２には、「変色した部品があれば交換する」という文字列による詳細情報画像が表示される。また、作業判定装置９０から視認性優先表示情報が送信された場合には、仮想表示領域７２には、ドライバーのアイコン表示と「部品交換」という文字列とによる視認性優先情報画像１等が表示される。

作業判定装置９０の制御部９１は、図９のステップＳ５５において、作業別ＤＢ記録部９２から読出した「テスター電圧確認」のための表示情報を送信させる。図１０のＳ５５はこの場合の仮想表示領域７２の表示を示している。図１０に示すように、作業判定装置９０から詳細表示情報が送信された場合には、仮想表示領域７２には、「部品交換前後の電圧を調べる」という文字列による詳細情報画像が表示される。また、作業判定装置９０から視認性優先表示情報が送信された場合には、仮想表示領域７２には、テスターのアイコン表示と「テスター」という文字列とによる視認性優先情報画像１やテスターのアイコン表示と「２．５Ｖ」という文字列とによる視認性優先情報画像２等が表示される。

作業判定装置９０の制御部９１は、図９のステップＳ５６において、作業別ＤＢ記録部９２から読出した「波形出力確認」のための表示情報を送信させる。図１０のＳ５５はこの場合の仮想表示領域７２の表示を示している。図１０に示すように、作業判定装置９０から詳細表示情報が送信された場合には、仮想表示領域７２には、「部品交換前後の波形を調べる」という文字列による詳細情報画像が表示される。また、作業判定装置９０から視認性優先表示情報が送信された場合には、仮想表示領域７２には、オシロスコープを示すアイコン表示と「オシロ」という文字列とによる視認性優先情報画像１やオシロスコープを示すアイコン表示と「正常波形」という文字列とによる視認性優先情報画像２等が表示される。

制御部９１は、ステップＳ１０において所定の工程が終了したものと判定すると、次のステップＳ１１において、所定の工程についての検査情報をエビデンス記録部９３に記録する工程エビデンス化を行う。また、制御部９１は、所定の作業の全行程が終了したか否かを判定し（ステップＳ１２）、終了した場合には、当該作業についての検査情報をエビデンス記録部９３に記録する最終エビデンス化を行って（ステップＳ１４）、処理を終了する。

このように本実施の形態においては、第１の実施の形態と同様の効果を得ることができる。また、本実施の形態においては、画像解析による画像判定等の処理を作業判定装置において行っており、ウェアラブル端末は撮像処理、送信処理及び送信された情報に基づく表示処理のみを行えばよく、ウェアラブル端末における処理量を軽減して、ウェアラブル端末の回路構成を簡単化することができる。これにより、ウェアラブル端末を軽量化すると共に、消費電力を低減してバッテリーを長持ちさせることが可能である。

なお、上記各実施の形態においては、撮像画像の画像判定によって詳細情報画像と視認性優先情報画像とを切換えて表示する例を示したが、画像判定を行うことなく、ユーザ操作に基づいて詳細情報画像と視認性優先情報画像とを切換えるようになっていてもよい。

さらに、本発明の各実施形態においては、視界と同じ領域を撮影するために、撮影のための機器として、ウェアラブル端末のつる部分に収納した撮像デバイスを用いて説明したが、背景撮影画像を取得することができるものであれば、どのような撮像デバイスを採用してもよく、設置場所にとらわれなければ、撮影するための機器として、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。

さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした装置、あるいはシステムは、ユーザに何らかの働きかけを行ったり、部品の角度を変えたりする等の機能を有しても良く、その機構は、様々なアクチュエータと、必要に応じて連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の画像処理装置を実現することができる。

１０…ウェアラブル端末、１１…制御部、１１ａ…表示制御部、１１ｂ…画像判定部、１１ｃ…表示情報判定部、１２…撮像部、１２ａ…撮像レンズ、１３…表示部、１３ａ…表示パネル、１３ｂ…導光部、１４…記録部、１４ａ…詳細情報ＤＢ、１４ｂ…視認性優先情報ＤＢ、１５…操作部、１６…通信部。

Claims (13)

1. ユーザの視界中に仮想表示領域を形成する表示部と、
   上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像部と、
   上記撮像部での撮像結果に基づいて、上記表示部の表示態様を変更する制御部と
   を具備したことを特徴とする作業支援装置。
2. 上記撮像部からの撮像画像を用いて、上記ユーザの作業継続状況を判定する画像判定部とを具備し、
   上記制御部は、上記画像判定部の判定結果に基づいて、上記表示部の表示態様を変更する
   ことを特徴とする請求項１に記載の作業支援装置。
3. 上記制御部は、上記表示部の表示態様を詳細理解を促すアルゴリズム表示と、迅速な判断を促すヒューリスティクス補助表示との間で切換える
   ことを特徴とする請求項１に記載の作業支援装置。
4. 上記撮像部からの撮像画像を用いて、上記ユーザの観察対象からの光が上記ユーザの目に入射して形成される実視界像の影響による上記仮想表示領域上の表示の視認性の程度を判定する画像判定部と、
   上記画像判定部の判定結果に基づいて、上記表示部の表示態様を変更して上記仮想表示領域上の表示の視認性の悪化を抑制する制御部と
   を具備したことを特徴とする請求項１に記載の作業支援装置。
5. 上記制御部は、上記画像判定部の判定結果に基づいて上記表示部を駆動することにより、上記仮想表示領域に詳細情報画像を表示させるか又は上記詳細情報画像に対応した視認性優先情報画像を表示させることで、上記仮想表示領域上の表示の視認性の悪化を抑制する
   ことを特徴とする請求項１に記載の作業支援装置。
6. 上記詳細情報画像は、第１の文字数の文字列の画像を含み、
   上記視認性優先情報画像は、上記第１の文字数よりも少ない第２の文字数の文字列の画像を含む
   ことを特徴とする請求項５に記載の作業支援装置。
7. 上記視認性優先情報画像は、上記詳細情報画像に含まれる文字よりも大きいサイズの文字を含む画像である
   ことを特徴とする請求項５又は６に記載の作業支援装置。
8. 上記視認性優先情報画像は、上記詳細情報画像に含まれる文字をスクロールさせて表示させた画像である
   ことを特徴とする請求項５から７のいずれか１つに記載の作業支援装置。
9. 上記制御部は、上記表示態様として詳細情報画像と視認性優先情報画像とを切換えるものであって、
   上記詳細情報画像を得るための詳細表示情報及び上記視認性優先情報画像を得るための視認性優先表示情報とを記録する記録部を更に具備し、
   上記制御部は、上記画像判定部の判定結果に基づいて、上記記録部から上記詳細表示情報又は上記視認性優先表示情報を選択的に読出すことで、上記表示部に上記詳細情報画像又は上記視認性優先情報画像を表示させる
   ことを特徴とする請求項１に記載の作業支援装置。
10. 上記表示部及び上記撮像部が搭載されると共に第１の通信部を有し、上記ユーザが装着するウェアラブル端末と、
    上記制御部を備えると共に上記第１の通信部との間で通信を行う第２の通信部を有し、上記ユーザの位置に対して遠隔地に配置される作業判定装置と
    を具備したことを特徴とする請求項１に記載の作業支援装置。
11. ユーザの視界中に仮想表示領域を形成する表示ステップと、
    上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像ステップと、
    上記撮像ステップでの撮像結果に基づいて、上記表示ステップにおける表示態様を変更する制御ステップと
    を具備したことを特徴とする作業支援方法。
12. コンピュータに、
    ユーザの視界中に仮想表示領域を形成する表示ステップと、
    上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像ステップと、
    上記撮像ステップでの撮像結果に基づいて、上記表示ステップにおける表示態様を変更する制御ステップと
    を実行させるための作業支援プログラム。
13. ユーザの頭部に取り付け可能な支持部と、
    上記支持部によってユーザの頭部に搭載されて上記ユーザの視界中に仮想表示領域を形成する表示部と、
    上記支持部に支持されて、上記仮想表示領域を含む上記ユーザの視界を撮像範囲として撮像を行う撮像部と、
    上記支持部に配置されて、上記撮像部からの撮像画像を用いて、上記ユーザの観察対象からの光が上記ユーザの目に入射して形成される実視界像の影響による上記仮想表示領域上の表示の視認性の程度を判定する画像判定部と、
    上記支持部に配置されて、上記画像判定部の判定結果に基づいて、上記表示部の表示態様を変更する制御部と
    を具備したことを特徴とする頭部搭載型表示装置。

Images