JP5251813B2

JP5251813B2 - 作業支援システム、ヘッドマウントディスプレイ及びプログラム

Info

Publication number: JP5251813B2
Application number: JP2009222822A
Authority: JP
Inventors: 光由渡邉
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2013-07-31
Anticipated expiration: 2029-09-28
Also published as: JP2011071884A

Description

本発明は、作業支援システム、ヘッドマウントディスプレイ及びプログラムに関するものである。

従来より、作業者の頭部に装着されて、画像を投影表示するヘッドマウントディスプレイを用いた作業支援システムに関して種々提案されている。
例えば、下記特許文献１に記載される作業支援システムでは、作業者は頭部にカメラ付きヘッドマウントディスプレイを装着している。また、カメラによって撮像された画像データや計測器のデータ等は、無線通信によって汎用ＰＣに送信され、更に、この汎用ＰＣからネットワークを介して作業指示用ＰＣに送信される。一方、作業の指揮者は、この作業指示用ＰＣ上で、カメラの画像等を確認して、当該作業指示用ＰＣを介して作業指示を出力する。そして、この作業指示は、ネットワークを介して汎用ＰＣへ送信された後、この汎用ＰＣから無線通信によってヘッドマウントディスプレイへ送信されて、作業者に対して作業指示を行うように構成されている。

特開２００４−９４６２２号公報（段落（００２５）〜（００６９）、図１〜図２）

上述した特許文献１に記載される構成の作業支援システムでは、作業者の頭部は固定されていないため、ヘッドマウントディスプレイに搭載されたカメラも頭部の揺れに従って上下方向又は左右方向に揺れる。このため、作業指示用ＰＣ上に表示されたカメラの動画像は、画面全体が揺れるため不快な映像になるという問題がある。そこで、カメラに画像の揺れを補正する揺れ補正機構等を設けることが考えられる。
しかしながら、カメラに画像の揺れを補正する揺れ補正機構等を設けた場合には、当該カメラが大型化するため、ヘッドマウントディスプレイの全体重量が増加し、作業者の作業効率が低下する虞がある。

そこで、本発明は、上述した問題点を解決するためになされたものであり、ヘッドマウントディスプレイに搭載されたカメラの画像の揺れを補正することができると共に、作業者及び作業指示者の作業効率の低下を防止することが可能となる作業支援システム、ヘッドマウントディスプレイ及びプログラムを提供することを目的とする。

前記目的を達成するため請求項１に係る作業支援システムは、作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、前記ヘッドマウントディスプレイは、該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、を有し、前記作業支援装置は、前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、前記補正画像情報に対する付加情報が入力される付加情報入力手段と、前記補正画像情報と前記付加情報入力手段を介して入力された前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成手段と、前記補正画像情報を所定の態様で出力する支援側出力手段と、を有し、前記支援側出力手段は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報を前記ヘッドマウントディスプレイに送信する支援側送信手段を有し、前記ヘッドマウントディスプレイは、前記支援側送信手段を介して送信された前記コンテンツ情報を受信する作業側受信手段を有し、該ヘッドマウントディスプレイは、前記作業側受信手段を介して受信した前記コンテンツ情報に基づいて前記視界に画像を表示することを特徴とする。

また、請求項２に係る作業支援システムは、作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、前記ヘッドマウントディスプレイは、該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、を有し、前記作業支援装置は、前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、前記補正画像情報に対する付加情報が入力される付加情報入力手段と、前記補正画像情報と前記付加情報入力手段を介して入力された前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成手段と、前記補正画像情報を所定の態様で出力する支援側出力手段と、を有し、前記頭揺れ補正手段は、前記コンテンツ情報が文字データを含むか否かを判定する判定手段を有し、該頭揺れ補正手段は、前記判定手段を介して前記コンテンツ情報が文字データを含むと判定した場合には、前記補正画像情報を作成しないことを特徴とする。

また、請求項３に係る作業支援システムは、請求項２に記載の作業支援システムにおいて、前記作業支援装置は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報を前記ヘッドマウントディスプレイに送信する支援側送信手段を有し、前記ヘッドマウントディスプレイは、前記支援側送信手段を介して送信された前記コンテンツ情報を受信する作業側受信手段を有し、該ヘッドマウントディスプレイは、前記作業側受信手段を介して受信した前記コンテンツ情報に基づいて前記視界に画像を表示することを特徴とする。

また、請求項４に係る作業支援システムは、請求項１乃至請求項３のいずれかに記載の作業支援システムにおいて、前記頭揺れ補正手段は、受信した前記基本画像情報の全撮像領域から前記対象物を含む所定範囲の撮像領域を決定する撮像領域決定手段と、前記頭部動作情報に基づいて前記基本画像情報の全撮像領域上における前記所定範囲の撮像領域の位置補正量を決定する位置補正量決定手段と、前記所定範囲の撮像領域を前記基本画像情報の全撮像領域上で前記位置補正量だけ移動した後、当該所定範囲の撮像領域に対応する前記基本画像情報を前記補正画像情報として抽出する補正画像抽出手段と、を有することを特徴とする。

また、請求項５に係る作業支援システムは、請求項４に記載の作業支援システムにおいて、前記撮像領域決定手段は、所定情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする。

また、請求項６に係る作業支援システムは、請求項５に記載の作業支援システムにおいて、前記撮像領域決定手段は、前記頭部動作情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする。

また、請求項７に係る作業支援システムは、請求項５又は請求項６に記載の作業支援システムにおいて、前記撮像領域決定手段は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする。

また、請求項８に係る作業支援システムは、請求項４乃至請求項７のいずれかに記載の作業支援システムにおいて、前記頭部動作検出手段は、前記頭部動作情報として前記作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とを検出し、前記位置補正量決定手段は、前記左右方向揺れ角度と前記上下方向揺れ角度とに基づいて前記位置補正量を決定することを特徴とする。

更に、請求項９に係る作業支援システムは、請求項１に記載の作業支援システムにおいて、前記頭揺れ補正手段は、前記コンテンツ情報が文字データを含むか否かを判定する判定手段を有し、該頭揺れ補正手段は、前記判定手段を介して前記コンテンツ情報が文字データを含むと判定した場合には、前記補正画像情報を作成しないことを特徴とする。

また、請求項１０に係るヘッドマウントディスプレイは、作業者の頭部に装着されて、通信部を介して受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイにおいて、前記ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、前記ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを通信部を介して作業支援装置に対して送信する送信手段と、前記通信部を介して、前記基本画像情報から前記対象物の映像の揺れを補正した補正画像情報と、前記補正画像情報に対して付加された付加情報とから構成された映像情報を前記作業支援装置から受信する受信手段と、前記受信手段を介して受信した前記映像情報を前記コンテンツ情報として、前記視界に画像を表示するように制御する表示制御手段と、を備えたことを特徴とする。

また、請求項１１に係るプログラムは、撮像手段によって撮像された対象物の基本画像情報と頭部動作検出手段によって検出された頭部動作情報とを受信する受信手段と、付加情報が入力される付加情報入力手段と、コンテンツ情報を送信する送信手段と、を少なくとも備えたコンピュータに、前記受信手段を介して前記基本画像情報と前記頭部動作情報とを受信する受信工程と、前記受信工程で受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正工程と、前記頭揺れ補正工程で作成した前記補正画像情報と前記付加情報入力手段を介して入力された前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成工程と、前記コンテンツ情報作成工程で作成された前記コンテンツ情報を前記送信手段を介して送信する送信工程と、を実行させるためのプログラムである。

請求項１に係る作業支援システムでは、ヘッドマウントディスプレイに搭載した頭部動作検出手段によって検出した頭部動作情報と、撮像手段によって対象物を撮像した基本画像情報とを作業支援装置へ送信することによって、該基本画像情報から対象物の映像の揺れを補正した補正画像情報が、作業支援装置によって作成されて所定の態様で出力される（例えば、補正画像情報の録画、データベース化、印刷出力、液晶ディスプレイ等への動画表示等である。）。

これにより、補正画像情報が液晶ディスプレイ等に動画表示された場合には、この動画表示の画面全体の揺れを防止でき、作業指示者の不快感を無くして作業指示等の作業効率の低下を防止することができる。また、ヘッドマウントディスプレイには、従来のマイクロカメラ等の撮像手段に加えて、小型ジャイロセンサ等の頭部動作検出手段を設ければよいため、ヘッドマウントディスプレイの小型化、軽量化を図ることが可能となり、作業者の作業効率の低下を防止することが可能となる。

また、作業指示者は補正画像情報に作業指示や対象物の説明資料等の付加情報を入力することによって、作業者が見ている対象物に対する作業指示や対象物の説明資料等のコンテンツ情報をヘッドマウントディスプレイを介して的確に提示することが可能となる。

また、作業者は、ヘッドマウントディスプレイを介して提示された対象物に対する作業指示や対象物の説明資料等の付加情報を正確に認識することが可能となる。更に、ヘッドマウントディスプレイを介して提示された補正画像情報に付加情報が付された動画表示の画面全体の揺れを防止でき、作業者の不快感を無くして作業効率の低下を防止することができる。

また、請求項２に係る作業支援システムでは、ヘッドマウントディスプレイに搭載した頭部動作検出手段によって検出した頭部動作情報と、撮像手段によって対象物を撮像した基本画像情報とを作業支援装置へ送信することによって、該基本画像情報から対象物の映像の揺れを補正した補正画像情報が、作業支援装置によって作成されて所定の態様で出力される（例えば、補正画像情報の録画、データベース化、印刷出力、液晶ディスプレイ等への動画表示等である。）。

また、コンテンツ情報が文字データを含む場合、つまり、コンテンツ情報が作業マニュアル等の文字データから構成されている場合等には、補正画像情報を作成しないため、作業者に対してより的確な補正画像情報を更に迅速に作成することが可能となる。

また、請求項３に係る作業支援システムでは、作業者は、ヘッドマウントディスプレイを介して提示された対象物に対する作業指示や対象物の説明資料等の付加情報を正確に認識することが可能となる。更に、ヘッドマウントディスプレイを介して提示された補正画像情報に付加情報が付された動画表示の画面全体の揺れを防止でき、作業者の不快感を無くして作業効率の低下を防止することができる。

また、請求項４に係る作業支援システムでは、全撮像領域上における対象物を含む所定範囲の撮像領域の位置補正量を頭部動作情報に基づいて決定するため、頭部の動きによる撮像手段の動画像の揺れを効果的に防止することが可能となる。また、当該位置補正量だけ移動した所定範囲の撮像領域に対応する基本画像情報を補正画像情報として抽出するため、作業者が見ている対象物を含む映像の録画、データベース化、印刷出力、液晶ディスプレイ等への動画表示等を確実に行うことが可能となる。

また、請求項５に係る作業支援システムでは、所定情報に基づいて全撮像領域上における対象物を含む所定範囲の撮像領域を決定することが可能となり、作業者に対してより的確な補正画像情報を作成することが可能となる。

また、請求項６に係る作業支援システムでは、頭部動作情報に基づいて全撮像領域上における対象物を含む所定範囲の撮像領域を決定することが可能となり、例えば、作業者の頭部の動きが十分小さい場合には、所定範囲の撮像領域の変更を行わないようにして、処理速度の迅速化を図ることが可能となる。また、作業者の頭部の動きが十分大きい場合には、補正を行わず、警告を提示することが可能となる。

また、請求項７に係る作業支援システムでは、コンテンツ情報作成手段によって作成されたコンテンツ情報に基づいて全撮像領域上における対象物を含む所定範囲の撮像領域を決定することが可能となり、例えば、コンテンツ情報に作業指示が含まれている場合には、作業指示を含む最小矩形領域を所定範囲の撮像領域として決定することが可能となる。これにより、対象物を含む作業指示がなされている領域のみを表示することが可能となる。

また、請求項８に係る作業支援システムでは、作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とに基づいて、全撮像領域上における対象物を含む所定範囲の撮像領域の位置補正量を決定する。ここで、原則的には、位置補正量の決定には、左右、上下、前後の平行移動と、それぞれの軸回りの回転移動の６個のパラメータが必要となる。しかし、平行移動はカメラ視野に大きな影響を与えないので、回転移動に関してのみ補正を行えばよい。更に、一般に人間の視線方向の移動は上下方向（左右軸回りの回転）、左右方向（上下軸回りの回転）が多い。また、撮像手段は作業者の頭部に装着されたヘッドマウントディスプレイに搭載されているため、前後軸回りの回転（首の傾け）は、無視でき、作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とだけがあれば補正か可能となる。従って、作業者の頭部の左右方向揺れ角度と上下方向揺れ角度との２つのパラメータに基づいて、全撮像領域上における対象物を含む所定範囲の撮像領域の位置補正量の決定を迅速に行うことが可能となる。

更に、請求項９に係る作業支援システムでは、コンテンツ情報が文字データを含む場合、つまり、コンテンツ情報が作業マニュアル等の文字データから構成されている場合等には、補正画像情報を作成しないため、作業者に対してより的確な補正画像情報を更に迅速に作成することが可能となる。

また、請求項１０に係るヘッドマウントディスプレイでは、ヘッドマウントディスプレイに搭載した頭部動作検出手段によって検出した頭部動作情報と、撮像手段によって対象物を撮像した基本画像情報とを作業支援装置へ送信する。そして、該基本画像情報から対象物の映像の揺れを補正した補正画像情報と、この補正画像情報に対して付加された付加情報とから構成された映像情報を作業支援装置から受信して、当該映像情報を作業者の視界に画像として表示する。

これにより、作業者は、ヘッドマウントディスプレイを介して提示された対象物に対する作業指示や対象物の説明資料等の付加情報を正確に認識することが可能となる。また、ヘッドマウントディスプレイを介して提示された補正画像情報に付加情報が付された動画表示の画面全体の揺れを防止でき、作業者の不快感を無くして作業効率の低下を防止することができる。更に、ヘッドマウントディスプレイには、従来のマイクロカメラ等の撮像手段に加えて、小型ジャイロセンサ等の頭部動作検出手段を設ければよいため、ヘッドマウントディスプレイの小型化、軽量化を図ることが可能となり、作業者の作業効率の低下を防止することが可能となる。

また、請求項１１に係るプログラムでは、コンピュータは当該プログラムを読み込むことによって、撮像手段によって対象物を撮像した基本画像情報から対象物の映像の揺れを補正した補正画像情報を作成して、送信することができる。また、コンピュータは、作業指示者が付加情報入力手段を介して補正画像情報に対する作業指示や対象物の説明資料等の付加情報を入力した場合には、当該補正画像情報と作業指示や対象物の説明資料等の付加情報とから構成された映像情報をコンテンツ情報として送信して、作業指示や対象物の説明資料等を的確に提示することが可能となる。

本実施形態に係る作業支援システムの概略構成を示す図である。ヘッドマウントディスプレイの外観を示す平面図である。作業支援システムを構成するヘッドマウントディスプレイ及びサーバの回路構成を示すブロック図である。出射装置の電気的構成及び光学的構成を示すブロック図である。作業支援システムのヘッドマウントディスプレイが実行する「作業指示画像表示処理」とサーバが実行する「補正画面出力処理」を示すフローチャートである。ヘッドマウントディスプレイの画面表示ＯＮ時の表示の一例を示す図である。ＣＣＤセンサ上の撮像画像の位置補正量を模式的に示す図である。揺れ角度と位置補正量との関係を示す図である。サーバの補正画像の表示の一例を示す図である。ヘッドマウントディスプレイによる図９の補正画像の表示の一例を示す図である。

以下、本発明に係る作業支援システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。

［作業支援システムの概略構成］
先ず、本実施形態に係る作業支援システム１の概略構成について図１及び図２に基づいて説明する。
図１に示すように、作業支援システム１は、作業者３の頭部に装着されたヘッドマウントディスプレイ（ＨＭＤ）２と、作業指示者６によって操作されてヘッドマウントディスプレイ２に対して作業指示情報や作業マニュアル等の各種情報を送信する作業支援装置としてのサーバ７とから構成されている。そして、ヘッドマウントディスプレイ２とサーバ７とは、無線通信によって各種情報の送受信が可能となるように構成されている。尚、無線通信に替えて有線通信によって各種情報の送受信を行うようにしてもよい。

尚、図１及び図２に示されるヘッドマウントディスプレイ２の外観は単なる一例であり、本発明は、当該外観を有するヘッドマウントディスプレイ２に限定されるものではない。また、以下の説明では、本発明を網膜走査ディスプレイに適用した実施形態について説明するが、本発明は、外界が視認可能な状態で、液晶素子や有機ＥＬ素子等を用いて画像表示を行う種々のヘッドマウントディスプレイに適用することができる。また、本発明は、光学シースルー型のヘッドマウントディスプレイのみならず、ビデオシースルー型のヘッドマウントディスプレイにも適用することができる。また、本発明は、シースルー型でないヘッドマウントディスプレイにも適用することができる。例えば、片方又は両方の眼の視野を遮蔽する非透過型のヘッドマウントディスプレイや、画像表示部が細くてあまり視野を遮らないタイプのヘッドマウントディスプレイ等にも適用することができる。

また、サーバ７は、マウスやキーボード等から構成された操作部８や液晶ディスプレイ（ＬＣＤ）９等が設けられている。この液晶ディスプレイ９には、ヘッドマウントディスプレイ２に搭載されているＣＣＤカメラ１２によって撮像された画像が揺れを補正されて表示される。そして、作業指示者６はこの画像に対して作業指示等の付加情報を付加して、ヘッドマウントディスプレイ２へ画像情報として送信することが可能となるように構成されている。

また、図１及び図２に示すように、ヘッドマウントディスプレイ２は、外部から入力された動画ファイル、静止画ファイル、文書ファイル（例えば、作業手順書や表計算ファイル等である。）等の各種コンテンツ情報を画像信号に変換する。そして、この画像信号に応じて変調されたビーム光（以下、「画像光」という。）を作業者３の左眼５（図４参照）の網膜上に走査させることにより、作業者３にコンテンツ情報に対応する画像（以下、「コンテンツ」という。）を視認させることができるように構成されている（図６参照）。

また、このヘッドマウントディスプレイ２は、コンテンツを表示している最中であっても、作業者３の視野の中で、そのコンテンツを表示している領域外では、外界の対象物４や風景等を視認できるように構成されている。即ち、このヘッドマウントディスプレイ２は、外光を透過しつつ、画像光を作業者３の眼に投射するシースルー型のヘッドマウントディスプレイである。

尚、ヘッドマウントディスプレイ２は画像光を作業者３の左眼５に投射するように構成しているが、右眼に投射するように構成してもよい。この場合には、画像信号に応じて変調された画像光を作業者３の右眼の網膜上に走査させ、コンテンツを視認させることができる。

また、図１及び図２に示すように、このヘッドマウントディスプレイ２は、画像光を出射する出射装置１１と、その出射装置１１に載置されて作業者３の視野領域内の対象物４等を撮像するオートフォーカス機能付きのＣＣＤカメラ１２と、出射装置１１に設けられて作業者３の頭部の左右方向揺れ角度と上下方向揺れ角度とを検出するジャイロセンサ１３と、これらを支持する支持部材１０とから基本的に構成されている。尚、ジャイロセンサ１３は支持部材１０やＣＣＤカメラ１２に設けてもよい。

このオートフォーカス機能付きのＣＣＤカメラ１２は、ＣＣＤカメラ１２の全体を制御するＣＣＤコントローラ１４（図３参照）と、外界の明るさを検出する輝度センサ１５と、ＣＣＤカメラ１２の撮像領域を照らす照明手段としてのＬＥＤ（LightEmitting Diode
）１６とを備えている。また、このＣＣＤカメラ１２は、フォーカシング機構部がレンズ１７に内蔵されている。そして、ＣＣＤコントローラ１４は、輝度センサ１５を介して外界の明るさが所定の明るさを下回ったことを検知したときには、ＬＥＤ１６を点灯してＣＣＤカメラ１２の撮像領域を照らすように駆動制御する。

また、図２に示すように、ヘッドマウントディスプレイ２は、出射装置１１からコンテンツに応じて出射される画像光Ｚ１を導くと共に、その画像光Ｚ１を作業者３の左眼５に向かって反射させるプリズム２１を備えている。また、このプリズム２１は、不図示のビームスプリッタ部を備えており、外界からの外光Ｚ２を透過させ、作業者３の左眼５に導く。このように、プリズム２１は、作業者３の側方から入射された画像光Ｚ１を作業者３の左眼５に入射させると共に、外界からの外光Ｚ２を作業者３の左眼５に入射させる光学系であるため、ユーザはコンテンツを外界の風景に重畳させて視認することができる。

尚、プリズム２１に代えてハーフミラーを用いることもできる。すなわち、ハーフミラーは、出射装置１１からの画像光Ｚ１を反射して作業者３の左眼５に入射させると共に、外光Ｚ２を透過して作業者３の左眼５に入射させる。

［ヘッドマウントディスプレイ及びサーバの電気的構成］
次に、ヘッドマウントディスプレイ２及びサーバ７の電気的構成について図３に基づいて説明する。先ず、ヘッドマウントディスプレイ２の電気的構成について説明する。
図３に示すように、ヘッドマウントディスプレイ２は、画像光を出射する出射装置１１と、各種操作やデータの入力を行うための入力部２５と、ＣＣＤカメラ１２と、サーバ７と双方向に無線通信を行う通信部２６と、出射装置１１によって表示するコンテンツやテキスト等のイメージデータを格納するビデオＲＡＭ２７と、出射装置１１によって表示するテキストのフォントデータを格納するフォントＲＯＭ２８と、ヘッドマウントディスプレイ２の全体を制御する制御部２９と、電源部３０と、ジャイロセンサ１３等とから構成されている。尚、出射装置１１の詳細については、図４に基づいて後述する。

入力部２５は、各種機能キー等からなる操作ボタン群３１と、入力制御回路３２とから構成されている。この入力制御回路３２は、操作ボタン群３１のキー操作がされたことを検出して、操作されたキーに対応する制御信号を制御部２９に出力する。

また、ＣＣＤカメラ１２は、ＣＣＤコントローラ１４、輝度センサ１５、ＬＥＤ１６、ＣＣＤセンサ１８等から構成されている。このＣＣＤコントローラ１４は、制御部２９のＣＰＵ３５の指示により、ＣＣＤセンサ１８によって撮像した画像信号を通信部２６を介してサーバ７へ送信する。

また、通信部２６は、制御部２９のＣＰＵ３５の指示により、無線通信によってＣＣＤカメラ１２によって撮像された画像信号をサーバ７へ送信すると共に、ジャイロセンサ１３によって検出された作業者３の頭部の左右方向揺れ角度と上下方向揺れ角度をサーバ７へ送信する。また、通信部２６は、サーバ７から受信したコンテンツ情報を制御部２９に出力し、当該コンテンツ情報はフラッシュメモリ３６に記憶される。

また、制御部２９は、ＣＰＵ３５、フラッシュメモリ３６、ＲＡＭ３７等から構成され、これらは不図示のバス線により相互に接続されて、相互にデータのやり取りが行われる。
また、ＣＰＵ３５は、ヘッドマウントディスプレイ２の全体を制御し、ヘッドマウントディスプレイ２の動作に関する全てのデータを管理する演算処理装置である。また、ＣＰＵ３５は、各種コンテンツ情報を画像信号に変換し、また、サーバ７から受信したテキストデータをフォントＲＯＭ２８に記憶されたフォントデータに基づいて画像信号に変換してビデオＲＡＭ２７に記憶する。

また、フラッシュメモリ３６は、ヘッドマウントディスプレイ２により表示するコンテンツの再生、停止等の表示制御を行う際に、出射装置１１を駆動制御するための制御処理プログラムや、サーバ７から受信した作業指示等の画像を表示する作業指示画像表示処理プログラム（図５参照）等、ＣＰＵ３５によって実行される各種プログラムを記憶している。また、フラッシュメモリ３６には、サーバ７から受信したコンテンツ情報等が記憶される。また、ＲＡＭ３７は、ＣＰＵ３５が種々の制御を実行する際に、各種データを一時的に記憶するものである。

また、ビデオＲＡＭ２７は、画像信号を一時的に記憶する。そして、このビデオＲＡＭ２７に記憶された画像信号は、出射装置１１の映像信号処理部６３に出力されて、コンテンツとしてユーザの網膜に投影される。従って、ＣＰＵ３５は、コンテンツ情報をフラッシュメモリ３６から読み出し、読み出したコンテンツ情報を画像信号に変換してビデオＲＡＭ２７に書き込むことによって、表示するコンテンツを制御することができる。また、ＣＰＵ３５は、サーバ７から受信したテキストデータ等を画像信号に変換してビデオＲＡＭ２７に書き込むことによって、表示するテキストデータ等を制御することができる。

また、電源部３０は、ヘッドマウントディスプレイ２を駆動させるための電源となる電池３８と、電池３８の電力をヘッドマウントディスプレイ２に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池３８へ供給して電池３８の充電を行う充電制御回路３９とを備えている。

次に、サーバ７の電気的構成について説明する。
図３に示すように、サーバ７は、サーバ７の全体の制御を行う演算装置及び制御装置としてのＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、フラッシュメモリ（ＥＥＰＲＯＭ）５４、サーバ側通信部５５、入出力インターフェース（入出力Ｉ／Ｆ）５６、この入出力インターフェース５６に接続される操作部８や液晶ディスプレイ９等から構成されている。また、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、ＥＥＰＲＯＭ５４、サーバ側通信部５５、入出力インターフェース（入出力Ｉ／Ｆ）５６は、不図示のバス線によって相互に接続されている。

そして、後述のように、作業指示者６は、操作部８を介して液晶ディスプレイ９に表示された補正画像に対して作業指示等の付加情報を入力し、また、作業指示が表示された補正画像等をヘッドマウントディスプレイ２へ送信するように指示することができる（図５参照）。

ＲＯＭ５２は、各種のプログラムを記憶させておくものである。ＲＯＭ５２には、サーバ側通信部５５を介して後述のヘッドマウントディスプレイ２から受信した画像信号と作業者３の頭部の揺れ角度から補正画像を生成して表示する補正画像出力処理（図５参照）等の各種プログラムが記憶されている。そして、ＣＰＵ５１は、ＲＯＭ５２に記憶されている各種のプログラムに基づいて各種の演算及び制御を行なうものである。

ＲＡＭ５３は、ＣＰＵ５１により演算された各種の演算結果や画像情報等を一時的に記憶させておくためのものである。このＲＡＭ５３には、受信画像記憶部５３Ａ、揺れ角度記憶部５３Ｂ、補正画像記憶部５３Ｃ等が設けられている。この受信画像記憶部５３Ａには、サーバ側通信部５５を介してヘッドマウントディスプレイ２から受信した画像情報が記憶される。揺れ角度記憶部５３Ｂには、ジャイロセンサ１３によって検出された作業者３の頭部の左右方向揺れ角度と上下方向揺れ角度が記憶される。補正画像記憶部５３Ｃには、後述のように、揺れ角度記憶部５３Ｂに記憶された作業者３の頭部の揺れ角度に基づいて補正した補正画像の画像情報が記憶される（図５参照）。

ＥＥＰＲＯＭ５４には、入出力インターフェース５６を介して外部から入力された作業マニュアルや動画ファイル、静止画ファイル等の各種コンテンツ情報が記憶されている。

サーバ側通信部５５は、ヘッドマウントディスプレイ２の通信部２６と無線通信により双方向通信が可能に構成されている。そして、サーバ側通信部５５は、ヘッドマウントディスプレイ２から受信した画像情報をＣＰＵ５１に出力する。また、サーバ側通信部５５は、後述のように、ＣＰＵ５１からの指示に従って、補正画像記憶部５３Ｃに記憶される補正画像の画像情報をヘッドマウントディスプレイ２へ送信する（図５参照）。

［出射装置の電気的及び光学的構成］
次に、出射装置１１の電気的及び光学的構成について図３及び図４に基づいて説明する。
図３及び図４に示すように、出射装置１１には、ビデオＲＡＭ２７から入力される画像信号に基づいて、画像光を生成する光源ユニット部６１が設けられている。

光源ユニット部６１には、ビデオＲＡＭ２７から画像信号が入力されて、この画像信号に応じた映像を合成するための映像信号を生成する映像信号処理部６３が設けられている。そして、この映像信号処理部６３から、この生成した映像信号の各画素毎の青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各出力制御信号６５Ａ〜６５Ｃが、ドットクロック毎に出力される。

光源ユニット部６１には、映像信号処理部６３からドットクロック毎に出力される３つの出力制御信号６５Ａ〜６５Ｃをそれぞれ画像光にする画像光出力手段として機能する光源部７１と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部７２とを備えている。

光源部７１は、青色の画像光を発生させるＢレーザ７４及び出力制御信号６５Ａに従ってＢレーザ７４を駆動するＢレーザドライバ７５と、緑色の画像光を発生させるＧレーザ７６及び出力制御信号６５Ｂに従ってＧレーザ７６を駆動するＧレーザドライバ７７と、赤色の画像光を発生させるＲレーザ７８及び出力制御信号６５Ｃに従ってＲレーザ７８を駆動するＲレーザドライバ７９とを備えている。

尚、Ｂレーザ７４、Ｇレーザ７６、Ｒレーザ７８は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができる。一方、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。

また、光合成部７２は、光源部７１から入射する３つの画像光をそれぞれ平行光にコリメートするように設けられた各コリメート光学系８１、８２、８３と、このコリメートされた３つの画像光を合成するための各ダイクロイックミラー８４、８５、８６と、合成された画像光を光ファイバ８８に導く結合光学系８７とを備えている。

そして、各レーザ７４、７６、７８から出射したレーザ光は、各コリメート光学系８１、８２、８３によってそれぞれ平行化された後に、各ダイクロイックミラー８４、８５、８６に入射される。その後、各レーザ７４、７６、７８から出射したレーザ光は、これらのダイクロイックミラー８４、８５、８６により、各画像光が波長に関して選択的に反射・透過されて結合光学系８７に達し、集光されて光ファイバ８８へ出力される。

また、出射装置１１には、光源ユニット部６１で生成され、光ファイバ８８を介して出射される画像光を集光する集光レンズ系８９と、この集光された画像光を垂直方向に往復走査する垂直走査部９１が設けられている。また、出射装置１１には、垂直走査部９１によって垂直方向に往復走査された画像光を水平方向に走査する水平走査部９２と、垂直走査部９１と水平走査部９２との間にリレー光学系９３が設けられている。

また、出射装置１１には、水平走査部９１と垂直走査部９２によって水平方向と垂直方向に走査（２次元的に走査）された画像光を作業者３の瞳孔９５へ出射するためのリレー光学系９６が設けられている。また、プリズム２１は、リレー光学系９６と作業者３の瞳孔９５との間に配置され、出射装置１１から出射された画像光を全反射させる等して作業者３の瞳孔９５に導くこととなる。

また、水平走査部９１には、画像光を水平方向に往復走査するための反射面９８Ａを有する共振型偏向素子９８と、この共振型偏向素子９８を共振駆動して反射面９８Ａを高速揺動させる（例えば、約３０ｋＨｚで共振揺動させる。）ように駆動制御する高速走査ドライバ９９とが設けられている。

また、出射装置１１には、共振型偏向素子９８の反射面９８Ａで反射された反射光を検出するビームディテクタ（ＢＤ）センサ１０１と、このＢＤセンサ１０１から入力された反射光の検出信号を増幅して、光源ユニット部６１に設けられた高速同期信号部１０５へ出力するビームディテクタ（ＢＤ）信号部１０２とが設けられている。また、光源ユニット部６１に設けられた高速同期信号部１０５は、ＢＤ信号部１０２から入力された反射光の検出信号を矩形パルス信号に変換して、映像信号処理部６３へ出力する。

そして、映像信号処理部６３は、高速同期信号部１０５から入力された矩形パルス信号に基づいて、各画素毎の青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各出力制御信号６５Ａ〜６５Ｃを出力するためのドットクロック信号を生成し、光源ユニット部６１に設けられた低速同期信号部１０６へ出力する。また、低速同期信号部１０６は、映像信号処理部６３から入力されたドットクロック信号に基づいて水平走査部９１で水平方向に往復走査された画像光を垂直方向に走査するための垂直同期信号としての低速同期信号１０７（例えば、約６０Ｈｚのパルス信号である。）を生成して、垂直走査部９２へ出力する。

また、垂直走査部９２には、画像光を垂直方向に走査するための反射面１０８Ａを有する偏向素子１０８と、光源ユニット部６１から入力された垂直同期信号としての低速同期信号１０７に基づいて、この偏向素子１０８を駆動して反射面１０８Ａを低速揺動させる（例えば、約６０Ｈｚで低速揺動させる。）ように駆動制御する低速走査ドライバ１０９とが設けられている。

従って、共振型偏向素子９８によって水平方向に高速で往復走査された画像光は、リレー光学系９３によって偏向素子１０８の反射面１０８Ａに入射し、偏向素子１０８によって垂直方向に低速で走査されて、２次元的に走査される。そして、２次元的に走査された走査画像光として、リレー光学系９６へ出射される。また、リレー光学系９６は、垂直走査部９２から出射された表示用の走査画像光を、それぞれほぼ平行な画像光に変換すると共に、これらの画像光の中心線を作業者３の瞳孔９５に入射するように変換する。

尚、水平走査部９１と垂直走査部９２との配置を入れ替え、光ファイバ８８から入射された画像光を、垂直走査部９２によって垂直方向に走査した後、水平走査部９１で水平方向に走査するようにしてもよい。

次に、このように構成された作業支援システム１において、ヘッドマウントディスプレイ２のＣＰＵ３５が、サーバ７から受信した作業指示等の画像を表示する「作業指示画像表示処理」と、サーバ７のＣＰＵ５１が、ヘッドマウントディスプレイ２から受信した画像を補正して出力する「補正画像出力処理」とについて図５乃至図１０に基づいて説明する。

先ず、図５に基づいてヘッドマウントディスプレイ２のＣＰＵ３５が実行する「作業指示画像表示処理」について説明する。尚、図５に、Ｓ１１〜Ｓ１９のフローチャートで示されるプログラムは、ヘッドマウントディスプレイ２のフラッシュメモリ３６に記憶されており、操作ボタン群３１の不図示の画像表示開始ボタンが押下された場合に、ＣＰＵ３５によって実行される。

図５に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ３５は、通信部２６から入力されてフラッシュメモリ３６に記憶したコンテンツ情報がある場合には、当該コンテンツ情報を読み出して画像信号に変換してビデオＲＡＭ２７に記憶する。これにより、ビデオＲＡＭ２７から映像信号処理部６３へ画像信号が入力されて、当該コンテンツ情報やテキストデータに対応するコンテンツ（画像）が出射装置１１を介して左眼５に表示される。

そして、Ｓ１２において、ＣＰＵ３５は、出射装置１１の画像表示がＯＮになった旨を表す画像表示ＯＮ信号を通信部２６を介してサーバ７へ送信する。
続いて、Ｓ１３において、ＣＰＵ３５は、通信部２６を介して、サーバ７から送信された対象物４に対する作業指示情報が付加されたコンテンツや作業マニュアル等のコンテンツの画像情報を受信するのを待つ（Ｓ１３：ＮＯ）。そして、ＣＰＵ３５は、通信部２６を介してサーバ７から作業指示情報が付加されたコンテンツや作業マニュアル等のコンテンツの画像情報を受信した場合には（Ｓ１３：ＹＥＳ）、Ｓ１４の処理に移行する。

Ｓ１４において、ＣＰＵ３５は、この受信した画像情報をビデオＲＡＭ２７に記憶する。これにより、ビデオＲＡＭ２７から映像信号処理部６３へ画像信号が入力されて、当該受信した画像信号が出射装置１１を介して左眼５に表示される。
例えば、図６に示すように、対象物４を見ている作業者３の左眼５に、出射装置１１を介して作業マニュアル１１１が表示される。

その後、Ｓ１５において、ＣＰＵ３５は、通信部２６を介して、ＣＣＤカメラ１２により正面方向の対象物４等の風景の撮影を開始するように指示するカメラ撮影指示信号をサーバ７から受信するのを待つ（Ｓ１５：ＮＯ）。そして、通信部２６を介して、ＣＣＤカメラ１２により正面方向の対象物４等の風景の撮影を開始するように指示するカメラ撮影指示信号をＣＰＵ３５がサーバ７から受信した場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ３５は、Ｓ１６の処理に移行する。

Ｓ１６において、ＣＰＵ３５は、ＣＣＤカメラ１２よる正面方向の対象物４等の風景の撮影を開始する、即ち、ＣＰＵ３５は、ＣＣＤカメラ１２によって撮像された１フレーム分の画像情報をフラッシュメモリ３６に記憶する。また、ＣＰＵ３５は、ＣＣＤカメラ１２によって撮像された１フレーム分の画像情報を記憶する毎に、ジャイロセンサ１３によって検出された作業者３の頭部の左右方向揺れ角度と上下方向揺れ角度をフラッシュメモリ３６に記憶する。

そして、Ｓ１７において、ＣＰＵ３５は、ＣＣＤカメラ１２によって撮像された１フレーム分の画像情報と、ジャイロセンサ１３によって検出された作業者３の頭部の左右方向揺れ角度及び上下方向揺れ角度とを所定時間毎に（例えば、約１／３０秒毎である。）フラッシュメモリ３６から読み出し、通信部２６を介してサーバ７へ送信する。

続いて、Ｓ１８において、ＣＰＵ３５は、出射装置１１による左眼５への画像表示の停止が指示されたか否か、具体的には、操作ボタン群３１の不図示の画像表示停止ボタンが押下されたか否かを判定する判定処理を実行する。
そして、出射装置１１による左眼５への画像表示の停止が指示されていないと判定した場合、つまり、操作ボタン群３１の不図示の画像表示停止ボタンが押下されていないと判定した場合には（Ｓ１８：ＮＯ）、ＣＰＵ３５は、再度Ｓ１６以降の処理を実行する。

一方、出射装置１１による左眼５への画像表示の停止が指示されたと判定した場合、つまり、操作ボタン群３１の不図示の画像表示停止ボタンが押下されたと判定した場合には（Ｓ１８：ＹＥＳ）、ＣＰＵ３５は、Ｓ１９の処理に移行する。

Ｓ１９において、ＣＰＵ３５は、出射装置１１の映像信号処理部６３へ画像表示の停止を指示する停止信号を出力し、当該出射装置１１の画像表示を停止する。また、ＣＰＵ３５は、出射装置１１の画像表示を停止した旨を表す画像表示ＯＦＦ信号を通信部２６を介してサーバ７へ送信する。また、ＣＰＵ３５は、ＣＣＤコントローラ１４へ撮像停止を指示する撮像停止信号を出力し、ＣＣＤカメラ１２による撮像を停止後、当該処理を終了する。

次に、図５に基づいてサーバ７のＣＰＵ５１が実行する「補正画像出力処理」について説明する。尚、図５に、Ｓ１１１〜Ｓ１１９のフローチャートで示されるプログラムは、サーバ７のＲＯＭ５２に記憶されており、ＣＰＵ５１により所定時間毎（例えば、約０．０１秒毎〜０．１秒毎である。）に実行される。

先ず、Ｓ１１１において、ＣＰＵ５１は、サーバ側通信部５５を介して、上記Ｓ１２でヘッドマウントディスプレイ２から送信された画像表示ＯＮ信号を受信するのを待つ（Ｓ１１１：ＮＯ）。そして、ＣＰＵ５１は、サーバ側通信部５５を介してヘッドマウントディスプレイ２から送信された画像表示ＯＮ信号を受信した場合には（Ｓ１１１：ＹＥＳ）、Ｓ１１２の処理に移行する。

Ｓ１１２において、ＣＰＵ５１は、ＥＥＰＲＯＭ５４に記憶している作業指示情報や作業マニュアル等のコンテンツの画像情報を読み出し、サーバ側通信部５５を介してヘッドマウントディスプレイ２へ送信する。
そして、Ｓ１１３において、ＣＰＵ５１は、ＣＣＤカメラ１２により正面方向の対象物４等の風景の撮影を開始するように指示するカメラ撮影指示信号をサーバ側通信部５５を介してヘッドマウントディスプレイ２へ送信する。

続いて、Ｓ１１４において、ＣＰＵ５１は、サーバ側通信部５５を介して、上記Ｓ１７でヘッドマウントディスプレイ２から送信されたＣＣＤカメラ１２によって撮像された１フレーム分の画像情報と、ジャイロセンサ１３によって検出された作業者３の頭部の左右方向揺れ角度及び上下方向揺れ角度とを受信するのを待つ（Ｓ１１４：ＮＯ）。

そして、サーバ側通信部５５を介して、ＣＣＤカメラ１２によって撮像された１フレーム分の画像情報と、ジャイロセンサ１３によって検出された作業者３の頭部の左右方向揺れ角度及び上下方向揺れ角度とをＣＰＵ５１がヘッドマウントディスプレイ２から受信した場合には（Ｓ１１４：ＹＥＳ）、ＣＰＵ５１は、受信したＣＣＤカメラ１２によって撮像された１フレーム分の画像情報を受信画像記憶部５３Ａに記憶する。また、ＣＰＵ５１は、受信した作業者３の頭部の左右方向揺れ角度及び上下方向揺れ角度を揺れ角度記憶部５３Ｂに記憶後、Ｓ１１５の処理に移行する。

Ｓ１１５において、ＣＰＵ５１は、揺れ角度記憶部５３Ｂから作業者３の頭部の左右方向揺れ角度及び上下方向揺れ角度を読み出し、各揺れ角度に基づいて対象物４等の風景を撮像した画像の揺れを補正した補正画像を作成してＲＡＭ５３の補正画像記憶部５３Ｃに記憶する。ここで、ＣＣＤカメラ１２による対象物４等の風景を撮像した画像の揺れを補正した補正画像を作成する具体的な一例について図７及び図８に基づいて説明する。

図７に示すように、ＣＰＵ５１は、ヘッドマウントディスプレイ２から受信したＣＣＤカメラ１２によって撮像された１フレーム分の画像情報の全撮像領域１１３から、液晶ディスプレイ９に表示するための対象物４等を含む表示画像の撮像領域１１４を決定する。例えば、ＣＰＵ５１は、１フレーム分の画像情報、つまり、ＣＣＤセンサ１８の全撮像領域１１３の外周部から所定ピクセル数ずつＸ方向内側及びＹ方向内側の領域を液晶ディスプレイ９に表示するための表示画像の撮像領域１１４として決定する。撮像領域１１４の決定は、ヘッドマウントディスプレイ２から最初にＣＣＤカメラ１２によって撮像された１フレーム分の画像情報をＣＰＵ５１が受信した際に行われてもよいし、それ以外のタイミング（数フレームの画像情報を受信後や、所定時間毎等である。）で適宜行われてもよい。

そして、図８に示すように、ＣＰＵ５１は、揺れ角度記憶部５３Ｂから作業者３の頭部の上下方向揺れ角度α（図１参照）を読み出す。また、ＣＰＵ５１は、ＥＥＰＲＯＭ５４に予め記憶しているＣＣＤカメラ１２のレンズ１７からＣＣＤセンサ１８までの焦点距離Ｆと、ＣＣＤセンサ１８の受光素子または電極のピッチＤとを読み出す。そして、表示画像の撮像領域１１４のＣＣＤセンサ１８上、つまり、全撮像領域１１３上におけるＸ方向（上下方向）の移動量、つまり、移動ピクセル数ＮＸをＮＸ＝（Ｆ×ｔａｎα÷Ｄ）の式によって算出し、Ｘ方向補正ピクセル数ＮＸ（Ｘ方向の位置補正量）としてＲＡＭ５３に記憶する。

また、ＣＰＵ５１は、揺れ角度記憶部５３Ｂから作業者３の頭部の左右方向揺れ角度β（図１参照）を読み出す。また、ＣＰＵ５１は、ＥＥＰＲＯＭ５４に予め記憶しているＣＣＤカメラ１２のレンズ１７からＣＣＤセンサ１８までの距離ＦとＣＣＤセンサ１８の受光素子または電極のピッチＤを読み出す。そして、表示画像の撮像領域１１４のＣＣＤセンサ１８上、つまり、全撮像領域１１３上におけるＹ方向（左右方向）の移動量、つまり、移動ピクセル数ＮＹをＮＹ＝（Ｆ×ｔａｎβ÷Ｄ）の式によって算出し、Ｙ方向補正ピクセル数ＮＹ（Ｙ方向の位置補正量）としてＲＡＭ５３に記憶する。

続いて、図７に示すように、ＣＰＵ５１は、ＲＡＭ５３からＸ方向補正ピクセル数ＮＸとＹ方向補正ピクセル数ＮＹを読み出し、表示画像の撮像領域１１４をＸ方向補正ピクセル数ＮＸだけＸ方向に、Ｙ方向補正ピクセル数ＮＹだけＹ方向へ移動した補正画像の撮像領域１１５を決定してＲＡＭ５３に記憶する。

そして、ＣＰＵ５１は、この補正画像の撮像領域１１５に対応する画像情報を、受信画像記憶部５３Ａに記憶した１フレーム分の画像情報の全撮像領域１１３から読み出し、液晶ディスプレイ９に表示する補正画像の画像情報として補正画像記憶部５３Ｃに記憶する。これにより、ＣＰＵ５１は、表示画像の撮像領域１１４の揺れを補正した補正画像の画像情報を作成して、補正画像記憶部５３Ｃに記憶することができる。

続いて、Ｓ１１６において、ＣＰＵ５１は、補正画像記憶部５３Ｃに記憶した補正画像の画像情報を読み出し、入出力インターフェース５６を介して液晶ディスプレイ９に表示する。また、作業指示者６は、液晶ディスプレイ９に表示された対象物４等の表示画像に対して作業指示や作業説明等の付加情報を付加するために、キーボードやマウス等の操作部８を介して付加情報を入力する。尚、ＣＰＵ５１は、補正画像記憶部５３Ｃに記憶した補正画像の画像情報を時系列的に記憶して録画し、作業手順等のデータベースを作成したり、印刷出力するようにしてもよい。

例えば、図９に示すように、作業指示者６は、操作部８を介して、液晶ディスプレイ９に表示された対象物４の画像上において、例えば、各ネジ孔４Ａ〜４Ｄの周囲に黄色の点線の各円１１７Ａ〜１１７Ｄを表示すると共に、各円１１７Ａ〜１１７Ｄの横側に「Ｍ３ネジ」の文字を表示することができる。つまり、作業指示者６は、各ネジ孔４Ａ〜４Ｄに直径が３ｍｍのＭ３ネジを締結する旨を表す作業指示を入力することができる。

その後、Ｓ１１７において、ＣＰＵ５１は、操作部８を介して、液晶ディスプレイ９に表示している作業指示や作業説明等の付加情報が付加された補正画像をヘッドマウントディスプレイ２へ送信するように指示する送信指示信号が入力されたか否かを判定する判定処理を実行する。

そして、操作部８を介して、液晶ディスプレイ９に表示している補正画像等をヘッドマウントディスプレイ２へ送信するように指示する送信指示信号が入力されていないと判定した場合には（Ｓ１１７：ＮＯ）、ＣＰＵ５１は、後述のＳ１１９の処理に移行する。
一方、操作部８を介して、液晶ディスプレイ９に表示している補正画像等をヘッドマウントディスプレイ２へ送信するように指示する送信指示信号が入力されたと判定した場合には（Ｓ１１７：ＹＥＳ）、ＣＰＵ５１は、Ｓ１１８の処理に移行する。

Ｓ１１８において、ＣＰＵ５１は、操作部８を介して指示された液晶ディスプレイ９に表示している作業指示や作業説明等の付加情報が付加された補正画像の画像情報を、上記Ｓ１１２において、ヘッドマウントディスプレイ２へ送信する画像情報としてＥＥＰＲＯＭ５４に記憶する。つまり、ＣＰＵ５１は、ヘッドマウントディスプレイ２へ送信する画像情報を液晶ディスプレイ９に表示している作業指示や作業説明等の付加情報が付加された補正画像の画像情報に切り替える。

続いて、Ｓ１１９において、ＣＰＵ５１は、サーバ側通信部５５を介して、出射装置１１の画像表示を停止した旨を表す画像表示ＯＦＦ信号を受信したか否かを判定する判定処理を実行する。
そして、ＣＰＵ５１は、画像表示ＯＦＦ信号を受信していないと判定した場合には（Ｓ１１９：ＮＯ）、Ｓ１１２以降の処理を再度実行する。

これにより、例えば、図１０に示すように、対象物４を見ている作業者３の左眼５に、図９のサーバ７の液晶ディスプレイ９に表示されている対象物４の各ネジ孔４Ａ〜４Ｄの周囲に黄色の点線の各円１１７Ａ〜１１７Ｄが表示されると共に、各円１１７Ａ〜１１７Ｄの横側に「Ｍ３ネジ」の文字が表示された作業指示画像１２１が出射装置１１を介して表示される。

一方、ＣＰＵ５１は、画像表示ＯＦＦ信号を受信したと判定した場合には（Ｓ１１９：ＹＥＳ）、当該処理を終了する。

以上説明した通り、本実施形態に係る作業支援システム１では、ヘッドマウントディスプレイ２のＣＰＵ３５は、出射装置１１に装着されたジャイロセンサ１３によって検出した作業者３の頭部の左右方向揺れ角度及び上下方向揺れ角度と、ＣＣＤカメラ１２によって撮像した正面方向の対象物４や風景等の画像情報をサーバ７へ送信する。また、サーバ７のＣＰＵ５１は、ヘッドマウントディスプレイ２から受信した作業者３の頭部の左右方向揺れ角度と上下方向揺れ角度に基づいて、ヘッドマウントディスプレイ２から受信した画像情報から揺れを補正した補正画像を作成して、液晶ディスプレイ９に表示する。

これにより、揺れを補正した補正画像が液晶ディスプレイ９に動画表示された場合には、この動画表示の画面全体の揺れを防止でき、作業指示者６の不快感を無くして作業指示等の作業効率の低下を防止することができる。また、ヘッドマウントディスプレイ２には、ＣＣＤカメラ１２に加えて、ジャイロセンサ１３を出射装置１１に設ければよいため、ヘッドマウントディスプレイ２の小型化、軽量化を図ることが可能となり、作業者３の作業効率の低下を防止することが可能となる。

また、作業指示者６は、液晶ディスプレイ９に表示された補正画像に対して操作部８を介して作業指示や対象物の説明資料等の付加情報を入力し、この表示画像の画像情報をヘッドマウントディスプレイ２へ送信することによって、作業者３が見ている対象物４に対する作業指示や対象物の説明資料等のコンテンツ情報を作業者３の左眼５に的確に提示することが可能となる。

また、作業者３は、ヘッドマウントディスプレイ２を介して左眼５に提示された対象物４に対する作業指示や対象物の説明資料等の付加情報を正確に認識することが可能となる。更に、ヘッドマウントディスプレイ２を介して提示された作業指示等の付加情報が付された動画表示の画面全体の揺れを防止でき、作業者３の不快感を無くして作業効率の低下を防止することができる。

また、全撮像領域１１３上における対象物４を含む表示画像の撮像領域１１４の各補正ピクセル数（位置補正量）ＮＸ、ＮＹをジャイロセンサ１３によって検出した上下方向揺れ角度αと水平方向揺れ角度βに基づいて決定するため、作業者３の頭部の動きによって液晶ディスプレイ９に表示される動画像の画面全体の揺れを効果的に防止することが可能となる。また、作業者３の頭部の上下方向揺れ角度αと水平方向揺れ角度βに基づいて、全撮像領域１１３上における対象物４を含む表示画像の撮像領域１１４の各位置補正量ＮＸ、ＮＹを決定するため、各位置補正量ＮＸ、ＮＹの決定を迅速に行うことが可能となる。

また、当該位置補正量だけ移動した補正画像の撮像領域１１５に対応する画像情報を１フレーム分の画像情報の全撮像領域１１３から抽出するため、作業者３が見ている対象物４を含む映像の液晶ディスプレイ９への動画表示等を確実に行うことが可能となる。

尚、本発明は前記実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。

例えば、上記Ｓ１１５において、ＣＰＵ５１は、表示されるコンテンツ情報の内容に応じて、画像の補正方法を変更してもよい。具体的には、ＣＰＵ５１は、表示コンテンツが主に文字情報から構成されているか否かの判断を行う。そして、ＣＰＵ５１は、表示コンテンツが主に文字情報から構成されていると判断した場合には、撮像した画像の揺れを補正しない構成としてもよい。表示コンテンツが主に文字情報から構成されている場合には、作業者３は表示コンテンツの視認を主に行うため、頭の動きはそれほど大きくならないと考えられるためである。

あるいは、Ｓ１１５において、ＣＰＵ５１は、各揺れ角度の値に応じて、画像の補正方法を変更してもよい。具体的には、各揺れ角度の値が十分に小さい、即ちブレが少ない場合には、ＣＰＵ５１は、補正を行わないようにしてもよい。さらに、各揺れ角度の値が十分に大きい、具体的には、撮像領域１１４の各補正ピクセル数（位置補正量）ＮＸ、ＮＹが大きく、撮像領域１１４が全撮像領域１１３からはみ出てしまうような場合には、ＣＰＵ５１は、補正を行なわずに警告を作業者に提示するようにしてもよい。

あるいは、ＣＰＵ５１は、表示されるコンテンツ情報の内容に応じて、撮像領域１１４を変更してもよい。例えば、ＣＰＵ５１は、更新履歴やログ情報等に基づき、作業指示者６によって入力された作業指示が表示コンテンツに含まれるか否かを判断する。そして、作業指示者６によって入力された作業指示が表示コンテンツに含まれると判断した場合には、ＣＰＵ５１は、撮像領域１１４を、作業指示者６によって入力された作業指示を含む最小の矩形領域を撮像領域１１４として決定するようにしてもよい。これによって、作業指示がなされている領域のみを撮像した表示画像を表示することが可能になる。または、ＣＰＵ５１は、表示されるコンテンツ情報の内容が、手元での作業か遠方（大型の機械の動作等）かで、撮像領域１１４を変更するようにしてもよい。

あるいは、ＣＰＵ５１は、撮像領域１１４を作業者３が操作ボタン群３１に対して行う入力内容に従って、適宜変更するようにしてもよい。

１作業支援システム
２ヘッドマウントディスプレイ
３作業者
４対象物
６作業指示者
７サーバ
８操作部
９液晶ディスプレイ
１１出射装置
１２ＣＣＤカメラ
１３ジャイロセンサ
２６通信部
３５、５１ＣＰＵ
３６、５４フラッシュメモリ
３７、５３ＲＡＭ
５２ＲＯＭ
５５サーバ側通信部

Claims

作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、
前記ヘッドマウントディスプレイは、
該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、
該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、
前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、
を有し、
前記作業支援装置は、
前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、
前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、
前記補正画像情報に対する付加情報が入力される付加情報入力手段と、
前記補正画像情報と前記付加情報入力手段を介して入力された前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成手段と、
前記補正画像情報を所定の態様で出力する支援側出力手段と、
を有し、
前記支援側出力手段は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報を前記ヘッドマウントディスプレイに送信する支援側送信手段を有し、
前記ヘッドマウントディスプレイは、前記支援側送信手段を介して送信された前記コンテンツ情報を受信する作業側受信手段を有し、
該ヘッドマウントディスプレイは、前記作業側受信手段を介して受信した前記コンテンツ情報に基づいて前記視界に画像を表示することを特徴とする作業支援システム。
作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、
前記ヘッドマウントディスプレイは、
該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、
該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、
前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、
を有し、
前記作業支援装置は、
前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、
前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、
前記補正画像情報に対する付加情報が入力される付加情報入力手段と、
前記補正画像情報と前記付加情報入力手段を介して入力された前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成手段と、
前記補正画像情報を所定の態様で出力する支援側出力手段と、
を有し、
前記頭揺れ補正手段は、前記コンテンツ情報が文字データを含むか否かを判定する判定手段を有し、
該頭揺れ補正手段は、前記判定手段を介して前記コンテンツ情報が文字データを含むと判定した場合には、前記補正画像情報を作成しないことを特徴とする作業支援システム。
前記作業支援装置は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報を前記ヘッドマウントディスプレイに送信する支援側送信手段を有し、
前記ヘッドマウントディスプレイは、前記支援側送信手段を介して送信された前記コンテンツ情報を受信する作業側受信手段を有し、
該ヘッドマウントディスプレイは、前記作業側受信手段を介して受信した前記コンテンツ情報に基づいて前記視界に画像を表示することを特徴とする請求項２に記載の作業支援システム。
前記頭揺れ補正手段は、
受信した前記基本画像情報の全撮像領域から前記対象物を含む所定範囲の撮像領域を決定する撮像領域決定手段と、
前記頭部動作情報に基づいて前記基本画像情報の全撮像領域上における前記所定範囲の撮像領域の位置補正量を決定する位置補正量決定手段と、
前記所定範囲の撮像領域を前記基本画像情報の全撮像領域上で前記位置補正量だけ移動した後、当該所定範囲の撮像領域に対応する前記基本画像情報を前記補正画像情報として抽出する補正画像抽出手段と、
を有することを特徴とする請求項１乃至請求項３のいずれかに記載の作業支援システム。
前記撮像領域決定手段は、所定情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする請求項４に記載の作業支援システム。
前記撮像領域決定手段は、前記頭部動作情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする請求項５に記載の作業支援システム。
前記撮像領域決定手段は、前記コンテンツ情報作成手段によって作成された前記コンテンツ情報に基づいて前記所定範囲の撮像領域の範囲を決定することを特徴とする請求項５又は請求項６に記載の作業支援システム。
前記頭部動作検出手段は、前記頭部動作情報として前記作業者の頭部の左右方向揺れ角度と上下方向揺れ角度とを検出し、
前記位置補正量決定手段は、前記左右方向揺れ角度と前記上下方向揺れ角度とに基づいて前記位置補正量を決定することを特徴とする請求項４乃至請求項７のいずれかに記載の作業支援システム。
前記頭揺れ補正手段は、前記コンテンツ情報が文字データを含むか否かを判定する判定手段を有し、
該頭揺れ補正手段は、前記判定手段を介して前記コンテンツ情報が文字データを含むと判定した場合には、前記補正画像情報を作成しないことを特徴とする請求項１に記載の作業支援システム。
作業者の頭部に装着されて、通信部を介して受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイにおいて、
前記ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、
前記ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、
前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを通信部を介して作業支援装置に対して送信する送信手段と、
前記通信部を介して、前記基本画像情報から前記対象物の映像の揺れを補正した補正画像情報と、前記補正画像情報に対して付加された付加情報とから構成された映像情報を前記作業支援装置から受信する受信手段と、
前記受信手段を介して受信した前記映像情報を前記コンテンツ情報として、前記視界に画像を表示するように制御する表示制御手段と、
を備えたことを特徴とするヘッドマウントディスプレイ。
撮像手段によって撮像された対象物の基本画像情報と頭部動作検出手段によって検出された頭部動作情報とを受信する受信手段と、付加情報が入力される付加情報入力手段と、コンテンツ情報を送信する送信手段と、を少なくとも備えたコンピュータに、
前記受信手段を介して前記基本画像情報と前記頭部動作情報とを受信する受信工程と、
前記受信工程で受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正工程と、
前記頭揺れ補正工程で作成した前記補正画像情報と前記付加情報入力手段を介して入力された前記補正画像情報に対する前記付加情報とから構成された映像情報を前記コンテンツ情報として作成するコンテンツ情報作成工程と、
前記コンテンツ情報作成工程で作成された前記コンテンツ情報を前記送信手段を介して送信する送信工程と、
を実行させるためのプログラム。