WO2004001677A1

WO2004001677A1 - 作業誘導システム

Info

Publication number: WO2004001677A1
Application number: PCT/JP2003/007852
Authority: WO
Inventors: Takahito Fukuda
Original assignee: West Unitis Co., Ltd.
Priority date: 2002-06-20
Filing date: 2003-06-20
Publication date: 2003-12-31
Also published as: US20060090135A1; KR100597942B1; CN1313980C; AU2003244317A1; CN1662934A; JP3735086B2; JP2004021931A; KR20050021996A

Abstract

この作業誘導システム１は、仮想イメージ記憶部１７Ａと、めがね部１１と、仮想イメージ再生機能１９３Ａと、仮想イメージ調節機能１９３Ｂとを備える。仮想イメージ記憶部１７Ａは、複数のステップからなる作業に関して、各ステップでの作業内容を作業者に説明するための仮想イメージを記憶する。めがね部１１は、作業者の眼前に配置され、作業者の前にある現実の作業対象と共に上記仮想イメージを作業者に表示する。仮想イメージ再生機能１９３Ａは、上記仮想イメージを上記各ステップの順序に基づいてめがね部１１に表示する。仮想イメージ調節機能１９３Ｂは、上記現実の作業対象に上記仮想イメージに描かれた対応する作業対象が重なってめがね部１１に表示されるように、上記仮想イメージを調節する。

Description

明細書

作業誘導システム技術分野

本発明は、複数のステップからなる作業を正確に行うことができるように作業者を誘導する作業誘導システムに関するものである。

背景技術

従来、作業者が製造現場などで作業を行う場合、指導者から作業内容を簡いた後に作業を行っていた。

しかしながら、作業者が複数のステップからなる作業を行う場合、作業中に不明な点が生じた υ作業内容の記憶が曖昧であつたりすると、作業が止まったり或いは間違った作業を行ってしまう恐れがあった。指導者が作業者に作業内容を説明しながら作業を進める方法も考えられるが、指導者がつきつきりになる必要があり、非効率である。発明の開示

本発明は上記問題点を解決するために為されたものであって、指導者がいなくても、複数のステップからなる作業を正確に行うことができるように作業者を誘導する作業誘導システムを提供することを目的とする。本発明にかかる作業誘導システムは、仮想イメージ記憶手段と、表示装置と、仮想イメージ再生手段と、仮想イメージ調節手段とを備える。上記仮想イメージ記憶手段は、複数のステップからなる作業に関して、各ステップでの作業内容を作業者に説明するための仮想イメージを記憶する。上記表示装置は、作業者の眼前に配置され、作業者の前にある現実の作業対象と共に上記仮想イメージを作業者に表示する。上記仮想ィメージ再生手段は、上記仮想イメージを上記各ステップの順序に基づいて上記表示装置に表示する。上記仮想イメージ調節手段は、上記現実の作業対象に上記仮想イメージに描かれた対応する作業対象が重なって上記表示装置に表示されるように、上記仮想イメージを調節する。

従って作業者は、上記表示装置に表示された仮想イメージを見ながら、上記仮想イメージに重なって表示されている現実の作業対象に対して、仮想イメージ通りに作業を行っていくことで、指導者がいなくても、複数のステップからなる作業を正確に行うことができる。上記仮想ィメージを一通り見て作業全体を把握してから作業を行ってもよい。上記仮想イメージ調節手段を備えたことで、作業者の立ち位箧ゃ目線の高さの違いなどに係わらず、現実の作業対象に仮想イメージに描かれた作業対象を重ねて表示させることができ、作業を効率的に進めることができる。上記仮想イメージは、上記現実の作業対象の輪郭を描いた線画と、作業内容を視覚的に説明する視覚情報とからなるのが好ましい。上記仮想ィメージを線画とすることで、現実の作業対象と上記仮想の作業対象とを重ねて表示した時に、上記現実の作業対象、上記仮想の作業対象共に見やすくなり、さらに視覚情報を含ませることで、作業を行う上で作業者に伝えたい情報を、視覚的にわかりやすく伝達することができ、作業者を正確に誘導できる。

また、上記仮想イメージ記憶手段から上記仮想イメージを呼び出し、上記視覚情報を修正および Zもしくは追加する視覚情報入力手段を備えるのが好ましい。視覚情報入力手段を備えることで、作業指示の変更があった場合や、伝えたい情報が新たに出てきた場合に、システムの変更に柔軟に対応できる。この場合、上記仮想イメージは、上記現実の作業対象の輪郭を描いた線画からなるレイヤーと、上記視覚情報を描いた別のレイヤーとからなるのが好ましい。このようにすることで、上記線画を誤って消したりすること無く、安心して、視覚情報の修正および/もしくは追加ができる。

上記仮想イメージ再生手段は、上記仮想イメージを上記各ステップに対応付けて記憶しておリ、作業者が指定したステツプに対応した上記仮想イメージを呼び出すことができる機能を備えるのが好ましい。上記機能を備えることで、多数のステップからなる作業においても、作業者が必要な仮想イメージをすばやく再生することができる。

また、上記仮想イメージ再生手段は、上記仮想イメージを上記各ステップに対応付けて記憶しておリ、作業者が指定した範囲のステツプに対応する上記仮想イメージを連続して再生し、再生終了後、上記指定した範囲の最初のステップに戻る機能を備えるのも好ましい。この場合、作業者が必要な範囲の上記仮想ィメ一ジを一通リ見て作業全体を把握することができ、また、再生終了後は上記指定した範囲の最初のステップに戻っているので、すぐに仮想イメージの再生とあわせて作業を行うこともできる。

また、作業者の音声を入力する音声入力手段と、この音声入力手段に入力された音声を認識する音声認識手段とをさらに備えのが好ましい。上記仮想ィメ一ジ再生手段は、作業者の音声入力に基づいて上記仮想ィメージの再生を制御する。この場合、作業者は手に工具などを持ったままでも上記仮想イメージの再生を制御することができ、作業効率がより一層向上する。

また、作業内容の説明を音声データで記憶する音声記憶手段と、上記音声データを出力する音声出力手段とを備えるのも好ましい。上記仮想イメージ再生手段は、上記仮想イメージの再生に合わせて上記音声データを上記音声出力手段に出力する。この場合、作業者は上記仮想ィメージに加えて上記音声データからも作業内容の説明を得ることができ、作業内容をより正確に把握することができる。仮想イメージでは表現できない情報を音声データで説明することもできる。

上記仮想イメージ調節手段は、上記現実の作業対象を撮像する撮像手段と、この撮像手段によって出力される画像データから予め上記作業対象に決められた特徴点を抽出する特徴点抽出手段とを用いた構成とすることができる。すなわち、仮想イメージ調節手段は、上記特徴点抽出手段によって抽出された特徴点の位置に、上記仮想イメージに描かれた上記作業対象における上記特徴点に対応する点の位置が重なるように、上記表示装置に表示された仮想ィメ一ジの位置および/もしくは寸法を自動的に変化させる。この構成によれば、仮想イメージの再生中に作業者の立ち位置が変わったりしても、自動的に仮想イメージが調節され、現実の作業対象と仮想ィメ一ジの作業対象とが重なつた状態を維持できる。或いは、上記仮想イメージ調節手段は、上記表示装置に表示された上記仮想イメージの位置および/もしくは寸法を作業者が手動で変化させることができる手動コントローラを備えた構成とすることができる。この場合、作業者の手動操作にょリ、現実の作業対象に上記仮想イメージの作業対象を重ねて見ることができる。さらに、この構成の場合、作業者の頭部の動きを検出するへッドトラッキング手段を備えるのが好ましい。上記仮想イメージ調節手段は、上記ヘッドトラッキング手段の出力に基づいて、上記表示装置に表示された仮想イメージの位置補正を自動的に行う。この構成によれば、一度上記手動コントローラにより上記現実の作業対象と上記仮想ィメ一ジの作業対象とを重ねる操作を行うと、その後作業者が頭部を動かしても、上記仮想イメージの作業対象が現実の作業対象からずれることなく、重なつた状態を維持できる。図面の簡単な説明

図 1は本発明の第〗の実施形態に係る作業誘導システムのブロック図である。

図 2 ( a ) 〜（c ) は、同上に用いられる仮想イメージの一例を示した図である。

図 3は、同上において作業対象としてのエンジンの特徴点を示す画像をプリン夕で印刷出力して得た図面に代わる写真である。図 4 ( a ) 〜 ( b ) は、同上において表示装置に表示された画像をプリン夕で印刷出力して得た図面に代わる写真である。

図 5は、同上において表示装置に表示された画像をプリンタで印刷出力して得た図面に代わる写真である。

図 6は、同上において表示装置に表示された画像をプリンタで印刷出力して得た図面に代わる写真である。

図 7は、めがね部の別の構成を示す図である。

図 8は本発明の第 2の実施形態に係る作業誘導システムのプロック図である。

図 9は、同上において表示装置に表示された画像をプリンタで印刷出力して得た図面に代わる写真である。

國 1 0は、同上において表示装置に表示された画像をプリンタで印刷出力して得た図面に代わる写真である。

図 1 1は、同上において表示装置に表示された画像をプリンタで印刷出力して得た図面に代わる写真である。発明を実施するための最良の形態

本発明を添付の図面に従って詳細に説明する。

図 1 に、本発明の第〗の実施形態に係る作業誘導システム 1 を示す。本実施形態では、作業誘導システム 1をエンジンの製造現場に適用し、作業者がエンジンの組立作業を正確に行うことができるように作業者を誘導するものとする。作業誘導システム 1 は、へッドマウント型の A V装置 1 0と、この A V装置 1 0とケーブル C 1を介して電気的に接続される作業誘導制御装置 1 5とを備えている。

AV装置〗 0は、表示装置として一対の透光型の液晶パネル 1 1 1を内蔵する、いわゆるシースルー型ヘッドマウントディスプレイのようなめがね部 1 1 と、音声出力手段として一対のヘッドフォンスピーカ 1 2 1を内蔵するへッドフォン部 1 2と、音声入力手段として小型のマイク口フォン 1 3 1 を内蔵するマイク部 1 3と、作業者と同じ視線で作業対象としてのエンジンを撮像する撮像手段としての C CDカメラ 1 00とを一体化して搆成されている。上記めがね部 1 1 は、後述する仮想ィメージを液晶パネル 1 1 1 に表示した状態で、透光型の液晶パネル 1 1 1 を通して現実のイメージも見ることができる。つまり、現実のイメージと共に仮想イメージを作業者に表示することができる。

作業誘導制御装置 1 5は、インターフヱイス部 1 6と、記憶部 1 7と、電源部 1 8と、制御部 1 9とにょリ構成されている。

インターフェイス部 1 6は、マイクロフォン 1 3 1からのアナログ音声信号を増幅してデジタル音声データに変換し制御部 1 9に出力する音声入力インターフェイス 1 6 1 と、 CCDカメラ 1 00からのアナログ画像信号をデジタル画像データに変換し制御部 1 9に出力する画像入力インターフェイス 1 62と、制御部 1 9から液晶パネル 1 Ί 1までの間を接続する DV I (Digital Visual Interface) 規格の仮想イメージ出力インターフェイス 1 63と、制御部 1 9からの音声データをアナ口グ音声信号に変換し、音量つまみ（図示しない）の位置に応じた増幅率で増幅してへッドフォンスピーカ 1 2 1 に出力する音声出力インターフェイス 1 6 4とを備える。

記億部 1 7は、八ードディスク装置などの記憶装置であリ、仮想ィメージ記憶部 1 7 Aと音声記憶部 1 7 Bとからなる。仮想イメージ記憶部 1 7 Aは、複数のステップからなるエンジンの組立作業に関して、各ステツプでの作業内容を作業者に説明するための仮想イメージを記憶している。仮想イメージは、作業対象の輪郭を描いた線画を基に、作業内容を視覚的に説明する視覚情報を必要に応じて付加して作成されている。視覚情報としては、例えば、作業順序を示す番号や、作業方向を示す矢印、文字情報、破線で示した作業完了イメージ、などがある。仮想ィメージの一例を図 2に示す。図 2は、エンジンの組立作業のうち、ェンジンのシリンダーブロックにポル卜を組み付け、その後にエンジンカバーを取り付ける作業を説明するための仮想イメージである。図 2 ( a ) は作業前のシリンダーブロックの輪郭を描いた仮想イメージ、図 2 ( b ) はボル卜を組み付けるステップの仮想イメージ、図 2 ( c ) はエンジンカバーを取リ付けるステップの仮想イメージである。例えば図 2 ( b ) の仮想イメージは、作業対象であるエンジンの輪郭を描いた線画を基に、番号と文字情報からなる視覚情報 M〜门 3を付加して作成されている。視覚情報 1 1〜1 1 2は、ボルトを締め付ける順番を示しており、 I 1 3はポルトの締付トルクを示している。音声記憶部 1 7 Bには、各ステツプでの作業内容（例えば、作業手順や、 P L法関連の情報、注意点など。）を説明する音声データが記憶されている。例えば、図 2 ( b ) と共に再生される音声データは、「このステップでは、まる 1からまる 6の順番にボルトを締め付けます。この時、締付トルクは、 1 9 . 5土 2 . 0 N mとなるようにします。 J といったものである。このように、作業の概略など一度聞いてわかる説明は音声データとし、作業順序や細かい数値など、一度聞いても覚えられない説明や何度も確認したい説明は視覚情報とし、音声データと視覚情報とを使い分けることで、.作業者が作業内容をより理解しすくなり、正確に作業を行えるようになつている。

制御部 1 9は、所定のプログラムを実行する C P U (中央処理装置）および主記憶装置などにより構成され、作業誘導システム 1全般の制御を実行する。制御部 1 9は、音声認識機能 1 9 1 と、特徴点抽出機能 1 9 2と、仮想イメージ制御機能 1 9 3と、音声出力機能 1 9 4とを備えている。

音声認識機能 1 9 1 は、マイクロフォン 1 3 1で入力され音声入カインターフェイス〗 6 1を介して取り込まれた音声データを認識し、認識した言葉に応じて、後述する仮想イメージ再生機能 1 9 3 Aを制御する。例えば、「再生開始 j という言葉を認識すると、仮想イメージ再生機能 Ί 9 3 Aに仮想イメージの再生を開始させる。

特徴点抽出機能 1 9 2は、 C C Dカメラ 1 0 0によって撮像され画像入力インターフェイス 1 6 2を介して取り込まれた画像データから、予め作業対象としてのエンジンに決められた特徴点を抽出する。例えば、エンジンの特徴点を、図 3に示すように P 1， P 2に決めておくと、特徴点抽出機能 1 9 2は、撮像された上記画像データから画像処理により特徴点 P 1， P 2を抽出し、上記画像データ内における特徴点 P 1， P 2の画素の位置を特する。

仮想イメージ制御機能 1 9 3は、仮想イメージ再生機能〗 9 3 Aと、仮想イメージ調節機能 1 9 3 Bとからなる。仮想イメージ再生機能 1 9 3 Aは、仮想イメージ記憶部 1 7 Aから仮想イメージを呼び出し、ェンジン組立作業のステップの順序と同じになるように液晶パネル 1 1 1に表示する。また、仮想イメージ再生機能 1 9 3 Aは、各ステップと仮想イメージとを対応付けて記憶しており、作業者が音声認識機能 1 9 1を用いて呼び出したステップに対応する仮想イメージを呼び出す、いわゆる「頭出し J 機能を備えている。さらに、作業者が指定した範囲のステップに対応する上記仮想イメージを連続して再生し、再生終了後、上記指定した範囲の最初のステップに戻る Γ指定範囲再生」機能も備えている。その他、仮想イメージの再生の「早送り J や「巻き戻し J 、「一時停止」などを行うこともできる。仮想イメージ調節機能 1 9 3 Bは、めがね部 1 1を通して見る現実の作業対象であるエンジンに、各仮想ィメージに描かれたエンジンの線画が重なってめがね部 Ί 1 に表示されるように、上記仮想イメージ再生機能 1 9 3 Aで再生される各仮想イメージを調節する。調節方法について以下に説明する。まず予め、 C C Dカメラ 1 0 0によって撮像される画像データにおける各画素の位置と、液晶パネル 1 1 1 における各画素の位置とを対応付けるテーブルを作成し、例えば制御部 1 9における図示しない R O Mに記憶しておく。仮想ィメージ調節機能 1 9 3 Bは、撮像された上記画像データから上記特徴点抽出機能 1 9 2によって抽出された特徴点 P 1， P 2の上記画像データにおける画素の位置を、上記テーブルを参照して、液晶パネル 1 1 1 における画素の位贋に変換する。そして、その液晶パネル 1 1 1 における上記特徴点 P I , P 2の位置に、上記液晶パネル 1 1 1 に表示された各仮想イメージにおける上記特徴点 P 1， P 2に対応する特徴点 A , Bの画素の位置が重なるように、仮想ィメ一ジの位置および/もしくは寸法を自動的に変化させる。図 4 ( a ) は、仮想イメージ調節機能 1 9 3が調節する前に、液晶パネル 1 1 1 に表示された現実のエンジンと仮想ィメ —ジとの表示状態を示している。作業者の立ち位置などにょリ、液晶パネル 1 1 1を透過して見る現実のエンジンと、仮想イメージに描かれたエンジンの線画とがずれて表示されている。図 4 ( b ) は、仮想ィメージ調節機能 1 9 3が調節した後の、表示状態を示している。仮想ィメージ調節機能 1 9 3により、現実のエンジンに仮想イメージに描かれたェンジンの線画が重なって表示されている。この仮想イメージ調節機能 1 9 3による仮想イメージの調節は、リアルタイムに繰り返し実行される。音声出力機能 1 9 4は、各仮想イメージと音声記憶部〗 7 Bに記憶された各音声データとを対応付けて記憶しておリ、仮想ィメ一ジ再生機能 1 9 3が再生する仮想イメージに対応した音声データを、仮想イメージの再生にあわせて音声出力インターフェイス 1 6 4に出力する。

次に、以上のように構成された作業誘導システム 1の使い方について説明する。以下では簡単のために、エンジンの組立作業は、「ステップ 1 J 、「ステップ 2」 · · ·のように大きく分類されているものとし、これから作業者が「ステップ 2 j と名付けられた作業を行う場合について説明を行う。「ステップ 2 J は、 "エンジンのシリンダーブロックにポルトを組み付ける" 「ステップ 2 a j と、 "ステップ 2 aの後にェンジンカバーを取リ付ける" 「ステップ 2 b」とにさらに細分化されているものとする。

まず、作業者は A V装置 1 0を装着し、図 3のように液晶パネル 1 1 1を通して組立途中のエンジンを見る。マイクロフォン 1 3 1 に向かつて「ステップ 2 J と言うと、音声認識機能 1 9 1 によって「ステップ 2 J の音声が認識され、仮想イメージ再生機能 1 9 3 Aが「頭出し j 機能により「ステップ 2 J の作業前のイメージに対応する仮想イメージ (図 2 ( a ) ) を液晶パネル 1 1 1 に呼び出す。この時、仮想イメージ調節機能 1 9 3 Bにより仮想イメージが調節され、図 4 ( b ) のように、現実のエンジンに仮想イメージのエンジンの線画が重なった状態で液晶パネル 1 1 1 に表示される。作業者が「再生開始」と言うと、仮想ィメ —ジ再生機能 1 9 3 Aによリ、組立作業の順序（「ステップ 2 a j → 「ステップ 2 b J ) に基づいて、ステップ 2 aに対応する仮想イメージ (図 2 ( b ) ) が再生される（液晶パネル 1 1 1の表示は、図 5のようになる。）。この時、音声出力機能 1 9 4によリ、音声による説明がへッドフォンスピーカ 1 2 1から流れる。作業者は、図 5に示した液晶パネルの表示を見ながら音声による説明を聞き、仮想イメージ通りにェン 7852

13 ジンのシリンダーブロックにポルトを組み付けていく。組み付けが終わると、作業者は、「次の作業」という。音声認識機能 1 9 1 によって「次の作業」の音声が認識されると、仮想イメージ再生機能 1 9 3 Aが、次のステップである Γステップ 2 b J に対応する仮想イメージ（図 2 ( c ) ) を再生する（液晶パネル 1 1 1の表示は、図 6のようになる。）。作業者は、再び液晶パネルの表示を見ながら音声による説明を聞いて、エンジンカバーを取り付ける作業を行う。

作業者は、必要に応じて、仮想イメージを巻き戻してみたリ、一時停止したり、早送りしたりしてもよい。或いは、上述した「指定範囲再生」機能を用いて、「ステップ 2 J に対応する仮想イメージ（すなわち、図 2 ( a )から図 2 ( c ) ) を連続して再生し、アニメーションを見るように作業全体を一通リ見て全体を把握してから、作業を行っても良い。この場合、全体を一通り見た後は、液晶パネル〗〗 1の再生がステップ 2の最初のステップである図 2 ( a ) に戻っているので、図 2 ( a ) の仮想イメージから再び再生を始めて、仮想イメージとあわせて作業を行うことも容易にできる。上述したような仮想イメージの再生の制御は、音声認識機能 1 9 1 により手に工具を持ったままでも行うことができる。作業途中に作業者が頭部を動かしても、仮想イメージ調節機能 1 9 3 B により、現実のエンジンに仮想イメージのエンジンの線画が重なるように自動的に補正される。以上のように、本作業誘導システム 1 により、作業者は、指導者がいなくても正確に作業を行うことができる。

本実施形態では、記憶部 1 7は作業誘導制御装置 1 5内に内蔵されていたが、作業誘導制御装置 1 5に無線または有線の L A Nインターフエイスを設け、 L A Nで接続されたサーバーに記憶部 1 7が格納されている構成でもよい。また、記憶部 1 7は、ハードディスク装置に限らず、光ディスク装置や、光磁気ディスク装置、半導体記憶装置などでもよい。めがね部 1 I は、透光型の液晶パネル 1 1 1 を用いていたが、図 7に示すようなプリズム 1 1 2を用いた構成でもよい。すなわち、液晶パネル 1 1 1の画像は、プリズム〗〗 2に側方から入射してプリズム 1 1 2 の後面に設けられた反射面 1 1 2 aで前方に全反射した後に、プリズム 1 1 2の前面側に設けられたハーフミラー 1 1 2 bで後方に反射して、反射面 1 1 2 aを透過することにより、作業者が見ることができる。一方、作業対象そのものは、プリズム 1 1 2を前方から後方に透過する光路によって見ることができる。この場合、背景色を「0 0 0 0 0 0」近辺の黒または「 7 7 7 7 7 7」近辺の濃いグレーに設定し、アニメーシヨン画像の線画部分を「0 0 F F F F」近辺の水色に設定したとき、作業対象物そのものに対するアニメーション画像の見栄えが非常に良かつた。文字や記号などは、 Γ 0 0 F F F F」近辺の水色や「F F F F 0 0 J 近辺の黄色が見やすかった（ただし、上記括弧（「」）内の文字はウェブセーフカラーの値を示す。）。また、めがね部 1 1は両目タイプではなく、片目タイプでもよい。つまり、本発明の表示装置は、作業者の眼前の現実の作業対象と共に上記仮想イメージを作業者に表示するものであればよい。

仮想イメージ調節機能 1 9 3による仮想イメージの調節は、リアル夕ィ厶ではなく、所定の時間毎に行うようにしてもよい。

「指定範囲再生」機能は、もちろん複数にわたるステップを措定して再生することもできる。

また、仮想イメージ記憶部 1 7 Aから仮想イメージを呼び出し、呼び出した仮想イメージに上記視覚情報を修正およびもしくは追加できる視覚情報入力手段（図示せず）を備えるのも好ましい。視覚情報入力手段を備えることで、ボルトの締め付け順序の変更など、現場レベルでの細かい作業内容の変更に柔軟に対応することができ、よリー層作業を効率的に進めることができるようになる。この場合、仮想イメージを上記現実の作業対象の輪郭を描いた線画からなるレイヤーと、上記視覚情報を描いたレイヤーとに分けて別々に作成しておけば、複雑な上記線画を誤って消したりすることなく、安心して、視覚情報の修正およびノもしくは追加ができる。

本実施形態では、作業対象としてエンジンを例示したが、エンジンなどの物に限らず、人や動物などであってもよい。例えば、着物の着付けを人に教えたり、人や動物の手術の手順を確認するのに本発明の作業誘導システムを用いることもできる。図 9は、本発明の第 2の実施形態に係る作業誘導システム 2を示す。この作業誘導システム 2は、第 1の実施形態の作業誘導システム 1 と比較して、仮想イメージ調節機能 1 9 3 Bによる仮想イメージの調節を手動で行うものである。作業誘導システム 2には、新たに、手動コント口 —ラとしての手持ち式マウス 2 0が作業誘導制御装置 1 5と接続されている。 A V装置 1 0は、〇じりカメラ 1 0 0の替わりに作業者の頭部の動きを検出するへッドトラヅキング手段としてのへッド卜ラッカー 2 0 0がめがね部 Ί 1 に内蔵されている。作業誘導制御装置 1 5は、インタ一フェイス部 Ί 6に、手持ち式マウス 2 0と接続される手動コントローラインターフェイス 1 6 5と、ヘッド卜ラッカー 2 0 0と接続されるへッドトラッカ Γンターフェイス 1 6 6とが新たに設けられ、画像入力インターフェイス 1 6 2が取り除かれている。制御部 1 9は、特徴点抽出機能 1 9 2が取り除かれている。

仮想イメージ調節機能 1 9 3 Bによる仮想イメージの調節方法について説明する。制御部 1 9は、音声認識機能 1 9 1 もしくは手持ち式マウス 2 0により、仮想イメージ再生モードと仮想イメージ調節モードとを切り替えることができる。上記仮想イメージ調節モードにおいては、液晶パネル 1 1 1 に、現実の作業対象と仮想イメージとに加えて、仮想ィメージの作業対象に予め決められた特徴点の位置が表示される。例えば、図 9に示したエンジンの仮想イメージでは、現実のエンジンと仮想ィメ —ジのエンジンに加えて、仮想イメージのエンジンの特徴点 A， Bの位置が表示される。なお、図 9では、現実のエンジンと仮想イメージのェンジンとがずれて表示されている。このような状態から、作業者は手持ち式マウス 2 0を用いて特徴点 Aの位置をドラッグし、液晶パネル 1 1 1を通して見える現実のエンジンの、特徴点 Aに対応する特徴点 P 1の位置に一致させる。この時、仮想イメージ調節機能〗 9 3 Bにより、仮想ィメージ全体が上記ドラッグ操作に応じて移動する。ドラッグを解除すると、特徴点 Aの位置が確定される（図 1 0の状態。）。次に、特徴点 Bの位置を |ドラッグし、対応する現実のエンジンの特徴点 P 2の位置に一致させる。この時、仮想イメージ調節機能 1 9 3 Bにより、上記仮想イメージは、上記特徴点 Aの位置を基準として全体の寸法が変更される。以上の操作を終えると、図 1 1のように、現実のエンジンと、仮想イメージのエンジンとが一致して表示される。

仮想イメージ調節モードで行われた調節は、記憶部 1 7に記憶されている全ての仮想イメージに適用されるため、一度仮想イメージ調節モードで調節を行えば、その後の仮想イメージ再生モードでは、仮想ィメージが変わる毎に調節は行わなくても良い。

また、仮想イメージ再生モードではへッドトラッカー 2 0 0により、作業者が頭部を動かしても自動的に位置補整が行われ、現実の作業対象に上記仮想イメージの作業対象が重なった状態が維持される。具体的には、仮想イメージ調節機能 Ί 9 3 Bは、例えばへッド卜ラッカー 2 0 0 が作業者の頭部が左方向に移動したと検知すれば、仮想ィメ一ジを右方向に同じ移動量だけ移動させる。ヘッド卜ラッカー 2 0 0には、例えば、ヘッドマウントディスプレイ用に設けられているジャイロや加速度計を応用した慣性計測装置が使用可能である。

なお、仮想イメージを調節するための操作方法は上述した操作方法に限定されるものではなく、例えば、特徴点 Aの位置を確定した後は、自動的に仮想イメージ全体の寸法変更モードに移行し、手持ち式マウス 2 0の移動方向および移動量に応じて仮想イメージ全体の寸法を特徴点 A の位置を基準に変更するようにしてもよい。また、仮想イメージ再生モードと仮想イメージ調節モードとを作業者が切り替えずに、例えば、仮想ィメ一ジの再生中以外はすべて、仮想ィメ一ジを調節できるようにしてもよい。

また、手持ち式マウス 2 0の代わりに、レバー式の手動コントローラや、各種のポインティングデバイスが適用可能である。

Claims

請求の範囲

1 . 以下の構成を備える作業誘導システム：

仮想イメージ記憶手段：この仮想イメージ記憶手段は、複数のステップからなる作業に関して、各ステップでの作業内容を作業者に説明するための仮想イメージを記憶する；

表示装置：この表示装置は、作業者の眼前に配置され、作業者の前にある現実の作業対象と共に上記仮想イメージを作業者に表示する；

仮想イメージ再生手段：この仮想イメージ再生手段は、上記仮想イメージを上記各ステップの順序に基づいて上記表示装置に表示する；

仮想イメージ調節手段：この仮想イメージ調節手段は、上記現実の作業対象に上記仮想イメージに描かれた対応する作業対象が重なつて上記表示装置に表示されるように、上記仮想イメージを調節する。

2 . 請求項 1に記載の作業誘導システムにおいて、

上記仮想イメ -ジは、上記現実の作業対象の輪郭を描いた線画と、作業内容を視党的に説明する視覚情報とからなる。

3 . 請求項 2に記載の作業誘導システムにおいて、

上記仮想ィメ一ジ記憶手段から上記仮想ィメ一ジを呼び出し、上記視覚情報を修正および Zもしくは追加する視覚情報入力手段を備える。

4 . 請求項 3に記載の作業誘導システムにおいて、

上記仮想イメージは、上記現実の作業対象の輪郭を描いた線画からなるレイヤーと、上記視覚情報を描いたレイヤーとからなる。

5 . 請求項 1 に記載の作業誘導システムにおいて、

上記仮想ィメ -ジ再生手段は、上記仮想ィメ一ジを上記各ステップに対応付けて記憶してぉリ、作業者が指定したステップに対応した上記仮想イメージを呼び出すことができる機能を備える。

6 . 請求項 1 に記載の作業誘導システムにおいて、

上記仮想ィメ一ジ再生手段は、上記仮想ィメ一ジを上記各ステップに対応付けて記憶しており、作業者が指定した範囲のステップに対応する上記仮想イメージを連続して再生し、再生終了後、上記指定した範囲の最初のステップに戻る機能を備える。

7 . 請求項 1 に記載の作業誘導システムにおいて、

作業者の音声を入力する音声入力手段と、この音声入力手段に入力された音声を認識する音声認識手段とをさらに備え、

上記仮想ィメ -ジ再生手段は、作業者の音声入力に基づいて上記仮想ィメージの再生を制御する。

8 . 請求項 1 に記載の作業誘導システムにおいて、

作業内容の説明を音声データで記憶する音声記憶手段と、上記音声デー夕を出力する昔声出力手段とをさらに備え、

上記仮想ィメ一ジ再生手段は、上記仮想ィメージの再生に合わせて上記音声データを上記音声出力手段に出力する。

9 . 請求項 1 に記載の作業誘導システムにおいて、

上記現実の作業対象を撮像する撮像手段と、この撮像手段によって出力される画像デ一夕から予め上記作業対象に決められた特徴点を抽出する特徴点抽出手段とを更に備え、

上記仮想ィメ一ジ調節手段は、上記特徴点抽出手段によって抽出された特徴点の位置に、上記仮想イメージに描かれた上記作業対象における上記特徴点に対応する点の位置が重なるように、上記表示装置に表示された仮想イメージの位置および/もしくは寸法を自動的に変化させる。

1 0 . 請求項〗に記載の作業誘導システムにおいて、

上記仮想イメージ調節手段は、上記表示装置に表示された上記仮想ィメージの位置および/もしくは寸法を作業者が手動で変化させることができる手動コントローラを備える。

1 1 . 請求項 1 0に記載の作業誘導システムにおいて、

上記作業者の頭部の動きを検出するへッドトラッキング手段をさらに備え、

上記仮想ィメ一ジ調節手段は、上記へッドトラッキング手段の出力に基づいて、上記表示装置に表示された仮想イメージの位置補正を自動的に行う。