JP3735086B2 - 作業誘導システム - Google Patents
作業誘導システム Download PDFInfo
- Publication number
- JP3735086B2 JP3735086B2 JP2002180260A JP2002180260A JP3735086B2 JP 3735086 B2 JP3735086 B2 JP 3735086B2 JP 2002180260 A JP2002180260 A JP 2002180260A JP 2002180260 A JP2002180260 A JP 2002180260A JP 3735086 B2 JP3735086 B2 JP 3735086B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- animation
- wearer
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Liquid Crystal Display Device Control (AREA)
- General Factory Administration (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、いわゆるヘッドマウントディスプレイに属する例えば液晶表示パネルで、作業対象そのものにアニメーション画像を視覚的に重ね合わせて表示しながら、その作業対象に対して、決められた作業が行われるように誘導する作業誘導システムに関するものである。
【０００２】
【従来の技術】
従来、製造現場などで作業を行う場合、作業の具体内容を作業の説明者から予め聞いてから作業を行うか、あるいは説明者から説明を受けながら作業を進めるかのいずれかの手順がとられることがほとんどであった。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような手順では、作業の具体内容をしっかりと把握しないまま作業が進行してしまうという問題があった。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、説明者の説明によらずに、作業の具体内容を極めて正確に把握させながら、作業を実行させることができる作業誘導システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の作業誘導システムは、画像を表示する表示装置を有し、この表示装置による画像が視認されるように装着者の頭部に装着される画像表示手段と、各作業過程の作業対象を象って予め作成された各種アニメーション画像を記憶する画像記憶手段と、前記各作業過程において、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を前記表示装置に表示し、前記各作業過程の順番に従って、前記画像記憶手段に記憶された前記アニメーション画像を読み出して前記表示装置に表示することにより、前記作業対象に対して行われるべき作業内容を前記装着者に示すアニメーション表示処理手段とを備え、前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記アニメーション画像における位置合わせおよび寸法合わせに使用される複数の可変位置を、光学的に前記作業対象の対応する各目標位置に合わせることにより、前記装着者によって視認される前記作業対象そのものに対して、前記アニメーション画像の位置合わせと、前記アニメーション画像全体の寸法合わせとをするとともに、前記装着者の頭部が動いても、そのアニメーション画像が光学的に前記作業対象そのものに重なった状態を保持することを特徴とする。
【０００６】
請求項２記載の発明は、請求項１記載の作業誘導システムにおいて、前記作業対象に対する前記装着者の頭部の動きを検出するヘッドトラッキング手段と、各種指示を入力するための指示入力手段とを備え、前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記画像記憶手段からアニメーション画像を読み出して前記表示装置のフレーム内の位置に配置し、前記指示入力手段を通じて、前記アニメーション画像における前記複数の可変位置のうち第１可変位置を、前記作業対象の対応する第１目標位置にドラッグする操作による指示が入力されると、前記アニメーション画像の第１可変位置が前記作業対象の第１目標位置に来るように前記アニメーション画像全体の位置を移動し、前記指示入力手段を通じて、前記アニメーション画像における前記複数の可変位置のうち第２可変位置を、前記作業対象の対応する第２目標位置にドラッグする操作による指示が入力されると、前記アニメーション画像の第２可変位置が前記作業対象の第２目標位置に来るようにするとともに前記作業対象そのものに対して前記アニメーション画像全体の寸法合わせをするほか、前記ヘッドトラッキング手段により検出された前記装着者の頭部の動きを利用して、前記第１目標位置および前記第２目標位置に対して前記第１可変位置および前記第２可変位置がそれぞれ重なった状態を保持することを特徴とする。
【０００７】
請求項３記載の発明は、請求項１記載の作業誘導システムにおいて、前記装着者の頭部に設けられその視野内に撮像フレームが設定された状態で前記装着者前方の画像を撮像する撮像手段と、この撮像手段によって撮像された画像における前記作業対象の予め決定された前記各目標位置に対応する第１および第２特徴点を抽出する特徴点抽出手段とを備え、前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記撮像手段によって前記作業対象の画像を撮像し、その画像から前記作業対象の第１および第２特徴点を抽出し、これら第１および第２特徴点の位置に対して、前記アニメーション画像における前記複数の可変位置である第１および第２可変位置を合わせるとともに、そのアニメーション画像全体の寸法合わせをする処理を繰り返すことを特徴とする。
【０００８】
請求項４記載の発明は、請求項１から３のいずれかに記載の作業誘導システムにおいて、前記表示装置に表示される画像の背景色は、ウェブセーフカラーの値の「００００００」近辺の黒または「７７７７７７」近辺の濃いグレーに相当する色に設定される一方、前記表示装置に表示されるアニメーション画像の線画の部分は、ウェブセーフカラーの値の「００ＦＦＦＦ」近辺の水色に相当する色に設定されることを特徴とする。
【０００９】
請求項５記載の発明は、請求項１から４のいずれかに記載の作業誘導システムにおいて、前記作業内容の説明情報を音声データで各種記憶する説明情報記憶手段と、前記装着者の頭部に装着され音声を出力する音声出力手段とを備え、前記説明情報記憶手段に記憶された対応する音声データを再生して前記音声出力手段から出力することにより、前記作業対象に対して行われるべき作業内容を前記装着者に説明することを特徴とする。
請求項６記載の発明は、請求項１から５のいずれかに記載の作業誘導システムにおいて、音声を入力するための音声入力手段と、この音声入力手段で入力された音声を認識する音声認識手段とを備え、前記アニメーション表示処理手段は、前記音声認識手段で前記各作業過程のうち次の順番の作業過程への移行を指示する音声が認識されると、現在の作業過程から次の作業過程に移行し、この作業過程に対応するアニメーション画像を前記記憶手段から読み出して、前記表示装置に表示することを特徴とする。
【００１０】
【発明の実施の形態】
（第１実施形態）
図１は本発明に係る第１実施形態の作業誘導システムの構成図、図２〜図４は同作業誘導システムの動作説明図である。
【００１１】
第１実施形態の作業誘導システム１は、液晶表示パネルで、作業対象物そのものにアニメーション画像を視覚的に重ね合わせて表示しながら、その作業対象物に対して、決められた作業が行われるように誘導するものである。
【００１２】
この作業誘導システム１は、図１に示すように、ヘッドマウント型のＡＶ装置１０と、例えば手持ち式のマウスである指示入力装置１４と、これらＡＶ装置１０および指示入力装置１４とそれぞれケーブルＣ１，Ｃ２を介して電気的に接続される作業誘導制御装置１５とを備えている。
【００１３】
ＡＶ装置１０は、一対の透光型の液晶表示パネル１１１を内蔵するめがね部１１と、一対のヘッドフォンスピーカ１２１を内蔵するヘッドフォン部１２と、小型のマイクロフォン１３１を内蔵するマイク部１３とを一体化して構成され、作業対象物に対する当該ＡＶ装置１０の装着者の頭部の動きを検出するヘッドトラッカ１００を例えばめがね部１１に内蔵している。現在、ヘッドトラッカには、光学式および磁気式などの各種のモーションキャプチャ方式が存在しているが、例えば、ヘッドマウントディスプレイ用に設けられている、ジャイロや加速度計を応用した慣性計測装置が使用可能である。
【００１４】
作業誘導制御装置１５は、作業対象物に対して、決められた作業が行われるように誘導制御を行うものであり、インターフェース部１６と、記憶部１７と、電源部１８と、制御部１９とにより構成されている。
【００１５】
インターフェース部１６において、音声入力インターフェース１６１は、例えば、マイクロフォン１３１からのアナログの音声信号を増幅してデジタルの音声データに変換し、これを制御部１９に出力するものである。ヘッドトラッカインターフェース１６２は、例えば、ヘッドトラッカ１００からのアナログの検出信号をデジタルの検出データに変換し、これを制御部１９に出力するものである。画像出力インターフェース１６３は、例えば、制御部１９と液晶表示パネル１１１との間をフル・デジタルにて接続するＤＶＩ(Digital Visual Interface)である。音声出力インターフェース１６４は、例えば、制御部１９からの音声データをアナログの音声信号に変換し、この音声信号を図略の音量つまみの位置に応じた増幅率で増幅してヘッドフォンスピーカ１２１に出力するものである。指示入力インターフェース１６５は、指示入力装置１４からカーソルの移動方向および移動量並びにクリック操作の信号を入力し、それらのデータを制御部１９に出力するものである。なお、これらは例示に過ぎず、例えば、画像出力インターフェースはアナログ画像信号を伝送するものでも構わない。
【００１６】
記憶部１７は、光ディスク装置、光磁気ディスク装置、ハードディスク装置または半導体記憶装置などの記憶装置であり、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を記憶しているとともに、作業内容の説明情報を音声データで各種記憶している。
【００１７】
電源部１８は、バッテリおよびこのバッテリの電力を受けて各種電圧レベルの直流電圧を作り出すＤＣ−ＤＣコンバータなどにより構成され、当該作業誘導制御装置１５の各部に必要な電力を供給するほか、ＡＶ装置１０および指示入力装置１４にも必要な電力を供給するものである。
【００１８】
制御部１９は、所定のプログラムを実行するＣＰＵ（中央処理装置）および主記憶装置などにより構成され、作業誘導システム１全般の制御などの処理を実行するものであり、音声認識処理機能１９１、アニメーション表示処理機能１９２および作業内容（追加）説明処理機能１９３などを有している。
【００１９】
音声認識処理機能１９１は、マイクロフォン１３１で入力され、音声入力インターフェース１６１を介して取り込まれた音声データを認識する処理を行うものである。なお、音声認識処理機能１９１は、同様の処理機能を持つように、別のＣＰＵおよび主記憶装置により構成するようにしてもよい。
【００２０】
アニメーション表示処理機能１９２は、各作業過程において、装着者によって液晶表示パネル１１１を通して視認される作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像（図２等の例では線画）が重なるように、画像出力インターフェース１６３を介して、そのアニメーション画像を液晶表示パネル１１１に表示する処理を行う。
【００２１】
ここで、第１実施形態では、作業対象物に対する装着者の頭部の動きを検出するヘッドトラッカ１００と、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、寸法合わせを含む位置合わせの指示を入力するための指示入力装置１４とを利用した次の処理がアニメーション表示処理機能１９２によって実行される。指示入力装置１４で上記指示が入力されると、その指示に従って、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネル１１１に表示するとともに、ヘッドトラッカ１００によって検出された頭部の動きに応じて、作業対象物そのものに対するアニメーション画像の位置補正を行う処理が実行される。位置補正については、例えば、頭部が左方向に動くと、その動きに応じてアニメーション画像が右方向に移動して作業対象物と重なった状態を維持するように処理が実行される。
【００２２】
また、アニメーション表示処理機能１９２は、各作業過程の順番に従って、記憶部１７に記憶されたアニメーション画像を読み出して液晶表示パネル１１１に表示することにより、作業対象物に対して行われるべき作業内容を装着者に示す処理を実行する。例えば、どのようにして作業対象物を組み立てていけばよいかを示すために、現在の組立途中の画像に対して、新たに組み付ける部品の画像を組み付けるべき箇所にアニメーション風に動かせて表示する処理が行われる。逆に、分解する場合には、次に取り除くべき部品をどのようにして取り除けばよいかを示すアニメーション画像を表示する処理が行われる。
【００２３】
ここで、第１実施形態では、音声を入力するためのマイクロフォン１３１と、このマイクロフォン１３１で入力され、音声入力インターフェース１６１を介して取り込まれた音声データを認識する音声認識処理機能１９１とを利用した次の処理がアニメーション表示処理機能１９２によって実行される。音声認識処理機能１９１で各作業過程のうち次の順番の作業過程への移行を指示する音声（予め決定され例えば記憶部１７に記憶されている指示言葉の一つ）が認識されると、現在の作業過程から次の作業過程に移行し、この作業過程に対応するアニメーション画像を記憶部１７から読み出して、液晶表示パネル１１１に表示する処理が実行される。
【００２４】
作業内容説明処理機能１９３は、記憶部１７に記憶された対応する音声データを再生して音声出力インターフェース１６４経由でヘッドフォンスピーカから出力することにより、作業対象物に対して行われるべき作業内容を装着者に説明する処理を行う。
【００２５】
次に作業誘導システム１の動作について説明する。液晶表示パネル１１１を通して、図２（ａ）に示すように作業対象物（図では組立途中のエンジン）を見ることができる状態で、作業誘導システム１を起動すると、図２（ｂ）に示すようなアニメーション画像が記憶部１７から読み出され、そのアニメーション画像が図２（ｃ）に示すように液晶表示パネル１１１に表示される。図２（ｃ）では、アニメーション画像が液晶表示パネル１１１のフレーム内の適当な位置（デフォルトの位置）に置かれるため、作業対象物とこれを象ったアニメーション画像との位置がずれた状態になっている。
【００２６】
この後、指示入力装置１４を用いて、図２（ｂ）に示すアニメーション画像のＡの位置を、図２（ｃ）に示す作業対象物における対応する位置Ｐ１にドラッグする操作を行うと、操作に応じてＡの位置がＰ１の位置に来るようにアニメーション画像全体の位置を移動する処理が実行される。そして、Ａの位置とＰ１の位置とがほぼ一致したときにクリックする操作を行うと、アニメーション画像のＡの位置が決定し（図３（ａ））、ヘッドトラッカ１００を利用したアニメーション表示処理機能１９２による位置補正機能が働く。
【００２７】
この状態で、アニメーション画像のＢの位置を、作業対象物における対応する位置Ｐ２にドラッグする操作を行うと、操作に応じてＢの位置がＰ２の位置に来るように、アニメーション画像全体の寸法をＡの位置を基準に変更する処理が実行される。そして、Ｂの位置とＰ２の位置とがほぼ一致したときにクリックする操作を行うと、アニメーション画像のＢの位置が決定し、図３（ｂ）に示すように、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なった状態になる。
【００２８】
この後、装着者が例えば「作業開始」などの指示言葉を言うと、最初の作業過程に移行し、この作業過程に対応するアニメーション画像が記憶部１７から読み出されて、図４（ａ）の例に示すように液晶表示パネル１１１に表示される。図４（ａ）の例では、ボルトを締める順番が明示されているほか、そのときのトルクの説明図も表示されている。ここでは、Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１の順番にボルトを締めていき、またＡ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２の順番にボルトを締めていけばよいことが分かるようになっている。
【００２９】
この後、装着者が例えば「次」とか「次の作業」などの指示言葉を言うと、次の作業過程に移行し、この作業過程に対応するアニメーション画像が記憶部１７から読み出されて、図４（ｂ）の例に示すように液晶表示パネル１１１に表示される。図４（ｂ）の例では、新たなパーツを組み付ければ良いことが分かる。図４（ｂ）において、＃９，＃１０，＃１１，＃２６，＃２７は部品の番号を示している。
【００３０】
なお、第１実施形態では、アニメーション画像のＢの位置もドラッグする構成になっているが、これに限らず、アニメーション画像のＡの位置が決定したあとは、自動的にアニメーション画像全体の寸法変更モードに移行し、指示入力装置１４によるカーソルの移動方向および移動量に応じてアニメーション画像全体の寸法をＡの位置を基準に変更するように構成してもよい。
【００３１】
（第２実施形態）
図５は本発明に係る第２実施形態の作業誘導システムの構成図である。
【００３２】
第２実施形態の作業誘導システム２は、第１実施形態との相違点として、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネル１１１に表示する処理を全自動で行う構成になっている。
【００３３】
すなわち、ヘッドマウント型のＡＶ装置２０は、第１実施形態のＡＶ装置１０との相違点として、ヘッドトラッカ１００に代えて、装着者の視野内に撮像フレームが設定された状態で装着者前方の画像を撮像する小型のカメラ（例えばＣＣＤカメラ）２００をめがね部１１に内蔵し、ケーブルＣ３を介して作業誘導制御装置２５に電気的に接続されている。なお、カメラ２００は１台に限らず、３Ｄ表示を可能にするために、両目に対応する２台のカメラが設けられる構成でもよい。
【００３４】
作業誘導制御装置２５は、記憶部１７と、電源部１８とを第１実施形態の作業誘導制御装置１５と同様に備えているほか、作業誘導制御装置１５との相違点として、インターフェース部２６と、制御部２９とを備えている。
【００３５】
インターフェース部２６において、音声入力インターフェース１６１、画像出力インターフェース１６３および音声出力インターフェース１６４は、第１実施形態と同様のものである。画像入力インターフェース２６２は、例えば、カメラ２００からのアナログの画像信号をデジタルの画像データに変換し、これを制御部２９に出力するものである。
【００３６】
制御部２９において、音声認識処理機能１９１および作業内容説明処理機能１９３は、第１実施形態と同様のものである。特徴点抽出処理機能２９０は、カメラ２００によって撮像され画像入力インターフェース２６２を介して取り込まれる画像における作業対象物の予め決定された特徴点（図２，図３の例ではＰ１，Ｐ２）を抽出するものである。なお、特徴点抽出処理機能２９０は、同様の処理機能を持つように、別のＣＰＵおよび主記憶装置により構成するようにしてもよい。
【００３７】
アニメーション表示処理機能２９２は、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネル１１１に表示する処理を全自動で行う処理以外は第１実施形態のアニメーション表示処理機能１９１と同様に構成される。
【００３８】
上記全自動の処理については、特徴点抽出処理機能２９０によって抽出された特徴点の位置（図２，図３の例ではＰ１，Ｐ２）と、記憶部１７に記憶された対応するアニメーション画像における上記特徴点に対応する位置（図２，図３の例ではＡ，Ｂ）とが光学（視覚）的に一致するように、そのアニメーション画像を液晶表示パネル１１１に表示する処理が実行される。ただし、光学的に一致させるべく、カメラ２００によって撮像される画像の各画素位置と液晶表示パネル１１１の各画素位置とを対応付けるテーブルが予め作成され、例えば制御部２９またはＡＶ装置２０における図示しないＲＯＭに記憶されており、そのテーブルが参照されるものとする。
【００３９】
次に作業誘導システム２の動作について説明する。作業誘導システム２を起動して、液晶表示パネル１１１を通して、作業対象物を見ることができる状態で、例えば「作業開始」などの指示言葉を言うと、カメラ２００によって作業対象物の画像が撮像され、その画像から作業対象物の特徴点が抽出される。続いて、抽出された特徴点の位置（Ｐ１，Ｐ２）と、記憶部１７に記憶された対応するアニメーション画像における特徴点（Ｐ１，Ｐ２）に対応する位置（Ａ，Ｂ）とが一致するように、そのアニメーション画像が液晶表示パネル１１１に表示される。これらの処理は所定時間毎に繰り返し実行される。これ以降の動作は第１実施形態と同様である。
【００４０】
なお、第１，第２実施形態では、エンジンを作業対象物として例示したが、本発明の作業対象は、エンジンなどの物に限らず、人や動物などであってもよい。例えば、人の場合には、着物の着せ方を相手に教えたりすることができるようになり、人や動物などに対する手術の場合には、その手順を確認することができるようになる。
【００４１】
また、第１，第２実施形態では、記憶部は、作業誘導制御装置に内蔵される構成になっているが、これに限らず、作業誘導制御装置に無線または有線のＬＡＮインターフェースを設け、記憶部に記憶されている情報がＬＡＮに接続されたサーバに格納されている構成でもよい。
【００４２】
また、第１，第２実施形態において、「早送り」、「巻戻し」、「一時停止」、「再生」、「頭出し」などに相当する指示言葉をさらに設定し、装着者がその指示言葉を言ったときに、アニメーション画像の表示に対し、「早送り」、「巻戻し」、「一時停止」、「再生」、「頭出し」などを実行するように構成してもよい。
【００４３】
また、第１，第２実施形態では、めがね部は、両目タイプになっているが、片目タイプでもよいことは言うまでもない。
【００４４】
さらに、第１，第２実施形態では、透光型の液晶表示パネル１１１が目の直前に設けられる構成になっているが、図６に示すように、目のすぐ前であってその視線の上方に液晶表示パネル１１１’が設けられる構成でもよい。この構成において、液晶表示パネル１１１’の画像（光）は、プリズム１１２に側方から入射して、プリズム１１２の後面に設けられた反射面１１２ａで前方に全反射した後に、プリズム１１２の前面側に設けられたハーフミラー１１２ｂで後方に反射して、反射面１１２ａを透過することにより、装着によって視認される。一方、作業対象物そのものについては、プリズム１１２を前方から後方に透過する光路によって視認される。要するに、本発明の画像表示手段は、画像を表示する表示装置を有し、この表示装置による画像が視認されるように装着者の頭部に装着されるものであればよい。
【００４５】
また、図６に示す構成のめがね部の場合、背景色を「００００００」近辺の黒または「７７７７７７」近辺の濃いグレーに設定し、アニメーション画像の線画部分を「００ＦＦＦＦ」近辺の水色に設定したとき、作業対象物そのものに対するアニメーション画像の見栄えが非常に良かった。文字や記号などは、「００ＦＦＦＦ」近辺の水色や「ＦＦＦＦ００」近辺の黄色が見やすかった。ただし、上記括弧（「」）内の文字はウェブセーフカラーの値を示す。
【００４６】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明によれば、説明者の説明によらずに、作業の具体内容を極めて正確に把握させながら、作業を実行させることができる。
【００４７】
請求項２記載の発明によれば、作業対象そのものに対して、画像記憶手段に記憶された対応するアニメーション画像が重なるようにすることができるとともに、その状態を維持することができる。
【００４８】
請求項３記載の発明によれば、全自動で、作業対象そのものに対して、画像記憶手段に記憶された対応するアニメーション画像が重なるようにすることができるとともに、その状態を維持することができる。
【００４９】
請求項４記載の発明によれば、作業対象そのものに対するアニメーション画像の見栄えを非常に良くすることができる。
【００５０】
請求項５記載の発明によれば、作業の具体内容が分かりやすくなる。
請求項６記載の発明によれば、手での操作によらず、作業の具体内容の説明を切り換えることができ、ハンズフリーとなるから、作業に専念することができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態の作業誘導システムの構成図である。
【図２】同作業誘導システムの動作説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図３】同作業誘導システムの動作説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図４】同作業誘導システムの動作説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図５】本発明に係る第２実施形態の作業誘導システムの構成図である。
【図６】めがね部の別の構成例を示す図である。
【符号の説明】
１ 作業誘導システム
１０，２０ ＡＶ装置
１００ ヘッドトラッカ
２００ カメラ
１１ めがね部
１１１ 液晶表示パネル
１２ ヘッドフォン部
１２１ ヘッドフォンスピーカ
１３ マイク部
１３１ マイクロフォン
１４ 指示入力装置
１５，２５ 作業誘導制御装置
１６，２６ インターフェース部
１７ 記憶部
１８ 電源部
１９，２９ 制御部
２９０ 特徴点抽出処理機能
１９１ 音声認識処理機能
１９２，２９２ アニメーション表示処理機能
１９３ 作業内容説明処理機能
【発明の属する技術分野】
本発明は、いわゆるヘッドマウントディスプレイに属する例えば液晶表示パネルで、作業対象そのものにアニメーション画像を視覚的に重ね合わせて表示しながら、その作業対象に対して、決められた作業が行われるように誘導する作業誘導システムに関するものである。
【０００２】
【従来の技術】
従来、製造現場などで作業を行う場合、作業の具体内容を作業の説明者から予め聞いてから作業を行うか、あるいは説明者から説明を受けながら作業を進めるかのいずれかの手順がとられることがほとんどであった。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような手順では、作業の具体内容をしっかりと把握しないまま作業が進行してしまうという問題があった。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、説明者の説明によらずに、作業の具体内容を極めて正確に把握させながら、作業を実行させることができる作業誘導システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の作業誘導システムは、画像を表示する表示装置を有し、この表示装置による画像が視認されるように装着者の頭部に装着される画像表示手段と、各作業過程の作業対象を象って予め作成された各種アニメーション画像を記憶する画像記憶手段と、前記各作業過程において、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を前記表示装置に表示し、前記各作業過程の順番に従って、前記画像記憶手段に記憶された前記アニメーション画像を読み出して前記表示装置に表示することにより、前記作業対象に対して行われるべき作業内容を前記装着者に示すアニメーション表示処理手段とを備え、前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記アニメーション画像における位置合わせおよび寸法合わせに使用される複数の可変位置を、光学的に前記作業対象の対応する各目標位置に合わせることにより、前記装着者によって視認される前記作業対象そのものに対して、前記アニメーション画像の位置合わせと、前記アニメーション画像全体の寸法合わせとをするとともに、前記装着者の頭部が動いても、そのアニメーション画像が光学的に前記作業対象そのものに重なった状態を保持することを特徴とする。
【０００６】
請求項２記載の発明は、請求項１記載の作業誘導システムにおいて、前記作業対象に対する前記装着者の頭部の動きを検出するヘッドトラッキング手段と、各種指示を入力するための指示入力手段とを備え、前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記画像記憶手段からアニメーション画像を読み出して前記表示装置のフレーム内の位置に配置し、前記指示入力手段を通じて、前記アニメーション画像における前記複数の可変位置のうち第１可変位置を、前記作業対象の対応する第１目標位置にドラッグする操作による指示が入力されると、前記アニメーション画像の第１可変位置が前記作業対象の第１目標位置に来るように前記アニメーション画像全体の位置を移動し、前記指示入力手段を通じて、前記アニメーション画像における前記複数の可変位置のうち第２可変位置を、前記作業対象の対応する第２目標位置にドラッグする操作による指示が入力されると、前記アニメーション画像の第２可変位置が前記作業対象の第２目標位置に来るようにするとともに前記作業対象そのものに対して前記アニメーション画像全体の寸法合わせをするほか、前記ヘッドトラッキング手段により検出された前記装着者の頭部の動きを利用して、前記第１目標位置および前記第２目標位置に対して前記第１可変位置および前記第２可変位置がそれぞれ重なった状態を保持することを特徴とする。
【０００７】
請求項３記載の発明は、請求項１記載の作業誘導システムにおいて、前記装着者の頭部に設けられその視野内に撮像フレームが設定された状態で前記装着者前方の画像を撮像する撮像手段と、この撮像手段によって撮像された画像における前記作業対象の予め決定された前記各目標位置に対応する第１および第２特徴点を抽出する特徴点抽出手段とを備え、前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記撮像手段によって前記作業対象の画像を撮像し、その画像から前記作業対象の第１および第２特徴点を抽出し、これら第１および第２特徴点の位置に対して、前記アニメーション画像における前記複数の可変位置である第１および第２可変位置を合わせるとともに、そのアニメーション画像全体の寸法合わせをする処理を繰り返すことを特徴とする。
【０００８】
請求項４記載の発明は、請求項１から３のいずれかに記載の作業誘導システムにおいて、前記表示装置に表示される画像の背景色は、ウェブセーフカラーの値の「００００００」近辺の黒または「７７７７７７」近辺の濃いグレーに相当する色に設定される一方、前記表示装置に表示されるアニメーション画像の線画の部分は、ウェブセーフカラーの値の「００ＦＦＦＦ」近辺の水色に相当する色に設定されることを特徴とする。
【０００９】
請求項５記載の発明は、請求項１から４のいずれかに記載の作業誘導システムにおいて、前記作業内容の説明情報を音声データで各種記憶する説明情報記憶手段と、前記装着者の頭部に装着され音声を出力する音声出力手段とを備え、前記説明情報記憶手段に記憶された対応する音声データを再生して前記音声出力手段から出力することにより、前記作業対象に対して行われるべき作業内容を前記装着者に説明することを特徴とする。
請求項６記載の発明は、請求項１から５のいずれかに記載の作業誘導システムにおいて、音声を入力するための音声入力手段と、この音声入力手段で入力された音声を認識する音声認識手段とを備え、前記アニメーション表示処理手段は、前記音声認識手段で前記各作業過程のうち次の順番の作業過程への移行を指示する音声が認識されると、現在の作業過程から次の作業過程に移行し、この作業過程に対応するアニメーション画像を前記記憶手段から読み出して、前記表示装置に表示することを特徴とする。
【００１０】
【発明の実施の形態】
（第１実施形態）
図１は本発明に係る第１実施形態の作業誘導システムの構成図、図２〜図４は同作業誘導システムの動作説明図である。
【００１１】
第１実施形態の作業誘導システム１は、液晶表示パネルで、作業対象物そのものにアニメーション画像を視覚的に重ね合わせて表示しながら、その作業対象物に対して、決められた作業が行われるように誘導するものである。
【００１２】
この作業誘導システム１は、図１に示すように、ヘッドマウント型のＡＶ装置１０と、例えば手持ち式のマウスである指示入力装置１４と、これらＡＶ装置１０および指示入力装置１４とそれぞれケーブルＣ１，Ｃ２を介して電気的に接続される作業誘導制御装置１５とを備えている。
【００１３】
ＡＶ装置１０は、一対の透光型の液晶表示パネル１１１を内蔵するめがね部１１と、一対のヘッドフォンスピーカ１２１を内蔵するヘッドフォン部１２と、小型のマイクロフォン１３１を内蔵するマイク部１３とを一体化して構成され、作業対象物に対する当該ＡＶ装置１０の装着者の頭部の動きを検出するヘッドトラッカ１００を例えばめがね部１１に内蔵している。現在、ヘッドトラッカには、光学式および磁気式などの各種のモーションキャプチャ方式が存在しているが、例えば、ヘッドマウントディスプレイ用に設けられている、ジャイロや加速度計を応用した慣性計測装置が使用可能である。
【００１４】
作業誘導制御装置１５は、作業対象物に対して、決められた作業が行われるように誘導制御を行うものであり、インターフェース部１６と、記憶部１７と、電源部１８と、制御部１９とにより構成されている。
【００１５】
インターフェース部１６において、音声入力インターフェース１６１は、例えば、マイクロフォン１３１からのアナログの音声信号を増幅してデジタルの音声データに変換し、これを制御部１９に出力するものである。ヘッドトラッカインターフェース１６２は、例えば、ヘッドトラッカ１００からのアナログの検出信号をデジタルの検出データに変換し、これを制御部１９に出力するものである。画像出力インターフェース１６３は、例えば、制御部１９と液晶表示パネル１１１との間をフル・デジタルにて接続するＤＶＩ(Digital Visual Interface)である。音声出力インターフェース１６４は、例えば、制御部１９からの音声データをアナログの音声信号に変換し、この音声信号を図略の音量つまみの位置に応じた増幅率で増幅してヘッドフォンスピーカ１２１に出力するものである。指示入力インターフェース１６５は、指示入力装置１４からカーソルの移動方向および移動量並びにクリック操作の信号を入力し、それらのデータを制御部１９に出力するものである。なお、これらは例示に過ぎず、例えば、画像出力インターフェースはアナログ画像信号を伝送するものでも構わない。
【００１６】
記憶部１７は、光ディスク装置、光磁気ディスク装置、ハードディスク装置または半導体記憶装置などの記憶装置であり、各作業過程の作業対象物を象って予め作成された各種アニメーション画像を記憶しているとともに、作業内容の説明情報を音声データで各種記憶している。
【００１７】
電源部１８は、バッテリおよびこのバッテリの電力を受けて各種電圧レベルの直流電圧を作り出すＤＣ−ＤＣコンバータなどにより構成され、当該作業誘導制御装置１５の各部に必要な電力を供給するほか、ＡＶ装置１０および指示入力装置１４にも必要な電力を供給するものである。
【００１８】
制御部１９は、所定のプログラムを実行するＣＰＵ（中央処理装置）および主記憶装置などにより構成され、作業誘導システム１全般の制御などの処理を実行するものであり、音声認識処理機能１９１、アニメーション表示処理機能１９２および作業内容（追加）説明処理機能１９３などを有している。
【００１９】
音声認識処理機能１９１は、マイクロフォン１３１で入力され、音声入力インターフェース１６１を介して取り込まれた音声データを認識する処理を行うものである。なお、音声認識処理機能１９１は、同様の処理機能を持つように、別のＣＰＵおよび主記憶装置により構成するようにしてもよい。
【００２０】
アニメーション表示処理機能１９２は、各作業過程において、装着者によって液晶表示パネル１１１を通して視認される作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像（図２等の例では線画）が重なるように、画像出力インターフェース１６３を介して、そのアニメーション画像を液晶表示パネル１１１に表示する処理を行う。
【００２１】
ここで、第１実施形態では、作業対象物に対する装着者の頭部の動きを検出するヘッドトラッカ１００と、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、寸法合わせを含む位置合わせの指示を入力するための指示入力装置１４とを利用した次の処理がアニメーション表示処理機能１９２によって実行される。指示入力装置１４で上記指示が入力されると、その指示に従って、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネル１１１に表示するとともに、ヘッドトラッカ１００によって検出された頭部の動きに応じて、作業対象物そのものに対するアニメーション画像の位置補正を行う処理が実行される。位置補正については、例えば、頭部が左方向に動くと、その動きに応じてアニメーション画像が右方向に移動して作業対象物と重なった状態を維持するように処理が実行される。
【００２２】
また、アニメーション表示処理機能１９２は、各作業過程の順番に従って、記憶部１７に記憶されたアニメーション画像を読み出して液晶表示パネル１１１に表示することにより、作業対象物に対して行われるべき作業内容を装着者に示す処理を実行する。例えば、どのようにして作業対象物を組み立てていけばよいかを示すために、現在の組立途中の画像に対して、新たに組み付ける部品の画像を組み付けるべき箇所にアニメーション風に動かせて表示する処理が行われる。逆に、分解する場合には、次に取り除くべき部品をどのようにして取り除けばよいかを示すアニメーション画像を表示する処理が行われる。
【００２３】
ここで、第１実施形態では、音声を入力するためのマイクロフォン１３１と、このマイクロフォン１３１で入力され、音声入力インターフェース１６１を介して取り込まれた音声データを認識する音声認識処理機能１９１とを利用した次の処理がアニメーション表示処理機能１９２によって実行される。音声認識処理機能１９１で各作業過程のうち次の順番の作業過程への移行を指示する音声（予め決定され例えば記憶部１７に記憶されている指示言葉の一つ）が認識されると、現在の作業過程から次の作業過程に移行し、この作業過程に対応するアニメーション画像を記憶部１７から読み出して、液晶表示パネル１１１に表示する処理が実行される。
【００２４】
作業内容説明処理機能１９３は、記憶部１７に記憶された対応する音声データを再生して音声出力インターフェース１６４経由でヘッドフォンスピーカから出力することにより、作業対象物に対して行われるべき作業内容を装着者に説明する処理を行う。
【００２５】
次に作業誘導システム１の動作について説明する。液晶表示パネル１１１を通して、図２（ａ）に示すように作業対象物（図では組立途中のエンジン）を見ることができる状態で、作業誘導システム１を起動すると、図２（ｂ）に示すようなアニメーション画像が記憶部１７から読み出され、そのアニメーション画像が図２（ｃ）に示すように液晶表示パネル１１１に表示される。図２（ｃ）では、アニメーション画像が液晶表示パネル１１１のフレーム内の適当な位置（デフォルトの位置）に置かれるため、作業対象物とこれを象ったアニメーション画像との位置がずれた状態になっている。
【００２６】
この後、指示入力装置１４を用いて、図２（ｂ）に示すアニメーション画像のＡの位置を、図２（ｃ）に示す作業対象物における対応する位置Ｐ１にドラッグする操作を行うと、操作に応じてＡの位置がＰ１の位置に来るようにアニメーション画像全体の位置を移動する処理が実行される。そして、Ａの位置とＰ１の位置とがほぼ一致したときにクリックする操作を行うと、アニメーション画像のＡの位置が決定し（図３（ａ））、ヘッドトラッカ１００を利用したアニメーション表示処理機能１９２による位置補正機能が働く。
【００２７】
この状態で、アニメーション画像のＢの位置を、作業対象物における対応する位置Ｐ２にドラッグする操作を行うと、操作に応じてＢの位置がＰ２の位置に来るように、アニメーション画像全体の寸法をＡの位置を基準に変更する処理が実行される。そして、Ｂの位置とＰ２の位置とがほぼ一致したときにクリックする操作を行うと、アニメーション画像のＢの位置が決定し、図３（ｂ）に示すように、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なった状態になる。
【００２８】
この後、装着者が例えば「作業開始」などの指示言葉を言うと、最初の作業過程に移行し、この作業過程に対応するアニメーション画像が記憶部１７から読み出されて、図４（ａ）の例に示すように液晶表示パネル１１１に表示される。図４（ａ）の例では、ボルトを締める順番が明示されているほか、そのときのトルクの説明図も表示されている。ここでは、Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１の順番にボルトを締めていき、またＡ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２の順番にボルトを締めていけばよいことが分かるようになっている。
【００２９】
この後、装着者が例えば「次」とか「次の作業」などの指示言葉を言うと、次の作業過程に移行し、この作業過程に対応するアニメーション画像が記憶部１７から読み出されて、図４（ｂ）の例に示すように液晶表示パネル１１１に表示される。図４（ｂ）の例では、新たなパーツを組み付ければ良いことが分かる。図４（ｂ）において、＃９，＃１０，＃１１，＃２６，＃２７は部品の番号を示している。
【００３０】
なお、第１実施形態では、アニメーション画像のＢの位置もドラッグする構成になっているが、これに限らず、アニメーション画像のＡの位置が決定したあとは、自動的にアニメーション画像全体の寸法変更モードに移行し、指示入力装置１４によるカーソルの移動方向および移動量に応じてアニメーション画像全体の寸法をＡの位置を基準に変更するように構成してもよい。
【００３１】
（第２実施形態）
図５は本発明に係る第２実施形態の作業誘導システムの構成図である。
【００３２】
第２実施形態の作業誘導システム２は、第１実施形態との相違点として、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネル１１１に表示する処理を全自動で行う構成になっている。
【００３３】
すなわち、ヘッドマウント型のＡＶ装置２０は、第１実施形態のＡＶ装置１０との相違点として、ヘッドトラッカ１００に代えて、装着者の視野内に撮像フレームが設定された状態で装着者前方の画像を撮像する小型のカメラ（例えばＣＣＤカメラ）２００をめがね部１１に内蔵し、ケーブルＣ３を介して作業誘導制御装置２５に電気的に接続されている。なお、カメラ２００は１台に限らず、３Ｄ表示を可能にするために、両目に対応する２台のカメラが設けられる構成でもよい。
【００３４】
作業誘導制御装置２５は、記憶部１７と、電源部１８とを第１実施形態の作業誘導制御装置１５と同様に備えているほか、作業誘導制御装置１５との相違点として、インターフェース部２６と、制御部２９とを備えている。
【００３５】
インターフェース部２６において、音声入力インターフェース１６１、画像出力インターフェース１６３および音声出力インターフェース１６４は、第１実施形態と同様のものである。画像入力インターフェース２６２は、例えば、カメラ２００からのアナログの画像信号をデジタルの画像データに変換し、これを制御部２９に出力するものである。
【００３６】
制御部２９において、音声認識処理機能１９１および作業内容説明処理機能１９３は、第１実施形態と同様のものである。特徴点抽出処理機能２９０は、カメラ２００によって撮像され画像入力インターフェース２６２を介して取り込まれる画像における作業対象物の予め決定された特徴点（図２，図３の例ではＰ１，Ｐ２）を抽出するものである。なお、特徴点抽出処理機能２９０は、同様の処理機能を持つように、別のＣＰＵおよび主記憶装置により構成するようにしてもよい。
【００３７】
アニメーション表示処理機能２９２は、作業対象物そのものに対して、記憶部１７に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を液晶表示パネル１１１に表示する処理を全自動で行う処理以外は第１実施形態のアニメーション表示処理機能１９１と同様に構成される。
【００３８】
上記全自動の処理については、特徴点抽出処理機能２９０によって抽出された特徴点の位置（図２，図３の例ではＰ１，Ｐ２）と、記憶部１７に記憶された対応するアニメーション画像における上記特徴点に対応する位置（図２，図３の例ではＡ，Ｂ）とが光学（視覚）的に一致するように、そのアニメーション画像を液晶表示パネル１１１に表示する処理が実行される。ただし、光学的に一致させるべく、カメラ２００によって撮像される画像の各画素位置と液晶表示パネル１１１の各画素位置とを対応付けるテーブルが予め作成され、例えば制御部２９またはＡＶ装置２０における図示しないＲＯＭに記憶されており、そのテーブルが参照されるものとする。
【００３９】
次に作業誘導システム２の動作について説明する。作業誘導システム２を起動して、液晶表示パネル１１１を通して、作業対象物を見ることができる状態で、例えば「作業開始」などの指示言葉を言うと、カメラ２００によって作業対象物の画像が撮像され、その画像から作業対象物の特徴点が抽出される。続いて、抽出された特徴点の位置（Ｐ１，Ｐ２）と、記憶部１７に記憶された対応するアニメーション画像における特徴点（Ｐ１，Ｐ２）に対応する位置（Ａ，Ｂ）とが一致するように、そのアニメーション画像が液晶表示パネル１１１に表示される。これらの処理は所定時間毎に繰り返し実行される。これ以降の動作は第１実施形態と同様である。
【００４０】
なお、第１，第２実施形態では、エンジンを作業対象物として例示したが、本発明の作業対象は、エンジンなどの物に限らず、人や動物などであってもよい。例えば、人の場合には、着物の着せ方を相手に教えたりすることができるようになり、人や動物などに対する手術の場合には、その手順を確認することができるようになる。
【００４１】
また、第１，第２実施形態では、記憶部は、作業誘導制御装置に内蔵される構成になっているが、これに限らず、作業誘導制御装置に無線または有線のＬＡＮインターフェースを設け、記憶部に記憶されている情報がＬＡＮに接続されたサーバに格納されている構成でもよい。
【００４２】
また、第１，第２実施形態において、「早送り」、「巻戻し」、「一時停止」、「再生」、「頭出し」などに相当する指示言葉をさらに設定し、装着者がその指示言葉を言ったときに、アニメーション画像の表示に対し、「早送り」、「巻戻し」、「一時停止」、「再生」、「頭出し」などを実行するように構成してもよい。
【００４３】
また、第１，第２実施形態では、めがね部は、両目タイプになっているが、片目タイプでもよいことは言うまでもない。
【００４４】
さらに、第１，第２実施形態では、透光型の液晶表示パネル１１１が目の直前に設けられる構成になっているが、図６に示すように、目のすぐ前であってその視線の上方に液晶表示パネル１１１’が設けられる構成でもよい。この構成において、液晶表示パネル１１１’の画像（光）は、プリズム１１２に側方から入射して、プリズム１１２の後面に設けられた反射面１１２ａで前方に全反射した後に、プリズム１１２の前面側に設けられたハーフミラー１１２ｂで後方に反射して、反射面１１２ａを透過することにより、装着によって視認される。一方、作業対象物そのものについては、プリズム１１２を前方から後方に透過する光路によって視認される。要するに、本発明の画像表示手段は、画像を表示する表示装置を有し、この表示装置による画像が視認されるように装着者の頭部に装着されるものであればよい。
【００４５】
また、図６に示す構成のめがね部の場合、背景色を「００００００」近辺の黒または「７７７７７７」近辺の濃いグレーに設定し、アニメーション画像の線画部分を「００ＦＦＦＦ」近辺の水色に設定したとき、作業対象物そのものに対するアニメーション画像の見栄えが非常に良かった。文字や記号などは、「００ＦＦＦＦ」近辺の水色や「ＦＦＦＦ００」近辺の黄色が見やすかった。ただし、上記括弧（「」）内の文字はウェブセーフカラーの値を示す。
【００４６】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明によれば、説明者の説明によらずに、作業の具体内容を極めて正確に把握させながら、作業を実行させることができる。
【００４７】
請求項２記載の発明によれば、作業対象そのものに対して、画像記憶手段に記憶された対応するアニメーション画像が重なるようにすることができるとともに、その状態を維持することができる。
【００４８】
請求項３記載の発明によれば、全自動で、作業対象そのものに対して、画像記憶手段に記憶された対応するアニメーション画像が重なるようにすることができるとともに、その状態を維持することができる。
【００４９】
請求項４記載の発明によれば、作業対象そのものに対するアニメーション画像の見栄えを非常に良くすることができる。
【００５０】
請求項５記載の発明によれば、作業の具体内容が分かりやすくなる。
請求項６記載の発明によれば、手での操作によらず、作業の具体内容の説明を切り換えることができ、ハンズフリーとなるから、作業に専念することができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態の作業誘導システムの構成図である。
【図２】同作業誘導システムの動作説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図３】同作業誘導システムの動作説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図４】同作業誘導システムの動作説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図５】本発明に係る第２実施形態の作業誘導システムの構成図である。
【図６】めがね部の別の構成例を示す図である。
【符号の説明】
１ 作業誘導システム
１０，２０ ＡＶ装置
１００ ヘッドトラッカ
２００ カメラ
１１ めがね部
１１１ 液晶表示パネル
１２ ヘッドフォン部
１２１ ヘッドフォンスピーカ
１３ マイク部
１３１ マイクロフォン
１４ 指示入力装置
１５，２５ 作業誘導制御装置
１６，２６ インターフェース部
１７ 記憶部
１８ 電源部
１９，２９ 制御部
２９０ 特徴点抽出処理機能
１９１ 音声認識処理機能
１９２，２９２ アニメーション表示処理機能
１９３ 作業内容説明処理機能
Claims (6)
- 画像を表示する表示装置を有し、この表示装置による画像が視認されるように装着者の頭部に装着される画像表示手段と、
各作業過程の作業対象を象って予め作成された各種アニメーション画像を記憶する画像記憶手段と、
前記各作業過程において、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるように、そのアニメーション画像を前記表示装置に表示し、前記各作業過程の順番に従って、前記画像記憶手段に記憶された前記アニメーション画像を読み出して前記表示装置に表示することにより、前記作業対象に対して行われるべき作業内容を前記装着者に示すアニメーション表示処理手段と
を備え、
前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、前記アニメーション画像における位置合わせおよび寸法合わせに使用される複数の可変位置を、光学的に前記作業対象の対応する各目標位置に合わせることにより、前記装着者によって視認される前記作業対象そのものに対して、前記アニメーション画像の位置合わせと、前記アニメーション画像全体の寸法合わせとをするとともに、前記装着者の頭部が動いても、そのアニメーション画像が光学的に前記作業対象そのものに重なった状態を保持する
ことを特徴とする作業誘導システム。 - 前記作業対象に対する前記装着者の頭部の動きを検出するヘッドトラッキング手段と、
各種指示を入力するための指示入力手段と
を備え、
前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるようにする場合、
前記画像記憶手段からアニメーション画像を読み出して前記表示装置のフレーム内の位置に配置し、
前記指示入力手段を通じて、前記アニメーション画像における前記複数の可変位置のうち第１可変位置を、前記作業対象の対応する第１目標位置にドラッグする操作による指示が入力されると、前記アニメーション画像の第１可変位置が前記作業対象の第１目標位置に来るように前記アニメーション画像全体の位置を移動し、
前記指示入力手段を通じて、前記アニメーション画像における前記複数の可変位置のうち第２可変位置を、前記作業対象の対応する第２目標位置にドラッグする操作による指示が入力されると、前記アニメーション画像の第２可変位置が前記作業対象の第２目標位置に来るようにするとともに前記作業対象そのものに対して前記アニメーション画像全体の寸法合わせをするほか、
前記ヘッドトラッキング手段により検出された前記装着者の頭部の動きを利用して、前記第１目標位置および前記第２目標位置に対して前記第１可変位置および前記第２可変位置がそれぞれ重なった状態を保持する
ことを特徴とする請求項１記載の作業誘導システム。 - 前記装着者の頭部に設けられその視野内に撮像フレームが設定された状態で前記装着者前方の画像を撮像する撮像手段と、
この撮像手段によって撮像された画像における前記作業対象の予め決定された前記各目標位置に対応する第１および第２特徴点を抽出する特徴点抽出手段と
を備え、
前記アニメーション表示処理手段は、前記装着者によって視認される前記作業対象そのものに対して、前記画像記憶手段に記憶された対応するアニメーション画像が重なるよう にする場合、
前記撮像手段によって前記作業対象の画像を撮像し、その画像から前記作業対象の第１および第２特徴点を抽出し、これら第１および第２特徴点の位置に対して、前記アニメーション画像における前記複数の可変位置である第１および第２可変位置を合わせるとともに、そのアニメーション画像全体の寸法合わせをする処理を繰り返す
ことを特徴とする請求項１記載の作業誘導システム。 - 前記表示装置に表示される画像の背景色は、ウェブセーフカラーの値の「００００００」近辺の黒または「７７７７７７」近辺の濃いグレーに相当する色に設定される一方、前記表示装置に表示されるアニメーション画像の線画の部分は、ウェブセーフカラーの値の「００ＦＦＦＦ」近辺の水色に相当する色に設定されることを特徴とする請求項１から３のいずれかに記載の作業誘導システム。
- 前記作業内容の説明情報を音声データで各種記憶する説明情報記憶手段と、
前記装着者の頭部に装着され音声を出力する音声出力手段と
を備え、
前記説明情報記憶手段に記憶された対応する音声データを再生して前記音声出力手段から出力することにより、前記作業対象に対して行われるべき作業内容を前記装着者に説明する
ことを特徴とする請求項１から４のいずれかに記載の作業誘導システム。 - 音声を入力するための音声入力手段と、
この音声入力手段で入力された音声を認識する音声認識手段と
を備え、
前記アニメーション表示処理手段は、前記音声認識手段で前記各作業過程のうち次の順番の作業過程への移行を指示する音声が認識されると、現在の作業過程から次の作業過程に移行し、この作業過程に対応するアニメーション画像を前記記憶手段から読み出して、前記表示装置に表示する
ことを特徴とする請求項１から５のいずれかに記載の作業誘導システム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002180260A JP3735086B2 (ja) | 2002-06-20 | 2002-06-20 | 作業誘導システム |
| US10/517,487 US20060090135A1 (en) | 2002-06-20 | 2003-06-20 | Job guiding system |
| PCT/JP2003/007852 WO2004001677A1 (ja) | 2002-06-20 | 2003-06-20 | 作業誘導システム |
| KR1020047020732A KR100597942B1 (ko) | 2002-06-20 | 2003-06-20 | 작업 유도 시스템 |
| CNB038143763A CN1313980C (zh) | 2002-06-20 | 2003-06-20 | 操作引导*** |
| AU2003244317A AU2003244317A1 (en) | 2002-06-20 | 2003-06-20 | Job guiding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002180260A JP3735086B2 (ja) | 2002-06-20 | 2002-06-20 | 作業誘導システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004021931A JP2004021931A (ja) | 2004-01-22 |
| JP3735086B2 true JP3735086B2 (ja) | 2006-01-11 |
Family
ID=29996600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002180260A Expired - Lifetime JP3735086B2 (ja) | 2002-06-20 | 2002-06-20 | 作業誘導システム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20060090135A1 (ja) |
| JP (1) | JP3735086B2 (ja) |
| KR (1) | KR100597942B1 (ja) |
| CN (1) | CN1313980C (ja) |
| AU (1) | AU2003244317A1 (ja) |
| WO (1) | WO2004001677A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9448407B2 (en) | 2012-12-13 | 2016-09-20 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and work supporting system |
| US9823473B2 (en) | 2013-03-22 | 2017-11-21 | Seiko Epson Corporation | Head-mounted display device and control method for head-mounted display device |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4493383B2 (ja) * | 2004-04-01 | 2010-06-30 | オリンパス株式会社 | 手技支援システム |
| JP2006276748A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Corp | 情報呈示装置、情報呈示方法、及びコンピュータプログラム |
| DE102006005044B4 (de) * | 2006-02-03 | 2011-01-27 | Metaio Gmbh | Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung |
| JP5391675B2 (ja) * | 2008-12-11 | 2014-01-15 | 株式会社ジェイテクト | 工作機械用制御装置 |
| JP5168161B2 (ja) * | 2009-01-16 | 2013-03-21 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| US8970690B2 (en) * | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
| JP2010211623A (ja) * | 2009-03-11 | 2010-09-24 | Brother Ind Ltd | 作業支援システム |
| JP5062774B2 (ja) * | 2009-05-21 | 2012-10-31 | トヨタ自動車東日本株式会社 | 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 |
| JP5402293B2 (ja) * | 2009-06-22 | 2014-01-29 | ソニー株式会社 | 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法 |
| JP5218354B2 (ja) * | 2009-09-16 | 2013-06-26 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5375481B2 (ja) * | 2009-09-24 | 2013-12-25 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5282709B2 (ja) | 2009-09-25 | 2013-09-04 | ブラザー工業株式会社 | ヘッドマウントディスプレイを含む撮像データ利用システム |
| JP5348004B2 (ja) * | 2010-02-13 | 2013-11-20 | ブラザー工業株式会社 | ストライクゾーン提示システム |
| JP5574854B2 (ja) * | 2010-06-30 | 2014-08-20 | キヤノン株式会社 | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
| CN102446048B (zh) * | 2010-09-30 | 2014-04-02 | 联想(北京)有限公司 | 信息处理设备以及信息处理方法 |
| US9615746B2 (en) | 2011-07-05 | 2017-04-11 | Saudi Arabian Oil Company | Floor mat system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
| US9256711B2 (en) * | 2011-07-05 | 2016-02-09 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display |
| US10108783B2 (en) | 2011-07-05 | 2018-10-23 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices |
| US10307104B2 (en) | 2011-07-05 | 2019-06-04 | Saudi Arabian Oil Company | Chair pad system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
| US9492120B2 (en) | 2011-07-05 | 2016-11-15 | Saudi Arabian Oil Company | Workstation for monitoring and improving health and productivity of employees |
| US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| US8990682B1 (en) | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| US9547406B1 (en) | 2011-10-31 | 2017-01-17 | Google Inc. | Velocity-based triggering |
| JP6060512B2 (ja) * | 2012-04-02 | 2017-01-18 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| AR086047A1 (es) * | 2012-04-24 | 2013-11-13 | Sergio Martin Carabajal | Anteojo con computadora incorporada |
| JP5970243B2 (ja) * | 2012-06-04 | 2016-08-17 | 東邦瓦斯株式会社 | 疑似ガス漏洩箇所検査システム |
| JP6015250B2 (ja) | 2012-08-31 | 2016-10-26 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| EP2926338B8 (en) * | 2012-11-29 | 2020-03-04 | SoundSight IP, LLC | Video headphones, system, platform, methods, apparatuses and media |
| JP6179412B2 (ja) * | 2013-01-31 | 2017-08-16 | 株式会社Ｊｖｃケンウッド | 入力表示装置 |
| JP2014164537A (ja) * | 2013-02-26 | 2014-09-08 | Yasuaki Iwai | 仮想現実サービス提供システム、仮想現実サービス提供方法 |
| JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
| DE102014222048A1 (de) * | 2013-10-31 | 2015-04-30 | Ford Global Technologies, Llc | Anhängerzielplatzierungsassistiersystem und -verfahren |
| US20150199106A1 (en) * | 2014-01-14 | 2015-07-16 | Caterpillar Inc. | Augmented Reality Display System |
| CN105096539A (zh) * | 2014-04-28 | 2015-11-25 | 鸿富锦精密电子(郑州)有限公司 | 规范化操作训练***及方法 |
| JP5932889B2 (ja) * | 2014-06-09 | 2016-06-08 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法 |
| CN104661015A (zh) * | 2015-02-06 | 2015-05-27 | 武汉也琪工业设计有限公司 | 一种3d实景的虚拟现实模拟显示设备 |
| JP6272249B2 (ja) * | 2015-02-09 | 2018-01-31 | 株式会社日立製作所 | 組立ナビゲーションシステム及び組立ナビゲーション方法 |
| JP6534292B2 (ja) | 2015-04-24 | 2019-06-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法 |
| DE102015006632A1 (de) | 2015-05-21 | 2016-11-24 | Audi Ag | Verfahren zum Betreiben eines Diagnosesystems und Diagnosesystem für ein Kraftfahrzeug |
| KR101834447B1 (ko) * | 2015-12-04 | 2018-03-06 | 삼성중공업(주) | 작업 지시 장치 |
| US10642955B2 (en) | 2015-12-04 | 2020-05-05 | Saudi Arabian Oil Company | Devices, methods, and computer medium to provide real time 3D visualization bio-feedback |
| US10475351B2 (en) | 2015-12-04 | 2019-11-12 | Saudi Arabian Oil Company | Systems, computer medium and methods for management training systems |
| US10628770B2 (en) | 2015-12-14 | 2020-04-21 | Saudi Arabian Oil Company | Systems and methods for acquiring and employing resiliency data for leadership development |
| US10909872B2 (en) | 2016-01-08 | 2021-02-02 | Illinois Tool Works Inc. | Systems and methods to provide weld training |
| US10672294B2 (en) * | 2016-01-08 | 2020-06-02 | Illinois Tool Works Inc. | Systems and methods to provide weld training |
| JP2017162102A (ja) | 2016-03-08 | 2017-09-14 | 株式会社東芝 | 保守支援方法、保守支援システム、及び保守支援プログラム |
| JP2016154044A (ja) * | 2016-04-28 | 2016-08-25 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
| JP2018067119A (ja) * | 2016-10-19 | 2018-04-26 | 住友電装株式会社 | 作業指示装置 |
| JP2019032728A (ja) * | 2017-08-09 | 2019-02-28 | アズビル株式会社 | 表示装置および表示方法 |
| US20190057180A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | System and method for design optimization using augmented reality |
| US10824132B2 (en) | 2017-12-07 | 2020-11-03 | Saudi Arabian Oil Company | Intelligent personal protective equipment |
| KR102044856B1 (ko) * | 2017-12-28 | 2019-11-14 | 광운대학교 산학협력단 | 가상현실 기반으로 오토마타를 조립하고 시뮬레이션하는 장치 및 방법 |
| CN109078334B (zh) * | 2018-06-21 | 2020-04-14 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和*** |
| US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
| US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
| JP6835187B2 (ja) * | 2019-11-20 | 2021-02-24 | 富士ゼロックス株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
| US11322037B2 (en) | 2019-11-25 | 2022-05-03 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
| US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4001643B2 (ja) * | 1993-10-05 | 2007-10-31 | スナップ−オン・テクノロジイズ・インク | 両手解放型自動車整備装置 |
| JPH0922453A (ja) * | 1993-12-16 | 1997-01-21 | Chintai Ri | 手の立体形状入力方式 |
| JP3450704B2 (ja) * | 1997-09-01 | 2003-09-29 | キヤノン株式会社 | 位置姿勢検出装置及び情報処理方法 |
| US6625299B1 (en) * | 1998-04-08 | 2003-09-23 | Jeffrey Meisner | Augmented reality technology |
| JP3653196B2 (ja) * | 1998-06-30 | 2005-05-25 | 飛島建設株式会社 | 仮想現実感を利用した施工支援情報システム。 |
| JP2000259233A (ja) * | 1999-03-11 | 2000-09-22 | Ishikawajima Harima Heavy Ind Co Ltd | プラント運転監視支援装置 |
| JP4269482B2 (ja) * | 2000-04-27 | 2009-05-27 | コニカミノルタホールディングス株式会社 | 映像表示装置 |
| EP1182541A3 (de) * | 2000-08-22 | 2005-11-30 | Siemens Aktiengesellschaft | System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung |
| US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
-
2002
- 2002-06-20 JP JP2002180260A patent/JP3735086B2/ja not_active Expired - Lifetime
-
2003
- 2003-06-20 US US10/517,487 patent/US20060090135A1/en not_active Abandoned
- 2003-06-20 KR KR1020047020732A patent/KR100597942B1/ko active IP Right Grant
- 2003-06-20 WO PCT/JP2003/007852 patent/WO2004001677A1/ja active IP Right Grant
- 2003-06-20 CN CNB038143763A patent/CN1313980C/zh not_active Expired - Fee Related
- 2003-06-20 AU AU2003244317A patent/AU2003244317A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9448407B2 (en) | 2012-12-13 | 2016-09-20 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and work supporting system |
| US9823473B2 (en) | 2013-03-22 | 2017-11-21 | Seiko Epson Corporation | Head-mounted display device and control method for head-mounted display device |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2003244317A1 (en) | 2004-01-06 |
| CN1662934A (zh) | 2005-08-31 |
| WO2004001677A1 (ja) | 2003-12-31 |
| KR20050021996A (ko) | 2005-03-07 |
| JP2004021931A (ja) | 2004-01-22 |
| CN1313980C (zh) | 2007-05-02 |
| US20060090135A1 (en) | 2006-04-27 |
| KR100597942B1 (ko) | 2006-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3735086B2 (ja) | 作業誘導システム | |
| US9927948B2 (en) | Image display apparatus and image display method | |
| JP4853320B2 (ja) | 画像処理装置、画像処理方法 | |
| JP6387825B2 (ja) | 表示システム、及び、情報表示方法 | |
| US20170277257A1 (en) | Gaze-based sound selection | |
| JP4013100B2 (ja) | 電子カメラ | |
| JP5272827B2 (ja) | ヘッドマウントディスプレイ | |
| JP4826485B2 (ja) | 画像保存装置、画像保存方法 | |
| JP2017016056A (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
| US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
| KR20150135847A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
| JP2008236141A (ja) | 画像処理装置、画像処理方法 | |
| JP4203863B2 (ja) | 電子カメラ | |
| JP6590050B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
| US11393177B2 (en) | Information processing apparatus, information processing method, and program | |
| US20150338924A1 (en) | Information processing apparatus and method of controlling the same | |
| JP2009010987A (ja) | 電子カメラ | |
| WO2005004055A1 (ja) | 目画像撮像装置 | |
| KR101690646B1 (ko) | 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법 | |
| US20210240250A1 (en) | Head-mounted display apparatus and power saving control program for head-mounted display apparatus | |
| US20130229535A1 (en) | Client terminal, server, and program | |
| JP2007279445A (ja) | 画像表示装置 | |
| WO2017066992A1 (zh) | 头戴式显示设备、提示信息显示***及方法 | |
| JP2017083916A (ja) | ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末 | |
| JP2009302910A (ja) | 撮像装置及び画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051020 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3735086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081028 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131028 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |