JP3208939B2 - 頭部搭載型ディスプレイ装置を備えたモニタリング装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、生産機械の保
守を行う場合に、頭部搭載型ディスプレイ装置に表示さ
れた被写体の二次元画像情報と実視像とを重ね合わせる
ことにより当該被写体の構成要素との照合を容易にし、
実作業における情報活用を可能としたモニタリングシス
テムに関する。

【０００２】

【従来の技術】現在では、生産設備の稼働状況のモニタ
リングは、省力化や設備の予測保全や故障原因の迅速な
究明が可能となるように、コントロール装置を一カ所に
集中し設置した部屋、例えば、ラインサイドに設けられ
た集中監視室で行われている。このような集中監視室で
は、設備の状態が視覚的に認識できるようにモニタ装置
等を設けてあり、また、各設備の設計情報や制御デバイ
スから収集された情報等を活用することが可能になって
いる。

【０００３】

【発明が解決しようとする課題】集中監視室は、一般的
に、生産設備群から離れた所に設置されることが多い。
したがって、例えば、工場内の生産設備が故障した場
合、作業場所は監視室から離れた所となる。

【０００４】このため、集中監視室の端末の画面上では
各種の管理情報を見れるにもかかわらず、実際の故障修
理作業の現場では、従来通りに設計図面や、部品配置
や、電気配線状態を描いた制御図面を使用しながら被写
体を照合したり、ページンクや通信手段を使用し集中監
視室から情報を得ながら作業しており、保全作業や故障
修理にかかる負担が大きいという問題があった。

【０００５】本発明は、このような課題を解決するため
になされたもので、例えば、生産機械の保守を行う場合
に、ヘルメットに取り付けられたディスプレイ装置に表
示された被写体の二次元画像情報と実視像とを重ね合わ
せることにより当該被写体の構成要素との照合を容易に
し、保全作業や故障修理にかかる負担を減らし、実作業
において蓄積された情報の活用を計れるようにしたモニ
タリングシステムの提供を目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
の本発明は、設備情報をモニタリングするシステムにお
いて、各設備の設計情報や制御デバイスから収集された
蓄積情報から被写体関連の設備情報を抽出する選定手段
と、二次元画像情報の表示部と、外部の景色の観察部と
を有した頭部搭載型ディスプレイ装置を備えた表示手段
と、前記選定手段に対し対象設備を指示する設備指示手
段と、前記抽出情報を２次元画像情報として展開する変
換手段と、被写体情報の展開の態様を指示する態様指示
手段と、オペレータの存在位置及び当該オペレータが見
ようとしている方向に基づいて撮像領域を決定する認識
手段と、前記態様指示情報と前記撮像領域に対応するマ
スクを生成し、前記二次元画像情報から前記マスクに対
応するローカル画像情報を抽出する画像選定手段とから
なる表示制御手段と、前記設備指示情報と前記設備抽出
情報を送信あるいは受信する通信手段とを有することを
特徴とする。

【０００７】

【作用】このように構成した本発明は、各設備の設計情
報や制御デバイスから収集された蓄積情報から抽出され
たオペレータの周辺に存在する被写体の情報を、画像の
拡大倍率，縮小倍率，オペレータの仰角等の展開の態様
の指示をうけて二次元画像として展開を行い頭部搭載型
ディスプレイ装置に表示する。

【０００８】この時、撮像領域に対応するマスクをか
け、当該マスクがかけられている部分の画像のみを抽出
して出力されるため、オペレータが見ようとしている必
要な部分のみの画像が抽出されてディスプレイに表示さ
れ、実視像と重ね合わせて見ることが可能となる。

【０００９】

【実施例】以下、本発明の一実施例を図面について説明
する。

【００１０】図１は、本発明の一実施例に係るモニタリ
ングシステムの概要図、図２は、図１を機能的な構成で
表したブロック図である。

【００１１】選定手段１は、制御装置１１、表示装置１
２、入力装置１３、出力装置１４、通信装置１５、コン
トロール装置１６、データファイル１７等から構成され
る。通常は、ラインを構成する各設備の稼働状況をモニ
ター画面上で集中監視を行っており、各設備の設計情報
や制御デバイスから収集された蓄積情報をデータファイ
ル１７に保持している。

【００１２】また、設備画像は汎用的な作画ツールある
いは、イメージスキャナー等の画像入力装置で正確な画
像情報として入力されている。

【００１３】表示手段２は、前記２次元画像情報の表示
部と、外部の景色の観察部とを有する頭部搭載型ディス
プレイ装置を備えている。

【００１４】図１に示すものは、ゴーグルタイプとも言
われるものであり、ジャイロＧＲと温度センサＣを取り
付けている。この場合、両手を自由に使用できる点と、
内蔵されているジャイロによって検出されるオペレータ
の位置及び視線の方向が極めて正確に得られるという点
と、被写体の外観温度が得られる点とにおいて有利であ
る。

【００１５】このタイプの情報表示装置は、例えば、デ
ィスプレイをゴーグルのガラス面に設け、このガラス面
には、非常に小型の高輝度ディスプレイから放射される
画像が投光レンズを介して表示される。

【００１６】表示制御手段３は、対象設備を指示し選定
手段１から獲得した、オペレータの周辺に存在する被写
体の情報を一時記憶させるためのデータファイル３１
と、展開態様の指示情報に基づき前記データファイル３
１に保存してある抽出情報を２次元画像として展開して
保存するための画像メモリー３２と、前記ジャイロの情
報より認識したオペレータの視覚における撮像領域から
オペレータが見ようとしている必要な部分のみの画像を
前記画像メモリー３２から抽出し、表示手段２は出力す
る表示制御装置３３とを有している。

【００１７】また、表示制御手段３は、対象設備を指示
したり、被写体情報の展開の態様を指示するために、キ
ーボード部と指示内容や詳細条件の確認等のための表示
部を有している。キーボード部は、作業効率の面から、
使用頻度の高い指示項目、画像の拡大倍率，縮小倍率，
オペレータの仰角のための専用入力キーを設けることは
有利である。

【００１８】通信手段４ａ，４ｂは、前記設備指示情報
と前記設備抽出情報を、ワイヤレスで送信・受信する通
信装置である。

【００１９】次に、本実施例の動作を図３のフローチャ
ートで説明する。

【００２０】オペレータは、必要とする被写体関連の設
備情報、つまり、設備指示情報を、キーボートを使用し
表示制御手段３に入力する（Ｓ１）。

【００２１】通信手段４ｂは、前記設備指示情報を選定
手段１に送信する（Ｓ２）。

【００２２】選定手段１は、通信手段４ａを経由し受信
した前記設備指示情報を基に、各設備の設計情報や制御
デバイスから収集された蓄積情報が保存されているデー
タファイル１７から被写体関連の設備情報、つまり、設
備抽出情報を抽出し、通信手段４ａを経由し表示制御手
段３に送信する（Ｓ３）。

【００２３】表示制御手段３は、通信手段４ｂを経由し
受信した前記設備抽出情報を、データファイル３１に保
存する（Ｓ４）。

【００２４】オペレータは、ディスプレイへの表示画像
の倍率や仰角を調整するために、像の拡大倍率、縮小倍
率、オペレータの仰角等の展開態様の指示、つまり、態
様指示情報を、キーボートを使用し、表示制御手段３に
入力する（Ｓ５）。

【００２５】表示制御手段３は、前記態様指示情報に基
づき、前記データファイル３１に保存してある前記設備
抽出情報を２次元画像として展開し、画像メモリー３２
に保存する（Ｓ６）。

【００２６】ジャイロＧＲは、オペレータの現在位置と
頭部搭載型ディスプレイ装置の正面方向に置き換えられ
て認識されるオペレータの向き（視線方向）、具体的に
は、頭部搭載型ディスプレイ装置の存在する現在位置
（Δｘ，Δｙ．Δｚ）に関する信号及び情報表示装置の
正面方向がどちらの方向を向いているかどの程度の仰角
となっているかを示す方向信号（Δθｘ，Δθｙ，Δθ
ｚ）を出力する（Ｓ７）。 表示制御手段３は、前記ジ
ャイロＧＲから入力された方向信号（Δθｘ，Δθｙ，
Δθｚ）を基に、オペレータの存在位置と視線方向とを
間接的に認識し、画像メモリに展開されている画像にか
けるマスクの領域を演算する（Ｓ８）。

【００２７】表示制御手段３は、このマスクがかけられ
た画像情報のみを抽出して頭部搭載型ディスプレイ装置
２に表示する（Ｓ９）。

【００２８】表示制御手段３は、オペレータの指示の有
無を判断し、この判断の結果、変更がない場合は、ステ
ップＳ７からの処理を繰り返し、変更があると判断され
た場合は、次のステップに進む（Ｓ１０）。

【００２９】ディスプレイへの表示画像の倍率や仰角の
変更の有無を判断し、この判断の結果、変更がある場合
は、ステップＳ５からの処理を繰り返し、変更がないと
判断された場合は、次のステップに進む（Ｓ１１）。

【００３０】対象設備の変更の有無を判断し、この判断
の結果、変更がある場合は、ステップＳ１からの処理を
繰り返し、変更がないと判断された場合は、終了する
（Ｓ１２）。

【００３１】図４は、本実施例に係る頭部搭載型ディス
プレイ装置上の表示例であり、実視像Ｒと設備の断面図
の撮像ＶＲを示している。

【００３２】Ｃ１、Ｃ２は、センサーの値（温度）を、
ＡＢは、異常箇所を示している。また、異常箇所の表示
を、例えば、赤色にしたり、点滅させたりすることによ
り、作業者の危険箇所に対する認識度を高めることも可
能である。

【００３３】例えば、設備に異常が発生した場合には、
作業者は、装置図面や制御図面を参照しながら設備を点
検し、異常発生の原因を調査する。原因が大方どの部分
かが判明したら、更に、線番などを頼り、故障部品を探
り当てる。

【００３４】この作業は、ごく小型の装置が対象であれ
ば、さほど大変な作業ではない。しかし、対象が大型の
装置である場合は、部品点数が非常に多いため、故障部
品を探り当てる作業は、非常に大変な作業となる。

【００３５】一方、大型の装置は、重要な作業を行なう
場合が多い点や、故障個所は、一般に劣悪な環境で発生
し易く作業環境も悪い点から、故障の復旧や保全作業
は、可能な限り早く完了させることが望まれる。

【００３６】しかし、本実施例に係る装置では、上記表
示例に加え、設備の断面図を拡大縮小表示する機能を有
しているため、設備の外形を断面図で重ねることにより
異常箇所が容易に分かり、故障対応が素早くできる事に
なる。

【００３７】図５は、本実施例に係る装置のその他の表
示例である。

【００３８】本装置は、被写体の温度検出手段、例え
ば、温度センサーと、検出した温度を前記ディスプレイ
装置に表示する情報表示手段を有し、表示内容に、被写
体の温度情報を加えることを可能としたものである。

【００３９】例えば、プレス工場のような所では、高温
物質や高温設備が多く、また、これらは、外観上の低温
のものと区別が難しく、作業効率と安全性を満たすこと
は容易ではない。

【００４０】しかし、上記のように構成した本発明で
は、被写体の温度をその場で検出できるため、例えば、
被写体を素手でつかむか、あるいは道具を使うかを一瞬
で判断でき、安全性を保持しつつ作業効率の向上が計れ
る。

【００４１】また、温度の表示色を温度に対応させ、例
えば、被写体が低温の場合には、緑、高温になるに従い
黄色、赤と変化させ、作業者の温度に対するの認識度を
高めることも可能である。

【００４２】

【発明の効果】以上述べたように、本発明では、オペレ
ータが見ようとしている必要な部分のみの画像が抽出さ
れてディスプレイに表示されるため、実視像と撮像を重
ね合わせて見ることが可能となり、作業時に、外観上把
握できない情報や管理情報を同時に認識でき、作業効率
の向上、安全性の向上などを可能とする。

【図面の簡単な説明】

【図１】 本発明に係るモニタリングシステムの概要図
である。

【図２】 図１を機能的な構成で表したブロック図であ
る。

【図３】 実施例のフローチャートである。

【図４】 頭部搭載型ディスプレイ装置上の表示例であ
る。

【図５】 頭部搭載型ディスプレイ装置上のその他の表
示例である。

【符号の説明】

１…選定手段、 ２…表示手段、３
…表示制御手段、 ４ａ，４ｂ…通信手
段、Ｃ…温度センサー、 ＧＲ…ジャイ
ロ、Ｒ…実視像、 ＶＲ…撮像。

フロントページの続き (56)参考文献 特開 平６−213693（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05B 23/02 G06F 3/14

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 設備情報をモニタリングするシステムに
   おいて、 各設備の設計情報や制御デバイスから収集された蓄積情
   報から被写体関連の設備情報を抽出する選定手段（１）
   と、 二次元画像情報の表示部と、外部の景色の観察部とを有
   した頭部搭載型ディスプレイ装置を備えた表示手段
   （２）と、 前記選定手段（１）に対し対象設備を指示する設備指示
   手段と、前記抽出情報を２次元画像情報として展開する
   変換手段と、被写体情報の展開の態様を指示する態様指
   示手段と、オペレータの存在位置及び当該オペレータが
   見ようとしている方向に基づいて撮像領域を決定する認
   識手段と、前記態様指示情報と前記撮像領域に対応する
   マスクを生成し、前記二次元画像情報から前記マスクに
   対応するローカル画像情報を抽出する画像選定手段とか
   らなる表示制御手段（３）と、 前記設備指示情報と前記設備抽出情報を送信あるいは受
   信する通信手段（４ａ，４ｂ）とを有することを特徴と
   するモニタリングシステム。