図1は、本発明の遠隔作業支援システムの構成例を示す図である。図1の遠隔作業支援システムは、大別すると各種のセンサ群Sa、Sb、Scと、各種の記憶装置DBa、DBb、DBcと、複数の遠隔装置R1〜Rnと、遠隔装置R1〜Rnを操作する複数の制御装置C1〜Cnと、解析・可視化部Vにより構成されている。この遠隔作業支援システムでは、操作者M1〜Mnが制御装置C1〜Cnを介して、最終的に遠隔装置R1〜Rnを操作している。
この構成例によれば、DBaは複数の遠隔装置R1〜Rnに関連する遠隔装置関連情報DRを記憶する遠隔装置関連情報記憶装置であって、センサ群Saを介して複数の遠隔装置R1〜Rnの夫々の動きなどを検知し、入力記憶する。従ってこの部分は遠隔装置R1〜Rn側の動きを記憶、監視しているものである。
DBcは操作者M1〜Mnに関連する操作者関連情報DMを記憶する操作者関連情報記憶装置であって、センサ群Scを介して複数の操作者M1〜Mnの夫々の動きなどを検知し、入力記憶する。従ってこの部分は操作者M1〜Mnの一般的な行動、動きを記憶、監視しているものである。
DBbは操作者M1〜Mnが、制御装置C1〜Cnを用いて遠隔装置R1〜Rnを操作している状況を、操作者M1〜Mnに関連する操作者関連情報DMと、遠隔装置R1〜Rnの遠隔装置関連情報DRを関連付けた操作者−遠隔装置間情報DR/Mとして記憶する操作者ー遠隔装置間情報記憶装置であって、センサ群Sbを介して複数の遠隔装置R1〜Rnの夫々の動きと複数の操作者M1〜Mnの夫々の動きを互いに関連付けて検知し、入力記憶する。従って、この部分は、操作者M1〜Mnが制御装置C1〜Cnを用いて遠隔装置R1〜Rnを操作した状況についての行動、動きを記憶、監視しているものである。
図1は、典型的な遠隔作業支援システムの構成例を示しているが、この具体的な実例を示したものが図2、図3、図4に例示されている。このうち図2の例では、複数の遠隔作業に対して、一人ずつ操作者が操作している場合の構成例を示している。
図2において、遠隔装置は例えば、作業アームR1であり、あるいは作業アームR1の作業状況を撮影するカメラ付きアームR2である。それぞれの遠隔装置R1、R2には、制御装置C1、C2がそれぞれ接続されており、それぞれの制御装置C1、C2については、それぞれの操作者M1、M2が操作を分担している。なお図2ではさらに第3の操作者M3が関与している例を示している。操作者M3は例えば管理責任者であり、現場操作者であるM1、M2の背後から制御装置C3のモニタ画面などを見ながら、作業報告を受け、あるいは作業指示を与えている。なお201は、作業アームR1による作業対象である保全対象機器である。
またこの図には、3種類のセンサ群Sa、Sb、Scの例が記載されている。図の例では、遠隔装置である作業アームR1の動きなどを検知するセンサSaとして、カメラ付きアームR2に搭載されて視野角を可変に操作可能なカメラSa1が例示されている。
操作者M1、M2の一般的な行動、動きを検知するセンサScとして、Sc1からSc7が例示されている。Sc1は、管理責任者M3のヘルメットに固定されたカメラであり、現場の操作者であるM1、M2の背後からその動きを視野に入れて画像情報としてデータ入手している。またSc2、Sc4、Sc6は、各操作者M1、M2、M3の音声を記憶するマイクであり、Sc3、Sc5、Sc7は、各操作者M1、M2、M3の体の動きを計測する振動計である。
操作者M1、M2が、制御装置C1、C2を用いて遠隔装置R1、R2を操作している状況を記憶するセンサSbは、図示の例では操作員M1、M2と制御装置C1、C2を共に視野角内に収めるカメラSb2である。
図2の具体事例の場合における各種のセンサ群Sa、Sb、Scは、上記のようなものであるが、一般的にはさらに以下のようなセンサ類が適用可能であり、適宜の記憶装置に記憶することが可能である。
例えば、遠隔装置の状態を計測するセンサ群Saの例として、エンコーダ、ポテンショ、電流メータ、電圧メータ、圧力計などがある。遠隔装置に対する指示パラメータおよびセンサ群Saの出力結果は、例えば図15に示すようなデータ(遠隔装置関連情報DR)として、遠隔装置関連情報記憶装置DBaに保存される。
なお遠隔装置関連情報記憶装置DBaに保存される図15の遠隔装置関連情報DRとしては、共通項目として遠隔装置の識別番号とデータ取得の日付時刻の情報が付与される。またそのうえで制御情報であれば具体的なアクチュエータ、操作端の制御値が時刻とともに記憶され、位置情報であれば具体的なエンコーダの指示値が時刻とともに記憶され、計測情報であれば例えばカメラ映像として記憶されるのがよい。これらの遠隔装置関連情報DRは、その性格を端的に表現するならば、制御記録ということができる。
操作者M1、M2が、制御装置C1、C2を用いて遠隔装置R1、R2を操作している状況を記憶するセンサSbには、制御装置側のものと操作者側のものが存在する。このうち、操作者M1、M2によって制御される制御装置C1、C2の側についてみると、制御装置C1、C2には通常、複数のボタン、スイッチや、コンピュータシステムの場合のコントロールパネルなどの操作手段が配置されており、それらの操作手段を用いて、操作者M1、M2が遠隔装置を操作している。従って操作者がどのように遠隔装置を操作したかの履歴を分析するためには、制御装置C1、C2における上記操作手段の操作記録を監視すればよい。
他方、操作者M1、M2による遠隔装置側に対する行動を記憶するものとしては、操作者M1、M2の顔を可視光や赤外線等で写す視線を検知するカメラや、操作者M1、M2が身につけているヘルメット等に取り付けて操作者M1、M2の見ている視野を記憶する視野カメラがある。
これらセンサ群Sbによる計測結果には、制御装置における、複数のボタン、スイッチや、コンピュータシステムの場合のコントロールパネルなどの操作手段が作動した(操作者からアクションがあった)ログ、マウスなどのポインティングデバイスの位置やクリック等の履歴や、キーボード等からの文字入力の履歴、マイクロフォン等による音声入力の履歴も、操作者―遠隔装置間情報に含まれる。
これらの情報は、例えば図16に示すようなデータ(操作者から遠隔装置間情報DR/M)として、操作者から遠隔装置間情報記憶装置DBbに保存される。
なお操作者から遠隔装置間情報記憶装置DBbに保存される図16の操作者―遠隔装置間情報DR/Mとしては、共通項目として遠隔装置、制御装置、操作者の識別番号とデータ取得の日付時刻の情報が付与される。またそのうえで制御行動であれば具体的な指令先指令値が時刻とともに記憶され、計測情報であれば例えば、操作者を撮影し操作者の視線情報などを抽出したカメラ映像、操作者目線で撮影し操作者の視覚情報を抽出したカメラ映像、ポインティングデバイス位置、ソフトウェア故障個所、キーボからド入力情報などを時刻とともに記憶されるのがよい。これらの操作者―遠隔装置間情報DR/Mは、その性格を端的に表現するならば、制御行動記録ということができる。
最後に、センサ群Scについてみると、操作者M1、M2が遠隔装置R1、R2を制御する場合、操作者M1、M2の周囲の環境にも、遠隔装置R1、R2の操作の成否は影響を受ける。例えば、操作者M1が別の操作者である管理責任者M3と会話をして、遠隔装置R1、R2の操作に必要な重要な情報を聞き出す、あるいは、動作の状況を確認・連絡する、といった状況が考えられる。これらの操作者間の動作の履歴は、通常の制御装置C1、C2には記憶されないため、操作者M1と操作者M3の間の情報を記憶するために、センサ群Scによる計測が必要となる。
センサ群Scとしては、例えば、操作者の発話を記憶するマイクロフォンや、操作者全員を指示・監督する立場の操作者である管理責任者M3が携帯するヘルメット等に取り付けた状況監視カメラ、操作者の体の動きを計測する振動計、などがある。また、操作者をとりまく環境も操作の成否に影響を与える可能性があるため、温度、湿度、騒音といった環境状況を測定する計測器もセンサ群Scに含まれるのがよい。
これらのセンサ群Scの計測結果は、例えば、図17に示すようなデータ(操作者関連情報DM)として、操作者関連情報記憶装置DBcに保存される。
なお操作者関連情報記憶装置DBcに保存される図17の操作者関連情報DMとしては、共通項目として操作者の識別番号とデータ取得の日付時刻の情報が付与される。またそのうえで計測情報について例えば、発話情報に基づく対話状況を抽出したマイクロフォン情報、操作者の位置情報を抽出したカメラ映像、操作者の身体の動きの情報を抽出した振動情報、気温、湿度、時間などの環境情報などが、時刻とともに記憶されるのがよい。これらの操作者関連情報DMは、その性格を端的に表現するならば、操作者行動記録ということができる。
生成されたこれらの情報(遠隔装置関連情報DR、操作者−遠隔装置間情報DR/M、操作者関連情報DM)は、各記憶装置DBa、DBb、DBcに記憶されたのち、解析・可視化部V内の記憶装置DBd(図2参照)に移される。解析・可視化部Vでは、生成されたデータの保存の他、データの内容を後述のように分析し、図18に示すような、統合分析データDXとして、分析結果を保存する。
図18の統合分析データDXの一例によれば、共通項目として操作者の識別番号とデータ取得の日付時刻の情報が付与される。また分析データとしては、遠隔装置関連情報(制御記録)DRからの分析情報と、操作者−遠隔装置間情報(制御行動記録)DR/Mからの分析情報と、操作者関連情報(操作者行動記録)DMからの分析情報とで、構成されている。
遠隔装置関連情報(制御記録)DRからの分析情報としては、抽出されたミッションのリスト、時間とミッションの対応データ、遠隔作業に使用された遠隔装置のリスト、ミッションの成功・失敗の程度を表わす指標などが含まれる。
操作者から遠隔装置間情報(制御行動記録)DR/Mからの分析情報としては、操作者の操作中に使用した情報(視線、資格情報、ポインティングデバイス位置、ソフトウェア操作、キーボード入力情報)を時刻ごとに整理したデータ、操作者の操作中に使用した情報(視線、資格情報、ポインティングデバイス位置、ソフトウェア操作、キーボード入力情報)を時刻に対して統計処理し、頻度別に整理したデータ、ミッションとの相関値などがある。
操作者関連情報(操作者行動記録)DMからの分析情報としては、操作者の行動情報(対話の相手、発話、位置、身体の動き)を時刻ごとに整理したデータ、操作者の行動情報(対話の相手、発話、位置、身体の動き)を時刻に対して統計処理し、頻度別に整理したデータ、操作者の環境情報(気温、湿度、騒音)を時刻ごとに整理したデータ、ミッションとの相関値などがある。
なお、保存された分析結果は、データを読み出して、再生することができ、分析結果を更新・修正し、再度、分析結果として保存することができる。これらの分析結果や、さらに以前に生成され保存された、当該遠隔作業とはミッションや目的の異なる遠隔作業に関する外部データを参考にして、実際に遠隔装置を作業するための参照データとして、これらの記憶されたデータは活用され、遠隔作業の支援に適用される。
先にも述べたように、図2、図3、図4は、本発明の遠隔作業支援システムを例えばプラントの保全に適用した一例を示す図である。図2は、複数の遠隔作業について一人ずつ操作者が操作する場合の構成例を示しており、図3は複数の遠隔作業について一部の遠隔装置の操作を自動化している場合の構成例を示しており、図4は複数の遠隔作業に対して、全ての遠隔装置の操作を自動化している場合の構成例を示している。図3では、操作者M2の部分を自動化した構成を示しており、図4では操作者M1、M2の部分を自動化した構成を示している。いずれの場合にも、管理責任者M3が立ち会っている。
これらの統合分析データDXの保存・再生・支援の処理は、図9に示した機能のモード選択の処理フロー、図10に示した記録モードの処理フロー、図11に示した再生モードの処理フロー、図12、図13、図14に示した支援モードの処理フローによって、実行される。これらの処理フローの詳細については、後述する。
ここであらためて、遠隔装置の支援の必要性について説明しておく。プラントなどにおける保全作業は、機器の故障や修理など、日々作業現場の環境が変化していく。また、熟練作業者が減少するという社会潮流を受け、作業に携わるメンバの人数・技量・構成が変化することが想定される。このように、変化する環境(未知環境)や熟練した操作者が不足する現場においても、よりよい遠隔作業を実施する必要がある。
このための対策として、従来、想定しうる作業環境を模擬して、作業に携わる可能性のある複数のメンバやチームによって、トレーニングやモックアップ試験という事前訓練が実施されている。これらの訓練により、操作者の熟練度を向上させるとともに、装置や環境、作業者同士、環境になれ、実際に遠隔作業を行う本番での作業に備えている。限られた人員と時間で遠隔作業の訓練を行うため、より効率的な遠隔作業を支援することが望まれる。
そのため、本発明では、事前に実施する訓練時において、上記の情報(遠隔装置関連情報DR、操作者−遠隔装置間情報DR/M、操作者関連情報DM)を生成し、保存して、これらのデータを参照データとする。そして、実際の作業現場で遠隔作業を実施する際に、その当該作業で生成されるデータと、参照データ(過去に生成された情報(遠隔装置関連情報DR、操作者−遠隔装置間情報DR/M、操作者関連情報DM))とを比較することで、当該作業において、過去どのような操作が望ましい結果につながったか、あるいは、過去どのような行動が失敗に繋がったかといったデータを活用して、遠隔操作の成功確率を高め、一方で、失敗の予兆を診断し、これらを可視化することで、遠隔作業を支援することができる。
遠隔作業支援には、現在行われている作業のミッションの把握と、操作者がどのように制御装置を通じて遠隔装置に働きかけたかの記憶と、作業者間のどのような質・量の行動がなされていたか、という3種類の情報を統合的に記憶することが不可欠である。ここで、統合的にという意味は、少なくとも、3種類の情報(遠隔装置関連情報DR、操作者−遠隔装置間情報DR/M、操作者関連情報DM)が時系列で整理されていることと、遠隔作業のミッションごとに整理されているということを、含んでいることを意味する。
3種類の情報(遠隔装置関連情報DR、操作者−遠隔装置間情報DR/M、操作者関連情報DM)が統合されていない場合、例えば、遠隔装置の制御パラメータの記憶しか存在しない場合は、そのパラメータをどのように操作者が入力したかという情報(ノウハウ)が欠落する。例えば、当該遠隔装置を監視する特定のカメラ画像に注目していたという記憶が残らない。したがって、トレーニングで成功した有るミッションをおびた遠隔作業を再現仕様とした場合、操作者の制御装置に対する行動を再現することが困難となるという課題がある。
また、制御装置と操作者の間のマンマシンインターフェースの記憶だけでは、実際に遠隔装置を構成するモータ等のアクチュエータをどのようなパラメータで動作させたかという情報が欠落する。また、当該操縦作業が、遠隔作業全体でどのようなミッションに該当するかという作業そのものに関する情報が欠落する。
同様に、操作者のみの情報を記憶しても、遠隔装置の操作パラメータや、操作者がどのように遠隔装置に働きかけたかといった情報(ノウハウ)が欠落する。
図1の遠隔作業支援システムは、上記のように構成されているが、ここには計算機で構成され、以下に示す処理フローを実行する処理装置が記載されていない。処理装置は、図1の解析・可視化部Vあるいは制御装置Cにおける演算機能を利用して構成されてもよく、別途専用計算機で構成されていてもよい。いずれの場合であっても、処理装置は図1の構成機器と互いに接続されて、各部の情報を共有する。また処理装置は表示モニタを含み、処理結果を表示することで操作者に各種の処理結果を提示する。また処理結果を制御装置Cに与えて、遠隔装置の自動制御を可能とする。
以上の点を踏まえて、処理装置で実施される本発明の処理フローについて、図9〜図14を用いて説明する。まず、遠隔作業支援システムの動作モードの選択は、例えば、図9のようにシリアルに選択することができる。
本発明に係る遠隔作業支援システムの利用者は、システム利用に当たりいくつかの動作モードを選択することができる。動作モードの1つ目は、遠隔作業現場において今から各種の情報を入手して記憶する記録モードであり、2つ目は過去に記憶した情報を用いて過去の状況を再現する再生モードであり、3つ目は過去の経験を活かして今から行う遠隔作業を支援するための支援モードである。
図9には、遠隔作業支援システムの利用者が、遠隔作業支援システムを用いて今から行いたい動作モードを決定するための処理フローが例示されている。この処理フローでは要するに、利用者が行いたい動作モードを選択入力(処理ステップS11)し、処理ステップS12、S14、S16ではそれぞれ記録モード、再生モード、支援モードであることを判断して、当該のモードが指定されている時に、処理ステップS13、S15、S17を実行せしめるものである。なお処理ステップS13における記録モードの具体的な処理フローが図10に示され、処理ステップS15における再生モードの具体的な処理フローが図11に示され、処理ステップS17における支援モードの具体的な処理フローが図12に示されている。
このうち処理ステップS13における記録モードでは、図10に示すように、前述の3種類の情報(遠隔装置関連情報DR、操作者−遠隔装置間情報DR/M、操作者関連情報DM)を記憶し、統合分析データを生成し、データを保存する。具体的には、例えば図2のプラントを対象とした計測監視により、処理ステップS131において図15に例示した遠隔装置の制御記録DRを入手し、処理ステップS133において図16に例示した操作者による制御行動記録DR/Mを入手し、処理ステップS135において図17に例示した操作者の行動記録DMを入手する。
次に処理ステップS132において制御記録DRについて制御カテゴリの前分析を行い、処理ステップS134において制御行動記録DR/Mについて制御行動の前分析を行い、処理ステップS136において操作者の行動記録DMについて操作者行動の前分析を行う。
処理ステップS137では、各前分析の結果を用いて、図18に例示した統合分析データDXを生成する。統合分析データDXは、処理ステップS138において解析・可視化部V内の記憶装置DBd(図2参照)に移され保存される。尚、この場合に実行される前分析の具体的な内容について、図5から図7を用いて後述する。また処理ステップS137の具体的な処理内容について別途図13により説明する。
処理ステップS15における再生モードでは、図11に示すように、統合分析データDXの読み出しの他、3種類の個別の情報(制御記録DR、制御行動記録DR/M、行動記録DM)を再生することができる。このとき、分析結果(具体的には、ミッションのカテゴリ分け、操作者の動作の水準分け、操作者間の対話状況など)を確認し、修正・更新をして新たなデータとして保存することができる。
具体的には、例えば処理ステップS151において統合分析データDXを読み出し、再生し、さらに処理ステップS152、S153、S154においてそれぞれ制御記録DR、制御行動記録DR/M、行動記録DMを再生する。これらの再生は解析・可視化部Vの画面上に表示されて利用者に視認可能とされるが、この場合の可視化は時刻データが同期化された状態での表示とすることにより、過去のある時点においてプラント内で生じていた状況を総合的に把握することが可能となる。
処理ステップS155では、過去の状況をあるがままに表示再生するのではなく、各種情報(制御記録DR、制御行動記録DR/M、行動記録DM)の相関性などの分析結果について、表示し、さらには分析結果を新たなデータとして保存することもできる。処理ステップS156では、分析結果について更新保存の必要性を判断し、更新が望ましい場合には処理ステップS157において保存処理を実施する。
処理ステップS17における支援モードの前半では、図12の上半分の処理(S13)に示すように、トレーニング等の訓練を想定した事前の遠隔作業において、統合分析データDXを生成する。この処理は、図10の記録モードと基本的に同じ処理である。
ここでは例えば図2のプラントを対象とした計測監視により、処理ステップS131において図15に例示した遠隔装置の制御記録DRを入手し、処理ステップS133において図16に例示した操作者による制御行動記録DR/Mを入手し、処理ステップS135において図17に例示した操作者の行動記録DMを入手する。次に処理ステップS132において制御記録DRについて制御カテゴリの前分析を行い、処理ステップS134において制御行動記録DR/Mについて制御行動の前分析を行い、処理ステップS136において操作者の行動記録DMについて操作者行動の前分析を行う。処理ステップS137では、各前分析の結果を用いて、図18に例示した統合分析データDXを生成する。処理ステップS137の具体的な処理内容について別途図13により説明する。なお処理ステップS139では、処理ステップS137で生成された統合分析データDXに加えて、過去の分析データや外部データも参照データとして読み込まれる。
ここで、処理ステップS132、S134、S136などで行われる前分析の具体事例を図5、図6、図7で説明する。
まず図5は、図10、図12の処理ステップS132における制御記録DRの前分析を説明するためのものであり、遠隔装置の制御パラメータの時系列データの例を示している。図5では、横軸に時間を取り、縦軸に複数の制御パラメータの時系列的変化状況を示している。図5の各パラメータは時系列変化を示しているが、このままでは互いの相関や関連は明確でない。このことから前分析としては、例えば複数のパラメータのトレンドをプロットし、パラメータの変化の傾向が似ている時間領域(501〜503)に区分する。そのうえで、これらの区分を定量的に行う方法として、例えば、図19に示すように、パラメータを多次元空間上にプロットし、多次元空間内の相互の距離の近さでカテゴライズをすることで、カテゴライズされたグループにおけるミッションを明らかにすることができる。制御記録DRについての前分析の処理は、要するに記憶した複数のデータの相互関係から、遠隔装置のミッションを推定したものである。
なお図19は、遠隔装置関連情報からミッション推定の方法の一例を示す図である。
図6は、図10、図12の処理ステップS134における操作者―遠隔装置間の制御行動DR/Mの前分析を説明するためのものであり、例えば、操作者の視線(どこを見ているか)についての時系列データの例に該当する。図6では、横軸に時間を取り、縦軸に対装置行動パラメータとして、遠隔装置側に対する作業者視線の時系列的変化状況を示している。図6の視線の時系列のデータをみると、ある水準にデータが偏在する領域601〜603が出現する。このことは、作業者が遠隔装置或は制御装置側のいずれかの点、或は方向について関心をもって注視していることを意味している。このように、ある水準に発生する頻度の多さから、装置への行動のカテゴライズが可能となる。制御行動DR/Mについての前分析の処理は、要するに記憶した複数のデータの相互関係から、操作者が操作作業を行う環境および、操作者と他の操作者に対する行動履歴を抽出したものである。
図7は、図10、図12の処理ステップS136における操作者行動情報DMの前分析を説明するためのものであり、例えば、3人の操作者の発声についての時系列データの例に該当する。図7では、横軸に時間を取り、縦軸に3人の操作者の発話計測値を時系列に表している。図7の例の区間701によれば、操作者M1とM2がほぼ時間的に同じ区間で発話がされていることから、この区間で両者が会話したことが推定できる。このようにして、操作者間のコミュニケーションを分類・定量化が可能となる。制御行動DR/Mについての前分析の処理は、要するに記憶した複数のデータの相互関係から、操作者の遠隔装置に対する行動履歴を抽出したものである。
再度図12に戻り、一連の処理フローの後半部においては、このような前分析を行った後、遠隔操作のミッションごとに、装置に対する行動、操作者に対する行動を関連させて、統合分析データとして保存する。
図12の後半部において、処理ステップS171では、前半処理で生成された統合分析データDXによる操作支援を開始する。統合分析データDXによる操作支援処理ステップS171具体的な処理内容について別途図14により説明する。操作支援開始されると、処理ステップS172、S173、S174では、それぞれ遠隔装置制御の可視化・提案、制御行動の可視化・提案、発明者行動の可視化・提案を実行する。これらの処理は、表示モニタ画面上に統合分析データDXを可視化して表示させる際に、利用者に理解しやすい、見やすい表示形式を提案して選択させるためのものである。
ちなみに、これらのデータを可視化して表示した例を図8に示す。図8は横軸に時間を取り、縦軸に遠隔装置制御、制御行動、発明者行動の各データを帯グラフで表示することで可視化を図っている。帯グラフは、最初の1本は制御のミッションのカテゴリを表している。たとえば、t1からt2の時間においては、ある特定の行動(例えば、あるカメラ画像を見る、ある操作者と会話する)に応じて、旗マークのようなインデックスを示す。このように表示することで、統合分析データを再生した際に、どのミッションで何が起きていたかを可視化でき、分析データを修正することを容易とする。また帯や旗は当該時刻の状況を色、模様などで区別して表示することで、多様な情報を表示可能である。
また、分析データは図20のように可視化され、あるミッションが出現する区間501において、操作者が遠隔装置に対して起こした行動の頻度が円グラフで表される。このとき、当該ミッションの合否の程度を表すパラメータと同時に、3種類の情報が記憶されていることから、より高い成功確率を与える行動の頻度や、逆により失敗の頻度が高い行動の頻度を可視化できる。
表示画面に可視化表示された各種のデータを確認した操作者が行動した結果を受けて、図12の処理ステップS175、S176、S177では、新たな状態についての遠隔装置の制御記録DR、操作者による制御行動記録DR/M、操作者の行動記録DMを入手する。処理ステップS178では、処理ステップS175、S176、S177で入手した新たな記憶を用いて新たな統合分析データを生成する。処理ステップS178における統合分析データ生成処理については、図13を用いて後述する。処理ステップS179では、支援作業継続の可否を判断し、適宜継続実行する。
処理ステップS17における支援モードの処理によれば、訓練より時間的に後に行われる遠隔作業において、3種類の情報(制御記録DR、制御行動記録DR/M、行動記録DM)が記憶され、前記の参照データと比較することで、現在行われている操作動作に対して、より適切にする提案や、失敗の予兆を含む動作に対する警告といった情報が可視化され、遠隔作業が支援される。
図13は、統合分析データの生成のフローの詳細を示すである。図10、図12内の処理ステップS137あるいは図12の処理ステップS178に適用される処理フローである。この処理により、前分析後の3種類の情報(制御記録DR、制御行動記録DR/M、行動記録DM)は、遠隔装置のミッションを基準とし、時系列データとミッションが紐付けされる。つまり、遠隔装置関連情報を用いて推定した遠隔装置のミッションと、操作者関連情報を用いて抽出した操作者の遠隔装置に対する行動履歴と、操作者−遠隔装置間情報を用いて抽出した操作者が操作作業を行う環境および、操作者と他の操作者に対する行動履歴が紐付けされる。
なお、図9から図14の各モードにおける処理の結果、あるいは途中の処理過程は、適宜処理装置を構成する表示モニタなどに表示されて、利用者や操作者に供用される。また表示モニタには、適宜各種のデータベースの内容が
図13の最初の処理ステップS100では、遠隔装置Rの制御記録DRに対する「制御カテゴリ」の前分析結果を時系列データAとして読み込み、処理ステップS101では、操作者による制御行動記録DR/Mに対する「制御行動」の前分析結果を時系列データBとして読み込み、処理ステップS102では、操作者の行動記録DMに対する「操作者行動」の前分析結果を時系列データCとして読み込む。
処理ステップS103では、時系列データAのデータ(時間に対するミッション)を基準として、あるミッションが発生している時間に、対応したデータB、データCから、ミッションとデータB、データCを紐づける。なお、同様の処理は、時系列データBのデータ(時間に対するミッション)を基準として他のデータA、Cを紐づけし、さらには時系列データCのデータ(時間に対するミッション)を基準として他のデータA、Bを紐づけしておくのがよい。
処理ステップS104では、時間、ミッション、データB、データCの内容を統合データとして生成する。
図14は、統合分析データによる操作支援フローの詳細を示すである。図12内の処理ステップS171に適用される処理フローである。なお、処理ステップS171の処理の前提としては、図13の統合分析データの生成フローが実行されており、対象となる統合分析データが存在しているものとする。
図14に示す統合分析データによる操作支援フローの最初の処理ステップS200では、生成された統合分析データを入力データとして読み込む。この場合に、統合分析データは、例えば時系列データAのデータ(時間に対するミッション)を基準として、あるミッションが発生している時間に、対応したデータB、データCから、ミッションとデータB、データCを紐づけした内容のものである。
さらに処理ステップS201では、過去の統合分析データおよび外部記録データ(ミッション、データA、データB、データCの内容)を参照データとして読み込む。これらの参照データは、図12の処理ステップS139により適宜取り込まれて利用される。
処理ステップS202では、遠隔装置の操作情報(ミッション)の他次元情報の類似度を比較する。
処理ステップS203では、統合分析データについて類似するミッション(1つあるいは複数個)を抽出し、参照データ(過去の統合分析データ及び外部記録データ)において、類似ミッションに紐づけされているデータBおよびデータCを読み出す。
処理ステップS204では、操作が自動操作によるものか否かを判断し、自動操作の場合には処理ステップS206の処理を実行し、自動操作でない場合には処理ステップS205の処理を実行する。
自動操作でない場合の処理ステップS205では、遠隔装置のオペレータに、類似ミッションがうまくいった場合のデータB、データCを推奨値として提示する。また、遠隔装置のオペレータに、類似ミッションがうまくいかなかった場合のデータB、データCを警告(失敗の予測・予兆)として提示する。
自動操作である場合の処理ステップS206では、類似ミッションがうまくいった場合のデータAおよびデータBに基づき遠隔装置を操作するとともに、遠隔装置のオペレータに提示する。また、遠隔装置のオペレータに、類似ミッションがうまくいかなかった場合のデータA、データB、データCを警告(失敗の予測・予兆)として提示する。
以上、本発明に係る遠隔作業支援システムについて説明したが、以下プラント内作業の具体事例により、本発明による現場作業内容及び操作内容の一事例と、記録モード、再生モード、支援モードの各モードの具体内容について説明する。
図21は、遠隔装置であるカメラにより現場作業内容を把握する場合を例として遠隔作業支援について説明するための図である。図21において、遠隔装置R1は保全対象機器201を固定把持するロボットであり、遠隔装置R3は固定された保全対象機器201である配管を切断する溶接切断用のロボットであり、遠隔装置R2は保全対象機器201に対する固定、切断作業状態を視野角内に収めて監視するカメラ(センサSa1)を搭載したロボットである。
この作業では、3台のロボットを用いて配管を切断する。操作者がロボットR3による固定作業と、ロボットR1による切断作業を行い、ロボットR2のカメラによる監視作業は自立、自動化を図りたい。これにより、操作者は表示モニタ画面を見ながら、ロボットR3、R1による手元作業に集中することができる。このようにこの例では、位置や硬さの不明な配管201に対して、ロボットR1での配管把持、ロボットR3での切断、その全体状況の観察を行うカメラ搭載ロボットR2で構成して作業を行う。
遠隔作業支援システムを用いる前の事前トレーニングでは、カメラ(ロボットR2)は人が動かし、作業手順ごとに、どういうカメラ映像がよかったかを記録に残しておく。この事前トレーニングとその後の評価が、図10の記録モードに対応している。
具体的には、把持や切断作業時に、配管201は表示モニタ画面内のどの位置に映っていて、どのロボットをどんな角度や距離で移動しているかを検討する。この結果、例えば把持作業では、配管とロボットR1の手先が映った、カメラ画像D2のような画像がよいということが判明する。同様に、切断作業では、配管201とロボットR1、R3が映ったカメラ画像D2のような画像が望ましい。また作業ごとの人の操作や、操作者間の会話の他、ロボットR3の切断に使った切断治具について、その押しつけ時間・力、ロボットR2の把持の位置・力・タイミング、ロボットR2のカメラの角度や照明、ズームなどが記録される。
トレーニングでは複数回のトライアルを実施し、これらの記録を得る。この機会を通じて、人や条件や切断対象の配管の位置や材質を変化させて繰り返しトレーニングする。また複数のトライアルで記録したトレーニングデータに対して、例えば、数値のばらつきや相関を見る。図22は、複数のトライアルで記録したトレーニングデータの一例を示す図である。図22の横軸は全トレーニング時間であり、3回のトライアル期間Tr1、Tr2、Tr3に分かれている。縦軸は各トライアル期間Tr1、Tr2、Tr3におけるパラメータp1、p2、p3を示している。これらのトレーニングにより得られた複数パラメータp1、p2、p3についてのトレーニングデータE1、E2、E3が、図10の記録モードにおける制御記録DR、制御行動記録DR/M、行動記録DMの一部として利用されている。
図22には、一例として、3回のトライアルTr1、Tr2、Tr3におけるパラメータp1、p2、p3についてのトレーニングデータをE1、E2、E3として示している。なお図22では3種類のパラメータp1、p2、p3のトレーニングデータE1、E2、E3しか記載していないが、通常パラメータpは数十以上大量にある。これらは、同一の時間帯で観測入手された複数のパラメータが時刻を合わせて表記されたものである。
この時間変化事例によれば、例えば、パラメータp1のデータE1は、3回のトライアルごとに右下がりの傾向は類似しているが、各トライアルにおける値は違うものとなっている。パラメータp1のデータE1として、例えば、把持用のロボットR1の力などのパラメータが考えられる。トライアルごとに、配管の把持という行為は同じだが、配管の姿勢や位置が異なるため、把持に必要な力が異なるものとなっている。
パラメータp2のデータE2は、トライアルごとに値も上下の変動も異なるものとなっている。パラメータp2のデータE2として、例えば、切断ロボットR3の切断工具にかかる電流などが考えられる。配管の材質がことなるため、硬さやもろさがことなるため、トライアルごとの試行錯誤が発生し、値がばらつくものとなっている。
パラメータp3のデータE3は、トライアルごとにほぼ同じ傾向を示すものである。パラメータp3のデータE3として、例えば、カメラのズームの程度などが考えられる。配管の位置や材質によらず、どこをどの程度拡大または縮小してみると作業者が作業しやすいか、という問題は変化がすくないものとなっている。
例えばこのようにして、複数のトライアルを含むトレーニングデータの、トライアルごとの変化を分析することも、図10の記録モードでの前分析に相当する処理である。図5から図7の前分析は、このトレーニング段階で入手したデータを対象として行われる。
この結果を用いて、人の作業からロボットの自律・自動的な作業として選定するのに望ましい作業が選ばれる。具体的には、トライアルごとに、上下の変動や絶対値の変化が大きくない操作が、ロボットの自律・自動的な作業として選定するにふさわしい作業である。トレーニングで得られた値の平均および標準偏差を取得して、あるしきい値に入る確率が高い作業が選定されることになる。今回の例では、パラメータp3のデータE3のカメラ操作が候補となる。
図10の記録モードにおける統合分析データ生成では、図21の各作業(把持、切断、監視)において、相関的な関係が導かれる。例えば、作業が選ばれた後は、カメラ操作全体の自律化・自動化を検討するため、トライアルに含まれる個別のミッションの分類、ミッションごとのカメラ操作のパラメータ(位置、角度、ズーム、照明など)について、パラメータの値の傾向(値の平均・標準偏差、大小の変化など)が統合分析データDXとして生成され、記録される。以上の処理が図10の記録モードで行われる具体的な作業内容である。
図11の再生モードは、統合分析データDXとして求められた各作業(把持、切断、監視)の相関的な関係を、時系列的に正確に再現することである。なお記録されたデータは、これを表示モニタに表示して、ミッションやカテゴリの分類に不適切なものがないか、例えば、非熟練者のトレーニングのためのトライアルが入っているということがないかを人間の手によって調査し、排除などの処理をするのがよい。あるいは、統計データをとって、大きく値や傾向がはずれているトライアルを自動的に記録データから排除などの処理をするのがよい。以上が再生モードであり、データの排除は、更新(図11の処理ステップS155)にあたる。
図12の支援モードでは、トレーニングではなく、実際の作業にこの手法を適用する。支援モードはトレーニングと異なるため、支援モードの前半(図12、処理ステップS13)では、ロボットや操作者のパラメータを記録・分析することで、トレーニングで実施したどのミッションに近い動作をしているか、図12の過去の統合分析データ、あるいは外部データを参考に分類する。
次に統合分析データによる操作支援(図12)として、分類されたミッションに基づき、ミッションに紐づけられた記録データを呼び出してくる。呼び出すというのは、過去のデータそのままでもよいし、過去のデータの平均値など統計処理したデータ、あるいは、ミッションの特性を表わすパラメータ等により、記録データや過去あるいは外部データ等から内挿や外挿、関数などで推定される値を算出することでもよい。
図21の事例であれば、カメラ動作のパラメータ(具体的には、位置、角度、ズームなどの統計データから推定される値)から、ミッションに紐づけた値を引き出す。例えば今回は、トレーニング時の分析により、カメラ操作に関するロボットを自律・自動化すると決定しているため、上記の引き出された値に基づいて、カメラの位置、角度、ズームといった値を実際に自動的に操作する。なお、このとき、作業の状態(他のロボット、他の操作者、等)は、常に図12にあるように、「記録」され、「統合データが生成」されることで、動的に、現時点でどの「ミッション」にあるかが、推定されているものとする。したがって、推定されるミッションが異ったと判断されれば、カメラ動作において新しいミッションに対応した値が読みだされることになり、カメラ動作のロボットが動的に変化することとなる。
なお、これらの自律・自動運転時の操作状況もあらたに記録されて、統合分析データが生成される。これにより、カメラ動作を自律・自動化することの評価をおこなうことができ、例えば、ミッションのカテゴリ分けや、算出される値の統計処理や内挿・外挿・関数等の計算を、より最適なものに見直すフィードバックループを生成することができる。これにより、使うほどに、賢くなるという特徴を得ることができる。なお、自律化しないロボットについては、操作者向けに推奨の値が表示され操作を支援する。
操作支援に対する上記自動・自律化対応は、カメラの部分が中心であったが、これは他の作業であっても同様に行うことができる。例えば、切断への適用例として、切断工具の選定や切断作業パラメータの最適化に適用してもよい。この場合は、ある材質に対して、切断操作に関わる値が、複数トライアルを含むトレーニングに対して、大きな変動(ばらつき)がないような場合に適用される。
仮に切断が容易な材質を材質αとする。トレーニングでは、材料αの他、材料β、材料γなど、多岐にわたる材料での試験を行うものとする。材料α〜γに対する、装置や人の動作のデータの変動から、今切断しているものがどの材料に相当するか、統合分析データにおいて、特徴量を抽出できたとする。
取得するデータの値や、ばらつきの大きさ、ロボットの受ける反力や振動などいろいろなパラメータで抽出できると想定される。このとき、材料α〜γのちがいをミッションの違いとして認識できたとする。そうであれば、実物を対象として切断作業に臨む際に、今実施しているミッションの種類が、材料αの切断というミッションであったと分かったとする。このとき、材料αは、パラメータの値の変動が小さいので、材料がαであることを想定した、操作パラメータを自動的に付与することにより、切断用のロボットAを自律・自動で制御することが可能となる。
上記本発明の導入前後の違いについて説明する。本発明の導入前には、人の作業、あるいは、機械の作業と決めてしまっていることで作業の最適化が可能であるが、機械による自律・自動化を導入すべきか未定のシステムの最適化が計れない。
導入後であればトレーニングが前提となるが、作業分析に基づいて、作業のうち、人が関与すべきもの、自律化・自動化を行うことができるものを、個別のミッション単位で設定できる。これにより、人と機械のよりフレキシブルな協調作業が可能となる。
係る本発明の特徴は、ハード面から述べると、装置、人、人と装置の3レイヤーのセンサ群を持つことであり、ソフト面から述べると、ミッションの分類、機械に任せる自動化作業の判断、ミッションごとの操作支援ということである。このようにすることで、よりよい遠隔作業を提示でき、失敗の予兆を提示することで、遠隔作業を支援することができる。