JP6424238B2

JP6424238B2 - 作業機械の操作システム

Info

Publication number: JP6424238B2
Application number: JP2016571560A
Authority: JP
Inventors: 弘幸山田; 柄川　索; 索柄川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2015-01-28
Filing date: 2015-01-28
Publication date: 2018-11-14
Anticipated expiration: 2035-01-28
Also published as: WO2016121010A1; US10214877B2; US20170328030A1; JPWO2016121010A1

Description

本発明は、作業機械の操作システムに関する。

鉱山などの作業現場では、人件費削減のために作業機械の自動制御化が進められていることから、自動制御化された作業機械が止まった場合の対応が求められる。そこで、作業機械が止まった場合に自動制御から遠隔操作に切替え、自動制御が可能になるまで遠隔操作で作業を行い、その後自動制御に切替えることができれば、作業機械を長時間止めることなく動かすことができる。

この点を鑑みた技術としては、自動制御と遠隔操作とを組み合わせたシステムがある。例えば、特許文献１には、自動操作可の信号である計画操作信号と手動操作可の信号である手動操作信号とを用いて、自動操作中の移動体または自動操作が出来ない移動体を手動操作に切替えて施工作業を行い、１名の操作員による同時遠隔操作の実施が可能な半自動化システムが記載されている。

特開平１０−６３３３８号公報

特許文献１では複数台の施工用移動体の中からどの移動体を遠隔操作するかを判断するための基準は記載されていないことから、複数の移動体から作業が停止する恐れのある移動体を常に選択して遠隔操作に切替えることは難しい。よって、複数の移動体を操作するシステム全体の作業効率は上がらない。本発明は、複数の作業機械を操作するシステム全体の作業効率を上げることを目的とする。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。

複数の作業機械の作業進捗を演算する作業進捗演算部８０、または、作業進捗演算部８０により演算された作業進捗を用いて作業の終了予定時間を演算する終了予定時間演算部８１と、を備え、作業進捗または終了予定時間を用いて、複数の作業機械のうち自動制御から遠隔操作に切替える作業機械が決定され、決定された作業機械に対して操作指示を送る集中操作コントローラ４３を備える半自動制御システム。

本発明によれば、複数の作業機械を操作するシステム全体の作業効率を上げることができる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

第１の実施の形態である作業機械の操作システムの全体図第１の実施の形態のシステム構成図第１の実施の形態の操作インタフェース第１の実施の形態における操作処理フロー第１の実施の形態における掘削積込自動制御処理フロー第１の実施の形態における状態監視処理フロー第２の実施の形態における操作処理フロー第２の実施の形態における状態監視処理フロー第２の実施の形態の操作インタフェース第３の実施の形態における操作処理フロー第３の実施の形態における状態監視処理フロー作業進捗と終了予定時間のグラフ

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

本実施の形態では、作業機械として油圧ショベルを例に説明するが、本発明における作業機械は油圧ショベルに限定するものではなく、例えばホイールローダやダンプトラックなどあらゆる作業機械や運搬車両に適用可能である。
＜実施例１＞
図１は第１の実施の形態である油圧ショベルの操作システムの全体像を示している。図２は図１の操作システムにおけるシステム構成を示している。図３は図１の操作システムにおける操作インタフェースを示している。以下、図１から図３までを用いて第１の実施の形態である油圧ショベルの操作システムの構成について説明する。

第１の実施の形態である油圧ショベルの操作システムは、主に、操作の対象である油圧ショベル１が３台と、遠隔地に設けられオペレータが操作するために必要な各構成部品を備える集中操作装置３とを構成要素として持つ。本実施の形態では説明の都合上１人のオペレータが操作する油圧ショベル１を３台としているが、この台数に限るわけではなく、実際には可能な限り多い台数を１人のオペレータが操作するほうが、オペレータの人的資源を有効活用できる。なお、図面や以下の説明では油圧ショベル１は１台分しか記していないが、他の２台分は全く同様のものであるため省略している。

油圧ショベル１は、一般的な油圧ショベルと同様に、上部旋回体１１、クローラを含む下部走行体１２、掘削などの作業を行うフロント部を構成するブーム１３、アーム１４、バケット１５、旋回モータ１６ａ、ブーム１３を駆動するブームシリンダ１６ｂ、アーム１４を駆動するアームシリンダ１６ｃ、バケット１５を駆動するバケットシリンダ１６ｄ、左右のクローラを駆動する走行モータ１６ｅから構成されている。上部旋回体１１は下部走行体１２に回転可能に支持されており、旋回モータ１６ａによって上部旋回体１１は下部走行体１２に対して相対的に回転駆動される。ブーム１３の一端は上部旋回体１１に回転可能に支持されており、ブームシリンダ１６ｂの伸縮に応じてブーム１３が上部旋回体１１に対して相対的に回転駆動される。アーム１４の一端はブーム１３へ回転可能に支持されており、アームシリンダ１６ｃの伸縮に応じてアーム１４がブーム１３に対して相対的に回転駆動される。バケット１５はアーム１４へ回転可能に支持されており、バケットシリンダ１６ｄの伸縮に応じてバケット１５がアーム１４に対して相対的に回転駆動される。このような構成である油圧ショベル１は旋回モータ１６ａやブームシリンダ１６ｂ、アームシリンダ１６ｃ、バケットシリンダ１６ｄ、旋回モータ１６ｅを適切な位置に駆動することにより、バケット１５を任意の位置、姿勢に制御し、所望の作業を行うことができる。各アクチュエータ（旋回モータ１６ａ、ブームシリンダ１６ｂ、アームシリンダ１６ｃ、バケットシリンダ１６ｄ、走行モータ１６ｅ）１６は車体コントローラ２４によって制御されており、車体コントローラ２４に各部の操作を指示する操作信号を与えることにより、各アクチュエータ１６を駆動することができる。

本実施の形態における油圧ショベル１は、これらの構成以外に、上部旋回体１１に配設され機体から見える映像を取得するカメラ２０、上部旋回体１１に配設され掘削対象物及び積込対象物の形状を取得するステレオカメラ２１、油圧ショベル１を自動で動作させるための操作信号を生成する自動制御コントローラ２２、カメラ２０の映像や遠隔操作信号などを集中操作装置３とやり取りする遠隔操作コントローラ２３、車体の位置を取得するＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ、衛星航法システム）システム２５、下部走行体１２に対する上部旋回体１１の相対角度を取得する角度センサ２６ａ、上部旋回体１１に対するブーム１３の相対角度を取得する角度センサ２６ｂ、ブーム１３に対するアーム１４の相対角度を取得する角度センサ２６ｃ、アーム１４に対するバケット１５の相対角度を取得する角度センサ２６ｄ、遠隔操作信号と自動制御操作信号を切替える遠隔操作対象切替器２７、無線通信アンテナ２８を備えている。

自動制御コントローラ２２は、ＧＮＳＳシステム２５により作業現場内の自身の位置を把握した上で、ステレオカメラ２１により掘削対象の形状を取得する。これにより、作業現場の座標系での掘削対象形状を取得することができる。なお、ステレオカメラ２１は、レーザセンサやＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）方式の距離画像カメラなどで代替することも可能である。自動制御コントローラ２２に、作業範囲と目標形状を入力することにより、作業範囲内において取得した現在の作業対象形状と目標形状の差分から、掘削すべき位置を決定し、ブームや旋回などの各関節の掘削動作軌道を決定する。角度センサ２６から各関節角度を取得し、フィードバック制御を行うことで決定した軌道通りに各関節を動作させる操作信号を生成できる。そして自動制御コントローラ２２は、ステレオカメラ２１やカメラ２０などから得た情報を元に作業の作業進捗を演算する作業進捗演算部８０や、作業の終了予定時間を演算する終了予定時間演算部８１を備えている。なお、作業終了演算部８０と終了予定時間演算部８１は、遠隔操作コントローラ２３や集中操作コントローラ４３に備わっていてもよい。そして自動制御コントローラ２２や遠隔操作コントローラ２３は、油圧ショベル１ではなく集中操作装置３に備わっていてもよい。

本構成により、機体から見える映像を遠隔操作コントローラ２３から無線通信アンテナ２８を介して集中操作装置３へ送信することができると共に、集中操作装置３から送られる遠隔操作信号を、無線通信アンテナ２８を介して遠隔操作コントローラ２３で受信し、この遠隔操作信号を車体コントローラ２４に送ることで油圧ショベル１を遠隔操作できる。また、自動制御コントローラ２２によって生成された自動制御操作信号を車体コントローラ２４に送ることで、油圧ショベル１を自動制御することも可能である。車体コントローラ２４に送る操作信号は、遠隔操作コントローラ２３からの指示に従って遠隔操作対象切替器２７で切替えることができる。つまり、本構成の油圧ショベル１は、油圧ショベル１を自動制御から遠隔操作または自動制御から遠隔操作に切替える遠隔操作対象切替器２７を用いて、集中操作装置３から遠隔操作で作業することが可能であり、自動制御により作業することも可能となっている。

なお、本実施の形態では遠隔操作対象機体と操作装置との間を、無線通信を用いて情報のやり取りを行う構成としているが、機体と操作装置との距離が近ければ有線通信を用いてもよい。その場合、伝送可能な情報量が増えるため、より時間遅れの少ない映像や、より高解像度の映像などの送受信が可能となる。

集中操作装置３は、オペレータが着座する座席３１、各アクチュエータ１６の動きを入力する操作レバー３２、走行モータの動きを入力する操作レバー３３、カメラ２０によって得られた映像を映し出すモニタ３４、自動制御の状態を表示するモニタ３５、遠隔操作対象機体を切替える遠隔操作対象切替スイッチ３６、自動制御の作業範囲を入力する作業範囲入力インタフェース３７、自動制御開始ボタン３８、コントロールボックス４０、無線通信アンテナ４２、コントロールボックス４０内にあり、無線通信アンテナ４２を介して遠隔操作コントローラ２３と各信号のやり取りを行う集中操作コントローラ４３を備えている。そして、作業進捗切替コントローラ４４は集中操作コントローラ４３に備わっている。なお、作業進捗切替コントローラ４４は、自動制御コントローラ２２や遠隔操作コントローラ２３に備わっていてもよい。

集中操作装置３は無線通信アンテナ４２を介して集中操作コントローラ４３で油圧ショベル１から伝送される映像や自動制御状態の情報等を受信することができる。受信した情報等は、モニタ３４、３５に出力することで、オペレータへ遠隔地にある油圧ショベル１の情報を表示することが可能となっている。また、操作レバー３２、３３から得られる操作信号を集中操作コントローラ４３で取得し、無線通信アンテナ４２を介して油圧ショベル１へ送信することもできる。なお、集中操作コントローラ４３は、集中操作装置３ではなく油圧ショベル１に備わっていてもよい。自動制御コントローラ２２（１００）、遠隔操作コントローラ２３（１００）、集中操作コントローラ４３（１００）の３つのコントローラそれぞれ、作業機械コントローラ１００と称する場合が有る。つまり、作業終了演算部８０と終了予定時間演算部８１は作業機械コントローラ１００に備わっている。

このような構成により、オペレータは集中操作装置３内の座席３１に着座し、モニタ３４、３５に映し出される映像などの各種情報を見ながら、操作レバー３２、３３を操作することで、遠隔地にある油圧ショベル１を操作することが可能となっている。また、遠隔操作対象切替スイッチ３６で切替えることにより、複数の油圧ショベル１から任意の油圧ショベル１を１台選んで遠隔操作することができる。また、作業範囲入力インタフェース３７により油圧ショベル１の自動制御作業範囲及び目標形状を指示し、自動制御開始ボタン３８を押すことにより油圧ショベル１に指定した作業範囲内で自動制御を実行させることが可能な構成となっている。

モニタ３４は、右側モニタ３４ａ、左側モニタ３４ｂ、正面モニタ３４ｃの３つのモニタから構成されており、３つの油圧ショベル１のそれぞれの映像を表示可能である。同様にモニタ３５についても３５ａ〜３５ｃの３つのモニタがあり、それぞれに各油圧ショベル１の自動制御状態の情報（自動制御中かどうか、掘削目標形状、現在形状等）を表示可能である。モニタ３４、３５は、作業情報表示部９０を含んでいる。

次に、本実施の形態で行われる操作システム全体の処理の流れについて、図４から図６を用いて説明する。

集中操作コントローラ４３、遠隔操作コントローラ２３、自動制御コントローラ２２はそれぞれ操作タスクと状態監視タスクを有しており、操作タスクは主に油圧ショベル１を駆動するためにオペレータが油圧ショベル１側に各操作信号を送信するものであり、状態監視タスクは油圧ショベル１の動作状態をオペレータへ表示するものである。

まず、図４と図５を用いて操作タスク側の処理の流れを説明する。図４は操作処理フローである。集中操作コントローラ４３には３台分の操作タスクが同時並行的に処理されており、各タスクがそれぞれの油圧ショベル１と通信を行う。今回は１台分のみ図示し、処理の流れの説明を行う。フローの実線は処理の流れを表しており、破線は信号の流れを表している。

まず、集中操作コントローラ４３は遠隔操作対象切替スイッチ３６の値を読み込むことで、自タスクが遠隔操作対象かどうかを判断する。遠隔操作対象でなければ何もせず、遠隔操作対象である場合は油圧ショベル１内の遠隔操作コントローラ２３へ遠隔操作開始信号を送信する。遠隔操作コントローラ２３は遠隔操作開始信号を受信すると、自動制御コントローラ２２へ自動制御停止信号を送信し、自動制御が停止するまで待ち、自動制御停止信号を確認して遠隔操作受付信号を集中操作コントローラ４３へ送信する。また、この時、遠隔操作対象切替器２７を用いて遠隔操作へ切替える。集中操作コントローラ４３は遠隔操作受付信号を確認した後、遠隔操作信号あるいは作業範囲指定信号、自動制御開始信号などを遠隔操作コントローラ２３へ送信することで、作業機械を自動制御から遠隔操作または遠隔操作から自動制御に切替えることができる。つまり、集中操作装置３は作業機械に対して遠隔操作信号や作業範囲指定信号などといった操作指示を送る集中操作コントローラ４３を備える。このような処理の流れにしている理由は、自動制御を途中で止めることが危険かつ非効率的であり、自動制御の一つのサイクルが終了した時点で毎回オペレータの操作が始まるほうが、オペレータとしても遠隔操作を開始しやすいためである。

集中操作コントローラ４３は、遠隔操作受付信号を受信し、遠隔操作受付状態となった後、操作レバー３２、３３の値を取得し、レバーが操作されていればその値を遠隔操作コントローラ２３へ送信する。また、レバーが操作されていない場合、次に作業範囲入力インタフェース３７の出力を確認する。作業範囲入力インタフェース３７は、オペレータが作業範囲を入力し終わったとき、作業範囲指定信号を集中操作コントローラ４３に送信し、集中操作コントローラ４３は作業範囲指定信号を遠隔操作コントローラ２３へ送信する。また、自動制御開始ボタン３８の状態を取得し、ボタンが押されていれば自動制御開始信号を遠隔操作コントローラ２３へ送信して遠隔操作受付状態を終了する。

このような処理の流れにより、集中操作コントローラ４３が遠隔操作受付状態となった後、オペレータは操作レバー３２、３３を用いて直接油圧ショベル１を操作することが可能である。加えて、作業範囲入力インタフェース３７を用いて作業範囲を指示することで自動制御の準備をし、自動制御開始ボタン３８を押すことで油圧ショベル１に自動制御をさせることも可能である。これは、例えば掘削しやすい位置に移動させる等、必要に応じて油圧ショベル１を遠隔操作し、自動制御しやすい位置姿勢に動かしてから自動制御を開始させるという使い方を想定しているものである。自動制御を開始した油圧ショベル１とは別の油圧ショベル１を遠隔操作対象切替スイッチ３６で遠隔操作に切替える。

集中操作コントローラ４３から送られた遠隔操作信号を遠隔操作コントローラ２３が受信すると、遠隔操作コントローラ２３はその遠隔操作信号を車体コントローラ２４へ送信する。この時、油圧ショベル１が自動制御中であれば、遠隔操作対象切替器２７は自動制御操作側へ接続されており、車体コントローラ２４へは届かないが、自動制御が停止した後であれば、遠隔操作対象切替器２７は遠隔操作へ切替わっており、遠隔操作コントローラ２３の送信する遠隔操作信号は車体コントローラ２４へ送られる。車体コントローラ２４では、受信した遠隔操作信号通りに各アクチュエータを動作させる。これにより、オペレータが操作レバー３２、３３を用いて油圧ショベル１を遠隔操作により駆動することができる。

集中操作コントローラ４３から送られた作業範囲指定信号を遠隔操作コントローラ２３が受信すると、遠隔操作コントローラ２３は自動制御コントローラ２２へ作業範囲指定信号を送信する。自動制御コントローラ２２は、自動制御中でない場合、作業範囲指定信号を受信し作業範囲及び目標形状を設定した後、自動制御開始信号待ちとなる。

集中操作コントローラ４３から送られた自動制御開始信号を遠隔操作コントローラ２３が受信すると、遠隔操作コントローラ２３は自動制御コントローラ２２へ自動制御開始信号を送信する。自動制御コントローラ２２が自動制御開始信号待ち状態だった場合、この信号により自動制御を開始する。本実施の形態では、自動制御の内容は掘削対象物の掘削から積込対象物への積込の１サイクルである。このため、自動制御が開始されると、まずステレオカメラ２１により作業範囲内の掘削対象物の形状を取得し、目標形状との差分から作業済範囲と作業未完了範囲を推定する。作業未完了範囲があれば、掘削積込自動制御を実行するために、操作信号を車体コントローラ２４へ送信する。

図５に掘削積込自動制御の処理フローを示す。まず、作業未完了範囲の中から掘削場所を決定し、その場所を掘削するような各関節の動作軌道を作る。軌道ができると、角度センサ２６から得られる各関節角度をフィードバックしながら、その軌道通りに動作するよう操作信号を生成し、操作信号を車体コントローラ２４へ送信する。

掘削動作が終了すると、次に積込対象物までバケットを持っていく運搬動作へ移行する。積込対象物は、例えばダンプトラックの荷台等である。自動制御コントローラ２２は周囲を旋回する運搬動作軌道を作り、軌道に合わせて操作信号を生成して車体コントローラ２４へ送信することで、旋回動作を行う。旋回しながらステレオカメラ２１から得られる形状情報と予め持っている積込対象物形状とをマッチングさせ、積込対象物を探索する。マッチングにより同等の形状が発見されれば、そこで運搬動作を停止し、積込動作へと移行する。なお、積込対象物にもＧＮＳＳシステムが搭載されており、積込対象物の位置情報を油圧ショベル１が取得可能な通信環境が整っていれば、積込対象場所はすぐに特定でき、積込対象場所までの運搬軌道を作成できる。積込対象場所が特定できない場合、周囲を探索することになるが、左右のどちら回りに探索するかで最短距離よりも長くなってしまう可能性があり、また形状情報をマッチングしながら旋回しなければならず、マッチングの処理速度によっては旋回速度を落とさざるをえなくなる。一方、事前に積込対象場所が特定できれば、最短の運搬経路を生成でき、運搬時間を最小化することが可能となる。

運搬動作が終了すると、次に積込対象物へバケット内の掘削対象物を積込む積込動作へ移行する。バケットを返して積込む動作軌道を作り、操作信号を生成して車体コントローラ２４へ送信する。

自動制御中に何らかの事象により油圧ショベル１が動作不可となった場合に自動制御を停止するために、各動作に指定時間を設定しておき、各動作が指定時間を越えるとエラーとして自動制御を停止する。加えて、状態監視タスクにおいて自動制御コントローラ２２から遠隔操作コントローラ２３を介して集中操作コントローラ４３へ自動制御停止信号が送信され、モニタ３５に表示することでオペレータへ自動制御のエラーを伝達する。

次に、図６を用いて状態監視タスク側の処理の流れを説明する。自動制御コントローラ２２は、自動動作状態を遠隔操作コントローラ２３へ送信する。自動動作状態とは、自動制御中か停止中か、エラーの発生の有無、現在の掘削対象形状情報等を含む。遠隔操作コントローラ２３では、受信した自動動作状態を集中操作コントローラへ４３送信すると共に、カメラ２０からカメラ映像を取得し、これを集中操作コントローラ４３へ送信する。集中操作コントローラ４３では、受信したカメラ映像をモニタ３４へ、自動動作状態をモニタ３５へそれぞれ表示する。これにより、モニタ３４を見ることでオペレータは油圧ショベル１の視覚情報を取得でき、これを見ながら遠隔操作を行うことができる。また、自動制御中の油圧ショベル１の動作を監視し、自動制御から遠隔操作に切替える判断材料とすることができる。

次に、自動制御かつ遠隔操作可能な複数の作業機械を自動制御から遠隔操作に切替える判断材料として、演算された作業機械の作業進捗を用いて、複数の作業機械のうち遠隔操作に切替える作業機械を決定する例を示す。

図７は、作業進捗を用いた操作処理フローである。遠隔操作コントローラ２３の処理の流れは、図４で説明した処理と同一である。自動制御コントローラ２２の処理の流れは、図４で説明した作業済範囲更新処理の後に作業進捗演算処理が追加され、それ以外は同一である。この作業進捗演算処理は、複数の油圧ショベル１の作業進捗を演算する作業進捗演算部８０によって行われる。集中操作コントローラ４３の複数台操作タスクの処理には、作業進捗取得処理と、遠隔操作対象機体決定処理と、遠隔操作対象機体切替処理がある。そして、集中操作コントローラ４３の中の操作タスクは、図４の集中操作コントローラ４３の操作タスクと同一である。

図８は、作業進捗を用いた状態監視処理フローである。遠隔操作コントローラ２３の状態監視タスクの処理の流れは、図６で説明した状態監視処理フローに加えて、作業進捗を自動制御コントローラ２２から受信し、それを集中処理コントローラ４３に送信する処理が追加されている。自動制御コントローラ２２の状態監視タスクの処理の流れは、図６で説明した状態監視処理フローに加えて、作業進捗送信処理が追加されている。集中操作コントローラ４３の状態監視タスクの処理の流れは、図６で説明した状態監視処理フローに、作業進捗を遠隔操作コントローラ２３から受信し、それをモニタ３４、３５に表示する処理が追加されている。モニタ３４、３５は、作業進捗を表示する作業情報表示部９０を含んでいることから、集中操作装置３は作業進捗を表示する作業情報表示部９０を備えている。

つまり、作業進捗をオペレータへ表示し、表示された作業進捗に基づいてオペレータが遠隔操作切替スイッチ３６を用いて決定した油圧ショベル１が自動制御から遠隔操作に切替えられる。

作業コントローラ１００は作業対象物の対象物情報を基に作業進捗を演算する。作業進捗の演算方法として、作業範囲と作業済範囲もしくは作業未完了範囲との比や、作業範囲においての現在の作業対象物形状と目標形状との比といった、作業対象物の対象物情報を基に作業進捗を演算する方法が挙げられる。

以上のような本実施の形態により、以下のことが実現できる。

オペレータは遠隔地に設置された操作設備内にいながらにして、作業機械を遠隔操作できると共に、自動制御の指示も可能である。オペレータは、作業機械を自動制御によって作業させ、作業機械が故障するといった自動制御ができない場合、または掘削物が固いことなどにより自動制御の作業の進度が遅くなるといったなど場合に、オペレータが遠隔操作によって作業を代行する。そして、自動制御による作業を容易とするために作業を行い、新たな自動制御を開始させる。この結果、１台の作業機械に対してオペレータが行う操作の時間は短縮され、空いた時間で他の作業機械を同様に遠隔操作可能となり、１人のオペレータが複数の作業機械を同時に作業させることができるようになる。他には、自動制御の終了が近い作業機械を遠隔操作に切替え次の作業範囲を指示することにより、自動制御中の作業機械の作業が終了し停止することを防ぐことができる。

さらに、自動制御から遠隔操作に切替える判断材料として作業進捗を用いることで、正確に作業機械の切替えタイミングを判断することができる。具体的には、第１の実施の形態である油圧ショベル１の操作システムは、遠隔操作対象機体を選択する基準として作業進捗を用いることで、適切な油圧ショベル１を遠隔操作に切替えることができる。これにより、切替えるまでの時間が短くなると同時に、複数の油圧ショベル１が同時に自動制御を終えて停止するリスクを削減することができる。油圧ショベル１の停止は作業効率の低下、つまり複数の油圧ショベル１が含まれるシステム全体の作業効率の低下となることから、適切な油圧ショベル１を遠隔操作に切替えることで、複数の油圧ショベル１が含まれるシステム全体の作業効率を上げることができる。
＜実施例２＞
図９に第２の実施の形態である油圧ショベル１の操作インタフェースの構成を示す。第２の実施の形態の構成は第１の実施の形態と比べて、遠隔操作対象切替スイッチ３６の代わりに遠隔操作対象切替ボタン３９が搭載されており、それ以外の構成は同じである。

第２の実施例の操作処理フローは、第１の実施例と同様に図７のフローを用いる。状態監視処理フローは、第１の実施例と同様に図８のフローを用いる。

次に、図７から図９までを用いて第２の実施形態である油圧ショベル１の操作システムの処理の流れについて説明する。

まず、図７に示した自動制御コントローラ２２の操作タスクの作業進捗演算処理により、作業進捗を求める。

そして、図８に示した状態監視タスクにより、自動制御コントローラ２２の作業進捗演算部８０で演算された作業進捗を、集中操作コントローラ４３に送信する。そして、その作業進捗を作業情報表示部９０に表示することで、オペレータへ作業進捗の表示を行う。

集中操作コントローラ４３の複数台操作タスクにおいて、複数の油圧ショベル１の作業進捗を取得し、これらを作業進捗切替コントローラ４４により比較して、ある一定以上の作業進捗のものに関して例えば最も作業進捗が進んでいる油圧ショベル１、もしくはエラーで停止しているなど例えば最も作業進捗が遅れている油圧ショベル１を遠隔操作対象機体として決定する。オペレータは、次の油圧ショベル１へ操作を切替えたい場合、遠隔操作対象切替ボタン３９を押すだけで各油圧ショベル１に対応した集中操作コントローラ４３の操作タスクへ通信対象機体情報が送信され、複数台操作タスク内で選ばれた１台の油圧ショベル１の遠隔操作に切替わる。つまり、作業進捗演算部８０で演算した作業進捗を用いて作業進捗切替コントローラ４４により求めた比較結果に基づいて決定された油圧ショベル１が、自動制御から遠隔操作に切替えられる。なお、作業進捗の比較は作業進捗切替コントローラ４４が行うことから、作業進捗を作業情報表示部９０に表示しなくてもよい。

以上の構成により、第２の実施の形態である油圧ショベル１の操作システムは、実施例１の効果に加えて、最適なタイミングで最適な油圧ショベル１が自動的に選択され、簡単な操作で次の油圧ショベル１の遠隔操作に移ることができることから、切替えるまでの時間が短くなると同時に、複数の油圧ショベル１が同時に自動制御を終えて停止するリスクを削減することができる。
＜実施例３＞
第３の実施例として、作業進捗に加えて作業進捗から求めた終了予定時間を用いて、複数の作業機械のうち遠隔操作に切替える作業機械を決定し、遠隔操作を行う例を示す。

図１０は、操作処理フローである。遠隔操作コントローラ２３の処理の流れは、図４で説明した処理の流れと同一である。自動制御コントローラ２２の処理の流れは、図４の作業済範囲更新処理の後に、作業進捗演算処理と終了予定時間演算処理が追加され、それ以外は同一である。この終了予定時間演算処理は、作業進捗演算部８０により演算された作業進捗を用いて作業の終了予定時間を演算する終了予定時間演算部８１によって行われる。集中操作コントローラ４３の複数台操作タスクの処理には、作業進捗取得処理と、終了予定時間取得処理と、遠隔操作対象機体決定処理と、遠隔操作対象機体切替処理がある。そして、集中操作コントローラ４３の中の操作タスクは、図４の集中操作コントローラ４３の操作タスクと同一である。

図１１は、状態監視処理フローである。遠隔操作コントローラ２３の状態監視タスクの処理の流れは、図６で説明した状態監視処理フローに加えて、作業進捗と終了予定時間を自動制御コントローラ２２から受信し、それらを集中処理コントローラ４３に送信する処理が追加されている。自動制御コントローラ２２の状態監視タスクの処理の流れは、図６で説明した状態監視処理フローに加えて、作業進捗送信処理と終了予定時間送信処理が追加されている。集中操作コントローラ４３の状態監視タスクの処理の流れは、図６で説明した状態監視処理フローに、作業進捗と終了予定時間を遠隔操作コントローラ２３から受信し、それらをモニタ３４、３５に表示する処理が追加されている。モニタ３４、３５は、作業進捗と終了予定時間を表示する作業情報表示部９０となっている。

次に、図１０と図１１までを用いて第３の実施形態である油圧ショベル１の操作システムの処理の流れについて説明する。

まず、図１０に示した自動制御コントローラ２２の操作タスクの作業進捗演算処理と終了予定時間演算処理により、作業進捗と終了予定時間を求める。

そして、図１１に示した状態監視タスクにより、自動制御コントローラ２２の作業進捗演算部８０と終了予定時間演算部８１で演算された作業進捗と終了予定時間を、集中操作コントローラ４３に送信する。そして、その作業進捗と終了予定時間を作業情報表示部９０に表示することで、オペレータへ作業進捗と終了予定時間の表示を行う。

集中操作コントローラ４３の複数台操作タスクにおいて、作業進捗演算部８０と終了予定時間演算部８１で演算された各油圧ショベル１の作業進捗と終了予定時間を取得し、これらを作業進捗切替コントローラ４４により比較して、ある一定以上の作業進捗のものに関して例えば最も作業進捗が進んでいる油圧ショベル１、もしくはある一定以下の終了予定時間のものに関して例えば最も終了予定時間が短い油圧ショベル１、もしくはエラーで停止しているなど例えば最も作業進捗が遅れている油圧ショベル１、もしくはエラーで停止しているなど例えば最も終了予定時間が長い油圧ショベル１を遠隔操作対象機体として決定する。オペレータは、次の油圧ショベル１へ操作を切替えたい場合、作業情報表示部９０に表示された作業進捗と終了予定時間に基づいて、オペレータが遠隔操作切替スイッチ３６を用いて１台の油圧ショベル１を選択して遠隔操作に切替える。または、遠隔操作対象切替ボタン３９を押すだけで各油圧ショベル１に対応した集中操作コントローラ４３の操作タスクへ通信対象機体情報が送信され、複数台操作タスク内で選ばれた１台の油圧ショベル１が遠隔操作に切替わる。この場合、作業進捗と終了予定時間の比較は作業進捗切替コントローラ４４が行うことから、作業進捗と終了予定時間を作業情報表示部９０に表示しなくてもよい。作業進捗演算部８０と終了予定時間演算部８１で演算した作業進捗および終了予定時間を用いて、複数の油圧ショベル１のうち自動制御から遠隔操作に切替える油圧ショベル１が決定される。

図１２は、作業進捗と、作業進捗から求める終了予定時間を示した図である。終了予定時間は、現時間までの作業進捗の平均増加率や現時間での作業進捗の増加率に基づいて求めた作業進捗が１００％となるときの時間や、その他の方法により求めた時間でもよい。図１２の例では、現時間において(a)よりも(b)の方が作業の進捗割合は高い。しかし、現時間までの作業進捗の平均増加率を求め、その平均増加率を基に作業進捗が１００％となるときの終了予定時間を求めると、終了予定時間は(b)よりも(a)の方が短い。すなわち、(b)よりも(a)の方が早く作業が終わることが分かる。このように、作業進捗よりも終了予定時間を用いて遠隔操作対象機体を選択する方が適切な場合がある。

しかし、例えば掘削物が固いことなどにより自動制御されている作業機械の作業進度が遅くなる場合、或いは止まる状況が続くといった場合、終了予定時間は作業進捗が１００％となるときの時間であることから、終了予定時間は時間の経過に伴い延長される。この場合、モニタに表示される終了予定時間を基にオペレータが遠隔操作対象機体を選択するのは難しい。それに比べて作業進捗の値は時間に伴い小さくなることはない。すなわち作業進捗が１００％になるという目標から遠ざかることはないことから、モニタに表示される作業進捗を基にオペレータが遠隔操作対象機体を選択するのは、終了予定時間を基に判断するよりも容易な場合がある。このように、終了予定時間よりも作業進捗を用いて遠隔操作対象機体を選択する方が適切な場合がある。

以上の構成により、第３の実施の形態である油圧ショベル１の操作システムは、遠隔操作対象機体を選択する基準として作業進捗かつ終了予定時間を用いることで、より適切な油圧ショベル１を遠隔操作に切替えることができる。これにより、切替えるまでの時間が短くなると同時に、複数の油圧ショベル１が同時に自動制御を終えて停止するリスクを削減することができる。油圧ショベル１の停止は作業効率の低下、つまり複数の油圧ショベル１が含まれるシステム全体の作業効率の低下となることから、適切な油圧ショベル１を遠隔操作に切替えることで、複数の油圧ショベル１が含まれるシステム全体の作業効率を上げることができる。

なお、作業進捗と終了予定時間の両方を用いて自動制御から遠隔操作に切替える必要はなく、作業情報表示部９０に表示された作業進捗または終了予定時間に基づいてオペレータが遠隔操作を行う油圧ショベル１を決定し、実施例１で説明した遠隔操作切替スイッチ３６を用いて複数の油圧ショベル１のうち自動制御から遠隔操作に切替える油圧ショベル１が決定され、油圧ショベル１を自動制御から遠隔操作に切替えても良い。

他には、作業進捗または終了予定時間を用いて作業進捗切替コントローラ４４により求めた比較結果に基づいて、実施例２で説明した遠隔操作切替ボタン３９を用いて複数の油圧ショベル１のうち自動制御から遠隔操作に切替える油圧ショベル１が決定され、油圧ショベル１を自動制御から遠隔操作に切替えても良い。

第１の実施の形態から第３の実施の形態は作業機械を油圧ショベルとしたため、作業済範囲の判断にはステレオカメラ２１を用いた掘削対象物形状と目標形状との比較で求めている。ブルドーザやダンプなどのような作業が主に機体の走行である種類の作業機械が対象の場合は、ＧＮＳＳシステムによって得られる作業機械の位置の履歴、移動経路情報を基に作業進捗を演算する。つまり、複数の作業機械の移動経路情報を基に１度（あるいは複数回）通過した範囲を作業済範囲とすることで、作業コントローラ１００が作業進捗を演算することができる。そして、その作業進捗や作業進捗から求めた作業終了時間を用いて、複数の作業機械を自動制御から遠隔操作へ切替えることができる。
第１の実施の形態から第３の実施の形態は、作業機械の操作システムは油圧ショベル１と集中操作装置３により構成されていた。しかし、作業機械の操作システムは集中操作装置３のみで構成されていても良い。

１油圧ショベル、２０カメラ、２１ステレオカメラ、２２自動制御コントローラ、２３遠隔操作コントローラ、２４車体コントローラ、２５ＧＮＳＳシステム、２６角度センサ、２７遠隔操作対象切替器、２８無線通信アンテナ、３集中操作装置、３１座席、３２操作レバー、３３操作レバー、３４モニタ、３５モニタ、３６遠隔操作対象切替スイッチ、３７作業範囲入力インタフェース、３８自動制御開始ボタン、３９遠隔操作対象切替ボタン、４０コントロールボックス、４２無線通信アンテナ、４３集中操作コントローラ、４４作業進捗切替コントローラ、８０
作業進捗演算部、８１終了予定時間演算部、９０作業情報表示部、１００作業機械コントローラ

Claims

複数の作業機械の作業進捗を演算する作業進捗演算部と、
前記作業進捗演算部により演算された前記作業進捗を用いて作業の終了予定時間を演算する終了予定時間演算部と、
前記作業機械に対して操作指示を送る集中操作コントローラと、
前記複数の作業機械毎に前記作業進捗を演算し、前記複数の作業機械の間でそれぞれの前記作業進捗または終了予定時間を比較する作業進捗切替コントローラと、を備え、
作業進捗切替コントローラは、前記作業進捗切替コントローラにより求めた比較結果に基づいて選ばれた作業機械を自動制御から遠隔操作に切替える作業機械の操作システム。
請求項1において、
作業対象物の形状を取得するステレオカメラを備え、
前記作業進捗演算部は、前記ステレオカメラにより取得された作業対象物の対象物情報を基に作業進捗を演算する作業機械の操作システム。
請求項1において、
前記複数の作業機械の移動経路情報を基に前記作業進捗を演算する作業機械コントローラを備える作業機械の操作システム。
請求項2または3において、
前記作業進捗および前記終了予定時間を用いて、前記複数の作業機械のうち自動制御から遠隔操作に切替える作業機械が決定される作業機械の操作システム。