JP2022135239A

JP2022135239A - 建設機械の動作制御システム

Info

Publication number: JP2022135239A
Application number: JP2021034911A
Authority: JP
Inventors: 善文福田; Yoshifumi Fukuda; 拓久哉中; Takuya Naka; 博史坂本; Hiroshi Sakamoto; 充基時田; Shigeki Tokita
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2022-09-15

Abstract

【課題】操作対象の建設機械をより確実に指定することができるとともに、正しい操作対象への指令が発行されたか否かをより容易かつより短い時間で確認することができる建設機械の動作制御システムを提供すること。【解決手段】施工管理端末１００において、カメラ１１１により出力された周囲映像が端末表示装置に表示された状態で、操作装置１０３で指定された入力座標値に対応する工現場空間内に存在する建設機械を操作対象として同定し、同定した建設機械を停止させる停止制御情報を生成する。【選択図】図１

Description

本発明は、油圧ショベル等の建設機械に適用される建設機械の動作制御システムに関する。

施工現場において異なる作業を行う複数の建設機械を自動運転で動作させる技術として、例えば、特許文献１には、異なる作業を行う複数の建設機械が自動運転機能を有し、施工管理部により前記複数の建設機械を管理する建設機械の施工方法であって、前記建設機械毎に施工位置情報を前記施工管理部が前記建設機械に送信する施工情報送信工程と、前記建設機械毎に前記施工情報送信工程で送信された前記施工位置情報を前記建設機械が受信する施工情報受信工程と、前記建設機械毎に前記施工情報受信工程で受信した前記施工位置情報を用いて前記建設機械が自動運転で作業を行う自動運転作業工程と、を備える、建設機械の施工方法が開示されている。

特開２０１６－１３２９１２号公報

上記従来技術においては、施工管理部から施工現場の複数の建設機械それぞれに対して施工位置情報を送信する。施工現場の複数の建設機械は、それぞれが受信した施工位置情報に基づいて自動運転による作業を実行する。これにより、施工管理部による管理下において、複数の建設機械を自動運転で動作させることができる。

また、施工システムを取り扱うオペレータは、建設機械が作業を実施している範囲を目視している際中に、通常と異なる状況が発生したと認識した場合、状況に合わせて建設機械に作業を停止させる指令、すなわち作業停止指令を発行する。作業停止指令は、施工管理部から送受信装置を介して各建設機械に送信され、建設機械による作業を停止させる。これにより、建設機械による作業において、通常と異なる状況の発生に伴う施工効率の低下を回避することを可能としている。

しかしながら、上記従来技術においては、システム上での指令の発行対象と、指令を適用する実際の建設機械との対応付けが明示されていない。特に、同種の建設機械が複数台存在し並行して作業を行っている場合は、指令を発行する対象を特定するのに時間を要し、施工効率を低下させる可能性がある。また、オペレータの目視結果にもとづいて指令の発行対象を定めているため、発行対象を見誤り、異なる建設機械に指令を発行することで意図しない結果を発生させる可能性がある。さらに、確実に正しい対象に対して指令を発行できたかどうかを確認するには、実際に対象となる建設機械が指令通りの動作を開始するまで待たなければならず、施工効率を低下させる可能性がある。

本発明は上記に鑑みてなされたものであり、操作対象の建設機械をより確実に指定することができるとともに、正しい操作対象への指令が発行されたか否かをより容易かつより短い時間で確認することができる建設機械の動作制御システムを提供することを目的とする。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、建設機械を操作するための制御情報を作成する端末制御装置と、前記端末制御装置により作成された前記制御情報を表示する端末表示装置と、前記端末表示装置に表示された前記制御情報の少なくとも一部を操作者が指定した場合に、指定された前記制御情報の座標を入力座標値として検出し、検出された前記入力座標値を出力する端末操作装置と、前記制御情報の送受信を行う端末送受信装置とを有する施工管理端末と、前記制御情報を送受信する機械送受信装置と、施工現場空間内における前記建設機械の位置を取得して機械位置情報として出力する機械位置検出装置と、入力された前記制御情報に応じた制御信号を出力する機械制御装置と、前記機械制御装置から入力された前記制御信号に応じて動作する前記建設機械の制御機構である制御対象とを有する建設機械とを備えた建設機械の動作制御システムにおいて、前記施工管理端末は、前記施工管理端末の前記施工現場空間内における向きを検出して端末姿勢情報として出力する端末姿勢検出装置と、前記施工管理端末の前記施工現場空間内における位置を取得して端末位置情報として出力する端末位置検出装置と、前記施工管理端末と一体的に設けられ、前記施工管理端末の周囲の状況を撮影し、周囲映像として出力する端末カメラと、前記端末姿勢検出装置により検出された前記端末姿勢情報と前記端末位置検出装置により検出された前記端末位置情報とに基づいて、前記施工管理端末の状態を示す端末状態情報を算出して出力する端末状態算出装置とをさらに有し、前記端末カメラにより検出された映像が前記端末表示装置に表示された状態において前記端末表示装置で指定された前記入力座標値と前記端末状態算出装置により検出された前記端末状態情報とに基づいて、前記端末操作装置で指定された前記入力座標値に対応する前記施工現場空間内に存在する前記建設機械を操作対象として同定し、操作対象として同定された前記建設機械を停止させる制御情報である停止制御情報を生成するものとする。

本発明によれば、操作対象の建設機械をより確実に指定することができるとともに、正しい操作対象への指令が発行されたか否かをより容易かつより短い時間で確認することができる。

第１の実施の形態に係る建設機械の動作制御システムの構成を概略的に示す機能ブロック図である。第１の実施の形態に係る建設機械の動作制御システムの処理を示すフローチャートである。施工現場で建設機械が稼働している様子を例示する図である。カメラの姿勢検出の基本原理を説明する図である。第１の実施の形態に係る操作装置による建設機械の指定の様子を示す図である。建設機械が施工管理端末の表示装置に表示される様子を示す図である。建設機械の停止可否の判定の原理を説明する図であって、ゼロモーメントポイントが指示多角形の内部にある場合を例示する図である。施工管理端末の表示装置に表示される情報の一例を示す図である。建設機械の停止可否の判定の原理を説明する図であって、ゼロモーメントポイントが指示多角形の外部にある場合を例示する図である。施工管理端末の表示装置に表示される情報の一例を示す図である。第２の実施の形態に係る操作装置による建設機械の指定の様子を示す図である。第２の実施の形態に係る建設機械の動作制御システムの処理を示すフローチャートである。第３の実施の形態に係る操作装置による建設機械の指定の様子を示す図である。第３の実施の形態に係る建設機械の動作制御システムの処理を示すフローチャートである。第４の実施の形態に係る操作装置による建設機械の指定の様子を示す図である。第４の実施の形態に係る建設機械の動作制御システムの処理を示すフローチャートである。第５の実施の形態に係る表示装置における推定鉛直誤差の表示の一例を示す図である。

以下、本発明の実施の形態を図面を参照しつつ説明する。なお、本実施の形態では、建設機械の一例として油圧ショベルを例示して説明するが、これに限られず、施工現場において稼働する他の建設機械においても本発明を適用することが可能である。

＜第１の実施の形態＞
本発明の第１の実施の形態を図１～図１０を参照しつつ説明する。

図１は、本実施の形態に係る建設機械の動作制御システムの構成を概略的に示す機能ブロック図である。

図１において、建設機械の動作制御システムは、利用者がカメラ映像上で建設機械を指定することにより、指定した建設機械の操作を行うものであり、施工現場で稼働する建設機械３００（例えば、油圧ショベル）が備える機能部と建設機械３００の操作を行う利用者が操作する施工管理端末１００が備える機能部とを有している。

施工管理端末１００は、例えば、施工現場で稼働している複数の建設機械（図１では、建設機械３００を代表して示す）を管理する現場管理者などの利用者が所持して操作するもの（例えば、タブレットやスマートフォンなどの携帯端末）であり、制御装置１０１、表示装置１０２、操作装置１０３、送受信装置１０４、姿勢検出装置１０９、位置検出装置１１０、カメラ１１１、および、状態算出装置１１２から概略構成されている。

制御装置１０１及び状態算出装置１１２は、例えば、施工管理端末１００に設けられた入力インタフェース、プロセッサである中央処理装置（ＣＰＵ）、記憶装置であるリードオンリー（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）、出力インタフェースなどを有する演算装置によって構成されている。すなわち、制御装置１０１及び状態算出装置１１２の各機能は、入力インタフェースを介して入力される信号やＲＯＭおよびＲＡＭなどに記憶された情報に対し、ＲＯＭに記憶された制御プログラムに従って所定の演算処理を行い、出力インタフェースを介して出力することにより構成されている。

制御装置１０１（端末制御装置）は、利用者による操作入力や、施工管理端末の状態、カメラ映像、建設機械から入力する情報などをもとに計算処理を行い、例えば、建設機械３００を操作するための制御情報を作成して、結果として出力するものである。

表示装置１０２（端末表示装置）は、制御装置１０１が作成して出力する情報を画面に表示して利用者（操作者）に示すものである。表示装置１０２は、例えば、液晶モニタなどである。

操作装置１０３（端末操作装置）は、利用者の入力を検出し制御装置１０１に検出した情報を入力するものである。操作装置１０３は、タッチパネルなどの入力装置であり、表示装置１０２の表面に配置されることで、表示装置１０２とともにＧＵＩ（Graphical User Interface）を構成している。

姿勢検出装置１０９（端末姿勢検出装置）は、施工管理端末が施工現場空間に設定された座標系において物理的にどの方向を向いているかを検出し、検出結果を端末姿勢情報として出力するものである。姿勢検出装置１０９としては、例えば、地磁気を検出する磁気センサや、加速度センサ、角速度センサ（ジャイロセンサ）、慣性計測装置（IMU：Inertial Measurement Unit）などのセンサを単体あるいは組み合わせて用いることができる。

位置検出装置１１０（端末位置検出装置）は、施工管理端末が施工現場空間内のどのような位置に存在するかを検出し、検出結果を端末位置情報として出力するものである。位置検出装置１１０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）である。

カメラ１１１（端末カメラ）は、施工管理端末に取り付けられていて、施工現場空間内の映像を撮影し、撮影した映像を制御装置１０１に出力するものである。カメラ１１１は、例えば、ＣＭＯＳイメージセンサーなどを用いた撮影装置などである。

状態算出装置１１２は、姿勢検出装置１０９から入力される端末姿勢情報と位置検出装置１１０から入力される端末位置情報とに基づいて、施工管理端末が施工現場空間内においてどのような位置に存在しどのような姿勢を保っているかを算出し、算出結果を端末状態情報として制御装置１０１に出力する。

送受信装置１０４は、制御装置１０１が出力する情報（後述する制御情報など）を、ネットワーク２００を通じて建設機械３００の送受信装置１０５に送信し、また、建設機械３００の送受信装置１０５から出力される情報（後述する停止不可情報など）を受信して制御装置１０１に入力するものである。送受信装置１０４は、例えば、無線通信を行う通信機である。

建設機械３００は、例えば、施工現場で稼働している油圧ショベルなどの作業機械であり、送受信装置１０５、位置検出装置１０６、制御装置１０７、制御対象１０８、稼働状態検出装置１１３、および、停止可否判定装置１１４から概略構成されている。

制御装置１０７、可動状態検出装置１１３及び停止可否判定装置１１４は、例えば、建設機械３００に設けられた入力インタフェース、プロセッサである中央処理装置（ＣＰＵ）、記憶装置であるリードオンリー（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）、出力インタフェースなどを有する演算装置によって構成されている。すなわち、制御装置１０７、可動状態検出装置１１３及び停止可否判定装置１１４の各機能は、入力インタフェースを介して入力される信号やＲＯＭおよびＲＡＭなどに記憶された情報に対し、ＲＯＭに記憶された制御プログラムに従って所定の演算処理を行い、出力インタフェースを介して出力することにより構成されている。

送受信装置１０５（機械送受信装置）は、施工管理端末１００の送受信装置１０４から出力される情報（後述する制御情報など）を、ネットワーク２００を通じて受信して制御装置１０７に入力し、また、建設機械３００で生成された情報（後述する停止不可情報など）を施工管理端末１００の送受信装置１０４に送信する。送受信装置１０５は、例えば、無線通信を行う通信機である。

位置検出装置１０６（機械位置検出装置）は、建設機械が施工現場空間内のどのような位置に存在するかを検出し、結果の位置情報を出力する。位置検出装置１０６は、例えば、ＧＮＳＳ（Global Navigation Satellite System）である。

制御装置１０７（機械制御装置）は、建設機械３００を操作するために、入力した制御情報に応じた制御量を生成し、操作可能な車体の各装置（制御対象）に対して制御量を含む信号として出力する。

制御対象１０８は、制御装置１０７から入力した制御量をもとに動作する建設機械の制御機構である。本実施の形態で建設機械３００で例示する油圧ショベルにおいては、例えば、エンジンや各種油圧シリンダなどが制御対象となる。

稼働状態検出装置１１３（機械稼働状態検出装置）は、建設機械３００の各部がどのような状態にあり、建設機械３００がどのような姿勢にあるかを検出し、建設機械３００の姿勢を表す情報である機械姿勢情報と現在適用中の制御量とからなる機械稼働状態情報を検出結果として出力する。

停止可否判定装置１１４は、稼働状態検出装置１１３の出力する機械稼働状態情報をもとに、建設機械３００の動作を停止させた場合における転倒や滑落などの可能性のある不安定な挙動に至る状態にあるかどうかを判定し、判定した結果が動作を停止させた結果として不安定な挙動に至る状態である場合には停止不可情報を送受信装置１０５に、動作を停止した結果として不安定な挙動に至る状態でない場合には停止制御情報を制御装置１０７にそれぞれ出力する。

以上のように構成した建設機械の動作制御システムにおいては、施工管理端末１００で操作者が所望の建設機械３００を指定し、指定した建設機械３００の稼働状態が停止可能であるか否かを判定し、判定結果に応じて動作を停止させる。

図２は、建設機械の動作制御システムの処理を示すフローチャートである。

図２において、施工管理端末１００が動作を開始すると、最初に操作装置１０３からの入力を検出する（ステップＳ２０１）。

図３は、施工現場で建設機械が稼働している様子を例示する図である。

図３では、施工現場空間内に、第１のショベル３０１、第２のショベル３０２、第３のショベル３０３の合計３台のショベルが存在している場合を例示している。

この状態において、施工管理端末上に、表示装置１０２として液晶ディスプレイを備え、液晶ディスプレイにはカメラ１１１から入力した施工現場空間内の映像を表示しているものとする。また、表示装置１０２の表面に重なる形式で、操作装置１０３としてタッチパネルを備えるものとする。利用者は操作装置１０３を操作することにより、カメラ１１１が撮影した施工現場空間内の映像の点を指定することが可能となる。指定した結果、操作装置１０３はこの入力を検出する。

続いて、カメラ１１１の姿勢を算出する（ステップＳ２０２）。

図４は、カメラの姿勢検出の基本原理を説明する図である。

図４に示すように、施工現場空間を示す座標系における施工管理端末上のカメラ１１１の位置（ｘｃ，ｙｃ，ｚｃ）を、カメラ位置４０１と呼ぶ。カメラ位置４０１は位置検出装置１１０を用いて求める。位置検出装置１１０では、例えばＧＰＳ（Global Positioning System）を用いて取得する地球上での緯度経度から施工現場空間内での位置を算出するといった手法が考えられる。まあ、他の例としては、トータルステーションなどを利用して、施工現場空間内での位置を取得するといった手法も考えられる。

また、カメラ１１１の方向を示す方向ベクトル（ｘｅ，ｙｅ，ｚｅ）をカメラ方向ベクトル４０２と呼ぶ。カメラ方向ベクトル４０２は、姿勢検出装置１０９を用いて求める。姿勢検出装置１０９では、例えば地磁気センサや角度センサのようなセンサ類から方向を算出するといった方法が考えられる。

続いて、利用者（施工管理端末１００の操作者）が操作装置１０３を操作して指定した表示装置１０２上の位置から、施工現場空間内で利用者が指定した位置を算出する（ステップＳ２０３）。

図５は、操作装置による建設機械の指定の様子を示す図である。

図５において、カメラ１１１は施工管理端末の背面に取り付けられている。建設機械の候補は、利用者が操作装置１０３を操作して指定する表示装置１０２上の点の位置に撮影されている建設機械であるとする。この点を指定点５０１と呼ぶ。指定点５０１の、表示装置１０２上における座標をＰｓとする。指定点５０１によって示される建設機械の候補が存在するのは、カメラ１１１の焦点位置から指定点５０１に対応する方向に伸ばした半直線上である。この半直線を指定直線５０２と呼ぶ。指定直線５０２との交点を持つ建設機械を、操作対象の建設機械（操作対象建設機械５０３）とする。以後の処理ではこの操作対象建設機械５０３を取得することとなるが、このために用いる指定点５０１を、利用者による指定位置として処理を行う。

続いて、ネットワーク２００に接続しているすべての建設機械に対して、検証処理を実施したか否かを判定し（ステップＳ２０４）、判定結果がＹＥＳの場合には、ステップＳ２１２の処理に進む。

また、ステップＳ２０４での判定結果がＮＯの場合、すなわち、検証処理が未実施の建設機械があると判定した場合には、検証処理の対象となる１台の建設機械の位置を取得する（ステップＳ２０５）。

ネットワーク２００に接続している建設機械の内の１台において、位置検出装置１０６が検出した建設機械の位置情報を、建設機械の送受信装置１０５が送信し、ネットワーク２００を通じて施工管理端末１００の送受信装置１０４が受信して、制御装置１０１に入力する。制御装置１０１は、受信した建設機械の位置を、施工現場空間の３次元座標系から、カメラ位置４０１、カメラ方向ベクトル４０２、カメラ１１１の保持するレンズ及び撮像素子の幾何特性を用いてカメラ１１１の座標系に変換する。カメラ１１１の座標系とは、表示装置１０２に表示している施工現場空間の平面映像の示す座標系と同等である。

図６は、建設機械が施工管理端末の表示装置に表示される様子を示す図である。

図６に示すように、位置検出装置１０６が検出した建設機械の位置は、カメラ１１１の座標系において、映像上の建設機械の位置６０１として表現される。

続いて、表示装置１０２の映像上の建設機械の位置６０１が指定点５０１と重なるか否かを判定する（ステップＳ２０６）。

建設機械は、施工現場空間内で一定の空間を占有している。これを占有空間Ｖと呼ぶ。なお、図６の例では模式的に占有空間Ｖを直方体で表現しているが、実際には操作対象建設機械５０３の稼働状態検出装置１１３が出力する情報から得られる現在の操作対象建設機械５０３の表現する形状を、操作対象建設機械５０３の位置検出装置１０６が出力する情報から得られる位置に配置した状態において占有する空間を表す。この占有空間Ｖをカメラ１１１の座標系上に投影すると、図６に示したように、表示装置１０２に表示する２次元の映像上で一定の領域を占有する。これを映像上の建設機械の占有領域６０２と呼ぶ。記号ではＡと表記する。Ａと占有空間Ｖとの関係はＡ＝Ｐ（Ｖ）と表現可能である。ここでＰとは、３次元の空間である占有空間Ｖから２次元の領域であるＡへの射影である。指定点５０１が映像上の建設機械の占有領域６０２の中に含まれる場合、すなわちＰｓ⊂Ａである場合は、両者が重なると判定する。

ステップＳ２０６での判定結果がＮＯの場合、すなわち、映像上の建設機械の位置が指定点と重ならないと判定した場合には、ステップＳ２０４の処理に戻る。

また、ステップＳ２０６での判定結果がＹＥＳの場合には、指定点５０１に重なっていると判定された操作対象建設機械５０３において、動作制御に使用する情報、例えば位置検出装置１０６より得られる操作対象建設機械５０３の現在位置といった情報を取得する（ステップＳ２０７）。

続いて、操作対象建設機械５０３の稼働状態を取得する（ステップＳ２０８）。稼働状態検出装置１１３により、ショベルにおけるブームやアーム、バケットの位置、上部旋回体の旋回角度、下部走行体の傾きといった情報を取得する。

続いて、現時点の処理において、操作対象建設機械５０３を安定して停止させることが可能であるか否かを判定する（ステップＳ２０９）。

図７は、建設機械の停止可否の判定の原理を説明する図であって、ゼロモーメントポイントが指示多角形の内部にある場合を例示する図である。

図７では、操作対象建設機械５０３は斜面を下っている状態にある場合を例示している。操作対象建設機械５０３の接地位置７０１は、稼働状態検出装置１１３から取得する、操作対象建設機械５０３の有する１組の平行する履帯が、地面に対して接地する位置となる。この状態において、操作対象建設機械５０３の支持多角形７０２は、平行する履帯の間を含む長方形の領域を示す。続いて、操作対象建設機械５０３の重心７０３は、稼働状態検出装置１１３より入力する操作対象建設機械５０３のブーム、アーム、バケット、上部旋回体、下部走行体などの状態から求める。この重心７０３床反力の圧力中心であるＺＭＰ（Zero Moment Point）７０４を求める。ＺＭＰ７０４が支持多角形７０２の領域内に存在する場合は、操作対象建設機械５０３は安定した状態にあると言える。図７の例では、ＺＭＰ７０４は支持多角形７０２の領域内に存在している。操作対象建設機械５０３がこの状態にある場合は、操作対象建設機械５０３を安定して停止させることが可能であると判定する。

ステップＳ２０９での判定結果がＹＥＳの場合、すなわち、建設機械の停止が可能であると判定した場合には、制御装置１０７が制御対象１０８に対して停止信号（停止に相当する制御量）を送出し、操作対象建設機械５０３を停止させる（ステップＳ２１０）。

図８は、施工管理端末の表示装置に表示される情報の一例を示す図である。

図８に示すように、施工管理端末１００から操作対象建設機械５０３に停止制御情報が送出されると、表示装置１０２における映像上の建設機械の位置６０１の付近に、指定の操作信号（すなわち、停止制御信号）の送信が完了した旨の表示内容（メッセージ）９０１を表示させる。これにより、施工管理端末の操作者は、正しい操作対象への指令が発行されたか否かをより容易かつより短い時間で確認することができる。

また、ステップＳ２０９での判定結果がＮＯの場合、すなわち、建設機械の停止が不可であると判定した場合には、操作対象建設機械５０３に対する操作が不可能である理由を、建設機械の送受信装置１０５、ネットワーク２００、及び、施工管理端末１００の送受信装置１０４を通じて制御装置１０１に送出する（ステップＳ２１１）。

図９は、建設機械の停止可否の判定の原理を説明する図であって、ゼロモーメントポイントが指示多角形の外部にある場合を例示する図である。

図９においては、操作対象建設機械５０３は、図７で例示した場合に比べて、より角度の大きい斜面を下っている状態を例示している。異なる状態における重心８０１にもとづき、異なる状態におけるＺＭＰ８０２が求められる。異なる状態におけるＺＭＰ８０２は、支持多角形７０２の領域外に存在している。この結果を制御装置１０１に対して送出する。送出する電文８０３には、電文８０３の送出元の建設機械を特定する名称、停止操作を行うことが可能であるかどうかを示す操作可否情報、停止操作を行うことが不可能である場合はその理由を含める。制御装置１０１は、この電文８０３を受信した場合、内容を表示装置１０２に示す。

図１０は、施工管理端末の表示装置に表示される情報の一例を示す図である。

図１０では、電文８０３をもとに作成した表示内容（メッセージ）９０２を、表示装置１０２における映像上の建設機械の位置６０１の付近に表示させる。これにより、操作対象建設機械５０３が停止しない状態であることの理由を利用者に示し、他の対応を促すことを可能とする。

ステップＳ２１０、又は、ステップＳ２１１の処理が終了すると、続いて、建設機械の動作制御システムの動作を終了させるか否かを判定する（ステップＳ２１２）。

例えば、利用者が施工管理端末の電源を切ることにより、動作を終了させると判定することが可能である。ステップＳ２１２での判定結果がＹＥＳの場合、すなわち、終了と判定した場合はシステムを終了させる。また、ステップＳ２１２での判定結果がＮＯの場合には、ステップＳ２０１の処理に戻る。

なお、本実施の形態においては、操作対象建設機械５０３を停止可能であるかどうか判定する際にＺＭＰ７０４を使用した場合を例示して示しているが、他の手法を用いて判定することも可能である。このような処理により、利用者が指定した操作対象建設機械５０３を停止させ、あるいは停止することによって操作対象建設機械５０３の動作が不安定になる場合は停止させずにその理由を利用者に対して示すことで、安定した建設機械の操作を行うことを可能としている。

以上のように構成した本実施の形態においては、建設機械を操作するための制御情報を作成する端末制御装置（制御装置１０１）と、端末制御装置により作成された前記制御情報を表示する端末表示装置（表示装置１０２）と、端末表示装置に表示された前記制御情報の少なくとも一部を操作者が指定した場合に、指定された前記制御情報の座標を入力座標値として検出し、検出された入力座標値を出力する端末操作装置（操作装置１０３）と、前記制御情報の送受信を行う端末送受信装置（送受信装置１０４）とを有する施工管理端末１００と、前記制御情報を送受信する機械送受信装置（送受信装置１０５）と、施工現場空間内における建設機械の位置を取得して機械位置情報として出力する機械位置検出装置（位置検出装置１０６）と、入力された前記制御情報に応じた制御信号を出力する機械制御装置（制御装置１０７）と、機械制御装置から入力された制御信号に応じて動作する建設機械の制御機構である制御対象とを有する建設機械とを備えた建設機械の動作制御システムにおいて、施工管理端末は、施工管理端末の施工現場空間内における向きを検出して端末姿勢情報として出力する端末姿勢検出装置（姿勢検出装置１０９）と、施工管理端末の施工現場空間内における位置を取得して端末位置情報として出力する端末位置検出装置（位置検出装置１１０）と、施工管理端末と一体的に設けられ、施工管理端末の周囲の状況を撮影し、周囲映像として出力する端末カメラ（カメラ１１１）と、端末姿勢検出装置により検出された端末姿勢情報と端末位置検出装置により検出された端末位置情報とに基づいて、施工管理端末の状態を示す端末状態情報を算出して出力する端末状態算出装置（状態算出装置１１２）とをさらに有し、端末カメラにより出力された周囲映像が端末表示装置に表示された状態において端末表示装置で指定された入力座標値と端末状態算出装置により算出された端末状態情報とに基づいて、端末操作装置で指定された入力座標値に対応する施工現場空間内に存在する建設機械を操作対象として同定し、操作対象として同定された建設機械を停止させる制御情報である停止制御情報を生成するように構成したので、操作対象の建設機械をより確実に指定することができるとともに、正しい操作対象への指令が発行されたか否かをより容易かつより短い時間で確認することができる。

＜第２の実施の形態＞
本発明の第２の実施の形態を図１１及び図１２を参照しつつ説明する。

本実施の形態は、利用者（施工管理端末の操作者）が指定した位置に複数の操作対象となる建設機械が存在する場合に、複数の中から１台を抽出して処理する場合を示すものである。

図１１は、操作装置による建設機械の指定の様子を示す図である。また、図１２は、建設機械の動作制御システムの処理を示すフローチャートである。図１１及び図１２の図中において、第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

図１１においては、利用者が操作装置１０３を操作して指定する表示装置１０２上の点を、第２の例の指定点１００１と呼ぶ。第２の例の指定点１００１の、表示装置１０２上における座標をＰ’ｓとする。第２の例の指定点１００１が存在する位置によって示される建設機械の候補が存在するのは、カメラ１１１の焦点位置から第２の例の指定点１００１に対応する方向に伸ばした半直線上にある。この半直線を第２の例の指定直線１００２と呼ぶ。第２の例の指定直線１００２との交点を持つ建設機械は、この例では３台存在する。これらは、第２の例の指定直線１００２上で空間的に前後関係を有する。建設機械のような物理的な物体は、複数が空間内の全く同じ位置に同時に存在し得ないためである。カメラ１１１が撮影する映像内では、施工現場空間内においてカメラ１１１に最も近い位置に存在する建設機械が映っている。すなわちこの場合は、利用者は施工管理端末に最も近い建設機械を指定していることとなる。この操作対象の建設機械を第２の例の操作対象建設機械１００３と呼ぶ。

図１２において、施工管理端末１００が動作を開始すると、最初に操作装置１０３からの入力を検出する（ステップＳ２０１）。

続いて、表示装置１０２の映像上の建設機械の位置６０１が指定点５０１と重なるか否かを判定する（ステップＳ２０６）。第２の例の指定点１００１が映像上の建設機械の占有領域６０２の中に含まれる場合、すなわちＰ’ｓ⊂Ａである場合は、両者が重なると判定する。

ステップＳ２０６の判定結果がＹＥＳの場合には、ステップＳ２０６の判定の結果、Ｐ’ｓ⊂Ａである建設機械の存在する施工現場空間内の位置を、制御装置１０１内に保存し（ステップＳ１１０１）、ステップＳ２０４の処理に戻る。

また、ステップＳ２０６の判定結果がＮＯの場合には、ステップＳ２０４の処理に戻る。

ステップＳ２０４での判定結果がＹＥＳの場合には、ステップＳ１１０１において保存した建設機械の情報の中から、カメラ１１１の位置に最も近い建設機械を第２の例の操作対象建設機械１００３として抽出する（ステップＳ２０７）。

続いて、操作対象建設機械の稼働状態を取得する（ステップＳ２０８）。

続いて、現時点の処理において、操作対象建設機械を安定して停止させることが可能であるか否かを判定する（ステップＳ２０９）。

ステップＳ２０９での判定結果がＹＥＳの場合、すなわち、建設機械の停止が可能であると判定した場合には、制御装置１０７が制御対象１０８に対して停止信号（停止に相当する制御量）を送出し、操作対象建設機械を停止させる（ステップＳ２１０）。

また、ステップＳ２０９での判定結果がＮＯの場合、すなわち、建設機械の停止が不可であると判定した場合には、操作対象建設機械に対する操作が不可能である理由を、建設機械の送受信装置１０５、ネットワーク２００、及び、施工管理端末１００の送受信装置１０４を通じて制御装置１０１に送出する（ステップＳ２１１）。

ステップＳ２１２での判定結果がＹＥＳの場合、すなわち、終了と判定した場合はシステムを終了させる。また、ステップＳ２１２での判定結果がＮＯの場合には、ステップＳ２０１の処理に戻る。

その他の構成は第１の実施の形態と同様である。

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

また、第２の例の指定点１００１の指定により得られる第２の例の指定直線１００２上に複数の建設機械が存在する際に、施工管理端末上で第２の例の指定点１００１の位置に表示している建設機械を第２の例の操作対象建設機械１００３として取得することが可能となり、利用者の視点で指定した建設機械を誤りなく操作することが可能となる。

＜第３の実施の形態＞
本発明の第３の実施の形態を図１３及び図１４を参照しつつ説明する。

本実施の形態は、利用者（施工管理端末の操作者）が指定した領域に複数の操作対象となる建設機械が存在する場合に、これらを抽出して処理する場合を示すものである。

図１３は、操作装置による建設機械の指定の様子を示す図である。また、図１４は、建設機械の動作制御システムの処理を示すフローチャートである。図１３及び図１４の図中において、第１及び第２の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

図１３においては、操作装置１０３を操作して指定する表示装置１０２上の領域を、第３の例の指定領域１２０１と呼ぶ。第３の例の指定領域１２０１を記号ではＲｓと表記する。第３の例の指定領域１２０１は、例えば矩形の領域で表現することが可能であり、表示装置１０２上の２点を指定して、これらをそれぞれ左上隅と右下隅の頂点とする矩形で表すことが可能である。第３の例の指定領域１２０１が存在する位置によって示される建設機械の候補が存在するのは、カメラ１１１の焦点位置から第３の例の指定領域１２０１に対応する方向に伸ばした四角錐の内部にある。この四角錐を第３の例の指定四角錐１２０２と呼ぶ。第３の例の指定四角錐１２０２と交わる建設機械は、この例では２台存在する。これらの操作対象の建設機械を、それぞれ、第３の例の第１操作対象建設機械１２０３並びに第３の例の第２操作対象建設機械１２０４と呼ぶ。

第３の例の第１操作対象建設機械１２０３及び第３の例の第２操作対象建設機械１２０４は、第１の実施の形態の図６の説明と同様に、表示装置１０２に表示する２次元の映像上で一定の領域を占有する。第３の例の第１操作対象建設機械１２０３の占有領域を記号ではＡ１と表記し、第３の例の第２操作対象建設機械１２０４の占有領域を記号ではＡ２と表記する。ここでは、Ａ１∩Ｒｓ、及びＡ２∩Ｒｓはいずれも空集合ではない。

図１４において、施工管理端末１００が動作を開始すると、最初に操作装置１０３からの入力を検出する（ステップＳ２０１）。

続いて、第３の例の指定領域１２０１の算出を行う（ステップＳ１３０１）。前述のように、表示装置１０２上の２点を指定して、これらをそれぞれ左上隅と右下隅の頂点とする矩形で領域Ｒｓを表す。

続いて、第３の例の指定領域１２０１と占有領域とが重なっているか否かを判定する（ステップＳ１３０２）。ステップＳ２０５にて取得した建設機械において、表示装置１０２に表示する２次元の映像上での占有領域をＡとして、Ａ∩Ｒｓを算出する。Ａ∩Ｒｓが空集合でない場合は、第３の例の指定領域１２０１と占有領域とが重なっていると判定する。

ステップＳ１３０２の判定結果がＹＥＳの場合には、Ｐ’ｓ⊂Ａである建設機械の存在する施工現場空間内の位置を、制御装置１０１内に保存し（ステップＳ１１０１）、ステップＳ２０４の処理に戻る。

また、ステップＳ１３０２の判定結果がＮＯの場合には、ステップＳ２０４の処理に戻る。

また、ステップＳ２０４での判定結果がＹＥＳの場合には、ステップＳ１１０１において保存した建設機械の情報を1個ずつ抽出する（ステップＳ２０７）。

ステップＳ２１０、又は、ステップＳ２１１の処理が終了すると、続いて、ステップＳ１１０１において保存した建設機械の情報、すなわち図１３における第３の例の第１操作対象建設機械１２０３並びに第３の例の第２操作対象建設機械１２０４の中から、ステップＳ２０７においてすべての情報が抽出されたかどうか、つまりすべての対象を検証したかどうかを判定する（ステップＳ１３０３）。

ステップＳ１３０３での判定結果がＮＯの場合には、ステップＳ２０７の処理に戻る。また、ステップＳ１３０３での判定結果がＹＥＳの場合には、建設機械の動作制御システムの動作を終了させるか否かを判定する（ステップＳ２１２）。

その他の構成は第１及び第２の実施の形態と同様である。

また、第３の例の指定領域１２０１の指定により得られる第３の例の指定四角錐１２０２上に複数の建設機械が存在する際に、該当するすべての建設機械を対象として操作することが可能となり、複数の建設機械の動作が関連して発生する可能性のある事象を迅速に回避することが可能となる。

＜第４の実施の形態＞
本発明の第４の実施の形態を図１５及び図１６を参照しつつ説明する。

本実施の形態は、利用者（施工管理端末の操作者）が指定した領域に複数の操作対象となる建設機械が存在する場合に、これらの中から操作対象を利用者が選択する場合を示すものである。

図１５は、操作装置による建設機械の指定の様子を示す図である。また、図１６は、建設機械の動作制御システムの処理を示すフローチャートである。図１５及び図１６の図中において、第１乃至第３の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

図１５においては、操作装置１０３を操作して指定する表示装置１０２上の領域を、第４の例の指定領域１４０１と呼ぶ。第４の例の指定領域１４０１を記号ではＲ’ｓと表記する。第４の例の指定領域１４０１は、例えば矩形の領域で表現することが可能であり、表示装置１０２上の２点を指定して、これらをそれぞれ左上隅と右下隅の頂点とする矩形で表すことが可能である。第４の例の指定領域１４０１が存在する位置によって示される建設機械の候補が存在するのは、カメラ１１１の焦点位置から第４の例の指定領域１４０１に対応する方向に伸ばした四角錐の内部にある。この四角錐を第４の例の指定四角錐１４０２と呼ぶ。第４の例の指定四角錐１４０２と交わる建設機械は、この例では３台存在する。これらの操作対象の建設機械を、それぞれ、第４の例の第１操作対象建設機械１４０３、第４の例の第２操作対象建設機械１４０４、並びに第４の例の第３操作対象建設機械１４０５と呼ぶ。

第３の例の第１操作対象建設機械１２０３及び第３の例の第２操作対象建設機械１２０４は、第１の実施の形態の図６の説明と同様に、表示装置１０２に表示する２次元の映像上で一定の領域を占有する。第４の例の第１操作対象建設機械１４０３の占有領域を記号ではＡ’１と表記し、名称はＭ１、カメラ１１１からの距離は５ｍとする。同様に、第４の例の第２操作対象建設機械１４０４の占有領域を記号ではＡ’２と表記し、名称はＭ２、カメラ１１１からの距離は１２ｍする。また、第４の例の第３操作対象建設機械１４０５の占有領域を記号ではＡ’３と表記し、名称はＭ３、カメラ１１１からの距離は６ｍする。ここでは、Ａ’１∩Ｒ’ｓ、Ａ’２∩Ｒ’ｓ、及びＡ’３∩Ｒ’ｓはいずれも空集合ではない。上述の各建設機械の情報は、表示装置１０２上に建設機械リスト１４０６として表示している。この例では、各建設機械の名称と、カメラ１１１からの距離を示し、各建設機械を選択しているかどうかをチェックマークで示している。また、操作を実行するための実行ボタンを備えている。

図１６において、施工管理端末１００が動作を開始すると、最初に操作装置１０３からの入力を検出する（ステップＳ２０１）。

また、ステップＳ２０４での判定結果がＹＥＳの場合には、ステップＳ１１０１において制御装置１０１に保存した建設機械の情報を、リスト形式にて表示装置１０２上に表示する（ステップＳ５０１）。これは、建設機械リスト１４０６のような表示内容となる。利用者は、操作装置１０３を操作することにより、建設機械リスト１４０６中のチェックマークのオンまたはオフを切り換える。ここでは、チェックマークをオンにした建設機械を操作対象とする。この例では、第４の例の第１操作対象建設機械１４０３と第４の例の第３操作対象建設機械１４０５の行のチェックマークがオンになっていて、これらの建設機械を操作対象としている。次いで実行ボタンを押すことにより、処理を次に進める。

続いて、ステップＳ１１０１において保存した建設機械の情報を1個ずつ抽出する（ステップＳ２０７）。

その他の構成は第１乃至３の実施の形態と同様である。

また、ステップＳ１５０１を実行する前に候補とした建設機械の中から、利用者が選択した建設機械のみを指定して操作対象とすることが可能となり、複数の建設機械を操作する場合に、対象外と推測される建設機械、例えばカメラ１１１からの距離が著しく離れている建設機械を操作対象から除外でき、効率的な建設機械の操作を行うことが可能となる。

＜第５の実施の形態＞
本発明の第５の実施の形態を図１７を参照しつつ説明する。

本実施の形態は、施工管理端末に搭載しているカメラ１１１以外の機器を利用して建設機械の操作を行う場合を示すものである。

図１７は、本実施の形態に係る建設機械の動作制御システムの構成を概略的に示す機能ブロック図である。図中、第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

本実施の形態では、第１の実施の形態（図１参照）の構成に、撮影設備を加えた場合を示している。

図１７において、撮影設備４００は、送受信装置１６０１（設備送受信装置）、カメラ１６０２（設備カメラ）、姿勢検出装置１６０３（設備姿勢検出装置）、及び、位置検出装置１６０４（設備位置検出装置）から概略構成されている。

撮影設備が有する送受信装置１６０１は、撮影設備にて取得した情報を、ネットワーク２００を通じて施工管理端末に送信する。

カメラ１６０２は、施工現場空間内の映像を撮影し、結果を送受信装置１６０１に出力する。

姿勢検出装置１６０３は、撮影設備が物理的にどの方向を向いているかを検出し、方向の情報を出力する。

位置検出装置１６０４は、撮影設備が施工現場空間内のどのような位置に存在するかを検出し、結果の位置情報を出力する。

施工管理端末１００の制御装置１０１は、送受信装置１０４、ネットワーク２００、及び、送受信装置１６０１を通じて、撮影設備の位置や姿勢、並びにカメラ１６０２が撮影する映像を取得する。

施工管理端末１００が受信した情報を用いて行う処理は、例えば、第１の実施の形態で図２を用いて説明したように、カメラ１１１が撮影する映像、姿勢検出装置１０９及び位置検出装置１１０が出力する情報を用いているが、これらを、カメラ１６０２が撮影する映像、姿勢検出装置１６０３及び位置検出装置１６０４が出力する情報に置き換えて処理を行う。

その他の構成は第１の実施の形態と同様である。

また、施工管理端末が存在していない場所、例えば撮影設備は存在しているが利用者の視線が届かない遠隔地において、動作している建設機械を操作することが可能となり、利用者が施工管理端末を携帯して移動する手間を省くことができるため、操作を効率的に実行することが可能となる。

＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。

例えば、第５の実施の形態においては、施工現場において操作者が施工管理端末１００を操作することにより、指定した建設機械の操作を行う場合を例示しているが、これに限られず、施工管理端末１００の一部の機能（制御装置１０１、表示装置１０２、操作装置１０３、送受信装置１０４、状態算出装置１１２）を有する端末を施工現場の管理事務所内に設置し、撮影設備４００からの情報を用いて、管理事務所から建設機械の操作を行うように構成しても良い。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１００…施工管理端末、１０１…制御装置、１０２…表示装置、１０３…操作装置、１０４…送受信装置、１０５…送受信装置、１０６…位置検出装置、１０７…制御装置、１０８…制御対象、１０９…姿勢検出装置、１１０…位置検出装置、１１１…カメラ、１１２…状態算出装置、１１３…稼働状態検出装置、１１４…停止可否判定装置、２００…ネットワーク、３００…建設機械、１６０１…送受信装置、１６０２…カメラ、１６０３…姿勢検出装置、１６０４…位置検出装置

Claims

建設機械を操作するための制御情報を作成する端末制御装置と、前記端末制御装置により作成された前記制御情報を表示する端末表示装置と、前記端末表示装置に表示された前記制御情報の少なくとも一部を操作者が指定した場合に、指定された前記制御情報の座標を入力座標値として検出し、検出された前記入力座標値を出力する端末操作装置と、前記制御情報の送受信を行う端末送受信装置と
を有する施工管理端末と、
前記制御情報を送受信する機械送受信装置と、施工現場空間内における前記建設機械の位置を取得して機械位置情報として出力する機械位置検出装置と、入力された前記制御情報に応じた制御信号を出力する機械制御装置と、前記機械制御装置から入力された前記制御信号に応じて動作する前記建設機械の制御機構である制御対象とを有する建設機械と
を備えた建設機械の動作制御システムにおいて、
前記施工管理端末は、
前記施工管理端末の前記施工現場空間内における向きを検出して端末姿勢情報として出力する端末姿勢検出装置と、
前記施工管理端末の前記施工現場空間内における位置を取得して端末位置情報として出力する端末位置検出装置と、
前記施工管理端末と一体的に設けられ、前記施工管理端末の周囲の状況を撮影し、周囲映像として出力する端末カメラと、
前記端末姿勢検出装置により検出された前記端末姿勢情報と前記端末位置検出装置により検出された前記端末位置情報とに基づいて、前記施工管理端末の状態を示す端末状態情報を算出して出力する端末状態算出装置とをさらに有し、
前記端末カメラにより出力された周囲映像が前記端末表示装置に表示された状態において前記端末表示装置で指定された前記入力座標値と前記端末状態算出装置により検出された前記端末状態情報とに基づいて、前記端末操作装置で指定された前記入力座標値に対応する前記施工現場空間内に存在する前記建設機械を操作対象として同定し、操作対象として同定された前記建設機械を停止させる制御情報である停止制御情報を生成することを特徴とする建設機械の動作制御システム。
請求項１記載の建設機械の動作制御システムにおいて、
前記建設機械は、
前記建設機械の姿勢を表す情報である機械姿勢情報と現在適用中の制御量とからなる機械稼働状態情報を検出する機械稼働状態検出装置と、
前記施工管理端末から前記停止制御情報を受信した場合に前記機械稼働状態検出装置により検出された前記機械稼働状態情報に基づいて前記建設機械を安定して停止可能かどうかを判定し、
安定して停止可能であると判定した場合には、前記停止制御情報を前記施工管理端末から受信することによって、前記制御対象を停止させる前記制御信号を前記機械制御装置から前記制御対象に出力させるとともに、
安定して停止不可であると判定した場合には、停止不可な状態であることを示す停止不可情報を前記施工管理端末に送信する停止可否判定装置とをさらに有する
ことを特徴とする建設機械の動作制御システム。
請求項１記載の建設機械の動作制御システムにおいて、
前記端末制御装置は、
前記端末操作装置で指定された前記入力座標値に対応する前記施工現場空間内の位置に複数の建設機械が存在する場合には、前記端末位置検出装置により検出された前記端末位置情報と前記端末送受信装置を介して受信した前記機械位置検出装置により検出された前記機械位置情報とに基づいて、前記端末カメラに最も近い位置に存在する前記建設機械を操作対象として同定することを特徴とする建設機械の動作制御システム。
請求項１記載の建設機械の動作制御システムにおいて、
前記端末制御装置は、
前記端末操作装置で指定された前記入力座標値に対応する前記施工現場空間内の位置に複数の建設機械が存在する場合には、前記入力座標値に対応する位置に存在する前記複数の建設機械の全てを操作対象として同定することを特徴とする建設機械の動作制御システム。
請求項１記載の建設機械の動作制御システムにおいて、
前記端末制御装置は、
前記端末操作装置で指定された前記入力座標値に対応する前記施工現場空間内の位置に複数の建設機械が存在する場合には、前記入力座標値に対応する位置に存在する前記複数の建設機械の情報を前記端末表示装置に一覧表示し、前記操作者が前記端末操作装置によって前記一覧表示から選択した前記建設機械を操作対象として同定することを特徴とする建設機械の動作制御システム。
請求項１記載の建設機械の動作制御システムにおいて、
前記施工管理端末および前記建設機械とは別体で設けられた撮影設備をさらに備え、
前記撮影設備は、前記制御情報の送受信を行う設備送受信装置と、前記撮影設備と一体的に設けられ、前記施工管理端末の周囲の状況を撮影し、周囲映像として出力する設備カメラと、前記撮影設備の前記施工現場空間内における向きを検出して設備姿勢情報として出力する設備姿勢検出装置と、前記撮影設備の前記施工現場空間内における位置を取得して設備位置情報として出力する設備位置検出装置とを有し、
前記施工管理端末は、
前記設備姿勢検出装置により検出された前記設備姿勢情報と前記設備位置検出装置により検出された前記設備位置情報とに基づいて、前記撮影設備の状態を示す設備状態情報を前記端末状態算出装置で算出し、
前記設備カメラにより出力された周囲映像が前記端末表示装置に表示された状態において前記端末表示装置で指定された入力座標値と前記端末状態算出装置により算出された前記設備状態情報とに基づいて、前記端末操作装置で指定された前記入力座標値に対応する前記施工現場空間内での位置に存在する前記建設機械を操作対象として同定することを特徴とする建設機械の動作制御システム。