JP2022157635A - Management system for construction machine - Google Patents
Management system for construction machine Download PDFInfo
- Publication number
- JP2022157635A JP2022157635A JP2021061971A JP2021061971A JP2022157635A JP 2022157635 A JP2022157635 A JP 2022157635A JP 2021061971 A JP2021061971 A JP 2021061971A JP 2021061971 A JP2021061971 A JP 2021061971A JP 2022157635 A JP2022157635 A JP 2022157635A
- Authority
- JP
- Japan
- Prior art keywords
- excavator
- information
- controller
- operator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 93
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000004088 simulation Methods 0.000 claims description 45
- 230000005856 abnormality Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 77
- 238000009412 basement excavation Methods 0.000 description 60
- 239000004576 sand Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 238000012876 topography Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 14
- 239000008186 active pharmaceutical agent Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 239000000446 fuel Substances 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 239000012530 fluid Substances 0.000 description 7
- 239000010720 hydraulic oil Substances 0.000 description 7
- 239000004566 building material Substances 0.000 description 6
- RFHAOTPXVQNOHP-UHFFFAOYSA-N fluconazole Chemical compound C1=NC=NN1CC(C=1C(=CC(F)=CC=1)F)(O)CN1C=NC=N1 RFHAOTPXVQNOHP-UHFFFAOYSA-N 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 239000003921 oil Substances 0.000 description 3
- 239000007858 starting material Substances 0.000 description 3
- WTHDKMILWLGDKL-UHFFFAOYSA-N urea;hydrate Chemical compound O.NC(N)=O WTHDKMILWLGDKL-UHFFFAOYSA-N 0.000 description 3
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000004202 carbamide Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002828 fuel tank Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000010626 work up procedure Methods 0.000 description 1
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本開示は、建設機械の管理システムに関する。 The present disclosure relates to a construction machine management system.
従来、ショベルに供給される燃料の性状を判定できる監視システムが知られている（特許文献１参照）。 2. Description of the Related Art Conventionally, a monitoring system capable of determining properties of fuel supplied to a shovel is known (see Patent Document 1).
しかしながら、上述のシステムは、特定の一台のショベルに供給される燃料の性状を判定するように構成されるのみであり、複数台のショベルの状態を管理できるようには構成されていない。 However, the above-described system is only configured to determine the properties of fuel supplied to one specific shovel, and is not configured to manage the states of a plurality of shovels.
そこで、複数台の建設機械の状態を管理できる管理システムを提供することが望まれる。 Therefore, it is desired to provide a management system capable of managing the states of a plurality of construction machines.
本発明の実施形態に係る建設機械の管理システムは、無線通信を介して接続される複数台の建設機械と管理センタに設置された演算装置とを含む建設機械の管理システムであって、前記管理センタには、前記演算装置に接続された表示装置が設置されており、前記表示装置には、複数台の建設機械を管理するための管理画面が表示される。 A construction machine management system according to an embodiment of the present invention is a construction machine management system including a plurality of construction machines connected via wireless communication and an arithmetic device installed in a management center, wherein the management A display device connected to the arithmetic device is installed in the center, and a management screen for managing a plurality of construction machines is displayed on the display device.
上述の管理システムは、複数台の建設機械の状態を管理できる。 The management system described above can manage the status of a plurality of construction machines.
次に、添付図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。 Non-limiting exemplary embodiments of the invention will now be described with reference to the accompanying drawings.
図１は、本発明の実施形態に係る掘削機としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。
FIG. 1 shows a
ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。
The
ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ４が取り付けられている。
A boom angle sensor S1 is attached to the
ブーム角度センサＳ１は、姿勢検出センサの一つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。
The boom angle sensor S<b>1 is one of attitude detection sensors and is configured to detect the rotation angle of the
アーム角度センサＳ２は、姿勢検出センサの一つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。
The arm angle sensor S<b>2 is one of posture detection sensors and is configured to detect the rotation angle of the
バケット角度センサＳ３は、姿勢検出センサの一つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。
The bucket angle sensor S<b>3 is one of posture detection sensors and is configured to detect the rotation angle of the
なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。 Note that each of the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3 may be a rotary encoder, an acceleration sensor, a potentiometer (variable resistor), an inclination sensor, an inertial measurement device, or the like. The inertial measurement device may be composed of, for example, a combination of an acceleration sensor and a gyro sensor.
旋回角速度センサＳ４は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ４は、ジャイロセンサである。旋回角速度センサＳ４は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ４は、ロータリエンコーダ等の他のセンサで構成されていてもよい。 The turning angular velocity sensor S4 is configured to detect the turning angular velocity of the upper turning body 3 . In this embodiment, the turning angular velocity sensor S4 is a gyro sensor. The turning angular velocity sensor S4 may be configured to calculate the turning angle based on the turning angular velocity. The turning angular velocity sensor S4 may be composed of another sensor such as a rotary encoder.
上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置１８、集音装置Ａ１、空間認識装置Ｃ１、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。また、キャビン１０内には、運転席及び操作装置等が設置されている。但し、ショベル１００は、キャビン１０が省略された無人ショベル（自動運転ショベル）であってもよい。
A
エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。
The
測位装置１８は、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置１８は、ＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。
集音装置Ａ１は、ショベル１００の周囲で発生する音を集めるように構成されている。本実施形態では、集音装置Ａ１は、上部旋回体３に取り付けられたマイクである。
The sound collector A1 is configured to collect sounds generated around the
空間認識装置Ｃ１は、ショベル１００の周囲の空間を認識できるように構成されている。本実施形態では、空間認識装置Ｃ１は、単眼カメラ、ステレオカメラ、又は赤外線カメラ等の撮像装置である。具体的には、空間認識装置Ｃ１は、上部旋回体３の上面後端に取り付けられた後カメラＣ１Ｂ、キャビン１０の上面前端に取り付けられた前カメラＣ１Ｆ、上部旋回体３の上面左端に取り付けられた左カメラＣ１Ｌ、及び、上部旋回体３の上面右端に取り付けられた右カメラＣ１Ｒを含む。空間認識装置Ｃ１は、キャビン１０内の所定位置に設置された全天球カメラであってもよい。所定位置は、例えば、キャビン１０内に設置された運転席に着座する操作者の目の位置に対応する位置である。
The space recognition device C1 is configured to recognize the space around the
空間認識装置Ｃ１は、ＬＩＤＡＲ、超音波センサ、ミリ波レーダ、又は赤外線センサ等（以下、「ＬＩＤＡＲ等」とする。）であってもよい。 The space recognition device C1 may be a LIDAR, an ultrasonic sensor, a millimeter wave radar, an infrared sensor, or the like (hereinafter referred to as "LIDAR, etc.").
通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の無線通信を制御するように構成されている。
The communication device T1 is configured to control communication with equipment outside the
コントローラ３０は、各種演算を実行する演算装置である。本実施形態では、コントローラ３０は、ＣＰＵ及びメモリ３０ａを含むマイクロコンピュータで構成されている。そして、コントローラ３０の各種機能は、ＣＰＵがメモリ３０ａに格納されたプログラムを実行することで実現される。
The
図２は、図１のショベル１００の駆動系の構成例を示すブロック図である。図２において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。
FIG. 2 is a block diagram showing a configuration example of the drive system of the
ショベル１００の駆動系は、エンジン１１、レギュレータ１３、メインポンプ１４、パイロットポンプ１５、コントロールバルブユニット１７、コントローラ３０、及び電磁弁ユニット４５等で構成されている。エンジン１１は、エンジンコントロールユニット７４により駆動制御される。
A drive system of the
メインポンプ１４は、作動油ライン１６を介して作動油をコントロールバルブユニット１７に供給する。本実施形態では、メインポンプ１４は、斜板式可変容量型油圧ポンプである。
The
レギュレータ１３は、メインポンプ１４の吐出量を制御するように構成されている。本実施形態では、レギュレータ１３は、メインポンプ１４の吐出圧又はコントローラ３０からの制御信号等に応じてメインポンプ１４の斜板傾転角を調節するように構成されている。メインポンプ１４は、レギュレータ１３により１回転当たり吐出量（押し退け容積）が制御される。
The
パイロットポンプ１５は、パイロットライン２５を介して各種油圧制御機器に作動油を供給するように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロットポンプ１５は、省略されてもよい。この場合、パイロットポンプ１５が担っていた機能は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、コントロールバルブユニット１７に作動油を供給する機能とは別に、絞り等を介して電磁弁ユニット４５等に作動油を供給する機能を備えていてもよい。
The
コントロールバルブユニット１７は、メインポンプ１４から受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット１７は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット１７は、１又は複数の油圧アクチュエータに対し、メインポンプ１４から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左側走行用油圧モータ１Ｌ、右側走行用油圧モータ１Ｒ、及び旋回用油圧モータ２Ａを含む。
The
コントローラ３０は、通信装置Ｔ１を通じて受信する操作信号に基づき、電磁弁ユニット４５を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室から送信されてくる。すなわち、ショベル１００は、遠隔操作ショベルとして機能する。但し、操作信号は、キャビン１０内に設けられた操作装置によって生成されてもよい。すなわち、ショベル１００は、通常の有人ショベルとしても機能し得る。
The
電磁弁ユニット４５は、パイロットポンプ１５とコントロールバルブユニット１７内の各制御弁のパイロットポートとを繋ぐ各パイロットライン２５に配置された複数の電磁弁を含む。
The
本実施形態では、コントローラ３０は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。
In this embodiment, the
このようにして、コントローラ３０は、遠隔操作室等の外部からの操作信号に応じ、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。
In this manner, the
図３は、図１のショベルに搭載される電気系の構成例を示す図である。エンジン１１は、図３に示すように、エンジンコントロールユニット７４に接続されている。エンジンコントロールユニット７４からは、エンジン１１の状態を示す各種データがコントローラ３０に送信される。コントローラ３０は、エンジン１１の状態を示す各種データをメモリ３０ａに蓄積できるように構成されている。
FIG. 3 is a diagram showing a configuration example of an electrical system mounted on the excavator of FIG. The
バッテリ７０は、ショベル１００に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ１１ａ（発電機）、スタータ１１ｂ、コントローラ３０、及び電装品７２等は、バッテリ７０に蓄えられた電力で動作するように構成されている。スタータ１１ｂは、バッテリ７０に蓄えられた電力で駆動され、エンジン１１を始動させるように構成されている。また、バッテリ７０は、オルタネータ１１ａが発電した電力で充電されるように構成されている。
The
水温センサ１１ｃは、エンジン冷却水の温度に関するデータをコントローラ３０に送信する。レギュレータ１３は、斜板傾転角に関するデータをコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをコントローラ３０に送信する。測位装置１８は、ショベル１００の位置に関するデータをコントローラ３０に送信する。
The
メインポンプ１４が吸入する作動油が貯蔵された作動油タンクとメインポンプ１４との間の管路１４－１には、油温センサ１４ｃが設けられている。油温センサ１４ｃは、管路１４－１を流れる作動油の温度に関するデータをコントローラ３０に送信する。
An
尿素水タンク２１に設けられた尿素水残量センサ２１ａは、尿素水の残量に関するデータをコントローラ３０に送信する。燃料タンク２２に設けられた燃料残量センサ２２ａは、燃料の残量に関するデータをコントローラ３０に送信する。
A urea water remaining
通信装置Ｔ１は、無線通信を介し、遠隔操作室ＲＣに設置された通信装置Ｔ２との間で情報を送受信するように構成されている。本実施形態では、通信装置Ｔ１と通信装置Ｔ２とは、第６世代移動通信回線（６Ｇ回線）、第５世代移動通信回線（５Ｇ回線）、第４世代移動通信回線（４Ｇ回線）、ＬＴＥ回線、又は衛星回線等を介して情報を送受信するように構成されている。 The communication device T1 is configured to transmit and receive information to and from the communication device T2 installed in the remote control room RC via wireless communication. In this embodiment, the communication device T1 and the communication device T2 are connected to a 6th generation mobile communication line (6G line), a 5th generation mobile communication line (5G line), a 4th generation mobile communication line (4G line), and an LTE line. , or is configured to transmit and receive information via a satellite line or the like.
遠隔操作室ＲＣには、遠隔コントローラ４０、音出力装置Ａ２、室内空間認識装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２等が設置されている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る運転席ＤＳが設置されている。
A
遠隔コントローラ４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、コントローラ３０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。
The
音出力装置Ａ２は、音を出力するように構成されている。本実施形態では、音出力装置Ａ２は、スピーカであり、ショベル１００に取り付けられている集音装置Ａ１が集めた音を再生するように構成されている。
The sound output device A2 is configured to output sound. In this embodiment, the sound output device A2 is a speaker, and is configured to reproduce sounds collected by the sound collector A1 attached to the
室内空間認識装置Ｃ２は、遠隔操作室ＲＣ内の空間を認識できるように構成されている。本実施形態では、室内空間認識装置Ｃ２は、遠隔操作室ＲＣの内部に設置されたカメラであり、運転席ＤＳに着座する操作者ＯＰを撮像するように構成されている。 The indoor space recognition device C2 is configured to be able to recognize the space inside the remote control room RC. In this embodiment, the indoor space recognition device C2 is a camera installed inside the remote control room RC, and is configured to capture an image of the operator OP sitting in the driver's seat DS.
通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１との無線通信を制御するように構成されている。
The communication device T2 is configured to control wireless communication with the communication device T1 attached to the
本実施形態では、運転席ＤＳは、通常のショベルのキャビン内に設置される運転席と同様の構造を有する。具体的には、運転席ＤＳの左側には左コンソールボックスが配置され、運転席ＤＳの右側には右コンソールボックスが配置されている。そして、左コンソールボックスの上面前端には左操作レバーが配置され、右コンソールボックスの上面前端には右操作レバーが配置されている。また、運転席ＤＳの前方には、走行レバー及び走行ペダルが配置されている。更に、右コンソールボックスの上面中央部には、ダイヤル７５が配置されている。左操作レバー、右操作レバー、走行レバー、走行ペダル、及びダイヤル７５のそれぞれは、操作装置２６を構成している。
In this embodiment, the driver's seat DS has a structure similar to that of a driver's seat installed in the cabin of an ordinary excavator. Specifically, a left console box is arranged on the left side of the driver's seat DS, and a right console box is arranged on the right side of the driver's seat DS. A left operating lever is arranged at the front end of the upper surface of the left console box, and a right operating lever is arranged at the front end of the upper surface of the right console box. A travel lever and travel pedals are arranged in front of the driver's seat DS. Furthermore, a
ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルであり、例えばエンジン回転数を４段階で切り換えできるように構成されている。
The
具体的には、ダイヤル７５はＳＰモード、Ｈモード、Ａモード、及びアイドリングモードの４段階でエンジン回転数の切り換えができるように構成されている。ダイヤル７５は、エンジン回転数の設定に関するデータをコントローラ３０に送信する。
Specifically, the
ＳＰモードは、操作者ＯＰが作業量を優先させたい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、操作者ＯＰが作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、操作者ＯＰが燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、操作者ＯＰがエンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン１１は、ダイヤル７５を介して選択された回転数モードのエンジン回転数で一定に回転数制御される。
The SP mode is a rotational speed mode selected when the operator OP wants to give priority to the amount of work, and utilizes the highest engine rotational speed. The H mode is a rotational speed mode selected when the operator OP wants to achieve both work load and fuel consumption, and uses the second highest engine rotational speed. The A mode is a rotational speed mode selected when the operator OP wants to operate the excavator with low noise while giving priority to fuel consumption, and uses the third highest engine rotational speed. The idling mode is a rotation speed mode selected when the operator OP wants the engine to be in an idling state, and utilizes the lowest engine rotation speed. The engine speed of the
操作装置２６には、操作装置２６の操作内容を検出するための操作センサ２９が設置されている。操作センサ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ２９は、検出した操作装置２６の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサ２９は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。
The
表示装置Ｄ１は、ショベル１００の周囲の状況に関する情報を表示するように構成されている。表示装置Ｄ１は、タッチパネルであってもよい。本実施形態では、表示装置Ｄ１は、縦３段、横３列の９つのモニタで構成されるマルチディスプレイであり、ショベル１００の前方、左方、及び右方の空間の様子を表示できるように構成されている。各モニタは、液晶モニタ又は有機ＥＬモニタ等である。但し、表示装置Ｄ１は、１又は複数の曲面モニタで構成されていてもよく、プロジェクタで構成されていてもよい。
The display device D1 is configured to display information about the situation around the
表示装置Ｄ１は、操作者ＯＰが着用可能な表示装置であってもよい。例えば、表示装置Ｄ１は、ヘッドマウントディスプレイ（ＶＲ用ゴーグル）であり、無線通信によって、遠隔コントローラ４０との間で情報を送受信できるように構成されていてもよい。ヘッドマウントディスプレイは、遠隔コントローラ４０に有線接続されていてもよい。ヘッドマウントディスプレイは、透過型ヘッドマウントディスプレイであってもよく、非透過型ヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイは、片眼型ヘッドマウントディスプレイであってもよく、両眼型ヘッドマウントディスプレイであってもよい。
The display device D1 may be a display device that can be worn by the operator OP. For example, the display device D1 may be a head-mounted display (VR goggles), and may be configured to transmit and receive information to and from the
表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認できるようにする画像を表示するように構成されている。すなわち、表示装置Ｄ１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、あたかもショベル１００のキャビン１０内にいるかのように、ショベル１００の周囲の状況を確認することができるように、画像を表示する。
The display device D1 is configured to display an image that allows the operator OP in the remote control room RC to visually recognize the surroundings of the
次に、図４を参照し、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする第１座標系と、ショベル１００における基準点Ｒ２を原点とする第２座標系との関係について説明する。なお、以下の説明では、第１座標系は、操作室座標系と称され、第２座標系は、ショベル座標系と称される。図４は、操作室座標系とショベル座標系との関係を示す図である。
Next, with reference to FIG. 4, the relationship between the first coordinate system whose origin is the reference point R1 in the remote control room RC and the second coordinate system whose origin is the reference point R2 in the
操作室座標系は、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする３次元ＵＶＷ直交座標系であり、運転席ＤＳの前後方向に平行に伸びるＵ軸、運転席ＤＳの左右方向に平行に伸びるＶ軸、及び、Ｕ軸とＶ軸に直交するＷ軸を有する。 The control room coordinate system is a three-dimensional UVW orthogonal coordinate system with the reference point R1 in the remote control room RC as the origin. It has a V-axis and a W-axis that is orthogonal to the U-axis and the V-axis.
ショベル座標系は、上部旋回体３上の基準点Ｒ２を原点とする３次元ＸＹＺ直交座標系であり、上部旋回体３の前後方向に平行に伸びるＸ軸、上部旋回体３の左右方向に平行に伸びるＹ軸、及び、Ｘ軸とＹ軸に直交するＺ軸を有する。図４の例では、基準点Ｒ２は旋回軸上の点であり、ＸＹ平面は水平面であり、Ｚ軸は鉛直軸である。すなわち、図４の例では、ショベル１００が位置する仮想平面である接地面は水平面である。そして、Ｘ軸は、操作室座標系のＵ軸に対応し、Ｙ軸は、操作室座標系のＶ軸に対応し、Ｚ軸は、操作室座標系のＷ軸に対応している。
The excavator coordinate system is a three-dimensional XYZ orthogonal coordinate system with a reference point R2 on the upper revolving structure 3 as the origin. and a Z axis that is orthogonal to the X and Y axes. In the example of FIG. 4, the reference point R2 is a point on the pivot axis, the XY plane is the horizontal plane, and the Z axis is the vertical axis. That is, in the example of FIG. 4, the ground plane, which is the virtual plane on which the
本実施形態では、操作室座標系における各三次元座標は、ショベル座標系における三次元座標の一つに予め対応付けられている。そのため、遠隔操作室ＲＣにおける操作者ＯＰの目の位置である操作者視点Ｅ１の三次元座標が決まれば、ショベル１００における仮想操作者の目の位置である仮想操作者視点Ｅ１'の三次元座標は一意に決まる。なお、操作者ＯＰの目の位置は、例えば、操作者ＯＰの左目の位置と右目の位置の中間点である。但し、操作者ＯＰの目の位置は、予め設定された位置であってもよい。すなわち、操作者視点Ｅ１及び仮想操作者視点Ｅ１'は固定点であってもよい。
In this embodiment, each three-dimensional coordinate in the operation room coordinate system is associated in advance with one of the three-dimensional coordinates in the excavator coordinate system. Therefore, if the three-dimensional coordinates of the operator's viewpoint E1, which is the position of the eyes of the operator OP in the remote control room RC, are determined, the three-dimensional coordinates of the virtual operator's viewpoint E1', which is the position of the eyes of the virtual operator in the
上述の実施形態では、表示装置Ｄ１は、操作者ＯＰの前方、左前方、及び右前方に設置されているが、操作者ＯＰを取り囲むように角筒状又は円筒状に設置されていてもよい。すなわち、表示装置Ｄ１は、操作者ＯＰの後方に設置されたモニタを含んでいてもよい。或いは、表示装置Ｄ１は、操作者ＯＰを取り囲むように半球状に設置されていてもよい。すなわち、表示装置Ｄ１は、操作者ＯＰの真上に設置されたモニタを含んでいてもよい。 In the above-described embodiment, the display device D1 is installed in front, left front, and right front of the operator OP, but it may be installed in a rectangular tube shape or a cylindrical shape so as to surround the operator OP. . That is, the display device D1 may include a monitor installed behind the operator OP. Alternatively, the display device D1 may be installed in a hemispherical shape so as to surround the operator OP. That is, the display device D1 may include a monitor installed right above the operator OP.
次に、図５及び図６を参照し、建設機械の管理システムの一例であるショベル１００の施工支援システムＳＹＳの構成例について説明する。図５は、施工支援システムＳＹＳの構成例を示す概略図である。図６は、施工支援システムＳＹＳの構成例を示す機能ブロック図である。
Next, a configuration example of a construction support system SYS for the
施工支援システムＳＹＳは、主に、ショベル１００に搭載されている測位装置１８、コントローラ３０、電磁弁ユニット４５、集音装置Ａ１、空間認識装置Ｃ１、及び通信装置Ｔ１と、遠隔操作室ＲＣに設置されている操作センサ２９、遠隔コントローラ４０、音出力装置Ａ２、室内空間認識装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２と、管理センタ２００に設置されているコントローラ５０、表示装置Ｄ２、及び通信装置Ｔ３とで構成されている。
The construction support system SYS is mainly installed in the
図５に示す例では、施工支援システムＳＹＳは、ショベル１００ａと、ショベル１００ｂと、ショベル１００ａに関する遠隔操作室ＲＣａと、ショベル１００ｂに関する遠隔操作室ＲＣｂと、作業現場に設置された空間認識装置Ｃ３と、管理センタ２００とで構成されている。そして、ショベル１００ａ、ショベル１００ｂ、遠隔操作室ＲＣａ、遠隔操作室ＲＣｂ、及び空間認識装置Ｃ３のそれぞれと管理センタ２００とは４Ｇ回線を通じて接続されている。なお、図６では、明瞭化のため、ショベル１００ａと同じ構成を有するショベル１００ｂの図示、及び、遠隔操作室ＲＣａと同じ構成を有する遠隔操作室ＲＣｂの図示が省略されている。
In the example shown in FIG. 5, the construction support system SYS includes an
空間認識装置Ｃ３は、作業現場内の空間を認識できるように構成されている。本実施形態では、空間認識装置Ｃ３は、作業現場に設置されたカメラであり、作業現場の様子を撮像するように構成されている。 The space recognition device C3 is configured to be able to recognize the space within the work site. In this embodiment, the space recognition device C3 is a camera installed at the work site, and is configured to capture an image of the work site.
最初に、ショベル１００ａに搭載されているコントローラ３０が有する機能について説明する。コントローラ３０は、図６に示すように、機能ブロックとして、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３を有する。ショベル１００ｂについても同様である。画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３は、説明の便宜のために区別されて表されているが、物理的に区別されている必要はなく、全体的に或いは部分的に共通のソフトウェアコンポーネント若しくはハードウェアコンポーネントで構成されていてもよい。
First, functions of the
画像生成部３１は、表示装置Ｄ１で表示される画像を含む周囲画像を生成するように構成されている。周囲画像は、表示装置Ｄ１での表示の際に利用される画像である。典型的には、周囲画像は、仮にキャビン１０内に操作者がいたならば操作者が見ることができたショベル１００の周囲の様子を表す画像である。本実施形態では、周囲画像は、空間認識装置Ｃ１としての撮像装置が撮像した画像に基づいて生成される。具体的には、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒのそれぞれが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成する。但し、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒの少なくとも一つが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成してもよい。第１仮想視点画像の仮想視点である第１仮想視点は、仮にキャビン１０内の運転席に操作者が着座していたときの操作者の目の位置に対応する仮想操作者視点Ｅ１'（図４参照。）である。但し、仮想操作者視点Ｅ１'は、キャビン１０の外にあってもよい。
The
本実施形態では、第１仮想視点である仮想操作者視点Ｅ１'の座標は、遠隔操作室ＲＣの運転席ＤＳに操作者ＯＰが着座したときの操作者ＯＰの目の位置である操作者視点Ｅ１（図４参照。）に基づいて導き出される。なお、操作者視点Ｅ１の座標は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、操作室座標系における操作者視点Ｅ１の座標を、ショベル座標系における座標に変換することで、仮想操作者視点Ｅ１'の座標を導き出すことができる。但し、操作者視点Ｅ１の座標は、予め設定された固定値であってもよい。
In this embodiment, the coordinates of the virtual operator's viewpoint E1', which is the first virtual viewpoint, are the operator's viewpoint, which is the eye position of the operator OP when the operator OP is seated in the driver's seat DS in the remote control room RC. It is derived based on E1 (see FIG. 4). The coordinates of the operator's viewpoint E1 are transmitted from the
また、本実施形態では、第１仮想視点画像は、第１仮想視点を取り囲む仮想的な円筒状の仮想投影面の内周面に投影された画像に相当する。仮想投影面は、第１仮想視点を取り囲む仮想的な球又は半球の内面であってもよく、第１仮想視点を取り囲む仮想的な直方体又は立方体の内面であってもよい。このように生成された第１仮想視点画像を見ることで、操作者ＯＰは、ショベル１００の周囲の状況を立体的に把握することができる。すなわち、操作者ＯＰは、第１仮想視点画像を見ることで、例えば、ショベル１００の前方に位置するダンプトラックの荷台の奥行き、地面にある盛り土の高さ、又は、地面にある穴の深さ等をより正確に把握できる。
Further, in the present embodiment, the first virtual viewpoint image corresponds to an image projected onto the inner peripheral surface of a virtual cylindrical virtual projection plane surrounding the first virtual viewpoint. The virtual projection plane may be the inner surface of a virtual sphere or hemisphere surrounding the first virtual viewpoint, or the inner surface of a virtual rectangular parallelepiped or cube surrounding the first virtual viewpoint. By viewing the first virtual viewpoint image generated in this manner, the operator OP can stereoscopically grasp the situation around the
表示装置Ｄ１で表示される第１仮想視点画像由来の画像は、画像生成部３１が生成する第１仮想視点画像の一部である。
The image derived from the first virtual viewpoint image displayed on the display device D<b>1 is part of the first virtual viewpoint image generated by the
なお、表示装置Ｄ１がヘッドマウントディスプレイである場合、第１仮想視点画像の全領域に占める、表示装置Ｄ１で表示される画像の領域は、遠隔操作室ＲＣの運転席ＤＳに着座している操作者ＯＰの視線の向きに基づいて決定されてもよい。この場合、操作者ＯＰの視線の向きに関する情報は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、空間認識装置Ｃ１が出力する画像と、遠隔コントローラ４０から送信されてくる操作者視点Ｅ１の座標とに基づいて周囲画像としての第１仮想視点画像を生成する。そして、画像生成部３１は、遠隔コントローラ４０から送信されてくる操作者ＯＰの視線の向きに関する情報に基づき、生成した第１仮想視点画像の一部を部分周囲画像として切り出し、切り出した部分周囲画像を遠隔操作室ＲＣにある表示装置Ｄ１に向けて送信する。
Note that when the display device D1 is a head-mounted display, the area of the image displayed on the display device D1, which occupies the entire area of the first virtual viewpoint image, is the area of the image displayed by the operator seated in the driver's seat DS in the remote control room RC. It may be determined based on the direction of the line of sight of the person OP. In this case, information about the line of sight of the operator OP is transmitted from the
ショベル状態特定部３２は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向きを含む。ショベル１００の位置は、例えば、ショベル１００における基準点Ｒ２の緯度、経度、及び高度である。ショベル状態特定部３２は、測位装置１８の出力に基づいてショベルの位置及び向きを特定する。
The excavator
アクチュエータ駆動部３３は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３３は、遠隔コントローラ４０から送信されてくる操作信号に基づき、電磁弁ユニット４５に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。
The
作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
Each solenoid valve that receives the actuation signal increases or decreases the pilot pressure acting on the pilot port of the corresponding control valve in the
次に、遠隔操作室ＲＣに設置されている遠隔コントローラ４０が有する機能について説明する。遠隔コントローラ４０は、機能ブロックとして、操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３を有する。操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３は、説明の便宜のために区別されて表されているが、物理的に区別されている必要はなく、全体的に或いは部分的に共通のソフトウェアコンポーネント若しくはハードウェアコンポーネントで構成されていてもよい。
Next, functions of the
操作者状態特定部４１は、遠隔操作室ＲＣにいる操作者ＯＰの状態を特定するように構成されている。操作者ＯＰの状態は、操作者ＯＰの目の位置と視線の向きを含む。操作者状態特定部４１は、室内空間認識装置Ｃ２の出力に基づいて操作者ＯＰの目の位置及び視線の向きを特定する。具体的には、操作者状態特定部４１は、室内空間認識装置Ｃ２としての撮像装置が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの目の位置の座標を操作者視点Ｅ１（図４参照。）の座標として特定する。また、操作者状態特定部４１は、室内空間認識装置Ｃ２としての撮像装置が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの視線の向きを特定する。 The operator state identification unit 41 is configured to identify the state of the operator OP who is in the remote control room RC. The state of the operator OP includes the position of the operator's OP eyes and the orientation of the line of sight. The operator state identification unit 41 identifies the position of the eyes and the direction of the line of sight of the operator OP based on the output of the indoor space recognition device C2. Specifically, the operator state identification unit 41 performs various image processing on the image captured by the imaging device as the indoor space recognition device C2, and determines the coordinates of the eye position of the operator OP in the operation room coordinate system. It is specified as the coordinates of the viewpoint E1 (see FIG. 4). Further, the operator state identification unit 41 performs various image processing on the image captured by the imaging device as the indoor space recognition device C2, and identifies the direction of the line of sight of the operator OP in the operation room coordinate system.
操作者状態特定部４１は、遠隔操作室ＲＣに設置されたＬＩＤＡＲ等、又は、表示装置Ｄ１としてのヘッドマウントディスプレイに取り付けられた慣性計測装置等、室内空間認識装置Ｃ２以外の他の装置の出力に基づいて操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きを導き出してもよい。なお、慣性計測装置は、測位装置を含んでいてもよい。 The operator state identification unit 41 receives the output of other devices other than the indoor space recognition device C2, such as LIDAR installed in the remote control room RC, or an inertial measurement device attached to the head-mounted display as the display device D1. The coordinates of the operator's viewpoint E1 and the direction of the line of sight of the operator OP may be derived based on . Note that the inertial measurement device may include a positioning device.
そして、操作者状態特定部４１は、通信装置Ｔ２を通じ、操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きに関する情報をショベル１００に向けて送信する。
Then, the operator state identification unit 41 transmits information about the coordinates of the operator's viewpoint E1 and the direction of the line of sight of the operator OP to the
画像合成部４２は、コントローラ３０から送信されてくる部分周囲画像と、別の画像とを合成して合成画像を生成するように構成されている。
The
別の画像は、設計面情報ＤＧに基づいて生成される画像である設計面画像であってもよい。設計面情報ＤＧは、例えば、施工完了後の地面である設計面に関する情報である。本実施形態では、画像合成部４２は、遠隔コントローラ４０を構成している不揮発性記憶装置に予め記憶されている設計面情報ＤＧに基づいて設計面の位置を表すコンピュータグラフィックス等の図形を、設計面画像として、部分周囲画像に重畳表示させる。設計面は、ショベル１００を用いた掘削作業が完了したときの地面である。操作者は、設計面を見ることで、掘削作業が完了する前であっても、掘削作業が完了したときのショベル１００の周囲の状態を把握できる。この場合、画像合成部４２は、ショベル状態特定部３２が特定したショベルの位置及び向きに基づき、部分周囲画像における、設計面画像を重畳表示すべき位置を決定する。
Another image may be a design surface image that is an image generated based on the design surface information DG. The design surface information DG is, for example, information relating to the design surface that is the ground after completion of construction. In this embodiment, the
操作信号生成部４３は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部４３は、操作センサ２９の出力に基づいて操作信号を生成するように構成されている。
The
次に、情報センタとしての管理センタ２００に設置されているコントローラ５０が有する機能について説明する。コントローラ５０は、各種演算を実行する演算装置である。本実施形態では、コントローラ５０は、コントローラ３０及び遠隔コントローラ４０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、コントローラ５０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。
Next, functions of the
本実施形態では、コントローラ５０は、機能ブロックとして、判定部５１、動作シミュレータ５４、及び表示部５５を有する。判定部５１、動作シミュレータ５４、及び表示部５５は、説明の便宜のために区別されて表されているが、物理的に区別されている必要はなく、全体的に或いは部分的に共通のソフトウェアコンポーネント若しくはハードウェアコンポーネントで構成されていてもよい。
In this embodiment, the
判定部５１は、後述する動作シミュレータ５４からの情報に基づいて、ショベル１００の周囲の状況に関し、ショベル１００が作業を行うに際して、管理者へ通知すべき事項があるか否かを判定するように構成されている。本実施形態では、判定部５１は、動作シミュレータ５４が取得したショベル１００に取り付けられた情報取得装置としての空間認識装置Ｃ１が撮像した画像若しくは距離画像（以下、「画像等」とする。）、ショベル１００の位置、姿勢、及び動作内容の少なくとも一つに基づき、ショベル１００が動作する際に通知すべき事項があるか否かを判定するように構成されている。距離画像は、例えば、空間認識装置Ｃ１としてのＬＩＤＡＲ等の出力に基づいて生成される画像である。判定部５１は、空間認識装置Ｃ１が撮像した画像等に基づき、ショベル１００の位置、姿勢、及び動作内容の少なくとも一つを判定できるように構成されていてもよい。また、判定部５１は、空間認識装置Ｃ３が撮像した画像等又は施工地形情報（地形データ）に基づき、ショベル１００が作業を行うに際して、管理者へ通知すべき事項があるか否かを判定するように構成されていてもよい。更に、判定部５１は、空間認識装置Ｃ３が撮像した画像等に基づき、他の建設機械の位置、姿勢、及び動作内容等の少なくとも一つを判定できるように構成されていてもよい。判定部５１は、空間認識装置Ｃ１及び空間認識装置Ｃ３によって取得された画像等から導き出されるショベル１００の周辺の状況とショベル１００の位置、姿勢、及び動作内容とに基づきショベル１００が作業を行うに際して、管理者へ通知すべき事項があるか否かを判定してもよい。通知すべき事項があるか否かは、過去の事例と照らし合わせ、同一、若しくは、類似の状況の有無により判定されてもよい。
The judging
判定部５１は、作業現場に設置された空間認識装置Ｃ３としての撮像装置又はＬＩＤＡＲ等の出力に基づいて人を検知してもよい。この場合、空間認識装置Ｃ３は、例えば、作業現場に設置されたポールの先端に取り付けられた半天球カメラであってもよい。なお、空間認識装置Ｃ３は、他の作業機械に取り付けられた撮像装置又はＬＩＤＡＲ等であってもよく、作業現場の上空を飛行するマルチコプタ（ドローン）等の飛行体に取り付けられた撮像装置又はＬＩＤＡＲ等であってもよい。
The
或いは、判定部５１は、作業領域に電線が存在することを検知した場合、管理者に通知すべき事項があると判定してもよい。例えば、判定部５１は、ショベル１００の上方に電線が存在することを検知した場合に、管理者に通知すべき事項があると判定する。この場合、判定部５１は、空間認識装置Ｃ１の出力に基づいて電線を検知してもよい。或いは、判定部５１は、空間認識装置Ｃ３が撮像した画像等に基づいて電線を検知してもよい。判定部５１は、判定結果を動作シミュレータ５４へ送信し、動作シミュレータ５４は、判定結果に基づいて再度動作をシミュレートする。
Alternatively, the
或いは、判定部５１は、施工地形情報（地形データ）に基づき、ショベル１００が作業を行うに際して前方に下り坂が存在することを判定した場合、管理者に通知すべき事項があると判定する。例えば、判定部５１は、ショベル１００の進路に下り坂が存在することを検知した場合に、管理者に通知すべき事項があると判定する。判定部５１は、コントローラ５０に付属している不揮発性記憶媒体等に予め記憶されている施工地形情報（地形データ）に基づいて下り坂を検知してもよい。
Alternatively, if the
ショベル１００が作業を行うに際に管理者に通知すべき事項があると判定した場合、判定部５１は、動作シミュレータ５４からの情報に基づいて管理者の注意を喚起する。本実施形態では、判定部５１は、その通知すべき事項に関する情報を遠隔コントローラ４０に向けて送信する。
When the
動作シミュレータ５４は、ショベル１００の動作の模擬実験（シミュレーション）を実行できるように構成されている。ショベル１００の動作は、ショベル１００による掘削作業等の様々な作業を構成している。例えば、掘削作業は、一回又は複数回の掘削動作によって構成されている。そして、一回の掘削動作は、アーム閉じ動作、バケット閉じ動作、及びブーム上げ動作等の複数の個別動作によって構成されている。図６に示す例では、動作シミュレータ５４は、遠隔操作室ＲＣからの開始指令に応じてショベル１００の動作のシミュレーションを開始させる。具体的には、動作シミュレータ５４は、環境情報に基づいて作業現場の仮想モデルである仮想作業現場を構築する。環境情報は、作業環境に関する情報であり、例えば、空間認識装置Ｃ１、空間認識装置Ｃ３、測位装置１８、及び姿勢検出センサのうちの少なくとも一つが出力する情報を含む。また、環境情報は、設計面情報ＤＧを含んでいてもよい。
The
仮想作業現場は、仮想環境の一例であり、例えば、実際の作業現場の現在の地形が仮想的に再現された仮想空間である。そして、動作シミュレータ５４は、遠隔操作室ＲＣにいる操作者ＯＰが仮想作業現場の状況を視認できるように、仮想作業現場に関する画像を表示装置Ｄ１に向けて送信する。仮想作業現場に関する画像は、典型的には、実際の作業現場の地形に対応する三次元画像としての立体地形画像であり、コンピュータグラフィクスによって構成される。但し、仮想作業現場に関する画像は、少なくとも部分的には、撮像装置が撮像した画像を利用して生成されてもよい。仮想作業現場に関する画像を受信した表示装置Ｄ１は、仮想作業現場の画像を表示できる。
A virtual work site is an example of a virtual environment, and is, for example, a virtual space in which the current topography of an actual work site is virtually reproduced. Then, the
仮想作業現場に関する画像は、典型的には、仮想ショベルの画像を含む。仮想ショベルは、例えば、ショベル１００の動作のシミュレーションが開始された時点では、実際の作業現場におけるショベル１００に対応している。すなわち、シミュレーションが開始された時点での仮想作業現場における仮想ショベルの位置及び姿勢等は、実際の作業現場におけるショベル１００の位置及び姿勢等に対応している。シミュレーションが開始された時点での仮想作業現場における仮想ショベルの位置及び姿勢等は、例えば、空間認識装置Ｃ１及び空間認識装置Ｃ３の少なくとも一方の出力に基づいて決定される。但し、シミュレーションが開始された時点での仮想作業現場における仮想ショベルの位置及び姿勢等は、ショベル１００に搭載されているブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、旋回角速度センサＳ４、機体傾斜センサ、及び測位装置１８等の少なくとも一つの出力に基づいて決定され或いは調整されてもよい。
Images relating to the virtual worksite typically include images of a virtual excavator. The virtual excavator corresponds to the
その後、動作シミュレータ５４は、遠隔操作室ＲＣにいる操作者ＯＰが操作装置２６を操作したときに生成される操作信号を遠隔操作室ＲＣから受信し、受信した操作信号に応じて仮想作業現場における仮想ショベルを動作させる。仮想作業現場の地形は、仮想ショベルの動きに応じて変化する。例えば、仮想作業現場の地形は、仮想ショベルによる仮想掘削作業に応じて変化する。
After that, the
シミュレーションが行われているときには、操作信号は、実際の作業現場におけるショベル１００には送信されない。すなわち、遠隔操作室ＲＣにいる操作者ＯＰは、シミュレーションが行われているときには、実際の作業現場におけるショベル１００を操作できない。
During the simulation, no operation signal is sent to the
図６に示す例では、シミュレーションを開始させるための開始指令は、遠隔操作室ＲＣにいる操作者ＯＰが所定の開始ボタンを操作したときに遠隔コントローラ４０で生成され、遠隔コントローラ４０から管理センタ２００のコントローラ５０に送信される。開始ボタンは、例えば、右コンソールボックスの上面に配置されている。
In the example shown in FIG. 6, the start command for starting the simulation is generated by the
例えば、操作者ＯＰは、ショベル１００の動きによって望ましくない事象が発生する蓋然性が高いと判断した場合に、所定の開始ボタンを操作してシミュレーションを開始させる。望ましくない事象は、例えば、崖を掘削する際の崖の崩落等である。ここでの崖は、例えば、安息角以上の傾斜角を有する傾斜面を含む地面を意味する。操作者ＯＰは、仮想作業現場での仮想ショベルによる仮想掘削作業を行うことにより、崖をどのように掘削すれば崖がどのように崩落するのかを確認できる。すなわち、操作者ＯＰは、複数の掘削作業を仮想的に試すことにより、崖のどの部分をどのような順番でどの程度掘削すれば崖の崩落を抑えることができるかを確認できる。すなわち、操作者ＯＰは、実際の掘削作業を行う前に（実際の掘削作業を行うことなく）、問題のない掘削作業の進め方を導き出すことができる。
For example, when the operator OP determines that the movement of the
具体的には、操作者ＯＰは、一の掘削作業を仮想的に試した後で、所定のリセットボタンを操作することで、一の掘削作業の試行によって変化した仮想作業現場の地形を元の地形に戻すことができる。リセットボタンは、例えば、右コンソールボックスの上面に配置されている。なお、元の地形は、例えば、開始ボタンが操作された時点における仮想作業現場の地形であり、実際の作業現場における現在の地形に対応している。但し、仮想作業現場の地形は、シミュレーション中の任意の時点での地形に戻されてもよい。この構成により、操作者ＯＰは、様々な掘削作業を効率的に試すことができる。 Specifically, after the operator OP virtually tries one excavation work, the operator OP operates a predetermined reset button to restore the topography of the virtual work site changed by the one trial of the excavation work to the original one. You can return to terrain. The reset button is arranged, for example, on the top surface of the right console box. Note that the original topography is, for example, the topography of the virtual work site when the start button is operated, and corresponds to the current topography of the actual work site. However, the terrain of the virtual worksite may be reverted to the terrain at any point during the simulation. This configuration allows the operator OP to efficiently try out various excavation operations.
そして、操作者ＯＰは、崖の崩落が起こりにくい掘削作業を確認した後で、シミュレーションを終了させる。図６に示す例では、操作者ＯＰは、所定の終了ボタンを操作することにより、シミュレーションを終了させることができる。終了ボタンは、シミュレーションを開始させる際に用いられる開始ボタンと同じボタンであってもよく、開始ボタンとは別のボタンであってもよい。 Then, the operator OP terminates the simulation after confirming that the excavation work is unlikely to cause the cliff to collapse. In the example shown in FIG. 6, the operator OP can end the simulation by operating a predetermined end button. The end button may be the same button as the start button used when starting the simulation, or may be a button different from the start button.
シミュレーションが終了すると、表示装置Ｄ１に表示されていた仮想作業現場の画像は、ショベル１００に搭載された撮像装置等によって撮像された画像に基づく実際の作業現場の画像に切り換えられる。そして、操作者ＯＰは、操作装置２６を操作することによってショベル１００を動かすことができ、実際の掘削作業を行うことができるようになる。
When the simulation ends, the image of the virtual work site displayed on the display device D1 is switched to the image of the actual work site based on the image captured by the imaging device or the like mounted on the
この状態において、操作者ＯＰは、シミュレーションで確認できた最適と思われる掘削作業を行い、実際の作業現場における崖を掘削できる。 In this state, the operator OP can excavate the cliff at the actual work site by performing excavation work that is considered to be optimal as confirmed by the simulation.
この構成により、コントローラ５０は、例えば、崖の掘削の際に発生し得る崖の崩落を抑制でき、ショベル１００による掘削作業の安全性を高めることができる。
With this configuration, the
或いは、コントローラ５０は、ショベル１００の動きに応じて望ましくない事象が発生する蓋然性が高いと判定した場合、ショベル１００の動きを停止させた上で、操作者ＯＰにシミュレーションの実行を促すように構成されていてもよい。望ましくない事象は、例えば、崖の掘削の際に発生し得る崖の崩落等である。
Alternatively, the
例えば、コントローラ５０は、空間認識装置Ｃ１等の出力に基づき、操作者ＯＰが崖を掘削しようとしていると判定した場合、ショベル１００の動きを停止させた上で、操作者ＯＰにシミュレーションの実行を促すように構成されていてもよい。
For example, when the
表示部５５は、表示装置Ｄ２で表示される画面である管理画面を生成するように構成されている。本実施形態では、表示部５５は、ショベル１００ａ及びショベル１００ｂを含む複数台のショベルのそれぞれから受信する情報に基づいて管理画面を生成するように構成されている。
The
具体的には、表示装置Ｄ２は、複数台のショベル１００に関する情報を表示できるように構成されている。表示装置Ｄ２は、タッチパネルであってもよい。本実施形態では、表示装置Ｄ２は、複数のモニタで構成されるマルチディスプレイである。各モニタは、液晶モニタ又は有機ＥＬモニタ等である。但し、表示装置Ｄ２は、一つのモニタで構成されていてもよく、一又は複数の曲面モニタで構成されていてもよく、プロジェクタで構成されていてもよい。
Specifically, the display device D2 is configured to display information about a plurality of
或いは、表示装置Ｄ２は、管理者が着用可能な表示装置であってもよい。例えば、表示装置Ｄ２は、透過型ヘッドマウントディスプレイであってもよく、非透過型ヘッドマウントディスプレイであってもよい。また、表示装置Ｄ２は、片眼型ヘッドマウントディスプレイであってもよく、両眼型ヘッドマウントディスプレイであってもよい。 Alternatively, the display device D2 may be a display device wearable by the administrator. For example, the display device D2 may be a transmissive head-mounted display or a non-transmissive head-mounted display. Also, the display device D2 may be a monocular head-mounted display or a binocular head-mounted display.
また、表示装置Ｄ２は、表示装置Ｄ１で表示される画像と同じ画像を表示してもよく、表示装置Ｄ１で表示される画像とは異なる画像を表示してもよい。表示装置Ｄ１で表示される画像と同じ画像を表示装置Ｄ２に表示する場合、表示部５５は、画像生成部３１が生成した画像をそのまま利用してもよい。
Further, the display device D2 may display the same image as the image displayed on the display device D1, or may display an image different from the image displayed on the display device D1. When the same image as the image displayed on the display device D1 is displayed on the display device D2, the
なお、図６に示す施工支援システムＳＹＳでは、管理センタ２００に接続されるショベル１００（ショベル１００ａ及びショベル１００ｂ）は何れも遠隔操作ショベルであるが、管理センタ２００に接続されるショベル１００は有人ショベルであってもよく、自動運転ショベルであってもよい。
In the construction support system SYS shown in FIG. 6, the excavators 100 (
すなわち、図６に示す施工支援システムＳＹＳでは、ショベル１００は、遠隔操作室ＲＣにいる操作者ＯＰによって操作されるが、キャビン１０内にいる操作者によって操作されてもよい。この場合、開始ボタン、リセットボタン、及び終了ボタンはキャビン１０内に設置される。或いは、ショベル１００は、操作者による操作を必要としない自動運転ショベルであってもよい。この場合、開始ボタン、リセットボタン、及び終了ボタンは省略されてもよい。
That is, in the construction support system SYS shown in FIG. 6 , the
また、図６に示す施工支援システムＳＹＳでは、管理センタ２００に接続されるショベル１００（ショベル１００ａ及びショベル１００ｂ）は何れも同じ作業現場で作業しているショベルであるが、管理センタ２００に接続されるショベル１００は、別の作業現場で作業しているショベルを含んでいてもよい。作業現場に設置された空間認識装置Ｃ３についても同様である。
Further, in the construction support system SYS shown in FIG.
次に、図７を参照し、表示装置Ｄ２に表示される管理画面ＭＳの構成例について説明する。図７は、管理画面ＭＳの構成例を示す図である。 Next, a configuration example of the management screen MS displayed on the display device D2 will be described with reference to FIG. FIG. 7 is a diagram showing a configuration example of the management screen MS.
図７に示す例では、管理画面ＭＳは、六台のショベル１００のそれぞれに対応する六つのショベル情報ウィンドウＧ１～ショベル情報ウィンドウＧ６を含む。具体的には、ショベル情報ウィンドウＧ１は、作業現場Ａで作業している第１ショベルに関する情報を含み、ショベル情報ウィンドウＧ２は、作業現場Ａで作業している第２ショベルに関する情報を含み、ショベル情報ウィンドウＧ３は、作業現場Ａで作業している第３ショベルに関する情報を含む。また、ショベル情報ウィンドウＧ４は、作業現場Ｂで作業している第４ショベルに関する情報を含み、ショベル情報ウィンドウＧ５は、作業現場Ｂで作業している第５ショベルに関する情報を含み、ショベル情報ウィンドウＧ６は、作業現場Ｃで作業している第６ショベルに関する情報を含む。
In the example shown in FIG. 7, the management screen MS includes six excavator information windows G1 to G6 corresponding to six
ショベル情報ウィンドウＧ１は、識別情報Ｇ１１、日時情報Ｇ１２、設定情報Ｇ１３、稼動情報Ｇ１４、進捗情報Ｇ１５、及び画像情報Ｇ１６を含む。 The excavator information window G1 includes identification information G11, date and time information G12, setting information G13, operation information G14, progress information G15, and image information G16.
識別情報Ｇ１１は、識別に関する情報であり、第１ショベルの識別情報、作業現場の識別情報、及び操作者の識別情報等を含む。第１ショベルの識別情報は、第１ショベルの型番及び所有者等を含む。作業現場の識別情報は、作業現場の名称並びに位置情報（緯度、経度、及び高度）等を含む。操作者の識別情報は、操作者の氏名及び所属等を含む。 The identification information G11 is information related to identification, and includes identification information of the first shovel, identification information of the work site, identification information of the operator, and the like. The identification information of the first excavator includes the model number and owner of the first excavator. The work site identification information includes the work site name, position information (latitude, longitude, and altitude), and the like. The operator's identification information includes the operator's name, affiliation, and the like.
日時情報Ｇ１２は、日時に関する情報であり、現在日時、工事が開始された日時、工事が完了する予定の日時、並びに、休業日等に関する情報等を含む。 The date and time information G12 is information about the date and time, and includes information about the current date and time, the date and time when the construction work was started, the date and time when the construction work is scheduled to be completed, and holidays.
設定情報Ｇ１３は、第１ショベルの設定に関する情報であり、現在の回転数モードに関する情報、アタッチメントに取り付けられているエンドアタッチメントの種類に関する情報、及び、エンジン１１の動作モードに関する情報等を含む。
The setting information G13 is information about the setting of the first excavator, and includes information about the current rotation speed mode, information about the type of end attachment attached to the attachment, information about the operation mode of the
稼動情報Ｇ１４は、第１ショベルの稼動に関する情報であり、現在の作業内容、稼動時間、及び燃費に関する情報を含む。現在の作業内容は、例えば、掘削作業、積み込み作業、又は均し作業等である。 The operation information G14 is information about the operation of the first excavator, and includes information about current work content, operation time, and fuel consumption. The current work content is, for example, excavation work, loading work, leveling work, or the like.
進捗情報Ｇ１５は、第１ショベルによる作業の進捗に関する情報である。図７に示す例では、進捗情報Ｇ１５は、第１ショベルの作業量に基づく作業の進捗に関する情報を含む。作業量は、例えば、第１ショベルによって掘削された土砂の体積で表される。但し、作業量は、出来形の面積（第１ショベルによって仕上げられた地面の面積）、又は、第１ショベルによって掘削された土砂の重量等で表されてもよい。土砂の体積、出来形の面積、及び土砂の重量等は、典型的には、第１ショベルに取り付けられた各種センサの出力に基づいて算出される。 The progress information G15 is information relating to the progress of work by the first shovel. In the example shown in FIG. 7, the progress information G15 includes information regarding the progress of work based on the work amount of the first excavator. The amount of work is represented by, for example, the volume of earth and sand excavated by the first shovel. However, the amount of work may be represented by the finished area (the area of the ground finished by the first shovel), the weight of the earth and sand excavated by the first shovel, or the like. The volume of earth and sand, the area of finished shape, the weight of earth and sand, and the like are typically calculated based on the outputs of various sensors attached to the first shovel.
具体的には、進捗情報Ｇ１５は、第１バーグラフＧ１５ａ、第２バーグラフＧ１５ｂ、及び第３バーグラフＧ１５ｃを含む。第１バーグラフＧ１５ａは、本日の作業量の目標値を表している。第２バーグラフＧ１５ｂは、本日の現在時刻までの作業量を表している。そして、第３バーグラフＧ１５ｃは、本日の現在時刻までの作業量から推定される本日の作業終了時刻における作業量の推定値を表している。すなわち、第１バーグラフＧ１５ａの高さが第２バーグラフＧ１５ｂの高さより高い状態は、現在の作業ペースでは本日の作業量の目標値を達成できないことを表す。 Specifically, the progress information G15 includes a first bar graph G15a, a second bar graph G15b, and a third bar graph G15c. The first bar graph G15a represents the target value of today's work amount. The second bar graph G15b represents the amount of work up to the current time of the day. The third bar graph G15c represents an estimated value of the work load at the work end time of the day estimated from the work load up to the current time of the day. That is, when the height of the first bar graph G15a is higher than the height of the second bar graph G15b, it means that the target value of today's work volume cannot be achieved at the current work pace.
画像情報Ｇ１６は、画像に関する情報であり、空間認識装置Ｃ１が撮像した画像、室内空間認識装置Ｃ２が撮像した画像、空間認識装置Ｃ３が撮像した画像、及びこれらの画像に基づいて生成される画像等を含む。画像情報Ｇ１６は、表示される画像を撮像した装置の識別情報を含んでいてもよい。 The image information G16 is information about images, and includes an image captured by the space recognition device C1, an image captured by the indoor space recognition device C2, an image captured by the space recognition device C3, and an image generated based on these images. etc. The image information G16 may include identification information of the device that captured the image to be displayed.
図７に示す例では、ショベル情報ウィンドウＧ２～ショベル情報ウィンドウＧ６は、ショベル情報ウィンドウＧ１と同様の構成を有する。但し、ショベル情報ウィンドウＧ１～ショベル情報ウィンドウＧ６は、互いに異なる構成を有していてもよい。例えば、ショベル情報ウィンドウＧ１～ショベル情報ウィンドウＧ６は、作業現場毎に異なる構成を有していてもよい。 In the example shown in FIG. 7, the excavator information window G2 to G6 have the same configuration as the excavator information window G1. However, the excavator information window G1 to the excavator information window G6 may have mutually different configurations. For example, the excavator information window G1 to the excavator information window G6 may have different configurations for each work site.
この構成により、管理センタ２００に設置された表示装置Ｄ２に表示される管理画面ＭＳを見ている管理者は、表示装置Ｄ１を通じて第１ショベルの操作者が見ている情報とは異なる情報を見ることができる。表示装置Ｄ１を通じて第１ショベルの操作者が見ている情報とは異なる情報は、例えば、同じ作業現場で作業している他のショベル（第２ショベル及び第３ショベル）に関する情報である。そのため、管理者は、例えば、管理者が気付いたことであって第１ショベルの操作者が気付いていないと思われることを第１ショベルの操作者に伝えることができる。
With this configuration, the administrator viewing the management screen MS displayed on the display device D2 installed in the
管理センタ２００のコントローラ５０は、管理者と第１ショベルの操作者との間のコミュニケーションを円滑化するための機能を有していてもよい。例えば、コントローラ５０の表示部５５は、管理者と第１ショベルの操作者との間の音声通話、ビデオ通話、又はチャット等（以下、「音声通話等」とする。）を開始するためのソフトウェアボタンをショベル情報ウィンドウＧ１内に表示させてもよい。管理者は、このソフトウェアボタンを操作することによって管理者と第１ショベルの操作者との間の音声通話等を開始できる。
The
また、コントローラ５０は、管理者がショベル１００の操作に介入できるようにする機能を有していてもよい。例えば、コントローラ５０の表示部５５は、第１ショベルの動きを鈍化させ或いは停止させる操作信号を生成するためのソフトウェアボタンをショベル情報ウィンドウＧ１内に表示させてもよい。管理者は、このソフトウェアボタンを操作することによって、第１ショベルの動きを鈍化させ或いは停止させる操作信号を第１ショベルに向けて送信できる。この場合、第１ショベルの操作者による操作に基づく操作信号は無効とされる。また、コントローラ５０は、管理者による介入が実行された場合には、その旨を第１ショベルの操作者に通知するように構成されていてもよい。具体的には、コントローラ５０は、遠隔コントローラ４０に向けて制御信号を送信し、管理者による介入が実行されたことを知らせるテキストメッセージが表示装置Ｄ１に表示され、或いは、管理者による介入が実行されたことを知らせる音声メッセージが音出力装置Ａ２から出力されるようにしてもよい。
Also, the
表示装置Ｄ２には、ショベル１００が掘削した土砂を搬出するための運搬車両に関する情報が表示されてもよい。運搬車両は、建設機械の一例であり、典型的には、ダンプトラックである。この場合、運搬車両に関する情報は、ショベル情報ウィンドウＧ１と同様の構成を有するダンプトラック情報ウィンドウとして表示されてもよい。また、ダンプトラック情報ウィンドウには、管理者とダンプトラックの運転者との間の音声通話等を開始するためのソフトウェアボタンが表示されてもよく、ダンプトラックの動きを鈍化させ或いは停止させる操作信号を生成するためのソフトウェアボタンが表示されてもよい。
The display device D2 may display information about a transport vehicle for carrying out the earth and sand excavated by the
次に、図８を参照し、ショベル１００の施工支援システムＳＹＳの別の構成例について説明する。図８は、施工支援システムＳＹＳの別の構成例を示す機能ブロック図であり、図６に対応している。
Next, another configuration example of the construction support system SYS for the
図８に示す施工支援システムＳＹＳは、管理センタ２００のコントローラ５０に接続される複数台のショベル１００の全てが自動運転ショベルである点、すなわち、遠隔操作室ＲＣがコントローラ５０に接続されていない点で、図６に示す施工支援システムＳＹＳと異なるが、その他の点で、図６に示す施工支援システムＳＹＳと同じである。そのため、以下では、共通部分の説明が省略され、相違部分が詳細に説明される。 Construction support system SYS shown in FIG. 6, but is the same as the construction support system SYS shown in FIG. 6 in other respects. Therefore, the description of the common parts will be omitted, and the different parts will be described in detail below.
自動運転ショベルとしてのショベル１００は、コントローラ３０が目標軌道生成部３４を有する点で、遠隔操作ショベル又は有人ショベルとしてのショベル１００と異なる。この点は、図６に示す施工支援システムＳＹＳを構成するコントローラ５０に接続される自動運転ショベルとしてのショベル１００においても同様である。
The
自動運転ショベルとしてのショベル１００は、予め設定された一連の動作に関する指令である動作指令を利用することによって作業を行うように構成される。予め設定された一連の動作は、例えば、掘削作業の場合、一回又は複数回の掘削動作で構成される。動作指令は、基本的には、作業の段取りに基づいて決定される。そのため、動作指令は、段取り指令とも称される。作業の段取りを決定することは、どのような順序でどのような動きをショベル１００に実行させるかを決定することを意味する。例えば、作業の段取りを決定することは、作業の効率及び作業の安全性等の様々な要因を考慮して作業現場のどの部分をどのような順序で掘削するかを決定することを意味する。様々な要因は、丁張りがどこに設置されているか、本日の施工領域がどのように設定されているか、又は、施工領域をどの部分をどのような順番で施工するか等を含む。また、同じ作業現場で複数台のショベル１００が作業を行う場合、複数台のショベル１００の作業の段取りは、一のショベル１００の作業の段取りと他のショベル１００の作業の段取りとが互いに矛盾しないように決定される必要がある。
The
一般的な有人ショベルが用いられる作業現場では、作業の段取りは、典型的には、熟練の操作者の経験的な判断に基づいて決定される。自動運転ショベルが用いられる作業現場でも、作業の段取りは、基本的には、熟練の操作者の経験的な判断に基づいて決定される段取りと同じような段取りとなるように決定される。そのため、自動運転ショベルが用いられる作業現場における作業の段取りは、その作業現場に関する情報と、過去の様々なデータとに基づいて決定される。この際に、ディープラーニング等の機械学習に関する技術が利用されてもよい。 At a work site where a general manned excavator is used, the work setup is typically determined based on the empirical judgment of a skilled operator. Even at a work site where an automatic excavator is used, the work setup is basically determined to be similar to the setup determined based on the empirical judgment of a skilled operator. Therefore, the work setup at the work site where the self-driving excavator is used is determined based on the information on the work site and various past data. At this time, techniques related to machine learning such as deep learning may be used.
本実施形態では、管理センタ２００におけるコントローラ５０は、コントローラ５０を構成している不揮発性記憶装置に予め記憶されている設計面情報ＤＧ等に基づき、同じ作業現場で作業する複数台のショベル１００のそれぞれに対応する動作指令を生成する。そして、コントローラ５０は、自動運転ショベルとしてのショベル１００のそれぞれに搭載されているコントローラ３０の目標軌道生成部３４に向け、生成した動作指令を送信する。
In this embodiment, the
具体的には、コントローラ５０は、複数台のショベル１００の動作指令を同時並行的に生成し、複数台のショベル１００のそれぞれに対応する動作指令を同時並行的に複数台のショベル１００のそれぞれに送信する。
Specifically, the
目標軌道生成部３４は、目標軌道を生成できるように構成されている。目標軌道は、バケット６の爪先等の所定部位が辿る軌道である。目標軌道は、任意の方法で生成され得る。例えば、目標軌道は、過去の軌道に関するデータに基づいて生成されてもよい。過去の軌道に関するデータは、例えば、過去に行われた掘削作業においてバケット６の爪先が辿った軌跡に関するデータである。目標軌道の生成には、ディープラーニング等の機械学習が利用されてもよい。典型的には、一つの動作指令に基づいて生成される目標軌道は、複数回の掘削動作に関する目標軌道である。
The
また、目標軌道生成部３４は、生成した目標軌道に基づいて操作信号を生成できるように構成されている。本実施形態では、目標軌道生成部３４は、掘削作業が行われる際にバケット６の爪先の位置が目標軌道に沿って移動するように所定の制御周期毎に繰り返し操作信号を生成できるように構成されている。
The
図８に示す例では、目標軌道生成部３４は、コントローラ５０から動作指令を受信すると、その動作指令にしたがってショベル１００を自動的に動作させることができるように操作信号を所定の制御周期毎に繰り返し生成する。そして、目標軌道生成部３４は、生成した操作信号をアクチュエータ駆動部３３に向けて出力する。
In the example shown in FIG. 8, upon receiving an operation command from the
操作信号は、例えば、目標軌道に基づいて生成される。図８に示す例では、目標軌道生成部３４は、管理センタ２００から受信した動作指令と空間認識装置Ｃ１の出力とに基づいて目標軌道を生成する。具体的には、目標軌道生成部３４は、管理センタ２００から受信した動作指令と、掘削しようとする地面の現在の形状とに基づいて目標軌道を生成する。そして、目標軌道生成部３４は、生成した目標軌道に沿ってバケット６の爪先を移動させることができるように操作信号を生成する。
The operation signal is generated based on the target trajectory, for example. In the example shown in FIG. 8, the target
目標軌道生成部３４は、ショベル１００に取り付けられた姿勢検出センサの出力に基づいて現在のバケット６の爪先の位置を算出しながら、目標軌道と現在のバケット６の爪先の位置との間のズレがゼロになるように、バケット６の爪先の位置をフィードバック制御してもよい。
The target
或いは、目標軌道生成部３４は、ショベル１００に取り付けられた各種センサの出力に基づいて算出される掘削反力等から、掘削しようとする地盤の固さを推定してもよい。そして、目標軌道生成部３４は、推定した地盤の固さに応じて目標軌道を調整してもよい。この場合、典型的には、目標軌道は、地盤が固いほど浅い部分（地表面に近い部分）を通るように調整される。
Alternatively, the
次に、図９を参照し、ショベル１００の施工支援システムＳＹＳの別の構成例について説明する。図９は、施工支援システムＳＹＳの更に別の構成例を示す機能ブロック図であり、図８に対応している。図９に示す施工支援システムＳＹＳでは、ショベル１００及び空間認識装置Ｃ３のそれぞれと管理センタ２００とは５Ｇ回線又は６Ｇ回線を通じて接続されている。
Next, another configuration example of the construction support system SYS for the
図９に示す施工支援システムＳＹＳは、管理センタ２００のコントローラ５０が目標軌道生成部５６を有し、ショベル１００のコントローラ３０が目標軌道生成部３４を有さない点で、図８に示す施工支援システムＳＹＳと異なるが、その他の点で、図８に示す施工支援システムＳＹＳと同じである。そのため、以下では、共通部分の説明が省略され、相違部分が詳細に説明される。 The construction support system SYS shown in FIG. 9 has the construction support shown in FIG. Although different from the system SYS, it is the same as the construction support system SYS shown in FIG. 8 in other respects. Therefore, the description of the common parts will be omitted, and the different parts will be described in detail below.
図９に示す例では、目標軌道生成部５６は、図８に示す施工支援システムＳＹＳにおける目標軌道生成部３４と同様に、目標軌道を生成できるように構成されている。但し、目標軌道生成部５６は、複数台のショベル１００の目標軌道を同時並行的に生成する点で、ショベル１００のコントローラ３０における目標軌道生成部３４とは異なる。
In the example shown in FIG. 9, the
具体的には、目標軌道生成部５６は、ショベル１００に取り付けられた通信装置Ｔ１を介し、ショベル１００に取り付けられた空間認識装置Ｃ１の出力を受信する。そして、目標軌道生成部５６は、コントローラ５０が生成した動作指令と空間認識装置Ｃ１の出力とに基づいて目標軌道を生成する。より具体的には、目標軌道生成部５６は、コントローラ５０が生成した動作指令と、通信装置Ｔ１及び通信装置Ｔ３を通じて受信した掘削しようとする地面の現在の形状とに基づいて目標軌道を生成する。そして、目標軌道生成部５６は、生成した目標軌道に沿ってバケット６の爪先を移動させることができるように操作信号を生成する。
Specifically, the
その後、目標軌道生成部５６は、通信装置Ｔ３を介し、所定の制御周期で繰り返し生成する操作信号を、ショベル１００のコントローラ３０におけるアクチュエータ駆動部３３に向けて送信する。
After that, the target
目標軌道生成部５６は、ショベル１００に取り付けられた姿勢検出センサの出力に基づいて現在のバケット６の爪先の位置を算出しながら、目標軌道と現在のバケット６の爪先の位置との間のズレがゼロになるように、バケット６の爪先の位置をフィードバック制御してもよい。
The target
或いは、目標軌道生成部５６は、ショベル１００に取り付けられた各種センサの出力に基づいて算出される掘削反力等から、掘削しようとする地盤の固さを推定してもよい。そして、目標軌道生成部５６は、推定した地盤の固さに応じて目標軌道を調整してもよい。この場合、典型的には、目標軌道は、地盤が固いほど浅い部分（地表面に近い部分）を通るように調整される。
Alternatively, the
このように、目標軌道生成部５６は、複数台のショベル１００のそれぞれに対して、上述の処理を同時並行的に実行することで、複数台のショベル１００の自動運転を同時に実現できる。
In this manner, the target
また、コントローラ５０を構成する動作シミュレータ５４は、ショベル１００による実際の作業が行われる前に、ショベル１００による作業を構成する動作のシミュレーションを行ってもよい。
Further, the
例えば、動作シミュレータ５４は、動作指令に関する情報と実際の作業現場の現在の地形に関する情報とに基づき、ショベル１００による作業を構成する動作を仮想的に実行することによって、ショベル１００による作業の開始から完了までの地形の変化を仮想的に確認することができる。
For example, the
この場合、動作シミュレータ５４は、動作指令にしたがってショベル１００を動作させたときに発生する問題（要注意事項）を事前に認識することができる。すなわち、動作シミュレータ５４は、要注意事項の抽出を行うことができる。そのため、動作シミュレータ５４は、必要に応じて動作指令を修正できる。
In this case, the
動作指令を修正する際には、動作シミュレータ５４は、複数の新たな動作指令にしたがったショベル１００の動作のシミュレーションを実行することにより、最適な動作指令を見つけ出すことができる。複数の新たな動作指令の生成には、当初の動作指令の場合と同様に、ディープラーニング等の機械学習が利用されてもよい。
When modifying the motion command, the
また、動作シミュレータ５４は、自動運転ショベルとしてのショベル１００による実際の作業が行われているときに、所定時間だけ未来の時点でどのような事象が発生するかのシミュレーションを行うように構成されていてもよい。この構成により、動作シミュレータ５４は、実際の作業よりも所定時間だけ先行して仮想作業（仮想動作）を行うことができ、望ましくない事象が発生するのを事前に認識することができる。そして、動作シミュレータ５４は、望ましくない事象が発生するのを事前に認識した場合には、動作指令を修正することにより、そのような望ましくない事象が発生するのを未然に防止できる。
In addition, the
また、動作シミュレータ５４は、想定していた事象とは異なる事象が発生した場合、その後の作業を構成するショベル１００の動作のシミュレーションをやり直すように構成されていてもよい。例えば、動作シミュレータ５４は、ショベル１００に搭載されている各種センサの出力に基づいて土砂が想定していた土砂よりも粘土質である或いは砂質であると判定した場合、その後の作業を構成するショベル１００の動作のシミュレーションをやり直すように構成されていてもよい。砂質の地盤は、粘土質の地盤に比べて崩れやすく、掘削作業等によって変化する地形の推定結果に影響するためである。すなわち、粘土質であることを前提として導き出されたシミュレーション結果は、実際にはより砂質である地盤に対しては不適切となってしまうためである。
Further, the
例えば、コントローラ５０は、空間認識装置Ｃ１の出力に基づき、実際の掘削作業によって形成される穴である掘削穴の側面から崩れ落ちて掘削穴の底に溜まる土砂の量を導き出すことができる。そして、コントローラ５０は、その掘削穴の底に溜まる土砂の量に基づき、作業対象の地盤の特性を導き出すことができる。地盤の特性は、例えば、砂質の程度、又は、粘土質の程度等である。典型的には、コントローラ５０は、掘削穴の底に溜まる土砂の量が多い程、砂質の程度が大きいと判定できる。
For example, based on the output of the space recognition device C1, the
この構成により、コントローラ５０は、ショベル１００による作業に関するシミュレーション結果の正確性を高めることができ、自動運転ショベルとしてのショベル１００の作業効率を高めることができる。また、コントローラ５０は、自動運転ショベルとしてのショベル１００による作業の安全性を高めることができる。
With this configuration, the
この構成は、図８に示す構成（ショベル１００に搭載されるコントローラ３０が目標軌道生成部３４を有する構成）に比べ、ショベル１００の製造コストを低減させることができる。ショベル１００の自動運転に関するコントローラ３０の演算負荷を低減させることによってコントローラ３０の要求仕様を緩和できるためである。
This configuration can reduce the manufacturing cost of the
なお、図９に示す例では、ショベル１００のコントローラ３０は、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３を有するが、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３のうちの少なくとも一つは、管理センタ２００のコントローラ５０が有する機能として実現されてもよい。この場合、ショベル１００のコントローラ３０における画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３のうち、管理センタ２００のコントローラ５０が有する機能として実現されたものは、コントローラ３０から省略されてもよい。或いは、コントローラ３０が有する全ての機能は、コントローラ５０が有する機能として実現されてもよい。この場合、コントローラ３０は省略されてもよい。これらの構成は、ショベル１００の製造コストを更に低減させることができる。
In the example shown in FIG. 9, the
次に、図１０を参照し、コントローラ５０における動作シミュレータ５４によって実行されるシミュレーションによる効果について説明する。図１０は、ショベル１００の側面図である。
Next, with reference to FIG. 10, the effect of the simulation executed by the
ショベル１００が遠隔操作ショベルである場合、ショベル１００の操作者ＯＰは、崖ＣＬ１を掘削して設計面ＴＳを露出させるための掘削作業を行おうとしている。操作者ＯＰは、遠隔操作室ＲＣに設置された操作装置２６を用いてショベル１００を遠隔操作する。操作者ＯＰは、崖ＣＬ１を掘削する前に、遠隔操作室ＲＣに設置された開始ボタンを押してシミュレーションを開始させる。
When the
開始ボタンが押されると、遠隔操作室ＲＣに設置された遠隔コントローラ４０は、開始指令を生成し、且つ、その開始指令を、管理センタ２００のコントローラ５０（動作シミュレータ５４）に向けて送信する。 開始指令を受信した動作シミュレータ５４は、ショベル１００に取り付けられた空間認識装置Ｃ１としてのＬＩＤＡＲの出力に基づき、ショベル１００の周囲における実際の作業現場の地形を認識し、その作業現場の地形に対応する仮想作業現場の立体地形画像を生成する。
When the start button is pressed, the
動作シミュレータ５４によって生成された立体地形画像は、遠隔操作室ＲＣに設置された表示装置Ｄ１に送信され、且つ、表示装置Ｄ１に表示される。
The three-dimensional terrain image generated by the
操作者ＯＰは、表示装置Ｄ１に表示された立体地形画像を見ながら、操作装置２６を操作して仮想ショベルを動作させることができる。
The operator OP can operate the
図１０に示す例では、操作者ＯＰは、例えば、点線で区切られた土砂部分ＳＰ１を最初に掘削する第１掘削作業と、一点鎖線で区切られた土砂部分ＳＰ２を最初に掘削する第２掘削作業とをシミュレーションで試すことができる。 In the example shown in FIG. 10, the operator OP performs, for example, a first excavation work of first excavating the earth and sand portion SP1 delimited by the dotted line, and a second excavation work of first excavating the earth and sand portion SP2 delimited by the dashed line. You can try your work in simulation.
そして、操作者ＯＰは、第１掘削作業を試したときには、土砂部分ＳＰ１を最初に掘削すると、斜線で示す土砂部分ＳＰ３が崩落してしまうことを確認できる。また、操作者ＯＰは、第２掘削作業を試したときには、土砂部分ＳＰ２を最初に掘削しても、他の土砂部分の崩落が発生しないことを確認できる。この場合、操作者ＯＰは、シミュレーションの結果に基づき、実際の作業現場で実施される掘削作業として第２掘削作業を実行してもよい。或いは、操作者ＯＰは、土砂部分ＳＰ３の崩落を積極的に利用するために、実際の作業現場で実施される掘削作業として第１掘削作業を実行してもよい。 When the operator OP tries the first excavation work, he/she can confirm that if the soil portion SP1 is first excavated, the shaded soil portion SP3 will collapse. Also, when the operator OP tries the second excavation work, he can confirm that even if the earth and sand portion SP2 is excavated first, the other earth and sand portions will not collapse. In this case, the operator OP may perform the second excavation work as the excavation work actually performed at the work site based on the result of the simulation. Alternatively, the operator OP may perform the first excavation work as the excavation work performed at the actual work site in order to positively utilize the collapse of the earth and sand portion SP3.
ショベル１００が自動運転ショベルである場合、ショベル１００は、コントローラ５０からの動作指令又は操作信号に応じて自律的に動作する。動作シミュレータ５４は、崖ＣＬ１を掘削する前にシミュレーションを自動的に開始させる。
When the
図１０に示す例では、動作シミュレータ５４は、例えば、点線で区切られた土砂部分ＳＰ１を最初に掘削する第１掘削作業と、一点鎖線で区切られた土砂部分ＳＰ２を最初に掘削する第２掘削作業とをシミュレーションで試すことができる。
In the example shown in FIG. 10, the
そして、動作シミュレータ５４は、第１掘削作業を試したときには、土砂部分ＳＰ１を最初に掘削すると、斜線で示す土砂部分ＳＰ３が崩落してしまうことを確認できる。また、動作シミュレータ５４は、第２掘削作業を試したときには、土砂部分ＳＰ２を最初に掘削しても、他の土砂部分の崩落が発生しないことを確認できる。この場合、動作シミュレータ５４は、シミュレーションの結果に基づき、実際の作業現場で実施される掘削作業として第２掘削作業を選択してもよい。或いは、動作シミュレータ５４は、土砂部分ＳＰ３の崩落を積極的に利用するために、実際の作業現場で実施される掘削作業として第１掘削作業を選択してもよい。
When the
次に、図１１を参照し、ショベル１００の施工支援システムＳＹＳの更に別の構成例について説明する。図１１は、施工支援システムＳＹＳの別の構成例を示す機能ブロック図であり、図９に対応している。
Next, still another configuration example of the construction support system SYS for the
図１１に示す施工支援システムＳＹＳは、ショベル１００に搭載されているコントローラ３０が異常検知部３５を有する点で、図９に示す施工支援システムＳＹＳと異なるが、その他の点で、図９に示す施工支援システムＳＹＳと同じである。そのため、以下では、共通部分の説明が省略され、相違部分が詳細に説明される。
The construction support system SYS shown in FIG. 11 differs from the construction support system SYS shown in FIG. 9 in that the
異常検知部３５は、ショベル１００の周辺で発生する異常事象を検知するように構成されている。図１１に示す例では、異常検知部３５は、空間認識装置Ｃ１の出力に基づいてショベル１００の周辺で発生する異常事象を事前に検知するように構成されている。異常事象の発生を未然に防止するためである。ショベル１００の周辺で発生する異常事象は、例えば、ショベル１００の崖ＣＬ２（図１０参照。）からの転落、ショベル１００の掘削アタッチメントＡＴと電線ＥＷ（図１０参照。）との接触、掘削作業により新たに形成された穴へのショベル１００の転落、クレーン等によってショベル１００の周辺に新たに仮置きされた建材等とショベル１００との接触等である。
The
異常検知部３５は、例えば、空間認識装置Ｃ１の出力に基づいて崖ＣＬ２の存在を認識し、崖ＣＬ２から所定の距離の範囲内にショベル１００が侵入すると、崖ＣＬ２の近くにある地面が崩落するおそれがあると判定する。所定の距離は、過去の事例に関するデータ、地面を構成する土砂の特性、及びショベル１００の重量に関するデータ等の少なくとも一つに基づいて予め設定された値であってもよく、動的に決定される値であってもよい。
For example, the
異常検知部３５は、崖ＣＬ２から所定の距離の範囲内にショベル１００が接近したときに、管理センタ２００にいる管理者の注意を喚起してもよく、ショベル１００の動きを鈍化させてもよく、ショベル１００の動きを停止させてもよい。
When the
或いは、異常検知部３５は、例えば、空間認識装置Ｃ１の出力に基づいて電線ＥＷの存在を認識し、電線ＥＷから所定の距離の範囲内に掘削アタッチメントＡＴ（アーム５）の上端が侵入すると、掘削アタッチメントＡＴが電線ＥＷに接触するおそれがあると判定する。所定の距離は、過去の事例に関するデータ等に基づいて予め設定された値であってもよく、動的に決定される値であってもよい。
Alternatively, for example, the
異常検知部３５は、電線ＥＷから所定の距離の範囲内に掘削アタッチメントＡＴの上端が接近したときに、管理センタ２００にいる管理者の注意を喚起してもよく、掘削アタッチメントＡＴの動きを鈍化させてもよく、掘削アタッチメントＡＴの動きを停止させてもよい。
The
或いは、異常検知部３５は、例えば、空間認識装置Ｃ１の出力に基づき、掘削作業によって新たに形成された穴の存在を認識し、その穴から所定の距離の範囲内にショベル１００が侵入するとその穴の近くにある地面が崩落するおそれがあると判定してもよい。
Alternatively, for example, based on the output of the space recognition device C1, the
異常検知部３５は、その穴から所定の距離の範囲内にショベル１００が侵入したときに、管理センタ２００にいる管理者の注意を喚起してもよく、掘削アタッチメントＡＴの動きを鈍化させてもよく、掘削アタッチメントＡＴの動きを停止させてもよい。
When the
或いは、異常検知部３５は、例えば、空間認識装置Ｃ１の出力に基づき、クレーン等によってショベル１００の周辺に新たに仮置きされた建材の存在を認識し、その建材から所定の距離の範囲内にショベル１００が侵入すると、ショベル１００がその建材に接触するおそれがあると判定してもよい。
Alternatively, for example, based on the output of the space recognition device C1, the
異常検知部３５は、その建材から所定の距離の範囲内にショベル１００が侵入したときに、管理センタ２００にいる管理者の注意を喚起してもよく、掘削アタッチメントＡＴの動きを鈍化させてもよく、掘削アタッチメントＡＴの動きを停止させてもよい。
When the
また、異常検知部３５は、ショベル１００の周囲に存在する物体の認識結果に関する情報、及び、異常事象が発生するおそれがあるか否かの判定結果に関する情報を、管理センタ２００に送信するように構成されていてもよい。管理センタ２００における動作シミュレータ５４がそれらの情報を利用できるようにするためである。
In addition, the
次に、図１２を参照し、表示装置Ｄ２に表示される管理画面ＭＳの別の構成例について説明する。図１２は、管理画面ＭＳの別の構成例を示す図である。具体的には、図１２は、図１１に示す施工支援システムＳＹＳを構成するショベル１００（第１ショベル）のコントローラ３０における異常検知部３５により第１ショベルの周囲で異常事象が発生するおそれがあると判定されたときに表示装置Ｄ２に表示される管理画面ＭＳの構成例を示している。なお、図１２に示す例では、異常検知部３５により第１ショベルの周囲で異常事象が発生するおそれがあると判定されるまでは、表示装置Ｄ２には、図７に示す管理画面ＭＳと同じ管理画面ＭＳが表示されている。
Next, another configuration example of the management screen MS displayed on the display device D2 will be described with reference to FIG. FIG. 12 is a diagram showing another configuration example of the management screen MS. Specifically, FIG. 12 shows that an abnormal event may occur around the first excavator by the
具体的には、図１２に示す管理画面ＭＳでは、ショベル情報ウィンドウＧ１Ｅがショベル情報ウィンドウＧ１～ショベル情報ウィンドウＧ４（図７参照。）を覆うように表示されている。ショベル情報ウィンドウＧ１Ｅは、作業現場Ａで作業している第１ショベルに関する情報を含み、ショベル情報ウィンドウＧ１（図７参照。）よりも大きいサイズを有する。このサイズの違いは、管理者が六台のショベル１００のうちの異常が検知された第１ショベルに関する情報と、六台のショベル１００のうちの異常が検知されていない五台のショベル（第２ショベル～第６ショベル）に関する情報とを区別できるようにするためのものである。なお、ショベル情報ウィンドウＧ１Ｅは、全画面表示されてもよい。
Specifically, in the management screen MS shown in FIG. 12, an excavator information window G1E is displayed so as to cover the excavator information windows G1 to G4 (see FIG. 7). The excavator information window G1E contains information about the first excavator working at work site A and has a larger size than the excavator information window G1 (see FIG. 7). This difference in size is based on the information about the first excavator out of the six
但し、ショベル情報ウィンドウＧ１Ｅは、管理者が区別できるのであれば、ショベル情報ウィンドウＧ１（図７参照。）よりも大きいサイズを有する必要は無い。例えば、ショベル情報ウィンドウＧ１Ｅは、ショベル情報ウィンドウＧ１（図７参照。）と同じサイズを有しながら、ショベル情報ウィンドウＧ１Ｅの全体が点滅するように構成されていてもよい。 However, the excavator information window G1E need not have a size larger than that of the excavator information window G1 (see FIG. 7) as long as the administrator can distinguish it. For example, the excavator information window G1E may have the same size as the excavator information window G1 (see FIG. 7), but may be configured so that the entire excavator information window G1E blinks.
より具体的には、ショベル情報ウィンドウＧ１Ｅは、識別情報Ｇ１７、注意情報Ｇ１８、及び画像情報Ｇ１９を含む。 More specifically, the excavator information window G1E includes identification information G17, caution information G18, and image information G19.
識別情報Ｇ１７は、識別に関する情報であり、図７における識別情報Ｇ１１に対応している。本実施形態では、識別情報Ｇ１７は、図７における識別情報Ｇ１１よりも詳細な情報を含む。管理者が第１ショベルの識別をより正確にできるようにするためである。 The identification information G17 is information relating to identification, and corresponds to the identification information G11 in FIG. In this embodiment, the identification information G17 includes more detailed information than the identification information G11 in FIG. This is to enable the administrator to more accurately identify the first shovel.
注意情報Ｇ１８は、発生するおそれがあると判定された異常事象の詳細に関する情報である。具体的には、注意情報Ｇ１８は、第１ショベルが崖ＣＬ２（図１０参照。）から転落するおそれがあることを知らせるテキストメッセージ、又は、第１ショベルの掘削アタッチメントＡＴと電線ＥＷ（図１０参照。）とが接触するおそれがあることを知らせるテキストメッセージ等を含む。 The caution information G18 is information on details of an abnormal event determined to possibly occur. Specifically, the caution information G18 is a text message notifying that the first excavator may fall from the cliff CL2 (see FIG. 10), or an excavation attachment AT and electric wire EW of the first excavator (see FIG. 10). ), including text messages, etc.
画像情報Ｇ１９は、画像に関する情報であり、図７における画像情報Ｇ１６に対応している。本実施形態では、画像情報Ｇ１９は、空間認識装置Ｃ１が撮像した画像、空間認識装置Ｃ３が撮像した画像、及びこれらの画像に基づいて生成される画像等を含む。典型的には、画像情報Ｇ１９は、発生するおそれがあると判定された異常事象に関する画像を含む。例えば、画像情報Ｇ１９は、第１ショベルと崖ＣＬ２（図１０参照。）との位置関係を表す画像、又は、第１ショベルの掘削アタッチメントＡＴと電線ＥＷ（図１０参照。）との位置関係を表す画像等を含む。 The image information G19 is information about an image, and corresponds to the image information G16 in FIG. In this embodiment, the image information G19 includes an image captured by the space recognition device C1, an image captured by the space recognition device C3, an image generated based on these images, and the like. Typically, the image information G19 includes an image related to an abnormal event determined to occur. For example, the image information G19 is an image representing the positional relationship between the first excavator and the cliff CL2 (see FIG. 10), or the positional relationship between the excavation attachment AT of the first excavator and the electric wire EW (see FIG. 10). including images that represent
このような管理画面ＭＳを見ることで、管理センタ２００にいる管理者は、異常事象が発生するおそれがあることを早期に認識でき、ひいては、必要な措置を早期に実行できるようになる。必要な措置は、例えば、第１ショベルの動きを止めること、又は、第１ショベルの動きを鈍化させること等である。
By viewing such a management screen MS, the administrator at the
上述のように、本発明の実施形態に係る建設機械の管理システム（施工支援システムＳＹＳ）は、無線通信を介して接続される複数台の建設機械（ショベル１００）と管理センタ２００に設置された演算装置（コントローラ５０）とを含む。そして、管理センタ２００には、コントローラ５０に接続された表示装置Ｄ２が設置されており、表示装置Ｄ２には、複数台のショベル１００を管理するための管理画面ＭＳが表示される。この構成により、施工支援システムＳＹＳは、複数台の建設機械の状態を管理できる。そして、管理センタ２００にいる管理者は、表示装置Ｄ２に表示された管理画面を見ることで、複数台の建設機械の状態を管理できる。
As described above, the construction machine management system (construction support system SYS) according to the embodiment of the present invention is installed in the
管理画面ＭＳでは、複数台のショベル１００のそれぞれによる作業の進捗に関する情報が表示されてもよい。また、管理画面ＭＳでは、複数台のショベル１００のうちの異常が検知されたショベル１００に関する情報が強調表示されてもよい。すなわち、管理画面ＭＳでは、複数台のショベル１００のうちの異常が検知されたショベル１００に関する情報が、複数台のショベル１００のうちの異常が検知されていないショベル１００に関する情報と区別できるように表示されてもよい。この構成により、管理センタ２００にいる管理者は、異常が検知されたショベル１００を容易に特定することができ、必要な措置を早期に実行することができる。
On the management screen MS, information regarding the progress of work by each of the plurality of
コントローラ５０は、ショベル１００の作業環境に基づいて設定された仮想環境におけるショベル１００の動作のシミュレーションを実行するように構成されていてもよい。具体的には、コントローラ５０は、例えば、ショベル１００が位置している作業現場に関する情報に基づき、仮想環境の一例である仮想作業現場を設定し、仮想作業現場における仮想ショベルによる仮想掘削作業を構成する仮想動作のシミュレーションを実行するように構成されていてもよい。より具体的には、コントローラ５０は、どのような仮想動作が行われたときに仮想作業現場がどのように変化するかを導き出すことができるように構成されていてもよい。
この構成により、施工支援システムＳＹＳは、実際の作業現場に関する情報に基づき、ショベル１００による作業のシミュレーションを実行することにより、ショベル１００による施工を支援する際に実際の作業現場の状況を反映させることができる。
With this configuration, the construction support system SYS executes a simulation of the work by the
コントローラ５０は、ショベル１００の周囲の空間を認識する空間認識装置の出力に基づいてシミュレーションを実行してもよい。空間認識装置は、ショベル１００に搭載されていてもよく、或いは、ショベル１００の外部に設置されていてもよい。また、コントローラ５０は、一つの空間認識装置の出力に基づいてシミュレーションを実行してもよく、複数の空間認識装置の出力に基づいてシミュレーションを実行してもよい。空間認識装置は、例えば、ショベル１００に搭載されている空間認識装置Ｃ１であってもよい。或いは、空間認識装置は、ショベル１００の外部に設置された空間認識装置Ｃ３であってもよい。具体的には、空間認識装置Ｃ３は、作業現場に設置されたポールに取り付けられていてもよく、ショベル１００以外の他のショベルに取り付けられていてもよく、作業現場の上空を飛行する飛行体に取り付けられていてもよい。
The
施工支援システムＳＹＳは、コントローラ５０によるシミュレーションの結果を表示する表示装置を有していてもよい。
The construction support system SYS may have a display device for displaying the results of simulation by the
コントローラ５０は、シミュレーションにより、ショベル１００を実際に動作させたときに発生し得る事象を事前に認識できるように構成されていてもよい。この構成により、施工支援システムＳＹＳは、ショベル１００を実際に動作させたときに発生し得る望ましくない事象を事前に認識し、そのような望ましくない事象が実際に発生してしまうのを未然に防止できる。
The
ショベル１００は、自動運転ショベルであってもよい。この場合、コントローラ５０は、予め設定された動作指令に関する情報に基づいて操作信号を生成してもよい。そして、ショベル１００は、その操作信号に応じて動作するように構成されていてもよい。また、コントローラ５０は、シミュレーションの結果に基づいて動作指令を変更できるように構成されていてもよい。
この構成により、施工支援システムＳＹＳは、ショベル１００が自動運転ショベルであっても、ショベル１００による施工を支援する際に実際の作業現場の状況を反映させることができる。
With this configuration, the construction support system SYS can reflect the actual work site situation when supporting construction by the
コントローラ５０は、動作指令にしたがって動作するショベル１００によって実現される作業現場の所定時間経過後の未来の状態を、シミュレーションによって継続的に導き出すように構成されていてもよい。
The
この構成により、施工支援システムＳＹＳは、ショベル１００を実際に動作させるとともに、所定時間だけ未来の時点における作業現場の状態をシミュレーションによりリアルタイムで導き出すことができる。そのため、施工支援システムＳＹＳは、所定時間だけ未来の時点における作業現場の状態が望ましくない状態になることを事前に察知することができる。この場合、施工支援システムＳＹＳは、現在利用している動作指令を別の動作指令に切り換えることにより、そのような望ましくない状態が実際に発生してしまうのを未然に防止できる。
With this configuration, the construction support system SYS can actually operate the
コントローラ５０は、シミュレーションの前提条件が変わったときに、シミュレーションをやり直すように構成されていてもよい。シミュレーションの前提条件は、例えば、作業対象の土砂の砂質度合いが所定範囲内の値であることである。土砂の砂質度合いは、例えば、空間認識装置の出力に基づいて導き出される。前提条件が変わったにもかかわらず、その前提条件に基づいて行われたシミュレーションの結果が利用されてしまうと、作業現場の状態が望ましくない状態になってしまうためである。
The
この構成により、施工支援システムＳＹＳは、シミュレーションの前提条件が変化したと判定した場合には、シミュレーションをやり直すため、ショベル１００による施工を支援する際に実際の作業現場の状況をより適切に反映させることができる。
With this configuration, the construction support system SYS re-executes the simulation when it determines that the preconditions for the simulation have changed, so that the situation of the actual work site is more appropriately reflected when supporting construction by the
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。 The preferred embodiments of the present invention have been described in detail above. However, the invention is not limited to the embodiments described above. Various modifications or replacements may be applied to the above-described embodiments without departing from the scope of the present invention. Also, features described separately can be combined unless technical contradiction arises.
例えば、上述の実施形態では、動作シミュレータ５４は、管理センタ２００に設置されたコントローラ５０の一機能として実現されているが、コントローラ３０の一機能として実現されてもよく、遠隔コントローラ４０の一機能として実現されてもよい。或いは、動作シミュレータ５４は、コントローラ３０、遠隔コントローラ４０、及びコントローラ５０のそれぞれとは別の演算装置の一機能として実現されてもよい。
For example, in the above-described embodiment, the
また、上述の実施形態では、施工支援システムＳＹＳを構成する管理センタ２００に接続される建設機械として、ショベル１００及び運搬車両としてのダンプトラックが例としてあげられている。しかしながら、管理センタ２００に接続される建設機械は、クレーン等の他の建設機械を含んでいてもよい。
Further, in the above-described embodiment, the
１・・・下部走行体 １Ｌ・・・左側走行用油圧モータ １Ｒ・・・右側走行用油圧モータ ２・・・旋回機構 ２Ａ・・・旋回用油圧モータ ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・エンジン １１ａ・・・オルタネータ １１ｂ・・・スタータ １１ｃ・・・水温センサ １３・・・レギュレータ １４・・・メインポンプ １４ｂ・・・吐出圧センサ １４ｃ・・・油温センサ １５・・・パイロットポンプ １６・・・作動油ライン １７・・・コントロールバルブユニット １８・・・測位装置 ２１・・・尿素水タンク ２１ａ・・・尿素水残量センサ ２２・・・燃料タンク ２２ａ・・・燃料残量センサ ２５・・・パイロットライン ２６・・・操作装置 ２９・・・操作センサ ３０・・・コントローラ ３０ａ・・・メモリ ３１・・・画像生成部 ３２・・・ショベル状態特定部 ３３・・・アクチュエータ駆動部 ３４・・・目標軌道生成部 ３５・・・異常検知部 ４０・・・遠隔コントローラ ４１・・・操作者状態特定部 ４２・・・画像合成部 ４３・・・操作信号生成部 ４５・・・電磁弁ユニット ５０・・・コントローラ ５１・・・判定部 ５４・・・動作シミュレータ ５５・・・表示部 ５６・・・目標軌道生成部 ７０・・・バッテリ ７２・・・電装品 ７４・・・エンジンコントロールユニット ７５・・・ダイヤル １００、１００ａ、１００ｂ・・・ショベル ２００・・・管理センタ Ａ１・・・集音装置 Ａ２・・・音出力装置 Ｃ１・・・空間認識装置 Ｃ１Ｂ・・・後カメラ Ｃ１Ｆ・・・前カメラ Ｃ１Ｌ・・・左カメラ Ｃ１Ｒ・・・右カメラ Ｃ２・・・室内空間認識装置 Ｃ３・・・空間認識装置 Ｄ１、Ｄ２・・・表示装置 ＤＧ・・・設計面情報 ＤＳ・・・運転席 Ｅ１・・・操作者視点 Ｅ１'・・・仮想操作者視点 ＭＳ・・・管理画面 ＯＰ・・・操作者 ＲＣ、ＲＣａ、ＲＣｂ・・・遠隔操作室 Ｓ１・・・ブーム角度センサ Ｓ２・・・アーム角度センサ Ｓ３・・・バケット角度センサ Ｓ４・・・旋回角速度センサ ＳＹＳ・・・施工支援システム Ｔ１、Ｔ２、Ｔ３・・・通信装置
REFERENCE SIGNS
Claims (6)
前記管理センタには、前記演算装置に接続された表示装置が設置されており、
前記表示装置には、複数台の建設機械を管理するための管理画面が表示される、
建設機械の管理システム。 A construction machine management system including a plurality of construction machines connected via wireless communication and an arithmetic device installed in a management center,
A display device connected to the computing device is installed in the management center,
The display device displays a management screen for managing a plurality of construction machines,
Management system for construction machinery.
請求項１に記載の建設機械の管理システム。 The management screen displays information about the progress of work performed by each of a plurality of construction machines.
The construction machine management system according to claim 1.
請求項１又は２に記載の建設機械の管理システム。 On the management screen, information relating to a construction machine for which an abnormality has been detected among the plurality of construction machines is highlighted.
The construction machine management system according to claim 1 or 2.
前記建設機械は、自動運転ショベルであり、前記操作信号に応じて動作するように構成されている、
請求項１乃至３の何れかに記載の建設機械の管理システム。 The computing device generates an operation signal based on information related to the operation command,
The construction machine is a self-driving excavator and is configured to operate in response to the operation signal.
The construction machine management system according to any one of claims 1 to 3.
請求項１乃至４の何れかに記載の建設機械の管理システム。 The computing device executes a simulation of the operation of the construction machine in a virtual environment set based on the working environment of the construction machine.
The construction machine management system according to any one of claims 1 to 4.
請求項５に記載の建設機械の管理システム。 The computing device is configured to recognize in advance, from the simulation, an event that will occur when the construction machine is actually operated.
The construction machine management system according to claim 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021061971A JP2022157635A (en) | 2021-03-31 | 2021-03-31 | Management system for construction machine |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021061971A JP2022157635A (en) | 2021-03-31 | 2021-03-31 | Management system for construction machine |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022157635A true JP2022157635A (en) | 2022-10-14 |
Family
ID=83559993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021061971A Pending JP2022157635A (en) | 2021-03-31 | 2021-03-31 | Management system for construction machine |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022157635A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024111596A1 (en) * | 2022-11-22 | 2024-05-30 | 住友重機械工業株式会社 | Work machine, information processing device, and program |
-
2021
- 2021-03-31 JP JP2021061971A patent/JP2022157635A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024111596A1 (en) * | 2022-11-22 | 2024-05-30 | 住友重機械工業株式会社 | Work machine, information processing device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7441710B2 (en) | A system including a shovel and a multicopter, and a shovel | |
| US11926994B2 (en) | Excavator, display device for excavator, and terminal apparatus | |
| JP7328212B2 (en) | Driving support system for construction machinery, construction machinery | |
| US11492777B2 (en) | Shovel and system of managing shovel | |
| WO2019189260A1 (en) | Excavator | |
| JP7439053B2 (en) | Excavators and shovel management devices | |
| JP6963007B2 (en) | Excavator, excavator display device and image display method on excavator | |
| US20230071015A1 (en) | Construction assist system for shovel | |
| US20230078047A1 (en) | Excavator and system for excavator | |
| US20220010526A1 (en) | Shovel and control device for shovel | |
| JPWO2019031509A1 (en) | Excavator, excavator display device and excavator display method | |
| JP2023174887A (en) | Work machine, information processing device | |
| JP7344800B2 (en) | Excavators and shovel management systems | |
| JP2022157635A (en) | Management system for construction machine | |
| JP7438807B2 (en) | Excavator construction support system | |
| JP2022154722A (en) | Excavator | |
| WO2022202855A1 (en) | Construction machine and construction machine assisting method | |
| JP2021046719A (en) | Remote control system for shovel | |
| US20240209591A1 (en) | Excavator, and excavator operation system | |
| US20240011252A1 (en) | Shovel and shovel control device | |
| JP2024051364A (en) | Remote information acquisition system for work machine, and remote information acquisition system | |
| JP7507745B2 (en) | Excavators and construction systems | |
| US20210395980A1 (en) | System and method for work machine | |
| JP2024087294A (en) | Excavator remote control system | |
| JP2022137769A (en) | Shovel, and information processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231213 |