JP2024087294A - Excavator remote control system - Google Patents
Excavator remote control system Download PDFInfo
- Publication number
- JP2024087294A JP2024087294A JP2022202045A JP2022202045A JP2024087294A JP 2024087294 A JP2024087294 A JP 2024087294A JP 2022202045 A JP2022202045 A JP 2022202045A JP 2022202045 A JP2022202045 A JP 2022202045A JP 2024087294 A JP2024087294 A JP 2024087294A
- Authority
- JP
- Japan
- Prior art keywords
- shovel
- control
- operator
- remote
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 abstract description 36
- 239000010720 hydraulic oil Substances 0.000 description 109
- 238000005259 measurement Methods 0.000 description 43
- 230000004044 response Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 30
- 238000009412 basement excavation Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 239000003921 oil Substances 0.000 description 19
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010276 construction Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 239000002689 soil Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- RFHAOTPXVQNOHP-UHFFFAOYSA-N fluconazole Chemical compound C1=NC=NN1CC(C=1C(=CC(F)=CC=1)F)(O)CN1C=NC=N1 RFHAOTPXVQNOHP-UHFFFAOYSA-N 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】自律的に動作しているショベルを操作者が操作できるようにすること。【解決手段】ショベルの遠隔制御システムSYSは、遠隔制御されるショベル100から離れた場所にいる遠隔操作者OPの手の位置に関する情報を取得する撮像装置C1と、ショベル100が位置する作業現場を表す画像を遠隔操作者OPに表示する表示装置D1と、撮像装置C1の出力に基づいて遠隔操作者OPの手の位置又は動きを検出してショベル100を制御するための制御指令を生成する遠隔コントローラ40と、その制御指令をショベル100に送信する通信装置T2と、を備える。【選択図】図6[Problem] To enable an operator to operate an autonomously operating shovel. [Solution] A shovel remote control system SYS includes an imaging device C1 that acquires information regarding the position of the hands of a remote operator OP located away from a remotely controlled shovel 100, a display device D1 that displays to the remote operator OP an image representing the work site where the shovel 100 is located, a remote controller 40 that detects the position or movement of the hands of the remote operator OP based on the output of the imaging device C1 and generates a control command for controlling the shovel 100, and a communication device T2 that transmits the control command to the shovel 100. [Selected Figure] Figure 6
Description
本開示は、ショベルの遠隔制御システムに関する。 This disclosure relates to a remote control system for an excavator.
従来、無人運転が可能なショベルが知られている(特許文献1参照)。このショベルは、操作者による操作を必要とせずに、特定の作業を自律的に行うことができるように構成されている。 Unmanned excavators are known (see Patent Document 1). These excavators are configured to perform specific tasks autonomously without the need for operation by an operator.
しかしながら、無人運転が行われている場合であっても、例外的な事象が発生したときには、操作者による操作が行われた方が効率的な場合がある。 However, even when unmanned operation is in progress, there are cases where it is more efficient for an operator to operate the vehicle when an exceptional event occurs.
そこで、無人運転が行われている場合であっても、必要に応じて、自律的に動作しているショベルを操作者が操作できるようにすることが望ましい。 Therefore, even when unmanned operation is being performed, it is desirable to allow an operator to operate the autonomously operating excavator as necessary.
本開示の実施形態に係るショベルの遠隔制御システムは、遠隔制御されるショベルから離れた場所にいる操作者の体の所定部位の位置に関する情報を取得する検出センサと、前記ショベルが位置する作業現場を表す画像を操作者に表示する表示装置と、前記検出センサの出力に基づいて操作者の体の所定部位の位置又は動きを検出して前記ショベルを制御するための制御指令を生成する制御装置と、前記制御指令を前記ショベルに送信する通信装置と、を備える。 A remote control system for a shovel according to an embodiment of the present disclosure includes a detection sensor that acquires information regarding the position of a specific body part of an operator who is located away from the remotely controlled shovel, a display device that displays to the operator an image representing the work site where the shovel is located, a control device that detects the position or movement of a specific body part of the operator based on the output of the detection sensor and generates a control command for controlling the shovel, and a communication device that transmits the control command to the shovel.
上述のショベルの遠隔制御システムでは、操作者は、必要に応じて、自律的に動作しているショベルを操作できる。 The above-mentioned excavator remote control system allows the operator to control the excavator operating autonomously when necessary.
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。 The following describes an embodiment of the present invention with reference to the drawings. The embodiments described below are illustrative and do not limit the invention, and all features and combinations described in the embodiments are not necessarily essential to the invention. In addition, identical or corresponding components in each drawing are denoted by identical or corresponding reference numerals, and descriptions thereof may be omitted.
(第1の実施形態)
まず、図1を参照して、第1の実施形態に係る遠隔制御システムSYSの概要を説明する。図1は、第1の実施形態に係る遠隔制御システムSYSの一例を示す概要図である。
First Embodiment
First, an overview of a remote control system SYS according to a first embodiment will be described with reference to Fig. 1. Fig. 1 is a schematic diagram showing an example of a remote control system SYS according to the first embodiment.
<遠隔制御システムを構成する機器>
図1に示すように、第1の実施形態に係る遠隔制御システムSYSは、ショベル100と、定点計測装置400と、遠隔操作室RCと、を含んでいる。
<Devices that make up the remote control system>
As shown in FIG. 1, the remote control system SYS according to the first embodiment includes a
定点計測装置400は、ショベル100が作業を行う作業現場に設けられている。遠隔操作室RCは、ショベル100を遠隔操作するために設けられている。なお、定点計測装置400は、省略されてもよい。
The fixed
ショベル100、定点計測装置400、及び遠隔操作室RCは、通信回線NWを介してデータの送受信を可能に接続されている。
The
ショベル100及び定点計測装置400は、作業現場に関する情報を遠隔操作室RCに送信する。これにより、遠隔操作室RCは、ショベル100及び定点計測装置400からの検出結果に応じて、作業現場を多角的に確認できる。なお、本実施形態では、作業現場の測定を行う装置は、ショベル100及び定点計測装置400ばかりでなく、作業現場上を飛行するドローン、又は、作業者が所持可能な空間認識装置等、他の態様の装置であってもよい。
The
ショベル100及び定点計測装置400には、作業現場に存在する物体の位置及び形状を3次元的に認識可能なセンサが設けられている。例えば、ショベル100には空間認識装置S7(図2参照)が設けられ、定点計測装置400には空間認識装置S11(図6参照)が設けられている。したがって、ショベル100及び定点計測装置400は、作業現場を3次元的に測定した結果を遠隔操作室RCに送信できる。
The
空間認識装置S7、S11は、作業現場を監視するためのLIDARであってもよい。LIDARは、例えば、監視範囲内にある100万点以上の点とLIDARとの間の距離を測定する。なお、空間認識装置S7、S11は、物体との間の距離を計測可能な装置であればよい。例えば、空間認識装置S7、S11は、ステレオカメラであってもよいし、撮像装置とミリ波レーダ等の測距装置との組み合わせであってもよい。 The spatial recognition devices S7 and S11 may be LIDAR for monitoring a work site. The LIDAR measures the distance between the LIDAR and, for example, one million or more points within a monitoring range. The spatial recognition devices S7 and S11 may be any device capable of measuring the distance between an object. For example, the spatial recognition devices S7 and S11 may be a stereo camera, or a combination of an imaging device and a distance measuring device such as a millimeter wave radar.
遠隔制御システムSYSに含まれる定点計測装置400は、一台であってもよいし、複数台であってもよい。これにより、遠隔制御システムSYSは、複数台の定点計測装置400を通じて、遠隔操作室RCに作業現場に関する情報を提供することができる。
The fixed
遠隔制御システムSYSに含まれるショベル100は、一台であってもよいし、複数台であってもよい。これにより、遠隔制御システムSYSは、複数台のショベル100を通じて、遠隔操作室RCに作業現場に関する情報を提供することができる。
The remote control system SYS may include one or
<遠隔操作室の構成例>
遠隔操作室RCには、通信装置T2、遠隔コントローラ40、操作装置42、操作センサ43、撮像装置C1、表示装置D1、及び音出力装置V1が設置されている。また、遠隔操作室RCには、ショベル100を遠隔操作する遠隔操作者OPが座る操作席DSが設置されている。
<Example of remote control room configuration>
The remote control room RC is provided with a communication device T2, a
通信装置T2は、ショベル100に取り付けられた通信装置T1(図2参照)、及び、定点計測装置400に取り付けられた通信装置T3(図6参照)との間で通信できるように構成されている。
The communication device T2 is configured to be able to communicate between the communication device T1 (see FIG. 2) attached to the
撮像装置C1は、操作席DSに座っている遠隔操作者OPの体の所定部位の位置に関する情報を取得するための検出センサの一例である。本実施形態では、撮像装置C1は、遠隔操作者OPの周囲に設定される監視空間を撮影するために設けられている。撮像装置C1によって撮像された画像情報は、例えば、遠隔操作者OPの手の位置、姿勢、又は動き等を検出するために用いられる。なお、画像情報は、遠隔操作者OPの指、腕、又は上半身等の位置、姿勢、又は動き等を検出するために用いられてもよい。 The imaging device C1 is an example of a detection sensor for acquiring information regarding the position of a specific part of the body of the remote operator OP sitting at the operating seat DS. In this embodiment, the imaging device C1 is provided for capturing an image of a monitoring space set around the remote operator OP. The image information captured by the imaging device C1 is used, for example, to detect the position, posture, or movement of the hands of the remote operator OP. The image information may also be used to detect the position, posture, or movement of the fingers, arms, upper body, or the like of the remote operator OP.
遠隔コントローラ40は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ40は、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ40の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
The
表示装置D1は、各種情報を表示可能な装置である。表示装置D1は、遠隔操作室RCにいる遠隔操作者OPがショベル100の周囲を視認するために、ショベル100及び定点計測装置400の各々から送信された情報に基づいた画像を表示する。本実施形態では、表示装置D1は、液晶ディスプレイである。なお、表示装置D1は、裸眼立体視を実現するディスプレイ又はプロジェクタであってもよく、VR(Virtual Reality)ゴーグル、AR(Augmented Reality)ゴーグル、MR(Mixed Reality)、又はXR(Cross Reality)ゴーグル等であってもよい。
The display device D1 is a device capable of displaying various types of information. The display device D1 displays images based on information transmitted from each of the
音出力装置V1は、各種音情報を出力可能な装置である。音出力装置V1は、遠隔操作室RCにいる遠隔操作者OPがショベル100の周囲で発せられる音を聴認するために、ショベル100及び定点計測装置400の各々から送信された情報に基づいた音を出力する。本実施形態では、音出力装置V1は、スピーカである。なお、音出力装置V1は、ステレオスピーカであってもよく、サラウンドスピーカであってもよい。
The sound output device V1 is a device capable of outputting various types of sound information. The sound output device V1 outputs sounds based on information transmitted from each of the
操作装置42(操作部の一例)には、操作装置42の操作内容を検出するための操作センサ43が設置されている。操作センサ43は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ43は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ43は、検出した操作装置42の操作内容に関する情報を遠隔コントローラ40に対して出力する。遠隔コントローラ40は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル100に向けて送信する。操作センサ43は、操作信号を生成するように構成されていてもよい。この場合、操作センサ43は、遠隔コントローラ40を経由せずに、操作信号を通信装置T2に出力してもよい。これにより、遠隔操作者OPは、遠隔操作室RCからショベル100を遠隔操作できる。
<ショベルの構成>
次に、図2を参照して、本実施形態に係るショベル100の概要について説明する。図2は、第1の実施形態に係る掘削機としてのショベル100の側面図である。ショベル100は、操作者又は遠隔操作者OPによる操作に応じて動作する手動操作式ショベルとして機能し、且つ、操作者又は遠隔操作者OPによる操作によらずに自律的に動作する自律式ショベルとして機能するように構成されている。但し、ショベル100は、自律式ショベルとしてのみ機能するように構成されていてもよい。ショベル100の下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載される。上部旋回体3にはブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
An
<Excavator configuration>
Next, an overview of the
ブーム4、アーム5、及びバケット6は、アタッチメントの一例である掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケット6にはバケット角度センサS3が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。
The
ブーム角度センサS1はブーム4の回動角度を検出する。本実施形態では、ブーム角度センサS1は加速度センサであり、上部旋回体3に対するブーム4の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム4を最も下げたときに最小角度となり、ブーム4を上げるにつれて大きくなる。
The boom angle sensor S1 detects the rotation angle of the
アーム角度センサS2はアーム5の回動角度を検出する。本実施形態では、アーム角度センサS2は加速度センサであり、ブーム4に対するアーム5の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム5を最も閉じたときに最小角度となり、アーム5を開くにつれて大きくなる。
The arm angle sensor S2 detects the rotation angle of the
バケット角度センサS3はバケット6の回動角度を検出する。本実施形態では、バケット角度センサS3は加速度センサであり、アーム5に対するバケット6の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット6を最も閉じたときに最小角度となり、バケット6を開くにつれて大きくなる。
The bucket angle sensor S3 detects the rotation angle of the
ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。 The boom angle sensor S1, arm angle sensor S2, and bucket angle sensor S3 may be a potentiometer using a variable resistor, a stroke sensor that detects the stroke amount of the corresponding hydraulic cylinder, or a rotary encoder that detects the rotation angle around the connecting pin. The boom angle sensor S1, arm angle sensor S2, and bucket angle sensor S3 constitute a posture sensor that detects the posture of the excavation attachment.
上部旋回体3には、運転室としてのキャビン10、エンジン11、機体傾斜センサS4、旋回角速度センサS5、撮像装置S6、空間認識装置S7、測位装置S8、通信装置T1、及び、音入力装置V2等が搭載されている。
The upper rotating body 3 is equipped with a
キャビン10内には、ショベルコントローラ30が設置される。また、キャビン10内には、運転席及び操作装置等が設置されている。
The
ショベルコントローラ30は、各種演算を実行する演算装置(電子回路)である。ショベルコントローラ30は、例えば、キャビン10内に設けられ、ショベル100の駆動制御を行う。ショベルコントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ30は、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ30は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをCPU上で実行することにより各種機能を実現する。
The
エンジン11は、ショベル100の駆動源である。本実施形態では、エンジン11は、ディーゼルエンジンである。エンジン11の出力軸は、メインポンプ14及びパイロットポンプ15のそれぞれの入力軸に連結されている。
The
機体傾斜センサS4は、所定の平面に対する上部旋回体3の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサS4は、水平面に関する上部旋回体3の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、互いに直交してショベル100の旋回軸上の一点であるショベル100の中心点を通る。
The machine body inclination sensor S4 is configured to detect the inclination of the upper rotating body 3 relative to a predetermined plane. In this embodiment, the machine body inclination sensor S4 is an acceleration sensor that detects the inclination angle about the fore-aft axis and the lateral axis of the upper rotating body 3 relative to the horizontal plane. The fore-aft axis and the lateral axis of the upper rotating body 3 are, for example, mutually perpendicular and pass through the center point of the
旋回角速度センサS5は、上部旋回体3の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサS5は、ジャイロセンサである。旋回角速度センサS5は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサS5は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。 The rotation angular velocity sensor S5 is configured to detect the rotation angular velocity of the upper rotating body 3. In this embodiment, the rotation angular velocity sensor S5 is a gyro sensor. The rotation angular velocity sensor S5 may be a resolver or a rotary encoder, etc. The rotation angular velocity sensor S5 may detect the rotation speed. The rotation speed may be calculated from the rotation angular velocity.
撮像装置S6はショベル100の周辺の画像を取得するように構成されている。本実施形態では、撮像装置S6は、ショベル100の前方の空間を撮像する前カメラS6F、ショベル100の左方の空間を撮像する左カメラS6L、ショベル100の右方の空間を撮像する右カメラS6R、及びショベル100の後方の空間を撮像する後カメラS6Bを含む。
The imaging device S6 is configured to capture images of the periphery of the
撮像装置S6は、例えば、CCDやCMOS等の撮像素子を有する単眼カメラであり、撮像した画像を遠隔操作室RCに送信する。 The imaging device S6 is, for example, a monocular camera having an imaging element such as a CCD or CMOS, and transmits the captured image to the remote control room RC.
前カメラS6Fは、例えば、キャビン10の屋根に取り付けられている。左カメラS6Lは、上部旋回体3の上面左端に取り付けられている。右カメラS6Rは、上部旋回体3の上面右端に取り付けられている。後カメラS6Bは、上部旋回体3の上面後端に取り付けられている。
The front camera S6F is attached, for example, to the roof of the
本実施形態は、撮像装置S6を上述した位置に設けることで、ショベル100の周辺に存在する物体を撮像できる。
In this embodiment, by providing the imaging device S6 at the above-mentioned position, it is possible to capture images of objects present around the
空間認識装置S7は、ショベル100の周囲の空間の状態を認識するように構成されている。空間認識装置S7は、ショベル100の後方の空間の状態を認識する後方空間認識装置S7B、ショベル100の左方の空間の状態を認識する左方空間認識装置S7L、ショベル100の右方の空間の状態を認識する右方空間認識装置S7R、及び、ショベル100の前方の空間の状態を認識する前方空間認識装置S7Fを含む。
The spatial recognition device S7 is configured to recognize the state of the space around the
空間認識装置S7は、LIDARであってもよい。なお、空間認識装置S7は、物体との間の距離を計測可能な装置であればよい。例えば、空間認識装置S7は、ステレオカメラであってもよいし、距離画像カメラ、又はミリ波レーダ等の測距装置であってもよい。空間認識装置S7としてミリ波レーダ等が利用される場合には、空間認識装置S7は、多数の信号(レーザ光等)を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。 The spatial recognition device S7 may be a LIDAR. The spatial recognition device S7 may be any device capable of measuring the distance to an object. For example, the spatial recognition device S7 may be a stereo camera, a distance imaging camera, or a distance measuring device such as a millimeter wave radar. When a millimeter wave radar or the like is used as the spatial recognition device S7, the spatial recognition device S7 may transmit a number of signals (laser light, etc.) toward an object and receive the reflected signals, thereby deriving the distance and direction of the object from the reflected signals.
後方空間認識装置S7Bは、上部旋回体3の上面の後端に取り付けられる。左方空間認識装置S7Lは、上部旋回体3の上面の左端に取り付けられる。右方空間認識装置S7Rは、上部旋回体3の上面の右端に取り付けられる。前方空間認識装置S7Fは、キャビン10の上面の前端に取り付けられる。
The rear space recognition device S7B is attached to the rear end of the upper surface of the upper rotating body 3. The left space recognition device S7L is attached to the left end of the upper surface of the upper rotating body 3. The right space recognition device S7R is attached to the right end of the upper surface of the upper rotating body 3. The forward space recognition device S7F is attached to the front end of the upper surface of the
空間認識装置S7は、ショベル100の周囲に設定された所定領域内の所定物体を検知するように構成されていてもよい。例えば、空間認識装置S7は、人と人以外の物体とを区別しながら人を検知できるように構成された人検知機能を有していてもよい。
The spatial recognition device S7 may be configured to detect a specific object within a specific area set around the
測位装置S8は、ショベル100の位置に関する情報を取得するように構成されている。本実施形態では、測位装置S8は、基準座標系におけるショベル100の位置及び向きを測定するように構成されている。具体的には、測位装置S8は、電子コンパスを組み込んだGNSS受信機であり、ショベル100の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル100の向きを測定する。基準座標系は、例えば、世界測地系である。
The positioning device S8 is configured to acquire information related to the position of the
通信装置T1は、ショベル100の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置T1は、無線通信網を介し、通信装置T1とショベル100の外部にある機器との間の通信を制御するように構成されている。通信装置T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。また、通信装置T1は、例えば、外部のGNSS(Global Navigation Satellite System)測量システムとショベル100との間の無線通信を制御する。
The communication device T1 is configured to control communication with equipment external to the
音入力装置V2は、ショベル100の周囲で発せられる音を取得できるように構成されている。本実施形態では、音入力装置V2は、全指向性マイクロフォンである。なお、音入力装置V2は、指向性を有するマイクロフォンであってもよい。
The sound input device V2 is configured to acquire sounds emitted around the
図3は、図2のショベル100の駆動制御系の構成例を示す図である。図3において、機械的動力伝達系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は点線でそれぞれ示される。
Figure 3 is a diagram showing an example of the configuration of the drive control system of the
本実施形態に係るショベル100の駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブユニット17を含む。また、本実施形態に係るショベル100の油圧駆動系は、上述の如く、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6のそれぞれを油圧駆動する左走行油圧モータ1L、右走行油圧モータ1R、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
The drive system of the
エンジン11は、ショベル100の動力源であり、例えば、上部旋回体3の後部に搭載される。具体的には、エンジン11は、ショベルコントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。
The
レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、ショベルコントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節する。レギュレータ13は、例えば、後述の如く、レギュレータ13L,13Rを含む。
The
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、高圧油圧ラインを通じてコントロールバルブユニット17に作動油を供給する。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、ショベルコントローラ30による制御下で、レギュレータ13により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量(吐出圧)が制御される。メインポンプ14は、例えば、後述の如く、メインポンプ14L、14Rを含む。
The
コントロールバルブユニット17は、ショベル100における油圧システムを制御する油圧制御装置である。本実施形態では、コントロールバルブユニット17は、制御弁171~176を含む。コントロールバルブユニット17は、制御弁171~176を通じ、メインポンプ14が吐出する作動油を1又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁171~176は、例えば、メインポンプ14から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左走行油圧モータ1L、右走行油圧モータ1R、及び旋回油圧モータ2Aを含む。より具体的には、制御弁171は、左走行油圧モータ1Lに対応し、制御弁172は、右走行油圧モータ1Rに対応し、制御弁173は、旋回油圧モータ2Aに対応する。また、制御弁174は、バケットシリンダ9に対応し、制御弁175は、ブームシリンダ7に対応し、制御弁176は、アームシリンダ8に対応する。また、制御弁175は、例えば、後述の如く、制御弁175L,175R(図4参照)を含み、制御弁176は、例えば、後述の如く、制御弁176L,176R(図4参照)を含む。
The
パイロットポンプ15は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ15は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、作動油ラインを介して作動油をコントロールバルブユニット17に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ15は、省略されてもよい。
The
操作装置26は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。なお、操作装置26は、省略されてもよい。この場合、ショベル100は自律式ショベルとして機能する。操作装置42についても同様である。
The operating
吐出圧センサ28は、メインポンプ14の吐出圧を検出するように構成されている。本実施形態では、吐出圧センサ28は、検出した値をショベルコントローラ30に対して出力する。吐出圧センサ28は、例えば、後述の如く、吐出圧センサ28L,28Rを含む。
The
操作センサ29は、操作装置26を用いた操作者の操作内容を検出するように構成されている。操作センサ29は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ29は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。本実施形態では、操作センサ29は、アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量を検出し、検出した値をショベルコントローラ30に対して出力する。本実施形態では、ショベルコントローラ30は、操作センサ29の出力に応じて比例弁31の開口面積を制御する。そして、ショベルコントローラ30は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力(パイロット圧)は、原則として、油圧アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量に応じた圧力である。このように、操作装置26は、パイロットポンプ15が吐出する作動油を、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給できるように構成されている。なお、操作装置26が省略された場合には、操作センサ29も省略される。操作装置42が省略された場合の操作センサ43についても同様である。
The
マシンコントロール用制御弁として機能する比例弁31は、パイロットポンプ15とコントロールバルブユニット17内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁31は、ショベルコントローラ30が出力する制御指令に応じて動作する。そのため、ショベルコントローラ30は、操作者による操作装置26の操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31を介し、コントロールバルブユニット17内の制御弁のパイロットポートに供給できる。比例弁31は、例えば、後述の如く、比例弁31AL,31AR,31BL,31BR,31CL,31CRを含む。
The
この構成により、ショベルコントローラ30は、特定の操作装置26に対する操作が行われていない場合であっても、その特定の操作装置26に対応する油圧アクチュエータを動作させることができる。
With this configuration, the
例えば、ショベルコントローラ30は、操作者等の所定操作により予め設定される作業モード等に基づき、目標回転数を設定し、エンジン11を一定回転させる駆動制御を行う。
For example, the
また、例えば、ショベルコントローラ30は、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させる。
For example, the
また、ショベルコントローラ30は、例えば、操作者による操作装置26を通じたショベル100の手動操作をガイド(案内)するマシンガイダンス機能に関する制御を実行できる。また、ショベルコントローラ30は、例えば、操作者による操作装置26を通じたショベル100の手動操作を自動的に支援するマシンコントロール機能に関する制御を実行できる。
The
なお、ショベルコントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。すなわち、ショベルコントローラ30の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ(制御装置)により実現されてもよい。
Note that some of the functions of the
[ショベルの油圧システム]
次に、図4を参照して、本実施形態に係るショベル100の油圧システムについて説明する。
[Excavator hydraulic system]
Next, the hydraulic system of the
図4は、本実施形態に係るショベル100の油圧システムの構成の一例を概略的に示す図である。
Figure 4 is a diagram showing an example of the configuration of a hydraulic system of the
なお、図4において、機械的動力系、作動油ライン、パイロットライン、及び電気制御系は、図3等の場合と同様、それぞれ、二重線、実線、破線、及び点線で示されている。 In Figure 4, the mechanical power system, hydraulic oil lines, pilot lines, and electrical control system are shown by double lines, solid lines, dashed lines, and dotted lines, respectively, as in Figure 3, etc.
当該油圧回路により実現される油圧システムは、エンジン11により駆動されるメインポンプ14L,14Rのそれぞれから、センタバイパス油路C1L,C1R、パラレル油路C2L,C2Rを経て作動油タンクまで作動油を循環させる。
The hydraulic system realized by this hydraulic circuit circulates hydraulic oil from each of the main pumps 14L, 14R driven by the
センタバイパス油路C1Lは、メインポンプ14Lを起点として、コントロールバルブユニット17内に配置される制御弁171,173,175L,176Lを順に通過し、作動油タンクに至る。
The center bypass oil passage C1L starts at the main pump 14L, passes through the
センタバイパス油路C1Rは、メインポンプ14Rを起点として、コントロールバルブユニット17内に配置される制御弁172,174,175R,176Rを順に通過し、作動油タンクに至る。
The center bypass oil passage C1R starts at the main pump 14R, passes through the
制御弁171は、メインポンプ14Lから吐出される作動油を左走行油圧モータ1Lへ供給し、且つ、左走行油圧モータ1Lが吐出する作動油を作動油タンクに排出させるスプール弁である。
The
制御弁172は、メインポンプ14Rから吐出される作動油を右走行油圧モータ1Rへ供給し、且つ、右走行油圧モータ1Rが吐出する作動油を作動油タンクへ排出させるスプール弁である。
The
制御弁173は、メインポンプ14Lから吐出される作動油を旋回油圧モータ2Aへ供給し、且つ、旋回油圧モータ2Aが吐出する作動油を作動油タンクへ排出させるスプール弁である。
The
制御弁174は、メインポンプ14Rから吐出される作動油をバケットシリンダ9へ供給し、且つ、バケットシリンダ9内の作動油を作動油タンクへ排出させるスプール弁である。
The
制御弁175L,175Rは、それぞれ、メインポンプ14L,14Rが吐出する作動油をブームシリンダ7へ供給し、且つ、ブームシリンダ7内の作動油を作動油タンクへ排出させるスプール弁である。
The
制御弁176L,176Rは、メインポンプ14L,14Rが吐出する作動油をアームシリンダ8へ供給し、且つ、アームシリンダ8内の作動油を作動油タンクへ排出させる。
The
制御弁171,172,173,174,175L,175R,176L,176Rは、それぞれ、パイロットポートに作用するパイロット圧に応じて、油圧アクチュエータに給排される作動油の流量を調整したり、流れる方向を切り換えたりする。
パラレル油路C2Lは、センタバイパス油路C1Lと並列的に、制御弁171,173,175L,176Lにメインポンプ14Lの作動油を供給する。具体的には、パラレル油路C2Lは、制御弁171の上流側でセンタバイパス油路C1Lから分岐し、制御弁171,173,175L,176Rのそれぞれに並列してメインポンプ14Lの作動油を供給可能に構成される。これにより、パラレル油路C2Lは、制御弁171,173,175Lの何れかによってセンタバイパス油路C1Lを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
The parallel oil passage C2L supplies hydraulic oil of the main pump 14L to the
パラレル油路C2Rは、センタバイパス油路C1Rと並列的に、制御弁172,174,175R,176Rにメインポンプ14Rの作動油を供給する。具体的には、パラレル油路C2Rは、制御弁172の上流側でセンタバイパス油路C1Rから分岐し、制御弁172,174,175R,176Rのそれぞれに並列してメインポンプ14Rの作動油を供給可能に構成される。パラレル油路C2Rは、制御弁172,174,175Rの何れかによってセンタバイパス油路C1Rを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
The parallel oil passage C2R supplies hydraulic oil of the main pump 14R to the
レギュレータ13L,13Rは、それぞれ、ショベルコントローラ30による制御下で、メインポンプ14L,14Rの斜板の傾転角を調節することによって、メインポンプ14L,14Rの吐出量を調節する。
The regulators 13L and 13R adjust the discharge volume of the main pumps 14L and 14R by adjusting the tilt angle of the swash plates of the main pumps 14L and 14R, respectively, under the control of the
吐出圧センサ28Lは、メインポンプ14Lの吐出圧を検出し、検出された吐出圧に対応する検出信号は、ショベルコントローラ30に取り込まれる。吐出圧センサ28Rについても同様である。これにより、ショベルコントローラ30は、メインポンプ14L,14Rの吐出圧に応じて、レギュレータ13L,13Rを制御することができる。
The discharge pressure sensor 28L detects the discharge pressure of the main pump 14L, and a detection signal corresponding to the detected discharge pressure is input to the
センタバイパス油路C1L,C1Rには、最も下流にある制御弁176L,176Rのそれぞれと作動油タンクとの間には、絞り18L,18Rが設けられる。これにより、メインポンプ14L,14Rにより吐出された作動油の流れは、絞り18L,18Rで制限される。そして、絞り18L,18Rは、レギュレータ13L,13Rを制御するための制御圧(ネガティブコントロール圧)を発生させる。
In the center bypass oil passages C1L, C1R, throttles 18L, 18R are provided between the hydraulic oil tank and the most
制御圧センサ19L,19Rは、制御圧を検出し、検出された制御圧に対応する検出信号は、ショベルコントローラ30に取り込まれる。
The
ショベルコントローラ30は、吐出圧センサ28L,28Rにより検出されるメインポンプ14L,14Rの吐出圧に応じて、レギュレータ13L,13Rを制御し、メインポンプ14L,14Rの吐出量を調節してよい。例えば、ショベルコントローラ30は、メインポンプ14Lの吐出圧の増大に応じて、レギュレータ13Lを制御し、メインポンプ14Lの斜板傾転角を調節することにより、吐出量を減少させてよい。レギュレータ13Rについても同様である。これにより、ショベルコントローラ30は、吐出圧と吐出量との積で表されるメインポンプ14L,14Rの吸収パワー(吸収馬力)がエンジン11の出力パワー(出力馬力)を超えないように、メインポンプ14L,14Rの吸収馬力を制御できる。
The
また、ショベルコントローラ30は、制御圧センサ19L,19Rにより検出される制御圧に応じて、レギュレータ13L,13Rを制御することにより、メインポンプ14L,14Rの吐出量を調節してよい。例えば、ショベルコントローラ30は、制御圧が大きいほどメインポンプ14L,14Rの吐出量を減少させ、制御圧が小さいほどメインポンプ14L,14Rの吐出量を増大させる。
The
具体的には、ショベル100における油圧アクチュエータが何れも操作されていない待機状態(図3に示す状態)の場合、メインポンプ14L,14Rから吐出される作動油は、センタバイパス油路C1L,C1Rを通って絞り18L,18Rに至る。そして、メインポンプ14L,14Rから吐出される作動油の流れは、絞り18L,18Rの上流で発生する制御圧を増大させる。その結果、ショベルコントローラ30は、メインポンプ14L,14Rの吐出量を許容最小吐出量まで減少させ、吐出した作動油がセンタバイパス油路C1L,C1Rを通過する際の圧力損失(ポンピングロス)を抑制する。
Specifically, in the case of a standby state (state shown in FIG. 3) in which none of the hydraulic actuators in the
一方、何れかの油圧アクチュエータが操作装置26を通じて操作された場合、メインポンプ14L,14Rから吐出される作動油は、操作対象の油圧アクチュエータに対応する制御弁を介して、操作対象の油圧アクチュエータに流れ込む。そして、メインポンプ14L,14Rから吐出される作動油の流れは、絞り18L,18Rに至る量を減少或いは消失させ、絞り18L,18Rの上流で発生する制御圧を低下させる。その結果、ショベルコントローラ30は、メインポンプ14L,14Rの吐出量を増大させ、操作対象の油圧アクチュエータに十分な作動油を循環させ、操作対象の油圧アクチュエータを確実に駆動させることができる。
On the other hand, when any of the hydraulic actuators is operated through the operating
操作装置26は、左操作レバー26L、右操作レバー26R及び走行レバー26Dを含む。走行レバー26Dは、左走行レバー26DL及び右走行レバー26DRを含む。
The operating
左操作レバー26Lは、旋回操作とアーム5の操作に用いられる。ショベルコントローラ30は、左操作レバー26Lが前後方向に操作された場合、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁176のパイロットポートに導入させる。また、ショベルコントローラ30は、左操作レバー26Lが左右方向に操作された場合、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁173のパイロットポートに導入させる。
The
具体的には、ショベルコントローラ30は、は、左操作レバー26Lがアーム閉じ方向に操作された場合に、制御弁176Lの右側パイロットポートに作動油を導入させ、且つ、制御弁176Rの左側パイロットポートに作動油を導入させる。また、ショベルコントローラ30は、左操作レバー26Lがアーム開き方向に操作された場合には、制御弁176Lの左側パイロットポートに作動油を導入させ、且つ、制御弁176Rの右側パイロットポートに作動油を導入させる。また、ショベルコントローラ30は、左操作レバー26Lが左旋回方向に操作された場合に、制御弁173の左側パイロットポートに作動油を導入させ、右旋回方向に操作された場合に、制御弁173の右側パイロットポートに作動油を導入させる。
Specifically, when the
右操作レバー26Rは、ブーム4の操作とバケット6の操作に用いられる。ショベルコントローラ30は、右操作レバー26Rが前後方向に操作された場合、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁175のパイロットポートに導入させる。また、ショベルコントローラ30は、右操作レバー26Rが左右方向に操作された場合、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁174のパイロットポートに導入させる。
The
具体的には、ショベルコントローラ30は、右操作レバー26Rがブーム下げ方向に操作された場合に、制御弁175Rの左側パイロットポートに作動油を導入させる。また、ショベルコントローラ30は、右操作レバー26Rがブーム上げ方向に操作された場合には、制御弁175Lの右側パイロットポートに作動油を導入させ、且つ、制御弁175Rの左側パイロットポートに作動油を導入させる。また、ショベルコントローラ30は、右操作レバー26Rがバケット閉じ方向に操作された場合に、制御弁174の右側パイロットポートに作動油を導入させ、右操作レバー26Rがバケット開き方向に操作された場合に、制御弁174の左側パイロットポートに作動油を導入させる。
Specifically, when the
以下では、左右方向に操作される左操作レバー26Lは、「旋回操作レバー」と称され、前後方向に操作される左操作レバー26Lは、「アーム操作レバー」と称される場合がある。また、左右方向に操作される右操作レバー26Rは、「バケット操作レバー」と称され、前後方向に操作される右操作レバー26Rは、「ブーム操作レバー」と称される場合がある。
In the following, the
左走行レバー26DLは、左クローラ1CLの操作に用いられる。左走行ペダルと連動するように構成されていてもよい。ショベルコントローラ30は、左走行レバー26DLが前後方向に操作されると、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁171のパイロットポートに導入させる。右走行レバー26DRは、右クローラ1CRの操作に用いられる。右走行ペダルと連動するように構成されていてもよい。ショベルコントローラ30は、右走行レバー26DRが前後方向に操作されると、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁172のパイロットポートに導入させる。
The left travel lever 26DL is used to operate the left crawler 1CL. It may be configured to be linked to the left travel pedal. When the left travel lever 26DL is operated in the forward/backward direction, the
操作センサ29は、操作者による操作装置26の操作の内容を検出できるように構成されている。本実施形態では、操作センサ29は、アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量を検出し、検出した値をショベルコントローラ30に対して出力する。
The
操作センサ29は、操作センサ29LA、29LB、29RA、29RB、29DL、29DRを含む。操作センサ29LAは、操作者による左操作レバー26Lに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。操作の内容は、例えば、レバー操作方向、レバー操作量(レバー操作角度)等である。
The
同様に、操作センサ29LBは、操作者による左操作レバー26Lに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。操作センサ29RAは、操作者による右操作レバー26Rに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。操作センサ29RBは、操作者による右操作レバー26Rに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。操作センサ29DLは、操作者による左走行レバー26DLに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。操作センサ29DRは、操作者による右走行レバー26DRに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。
Similarly, the operation sensor 29LB detects the operation of the
ショベルコントローラ30は、操作センサ29の出力を受信し、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させる。また、ショベルコントローラ30は、絞り18の上流に設けられた制御圧センサ19の出力を受信し、必要に応じてレギュレータ13に対して制御指令を出力し、メインポンプ14の吐出量を変化させる。
The
[ショベルのマシンコントロール機能に関する構成の詳細]
次に、図5A~図5Dを参照して、ショベル100のマシンコントロール機能に関する構成の詳細について説明する。
[Configuration details for excavator machine control function]
Next, the configuration regarding the machine control function of the
図5A~図5Dは、油圧システムの一部を抜き出した図である。具体的には、図5Aは、アームシリンダ8の操作に関する油圧システム部分を抜き出した図であり、図5Bは、ブームシリンダ7の操作に関する油圧システム部分を抜き出した図である。図5Cは、バケットシリンダ9の操作に関する油圧システム部分を抜き出した図であり、図5Dは、旋回油圧モータ2Aの操作に関する油圧システム部分を抜き出した図である。
Figures 5A to 5D are diagrams of parts of the hydraulic system. Specifically, Figure 5A is a diagram of the hydraulic system part related to the operation of the
図5A~図5Dに示すように、油圧システムは、比例弁31を含む。比例弁31は、比例弁31AL~31DL及び31AR~31DRを含む。
As shown in Figures 5A to 5D, the hydraulic system includes a
比例弁31は、マシンコントロール用制御弁として機能する。比例弁31は、パイロットポンプ15とコントロールバルブユニット17内の対応する制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁31は、ショベルコントローラ30が出力する制御指令に応じて動作する。そのため、ショベルコントローラ30は、操作者による操作装置26の操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31を介し、コントロールバルブユニット17内の対応する制御弁のパイロットポートに供給できる。そして、ショベルコントローラ30は、比例弁31が生成するパイロット圧を、対応する制御弁のパイロットポートに作用させることができる。
The
この構成により、ショベルコントローラ30は、特定の操作装置26に対する操作が行われていない場合であっても、その特定の操作装置26に対応する油圧アクチュエータを動作させることができる。また、ショベルコントローラ30は、特定の操作装置26に対する操作が行われている場合であっても、その特定の操作装置26に対応する油圧アクチュエータの動作を強制的に停止させることができる。
With this configuration, the
例えば、図5Aに示すように、左操作レバー26Lは、アーム5を操作するために用いられる。具体的には、左操作レバー26Lは、パイロットポンプ15が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁176のパイロットポートに作用させる。より具体的には、左操作レバー26Lは、アーム閉じ方向(後方向)に操作された場合に、操作量に応じたパイロット圧を制御弁176Lの右側パイロットポートと制御弁176Rの左側パイロットポートに作用させる。また、左操作レバー26Lは、アーム開き方向(前方向)に操作された場合には、操作量に応じたパイロット圧を制御弁176Lの左側パイロットポートと制御弁176Rの右側パイロットポートに作用させる。
For example, as shown in FIG. 5A, the
操作装置26にはスイッチSWが設けられている。本実施形態では、スイッチSWは、スイッチSW1及びスイッチSW2を含む。スイッチSW1は、左操作レバー26Lの先端に設けられた押しボタンスイッチである。操作者は、スイッチSW1を押しながら左操作レバー26Lを操作できる。スイッチSW1は、右操作レバー26Rに設けられていてもよく、キャビン10内の他の位置に設けられていてもよい。スイッチSW2は、左走行レバー26DLの先端に設けられた押しボタンスイッチである。操作者は、スイッチSW2を押しながら左走行レバー26DLを操作できる。スイッチSW2は、右走行レバー26DRに設けられていてもよく、キャビン10内の他の位置に設けられていてもよい。
The
操作センサ29LAは、操作者による左操作レバー26Lに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。
The operation sensor 29LA detects the forward/rearward operation of the
比例弁31ALは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31ALを介して制御弁176Lの右側パイロットポート及び制御弁176Rの左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31ARは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31ARを介して制御弁176Lの左側パイロットポート及び制御弁176Rの右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31ALは、制御弁176L及び制御弁176Rを任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁31ARは、制御弁176L及び制御弁176Rを任意の弁位置で停止できるようにパイロット圧を調整可能である。
The proportional valve 31AL operates in response to a control command (current command) output by the
この構成により、ショベルコントローラ30は、操作者によるアーム閉じ操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31ALを介し、制御弁176Lの右側パイロットポート及び制御弁176Rの左側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者によるアーム閉じ操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31ALを介し、制御弁176Lの右側パイロットポート及び制御弁176Rの左側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者によるアーム閉じ操作に応じ、或いは、操作者によるアーム閉じ操作とは無関係に、アーム5を閉じることができる。
With this configuration, the
また、ショベルコントローラ30は、操作者によるアーム開き操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31ARを介し、制御弁176Lの左側パイロットポート及び制御弁176Rの右側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者によるアーム開き操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31ARを介し、制御弁176Lの左側パイロットポート及び制御弁176Rの右側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者によるアーム開き操作に応じ、或いは、操作者によるアーム開き操作とは無関係に、アーム5を開くことができる。
In addition, the
また、この構成により、ショベルコントローラ30は、操作者によるアーム閉じ操作が行われている場合であっても、必要に応じて、制御弁176の閉じ側のパイロットポート(制御弁176Lの左側パイロットポート及び制御弁176Rの右側パイロットポート)に作用するパイロット圧を減圧し、アーム5の閉じ動作を強制的に停止させることができる。操作者によるアーム開き操作が行われているときにアーム5の開き動作を強制的に停止させる場合についても同様である。
In addition, with this configuration, even if the operator is performing an arm closing operation, the
ショベルコントローラ30は、操作者によるアーム閉じ操作が行われている場合であっても、必要に応じて、比例弁31ARを制御し、制御弁176の閉じ側のパイロットポートの反対側にある、制御弁176の開き側のパイロットポート(制御弁176Lの右側パイロットポート及び制御弁176Rの左側パイロットポート)に作用するパイロット圧を増大させ、制御弁176を強制的に中立位置に戻すことで、アーム5の閉じ動作を強制的に停止させてもよい。操作者によるアーム開き操作が行われている場合にアーム5の開き動作を強制的に停止させる場合についても同様である。
Even if the operator is performing an arm closing operation, the
また、以下の図5B~図5Dを参照しながらの説明を省略するが、操作者によるブーム上げ操作又はブーム下げ操作が行われている場合にブーム4の動作を強制的に停止させる場合、操作者によるバケット閉じ操作又はバケット開き操作が行われている場合にバケット6の動作を強制的に停止させる場合、及び、操作者による旋回操作が行われている場合に上部旋回体3の旋回動作を強制的に停止させる場合についても同様である。
Although the explanation with reference to the following Figures 5B to 5D is omitted, the same applies to the case where the operation of the
また、操作者による走行操作が行われている場合に下部走行体1の走行動作を強制的に停止させる場合についても同様である。 The same applies when the traveling operation of the lower traveling body 1 is forcibly stopped while the operator is performing traveling operations.
また、図5Bに示すように、右操作レバー26Rは、ブーム4を操作するために用いられる。具体的には、右操作レバー26Rは、パイロットポンプ15が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁175のパイロットポートに作用させる。より具体的には、右操作レバー26Rは、ブーム上げ方向(後方向)に操作された場合に、操作量に応じたパイロット圧を制御弁175Lの右側パイロットポートと制御弁175Rの左側パイロットポートに作用させる。また、右操作レバー26Rは、ブーム下げ方向(前方向)に操作された場合には、操作量に応じたパイロット圧を制御弁175Rの右側パイロットポートに作用させる。
As shown in FIG. 5B, the
操作センサ29RAは、操作者による右操作レバー26Rに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。
The operation sensor 29RA detects the forward and backward operation of the
比例弁31BLは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31BLを介して制御弁175Lの右側パイロットポート及び制御弁175Rの左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31BRは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31BRを介して制御弁175Rの右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31BLは、制御弁175L及び制御弁175Rを任意の弁位置で停止できるようにパイロット圧を調整可能である。また、比例弁31BRは、制御弁175Rを任意の弁位置で停止できるようにパイロット圧を調整可能である。
The proportional valve 31BL operates in response to a control command (current command) output by the
この構成により、ショベルコントローラ30は、操作者によるブーム上げ操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31BLを介し、制御弁175Lの右側パイロットポート及び制御弁175Rの左側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者によるブーム上げ操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31BLを介し、制御弁175Lの右側パイロットポート及び制御弁175Rの左側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者によるブーム上げ操作に応じ、或いは、操作者によるブーム上げ操作とは無関係に、ブーム4を上げることができる。
With this configuration, the
また、ショベルコントローラ30は、操作者によるブーム下げ操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31BRを介し、制御弁175Rの右側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者によるブーム下げ操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31BRを介し、制御弁175Rの右側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者によるブーム下げ操作に応じ、或いは、操作者によるブーム下げ操作とは無関係に、ブーム4を下げることができる。
In addition, the
また、図5Cに示すように、右操作レバー26Rは、バケット6を操作するためにも用いられる。具体的には、右操作レバー26Rは、パイロットポンプ15が吐出する作動油を利用し、左右方向への操作に応じたパイロット圧を制御弁174のパイロットポートに作用させる。より具体的には、右操作レバー26Rは、バケット閉じ方向(左方向)に操作された場合に、操作量に応じたパイロット圧を制御弁174の左側パイロットポートに作用させる。また、右操作レバー26Rは、バケット開き方向(右方向)に操作された場合には、操作量に応じたパイロット圧を制御弁174の右側パイロットポートに作用させる。
As shown in FIG. 5C, the
操作センサ29RBは、操作者による右操作レバー26Rに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。
The operation sensor 29RB detects the left/right operation of the
比例弁31CLは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31CLを介して制御弁174の左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31CRは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31CRを介して制御弁174の右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31CLは、制御弁174を任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁31CRは、制御弁174を任意の弁位置で停止できるようにパイロット圧を調整可能である。
The proportional valve 31CL operates in response to a control command (current command) output by the
この構成により、ショベルコントローラ30は、操作者によるバケット閉じ操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31CLを介し、制御弁174の左側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者によるバケット閉じ操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31CLを介し、制御弁174の左側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者によるバケット閉じ操作に応じ、或いは、操作者によるバケット閉じ操作とは無関係に、バケット6を閉じることができる。
With this configuration, the
また、ショベルコントローラ30は、操作者によるバケット開き操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31CRを介し、制御弁174の右側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者によるバケット開き操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31CRを介し、制御弁174の右側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者によるバケット開き操作に応じ、或いは、操作者によるバケット開き操作とは無関係に、バケット6を開くことができる。
In addition, the
また、図5Dに示すように、左操作レバー26Lは、旋回機構2を操作するためにも用いられる。具体的には、左操作レバー26Lは、パイロットポンプ15が吐出する作動油を利用し、左右方向への操作に応じたパイロット圧を制御弁173のパイロットポートに作用させる。より具体的には、左操作レバー26Lは、左旋回方向(左方向)に操作された場合に、操作量に応じたパイロット圧を制御弁173の左側パイロットポートに作用させる。また、左操作レバー26Lは、右旋回方向(右方向)に操作された場合には、操作量に応じたパイロット圧を制御弁173の右側パイロットポートに作用させる。
As shown in FIG. 5D, the
操作センサ29LBは、操作者による左操作レバー26Lに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ30に対して出力する。
The operation sensor 29LB detects the left/right operation of the
比例弁31DLは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31DLを介して制御弁173の左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31DRは、ショベルコントローラ30が出力する制御指令(電流指令)に応じて動作する。そして、パイロットポンプ15から比例弁31DRを介して制御弁173の右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁31DLは、制御弁173を任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁31DRは、制御弁173を任意の弁位置で停止できるようにパイロット圧を調整可能である。
The proportional valve 31DL operates in response to a control command (current command) output by the
この構成により、ショベルコントローラ30は、操作者による左旋回操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31DLを介し、制御弁173の左側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者による左旋回操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31DLを介し、制御弁173の左側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者による左旋回操作に応じ、或いは、操作者による左旋回操作とは無関係に、旋回機構2を左旋回させることができる。
With this configuration, the
また、ショベルコントローラ30は、操作者による右旋回操作に応じ、パイロットポンプ15が吐出する作動油を、比例弁31DRを介し、制御弁173の右側パイロットポートに供給できる。また、ショベルコントローラ30は、操作者による右旋回操作とは無関係に、パイロットポンプ15が吐出する作動油を、比例弁31DRを介し、制御弁173の右側パイロットポートに供給できる。すなわち、ショベルコントローラ30は、操作者による右旋回操作に応じ、或いは、操作者による右旋回操作とは無関係に、旋回機構2を右旋回させることができる。
In addition, the
また、左走行レバー26DLは、左クローラ1CLを操作するために用いられる。具体的には、左走行レバー26DLは、パイロットポンプ15が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁171のパイロットポートに作用させる。操作センサ29DLは、操作者による左走行レバー26DLに対する前後方向への操作の内容を電気的に検出し、検出した値を示す電流指令をショベルコントローラ30に出力する。これにより、ショベルコントローラ30が電流指令に応じて動作する。
The left travel lever 26DL is used to operate the left crawler 1CL. Specifically, the left travel lever 26DL uses hydraulic oil discharged by the
そして、ショベルコントローラ30は、上述した構成と同様に、パイロットポンプ15が吐出する作動油を、(図示しない)比例弁を介し、制御弁171の左側パイロットポートに供給できる。すなわち、左クローラ1CLを前進させることができる。また、ショベルコントローラ30は、パイロットポンプ15が吐出する作動油を、(図示しない)比例弁を介し、制御弁171の右側パイロットポートに供給できる。すなわち、左クローラ1CLを後進させることができる。
The
また、右走行レバー26DRは、右クローラ1CRを操作するために用いられる。具体的には、右走行レバー26DRは、パイロットポンプ15が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁172のパイロットポートに作用させる。操作センサ29DRは、操作者による右走行レバー26DRに対する前後方向への操作の内容を電気的に検出し、検出した値を示す電流指令をショベルコントローラ30に対して出力する。これにより、ショベルコントローラ30が電流指令に応じて動作する。
The right travel lever 26DR is used to operate the right crawler 1CR. Specifically, the right travel lever 26DR uses hydraulic oil discharged by the
そして、ショベルコントローラ30は、上述した構成と同様に、パイロットポンプ15が吐出する作動油を、比例弁31を介し、制御弁172の右側パイロットポートに供給できる。すなわち、右クローラ1CRを前進させることができる。また、ショベルコントローラ30は、パイロットポンプ15が吐出する作動油を、比例弁31を介し、制御弁172の左側パイロットポートに供給できる。すなわち、右クローラ1CRを後進させることができる。
The
また、ショベル100は、バケットチルト機構を自動的に動作させる構成を備えていてもよい。この場合、バケットチルト機構を構成するバケットチルトシリンダに関する油圧システム部分は、ブームシリンダ7の操作に関する油圧システム部分等と同じように構成されてもよい。
The
また、操作装置26の形態として電気式操作レバーに関する説明を記載したが、電気式操作レバーではなく油圧式操作レバーが採用されてもよい。この場合、油圧式操作レバーのレバー操作量は、圧力センサによって圧力の形で検出されてショベルコントローラ30へ入力されてもよい。また、油圧式操作レバーとしての操作装置26と各制御弁のパイロットポートとの間には電磁弁が配置されてもよい。電磁弁は、ショベルコントローラ30からの電気信号に応じて動作するように構成される。この構成により、油圧式操作レバーとしての操作装置26を用いた手動操作が行われると、操作装置26は、レバー操作量に応じてパイロット圧を増減させることで各制御弁を移動させることができる。また、各制御弁は電磁スプール弁で構成されていてもよい。この場合、電磁スプール弁は、電気式操作レバーのレバー操作量に対応するショベルコントローラ30からの電気信号に応じて動作する。
Although the description has been given of an electric control lever as the form of the operating
<遠隔制御システムのブロック構成>
図6は、本実施形態に係る遠隔制御システムSYSの構成例を示す機能ブロック図である。図6に示される例では、遠隔制御システムSYSに含まれる、遠隔操作室RC、定点計測装置400、及び、ショベル100の各々のブロック構成を示している。なお、ショベル100のハードウェア構成については上述した通りなので、説明を省略する。
<定点計測装置の構成>
定点計測装置400は、通信装置T3と、音入力装置V3と、位置情報記憶部450と、撮像装置C3と、空間認識装置S11と、コントローラ440とを含む。
<Block diagram of remote control system>
Fig. 6 is a functional block diagram showing a configuration example of the remote control system SYS according to this embodiment. In the example shown in Fig. 6, block configurations of the remote operation room RC, the fixed
<Configuration of fixed point measurement device>
The fixed
通信装置T3は、通信回線NWを通じて、遠隔操作室RC等の外部と通信を行うための装置である。通信装置T3は、通信回線NWと接続可能な装置であればよく、例えば、LTE、4G、5G等の移動体通信規格に対応する移動体通信モジュールであってよい。 The communication device T3 is a device for communicating with the outside, such as the remote control room RC, via the communication line NW. The communication device T3 may be any device that can be connected to the communication line NW, and may be, for example, a mobile communication module that supports mobile communication standards such as LTE, 4G, and 5G.
位置情報記憶部450は、定点計測装置400の位置情報を記憶している。位置情報は、例えば、GNSSで取得する位置情報と同様の基準座標系で表現されている。基準座標系は、例えば、世界測地系である。
The position
撮像装置C3は、ショベル100が作業している作業現場の画像を取得するように構成されている。撮像装置C3は、例えば、CCDやCMOS等の撮像素子を有する単眼カメラである。
The imaging device C3 is configured to capture images of the work site where the
音入力装置V3は、ショベル100の周囲で発せられる音を取得できるように構成されている。本実施形態では、音入力装置V2は、全指向性マイクロフォンである。なお、音入力装置V2は、指向性を有するマイクロフォンであってもよい。
The sound input device V3 is configured to acquire sounds emitted around the
空間認識装置S11は、ショベル100が作業している作業現場に存在する物体を検出するための装置であり、例えば、LIDARである。
The spatial recognition device S11 is a device for detecting objects present at the work site where the
コントローラ440は、定点計測装置400に関する制御を行う。コントローラ440は、例えば、任意のハードウェア、又は、任意のハードウェア及びソフトウェアの組み合わせ等によりその機能が実現されてよい。コントローラ440は、例えば、CPU等のプロセッサ装置、RAM等のメモリ装置(主記憶装置)、及びROM等の補助記憶装置等を含むコンピュータを中心に構成されてよい。例えば、コントローラ440は、補助記憶装置にインストールされるプログラムをメモリ装置にロードし、CPU上で実行することにより各種機能を実現する。
<遠隔操作室RCの構成>
遠隔操作室RCは、遠隔コントローラ40と、通信装置T2と、撮像装置C1と、記憶装置41と、操作センサ43と、表示装置D1と、音出力装置V1とを含む。
The
<Configuration of remote control room RC>
The remote operation room RC includes a
遠隔コントローラ40は、遠隔操作者OPによるショベル100の遠隔操作を可能にする演算装置である。本実施形態では、遠隔コントローラ40は、自律式ショベルとして自律的に動作しているショベル100の制御に遠隔操作者OPが手動で介入するための制御指令を生成できるように構成されている。
The
遠隔操作室RCの記憶装置41は、読み書き可能な不揮発性の記憶媒体である。記憶装置41は、施工情報記憶部411と、作業現場情報記憶部412と、を備える。
The
施工情報記憶部411は、ショベル100が作業現場で作業を行う際に利用する施工情報を記憶する。施工情報とは、作業現場に存在する土砂等の施工後の形状を表した3次元データである。施工情報は、施工後の物体(被写体の一例)の3次元形状及び位置を、上述した基準座標系で表現している。
The construction
作業現場情報記憶部412は、ショベル100及び定点計測装置400による測定情報に基づいて生成された仮想的な作業現場空間の3次元形状を表現した作業現場情報を記憶する。当該作業現場情報は、作業現場の現在の物体の3次元形状及び位置を、上述した基準座標系で表現している。
The work site
次に、定点計測装置400のコントローラ440、ショベル100のショベルコントローラ30、及び遠隔操作室RCの遠隔コントローラ40の各々の機能ブロックについて説明する。
<<定点計測装置の機能ブロック>>
定点計測装置400のコントローラ440内の各機能ブロックについて説明する。コントローラ440内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、CPUにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。
Next, the functional blocks of the
<<Functional blocks of fixed point measurement device>>
Each functional block in the
送信制御部441は、撮像装置C3による画像情報と、空間認識装置S11による測定情報と、位置情報記憶部450に記憶されている位置情報と、を対応付けて遠隔操作室RCに送信する。送信制御部441による画像情報及び測定情報の送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、本実施形態では、遠隔操作者OPが周囲の環境の変化を認識できる時間間隔である。例えば、送信制御部441は、撮像装置C3が撮像を行う毎(例えば1秒未満)、又は、空間認識装置S11が測定を行う毎(例えば1秒未満)に送信してもよい。
<<ショベルの機能ブロック>>
ショベル100のショベルコントローラ30内の各機能ブロックについて説明する。ショベルコントローラ30内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、CPUにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。本実施形態では、ショベルコントローラ30は、プログラムを実行することで、ショベル状態特定部301と、送信制御部302と、受信制御部303と、アクチュエータ駆動部304と、を機能させる。
The
<<Excavator functional blocks>>
Each functional block in the
ショベル状態特定部301は、ショベル100の状態を特定するように構成されている。本実施形態では、ショベル100の状態は、ショベル100の位置と向き、及びショベル100のアタッチメントの状態(例えば、ブーム4、アーム5、及びバケット6の位置)を含む。ショベル100の位置は、例えば、ショベル100の基準座標系における位置(ショベル100基準点の緯度、経度、及び高度)である。ショベル状態特定部301は、測位装置S8の出力に基づいてショベル100の位置及び向きを特定する。
The shovel state identification unit 301 is configured to identify the state of the
アタッチメントの状態(例えば、ブーム4、アーム5、及びバケット6の位置)は、角度センサ(ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3)の検出結果、及びブーム4アーム5及びバケット6の各々のサイズから特定できる。
The state of the attachment (e.g., the positions of the
送信制御部302は、通信装置T1を介して、様々な情報を、遠隔操作室RCに送信するための制御を行う。例えば、送信制御部302は、撮像装置S6が撮像した画像情報、空間認識装置S7に検出された測定情報、ショベル100の位置及び向きを示した位置情報、並びに、アタッチメントの状態を示す状態情報を、遠隔操作室RCに送信する制御を行う。送信制御部302による送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、本実施形態では、ショベル100の作業によって変化した状況を認識できる時間間隔である。例えば、送信制御部302は、上記の情報を、1秒間隔で送信してもよい。
The
受信制御部303は、通信装置T1を介して、様々な情報を、遠隔操作室RCから受信するための制御を行う。例えば、受信制御部303は、遠隔操作室RCから、ショベル100の動作を制御するための制御指令を受信する。
The receiving
アクチュエータ駆動部304は、ショベル100に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部304は、遠隔操作室RCから送信されてくる制御指令に基づき、比例弁31を含む複数の電磁弁のそれぞれに対する制御指令を生成して出力する。
The
制御指令を受けた各電磁弁は、コントロールバルブユニット17における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
<<遠隔操作室の機能ブロック>>
遠隔操作室RCの遠隔コントローラ40内の各機能ブロックについて説明する。遠隔コントローラ40内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、CPUにて実行されるプログラムにより実現される。又は各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。本実施形態では、遠隔コントローラ40は、プログラムを実行することで、受信制御部401と、検出部402と、作業現場空間生成部403と、制御指令生成部404と、制御モード切換部405と、信号生成部406と、送信制御部407と、を機能させる。
Each solenoid valve that receives the control command increases or decreases the pilot pressure acting on the pilot port of the corresponding control valve in the
<<Remote control room function blocks>>
Each functional block in the
受信制御部401は、通信装置T2を介して、様々な情報を、定点計測装置400及びショベル100の各々から受信するための制御を行う。例えば、受信制御部401は、定点計測装置400(ショベル100の周辺に存在する装置の一例)から、画像情報、測定情報及び位置情報を受信する。他の例としては、受信制御部401は、ショベル100から、画像情報、測定情報、位置情報、及び状態情報を受信する。画像情報は、例えば、撮像装置S6により撮像された情報である。測定情報は、例えば、空間認識装置S7により測定された情報である。位置情報は、例えば、測位装置S8により測定された基準座標系におけるショベル100の位置及び向きを示した情報である。状態情報は、例えば、アタッチメントの状態(例えば、ブーム4、アーム5、及びバケット6の位置)を示した情報である。
The
検出部402は、遠隔操作者OPの体の所定部位の位置又は動きを検出できるように構成されている。本実施形態では、検出部402は、画像センサとしての撮像装置C1等の検出センサの出力に基づいて遠隔操作者OPの手の位置を検出できるように構成されている。
The
検出センサは、LIDARであってもよく、遠隔操作者OPが装着するグローブ型センサのようなモーションキャプチャ装置であってもよい。このグローブ型センサは、多数の慣性センサを含み、遠隔操作者OPの各指の微細な動きを検出できるように構成されていてもよい。慣性センサは、例えば、IMU(Inertial Measurement Unit)であってもよく、3軸加速度センサとジャイロセンサとの組み合わせであってもよい。なお、グローブ型センサは、グローブを構成している繊維の伸び縮みを検出する伸縮センサを含んで構成されていてもよい。また、グローブ型センサは、フォースフィードバック機能を有していてもよい。例えば、グローブ型センサは、必要に応じて、グローブ型センサを装着している遠隔操作者OPが指又は手首を曲げる際に要する力の大きさを増減させることができるように構成されていてもよい。 The detection sensor may be a LIDAR or a motion capture device such as a glove-type sensor worn by the remote operator OP. This glove-type sensor may include a number of inertial sensors and be configured to detect minute movements of each finger of the remote operator OP. The inertial sensor may be, for example, an IMU (Inertial Measurement Unit) or a combination of a three-axis acceleration sensor and a gyro sensor. The glove-type sensor may include an expansion sensor that detects the expansion and contraction of the fibers that make up the glove. The glove-type sensor may also have a force feedback function. For example, the glove-type sensor may be configured to increase or decrease the amount of force required when the remote operator OP wearing the glove-type sensor bends his or her fingers or wrist, as necessary.
作業現場空間生成部403は、定点計測装置400から受信した撮像情報、測定情報及び位置情報、並びに、ショベル100から受信した撮像情報、測定情報、位置情報、及び状態情報に基づいて、作業現場の3次元形状を表した仮想的な作業現場空間を生成する。
The work site
測定情報は、例えば、撮影地点(例えば、定点計測装置400又はショベル100)を基準とした作業現場の物体までの距離を示した測定結果である。つまり、作業現場空間生成部403は、測定情報及び位置情報に基づき、位置情報で示された位置から物体までの距離を認識できる。したがって、作業現場空間生成部403は、作業現場に配置されている複数の定点計測装置400及びショベル100の各々からの位置情報及び測定情報から、作業現場に存在する物体の位置及び物体の形状が表された3次元形状マップを生成できる。
The measurement information is, for example, a measurement result indicating the distance to an object at the work site based on the shooting point (e.g., the fixed
さらに、本実施形態に係る受信制御部401は、画像情報も受信している。撮像情報は、撮影地点(例えば、定点計測装置400又はショベル100)を基準とした作業現場の物体の色又は形状が表されている。そこで、作業現場空間生成部403は、3次元形状マップに、撮像情報で示された色又は形状を張り合わせることで、作業現場の色が表された3次元形状マップを生成できる。
Furthermore, the
さらに、受信制御部401は、ショベル100の位置を示した位置情報及び状態情報も受信している。そこで、作業現場空間生成部403は、3次元形状マップに、位置情報で示される位置に、状態情報で示される状態で、ショベル100の3次元モデルを配置する。当該配置を行うために、作業現場空間生成部403は、ショベル100の3次元モデルを予め保持している。
The
さらに、作業現場空間生成部403は、施工情報記憶部411に記憶された施工情報を、3次元形状マップの生成に用いてもよい。
Furthermore, the work site
また、作業現場空間生成部403は、ショベル100に設けられた音入力装置V2が取得した音に関する情報、及び、定点計測装置400に設けられた音入力装置V3が取得した音に関する情報の少なくとも一方に基づいて遠隔操作室RCに設けられた音出力装置V1を制御してもよい。そして、作業現場空間生成部403は、遠隔操作室RC内において作業現場の音環境を再現してもよい。
The work site
制御指令生成部404は、ショベル100を制御するための制御指令を生成するように構成されている。本実施形態では、制御指令生成部404は、検出部402が検出した遠隔操作者OPの手の位置に基づいてショベル100を制御するための制御指令を生成する。
The control
具体的には、制御指令生成部404は、複数の制御モードのそれぞれにおいて、検出部402が検出した遠隔操作者OPの手の位置に基づいて制御指令を生成するように構成されている。本実施形態では、複数の制御モードは、第1制御モードと第2制御モードとを含む。
Specifically, the control
第1制御モードは、ショベル100の所望の動きが開始される前にその所望の動きの内容を設定する際に選択される制御モードである。第1制御モードでは、遠隔操作者OPは、例えば、ショベル100の走行動作が開始される前にショベル100の移動先の位置を設定できる。或いは、遠隔操作者OPは、ショベル100の掘削動作が開始される前に掘削位置を設定できる。或いは、遠隔操作者OPは、ショベル100の排土動作が開始される前に排土位置を設定できる。なお、排土位置は、バケット6内の土砂等をダンプトラックの荷台に積み込むための積み込み作業における積み込み位置であってもよい。
The first control mode is a control mode selected when setting the content of a desired movement of the
第2制御モードは、ショベル100の動きをリアルタイムで制御する際に選択される制御モードである。第2制御モードでは、遠隔操作者OPは、例えば、掘削動作中の掘削アタッチメントの位置及び姿勢を調整できる。本実施形態では、遠隔操作者OPは、掘削動作中に、上部旋回体3の旋回角度、ブーム4の回動角度、アーム5の回動角度、及び、バケット6の回動角度の少なくとも一つをリアルタイムで調整できる。
The second control mode is a control mode selected when controlling the movement of the
制御モード切換部405は、制御モードを切り換えることができるように構成されている。本実施形態では、制御モード切換部405は、遠隔操作者OPが遠隔操作室RCに設けられたスイッチを押すことにより、制御モードのオンとオフの切り換え、及び、第1制御モードと第2制御モードの切り換えを行うことができるように構成されている。制御モードがオンのときに、遠隔操作者OPは、自律式ショベルとして動作しているショベル100の制御に介入できる。制御モードがオフのときには、遠隔操作者OPは、自律式ショベルとして動作しているショベル100の制御に介入できない。
The control
なお、制御モード切換部405は、遠隔操作者OPが遠隔操作室RCに設けられたマイクロフォンに音声指令を与えることにより、制御モードのオンとオフの切り換え、及び、第1制御モードと第2制御モードの切り換えを行うことができるように構成されていてもよい。また、制御モード切換部405は、検出部402が検出した遠隔操作者OPの手の動きに基づいて制御モードのオンとオフの切り換え、及び、第1制御モードと第2制御モードの切り換えを行うように構成されていてもよい。
The control
信号生成部406は、操作センサ43が検出した操作内容に基づいて、ショベル100の各構成(例えば、ブーム4、アーム5、バケット6、上部旋回体3及び下部走行体1のうち何れか一つ以上)を動作させるための制御指令を生成する。
The
送信制御部407は、制御指令生成部404又は信号生成部406により生成された制御指令を、ショベル100に送信するための制御を行う。これにより、通信装置T2は、遠隔操作者OPの手の動き、又は、遠隔操作者OPによる操作装置42の操作に応じ、ショベル100を動作させるための制御指令をショベル100に送信する。したがって、遠隔操作者OPは、遠隔操作室RCから、自律式ショベルとして自律的に動作しているショベル100の制御に介入できる。
The
次に、図7を参照し、遠隔操作者OPが自律式ショベルとして動作しているショベル100の制御に介入する際の遠隔制御システムSYSの動作の一例について説明する。図7は、遠隔操作室RCにおける遠隔操作者OPの様子を示す図である。
Next, referring to FIG. 7, an example of the operation of the remote control system SYS when the remote operator OP intervenes in the control of the
本実施形態では、遠隔操作室RCにおける遠隔操作者OPの前方の空間に、検出センサの一例である撮像装置C1の監視空間MAが設定されている。なお、図7では、説明の便宜のため、実際には不可視である監視空間MAの境界が破線で表されている。 In this embodiment, a monitored space MA of an imaging device C1, which is an example of a detection sensor, is set in the space in front of the remote operator OP in the remote control room RC. Note that in FIG. 7, for ease of explanation, the boundaries of the monitored space MA, which are actually invisible, are shown by dashed lines.
遠隔コントローラ40の検出部402は、撮像装置C1が撮像した画像に基づき、監視空間MA内にある遠隔操作者OPの手の位置を検出する。本実施形態では、検出部402は、第1制御モードでは、遠隔操作者OPの右手の人差し指の先端の位置を認識する。また、検出部402は、第2制御モードでは、バケット6に対応付けができる物体として遠隔操作者OPの右手を認識する。なお、検出部402は、遠隔操作者OPが手に持っているバケット模型を、バケット6に対応付けができる物体として認識してもよい。
The
遠隔コントローラ40の作業現場空間生成部403は、作業現場の3次元形状を表した仮想的な作業現場空間を生成し、生成した仮想的な作業現場空間を表示装置D1に表示して遠隔操作者OPに提示する。図7に示す例では、遠隔操作者OPは、表示装置D1としてのARゴーグルを装着している。そのため、遠隔操作者OPは、表示装置D1を通じて仮想的な作業現場空間を視認できる。なお、図7では、説明のため、実際には不可視である作業現場の地形の3次元モデルLFが図示されている。3次元モデルLFは、遠隔操作者OPがARゴーグルを通じて視認しているものであり、図示されていないショベル100の3次元モデルを含む。なお、遠隔操作者OPは、ARゴーグルを通じて自身の手も視認している。
The work site
遠隔操作室RCのこのような環境において、遠隔操作者OPは、例えば、監視空間MA内で自身の手を適切に動かすことにより、自律式ショベルとして自律的に動作しているショベル100の制御に介入できる。
In such an environment of the remote control room RC, the remote operator OP can intervene in the control of the
ここで、図8を参照し、第1制御モードにおいて遠隔コントローラ40が制御指令を生成する処理(以下、「第1生成処理」とする。)の一例について説明する。図8は、第1生成処理の流れの一例を示すフローチャートである。遠隔コントローラ40は、制御モードがオンに切り換えられ、且つ、第1制御モードが選択された場合に、所定の制御周期で繰り返しこの第1生成処理を実行する。
Now, referring to FIG. 8, an example of a process in which the
最初に、検出部402は、指示点の位置を検出する(ステップST1)。指示点は、移動対象を指示するための点である。本実施形態では、指示点は、遠隔操作室RC内に設定される第1座標系における遠隔操作者OPの右手の人差し指の先端の座標である。第1座標系は、例えば、遠隔操作室RC内の一点を原点とする局所座標系である。
First, the
その後、検出部402は、指示点によって移動対象が特定されたか否かを判定する(ステップST2)。移動対象は、移動指示の対象となる物体であり、例えば、ショベル100(下部走行体1)、又は、バケット6内の土砂等である。本実施形態では、移動対象は、ショベル100(下部走行体1)である。
Then, the
具体的には、検出部402は、移動対象であるショベル100の3次元モデルが表示されている座標範囲内に指示点の座標が含まれる場合に、指示点によって移動対象(ショベル100)が特定されたと判定する。なお、仮想的な作業現場空間(監視空間MA)において、ショベル100の3次元モデルは、実際の作業現場空間におけるショベル100の位置(座標範囲)に対応する位置(座標範囲)に表示されている。
Specifically, the
また、検出部402は、移動対象であるショベル100の3次元モデルが表示されている座標範囲内に指示点の座標が含まれる状態が所定時間にわたって継続した場合に、指示点によって移動対象(ショベル100)が特定されたと判定してもよい。すなわち、その状態が所定時間にわたって継続されていない場合には、検出部402は、その座標範囲内に指示点の座標が含まれる場合であっても、指示点によって移動対象(ショベル100)が特定されたと判定しないように構成されていてもよい。
The
或いは、遠隔操作者OPの複数の指の先端の座標が指示点として認識される場合、検出部402は、それらの複数の指示点の動きを検出することにより、物体を摘まむ手の動きが行われたか否かを判定してもよい。そして、検出部402は、物体を摘まむ手の動きが行われたと判定したときの指示点の座標が、ショベル100の3次元モデルが表示されている座標範囲内に含まれる場合に、指示点によって移動対象(ショベル100)が特定されたと判定してもよい。
Alternatively, when the coordinates of the tips of multiple fingers of the remote operator OP are recognized as pointer points, the
また、指示点によって特定された移動対象の3次元モデルは、仮想的な作業現場空間において強調表示されてもよい。移動対象として特定されたことを遠隔操作者OPが容易に認識できるようにするためである。 The three-dimensional model of the object to be moved identified by the designated point may be highlighted in the virtual work site space so that the remote operator OP can easily recognize that it has been identified as an object to be moved.
指示点によって移動対象が特定されていないと判定した場合(ステップST2のNO)、遠隔コントローラ40は、今回の第1生成処理を終了させる。一方、指示点によって移動対象が特定されたと判定した場合(ステップST2のYES)、検出部402は、指示点によって移動先の位置が特定されたか否かを判定する(ステップST3)。本実施形態では、移動先の位置は、走行動作によってショベル100が到達する位置である。
If it is determined that the target to be moved has not been specified by the designated point (NO in step ST2), the
具体的には、検出部402は、移動対象が特定された後で、仮想的な作業現場空間(監視空間MA)において指示点が所定時間にわたって一座標に留まった場合に、その座標を移動先の位置として特定する。この場合、移動先の位置として特定された座標は、仮想的な作業現場空間において強調表示されてもよい。移動先の位置として特定されたことを遠隔操作者OPが容易に認識できるようにするためである。
Specifically, after the object to be moved is identified, if the indication point remains at one coordinate for a predetermined period of time in the virtual work site space (monitored space MA), the
指示点によって移動先の位置が特定されていないと判定した場合(ステップST3のNO)、遠隔コントローラ40は、今回の第1生成処理を終了させる。一方、指示点によって移動先の位置が特定されたと判定した場合(ステップST3のYES)、遠隔コントローラ40の制御指令生成部404は、移動対象を移動先の位置へ移動させるための制御指令を生成する(ステップST4)。本実施形態では、制御指令生成部404は、第1座標系(仮想的な作業現場空間)における移動先の位置(座標)から第2座標系(実際の作業現場空間)における移動先の位置(座標)を導き出す。第2座標系は、例えば、世界測地系である。但し、第2座標系は、実際の作業現場空間における一点を原点とする局所座標系であってもよい。そして、制御指令生成部404は、第2座標系(実際の作業現場空間)における移動先の位置(座標)に関する情報を含む制御指令を生成する。この情報は、例えば、第2座標系(実際の作業現場空間)における現在のショベル100の位置(座標)と移動先の位置(座標)とを結ぶ移動経路に関する情報であってもよい。なお、ショベル100の位置(座標)は、例えば、ショベル100の中心点の座標である。また、ショベル100の中心点は、例えば、ショベル100の旋回軸とショベル100の接地面(仮想平面)との交点である。
If it is determined that the destination position is not specified by the designated point (NO in step ST3), the
その後、遠隔コントローラ40の送信制御部407は、制御指令生成部404が生成した制御指令をショベル100に向けて送信する。ショベル100は、遠隔コントローラ40から受信した制御指令に応じて下部走行体1(左走行油圧モータ1L及び右走行油圧モータ1R)を動作させて移動先の位置まで移動する。
Then, the
このようにして、遠隔コントローラ40は、遠隔操作者OPの介入操作を受け、自律式ショベルとして自律的に動作しているショベル100の動きを変更できる。
In this way, the
次に、図9を参照し、第2制御モードにおいて遠隔コントローラ40が制御指令を生成する処理(以下、「第2生成処理」とする。)の一例について説明する。図9は、第2生成処理の流れの一例を示すフローチャートである。遠隔コントローラ40は、制御モードがオンに切り換えられ、且つ、第2制御モードが選択された場合に、所定の制御周期で繰り返しこの第2生成処理を実行する。ここでは、遠隔コントローラ40は、掘削動作中に第2制御モードが選択された場合の第2生成処理の一例について説明する。
Next, referring to FIG. 9, an example of a process in which the
最初に、遠隔コントローラ40は、第1時点において所定形状を検出する(ステップST11)。本実施形態では、所定形状は、バケット6の形状に対応付けることができる形状であり、例えば、遠隔操作者OPが持っているバケット模型の形状、又は、バケット6の形状に似せるために丸められた遠隔操作者OPの手の形状等である。具体的には、遠隔コントローラ40は、例えば、所定形状の輪郭線を構成する複数の点(例えば頂点)の位置(座標)を検出することによって所定形状を検出する。
First, the
遠隔コントローラ40は、例えば、遠隔操作者OPの手の形状を所定形状として検出した場合、所定形状が検出されたことを遠隔操作者OPに認識させることができるように、ARゴーグル等を通じて遠隔操作者OPの手を強調表示させてもよい。
For example, when the
その後、第2時点において、遠隔コントローラ40は、所定形状の回動角度を検出する(ステップST12)。本実施形態では、遠隔コントローラ40の検出部402は、第1時点において検出した所定形状の位置(姿勢)と第2時点において検出した所定形状の位置(姿勢)とに基づき、第1時点と第2時点との間の期間(例えば1秒間)における仮想回動軸の回りの所定形状の回動角度を算出する。遠隔操作者OPの手の形状が所定形状として検出される場合には、仮想回動軸は、例えば、遠隔操作者OPの手首の位置に設定される。バケット模型の形状が所定形状として検出される場合には、仮想回動軸は、実際のバケット6の回動軸に対応する位置に設定される。
Then, at the second time point, the
その後、遠隔コントローラ40は、算出した回動角度に基づいてバケット6を回動させる制御指令を生成する(ステップST13)。本実施形態では、遠隔コントローラ40は、算出した回動角度だけバケット6を回動させるための制御指令を生成する。制御指令は、バケット6の回動方向が所定形状の回動方向と同じになるように生成される。
Then, the
その後、遠隔コントローラ40の送信制御部407は、制御指令生成部404が生成した制御指令をショベル100に向けて送信する。ショベル100は、遠隔コントローラ40から受信した制御指令に応じてバケット6を回動させる。
Then, the
また、フォースフィードバック機能を有するグローブ型センサを遠隔操作者OPが装着している場合、遠隔コントローラ40は、掘削反力に応じたフォースフィードバックを行うように構成されていてもよい。具体的には、遠隔コントローラ40は、掘削反力が大きいほど、遠隔操作者OPが手首の回りで、バケット閉じ方向に対応する方向に、手を回動させにくくなるように、グローブの柔らかさ(伸縮しやすさ)等を変化させてもよい。なお、掘削反力は、例えば、掘削アタッチメントの姿勢と油圧アクチュエータ内の作動油の圧力とに基づいて算出される。油圧アクチュエータ内の作動油の圧力は、例えば、圧力センサによって検出される。油圧アクチュエータは、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等のうちの少なくとも一つである。
In addition, when the remote operator OP wears a glove-type sensor having a force feedback function, the
また、遠隔コントローラ40は、所定形状の移動距離を算出するように構成されていてもよい。本実施形態では、遠隔コントローラ40の検出部402は、第1時点において検出した所定形状の位置(姿勢)と第2時点において検出した所定形状の位置(姿勢)とに基づき、第1時点と第2時点との間の期間(例えば1秒間)における所定形状の前後方向、左右方向、及び上下方向のそれぞれにおける移動距離を算出する。
The
そして、遠隔コントローラ40は、算出した移動距離に基づいてバケット6を移動させる制御指令を生成する(ステップST13)。本実施形態では、遠隔コントローラ40は、算出した移動距離だけ算出した移動方向にバケット6を移動させるための制御指令を生成する。この場合、実際の作業現場空間における移動距離は、仮想的な作業現場空間における移動距離と同じであってもよく、仮想的な作業現場空間における移動距離に所定の係数を乗じた値であってもよい。具体的には、遠隔コントローラ40は、算出した移動距離だけ算出した移動方向にバケット6を移動させるべく、上部旋回体3、ブーム4、アーム5、及びバケット6のうちの少なくとも一つを動かすための制御指令を生成する。このようにして、遠隔コントローラ40は、遠隔操作者OPの介入操作を受け、自律式ショベルとして自律的に動作しているショベル100の動きを変更できる。
Then, the
上述のように、本開示の実施形態に係る遠隔制御システムSYSは、遠隔制御されるショベル100から離れた場所にある遠隔操作室RCにいる操作者である遠隔操作者OPの体の所定部位の位置に関する情報を取得する検出センサと、ショベル100が位置する作業現場を表す画像を遠隔操作者OPに対して表示する表示装置D1と、その検出センサの出力に基づいて遠隔操作者OPの体の所定部位の位置又は動き(位置の推移)を検出してショベル100を制御するための制御指令を生成する制御装置としての遠隔コントローラ40と、その制御指令をショベル100に送信する通信装置T2と、を備える。遠隔操作者OPの体の所定部位の位置に関する情報を取得する検出センサは、例えば、撮像装置(カメラ)、LIDAR、又は、モーションキャプチャ装置等である。作業現場を表す画像は、2次元画像(カメラ画像)、裸眼立体視画像、又は、仮想的な作業空間を表す3次元モデルであってもよい。そのため、表示装置D1は、液晶ディスプレイ、有機ELディスプレイ、XRゴーグル、XRヘッドセット、又はプロジェクタ等の何れであってもよい。また、作業現場を表す画像は、遠隔制御の対象であるショベル100を表す画像を含んでいてもよい。そして、ショベル100を表す画像は、ショベル100の3次元モデルであってもよい。また、遠隔操作者OPの体の所定部位は、例えば、指、手、腕、又は上半身等である。
As described above, the remote control system SYS according to the embodiment of the present disclosure includes a detection sensor that acquires information about the position of a predetermined part of the body of the remote operator OP, who is an operator in a remote control room RC located away from the remotely controlled
この構成より、遠隔制御システムSYSでは、遠隔操作者OPは、必要に応じて、自律的に動作しているショベル100を操作できる。すなわち、無人運転が行われている場合であっても、遠隔操作者OPは、自律的に動作しているショベル100の制御に介入してショベル100を遠隔操作できる。そのため、遠隔制御システムSYSは、ショベル100の作業効率を向上させることができる。
With this configuration, in the remote control system SYS, the remote operator OP can operate the autonomously operating
また、遠隔コントローラ40は、複数の制御モードのそれぞれにおいて、検出センサの出力に基づいて制御指令を生成するように構成されていてもよい。この場合、複数の制御モードは、ショベル100の所望の動きが開始される前にその所望の動きの内容を設定する際に選択される第1制御モードと、ショベル100の動きをリアルタイムで制御する際に選択される第2制御モードとを含んでいてもよい。第1制御モードは、例えば、ショベル100の移動先の位置、掘削位置、又は排土位置等を遠隔操作者OPが指示する際に利用される。すなわち、第1制御モードでは、遠隔操作者OPは、ショベル100の動きを大まかに操作できる。また、第2制御モードは、例えば、掘削動作中のショベル100に対し、上部旋回体3の旋回角度、ブーム4の回動角度、アーム5の回動角度、又は、バケット6の回動角度等を遠隔操作者OPが変更する際に利用される。すなわち、第2制御モードでは、遠隔操作者OPは、掘削アタッチメントの動きを細かく操作できる。
The
この構成により、遠隔制御システムSYSでは、遠隔操作者OPは、介入操作の内容に応じて制御モードを使い分けることができる。また、遠隔操作者OPは、各制御モードに適した操作方法で介入操作を実行できる。操作方法は、例えば、操作装置42を用いずに、遠隔操作者OPの手の位置又は動きを用いた方法で行われる。
With this configuration, in the remote control system SYS, the remote operator OP can use different control modes depending on the content of the intervention operation. In addition, the remote operator OP can execute the intervention operation using an operation method suitable for each control mode. The operation method is performed, for example, using the position or movement of the hand of the remote operator OP without using the
また、遠隔コントローラ40は、検出センサの出力に基づき、ショベル100から離れた場所にある遠隔操作室RC内に設定される第1座標系における遠隔操作者OPの体の所定部位の位置である第1座標を導き出し、第1座標系と作業現場に設定される第2座標系とを対応付け、第1座標に対応する第2座標系における第2座標を導き出し、第2座標に基づいて制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ40は、遠隔操作者OPの右手の人差し指の指先の位置を第1座標として導き出し、第1座標系(仮想的な作業現場空間)において遠隔操作者OPが指し示す位置(第1座標)に対応する第2座標系(実際の作業現場空間)における位置(第2座標)を特定することができる。そして、遠隔コントローラ40は、例えば、第2座標系におけるショベル100の中心点の座標を第2座標まで移動させるためのショベル100の走行動作をもたらす制御指令を生成する。或いは、遠隔コントローラ40は、第2座標系におけるバケット6の中心点の座標を第2座標まで移動させるための掘削アタッチメントの動作をもたらす制御指令を生成してもよい。排土動作を実行させるためである。なお、遠隔コントローラ40は、遠隔操作者OPが実際の作業現場の様子を視認できるよう、実際の作業現場を表す画像を表示している。そのため、遠隔操作者OPは、実際の作業現場空間における所望の位置(第2座標)に対応する遠隔操作室RC内の位置(第1座標)を容易に特定することができる。
The
この構成により、遠隔制御システムSYSでは、遠隔操作者OPは、遠隔操作室RC内において、実際の作業現場空間における所望の位置に対応する仮想的な作業現場空間内の位置を正確に指し示すことができる。そして、遠隔コントローラ40は、その所望の位置である第2座標に関連付けられた制御指令を容易に生成することができる。そのため、遠隔制御システムSYSは、ショベル100の作業効率を向上させることができる。
With this configuration, the remote control system SYS allows the remote operator OP, in the remote control room RC, to accurately indicate a position in the virtual work site space that corresponds to a desired position in the actual work site space. The
また、撮像装置C1等の検出センサは、図7に示すように、遠隔操作者OPの周囲に設定される監視空間MAにおける遠隔操作者OPの少なくとも手の位置に関する情報を取得するように構成されていてもよい。本実施形態では、監視空間MAは、遠隔操作室RCにおける操作席DSの前方に設定されている。そして、遠隔コントローラ40は、撮像装置C1が取得した画像に画像認識処理を施すことによって遠隔操作者OPの手の位置を導き出す。
The detection sensor such as the imaging device C1 may be configured to acquire information about at least the position of the hands of the remote operator OP in a monitored space MA set around the remote operator OP, as shown in FIG. 7. In this embodiment, the monitored space MA is set in front of the operating seat DS in the remote operation room RC. The
この構成により、遠隔制御システムSYSでは、遠隔操作者OPは、監視空間MA内で手を動かすことにより、自律的に動作しているショベル100の制御に介入できる。そのため、遠隔操作者OPは、ショベル100の制御に介入したいときにだけ、監視空間MA内に手を差し入れればよい。すなわち、遠隔制御システムSYSは、監視空間MAの外での遠隔操作者OPの手の動きが誤ってショベル100の動きに反映されてしまうのを防止できる。
With this configuration, in the remote control system SYS, the remote operator OP can intervene in the control of the autonomously operating
また、遠隔コントローラ40は、作業現場におけるショベル100による所定の動作が行われる前に、その所定の動作に関する制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ40は、ショベル100による走行動作が行われる前に、その走行動作に関する制御指令を生成してもよい。この場合、制御指令は、移動先の位置に関する情報を含んでいてもよい。なお、ショベル100は、移動先の位置まで移動した後で掘削動作を自律的に実行してもよい。また、遠隔コントローラ40は、ショベル100による排土動作が行われる前に、その排土動作に関する制御指令を生成してもよい。この場合、制御指令は、排土位置に関する情報を含んでいてもよい。また、遠隔コントローラ40は、ショベル100による積み込み動作が行われる前に、その積み込み動作に関する制御指令を生成してもよい。この場合、制御指令は、積み込み位置に関する情報を含んでいてもよい。なお、ショベル100は、排土位置又は積み込み位置が設定された後、掘削動作、ブーム上げ旋回動作、排土動作、及びブーム下げ旋回動作を含む一連の動作を自律的に繰り返してもよい。この場合、各回の掘削動作によって掘削された土砂等は、設定された排土位置又は積み込み位置に排土されてもよい。或いは、遠隔コントローラ40は、作業現場におけるショベル100によって所定の動作が行われているときにその所定の動作に関する制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ40は、ショベル100によって掘削動作が行われているときにその掘削動作に関する制御指令を生成してもよい。この場合、制御指令は、ブーム4の回動角度、アーム5の回動角度、及びバケット6の回動角度のうちの少なくとも一つに関する情報を含んでいてもよい。
The
この構成により、遠隔制御システムSYSでは、遠隔操作者OPは、自律的に動作しているショベル100の制御に介入し、ショベル100に様々な動作を実行させることができる。具体的には、遠隔操作者OPは、所望の動作をショベル100に実行させる前にその所望の動作の内容を決定できる。或いは、遠隔操作者OPは、所望の動作をリアルタイムでショベル100に実行させることができる。このように、遠隔制御システムSYSは、遠隔操作者OPが適切なタイミングでショベル100の制御に介入できるようにすることを可能にする。
With this configuration, in the remote control system SYS, the remote operator OP can intervene in the control of the autonomously operating
また、遠隔コントローラ40は、検出センサの出力に基づいて遠隔操作者OPの指先の位置を特定し、特定した指先の位置に基づいてショベル100の旋回に関する制御指令を生成するように構成されていてもよい。例えば、遠隔コントローラ40は、バケット6の形状に似せて曲げられた遠隔操作者OPの手が肘を旋回中心として左旋回方向に対応する方向に旋回したことを検出した場合に、その肘を旋回中心とする手の旋回角度に対応する旋回角度だけ上部旋回体3を旋回させるための制御指令を生成してもよい。
The
この構成により、遠隔制御システムSYSでは、遠隔操作者OPは、自律的に動作しているショベル100の制御に介入し、上部旋回体3を所望の旋回角度だけ所望の旋回方向に旋回させることができる。
With this configuration, the remote control system SYS allows the remote operator OP to intervene in the control of the autonomously operating
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはなく、後述する実施形態に制限されることもない。上述した或いは後述する実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。 The above describes preferred embodiments of the present invention in detail. However, the present invention is not limited to the above-described embodiments, nor to the embodiments described below. Various modifications or substitutions can be applied to the above-described or below-described embodiments without departing from the scope of the present invention. Furthermore, features described separately can be combined as long as no technical contradiction occurs.
1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 30・・・ショベルコントローラ 31・・・比例弁 40・・・遠隔コントローラ 41・・・記憶装置 42・・・操作装置 43・・・操作センサ 100・・・ショベル 301・・・ショベル状態特定部 302・・・送信制御部 303・・・受信制御部 304・・・アクチュエータ駆動部 400・・・定点計測装置 401・・・受信制御部 402・・・検出部 403・・・作業現場空間生成部 404・・・制御指令生成部 405・・・制御モード切換部 406・・・信号生成部 407・・・送信制御部 411・・・施工情報記憶部 412・・・作業現場情報記憶部 440・・・コントローラ 441・・・送信制御部 450・・・位置情報記憶部 C1・・・撮像装置 C3・・・撮像装置 D1・・・表示装置 LF・・・3次元モデル MA・・・監視空間 OP・・・遠隔操作者 RC・・・遠隔操作室 S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・機体傾斜センサ S5・・・旋回角速度センサ S6・・・撮像装置 S7・・・空間認識装置 S8・・・測位装置 S11・・・空間認識装置 SYS・・・遠隔制御システム T1・・・通信装置 T2・・・通信装置 T3・・・通信装置 V1・・・音出力装置 V2・・・音入力装置 V3・・・音入力装置 1: Lower travelling body 2: Swing mechanism 3: Upper swing body 4: Boom 5: Arm 6: Bucket 7: Boom cylinder 8: Arm cylinder 9: Bucket cylinder 10: Cabin 11: Engine 30: Shovel controller 31: Proportional valve 40: Remote controller 41: Storage device 42: Operation device 43: Operation sensor 100: Shovel 301: Shovel state identification unit 302: Transmission control unit 303: Reception control unit 304: Actuator drive unit 400: Fixed point measurement device 401: Reception control unit 402: Detection unit 403: Work site space generation unit 404: Control command generation unit 405: Control mode switching unit 406: Signal generation unit 407: Transmission control unit 411: Construction information storage unit 412: Work site information storage unit 440: Controller 441: Transmission control unit 450: Position information storage unit C1: Imaging device C3: Imaging device D1: Display device LF: 3D model MA: Monitoring space OP: Remote operator RC: Remote control room S1: Boom angle sensor S2: Arm angle sensor S3: Bucket angle sensor S4: Aircraft tilt sensor S5: Turning angular velocity sensor S6: Imaging device S7: Spatial recognition device S8: Positioning device S11: Spatial recognition device SYS: Remote control system T1: Communication device T2: Communication device T3: Communication device V1: Sound output device V2: Sound input device V3: Sound input device
Claims (6)
前記ショベルが位置する作業現場を表す画像を操作者に表示する表示装置と、
前記検出センサの出力に基づいて操作者の体の所定部位の位置又は動きを検出して前記ショベルを制御するための制御指令を生成する制御装置と、
前記制御指令を前記ショベルに送信する通信装置と、
を備えるショベルの遠隔制御システム。 A detection sensor that obtains information regarding the position of a predetermined part of the body of an operator who is located away from the remote-controlled shovel;
a display device that displays to an operator an image representing a work site where the shovel is located;
a control device that detects a position or movement of a predetermined part of the operator's body based on an output of the detection sensor and generates a control command for controlling the shovel;
A communication device that transmits the control command to the shovel;
A remote control system for an excavator comprising:
複数の前記制御モードは、ショベルの所望の動きが開始される前にその所望の動きの内容を設定する際に選択される第1制御モードと、ショベルの動きをリアルタイムで制御する際に選択される第2制御モードとを含む、
請求項1に記載のショベルの遠隔制御システム。 the control device is configured to detect a position or movement of a predetermined part of a body of an operator based on an output of the detection sensor in each of a plurality of control modes, and generate the control command;
The plurality of control modes include a first control mode selected when setting the content of a desired movement of the shovel before the desired movement of the shovel is started, and a second control mode selected when controlling the movement of the shovel in real time.
The remote control system for a shovel according to claim 1.
請求項1に記載のショベルの遠隔制御システム。 The control device is configured to derive a first coordinate, which is a position of a predetermined part of the operator's body, in a first coordinate system set at a location away from the remotely controlled shovel based on an output from the detection sensor, to associate the first coordinate system with a second coordinate system set at the work site, to derive a second coordinate in the second coordinate system corresponding to the first coordinate, and to generate the control command based on the second coordinate.
The remote control system for a shovel according to claim 1.
請求項1に記載のショベルの遠隔制御システム。 The detection sensor acquires information regarding a position of the operator's hand in a monitored space set around the operator.
The remote control system for a shovel according to claim 1.
請求項1に記載のショベルの遠隔制御システム。 The control device generates the control command related to a predetermined operation before the predetermined operation is performed by the shovel at the work site, or generates the control command related to the predetermined operation when the predetermined operation is being performed by the shovel at the work site.
The remote control system for a shovel according to claim 1.
請求項1に記載のショベルの遠隔制御システム。 The control device identifies a position of a fingertip of an operator based on an output of the detection sensor, and generates a control command regarding the rotation of the shovel based on the identified position of the fingertip.
The remote control system for a shovel according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022202045A JP2024087294A (en) | 2022-12-19 | 2022-12-19 | Excavator remote control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022202045A JP2024087294A (en) | 2022-12-19 | 2022-12-19 | Excavator remote control system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024087294A true JP2024087294A (en) | 2024-07-01 |
Family
ID=91671633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022202045A Pending JP2024087294A (en) | 2022-12-19 | 2022-12-19 | Excavator remote control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024087294A (en) |
-
2022
- 2022-12-19 JP JP2022202045A patent/JP2024087294A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112867831B (en) | Excavator | |
US11939747B2 (en) | Display device, shovel, information processing apparatus | |
JP7439053B2 (en) | Excavators and shovel management devices | |
JP7474192B2 (en) | Excavator | |
WO2020196888A1 (en) | Shovel and construction system | |
CN117569398A (en) | Shovel, and shovel control device | |
US11686065B2 (en) | Shovel | |
JP2021059945A (en) | Shovel | |
US20240011252A1 (en) | Shovel and shovel control device | |
CA3117824C (en) | System and method for work machine | |
JP2024087294A (en) | Excavator remote control system | |
WO2022202855A1 (en) | Construction machine and construction machine assisting method | |
JP2021046719A (en) | Remote control system for shovel | |
JP2022154722A (en) | Excavator | |
JP2021055433A (en) | Shovel | |
JP2021155936A (en) | Construction support system of shovel | |
WO2024004387A1 (en) | Device for controlling shovel | |
US20240209589A1 (en) | Shovel | |
US20240209591A1 (en) | Excavator, and excavator operation system | |
US20220002977A1 (en) | System and method for work machine | |
US20240209590A1 (en) | Shovel | |
US20240141618A1 (en) | Shovel and shovel control system | |
JP2024065875A (en) | Excavator remote control system | |
JP2023183992A (en) | Support system, remote control support device, work machine, and program | |
JP2024057970A (en) | Excavator and excavator control device |