JP6838040B2 - Obstacle detector for construction machinery - Google Patents
Obstacle detector for construction machinery Download PDFInfo
- Publication number
- JP6838040B2 JP6838040B2 JP2018239630A JP2018239630A JP6838040B2 JP 6838040 B2 JP6838040 B2 JP 6838040B2 JP 2018239630 A JP2018239630 A JP 2018239630A JP 2018239630 A JP2018239630 A JP 2018239630A JP 6838040 B2 JP6838040 B2 JP 6838040B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- predetermined
- light
- distance
- construction machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 54
- 238000005259 measurement Methods 0.000 claims description 89
- 238000012545 processing Methods 0.000 claims description 76
- 238000001514 detection method Methods 0.000 claims description 69
- 238000012544 monitoring process Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 18
- 238000002366 time-of-flight method Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims 2
- 239000002245 particle Substances 0.000 description 24
- 239000000428 dust Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 239000010419 fine particle Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
Description
本発明は、油圧ショベル等の建設機械の周囲に存在する障害物を検出可能な障害物検出装置に関する。 The present invention relates to an obstacle detection device capable of detecting an obstacle existing around a construction machine such as a hydraulic excavator.
従来、例えば特許文献１に見られるように、建設機械としての油圧ショベルの旋回体の周囲の所定の監視領域内に存在する障害物を検出し、該障害物の検出に応じて、油圧ショベルの動作（走行体の走行動作、あるいは、旋回体の旋回動作）を適宜制限したり、警報出力を発生させるようにしたものが知られている。 Conventionally, as seen in Patent Document 1, for example, an obstacle existing in a predetermined monitoring area around a swivel body of a hydraulic excavator as a construction machine is detected, and the hydraulic excavator responds to the detection of the obstacle. It is known that the operation (the traveling operation of the traveling body or the turning operation of the turning body) is appropriately restricted or an alarm output is generated.
ところで、障害物を検出するための検出装置としては、例えば、赤外線レーザ光等の測定光を探査信号として複数の方向に照射すると共に、該測定光の複数の照射方向に存在する反射物体（該測定光を反射する物体）までの距離をＴＯＦ（Time Of Flight）方式で計測することにより、距離画像データを生成するものが一般に知られている。 By the way, as a detection device for detecting an obstacle, for example, a measurement light such as an infrared laser light is irradiated in a plurality of directions as a search signal, and a reflecting object existing in a plurality of irradiation directions of the measurement light (the said It is generally known that distance image data is generated by measuring the distance to (an object that reflects measurement light) by a TOF (Time Of Flight) method.
しかしながら、この種の検出装置により障害物を検出する場合、次のような不都合が生じることが判明した。すなわち、建設機械の作業現場では、砂埃や粉塵が空中に飛び散っていることがしばしばある。かかる砂埃や粉塵は、建設機械に接触しても、該建設機械の動作上の障害となるものではない。 However, it has been found that the following inconveniences occur when an obstacle is detected by this type of detection device. That is, at the work site of construction machinery, dust and dirt are often scattered in the air. Even if such dust or dust comes into contact with the construction machine, it does not hinder the operation of the construction machine.
しかるに、上記の如き検出装置では、特に、砂埃や粉塵等の粒子が舞っている領域が建設機械の周囲の監視領域（測定光を照射する領域）に存在する場合に、該砂埃や粉塵等の粒子が舞っている領域が測定光を反射する障害物として検出されてしまうことがある。ひいては、建設機械の動作を制限したり、警報出力を発生する必要が無いのに、該建設機械の動作が制限されたり、警報出力が発生するという不都合を生じる。 However, in the above-mentioned detection device, particularly when the area where particles such as dust and dirt are flying exists in the monitoring area (the area where the measurement light is irradiated) around the construction machine, the dust and dirt and the like are removed. The area where the particles are flying may be detected as an obstacle that reflects the measurement light. As a result, there is an inconvenience that the operation of the construction machine is restricted or the alarm output is generated even though it is not necessary to limit the operation of the construction machine or generate the alarm output.
本発明はかかる背景に鑑みてなされたものであり、建設機械の周囲で砂埃や粉塵等の粒子が舞っている領域が障害物として検出されるのを防止することができ、ひいては、障害物の検出に応じた対応処理を適切に行うことができる障害物検出装置を提供することを目的とする。 The present invention has been made in view of this background, and it is possible to prevent an area where particles such as dust and dirt are flying around a construction machine from being detected as an obstacle, and by extension, an obstacle. It is an object of the present invention to provide an obstacle detection device capable of appropriately performing a response process according to detection.
本発明の建設機械の障害物検出装置の１つの態様は、上記の目的を達成するために、建設機械の周囲の監視領域に測定光を照射すると共に、該測定光の反射光を受光し、前記測定光の照射方向で見た前記監視領域の距離画像を表す測距データであって、該距離画像の各画素の位置にＴＯＦ方式（ＴＯＦ：Time Of Flight）により計測した距離計測値を対応付けた測距データを生成する測距部と、
前記距離画像の各画素の位置における前記反射光の受光量を検出し、該距離画像の各画素の位置に該受光量の検出値を対応付けた受光量検出データを生成する受光量検出部と、
前記測距データと前記受光量検出データとに基づいて前記監視領域に存在する障害物を検出し、該障害物の検出に応じた所定の障害物対応処理を実行する障害物対応処理部とを備えており、
前記障害物対応処理部は、前記監視領域のうち、前記建設機械の所定の部位からの距離が所定値以下となる所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体が前記測距データに基づいて検出された場合に、前記所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体のうちの前記建設機械の所定の部位に最も近い物体の存在領域での前記受光量があらかじめ定められた所定の閾値以上であるか否かを前記受光量データに基づいて判断し、当該判断結果が肯定的であることを必要条件として、該物体を障害物として検出するように構成されていることを特徴とする（第１発明）。
One aspect of the obstacle detection device for a construction machine of the present invention is to irradiate a monitoring area around the construction machine with measurement light and receive the reflected light of the measurement light in order to achieve the above object. Distance measurement data representing a distance image of the monitoring area viewed in the irradiation direction of the measurement light, and corresponding to the distance measurement value measured by the TOF method (TOF: Time Of Flight) at the position of each pixel of the distance image. A distance measuring unit that generates the attached distance measurement data, and
A light receiving amount detection unit that detects the received amount of the reflected light at the position of each pixel of the distance image and generates light receiving amount detection data in which the detected value of the received light amount is associated with the position of each pixel of the distance image. ,
An obstacle handling processing unit that detects an obstacle existing in the monitoring area based on the distance measurement data and the received light amount detection data and executes a predetermined obstacle handling process according to the detection of the obstacle. I have
The obstacle handling processing unit may enter an object existing in a predetermined area in which the distance from the predetermined part of the construction machine is equal to or less than a predetermined value in the monitoring area, or enter the predetermined area. When the predicted object is detected based on the distance measurement data, the object existing in the predetermined area or the object predicted to enter the predetermined area of the construction machine. It is determined based on the received light amount data whether or not the received light amount in the existence region of the object closest to the predetermined part is equal to or more than a predetermined predetermined threshold, and the judgment result is positive. As a necessary condition, the object is configured to be detected as an obstacle (first invention).
ここで、本願発明者の種々の実験、検討によれば、建設機械の周囲の監視領域に、測距用の測定光を照射して、その反射光の受光量（受光強度）を検出した場合、該反射光の受光量は、測定光を反射した物体が、砂埃や粉塵等の細かな粒子である場合には、測定光を反射した物体が人、設置物等の構造的な物体である場合に比して、大幅に小さくなることが判明した。 Here, according to various experiments and studies by the inventor of the present application, when the monitoring area around the construction machine is irradiated with the measurement light for distance measurement and the received amount (light receiving intensity) of the reflected light is detected. When the object that reflects the measurement light is fine particles such as dust and dirt, the object that reflects the measurement light is a structural object such as a person or an installation object. It turned out to be significantly smaller than in the case.
そこで、第１発明では、障害物対応処理部は、前記監視領域のうち、前記建設機械の所定の部位からの距離が所定値以下となる所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体が前記測距データに基づいて検出された場合に、前記所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体のうちの前記建設機械の所定の部位に最も近い物体の存在領域での前記受光量があらかじめ定められた所定の閾値以上であるか否かを前記受光量データに基づいて判断し、当該判断結果が肯定的であることを必要条件として、該物体を障害物として検出する。 Therefore, in the first invention, the obstacle handling processing unit is an object existing in a predetermined area in which the distance from the predetermined part of the construction machine is equal to or less than a predetermined value, or the predetermined area in the monitoring area. When an object predicted to enter the inside is detected based on the distance measurement data, an object existing in the predetermined region or an object predicted to enter the predetermined region Based on the received light amount data, it is determined whether or not the received light amount in the existing region of the object closest to the predetermined part of the construction machine is equal to or more than a predetermined predetermined threshold, and the judgment result is the result. The object is detected as an obstacle, provided that it is positive.
これにより、砂埃、粉塵等の粒子が舞っている領域（以降、粒子領域ということがある）が、障害物として検出されてしまうのが防止される。ひいては、該粒子領域が障害物として検出されることに起因して、不要な障害物対応処理が実行されてしまうのを防止することができる。 As a result, it is possible to prevent a region where particles such as dust and dust are flying (hereinafter, may be referred to as a particle region) from being detected as an obstacle. As a result, it is possible to prevent unnecessary obstacle handling processing from being executed due to the particle region being detected as an obstacle.
よって、第１発明によれば、建設機械の周囲の粒子領域が障害物として検出されるのを防止することができ、ひいては、障害物の検出に応じた対応処理を適切に行うことができる。 Therefore, according to the first invention, it is possible to prevent the particle region around the construction machine from being detected as an obstacle, and by extension, it is possible to appropriately perform the corresponding processing according to the detection of the obstacle.
また、本発明の建設機械の障害物検出装置の他の態様は、建設機械の周囲の監視領域に測定光を照射すると共に、該測定光の反射光を受光し、前記測定光の照射方向で見た前記監視領域の距離画像を表す測距データであって、該距離画像の各画素の位置にＴＯＦ方式により計測した距離計測値を対応付けた測距データを生成する測距部と、
前記距離画像の各画素の位置における前記反射光の受光量を検出し、該距離画像の各画素の位置に該受光量の検出値を対応付けた受光量検出データを生成する受光量検出部と、
前記測距データと、前記受光量検出データとに基づいて前記監視領域に存在する障害物を検出し、該障害物の検出に応じた所定の障害物対応処理を実行する障害物対応処理部とを備えており、
前記障害物対応処理部は、前記監視領域のうち、前記建設機械の所定の部位からの距離が所定値以下となる所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体が前記測距データに基づいて検出された場合に、前記所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体のうちの前記建設機械の所定の部位に最も近い物体の存在領域のうち、所定割合以上の領域の位置が、前記受光量があらかじめ定められた所定の閾値以上となることが前記受光量検出データに基づいて検知される領域の位置に合致するか否かを判断し、当該判断結果が肯定的であることを必要条件として、該物体を障害物として検出するように構成されていることを特徴とする（第２発明）。
Further, in another aspect of the obstacle detection device of the construction machine of the present invention, the monitoring area around the construction machine is irradiated with the measurement light, the reflected light of the measurement light is received, and the measurement light is irradiated in the irradiation direction. A distance measuring unit that generates distance measuring data representing the distance image of the monitored area as seen, in which the distance measurement value measured by the TOF method is associated with the position of each pixel of the distance image.
A light receiving amount detection unit that detects the received amount of the reflected light at the position of each pixel of the distance image and generates light receiving amount detection data in which the detected value of the received light amount is associated with the position of each pixel of the distance image. ,
An obstacle handling processing unit that detects an obstacle existing in the monitoring area based on the distance measurement data and the received light amount detection data and executes a predetermined obstacle handling process according to the detection of the obstacle. Is equipped with
The obstacle handling processing unit may enter an object existing in a predetermined area in which the distance from the predetermined part of the construction machine is equal to or less than a predetermined value in the monitoring area, or enter the predetermined area. When the predicted object is detected based on the distance measurement data, the object existing in the predetermined area or the object predicted to enter the predetermined area of the construction machine. A region where it is detected based on the light-receiving amount detection data that the position of a region having a predetermined ratio or more in the existing region of an object closest to a predetermined portion is equal to or higher than a predetermined threshold value. It is characterized in that it is configured to detect the object as an obstacle on the condition that it is determined whether or not the object matches the position of and the determination result is positive (second invention). ..
この第２発明では、障害物対応処理部は、前記監視領域のうち、前記建設機械の所定の部位からの距離が所定値以下となる所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体が前記測距データに基づいて検出された場合に、前記所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体のうちの前記建設機械の所定の部位に最も近い物体の存在領域のうち、所定割合以上の領域の位置が、前記受光量があらかじめ定められた所定の閾値以上となることが前記受光量検出データに基づいて検知される領域の位置に合致するか否かを判断し、当該判断結果が肯定的であることを必要条件として、該物体を障害物として検出する。 In the second invention, the obstacle handling processing unit is an object existing in a predetermined area in which the distance from the predetermined part of the construction machine is equal to or less than a predetermined value in the monitoring area, or in the predetermined area. Of the objects existing in the predetermined area or the objects predicted to enter the predetermined area when the object predicted to enter the predetermined area is detected based on the distance measurement data. Based on the light-receiving amount detection data, the position of the region of a predetermined ratio or more in the existing area of the object closest to the predetermined part of the construction machine is equal to or higher than a predetermined threshold value. It is determined whether or not the object matches the position of the detected region, and the object is detected as an obstacle on condition that the determination result is positive.
これにより、砂埃、粉塵等の粒子が舞っている粒子領域が、障害物として検出されてしまうのが防止される。ひいては、該粒子領域が障害物として検出されることに起因して、不要な障害物対応処理が実行されてしまうのを防止することができる。 This prevents the particle region where particles such as dust and dust are flying from being detected as an obstacle. As a result, it is possible to prevent unnecessary obstacle handling processing from being executed due to the particle region being detected as an obstacle.
よって、第２発明によれば、建設機械の周囲の粒子領域が障害物として検出されるのを防止することができ、ひいては、障害物の検出に応じた対応処理を適切に行うことができる。 Therefore, according to the second invention, it is possible to prevent the particle region around the construction machine from being detected as an obstacle, and by extension, it is possible to appropriately perform the corresponding processing according to the detection of the obstacle.
［第１実施形態］
本発明の第１実施形態を図１Ａ〜図４Ｃを参照して以下に説明する。図１Ａ及び図１Ｂを参照して、本実施形態における建設機械１は、例えば油圧ショベルである。
[First Embodiment]
A first embodiment of the present invention will be described below with reference to FIGS. 1A-4C. With reference to FIGS. 1A and 1B, the construction machine 1 in this embodiment is, for example, a hydraulic excavator.
この建設機械１は、クローラ式の走行体２と、走行体２上に搭載された旋回体３と、旋回体３に取り付けられた作業装置４とを備える公知の構造のものである。なお、図１Ａ及び図１Ｂでは、建設機械１の基本構造を概略的に示している。 The construction machine 1 has a known structure including a crawler-type traveling body 2, a swivel body 3 mounted on the traveling body 2, and a working device 4 attached to the swivel body 3. Note that FIGS. 1A and 1B schematically show the basic structure of the construction machine 1.
走行体２は、左右一対のクローラ２Ｌ，２Ｒを有し、それぞれのクローラ２Ｌ，２Ｒを各別の走行用油圧モータ（図示省略）により駆動することが可能である。なお、走行体２は、クローラ式のものに限らず、車輪型のものであってもよい。 The traveling body 2 has a pair of left and right crawlers 2L and 2R, and each of the crawlers 2L and 2R can be driven by a separate traveling hydraulic motor (not shown). The traveling body 2 is not limited to the crawler type, but may be a wheel type.
旋回体３は、走行体２に対してヨー方向（上下方向の軸心周り方向）に旋回し得るように、旋回装置７を介して走行体２に取り付けられている。該旋回装置７は、図示を省略する旋回用油圧モータや旋回ギヤを有する公知の構造の装置でる。旋回体３の前部には、運転者が搭乗する運転室５が備えられ、後部には、エンジン、油圧機器等が収容された機械室６が備えられている。 The swivel body 3 is attached to the traveling body 2 via a swivel device 7 so that the swivel body 3 can swivel in the yaw direction (the direction around the axis in the vertical direction) with respect to the traveling body 2. The swivel device 7 is a device having a known structure having a swivel hydraulic motor and a swivel gear (not shown). The front part of the swivel body 3 is provided with a driver's cab 5 on which the driver is boarded, and the rear part is provided with a machine room 6 in which an engine, a hydraulic device, and the like are housed.
作業装置４は、旋回体３の前部から延設されたブーム１１と、ブーム１１の先端部から延設されたアーム１２と、アーム１２の先端部に取付けられたバケット等のアタッチメント１３とを備える。ブーム１１、アーム１２及びアタッチメント１３のそれぞれは、図示を省略する油圧シリンダにより、旋回体３、ブーム１１及びアーム１２のそれぞれに対してピッチ方向（旋回体３の左右方向の軸周り方向）に揺動可能である。 The working device 4 includes a boom 11 extending from the front portion of the swivel body 3, an arm 12 extending from the tip end portion of the boom 11, and an attachment 13 such as a bucket attached to the tip end portion of the arm 12. Be prepared. Each of the boom 11, the arm 12, and the attachment 13 swings in the pitch direction (the direction around the axis in the left-right direction of the swivel body 3) with respect to each of the swivel body 3, the boom 11 and the arm 12 by a hydraulic cylinder (not shown). It is movable.
図１Ａ及び図１Ｂに示すように、本実施形態の建設機械１には、旋回体３の周囲に存在する障害物を検出するための複数のセンサ部２０と、種々の制御処理及び演算処理を実行する機能を有するコントローラ３０とが障害物検出装置の構成要素として搭載されている。 As shown in FIGS. 1A and 1B, the construction machine 1 of the present embodiment is provided with a plurality of sensor units 20 for detecting obstacles existing around the swivel body 3, and various control processes and arithmetic processes. A controller 30 having a function to execute is mounted as a component of the obstacle detection device.
各センサ部２０は、その正面側の所定の監視領域に赤外線等のレーザ光を測定光として照射して、該測定光を反射し得る任意の物体までの距離測定（測距）を行い得る測定器であり、図１Ａ及び図１Ｂに例示する如く、旋回体３の周囲に測定光を照射し得るように、該旋回体３の周縁部の複数個所のそれぞれに取り付けられている。 Each sensor unit 20 irradiates a predetermined monitoring area on the front side thereof with a laser beam such as infrared rays as measurement light, and can measure the distance to an arbitrary object that can reflect the measurement light (distance measurement). It is a vessel, and as illustrated in FIGS. 1A and 1B, it is attached to each of a plurality of locations on the peripheral edge of the swivel body 3 so that the measurement light can be applied to the periphery of the swirl body 3.
各センサ部２０は、図２に示すように、その正面側の監視領域の複数の方位に向かって測定光を照射する投光部２１と、各方位に照射された測定光の反射光（該方位に存在する物体からの反射光）を受光する受光部２２と、投光部２１の発光制御を行うと共に、受光部２２から出力される受光信号に基づく計測処理を実行する機能を有する計測処理部２３とを含む。 As shown in FIG. 2, each sensor unit 20 includes a light projecting unit 21 that irradiates measurement light toward a plurality of directions in a monitoring area on the front side thereof, and reflected light of the measurement light emitted in each direction (the said). Measurement processing that has the function of controlling the light emission of the light receiving unit 22 that receives light (reflected light from an object existing in the direction) and the light emitting unit 21 and executing the measurement processing based on the light receiving signal output from the light receiving unit 22. Including part 23.
投光部２１は、例えば測定光を発信・増幅させる発信機により構成され、受光部２２は、例えばＰＳＤ（光位置センサ）、受光素子等により構成される。また、計測処理部２３は、例えば、マイクロコンピュータもしくはプロセッサ、メモリ、インターフェース回路等を含む１つ以上の電子回路ユニットにより構成される。 The light projecting unit 21 is composed of, for example, a transmitter that transmits and amplifies the measured light, and the light receiving unit 22 is composed of, for example, a PSD (optical position sensor), a light receiving element, and the like. Further, the measurement processing unit 23 is composed of, for example, one or more electronic circuit units including a microcomputer or a processor, a memory, an interface circuit, and the like.
そして、計測処理部２３は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の両方又は一方により実現される機能として、測定光の各照射方向に存在する該測定光の反射物体までの距離を各照射方向毎に計測する処理を実行する測距部２３ａとしての機能と、各照射方向への測定光の照射に応じて受光部２２で受光される該測定光の反射光の受光量（受光強度）を検出する受光量検出部２３ｂとしての機能とを含む。 Then, the measurement processing unit 23 determines the distance to the reflecting object of the measurement light existing in each irradiation direction of the measurement light as a function realized by both or one of the mounted hardware configuration and the program (software configuration). The function as the distance measuring unit 23a that executes the processing of measuring in each irradiation direction, and the received amount of the reflected light of the measurement light received by the light receiving unit 22 in response to the irradiation of the measurement light in each irradiation direction (light reception). It includes a function as a light receiving amount detecting unit 23b for detecting (intensity).
この場合、測距部２３ａは、各照射方向毎の距離計測値（センサ部２０から各照射方向に存在する反射物体までの距離の計測値）を、所謂ＴＯＦ方式（ＴＯＦ：Time Of Flight）で求める。具体的には、測距部２３ａは、各照射方向に投光部２１から照射する測定光と、該測定光の照射に応じて受光部２２で受光される該測定光の反射光との位相差、あるいは、測定光の照射タイミングと、反射光の受光タイミングとの時間差から、各照射方向での距離計測値を求める。 In this case, the distance measuring unit 23a uses a so-called TOF method (TOF: Time Of Flight) to measure the distance measured in each irradiation direction (measured value of the distance from the sensor unit 20 to the reflecting object existing in each irradiation direction). Ask. Specifically, the distance measuring unit 23a is the position of the measurement light emitted from the light projecting unit 21 in each irradiation direction and the reflected light of the measurement light received by the light receiving unit 22 in response to the irradiation of the measurement light. The distance measurement value in each irradiation direction is obtained from the phase difference or the time difference between the irradiation timing of the measurement light and the reception timing of the reflected light.
ここで、投光部２１からの測定光の各照射方向は、該測定光の全体的（平均的な）照射方向としてのセンサ部２０の正面方向で見た監視領域の画像（該正面方向に直交する平面に投影して見た該監視領域の二次元画像。以降、監視領域投影画像という）において、該照射方向に対応する位置の画素に対応付けることができる。 Here, each irradiation direction of the measurement light from the light projecting unit 21 is an image of the monitoring region viewed in the front direction of the sensor unit 20 as the overall (average) irradiation direction of the measurement light (in the front direction). In a two-dimensional image of the monitoring area viewed projected onto orthogonal planes; hereinafter referred to as a monitoring area projection image), it can be associated with a pixel at a position corresponding to the irradiation direction.
例えば、センサ部２０の上下方向での方位が互いに相違する複数の照射方向のそれぞれは、監視領域投影画像で上下方向の位置が互いに相違する画素に対応付けることができる。また、センサ部２０の幅方向での方位が互いに相違する複数の照射方向のそれぞれは、監視領域投影画像で左右方向の位置が互いに相違する画素に対応付けることができる。 For example, each of the plurality of irradiation directions in which the orientations of the sensor unit 20 in the vertical direction are different from each other can be associated with pixels whose positions in the vertical direction are different from each other in the surveillance area projected image. Further, each of the plurality of irradiation directions in which the orientations of the sensor unit 20 in the width direction are different from each other can be associated with pixels whose positions in the left-right direction are different from each other in the projected image of the monitoring area.
そこで、測距部２３ａは、各照射方向での距離計測値を、監視領域投影画像において、各照射方向に対応する位置の画素に対応付けた測距データ（各照射方向での距離計測値と、該照射方向に対応する画素位置との組により構成されるデータ）を生成する。該測距データは、換言すれば、監視領域の距離画像（各画素の画素値が距離計測値である画像）を表すものである。なお、本実施形態では、測距部２３ａと、投光部２１及び受光部２２とを合わせたものが、本発明における測距部に相当する。 Therefore, the distance measuring unit 23a associates the distance measurement value in each irradiation direction with the distance measurement data (distance measurement value in each irradiation direction) in which the distance measurement value in each irradiation direction is associated with the pixel at the position corresponding to each irradiation direction in the monitoring area projection image. , Data composed of a set of pixel positions corresponding to the irradiation direction) is generated. In other words, the distance measurement data represents a distance image of a monitoring area (an image in which the pixel value of each pixel is a distance measurement value). In the present embodiment, the combination of the distance measuring unit 23a, the light emitting unit 21 and the light receiving unit 22 corresponds to the distance measuring unit in the present invention.
また、受光量検出部２３ｂは、各照射方向への測定光の照射時に、受光部２２での反射光の受光に応じて該受光部２２から出力される受光信号の大きさ（強度）に基づいて、各照射方向に対応する反射光の受光量（受光強度）を検出する。そして、受光量検出部２３ｂは、各照射方向での受光量の検出値を、前記監視領域投影画像において、各照射方向に対応する位置の画素に対応付けた受光量検出データ（各照射方向での受光量の検出値と、該照射方向に対応する画素位置との組により構成されるデータ）を生成する。該受光量検出データは、換言すれば、各画素の画素値が受光量の検出値である画像を表すものである。 Further, the light receiving amount detection unit 23b is based on the magnitude (intensity) of the light receiving signal output from the light receiving unit 22 in response to the light received by the light receiving unit 22 when the measurement light is irradiated in each irradiation direction. Then, the amount of received light (light receiving intensity) of the reflected light corresponding to each irradiation direction is detected. Then, the light receiving amount detection unit 23b associates the detected value of the light receiving amount in each irradiation direction with the pixel at the position corresponding to each irradiation direction in the monitoring area projection image (light receiving amount detection data in each irradiation direction). Data composed of a set of the detected value of the received light amount and the pixel position corresponding to the irradiation direction) is generated. In other words, the received light amount detection data represents an image in which the pixel value of each pixel is the detected value of the received light amount.
コントローラ３０は、マイクロコンピュータ、メモリ、インターフェース回路等を含む１つ以上の電子回路ユニットにより構成され、建設機械１の任意の適所、例えば旋回体３に搭載されている。なお、図１Ａ及び図１Ｂでは、コントローラ３０は、機械室６に搭載されているが、例えば運転室５に搭載されていてもよい。 The controller 30 is composed of one or more electronic circuit units including a microcomputer, a memory, an interface circuit, and the like, and is mounted on an arbitrary suitable place of the construction machine 1, for example, a swivel body 3. Although the controller 30 is mounted in the machine room 6 in FIGS. 1A and 1B, it may be mounted in the driver's cab 5, for example.
このコントローラ３０は、各センサ部２０の計測処理部２３と有線又は無線による通信を行うことが可能であり、この通信により、各センサ部２０から前記測距データ及び受光量検出データを適宜、取得可能である。 The controller 30 can perform wired or wireless communication with the measurement processing unit 23 of each sensor unit 20, and by this communication, the distance measurement data and the received light amount detection data are appropriately acquired from each sensor unit 20. It is possible.
そして、コントローラ３０は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の両方又は一方により実現される機能として、旋回体３の周囲に存在して、該旋回体３と接触する可能性がある物体を障害物として検出すると共に、該障害物の検出に応じた所定の障害物対応処理を実行する障害物対応処理部３１としての機能を有する。 Then, the controller 30 may exist around the swivel body 3 and come into contact with the swivel body 3 as a function realized by both or one of the implemented hardware configuration and the program (software configuration). It has a function as an obstacle handling processing unit 31 that detects an object as an obstacle and executes a predetermined obstacle handling process according to the detection of the obstacle.
この場合、障害物対応処理部３１は、後述する如く、各センサ部２０から取得する測距データ及び受光量検出データに基づいて障害物を検出する。また、障害物対応処理部３１は、所定の障害物対応処理として、例えば、旋回体３の旋回動作及び走行体２の走行動作の両方もしくは一方を強制的に停止もしくは減速させる制御処理を実行する。あるいは、該制御処理の代わりに、もしくは該制御処理に加えて、建設機械１の運転者、あるいは、建設機械１の周囲に存在する作業者に対して警報報知を行う。該警報報知の態様としては、例えば、表示器による表示、投光器による投光等の視覚的な報知、あるいは、音声、警報音等の聴覚的な報知を採用し得る。 In this case, the obstacle handling processing unit 31 detects an obstacle based on the distance measurement data and the received light amount detection data acquired from each sensor unit 20, as will be described later. Further, the obstacle handling processing unit 31 executes, for example, a control process for forcibly stopping or decelerating both or one of the turning operation of the turning body 3 and the running operation of the traveling body 2 as a predetermined obstacle handling process. .. Alternatively, instead of or in addition to the control process, an alarm is given to the operator of the construction machine 1 or the operator existing around the construction machine 1. As the mode of the alarm notification, for example, a display by a display, a visual notification such as a floodlight by a floodlight, or an auditory notification such as a voice or an alarm sound can be adopted.
補足すると、建設機械１が遠隔操縦を行い得るものである場合等では、コントローラ３０の全体もしくはその一部の機能部は、建設機械１の外部に設置されていてもよい。また、各センサ部２０の計測処理部２３の全体又は一部の処理は、コントローラ３０で実行するようにしてもよい。また、コントローラ３０は、建設機械１の通常時の運転制御を行う機能等、障害物対応処理部３１以外の機能を含んでいてもよい。さらに、障害物対応処理部３１の全体もしくはその一部の機能は、一つもしくは複数のセンサ部２０に含まれていてもよい。そして、この場合、障害物対応処理部３１としての機能を有するセンサ部２０は、他のセンサ部２０の処理情報を収集しつつ、障害物対応処理を実行するようにしてもよい。 Supplementally, in the case where the construction machine 1 can be remotely controlled, the functional parts of the entire controller 30 or a part thereof may be installed outside the construction machine 1. Further, the controller 30 may execute all or part of the processing of the measurement processing unit 23 of each sensor unit 20. Further, the controller 30 may include functions other than the obstacle handling processing unit 31, such as a function of controlling the normal operation of the construction machine 1. Further, the functions of all or a part of the obstacle handling processing unit 31 may be included in one or a plurality of sensor units 20. Then, in this case, the sensor unit 20 having a function as the obstacle handling processing unit 31 may execute the obstacle handling processing while collecting the processing information of the other sensor units 20.
次に、障害物対応処理部３１による障害物の検出処理を具体的に説明する。建設機械１の運転中に、コントローラ３０の障害物対応処理部３１は、図３のフローチャートに示す処理を実行する。 Next, the obstacle detection process by the obstacle handling processing unit 31 will be specifically described. While the construction machine 1 is in operation, the obstacle handling processing unit 31 of the controller 30 executes the processing shown in the flowchart of FIG.
ＳＴＥＰ１において、障害物対応処理部３１は、各センサ部２０の計測処理部２３から測距データ及び受光量データを取得する。さらに、ＳＴＥＰ２において、障害物対応処理部３１は、各センサ部２０から取得した測距データに基づいて、障害物の候補となる物体である障害物候補を検出する。 In STEP 1, the obstacle handling processing unit 31 acquires the distance measurement data and the received light amount data from the measurement processing unit 23 of each sensor unit 20. Further, in STEP 2, the obstacle handling processing unit 31 detects an obstacle candidate, which is an object that is a candidate for an obstacle, based on the distance measurement data acquired from each sensor unit 20.
この場合、本実施形態では、例えば、図１Ａ及び図１Ｂに例示する如く、建設機械１の旋回体３の周囲（各センサ部２０の監視領域に含まれる周囲）に、障害物の検出対象領域ＡＲが設定（定義）されている。該検出対象領域ＡＲは、その内部に物体が存在する場合、旋回体３の旋回動作に応じて旋回体３と物体との接触が生じる可能性がある領域である。該検出対象領域ＡＲは、本発明における所定の領域に相当するものである。また、旋回体３は、本発明における所定の部位に相当する。 In this case, in this embodiment, for example, as illustrated in FIGS. 1A and 1B, an obstacle detection target area is formed around the swivel body 3 of the construction machine 1 (the surrounding area included in the monitoring area of each sensor unit 20). AR is set (defined). The detection target area AR is an area where contact between the swivel body 3 and the object may occur according to the swivel operation of the swivel body 3 when an object exists inside the detection target area AR. The detection target region AR corresponds to a predetermined region in the present invention. Further, the swivel body 3 corresponds to a predetermined portion in the present invention.
図示例では、検出対象領域ＡＲは、例えば、旋回体３の周囲のうち、建設機械１の運転者が視認できないか、もしくは視認し難い領域であると共に、旋回体３の外周面からの距離又は旋回体３の基準点からの距離が所定距離以下となる領域として設定されている。 In the illustrated example, the detection target area AR is, for example, a region around the swivel body 3 that is invisible or difficult to be seen by the driver of the construction machine 1, and is a distance from the outer peripheral surface of the swivel body 3 or. It is set as a region where the distance from the reference point of the swivel body 3 is equal to or less than a predetermined distance.
なお、検出対象領域ＡＲの外周の境界を規定する上記所定距離は、旋回体３の周方向（旋回体３の旋回軸周りの方向）で変化するように設定されていてもよい。また、検出対象領域ＡＲの形状もしくはサイズは、旋回体３の旋回角度もしくは旋回速度等に応じて変化するように設定されてもよい。 The predetermined distance that defines the boundary of the outer circumference of the detection target region AR may be set to change in the circumferential direction of the swivel body 3 (the direction around the swivel axis of the swivel body 3). Further, the shape or size of the detection target region AR may be set so as to change according to the turning angle, turning speed, or the like of the turning body 3.
ＳＴＥＰ２においては、障害物対応処理部３１は、各センサ部２０から取得した測距データにより表される距離画像（二次元画像）から、所定値以下の互いに近似する距離計測値を有し、且つ、所定値以上のサイズ（面積又は縦横の長さ等のサイズ）を有する連続した画素群を、旋回体３に近接する物体（以降、近接物体という）の画像部分として抽出する。 In STEP 2, the obstacle handling processing unit 31 has a distance measurement value that is equal to or less than a predetermined value and is close to each other from the distance image (two-dimensional image) represented by the distance measurement data acquired from each sensor unit 20. , A continuous pixel group having a size equal to or larger than a predetermined value (size such as area or vertical / horizontal length) is extracted as an image portion of an object close to the swivel body 3 (hereinafter referred to as a close object).
さらに、障害物対応処理部３１は、抽出した画像部分の各画素の位置（距離画像上での位置）と、該画像部分の各画素の距離計測値とから、実空間上での当該近接物体の存在領域の位置（旋回体３に対する空間的な相対位置）を特定し、当該近接物体の存在領域の位置が、検出対象領域ＡＲに属するか否かを判定する。そして、障害物対応処理部３１は、当該近接物体の存在領域の位置が検出対象領域ＡＲに属する場合に、当該近接物体を障害物候補として検出する。 Further, the obstacle handling processing unit 31 determines the proximity object in the real space from the position of each pixel of the extracted image portion (position on the distance image) and the distance measurement value of each pixel of the image portion. The position of the existing area of the object (spatial relative position with respect to the swirl body 3) is specified, and it is determined whether or not the position of the existing area of the nearby object belongs to the detection target area AR. Then, the obstacle handling processing unit 31 detects the nearby object as an obstacle candidate when the position of the existing region of the nearby object belongs to the detection target area AR.
ここで、検出対象領域ＡＲに複数の物体が存在する場合等では、前記距離画像から、複数の近接物体の画像部分が抽出される場合もある。この場合には、障害物対応処理部３１は、当該複数の近接物体のうち、実空間上での存在位置が検出対象領域ＡＲに属し、且つ、旋回体３に最も近い近接物体を障害物候補として検出する。 Here, when a plurality of objects exist in the detection target area AR, image portions of a plurality of nearby objects may be extracted from the distance image. In this case, the obstacle handling processing unit 31 selects the nearby object whose existence position in the real space belongs to the detection target area AR and is closest to the swivel body 3 among the plurality of nearby objects as an obstacle candidate. Detect as.
なお、検出対象領域ＡＲは、旋回体３の各センサ部２０の搭載部位から距離が所定値以下となる領域に一致していてもよい。その場合には、当該近接物体の存在領域の位置が、検出対象領域ＡＲに属するか否かの判定を省略し得る。 The detection target region AR may correspond to a region where the distance from the mounting portion of each sensor unit 20 of the swivel body 3 is equal to or less than a predetermined value. In that case, it is possible to omit the determination of whether or not the position of the existing region of the nearby object belongs to the detection target region AR.
次いで、ＳＴＥＰ３において、障害物対応処理部３１は、障害物候補が検出されたか否かを判断する。この場合、ＳＴＥＰ２において、前記近接物体の画像部分が抽出されないか、もしくは、抽出された各近接物体の実空間上での存在位置が検出対象領域ＡＲに属さない場合には、ＳＴＥＰ３の判断結果は否定的になる。この場合には、障害物対応処理部３１は、ＳＴＥＰ１からの処理を改めて実行する。 Next, in STEP 3, the obstacle handling processing unit 31 determines whether or not an obstacle candidate has been detected. In this case, in STEP2, if the image portion of the proximity object is not extracted, or the existence position of each extracted proximity object in the real space does not belong to the detection target area AR, the determination result of STEP3 is Become negative. In this case, the obstacle handling processing unit 31 re-executes the processing from STEP1.
ＳＴＥＰ２で障害物候補（旋回体３に最も近い近接物体）が検出された場合には、ＳＴＥＰ３の判断結果が肯定的になる。この場合には、障害物対応処理部３１は、次に、ＳＴＥＰ４において、距離画像（ＳＴＥＰ１で取得した測距データにより表される距離画像）における障害物候補の画像位置（障害物候補の画像部分の各画素の位置）を特定する。 When an obstacle candidate (closest object closest to the swivel body 3) is detected in STEP 2, the determination result in STEP 3 becomes affirmative. In this case, the obstacle handling processing unit 31 then, in STEP 4, sets the image position of the obstacle candidate (image portion of the obstacle candidate) in the distance image (distance image represented by the distance measurement data acquired in STEP 1). (Position of each pixel) is specified.
次いで、ＳＴＥＰ５において、障害物対応処理部３１は、ＳＴＥＰ１で取得した受光量データに基づいて、障害物候補の画像位置での受光量の検出値（該障害物候補の画像部分の各画素の位置での受光量の検出値）を取得する。 Next, in STEP 5, the obstacle handling processing unit 31 detects the light receiving amount at the image position of the obstacle candidate (position of each pixel of the image portion of the obstacle candidate) based on the light receiving amount data acquired in STEP 1. (Detected value of the amount of received light received in) is acquired.
次いで、ＳＴＥＰ６において、障害物対応処理部３１は、障害物候補の画像位置での受光量の検出値があらかじめ定められた所定の閾値（一定値）よりも高いか否かを判断する。より具体的には、障害物対応処理部３１は、例えば、障害物候補の画像部分の全ての画素の位置における受光量の検出値が、いずれも上記閾値よりも高い値になっているか否かを判断する。あるいは、障害物対応処理部３１は、例えば、障害物候補の画像部分の全ての画素の位置における受光量の検出値の平均値もしくは中央値が上記閾値よりも高いか否かを判断する。あるいは、障害物対応処理部３１は、例えば、障害物候補の画像部分の全ての画素のうち、所定割合以上の画素の位置における受光量の検出値が上記閾値よりも高い値になっているか否かを判断する。 Next, in STEP 6, the obstacle handling processing unit 31 determines whether or not the detected value of the received light amount at the image position of the obstacle candidate is higher than a predetermined threshold value (constant value). More specifically, the obstacle handling processing unit 31 determines whether or not, for example, the detected values of the amount of received light at the positions of all the pixels of the image portion of the obstacle candidate are higher than the above threshold values. To judge. Alternatively, the obstacle handling processing unit 31 determines, for example, whether or not the average value or the median value of the detected values of the received light amount at the positions of all the pixels of the image portion of the obstacle candidate is higher than the above threshold value. Alternatively, the obstacle handling processing unit 31 determines whether or not the detected value of the light receiving amount at the position of the pixel of a predetermined ratio or more among all the pixels of the image portion of the obstacle candidate is higher than the above threshold value, for example. To judge.
ここで、センサ部２０の監視領域で検出された障害物候補（旋回体３に最も近い近接物体）が、人、設置物等の構造物体である場合には、一般に、測定光の反射量が比較的多くなる傾向があり、ひいては、ＳＴＥＰ６の判断結果が肯定的になる。 Here, when the obstacle candidate (closest object closest to the swivel body 3) detected in the monitoring area of the sensor unit 20 is a structural object such as a person or an installed object, the amount of reflected light is generally measured. It tends to be relatively large, and as a result, the judgment result of STEP 6 becomes positive.
また、建設機械１の作業現場において、センサ部２０の監視領域に、砂埃や粉塵等の細かい粒子が舞っている領域（粒子領域）が発生した場合、その粒子領域が障害物候補として検出される場合ある。ただし、粒子領域での測定光の反射量は一般に少ないものとなる傾向があり、ひいては、ＳＴＥＰ６の判断結果が否定的になる。 Further, when a region (particle region) in which fine particles such as dust and dirt are flying is generated in the monitoring region of the sensor unit 20 at the work site of the construction machine 1, the particle region is detected as an obstacle candidate. In some cases. However, the amount of reflected light measured in the particle region generally tends to be small, and as a result, the determination result of STEP 6 becomes negative.
例えば、図４Ａは、センサ部２０の正面側に人Ｐが存在すると共に、人Ｐの上体の周囲に、点描で示すように、砂埃や粉塵等の粒子が舞っている粒子領域Ｓが発生している状況を示している。この状況においては、センサ部２０の測距部２３ａにより生成される測距データにより表される距離画像は、例えば、図４Ｃに例示する如き画像となる。この例では、該距離画像には、人Ｐに対応する距離計測値を有する画像部分が得られていると共に、粒子領域Ｓに対応する画像部分が、人Ｐよりもセンサ部２０に近い（人Ｐよりも距離計測値が小さい）画像部分として得られている。 For example, in FIG. 4A, a person P is present on the front side of the sensor unit 20, and a particle region S in which particles such as dust and dust are flying is generated around the upper body of the person P, as shown by pointillism. It shows the situation. In this situation, the distance image represented by the distance measurement data generated by the distance measurement unit 23a of the sensor unit 20 is, for example, an image as illustrated in FIG. 4C. In this example, in the distance image, an image portion having a distance measurement value corresponding to the person P is obtained, and the image portion corresponding to the particle region S is closer to the sensor unit 20 than the person P (person). It is obtained as an image portion (the distance measurement value is smaller than P).
このため、人Ｐが検出対象領域ＡＲに存在していなくとも、粒子領域Ｓが検出対象領域ＡＲに存在する障害物候補として抽出される場合がある。 Therefore, even if the person P does not exist in the detection target region AR, the particle region S may be extracted as an obstacle candidate existing in the detection target region AR.
一方、図４Ａに示す状況において、センサ部２０の受光量検出部２３ｂにより生成される受光量データにより表される画像は、例えば、図４Ｂに例示する如き画像となる。図４Ｂに示す如く、人Ｐの画像部分の受光量は比較的大きなものとなるものの、粒子領域Ｓに対応する画像部分の受光量は十分に小さいものとなる。なお、人Ｐに限らず、コーン等の設置物についても、該設置物の画像部分の受光量は比較的大きなものとなる。 On the other hand, in the situation shown in FIG. 4A, the image represented by the light receiving amount data generated by the light receiving amount detecting unit 23b of the sensor unit 20 is, for example, an image as illustrated in FIG. 4B. As shown in FIG. 4B, the light receiving amount of the image portion of the person P is relatively large, but the light receiving amount of the image portion corresponding to the particle region S is sufficiently small. It should be noted that not only the person P but also the installed object such as a cone has a relatively large amount of light received in the image portion of the installed object.
従って、測距データに基づいて（あるいは測距データにより表される距離画像に基づいて）、粒子領域が障害物候補として検出されたとしても、該障害物候補に対しては、ＳＴＥＰ６の判断結果が否定的になる。一方、人、設置物等の物体がＳＴＥＰ２で障害物候補として検出された場合には、該障害物候補に対しては、該物体からの反射光の受光量が比較的大きくなるため、ＳＴＥＰ６の判断結果が肯定的になる。 Therefore, even if the particle region is detected as an obstacle candidate based on the distance measurement data (or based on the distance image represented by the distance measurement data), the determination result of STEP 6 is obtained for the obstacle candidate. Becomes negative. On the other hand, when an object such as a person or an installed object is detected as an obstacle candidate in STEP 2, the amount of light received from the object is relatively large for the obstacle candidate, so that in STEP 6. The judgment result becomes positive.
そして、ＳＴＥＰ６の判断結果が肯定的である場合には、障害物対応処理部３１は、ＳＴＥＰ７において、当該障害物候補を障害物として特定し、さらに、前記した障害物対応処理を実行する。従って、ＳＴＥＰ２で測距データに基づいて検出された障害物候補が、人、設置物等の物体である場合、該障害物候補が障害物として検出され、その検出に応じた障害物対応処理が実行される。 Then, when the determination result of STEP 6 is affirmative, the obstacle handling processing unit 31 identifies the obstacle candidate as an obstacle in STEP 7, and further executes the above-mentioned obstacle handling processing. Therefore, when the obstacle candidate detected based on the distance measurement data in STEP 2 is an object such as a person or an installed object, the obstacle candidate is detected as an obstacle, and the obstacle handling process corresponding to the detection is performed. Will be executed.
一方、ＳＴＥＰ６の判断結果が否定的である場合には、障害物対応処理部３１は、障害物対応処理を実行することなく、ＳＴＥＰ１からの処理を改めて実行する。従って、検出対象領域ＡＲに存在する粒子領域がＳＴＥＰ２で障害物候補として検出された場合に、該障害物候補が障害物として検出されたり、不要な障害物対応処理が実行されるのを防止することができる。 On the other hand, when the determination result of STEP 6 is negative, the obstacle handling processing unit 31 executes the processing from STEP 1 again without executing the obstacle handling processing. Therefore, when the particle region existing in the detection target region AR is detected as an obstacle candidate in STEP2, it is possible to prevent the obstacle candidate from being detected as an obstacle or executing unnecessary obstacle handling processing. be able to.
［第２実施形態］
次に、本発明の第２実施形態を図５を参照して説明する。なお、本実施形態は、障害物対応処理部３１の一部の処理だけが第１実施形態と相違するものである。このため、本実施形態の説明では、第１実施形態との相違点を中心に説明し、第１実施形態と同一の事項については説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. In this embodiment, only a part of the processing of the obstacle handling processing unit 31 is different from the first embodiment. Therefore, in the description of the present embodiment, the differences from the first embodiment will be mainly described, and the same items as those of the first embodiment will be omitted.
本実施形態では、障害物対応処理部３１は、建設機械１の運転中に、図５のフローチャートに示す処理を実行する。この場合、障害物対応処理部３１は、ＳＴＥＰ１１〜１４において、第１実施形態におけるＳＴＥＰ１〜４と同じ処理を実行し、ＳＴＥＰ１４の次に、ＳＴＥＰ１５の処理を実行する。 In the present embodiment, the obstacle handling processing unit 31 executes the processing shown in the flowchart of FIG. 5 while the construction machine 1 is in operation. In this case, the obstacle handling processing unit 31 executes the same processing as STEPs 1 to 4 in the first embodiment in STEPs 11 to 14, and then executes the processing in STEP15 after STEP14.
このＳＴＥＰ１５では障害物対応処理部３１は、ＳＴＥＰ１１で取得した受光量データに基づいて、受光量の検出値が所定値よりも高いものとなる高受光量画像の位置（受光量の検出値＞所定値となる各画素の位置）を特定する。 In this STEP 15, the obstacle handling processing unit 31 determines the position of the high light receiving amount image (the detected value of the light receiving amount> the predetermined value) at which the detected value of the received light amount is higher than the predetermined value based on the received light amount data acquired in STEP 11. Specify the position of each pixel that becomes the value).
次いで、ＳＴＥＰ１６において、障害物対応処理部３１は、障害物候補の画像位置は、高受光量画像の位置に合致するか否かを判断する。この場合、より具体的には、障害物対応処理部３１は、例えば、障害物候補の画像部分の全ての画素のそれぞれの位置、あるいは、該全ての画素のうちの所定割合以上の画素のそれぞれの位置、あるいは、障害物候補の画像部分の全体の面積のうちの所定割合以上の面積に含まれる画素のそれぞれの位置が、高受光量画像の画素位置に一致するか否か（高受光量画像の領域に含まれるか否か）によって、障害物候補の画像位置が、高受光量画像の位置に合致するか否かを判断する。 Next, in STEP 16, the obstacle handling processing unit 31 determines whether or not the image position of the obstacle candidate matches the position of the high light receiving amount image. In this case, more specifically, the obstacle handling processing unit 31 may, for example, position each of all the pixels of the image portion of the obstacle candidate, or each of the pixels having a predetermined ratio or more among all the pixels. Whether or not the position of each of the pixels included in the area of a predetermined ratio or more of the total area of the image portion of the obstacle candidate matches the pixel position of the high light receiving amount image (high light receiving amount). Whether or not it is included in the image area) determines whether or not the image position of the obstacle candidate matches the position of the high light receiving amount image.
この判断処理により、例えば、粒子領域（例えば図４Ａに示した粒子領域Ｓ）が、検出対象領域ＡＲに存在する障害物候補として検出されていても、ＳＴＥＰ１６の判断結果が否定的になる。一方、人、設置物等の物体（例えば図４Ａに示す人Ｐ）が検出対象領域に存在する障害物候補として検出された場合には、ＳＴＥＰ１６の判断結果が肯定的になる。 By this determination process, for example, even if the particle region (for example, the particle region S shown in FIG. 4A) is detected as an obstacle candidate existing in the detection target region AR, the determination result of STEP 16 becomes negative. On the other hand, when an object such as a person or an installed object (for example, the person P shown in FIG. 4A) is detected as an obstacle candidate existing in the detection target area, the determination result of STEP 16 becomes affirmative.
そして、ＳＴＥＰ１６の判断結果が肯定的である場合には、障害物対応処理部３１は、前記ＳＴＥＰ７と同じ処理をＳＴＥＰ１７で実行する。すなわち、障害物対応処理部３１は、障害物候補が障害物であると特定し、障害物対応処理を実行する。従って、検出対象領域ＡＲに存在する人、設置物等の物体が障害物候補として検出された場合、該物体が障害物として検出され、その検出に応じた障害物対応処理が実行される。 Then, when the determination result of STEP 16 is affirmative, the obstacle handling processing unit 31 executes the same processing as STEP 7 in STEP 17. That is, the obstacle handling processing unit 31 identifies the obstacle candidate as an obstacle and executes the obstacle handling processing. Therefore, when an object such as a person or an installed object existing in the detection target area AR is detected as an obstacle candidate, the object is detected as an obstacle and the obstacle handling process is executed according to the detection.
また、ＳＴＥＰ１６の判断結果が否定的である場合には、障害物対応処理部３１は、障害物対応処理を実行することなく、ＳＴＥＰ１１からの処理を改めて実行する。従って、検出対象領域ＡＲに存在する粒子領域が障害物候補として検出された場合に、該障害物候補が障害物として検出されたり、不要な障害物対応処理が実行されるのを防止することができる。本実施形態は、以上説明した事項以外は、第１実施形態と同じである。 If the determination result of STEP 16 is negative, the obstacle handling processing unit 31 re-executes the processing from STEP 11 without executing the obstacle handling processing. Therefore, when the particle region existing in the detection target region AR is detected as an obstacle candidate, it is possible to prevent the obstacle candidate from being detected as an obstacle or performing unnecessary obstacle handling processing. it can. The present embodiment is the same as the first embodiment except for the matters described above.
なお、本発明は、以上説明した実施形態（第１実施形態及び第２実施形態）に限定されるものではなく、他の実施形態を採用することもできる。 The present invention is not limited to the embodiments described above (first embodiment and second embodiment), and other embodiments may be adopted.
例えば、前記各実施形態では、測距データに基づいて、検出対象領域ＡＲに存在することが検知される物体を障害物候補として検出するようにしたが、例えば、実空間上での物体の存在領域の位置の時系列に基づいて、該物体の移動速度（移動方向を含む）を推定し、該物体の存在領域の位置と移動速度の推定値とから、該物体が近々（所定時間以内に）、検出対象領域ＡＲに進入するか否かを予測してもよい。そして、検出対象領域ＡＲに近々進入することが予測される物体のうちの旋回体３の最も近い物体を障害物候補として検出するようにしてもよい。 For example, in each of the above embodiments, an object that is detected to exist in the detection target area AR is detected as an obstacle candidate based on the distance measurement data. For example, the existence of the object in the real space. The moving speed (including the moving direction) of the object is estimated based on the time series of the position of the region, and the object is coming soon (within a predetermined time) from the position of the region where the object exists and the estimated value of the moving speed. ), It may be predicted whether or not to enter the detection target area AR. Then, the object closest to the swivel body 3 among the objects predicted to enter the detection target area AR in the near future may be detected as an obstacle candidate.
また、建設機械１は、油圧ショベルに限らず、クレーン等の建設機械であってもよい。また、検出対象領域ＡＲは、旋回体３の周囲だけでなく、作業装置４の周囲に設定してもよい。 Further, the construction machine 1 is not limited to the hydraulic excavator, and may be a construction machine such as a crane. Further, the detection target area AR may be set not only around the swivel body 3 but also around the working device 4.
１…建設機械、３…旋回体（所定の部位）、２１…投光部（測距部）、２２…受光部（測距部）、２３ａ…測距部、２３ｂ…受光量検出部、３１…障害物対応処理部。
1 ... construction machine, 3 ... swivel body (predetermined part), 21 ... light projecting unit (distance measuring unit), 22 ... light receiving unit (distance measuring unit), 23a ... ranging unit, 23b ... light receiving amount detecting unit, 31 … Obstacle handling processing department.
Claims (2)
前記距離画像の各画素の位置における前記反射光の受光量を検出し、該距離画像の各画素の位置に該受光量の検出値を対応付けた受光量検出データを生成する受光量検出部と、
前記測距データと前記受光量検出データとに基づいて前記監視領域に存在する障害物を検出し、該障害物の検出に応じた所定の障害物対応処理を実行する障害物対応処理部とを備えており、
前記障害物対応処理部は、前記監視領域のうち、前記建設機械の所定の部位からの距離が所定値以下となる所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体が前記測距データに基づいて検出された場合に、前記所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体のうちの前記建設機械の所定の部位に最も近い物体の存在領域での前記受光量があらかじめ定められた所定の閾値以上であるか否かを前記受光量データに基づいて判断し、当該判断結果が肯定的であることを必要条件として、該物体を障害物として検出するように構成されていることを特徴とする建設機械の障害物検出装置。 Distance measurement data representing a distance image of the monitoring area viewed in the irradiation direction of the measurement light by irradiating the monitoring area around the construction machine with the measurement light and receiving the reflected light of the measurement light. A distance measuring unit that generates distance measurement data in which the distance measurement values measured by the TOF method (TOF: Time Of Flight) are associated with the positions of each pixel in the distance image.
A light receiving amount detection unit that detects the received amount of the reflected light at the position of each pixel of the distance image and generates light receiving amount detection data in which the detected value of the received light amount is associated with the position of each pixel of the distance image. ,
An obstacle handling processing unit that detects an obstacle existing in the monitoring area based on the distance measurement data and the received light amount detection data and executes a predetermined obstacle handling process according to the detection of the obstacle. I have
The obstacle handling processing unit may enter an object existing in a predetermined area in which the distance from the predetermined part of the construction machine is equal to or less than a predetermined value in the monitoring area, or enter the predetermined area. When the predicted object is detected based on the distance measurement data, the object existing in the predetermined area or the object predicted to enter the predetermined area of the construction machine. It is determined based on the received light amount data whether or not the received light amount in the existence region of the object closest to the predetermined part is equal to or more than a predetermined predetermined threshold, and the judgment result is positive. An obstacle detection device for a construction machine, which is configured to detect the object as an obstacle as a necessary condition.
前記距離画像の各画素の位置における前記反射光の受光量を検出し、該距離画像の各画素の位置に該受光量の検出値を対応付けた受光量検出データを生成する受光量検出部と、
前記測距データと、前記受光量検出データとに基づいて前記監視領域に存在する障害物を検出し、該障害物の検出に応じた所定の障害物対応処理を実行する障害物対応処理部とを備えており、
前記障害物対応処理部は、前記監視領域のうち、前記建設機械の所定の部位からの距離が所定値以下となる所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体が前記測距データに基づいて検出された場合に、前記所定の領域内に存在する物体、又は該所定の領域内に進入することが予測される物体のうちの前記建設機械の所定の部位に最も近い物体の存在領域のうち、所定割合以上の領域の位置が、前記受光量があらかじめ定められた所定の閾値以上となることが前記受光量検出データに基づいて検知される領域の位置に合致するか否かを判断し、当該判断結果が肯定的であることを必要条件として、該物体を障害物として検出するように構成されていることを特徴とする建設機械の障害物検出装置。 Distance measurement data representing a distance image of the monitoring area viewed in the irradiation direction of the measurement light by irradiating the monitoring area around the construction machine with the measurement light and receiving the reflected light of the measurement light. A distance measuring unit that generates distance measurement data in which the position of each pixel of the distance image is associated with the distance measurement value measured by the TOF method.
A light receiving amount detection unit that detects the received amount of the reflected light at the position of each pixel of the distance image and generates light receiving amount detection data in which the detected value of the received light amount is associated with the position of each pixel of the distance image. ,
An obstacle handling processing unit that detects an obstacle existing in the monitoring area based on the distance measurement data and the received light amount detection data and executes a predetermined obstacle handling process according to the detection of the obstacle. Is equipped with
The obstacle handling processing unit may enter an object existing in a predetermined area in which the distance from the predetermined part of the construction machine is equal to or less than a predetermined value in the monitoring area, or enter the predetermined area. When the predicted object is detected based on the distance measurement data, the object existing in the predetermined area or the object predicted to enter the predetermined area of the construction machine. A region where it is detected based on the light-receiving amount detection data that the position of a region having a predetermined ratio or more in the existing region of an object closest to a predetermined portion is equal to or higher than a predetermined threshold value. An obstacle of a construction machine, characterized in that it is configured to detect whether or not the object matches the position of, and to detect the object as an obstacle, provided that the judgment result is positive. Detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018239630A JP6838040B2 (en) | 2018-12-21 | 2018-12-21 | Obstacle detector for construction machinery |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018239630A JP6838040B2 (en) | 2018-12-21 | 2018-12-21 | Obstacle detector for construction machinery |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020101442A JP2020101442A (en) | 2020-07-02 |
| JP6838040B2 true JP6838040B2 (en) | 2021-03-03 |
Family
ID=71139484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018239630A Active JP6838040B2 (en) | 2018-12-21 | 2018-12-21 | Obstacle detector for construction machinery |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6838040B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7059956B2 (en) * | 2019-02-08 | 2022-04-26 | コベルコ建機株式会社 | Obstacle detector for construction machinery |
| JP7420694B2 (en) * | 2020-10-28 | 2024-01-23 | ヤンマーホールディングス株式会社 | work vehicle |
| WO2022210980A1 (en) * | 2021-03-31 | 2022-10-06 | 住友重機械工業株式会社 | Construction machine and assistance system for construction machine |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6031908B2 (en) * | 2012-09-14 | 2016-11-24 | オムロン株式会社 | Image processing apparatus, object detection method, and object detection program |
| JP2017025503A (en) * | 2015-07-17 | 2017-02-02 | 清水建設株式会社 | Assisting display system for construction equipment operation |
| JP6419677B2 (en) * | 2015-11-30 | 2018-11-07 | 住友重機械工業株式会社 | Perimeter monitoring system for work machines |
| DE102016118227A1 (en) * | 2016-09-27 | 2018-03-29 | Claas Selbstfahrende Erntemaschinen Gmbh | Image analysis system for agricultural machines |
-
2018
- 2018-12-21 JP JP2018239630A patent/JP6838040B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020101442A (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6553255B2 (en) | Peripheral monitoring system for work machine | |
| JP6838040B2 (en) | Obstacle detector for construction machinery | |
| JP6638831B2 (en) | Construction machinery | |
| EP3477006B1 (en) | Obstacle detection device for a construction machine | |
| JP6572156B2 (en) | Construction equipment interference prevention device | |
| JP6900897B2 (en) | Obstacle detector for construction machinery | |
| JP7258613B2 (en) | working machine | |
| JP6479344B2 (en) | Object detection system for construction machinery | |
| JP2020051156A (en) | Work machine | |
| JP2023181369A (en) | Obstacle detection device of construction machine | |
| US11898331B2 (en) | System and method for detecting objects within a working area | |
| US10565690B2 (en) | External interference removal device | |
| JP6925837B2 (en) | Peripheral monitoring system for work machines | |
| JP6982588B2 (en) | Work machine | |
| KR20220002938A (en) | shovel | |
| JP6824126B2 (en) | Anti-collision device when moving backwards in construction machinery | |
| JP7191183B1 (en) | working machine | |
| US11567173B2 (en) | Systems and methods for increasing lidar sensor coverage | |
| WO2023089936A1 (en) | Monitoring area setting system | |
| RU2785765C2 (en) | Control apparatus and method for controlling a logging machine | |
| KR20220064808A (en) | Dozer | |
| JP2022155718A (en) | Surrounding monitoring device, surrounding monitoring method and surrounding monitoring program | |
| JP2024005842A (en) | Work site monitoring system | |
| JP2021050583A (en) | Work machine | |
| CN116224358A (en) | Anti-falling method and device for mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6838040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |