JP2019125314A - Tip attachment discrimination device - Google Patents
Tip attachment discrimination device Download PDFInfo
- Publication number
- JP2019125314A JP2019125314A JP2018007324A JP2018007324A JP2019125314A JP 2019125314 A JP2019125314 A JP 2019125314A JP 2018007324 A JP2018007324 A JP 2018007324A JP 2018007324 A JP2018007324 A JP 2018007324A JP 2019125314 A JP2019125314 A JP 2019125314A
- Authority
- JP
- Japan
- Prior art keywords
- tip attachment
- posture
- camera
- controller
- tip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/28—Small metalwork for digging elements, e.g. teeth scraper bits
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/96—Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/267—Diagnosing or detecting failure of vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Shovels (AREA)
- Image Analysis (AREA)
- Component Parts Of Construction Machinery (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は、作業機械の先端アタッチメントの種類を判別する先端アタッチメント判別装置に関する。 The present invention relates to a tip attachment determination device that determines the type of tip attachment of a working machine.
例えば特許文献1に、先端アタッチメント(同文献におけるアタッチメント)を含む距離分布を距離センサが計測し、距離分布に基づいて先端アタッチメントを認識する技術が記載されている(同文献の請求項1などを参照)。 For example, Patent Document 1 describes a technology in which a distance sensor measures a distance distribution including a tip attachment (an attachment in the document) and recognizes the tip attachment based on the distance distribution (see, for example, reference).
同文献に記載の技術では、距離分布に基づいて先端アタッチメントの種類などが認識される。距離分布を計測するために、距離センサが用いられる。しかし、距離センサは、単眼カメラなどに比べ、コストが高い場合がある。また、先端アタッチメントの種類の判別を行う際、判別の精度を確保することが重要である。 In the technology described in the document, the type of tip attachment is recognized based on the distance distribution. A distance sensor is used to measure the distance distribution. However, the distance sensor may be more expensive than a monocular camera or the like. In addition, when determining the type of tip attachment, it is important to secure the accuracy of the determination.
そこで、本発明は、距離分布を用いなくても、精度よく、先端アタッチメントの種類を判別できる、先端アタッチメント判別装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a tip attachment determination device that can accurately determine the type of tip attachment without using a distance distribution.
本発明の先端アタッチメント判別装置は、作業装置と、カメラと、作業装置姿勢センサと、コントローラと、を備える。前記作業装置は、作業機械の上部旋回体に取り付けられ、複数種類に交換可能な先端アタッチメントを先端部に有する。前記カメラは、前記上部旋回体に取り付けられ、前記先端アタッチメントの可動範囲内の画像を撮影可能である。前記作業装置姿勢センサは、前記作業装置の姿勢を検出する。前記コントローラは、前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記カメラに撮影された画像内の前記先端アタッチメントを含む範囲の枠である検出枠を設定する。前記コントローラは、前記検出枠内の前記先端アタッチメントの画像に基づいて、前記先端アタッチメントの種類を判別する。 The tip attachment determination device of the present invention includes a work device, a camera, a work device posture sensor, and a controller. The work device is attached to the upper swing body of the work machine and has a plurality of types of replaceable tip attachments at its tip. The camera is attached to the upper swing body and can capture an image within a movable range of the tip attachment. The work device posture sensor detects the posture of the work device. The controller sets a detection frame which is a frame of a range including the tip attachment in the image captured by the camera, based on the posture of the work device detected by the work device posture sensor. The controller determines the type of the tip attachment based on an image of the tip attachment in the detection frame.
上記構成により、距離分布を用いなくても、精度よく、先端アタッチメントの種類を判別できる。 According to the above configuration, the type of tip attachment can be accurately determined without using a distance distribution.
図1〜図6を参照して、図1に示す先端アタッチメント判別装置1について説明する。 The tip attachment determination device 1 shown in FIG. 1 will be described with reference to FIGS.
先端アタッチメント判別装置1は、先端アタッチメント25の種類を自動的に判別する装置であり、作業機械10に設けられる。作業機械10は、建設作業などの作業を行う機械であり、例えば建設機械であり、例えばショベルなどである。作業機械10は、下部走行体11と、上部旋回体13と、作業装置20と、作業装置姿勢センサ30と、カメラ40と、図2に示すモニタ50と、コントローラ60と、を備える。 The tip attachment determination device 1 is a device that automatically determines the type of the tip attachment 25 and is provided in the work machine 10. The work machine 10 is a machine that performs work such as construction work, and is, for example, a construction machine, such as a shovel. The work machine 10 includes a lower traveling body 11, an upper swing body 13, a work device 20, a work device posture sensor 30, a camera 40, a monitor 50 shown in FIG. 2, and a controller 60.
下部走行体11は、図1に示すように、作業機械10を走行させる部分であり、例えばクローラを備える。下部走行体11の底面11b(作業機械10の底面)は、接地面Aに接する。上部旋回体13は、下部走行体11よりも上に設けられ、下部走行体11に対して旋回可能である。上部旋回体13は、キャブ13c(運転室)を備える。 The lower traveling body 11 is a portion for causing the working machine 10 to travel as shown in FIG. 1 and includes, for example, a crawler. The bottom surface 11 b of the lower traveling body 11 (the bottom surface of the work machine 10) is in contact with the ground contact surface A. The upper swing body 13 is provided above the lower traveling body 11 and can be pivoted with respect to the lower traveling body 11. The upper swing body 13 includes a cab 13 c (driver's cab).
作業装置20は、上部旋回体13に取り付けられ、作業を行う装置である。作業装置20は、ブーム21と、アーム23と、先端アタッチメント25と、を備える。ブーム21は、上部旋回体13に回転可能に取り付けられる。アーム23は、ブーム21に回転可能に取り付けられる。 The work device 20 is a device attached to the upper swing body 13 to perform work. The working device 20 includes a boom 21, an arm 23, and a tip attachment 25. The boom 21 is rotatably attached to the upper swing body 13. The arm 23 is rotatably attached to the boom 21.
先端アタッチメント25は、作業装置20の先端部に設けられる。先端アタッチメント25は、複数種類に交換可能である。先端アタッチメント25の種類には、バケット(図1に示す例)、クラムシェル、ハサミ状の装置、ハンマ、マグネットなどがある。先端アタッチメント25は、アーム23に回転可能に取り付けられる。先端アタッチメント25の基準となる位置を、基準位置25bとする。基準位置25bは、先端アタッチメント25の種類によらず決まる位置である。基準位置25bは、例えば、先端アタッチメント25の基端部であり、例えば、アーム23に対する先端アタッチメント25の回転軸(バケットピンなど)である。なお、図2および図3では、先端アタッチメント25を「先端ATT」と記載した。 The tip attachment 25 is provided at the tip of the working device 20. The tip attachment 25 can be replaced with a plurality of types. The types of tip attachments 25 include buckets (example shown in FIG. 1), clamshells, scissors-like devices, hammers, magnets, and the like. The tip attachment 25 is rotatably attached to the arm 23. A reference position of the tip attachment 25 is referred to as a reference position 25b. The reference position 25 b is a position determined regardless of the type of the tip attachment 25. The reference position 25 b is, for example, a proximal end portion of the distal end attachment 25, and is, for example, a rotation axis (a bucket pin or the like) of the distal end attachment 25 with respect to the arm 23. In FIGS. 2 and 3, the tip attachment 25 is described as “tip ATT”.
作業装置姿勢センサ30は、図1に示す作業装置20の姿勢を検出するセンサである。作業装置姿勢センサ30は、ブーム角度センサ31と、アーム角度センサ33と、先端アタッチメント角度センサ35と、を備える。ブーム角度センサ31は、上部旋回体13に対するブーム21の角度(ブーム21角度)を検出する。例えば、ブーム角度センサ31は、ブーム21の基端部に設けられる角度センサ(エンコーダ)である。例えば角度センサである点は、アーム角度センサ33、および先端アタッチメント角度センサ35も同様である。例えば、ブーム角度センサ31は、ブーム21を駆動させるブームシリンダの伸縮量を検出することで、ブーム21角度を検出してもよい。この場合、ブームシリンダの伸縮量が、ブーム21角度に変換される。シリンダの伸縮量を検出することで角度を検出してもよい点は、アーム角度センサ33および先端アタッチメント角度センサ35も同様である。アーム角度センサ33は、ブーム21に対するアーム23の角度(アーム23角度)を検出する。先端アタッチメント角度センサ35は、アーム23に対する先端アタッチメント25の角度(先端アタッチメント25角度)を検出する。 The work device posture sensor 30 is a sensor that detects the posture of the work device 20 shown in FIG. 1. The work device attitude sensor 30 includes a boom angle sensor 31, an arm angle sensor 33, and a tip attachment angle sensor 35. The boom angle sensor 31 detects an angle of the boom 21 (boom 21 angle) with respect to the upper swing body 13. For example, the boom angle sensor 31 is an angle sensor (encoder) provided at the base end of the boom 21. For example, the arm angle sensor 33 and the tip attachment angle sensor 35 are also similar in that they are angle sensors. For example, the boom angle sensor 31 may detect the boom 21 angle by detecting the amount of expansion and contraction of the boom cylinder that drives the boom 21. In this case, the expansion and contraction amount of the boom cylinder is converted into the boom 21 angle. The arm angle sensor 33 and the tip attachment angle sensor 35 are also similar in that the angle may be detected by detecting the amount of expansion and contraction of the cylinder. The arm angle sensor 33 detects an angle of the arm 23 (arm 23 angle) with respect to the boom 21. The tip attachment angle sensor 35 detects an angle of the tip attachment 25 (tip attachment 25 angle) with respect to the arm 23.
カメラ40(撮像装置)は、先端アタッチメント25の可動範囲内の画像を撮影可能である。カメラ40は、作業装置20およびその周囲の画像を撮影する。カメラ40は、先端アタッチメント25の可動範囲として想定される全範囲を撮影可能であることが好ましい。カメラ40は、上部旋回体13に取り付けられ、例えば、キャブ13c(例えば左前上部など)に取り付けられ、例えば、上部旋回体13のうちキャブ13c以外の部分に取り付けられてもよい。カメラ40は、上部旋回体13に対して固定される。カメラ40は、上部旋回体13に対して移動(例えば回動)可能でもよい。カメラ40は、例えば単眼カメラでもよく、例えばステレオカメラなどでもよい。カメラ40のコストを低くするために、カメラ40は単眼カメラであることが好ましい。カメラ40は、ズーム機能(光学ズーム機能)を有することが好ましい。具体的には、カメラ40のズーム位置(焦点距離)が、望遠側と広角側との間で連続的に可変であることが好ましい。なお、図1に、カメラ40の画角40aの一例を示す。 The camera 40 (imaging device) can capture an image within the movable range of the tip attachment 25. The camera 40 captures an image of the work device 20 and the periphery thereof. It is preferable that the camera 40 can capture the entire range assumed as the movable range of the tip attachment 25. The camera 40 may be attached to the upper swing body 13, for example, attached to the cab 13c (for example, upper left front etc.), and may be attached to a portion of the upper swing body 13 other than the cab 13c, for example. The camera 40 is fixed to the upper swing body 13. The camera 40 may be movable (for example, pivotable) with respect to the upper swing body 13. The camera 40 may be, for example, a monocular camera, and may be, for example, a stereo camera. In order to reduce the cost of the camera 40, the camera 40 is preferably a monocular camera. The camera 40 preferably has a zoom function (optical zoom function). Specifically, it is preferable that the zoom position (focal length) of the camera 40 be continuously variable between the telephoto side and the wide angle side. Note that FIG. 1 shows an example of the angle of view 40 a of the camera 40.
モニタ50は、各種情報を表示する。モニタ50は、カメラ40に撮影された画像を表示してもよい(図4参照)。モニタ50は、検出枠F(図4参照)(詳細は下記)を表示してもよい。モニタ50は、先端アタッチメント25の種類の判別結果を表示してもよい。 The monitor 50 displays various information. The monitor 50 may display an image captured by the camera 40 (see FIG. 4). The monitor 50 may display a detection frame F (see FIG. 4) (details will be described below). The monitor 50 may display the determination result of the type of the tip attachment 25.
コントローラ60(制御部)は、図2に示すように、信号(情報)の入出力、および演算(判定、算出)などを行う。コントローラ60は、第1コントローラ61(主制御部)と、第2コントローラ62(補助制御部)と、を備える。第1コントローラ61は、作業機械10(図1参照)の作動の制御などを行う。第1コントローラ61は、作業機械10に関する情報の取得、処理、および記憶などを行う。第1コントローラ61には、作業装置姿勢センサ30、カメラ40、およびモニタ50が接続される。第2コントローラ62は、先端アタッチメント25(図4参照)を含む画像情報から、先端アタッチメント25の種類を判別(特定)する。第2コントローラ62は、AI(Artificial Intelligence)による画像認識を実行する、認識手段である。なお、第1コントローラ61と第2コントローラ62とは、一つに統合されていてもよい。また、第1コントローラ61および第2コントローラ62の少なくともいずれかが、より細かく(例えば異なる種類の機能別に)分けられてもよい。 As shown in FIG. 2, the controller 60 (control unit) performs input / output of signals (information), calculation (determination, calculation), and the like. The controller 60 includes a first controller 61 (main control unit) and a second controller 62 (auxiliary control unit). The first controller 61 controls the operation of the work machine 10 (see FIG. 1). The first controller 61 performs acquisition, processing, storage, and the like of information related to the work machine 10. The first controller 61 is connected to the work device attitude sensor 30, the camera 40, and the monitor 50. The second controller 62 determines (specifies) the type of the tip attachment 25 from the image information including the tip attachment 25 (see FIG. 4). The second controller 62 is a recognition unit that executes image recognition by artificial intelligence (AI). The first controller 61 and the second controller 62 may be integrated into one. Also, at least one of the first controller 61 and the second controller 62 may be divided more finely (for example, by different types of functions).
(作動)
図3に示すフローチャートを参照して、先端アタッチメント判別装置1の作動(主にコントローラ60の作動)を説明する。なお、以下では、先端アタッチメント判別装置1の各構成要素(カメラ40、コントローラ60など)については主に図1を参照し、フローチャートの各ステップについては図3を参照して説明する。
(Operation)
The operation of the tip attachment determination device 1 (mainly the operation of the controller 60) will be described with reference to the flowchart shown in FIG. In the following, each component (camera 40, controller 60, etc.) of the tip attachment determination device 1 will be mainly described with reference to FIG. 1, and each step of the flowchart will be described with reference to FIG.
ステップS11では、カメラ40が、先端アタッチメント25を含む画像を撮影(時間的に連続して撮影)する。コントローラ60は、カメラ40に撮影された画像(図4参照)(以下、「カメラ画像Im」ともいう)の情報(画像情報、映像情報)を取得する。カメラ40が撮影した画像の例を、図4および図5に示す。図5では、図4に示す状態(近接状態)に比べ、先端アタッチメント25がカメラ40から遠ざかった状態(遠隔状態)を示す。なお、図4および図5では、作業機械10以外の部分の図示を省略した。 In step S11, the camera 40 captures an image including the tip attachment 25 (captures continuously in time). The controller 60 acquires information (image information, video information) of an image (see FIG. 4) (hereinafter, also referred to as “camera image Im”) captured by the camera 40. Examples of the image captured by the camera 40 are shown in FIGS. 4 and 5. FIG. 5 shows a state (remote state) in which the tip attachment 25 is farther from the camera 40 than in the state (proximity state) shown in FIG. 4. In addition, illustration of parts other than the working machine 10 was abbreviate | omitted in FIG. 4 and FIG.
ステップS13では、作業装置姿勢センサ30が、作業装置20の姿勢を検出する。さらに詳しくは、ブーム角度センサ31は、ブーム21角度を検出し、アーム角度センサ33は、アーム23角度を検出し、先端アタッチメント角度センサ35は、先端アタッチメント25角度を検出する。そして、コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢情報を取得する。コントローラ60は、ブーム21角度とアーム23角度とに基づいて、上部旋回体13に対する基準位置25bの相対位置を取得(算出、予測など)できる。コントローラ60は、基準位置25bの位置と先端アタッチメント25角度とに基づいて、先端アタッチメント25のおおよその位置を取得できる(詳細は後述)。 In step S13, the work device posture sensor 30 detects the posture of the work device 20. More specifically, the boom angle sensor 31 detects the boom 21 angle, the arm angle sensor 33 detects the arm 23 angle, and the tip attachment angle sensor 35 detects the tip attachment 25 angle. Then, the controller 60 acquires posture information of the work device 20 detected by the work device posture sensor 30. The controller 60 can acquire (calculate, predict, etc.) the relative position of the reference position 25b with respect to the upper swing body 13 based on the boom 21 angle and the arm 23 angle. The controller 60 can obtain the approximate position of the tip attachment 25 based on the position of the reference position 25b and the tip attachment 25 angle (details will be described later).
ステップS20では、コントローラ60が、図4に示す検出枠Fを設定(生成)する。検出枠Fは、カメラ40(図1参照)に撮影された画像(カメラ画像Im)内の枠であって、先端アタッチメント25を含む範囲の枠である。検出枠Fの内側の画像が、先端アタッチメント25の種類の判別に用いられる。検出枠Fの外側の画像は、先端アタッチメント25の種類の判別には用いられない。 In step S20, the controller 60 sets (generates) the detection frame F shown in FIG. The detection frame F is a frame in an image (camera image Im) captured by the camera 40 (see FIG. 1), and is a frame of a range including the tip attachment 25. An image inside the detection frame F is used to determine the type of the tip attachment 25. The image outside the detection frame F is not used to determine the type of the tip attachment 25.
(検出枠Fの設定)
カメラ画像Imにおける(画像上の、画像内での)、検出枠Fの、例えば位置、大きさ、および形状などは、次のように設定される。検出枠Fは、先端アタッチメント25の外形全体が検出枠Fの内側に含まれる(収まる)ように設定される。
(Setting of detection frame F)
For example, the position, size, and shape of the detection frame F in the camera image Im (on the image, in the image) are set as follows. The detection frame F is set such that the entire outer shape of the tip attachment 25 is included (fit) inside the detection frame F.
カメラ画像Imにおける、先端アタッチメント25の外形よりも外側の部分(背景部分)は、先端アタッチメント25の判別時に、余計な情報(ノイズ)となる。そのため、検出枠Fは、検出枠F内の背景部分ができるだけ少なくなるように設定されることが好ましい。検出枠Fは、先端アタッチメント25の外形全体が検出枠Fの内側に収まる範囲内で、できるだけ小さいことが好ましい。例えば、先端アタッチメント25が、検出枠F内部の中央部に映ることが好ましい。 A portion (background portion) outside the outer shape of the tip attachment 25 in the camera image Im becomes unnecessary information (noise) when the tip attachment 25 is determined. Therefore, the detection frame F is preferably set so that the background portion in the detection frame F is as small as possible. It is preferable that the detection frame F be as small as possible within a range in which the entire outer shape of the tip attachment 25 fits inside the detection frame F. For example, it is preferable that the tip attachment 25 be seen at the center of the inside of the detection frame F.
(作業装置20の姿勢に基づく検出枠Fの設定)
カメラ画像Imのどの位置に、どのような大きさで、先端アタッチメント25が映るかは、作業装置20の姿勢によって変わる。例えば、カメラ40に対して先端アタッチメント25が遠いほど、先端アタッチメント25が小さく映る(図5参照)。例えば、先端アタッチメント25が高い位置にあるほど、先端アタッチメント25が、カメラ画像Imにおける上の位置に映る。例えば、アーム23に対する先端アタッチメント25の角度によって、カメラ画像Imにおける先端アタッチメント25の縦横比が変わる。
(Setting of detection frame F based on the posture of work device 20)
The position of the camera image Im and the size and the size of the tip attachment 25 appear depend on the posture of the working device 20. For example, as the tip attachment 25 is farther from the camera 40, the tip attachment 25 appears smaller (see FIG. 5). For example, as the tip attachment 25 is at a higher position, the tip attachment 25 appears in the upper position in the camera image Im. For example, depending on the angle of the tip attachment 25 with respect to the arm 23, the aspect ratio of the tip attachment 25 in the camera image Im changes.
そこで、検出枠Fは、作業装置20の姿勢に基づいて設定される。例えば、検出枠Fは、カメラ画像Imにおける基準位置25bの位置に基づいて設定される。例えば、カメラ画像Imにおける基準位置25bの位置は、ブーム21角度およびアーム23角度に基づいて取得(算出、予測など)される。例えば、カメラ画像Imにおける基準位置25bの位置は、ブーム21角度およびアーム23角度に基づいて求められた、上部旋回体13に対する(カメラ40(図1参照)に対する)基準位置25bの位置に基づいて取得される。また、検出枠Fは、先端アタッチメント25角度に基づいて設定される。 Therefore, the detection frame F is set based on the posture of the work device 20. For example, the detection frame F is set based on the position of the reference position 25b in the camera image Im. For example, the position of the reference position 25b in the camera image Im is acquired (calculated, predicted, etc.) based on the boom 21 angle and the arm 23 angle. For example, the position of the reference position 25b in the camera image Im is based on the position of the reference position 25b (with respect to the camera 40 (see FIG. 1)) relative to the upper swing body 13 determined based on the boom 21 angle and the arm 23 angle. It is acquired. The detection frame F is set based on the tip attachment 25 angle.
このように、コントローラ60は、作業装置20の姿勢に基づいて、検出枠Fを設定する。よって、コントローラ60は、カメラ画像Imから、先端アタッチメント25を検出する処理(物体検出アルゴリズム)を使用する必要がない。よって、その分、コントローラ60の計算負荷を少なくできる。また、物体検出アルゴリズムを使用する必要がないので、種類の判別の対象となる先端アタッチメント25の検出位置を誤認識することがない。例えば、アーム23に取り付けられていない(種類の判別の対象ではない)先端アタッチメント25が、カメラ画像Imに映っている場合があるとする。この場合でも、判別の対象でない先端アタッチメント25は、検出枠Fの外に映るので、種類の判別の対象にならない。 As described above, the controller 60 sets the detection frame F based on the attitude of the work device 20. Therefore, the controller 60 does not have to use a process (object detection algorithm) for detecting the tip attachment 25 from the camera image Im. Therefore, the calculation load of the controller 60 can be reduced accordingly. In addition, since it is not necessary to use an object detection algorithm, there is no possibility of erroneously recognizing the detection position of the tip attachment 25 which is the target of type discrimination. For example, it is assumed that there is a case in which the tip attachment 25 not attached to the arm 23 (not a target of type determination) is shown in the camera image Im. Even in this case, since the tip attachment 25 which is not the target of determination is reflected outside the detection frame F, it is not the target of the type determination.
(作業機械10の構造の情報に基づく検出枠Fの設定)
カメラ画像Imのどの位置に、どのような大きさで、先端アタッチメント25が映るかは、作業機械10の構造によって変わる。例えば、ブーム21の長さ、およびアーム23の長さによって、カメラ画像Imにおける先端アタッチメント25の位置、大きさなどが変わる。また、例えば、作業機械10の大きさ(例えば「○○トン級」など)によって、作業装置20に設けられると想定される先端アタッチメント25の種類が変わる。すると、カメラ画像Imにおける先端アタッチメント25の位置、大きさなどが変わる。
(Setting of detection frame F based on information of structure of work machine 10)
The position of the camera image Im and the size and the size of the tip attachment 25 appear depend on the structure of the work machine 10. For example, depending on the length of the boom 21 and the length of the arm 23, the position, size, and the like of the tip attachment 25 in the camera image Im change. Further, for example, depending on the size of the work machine 10 (e.g., "○ ト ン class" or the like), the type of tip attachment 25 assumed to be provided in the work device 20 changes. Then, the position, size, and the like of the tip attachment 25 in the camera image Im change.
そこで、検出枠Fは、作業装置姿勢センサ30の検出値だけでなく、作業機械10の構造の情報(構造情報)にも基づいて設定されることが好ましい。この構造情報は、例えば、作業機械10の主要諸元に含まれる。この構造情報は、例えば、コントローラ60に予め設定(記憶)されてもよく、何らかの手段により取得されてもよい。この構造情報には、例えば、上部旋回体13の情報、ブーム21の情報、およびアーム23の情報が含まれる。この構造情報には、例えば、上部旋回体13、ブーム21、およびアーム23のそれぞれの、大きさ(寸法)、および相対的な位置が含まれる。この構造情報には、上部旋回体13に対するカメラ40の位置が含まれる。コントローラ60は、作業装置姿勢センサ30の検出値だけでなく、作業機械10の構造情報も用いることで、作業装置20の姿勢をより正確に取得(算出)でき、例えば、基準位置25bをより正確に取得(算出)できる。その結果、検出枠F内の背景部分をより少なくでき、先端アタッチメント25の種類判別の精度を向上させることができる。 Therefore, it is preferable that the detection frame F is set based not only on the detection value of the work device posture sensor 30 but also on information (structure information) of the structure of the work machine 10. This structural information is, for example, included in the main specifications of the work machine 10. This structure information may be preset (stored) in the controller 60, for example, or may be acquired by some means. The structure information includes, for example, information on the upper swing body 13, information on the boom 21, and information on the arm 23. This structural information includes, for example, the sizes (sizes) and relative positions of the upper swing body 13, the boom 21, and the arm 23, respectively. The structural information includes the position of the camera 40 with respect to the upper swing body 13. The controller 60 can obtain (calculate) the attitude of the work device 20 more accurately by using not only the detection value of the work device attitude sensor 30 but also the structure information of the work machine 10, for example, the reference position 25b more accurately Can be obtained (calculated). As a result, the background portion in the detection frame F can be further reduced, and the accuracy of the type determination of the tip attachment 25 can be improved.
作業機械10の構造情報を用いて検出枠Fを設定する場合、コントローラ60は、次の[例A1]または[例A2]のように処理できる。[例A1]まず、作業機械10の構造情報を用いずに、作業装置20の姿勢に基づいて、おおまかな検出枠Fが設定される。その後、作業機械10の構造情報に基づいて、検出枠Fが補正されてもよい。[例A2]上記[例A1]のような補正を行わずに、最初から、作業機械10構造情報および作業装置20の姿勢に基づいて、検出枠Fが設定されてもよい。なお、検出枠Fの形状は、図4に示す例では長方形であるが、四角形以外の多角形、円形、楕円形、またはこれらに近い形状などでもよい。 When setting the detection frame F using the structure information of the work machine 10, the controller 60 can perform processing as in the following [Example A1] or [Example A2]. [Example A1] First, the rough detection frame F is set based on the posture of the work device 20 without using the structure information of the work machine 10. Thereafter, the detection frame F may be corrected based on the structure information of the work machine 10. [Example A2] The detection frame F may be set from the beginning based on the structure information of the work machine 10 and the posture of the work device 20 without performing the correction as in the above [Example A1]. The shape of the detection frame F is a rectangle in the example shown in FIG. 4, but it may be a polygon other than a quadrangle, a circle, an ellipse, or a shape close to these.
なお、作業機械10の構造情報がなくても、作業機械10の構造は、おおよそ決まっている(ある範囲内に限定される)。よって、コントローラ60は、作業機械10の構造情報を取得しない場合でも、先端アタッチメント25を含むように検出枠Fを設定できる。 In addition, even if there is no structure information of the working machine 10, the structure of the working machine 10 is roughly determined (it is limited within a certain range). Therefore, even when the controller 60 does not acquire the structural information of the work machine 10, the detection frame F can be set so as to include the tip attachment 25.
(検出枠Fの変化)
コントローラ60は、作業装置20の姿勢の変化に応じて、検出枠Fの設定を逐次変える。具体的には例えば、検出枠Fは次のように変えられる。カメラ画像Imにおける基準位置25bの位置が変化した場合、コントローラ60は、基準位置25bの変化後の位置に応じて、検出枠Fの位置を変える。基準位置25bがカメラ40から遠ざかり、カメラ画像Imに映る先端アタッチメント25が小さくなる場合、コントローラ60は、検出枠Fを小さくする。同様に、基準位置25bがカメラ40に近づき、カメラ画像Imに映る先端アタッチメント25が大きくなる場合、コントローラ60は、検出枠Fを大きくする。アーム23に対する先端アタッチメント25の角度が変化し、カメラ画像Imに映る先端アタッチメント25の縦横比が変わると想定される場合、コントローラ60は、検出枠Fの縦横比を変える。
(Change of detection frame F)
The controller 60 sequentially changes the setting of the detection frame F according to the change of the posture of the work device 20. Specifically, for example, the detection frame F is changed as follows. When the position of the reference position 25b in the camera image Im changes, the controller 60 changes the position of the detection frame F according to the position after the change of the reference position 25b. When the reference position 25b moves away from the camera 40 and the tip attachment 25 shown in the camera image Im becomes smaller, the controller 60 reduces the detection frame F. Similarly, the controller 60 enlarges the detection frame F when the reference position 25 b approaches the camera 40 and the tip attachment 25 reflected in the camera image Im becomes large. The controller 60 changes the aspect ratio of the detection frame F when it is assumed that the angle of the tip attachment 25 with respect to the arm 23 changes and the aspect ratio of the tip attachment 25 shown in the camera image Im changes.
ステップS31では、図6に示すように、先端アタッチメント25の位置がカメラ40の死角になり得る位置か否かが判定される。例えば、作業機械10の掘削作業時などに、先端アタッチメント25がカメラ40の死角に入る場合がある。この判定を行うために、コントローラ60には、所定姿勢条件が予め設定される。所定姿勢条件は、作業装置20の姿勢の条件であって、先端アタッチメント25の位置がカメラ40の死角になり得る条件である。具体的には、作業機械10の接地面Aに対して作業機械10が配置される側(Z1側)とは反対側(Z2側)に、先端アタッチメント25(の少なくとも一部)が配置され得る条件である。接地面Aは、底面11bと平行、かつ、底面11bを含む仮想面である。接地面Aが水平面の場合は、上記「接地面Aに対して作業機械10が配置される側(Z1側)とは反対側(Z2側)」は、接地面Aに対して下側である。 In step S31, as shown in FIG. 6, it is determined whether or not the position of the tip attachment 25 can be a blind spot of the camera 40. For example, the tip attachment 25 may enter a blind spot of the camera 40 at the time of excavating work of the work machine 10 or the like. In order to make this determination, a predetermined posture condition is set in advance in the controller 60. The predetermined posture condition is a condition of the posture of the working device 20, and is a condition under which the position of the tip attachment 25 can be a blind spot of the camera 40. Specifically, (at least a part of) the tip attachment 25 may be disposed on the side (Z2 side) opposite to the side (Z1 side) on which the work machine 10 is disposed with respect to the ground contact surface A of the work machine 10 It is a condition. The ground plane A is a virtual plane parallel to the bottom surface 11 b and including the bottom surface 11 b. When the ground plane A is a horizontal plane, the above-mentioned “side opposite to the side where the work machine 10 is disposed (Z1 side) to the ground plane A (Z2 side)” is the lower side with respect to the ground plane A .
このステップS31の時点では、先端アタッチメント25の種類が不明であり、先端アタッチメント25の構造(寸法、形状など)が不明である。そのため、作業装置20の姿勢が分かっても、実際に先端アタッチメント25が接地面AよりもZ2側に配置されるかどうかは不明である。そこで、例えば、作業装置20に設けられると想定される先端アタッチメント25の中で最も大きい先端アタッチメント25が、接地面Aに対してZ2側に配置されるような作業装置20の姿勢を、所定姿勢条件としてもよい。例えば、接地面Aから基準位置25bまでの距離に基づいて、所定姿勢条件が設定されてもよい。 At the time of step S31, the type of the tip attachment 25 is unknown, and the structure (size, shape, etc.) of the tip attachment 25 is unknown. Therefore, even if the posture of the working device 20 is known, it is unclear whether the tip attachment 25 is actually disposed closer to the Z2 side than the ground plane A. Therefore, for example, the posture of the working device 20 is set such that the largest tip attachment 25 of the tip attachments 25 assumed to be provided to the working device 20 is disposed on the Z2 side with respect to the ground plane A. It may be a condition. For example, the predetermined posture condition may be set based on the distance from the ground plane A to the reference position 25b.
図1に示すように、作業装置姿勢センサ30に検出された作業装置20の姿勢が、所定姿勢条件を満たさない場合(ステップS31でYESの場合)、ステップS33に進む(コントローラ60は、先端アタッチメント25の種類の判別を行う場合がある)。図6に示すように、作業装置20の姿勢が、所定姿勢条件を満たす場合(S31でNOの場合)、コントローラ60は、先端アタッチメント25の種類の判別を行わない。この場合、今回のフローが終了され、例えば「開始」に戻る。このように、カメラ40の死角になり得る位置に先端アタッチメント25が配置される場合には、先端アタッチメント25の種類の判別が行われないので、誤判別をなくすことができ、不要な処理をなくすことができる。 As shown in FIG. 1, when the posture of the working device 20 detected by the working device posture sensor 30 does not satisfy the predetermined posture condition (YES in step S31), the process proceeds to step S33 (the controller 60 attaches the tip) 25 types of discrimination may be performed). As shown in FIG. 6, when the posture of the work device 20 satisfies the predetermined posture condition (NO in S31), the controller 60 does not determine the type of the tip attachment 25. In this case, the current flow is ended and, for example, the process returns to "start". As described above, when the tip attachment 25 is disposed at a position where the camera 40 can become a blind spot, the type of the tip attachment 25 is not determined, so erroneous determination can be eliminated and unnecessary processing is eliminated. be able to.
なお、図3に示すフローチャートでは、図1に示すカメラ40の画像情報が取得(S11)された後に、作業装置20の姿勢情報が取得(S13)され、ステップS31の判定が行われた。一方、カメラ40の画像情報が取得されていない状態(S11の処理が行われていない状態)で、作業装置20の姿勢情報が取得(S13)され、ステップS31の判定が行われてもよい(ステップS33の判定も同様)。そして、作業装置20の姿勢が、所定姿勢条件を満たさない場合(ステップS31でNOの場合)に、今回のフローが終了されてもよい(ステップS33でNOの場合も同様)。この場合は、コントローラ60は、カメラ40の画像情報の取得を行わず、さらに、先端アタッチメント25の種類の判別を行わない。 In the flowchart shown in FIG. 3, after the image information of the camera 40 shown in FIG. 1 is acquired (S11), the posture information of the working device 20 is acquired (S13), and the determination of step S31 is performed. On the other hand, in a state where the image information of the camera 40 is not acquired (state in which the process of S11 is not performed), the posture information of the work device 20 may be acquired (S13) and the determination of step S31 may be performed ( The same applies to the determination in step S33). Then, when the posture of the work device 20 does not satisfy the predetermined posture condition (NO in step S31), the current flow may be ended (the same applies to NO in step S33). In this case, the controller 60 does not acquire the image information of the camera 40, and does not determine the type of the tip attachment 25.
ステップS33では、コントローラ60は、カメラ40から先端アタッチメント25までの距離に対応する対応距離Lを判定する。対応距離Lが遠すぎると、図5に示すカメラ画像Imにおいて先端アタッチメント25が小さく映り、先端アタッチメント25の部分の画像を拡大しても不鮮明となり、先端アタッチメント25の種類の判別の精度を確保できない場合がある。そこで、図1に示す対応距離Lが、判別の精度を確保できる大きさかどうかが判定される。さらに詳しくは、コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、先端アタッチメント25からカメラ40までの距離に対応する対応距離Lを取得する。 In step S33, the controller 60 determines the corresponding distance L corresponding to the distance from the camera 40 to the tip attachment 25. If the corresponding distance L is too long, the tip attachment 25 appears small in the camera image Im shown in FIG. 5, and even if the image of the tip attachment 25 is enlarged, it becomes unclear and the accuracy of discrimination of the type of the tip attachment 25 can not be ensured. There is a case. Therefore, it is determined whether the corresponding distance L shown in FIG. 1 is a size that can ensure the accuracy of the determination. More specifically, the controller 60 obtains a corresponding distance L corresponding to the distance from the tip attachment 25 to the camera 40 based on the posture of the working device 20 detected by the working device posture sensor 30.
このステップS33の時点では、先端アタッチメント25の種類が不明であり、先端アタッチメント25の構造が不明である。そのため、カメラ40から先端アタッチメント25までの実際の距離は不明である。そこで、ステップS33の判定では、カメラ40から先端アタッチメント25までの実際の距離に対応する対応距離Lが用いられる。例えば、対応距離Lは、カメラ40から基準位置25bまでの距離でもよい(ステップS35も同様)。例えば、対応距離Lは、作業装置20に設けられると想定される先端アタッチメント25の中で最も大きい先端アタッチメント25と、カメラ40と、の間の距離でもよい(ステップS35も同様)。 At the time of step S33, the type of the tip attachment 25 is unknown, and the structure of the tip attachment 25 is unknown. Therefore, the actual distance from the camera 40 to the tip attachment 25 is unknown. Therefore, in the determination of step S33, the corresponding distance L corresponding to the actual distance from the camera 40 to the tip attachment 25 is used. For example, the corresponding distance L may be the distance from the camera 40 to the reference position 25b (the same applies to step S35). For example, the corresponding distance L may be the distance between the largest tip attachment 25 of the tip attachments 25 assumed to be provided to the working device 20 and the camera 40 (same as in step S35).
対応距離Lが、予め定められた第1所定距離以下の場合(ステップS33でYESの場合)、ステップS35に進む(コントローラ60は、先端アタッチメント25の種類の判別を行う場合がある)。第1所定距離の値は、コントローラ60に予め設定される。第1所定距離は、先端アタッチメント25の判別の精度が確保できるか否かに応じて設定される。例えば、第1所定距離は、カメラ40性能、および、第2コントローラ62の判別の能力などに応じて設定される(ステップS35で用いられる第2所定距離も同様)。なお、例えば、カメラ40のズーム機能が用いられる場合は、ズーム位置を最も望遠側にした状態で先端アタッチメント25の判別の精度が確保できればよい。第1所定距離は、図3に示す例では5mであるが、様々に設定可能である。 If the corresponding distance L is equal to or less than a predetermined first predetermined distance (YES in step S33), the process proceeds to step S35 (the controller 60 may determine the type of the tip attachment 25). The value of the first predetermined distance is preset in the controller 60. The first predetermined distance is set in accordance with whether or not the determination accuracy of the tip attachment 25 can be ensured. For example, the first predetermined distance is set in accordance with the camera 40 performance, the determination ability of the second controller 62, and the like (the same applies to the second predetermined distance used in step S35). In addition, for example, when the zoom function of the camera 40 is used, it is only necessary to ensure the accuracy of the determination of the distal end attachment 25 in the state where the zoom position is at the most telephoto side. The first predetermined distance is 5 m in the example shown in FIG. 3, but can be set variously.
対応距離Lが、第1所定距離よりも大きい場合(ステップS33でNOの場合)、コントローラ60は、先端アタッチメント25の種類の判別を行わない。この場合、今回のフローが終了され、例えば「開始」に戻る。このように、カメラ40から先端アタッチメント25までの距離に対応する対応距離Lが大きく、先端アタッチメント25の種類の判別の精度を確保できないおそれがある場合には、先端アタッチメント25の種類の判別が行われない。よって、誤判別をなくすことができ、不要な処理をなくすことができる。 When the corresponding distance L is larger than the first predetermined distance (NO in step S33), the controller 60 does not determine the type of the tip attachment 25. In this case, the current flow is ended and, for example, the process returns to "start". As described above, when the corresponding distance L corresponding to the distance from the camera 40 to the distal end attachment 25 is large and there is a possibility that the accuracy of the determination of the type of the distal end attachment 25 can not be secured, the determination of the type of the distal end attachment 25 I can not do it. Therefore, erroneous determination can be eliminated, and unnecessary processing can be eliminated.
ステップS35では、コントローラ60が、対応距離Lに基づいて、カメラ40のズーム位置を最も広角側よりも望遠側の位置にするか否かを判定する。対応距離Lが、第2所定距離以上の場合(ステップS35でYESの場合)、ステップS37に進む。第2所定距離の値は、コントローラ60に予め設定される。第2所定距離は、第1所定距離よりも小さい。第2所定距離は、図3に示す例では3mであるが、様々に設定可能である。対応距離Lが、第2所定距離未満の場合(ステップS35でNOの場合)、カメラ40のズーム位置を最も広角側とし、ステップS40に進む。なお、どの距離を対応距離Lにするかは様々に設定可能であるところ、ステップS33の判定で用いられる対応距離Lと、ステップS35の判定で用いられる対応距離Lとは、同じでもよく、相違してもよい。 In step S35, the controller 60 determines, based on the corresponding distance L, whether or not the zoom position of the camera 40 is to be on the telephoto side of the wide-angle side. If the corresponding distance L is equal to or greater than the second predetermined distance (YES in step S35), the process proceeds to step S37. The value of the second predetermined distance is preset in the controller 60. The second predetermined distance is smaller than the first predetermined distance. The second predetermined distance is 3 m in the example shown in FIG. 3, but can be set variously. If the corresponding distance L is less than the second predetermined distance (NO in step S35), the zoom position of the camera 40 is set to the widest angle side, and the process proceeds to step S40. Note that although it is possible to set which distance is to be the corresponding distance L in various ways, the corresponding distance L used in the determination of step S33 and the corresponding distance L used in the determination of step S35 may be the same or different You may
ステップS37では、コントローラ60が、カメラ40のズーム位置を、最も広角側よりも望遠側の位置にする。対応距離Lが遠くなるほど、カメラ40のズーム位置が、望遠側に設定され、検出枠Fを含む画像が拡大される。この制御が行われるのは、対応距離Lが、第1所定値以下(S33でYES)(例えば5m以下)、かつ、第2所定値以上(S35でYES)(例えば3m以上)の場合である。カメラ40のズーム位置を望遠側にすることで、先端アタッチメント25の画像をそのまま引き延ばして拡大するよりも、先端アタッチメント25の画像が鮮明になり、先端アタッチメント25の種類の判別の精度を向上させることができる。 In step S37, the controller 60 sets the zoom position of the camera 40 to a position closer to the telephoto side than to the wide angle side. As the corresponding distance L is farther, the zoom position of the camera 40 is set to the telephoto side, and the image including the detection frame F is enlarged. This control is performed when the corresponding distance L is equal to or less than the first predetermined value (YES in S33) (for example, 5 m or less) and equal to or more than the second predetermined value (YES in S35) (for example, 3 m or more) . By setting the zoom position of the camera 40 to the telephoto side, the image of the tip attachment 25 becomes clearer than when the image of the tip attachment 25 is stretched and enlarged as it is, and the accuracy of determination of the type of the tip attachment 25 is improved. Can.
ステップS40では、コントローラ60(第2コントローラ62(図2参照))が、先端アタッチメント25の種類を判別する。この判別は、検出枠F内の先端アタッチメント25の画像に基づいて行われる。この判別は、検出枠F内の先端アタッチメント25の画像から取得される先端アタッチメント25の特徴量と、コントローラ60に予め設定された特徴量と、の比較により行われる。判別に用いられる特徴量は、例えば先端アタッチメント25の輪郭の形状(外形)である。 In step S40, the controller 60 (the second controller 62 (see FIG. 2)) determines the type of the tip attachment 25. This determination is performed based on the image of the tip attachment 25 in the detection frame F. This determination is performed by comparing the feature amount of the tip attachment 25 acquired from the image of the tip attachment 25 in the detection frame F with the feature amount preset in the controller 60. The feature amount used for the determination is, for example, the shape (outer shape) of the outline of the tip attachment 25.
さらに詳しくは、図2に示す第1コントローラ61は、検出枠F(図4参照)内の画像を、任意の条件、タイミングで切り出す(抜き出す、検出枠F以外の部分を取り除く)。切り出される検出枠F内の画像の数は、1でもよく、複数でもよい(複数の画像に基づいて判別が行われてもよい)。第1コントローラ61は、切り出した画像を、第2コントローラ62に出力する。第2コントローラ62には、先端アタッチメント25の種類の判別の基準となる画像(基準画像)が予め設定される。基準画像には、様々な種類の先端アタッチメント25の、様々な姿勢の画像が含まれる。第2コントローラ62は、第1コントローラ61から入力された検出枠F内の画像(入力画像)から、特徴量(例えば輪郭形状)を取得する。そして、第2コントローラ62は、入力画像の特徴量と、基準画像の特徴量と、を比較することで、先端アタッチメント25の種類を判別する。入力画像の特徴量と、基準画像の特徴量と、の傾向が一致するほど、先端アタッチメント25の種類判別の精度が高くなる。また、基準画像が多いほど(学習量が多いほど)、先端アタッチメント25の種類判別の精度が高くなる。そして、第2コントローラ62は、判別結果を第1コントローラ61に出力する。 More specifically, the first controller 61 shown in FIG. 2 cuts out the image in the detection frame F (see FIG. 4) under an arbitrary condition and timing (extracts and removes portions other than the detection frame F). The number of images in the detection frame F to be cut out may be one or a plurality (the determination may be performed based on a plurality of images). The first controller 61 outputs the clipped image to the second controller 62. In the second controller 62, an image (reference image) as a reference for determining the type of the tip attachment 25 is set in advance. The reference image includes images of various postures of various types of tip attachments 25. The second controller 62 acquires a feature (for example, a contour shape) from the image (input image) in the detection frame F input from the first controller 61. Then, the second controller 62 determines the type of the tip attachment 25 by comparing the feature amount of the input image and the feature amount of the reference image. As the tendency of the feature amount of the input image and the feature amount of the reference image is matched, the accuracy of the type determination of the tip attachment 25 becomes higher. Further, as the number of reference images is larger (the amount of learning is larger), the accuracy of the type determination of the tip attachment 25 is higher. Then, the second controller 62 outputs the determination result to the first controller 61.
ここで、図1に示すカメラ40が上部旋回体13に固定されている場合は、カメラ40が上部旋回体13に固定されていない場合に比べ、先端アタッチメント25に対するカメラ40の撮影角度が限定される。よって、カメラ40を上部旋回体13に固定した場合は、先端アタッチメント25の種類の判別に必要な基準画像を減らすことができる(基準画像の収集が容易になる)。 Here, when the camera 40 shown in FIG. 1 is fixed to the upper swing body 13, the imaging angle of the camera 40 with respect to the tip attachment 25 is limited as compared with the case where the camera 40 is not fixed to the upper swing body 13. Ru. Therefore, when the camera 40 is fixed to the upper swinging body 13, the reference image required to determine the type of the tip attachment 25 can be reduced (collection of the reference image becomes easy).
ステップS50では、図3に示すように、コントローラ60が、モニタ50に、判別結果を出力する。なお、判別結果は、作業機械10の制御(作動の制御など)に用いられてもよい。 In step S50, as shown in FIG. 3, the controller 60 outputs the determination result to the monitor 50. The determination result may be used for control of the work machine 10 (control of operation, etc.).
(距離センサを用いた技術との比較)
図1に示す先端アタッチメント25の種類の判別が、距離センサにより検出された距離分布(距離画像、深度分布)に基づいて行われる場合について検討する。この場合、距離センサは、単眼カメラよりもコストが高いという問題がある。また、距離センサは、単眼カメラよりも、埃による影響が大きいという問題がある。一方、本実施形態では、カメラ40として単眼カメラを使える。カメラ40が単眼カメラの場合は、これらの問題をなくすことができる。
(Comparison with technology using distance sensor)
A case will be examined where the type of the tip attachment 25 shown in FIG. 1 is determined based on the distance distribution (distance image, depth distribution) detected by the distance sensor. In this case, there is a problem that the distance sensor is more expensive than a monocular camera. In addition, the distance sensor has a problem that the influence of dust is greater than that of a monocular camera. On the other hand, in the present embodiment, a monocular camera can be used as the camera 40. When the camera 40 is a monocular camera, these problems can be eliminated.
また、TOF(Time Of Flight)センサなどの距離センサは、単眼カメラよりも検知範囲が限られる(画角が狭い)。そこで、例えば先端アタッチメント25を地面に接触させた姿勢など、作業装置20を特定の限られた姿勢にした状態で、距離センサを用いて先端アタッチメント25周辺の距離分布を計測することが考えられる。しかし、この場合、先端アタッチメント25の種類を判別する際、作業装置20を特定の姿勢にする必要があるので、手間がかかる。一方、本実施形態では、先端アタッチメント25の種類を判別する際、作業装置20の姿勢を、ほぼ任意の姿勢にできる。よって、本実施形態では、先端アタッチメント25の種類の判別時の、作業装置20の姿勢の自由度が高い。さらに詳しくは、本実施形態では、先端アタッチメント25の種類の判別を行わない状態(図3のS31でNO、S33でNOの場合)を除いて、任意の作業装置20の姿勢で、先端アタッチメント25の種類の判別を行える。なお、先端アタッチメント25の種類の判別を行わない条件は、様々に設定可能である。 In addition, a distance sensor such as a TOF (Time Of Flight) sensor has a narrower detection range (a narrow angle of view) than a monocular camera. Therefore, it is conceivable to measure the distance distribution around the tip attachment 25 using a distance sensor in a state in which the working device 20 is in a specific limited attitude, such as the attitude in which the tip attachment 25 is in contact with the ground. However, in this case, when the type of the tip attachment 25 is determined, it is necessary to set the working device 20 in a specific posture, which takes time and effort. On the other hand, in the present embodiment, when the type of the tip attachment 25 is determined, the posture of the working device 20 can be made almost arbitrary. Therefore, in the present embodiment, the degree of freedom of the posture of the working device 20 at the time of determining the type of the tip attachment 25 is high. More specifically, in the present embodiment, the tip attachment 25 is in any posture of the working device 20 except in a state where the type of the tip attachment 25 is not determined (NO in S31 of FIG. 3 and NO in S33). It is possible to determine the type of The conditions under which the type of the tip attachment 25 is not determined can be set variously.
(効果)
図1に示す先端アタッチメント判別装置1による効果は次の通りである。
(effect)
The effects of the tip attachment determination device 1 shown in FIG. 1 are as follows.
(第1の発明の効果)
先端アタッチメント判別装置1は、作業装置20と、カメラ40と、作業装置姿勢センサ30と、コントローラ60と、を備える。作業装置20は、作業機械10の上部旋回体13に取り付けられる。作業装置20は、複数種類に交換可能な先端アタッチメント25を先端部(作業装置20の先端部)に有する。カメラ40は、上部旋回体13に取り付けられ、先端アタッチメント25の可動範囲内の画像を撮影可能である。作業装置姿勢センサ30は、作業装置20の姿勢を検出する。
(Effect of the first invention)
The tip attachment determination device 1 includes a work device 20, a camera 40, a work device posture sensor 30, and a controller 60. The work device 20 is attached to the upper swing body 13 of the work machine 10. The working device 20 has a tip attachment 25 that can be replaced with a plurality of types at the tip (the tip of the working device 20). The camera 40 is attached to the upper swing body 13 and can capture an image within the movable range of the tip attachment 25. The work device posture sensor 30 detects the posture of the work device 20.
[構成1−1]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像内の先端アタッチメント25を含む範囲の枠である検出枠F(図4参照)を設定する(以下、検出枠Fについては図4参照)。 [Configuration 1-1] The controller 60 is a detection frame F that is a frame of a range including the tip attachment 25 in the image captured by the camera 40 based on the posture of the work device 20 detected by the work device posture sensor 30. (See FIG. 4) (hereinafter, see FIG. 4 for the detection frame F).
[構成1−2]コントローラ60は、検出枠F内の先端アタッチメント25の画像に基づいて、先端アタッチメント25の種類を判別する。 [Configuration 1-2] The controller 60 determines the type of the tip attachment 25 based on the image of the tip attachment 25 in the detection frame F.
上記[構成1−2]では、コントローラ60は、先端アタッチメント25の種類の判別を、画像に基づいて行う。よって、コントローラ60は、距離分布を用いなくても、先端アタッチメント25の種類の判別を行える。その結果、カメラ40が距離分布を取得する必要がある場合に比べ、カメラ40にかかるコストを低減できる。 In the above [Configuration 1-2], the controller 60 determines the type of the tip attachment 25 based on an image. Therefore, the controller 60 can determine the type of the tip attachment 25 without using the distance distribution. As a result, the cost of the camera 40 can be reduced as compared to the case where the camera 40 needs to acquire the distance distribution.
一方、先端アタッチメント25の種類の判別が、画像に基づいて行われる場合は、距離分布を用いて行われる場合に比べ、距離の情報の分、判別のための情報が少ないと言える。そのため、判別のための情報が少なくても、先端アタッチメント25の種類の判別の精度を確保することが重要になる。ここで、作業装置20の姿勢によって、カメラ画像Imにおける先端アタッチメント25の映り方(例えば位置、大きさ、形状など)が変わる。 On the other hand, when the type of the tip attachment 25 is determined based on an image, it can be said that there is less information for determination by the distance information than in the case where it is performed using the distance distribution. Therefore, it is important to secure the accuracy of discrimination of the type of the tip attachment 25 even if the information for discrimination is small. Here, depending on the attitude of the working device 20, the manner in which the tip attachment 25 in the camera image Im appears (for example, position, size, shape, etc.) changes.
そこで、上記[構成1−1]では、コントローラ60は、先端アタッチメント25を含む検出枠Fを、作業装置20の姿勢に基づいて設定する。よって、コントローラ60は、先端アタッチメント25の種類の判別に適した検出枠Fを設定できる。例えば、コントローラ60は、先端アタッチメント25の全体が含まれ、かつ、先端アタッチメント25の周囲の背景部分ができるだけ少なくなるように、検出枠Fを設定できる。よって、作業装置20の姿勢に基づいた検出枠Fの設定を行わない場合に比べ、先端アタッチメント25の種類の判別の精度を向上させることができる。したがって、先端アタッチメント判別装置1は、距離分布を用いなくても、精度よく、先端アタッチメント25の種類の判別を行える。 Therefore, in the above [Configuration 1-1], the controller 60 sets the detection frame F including the tip attachment 25 based on the posture of the work device 20. Therefore, the controller 60 can set the detection frame F suitable for determining the type of the tip attachment 25. For example, the controller 60 can set the detection frame F so that the entire tip attachment 25 is included and the background portion around the tip attachment 25 is as small as possible. Therefore, compared with the case where the setting of the detection frame F based on the attitude | position of the working apparatus 20 is not performed, the precision of discrimination | determination of the kind of the tip attachment 25 can be improved. Therefore, the tip attachment determination device 1 can accurately determine the type of the tip attachment 25 without using the distance distribution.
(第2の発明の効果)
[構成2]カメラ40は、上部旋回体13に固定される。
(Effect of the second invention)
[Configuration 2] The camera 40 is fixed to the upper swing body 13.
上記[構成2]により、カメラ40が上部旋回体13に固定されない場合に比べ、先端アタッチメント25に対するカメラ40の撮影角度が限定される。よって、先端アタッチメント25の種類の判別に必要な情報量を減らすことができる。 By the above [Configuration 2], the imaging angle of the camera 40 with respect to the tip attachment 25 is limited as compared with the case where the camera 40 is not fixed to the upper swing body 13. Therefore, the amount of information required to determine the type of the tip attachment 25 can be reduced.
(第3の発明の効果)
[構成3]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢の変化に応じて、検出枠Fの設定を逐次変える。
(Effect of the third invention)
[Configuration 3] The controller 60 sequentially changes the setting of the detection frame F in accordance with the change in the posture of the work device 20 detected by the work device posture sensor 30.
上記[構成3]により、検出枠Fが設定された後、作業装置20の姿勢が変化しても、コントローラ60は、先端アタッチメント25の種類の判別を行える。 After the detection frame F is set by the above [Configuration 3], the controller 60 can determine the type of the tip attachment 25 even if the posture of the working device 20 changes.
(第4の発明の効果)
[構成4]コントローラ60は、作業機械10の構造の情報に基づいて検出枠Fを設定する。
(Effect of the fourth invention)
[Configuration 4] The controller 60 sets the detection frame F based on the information of the structure of the work machine 10.
上記[構成1−1]および[構成4]では、コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢、および、作業機械10の構造の情報に基づいて、検出枠Fを設定する。よって、コントローラ60は、作業装置20の姿勢のみに基づいて検出枠Fが設定される場合に比べ、先端アタッチメント25の種類の判別により適した検出枠Fを設定できる。 In the above [Configuration 1-1] and [Configuration 4], the controller 60 detects the detection frame F based on the posture of the work device 20 detected by the work device posture sensor 30 and the information of the structure of the work machine 10 Set Therefore, the controller 60 can set the detection frame F suitable for determining the type of the tip attachment 25 as compared to the case where the detection frame F is set based on only the posture of the work device 20.
(第5の発明の効果)
[構成5]カメラ40は、ズーム機能を備える。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、先端アタッチメント25からカメラ40までの距離が遠くなるような姿勢であるほど、カメラ40のズーム位置を望遠側にする。
(Effects of the fifth invention)
[Configuration 5] The camera 40 has a zoom function. The controller 60 moves the zoom position of the camera 40 to the telephoto side as the distance from the tip attachment 25 to the camera 40 increases, based on the posture of the work device 20 detected by the work device posture sensor 30. Do.
上記[構成5]により、先端アタッチメント25からカメラ40までの距離が遠くなっても、カメラ40のズーム位置を望遠側にすることで、検出枠F内の先端アタッチメント25の画像の解像度を上げることができる。よって、先端アタッチメント25の種類の判別の精度を向上させることができる。 By the above [Configuration 5], the resolution of the image of the tip attachment 25 in the detection frame F is increased by setting the zoom position of the camera 40 to the telephoto side even if the distance from the tip attachment 25 to the camera 40 increases. Can. Therefore, the accuracy of determination of the type of the tip attachment 25 can be improved.
(第6の発明の効果)
図6に示すように、コントローラ60には、作業装置20の姿勢の条件であって、作業機械10の接地面Aに対して作業機械10が配置される側(Z1側)とは反対側(Z2側)に先端アタッチメント25が配置され得る条件である所定姿勢条件が予め設定される。
(Effect of the sixth invention)
As shown in FIG. 6, the controller 60 is a condition of the posture of the work device 20 and is opposite to the side (Z1 side) on which the work machine 10 is disposed with respect to the ground plane A of the work machine 10 A predetermined posture condition which is a condition under which the distal end attachment 25 can be disposed on the Z2 side) is preset.
[構成6−1]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢が、所定姿勢条件を満たさない場合(図3のステップS31でNOの場合)、図6に示す先端アタッチメント25の種類の判別を行う場合がある。 [Configuration 6-1] If the posture of the work device 20 detected by the work device posture sensor 30 does not satisfy the predetermined posture condition (case of NO in step S31 of FIG. 3), the controller 60 causes the tip shown in FIG. The type of attachment 25 may be determined.
[構成6−2]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢が、所定姿勢条件を満たす場合(図3のステップS31でYESの場合)、図6に示す先端アタッチメント25の種類の判別を行わない。 [Configuration 6-2] The controller 60 controls the tip attachment shown in FIG. 6 when the posture of the work device 20 detected by the work device posture sensor 30 satisfies the predetermined posture condition (YES in step S31 of FIG. 3). Do not determine the 25 types.
接地面Aに対してZ2側に先端アタッチメント25が配置され得る場合、先端アタッチメント25の少なくとも一部が、カメラ40の死角に入る場合がある。すると、先端アタッチメント25の種類の判別ができない、または、判別の精度を確保できない場合がある。そこで、先端アタッチメント判別装置1は、上記[構成6−2]を備える。よって、コントローラ60が先端アタッチメント25の種類を誤判別することを抑制でき、また、コントローラ60の無駄な処理をなくすことができる。また、上記[構成6−2]により、先端アタッチメント25の種類の判別の精度を確保した状態で(判別しやすい状態で)、先端アタッチメント25の種類の判別を行いやすい。その結果、先端アタッチメント25の種類の判別の精度を向上させることができる。 When the tip attachment 25 can be disposed on the Z2 side with respect to the ground surface A, at least a portion of the tip attachment 25 may enter the blind spot of the camera 40. Then, the type of the tip attachment 25 may not be determined or the accuracy of the determination may not be ensured. Therefore, the tip attachment determination device 1 includes the above [Configuration 6-2]. Therefore, it can suppress that the controller 60 misjudges the kind of front-end | tip attachment 25, and the useless process of the controller 60 can be eliminated. Further, with the above [Configuration 6-2], it is easy to determine the type of the tip attachment 25 in a state in which the accuracy in determining the type of the tip attachment 25 is secured (in a state where it is easy to determine). As a result, the accuracy of determination of the type of the tip attachment 25 can be improved.
(第7の発明の効果)
コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、先端アタッチメント25からカメラ40までの距離に対応する対応距離Lを取得する。
(Effect of the seventh invention)
The controller 60 acquires the corresponding distance L corresponding to the distance from the tip attachment 25 to the camera 40 based on the posture of the work device 20 detected by the work device posture sensor 30.
[構成7−1]コントローラ60は、対応距離Lが、予め定められた第1所定距離(所定距離)以下の場合(図3のステップS33でYESの場合)、図1に示す先端アタッチメント25の種類の判別を行う場合がある。 [Configuration 7-1] The controller 60 controls the tip attachment 25 shown in FIG. 1 when the corresponding distance L is less than or equal to a predetermined first predetermined distance (predetermined distance) (YES in step S33 in FIG. 3). The type may be determined.
[構成7−2]コントローラ60は、対応距離Lが、第1所定距離よりも大きい場合(図3のステップS33でNOの場合)、図1に示す先端アタッチメント25の種類の判別を行わない。 [Configuration 7-2] The controller 60 does not determine the type of the tip attachment 25 shown in FIG. 1 when the corresponding distance L is larger than the first predetermined distance (NO in step S33 in FIG. 3).
対応距離Lが大きく(遠く)なるほど、カメラ画像Im(図4参照)において先端アタッチメント25が小さく映り、先端アタッチメント25の種類の判別の精度の確保が難しくなる場合がある。そこで、先端アタッチメント判別装置1は、上記[構成7−2]を備える。よって、コントローラ60が先端アタッチメント25の種類を誤判別することを抑制でき、また、コントローラ60の無駄な処理をなくすことができる。また、上記[構成7−1]により、先端アタッチメント25の種類の判別の精度を確保した状態で(判別しやすい状態で)、先端アタッチメント25の種類の判別いやすい。その結果、先端アタッチメント25の種類の判別の精度を向上させることができる。 As the corresponding distance L is larger (far), the tip attachment 25 may be smaller in the camera image Im (see FIG. 4), and it may be difficult to ensure the accuracy of determination of the type of the tip attachment 25. Therefore, the tip attachment determination device 1 includes the above [Configuration 7-2]. Therefore, it can suppress that the controller 60 misjudges the kind of front-end | tip attachment 25, and the useless process of the controller 60 can be eliminated. Further, with the above-described [Configuration 7-1], it is easy to determine the type of the tip attachment 25 in a state in which the accuracy of determination of the type of the tip attachment 25 is secured (in a state where it is easy to determine). As a result, the accuracy of determination of the type of the tip attachment 25 can be improved.
(変形例)
上記実施形態は様々に変形されてもよい。例えば、図2に示すブロック図の各ブロックどうしの接続は変更されてもよい。例えば、図3に示すフローチャートのステップの順序は変更されてもよい。例えば、図1および図2に示す先端アタッチメント判別装置1の構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
(Modification)
The above embodiments may be variously modified. For example, connections between blocks in the block diagram shown in FIG. 2 may be changed. For example, the order of the steps of the flowchart shown in FIG. 3 may be changed. For example, the number of components of the tip attachment determination device 1 shown in FIGS. 1 and 2 may be changed, or some of the components may not be provided.
先端アタッチメント判別装置1の構成要素の一部が、作業機械10の外部に設けられてもよい。例えば、図2に示す第2コントローラ62は、作業機械10の外部に設けられてもよい。例えば、モニタ50は設けられなくてもよい。 Some components of the tip attachment determination device 1 may be provided outside the work machine 10. For example, the second controller 62 shown in FIG. 2 may be provided outside the work machine 10. For example, the monitor 50 may not be provided.
1 先端アタッチメント判別装置
10 作業機械
13 上部旋回体
20 作業装置
25 先端アタッチメント
30 作業装置姿勢センサ
40 カメラ
60 コントローラ
A 接地面
F 検出枠
L 距離(対応する距離)
DESCRIPTION OF SYMBOLS 1 tip attachment discrimination device 10 working machine 13 upper revolving unit 20 working device 25 tip attachment 30 working device posture sensor 40 camera 60 controller A ground plane F detection frame L distance (corresponding distance)
Claims (7)
前記上部旋回体に取り付けられ、前記先端アタッチメントの可動範囲内の画像を撮影可能なカメラと、
前記作業装置の姿勢を検出する作業装置姿勢センサと、
コントローラと、
を備え、
前記コントローラは、
前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記カメラに撮影された画像内の前記先端アタッチメントを含む範囲の枠である検出枠を設定し、
前記検出枠内の前記先端アタッチメントの画像に基づいて、前記先端アタッチメントの種類を判別する、
先端アタッチメント判別装置。 A work device attached to an upper swing body of a work machine and having a plurality of exchangeable tip attachments at a tip portion;
A camera attached to the upper swing body capable of capturing an image within a movable range of the tip attachment;
A work device posture sensor that detects a posture of the work device;
Controller,
Equipped with
The controller
Based on the posture of the work device detected by the work device posture sensor, a detection frame which is a frame of a range including the tip attachment in the image captured by the camera is set;
The type of the tip attachment is determined based on the image of the tip attachment in the detection frame,
Tip attachment discrimination device.
前記カメラは、前記上部旋回体に固定される、
先端アタッチメント判別装置。 The tip attachment discriminating apparatus according to claim 1, wherein
The camera is fixed to the upper swing body.
Tip attachment discrimination device.
前記コントローラは、前記作業装置姿勢センサに検出された前記作業装置の姿勢の変化に応じて、前記検出枠の設定を逐次変える、
先端アタッチメント判別装置。 It is a tip attachment distinction device according to claim 1 or 2, and.
The controller sequentially changes the setting of the detection frame according to a change in posture of the work device detected by the work device posture sensor.
Tip attachment discrimination device.
前記コントローラは、前記作業機械の構造の情報に基づいて前記検出枠を設定する、
先端アタッチメント判別装置。 It is a tip attachment distinction device according to any one of claims 1 to 3,
The controller sets the detection frame based on information on the structure of the work machine.
Tip attachment discrimination device.
前記カメラは、ズーム機能を備え、
前記コントローラは、
前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記先端アタッチメントから前記カメラまでの距離が遠くなるような姿勢であるほど、前記カメラのズーム位置を望遠側にする、
先端アタッチメント判別装置。 It is a tip attachment distinction device according to any one of claims 1 to 4,
The camera has a zoom function,
The controller
The zoom position of the camera is set to the telephoto side as the posture of the work device detected by the work device posture sensor is such that the distance from the tip attachment to the camera is longer.
Tip attachment discrimination device.
前記コントローラには、前記作業装置の姿勢の条件であって、前記作業機械の接地面に対して前記作業機械が配置される側とは反対側に前記先端アタッチメントが配置され得る条件である所定姿勢条件が予め設定され、
前記コントローラは、
前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記所定姿勢条件を満たさない場合、前記先端アタッチメントの種類の判別を行う場合があり、
前記作業装置姿勢センサに検出された前記作業装置の姿勢が、前記所定姿勢条件を満たす場合、前記先端アタッチメントの種類の判別を行わない、
先端アタッチメント判別装置。 It is a tip attachment distinction device according to any one of claims 1 to 5, wherein
The controller has a predetermined posture that is a condition of the posture of the work device, the tip attachment may be arranged on the side opposite to the side where the work machine is arranged with respect to the ground contact surface of the work machine The conditions are preset and
The controller
When the posture of the work device detected by the work device posture sensor does not satisfy the predetermined posture condition, the type of the tip attachment may be determined.
When the posture of the work device detected by the work device posture sensor satisfies the predetermined posture condition, the type of the tip attachment is not determined.
Tip attachment discrimination device.
前記コントローラは、
前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記先端アタッチメントから前記カメラまでの距離に対応する対応距離を取得し、
前記対応距離が、予め定められた所定距離以下の場合、前記先端アタッチメントの種類の判別を行う場合があり、
前記対応距離が、前記所定距離よりも大きい場合、前記先端アタッチメントの種類の判別を行わない、
先端アタッチメント判別装置。 It is a tip attachment distinction device according to any one of claims 1 to 6,
The controller
Based on the posture of the work device detected by the work device posture sensor, a corresponding distance corresponding to the distance from the tip attachment to the camera is acquired;
When the corresponding distance is equal to or less than a predetermined distance, the type of the tip attachment may be determined.
When the corresponding distance is larger than the predetermined distance, the type of the tip attachment is not determined.
Tip attachment discrimination device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007324A JP7114907B2 (en) | 2018-01-19 | 2018-01-19 | Tip attachment discriminator |
EP18900720.6A EP3723039A4 (en) | 2018-01-19 | 2018-12-04 | Tip attachment discrimination device |
US16/962,118 US20200347579A1 (en) | 2018-01-19 | 2018-12-04 | Tip attachment discrimination device |
PCT/JP2018/044473 WO2019142523A1 (en) | 2018-01-19 | 2018-12-04 | Tip attachment discrimination device |
CN201880086353.4A CN111587448A (en) | 2018-01-19 | 2018-12-04 | Remote accessory device identification apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007324A JP7114907B2 (en) | 2018-01-19 | 2018-01-19 | Tip attachment discriminator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125314A true JP2019125314A (en) | 2019-07-25 |
JP7114907B2 JP7114907B2 (en) | 2022-08-09 |
Family
ID=67301008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018007324A Active JP7114907B2 (en) | 2018-01-19 | 2018-01-19 | Tip attachment discriminator |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200347579A1 (en) |
EP (1) | EP3723039A4 (en) |
JP (1) | JP7114907B2 (en) |
CN (1) | CN111587448A (en) |
WO (1) | WO2019142523A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3485099B1 (en) * | 2016-07-15 | 2022-11-02 | CQMS Pty Ltd | A wear member monitoring system and method for monitoring a wear member |
KR20220102804A (en) * | 2021-01-14 | 2022-07-21 | 현대두산인프라코어(주) | System and method of controlling construction machinery |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157932A (en) * | 2002-11-08 | 2004-06-03 | Matsushita Electric Ind Co Ltd | Object recognition apparatus and object recognition program |
JP2008060988A (en) * | 2006-08-31 | 2008-03-13 | Matsushita Electric Ind Co Ltd | Apparatus for acquiring travel environment information |
JP2017157016A (en) * | 2016-03-02 | 2017-09-07 | 株式会社神戸製鋼所 | Attachment recognition device |
JP2018005555A (en) * | 2016-07-01 | 2018-01-11 | ソニー株式会社 | Image processing device, information processing device and method, as well as program |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9437005B2 (en) * | 2011-07-08 | 2016-09-06 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
CN102642207B (en) * | 2012-04-12 | 2014-08-06 | 华北电力大学 | Multifunctional actuator for nuclear power plant operation and control method thereof |
EP2902550A4 (en) * | 2012-09-20 | 2016-07-20 | Volvo Constr Equip Ab | Method for automatically recognizing and setting attachment and device therefor |
US20160312432A1 (en) * | 2015-04-23 | 2016-10-27 | Caterpillar Inc. | Computer Vision Assisted Work Tool Recognition and Installation |
US10927527B2 (en) * | 2015-09-30 | 2021-02-23 | Komatsu Ltd. | Periphery monitoring device for crawler-type working machine |
JPWO2016047808A1 (en) * | 2015-09-30 | 2017-04-27 | 株式会社小松製作所 | Imaging apparatus calibration system, working machine, and imaging apparatus calibration method |
US10094093B2 (en) * | 2015-11-16 | 2018-10-09 | Caterpillar Inc. | Machine onboard activity and behavior classification |
US10011976B1 (en) * | 2017-01-03 | 2018-07-03 | Caterpillar Inc. | System and method for work tool recognition |
US10519631B2 (en) * | 2017-09-22 | 2019-12-31 | Caterpillar Inc. | Work tool vision system |
KR20200105651A (en) * | 2018-01-10 | 2020-09-08 | 스미토모 겐키 가부시키가이샤 | Shovel and shovel management system |
-
2018
- 2018-01-19 JP JP2018007324A patent/JP7114907B2/en active Active
- 2018-12-04 WO PCT/JP2018/044473 patent/WO2019142523A1/en unknown
- 2018-12-04 CN CN201880086353.4A patent/CN111587448A/en active Pending
- 2018-12-04 EP EP18900720.6A patent/EP3723039A4/en not_active Withdrawn
- 2018-12-04 US US16/962,118 patent/US20200347579A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157932A (en) * | 2002-11-08 | 2004-06-03 | Matsushita Electric Ind Co Ltd | Object recognition apparatus and object recognition program |
JP2008060988A (en) * | 2006-08-31 | 2008-03-13 | Matsushita Electric Ind Co Ltd | Apparatus for acquiring travel environment information |
JP2017157016A (en) * | 2016-03-02 | 2017-09-07 | 株式会社神戸製鋼所 | Attachment recognition device |
JP2018005555A (en) * | 2016-07-01 | 2018-01-11 | ソニー株式会社 | Image processing device, information processing device and method, as well as program |
Also Published As
Publication number | Publication date |
---|---|
CN111587448A (en) | 2020-08-25 |
EP3723039A1 (en) | 2020-10-14 |
JP7114907B2 (en) | 2022-08-09 |
US20200347579A1 (en) | 2020-11-05 |
WO2019142523A1 (en) | 2019-07-25 |
EP3723039A4 (en) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
JP6232497B2 (en) | External recognition device | |
JP2015224875A (en) | Operation state detection system of work machine, and work machine | |
JP2010117230A (en) | Construction machine | |
JP5466610B2 (en) | Gaze estimation device | |
JP2003098424A (en) | Range finder based on image processing | |
JP2020047049A (en) | Image processing device and image processing method | |
WO2019021876A1 (en) | In-vehicle camera calibration device and method | |
JP2019125314A (en) | Tip attachment discrimination device | |
JP6766516B2 (en) | Obstacle detector | |
CN111152243A (en) | Control system | |
JP2009083632A (en) | Moving object detecting device | |
EP3078779A2 (en) | Method of displaying a dead zone of a construction machine and apparatus for performing the same | |
KR101818842B1 (en) | Driving assistant apparatus, distance detection method and width of lane detection method | |
JP6097063B2 (en) | Height measuring device and height measuring method | |
CN110942520A (en) | Auxiliary positioning method, device and system for operation equipment and storage medium | |
CN115362297B (en) | Periphery detection device of engineering machinery | |
JP2017157017A (en) | Disturbance removal device | |
JP6578170B2 (en) | Construction machine angle detector | |
JP7502343B2 (en) | Image Processing System | |
JP4947592B2 (en) | Vehicle detection device | |
JP6954145B2 (en) | Tip attachment dimensional measuring device | |
JP4200763B2 (en) | Image measuring machine and image measuring method | |
JP7428052B2 (en) | Surrounding detection device for working machines | |
US20230340759A1 (en) | Work vehicle having controlled transitions between different display modes for a moveable area of interest |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7114907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |