JP2009287298A - Device for measuring cutting edge position of construction machine - Google Patents

Device for measuring cutting edge position of construction machine Download PDF

Info

Publication number
JP2009287298A
JP2009287298A JP2008141791A JP2008141791A JP2009287298A JP 2009287298 A JP2009287298 A JP 2009287298A JP 2008141791 A JP2008141791 A JP 2008141791A JP 2008141791 A JP2008141791 A JP 2008141791A JP 2009287298 A JP2009287298 A JP 2009287298A
Authority
JP
Japan
Prior art keywords
edge position
markers
image
construction machine
blade edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008141791A
Other languages
Japanese (ja)
Other versions
JP4962415B2 (en
Inventor
Nobuyuki Fujiwara
伸行 藤原
Makoto Niwakawa
誠 庭川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP2008141791A priority Critical patent/JP4962415B2/en
Publication of JP2009287298A publication Critical patent/JP2009287298A/en
Application granted granted Critical
Publication of JP4962415B2 publication Critical patent/JP4962415B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device for measuring a cutting edge position of a construction machine, capable of accurately measuring the cutting edge position of the construction machine. <P>SOLUTION: A cutting edge position calculator 7 extracts markers M1 and M2 and detects positions thereof on image by binarizing images taken by cameras 6R and 6L, determines three-dimensional positions of the markers M1 and M2 from the detected positions on image by three-dimensional position measurement by a triangulation method, determines an inclination of a straight line mutually connecting the markers M1 and M2 from the determined three-dimensional positions of the markers M1 and M2, and determines a cutting edge position 5c of a bucket 4 from the inclination of the straight line, the determined three-dimensional positions of the markers M1 and M2, and a predetermined offset value of cutting position relative to the marker M1. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、建設機械の刃先位置を計測する刃先位置計測装置に関する。   The present invention relates to a blade edge position measuring device for measuring a blade edge position of a construction machine.

油圧ショベル等の建設機械の刃先位置の計測方法として、最も一般的な方法は、油圧ショベルを運転している作業者の目測である。又、油圧ショベルのブーム、アーム、バケットの各関節に回転角度を計測する回転角度センサを取り付けて、刃先位置の計測を行う方法も試みられている（非特許文献１）。   The most common method for measuring the position of the cutting edge of a construction machine such as a hydraulic excavator is the visual measurement of an operator who is operating the hydraulic excavator. In addition, a method of measuring a blade edge position by attaching a rotation angle sensor that measures a rotation angle to each joint of a boom, an arm, and a bucket of a hydraulic excavator has been tried (Non-Patent Document 1).

先村 律雄、他１名、「油圧ショベル掘削指示システムの開発」、土木学会第５７回年次学術講演会講演概要集第６部、平成１４年９月、ｐ．９２１−９２２Norio Seomura and 1 other, "Development of excavator instruction system for excavators", 6th Annual Meeting of the Japan Society of Civil Engineers, 6th part, September 2002, p. 921-922 特開昭６３−００４１２６号公報JP 63-004126 A 特開平０２−１７６０２３号公報Japanese Patent Laid-Open No. 02-176023 特開平０２−２６１１２９号公報Japanese Patent Laid-Open No. 02-261129

非特許文献１に示す油圧ショベルや従来の油圧ショベルにおいて、刃先位置の計測方法には次の問題がある。
（１）運転作業者の目測により刃先位置の計測を行った場合、運転作業者により計測位置にバラツキが発生する。特に、運転作業者が未熟練の場合、刃先の正しい位置を計測することは難しい。
（２）運転作業者の目測により刃先位置計測を行った場合、その計測位置を数値化することが困難であり、その計測位置をデータ化して他の装置へ流用することが難しい。
（３）回転角度センサにより刃先位置計測を行う場合、ブーム、アーム、バッケットといった可動部分の関節それぞれに回転角度センサを取り付ける必要があり、取り付け作業に時間を要する。
（４）回転角度センサにより刃先位置計測を行う場合、回転角度センサにより測定した関節の回転角度とブーム、アーム、バッケットといった可動部分の長さから刃先位置を計算するため、可動部分の長さを正確に求めておく必要がある。又、可動部分の長さを求める作業は、使用する油圧ショベルが変われば、その油圧ショベル毎に行う必要があり、調整作業が繁雑になる。
（５）回転角度センサにより刃先位置計測を行う場合、回転角度センサにより測定した関節の回転角度とブーム、アーム、バッケットといった可動部分の長さから刃先位置を計算するため、油圧ショベルの本体から刃先に行くに従って、回転関節部のガタ等による計測位置誤差が蓄積される。そのため、正しい刃先位置計測を行うためには、回転関節部にガタ等をできる限り抑えるよう、油圧ショベル自体の運用状態を非常に良好に保つ必要がある。
（６）回転角度センサにより刃先位置計測を行う場合、ブーム、アーム、バッケットといった可動部分の関節の多くの場所に回転角度センサを取り付ける必要があるため、精密機器であるセンサの故障が発生する機会が多くなる。 In the hydraulic excavator shown in Non-Patent Document 1 and the conventional hydraulic excavator, the method for measuring the blade edge position has the following problems.
(1) When the blade edge position is measured by the operator's eye measurement, the measurement position varies by the driver. In particular, when the operator is not skilled, it is difficult to measure the correct position of the cutting edge.
(2) When the blade edge position is measured by the operator's eye measurement, it is difficult to digitize the measurement position, and it is difficult to convert the measurement position into data and divert it to other devices.
(3) When measuring the blade edge position with the rotation angle sensor, it is necessary to attach the rotation angle sensor to each joint of the movable parts such as the boom, the arm, and the bucket, and it takes time for the attachment work.
(4) When measuring the blade edge position with the rotation angle sensor, the blade edge position is calculated from the rotation angle of the joint measured by the rotation angle sensor and the length of the movable part such as the boom, arm, and bucket. It needs to be determined accurately. Further, if the hydraulic excavator to be used is changed, the operation for obtaining the length of the movable part needs to be performed for each hydraulic excavator, and the adjustment work becomes complicated.
(5) When the cutting edge position is measured by the rotation angle sensor, the cutting edge position is calculated from the rotation angle of the joint measured by the rotation angle sensor and the length of the movable part such as the boom, arm, and bucket. The measurement position error due to the looseness of the rotary joint portion or the like is accumulated. For this reason, in order to correctly measure the cutting edge position, it is necessary to keep the operating state of the hydraulic excavator itself very well so as to suppress as much as possible play in the rotary joint.
(6) When measuring the blade edge position with the rotation angle sensor, it is necessary to attach the rotation angle sensor to many places of the joints of the movable parts such as the boom, arm, and bucket, so that the failure of the sensor that is a precision instrument occurs. Will increase.

本発明は上記課題に鑑みなされたもので、建設機械の刃先位置を正確に計測できる建設機械の刃先位置計測装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a cutting edge position measuring device for a construction machine that can accurately measure the cutting edge position of the construction machine.

上記課題を解決する第１の発明に係る建設機械の刃先位置計測装置は、
建設機械のバケットの刃先位置を計測する建設機械の刃先位置計測装置であって、
前記バケットに取り付けられ、前記バケットの回転軸に垂直となる１つの直線上に配置された複数のマーカと、
前記建設機械本体の互いに異なる位置に設けられ、前記複数のマーカを含む画像を撮影する少なくとも２つの撮影手段と、
前記建設機械に設けられ、前記撮影手段で撮影された画像に基づいて、前記バケットの刃先位置を計算する刃先位置計算機とを備え、
前記刃先位置計算機は、
前記撮影手段で撮影された画像を二値化処理することにより、前記複数のマーカを抽出すると共に画像上の位置を検出し、検出した画像上の位置から三角測量法により、前記複数のマーカの三次元位置を求め、求めた前記複数のマーカの三次元位置から前記複数のマーカ間を結ぶベクトルの傾きを求め、求めた前記複数のマーカの三次元位置、求めた前記ベクトルの傾き及び予め求めておいた前記複数のマーカの１つに対する刃先位置のオフセット値から前記バケットの刃先位置を求めることを特徴とする。 A cutting edge position measuring device for a construction machine according to a first invention that solves the above-described problems,
A blade position measuring device for a construction machine that measures the blade edge position of a bucket of a construction machine,
A plurality of markers attached to the bucket and arranged on one straight line perpendicular to the rotation axis of the bucket;
At least two imaging means provided at different positions of the construction machine main body for imaging an image including the plurality of markers;
A blade edge position calculator that calculates the blade edge position of the bucket based on the image provided by the construction machine and photographed by the photographing means;
The cutting edge position calculator is
By binarizing the image photographed by the photographing means, the plurality of markers are extracted and positions on the image are detected, and the positions of the plurality of markers are detected by triangulation from the detected positions on the image. Obtain a three-dimensional position, obtain the inclination of a vector connecting the plurality of markers from the obtained three-dimensional position of the plurality of markers, obtain the obtained three-dimensional position of the plurality of markers, obtain the obtained inclination of the vector, and in advance The blade edge position of the bucket is obtained from the offset value of the blade edge position with respect to one of the plurality of markers.

上記課題を解決する第２の発明に係る建設機械の刃先位置計測装置は、
建設機械のバケットの刃先位置を計測する建設機械の刃先位置計測装置であって、
前記バケットに取り付けられ、前記バケットの回転軸に垂直となる１つの直線上に配置された複数のマーカと、
前記建設機械本体の互いに異なる位置に設けられ、前記複数のマーカを含む画像を撮影する少なくとも２つの撮影手段と、
前記建設機械に設けられ、前記撮影手段で撮影された画像を無線にて伝送する画像伝送機と、
前記建設機械とは独立して設けられ、前記画像伝送機から伝送された画像を受信する画像受信機と、
前記建設機械とは独立して設けられ、前記画像受信機で受信された画像に基づいて、前記バケットの刃先位置を計算する刃先位置計算機とを備え、
前記刃先位置計算機は、
前記撮影手段で撮影された画像を二値化処理することにより、前記複数のマーカを抽出すると共に画像上の位置を検出し、検出した画像上の位置から三角測量法により、前記複数のマーカの三次元位置を求め、求めた前記複数のマーカの三次元位置から前記複数のマーカ間を結ぶベクトルの傾きを求め、求めた前記複数のマーカの三次元位置、求めた前記ベクトルの傾き及び予め求めておいた前記複数のマーカの１つに対する刃先位置のオフセット値から前記バケットの刃先位置を求めることを特徴とする。 A cutting edge position measuring device for a construction machine according to a second invention that solves the above-described problem is,
A blade position measuring device for a construction machine that measures the blade edge position of a bucket of a construction machine,
A plurality of markers attached to the bucket and arranged on one straight line perpendicular to the rotation axis of the bucket;
At least two imaging means provided at different positions of the construction machine main body for imaging an image including the plurality of markers;
An image transmitter that is provided in the construction machine and wirelessly transmits an image captured by the imaging unit;
An image receiver that is provided independently of the construction machine and receives an image transmitted from the image transmitter;
A blade edge position calculator that is provided independently of the construction machine and that calculates the blade edge position of the bucket based on an image received by the image receiver;
The cutting edge position calculator is
By binarizing the image photographed by the photographing means, the plurality of markers are extracted and positions on the image are detected, and the positions of the plurality of markers are detected by triangulation from the detected positions on the image. Obtain a three-dimensional position, obtain the inclination of a vector connecting the plurality of markers from the obtained three-dimensional position of the plurality of markers, obtain the obtained three-dimensional position of the plurality of markers, obtain the obtained inclination of the vector, and in advance The blade edge position of the bucket is obtained from the offset value of the blade edge position with respect to one of the plurality of markers.

上記課題を解決する第３の発明に係る建設機械の刃先位置計測装置は、
上記第１又は第２の発明に記載の建設機械の刃先位置計測装置において、
前記刃先位置計算機は、前記二値化処理に代えて、予め前記撮影手段で撮影した前記複数のマーカを含む画像との相関計算によるテンプレートマッチングを行うことにより、前記撮影手段で撮影された画像から前記複数のマーカを抽出すると共に画像上の位置を検出することを特徴とする。 A cutting edge position measuring device for a construction machine according to a third invention that solves the above-described problem,
In the cutting edge position measuring device for a construction machine according to the first or second invention,
Instead of the binarization process, the blade edge position calculator performs template matching by performing correlation calculation with an image including the plurality of markers captured in advance by the imaging unit, thereby obtaining an image from the image captured by the imaging unit. The plurality of markers are extracted and positions on the image are detected.

上記課題を解決する第４の発明に係る建設機械の刃先位置計測装置は、
上記第１又は第２の発明に記載の建設機械の刃先位置計測装置において、
前記刃先位置計算機は、前記二値化処理に代えて、前記複数のマーカに適合する色抽出を行うことにより、前記撮影手段で撮影された画像から前記複数のマーカを抽出すると共に画像上の位置を検出することを特徴とする。 A cutting edge position measuring device for a construction machine according to a fourth invention that solves the above-described problem,
In the cutting edge position measuring device for a construction machine according to the first or second invention,
The blade edge position calculator extracts the plurality of markers from the image photographed by the photographing means by performing color extraction suitable for the plurality of markers instead of the binarization processing, and positions on the image Is detected.

本発明によれば、以下の効果を奏する。
（１）運転作業者の目測による刃先位置測定に比べて、機械による自動計測を行うため、運転作業者の熟練度に関係なくバラツキの無い刃先位置計測を行うことができる。
（２）運転作業者の目測による刃先位置測定に比べて、刃先位置が数値化されているため、刃先位置データを他の装置へ容易に流用することができる。
（３）回転角度センサによる刃先位置測定に比べて、外部に取り付ける器具はカメラとマーカのみで良く、取り付け作業が容易である
（４）回転角度センサによる刃先位置測定に比べて、ブーム、アーム、バケットといった可動部の長さを求めておく必要がなく。使用する油圧ショベルが変われば、マーカの取り付けとマーカから刃先位置の計測を行うのみで良いため調整作業を簡略化できる。
（５）回転角度センサによる刃先位置測定に比べて、バケットに固定されたマーカから直接刃先位置を求めるため、ブーム、アーム、バケットといった可動部関節のガタ等による計算位置誤差の蓄積が無く、より正確な刃先位置を計測することができる。
（６）回転角度センサによる刃先位置測定に比べて、可動部に設置されるセンサが無いためセンサ故障の発生率が低く、保守に掛かる運用コストを小さく抑えることができる。 The present invention has the following effects.
(1) Compared with the measurement of the cutting edge position by the operator's eye measurement, the automatic measurement by the machine is performed, so that the cutting edge position can be measured without variation regardless of the skill level of the driving operator.
(2) Since the cutting edge position is digitized compared to the measurement of the cutting edge position by the operator's eye measurement, the cutting edge position data can be easily diverted to other devices.
(3) Compared to blade edge position measurement with a rotation angle sensor, only the camera and marker need be attached to the outside, and the attachment work is easy. (4) Compared to blade edge position measurement with a rotation angle sensor, the boom, arm, There is no need to find the length of a movable part such as a bucket. If the excavator to be used is changed, the adjustment work can be simplified because it is only necessary to attach the marker and measure the blade edge position from the marker.
(5) Compared to the measurement of the blade edge position by the rotation angle sensor, the blade edge position is obtained directly from the marker fixed to the bucket, so there is no accumulation of calculation position error due to looseness of movable joints such as booms, arms, and buckets. Accurate cutting edge position can be measured.
(6) Compared with the measurement of the blade edge position by the rotation angle sensor, the sensor failure rate is low because there is no sensor installed on the movable part, and the operation cost for maintenance can be kept small.

以下、図面を参照して、本発明に係る建設機械の刃先位置計測装置の実施形態を説明する。   Hereinafter, an embodiment of a blade edge position measuring device for a construction machine according to the present invention will be described with reference to the drawings.

図１は、本発明に係る建設機械の刃先位置計測装置の実施形態の一例を示す概略構成図である。図２は、本発明に係る建設機械の刃先位置計測装置の実施形態の一例を示すブロック図であり、図３は、本発明に係る建設機械の刃先位置計測装置の実施形態の一例を示すフローチャートである。なお、本実施例を含め、以降の説明においては、建設機械として、油圧ショベルを例示して、本発明に係る建設機械の刃先位置計測装置を説明する。   FIG. 1 is a schematic configuration diagram illustrating an example of an embodiment of a cutting edge position measuring device for a construction machine according to the present invention. FIG. 2 is a block diagram showing an example of an embodiment of a cutting edge position measuring device for a construction machine according to the present invention, and FIG. 3 is a flowchart showing an example of an embodiment of a cutting edge position measuring device for a construction machine according to the present invention. It is. In the following description, including the present embodiment, the cutting edge position measuring device for a construction machine according to the present invention will be described using a hydraulic excavator as an example of the construction machine.

油圧ショベル１（建設機械）は、本体に取り付けられたブーム２、ブーム２に取り付けられたアーム３、アーム３に取り付けられたバケット４を有するものであり、これらは、作業者の操縦により、対応する油圧シリンダにより駆動されて、所定の作業を行っている。そして、バケット４の刃先５の位置は、従来は、作業者の目測や、ブーム２、アーム３、バケット４に設けた回転角度センサによる計測等により行われており、前述したような課題があった。   The hydraulic excavator 1 (construction machine) has a boom 2 attached to the main body, an arm 3 attached to the boom 2, and a bucket 4 attached to the arm 3. It is driven by a hydraulic cylinder that performs a predetermined operation. The position of the blade edge 5 of the bucket 4 is conventionally measured by an operator's eye measurement, measurement by a rotation angle sensor provided on the boom 2, arm 3, bucket 4, and the like. It was.

そこで、本実施例においては、刃先５の位置を計測するために、バケット４に複数のマーカＭ１、Ｍ２・・・（図１では、一例として、Ｍ１、Ｍ２の２つのみ図示する。）を取り付け、固定する。又、油圧ショベル１の本体上であり、マーカＭ１、Ｍ２・・・が見える位置（例えば、運転席の屋根の上）に少なくとも２台のカメラ（左カメラ６Ｌ、右カメラ６Ｒ）を設置し、更に、左カメラ６Ｌと右カメラ６Ｒの画像から刃先位置を計算する刃先位置計算機７を設置した。なお、ここでは、運転席から見て、左側にあるカメラを「左カメラ」と呼び、右側にあるもう一方のカメラを「右カメラ」と呼んでいる。   Therefore, in the present embodiment, in order to measure the position of the blade edge 5, a plurality of markers M1, M2,... (Only two of M1 and M2 are shown as an example in FIG. 1). Install and fix. Further, at least two cameras (left camera 6L, right camera 6R) are installed on the main body of the hydraulic excavator 1 at a position where the markers M1, M2,... Can be seen (for example, on the roof of the driver's seat). Furthermore, a blade edge position calculator 7 for calculating the blade edge position from the images of the left camera 6L and the right camera 6R was installed. Here, as viewed from the driver's seat, the camera on the left side is called “left camera”, and the other camera on the right side is called “right camera”.

この刃先位置計算機７では、２台のカメラ６Ｌ、６Ｒにより撮影した画像中からマーカＭ１、Ｍ２・・・を抽出し、マーカＭ１、Ｍ２・・・の画像上の位置から、三次元位置計測により、マーカＭ１、Ｍ２・・・の三次元位置を求め、求めたマーカＭ１、Ｍ２・・・の三次元位置から油圧ショベル１の刃先５の位置を計算している。なお、マーカについては、刃先５に近い方からＭ１、Ｍ２・・・と番号を振っておく。又、マーカＭ１、Ｍ２・・・としては、球形状、丸板形状、矩形板に丸模様、矩形板に市松模様、発光体といったマーカ中心位置を求め易い形状を使用する。   In this blade edge position calculator 7, markers M1, M2,... Are extracted from images taken by the two cameras 6L, 6R, and the positions of the markers M1, M2,. The three-dimensional positions of the markers M1, M2,... Are obtained, and the position of the blade edge 5 of the excavator 1 is calculated from the obtained three-dimensional positions of the markers M1, M2,. Note that the markers are numbered M1, M2,... From the side closer to the blade edge 5. Further, as the markers M1, M2,..., A shape such as a spherical shape, a round plate shape, a round pattern on the rectangular plate, a checkered pattern on the rectangular plate, or a light emitting body is used.

そして、マーカＭ１、Ｍ２・・・を取り付けたバケット４について、図１（ｂ）に示すように、刃先５に最も近いマーカＭ１を原点とした座標系（以降、「バケット座標系Σｂ」と呼ぶ。）を規定する。このバケット座標系Σｂでは、バケット４の回転方向の動きを、Ｘ軸に関する回転方向に拘束するように規定している。又、マーカＭ１、Ｍ２・・・は、１つの直線上に配置されると共に、Ｘ軸に直交するＹ−Ｚ平面上に配置されている。つまり、マーカＭ１、Ｍ２・・・は、Ｘ軸（即ち、バケット４の回転軸）に垂直となる１つの直線上に配置されている。又、このバケット座標系Σｂにおいては、原点（マーカＭ１の位置）から刃先中央５ｃまでの各座標軸に関するオフセット値、つまり、刃先中央５ｃの位置（ｘ＿ｏｆｆ，ｙ＿ｏｆｆ，ｚ＿ｏｆｆ）を予め求めておく。   Then, for the bucket 4 to which the markers M1, M2,... Are attached, as shown in FIG. 1 (b), a coordinate system with the marker M1 closest to the blade edge 5 as the origin (hereinafter referred to as “bucket coordinate system Σb”). .). In the bucket coordinate system Σb, the movement of the bucket 4 in the rotational direction is defined to be constrained to the rotational direction with respect to the X axis. The markers M1, M2,... Are arranged on one straight line and on a YZ plane orthogonal to the X axis. That is, the markers M1, M2,... Are arranged on one straight line that is perpendicular to the X axis (that is, the rotation axis of the bucket 4). In the bucket coordinate system Σb, an offset value related to each coordinate axis from the origin (the position of the marker M1) to the cutting edge center 5c, that is, the position (x_off, y_off, z_off) of the cutting edge center 5c is obtained in advance.

ここで、図２のブロック図、図３のフローチャートを参照して、刃先位置計算機７における処理手順を詳細に説明する。   Here, with reference to the block diagram of FIG. 2 and the flowchart of FIG. 3, the processing procedure in the blade edge position calculator 7 will be described in detail.

（ステップＳ１）画像入力
油圧ショベル１に取り付けた左カメラ６Ｌ及び右カメラ６Ｒにより、バケット４に取り付けたマーカＭ１、Ｍ２・・・を含めた作業場所の画像を取得し、取得した画像を刃先位置計算機７の画像入力部１１を介して、メモリ１２に入力し、記録する。なお、刃先位置計算機７において、マーカデータ入力部１３では、画像上のマーカＭ１、Ｍ２・・・を囲む部分画像、マーカＭ１、Ｍ２・・・に関する色、形状、模様、画像上での輝度値等の各マーカデータを、予め、メモリ１２に入力している。又、カメラデータ入力部１４では、カメラ６Ｒ、６Ｌの位置、姿勢、ＣＣＤ（Charge-Coupled Device）サイズ、レンズの焦点距離等の各カメラデータを、予め、メモリ１２に入力している。又、刃先データ入力部１５では、前述したバケット座標系Σｂにおける刃先中央５ｃの位置（ｘ＿ｏｆｆ，ｙ＿ｏｆｆ，ｚ＿ｏｆｆ）の刃先データを、予め、メモリ１２に入力している。 (Step S1) Image input The left camera 6L and the right camera 6R attached to the hydraulic excavator 1 acquire an image of the work place including the markers M1, M2,... Attached to the bucket 4, and the acquired image is used as the blade edge position. The data is input to the memory 12 via the image input unit 11 of the computer 7 and recorded. In the blade edge position calculator 7, the marker data input unit 13 uses the color, shape, pattern, and luminance values on the partial images surrounding the markers M 1, M 2,. Each marker data such as is input to the memory 12 in advance. In the camera data input unit 14, camera data such as the positions and orientations of the cameras 6 </ b> R and 6 </ b> L, the CCD (Charge-Coupled Device) size, and the focal length of the lens are input to the memory 12 in advance. In addition, in the blade edge data input unit 15, blade edge data of the position (x_off, y_off, z_off) of the blade edge center 5 c in the bucket coordinate system Σb described above is input to the memory 12 in advance.

（ステップＳ２）マーカ抽出
マーカ抽出部１６ａにおいて、メモリ１２に記録した画像の二値化処理を行い、画像上のマーカＭ１、Ｍ２・・・の位置を検出し、画像上におけるマーカ位置をメモリ１２に記録する。球形状、丸形状、発光体のマーカについては、画像上において円となる部分を抽出し、又、市松模様のマーカについては、画像上において矩形の連なりとなる部分を抽出して、マーカとなる部分の位置を検出すればよい。 (Step S2) Marker Extraction The marker extraction unit 16a performs binarization processing on the image recorded in the memory 12, detects the positions of the markers M1, M2,... On the image, and stores the marker positions on the image in the memory 12. To record. For spherical, round, and illuminant markers, circles are extracted on the image, and for checkered markers, rectangles on the image are extracted to become markers. What is necessary is just to detect the position of a part.

（ステップＳ３）マーカ三次元位置の計測
マーカ三次元位置計算部１７において、メモリ１２に記録した左カメラ６Ｌの画像（以降「左画像」と呼ぶ。）及び右カメラ６Ｒの画像（以降「右画像」と呼ぶ。）について、マーカ抽出部１６ａで検出した画像上のマーカ位置から三角測量法によりマーカＭ１、Ｍ２・・・の三次元位置を求め、求めたマーカＭ１、Ｍ２・・・の三次元位置をメモリ１２に記録する。このとき、マーカＭ１、Ｍ２・・・の三次元位置は、対象物座標系Σｏにおける位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）・・・として求める。 (Step S3) Measurement of marker three-dimensional position In the marker three-dimensional position calculation unit 17, an image of the left camera 6L (hereinafter referred to as “left image”) and an image of the right camera 6R (hereinafter referred to as “right image”) recorded in the memory 12. 3), the three-dimensional positions of the markers M1, M2,... Are obtained from the marker positions on the image detected by the marker extraction unit 16a by triangulation, and the three-dimensional positions of the obtained markers M1, M2,. The position is recorded in the memory 12. At this time, the three-dimensional positions of the markers M1, M2,... Are obtained as positions (x1, y1, z1), (x2, y2, z2).

（ステップＳ４）刃先位置の計算
前述したように、バケット座標系Σｂにおける刃先中央５ｃの位置（ｘ＿ｏｆｆ，ｙ＿ｏｆｆ，ｚ＿ｏｆｆ）は、予め求められて、メモリ１２に入力されている。又、マーカ三次元位置計算部１７において、対象物座標系ΣｏにおけるマーカＭ１、Ｍ２・・・の三次元位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）・・・が求められている。そして、刃先位置計算部１８においては、メモリ１２に記録してある、バケット座標系Σｂにおける刃先中央５ｃの位置（ｘ＿ｏｆｆ，ｙ＿ｏｆｆ，ｚ＿ｏｆｆ）、対象物座標系ΣｏにおけるマーカＭ１、Ｍ２・・・の三次元位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）・・・を用いて、下記の座標変換を行うことにより、刃先位置（ｘｅ，ｙｅ，ｚｅ）を計算して、その後、計算した刃先位置（ｘｅ，ｙｅ，ｚｅ）をメモリ１２に記録している。 (Step S4) Calculation of Cutting Edge Position As described above, the position (x_off, y_off, z_off) of the cutting edge center 5c in the bucket coordinate system Σb is obtained in advance and input to the memory 12. Also, the marker three-dimensional position calculation unit 17 obtains the three-dimensional positions (x1, y1, z1), (x2, y2, z2),... Of the markers M1, M2,. Yes. In the blade edge position calculation unit 18, the position of the blade edge center 5c (x_off, y_off, z_off) in the bucket coordinate system Σb, the markers M1, M2,. Using the three-dimensional position (x1, y1, z1), (x2, y2, z2)... To perform the following coordinate transformation, the blade edge position (xe, ye, ze) is calculated, The calculated blade edge position (xe, ye, ze) is recorded in the memory 12.

このとき、対象物座標系Σｏからバケット座標系Σｂへの座標変換Ｔｏｂは、並行移動については、バケット座標系Σｂの原点であるマーカＭ１の位置から求められ、又、回転については、油圧ショベル１の構造上、Ｘ軸周りの回転しか無いので、Ｙ−Ｚ平面におけるバケット４の回転から求められる。Ｘ軸周りの回転角ψは、原点とするマーカＭ１から他のマーカＭ２・・・ヘのベクトルとＺ軸とのなす角（傾き）として求められる。   At this time, the coordinate transformation Tob from the object coordinate system Σo to the bucket coordinate system Σb is obtained from the position of the marker M1 that is the origin of the bucket coordinate system Σb for parallel movement, and the hydraulic excavator 1 for rotation. Since there is only rotation around the X axis, the rotation is determined from the rotation of the bucket 4 in the YZ plane. The rotation angle ψ about the X axis is obtained as an angle (tilt) formed by the vector from the marker M1 to the other marker M2,.

例えば、マーカが２個の場合、回転角ψは、マーカＭ１とマーカＭ２により、次の式から求められる。
ψ＝−ｔａｎ-1｛（ｙ２−ｙ１）／（ｚ２−ｚ１）｝ For example, when there are two markers, the rotation angle ψ is obtained from the following equation using the markers M1 and M2.
ψ = −tan −1 {(y2−y1) / (z2−z1)}

又、マーカが３個以上ある場合、マーカＭ１から他のマーカＭ２・・・ヘのベクトルから、各々の回転角を求め、それらの平均を回転角ψとする。マーカがＮ個（Ｎ≧３）設置されている場合、次の式から求められる。
ψ＝−［ｔａｎ-1｛（ｙ２−ｙ１）／（ｚ２−ｚ１）｝＋
ｔａｎ-1｛（ｙ３−ｙ１）／（ｚ３−ｚ１）｝
・
・
・
ｔａｎ-1｛（ｙＮ−ｙ１）／（ｚＮ−ｚ１）｝］／（Ｎ−１） Further, when there are three or more markers, the respective rotation angles are obtained from the vector from the marker M1 to the other markers M2,..., And the average thereof is defined as the rotation angle ψ. When N markers (N ≧ 3) are installed, it is obtained from the following equation.
ψ = − [tan −1 {(y2−y1) / (z2−z1)} +
tan -1 {(y3-y1) / (z3-z1)}
・
・
・
tan −1 {(yN−y1) / (zN−z1)}] / (N−1)

そして、バケット座標系Σｂの原点を（ｘｂ，ｙｂ，ｚｂ）＝（ｘ１，ｙ１，ｚ１）とすると、刃先位置（ｘｅ，ｙｅ，ｚｅ）は、次の式から計算できる。
ｘｅ＝ｘ＿ｏｆｆ＋ｘｂ
ｙｅ＝ｙ＿ｏｆｆ・ｃｏｓψ−ｚ＿ｏｆｆ・ｓｉｎψ＋ｙｂ
ｚｅ＝ｙ＿ｏｆｆ・ｓｉｎφ＋ｚ＿ｏｆｆ・ｃｏｓψ＋ｚｂ When the origin of the bucket coordinate system Σb is (xb, yb, zb) = (x1, y1, z1), the blade edge position (xe, ye, ze) can be calculated from the following equation.
xe = x_off + xb
ye = y_off · cosψ−z_off · sinψ + yb
ze = y_off · sinφ + z_off · cosψ + zb

そして、上記計算により求められ、メモリ１２に記録された刃先位置（ｘｅ，ｙｅ，ｚｅ）は、刃先位置出力部１９を介して、出力される。   Then, the cutting edge position (xe, ye, ze) obtained by the above calculation and recorded in the memory 12 is output via the cutting edge position output unit 19.

本実施例においては、機械による自動計測を行うため、運転作業者の熟練度には関係なく、運転作業者の目測による刃先位置測定に比べて、計測位置にバラツキが無い。又、刃先位置が数値化されているため、刃先位置データを他の装置へ流用することが容易である。又、外部に取り付ける構成はカメラとマーカのみで良く、回転角度センサによる刃先位置測定に比べて、取り付け作業が容易である。又、ブーム、アーム、バケットと言った可動部の状態を知っておく必要が無く、各関節のガタ等による計算位置誤差の蓄積が無い。更に、可動部に取り付けるセンサが無いため、センサ故障の発生率を少なく抑えることが可能である。   In this embodiment, since automatic measurement is performed by a machine, there is no variation in the measurement position as compared with the blade edge position measurement based on the driver's eye measurement regardless of the skill level of the operator. Further, since the blade tip position is digitized, it is easy to use the blade tip position data for other devices. Further, only the camera and the marker may be attached to the outside, and the attaching operation is easier than the blade edge position measurement by the rotation angle sensor. Further, it is not necessary to know the state of the movable parts such as the boom, arm, and bucket, and there is no accumulation of calculation position errors due to looseness of each joint. Furthermore, since there is no sensor attached to the movable part, it is possible to reduce the incidence of sensor failure.

図４は、本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例を示すブロック成図である。   FIG. 4 is a block diagram showing another example of the embodiment of the cutting edge position measuring device for a construction machine according to the present invention.

本実施例の刃先位置計測装置では、刃先位置計算機７におけるマーカ抽出部１６ｂのみが、実施例１の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ａと相違し、マーカ抽出部１６ａに代えて、マーカ抽出部１６ｂを用いるようにしたものである。従って、実施例１と重複する説明は省略して、本実施例の刃先位置計測装置の説明を行う。   In the cutting edge position measurement apparatus of the present embodiment, only the marker extraction unit 16b in the cutting edge position calculator 7 is different from the marker extraction unit 16a in the cutting edge position calculator 7 of the cutting edge position measurement apparatus of Embodiment 1, and is replaced with the marker extraction unit 16a. Thus, the marker extraction unit 16b is used. Therefore, the description overlapping with the first embodiment is omitted, and the cutting edge position measuring apparatus of the present embodiment will be described.

実施例１の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ａでは、マーカ抽出を二値化処理によって行っていたが、本実施例の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ｂでは、マーカ抽出をテンプレートマッチングによって行っている。   In the marker extraction unit 16a in the blade position calculator 7 of the blade position measurement device of the first embodiment, marker extraction is performed by binarization processing, but the marker extraction unit in the blade position calculator 7 of the blade position measurement device of the present embodiment. In 16b, marker extraction is performed by template matching.

具体的には、基準位置に設置したマーカの画像を、カメラ６Ｒ、６Ｌを用いて、予め撮影して、画像上のマーカを囲む部分画像（以降、これを「マーカテンプレート」と呼ぶ。）を取得し、メモリ１２に記録しておく。そして、マーカ抽出部１６ｂにおいては、新たに入力された画像上で、マーカテンプレートと絵柄の似ている部分を相関計算により探索することにより（テンプレートマッチング）、入力画像上のマーカ位置を検出し、画像上におけるマーカ位置をメモリ１２に記録する。その後は、実施例１と同様の手順により、刃先位置を計算し、出力することになる。   Specifically, an image of the marker placed at the reference position is captured in advance using the cameras 6R and 6L, and a partial image surrounding the marker on the image (hereinafter referred to as “marker template”). Acquired and recorded in the memory 12. Then, the marker extraction unit 16b detects a marker position on the input image by searching for a portion similar to the marker template on the newly input image by correlation calculation (template matching), The marker position on the image is recorded in the memory 12. Thereafter, the cutting edge position is calculated and output in the same procedure as in the first embodiment.

本実施例においては、実施例１に示した刃先位置計測装置の効果に加え、二値化処理よりも情報量の多いマーカの画像情報によるテンプレートマッチングを行うため、マーカの誤検知が少なくなる効果がある。   In the present embodiment, in addition to the effect of the blade edge position measuring device shown in the first embodiment, template matching is performed based on the image information of the marker having a larger amount of information than the binarization process, and therefore, the effect of reducing erroneous marker detection is reduced. There is.

図５は、本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例を示すブロック図である。   FIG. 5 is a block diagram showing another example of the embodiment of the cutting edge position measuring device for a construction machine according to the present invention.

本実施例の刃先位置計測装置では、刃先位置計算機７のマーカ抽出部１６ｃのみが、実施例１、２の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ａ、１６ｂと相違し、マーカ抽出部１６ａ、１６ｂに代えて、マーカ抽出部１６ｃを用いるようにしたものである。従って、実施例１、２と重複する説明は省略して、本実施例の刃先位置計測装置の説明を行う。   In the cutting edge position measurement apparatus of the present embodiment, only the marker extraction unit 16c of the cutting edge position calculator 7 is different from the marker extraction units 16a and 16b in the cutting edge position calculator 7 of the cutting edge position measurement apparatus of Embodiments 1 and 2, and marker extraction is performed. Instead of the units 16a and 16b, a marker extracting unit 16c is used. Therefore, the description overlapping with the first and second embodiments will be omitted, and the blade edge position measuring apparatus of the present embodiment will be described.

実施例１の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ａでは、マーカ抽出を二値化処理によって行っており、実施例２の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ｂでは、マーカ抽出をテンプレートマッチングによって行っていたが、本実施例の刃先位置計測装置の刃先位置計算機７におけるマーカ抽出部１６ｃでは、マーカ抽出を色抽出によって行っている。   The marker extraction unit 16a in the blade position calculator 7 of the blade position measurement device of the first embodiment performs marker extraction by binarization processing, and the marker extraction unit 16b in the blade position calculator 7 of the blade position measurement device of the second embodiment. Then, marker extraction is performed by template matching, but marker extraction is performed by color extraction in the marker extraction unit 16c in the blade position calculator 7 of the blade position measurement device of the present embodiment.

具体的には、予め、マーカの色情報を取得し、メモリ１２に記録しておく。そして、マーカ抽出部１６ｃにおいては、新たに入力された画像上からマーカに適合する色部分を抽出することにより、入力画像上のマーカ位置を検出し、画像上におけるマーカ位置をメモリ１２に記録する。その後は、実施例１と同様の手順により、刃先位置を計算し、出力することになる。   Specifically, marker color information is acquired in advance and recorded in the memory 12. Then, the marker extracting unit 16c detects a marker position on the input image by extracting a color portion that matches the marker from the newly input image, and records the marker position on the image in the memory 12. . Thereafter, the cutting edge position is calculated and output in the same procedure as in the first embodiment.

本実施例においては、実施例１に示した刃先位置計測装置の効果に加え、色抽出によりマーカを抽出するため、様々な既存構造物や自然物が混在する状況下においても、それらの影響を抑えたマーカ抽出を確実に行うことができる。   In the present embodiment, in addition to the effect of the blade edge position measuring apparatus shown in the first embodiment, the marker is extracted by color extraction, so that the influence of these is suppressed even in a situation where various existing structures and natural objects are mixed. Marker extraction can be performed reliably.

図６は、本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例を示す概略構成図であり、図７は、本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例を示すブロック図である。   FIG. 6 is a schematic configuration diagram showing another example of the embodiment of the cutting edge position measuring device for a construction machine according to the present invention, and FIG. 7 shows another embodiment of the cutting edge position measuring device for the construction machine according to the present invention. It is a block diagram which shows an example.

本実施例の刃先位置計測装置では、刃先位置計算機７の設置位置が、実施例１〜３の刃先位置計測装置とは相違している。具体的には、実施例１〜３に示す刃先位置計測装置では、油圧ショベル１本体に刃先位置計算機７を設けているのに対して、本実施例の刃先位置計測装置では、刃先位置計算機７に代えて、カメラ６Ｒ、６Ｌで取得した画像を無線で伝送する画像伝送機８を油圧ショベル１本体に設け、画像伝送機８から伝送された画像を受信する画像受信機９と、画像受信機９で受信した画像が入力されて、刃先位置の計算が行われる刃先位置計算機７とを、油圧ショベル１本体とは別の場所にある遠隔端末１０に独立して設けるようにしたものである。   In the cutting edge position measuring apparatus of the present embodiment, the installation position of the cutting edge position calculator 7 is different from the cutting edge position measuring apparatus of the first to third embodiments. Specifically, in the cutting edge position measuring apparatus shown in the first to third embodiments, the cutting edge position calculator 7 is provided in the main body of the hydraulic excavator 1, whereas in the cutting edge position measuring apparatus of the present embodiment, the cutting edge position calculator 7 is provided. Instead of this, an image transmitter 8 that wirelessly transmits images acquired by the cameras 6R and 6L is provided in the main body of the hydraulic excavator 1, and an image receiver 9 that receives an image transmitted from the image transmitter 8, and an image receiver The blade position calculator 7 that receives the image received at 9 and calculates the blade position is provided independently on the remote terminal 10 at a location different from the main body of the hydraulic excavator 1.

なお、本実施例の刃先位置計測装置における刃先位置計算機７では、上述した実施例１〜３のいずれかと同じ手順により、刃先位置の計算が行われる。つまり、本実施例の刃先位置計算機７におけるマーカ抽出部１６として、実施例１〜３の刃先位置計算機７におけるマーカ抽出部１６ａ、１６ｂ、１６ｃのいずれかを用いるようにして、刃先位置の計算が行われる。従って、ここでは、刃先位置の計算手順の説明は省略する。   In addition, in the blade edge position calculator 7 in the blade edge position measuring apparatus of the present embodiment, the blade edge position is calculated by the same procedure as any one of the first to third embodiments described above. That is, the blade edge position is calculated by using any of the marker extraction units 16a, 16b, and 16c in the blade position calculator 7 of the first to third embodiments as the marker extraction unit 16 in the blade position calculator 7 of the present embodiment. Done. Therefore, the description of the blade tip position calculation procedure is omitted here.

本実施例においては、実施例１〜３に示した刃先位置計測装置の効果に加え、刃先位置の計算に必要な画像を無線により取得することで、油圧ショベル１本体に刃先位置計算機７を設置する余裕が無い場合でも、油圧ショベル１の刃先位置を計算することができる。   In this embodiment, in addition to the effects of the blade edge position measuring apparatus shown in Embodiments 1 to 3, the blade edge position calculator 7 is installed in the main body of the hydraulic excavator 1 by wirelessly acquiring an image necessary for calculating the blade edge position. Even when there is no room to do so, the cutting edge position of the excavator 1 can be calculated.

本発明は、油圧ショベル等の建設機械に適用可能なものであり、建設機械に搭載した複数のカメラからの画像を処理することにより、刃先位置を計測するものである。   The present invention is applicable to a construction machine such as a hydraulic excavator, and measures a blade edge position by processing images from a plurality of cameras mounted on the construction machine.

本発明に係る建設機械の刃先位置計測装置の実施形態の一例（実施例１）を示す概略構成図であり、（ａ）は、その全体を、（ｂ）は、バケット部分を示すものである。BRIEF DESCRIPTION OF THE DRAWINGS It is a schematic block diagram which shows an example (Example 1) of embodiment of the blade position measuring device of the construction machine which concerns on this invention, (a) shows the whole, (b) shows a bucket part. . 本発明に係る建設機械の刃先位置計測装置の実施形態の一例（実施例１）を示すブロック図である。It is a block diagram which shows an example (Example 1) of embodiment of the blade edge | tip position measuring device of the construction machine which concerns on this invention. 本発明に係る建設機械の刃先位置計測装置の実施形態の一例（実施例１）を示すフローチャートである。It is a flowchart which shows an example (Example 1) of embodiment of the blade-tip position measuring apparatus of the construction machine which concerns on this invention. 本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例（実施例２）を示すブロック図である。It is a block diagram which shows another example (Example 2) of embodiment of the blade edge | tip position measuring apparatus of the construction machine which concerns on this invention. 本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例（実施例３）を示すブロック図である。It is a block diagram which shows another example (Example 3) of embodiment of the blade edge | tip position measuring apparatus of the construction machine which concerns on this invention. 本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例（実施例４）を示す概略構成図である。It is a schematic block diagram which shows another example (Example 4) of embodiment of the blade-tip position measuring apparatus of the construction machine which concerns on this invention. 本発明に係る建設機械の刃先位置計測装置の実施形態の他の一例（実施例４）を示すブロック図である。It is a block diagram which shows another example (Example 4) of embodiment of the blade-tip position measuring apparatus of the construction machine which concerns on this invention.

符号の説明Explanation of symbols

１ 油圧ショベル
４ バケット
５ 刃先
６Ｒ、６Ｌ カメラ
７ 刃先位置計算機
８ 画像伝送機
９ 画像受信機
１１ 画像入力部
１２ メモリ
１６ａ、１６ｂ、１６ｃ マーカ抽出部
１７ マーカ三次元位置計算部
１８ 刃先位置計算部
１９ 刃先位置出力部 DESCRIPTION OF SYMBOLS 1 Hydraulic excavator 4 Bucket 5 Cutting edge 6R, 6L Camera 7 Cutting edge position calculator 8 Image transmitter 9 Image receiver 11 Image input part 12 Memory 16a, 16b, 16c Marker extraction part 17 Marker three-dimensional position calculation part 18 Cutting edge position calculation part 19 Cutting edge position output section

Claims (4)

建設機械のバケットの刃先位置を計測する建設機械の刃先位置計測装置であって、
前記バケットに取り付けられ、前記バケットの回転軸に垂直となる１つの直線上に配置された複数のマーカと、
前記建設機械本体の互いに異なる位置に設けられ、前記複数のマーカを含む画像を撮影する少なくとも２つの撮影手段と、
前記建設機械に設けられ、前記撮影手段で撮影された画像に基づいて、前記バケットの刃先位置を計算する刃先位置計算機とを備え、
前記刃先位置計算機は、
前記撮影手段で撮影された画像を二値化処理することにより、前記複数のマーカを抽出すると共に画像上の位置を検出し、検出した画像上の位置から三角測量法により、前記複数のマーカの三次元位置を求め、求めた前記複数のマーカの三次元位置から前記複数のマーカ間を結ぶベクトルの傾きを求め、求めた前記複数のマーカの三次元位置、求めた前記ベクトルの傾き及び予め求めておいた前記複数のマーカの１つに対する刃先位置のオフセット値から前記バケットの刃先位置を求めることを特徴とする建設機械の刃先位置計測装置。 A blade position measuring device for a construction machine that measures the blade edge position of a bucket of a construction machine,
A plurality of markers attached to the bucket and arranged on one straight line perpendicular to the rotation axis of the bucket;
At least two imaging means provided at different positions of the construction machine main body for imaging an image including the plurality of markers;
A blade edge position calculator that calculates the blade edge position of the bucket based on the image provided by the construction machine and photographed by the photographing means;
The cutting edge position calculator is
By binarizing the image photographed by the photographing means, the plurality of markers are extracted and positions on the image are detected, and the positions of the plurality of markers are detected by triangulation from the detected positions on the image. Obtain a three-dimensional position, obtain the inclination of a vector connecting the plurality of markers from the obtained three-dimensional position of the plurality of markers, obtain the obtained three-dimensional position of the plurality of markers, obtain the obtained inclination of the vector, and in advance A blade edge position measuring device for a construction machine, wherein the blade edge position of the bucket is obtained from an offset value of the blade edge position with respect to one of the plurality of markers. 建設機械のバケットの刃先位置を計測する建設機械の刃先位置計測装置であって、
前記バケットに取り付けられ、前記バケットの回転軸に垂直となる１つの直線上に配置された複数のマーカと、
前記建設機械本体の互いに異なる位置に設けられ、前記複数のマーカを含む画像を撮影する少なくとも２つの撮影手段と、
前記建設機械に設けられ、前記撮影手段で撮影された画像を無線にて伝送する画像伝送機と、
前記建設機械とは独立して設けられ、前記画像伝送機から伝送された画像を受信する画像受信機と、
前記建設機械とは独立して設けられ、前記画像受信機で受信された画像に基づいて、前記バケットの刃先位置を計算する刃先位置計算機とを備え、
前記刃先位置計算機は、
前記撮影手段で撮影された画像を二値化処理することにより、前記複数のマーカを抽出すると共に画像上の位置を検出し、検出した画像上の位置から三角測量法により、前記複数のマーカの三次元位置を求め、求めた前記複数のマーカの三次元位置から前記複数のマーカ間を結ぶベクトルの傾きを求め、求めた前記複数のマーカの三次元位置、求めた前記ベクトルの傾き及び予め求めておいた前記複数のマーカの１つに対する刃先位置のオフセット値から前記バケットの刃先位置を求めることを特徴とする建設機械の刃先位置計測装置。 A blade position measuring device for a construction machine that measures the blade edge position of a bucket of a construction machine,
A plurality of markers attached to the bucket and arranged on one straight line perpendicular to the rotation axis of the bucket;
At least two imaging means provided at different positions of the construction machine main body for imaging an image including the plurality of markers;
An image transmitter that is provided in the construction machine and wirelessly transmits an image captured by the imaging unit;
An image receiver that is provided independently of the construction machine and receives an image transmitted from the image transmitter;
A blade edge position calculator that is provided independently of the construction machine and that calculates the blade edge position of the bucket based on an image received by the image receiver;
The cutting edge position calculator is
By binarizing the image photographed by the photographing means, the plurality of markers are extracted and positions on the image are detected, and the positions of the plurality of markers are detected by triangulation from the detected positions on the image. Obtain a three-dimensional position, obtain the inclination of a vector connecting the plurality of markers from the obtained three-dimensional position of the plurality of markers, obtain the obtained three-dimensional position of the plurality of markers, obtain the obtained inclination of the vector, and in advance A blade edge position measuring device for a construction machine, wherein the blade edge position of the bucket is obtained from an offset value of the blade edge position with respect to one of the plurality of markers. 請求項１又は請求項２に記載の建設機械の刃先位置計測装置において、
前記刃先位置計算機は、前記二値化処理に代えて、予め前記撮影手段で撮影した前記複数のマーカを含む画像との相関計算によるテンプレートマッチングを行うことにより、前記撮影手段で撮影された画像から前記複数のマーカを抽出すると共に画像上の位置を検出することを特徴とする建設機械の刃先位置計測装置。 In the cutting edge position measuring device of the construction machine according to claim 1 or claim 2,
Instead of the binarization process, the blade edge position calculator performs template matching by performing correlation calculation with an image including the plurality of markers captured in advance by the imaging unit, thereby obtaining an image from the image captured by the imaging unit. A blade edge position measuring apparatus for a construction machine that extracts the plurality of markers and detects a position on an image. 請求項１又は請求項２に記載の建設機械の刃先位置計測装置において、
前記刃先位置計算機は、前記二値化処理に代えて、前記複数のマーカに適合する色抽出を行うことにより、前記撮影手段で撮影された画像から前記複数のマーカを抽出すると共に画像上の位置を検出することを特徴とする建設機械の刃先位置計測装置。 In the cutting edge position measuring device of the construction machine according to claim 1 or claim 2,
The blade edge position calculator extracts the plurality of markers from the image photographed by the photographing means by performing color extraction suitable for the plurality of markers instead of the binarization processing, and positions on the image A blade edge position measuring device for a construction machine, wherein
JP2008141791A 2008-05-30 2008-05-30 Cutting edge position measuring device for construction machinery Expired - Fee Related JP4962415B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008141791A JP4962415B2 (en) 2008-05-30 2008-05-30 Cutting edge position measuring device for construction machinery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008141791A JP4962415B2 (en) 2008-05-30 2008-05-30 Cutting edge position measuring device for construction machinery

Publications (2)

Publication Number Publication Date
JP2009287298A true JP2009287298A (en) 2009-12-10
JP4962415B2 JP4962415B2 (en) 2012-06-27

Family

ID=41456776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008141791A Expired - Fee Related JP4962415B2 (en) 2008-05-30 2008-05-30 Cutting edge position measuring device for construction machinery

Country Status (1)

Country Link
JP (1) JP4962415B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117230A (en) * 2008-11-12 2010-05-27 Topcon Corp Construction machine
WO2015089403A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
WO2015182455A1 (en) * 2014-05-26 2015-12-03 Ｋｙｂ株式会社 Work state detection system of work vehicle, and work vehicle
JP2016003520A (en) * 2014-06-18 2016-01-12 住友建機株式会社 Construction machinery
JP2016035461A (en) * 2010-01-12 2016-03-17 トプコン ポジショニング システムズ， インク． Method for orientation of instruments mounted on work vehicle or farming vehicle, and computer-readable medium
WO2016170665A1 (en) * 2015-04-24 2016-10-27 株式会社日立製作所 Volume estimation device, work machine provided with same, and volume estimation system
JP2019000918A (en) * 2017-06-12 2019-01-10 日立Ｇｅニュークリア・エナジー株式会社 System and method for controlling arm attitude of working robot
KR20190070122A (en) * 2017-12-12 2019-06-20 한국기계연구원 Autonomous working machine and method of measuring displacement of rotating part of autonomous working machine
JP2019124663A (en) * 2018-01-19 2019-07-25 コベルコ建機株式会社 Tip attachment dimension measurement device
JP2019203291A (en) * 2018-05-22 2019-11-28 株式会社小松製作所 Hydraulic shovel and system
US20200080287A1 (en) * 2017-07-14 2020-03-12 Komatsu Ltd. Work machine system and control method
US10750082B2 (en) 2016-03-28 2020-08-18 Komatsu Ltd. Evaluation device
KR20210068174A (en) * 2019-11-29 2021-06-09 한국생산기술연구원 System for measuring the position of the bucket of the excavator and method for measuring the position of the bucket using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55118063A (en) * 1979-03-07 1980-09-10 Canon Inc Developing device
JP2000291048A (en) * 1999-04-01 2000-10-17 Tokai Rika Co Ltd Power shovel
JP2004304662A (en) * 2003-03-31 2004-10-28 Sumitomo Osaka Cement Co Ltd Monitor apparatus using stereoscopic image
JP2005164323A (en) * 2003-12-01 2005-06-23 Honda Motor Co Ltd Mark for position detection, method and device for mark detection, and program for same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55118063A (en) * 1979-03-07 1980-09-10 Canon Inc Developing device
JP2000291048A (en) * 1999-04-01 2000-10-17 Tokai Rika Co Ltd Power shovel
JP2004304662A (en) * 2003-03-31 2004-10-28 Sumitomo Osaka Cement Co Ltd Monitor apparatus using stereoscopic image
JP2005164323A (en) * 2003-12-01 2005-06-23 Honda Motor Co Ltd Mark for position detection, method and device for mark detection, and program for same

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117230A (en) * 2008-11-12 2010-05-27 Topcon Corp Construction machine
JP2016035461A (en) * 2010-01-12 2016-03-17 トプコン ポジショニング システムズ， インク． Method for orientation of instruments mounted on work vehicle or farming vehicle, and computer-readable medium
WO2015089403A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
WO2015182455A1 (en) * 2014-05-26 2015-12-03 Ｋｙｂ株式会社 Work state detection system of work vehicle, and work vehicle
JP2015224875A (en) * 2014-05-26 2015-12-14 Ｋｙｂ株式会社 Operation state detection system of work machine, and work machine
CN106104197A (en) * 2014-05-26 2016-11-09 Ｋｙｂ株式会社 The duty detecting system of engineering machinery and engineering machinery
KR101854065B1 (en) * 2014-05-26 2018-05-02 케이와이비 가부시키가이샤 Operation state detection system of work machine and work machine
JP2016003520A (en) * 2014-06-18 2016-01-12 住友建機株式会社 Construction machinery
WO2016170665A1 (en) * 2015-04-24 2016-10-27 株式会社日立製作所 Volume estimation device, work machine provided with same, and volume estimation system
US10750082B2 (en) 2016-03-28 2020-08-18 Komatsu Ltd. Evaluation device
JP2019000918A (en) * 2017-06-12 2019-01-10 日立Ｇｅニュークリア・エナジー株式会社 System and method for controlling arm attitude of working robot
US20200080287A1 (en) * 2017-07-14 2020-03-12 Komatsu Ltd. Work machine system and control method
US11718978B2 (en) * 2017-07-14 2023-08-08 Komatsu Ltd. Work machine system and control method
KR102080578B1 (en) 2017-12-12 2020-02-24 한국기계연구원 Autonomous working machine and method of measuring displacement of rotating part of autonomous working machine
KR20190070122A (en) * 2017-12-12 2019-06-20 한국기계연구원 Autonomous working machine and method of measuring displacement of rotating part of autonomous working machine
JP2019124663A (en) * 2018-01-19 2019-07-25 コベルコ建機株式会社 Tip attachment dimension measurement device
JP2019203291A (en) * 2018-05-22 2019-11-28 株式会社小松製作所 Hydraulic shovel and system
WO2019225133A1 (en) * 2018-05-22 2019-11-28 株式会社小松製作所 Hydraulic shovel and system
JP7045926B2 (en) 2018-05-22 2022-04-01 株式会社小松製作所 Hydraulic excavator, and system
US11713560B2 (en) 2018-05-22 2023-08-01 Komatsu Ltd. Hydraulic excavator and system
KR20210068174A (en) * 2019-11-29 2021-06-09 한국생산기술연구원 System for measuring the position of the bucket of the excavator and method for measuring the position of the bucket using the same
KR102415420B1 (en) 2019-11-29 2022-07-04 한국생산기술연구원 System for measuring the position of the bucket of the excavator and method for measuring the position of the bucket using the same

Also Published As

Publication number Publication date
JP4962415B2 (en) 2012-06-27

Similar Documents

Publication Publication Date Title
JP4962415B2 (en) Cutting edge position measuring device for construction machinery
US11441294B2 (en) Measurement system, work machine, and measurement method
JP5227139B2 (en) Construction machinery
JP6050525B2 (en) Position measuring system, work machine, and position measuring method
US20190003153A1 (en) Construction management system, construction management method, and management device
CN106029994B (en) Correction system, work machine, and correction method
JP6059067B2 (en) Surveying system
US10527413B2 (en) Outside recognition device
KR102501073B1 (en) Coordinate conversion system and working machine
CN104380137A (en) Method and handheld distance measurement device for indirect distance measurement by means of image-assisted angle determination function
AU2019210643A1 (en) Shape measuring system and shape measuring method
JP2008144379A (en) Image processing system of remote controlled working machine
JP2008046687A (en) Photographic environment calibration method and information processor
JP2018184815A (en) Calibration device of imaging device, work machine and calibration method
KR20170039612A (en) Calibration system, work machine, and calibration method
WO2020003497A1 (en) Calibration device for imaging device, monitoring device, work machine and calibration method
JP7386592B2 (en) Construction machinery operation assistance system
JP2016065422A (en) Environment recognition device and excavator of using environment recognition device
KR101944816B1 (en) Detection Automatic System of Excavating Work
CN111226009A (en) External shape measuring system for working machine, external shape display system for working machine, control system for working machine, and working machine
JP6725675B2 (en) Self-position estimating device, self-position estimating method, program, and image processing device
KR101944817B1 (en) Detection Automatic System of Excavating Work Using Mobile Terminal
KR20220044339A (en) Operational Record Analysis System for Construction Machinery
JP2017032276A (en) Position measurement system
JPWO2020234912A1 (en) Portable device, position display method, and position display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120312

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees