JP7092476B2 - Work machine measurement system, work machine, and work machine measurement method - Google Patents
Work machine measurement system, work machine, and work machine measurement method Download PDFInfo
- Publication number
- JP7092476B2 JP7092476B2 JP2017173565A JP2017173565A JP7092476B2 JP 7092476 B2 JP7092476 B2 JP 7092476B2 JP 2017173565 A JP2017173565 A JP 2017173565A JP 2017173565 A JP2017173565 A JP 2017173565A JP 7092476 B2 JP7092476 B2 JP 7092476B2
- Authority
- JP
- Japan
- Prior art keywords
- turning
- image
- image pickup
- shooting
- stop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、作業機械の計測システム、作業機械、及び作業機械の計測方法に関する。 The present invention relates to a work machine measurement system, a work machine, and a work machine measurement method.
作業機械に係る技術分野において、特許文献１に開示されているような、撮像装置が搭載された作業機械が知られている。一対の撮像装置で撮影された一対の画像がステレオ処理されることにより、作業機械の周辺の施工対象の三次元形状が計測される。特許文献１には、旋回体の旋回中にステレオ処理のための画像を撮影することが開示されている。
In the technical field related to a work machine, a work machine equipped with an image pickup device as disclosed in
特許文献１には、撮影の開始時点については開示されているものの、停止時点を決定する方法については開示されていない。そのため、例えば、撮影の開始時点から予め定められた経過時間に基づいて撮影の停止時点が決定される場合、オペレータがステレオ計測しようとしているすべての領域の撮影が完了する前に撮影が停止してしまう可能性がある。そのような場合、残りの領域について再度オペレータがステレオ計測を行う必要があり、作業が煩雑となってしまう。
Although
本発明の態様は、施工対象の三次元形状を円滑に取得することを目的とする。 An aspect of the present invention is to smoothly acquire a three-dimensional shape to be constructed.
本発明の態様に従えば、作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得する画像取得部と、操作装置の操作データ、または前記旋回体の旋回データに基づいて、前記撮影の停止条件を満足するか否かを判定する判定部と、前記判定部の判定結果に基づいて、撮影停止指令信号を出力する出力部と、を備える作業機械の計測システムが提供される。 According to the aspect of the present invention, an image acquisition unit that acquires an image of a construction target taken while the swivel body is swiveled by an image pickup device mounted on the swivel body of the work machine, operation data of the operation device, or the above-mentioned. A determination unit for determining whether or not the shooting stop condition is satisfied based on the rotation data of the rotating body, and an output unit for outputting a shooting stop command signal based on the determination result of the determination unit are provided. A measurement system for work machines is provided.
本発明の態様によれば、施工対象の三次元形状を円滑に取得することができる。 According to the aspect of the present invention, the three-dimensional shape of the construction target can be smoothly obtained.
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings, but the present invention is not limited thereto. The components of the embodiments described below can be combined as appropriate. In addition, some components may not be used.
以下の説明においては、三次元の現場座標系（Ｘｇ，Ｙｇ，Ｚｇ）、三次元の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）、及び三次元の撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）を規定して、各部の位置関係について説明する。 In the following description, the three-dimensional field coordinate system (Xg, Yg, Zg), the three-dimensional vehicle body coordinate system (Xm, Ym, Zm), and the three-dimensional image pickup device coordinate system (Xs, Ys, Zs) are referred to. By definition, the positional relationship of each part will be explained.
現場座標系は、地球に固定された原点を基準とする座標系である。現場座標系は、ＧＮＳＳ（Global Navigation Satellite System）によって規定される座標系である。ＧＮＳＳとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、ＧＰＳ（Global Positioning System）が挙げられる。 The field coordinate system is a coordinate system based on the origin fixed to the earth. The field coordinate system is a coordinate system defined by GNSS (Global Navigation Satellite System). GNSS refers to a global navigation satellite system. GPS (Global Positioning System) is an example of a global navigation satellite system.
現場座標系は、水平面のＸｇ軸と、Ｘｇ軸と直交する水平面のＹｇ軸と、Ｘｇ軸及びＹｇ軸と直交するＺｇ軸とによって規定される。Ｘｇ軸を中心とする回転又は傾斜方向をθＸｇ方向とし、Ｙｇ軸を中心とする回転又は傾斜方向をθＹｇ方向とし、Ｚｇ軸を中心とする回転又は傾斜方向をθＺｇ方向とする。Ｚｇ軸方向は鉛直方向である。 The field coordinate system is defined by the Xg axis of the horizontal plane, the Yg axis of the horizontal plane orthogonal to the Xg axis, and the Zg axis orthogonal to the Xg axis and the Yg axis. The rotation or tilt direction centered on the Xg axis is defined as the θXg direction, the rotation or tilting direction centered on the Yg axis is defined as the θYg direction, and the rotation or tilting direction centered on the Zg axis is defined as the θZg direction. The Zg axis direction is the vertical direction.
車体座標系は、作業機械の車体に規定された原点を基準とする第１所定面のＸｍ軸と、Ｘｍ軸と直交する第１所定面のＹｍ軸と、Ｘｍ軸及びＹｍ軸と直交するＺｍ軸とによって規定される。Ｘｍ軸を中心とする回転又は傾斜方向をθＸｍ方向とし、Ｙｍ軸を中心とする回転又は傾斜方向をθＹｍ方向とし、Ｚｍ軸を中心とする回転又は傾斜方向をθＺｍ方向とする。Ｘｍ軸方向は作業機械の前後方向であり、Ｙｍ軸方向は作業機械の車幅方向であり、Ｚｍ軸方向は作業機械の上下方向である。 The vehicle body coordinate system consists of the Xm axis of the first predetermined surface with respect to the origin defined in the vehicle body of the work machine, the Ym axis of the first predetermined surface orthogonal to the Xm axis, and the Xm axis and Zm orthogonal to the Ym axis. Defined by the axis. The rotation or tilt direction centered on the Xm axis is defined as the θXm direction, the rotation or tilting direction centered on the Ym axis is defined as the θYm direction, and the rotation or tilting direction centered on the Zm axis is defined as the θZm direction. The Xm axis direction is the front-rear direction of the work machine, the Ym axis direction is the vehicle width direction of the work machine, and the Zm axis direction is the vertical direction of the work machine.
撮像装置座標系は、撮像装置に規定された原点を基準とする第２所定面のＸｓ軸と、Ｘｓ軸と直交する第２所定面のＹｓ軸と、Ｘｓ軸及びＹｓ軸と直交するＺｓ軸とによって規定される。Ｘｓ軸を中心とする回転又は傾斜方向をθＸｓ方向とし、Ｙｓ軸を中心とする回転又は傾斜方向をθＹｓ方向とし、Ｚｓ軸を中心とする回転又は傾斜方向をθＺｓ方向とする。Ｘｓ軸方向は撮像装置の上下方向であり、Ｙｓ軸方向は撮像装置の幅方向であり、Ｚｓ軸方向は撮像装置の前後方向である。Ｚｓ軸方向は撮像装置の光学系の光軸と平行である。 The image pickup device coordinate system includes the Xs axis of the second predetermined plane with respect to the origin defined in the image pickup device, the Ys axis of the second predetermined plane orthogonal to the Xs axis, and the Xs axis and the Zs axis orthogonal to the Ys axis. Is defined by. The rotation or tilt direction centered on the Xs axis is defined as the θXs direction, the rotation or tilting direction centered on the Ys axis is defined as the θYs direction, and the rotation or tilting direction centered on the Zs axis is defined as the θZs direction. The Xs-axis direction is the vertical direction of the image pickup device, the Ys-axis direction is the width direction of the image pickup device, and the Zs-axis direction is the front-back direction of the image pickup device. The Zs axis direction is parallel to the optical axis of the optical system of the image pickup apparatus.
現場座標系における位置と、車体座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。 The position in the field coordinate system, the position in the vehicle body coordinate system, and the position in the image pickup device coordinate system can be converted to each other.
第１実施形態．
［作業機械］
図１は、本実施形態に係る作業機械１の一例を示す斜視図である。本実施形態においては、作業機械１が油圧ショベルである例について説明する。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。
First embodiment.
[Working machine]
FIG. 1 is a perspective view showing an example of the
図１に示すように、油圧ショベル１は、車体１Ｂと、作業機２とを有する。車体１Ｂは、旋回体３と、旋回体３を旋回可能に支持する走行体５とを有する。
As shown in FIG. 1, the
旋回体３は、運転室４を有する。油圧ポンプ及び内燃機関が旋回体３に配置される。旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸Ｚｒは、車体座標系のＺｍ軸と平行である。車体座標系の原点は、例えば旋回体３のスイングサークルの中心に規定される。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに位置する。
The
走行体５は、履帯５Ａ，５Ｂを有する。履帯５Ａ，５Ｂが回転することにより、油圧ショベル１が走行する。車体座標系のＺｍ軸は、履帯５Ａ，５Ｂの接地面と直交する。車体座標系の上方（＋Ｚｍ方向）は、履帯５Ａ，５Ｂの接地面から離れる方向であり、車体座標系の下方（－Ｚｍ方向）は、車体座標系の上方とは反対の方向である。
The traveling body 5 has
作業機２は、旋回体３に連結される。車体座標系において、作業機２の少なくとも一部は、旋回体３よりも前方に配置される。車体座標系の前方（＋Ｘｍ方向）は、旋回体３を基準として作業機２が存在する方向であり、車体座標系の後方（－Ｘｍ方向）は、車体座標系の前方とは反対の方向である。
The
作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。
The working
また、油圧ショベル１は、旋回体３の位置を検出する位置検出装置２３と、旋回体３の姿勢を検出する姿勢検出装置２４と、制御装置４０とを有する。
Further, the
位置検出装置２３は、現場座標系における旋回体３の位置を検出する。旋回体３の位置は、Ｘｇ軸方向の座標、Ｙｇ軸方向の座標、及びＺｇ軸方向の座標を含む。位置検出装置２３は、ＧＰＳ受信機を含む。位置検出装置２３は、旋回体３に設けられる。
The
ＧＰＳアンテナ２１が旋回体３に設けられる。ＧＰＳアンテナ２１は、例えば車体座標系のＹｍ軸方向に２つ配置される。ＧＰＳアンテナ２１は、ＧＰＳ衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出装置２３に出力する。位置検出装置２３は、ＧＰＳアンテナ２１からの信号に基づいて、現場座標系におけるＧＰＳアンテナ２１の位置を検出する。
The
位置検出装置２３は、２つのＧＰＳアンテナ２１の位置の少なくとも一方に基づいて演算処理を実施して、旋回体３の位置を算出する。旋回体３の位置は、一方のＧＰＳアンテナ２１の位置でもよいし、一方のＧＰＳアンテナ２１の位置と他方のＧＰＳアンテナ２１の位置との間の位置でもよい。
The
姿勢検出装置２４は、現場座標系における旋回体３の姿勢を検出する。旋回体３の姿勢は、Ｘｍ軸を中心とする回転方向における旋回体３の傾斜角度を示すロール角と、Ｙｍ軸を中心とする回転方向における旋回体３の傾斜角度を示すピッチ角と、Ｚｍ軸と中心とする回転方向における旋回体３の傾斜角度を示す方位角とを含む。姿勢検出装置２４は、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を含む。姿勢検出装置２４は、旋回体３に設けられる。なお、姿勢検出装置２４としてジャイロセンサが旋回体３に搭載されてもよい。
The
姿勢検出装置２４は、姿勢検出装置２４に作用する加速度及び角速度を検出する。姿勢検出装置２４に作用する加速度及び角速度が検出されることにより、旋回体３に作用する加速度及び角速度が検出される。姿勢検出装置２４は、旋回体３に作用する加速度及び角速度に基づいて演算処理を実施して、ロール角、ピッチ角、及び方位角を含む旋回体３の姿勢を算出する。
The
なお、位置検出装置２３の検出データに基づいて方位角が算出されてもよい。位置検出装置２３は、一方のＧＰＳアンテナ２１の位置と他方のＧＰＳアンテナ２１の位置とに基づいて、現場座標系における基準方位に対する旋回体３の方位角を算出することができる。基準方位は、例えば北である。位置検出装置２３は、一方のＧＰＳアンテナ２１の位置と他方のＧＰＳアンテナ２１の位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する旋回体３の方位角を算出することができる。
The azimuth may be calculated based on the detection data of the
次に、本実施形態に係るステレオカメラ３００について説明する。図２は、本実施形態に係る油圧ショベル１の一部を示す斜視図である。図２に示すように、油圧ショベル１は、ステレオカメラ３００を有する。ステレオカメラ３００とは、施工対象ＳＢを複数の方向から同時に撮影して視差データを生成することにより、施工対象ＳＢまでの距離を計測可能なカメラをいう。
Next, the
ステレオカメラ３００は、油圧ショベル１の周辺の施工対象ＳＢを撮影する。施工対象は、油圧ショベル１の作業機２で掘削される掘削施工対象を含む。なお、施工対象ＳＢは、油圧ショベル１とは別の作業機械によって施工される施工対象でもよいし、作業者によって施工される施工対象でもよい。また、施工対象ＳＢは、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。
The
ステレオカメラ３００は、旋回体３に搭載される。ステレオカメラ３００は、運転室４に設けられる。ステレオカメラ３００は、運転室４の前方（＋Ｘｍ方向）かつ上方（＋Ｚｍ方向）に配置される。ステレオカメラ３００は、油圧ショベル１の前方の撮影対象ＳＢを撮影する。
The
ステレオカメラ３００は、複数の撮像装置３０を有する。撮像装置３０は、旋回体３に搭載される。撮像装置３０は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。本実施形態において、撮像装置３０は、４つの撮像装置３０Ａ，３０Ｂ，３０Ｃ，３０Ｄを含む。
The
一対の撮像装置３０によってステレオカメラ３００が構成される。ステレオカメラ３００は、一対の撮像装置３０Ａ，３０Ｂによって構成される第１ステレオカメラ３０１と、一対の撮像装置３０Ｃ，３０Ｄによって構成される第２ステレオカメラ３０２とを含む。
The
撮像装置３０Ａ，３０Ｃは、撮像装置３０Ｂ，３０Ｄよりも＋Ｙｍ側（作業機２側）に配置される。撮像装置３０Ａと撮像装置３０Ｂとは、Ｙｍ軸方向に間隔をあけて配置される。撮像装置３０Ｃと撮像装置３０Ｄとは、Ｙｍ軸方向に間隔をあけて配置される。撮像装置３０Ａ，３０Ｂは、撮像装置３０Ｃ，３０Ｄよりも＋Ｚｍ側に配置される。Ｚｍ軸方向において、撮像装置３０Ａと撮像装置３０Ｂとは、実質的に同一の位置に配置される。Ｚｍ軸方向において、撮像装置３０Ｃと撮像装置３０Ｄとは、実質的に同一の位置に配置される。
The
撮像装置３０Ａ，３０Ｂは、上方（＋Ｚｍ方向）を向く。撮像装置３０Ｃ，３０Ｄは、下方（－Ｚｍ方向）を向く。また、撮像装置３０Ａ，３０Ｃは、前方（＋Ｘｍ方向）を向く。撮像装置３０Ｂ，３０Ｄは、前方よりも僅かに＋Ｙｍ側（作業機２側）を向く。すなわち、撮像装置３０Ａ，３０Ｃは、旋回体３の正面を向き、撮像装置３０Ｂ，３０Ｄは、撮像装置３０Ａ，３０Ｃ側を向く。なお、撮像装置３０Ｂ，３０Ｄが旋回体３の正面を向き、撮像装置３０Ａ，３０Ｃが撮像装置３０Ｂ，３０Ｄ側を向いてもよい。
The
撮像装置３０は、旋回体３の前方に存在する施工対象ＳＢを撮影する。一対の撮像装置３０が撮影した一対の画像が制御装置４０においてステレオ処理されることにより、施工対象ＳＢの三次元形状を示す三次元データが算出される。制御装置４０は、撮像装置座標系における施工対象ＳＢの三次元データを現場座標系における施工対象ＳＢの三次元データに変換する。三次元データは、施工対象ＳＢの三次元位置を示す。施工対象ＳＢの三次元位置は、施工対象ＳＢの表面の複数の部位のそれぞれの三次元座標を含む。
The
複数の撮像装置３０のそれぞれに撮像装置座標系が規定される。撮像装置座標系は、撮像装置３０に固定された原点を基準とする座標系である。撮像装置座標系のＺｓ軸は、撮像装置３０の光学系の光軸と一致する。
An image pickup device coordinate system is defined for each of the plurality of
なお、本実施形態においては、旋回体３に２組のステレオカメラ（第１ステレオカメラ３０１及び第２ステレオカメラ３０２）が搭載されることとするが、１組のステレオカメラが搭載されてもよいし、３組以上のステレオカメラが搭載されてもよい。
In the present embodiment, two sets of stereo cameras (
また、図２に示すように、油圧ショベル１は、運転席４Ｓと、入力装置３２と、操作装置３５とを有する。運転席４Ｓ、入力装置３２、及び操作装置３５は、運転室４に配置される。油圧ショベル１の運転者は、運転席４Ｓに着座する。
Further, as shown in FIG. 2, the
入力装置３２は、撮像装置３０による撮影の開始又は停止のために運転者に操作される。入力装置３２は、運転席４Ｓの近傍に設けられる。入力装置３２が操作されることにより、撮像装置３０による撮影が開始又は停止する。撮影の開始とは、撮像装置３０が後述する撮影開始指令信号を取得した時点から撮影を開始すること、信号取得部４１１が撮影開始指令信号を取得した時点から撮影された画像を記憶装置４２へ記憶すること、および信号取得部４１１が撮影開始指令信号を取得した時点から撮影された画像に基づいてステレオ処理を実行すること、を含む。
The
同様に撮影の停止とは、撮像装置３０が撮影停止指令信号を取得した時点で撮影を停止すること、信号取得部４１１が撮影停止指令信号を取得した時点から撮影された画像の記憶装置４２への記憶を停止すること、および信号取得部４１１が撮影停止指令信号を取得した時点から撮影された画像に基づいたステレオ処理の実行を停止すること、を含む。
Similarly, stopping shooting means stopping shooting when the
操作装置３５は、作業機２の駆動又は駆動停止、旋回体３の旋回又は旋回停止すなわち旋回動作、及び走行体５の走行又は走行停止すなわち走行動作のために運転者に操作される。操作装置３５は、作業機２及び旋回体３を操作するための右操作レバー３５Ｒ及び左操作レバー３５Ｌを含む。また、操作装置３５は、走行体５を操作するための右走行レバー及び左走行レバー（不図示）を含む。操作装置３５が操作されることにより、作業機２の駆動又は駆動停止、旋回体３の旋回動作、及び走行体５の走行動作が実施される。
The operating
［計測システム］
次に、本実施形態に係る計測システム５０について説明する。図３は、本実施形態に係る計測システム５０の一例を示す機能ブロック図である。計測システム５０は、油圧ショベル１に設けられる。
[Measurement system]
Next, the
計測システム５０は、制御装置４０と、第１ステレオカメラ３０１及び第２ステレオカメラ３０２を含むステレオカメラ３００と、位置検出装置２３と、姿勢検出装置２４と、操作装置３５の操作データを検出する操作量センサ３６と、入力装置３２とを備える。
The
制御装置４０は、油圧ショベル１の旋回体３に設けられる。制御装置４０は、コンピュータシステムを含む。制御装置４０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置４１と、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置４２と、入出力インターフェース４３とを有する。
The
演算処理装置４１は、画像取得部４１０と、信号取得部４１１と、共通部分抽出部４１３と、旋回データ取得部４１５と、撮像位置算出部４１６と、三次元位置算出部４１７と、判定部４１８とを有する。
The
画像取得部４１０は、油圧ショベル１が旋回中において撮像装置３０によって撮影された施工対象ＳＢの複数の画像ＰＣを取得する。また、画像取得部４１０は、油圧ショベル１が動作停止状態、すなわち走行も旋回も停止した状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣを取得する。
The image acquisition unit 410 acquires a plurality of image PCs of the construction target SB photographed by the
信号取得部４１１は、入力装置３２が操作されることにより生成された指令信号を取得する。入力装置３２は、撮像装置３０による撮影の開始又は停止のために操作される。指令信号は、撮影開始指令信号及び撮影停止指令信号を含む。信号取得部４１１は、取得した撮影開始指令信号及び撮影停止指令信号を撮像装置３０に出力する。
The signal acquisition unit 411 acquires a command signal generated by operating the
なお、信号取得部４１１が撮影開始指令信号を取得した時点と撮影停止指令信号を取得した時点との期間に撮影された画像ＰＣが記憶装置４２に記憶され、その記憶装置４２に記憶されている画像ＰＣがステレオ処理に使用されてもよい。 The image PC captured during the period between the time when the signal acquisition unit 411 acquires the shooting start command signal and the time when the shooting stop command signal is acquired is stored in the storage device 42, and is stored in the storage device 42. The image PC may be used for stereo processing.
共通部分抽出部４１３は、油圧ショベル１が旋回中において撮像装置３０によって撮影された複数の画像ＰＣの共通部分ＫＳを抽出する。共通部分ＫＳについては後述する。
The intersection extraction unit 413 extracts the intersection KS of a plurality of image PCs taken by the
旋回データ取得部４１５は、旋回中の旋回体３の旋回データを取得する。旋回データとは、旋回体３の旋回状態を示すデータであり、旋回体３の旋回速度Ｖ、旋回角度θ、及び旋回方向ＲＤの少なくとも一つを含む。後述するように、本実施形態において、旋回データは、撮像位置算出部４１６によって算出される。旋回データ取得部４１５は、撮像位置算出部４１６から旋回データを取得する。
The turning data acquisition unit 415 acquires turning data of the turning
撮像位置算出部４１６は、撮影時の撮像装置３０の位置Ｐ及び姿勢を算出する。旋回体３が旋回中である場合、撮影時の撮像装置３０の位置Ｐは、旋回方向ＲＤの撮像装置３０の位置を含む。走行体５が走行状態である場合、撮影時の撮像装置３０の位置Ｐは、走行方向ＭＤの撮像装置３０の位置を含む。また、撮像位置算出部４１６は、旋回体３の旋回データを算出する。旋回体３の旋回データは、旋回体３の旋回速度Ｖ、旋回角度θ、及び旋回方向ＲＤの少なくとも一つを含む。
The image pickup position calculation unit 416 calculates the position P and the posture of the
三次元位置算出部４１７は、一対の撮像装置３０によって撮影された一対の画像ＰＣをステレオ処理することにより、撮像装置座標系における施工対象ＳＢの三次元位置を算出する。三次元位置算出部４１７は、撮像位置算出部４１６に算出された撮像装置３０の位置Ｐに基づいて、撮像装置座標系における施工対象ＳＢの三次元位置を現場座標系における施工対象ＳＢの三次元位置に変換する。
The three-dimensional position calculation unit 417 calculates the three-dimensional position of the construction target SB in the image pickup device coordinate system by stereo-processing the pair of image PCs taken by the pair of
判定部４１８は、旋回データに基づいて、ステレオ処理に使用される画像ＰＣの撮影の停止条件を満足するか否かを判定する。停止条件を満足しない場合、ステレオ処理のための画像ＰＣの撮影は継続される。停止条件は、記憶装置４２の停止条件記憶部４２２に記憶されている。停止条件については後述する。
The determination unit 418 determines whether or not the shooting stop condition of the image PC used for the stereo processing is satisfied based on the turning data. If the stop condition is not satisfied, the image PC for stereo processing continues to be photographed. The stop condition is stored in the stop
出力部４１９は、判定部４１８の判定結果に基づいて、撮影停止指令信号を出力する。出力部４１９は、判定部４１８によって画像ＰＣの撮影の停止条件が満足したと判定された場合、信号取得部４１１または撮像装置３０に撮影停止指令信号を出力する。出力部４１９は、その他装置に撮影停止指令信号を出力してもよい。判定結果は、画像ＰＣの撮影の停止条件を満足したという結果、画像ＰＣの撮影の停止条件を満足しないという結果を含む。
The output unit 419 outputs a shooting stop command signal based on the determination result of the determination unit 418. When the determination unit 418 determines that the shooting stop condition of the image PC is satisfied, the output unit 419 outputs a shooting stop command signal to the signal acquisition unit 411 or the
記憶装置４２は、停止条件記憶部４２２と、画像記憶部４２３とを有する。
The storage device 42 has a stop
入出力インターフェース４３は、演算処理装置４１及び記憶装置４２と外部機器とを接続するインターフェース回路を含む。入出力インターフェース４３には、ハブ３１、位置検出装置２３、姿勢検出装置２４、操作量センサ３６、及び入力装置３２が接続される。
The input /
複数の撮像装置３０（３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ）は、ハブ３１を介して演算処理装置４１と接続される。撮像装置３０は、信号取得部４１１からの撮影開始指令信号に基づいて、施工対象ＳＢの画像ＰＣを撮影する。撮像装置３０が撮影した施工対象ＳＢの画像ＰＣは、ハブ３１及び入出力インターフェース４３を介して演算処理装置４１及び記憶装置４２のそれぞれに入力される。画像取得部４１０及び画像記憶部４２３のそれぞれは、撮像装置３０が撮影した施工対象ＳＢの画像ＰＣを、ハブ３１及び入出力インターフェース４３を介して取得する。なお、ハブ３１は省略されてもよい。
The plurality of image pickup devices 30 (30A, 30B, 30C, 30D) are connected to the
操作量センサ３６は、上述のとおり操作装置３５の操作データを検出する。操作量センサ３６は、検出した操作データに基づき操作装置３５が操作された操作状態と、操作装置３５が操作されていない中立状態とを検出してもよい。操作データには、操作装置３５の操作量、および操作状態と中立状態との検出結果が含まれる。操作量センサ３６は、操作レバーの操作位置に基づいて操作データを検出してもよいし、操作レバーを操作したことによって生成されるパイロット油圧、すなわちＰＰＣ（Pressure Proportional Control）圧によって操作データを検出してもよいし、その他の方法によって操作データを検出してもよい。
The
入力装置３２は、撮像装置３０による撮影の開始又は停止のために操作される。入力装置３２が操作されることにより、撮影開始指令信号又は撮影停止指令信号が生成される。入力装置３２として、操作スイッチ、操作ボタン、タッチパネル、音声入力、及びキーボードの少なくとも一つが例示される。入力装置３２の操作には、音声による入力が含まれる。
The
［旋回地形計測］
次に、本実施形態に係る油圧ショベル１の動作の一例について説明する。図４は、本実施形態に係る油圧ショベル１の動作の一例を模式的に示す図である。計測システム５０は、旋回体３が旋回中において撮像装置３０によって油圧ショベル１の周辺の施工対象ＳＢの画像ＰＣを連続撮影する。撮像装置３０は、旋回体３が旋回中において、所定の周期で施工対象ＳＢの画像ＰＣを順次撮影する。
[Measurement of turning terrain]
Next, an example of the operation of the
撮像装置３０は、旋回体３に搭載されている。旋回体３が旋回することにより、撮像装置３０の撮影領域ＦＭは、旋回方向ＲＤに移動する。旋回体３が旋回中において撮像装置３０が施工対象ＳＢの画像ＰＣを連続撮影することによって、撮像装置３０は、施工対象ＳＢの複数の領域のそれぞれの画像ＰＣを取得することができる。三次元位置算出部４１７は、一対の撮像装置３０で撮影された一対の画像ＰＣをステレオ処理することにより、油圧ショベル１の周辺の施工対象ＳＢの三次元位置を算出することができる。
The
ステレオ処理により算出された施工対象ＳＢの三次元位置は、撮像装置座標系において規定される。三次元位置算出部４１７は、撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。撮像装置座標系における三次元位置を現場座標系における三次元位置に変換するため、現場座標系における旋回体３の位置及び姿勢が必要となる。現場座標系における旋回体３の位置及び姿勢は、位置検出装置２３及び姿勢検出装置２４によって検出可能である。
The three-dimensional position of the construction target SB calculated by the stereo processing is defined in the image pickup device coordinate system. The three-dimensional position calculation unit 417 converts the three-dimensional position in the image pickup apparatus coordinate system into the three-dimensional position in the field coordinate system. In order to convert the three-dimensional position in the image pickup device coordinate system into the three-dimensional position in the field coordinate system, the position and orientation of the
油圧ショベル１が旋回中において、油圧ショベル１に搭載されている位置検出装置２３及び姿勢検出装置２４のそれぞれは変位する。動いている状態の位置検出装置２３及び姿勢検出装置２４のそれぞれから出力される検出データは、不安定であったり検出精度が低下したりする可能性がある。
While the
位置検出装置２３は、所定の周期で検出データを出力する。そのため、油圧ショベル１が旋回中において位置検出装置２３による位置の検出と撮像装置３０による撮影とが並行して実施される場合、位置検出装置２３が動いていると、撮像装置３０が画像を撮影するタイミングと位置検出装置２３が位置を検出するタイミングとが同期しない可能性がある。撮影のタイミングとは異なるタイミングで検出された位置検出装置２３の検出データに基づいて施工対象ＳＢの三次元位置が座標変換されると、三次元位置の計測精度が低下する可能性がある。
The
本実施形態において、計測システム５０は、後述する方法に基づいて、旋回体３が旋回中において撮像装置３０によって画像ＰＣが撮影された時点における旋回体３の位置及び姿勢を高精度に算出する。これにより、計測システム５０は、現場座標系における施工対象ＳＢの三次元位置を高精度に算出することができる。
In the present embodiment, the
撮像位置算出部４１６は、油圧ショベル１が動作停止状態において検出された位置検出装置２３及び姿勢検出装置２４のそれぞれの検出データを取得する。油圧ショベル１が動作停止状態において位置検出装置２３及び姿勢検出装置２４によって検出された検出データは安定している可能性が高い。撮像位置算出部４１６は、旋回体３の旋回開始前及び旋回停止後のそれぞれの動作停止状態において検出された検出データを取得する。撮像装置３０は、旋回体３の旋回開始前及び旋回停止後のそれぞれの動作停止状態において施工対象ＳＢの画像ＰＣを撮影する。撮像位置算出部４１６は、油圧ショベル１が動作停止状態において取得された位置検出装置２３及び姿勢検出装置２４のそれぞれの検出データに基づいて、油圧ショベル１が動作停止状態において撮影された画像ＰＣから算出された撮像装置座標系における施工対象ＳＢの三次元位置を現場座標系における三次元位置に変換する。
The image pickup position calculation unit 416 acquires the detection data of each of the
一方、撮像位置算出部４１６は、旋回体３が旋回中において撮像装置３０によって施工対象ＳＢの画像ＰＣが撮影された場合、後述する方法に基づいて、旋回体３が旋回中において撮像装置３０によって画像ＰＣが撮影した時点における旋回体３の位置及び姿勢を算出する。撮像位置算出部４１６は、算出された旋回体３の位置及び姿勢に基づいて、撮影された画像ＰＣから算出された撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。
On the other hand, when the image PC of the construction target SB is photographed by the
図５は、本実施形態に係る計測システム５０の動作の一例を模式的に示す図である。図５は、旋回体３が旋回中において撮像装置３０が施工対象ＳＢを撮影することを説明するための模式図である。
FIG. 5 is a diagram schematically showing an example of the operation of the
以下の説明においては、走行体５が走行停止状態であることとする。図５に示すように、旋回体３が旋回することにより、旋回体３に搭載されている撮像装置３０及び撮像装置３０の撮影領域ＦＭは、旋回方向ＲＤに移動する。撮像装置３０の撮影領域ＦＭは、撮像装置３０の光学系の視野に基づいて規定される。撮像装置３０は、撮影領域ＦＭに配置される施工対象ＳＢの画像ＰＣを取得する。旋回体３の旋回により、撮像装置３０の撮影領域ＦＭは、旋回体３の旋回方向ＲＤに移動する。撮像装置３０は、移動する撮影領域ＦＭに順次配置される施工対象ＳＢの画像ＰＣを撮影する。
In the following description, it is assumed that the traveling body 5 is in the traveling stopped state. As shown in FIG. 5, when the
図５は、旋回体３の旋回により、撮影領域ＦＭが旋回方向ＲＤに、撮影領域ＦＭ１、撮影領域ＦＭ２、及び撮影領域ＦＭ３の順に移動する例を示す。撮影領域ＦＭ１は、旋回方向ＲＤにおける第１位置ＰＪ１に規定される。撮影領域ＦＭ２は、旋回方向ＲＤにおける第２位置ＰＪ２に規定される。撮影領域ＦＭ３は、旋回方向ＲＤにおける第３位置ＰＪ３に規定される。第２位置ＰＪ２は、第１位置ＰＪ１から旋回角度Δθ１だけ旋回した位置である。第３位置ＰＪ３は、第２位置ＰＪ２から旋回角度Δθ２だけ旋回した位置である。撮像装置３０は、撮影領域ＦＭ１に配置された施工対象ＳＢの画像ＰＣ１、撮影領域ＦＭ２に配置された施工対象ＳＢの画像ＰＣ２、及び撮影領域ＦＭ３に配置された施工対象ＳＢの画像ＰＣ３のそれぞれを撮影する。画像ＰＣ１、画像ＰＣ２、画像ＰＣ３は、同一の撮像装置３０（図５に示す例では撮像装置３０Ｃ）により撮像された画像である。
FIG. 5 shows an example in which the photographing area FM moves in the turning direction RD in the order of the photographing area FM1, the photographing area FM2, and the photographing area FM3 due to the turning of the
撮像装置３０は、隣り合う撮影領域ＦＭに重複領域ＯＢが設けられるように、所定のタイミングで撮影する。図５は、撮影領域ＦＭ１と撮影領域ＦＭ２とに重複領域ＯＢ１が設けられ、撮影領域ＦＭ２と撮影領域ＦＭ３との間に重複領域ＯＢ２が設けられる例を示す。重複領域ＯＢ１は、画像ＰＣ１と画像ＰＣ２の一部とが重複する重複領域ＯＢである。重複領域ＯＢ２は、画像ＰＣ２と画像ＰＣ３の一部とが重複する重複領域ＯＢである。
The
重複領域ＯＢに画像ＰＣの共通部分ＫＳが存在する。重複領域ＯＢ１に存在する共通部分ＫＳ１は、画像ＰＣ１と画像ＰＣ２との共通部分ＫＳである。重複領域ＯＢ２に存在する共通部分ＫＳ２は、画像ＰＣ２と画像ＰＣ３との共通部分ＫＳである。共通部分抽出部４１３は、撮像装置３０によって撮影された複数の二次元の画像ＰＣの共通部分ＫＳを抽出する。
The intersection KS of the image PC exists in the overlapping area OB. The intersection KS1 existing in the overlapping region OB1 is the intersection KS between the image PC1 and the image PC2. The intersection KS2 existing in the overlapping region OB2 is the intersection KS between the image PC2 and the image PC3. The intersection extraction unit 413 extracts the intersection KS of a plurality of two-dimensional image PCs taken by the
図６は、本実施形態に係る計測システム５０の処理の一例を説明するための模式図である。図６は、旋回体３が旋回中において撮影された画像ＰＣ（ＰＣ１，ＰＣ２）の一例を示す図である。共通部分抽出部４１３は、画像ＰＣから共通部分ＫＳを抽出する。
FIG. 6 is a schematic diagram for explaining an example of the processing of the
図６に示すように、共通部分抽出部４１３は、撮影領域ＦＭ１に配置された施工対象ＳＢの画像ＰＣ１と、撮影領域ＦＭ２に配置された施工対象ＳＢの画像ＰＣ２とから、画像ＰＣ１と画像ＰＣ２との共通部分ＫＳ１を抽出する。撮像位置算出部４１６は、共通部分抽出部４１３で抽出された共通部分ＫＳ１に基づいて、旋回体３の推定角度θｓ（図５においてはΔθ１）を算出する。また、撮像位置算出部４１６は、推定角度θｓに基づいて、撮影時の撮像装置３０の推定位置Ｐｓ（図５においてはＰＪ２）を算出する。
As shown in FIG. 6, the intersection extraction unit 413 has an image PC1 and an image PC2 from the image PC1 of the construction target SB arranged in the photographing area FM1 and the image PC2 of the construction target SB arranged in the photographing area FM2. Extract the intersection KS1 with. The image pickup position calculation unit 416 calculates the estimated angle θs (Δθ1 in FIG. 5) of the
共通部分ＫＳは、画像ＰＣにおける特徴点である。共通部分抽出部４１３は、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）又はHarrisコーナー検出のような既知の特徴点検出アルゴリズムに基づいて、共通部分ＫＳを抽出する。共通部分抽出部４１３は、複数の画像ＰＣのそれぞれから複数の特徴点を抽出し、抽出した複数の特徴点から類似する特徴点を探索することによって、共通部分ＫＳを抽出する。共通部分抽出部４１３は、共通部分ＫＳを複数点抽出してもよい。共通部分抽出部４１３は、例えば画像ＰＣにおける施工対象ＳＢの角部を特徴点として抽出する。 The intersection KS is a feature point in the image PC. The intersection extraction unit 413 extracts the intersection KS based on a known feature point detection algorithm such as ORB (Oriented FAST and Rotated BRIEF) or Harris corner detection. The intersection extraction unit 413 extracts a plurality of feature points from each of the plurality of image PCs, and extracts a common portion KS by searching for similar feature points from the extracted plurality of feature points. The intersection extraction unit 413 may extract a plurality of points of the intersection KS. The intersection extraction unit 413 extracts, for example, the corners of the construction target SB in the image PC as feature points.
旋回体３の旋回により撮像装置３０の撮影領域ＦＭが旋回方向ＲＤに移動し、撮影領域ＦＭの移動により、画像ＰＣにおける共通部分ＫＳが変位する。図６に示す例では、共通部分ＫＳは、画像ＰＣ１においては画素位置ＰＸ１に存在し、画像ＰＣ２においては画素位置ＰＸ２に存在する。画像ＰＣ１と画像ＰＣ２とにおいて、共通部分ＫＳが存在する位置が異なる。すなわち、共通部分ＫＳ１は、画像ＰＣ１と画像ＰＣ２との間において変位したことになる。撮像位置算出部４１６は、複数の画像ＰＣにおける共通部分ＫＳの位置に基づいて、位置ＰＪ１から位置ＰＪ２までの旋回角度Δθ１を算出することができる。
The swivel of the
図７は、本実施形態に係る計測システム５０の処理の一例を説明するための模式図である。図７は、旋回体３が旋回することにより撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）が移動することを説明する図である。図７に示すように、旋回体３は、車体座標系のＸｍ－Ｙｍ平面内において旋回軸Ｚｒを中心に旋回する。旋回体３が旋回軸Ｚｒを中心に旋回角度Δθだけ旋回すると、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）が旋回軸Ｚｒを中心に旋回角度Δθだけ移動する。撮像位置算出部４１６は、旋回体３が旋回軸Ｚｒを中心に旋回することを拘束条件として、旋回前角度θｒａから旋回角度Δθだけ旋回したときの旋回体３の推定角度θｓ及び撮像装置３０の推定位置Ｐｓを算出することができる。
FIG. 7 is a schematic diagram for explaining an example of the processing of the
［推定角度の算出］
図８は、本実施形態に係る計測システム５０の処理の一例を説明するための模式図である。図８は、旋回体３の旋回角度θ及び撮像装置３０の位置Ｐを算出する例を示す模式図である。図８は、車体座標系における旋回体３の旋回角度θ及び撮像装置３０の位置Ｐを示す。
[Calculation of estimated angle]
FIG. 8 is a schematic diagram for explaining an example of the processing of the
図８に示す例において、旋回体３は、旋回前角度θｒａ、第１推定角度θｓ１、第２推定角度θｓ２、第３推定角度θｓ３、及び旋回後角度θｒｂの順に、旋回方向ＲＤに旋回する。撮像装置３０は、旋回体３の旋回により、旋回前位置Ｐｒａ、第１推定位置Ｐｓ１、第２推定位置Ｐｓ２、第３推定位置Ｐｓ３、及び旋回後位置Ｐｒｂの順に移動する。撮像装置３０の撮影領域ＦＭは、旋回方向ＲＤの撮像装置３０の移動により、撮影領域ＦＭｒａ、撮影領域ＦＭｓ１、撮影領域ＦＭｓ２、撮影領域ＦＭｓ３、及び撮影領域ＦＭｒｂの順に移動する。
In the example shown in FIG. 8, the
旋回前角度θｒａ及び旋回後角度θｒｂのとき、旋回体３は旋回停止状態である。旋回前角度θｒａにおいて旋回停止状態の旋回体３は、第１推定角度θｓ１、第２推定角度θｓ２、及び第３推定角度θｓ３を経由して、旋回後角度θｒｂに到達するように、旋回前角度θｒａから旋回後角度θｒｂまで旋回する。
When the angle before turning θra and the angle after turning θrb, the turning
撮像装置３０は、旋回前位置Ｐｒａに配置されている状態で、撮影領域ＦＭｒａに配置される施工対象ＳＢの画像ＰＣｒａを取得する。撮像装置３０は、第１推定位置Ｐｓ１に配置されている状態で、撮影領域ＦＭｓ１に配置される施工対象ＳＢの画像ＰＣｓ１を取得する。撮像装置３０は、第２推定位置Ｐｓ２に配置されている状態で、撮影領域ＦＭｓ２に配置される施工対象ＳＢの画像ＰＣｓ２を取得する。撮像装置３０は、第３推定位置Ｐｓ３に配置されている状態で、撮影領域ＦＭｓ３に配置される施工対象ＳＢの画像ＰＣｓ３を取得する。撮像装置３０は、旋回後位置Ｐｒｂに配置されている状態で、撮影領域ＦＭｒｂに配置される施工対象ＳＢの画像ＰＣｒｂを取得する。
The
上述のように、撮像位置算出部４１６は、旋回体３が旋回開始前の旋回停止状態において位置検出装置２３及び姿勢検出装置２４によって検出された旋回体３の位置及び姿勢に基づいて、旋回前角度θｒａを算出する。また、撮像位置算出部４１６は、旋回体３が旋回停止後の旋回停止状態において位置検出装置２３及び姿勢検出装置２４によって検出された旋回体３の位置及び姿勢に基づいて、旋回後角度θｒｂを算出する。また、撮像位置算出部４１６は、旋回前角度θｒａに基づいて、旋回前位置Ｐｒａを算出する。また、撮像位置算出部４１６は、旋回後角度θｒｂに基づいて、旋回後位置Ｐｒｂを算出する。
As described above, the image pickup position calculation unit 416 performs before turning based on the position and posture of the turning
旋回前角度θｒａ、旋回後角度θｒｂ、旋回前位置Ｐｒａ、及び旋回後位置Ｐｒｂは、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データに基づいて、高精度に算出される。
The pre-turn angle θra, the post-turn angle θrb, the pre-turn position Pra, and the post-turn position Prb are calculated with high accuracy based on the detection data of the
上述のように、撮像位置算出部４１６は、旋回体３が旋回中において撮影された複数の画像ＰＣの共通部分ＫＳに基づいて、推定角度θｓ（第１推定角度θｓ１、第２推定角度θｓ２、及び第３推定角度θｓ３）を算出する。また、撮像位置算出部４１６は、推定角度θｓに基づいて、推定位置Ｐｓ（第１推定位置Ｐｓ１、第２推定位置Ｐｓ２、及び第３推定位置Ｐｓ３）を算出する。
As described above, the image pickup position calculation unit 416 has an estimated angle θs (first estimated angle θs1, second estimated angle θs2, based on the intersection KS of the plurality of image PCs captured while the
共通部分抽出部４１３は、画像ＰＣｒａと画像ＰＣｓ１との共通部分ＫＳ１を抽出する。撮像位置算出部４１６は、旋回体３が旋回軸Ｚｒを中心に旋回することを拘束条件として、旋回体３の旋回前角度θｒａと、画像ＰＣｒａと画像ＰＣｓ１との共通部分ＫＳ１に基づいて、旋回角度Δθ１を算出する。第１推定角度θｓ１は、旋回前正解角度θｒａと旋回角度Δθ１との和である（θｓ１＝θｒａ＋Δθ１）。
The intersection extraction unit 413 extracts the intersection KS1 between the image PCra and the image PCs1. The imaging position calculation unit 416 swivels based on the pre-swirl angle θra of the
同様に、共通部分抽出部４１３は、旋回角度Δθ２、旋回角度Δθ３、及び旋回角度Δθ４を算出することができ、撮像位置算出部４１６は、第２推定角度θｓ２（θｓ２＝θｒａ＋Δθ１＋Δθ２）、第３推定角度θｓ３（θｓ３＝θｒａ＋Δθ１＋Δθ２＋Δθ３）、第４推定角度θｓ４（θｓ４＝θｒａ＋Δθ１＋Δθ２＋Δθ３＋Δθ４）を算出することができる。 Similarly, the intersection extraction unit 413 can calculate the turning angle Δθ2, the turning angle Δθ3, and the turning angle Δθ4, and the imaging position calculation unit 416 has a second estimated angle θs2 (θs2 = θra + Δθ1 + Δθ2) and a third estimation. The angle θs3 (θs3 = θra + Δθ1 + Δθ2 + Δθ3) and the fourth estimated angle θs4 (θs4 = θra + Δθ1 + Δθ2 + Δθ3 + Δθ4) can be calculated.
このように、撮像位置算出部４１６は、旋回体３が旋回中において撮像装置３０が撮影時の旋回体３の推定角度θｓ（θｓ１、θｓ２、θｓ３、θｓ４）を段階的に算出することができる。また、旋回体３の推定角度θｓが算出されることにより、撮像位置算出部４１６は、推定角度θｓに基づいて、旋回体３が旋回中における撮像装置３０の推定位置Ｐｓ（Ｐｓ１，Ｐｓ２，Ｐｓ３，Ｐｓ４）を算出することができる。
In this way, the image pickup position calculation unit 416 can stepwise calculate the estimated angle θs (θs1, θs2, θs3, θs4) of the
また、撮像位置算出部４１６は、複数の画像ＰＣ（ＰＣｒａ，ＰＣｓ１，ＰＣｓ２，ＰＣｓ３，ＰＣｓ４，ＰＣｒｂ）のそれぞれが撮影された時点を示す時点データを撮像装置３０から取得する。撮像装置４１６は、複数の画像ＰＣのそれぞれが撮影された時点と、旋回角度Δθ（Δθ１，Δθ２，Δθ３，Δθ４）とに基づいて、旋回速度Ｖを算出することができる。例えば、画像ＰＣｓ１が撮影された時点から画像ＰＣｓ２が撮影された時点までの時間と、画像ＰＣｓ１が撮影されたときの推定角度θｓ１から推定角度θｓ２までの移動量とに基づいて、旋回体３が推定角度θｓ１から推定角度θｓ２まで旋回するときの旋回角度Ｖを算出することができる。また、撮像装置４１６は、複数の画像ＰＣのそれぞれが撮影された時点と旋回角度Δθとに基づいて、旋回方向Ｒを算出することができる。
Further, the image pickup position calculation unit 416 acquires time point data indicating the time point at which each of the plurality of image PCs (PCra, PCs1, PCs2, PCs3, PCs4, PCrb) is photographed from the
このように、本実施形態においては、撮像位置算出部４１６は、複数の画像ＰＣの共通部分ＫＳに基づいて、旋回角度θ、旋回速度Ｖ、及び旋回方向Ｒを含む旋回体３の旋回データを算出することができる。
As described above, in the present embodiment, the imaging position calculation unit 416 obtains the turning data of the turning
［推定角度の補正］
旋回後角度θｒｂは、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データに基づいて高精度に算出される。一方、推定角度θｓ４は、共通部分ＫＳの変位量に基づいて算出される。共通部分ＫＳを使って算出された推定角度θｓ４及び推定位置Ｐｓ４が正確であれば、推定角度θｓ４と旋回後角度θｒｂとの差は小さく、推定位置Ｐｓ４と旋回後位置Ｐｒｂとの差は小さい。
[Correction of estimated angle]
The post-turn angle θrb is calculated with high accuracy based on the detection data of the
一方、例えば共通部分ＫＳの変位量の累積誤差などに起因して、共通部分ＫＳを使って算出された推定角度θｓ４及び推定位置Ｐｓ４の誤差が大きくなる可能性がある。推定角度θｓ４及び推定位置Ｐｓ４の誤差が大きいと、推定角度θｓ４と旋回後角度θｒｂとの差は大きくなり、推定位置Ｐｓ４と旋回後位置Ｐｒｂとの差は大きくなる。 On the other hand, there is a possibility that the error of the estimated angle θs4 and the estimated position Ps4 calculated by using the common portion KS may become large due to, for example, the cumulative error of the displacement amount of the common portion KS. If the error between the estimated angle θs4 and the estimated position Ps4 is large, the difference between the estimated angle θs4 and the angle after turning θrb becomes large, and the difference between the estimated position Ps4 and the position after turning Prb becomes large.
撮像位置算出部４１６は、推定角度θｓ４と旋回後角度θｒｂとに差があるとき、旋回停止状態における旋回角度θである角度θｒ（旋回前角度θｒａ及び旋回後角度θｒｂ）に基づいて、旋回中における旋回角度θである推定角度θｓ（第１推定角度θｓ１、第２推定角度θｓ２、第３推定角度θｓ３、及び第４推定角度θｓ４）を補正する。また、撮像位置算出部４１６は、補正後の推定角度θｓに基づいて、推定位置Ｐｓを補正する。 When there is a difference between the estimated angle θs4 and the angle after turning θrb, the imaging position calculation unit 416 is turning based on the angle θr (angle before turning θra and angle after turning θrb) which is the turning angle θ in the turning stopped state. The estimated angle θs (first estimated angle θs1, second estimated angle θs2, third estimated angle θs3, and fourth estimated angle θs4), which is the turning angle θ in the above, is corrected. Further, the imaging position calculation unit 416 corrects the estimated position Ps based on the corrected estimated angle θs.
撮像位置算出部４１６は、補正後の推定角度θｓ１’に基づいて、画像ＰＣｓ１を撮影時の撮像装置３０の推定位置Ｐｓ１を精度良く算出することができる。同様に、撮像位置算出部４１６は、補正後の推定角度θｓ２’に基づいて、画像ＰＣｓ２を撮影時の撮像装置３０の推定位置Ｐｓ２を精度良く算出することができ、補正後の推定角度θｓ３’に基づいて、画像ＰＣｓ３を撮影時の撮像装置３０の推定位置Ｐｓ３を高精度に算出することができる。したがって、三次元位置算出部４１７は、高精度に算出された撮影時の撮像装置３０の推定位置Ｐｓとその撮像装置３０に撮影された画像ＰＣｓとに基づいて、現場座標系の施工対象ＳＢの三次元位置を高精度に算出することができる。
The image pickup position calculation unit 416 can accurately calculate the estimated position Ps1 of the
三次元位置算出部４１７は、一対の撮像装置３０によって撮影された一対の画像ＰＣをステレオ処理して、施工対象ＳＢの三次元位置を算出する。
The three-dimensional position calculation unit 417 performs stereo processing on the pair of image PCs taken by the pair of
三次元位置算出部４１７は、旋回体３が旋回開始前の旋回停止状態において、旋回前位置Ｐｒａに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｒａをステレオ処理して、撮影領域ＦＭｒａに配置された施工対象ＳＢの三次元位置を算出する。
The three-dimensional position calculation unit 417 stereo-processes a pair of images PCra taken by the pair of
また、三次元位置算出部４１７は、旋回体３が旋回中において、推定位置Ｐｓに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｓをステレオ処理して、撮影領域ＦＭｓに配置された施工対象ＳＢの三次元位置を算出する。三次元位置算出部４１７は、走行体５が走行停止状態であり旋回体３が旋回中において、推定位置Ｐｓに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｓをステレオ処理して、撮影領域ＦＭｓに配置された施工対象ＳＢの三次元位置を算出する。
Further, the three-dimensional position calculation unit 417 stereo-processes a pair of image PCs taken by the pair of
また、三次元位置算出部４１７は、旋回体３が旋回停止後の旋回停止状態において、旋回後位置Ｐｒｂに配置される一対の撮像装置３０で撮影された一対の画像ＰＣｒｂをステレオ処理して、撮影領域ＦＭｒｂに配置された施工対象ＳＢの三次元位置を算出する。
Further, the three-dimensional position calculation unit 417 stereo-processes a pair of image PCrbs taken by the pair of
また、三次元位置算出部４１７は、旋回体３が旋回中及び旋回停止状態のそれぞれにおいて撮影された複数の画像ＰＣに基づいて、施工対象ＳＢの三次元位置を算出した後、複数の施工対象ＳＢの三次元位置を統合する。
Further, the three-dimensional position calculation unit 417 calculates the three-dimensional position of the construction target SB based on the plurality of image PCs taken while the
［撮影の停止条件］
次に、撮影の停止条件について説明する。撮影の停止条件とは、ステレオ処理に使用される画像ＰＣの撮影を停止するための条件をいう。停止条件は、予め定められており、記憶装置４２の停止条件記憶部４２２に記憶されている。判定部４１８は、旋回データ取得部４１５に取得された旋回データに基づいて、撮影の停止条件を満足するか否かを判定する。また、判定部４１８は、操作量センサ３６により検出された操作装置３５の操作データに基づいて撮影の停止条件を満足するか否かを判定する。停止条件を満足すると判定されたとき、ステレオ処理のための画像ＰＣの撮影が停止する。
[Conditions for stopping shooting]
Next, the shooting stop condition will be described. The shooting stop condition means a condition for stopping the shooting of the image PC used for the stereo processing. The stop condition is predetermined and is stored in the stop
本実施形態において、停止条件記憶部４２２には、第１の停止条件として、旋回体３が旋回停止したことを示す停止条件が記憶されている。判定部４１８は、操作データまたは旋回データに基づいて、旋回体３が旋回停止したか否かを判定する。旋回体３の旋回停止時点において、ステレオ処理のための画像ＰＣの撮影が停止する。
In the present embodiment, the stop
例えば、油圧ショベル１の運転者が操作装置３５を中立状態にして旋回を停止させたとき、旋回体３の旋回が停止し、旋回体３の旋回体停止時点において、画像ＰＣの撮影が停止する。三次元位置算出部４１７は、旋回体３が旋回停止したと判定部４１８に判定されたとき、旋回体３の旋回停止時点よりも前に撮影された画像ＰＣに基づいて、ステレオ処理を実施して、施工対象ＳＢの三次元位置を算出する。
For example, when the driver of the
運転者が操作装置３５を中立状態にして旋回体３の旋回を停止させるということは、ステレオ処理のための画像ＰＣの撮影を停止させたい意図があることを意味する。そのため、旋回体３の旋回停止時点で画像ＰＣの撮影を停止させることにより、運転者は操作装置３５を中立状態にするだけで、簡単に撮影を停止させることができる。
The fact that the driver makes the operating
判定部４１８は、操作装置３５の操作データまたは旋回体３の旋回データが第１の停止条件を満足するか否かを判定する。旋回体３が旋回停止と判定されたとき、操作データまたは旋回データは第１の停止条件を満足していると判定される。一方、旋回体３が旋回を継続していると判定されたとき、操作データまたは旋回データは第１の停止条件を満足していないと判定される。
The determination unit 418 determines whether or not the operation data of the operating
また、停止条件記憶部４２２には、第２の停止条件として、旋回体３の旋回停止から所定時間経過したことを示す停止条件が記憶されている。判定部４１８は、操作データまたは旋回データに基づいて、旋回体３が旋回停止してから所定時間経過したか否かを判定する。旋回体３の旋回停止から所定時間経過時点において、ステレオ処理のための画像ＰＣの撮影が停止する。
Further, as the second stop condition, the stop
例えば、油圧ショベル１の運転者が操作装置３５を中立状態にして旋回体３の旋回が停止した後、旋回停止時点から所定時間経過後の所定時間経過時点において、画像ＰＣの撮影が停止する。三次元位置算出部４１７は、旋回体３の旋回が停止してからの旋回停止時間が所定時間を超えたと判定部４１８に判定されたとき、所定時間経過時点よりも前に撮影された画像ＰＣに基づいてステレオ処理を実施して、施工対象ＳＢの三次元位置を算出する。
For example, after the driver of the
運転者が操作装置３５を中立状態にして旋回体３の旋回を停止したとき、旋回体３の旋回量が十分でなく施工対象ＳＢのうち撮影すべき領域が残っている場合がある。また、何らかの原因で、旋回体３の旋回中に意図せずに旋回体３の旋回が停止してしまう場合にも、施工対象ＳＢのうち撮影すべき領域が残ってしまう。このような場合、旋回体３の旋回停止時点で撮影が直ぐに停止してしまうと、再度残りの領域について撮影を実施しなければならならず手間がかかる。運転者が操作装置３５を中立状態にして旋回体３の旋回停止した後、直ぐに撮影を停止させずに、所定時間経過後に撮影を停止させることにより、旋回体３の旋回停止後、施工対象ＳＢのうち撮影すべき領域が残っている場合でも、運転者は、所定時間が経過する前に旋回体３の旋回を再開することにより、撮影を継続することができる。これにより、もう一度はじめから撮影を実施しなければならない手間が省ける。
When the driver stops the turning of the turning
また、運転者が旋回体３を旋回させてある領域を撮影した後に操作装置３５を中立状態にして旋回体３の旋回を停止したとき、撮影した領域において何らかの原因により撮影ができなかったと運転者が判断した場合、旋回の停止後、所定時間が経過する前に逆方向に旋回を再開し撮影を継続することで、当該領域を再度撮影することができる。
Further, when the driver stopped the turning of the turning
判定部４１８は、操作装置３５の操作データまたは旋回体３の旋回データが第２の停止条件を満足するか否かを判定する。旋回体３の旋回停止から所定時間経過したと判定されたとき、操作データまたは旋回データは第２の停止条件を満足していると判定される。一方、旋回体３の旋回停止から所定時間経過していないと判定されたとき、操作データまたは旋回データは第２の停止条件を満足していないと判定される。
The determination unit 418 determines whether or not the operation data of the operating
旋回体３の旋回停止時点から所定時間が経過までは、撮影は継続される。また、旋回体３の旋回停止から旋回再開までの旋回停止時間が所定時間未満である場合においても、撮影は継続される。旋回再開後の旋回方向は、旋回停止前の旋回方向（順方向）と同じでもよいし、逆方向でもよい。三次元位置算出部４１７は、旋回停止時間が所定時間未満であると判定部４１８に判定されたとき、旋回停止前及び旋回再開後のそれぞれで撮影された画像ＰＣに基づいてステレオ処理を実施して、施工対象ＳＢの三次元位置を算出する。
Shooting is continued from the time when the turning
また、停止条件記憶部４２２には、第３の停止条件として、入力装置３２が操作されることにより生成された撮影停止指令信号が信号取得部４１１に取得されたことを示す停止条件が記憶されている。判定部４１８は、信号取得部４１１に取得された指令信号が撮影停止指令信号であるか否かを判定する。撮影停止指令信号が取得された時点において、ステレオ処理のための画像ＰＣの撮影が停止する。
Further, as the third stop condition, the stop
例えば、油圧ショベル１の運転者が撮影停止指令信号を生成するために入力装置３２を操作したとき、画像ＰＣの撮影が停止する。三次元位置算出部４１７は、撮影停止指令信号が信号取得部４１１に取得されたと判定部４１８に判定されたとき、撮影停止指令信号の取得時点よりも前に撮影された画像ＰＣに基づいてステレオ処理を実施して、施工対象ＳＢの三次元位置を算出する。
For example, when the driver of the
運転者は、ステレオ処理のための画像ＰＣの撮影を停止させるという意図を持って入力装置３２を操作する。そのため、入力装置３２が操作されることにより生成された撮影停止指令信号が信号取得部４１１に所得された時点で画像ＰＣの撮影を停止させることにより、運転者は入力装置３２を操作するだけで、任意のタイミングで簡単に撮影を停止させることができる。例えば、撮影の停止条件が上記第１の停止条件や第２の停止条件であった時には、運転者が旋回体３を旋回させながら旋回途中にある一部の領域のみを撮影したい場合、運転者は当該一部の領域の撮影が停止した時点で旋回を停止する必要がある。撮影の停止条件が第３の停止条件であれば、運転者は旋回操作を途中で停止することなく当該一部の領域を撮影することができる。
The driver operates the
判定部４１３は、信号取得部４１１に取得された指令信号が第３の停止条件を満足するか否かを判定する。指令信号が撮影停止指令信号であると判定されたとき、第３の停止条件を満足していると判定される。一方、指令信号が撮影停止指令信号でないと判定されたとき、第３の停止条件を満足していないと判定される。 The determination unit 413 determines whether or not the command signal acquired by the signal acquisition unit 411 satisfies the third stop condition. When it is determined that the command signal is a shooting stop command signal, it is determined that the third stop condition is satisfied. On the other hand, when it is determined that the command signal is not the shooting stop command signal, it is determined that the third stop condition is not satisfied.
本実施形態において、判定部４１８は、信号取得部４１１に取得された指令信号に基づいて、撮影の開始条件を満足するか否かを判定する。指令信号は、撮影開始指令信号を含む。三次元位置算出部４１７は、信号取得部４１１が撮影開始指令信号を取得したと判定部４１８に判定されたとき、撮影開始指令信号の取得時点よりも後に撮影された画像ＰＣに基づいてステレオ処理を実施して、施工対象ＳＢの三次元位置を算出する。 In the present embodiment, the determination unit 418 determines whether or not the shooting start condition is satisfied based on the command signal acquired by the signal acquisition unit 411. The command signal includes a shooting start command signal. When the determination unit 418 determines that the signal acquisition unit 411 has acquired the shooting start command signal, the three-dimensional position calculation unit 417 performs stereo processing based on the image PC captured after the acquisition time of the shooting start command signal. Is carried out to calculate the three-dimensional position of the construction target SB.
撮影の開始時点及び停止時点が入力装置３２の操作によって決定されることにより、例えば施工対象ＳＢの一部の領域のみを撮影したい場合、運転者は、入力装置３２の操作のタイミングを調整することによって、撮影したい領域のみを撮影することができ、不要な領域の撮影を抑制することができる。
Since the start time and stop time of shooting are determined by the operation of the
本実施形態において、判定部４１８は、上記第１の停止条件から第３の停止条件以外の停止条件を撮影の停止条件としてもよい。また判定部４１８は、上記第１の停止条件から第３の停止条件を組み合わせて撮影の停止条件としてもよい。例えば、第２の停止条件と第３の停止条件とを組み合わせ、旋回体３の旋回停止から所定時間経過しかつ入力装置３２の操作によって撮影停止指令信号が信号取得部４１１に取得されたことをもって、撮影の停止条件としてもよい。
In the present embodiment, the determination unit 418 may set a stop condition other than the first stop condition to the third stop condition as a stop condition for shooting. Further, the determination unit 418 may combine the first stop condition to the third stop condition to set the shooting stop condition. For example, when the second stop condition and the third stop condition are combined and a predetermined time has elapsed from the turning stop of the turning
［入力装置］
図９は、本実施形態に係る入力装置３２の一例を模式的に示す斜視図である。本実施形態において、計測システム５０は、旋回体３が旋回中において撮像装置３０によって施工対象ＳＢを連続的に撮影する旋回連続撮影モードと、旋回体３が旋回停止状態において撮像装置３０によって施工対象ＳＢを撮影する単画像撮影モードとを実施可能である。入力装置３２は、旋回連続撮影モードの開始を指令する撮影開始指令信号及び旋回連続撮影モードの停止を指令する撮影停止指令信号を生成可能な旋回連続撮影スイッチ３２Ａと、単画像撮影モードの撮影を指令する単画像撮影指令信号を生成可能な単画像撮影スイッチ３２Ｂとを有する。また、旋回連続撮影スイッチ３２Ａの一部に第１発光部３４Ａが設けられ、単画像撮影スイッチ３２Ｂの一部に第２発光部３４Ｂが設けられる。第１発光部３４Ａ及び第２発光部３４Ｂのそれぞれは、発光ダイオードを含む。旋回連続撮影スイッチ３２Ａの操作状態に基づいて、第１発光部３４Ａが点灯、点滅、又は消灯する。単画像撮影スイッチ３２Ｂの操作状態に基づいて、第２発光部３４Ｂが点灯、点滅、又は消灯する。
[Input device]
FIG. 9 is a perspective view schematically showing an example of the
［計測方法］
図１０は、本実施形態に係る計測方法の一例を示すフローチャートである。図１１は、本実施形態に係る計測方法のタイミングチャートである。以下の説明においては、上述の第１，第２，第３の停止条件のうち、第２の停止条件に基づく計測方法について説明する。
[Measurement method]
FIG. 10 is a flowchart showing an example of the measurement method according to the present embodiment. FIG. 11 is a timing chart of the measurement method according to the present embodiment. In the following description, a measurement method based on the second stop condition among the first, second, and third stop conditions described above will be described.
油圧ショベル１の運転者は、撮像装置３０が施工対象ＳＢの計測開始位置を向くように、操作装置３５を操作して旋回体３を旋回させる。旋回体３の旋回を含む油圧ショベル１の作動が停止した時点ｔ０から予め規定された時間が経過して時点ｔ１になったとき、判定部４１８は、位置検出装置２３及び姿勢検出装置２４のそれぞれが検出データを安定して出力できる静定状態であると判定する。
The driver of the
油圧ショベル１が動作停止状態であり、位置検出装置３２及び姿勢検出装置２４が静定状態において、撮影開始指令信号を取得すると、撮像位置算出部４１６は、位置検出装置２３から旋回体３の位置を示す検出データを取得し、姿勢検出装置２４から旋回体３の姿勢を示す検出データを取得する（ステップＳ１０）。
When the
撮像位置算出部４１６は、旋回前角度θｒａ、及び旋回前位置Ｐｒａを取得する。 The image pickup position calculation unit 416 acquires the angle before turning θra and the position Pra before turning.
位置検出装置２３の検出データ及び姿勢検出装置２４の検出データは、一時的に記憶装置４２に記憶される。
The detection data of the
旋回連続撮影モードを開始する場合、油圧ショベル１の運転者は、旋回連続撮影スイッチ３２Ａを操作（押下）する。図１１に示す例では、時点ｔ２において旋回連続撮影スイッチ３２Ａが操作される。旋回連続撮影スイッチ３２Ａが操作されることにより生成された撮影開始指令信号は、演算処理装置４１に出力される。信号取得部４１１は、撮影開始指令信号を取得する（ステップＳ２０）。
When starting the turning continuous shooting mode, the driver of the
また、旋回連続撮影スイッチ３２Ａが操作され、撮影開始指令信号を取得すると、演算処理装置４１は、撮像装置３０の撮像を開始する（ステップＳ３０）。画像取得部４１０は、油圧ショベル１が動作開始前の動作停止状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣｒａを取得する。また、画像記憶部４２３は、画像ＰＣｒａを記憶する。
Further, when the swivel
運転者は、操作装置３５を操作して、走行体５の走行を停止した状態で、旋回体３の旋回を開始する（ステップＳ４０）。運転者は、撮像装置３０が施工対象ＳＢの計測開始位置を向いている旋回開始位置から、撮像装置３０が施工対象ＳＢの計測停止位置を踏む旋回停止位置まで旋回するように、操作装置３５を操作して、旋回体３の旋回を開始する。
The driver operates the operating
以下の説明においては、旋回開始位置から旋回停止位置に向かって旋回するときの旋回方向ＲＤを適宜、順方向、と称する。また、旋回方向ＲＤにおいて順方向とは逆の方向を適宜、逆方向、と称する。 In the following description, the turning direction RD when turning from the turning start position to the turning stop position is appropriately referred to as a forward direction. Further, the direction opposite to the forward direction in the turning direction RD is appropriately referred to as a reverse direction.
図１１に示す例では、時点ｔ３において操作装置３５が操作され、旋回体３の旋回が開始される。複数の撮像装置３０（３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ）のそれぞれは、旋回体３が旋回中において間隔をあけて施工対象ＳＢの画像ＰＣｓを複数回撮影する。
In the example shown in FIG. 11, the operating
画像取得部４１０は、旋回体３が旋回中において撮像装置３０によって撮影された施工対象ＳＢの複数の画像ＰＣｓを順次取得する。また、画像記憶部４２３は、複数の画像ＰＣｓを順次記憶する。
The image acquisition unit 410 sequentially acquires a plurality of image PCs of the construction target SB photographed by the
本実施形態において、撮像装置３０は、旋回連続撮影スイッチ３２Ａが操作され撮影開始指令信号が信号取得部４１１に取得された後においては、撮影の停止条件が満足されるまで、撮像装置３０は、施工対象ＳＢの画像ＰＣを撮影し続ける。すなわち、撮影開始指令信号が取得された時点と撮影の停止条件が満足する時点との間の期間において、撮像装置３０は、旋回体３が旋回中においても、旋回体３が旋回停止中においても、施工対象ＳＢを撮影し続ける。
In the present embodiment, after the
旋回体３が旋回停止位置に到達すると、運転者は、操作装置３５の操作を解除し、旋回体３の旋回を停止する（ステップＳ６０）。図１１に示す例では、時点ｔ４において操作装置３５の操作が解除され、旋回体３の旋回が停止される。
When the turning
旋回体３の旋回が停止した時点ｔ４から予め規定された時間が経過して時点ｔ５になったとき、判定部４１８は、位置検出装置２３及び姿勢検出装置２４のそれぞれが検出データを安定して出力できる静定状態であると判定する。
When a predetermined time elapses from the time point t4 when the turning of the turning
油圧ショベル１が動作停止状態であり、位置検出装置３２及び姿勢検出装置２４が静定状態において、撮影位置算出部４１６は、位置検出装置２３から旋回体３の位置を示す検出データを取得し、姿勢検出装置２４から旋回体３の姿勢を示す検出データを取得する（ステップＳ７０）。
When the
撮像位置算出部４１６は、旋回後角度θｒｂ、及び旋回後位置Ｐｒｂを取得する。 The imaging position calculation unit 416 acquires the angle after turning θrb and the position after turning Prb.
位置検出装置２３の検出データ及び姿勢検出装置２４の検出データは、一時的に記憶装置４２に記憶される。
The detection data of the
また、画像取得部４１０は、油圧ショベル１が動作停止後の動作停止状態において撮像装置３０によって撮影された施工対象ＳＢの画像ＰＣｒｂを取得する。また、画像記憶部４２３は、画像ＰＣｒｂを記憶する。
Further, the image acquisition unit 410 acquires the image PCrb of the construction target SB taken by the
旋回体３の旋回が停止した時点ｔ４から所定時間経過後の時点ｔ６までの間において、判定部４１８は、操作装置３５の操作データまたは旋回データが撮影の停止条件を満足するか否かを判定する（ステップＳ８０）。
From the time point t4 when the turning of the turning
ステップＳ８０においては、撮影の停止条件として、旋回体３の旋回停止から所定時間経過した条件を満足するか否かが判定される（第２の停止条件）。旋回体３の旋回停止から所定時間経過したと判定されたとき、操作データまたは旋回データは撮影の停止条件を満足していると判定される。
In step S80, it is determined whether or not the condition that a predetermined time has elapsed from the turning stop of the turning
上述のように、操作データまたは旋回データが撮影の停止条件を満足していないことは、旋回体３の旋回が停止した後に再び旋回を開始した場合において、旋回停止から旋回再開までの旋回停止時間が所定時間未満であることを含む。旋回体３の旋回が再開された後の旋回体３の旋回方向ＲＤは、順方向でもよいし、逆方向でもよい。判定部４１８は、旋回体３の旋回停止から所定時間を経過したと判定したとき、操作データまたは旋回データは撮影の停止条件を満足すると判定する。一方、判定部４１８は、旋回体３の旋回停止から所定時間を経過していないとき、又は、旋回体３が旋回を停止後に旋回を再開した場合において、旋回の停止から再開までの旋回停止時間が規定時間未満であるとき、操作データまたは旋回データは撮影の停止条件を満足していないと判定する。
As described above, the fact that the operation data or the turning data does not satisfy the shooting stop condition means that the turning stop time from the turning stop to the turning restart when the turning of the turning
ステップＳ８０において、操作データまたは旋回データは撮影の停止条件を満足していると判定されたとき、すなわち、旋回体３の旋回停止から所定時間経過していないと判定されたとき（ステップＳ８０：Ｎｏ）、停止条件が満足されるまで、ステップＳ８０の処理が実施される。 In step S80, when it is determined that the operation data or the turning data satisfies the shooting stop condition, that is, when it is determined that a predetermined time has not elapsed from the turning stop of the turning body 3 (step S80: No). ), The process of step S80 is carried out until the stop condition is satisfied.
ステップＳ８０において、操作データまたは旋回データは撮影の停止条件を満足すると判定されたとき、すなわち、旋回体３の旋回停止から所定時間経過したと判定されたとき（ステップＳ８０：Ｙｅｓ）、撮像装置３０の撮影が停止する（ステップＳ９０）。撮像装置３０は、撮影不可状態に遷移する。
In step S80, when it is determined that the operation data or the turning data satisfies the shooting stop condition, that is, when it is determined that a predetermined time has elapsed from the turning stop of the turning body 3 (step S80: Yes), the
共通部分抽出部４１３は、画像記憶部４２３に記憶されている複数の画像ＰＣのそれぞれから共通部分ＫＳを抽出する（ステップＳ１２０）。 The intersection extraction unit 413 extracts the intersection KS from each of the plurality of image PCs stored in the image storage unit 423 (step S120).
共通部分抽出部４１３は、旋回体３が旋回停止中及び旋回中において撮像装置３０によって撮影された少なくとも２つの画像ＰＣからそれら２つの画像ＰＣの共通部分ＫＳを抽出する。共通部分ＫＳの抽出は、旋回体３の旋回方向Ｒにおいて、旋回体３の旋回が開始されてから停止するまでに取得された全ての画像ＰＣについて実施される。
The intersection extraction unit 413 extracts the intersection KS of the two image PCs from at least two image PCs taken by the
上述のように、旋回開始位置から旋回停止位置に向かって旋回体３が旋回する途中において、旋回体３の旋回が停止する場合がある。撮像装置３０は、旋回体３の旋回が停止してから再開されるまでの旋回停止時間においても、画像ＰＣを撮影し続ける。共通部分抽出部４１３は、旋回停止時間において撮像装置３０によって撮影された画像ＰＣと、旋回が停止する直前に撮像装置３０によって撮像された画像ＰＣとの共通部分ＫＳを抽出する。また、共通部分抽出部４１３は、旋回停止時間において撮像装置３０によって撮影された画像ＰＣと、旋回が再開した直後に撮像装置３０によって撮像された画像ＰＣとの共通部分ＫＳを抽出する。上述のように、旋回が再開された後の旋回体３の旋回方向ＲＤは、順方向でもよいし、逆方向でもよい。
As described above, the turning of the turning
共通部分抽出部４１３は、旋回の停止から再開までが規定時間以下である旋回停止時間において撮影された画像ＰＣの共通部分ＫＳを抽出する。すなわち、旋回開始位置から旋回停止位置に向かって旋回体３が旋回する途中において旋回体３が停止したとき、規定時間以下の旋回停止時間において撮影された画像ＰＣについては、共通部分ＫＳが抽出され、規定時間を超えた旋回停止時間において撮影された画像ＰＣについては、共通部分ＫＳは抽出されない。
The intersection extraction unit 413 extracts the intersection KS of the image PC taken at the turning stop time in which the turning stop time to the restart is the specified time or less. That is, when the turning
次に、撮像位置算出部４１６は、複数の画像ＰＣの共通部分ＫＳに基づいて、旋回体３の推定角度θｓを推定する（ステップＳ１４０）。撮像位置算出部４１６は、複数の画像ＰＣにおける共通部分ＫＳの位置に基づいて、旋回角度Δθを算出して、推定角度θｓを推定することができる。
Next, the image pickup position calculation unit 416 estimates the estimated angle θs of the
撮像位置算出部４１６は、旋回停止後の推定角度θｓと旋回後角度θｒｂとの差が規定値未満であるとき、角度θｒ（旋回前角度θｒａ、旋回後角度θｒｂ）に基づいて、旋回中における推定角度θｓを補正する。また、撮像位置算出部４１６は、補正後の推定角度θｓに基づいて、旋回中における撮像装置３０の推定位置Ｐｓを補正する。撮像位置算出部４１６は、上述した手順に基づいて、推定角度θｓの補正を実施することができる。
When the difference between the estimated angle θs after turning is stopped and the angle after turning θrb is less than the specified value, the imaging position calculation unit 416 is in the process of turning based on the angle θr (angle before turning θra, angle after turning θrb). Correct the estimated angle θs. Further, the image pickup position calculation unit 416 corrects the estimated position Ps of the
三次元位置算出部４１７は、撮影時の画像ＰＣをステレオ処理して、複数の施工対象ＳＢの撮像装置座標系における三次元位置を算出する（ステップＳ１６０）。また、三次元位置算出部４１７は、撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。 The three-dimensional position calculation unit 417 stereo-processes the image PC at the time of shooting to calculate the three-dimensional position in the image pickup device coordinate system of the plurality of construction target SBs (step S160). Further, the three-dimensional position calculation unit 417 converts the three-dimensional position in the image pickup apparatus coordinate system into the three-dimensional position in the field coordinate system.
上述のように、旋回体３が旋回開始位置から旋回停止位置に向かって旋回している途中で旋回を停止したとき、旋回の停止前に撮影された画像ＰＣ、規定時間以下の旋回停止時間において撮影された画像ＰＣ、及び旋回の再開後に撮影された画像ＰＣが撮像装置３０によって撮影される。三次元位置算出部４１７は、旋回の停止前、旋回の停止中、及び旋回の再開後のそれぞれで撮影された画像ＰＣをステレオ処理して、施工対象ＳＢの三次元位置を算出することができる。
As described above, when the turning
［効果］
以上説明したように、本実施形態によれば、操作装置３５の操作データまたは旋回体３の旋回データに基づいて、ステレオ処理に使用される画像ＰＣの撮影を停止する停止時点が決定される。これにより、ステレオ処理により地形を計測したい施工対象ＳＢの領域を効率良く撮影することができ、施工対象ＳＢの三次元形状を円滑に取得することができる。
[effect]
As described above, according to the present embodiment, the stop time at which the image PC used for the stereo processing is stopped is determined based on the operation data of the
また、本実施形態においては、旋回体３が旋回開始位置から旋回停止位置まで旋回する途中において旋回が停止された場合、旋回の停止から再開までの旋回停止時間が所定時間以下であるか否かが判定される。旋回停止時間が所定時間以下であると判定されたとき、旋回の停止前及び再開後のそれぞれで撮影された画像ＰＣと撮像装置３０の位置とに基づいて、施工対象ＳＢの三次元位置が算出される。また、本実施形態においては、旋回体３が旋回開始位置から旋回停止位置まで旋回する途中において旋回が停止された場合においても、旋回連続撮影スイッチ３２Ａの操作により撮影開始指令信号が取得されてから撮影の停止条件が満足されるまでの期間において、旋回体３が旋回を停止しても撮像装置３０は施工対象ＳＢを撮影し続ける。これにより、旋回体３の旋回が停止する度に撮影が停止してしたり、旋回体３の旋回が所定時間未満だけ停止したときに、撮影が停止することが抑制される。したがって、施工対象ＳＢの三次元形状を計測するときの処理効率の低下が抑制される。
Further, in the present embodiment, when the turning is stopped while the turning
油圧ショベル１の運転者は、操作装置３０を操作して、意図的に旋回体３の旋回を停止させる可能性がある。また、運転者が意図せずに旋回体３の旋回が停止する場合もある。このような場合において、旋回体３の旋回が停止する度に、撮影が停止されたり、旋回停止中に撮影された画像ＰＣがステレオ処理に使用されなかったりすると、運転者は、再度、撮影を実施しなければならない。本実施形態においては、旋回体３の旋回が停止しても、所定時間以内に旋回を再開させれば、撮影が継続される。したがって、施工対象ＳＢの三次元形状を計測するときの処理効率の低下が抑制される。
The driver of the
また、旋回体３を旋回させながら撮影を実施するとき、油圧ショベル１の運転者は、旋回体３の旋回を停止した後、旋回体３を逆方向に旋回させ、既に撮影が停止した施工対象ＳＢをもう一度撮影する場合がある。このような場合において、旋回体３が逆方向に旋回する度に、撮影が停止されたり、逆方向に旋回中に撮影された画像ＰＣがステレオ処理に使用されなかったりすると、施工対象ＳＢの三次元形状を計測するときの処理効率が低下する。本実施形態においては、順方向に旋回していた旋回体３を例えば撮影のやり直しのために逆方向に旋回させる場合においても、旋回停止時間が所定時間未満であれば、旋回連続撮影が継続される。したがって、施工対象ＳＢの三次元形状を計測するときの処理効率の低下が抑制される。
Further, when shooting while turning the
また、第３の停止条件のように、入力装置３２が操作されることにより生成された撮影停止指令信号に基づいて、ステレオ処理に使用される画像ＰＣの撮影を停止する停止時点が決定されてもよい。この場合においても、ステレオ処理により地形を計測したい施工対象ＳＢの領域を効率良く撮影することができ、施工対象ＳＢの三次元形状を円滑に取得することができる。
Further, as in the third stop condition, the stop time for stopping the shooting of the image PC used for the stereo processing is determined based on the shooting stop command signal generated by operating the
なお、上述の実施形態においては、旋回が停止した時点ｔ４から静定判定の時点ｔ５までの期間は、時点ｔ４から所定時間経過後の時点ｔ６よりも短いが、時点ｔ４から時点５までの期間は、時点ｔ４から時点ｔ６までの期間よりも長くてもよいし、同じでもよい。 In the above-described embodiment, the period from the time point t4 when the turning is stopped to the time point t5 of the statically determinate determination is shorter than the time point t6 after the lapse of a predetermined time from the time point t4, but the period from the time point t4 to the time point 5 May be longer or the same as the period from time point t4 to time point t6.
なお、上述の実施形態においては、油圧ショベル１が旋回中においては、撮像装置３０の位置が共通部分ＫＳに基づいて算出されることとしたが、その実施形態に限られない。例えば、油圧ショベル１が旋回中における撮像装置３０の位置が、位置検出装置２３の検出データ及び姿勢検出装置２４の検出データに基づいて算出されてもよい。
In the above-described embodiment, the position of the
なお、上述の実施形態において、撮像位置算出部４１６は、旋回軸Ｚｒを拘束条件として、変数を旋回角度θのみとして撮影位置を算出したが、旋回軸Ｚｒを拘束条件とすることなく、撮像装置３０の位置及び姿勢を、Ｘ軸方向の位置、Ｙ軸方向の位置、Ｚ軸方向の位置、ロール角、ピッチ角、及びヨー角の６変数に基づいて算出してもよい。 In the above-described embodiment, the imaging position calculation unit 416 calculates the imaging position with the swivel axis Zr as a constraint condition and the variable as the swivel angle θ only, but the image pickup device does not use the swivel axis Zr as a constraint condition. The position and posture of 30 may be calculated based on six variables of the position in the X-axis direction, the position in the Y-axis direction, the position in the Z-axis direction, the roll angle, the pitch angle, and the yaw angle.
他の実施形態においては、操作装置３５の操作により、撮像装置３０による撮影が開始又は停止してもよい。旋回体３の旋回を開始するために操作装置３５が操作状態になったとき、操作状態を検出した操作データに基づいて撮像装置３０による撮影が開始され、旋回体３の旋回を停止するために操作装置３５が中立状態になったとき、中立状態を検出した操作データに基づいて撮像装置３０による撮影が停止してもよい。また、入力装置３２の操作により撮影が開始され、操作装置３５が中立状態になったときに撮影が停止してもよい。また、旋回体３が旋回中か否かの判定は、操作量センサ３６により検出された操作データに基づかずに、任意の旋回検出方法によって実施されてもよい。
In another embodiment, shooting by the
また、入力装置３２が操作されることにより、自動的に撮像装置３０による撮影及び旋回体３の旋回が開始され、規定の旋回停止位置まで旋回した後、自動的に撮像装置３０による撮影及び旋回体３の旋回が停止するようにしてもよい。
Further, when the
なお、上述の実施形態において、入力装置３２は、例えば操作装置３５の右操作レバー３５Ｒ及び左操作レバー３５Ｌの少なくとも一方に取り付けられていてもよいし、運転室４に配置されるモニタパネルに設けられていてもよいし、携帯端末装置に設けられてもよい。また、入力装置３２が油圧ショベル１の外部に設けられ、撮像装置３０の撮影の開始又は停止が遠隔操作されてもよい。
In the above-described embodiment, the
なお、撮像装置３０で撮影された画像ＰＣが画像記憶部４２３に蓄積される場合、撮影の停止条件として、規定の容量の画像ＰＣのデータが蓄積されたという条件（メモリオーバー条件）、又は画像ＰＣのデータが蓄積される時間が規定時間を超えたという条件（タイムオーバー条件）が設定されてもよい。
When the image PC captured by the
なお、上述の実施形態においては、撮像位置算出部４１６が共通部分ＫＳに基づいて旋回データを算出し、旋回データ取得部４１５は、撮像位置算出部４１６から旋回データを取得することとした。旋回データ取得部４１５は、旋回データを算出するための検出装置の検出データに基づいて旋回データを算出してもよい。例えば、旋回データ取得部４１５は、位置検出装置２３の検出データまたは姿勢検出装置２４の検出データに基づいて、旋回体３の旋回角度θ、旋回速度Ｖ、及び旋回方向Ｒを含む旋回データを算出してもよいし、操作量センサ３６により検出された操作装置３５の操作データに基づいて旋回データを算出してもよいし、旋回体３の旋回データを検出可能な角度センサ、例えばロータリーエンコーダの検出データに基づいて旋回データを算出してもよい。この場合、演算処理装置４１は、角度検出センサの検出値である旋回角度θを角度検出センサから取得するタイミングと、少なくとも一対の撮像装置３０が施工対象ＳＢを撮影するタイミングとを同期させる。このようにして、少なくとも一対の撮像装置３０によって画像ＰＣが撮影されたタイミングと、そのタイミングにおける旋回体３の旋回角度θとが対応付けられる。
In the above-described embodiment, the imaging position calculation unit 416 calculates the rotation data based on the intersection KS, and the rotation data acquisition unit 415 acquires the rotation data from the imaging position calculation unit 416. The turning data acquisition unit 415 may calculate the turning data based on the detection data of the detection device for calculating the turning data. For example, the turning data acquisition unit 415 calculates turning data including the turning angle θ, the turning speed V, and the turning direction R of the turning
なお、上述の実施形態においては、演算処理装置４１が少なくとも一対の撮像装置３０によって撮像された画像ＰＣをステレオ処理して三次元計測を実現したが、このようなものには限定されない。例えば、少なくとも一対の撮像装置３０によって撮像された油圧ショベル１の周囲の掘削対象ＳＢの画像ＰＣと、位置検出装置２３及び姿勢検出装置２４によって求められた油圧ショベル１の静止時における位置及び姿勢とが、例えば油圧ショベル１の外部の管理装置（携帯端末、サーバ装置等）に送信される。そして、外部の管理装置が油圧ショベル１の周囲の掘削対象ＳＢの画像ＰＣをステレオ処理するとともに、旋回体３の旋回時における旋回角度θ、油圧ショベル１の位置及び姿勢を求め、得られた結果を用いて旋回時における油圧ショベル１の周囲の掘削対象ＳＢの三次元位置を求めてもよい。この場合、油圧ショベル１の外部の管理装置が、演算処理装置４１に相当する。すなわち、他の実施形態において、計測システム５０は、油圧ショベル１のみにおいてすべての機能を実現する必要はなく、外部の管理装置が一部の機能、例えば演算処理装置４１の機能を備えていてもよい。
In the above-described embodiment, the
上述の実施形態において、撮像装置は少なくとも一対の撮像装置３０を含むステレオカメラである。ステレオカメラで撮影する際には、各カメラの撮影タイミングを同期させる。撮像装置は１つのカメラによりステレオ撮影可能なものであってもよい。すなわち、１つのカメラにより撮影タイミングの異なる２つの画像に基づいてステレオ処理可能な撮像装置であってもよい。撮像装置はステレオカメラに限定されない。撮像装置は、例えば、ＴＯＦ（Time Of Flight）カメラのような、画像と三次元データとの両方が得られるセンサであってもよい。撮像装置は一つのカメラにより三次元データが得られる撮像装置であってもよい。撮像装置は、レーザスキャナであってもよい。
In the above embodiment, the image pickup device is a stereo camera including at least a pair of
なお、上述の実施形態においては、作業機械１が旋回体３を有する油圧ショベル１であることとした。作業機械１は、旋回体を有しない作業機械でもよい。例えば、作業機械は、ブルドーザ、ホイールローダ、ダンプトラック、及びモーターグレーダの少なくとも一つでもよい。
In the above-described embodiment, the
１…油圧ショベル（作業機械）、１Ｂ…車体、２…作業機、３…旋回体、４…運転室、４Ｓ…運転席、５…走行体、５Ａ，５Ｂ…履帯、６…ブーム、７…アーム、８…バケット、９…カウンタウエイト、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、２１…ＧＰＳアンテナ、２３…位置検出装置、２４…姿勢検出装置、３０…撮像装置、３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ…撮像装置、３１…ハブ、３２…入力装置、３２Ａ…旋回連続撮影スイッチ、３２Ｂ…単画像撮影スイッチ、３５…操作装置、３５Ｌ…左操作レバー、３５Ｒ…右操作レバー、３６…操作量センサ、３７…旋回センサ、４０…制御装置、４１…演算処理装置、４２…記憶装置、４３…入出力インターフェース、５０…計測システム、３００…ステレオカメラ、３０１…第１ステレオカメラ、３０２…第２ステレオカメラ、４１０…画像取得部、４１１…信号取得部、４１３…共通部分抽出部、４１５…旋回データ取得部、４１６…撮像位置算出部、４１７…三次元位置算出部、４１８…判定部、４１９…出力部、４２２…停止条件記憶部、４２３…画像記憶部、ＦＭ…撮影領域、ＫＳ…共通部分、ＭＤ…走行方向、ＰＣ…画像、ＰＫ…演算用画像、Ｐｒ…旋回位置、Ｐｒａ…旋回前位置、Ｐｒｂ…旋回後位置、Ｐｓ…推定位置、ＲＤ…旋回方向、ＳＢ…施工対象、ＷＤ…抽出施工対象領域、ＷＤ１，ＷＤ２，ＷＤ３，ＷＤ４…分割領域、ＷＥ…非施工対象領域、Ｚｒ…旋回軸、θｒ…旋回角度、θｒａ…旋回前角度、θｒｂ…旋回後角度、θｓ…推定角度。 1 ... Hydraulic excavator (working machine), 1B ... Body, 2 ... Working machine, 3 ... Swinging body, 4 ... Driver's cab, 4S ... Driver's seat, 5 ... Running body, 5A, 5B ... Shoes band, 6 ... Boom, 7 ... Arm, 8 ... bucket, 9 ... counter weight, 10 ... boom cylinder, 11 ... arm cylinder, 12 ... bucket cylinder, 21 ... GPS antenna, 23 ... position detection device, 24 ... attitude detection device, 30 ... image pickup device, 30A, 30B, 30C, 30D ... Imaging device, 31 ... Hub, 32 ... Input device, 32A ... Swirl continuous shooting switch, 32B ... Single image shooting switch, 35 ... Operating device, 35L ... Left operating lever, 35R ... Right operating lever, 36 ... Operation amount sensor, 37 ... Swing sensor, 40 ... Control device, 41 ... Arithmetic processing device, 42 ... Storage device, 43 ... Input / output interface, 50 ... Measurement system, 300 ... Stereo camera, 301 ... First stereo camera, 302 ... 2nd stereo camera, 410 ... image acquisition unit, 411 ... signal acquisition unit, 413 ... common part extraction unit, 415 ... swivel data acquisition unit, 416 ... imaging position calculation unit, 417 ... three-dimensional position calculation unit, 418 ... determination Unit, 419 ... Output unit, 422 ... Stop condition storage unit, 423 ... Image storage unit, FM ... Shooting area, KS ... Common part, MD ... Travel direction, PC ... Image, PK ... Calculation image, Pr ... Turning position, Pra ... pre-turning position, Prb ... after-turning position, Ps ... estimated position, RD ... turning direction, SB ... construction target, WD ... extraction construction target area, WD1, WD2, WD3, WD4 ... division area, WE ... non-construction target Region, Zr ... turning axis, θr ... turning angle, θra ... before turning angle, θrb ... after turning angle, θs ... estimated angle.
Claims (5)
前記旋回体を操作する操作装置の操作データ、または前記旋回体の旋回データに基づいて、前記旋回体の旋回停止から所定時間経過したことを含む前記撮影の停止条件を満足するか否かを判定する判定部と、
前記判定部により前記旋回体の旋回停止から所定時間経過したと判定されたとき、撮影停止指令信号を出力する出力部と、
前記画像取得部によって取得された前記画像に基づいて、前記施工対象の三次元位置を算出する三次元位置算出部と、を備え、
前記三次元位置算出部は、前記旋回体が旋回停止してから所定時間経過するまでに前記旋回体が再旋回されたとき、旋回停止前及び旋回再開後のそれぞれに撮影された前記画像に基づいて、前記三次元位置を算出する、
作業機械の計測システム。 An image acquisition unit that acquires an image of a construction target taken during the rotation of the swivel body by an image pickup device mounted on the swivel body of the work machine, and an image acquisition unit.
Based on the operation data of the operating device for operating the swivel body or the swivel data of the swivel body, it is determined whether or not the shooting stop condition including the elapse of a predetermined time from the swivel stop of the swivel body is satisfied. Judgment unit and
When it is determined by the determination unit that a predetermined time has elapsed from the rotation stop of the turning body, the output unit that outputs a shooting stop command signal and
A three-dimensional position calculation unit for calculating the three-dimensional position of the construction target based on the image acquired by the image acquisition unit is provided.
The three-dimensional position calculation unit is based on the images taken before the turning stop and after the turning is resumed when the turning body is re-turned before a predetermined time elapses after the turning body has stopped turning. To calculate the three-dimensional position,
Work machine measurement system.
請求項１に記載の作業機械の計測システム。 The turning direction of the re-turning is opposite to the turning direction before the turning stop.
The measurement system for a work machine according to claim 1.
前記判定部は、前記入力装置が操作されることに基づいて、前記撮影の停止条件を満足するか否かを判定する、
請求項１又は請求項２に記載の作業機械の計測システム。 Further equipped with an input device operated for stopping shooting by the image pickup device,
The determination unit determines whether or not the shooting stop condition is satisfied based on the operation of the input device.
The measurement system for a work machine according to claim 1 or 2.
前記旋回体を操作する操作装置の操作データ、または前記旋回体の旋回データに基づいて、前記撮像装置による前記旋回体の旋回停止から所定時間経過したことを含む撮影の停止条件を満足するか否かを判定することと、
前記旋回体の旋回停止から所定時間経過したと判定されたとき、撮影停止指令信号を出力することと、
取得された前記画像に基づいて、前記施工対象の三次元位置を算出することと、を含み、
前記旋回体が旋回停止してから所定時間経過するまでに前記旋回体が再旋回されたとき、旋回停止前及び旋回再開後のそれぞれに撮影された前記画像に基づいて、前記三次元位置を算出する、
作業機械の計測方法。 Acquiring an image of a construction target taken during the turning of the turning body by an image pickup device mounted on the turning body of the work machine, and
Whether or not the shooting stop condition including the elapse of a predetermined time from the turning stop of the turning body by the imaging device is satisfied based on the operation data of the operating device for operating the turning body or the turning data of the turning body. To determine if
When it is determined that a predetermined time has elapsed from the turning stop of the turning body , the shooting stop command signal is output and the shooting stop command signal is output.
Including calculating the three-dimensional position of the construction target based on the acquired image.
When the swivel body is re-turned before a predetermined time elapses after the swivel body has stopped turning, the three-dimensional position is calculated based on the images taken before the turning stop and after the turning restart. do,
Measurement method for work machines.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017173565A JP7092476B2 (en) | 2017-09-08 | 2017-09-08 | Work machine measurement system, work machine, and work machine measurement method |
| PCT/JP2018/027389 WO2019049527A1 (en) | 2017-09-08 | 2018-07-20 | Work machine measurement system, work machine, and work machine measurement method |
| JP2021159022A JP7135191B2 (en) | 2017-09-08 | 2021-09-29 | Working machine measurement system, working machine, and working machine measurement method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017173565A JP7092476B2 (en) | 2017-09-08 | 2017-09-08 | Work machine measurement system, work machine, and work machine measurement method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021159022A Division JP7135191B2 (en) | 2017-09-08 | 2021-09-29 | Working machine measurement system, working machine, and working machine measurement method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019049461A JP2019049461A (en) | 2019-03-28 |
| JP7092476B2 true JP7092476B2 (en) | 2022-06-28 |
Family
ID=65633911
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017173565A Active JP7092476B2 (en) | 2017-09-08 | 2017-09-08 | Work machine measurement system, work machine, and work machine measurement method |
| JP2021159022A Active JP7135191B2 (en) | 2017-09-08 | 2021-09-29 | Working machine measurement system, working machine, and working machine measurement method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021159022A Active JP7135191B2 (en) | 2017-09-08 | 2021-09-29 | Working machine measurement system, working machine, and working machine measurement method |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7092476B2 (en) |
| WO (1) | WO2019049527A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7463158B2 (en) * | 2020-03-26 | 2024-04-08 | 住友重機械工業株式会社 | Work Management System |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012122327A (en) | 2004-05-13 | 2012-06-28 | Komatsu Ltd | Slewing control system, slewing control method, and construction equipment |
| WO2013191205A1 (en) | 2012-06-22 | 2013-12-27 | 日立建機株式会社 | Construction machine |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013113600A (en) | 2011-11-25 | 2013-06-10 | Sharp Corp | Stereo three-dimensional measuring apparatus |
| US8868304B2 (en) | 2012-02-10 | 2014-10-21 | Deere & Company | Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle |
| JP6925775B2 (en) * | 2015-10-05 | 2021-08-25 | 株式会社小松製作所 | Construction management system |
-
2017
- 2017-09-08 JP JP2017173565A patent/JP7092476B2/en active Active
-
2018
- 2018-07-20 WO PCT/JP2018/027389 patent/WO2019049527A1/en active Application Filing
-
2021
- 2021-09-29 JP JP2021159022A patent/JP7135191B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012122327A (en) | 2004-05-13 | 2012-06-28 | Komatsu Ltd | Slewing control system, slewing control method, and construction equipment |
| WO2013191205A1 (en) | 2012-06-22 | 2013-12-27 | 日立建機株式会社 | Construction machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019049461A (en) | 2019-03-28 |
| JP2022001879A (en) | 2022-01-06 |
| WO2019049527A1 (en) | 2019-03-14 |
| JP7135191B2 (en) | 2022-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7104050B2 (en) | Work machine measurement system, work machine, and work machine measurement method | |
| CN108700402B (en) | Position measurement system, working machine, and position measurement method | |
| JP5227139B2 (en) | Construction machinery | |
| KR102089454B1 (en) | Measuring system, working machine and measuring method | |
| JP6777375B2 (en) | Work machine image display system, work machine remote control system and work machine | |
| JP6927821B2 (en) | Display system and display device | |
| JP6898816B2 (en) | Display system, display method, and display device | |
| US9251587B2 (en) | Motion estimation utilizing range detection-enhanced visual odometry | |
| AU2015238768A1 (en) | Motion estimation in real-time visual odometry system | |
| WO2018062523A1 (en) | Detection processing device of working machine and detection processing method of working machine | |
| JP7135191B2 (en) | Working machine measurement system, working machine, and working machine measurement method | |
| JP2022164713A (en) | Image display system of work machine and image display method of work machine | |
| JP6895350B2 (en) | Work machine measurement system and work machine | |
| KR20230171035A (en) | Control system of working machine, working machine, and control method of working machine | |
| KR20240009502A (en) | Control system of working machine, working machine, and control method of working machine | |
| JP2020197045A (en) | Display system and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210929 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211007 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211012 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20211105 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20211109 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220215 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220405 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220419 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220524 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7092476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |