JP5108350B2

JP5108350B2 - 油圧ショベルの作業量計測方法および作業量計測装置

Info

Publication number: JP5108350B2
Application number: JP2007078753A
Authority: JP
Inventors: 昌也田中
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2007-03-26
Filing date: 2007-03-26
Publication date: 2012-12-26
Anticipated expiration: 2027-03-26
Also published as: JP2008241300A

Description

本発明は、土を掘削する油圧ショベルの作業量計測方法および作業量計測装置に関するものである。

従来、ダンプトラックに関して、多眼カメラを含む３次元計測装置を外置きし、土を積載したベッセルを多眼カメラで撮影し、その画像から視差情報を演算して積載された土の外形を計測し、予め記憶されているベッセル形状との差をとることで、ベッセルに積載した土の体積、すなわち作業量を計測するようにした提案例がある（例えば、特許文献１参照）。

また、油圧ショベルのような建設機械に関しては、該建設機械の周囲の状況をカメラで撮影し、機械の操作に応じてモニタに周辺画像を表示することで、視野を確保したり、作業範囲内に侵入した物体をカメラ画像から検出して警告を発するようにした提案例がある（例えば、特許文献２，３参照）。

特開平１１−２１１４３８号公報特開２００６−３３６２７５号公報特開平１０−７２８５１号公報

しかしながら、油圧ショベルの場合、計測の度に特許文献１のように外置きされた３次元計測装置の場所に油圧ショベルを移動させて計測するのは現実的でない。また、排土時にバケット内にこびりついた土が残ってしまうことがあるが、特許文献１ではこのような状況が考慮されておらず、誤差を生じてしまい、作業量計測の正確さに欠ける。

一方、特許文献２，３等に示されるように油圧ショベル等の建設機械にカメラを搭載する技術は周知であるが、安全性の確保等を目的としたものであり、バケットの作業量計測には何ら関与していないものである。

本発明は、上記に鑑みてなされたものであって、掘削現場においてカメラで撮影した画像を用いて作業量を正確に計測することができる油圧ショベルの作業量計測方法および作業量計測装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる油圧ショベルの作業量計測方法は、作業機が操作されてバケットが所定角度になったときの該バケットの状況を、前記作業機に所定の間隔で設置した複数台のカメラで撮影する第１の撮影工程と、複数台の前記カメラで撮影された画像の視差からバケット内積み込み容量を算出する第１の演算工程と、バケット排土後の前記バケット内の状況を複数台の前記カメラで撮影する第２の撮影工程と、複数台の前記カメラで撮影された画像の視差からバケット内容量を算出する第２の演算工程と、前記第１の演算工程で算出されたバケット内積み込み容量から前記第２の演算工程で算出されたバケット内容量を減算して前記バケットの作業量を算出する第３の演算工程と、を備えたことを特徴とする。

また、本発明にかかる油圧ショベルの作業量計測装置は、作業機に所定の間隔で設置されてバケットを撮影する複数台のカメラと、前記作業機が操作されて前記バケットが所定角度になったときの該バケットの状況を、複数台の前記カメラで撮影させる第１の撮影制御手段と、複数台の前記カメラで撮影された画像の視差からバケット内積み込み容量を算出する第１の演算手段と、バケット排土後の前記バケット内の状況を複数台の前記カメラで撮影させる第２の撮影制御手段と、複数台の前記カメラで撮影された画像の視差からバケット内容量を算出する第２の演算手段と、前記第１の演算手段で算出されたバケット内積み込み容量から前記第２の演算手段で算出されたバケット内容量を減算して前記バケットの作業量を算出する第３の演算手段と、を備えたことを特徴とする。

また、本発明にかかる油圧ショベルの作業量計測装置は、上記発明において、複数台の前記カメラは、前記作業機のブーム左右側部またはアーム左右側部に設置されていることを特徴とする。

本発明にかかる油圧ショベルの作業量計測方法および作業量計測装置は、作業機が操作されてバケットが所定角度になったときの該バケットの状況と、バケット排土後のバケット内の状況を、複数台のカメラで撮影し、撮影された画像の視差から掘削時のバケット内積み込み容量と、排度後のバケット内容量とをそれぞれ算出し、算出されたバケット内積み込み容量からバケット内容量を減算してバケットの作業量を算出するようにしたので、排土時にバケット内にこびりついた土が残っていても、その分を差し引いた正確な作業量を計測することができ、この際、複数台のカメラは作業機に設置されているので、計測の度に油圧ショベルを計測箇所に移動させることなく掘削現場で実施できるという効果を奏する。

以下、本発明を実施するための最良の形態である油圧ショベルの作業量計測方法および作業量計測装置の実施の形態について図面を参照して説明する。

図１は、本実施の形態の作業量計測方法および作業量計測装置が適用される油圧ショベルの掘削後の様子を示す概略側面図であり、図２は、油圧ショベルの排土後の様子を示す概略側面図であり、図３は、油圧ショベルの制御系を示す概略ブロック図である。本実施の形態の油圧ショベル１は、下部走行体をなす履帯２上に運転室等を含む上部旋回体３を備え、上部旋回体３の車体部分には、ブーム４、アーム５およびバケット６からなる作業機７が取り付けられている。ブーム４、アーム５およびバケット６は、図１および図２では図示しないが、各々ブーム用、アーム用、バケット用の油圧シリンダ８（図３参照）が駆動することにより作動し、掘削、排土等の所望の作業を実行する。

ここで、本実施の形態の油圧ショベル１は、ブーム４のアーム５に近い左右側部の対称位置に配置された一対のカメラ１１，１２を備える。なお、図１および図２では、一対のカメラ１１，１２を図示するため、便宜上、位置をずらして示している。これらカメラ１１，１２は、ＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子を用いて被写体を撮影するもので、本実施の形態では、上向き状態のバケット６全体の状況を撮影し得る視野をもって上方からステレオ撮影するように配置されている。

また、本実施の形態の油圧ショベル１は、図３に示すように、制御系として、車体コントローラ２０と、画像処理コントローラ３０とを備える。車体コントローラ２０と画像処理コントローラ３０とは、通信バス４１により接続されている。ここで、車体コントローラ２０は、油圧ショベル１の大半の制御を司るもので、例えばエンジン２１の回転数を制御することで、エンジン２１駆動の油圧ポンプ２２を制御し、操作弁２３を介して油圧シリンダ８を駆動制御する。また、車体コントローラ２０は、操作弁２３をパイロット油圧で制御するためのブーム用、アーム用、バケット用の操作レバー２４の操作レバー信号を取り込み、画像処理コントローラ３０側に送出する。

一方、画像処理コントローラ３０は、主にカメラ１１，１２に関する制御を司るもので、カメラ１１，１２の撮影タイミングの制御や車体コントローラ２０に対する制御を司る制御部３１や、カメラ１１，１２が撮影した画像データを取り込んで所望の画像処理、演算処理を行う画像処理部３２を備えている。制御部３１は、第１，第２の撮影制御手段として機能し、画像処理部３２は、第１〜第３の演算手段として機能する。また、画像処理コントローラ３０には、この画像処理コントローラ３０を作動させる作業量計測モードを設定するための作業量計測スイッチ４２が接続されている。ここで、本実施の形態において、「作業量計測モード」なる特定のモードを用意するのは、作業量計測に際しては排土後に通常の作業時にはないバケットの位置修正を要するため、通常の作業とは異なる動作モードであることを作業量計測スイッチ４２操作でオペレータに意識させて実行させるためである。

また、画像処理部３２は、一対のカメラ１１，１２で撮影されたステレオ画像から求めた視差（ずれ量）を奥行座標に変換することで、３次元形状の面位置情報（表面形状）を取得するものである。このような２台のカメラを利用したステレオ法は、例えば特許第３７２０９７２号公報等により公知であり、詳細な説明は省略するが、画像処理部３２中には、図４に示すようなステレオ画像の視差を直交座標変換するための変換処理部３４や画像メモリが含まれている。

変換処理部３４は、カメラ１１，１２から得られるアナログ画像情報をデジタル画像データに変換するＡ／Ｄ変換部３５ａ，３５ｂと、それぞれのデジタル画像データからエッジ部を抽出するエッジ抽出部３６ａ，３６ｂと、カメラのレンズ歪、取り付け誤差等の補正を行う幾何補正部３７ａ，３７ｂと、幾何補正部３７ａ，３７ｂから得られる一対のカメラ１１，１２の視差を持つデジタル画像データ中から処理対象となる対応点を例えばエピポーラ線上で探索する対応点探索部３８と、探索された対応点の視差をＸ，Ｙ，Ｚの直交座標系に変換する視差−直交座標変換部３９と、を備える。なお、カメラ１１，１２からデジタル画像データを直接取り込む場合には、Ａ／Ｄ変換部３５ａ，３５ｂは不要である。

ここで、視差−直交座標変換部３９の変換処理例を図５および図６を参照して説明する。まず、カメラ１１の撮影画像上の注目画素の位置を（ｉ，ｊ）とし、カメラ１２の撮影画像上の対応点の視差をｄとし、カメラ１１，１２間の間隔をＢとし、カメラ１１，１２の焦点距離をｆとし、画素サイズをｐとする。なお、Ｏ₁，Ｏ₂は、カメラ１１，１２の光学中心である、このような条件で、（ｉ，ｊ，ｄ）で示される対応点を（Ｘ，Ｙ，Ｚ）で示される直交座標系に変換するものである。まず、図５から明らかなように、
Ｂ：ｐｄ＝Ｚ：ｆ
であり、奥行き量Ｚは、
Ｚ＝Ｂｆ／ｐｄ
として算出される。また、図６より
ｆ：Ｚ＝ｐｉ：Ｘであるので、Ｘ座標値は、
Ｘ＝Ｚｐｉ／ｆ
として算出される。同様に、Ｙ座標値は、
Ｙ＝Ｚｐｊ／ｆ
として算出される。

このような処理を、カメラ１１で撮影されたバケット画像の各画素について行い、各画素に奥行き情報を持たせることで、バケットの表面凹凸形状を算出することが可能となる。なお、カメラ１１で撮影された画像中からバケット画像の抽出は、バケット境界線内の画像と地面との距離の明らかな違いを利用することで抽出可能である。

次に、図７に示す概略フローチャートを参照して本実施の形態の作業量計測方法について説明する。まず、オペレータによって作業量計測スイッチ４２がオンされて作業量計測モードに設定されているか否かを判定する（ステップＳ１）。作業量計測モードに設定されていることにより、以降の計測処理が画像処理コントローラ３０により実行される。

作業量計測モードにおいては、まず、車体コントローラ２０から得られる操作レバー信号によって操作レバー２４の操作状況を監視する（ステップＳ２）。ここで、操作レバー２４の操作があり、バケット６が土５１をすくう方向に操作された後、図１に示すように所定角度になって停止したら、作業パターンは、掘削パターンであって（ステップＳ３；Ｙｅｓ）、該掘削パターンが停止したと判定する（ステップＳ４；Ｙｅｓ）。この状態で、制御部３１は、画像処理部３２に対して撮影指令信号を出力して、土５１をすくって停止状態のバケット６の状況をバケット６のほぼ真上に位置するカメラ１１，１２で同時に撮影させ（ステップＳ５：第１の撮影工程）、ステレオ画像を取得する。そして、一対のカメラ１１，１２でステレオ撮影された画像を画像処理部３２で視差を奥行き量に変換する等の所定の画像処理を行うことで、すくった土５１の表面形状を含むバケット６の表面形状を、バケット内積み込み容量として算出し、メモリに格納する（ステップＳ６：第１の演算工程）。

その後、再び操作レバー２４が操作されるまで待機し（ステップＳ２）、操作レバー２４の操作があり、バケット６が土５１を捨てる方向に操作された後、図２中に仮想線で示すように所定角度になって停止したら、作業パターンは、排土パターンであって（ステップＳ７；Ｙｅｓ）、該排土パターンが停止したと判定する（ステップＳ８；Ｙｅｓ）。ここで、このようなバケット６の停止位置ではバケット６の内部が下向きとなっており、カメラ１１，１２でバケット６内の状況を撮影できないので、バケット６の内側の形状をカメラ１１，１２で撮影するためにバケット６の内側がカメラ１１，１２から見える位置まで、制御部３１からのバケット位置修正指令信号を車体コントローラ２０側に対して出力することで、自動的にバケット６の位置（姿勢）を移動させる（ステップＳ９）。バケット６の位置移動は、バケット位置修正指令信号に基づき車体コントローラ２０が操作弁２３を制御することで操作レバー２４に関係なく自動的に行われる。また、このバケット６の位置移動に際しては、カメラ１１，１２でバケット６を撮影し、バケット６が例えば図２中に実線で示すような上向きの位置まで移動し、バケット６の内側全体が撮影画像中に入り込んだら、制御部３１は車体コントローラ２０に対してバケット停止指令信号を出力し、バケット６の移動を停止させる。このとき、バケット６の移動時間を計測して記憶しておく。

このようにして排土後のバケット６が位置修正されて停止したら（ステップＳ１０：Ｙｅｓ）、この状態で、制御部３１は、画像処理部３２に対して撮影指令信号を出力して、土５１を捨てた後で停止状態のバケット６内の状況をバケット６のほぼ真上に位置するカメラ１１，１２で同時に撮影させ（ステップＳ１１：第２の撮影工程）、ステレオ画像を取得する。そして、一対のカメラ１１，１２でステレオ撮影された画像を画像処理部３２で視差を奥行き量に変換する等の所定の画像処理を行うことで、バケット６の内部形状を、バケット内容量として算出し、メモリに格納する（ステップＳ１２：第２の演算工程）。このとき、バケット６内にこびりついた土５１が残っていれば、残った土５１を含めたバケット６の内部形状がバケット内容量として算出される。

引きつづき、画像処理部３２で、ステップＳ６で算出されたバケット６の表面形状（バケット内積み込み容量）から、ステップＳ１２で算出されたバケット６の内部形状（バケット内容量）を減算する演算を行うことで、バケット６が実際にすくって排土した土５１の量（作業量）を算出する（ステップＳ１３：第３の演算工程）。算出された作業量は、図示しないモニタ等を通じて適宜出力される。そして、制御部３１から車体コントローラ２０に対してバケット位置戻し指令信号を出力することで（ステップＳ１４）、バケット６を図２中の仮想線で示す当初の排土終了位置に自動的に復帰させる。この際、記憶されているバケット６の移動時間を参照することで、バケット６は排土終了位置に自動で戻されて停止し（ステップＳ１５；Ｙｅｓ）、一連の作業量計測作業が終了し、オペレータによる通常の作業の再開が可能となる。

このように、本実施の形態によれば、掘削後のバケット６の状況を撮影した画像から算出したバケット６の表面形状（バケット内積み込み容量）と、排土後のバケット６内の状況を撮影した画像から算出したバケット６の内部形状（バケット内容量）との差を演算することにより、バケット６の作業量を算出するので、排土時にバケット６内にこびりついた土５１が残っていても、その分を差し引いた正確な作業量を計測することができる。また、予め空のバケット６の空容量に関するデータ（空形状データ）を記憶させておくことなく作業量を算出することができる。さらに、一対のカメラ１１，１２はブーム５に設置されているので、計測の度に油圧ショベル１を計測箇所に移動させることなく掘削現場で計測を実施することができる。

本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。例えば、ステップＳ６の形状算出工程は、ステップＳ１１のバケット撮影後に、演算処理の一環として実行するようにしてもよい。

また、本実施の形態では、掘削後、排出後のバケット６の状況を撮影した画像から算出した形状同士の差によって作業量を算出するようにしたが、計測に先立つ任意の時点で、事前に、空のバケット６内の状況をカメラ１１，１２で撮影し、カメラ１１，１２で撮影された画像の視差からバケット空形状（バケット空容量）を算出しておき、このバケット空形状の情報を用いて、ステップＳ６ではバケット内積み込み容量を算出し、ステップＳ１２ではバケット内容量を算出することで、ステップＳ１３において、バケット内積み込み容量−バケット内容量の演算により作業量を算出するようにしてもよい。

また、本実施の形態では、一対のカメラ１１，１２をブーム４のアーム５寄りの位置の所定間隔離れた左右側部に配置したが、図１および図２にカメラ１１´，１２´で示すように、アーム５のブーム４寄りの対称位置の所定間隔離れた左右側部に設置するようにしてもよい。さらには、ブーム４やアーム５の片側に配置するようにしてもよい。要は、所定間隔離れてバケット６の内部全体を漏れなくステレオ撮影し得る位置であればよい。

また、ステップＳ４やステップＳ８に示すバケット６が所定角度になったことの判定は、例えばポテンショメータを設置してアーム５とバケット６との角度を測ることで判定してもよく、あるいは、２台のカメラ１１，１２の撮影画像からバケット６の距離情報を取得してバケット位置を判定するようにしてもよい。

本発明の実施の形態の作業量計測方法および作業量計測装置が適用される油圧ショベルの掘削後の様子を示す概略側面図である。油圧ショベルの排土後の様子を示す概略側面図である。油圧ショベルの制御系を示す概略ブロック図である。変換処理部の構成例を示す概略ブロック図である。視差−直交座標変換部の変換処理例を示す説明図である。視差−直交座標変換部の変換処理例を示す説明図である。画像処理コントローラによる作業量計測処理例を示す概略フローチャートである。

符号の説明

４ブーム
５アーム
６バケット
７作業機
１１，１２カメラ

Claims

油圧ショベルに所定の間隔で設置した複数台のカメラで掘削後の前記油圧ショベルのバケットを撮影する第１の撮影工程と、
複数台の前記カメラで撮影された画像の視差からバケット内積み込み容量を算出する第１の演算工程と、
前記第１の撮影工程で撮影されたバケット内被写体の排土後のバケット内側が複数台の前記カメラから見える位置まで該バケットを移動し、排土後の前記バケット内の状況を複数台の前記カメラで撮影する第２の撮影工程と、
複数台の前記カメラで撮影された画像の視差からバケット内容量を算出する第２の演算工程と、
前記第１の演算工程で算出されたバケット内積み込み容量から前記第２の演算工程で算出されたバケット内容量を減算して前記バケットの作業量を算出する第３の演算工程と、
を備えたことを特徴とする油圧ショベルの作業量計測方法。
前記第１の撮影工程は、前記バケットの掘削パターンをもとに掘削後のバケットを撮影し、
前記第２の撮影工程は、前記バケットの排土パターンをもとに排土後のバケットを撮影することを特徴とする請求項１に記載の油圧ショベルの作業量計測方法。
油圧ショベルに所定の間隔で設置されてバケットを撮影する複数台のカメラと、
複数台の前記カメラで掘削後の前記油圧ショベルのバケットを撮影させる第１の撮影制御手段と、
複数台の前記カメラで撮影された画像の視差からバケット内積み込み容量を算出する第１の演算手段と、
前記第１の撮影制御手段で撮影されたバケット内被写体の排土後のバケット内側が複数台の前記カメラから見える位置まで該バケットを移動し、排土後の前記バケット内の状況を複数台の前記カメラで撮影させる第２の撮影制御手段と、
複数台の前記カメラで撮影された画像の視差からバケット内容量を算出する第２の演算手段と、
前記第１の演算手段で算出されたバケット内積み込み容量から前記第２の演算手段で算出されたバケット内容量を減算して前記バケットの作業量を算出する第３の演算手段と、
を備えたことを特徴とする油圧ショベルの作業量計測装置。
複数台の前記カメラは、前記作業機のブーム左右側部またはアーム左右側部に設置されていることを特徴とする請求項３に記載の油圧ショベルの作業量計測装置。
前記バケットの作業量の計測処理を指示する作業量計測スイッチを備えたことを特徴とする請求項３または４に記載の油圧ショベルの作業量計測装置。