JP2014215039A - 建設機械 - Google Patents

Abstract

【課題】立体的な障害物を広範囲に亘って計測可能なステレオカメラシステムを備えた建設機械を提供する。【解決手段】車体１に複数のステレオカメラ２１，２２を取り付けると共に、これら複数のステレオカメラの計測領域２１２，２２２を一部重ね合わせる。建設機械は、これら複数のステレオカメラ２１，２２により得られたステレオ画像に基づいて、障害物を検知する。【選択図】図２

Description

本発明は、ダンプトラックや油圧ショベルなどの建設機械に関する。

鉱山においても、土砂の採掘作業及び運搬作業に、油圧ショベルやダンプトラックなどの建設機械が用いられている。鉱山において用いられる建設機械は、有人運転される場合が主であるが、近年では運行コストの低減を図るため、無人運転が行われる場合も増えてきている。また、ダンプトラックについては、土砂の単位時間当たりの運搬量が採掘の進捗度に直結するため、高効率に運用可能であることが求められる。従って、土砂を高効率に採掘現場の外に大量に運搬するためには、連続運転可能であることがダンプトラックに求められる。

しかしながら、鉱山におけるダンプトラックの走行路は悪路が多いため、ダンプトラック運行時は、障害物との衝突事故を起こしやすくなることが懸念される。仮に、走行路上に障害物が発生し、ダンプトラックが障害物との衝突事故を起こした場合、鉱山が長時間停止してしまう可能性がある。従って、ダンプトラックの運行を維持するためには、走行路上の障害物を早期に発見して、ダンプトラックに障害物の回避走行を行わせることができる障害物検知システムを備えることが重要となる。

従来、この種の障害物検知システムとしては、ミリ波レーダ、レーザーセンサ及びステレオカメラ等の障害物検知装置を利用したものが知られている。これらの障害物検知装置のうち、ミリ波レーダ及びレーザーセンサは、乗用車程度の大きさを有する大型の障害物については検出可能であるが、それよりも小型の障害物については検知が困難である。また、ミリ波レーダ及びレーザーセンサは、走行路面と障害物を区別できないので、ダンプトラック用の障害物検知装置としては、適用することが難しい。これに対して、ステレオカメラは、所要の画像解析装置と組み合わせることにより小型の障害物を検知することが可能であると共に、３次元形状を計測可能であることから、走行路面と障害物を容易に区別することができる。しかも、ステレオカメラは、監視装置や自動車用の障害物検知装置として既に実用化されているので、ダンプトラック用の障害物検知装置として適している。

なお、人物の監視装置としては、複数のステレオカメラを用いて所定の観察場所で人物の存在を検出するものが従来提案されている（例えば、特許文献１参照。）。特許文献１には、第１及び第２のステレオカメラがそれぞれ捉えた人物の数が同数の場合、一方のステレオカメラが捉えた人物に相関する投影人物領域の位置と、他方のステレオカメラが捉えた人物に相関する投影人物領域の位置とを比較し、位置がずれていた場合に、例えば投影人物領域の重心位置を一致させることにより、キャリブレーションの補正を行う技術が開示されている。

特開２００５-２３３６３９公報

上述したように、ステレオカメラは、ミリ波レーダやレーザーセンサに比べて、小型の障害物を検出でき、かつ走行路面と障害物とを明瞭に区別できることから、ダンプトラック用の障害物検知装置として適している。しかしながら、鉱山で使用されるダンプトラックは、車体が巨大であること、及び、ダンプトラックが走行する鉱山道は急カーブが多いことから、自動車に搭載する場合よりも格段に計測領域が広いステレオカメラシステムを装備することが求められる。そこで、ダンプトラックに複数のステレオカメラを装備して計測領域を拡大することが考えられるが、精度よく計測するためには正しくキャリブレーションを行うことが必要である。特許文献１に記載の技術は、同じく複数のステレオカメラを装備していると言えども、ステレオカメラにより得られたステレオ画像を直接利用して複数のステレオカメラのキャリブレーションを行うものではないので、構成が複雑であり、そのままではダンプトラック用の障害物検知システムに適用することが難しい。

本発明は、このような従来技術の実情に鑑みてなされたものであり、立体的な障害物を簡易な構成で、かつ精度よく広範な計測が可能な障害物検知システムを備えた建設機械を提供することを目的とする。

上述の課題を解決するため、本発明は、車体に取り付けられ、それぞれの計測領域の一部が重ね合わされた複数のステレオカメラと、これら複数のステレオカメラにより得られたステレオ画像から障害物の検知を行う画像解析装置とを備えたことを特徴とする。

本構成によると、車体に複数のステレオカメラを取り付けるので、広範な領域について障害物の位置を計測できる。また、車体に取り付けられる複数のステレオカメラの計測領域を一部重ね合わせるので、各ステレオカメラにより得られたステレオ画像を利用して簡易な構成で、正確なキャリブレーションを実施することができる。よって、障害物の検知を確実に行うことができ、建設機械を安定に運用することができる。

また本発明は、前記構成の建設機械において、前記車体の重心を通り、前記車体の前後進方向に延びる軸線を含む垂直面に対し、前記複数のステレオカメラの中心軸を交叉させたことを特徴とする。

本構成によると、複数のステレオカメラの中心軸を交叉させるので、各ステレオカメラの計測領域を容易に重ね合わせることができて、実機への搭載を容易なものにすることができる。

また本発明は、前記構成の建設機械において、前記画像解析装置に、前記複数のステレオカメラにより得られた複数のステレオ画像をマッチングすることで、前記複数のステレオカメラの相対位置を求めるステレオカメラキャリブレーション部を備えたことを特徴とする。

本構成によると、画像解析装置にステレオカメラキャリブレーション部を備えたので、建設機械の運用中に複数のステレオカメラのキャリブレーションを随時行うことができ、建設機械の運用を安定的に行うことができる。

また本発明は、前記構成の建設機械において、前記ステレオカメラキャリブレーション部の前段に組み込まれ、前記複数のステレオカメラにより得られた複数のステレオ画像が、前記ステレオカメラキャリブレーション部により正解値にキャリブレーションしやすいものであるか否かを判別する３次元形状特徴検出部を更に備えたことを特徴とする。

本構成によると、ステレオカメラにより得られたステレオ画像がキャリブレーションに適しないものであることを３次元形状特徴検出部によって検出できるので、ステレオカメラにより得られたステレオ画像がキャリブレーションに適しないものであるときにはキャリブレーションを実施しないようにすることにより、キャリブレーション誤差の発生を防止することができる。

また本発明は、前記構成の建設機械において、前記３次元形状特徴検出部は、前記複数のステレオカメラの相対位置を求める際に使用する探索候補地点を決定する探索候補地点決定部と、前記探索候補地点決定部により決定された前記探索候補地点について、前記複数のステレオカメラにより得られた複数のステレオ画像の相関値を演算する３次元形状相関値演算部と、前記３次元形状相関値演算部が算出した前記ステレオ画像の相関値に基づいて、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行う相関値判定部を有することを特徴とする。

本構成によると、３次元形状特徴検出部に、探索候補地点決定部と、３次元形状相関値演算部と、相関値判定部を備えるので、キャリブレーションのタイミングを判定し、より確からしい情報を得たタイミングに合わせてキャリブレーションを実施することができ、キャリブレーションの精度を高めることができる。

また本発明は、前記構成の建設機械において、前記ステレオカメラキャリブレーション部の前段に、前記複数のステレオカメラにより得られた複数のステレオ画像の時系列変化を検出し、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行う時系列変化検出部を更に備えたことを特徴とする。

本構成によると、各ステレオカメラにより得られたステレオ画像に時系列変化があることを時系列変化検出部によって検出できるので、時系列変化があるときにはキャリブレーションを実施しないようにすることにより、キャリブレーション誤差の発生を防止することができる。

また本発明は、前記構成の建設機械において、前記ステレオカメラキャリブレーション部の前段に、前記複数のステレオカメラにより得られた複数のステレオ画像のノイズを対比し、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行うノイズ検出器を更に備えたことを特徴とする。

本構成によると、各ステレオカメラにより得られたステレオ画像にノイズがあることをノイズ検出部によって検出できるので、ノイズがあるときにはキャリブレーションを実施しないようにすることにより、キャリブレーション誤差の発生を防止することができる。

本発明の建設機械は、車体に複数のステレオカメラを取り付けるので、広範な領域について障害物の位置を計測できる。また、車体に取り付けられる複数のステレオカメラの計測領域を一部重ね合わせるので、各ステレオカメラにより得られたステレオ画像を利用して、簡易な構成で正確なキャリブレーションを実施でき、精度よく計測ができる。

車体に対する複数のステレオカメラの配置を示す図である。 本発明の建設機械に搭載される２つのステレオカメラを用いた障害物検知システムの一例を示す図である。 図２の障害物検知システムにおいて２つのステレオカメラの相互位置が正しく推定できた場合における各ステレオカメラの計測領域を示す図である。 図２の障害物検知システムにおいて２つのステレオカメラの相互位置が誤って推定された場合における各ステレオカメラの計測領域を示す図である。 車体に対する２つのステレオカメラの他の取付方法を示す図である。 車体の左右に配置された２つのステレオカメラより得られる２つのステレオ画像の一例を示す図である。 図２のステレオカメラキャリブレーション部の第１例を示す図である。 図７の３次元形状特徴検出部の構成例を示す図である。 図８の相関値判定部においてキャリブレーションを実施するか否かの判定基準となるステレオ画像と相関値を例示する図である。 図８の３次元形状特徴検出部の動作を示す図である。 図２のステレオカメラキャリブレーション部の第２例を示す図である。 図１１の時系列変化検出部にて２つのステレオカメラの同期がとれていないと判定される２つのステレオ画像の一例を示す図である。 図１１のノイズ検出部にて砂塵ありと判定される２つのステレオ画像の一例を示す図である。 ダンプトラックに対する複数のステレオカメラの配置を示す図である。 油圧ショベルに対する複数のステレオカメラの配置を示す図である。 グレーダに対する複数のステレオカメラの配置を示す図である。

以下、本発明に係る建設機械につき、実施の形態毎に図面を参照して説明する。

《第１の実施の形態》
図１に示すように、第１の実施の形態に係る建設機械は、車体１の前方、即ち、車体１の前進方向の前面に、所要の間隔Ｄを隔てて、第１ステレオカメラ２１及び第２ステレオカメラ２２が取り付けられている。所要の間隔Ｄは、図１に示すように、第１ステレオカメラ２１の計測領域２１２と第２ステレオカメラ２２の計測領域２２２が、一部において重なり合うように設定される。このように、本例の建設機械は、車体１に２台のステレオカメラ２１，２２を所要の間隔Ｄを隔てて取り付けるので、広範な領域の障害物３１の位置を計測できる。また、車体１に取り付けられる２台のステレオカメラ２１，２２の計測領域２１２，２２２を一部重ね合わせるので、簡易な構成で、正確なキャリブレーションを実施することができる。第１ステレオカメラ２１及び第２ステレオカメラ２２は、耐用命数を延長するため、及び、対物レンズの汚れに起因するステレオ画像の劣化を防止するため、風雨を直接受けない密閉空間内に配置することが望ましい。

なお、図１の例では、第１ステレオカメラ２１の中心軸２１１及び第２ステレオカメラ２２の中心軸２２１が、車体１の重心Ｇを通り車体１の前後進方向に延びる軸線を含む垂直面１１と平行に配置されているが、図５に示すように、第１ステレオカメラ２１及び第２ステレオカメラ２２を内向きに設置し、第１ステレオカメラ２１の中心軸２１１及び第２ステレオカメラ２２の中心軸２２１を、垂直面１１に対して交差させることもできる。このようにすると、各計測領域２１２，２２２の一部を容易に重ね合わせることができる。また、計測領域２１２，２２２の死角を最小限にとどめる形で、ステレオカメラ２１，２２の画角を拡大することができる。ここで、「ステレオカメラの中心軸」とは、ステレオカメラに備えられる２つのカメラの中間点を通り、それら２つのカメラの光軸と平行な軸線をいう。

また、車体１に取り付けられるステレオカメラの数は２台に限定されるものではなく、３台以上とすることもできる。車体１に取り付けられるステレオカメラの数が多いほど、精細なステレオ画像が得られる。しかし、ステレオカメラの数に拘わりなく、ステレオ画像の作成原理や、後に説明するキャリブレーションの原理については同一であるので、説明を容易なものにするため、以下においては、２台のステレオカメラを車体１に取り付けた場合を例にとって説明する。

本発明は、図１４に示すように、鉱山等で使用される超大型のダンプトラック５１０の前進方向の前面に、図１に示した所要の間隔Ｄを隔てて、第１ステレオカメラ２１及び第２ステレオカメラ２２を取り付けて使用することを好適な例として挙げることができるが、本発明の要旨はこれに限定されるものではなく、公知に属する任意の建設機械に適用することができる。

例えば、図１５に示すように、油圧ショベル５２０のオペレータが入るキャビンの正面方向の上部に、図１に示した所要の間隔Ｄを隔てて、第１ステレオカメラ２１及び第２ステレオカメラ２２を取り付けて使用することができる。

また、図１６に示すように、グレーダ５３０のオペレータが入るキャビンの前進方向の上部に、図１に示した所要の間隔Ｄを隔てて、第１ステレオカメラ２１及び第２ステレオカメラ２２を取り付けて使用することができる。

本発明では、このような実施例においても、以下に詳細に説明するように、車体に複数のステレオカメラを取り付けるので、広範な領域について障害物の位置を計測することができる。また、車体に取り付けられる引く数のステレオカメラの計測領域を一部重ね合わせているので、各ステレオカメラにより得られたステレオ画像を利用して、簡易な構成で、正確なキャリブレーションを実施でき、精度よく計測することを実現している。

第１ステレオカメラ２１及び第２ステレオカメラ２２は、互いに同期の取れた２台のカメラをもってそれぞれ構成される。ステレオカメラ２１，２２を構成するそれぞれ２台のカメラは、キャリブレーションが行われており、焦点距離やレンズ歪みなどの内部パラメータ及び互いのカメラの位置関係と車体１への設置位置を示す外部パラメータは、既知とする。また、ステレオカメラ２１，２２を構成するそれぞれ２台のカメラは、光軸が平行であり、各カメラの計測領域は一部において重なり合っている。

本例の建設機械は、図２に示すように、第１及び第２のステレオマッチング部２１０，２２０と、ステレオデータ記憶部２３１と、ステレオカメラキャリブレーション部２３２と、ステレオデータ統合部２３３と、走行路面検出部２３４と、障害物検知部２３５から構成される画像解析装置を備えている。

第１ステレオマッチング部２１０は、ステレオカメラ２１を構成する２台のカメラのうち、右側に配置されたカメラ（右カメラ）が撮像した右画像と、左側に配置されたカメラ（左カメラ）が撮像した左画像をステレオマッチングし、距離情報を含むステレオ画像（３次元計測画像）を算出する。同様に、第２ステレオマッチング部２２０は、ステレオカメラ２２を構成する２台のカメラのうち、右カメラが撮像した右画像と、左カメラが撮像した左画像をステレオマッチングし、ステレオ画像を算出する。

ステレオデータ記憶部２３１は、第１及び第２のステレオマッチング部２１０，２２０で算出されたステレオ画像（ステレオデータ）を時系列順に記憶する。

ステレオカメラキャリブレーション部２３２は、ステレオデータ記憶部２３１に記憶されたステレオ画像からステレオカメラ２１，２２の相対位置を求める。具体的なステレオカメラキャリブレーション部２３２の構成及び動作については、後に説明する。

ステレオデータ統合部２３３は、ステレオデータ記憶部２３１に記憶されたステレオ画像、ステレオカメラキャリブレーション部２３２により求められるステレオカメラ２１，２２の相対位置及び外部パラメータに基づいて、２つのステレオ画像を統合する。２つのステレオ画像の統合は、ステレオカメラキャリブレーション部２３２で求まるステレオカメラ２１，２２の相対位置に基づいて、第１ステレオカメラ２１の座標系上に第２ステレオカメラ２２が計測したステレオ画像を投影することにより行われる。ステレオデータ統合部２３３により２つのステレオ画像を統合することで、計測領域が重複している箇所に障害物が存在した場合においても、障害物の数を重複せずに、所定の統合処理を行うことができる。

走行路面検出部２３４は、ステレオデータ統合部２３３が統合処理したステレオ画像から、計測領域内の走行路面を検出する。また、障害物検知部２３５は、走行路面検出部２３４で検出した走行路面と隣接した立体物を障害物として認識する。これにより、第１ステレオカメラ２１の計測領域内に存在する障害物と、第２ステレオカメラ２２の計測領域内に存在する障害物の両方を検知することができ、ステレオカメラを１台のみ搭載した場合に比べて計測領域を拡大できる。

上述したように、２つのステレオ画像の統合は、ステレオカメラ２１，２２の相対位置に基づいて、第１ステレオカメラ２１の座標系上に第２ステレオカメラ２２が計測したステレオ画像を投影することにより行われるので、高精度の障害物検知を可能にするためには、ステレオカメラ２１，２２の相対位置を正確に把握する必要がある。即ち、本例においては、第１ステレオカメラ２１の計測領域２１２と第２ステレオカメラ２２の計測領域２２２を重複させているので、２台のステレオカメラ２１，２２の相互位置が正しく求まっている場合には、図３に示すように、これら２台のステレオカメラ２１，２２の重複領域内に障害物３１が侵入し、ステレオカメラ２１，２２の両方で障害物３１が検出された場合にも、ステレオカメラ２１，２２の相互位置から障害物３１の相互位置を計測することができて、その障害物３１が同一物体であると容易に認識することができる。これに対して、２台のステレオカメラ２１，２２の相互位置が正確に求まっていない場合には、図４に示すように、第１ステレオカメラ２１の計測領域２１２と第２ステレオカメラ２２の計測領域２２２が重複せず、実際に１つの障害物３１しか存在していないにも拘らず、２つの障害物３１，３２が存在すると誤検知してしまう。

ステレオカメラキャリブレーション部２３２は、ステレオカメラ２１，２２の相対位置を求めるためのキャリブレーションを実施する。以下、ステレオカメラキャリブレーション部２３２の構成及び動作について説明する。

ステレオカメラ２１，２２のキャリブレーションは、ステレオカメラを構成する左右のカメラのキャリブレーションと、同様の手法で行うことができる。例えば、第１ステレオカメラ２１（右カメラ）で見えた画像が、第２ステレオカメラ（左カメラ）でどのように計測されているかを観測することで、キャリブレーションを実施し、カメラの相互位置を推定する。

なお、ステレオカメラを構成する左右のカメラのキャリブレーションについては、一般に、チェスパターンをキャリブレーションターゲットとして用いたキャリブレーションが行われている。しかしながら、巨大な建設機械に取り付けられたステレオカメラ２１，２２のキャリブレーションについては、これら２台のステレオカメラ２１，２２の重複した計測領域にチェスパターンを提示しなくてはならないので、ステレオカメラ２１，２２の設置位置によってはチェスパターンの提示が困難である。また、建設機械は、車体１が巨大で歪みやすいため、ステレオカメラ２１，２２の相互位置が経時変化しやすい。そのため、場所を選ばず頻繁にキャリブレーションを実施可能な手法が、建設機械向けのキャリブレーション手法として適しており、チェスパターンを利用したキャリブレーションは不向きである。このような理由から、本発明では、障害物をキャリブレーションターゲットとして用い、キャリブレーションを実施する。

図６の左図と右図は、それぞれ、第１ステレオマッチング部２１０によって算出されたステレオ画像Ｌと、第２ステレオマッチング部２２０によって算出されたステレオ画像Ｒを示している。なお、以下においては、理解を容易にするため、これらの各ステレオ画像Ｌ，Ｒを、第１ステレオカメラ２１により得られたステレオ画像Ｌ、第２ステレオカメラ２２により得られたステレオ画像Ｒと表記する。ステレオ画像Ｌ，Ｒは、一般的なカメラが撮像する２次元平面の投影面における位置座標と色情報を有した画像ではなく、距離情報を有した３次元計測画像である。本例においては、図６に示すように、第１ステレオカメラ２１により得られたステレオ画像Ｌ及び第２ステレオカメラ２２により得られたステレオ画像Ｒには、それぞれ３つの障害物が映し出されているが、これらの各ステレオ画像Ｌ，Ｒに共通する障害物は、第１の対応領域内及び第２の対応領域内の障害物のみである。本発明では、これら第１の対応領域内及び第２の対応領域内の立体的な障害物を幾何学的に合わせ込み、マッチングすることで、キャリブレーションを実施する。

このため、図２のステレオカメラキャリブレーション部２３２は、図７示すように、第１ステレオカメラ２１により得られたステレオ画像Ｌ及び第２ステレオカメラ２２により得られたステレオ画像Ｒの特徴点を検出する３次元形状特徴検出部２３２１と、３次元形状特徴検出部２３２１により検出された特徴点を、３次元形状マッチングによってマッチングし、第１及び第２のステレオカメラ２１，２２の相対位置を求める３次元形状マッチングによるキャリブレーション部２３２２とから構成される。

図６に例示したように、各ステレオ画像Ｌ，Ｒに共通する障害物が複数ある場合、３次元形状特徴検出部２３２１は、それぞれの障害物についての特徴点を検出する。また、３次元形状マッチングによるキャリブレーション部２３２２は、それぞれの障害物についての幾何学的な合わせ込みを行う。

３次元形状特徴検出部２３２１は、図８に示すように、探索候補地点決定部２３２１１と、３次元形状特徴相関値演算部２３２１２と、相関値判定部２３２１３をもって構成される。

探索候補地点決定部２３２１１は、例えば以前にキャリブレーションを実施した際のキャリブレーション位置や任意のパラメータに基づいて、ステレオ画像Ｌ，Ｒの探索候補を決定する。

３次元形状特徴相関値演算部２３２１２は、探索候補地点決定部２３２１１で決定された探索候補地点の相関値を算出する。探索候補の相関値は、３次元形状マッチングによるキャリブレーション部２３２２で用いられるＬ２ノルムやM-Estimatorに基づいた指標である。本実施の形態では、それらの逆数をとることで求められる形状の類似度が高いほど、ステレオ画像Ｌ，Ｒとその探索候補地点における相関値が高くなるよう設定している。

相関値判定部２３２１３は、３次元形状特徴相関値演算部２３２１２が算出した相関値を基に、キャリブレーション実施の可否を判断する。キャリブレーション実施可否の判断は、図９に示す相関値の分布に応じて行う。即ち、相関値の分布が、図９の左上のグラフのように単峰性を有し、かつ相関値が設定した任意の値よりも高い場合には、キャリブレーションを実施する。これに対して、図９の右側に示した２つのグラフのように、相関値のグラフが多峰性を有している場合や、周辺値とあまり変化のない場合には、キャリブレーションの実施を見送る。

３次元形状マッチングによるキャリブレーション部２３２２で、キャリブレーションに利用するマッチングアルゴリズムとしては、例えばＩＣＰ（Iterative Closest Point）法による形状マッチングが考えられる。一般に、ＩＣＰ法では、フレームＡとフレームＢをマッチングするとき、フレームＡとフレームＢを初期姿勢に基づいて重ね合わせ、フレームＡの各点に対し最も距離の近いフレームＢの点との距離の二乗和で表わされるＬ２ノルム、あるいは距離の絶対値の和で表わされるＬ１ノルムを指標として用いるのが一般的であるが、評価指標として最近傍点の距離の二乗ではなく、例えばM-Estimatorのような評価指標を用いると、計測誤差に対するロバスト性を向上することができる。

なお、各ステレオカメラ２１，２２からステレオ画像が正確に得られない状況や、正確性が不確かな状況下でキャリブレーションを実施すると、キャリブレーション精度が著しく悪化する可能性がある。本実施の形態では、３次元形状マッチングにより正解値にキャリブレーションしやすいか否かを判別する３次元形状特徴検出部２３２１を、３次元形状マッチングによるキャリブレーション部２３２２の前段に組み込み、キャリブレーションのタイミングを判定し、より確からしい情報を得たタイミングに合わせてキャリブレーションを実施するので、高いキャリブレーション精度を得ることができる。

以下、図１０のフローチャートに従って、図７及び図８に示したステレオカメラキャリブレーション部２３２の動作を説明する。

ステレオカメラシステムの電源をオンすると、ステレオカメラキャリブレーション部２３２の初期化処理が行われる（ステップ４０１）。次に、キャリブレーションを実施するタイミングか否かを判定し（ステップ４０２）、ステップ４０３でキャリブレーションを実施するタイミングであると判定した場合（ＹＥＳ）にはステップ４０４に移行し、キャリブレーションを実施するタイミングでないと判定した場合（ＮＯ）は処理を終了する。キャリブレーションを実施するタイミングは、建設機械の走行距離が予め設定された距離に達した場合、あるいは前回のキャリブレーションから予め設定された時間が経過したかを基準としており、これらの基準のいずれかが満たされた場合、キャリブレーションを実施する。

ステップ４０４では、キャリブレーションの解候補となる探索候補地点を決定する。キャリブレーションの探索候補地点は、前回キャリブレーションで決定された値から、設定された範囲と設定された解像度に基づいて決定される。ステップ４０５では、決定された探索候補地点に基づき、第１ステレオカメラ２１の計測左右画像から算出したステレオ画像を構成する点群Ａと第２ステレオカメラ２２の計測左右画像から算出したステレオ画像を構成する点群Ｂを重ね合わせる。そのときの点群Ａの各点に対しもっとも位置の近い点群Ｂの各点を探索し、これを各点の最近傍点とする。ステップ４０６でこの点群Ａの各点に対する点群Ｂの最近傍点との距離に基づき、Ｌ２ノルムやM-Estimatorの評価関数に基づき、探索候補地点における点群Ａと点群Ｂの相関値を決定する。

ステップ４０７では、その相関値の分布を作成し、ステップ４０８では、その相関値が周期性、平行性を有しているか否かの判定を行う。ステップ４０８で相関値が周期性、平行性を有していると判定した場合（ＹＥＳ）は、図９の説明から明らかなように、キャリブレーションに適していないため、ステレオカメラキャリブレーションを終了する。ステップ４０８で相関値が周期性、平行性を有していないと判定した場合（ＮＯ）は、ステップ４０９に移行し、ステップ４０７で算出した最も相関値の高い探索候補地点を最尤値として、その探索候補地点の周辺の相関値をステップ４０６と同様に再度算出する。次いで、ステップ４１０に移行し、ステップ４０９で最も高い相関値をもつ探索候補地点と判定された探索候補地点を真値とし、その値に基づき第１ステレオカメラ２１と第２ステレオカメラ間の相関位置を逆算し、更新する。ステップ４１１では、キャリブレーション終了の条件を満たしているか否かの判定を行う。ステップ４１１でキャリブレーション終了の条件を満たしていると判定した場合（ＹＥＳ）は、ステレオカメラキャリブレーションを終了する。ステップ４１１でキャリブレーション終了の条件を満たしていない判定した場合（ＮＯ）は、ステップ４０９以降の処理を繰り返す。ステップ４１１におけるステレオカメラキャリブレーションの終了条件は、探索ステップの設定回数によって決定する。

第１の実施の形態に係る建設機械は、車体に２台のステレオカメラ２１，２２を取り付けるので、広範な領域について障害物の位置を計測できる。また、車体に取り付けられる複数のステレオカメラの計測領域を一部重ね合わせ、３次元形状特徴検出器２３２１を備えたステレオカメラキャリブレーション部２３２でキャリブレーションを実施するので、正確なキャリブレーションを実施することができる。

《第２の実施の形態》
次に、本発明に係る建設機械の第２の実施の形態を、図１１〜図１３を用いて説明する。第２の実施の形態は、第１の実施の形態に係る画像解析装置に時系列変化検出部及びノイズ検出部を追加したことを特徴とするものであり、第２の実施の形態に係る画像解析装置のうち、第１の実施の形態に係る画像解析装置と同等の部分については、図に同一の符号を付して、重複した説明を省略する。

第２の実施の形態に係る画像解析装置は、図１１に示すように、図７に示した第１の実施の形態に係る画像解析装置に備えられた３次元形状特徴検出部２３２１の前段に、時系列変化検出部２３２３及びノイズ検出部２３２４を追加してなる。

時系列変化検出部２３２３は、例えば第１ステレオカメラ２１により得られたステレオ画像Ｌと第２ステレオカメラ２２により得られたステレオ画像Ｒのフレーム間差分を観測することで、時系列変化を計測し、時系列変化が少ないタイミングのとき、キャリブレーションを実施すると判断する。これは、２つのステレオカメラ２１，２２のシャッターが完全には同期していない場合において、異なる時刻で撮像された撮像画像に基づくステレオ画像を用いてキャリブレーションを実施することにより発生するキャリブレーション誤差を防ぐためである。

図１２は、第１ステレオカメラ２１と第２ステレオカメラ２２の同期が完全ではないために異なる時刻で撮像された、第１ステレオカメラ２１により得られたステレオ画像Ｌと第２ステレオカメラ２２により得られたステレオ画像Ｒを示している。この図から明らかなように、ステレオ画像Ｌとステレオ画像Ｒとは、第１の対応領域の位置が異なっているので、時系列変化検出部２３２３は、これらの各ステレオ画像Ｌ，Ｒを比較することにより、ステレオ画像Ｌとステレオ画像Ｒは時系列が変化していることを認識できる。従って、時系列変化検出部２３２３が時系列の変化を認識した場合に、第１ステレオカメラ２１と第２ステレオカメラ２２のキャリブレーションを実施しない処理をすることにより、キャリブレーション誤差の発生を防止できる。

一方、ノイズ検出部２３２４では、砂塵や霧の発生を検知し、砂塵や霧が発生していないタイミングでキャリブレーションを実施すると判断する。これは、鉱山における建設機械の走行路面はオフロードであり、建設機械の走行により砂塵が舞い、ステレオカメラの計測領域を遮ることでステレオ画像の視差を大きく狂わせることがあるので、視差が大きいステレオ画像を用いてキャリブレーションを実施することにより発生するキャリブレーション誤差を防ぐためである。

図１３は、建設機械の走行路に局部的に砂塵が発生したときの第１ステレオカメラ２１により得られたステレオ画像Ｌと第２ステレオカメラ２２により得られたステレオ画像Ｒを示している。この図から明らかなように、ステレオ画像Ｌにはキャリブレーションの対象領域となる障害物が撮像されているのに対して、ステレオ画像Ｒにはこの障害物が撮像されておらず、ノイズ検出部２３２４は、これらの各ステレオ画像Ｌ，Ｒを比較することにより、局部的にノイズが発生したことを認識できる。従って、ノイズ検出部２３２４がノイズの発生を認識した場合に、第１ステレオカメラ２１と第２ステレオカメラ２２のキャリブレーションを実施しない処理をすることにより、キャリブレーション誤差の発生を防止できる。発生した霧に濃淡があるために、第１ステレオカメラ２１により得られたステレオ画像Ｌと第２ステレオカメラ２２により得られたステレオ画像Ｒに視差が生じる場合についても、同様に処理できる。なお、砂塵や霧によって視界が遮られた場合、カメラ画像内で砂塵や霧の濃い部分を撮影している領域は、輝度もしくは色がほぼ一定になる。また、ステレオカメラが算出したステレオ画像も砂塵を撮影している領域の奥行きはほぼ一定であると観測される。

１ 車体
１１ 車体の重心を含む垂直面
２１ 第１ステレオカメラ
２１０ ステレオマッチング部
２１１ 第１ステレオカメラの中心軸
２２ 第２ステレオカメラ
２２０ ステレオマッチング部
２２１ 第２ステレオカメラの中心軸
２２２ 第２ステレオカメラの計測領域
２３１ ステレオデータ記録部
２３２ ステレオカメラキャリブレーション部
２３３ ステレオデータ統合部
２３４ 走行路面検出部
２３５ 障害物検知部
５１０ ダンプトラック
５２０ 油圧ショベル
５３０ グレーダ
２３２１ ３次元形状特徴検出部
２３２１１ 探索候補地点決定部
２３２１２ ３次元形状特徴相関値演算部
２３２１３ 相関値判定部
２３２２ ３次元形状マッチングによるキャリブレーション部
２３２３ 時系列変化検出部
２３２４ ノイズ検出部
３１ 障害物
３２ 誤認識された障害物
Ｌ 第１ステレオカメラで得られたステレオ画像
Ｒ 第２ステレオカメラで得られたステレオ画像

Claims (7)

1. 車体に取り付けられ、それぞれの計測領域の一部が重ね合わされた複数のステレオカメラと、これら複数のステレオカメラにより得られたステレオ画像から障害物の検知を行う画像解析装置とを備えたことを特徴とする建設機械。
2. 請求項１に記載の建設機械において、
   前記車体の重心を通り、前記車体の前後進方向に延びる軸線を含む垂直面に対し、前記複数のステレオカメラの中心軸を交叉させたことを特徴とする建設機械。
3. 請求項１及び請求項２のいずれか１項に記載の建設機械において、
   前記画像解析装置に、前記複数のステレオカメラにより得られた複数のステレオ画像をマッチングすることで、前記複数のステレオカメラの相対位置を求めるステレオカメラキャリブレーション部を備えたことを特徴とする建設機械。
4. 請求項３に記載の建設機械において、
   前記ステレオカメラキャリブレーション部の前段に組み込まれ、前記複数のステレオカメラにより得られた複数のステレオ画像が、前記ステレオカメラキャリブレーション部により正解値にキャリブレーションしやすいものであるか否かを判別する３次元形状特徴検出部を更に備えたことを特徴とする建設機械。
5. 請求項４に記載の建設機械において、
   前記３次元形状特徴検出部は、前記複数のステレオカメラの相対位置を求める際に使用する探索候補地点を決定する探索候補地点決定部と、前記探索候補地点決定部により決定された前記探索候補地点について、前記複数のステレオカメラにより得られた複数のステレオ画像の相関値を演算する３次元形状相関値演算部と、前記３次元形状相関値演算部が算出した前記ステレオ画像の相関値に基づいて、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行う相関値判定部を有することを特徴とする建設機械。
6. 請求項３乃至請求項５のいずれか１項に記載の建設機械において、
   前記ステレオカメラキャリブレーション部の前段に、前記複数のステレオカメラにより得られた複数のステレオ画像の時系列変化を検出し、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行う時系列変化検出部を更に備えたことを特徴とする建設機械。
7. 請求項３乃至請求項６のいずれか１項に記載の建設機械において、
   前記ステレオカメラキャリブレーション部の前段に、前記複数のステレオカメラにより得られた複数のステレオ画像のノイズを対比し、前記ステレオカメラキャリブレーション部によるキャリブレーションを実施するか否かの判断を行うノイズ検出器を更に備えたことを特徴とする建設機械。