JP6299720B2 - 物体認識装置及び煙判定方法 - Google Patents

Description

本発明は、例えば自動車等の車両に搭載されたステレオカメラの撮像画像を用いる物体認識装置及び煙判定方法の技術分野に関する。

この種の装置として、撮像画像に各種処理を施すことにより、撮像画像内の煙を認識する装置が知られている。例えば特許文献１では、撮像画像を処理して検出した物体のうち、視差のばらつきが大きいものを煙として判定する装置が提案されている。特許文献２及び３では、物体の画像エッジ強度が弱い場合に煙と判定する装置が提案されている。特許文献４では、物体又は物体を分割した領域の時系列でのサイズ変化が大きいものを煙として判定する装置が提案されている。

特開２０１３−２０３３３７号公報 特開２０１２−１１８６９８号公報 特開２０１５−０６９３８１号公報 特開２０１３−２０６３２８号公報

ステレオ視差算出手法の１つであるＳＧＭ（Ｓｅｍｉ Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）では、周囲の視差を参照することにより、画像エッジの少ない（言い換えれば、画素エッジ強度の弱い）画素や領域でも視差が算出可能である。このためＳＧＭでは、既存のエッジベースの技術では算出不可能であったのっぺりとした壁やガードレール等の視差を算出することができる。

しかしながら、ＳＧＭのようなステレオ視差算出手法で検出された画像エッジ強度の弱い物体は、特許文献２及び３の技術により煙として誤判定されてしまうおそれがある。また、ＳＧＭでは、画像エッジ強度が弱い領域において周囲の視差を参照することで視差を求めているため、視差のばらつきが大きくなり易い。このため、特許文献１の技術によっても煙として誤判定されてしまうおそれがある。このように、ステレオ視差算出手法の１つであるＳＧＭを利用して物体を認識しようとする場合には、画像エッジ強度が弱い物体について煙であるか否かの判定が正確に行えないという技術的問題点が生ずる。

他方、特許文献４に記載されているような技術では、時系列でのサイズの変化を利用するため、判定にある程度の時間を要し、更には判定に要する処理も高度複雑化してしまうという技術的問題点が生ずる。

本発明は、上記問題点に鑑みてなされたものであり、撮像画像中の煙の存在を好適に判定することが可能な物体認識装置及び煙判定方法を提供することを課題とする。

本発明の物体認識装置は、上記課題を解決するために、ステレオカメラで撮像された複数の画像を取得する取得手段と、前記複数の画像から視差を算出し、画像横方向の一定幅毎に視差が所定範囲内となる集合をセグメントとして抽出するセグメント抽出手段と、前記画像横方向及び画像奥行方向に連結している前記セグメントを物標として抽出する物標抽出手段と、前記物標を構成する各セグメントの上端位置のばらつき量及び高さ幅のばらつき量を算出する算出手段と、前記上端位置のばらつき量及び前記高さ幅のばらつき量の少なくとも一方が所定の閾値を超えている場合に、前記物標は煙であると判定する判定手段とを備える。

本発明の物体認識装置によれば、物標を構成する各セグメントの上端位置のばらつき量及び高さ幅のばらつき量の少なくとも一方が所定の閾値を超えている場合に、該物標が煙であると判定されるため、画像エッジ強度が弱い物標についても好適に煙であるか否かを判定できる。

本発明の煙判定方法は、上記課題を解決するために、ステレオカメラで撮像された複数の画像を取得する取得工程と、前記複数の画像から視差を算出し、画像横方向の一定幅毎に視差が所定範囲内となる集合をセグメントとして抽出するセグメント抽出工程と、前記画像横方向及び画像奥行方向に連結している前記セグメントを物標として抽出する物標抽出工程と、前記物標を構成する各セグメントの上端位置のばらつき量及び高さ幅のばらつき量を算出する算出工程と、前記上端位置のばらつき量及び前記高さ幅のばらつき量の少なくとも一方が所定値以上の場合に、前記物標は煙であると判定する判定工程とを備える。

本発明に係る煙判定方法によれば、上述した本発明に係る物体認識装置と同様に、画像エッジ強度が弱い物標についても好適に煙であるか否かを判定できる。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

第１実施形態に係る物体認識装置の要部を示すブロック図である。 第１実施形態に係る煙判定処理の流れを示すフローチャートである。 連続構造物を含む撮像画像の一例を示す図である。 連続構造物に対応する物標を示す概念図である。 煙を含む撮像画像の一例を示す図である。 煙に対応する物標を示す概念図である。 セグメント情報統計値の算出方法を示す概念図である。 連続構造物に対応する物標の上端位置ばらつき量の一例を示すグラフである。 煙に対応する物標の上端位置ばらつき量の一例を示すグラフである。 連続構造物に対応する物標の高さ幅ばらつき量の一例を示すグラフである。 煙に対応する物標の高さ幅ばらつき量の一例を示すグラフである。 第２実施形態に係る煙判定処理の流れを示すフローチャートである。

本発明の物体認識装置及び煙判定方法に係る実施形態を、図面に基づいて説明する。

＜第１実施形態＞
第１実施形態に係る物体認識装置及び煙判定方法について説明する。

（物体認識装置の構成）
先ず、第１実施形態に係る物体認識装置の構成について、図１を参照して説明する。図１は、第１実施形態に係る物体認識装置の要部を示すブロック図である。

図１において、物体認識装置１は、自動車等の車両に搭載されており、該車両周辺に存在する物体を認識する（言い換えれば、検出する）装置として構成されている。物体認識装置１は、後述するように撮像画像の視差を利用して物体認識を行うものであるが、パターンマッチングによる物体認識を併用可能に構成されてもよい。物体認識装置１は、ステレオカメラ１０、及びステレオ画像認識装置２０を備えて構成されている。

ステレオカメラ１０は、レンズ１１ａ及び撮像素子１１ｂを有する左カメラ１１と、レンズ１２ａ及び撮像素子１２ｂを有する右カメラ１２と、カメラＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３と、画像出力部１４とを備えて構成されている。

撮像素子１１ｂ及び１２ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等により構成されている。カメラＣＰＵ１３は、左カメラ１１及び右カメラ１２各々の露出等の制御を行う。また、カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、撮像素子１１ｂ及び１２ｂによる撮像画像を画像信号としてステレオ画像認識装置２０に送信する。

ここで、ステレオカメラ１０を構成する左カメラ１１及び右カメラ１２は、物体認識装置１により物体を認識しようとする領域を撮像可能な位置に配置されている。例えば、ステレオカメラ１０は、フロントガラス越しに車両の前方領域（即ち、運転者の視界に相当する領域）を撮像可能な位置に配置される。なお、車両の側方や後方の物体を認識しようとする場合には、それらの領域を撮像可能な位置にステレオカメラ１０を配置すればよい。また、ステレオカメラ１０を複数配置すれば、複数の領域について物体認識を行うこともできる。

ステレオ画像認識装置２０は、画像取得部２１、セグメント抽出部２２、物標抽出部２３、ばらつき算出部２４及び煙判定部２５を備えて構成されている。画像取得部２１、セグメント抽出部２２、物標抽出部２３、ばらつき算出部２４及び煙判定部２５は、ステレオ画像認識装置２０に備えられたＣＰＵ（図示せず）がＲＯＭ（図示せず）に記憶されたコンピュータプログラムを実行することにより実現される機能である。なお、画像取得部２１、セグメント抽出部２２、物標抽出部２３、ばらつき算出部２４及び煙判定部２５は、それぞれ「取得手段」、「セグメント抽出手段」、「物標抽出手段」、「算出手段」、「判定手段」の一具体例である。

ステレオ画像認識装置２０は、煙判定処理の結果（即ち、認識された物体が煙であるか否か）を出力するように構成されている。煙判定処理の結果は、車両のプリクラッシュセーフティシステム等に用いられる。

（煙判定処理）
次に、上述した物体認識装置１による煙判定処理について、図２を参照して説明する。図２は、第１実施形態に係る煙判定処理の流れを示すフローチャートである。なお、図２に示す煙判定処理のルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行される。

図２において、第１実施形態に係る物体認識装置１による煙判定処理では、先ず撮像画像の取得が行われる（ステップＳ１０１）。具体的には、ステレオカメラ１０の右カメラ１１及び左カメラ１２で撮像された画像が、カメラＣＰＵ１３及び画像出力部１４を介して、画像データとしてステレオ画像認識装置２０の画像取得部２１に入力される。画像取得部２１では、一対の画像データ（即ち、右カメラ１１の画像データ及び左カメラ１２の画像データ）が所定周期毎に取得される。画像取得部２１は、取得した一対の画像データをセグメント抽出部２２に出力する。

セグメント抽出部２２では、一対の画像データから視差が算出される（ステップＳ１０２）。視差は、一対の画像データの相関から、対応する画素又は画素ブロック毎の視差値として算出される。視差値は、一対の画像データ間のずれ量として算出されるものであり、撮像画像中の物体までの距離によって変動する値である。具体的には、物体までの距離が近い場合には、視差値は比較的大きい値として算出される。一方、物体までの距離が遠い場合には、視差値は比較的小さい値として算出される。なお、視差値の算出には、ステレオ視差算出手法の１つであるＳＧＭを用いればよい。以降の処理では、一対の画像データにから得られた、１つの視差画像データ（即ち、視差情報を有する画像データ）が用いられる。

視差が算出されると、セグメント抽出部２２では更に、セグメントＳの抽出が行われる（ステップＳ１０３）。セグメントＳは、視差値が所定範囲内となる画素又は画素ブロックの集合であり、画像横方向の一定幅毎に抽出される。なお、ここでの「所定範囲」とは、視差がほぼ同一とみなせる程度に近い状態であるか否かを判定するために予め設定される範囲である。また、「一定幅」は、抽出されるセグメントの幅として予め設定される値であり、具体的には撮像画像の画素数や検出しようとする物体の大きさ等の各種条件に基づいて設定される。

セグメントＳの抽出には、撮像画像を横方向に一定幅毎に細長く区切った箱（セグメントの抽出単位に相当する仮想的な領域）を用いる。この箱には、当該箱に対応する領域内に存在しており、視差値が所定範囲内且つ画像横位置が近い視差集合（即ち、視差情報を有する画素の集合）が投票されていく。なお、各箱に投票される視差集合は画像の高さ方向に関する位置情報を有しており、投票後も高さ方向に関する位置情報を保持し続ける。投票が終了すると、各箱が縦方向（即ち、高さ方向）に走査され、各箱内で高さ方向に連結している視差集合がセグメントＳとして抽出される。

上述した投票処理によれば、各箱に対応する画素のうち、視差値が所定範囲内にあり且つ横方向に連結している視差集合が複数（例えば、Ｍ個）抽出され、それら抽出した複数の視差集合のうち縦方向にも連結している複数（例えば、Ｎ個）の視差集合がセグメントとして抽出される。なお、１つの箱からは複数のセグメントＳが抽出され得る。セグメント抽出部２２によるセグメント抽出結果は、物標抽出部２３に出力される。

物標抽出部２３では、画像横方向及び奥行方向（即ち、距離方向）に連結しているセグメントＳが、撮像画像中の物体に相当する物標Ｔｇとして抽出される（ステップＳ１０４）。なお、ここでの「奥行方向」とは、算出された視差によって定義される方向である。画像データ自体は、縦方向及び横方向の情報しか持たないもの（即ち、２次元のデータ）であるが、視差を算出することにより、新たに奥行方向の情報も有するものとなる。以下では、図３から図６を参照して、抽出される物標Ｔｇについて具体的に説明する。

図３は、連続構造物を含む撮像画像の一例を示す図である。撮像画像Ｐ１には、連続構造物１００（例えば、ガードレールや壁等）が含まれている。ここでの連続構造物１００は特に、のっぺりとした表面を有しており、画像エッジの強度が弱いという特徴を有している。このような連続構造物１００の視差は、エッジベースの視差算出方法では算出することが難しい。しかしながら、ＳＧＭを利用すれば、画像エッジの強度が弱い領域においても、周囲の視差値を参照することで視差を好適に算出できる。よって、撮像画像Ｐ１中の連続構造物１００のように画像エッジの強度が弱い物体についても、物標Ｔｇを抽出することは可能である。

図４は、連続構造物１００に対応する物標Ｔｇ１を示す概念図である。連続構造物１００に対応する物標Ｔｇ１は、複数のセグメントＳが画像横方向及び奥行方向に連結するものとして抽出される。なお、連続構造物１００は矩形に近い形状であるため、連続構造物１００に対応する物標Ｔｇ１は、セグメントＳが規則的に連結したものとして抽出されている。

図５は、煙を含む撮像画像の一例を示す図である。撮像画像Ｐ２には、煙２００が含まれている。煙２００は、その特性上、図３の連続構造物１００と同様に画像エッジの強度が弱い。しかしながら、上述したＳＧＭを利用すれば、煙２００についても、物標Ｔｇを抽出することが可能である。

図６は、煙２００に対応する物標を示す概念図である。煙２００に対応する物標Ｔｇ２は、複数のセグメントＳが画像横方向及び奥行方向に連結するものとして抽出される。なお、煙２００は、連続構造物１００のように明確な形状を有していないため、図４に示した連続構造物に対応する物標Ｔｇ１と比べると、煙２００に対応する物標Ｔｇ２はいびつな形状となる。

図２に戻り、物標Ｔｇが抽出されると、物標抽出部２３では更に、セグメント情報統計値が算出される（ステップＳ１０５）。なお、「セグメント情報統計値」とは、物標Ｔｇを構成する複数のセグメントＳに関して算出される統計的な値であり、少なくとも物標Ｔｇを構成するセグメントＳの数、各セグメントＳの上端位置及び高さ幅を含んでいる。なお、「高さ幅」とは、セグメントＳの上端位置から下端位置までの長さを意味している。以下では、図７を参照して、セグメント情報統計値について具体的に説明する。図７は、セグメント情報統計値の算出方法を示す概念図である。

図７に示すように、５つのセグメントＳ１〜Ｓ５から構成される物標Ｔｇ３が抽出されたとする。この場合、セグメント情報統計値としては、セグメント数ｎ（ここでは“５”）、セグメントＳ１〜Ｓ５の上端位置ｕ１〜ｕ５、及びセグメントＳ１〜Ｓ５の高さ幅ｈ１〜ｈ５が夫々算出される。算出されたセグメント数ｎ、セグメントＳの上端位置ｕ１〜ｕ５、及びセグメントＳの高さ幅ｈ１〜ｈ５の各値は、ばらつき算出部２４に出力される。

再び図２に戻り、ばらつき算出部２４では、先ずセグメント数ｎが所定の閾値Ａ以上であるか否かが判定される（ステップＳ１０６）。セグメント数ｎが所定の閾値Ａ以上でない場合（ステップＳ１０６：ＮＯ）、以降の処理は省略され、煙判定に係る一連の処理は終了することになる。

閾値Ａは、後述するセグメントＳの上端位置のばらつき量及び高さ幅のばらつき量が統計的に意味をなす程度に、セグメントＳの数が多いか否かを判定するための閾値である。例えば、セグメント数ｎが“１”や“２”程度の小さい値である場合には、セグメントＳの上端位置のばらつき量及び高さ幅のばらつき量は統計的な意味をなさない。よって、これらのばらつき量を利用する煙判定の結果にも悪い影響を及ぼす可能性がある。閾値Ａは、このようにセグメント数ｎが極めて小さいケースを除外するために予め設定されている。なお、閾値Ａは、「所定数」の一具体例である。

セグメント数ｎが閾値Ａ以上である場合（ステップＳ１０６：ＹＥＳ）、ばらつき算出部２４では、物標Ｔｇを構成する各セグメントＳの上端位置ｕのばらつき量である上端位置ばらつき量σｕが算出され、所定の閾値Ｂより大きいか否かが判定される（ステップＳ１０７）。なお、上端位置ばらつき量σｕの算出については、既存の手法を利用することができるため、ここでの詳細な説明は省略する。セグメントＳの上端位置ばらつき量σｕが閾値Ｂより大きいと判定された場合には（ステップＳ１０７：ＹＥＳ）、物標Ｔｇは煙２００と判定される（ステップＳ１０９）。

閾値Ｂは、物標Ｔｇを構成する各セグメントＳの上端位置ｕが、煙２００と判定できる程度にばらついているか否かを判定するための閾値である。図４と図６とを見比べても分かるように、図４に示す連続構造物１００に対応する物標Ｔｇ１は、セグメントＳの上端位置ｕが直線的に揃った状態になっており、図６に示す煙２００に対応する物標Ｔｇ２は、セグメントＳの上端位置ｕが大きくばらついている。このように、セグメントＳの上端位置ｕは、物標Ｔｇが連続構造物１００に対応するものであるか、或いは煙２００に対応するものであるかによって明確に異なる傾向を示す。従って、セグメントＳの上端位置ばらつき量σｕと閾値Ｂとの比較により、物標Ｔｇが煙２００であるか否かを判定できる。なお、閾値Ｂは、「所定の閾値」の一具体例である。

以下では、上端位置ばらつき量σｕを用いた判定方法について、図８及び図９を参照して具体的に説明する。ここに図８は、連続構造物１００に対応する物標Ｔｇ１の上端位置ばらつき量σｕの一例を示すグラフである。また図９は、煙２００に対応する物標Ｔｇ２の上端位置ばらつき量σｕの一例を示すグラフである。なお、図８及び図９で示される上端位置ばらつき量σｕの値は、あくまで連続構造物１００と煙２００との傾向の違いを表す一例に過ぎず、図４及び図６で示した物標Ｔｇ１及びＴｇ２に厳密に対応する値ではない。

図８に示すように、連続構造物１００に対応する物標Ｔｇ１の上端位置ばらつき量σｕは、画像横位置によって多少の変動はあるものの比較的低い値で安定している。そして特に、物標Ｔｇ１の上端位置ばらつき量σｕは、閾値Ｂを超えることがない。このような場合には、物標Ｔｇ１は煙２００と判定されない。

図９に示すように、煙２００に対応する物標Ｔｇ２の上端位置ばらつき量σｕは、画像横位置によって比較的大きく変動している。そして特に、物標Ｔｇ２の上端位置ばらつき量σｕは、ほとんどの位置で閾値Ｂを超えている。このような場合には、物標Ｔｇ２は煙２００と判定される。

なお、煙２００と判定する際に、上端位置ばらつき量σｕが閾値Ｂを超えた回数を考慮してもよい。具体的には、上端位置ばらつき量σｕが閾値Ｂを１回超えただけでも煙２００と判定してもよいし、上端位置ばらつき量σｕが閾値Ｂを２以上の所定回数超えた場合に煙２００と判定してもよい。或いは、上端位置ばらつき量σｕが閾値Ｂを超えた回数が、全体に対して所定の割合以上となった場合に煙２００と判定してもよい。

再び図２に戻り、セグメントＳの上端位置ばらつき量σｕが閾値Ｂ以下であると判定された場合（ステップＳ１０７：ＮＯ）、ばらつき算出部２４では、物標Ｔｇを構成する各セグメントＳの高さ幅ｈのばらつき量である高さ幅ばらつき量σｈが算出され、所定の閾値Ｃより大きいか否かが判定される（ステップＳ１０８）。なお、高さ幅ばらつき量σｈの算出については、既存の手法を利用することができるため、ここでの詳細な説明は省略する。セグメントＳの高さ幅ばらつき量σｈが閾値Ｃより大きいと判定された場合には（ステップＳ１０８：ＹＥＳ）、物標Ｔｇは煙２００と判定される（ステップＳ１０９）。即ち、セグメントＳの上端位置ばらつき量σｕと閾値Ｂとの関係では煙２００と判定されない場合であっても、セグメントＳの高さ幅ばらつき量σｈと閾値Ｃとの関係次第で煙２００と判定されることがある。

閾値Ｃは、物標Ｔｇを構成する各セグメントＳの高さ幅ｈが、煙２００と判定できる程度にばらついているか否かを判定するための閾値である。図４と図６とを見比べても分かるように、図４に示す連続構造物１００に対応する物標Ｔｇ１は、セグメントＳの高さ幅がほぼ一定になっており、図６に示す煙２００に対応する物標Ｔｇ２は、セグメントＳの高さ幅ｈが大きくばらついている。このように、セグメントＳの高さ幅ｈは、物標Ｔｇが連続構造物１００に対応するものであるか、或いは煙２００に対応するものであるかによって明確に異なる傾向を示す。従って、セグメントＳの高さ幅ばらつき量σｈと閾値Ｃとの比較により、物標Ｔｇが煙２００であるか否かを判定できる。なお、閾値Ｃは、上述した閾値Ｂと同様に「所定の閾値」の一具体例である。ただし、閾値Ｂと閾値Ｃとは互いに同じ値である必要はなく、互いに異なる値として（即ち、上端位置ばらつき量σｕ及び高さ幅ばらつき量σｈの各々に対応する値として別々に）設定されてもよい。

以下では、高さ幅のばらつき量σｈを用いた判定方法について、図１０及び図１１を参照して具体的に説明する。ここに図１０は、連続構造物１００に対応する物標Ｔｇ１の高さ幅ばらつき量σｈの一例を示すグラフである。また図１１は、煙２００に対応する物標Ｔｇ２の高さ幅ばらつき量σｈの一例を示すグラフである。なお、図１０及び図１１で示される高さ幅ばらつき量σｈの値は、あくまで連続構造物１００と煙２００との傾向の違いを表す一例に過ぎず、図４及び図６で示した物標Ｔｇ１及びＴｇ２に厳密に対応する値ではない。

図１０に示すように、連続構造物１００に対応する物標Ｔｇ１の高さ幅ばらつき量σｈは、画像横位置によって多少の変動はあるものの比較的低い値で安定している。そして特に、物標Ｔｇ１の高さ幅ばらつき量σｈは、閾値Ｃを超えることがない。このような場合には、物標Ｔｇ１は煙２００と判定されない。

図１１に示すように、煙２００に対応する物標Ｔｇ２の高さ幅ばらつき量σｈは、画像横位置によって比較的大きく変動している。そして特に、物標Ｔｇ２の高さ幅ばらつき量σｈは、ほとんどの位置で閾値Ｃを超えている。このような場合には、物標Ｔｇ２は煙２００と判定される。

なお、煙２００と判定する際には、上述した上端位置ばらつき量σｕの場合と同様に、高さ幅ばらつき量σｈが閾値Ｃを超えた回数を考慮してもよい。具体的には、高さ幅ばらつき量σｈが閾値Ｃを１回超えただけでも煙２００と判定してもよいし、高さ幅ばらつき量σｈが閾値Ｃを２以上の所定回数超えた場合に煙２００と判定してもよい。或いは、高さ幅ばらつき量σｈが閾値Ｃを超えた回数が、全体に対して所定の割合以上となった場合に煙２００と判定してもよい。

再び図２に戻り、セグメントＳの高さ幅ばらつき量σｈが閾値Ｃ以下であると判定された場合には（ステップＳ１０８：ＮＯ）、物標Ｔｇは連続構造物１００と判定される（ステップＳ１１０）。このように本実施形態に係る煙判定処理では、セグメントＳの上端位置ばらつき量σｕ及び高さ幅ばらつき量σｈの少なくとも一方が所定の閾値（即ち、閾値Ｂ又は閾値Ｃ）よりも大きいと判定された場合に、物標Ｔｇが煙２００と判定され、その他の場合には物標Ｔｇが連続構造物１００と判定される。

なお、上述した実施形態では、セグメントＳの上端位置ばらつき量σｕに関する判定を行った後に、セグメントＳの高さ幅ばらつき量σｈに関する判定を行っているが、これらの判定処理（即ち、図２のステップＳ１０７及びＳ１０８）は互いに相前後して行われてもよい。仮に、セグメントＳの高さ幅ばらつき量σｈに関する判定を行った後に、セグメントＳの上端位置ばらつき量σｕに関する判定を行った場合であっても、判定結果は変化しない。

（発明の効果）
本実施形態に係る物体認識装置１によれば、上述した煙判定処理により、抽出した物標Ｔｇが煙２００であるのか、それとも連続構造物１００であるのかを好適に判定することができる。

ここで特に、煙２００と連続構造物１００とは、画像処理を行った場合の画像エッジ強度が弱いという共通した特性を有している。このため、画像エッジの強度だけでは煙２００と連続構造物１００とを正確に区別することは難しい。

しかしながら、本実施形態では、上述したようにセグメントＳの上端位置ばらつき量σｕ及び高さ幅ばらつき量σｈに基づいて、物標Ｔｇが煙２００であるか否かが判定される。従って、物標Ｔｇが煙２００であるか否かを正確に判定できる。言い換えれば、煙２００に対応する物標Ｔｇが連続構造物１００として判定されてしまったり、連続構造物１００に対応する物標Ｔｇが煙２００として判定されてしまったりすることを防止できる。

物体認識装置１の判定結果を利用すれば、例えば車両のプリクラッシュセーフティシステムを好適に作動させることが可能となる。具体的には、認識した物標Ｔｇが連続構造物１００と判定された場合には、連続構造物１００に衝突する危険性が生じた際に自動的にブレーキが作動される。この場合、車両と連続構造物１００との衝突は確実に回避される。一方で、認識した物標Ｔｇが煙２００である場合には、上述したタイミングでブレーキが作動されない。このようにすれば、衝突を回避する必要がない煙に対して自動ブレーキが作動されることで、車両が不必要に減速されてしまうことを防止できる。

＜第２実施形態＞
次に、第２実施形態に係る物体認識装置及び煙判定方法について説明する。なお、第２実施形態は、上述した第１実施形態と比べて一部の動作が異なるのみであり、その他の動作及び装置構成については概ね同様である。このため、以下では、第１実施形態と異なる部分について詳細に説明し、重複する部分については適宜説明を省略するものとする。

（煙判定処理）
第２実施形態に係る煙判定処理について、図１２を参照して説明する。図１２は、第２実施形態に係る煙判定処理の流れを示すフローチャートである。なお、図１２に示す煙判定処理のルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行される。

図１２において、第２実施形態に係る物体認識装置１による煙判定処理では、先ずステレオカメラ１０で撮像された一対の画像データが、画像取得部２１で取得される（ステップＳ２０１）。画像取得部２１は、取得した一対の画像データをセグメント抽出部２２に出力する。

セグメント抽出部２２では、一対の画像データから視差が算出される（ステップＳ２０２）。視差が算出されると、セグメント抽出部２２では更に、セグメントＳの抽出が行われる（ステップＳ２０３）。セグメント抽出部２２によるセグメント抽出結果は、物標抽出部２３に出力される。

物標抽出部２３では、画像横方向及び奥行方向に連結しているセグメントＳが、撮像画像中の物体に相当する物標Ｔｇとして抽出される（ステップＳ２０４）。物標Ｔｇが抽出されると、物標抽出部２３では更に、セグメント情報統計値が算出される（ステップＳ２０５）。ここでのセグメント情報統計値も、第１実施形態と同様に、少なくとも物標Ｔｇを構成するセグメント数ｎ、各セグメントＳの上端位置ｕ及び高さ幅ｈを含んでいる。算出されたセグメント数ｎ、各セグメントＳの上端位置ｕ及び高さ幅ｈは、ばらつき算出部２４に出力される。

ばらつき算出部２４では、先ずセグメント数ｎが所定の閾値Ａ以上であるか否かが判定される（ステップＳ２０６）。セグメント数ｎが所定の閾値Ａ以上でない場合（ステップＳ２０６：ＮＯ）、以降の処理は省略され、煙判定に係る一連の処理は終了することになる。

セグメント数ｎが閾値Ａ以上である場合（ステップＳ２０６：ＹＥＳ）、ばらつき算出部２４では、物標Ｔｇを構成する各セグメントＳの上端位置ばらつき量σｕが算出され、所定の閾値Ｂより大きいか否かが判定される（ステップＳ２０７）。なお、第２実施形態に係る閾値Ｂは、「第１閾値」の一具体例である。

第２実施形態では特に、セグメントＳの上端位置ばらつき量σｕが閾値Ｂ以下であると判定された場合（ステップＳ２０７：ＮＯ）、物標Ｔｇが連続構造物１００であると判定される（ステップＳ２１０）。即ち、第２実施形態では、セグメントＳの上端位置ばらつき量σｕと閾値Ｂとの関係だけで、物標Ｔｇが煙２００ではないと判定され得る。

セグメントＳの上端位置ばらつき量σｕが閾値Ｂより大きいと判定された場合（ステップＳ１０７：ＹＥＳ）、ばらつき算出部２４では、物標Ｔｇを構成する各セグメントＳの高さ幅ばらつき量σｈが算出され、所定の閾値Ｃより大きいか否かが判定される（ステップＳ２０８）。なお、第２実施形態に係る閾値Ｃは、「第２閾値」の一具体例である。

セグメントＳの高さ幅ばらつき量σｈが閾値Ｃ以下であると判定された場合には（ステップＳ２０８：ＮＯ）、物標Ｔｇは連続構造物１００と判定される（ステップＳ２１０）。ここまでの処理を見ても分かるように、第２実施形態に係る煙判定処理では、セグメントＳの上端位置ばらつき量σｕ及び高さ幅ばらつき量σｈの少なくとも一方が所定の閾値よりも大きくないと判定された場合には、物標Ｔｇが連続構造物１００と判定される。

他方で、セグメントＳの高さ幅ばらつき量σｈが閾値Ｃより大きいと判定された場合には（ステップＳ２０８：ＹＥＳ）、物標Ｔｇは煙２００と判定される（ステップＳ２０９）。このように第２実施形態では、セグメントＳの上端位置ばらつき量σｕ及びセグメントＳの高さ幅ばらつき量σｈの両方が所定の閾値より大きい場合に、物標Ｔｇが煙２００と判定される。

なお、上述した実施形態では、セグメントＳの上端位置ばらつき量σｕに関する判定を行った後に、セグメントＳの高さ幅ばらつき量σｈに関する判定を行っているが、これらの判定処理（即ち、図１２のステップＳ２０７及びＳ２０８）は互いに相前後して行われてもよい。仮に、セグメントＳの高さ幅ばらつき量σｈに関する判定を行った後に、セグメントＳの上端位置ばらつき量σｕに関する判定を行った場合であっても、判定結果は変化しない。

ちなみに、図１２のステップＳ２０１からステップＳ２１０の夫々の処理は、特段の説明がない場合には、図２のステップＳ１０１からステップＳ１１０の夫々の処理と同一である。

（発明の効果）
第２実施形態に係る物体認識装置１では、上述したようにセグメントＳの上端位置ばらつき量σｕ及び高さ幅ばらつき量σｈの両方が所定の閾値より大きい場合に、物標Ｔｇが煙２００と判定される。このため、セグメントＳの上端位置ばらつき量σｕ及び高さ幅ばらつき量σｈのいずれか一方だけが所定の閾値より大きい場合には、物標Ｔｇは煙２００とは判定されないことになり、第１実施形態と比べると、物標Ｔｇが煙２００と判定され難くなっている。

物体認識装置１の判定結果を車両のプリクラッシュセーフティシステムに利用する場合、煙２００として判定されるべき物標Ｔｇが連続構造物１００として誤って判定されてしまっても、不適切なタイミングで車両のブレーキが作動してしまうだけで済む。しかしながら、連続構造物１００として判定されるべき物標Ｔｇが煙２００として誤って判定されてしまうと、自動的にブレーキが作動されないため、車両と連続構造物１００との衝突が発生してしまう可能性がある。このように、プリクラッシュセーフティシステムにおいては、連続構造物１００が煙２００として誤判定されてしまう事態が優先的に回避されることが好ましい。

これに対し、第２実施形態では、物標Ｔｇを煙であると判定する場合には、セグメントＳの上端位置ばらつき量σｕ及びセグメントＳの高さ幅ばらつき量σｈの両方が所定の閾値より大きいことが要求される。これにより、連続構造物１００として判定されるべき物標Ｔｇが煙２００として誤って判定されてしまうことを、より確実に防止できる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体認識装置及び煙判定方法もまた本発明の技術的範囲に含まれるものである。

１ 物体認識装置
１０ ステレオカメラ
１１ 左カメラ
１２ 右カメラ
１１ａ，１２ａ レンズ
１１ｂ，１２ｂ 撮像素子
１３ カメラＣＰＵ
１４ 画像出力部
２０ ステレオ画像認識装置
２１ 画像取得部
２２ セグメント抽出部
２３ 物標抽出部
２４ ばらつき算出部
２５ 煙判定部
１００ 連続構造物
２００ 煙
Ｐ 撮像画像
Ｓ セグメント
Ｔｇ 物標
ｕ 上端位置
ｈ 高さ幅
σｕ 上端位置ばらつき量
σｈ 高さ幅ばらつき量

Claims (4)

1. ステレオカメラで撮像された複数の画像を取得する取得手段と、
   前記複数の画像から視差を算出し、画像横方向の一定幅毎に視差が所定範囲内となる集合をセグメントとして抽出するセグメント抽出手段と、
   前記画像横方向及び画像奥行方向に連結している前記セグメントを物標として抽出する物標抽出手段と、
   前記物標を構成する各セグメントの上端位置のばらつき量及び高さ幅のばらつき量を算出する算出手段と、
   前記上端位置のばらつき量及び前記高さ幅のばらつき量の少なくとも一方が所定の閾値を超えている場合に、前記物標は煙であると判定する判定手段と
   を備えることを特徴とする物体認識装置。
2. 前記判定手段は、前記上端位置のばらつき量が前記所定の閾値としての第１閾値を超えており、且つ前記高さ幅のばらつき量が前記所定の閾値としての第２閾値を超えている場合に、前記物標は煙であると判定することを特徴とする請求項１に記載の物体認識装置。
3. 前記算出手段は、前記物標を構成する前記セグメントの数が所定数以上の場合に、前記上端位置のばらつき量及び前記高さ幅のばらつき量を算出することを特徴とする請求項１又は２に記載の物体認識装置。
4. ステレオカメラで撮像された複数の画像を取得する取得工程と、
   前記複数の画像から視差を算出し、画像横方向の一定幅毎に視差が所定範囲内となる集合をセグメントとして抽出するセグメント抽出工程と、
   前記画像横方向及び画像奥行方向に連結している前記セグメントを物標として抽出する物標抽出工程と、
   前記物標を構成する各セグメントの上端位置のばらつき量及び高さ幅のばらつき量を算出する算出工程と、
   前記上端位置のばらつき量及び前記高さ幅のばらつき量の少なくとも一方が所定の閾値を超えている場合に、前記物標は煙であると判定する判定工程と
   を備えることを特徴とする煙判定方法。