JP2012118698A - 画像処理装置 - Google Patents

Abstract

【課題】背景の影響を除去して高精度に煙状の物体を検出する。
【解決手段】ステレオカメラの撮像画像を処理する画像処理コントローラと、画像処理コントローラからの情報に基づいて物体の認識処理を行う認識処理コントローラとを基本構成とする画像処理装置において、認識処理コントローラに、煙状の物体を認識可能とするための機能として、対象物領域特定部２０ａ，特徴量抽出部２０ｂ，煙判定部２０ｃを備える。対象物領域特定部２０ａは背景の影響を除去して検出対象となる物体の領域を特定し、特徴量抽出部２０ｂは対象物領域内で煙状の物体を認識するための画像特徴量を抽出し、煙判定部２０ｃは抽出した画像特徴量から対象物領域内の物体が煙状の物体であるかそれ以外の物体であるかを判定する。
【選択図】図２

Description

本発明は、ステレオカメラで撮像した画像を処理して物体を検出する画像処理装置に関する。

一般に、画像認識によって物体を検出する場合、水蒸気や火災による煙のように、輝度変化が小さくテクスチャの薄い煙状の物体は検出が容易でないという問題がある。このため、従来から、画像に映し出された煙状の物体を認識する技術が各種提案されている。

例えば、特許文献１には、カラー画像をＲ，Ｇ，Ｂ成分に分解して色成分画像から色相画像を得、色成分画像と色相画像との交差を取ることにより、白煙を認識する技術が開示されている。また、特許文献１の技術では、白煙と同程度の輝度の雲等の物体を区別するため、今回の画像とΔｔ時間前の画像との差分を抽出することで、検出精度を高めるようにしている。

特開２００４−３０２２５号公報

しかしながら、特許文献１に開示されている技術は、モノクロ画像には適用できないばかりでなく、環境の影響を受ける虞がある。更には、車両や屋内移動ロボット等の移動体にカメラを搭載する場合、カメラ自体が移動することから背景の影響を受けてしまい、精度良く煙を検出することは困難である。

本発明は上記事情に鑑みてなされたもので、背景の影響を除去して高精度に煙状の物体を検出することのできる画像処理装置を提供することを目的としている。

上記目的を達成するため、本発明による画像処理装置は、ステレオカメラで撮像した画像を処理して物体を検出する画像処理装置において、上記ステレオカメラの撮像画像をマッチング処理して得られる距離データを用いて、物体を検出する画像領域を同一距離にある物体を囲む対象物領域として特定する対象物領域特定部と、上記対象物領域を空間フィルタ処理して画像特徴量を抽出する特徴量抽出部と、上記対象物領域の画像特徴量に基づいて上記対象物領域内の物体が煙状の物体であるか否かを判定する煙判定部とを備えたことを特徴とする。

本発明によれば、ステレオカメラで撮像した画像を用いて、背景の影響を除去して高精度に煙状の物体を検出することができる。

画像処理装置の基本構成図 白煙検出に係る機能ブロック図 対象物領域の説明図 煙以外の物体の画像とフィルタ画像とを示す説明図 煙の画像とフィルタ画像とを示す説明図 煙以外の物体の画像のエッジ強度のヒストグラムと累積頻度とを示す説明図 煙の画像のエッジ強度のヒストグラムと累積頻度とを示す説明図

以下、図面を参照して本発明の実施の形態を説明する。
図１に示す画像処理装置１は、例えば車両や屋内移動ロボット等の移動体に搭載され、３次元の画像認識によって物体を認識する装置であり、認識結果が図示しない制御装置に送信されて各種制御が実行される。この画像認識装置１は、基本構成として、複数のカメラからなるステレオカメラ２と、ステレオカメラ２の撮像画像を処理する画像処理コントローラ１０と、画像処理コントローラ１０からの情報に基づいて物体の認識処理を行う認識処理コントローラ２０とを備えている。

ステレオカメラ２は、本実施の形態においては、例えばＣＣＤやＣＭＯＳ等の固体撮像素子を有する２台のカメラ２ａ，２ｂを水平に配置して構成され、一方のカメラ２ａを基準カメラ、他方のカメラ２ｂを比較カメラとする平行ステレオを構成するように調整されている。すなわち、カメラ２ａ，２ｂは、互いの光軸が平行で所定の基線長（光軸間隔）を持って水平に配置され、且つ水平走査方向がエピポーララインに一致するよう調整されている。

ステレオカメラ２で撮像した一対のステレオ画像は、画像処理コントローラ１０に入力されて処理され、３次元の距離情報が算出される。画像処理コントローラ１０は、基準カメラ２ａで撮像した基準画像と比較カメラ２ｂで撮像した比較画像とに映し出された同一物体の対応位置を探索し、両画像間の対応位置のズレ量を視差として算出する。

基準画像と比較画像との間の対応位置は、例えば、周知の領域探索法を用いて両画像間の相関を評価することで決定する。すなわち、基準画像内の或る１つの点の周囲に小領域（ブロック；例えば８×８画素）を設定すると共に、比較画像内の或る点の周囲に同じ大きさの小領域を設け、比較画像上でブロックをずらしながら互いのブロックの相関演算を行うことにより、対応位置を探索する。この相関演算における評価関数としては、基準画像のブロックと比較画像のブロックとの間のピクセル値（一般的には各画素の輝度値）の差分の絶対値の総和（SAD;Sum of Absolute Difference）を用い、ＳＡＤ値が最小となるブロック間の水平方向の画素ズレ量をブロック間の視差とする。

尚、画像処理コントローラ１０は、各カメラ２ａ，２ｂのシャッタ速度制御、両カメラ間の幾何学的及び光学的な位置ズレの補正や画像間の輝度バランスの補正等を行う機能も備えている。

認識処理コントローラ２０は、画像内の位置情報と画像処理コントローラ１０で検出された視差情報とに基づいて、画像上の２次元の座標系を３次元の実空間上の座標系に変換する。更に、カメラの取り付け位置及び角度等のパラメータから道路面や床面よりも高い位置にあるデータを立体物のデータと見做して抽出することにより、物体認識を行う。

この認識処理コントローラ２０による物体認識は、固体や液体状の物体のみならず、空間内に浮遊する粒子群の塊（煙状の物体）をも対象としている。このため、認識処理コントローラ２０は、煙状の物体を認識可能とするための機能として、図２に示すように、対象物領域特定部２０ａ，特徴量抽出部２０ｂ，煙判定部２０ｃを備えている。

概略的には、対象物領域特定部２０ａは、背景の影響を除去して検出対象となる物体の領域を特定する。特徴量抽出部２０ｂは対象物領域内で煙状の物体を認識するための画像特徴量を抽出し、煙判定部２０ｃは抽出した画像特徴量から対象物領域内の物体が煙状の物体であるか、それ以外の物体であるかを判定する。

詳細には、対象物領域の特定は、先ず、前処理として、道路面や床面よりも高い位置にある小領域のデータに対して、３次元距離が所定の閾値内にある小領域同士を同一物体とみなしてグループ化する（グルーピング処理）。全ての小領域についてのグルーピング処理が終了したとき、１個のグループを１個の物体と見做し、そのグループに属する全ての小領域の距離の平均値を物体の距離とする。

更に、同一の物体と見做されるグループを、画像座標（水平及び垂直方向）の最大値と最小値とで囲み、検出対象の物体が映っている対象物領域として特定する。図３は、白煙を検出対象物とする対象物領域の例であり、グループ化された画像内のデータ群（白煙）ＷＳを水平方向及び垂直方向の端部で矩形状に囲み、囲んだ領域Ｒを対象物領域として特定する。尚、対象物領域は、本実施の形態においては基準画像に設定される。

対象物領域が特定されると、次に、対象物領域の画像特徴量を抽出し、抽出した画像特徴量に基づいて、領域内に映し出された物体が煙かそれ以外の物体かを判定する。以下では、煙状の物体として白煙を検出対象とする場合を例に取って説明する。

白煙は、以下に示すような特徴を有しており、これらの特徴を考慮することにより、対象物内の物体が白煙か否かを判定することができる。これらの特徴は、対象物領域に空間フィルタを適用することで抽出することができ、抽出した画像特徴量を用いて白煙を判定する。
・透過率又はコントラストが低下する。
・輝度値がある値に収束する。
・輝度分布の範囲が狭まり、輝度の分散が小さくなる。
・輝度の平均値が通常の煙のない状態から変化する。
・領域内のエッジの総和量が低下する。

対象物領域に適用する空間フィルタとしては、ソベールフィルタやラプラシアンフィルタ等のエッジを抽出する微分フィルタと、最大値、最小値、平均値、分散、最頻値等を抽出する統計フィルタとを用いる。このような空間フィルタを用いて抽出された領域内の輝度最頻値やエッジ強度の平均値等の特徴量は、特徴空間内でクラスタリング或いは閾値判別を行うことにより、白煙の属性と白煙でない物体の属性とに分類することができ、白煙を高精度に検出することが可能となる。

また、物体として検出される白煙は、温度が高く、上に上昇していく煙であるため、縦に延びる傾向が強い。従って、２台のカメラ２ａ，２ｂを水平に配置したステレオカメラ２の画像から取得される距離データを用いて白煙を囲む領域（対象物領域）を切り出し、領域内で白煙に属する特徴量を取り出すことにより、背景の影響を除去することができ、高精度に白煙を検出することが可能となる。

白煙と白煙でない物体とは、周知のサポートベクタマシン（SVM;Support Vector Machine）等の学習器を用いた特徴空間の分割、或いは特徴空間の閾値による分割によって分類することができる。前者は認識処理コントローラ２０の能力如何によっては処理時間が増大する懸念があり、後者は比較的簡単な処理で高速に処理することが可能である。ここでは、対象物領域のエッジ強度の絶対値や平均値からヒストグラムを作成し、ヒストグラムから白煙と白煙でない物体とを閾値によって分類する例を説明する。

閾値判別による分類では、先ず、対象物領域の各画素に、例えば３×３のマスクによる空間微分フィルタをかけ、図４、図５に示すような画像のエッジを抽出したフィルタ画像を得る。図４（ａ）に示す白煙以外の物体Ａの画像に空間微分フィルタをかけた場合、図４（ｂ）に示すようなフィルタ画像（エッジ画像）Ａ’が得られ、図５（ａ）に示す白煙Ｂの画像に空間微分フィルタをかけた場合、図５（ｂ）に示すようなフィルタ画像Ｂ’が得られる。図５（ｂ）に示す白煙Ｂのフィルタ画像Ｂ’は、図４（ｂ）に示す普通の物体Ａのフィルタ画像Ａ’に比較してエッジが薄く、図５（ｂ）においては、エッジが薄いことを破線で表現している。

フィルタ画像が得られると、次に、画像のエッジ強度（輝度勾配の大きさ）の絶対値又は平均値のヒストグラムを作成する。但し、画像のノイズの影響を避けるため、エッジ強度が規定値以上である画素のみを対象として（例えばエッジ強度≦３のものはノイズとして除外）、ヒストグラムを作成する。そして、ヒストグラムを上から累積した累積頻度が全体のＮ％以上となるエッジ強度をＥＮとし、このエッジ強度ＥＮが閾値Ｓ以下である場合、対象物領域の物体は白煙であると判定する。

例えば、図４（ｂ）の白煙以外の物体Ａのフィルタ画像からエッジ強度のヒストグラムを作成すると、図６（ａ）に示すようなヒストグラムが得られ、図５（ｂ）の白煙Ｂのフィルタ画像からエッジ強度のヒストグラムを作成すると、図７（ａ）に示すようなヒストグラムが得られる。更に、それぞれのヒストグラムに対して、上の階級から順に度数を加えていった累積頻度とエッジ強度との関係を求めると、図６（ｂ），図７（ｂ）に示すような関係が得られる。

図６（ｂ），図７（ｂ）において、例えば、累積頻度が全体の１０％以上となるエッジ強度を求めると、図６（ｂ）に示す白煙以外の物体Ａの場合に１０％以上となるエッジ強度Ｅ１０Ａは、図７（ｂ）に示す白煙Ｂの場合に１０％以上となるエッジ強度Ｅ１０Ｂよりも明らかに大きいことがわかる。従って、閾値ＳをＥ１０Ａ＞Ｓ＞Ｅ１０Ｂの適切な値に設定することで、白煙か否かを判定することができる。

この場合、エッジ強度の閾値は、１つの値でなく、画像の明るいさに応じて複数の値を設定してテーブルに格納するようにしても良い。すなわち、対象物領域内の全ての画素の輝度値の平均値を求め、この平均輝度に応じてエッジ強度の閾値を複数設定することで、照明環境の変化に対応することが可能となる。

このように、本実施の形態においては、ステレオカメラを用いた画像認識によって煙状の物体を検出する際、同一距離にある物体を対象として検出領域を特定するので、背景の情報を排除した空間的な特徴を抽出することができ、煙状の物体か否かを確実に判定することができる。しかも、画像の時間的な変化を追わなくてもすむため、移動体に搭載してカメラが移動する場合にも、精度良く判定することができる。

但し、空間的なフィルタに時間的なフィルタを併用して判定結果を安定化させるようにしても良い。例えば、煙なら１、煙でないなら０と判定する場合、ローパスフィルタをかけて例えば０．５より大きい場合に煙と判定するようにしても良い。

１ 画像処理装置
２ ステレオカメラ
１０ 画像処理コントローラ
２０ 認識処理コントローラ
２０ａ 対象物領域特定部
２０ｂ 特徴量抽出部
２０ｃ 煙判定部

Claims (2)

1. ステレオカメラで撮像した画像を処理して物体を検出する画像処理装置において、
   上記ステレオカメラの撮像画像をマッチング処理して得られる距離データを用いて、物体を検出する画像領域を同一距離にある物体を囲む対象物領域として特定する対象物領域特定部と、
   上記対象物領域を空間フィルタ処理して画像特徴量を抽出する特徴量抽出部と、
   上記対象物領域の画像特徴量に基づいて上記対象物領域内の物体が煙状の物体であるか否かを判定する煙判定部と
   を備えたことを特徴とする画像処理装置。
2. 上記特徴量抽出部は、少なくとも輝度の空間微分値を上記画像特徴量として抽出することを特徴とする請求項１記載の画像処理装置。

Images