JP2012248004A - 画像処理装置、画像認識装置及び方法 - Google Patents

Abstract

【課題】適用範囲が広く、ステレオ画像認識処理に必要なステレオキャリブレーションの自動化に有効な画像処理装置を提供する。
【解決手段】本実施形態によれば、画像処理装置は、画像取得部と、特徴量抽出部と、対応検出部と、算出部とを備えた構成である。画像取得部は、複数のカメラから共通撮影領域に対応する画像データを取得する。特徴量抽出部は、前記カメラ毎の画像データから前記共通撮影領域の特徴量情報として、前記共通撮影領域に存在する同一の実像に基づいた少なくとも２つの平面上パターンを算出する。対応検出部は、前記２つの平面上パターンにおいて前記カメラ毎の画像データ間の対応関係を検出する。算出部は、前記対応検出部により算出された対応関係情報に基づいて、前記カメラ毎の画像間の画像変換パラメータ情報を算出する。
【選択図】図１

Description

本発明の実施形態は、ステレオカメラのキャリブレーションを行なう画像処理装置に関する。

近年、２台以上のカメラを有するステレオカメラを使用し、各カメラから得られる画像（以下、カメラ画像と表記する場合がある）を用いたステレオ画像認識技術が開発されている。このステレオ画像認識技術は、例えば安全運転支援システム、車両検出センサ、同歩行者検出センサ、道路管理最適化システム、駅ホーム監視システム、人検出センサ、及び踏切監視システムなどのシステムに適用可能である。

ところで、ステレオカメラからの各カメラ画像に基づいて画像認識を行なう場合には、カメラ画像間のキャリブレーション（ステレオキャリブレーション）を行なう画像処理が必要である。具体的には、例えばカメラ画像間の対応直線の組を求めて、画像変換パラメータ情報（射影変換行列）を算出することによりステレオキャリブレーション（カメラ画像間の調整作業）の自動化を実現する画像処理装置が提案されている。

特許第３９７７７７６号公報

従来の画像処理装置により、ステレオキャリブレーションの自動化を実現することが可能である。しかしながら、例えば道路や列車軌道上を監視対象とし、ステレオ画像認識技術を適用する監視システムを実現する場合に、監視対象である各カメラの共通撮影領域から少なくとも４組以上の対応直線の組を求めることが困難である場合が多い。このため、従来のステレオキャリブレーション方式では適用範囲が狭く、結果としてステレオキャリブレーション（カメラ画像間の調整作業）の自動化を実現するには有効ではない。

そこで、適用範囲が広く、ステレオ画像認識処理に必要なステレオキャリブレーションの自動化に有効な画像処理装置を提供する。

本実施形態によれば、画像処理装置は、画像取得手段と、特徴量抽出手段と、対応検出手段と、算出手段とを備えた構成である。画像取得手段は、複数のカメラから共通撮影領域に対応する画像データを取得する。特徴量抽出手段は、前記カメラ毎の画像データから前記共通撮影領域の特徴量情報として、前記共通撮影領域に存在する同一の実像に基づいた少なくとも２つの平面上パターンを算出する。対応検出手段は、前記２つの平面上パターンにおいて前記カメラ毎の画像データ間の対応関係を検出する。算出手段は、前記対応検出手段により算出された対応関係情報に基づいて、前記カメラ毎の画像間の画像変換パラメータ情報を算出する。

第１の実施形態に関する画像処理装置の要部を説明するためのブロック図。 第１の実施形態に関するステレオ画像認識装置の要部を説明するためのブロック図。 第１の実施形態に関する画像取得部の動作を説明するための図。 第１の実施形態に関する特徴量抽出部の動作を説明するための図。 第２の実施形態に関する検出対象領域算出部の動作を説明するための図。 第１の実施形態に関する画像処理装置の動作を説明するためのフローチャート。 第２の実施形態に関する画像処理装置の要部を説明するためのブロック図。 第２の実施形態に関する検出対象領域算出部の動作を説明するための図。 第３の実施形態に関する画像処理装置の要部を説明するためのブロック図。

以下図面を参照して、実施形態を説明する。

［第１の実施形態］
図１は、本実施形態に関する画像処理装置１０の構成を説明するためのブロック図である。

図１に示すように、本実施形態の画像処理装置１０は、例えばステレオ画像認識を利用する道路監視システム１に適用されるもので、いわゆるステレオキャリブレーション処理を実行する構成要素を有する。即ち、画像処理装置１０は、画像取得部１１と、特徴量抽出部１２と、対応検出部１３と、画像変換行列算出部１４と、画像変換行列出力部１５とを有する。画像処理装置１０は、主としてコンピュータのハードウェアとソフトウェアから構成されている。

画像取得部１１は、ステレオカメラ２０から出力される画像（映像）を入力し、ディジタルの画像データに変換して内部メモリに記憶する。本実施形態では、ステレオカメラ２０は、電荷結合素子(CCD)を含む２台の左右のカメラ２０Ｌ，２０Ｒを有し、各カメラ２０Ｌ，２０Ｒから出力される左右の画像（カメラ画像と表記する場合がある）を同時に出力する。

ステレオカメラ２０は、図２に示すように、例えば道路監視システム１の監視領域２００を各カメラ２０Ｌ，２０Ｒが撮影できる位置に設置される。監視領域２００は、各カメラ２０Ｌ，２０Ｒの共通撮影領域であり、道路面３１上を走行する車両３０を検出する検出対象領域を含む。道路監視システム１は、カメラ２０Ｌ，２０Ｒから出力されて、例えば無線通信方式の通信装置２１により伝送される各カメラ画像を入力する。なお、ステレオカメラ２０は、３台以上のカメラを有する構成でもよい。

特徴量抽出部１２は、画像取得部１１で取得して記憶したディジタルの画像データから各カメラ画像（左右の画像）の特徴量を抽出する。対応検出部１３は、特徴量抽出部１２で求められた各カメラ画像の特徴量を比較し、各カメラ画像間での対応関係を求める。

画像変換行列算出部１４は、対応検出部１３で検出された対応関係（後述する４組の対応点）から、カメラ画像間の画像変換パラメータである射影変換行列Ｈを算出する。画像変換行列出力部１５は、画像変換行列算出部１４で算出された射影変換行列Ｈを、ステレオキャリブレーション結果として出力する。

（ステレオキャリブレーション処理）
以下、図３、図４及び図６のフローチャートを参照して、本実施形態の画像処理装置１０のステレオキャリブレーション処理を説明する。

まず、画像取得部１１は、ステレオカメラ２０から出力される画像（映像）を入力し、ディジタルの画像データを取得する（ステップＳ１）。ここで、図２に示すように、ステレオカメラ２０は、道路の平面上（３次元空間での道路面３１）を撮影し、各カメラ２０Ｌ，２０Ｒから左右のカメラ画像を同時に出力する。即ち、図２に示すように、各カメラ２０Ｌ，２０Ｒは、車両３０のような高さのある物体が存在しない道路面３１上の共通撮影領域２００を撮影する。この共通撮影領域２００は、道路監視システム１からは道路監視領域に相当する。

図３（Ａ）は、カメラ２０Ｌからの左のカメラ画像を示す。図３（Ｂ）は、カメラ２０Ｒからの右のカメラ画像を示す。本実施形態では、左のカメラ画像を基準画像とし、右のカメラ画像を当該基準画像に対応する画像として取り扱う。各カメラ画像には、道路面３１上にペイントされた道路標識である白線または黄色線の直線領域３００，３０１が含まれている。

特徴量抽出部１２は、画像取得部１１で取得した各カメラ画像（左右の画像）の特徴量を抽出する（ステップＳ２，Ｓ３）。具体的には、特徴量抽出部１２は特徴量として、各カメラ画像から輝度勾配が大きい画素が直線状に連なっているものを直線領域として検出する。

ここで、輝度勾配とは、画素近傍での輝度変化の度合いを示すものであり、図２に示す監視領域２００の場合に、道路面３１上の白線の境界に相当する画像中の境界で大きな値を示すエッジ画像である。特徴量抽出部１２は、例えばSobelオペレータのようなフィルタを画像に重畳する方法によりエッジ画像を求める（ステップＳ２）。

以下、具体的にエッジ画像を求める方法を説明する。

画像中の位置（ｘ，ｙ）での輝度をＩ（ｘ，ｙ）とし、フィルタの各要素Fx(i,j)、Fy(i,j)が所定値に設定されて、このフィルタを画像に重畳して得られる値をGx、Gyとすると、下記の関係式（１）が得られる。

関係式（１）は、各位置(x,y)の近傍での水平方向および垂直方向の輝度変化の度合いを示すので、輝度勾配強度G(x,y)は、下記の数式（２）により算出できる。

よって、輝度勾配強度が予め設定された閾値より大きい画素のみを抽出するフィルタ処理により、エッジ画素を求めることができる。図４（Ａ），（Ｂ）は、カメラ２０Ｌ，２０Ｒが図２に示すように設置される場合に、各カメラ画像から得られるエッジ画像４００，４０１の一例を示す。なお、他に輝度勾配を求めるフィルタとしては、Laplacian、Robinson、Canny等のような様々なものがあり、いずれも適用可能である。

次に、特徴量抽出部１２は、エッジ画像（エッジ画素）を求めた後に、例えばハフ変換方法を用いてエッジ画素を通る直線（直線領域）を検出する（ステップＳ３）。具体的には、エッジ画素の位置（ｘ，ｙ）を、下記関係式（３）を用いて、(ρ,θ)空間の三角関数曲線に変換する。

特徴量抽出部１２は、複数のエッジ画素から生じる複数曲線の交点が直線に対応することから、直線を「ａｘ＋ｂｙ＋ｃ=０」の式で表現した場合に、前記関係式（３）と交点の座標値(ρ,θ)とを使用して直線のパラメータ（ａ，ｂ，ｃ）を算出する。

なお、例えばハフ変換方法以外に直線（直線領域）を検出する方法として、RANSAC(RANdom SAmple Consensus)のようなロバスト推定方法も適用可能である。この方法は、ランダムに選択された複数のエッジ画素を初期値として、最小２乗法等によりエッジ画素群に直線当てはめ処理を実行する。この場合、直線からの外れ値(距離)が大きい画素を取り除く処理と、外れ値が小さいエッジ画素を新たに含めて再度同様の方法で直線当てはめ処理を実行する。最大の外れ値が許容範囲に収まるまで、以上の直線当てはめ処理を繰り返すことにより、直線上に並ぶエッジ画素を通る直線（直線領域）を検出できる。

以上のようにして、図４（Ａ），（Ｂ）に示すように、エッジ画素群４００，４０１が不連続である場合や、くの字状に曲って連続する場合でも正しく直線（直線領域）を求めることができる。特徴量抽出部１２は、直線検出処理を各カメラ画像に対して実行し、カメラ画像毎に２つ以上の直線（直線領域）を求める。

なお、本実施形態では、各カメラ画像が平行等位化された画像である場合を想定している。平行等位化された画像とは、各カメラ２０Ｌ，２０Ｒの光軸が平行で、レンズ歪みがないように調整された画像である。

次に、対応検出部１３は、特徴量抽出部１２で求められた各カメラ画像の特徴量（直線領域）を比較し、各カメラ画像間での対応関係を求める対応検出処理を実行する（ステップＳ４）。ここで、対応関係とは、各カメラ２０Ｌ，２０Ｒの共通撮影領域に存在する同一の実像に基づいて、各カメラ画像に含まれる直線（直線領域）の組を意味する。具体的には、直線であるエピポーラ線上に位置する対応点の組（少なくとも４組）を意味する。

前述したように本実施形態では、各カメラ画像が平行等位化された画像である場合を想定している。平行等位化された画像の場合は、エピポーラ拘束条件により、基準画像（左のカメラ画像）上の任意の点は、一方の画像（右のカメラ画像）上の同じｙ座標上に位置する特性がある。このため、対応検出部１３は、１次元探索方法により対応点の探索処理を実行する。以下、対応検出部１３による対応関係の検出方法を説明する。

具体的には、対応検出部１３は、例えば注目画素近傍の画像特徴を用いた領域マッチングによる方法を適用して、各カメラ画像間での対応関係を検出する。画像特徴とは、検出した直線近傍領域と他の領域とを区別することができる画像から抽出できる輝度、色、動き等の物理量を意味する。

領域マッチング方法とは、比較元の画像領域と比較先の画像領域との一致度（Ｅ_Ｒ）を算出する方法である。例えばＳＡＤ(Sum of Absolute Difference)方法を適用する算出方法を説明する。

ここで、比較する２つの画像領域が同形としてＲで表し、画像領域（Ｒ）中の位置を（ｘ，ｙ）とし場合に、下記関係式（４）から一致度（Ｅ_Ｒ）を算出できる。

前記関係式（４）から、一致度（Ｅ_Ｒ）の値が小さいほど、２つの画像領域は一致している度合いが高いことを意味する。また、エッジが類似している複数の直線がある場合には、平行等位化されている画像においては、同一ｙ座標上では、直線間の距離はいずれの画像においても等しくなる。このため、画像領域（Ｒ）の一致度を示す情報を用いることで、対応関係の信頼度を向上させることが可能である。

次に、画像変換行列算出部１４は、対応検出部１３で検出された対応関係から、カメラ画像間の画像変換パラメータである射影変換行列Ｈを算出する（ステップＳ５）。具体的には、画像変換行列算出部１４は、平行等位化されている画像において、対応検出部１３で算出した対応関係として少なくとも４組の対応点から、カメラ画像間の画像変換パラメータである射影変換行列Ｈを算出する。この射影変換行列Ｈと画像座標系上の対応点とは、下記の関係式（５）に示すような関係がある。

なお、ｍ^Ｔは転置行列を意味し、ｍ^−１は逆行列を意味する。

この場合、射影変換行列Ｈは、下記の関係式（６）に示すように３×３の行列として記述できる。

ここで、射影変換行列Ｈは未知パラメータｈ０〜ｈ７の８個であり、一組の対応点は２個の式を与える。したがって、４組以上の対応点があれば、最小２乗法によりこの射影変換行列Ｈを求めることができる。画像変換行列出力部１５は、画像変換行列算出部１４で算出された射影変換行列Ｈを、ステレオキャリブレーション結果として出力する。

以上のように本実施形態によれば、ステレオカメラの左右カメラから取得される各カメラ画像から特徴量（直線領域）を検出し、これらの特徴量から比較対象の画像領域（Ｒ）の一致度（位置）に基づいて例えば４つの対応点（対応関係）を検出する。この４つの対応点から、カメラ画像間の画像変換パラメータ情報（射影変換行列Ｈ）を算出する。この画像変換パラメータ情報（射影変換行列Ｈ）は、ステレオカメラの各カメラ画像間のキャリブレーションを実行するための情報として使用できる。

本実施形態では、各カメラ画像から少なくとも２つの直線領域から例えば４つの対応点を検出することで、カメラ画像間の画像変換パラメータ情報（行列Ｈ）を算出することができる。従って、各カメラの共通撮影領域として、例えば一車線の道路面上から白線などの道路標示パターンを各カメラ画像として取得し、少なくとも２本の直線領域を検出すれば、画像変換パラメータ情報（射影変換行列Ｈ）を算出することができる。

ここで、従来のように例えば道路上にマークなどを予め設けて、少なくとも４組以上の対応直線組を検出するステレオキャリブレーション方法では、一車線の道路面を監視領域（各カメラの共通撮影領域）とする場合には、必要となる直線数が不足する場合が多いため、適用範囲が狭い。これに対して、本実施形態の方法であれば、例えば一車線の道路面上から白線などの道路標示パターンのカメラ画像を取得できれば、各カメラ画像間のキャリブレーションを実行できるため、適用範囲が広いステレオキャリブレーションの自動化を実現することができる。

なお、本実施形態において、特徴量抽出部１２で特徴量として直線（直線領域）を抽出する方法を適用する場合について述べたが、これに限ることなく以下のような特徴量から対応関係を検出する方法でもよい。例えば、道路面上の平面上パターンとして道路面にペイントされた数字・文字等の道路標示パターンでもよい。また、道路の繋ぎ目やマンホール等の道路付帯設備に対応する平面上パターンでもよい。さらに、道路面上の平面上パターン以外に、列車軌道線に対応する平面上パターンでもよい。また、平面上パターンとして、路面上に投影された太陽光、照明光と影部の境界、もしくは夜間に投影されるスポット光の境界部でもよい。

［第２の実施形態］
図５、図７、図８は、第２の実施形態に関する画像処理装置を説明するための図である。

図７に示すように、本実施形態の画像処理装置１０は、第１の実施形態と同様に、例えばステレオ画像認識を利用する道路監視システム１に適用されるもので、画像取得部１１と、特徴量抽出部１２と、対応検出部１３と、画像変換行列算出部１４と、画像変換行列出力部１５とを有する。さらに、本実施形態の画像処理装置１０は、検出対象領域算出部１６と、検出対象領域出力部１７を有する。

以下、本実施形態の画像処理装置１０の動作を説明する。なお、画像取得部１１、特徴量抽出部１２、対応検出部１３、画像変換行列算出部１４、及び画像変換行列出力部１５のそれぞれの動作は、第１の実施形態と同様であるため、説明を省略する。

検出対象領域算出部１６は、対応検出部１３で対応付けられた特徴量（例えば直線領域）に関して、特に道路面上の車線や列車軌道上のレールを検出対象領域を算出する。具体的には、検出対象領域算出部１６は、図５（Ａ），（Ｂ）に示すように、道路面上の車線５００，５０１を表す特徴量について、車線内に含まれる領域を検出対象領域として算出する。検出対象領域は、図８に示すように、斜線で示した領域８００である。ここで、図８は、図５（Ａ），（Ｂ）に示す車線５００，５０１内に含まれる領域の一部を拡大した図である。検出対象領域出力部１７は、検出対象領域算出部１６で算出した領域情報（８００）を算出結果として出力する。

本実施形態によれば、検出対象領域算出部１６により、例えば道路が２車線の場合に、最も外側の２本の線で囲まれた領域を、ステレオ画像認識対象の検出領域（図２に示す２００）として決定することができる。

［第３の実施形態］
図９は、第３の実施形態に関する画像処理装置を説明するための図である。

図９に示すように、本実施形態の画像処理装置１０は、第１の実施形態と同様に、例えばステレオ画像認識を利用する道路監視システム１に適用されるもので、画像取得部１１と、特徴量抽出部１２と、対応検出部１３と、画像変換行列算出部１４と、画像変換行列出力部１５とを有する。さらに、本実施形態の画像処理装置１０は、検出対象領域算出部１８と、検出対象領域出力部１９を有する。

以下、本実施形態の画像処理装置１０の動作を説明する。なお、画像取得部１１、特徴量抽出部１２、対応検出部１３、画像変換行列算出部１４、及び画像変換行列出力部１５のそれぞれの動作は、第１の実施形態と同様であるため、説明を省略する。

検出対象領域算出部１８は、画像変換行列算出部１４で算出された射影変換行列（カメラ画像間の画像変換パラメータ情報）を利用して、基準カメラ画像から一方のカメラ画像を変換し、２つのカメラ画像間で比較する。検出対象領域算出部１８は、カメラ画像間の差異に基づいて同一平面上に存在する領域を検出対象領域として算出する。即ち、平面上に存在する領域についてはカメラ画像間で差異がない場合には、同一平面と推定できることから、同一平面上に存在する領域を検出対象領域として算出することができる。検出対象領域出力部１９は、検出対象領域算出部１６で算出した領域情報を算出結果として出力する。

本実施形態によれば、検出対象領域算出部１８により、カメラ画像間の画像変換パラメータ情報）を利用して、２つのカメラ画像間での比較結果（差異）により監視対象の検出対象領域を算出できる。従って、監視対象の検出領域を推定する場合の信頼性を向上させることが可能となる。

さらに、算出した検出対象領域に基づいて、ステレオ監視画像処理を実行することにより、検出対象物の位置を求めることができる。この算出された位置情報に基づいて、検出対象領域を補正することも可能である。換言すれば、本実施形態によれば、各カメラ画像の中で、カメラ画像間で差異がない一致する領域を検出対象領域として決定し、逆に差異がある不一致の領域を検出対象領域から除く処理が可能となる。

［応用例］
以上のような第１から第３の実施形態で説明した画像処理装置１０を適用することにより、ステレオ画像認識におけるステレオキャリブレーションを実現することができる。従って、ステレオ画像認識を利用して、道路面上を走行する車両を監視する道路監視システム１を構築することができる。

さらに、第１から第３の実施形態で説明した画像処理装置１０を適用することにより、ステレオ画像認識を利用した監視システムとして、例えば駅の線路とホームを含む共通領域を監視領域とする監視システムを構築することが可能である。このような監視システムでは、線路とホームには段差があるため、画像処理装置１０を適用したステレオ画像認識装置により、ホームのエッジで線路とホームの各領域を区別することができる。このようなステレオ画像認識を利用して、監視システムは、各カメラ画像から、例えば線路に落ちた人物を認識し、また、ホームの端にいる人物を認識することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…道路監視システム、１０…画像処理装置、１１…画像取得部、
１２…特徴量抽出部、１３…対応検出部、１４…画像変換行列算出部、
１５…画像変換行列出力部、１６，１８…検出対象領域算出部、
１７，１９…検出対象領域出力部、２０…ステレオカメラ、
２０Ｌ…左のカメラ、２０Ｒ…右のカメラ。

Claims (9)

1. 複数のカメラから共通撮影領域に対応する画像データを取得する画像取得手段と、
   前記カメラ毎の画像データから前記共通撮影領域の特徴量情報として、前記共通撮影領域に存在する同一の実像に基づいた少なくとも２つの平面上パターンを算出する特徴量抽出手段と、
   前記２つの平面上パターンにおいて前記カメラ毎の画像データ間の対応関係を検出する対応検出手段と、
   前記対応検出手段により算出された対応関係情報に基づいて、前記カメラ毎の画像間の画像変換パラメータ情報を算出する算出手段と
   を具備したことを特徴とする画像処理装置。
2. 前記特徴量抽出手段は、
   前記平面上パターンとして前記同一の実像に基づいた少なくとも２つの直線領域を検出するように構成されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記対応検出手段は、
   前記対応関係として前記少なくとも２つの直線領域の複数の対応点の組を検出するように構成されていることを特徴とする請求項２に記載の画像処理装置。
4. 前記特徴量抽出手段は、
   前記特徴量情報として、前記共通撮影領域に含まれる道路標識用パターン、道路に付帯する平面状の構造物、列車路線軌道、あるいは平面上に投影された影または光のいずれかに対応する少なくとも２つの平面上パターンを算出するように構成されていることを特徴とする請求項１に記載の画像処理装置。
5. 前記対応検出手段により対応付けられた前記特徴量情報に基づいて、ステレオ画像認識対象の検出対象領域を算出する検出対象領域算出手段を有することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
6. 前記算出手段により算出された画像変換パラメータ情報を利用して、同一平面上に存在する共通撮影領域を検出対象領域として算出する検出対象領域算出手段を有することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
7. 前記検出対象領域算出手段は、前記カメラ毎の画像データ間を比較し、当該比較結果で差異がない一致する領域を検出対象領域として決定し、逆に差異がある不一致の領域を検出対象領域から除くように構成されていることを特徴とする請求項６に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置から出力される画像変換パラメータ情報を利用して、ステレオカメラを使用するステレオ画像認識処理を実行するステレオ画像認識手段を有することを特徴とする画像認識装置。
9. ステレオカメラを使用するステレオ画像認識に適用するステレオキャリブレーションを実行する方法であって、
   前記ステレオカメラに含まれる複数のカメラから共通撮影領域に対応する画像データを取得する処理と、
   前記カメラ毎の画像データから前記共通撮影領域の特徴量情報として、前記共通撮影領域に存在する同一の実像に基づいた少なくとも２つの平面上パターンを算出する処理と、
   前記２つの平面上パターンにおいて前記カメラ毎の画像データ間の対応関係を検出する処理と、
   前記対応検出手段により算出された対応関係情報に基づいて、前記カメラ毎の画像間の画像変換パラメータ情報を算出する処理と
   を有することを特徴とする方法。

Images