JP2009015655A

JP2009015655A - 画像処理装置

Info

Publication number: JP2009015655A
Application number: JP2007177605A
Authority: JP
Inventors: Masamichi Osugi; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-07-05
Filing date: 2007-07-05
Publication date: 2009-01-22
Anticipated expiration: 2027-07-05
Also published as: JP4941135B2

Abstract

【課題】一つの場所に固定したカメラを用いずとも撮影画像から障害物を検出可能な画像処理装置を提供する。
【解決手段】自動車に設置された画像入力部２は自動車外部の撮影画像を取得し、道路領域対応付け部４は背景画像セット保持部３に記憶された複数の背景画像から撮影画像に対応する画像である対応画像を抽出し、撮影画像及び対応画像の各々において自動車外部における絶対位置が同一座標となる点からなる対応領域を推定し、変換部５は撮影画像及び対応画像の各々における対応領域同士が画像上において同一座標を占めるように撮影画像及び対応画像の少なくとも一方を変換して、誤差領域抽出部６は撮影画像及び対応画像を比較し、撮影画像における対応画像との差異が閾値より大きい領域である誤差領域を抽出する。そのため、一つの場所に固定したカメラを用いずとも撮影画像から障害物を検出することができる。
【選択図】図１

Description

本発明は画像処理装置に関し、特に、撮影された画像から障害物を検出するための画像処理装置に関するものである。

従来、撮影された画像から車両等の障害物を検出する技術が提案されている。例えば、特許文献１では、道路に固定したカメラを利用して各時刻に道路画像を俯瞰画像として撮影し、各時刻の画像と背景画像との差分を計算することで、道路上の車両を検出し、道路の混雑状況を把握する技術が提案されている。
特開２００４−１０２５４５号公報

しかしながら、上記の技術のように道路に固定したカメラを利用して道路上の車両を検出したのでは、カメラの設置してある場所でしか車両を検出することができない。よって、上記の技術では、各人が使用する道路上の車両を検出するためには、各人が使用する全ての道路に一定の基準を満たす間隔でカメラを設置する必要があるが、このような手法はカメラの設置及び管理に要するコストを考慮すると現実的ではない。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、一つの場所に固定したカメラを用いずとも撮影画像から障害物を検出可能な画像処理装置を提供することにある。

本発明は、移動体に設置され移動体外部の撮影画像を取得する撮影画像取得手段と、移動体外部の複数の背景画像を記憶する背景画像記憶手段と、背景画像記憶手段に記憶された複数の背景画像の中から撮影画像取得手段が取得した撮影画像に対応する画像である対応画像を抽出する対応画像抽出手段と、撮影画像取得手段が取得した撮影画像及び対応画像抽出手段が抽出した対応画像のそれぞれにおいて、移動体外部における絶対位置が同一座標となる点からなる対応領域を推定する対応領域推定手段と、対応領域推定手段により推定された撮影画像及び対応画像のそれぞれにおける対応領域同士が画像上において同一座標を占めるように、撮影画像及び対応画像の少なくとも一方を変換する画像変換手段と、画像変換手段が少なくとも一方を変換した撮影画像及び対応画像を比較し、撮影画像における対応画像との差異が閾値より大きい領域である誤差領域を抽出する誤差領域抽出手段と、を備えた画像処理装置である。

この構成によれば、移動体に設置された撮影画像取得手段は移動体外部の撮影画像を取得するため、一つの場所に固定したカメラを多数設置しなくとも移動体が移動した様々な場所の撮影画像を取得することができる。また、この構成によれば、対応画像抽出手段は背景画像記憶手段に記憶された複数の背景画像の中から撮影画像に対応する画像である対応画像を抽出し、対応領域推定手段は撮影画像及び対応画像のそれぞれにおいて移動体外部における絶対位置が同一座標となる点からなる対応領域を推定し、画像変換手段は撮影画像及び対応画像のそれぞれにおける対応領域同士が画像上において同一座標を占めるように、撮影画像及び対応画像の少なくとも一方を変換して、誤差領域抽出手段は撮影画像及び対応画像を比較し、撮影画像における対応画像との差異が閾値より大きい領域である誤差領域を抽出する。そのため、一つの場所に固定したカメラを用いずとも撮影画像から障害物を検出することができる。また、絶対位置が同一座標の点が撮影画像及び対応画像上でも同一座標となるように画像の変換を行うため、一点ではなく移動体が移動中の任意の位置の障害物を検出することが可能となる。

この場合、画像変換手段は、対応領域推定手段により推定された撮影画像及び対応画像のそれぞれにおける対応領域同士が対応画像上において同一座標を占めるように撮影画像を変換することが好適である。

この構成によれば、画像変換手段は、対応領域推定手段により推定された撮影画像及び対応画像のそれぞれにおける対応領域同士が対応画像上において同一座標を占めるように撮影画像を変換するため、取得された撮影画像を対応画像上に変換して障害物を検出することが可能となる。

一方、撮影画像取得手段が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、移動体外部における絶対位置が同一座標となる点同士を対応付ける画像対応付手段と、画像対応付け手段が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値から、移動体外部の背景画像における点に対応する座標での画素値を推定する画素値推定手段と、画素値推定手段が推定した画素値により移動体外部の背景画像を生成する背景画像生成手段と、を備えることが好適である。

この構成によれば、画像対応付手段は撮影画像取得手段が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、移動体外部における絶対位置が同一座標となる点同士を対応付け、画素値推定手段は画像対応付け手段が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値から、移動体外部の背景画像における点に対応する座標での画素値を推定し、背景画像生成手段は画素値推定手段が推定した画素値により移動体外部の背景画像を生成する。そのため、一つの場所に固定したカメラを用いずとも移動体が移動中に取得した撮影画像から様々な場所の背景画像を取得することができる。また、時系列を異にする複数画像の画素値に基づいて背景画像を生成しているため、障害物を取り除いた背景画像を生成することが可能となる。

この場合、撮影画像取得手段が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、画像上の一部を占める領域を設定する領域設定手段をさらに備え、画像対応付手段は、領域設定手段が設定した領域内において、移動体外部における絶対位置が同一座標となる点同士を対応付けることが好適である。

この構成によれば、領域設定手段は撮影画像のそれぞれにおいて画像上の一部を占める領域を設定し、画像対応付手段は領域設定手段が設定した領域内において移動体外部における絶対位置が同一座標となる点同士を対応付けるため、例えば、撮影画像上において処理が行い易い領域のみを処理することが可能となり、処理負荷を減少させることができる。

また、移動体が移動中であるか否かを判定する運動判定手段をさらに備え、画像対応付手段は、運動判定手段が移動体を移動中であると判定した場合に、撮影画像取得手段が取得した複数の撮影画像のそれぞれにおいて、移動体外部における絶対位置が同一座標となる点同士を対応付けることが好適である。

この構成によれば、画像対応付手段は、運動判定手段が移動体を移動中であると判定した場合に、撮影画像取得手段が取得した複数の撮影画像のそれぞれにおいて、移動体外部における絶対位置が同一座標となる点同士を対応付け、撮影画像取得手段が静止しているときに取得した撮影画像は背景画像を生成するために用いない。そのため、例えば、道路上の点を背景画像に投影したときの画素値を推定する際の精度を劣化させる原因の一つである障害物が画像上の同じ位置にとどまりつづける状況の画像を排除することができる。

また、撮影画像取得手段が連続する時刻に取得した２つの撮影画像のそれぞれにおいて、画像対応付け手段が対応付けた点の画素値の差が閾値以上である一対の画素値を抽出する変動大画素値対抽出手段をさらに備え、画素値推定手段は、変動大画素値対抽出手段が抽出した一対の画素値以外の画素値から、移動体外部の背景画像における当該座標の画素値を推定することが好適である。

この構成によれば、変動大画素値対抽出手段は連続する時刻に取得した２つの撮影画像のそれぞれにおいて画像対応付け手段が対応付けた点の画素値の差が閾値以上である一対の画素値を抽出し、画素値推定手段は変動大画素値対抽出手段が抽出した一対の画素値以外の画素値から移動体外部の背景画像における当該座標の画素値を推定するため、連続する時刻に大きな変動があり、誤差や障害物等を含んでいる可能性が高い画素値を無効なものとして背景画像の画素値の推定から除くことができる。

また、撮影画像取得手段が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、画像対応付け手段が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以上である画素値を抽出する変動大画素値抽出手段をさらに備え、画素値推定手段は、変動大画素抽出手段が抽出した点の画素値以外の画素値から、移動体外部の背景画像における当該座標の画素値を推定することが好適である。

この構成によれば、変動大画素値抽出手段は画像対応付け手段が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以上である画素値を抽出し、画素値推定手段は変動大画素抽出手段が抽出した点の画素値以外の画素値から移動体外部の背景画像における当該座標の画素値を推定するため、時系列の画素値において大きな変動があり、誤差や障害物等を含んでいる可能性が高い画素値を無効なものとして背景画像の画素値の推定から除くことができる。

また、撮影画像取得手段が異なる時刻に取得した複数の撮影画像において、画像対応付け手段が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以下である画素値を抽出する変動小画素値抽出手段と、撮影画像のそれぞれの画像上における変動小画素値抽出手段が抽出した画素値に係る点であって点同士の画像上における距離が閾値以下であり且つ点同士の画素値の差が閾値以下である点同士を連結している点として判定する連結判定手段と、連結判定手段が連結している点として判定した点からなる領域の大きさが閾値以上であるか否かを判定する連結領域判定手段と、をさらに備え、画素値推定手段は、連結領域判定手段が閾値以上の大きさの領域であると判定した領域の点の画素値から、移動体外部の背景画像における当該座標の画素値を推定することが好適である。

この構成によれば、変動小画素値抽出手段は異なる時刻に取得した複数の撮影画像において画像対応付け手段が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以下である画素値を抽出するため、時間による画素値の変動が少ない画素値を抽出することができる。また、連結判定手段が撮影画像のそれぞれの画像上における変動小画素値抽出手段が抽出した画素値に係る点であって点同士の画像上における距離が閾値以下であり且つ点同士の画素値の差が閾値以下である点同士を連結している点として判定するため、撮影画像において時間による変動が少なく、且つ画像上の座標が近く画素値同士の変動が少ない画素値を抽出することができる。さらに、連結領域判定手段は連結判定手段が連結している点として判定した点からなる領域の大きさが閾値以上であるか否かを判定するため、画像上のノイズを除くことができる。したがって、一時的に撮影画像上に障害物が写り込み、画像上の一部で突出して異なる画素値となっているものを無効なものとして背景画像の画素値の推定から除くことができる。

また、画像対応付け手段が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値と、予め設定した移動体外部の背景画像のモデルにおける点に対応する座標での画素値とを比較するモデル当てはめ手段をさらに備え、画素値推定手段は、モデル当てはめ手段がモデルに当てはまると判定した画素値から、移動体外部の背景画像における当該座標の画素値を推定することが好適である。

この構成によれば、モデル当てはめ手段は撮影画像の点の画素値と予め設定した移動体外部の背景画像のモデルにおける当該点に対応する座標での画素値とを比較し、画素値推定手段は、モデル当てはめ手段がモデルに当てはまると判定した画素値から、移動体外部の背景画像における当該座標の画素値を推定するため、モデルに適合しない誤差や障害物を含む撮影画像の画素値を無効なものとして背景画像の画素値の推定から除くことができる。

この場合、画像対応付け手段が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値に基づいて、撮影画像が取得された時刻以外の時刻における点の画素値を推定する画素値分布推定手段をさらに備え、モデル当てはめ手段は、画像対応付け手段が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値と、画素値分布推定手段が推定した画素値と、予め設定した移動体外部の背景画像のモデルにおける点に対応する座標での画素値とを比較することが好適である。

この構成によれば、画素値分布推定手段は複数の撮影画像のそれぞれにおける点同士の画素値に基づいて撮影画像が取得された時刻以外の時刻における点の画素値を推定し、モデル当てはめ手段は、複数の撮影画像のそれぞれにおける当該点同士の画素値と、画素値分布推定手段が推定した画素値と、予め設定した移動体外部の背景画像のモデルにおける当該点に対応する座標での画素値とを比較する。そのため、モデル当てはめ手段は、推定した撮影画像が取得された時刻以外の時刻における点の画素値もモデルとの当てはめに比較することになり、誤差や障害物による障害に強い処理を行うことができる。

また、画像対応付け手段が対応付けた複数の撮影画像のそれぞれにおける点の画素値において同じ値の画素値の出現頻度を判定する画素値出現頻度判定手段をさらに備え、画素値推定手段は、画素値出現頻度判定手段が判定した画素値の出現頻度が閾値以上の画素値から、移動体外部の背景画像における当該座標の画素値を推定することが好適である。

この構成によれば、画素値出現頻度判定手段は複数の撮影画像のそれぞれにおける点の画素値において同じ値の画素値の出現頻度を判定し、画素値推定手段は画素値出現頻度判定が判定した画素値の出現頻度が閾値以上の画素値から移動体外部の背景画像における当該座標の画素値を推定するため、誤差や障害物等により出現頻度が少ない画素値を無効なものとして背景画像の画素値の推定から除くことができる。

一方、背景画像記憶手段に予め記憶された移動体外部の複数の背景画像同士の中から、背景画像同士で重複した領域が最小限となる複数の背景画像からなる基底背景画像セットを作成する基底背景画像セット作成手段をさらに備え、背景画像記憶手段は、基底背景画像セット作成手段が作成した基底背景画像セットに含まれる背景画像を記憶することが好適である。

この構成によれば、基底背景画像セット作成手段は背景画像記憶手段に予め記憶された移動体外部の複数の背景画像同士の中から、背景画像同士で重複した領域が最小限となる複数の背景画像からなる基底背景画像セットを作成し、背景画像記憶手段は、基底背景画像セット作成手段が作成した基底背景画像セットに含まれる背景画像を記憶する。そのため、背景画像記憶手段は、重複した領域が最小限となる背景画像のみを記憶すればよく、記憶する必要がある背景画像数を最小とすることができる。

この場合、基底背景画像セット作成手段が作成した基底背景画像セットに含まれる背景画像を、撮影画像に対応するように近似変換処理をして対応画像を作成する近似手段をさらに備え、誤差領域抽出手段は、撮影画像と近似手段により近似変換処理をして作成された対応画像とを比較し、撮影画像における対応画像との差異が閾値より大きい領域である誤差領域を抽出することが好適である。

この構成によれば、近似手段は基底背景画像セット作成手段が作成した基底背景画像セットに含まれる背景画像を撮影画像に対応するように近似変換処理をして対応画像を作成し、誤差領域抽出手段は、撮影画像と近似手段により近似変換処理をして作成された対応画像とを比較して誤差領域を抽出する。そのため、基底背景画像セットに含まれる背景画像に撮影画像と対応する画像が無い場合でも、基底背景画像セットに含まれる背景画像を撮影画像に対応するように近似変換処理をして対応画像を作成することができ、撮影画像と背景画像との比較により障害物を検出することができる。

本発明の画像処理装置によれば、一つの場所に固定したカメラを用いずとも撮影画像から障害物を検出可能となる。

以下、本発明の実施の形態に係る画像処理装置について添付図面を参照して説明する。

（第１実施形態）
図１は、第１実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１は自動車に搭載され、撮影画像から自動車の外部の障害物を検出するように構成されている。図１に示すように、本実施形態の画像処理装置１ａは、画像入力部２、背景画像セット保持部３、道路領域対応付け部４、変換部５及び誤差領域抽出部６を備えている。

画像入力部２は、自動車に設置され自動車外部のカメラによる撮影画像を取得するためのものである。画像入力部２は、特許請求の範囲に記載の撮影画像取得手段として機能する。

背景画像セット保持部３は、自動車外部の複数の背景画像を含む背景画像セットを記憶するためのものである。背景画像セット保持部３は、特許請求の範囲に記載の背景画像記憶手段として機能する。

道路領域対応付け部４は、背景画像セット保持部３に記憶された複数の背景画像である背景画像セットの中から画像入力部２が取得した撮影画像に対応する画像である対応画像を抽出するためのものである。また、道路領域対応付け部４は、画像入力部２が取得した撮影画像及び抽出した対応画像のそれぞれにおいて、自動車外部における絶対位置が同一座標となる点からなる対応領域を推定するためのものである。道路領域対応付け部４は、特許請求の範囲に記載の対応画像抽出手段として機能する。また、道路領域対応付け部４は、特許請求の範囲に記載の対応領域推定手段として機能する。

変換部５は、道路領域対応付け部４により推定された撮影画像及び対応画像のそれぞれにおける対応領域同士が画像上において同一座標を占めるように、撮影画像及び対応画像の少なくとも一方を変換するためのものである。変換部５は、特許請求の範囲に記載の画像変換手段として機能する。

誤差領域抽出部６は、変換部５が少なくとも一方を変換した撮影画像及び対応画像を比較し、撮影画像における対応画像との差異が閾値より大きい領域である誤差領域を抽出するためのものである。誤差領域抽出部６は、特許請求の範囲に記載の誤差領域抽出手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図２は第１実施形態に係る画像処理装置の動作を示すフロー図であり、図３は道路と道路を俯瞰する背景画像とを示す図である。以下の動作の説明においては、図３に示すように、地点Ｐ_Ａから地点Ｐ_Ｂをつなぐ道路Ｒを自動車で走行する際に、自動車に取り付けたカメラで自動車外部を撮影し、撮影画像中の道路領域内にいる障害物（他車両、人、自転車等）を検出する場合を想定する。

前提条件として、以下を満たす背景画像からなる背景画像セットを利用することができるものとする。すなわち、図３に示す地点Ｐ_Ａから地点Ｐ_Ｂをつなぐ道路Ｒの道路領域の全てがいずれかの背景画像Ｂ１〜Ｂｎに含まれている。道路Ｒの領域の地点Ｐ_Ａ側及び地点Ｐ_Ｂ側の端領域が、背景画像Ｂ１及びＢｎ以外の他の１枚以上の背景画像にも含まれている。背景画像Ｂ１〜Ｂｎに含まれる同一の道路領域内におけるＰ_１、Ｐ_２等の各点の絶対位置の座標と、背景画像Ｂ１〜Ｂｎにおける各画像上での座標との対応関係は既知であるものとする。背景画像Ｂ１〜Ｂｎにおける道路Ｒの領域は障害物が無い状態の見え方になっている状態で予め自動車に取り付けたカメラで撮影されたものとする。背景画像Ｂ１〜Ｂｎは、地点Ｐ_Ａから地点Ｐ_Ｂに向かう方向の順番にＢ１〜Ｂｎと番号が付されて背景画像セット保持部３内で管理されている。

以下、図２のフロー図を参照して、画像処理装置１ａの動作について説明する。画像入力部２は、自動車が地点Ｐ_Ａから地点Ｐ_Ｂに向かう際に、自車両に設置されたカメラで撮影された撮影画像を取得した順番に道路領域対応付け部４に入力する（Ｓ１１）。この場合、例えば、図４に示すような、他車両Ｖ１を含む撮影画像Ｉ１が入力される

道路領域対応付け部４は、画像入力部２から入力された各々の撮影画像に含まれる道路領域と同じ道路領域を含む背景画像を対応画像として背景画像セット保持部３に記憶された背景画像セットの中から抽出する（Ｓ１２）。背景画像セット保持部３は、背景画像Ｂ１〜Ｂｎを地点Ｐ_Ａから地点Ｐ_Ｂに向かう順番にＢ１〜Ｂｎと番号を付して管理している。一方、画像入力部２から入力された各々の撮影画像の入力される順番も同じ順番である。そこで、道路領域対応付け部４は、図５に示すように、地点Ｐ_Ａを出発する段階の撮影画像から当該撮影画像と、背景画像セット内の背景画像Ｂ１〜Ｂｎとを順に照合し、同じ道路領域を含む対応画像を探索する。

撮影画像と背景画像とが対応する関係にあるか否かを判定する方法としては、例えば、撮影画像及び背景画像にそれらをカメラにより撮影したときの絶対位置及びカメラの姿勢をタグ付けしておき、撮影画像の撮影時の絶対位置及びカメラの姿勢に最も近い絶対位置及びカメラの姿勢で撮影された背景画像を対応する関係にあり対応画像であると判定することができる。

あるいは、撮影画像Ｉ１から特徴的な画素群１を抽出し、例えば背景画像Ｂｉから特徴的な画素群ｉを抽出し、画素群１−ｉ間で対応する画素の数を調べ、閾値以上の対応する画素対があれば、撮影画像Ｉ１と背景画像Ｂｉとが対応すると判定することができる。この場合の撮影画像Ｉ１の画素Ａと背景画像Ｂｉの画素Ｂとが対応する画素か否かの判定は、例えば画素Ａを中心とする領域を撮影画像Ｉ１から切り出し、画素Ｂを中心とする領域を背景画像Ｂｉから切り出し、それらの領域内の輝度及び色パターンの類似度が閾値以上であるときに対応すると判定することができる。

道路領域対応付け部４は、図６に示すように、撮影画像Ｉ１と対応画像である背景画像Ｂｉとの間で同じ道路Ｒの領域上の同一点の各画像における座標を対応付ける変換を推定し、撮影画像Ｉ１と背景画像Ｂｉとの間で自動車外部における絶対位置が同一座標となる点からなる対応領域を推定する（Ｓ１３）。この変換を推定する方法としては、例えば、撮影画像Ｉ１から特徴的な画素を選択し、背景画像Ｂｉからも特徴的な画素を選択し、両画像から取り出した特徴的な画素の中で対応する点の組を作り、それらの点の各画像上での座標を対応付ける変換モデルとそのパラメータを推定することで実現できる。変換モデルとしては、以下のようなものがある。

使用する変換モデルを上記の中から選択し、各モデルのパラメータを推定する。いずれのモデルも線形モデルであるため、最小２乗法などの線形システムに対する解法を利用することでパラメータを決定することができる。なお、撮影画像Ｉ１と対応画像である背景画像Ｂｉとの両画像から取り出した特徴的な画素の中で対応する点の組を探す方法としては、例えば、撮影画像Ｉ１から取り出したｎ番目の特徴的な画素Ｎを中心とする領域を入力画像から切り出し、背景画像Ｂｉから取り出したｍ番目の特徴的な画素Ｍを中心とする領域を背景画像Ｂｉから切り出し、それらの領域内の輝度及び色パターンの類似度が閾値以上であるときに、それらの画素Ｎと画素Ｍとは対応する対であると判定することができる。

変換部５は、道路領域対応付け部４により推定された撮影画像及び対応画像のそれぞれにおける対応領域同士が画像上において同一座標を占めるように、撮影画像及び対応画像の少なくとも一方を変換する（Ｓ１４）。このような変換としては、撮影画像を変換する方法、背景画像を変換する方法、及び撮影画像と背景画像との両方を変換する方法とがある。本実施形態では、図７に示すように、ステップＳ３において道路領域対応付け部４により推定された撮影画像Ｉ１上の座標から背景画像Ｂｉ上の座標に変換する変換を用いるものとする。撮影画像を変換する場合には、図６に示すように、撮影画像Ｉ１上の各座標を上記変換で変換し、変換後の座標の輝度値を元の座標の輝度値とすることで、変換後の撮影画像Ｉ１’を生成することができる。

なお、背景画像を変換する場合には、推定した変換の逆変換を計算し、その変換で背景画像上の各座標を変換し、変換後の座標の輝度値を元の座標の輝度値とすることで、変換後の背景画像を生成することができる。

誤差領域抽出部６は、図８に示すように、撮影画像Ｉ１’と背景画像Ｂｉとの対応領域の座標同士が画像上で同じ座標となるように変換した撮影画像Ｉ１と背景画像Ｂｉとで各座標での輝度値を比較し、差が閾値以内かを判定し、差が閾値以上の座標からなる領域を誤差領域Ｅとして抽出する（Ｓ１５）。これにより、抽出した誤差領域に含まれる座標に対応する元の撮影画像上の座標位置に障害物が存在することが判る。

本実施形態によれば、自動車に設置された画像入力部２は自動車外部の撮影画像を取得するため、一つの場所に固定したカメラを多数設置しなくとも自動車が移動した様々な場所の撮影画像を取得することができる。また、本実施形態によれば、道路領域対応付け部４は背景画像セット保持部３に記憶された複数の背景画像の中から撮影画像に対応する画像である対応画像を抽出し、撮影画像及び対応画像のそれぞれにおいて自動車外部における絶対位置が同一座標となる点からなる対応領域を推定し、変換部５は撮影画像及び対応画像のそれぞれにおける対応領域同士が画像上において同一座標を占めるように、撮影画像及び対応画像の少なくとも一方を変換して、誤差領域抽出部６は撮影画像及び対応画像を比較し、撮影画像における対応画像との差異が閾値より大きい領域である誤差領域を抽出する。そのため、一つの場所に固定したカメラを用いずとも撮影画像から障害物を検出することができる。また、絶対位置が同一座標の点が撮影画像及び対応画像上でも同一座標となるように画像の変換を行うため、一点ではなく移動体が移動中の出発地から目的地までを結ぶ道路Ｒ上の任意の位置に存在する障害物を検出することが可能となる。特に、撮影画像と背景画像とで見え方に変化のある場所を障害物が存在する誤差領域として抽出するので、障害物の高さに関係なく障害物を検出することができる。

（第２実施形態）
以下、本発明の第２実施形態について説明する。図９は、第２実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１ｂは、上記第１実施形態の画像処理装置１ａの画像処理装置１ａと同じ自動車に設置され、画像入力部２を共通とする。本実施形態の画像処理装置１ｂは、自動車の走行中に画像入力部２が取得した自動車外部の撮影画像に基づいて、上記第１実施形態の画像処理装置１ａの背景画像セット保持部３に記憶される背景画像を生成するためのものである。図９に示すように、本実施形態の画像処理装置１ｂは、画像入力部２、対応付け変換推定部７、輝度・色推定部８及び背景画像生成部９を備えている。

対応付け変換推定部７は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、自動車外部における絶対位置が同一座標となる点同士を対応付けるためのものである。対応付け変換推定部７は、特許請求の範囲に記載の画像対応付手段として機能する。

輝度・色推定部８は、対応付け変換推定部７が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値から、自動車外部の背景画像における当該点に対応する座標での画素値を推定するためのものである。輝度・色推定部８は、特許請求の範囲に記載の画素値推定手段として機能する。

背景画像生成部９は、輝度・色推定部８が推定した画素値により自動車外部の背景画像を生成するためのものである。背景画像生成部９は、特許請求の範囲に記載の背景画像生成手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。以下の動作の説明においては、図３に示すように、道路Ｒの地点Ｐ_Ａから地点Ｐ_Ｂまでを自動車で走行した際に、自動車に設置されたカメラで自動車外部を各時刻に撮影し、撮影した順に並べられた撮影画像からなる画像セットを処理して背景画像を生成し、処理後の各背景画像中の道路領域は障害物がない状態の背景画像にする場合を想定する。なお、撮影画像は撮影した順に並べられていることから、隣り合う時刻の撮影画像上には、実空間の同じ道路領域が投影されているとする。

図１０は、第２実施形態に係る画像処理装置の動作を示すフロー図である。図１０に示すように、画像入力部２は、自動車に取り付けたカメラで連続する時刻に取得した図１１に示すような撮影画像Ｉ１、Ｉ２を、対応付け変換推定部７に入力する（Ｓ２１）。図１１の撮影画像Ｉ１、Ｉ２を参考のため俯瞰画像にした撮影画像Ｉ１’、Ｉ２’に示すように、撮影画像Ｉ１、Ｉ２あるいは撮影画像Ｉ１’、Ｉ２’には自車両Ｖ０に対して他車両Ｖ１が撮影されており、道路上の物体Ｏは撮影画像Ｉ１、Ｉ１’では、他車両Ｖ１に遮られて見えない状態となっている。

対応付け変換推定部７は、図１２に示すように、撮影画像Ｉ１と撮影画像Ｉ２とに含まれる道路領域内の各点について、それらの各撮影画像上での座標を対応付ける変換を推定する（Ｓ２２）。この撮影画像上での座標を対応付ける変換を推定するには、例えば、撮影画像Ｉ１から特徴的な画素を選択し、撮影画像Ｉ２からも特徴的な画素を選択し、両画像から取り出した特徴的な画素の中で対応する点の組を作り、それらの点の各撮影画像上での座標を対応付ける変換モデルとそのパラメータを推定することで実現することができる。この変換モデルとしては、上記第１実施形態と同様に以下のようなものがある。

使用する変換モデルを上記の中から選択し、各モデルのパラメータを推定する。いずれのモデルも線形モデルであるため、最小２乗法などの線形システムに対する解法を利用することでパラメータを決定することができる。なお、撮影画像Ｉ１と対応画像である撮影画像Ｉ２との両画像から取り出した特徴的な画素の中で対応する点の組を探す方法としては、例えば、撮影画像Ｉ１から取り出したｎ番目の特徴的な画素Ｎを中心とする領域を入力画像から切り出し、撮影画像Ｉ２から取り出したｍ番目の特徴的な画素Ｍを中心とする領域を撮影画像Ｉ２から切り出し、それらの領域内の輝度及び色パターンの類似度が閾値以上であるときに、それらの画素Ｎと画素Ｍとは対応する対であると判定することができる。

輝度・色推定部８は、図１３に示すように、撮影画像Ｉ１の各座標に対応する撮影画像Ｉ２上の画像上の座標を、上記ステップＳ２２の変換で算出し、各座標上の対応する座標及びその周辺座標の輝度を利用し、撮影画像Ｉ１の各座標に道路Ｒの面が投影された場合の輝度・色等の画素値を推定する（Ｓ２３）。ステップＳ２２で推定した変換が撮影画像Ｉ１から撮影画像Ｉ２への変換であるとする。このとき、以下の式に従って撮影画像Ｉ２上の対応する座標を求める。

なお、上式で決まる座標及びその周辺の輝度の分布を観測し、それらの平均値を撮影画像Ｉ１の当該座標に投影される道路の輝度とすることもできる。

背景画像生成部９は、図１４に示すように、上記ステップＳ２３で推定した各画像上の各座標に道路の面が投影されたときにとる輝度を各画像に埋め込み、その処理を撮影画像にわたって行うことで、撮影画像セットを背景画像セットに変換する（Ｓ２４）。

本実施形態においては、対応付け変換推定部７は画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、自動車外部における絶対位置が同一座標となる点同士を対応付け、輝度・色推定部８は対応付け変換推定部７が対応付けた複数の撮影画像のそれぞれにおける点同士の画素値から、自動車外部の背景画像における点に対応する座標での画素値を推定し、背景画像生成部９は輝度・色推定部８が推定した画素値により自動車外部の背景画像を生成する。そのため、一つの場所に固定したカメラを用いずとも自動車が移動中に取得した撮影画像から様々な場所の背景画像を取得することができる。また、時系列を異にする複数画像の画素値に基づいて背景画像を生成しているため、障害物を取り除いた背景画像を生成することが可能となる。

すなわち、本実施形態では、図１１及び１３に示すように、撮影画像Ｉ１の状態では見えなかった道路Ｒ上の物体Ｏが撮影画像Ｉ２では見えるようになる場合がある。このように、本実施形態では一時刻だけでは、例えば他車両が道路を隠してしまう等のため観測することができない視野内の道路面の見え方を、異なる時刻の撮影画像の情報で補完することで、各時刻の画像上の道路領域の障害物が無い状態の道路面の見え方を作り出すことができる。

（第３実施形態）
以下、本発明の第３実施形態について説明する。本実施形態では障害物が無いときの道路領域の見え方である背景画像の推定の際に、撮影画像上に設定した領域の中のデータだけで推定を行う点が上記第２実施形態と異なっている。図１５に示すように、本実施形態の画像処理装置１ｃは、図９に示す画像処理装置１ｂの各構成要素に加えて領域設定部１０を備えている。

領域設定部１０は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、画像上の一部を占める領域を設定するためのものである。領域設定部１０は、特許請求の範囲に記載の領域設定手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図１６は、第３実施形態に係る画像処理装置の動作を示すフロー図である。図１６に示すステップＳ３１、Ｓ３３〜Ｓ３５は、それぞれ図１０に示す上記第２実施形態のステップＳ２１〜Ｓ２４に相当する。そのため、以下、ステップＳ３２のみ説明する。

領域設定部１０は、画像入力部２が入力した撮影画像のそれぞれに対し、後段の処理で対応付けを行うときの処理対象である道路領域を設定する（Ｓ３２）。撮影画像のそれぞれに道路領域を設定する処理は、例えば、予め車載カメラの撮影画像中の道路領域が写り込む領域を計測し、その領域を各時刻の撮影画像上で処理対象として設定することで実現することができる。あるいは、予め車載カメラと道路との位置関係を停止状態で計測しておき、さらに各時刻の車両の姿勢について停止状態での車両の姿勢からの差異を計測し、それらの計測値を利用して撮影画像上の道路領域を設定することもできる。

本実施形態では、領域設定部１０は各々の撮影画像において道路領域を設定し、後段の処理では、処理に適した道路領域の時間的及び空間的な色・輝度の分布だけを処理することで、ロバスト且つ高精度な道路面の見え方を推定することができる。また、後段の処理の処理負荷を軽減することができる。

（第４実施形態）
以下、本発明の第４実施形態について説明する。本実施形態においては、障害物が無いときの道路領域の見え方である背景画像の推定の際に、車両が運動している状態で取得した撮影画像だけを利用して推定をする点が上記第２実施形態と異なる。図１７に示すように、本実施形態の画像処理装置１ｄは、図９に示す画像処理装置１ｂの各構成要素に加えて運動判定部１１を備えている。

運動判定部１１は、自動車が移動中であるか否かを判定するためのものである。運動判定部１１は、特許請求の範囲に記載の運動判定手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図１８は、第４実施形態に係る画像処理装置の動作を示すフロー図である。図１８に示すステップＳ４１、Ｓ４３〜Ｓ４５は、それぞれ図１０に示す上記第２実施形態のステップＳ２１〜Ｓ２４に相当する。そのため、以下、ステップＳ４２のみ説明する。

運動判定部１１は、後段の処理で使用する撮影画像について、その撮影画像が自動車（自動車に設置されたカメラ）の運動中に撮影されたものか否かを判定し、運動中に撮影された撮影画像以外を除去する（Ｓ４２）。

撮影画像が自動車（カメラ）の運動中に撮影されたものか否かを判定するには、車載カメラの撮影画像と自動車（カメラ）の運動とを計測するセンサのデータを同期して取得し、各画像中に運動中に取得した画像か否かを示すタグを付けておき、ステップＳ４１で画像入力部２により撮影画像が入力されたときに、その撮影画像に付いたタグを参照することで、その撮影画像が運動中に取得された撮影画像か否かを判定することができる。また、各撮影画像が取得されたときのカメラの回転・並進運動量を示すタグを各撮影画像に付けておき、その撮影画像についたタグを参照することで、その撮影画像が運動中に取得された撮影画像か否かを判定することができる。あるいは、各々の時刻に撮影された撮影画像同士の差分を検出して、各々の撮影画像上の対応する画素に移動があるか否かを検出することにより、その撮影画像が運動中に取得された撮影画像か否かを判定することができる。さらに、自動車に搭載されたＧＰＳ（Global Positioning System）を利用して、その撮影画像が運動中に取得された撮影画像か否かを判定することができる。

本実施形態においては、対応付け変換推定部７は、運動判定部１１が自動車（カメラ）を移動中であると判定した場合に、画像入力部２が取得した複数の撮影画像のそれぞれにおいて、自動車外部における絶対位置が同一座標となる点同士を対応付け、画像入力部２が静止しているときに取得した撮影画像は背景画像を生成するために用いない。そのため、例えば、道路上の点を背景画像に投影したときの画素値を推定する際の精度を劣化させる原因の一つである障害物が画像上の同じ位置にとどまりつづける状況の画像を排除することができる。

すなわち、カメラが停止しており、撮影画像内が静止物だけで構成された場合には、見えない道路領域は見えない状態が継続し、背景画像を生成する処理を行う意味がない。そこで、本実施形態では、カメラが停止している状態で撮影された撮影画像を処理しないことで、処理時間の短縮及び誤差の低減を実現することができる。

（第５実施形態）
以下、本発明の第５実施形態について説明する。本実施形態においては、障害物が無いときの道路領域の見え方である背景画像の推定の際に、連続する時刻に撮影された撮影画像において、同一道路領域を対応付ける変換に従わない画素は使用しない点が上記第２実施形態と異なる。図１９に示すように、本実施形態の画像処理装置１ｅは、図９に示す画像処理装置１ｂの各構成要素に加えて誤差画素抽出部１２を備えている。

誤差画素抽出部１２は、画像入力部２が連続する時刻に取得した２つの撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値の差が閾値以上である一対の画素値を抽出するためのものである。誤差画素抽出部１２は、特許請求の範囲に記載の変動大画素値対抽出手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図２０は、第５実施形態に係る画像処理装置の動作を示すフロー図である。図２０に示すステップＳ５１、Ｓ５２、Ｓ５４、Ｓ５５は、それぞれ図１０に示す上記第２実施形態のステップＳ２１〜Ｓ２４に相当する。そのため、以下、ステップＳ５３のみ説明する。

誤差画素抽出部１２は、画像入力部２が連続する時刻に取得した２つの撮影画像のそれぞれにおいて、本来対応する位置関係にあるはずの対応付け変換推定部７により対応付けられた点の画素値の差が閾値以上の差を持つ場合に、その画素を誤差画素対として後段の処理対象から除外する（Ｓ５３）。この誤差画素対を抽出するためには、例えば、予め閾値を設定し、ステップ５２で対応付け変換推定部７が推定した変換で対応付けができる連続する時刻に撮影された撮影画像同士で画像上の画素値（色、輝度）の差を調べ、閾値以上の差を持つ画素値対を後段の処理から除外することで、誤差画素対を抽出することができる。

本実施形態においては、誤差画素抽出部１２は連続する時刻に取得した２つの撮影画像のそれぞれにおいて対応付け変換推定部７が対応付けた点の画素値の差が閾値以上である一対の画素値を抽出し、輝度・色推定部８は誤差画素抽出部１２が抽出した一対の画素値以外の画素値から自動車外部の背景画像における当該座標の画素値を推定するため、連続する時刻に大きな変動があり、誤差や障害物等を含んでいる可能性が高い画素値を無効なものとして背景画像の画素値の推定から除くことができる。すなわち、本実施形態では、ステップＳ５２で推定した変換で対応関係が判っている時間的に隣り合う画像上の対応する画素の内、輝度差等が余りにある場合には、いずれかの撮影画像に道路以外の物体が写り込んでいる可能性があるとして、そのような画素の画素値を利用しない。本実施形態では、これにより、本来の道路の見え方と異なる輝度等の画像を背景画像として取り込むことを防止することができる。

（第６実施形態）
以下、本発明の第６実施形態について説明する。本実施形態においては、障害物が無いときの道路領域の見え方である背景画像の推定の際に、道路上の複数の点が投影されているはずの画素の時系列の輝度及び色等の画素値データを入力し、輝度及び色の時間による変動が大きい画素値は使用しない点が上記第２実施形態とは異なる。図２１に示すように、本実施形態の画像処理装置１ｆは、図９に示す画像処理装置１ｂの各構成要素に加えて、各点画素上輝度・色時系列データ入力部１３、輝度・色変動幅算出部１４及び変動大画素抽出部１５を備えている。

各点画素上輝度・色時系列データ入力部１３は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データを輝度・色変動幅算出部１４に入力するためのものである。

輝度・色変動幅算出部１４は、各点画素上輝度・色時系列データ入力部１３が入力した画像上の各点の画素値のそれぞれの時系列データにおける輝度及び色の変動幅を算出するためのものである。

変動大画素抽出部１５は、輝度・色変動幅算出部１４が算出した時系列データにおける輝度及び色の変動幅から、変動幅が予め定めた閾値以上に大きい画素値を抽出するためのものである。変動大画素抽出部１５は、特許請求の範囲に記載の変動大画素値抽出手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図２２は、第６実施形態に係る画像処理装置の動作を示すフロー図である。図２２に示すステップＳ６１、Ｓ６２、Ｓ６４、Ｓ６５は、それぞれ図１０に示す上記第２実施形態のステップＳ２１〜Ｓ２４に相当する。そのため、以下、ステップＳ６３のみ説明する。

各点画素上輝度・色時系列データ入力部１３は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データを輝度・色変動幅算出部１４に入力する。輝度・色変動幅算出部１４は、各点画素上輝度・色時系列データ入力部１３が入力した画像上の各点の画素値のそれぞれの時系列データにおける輝度及び色の変動幅を算出する。変動大画素抽出部１５は、輝度・色変動幅算出部１４が算出した時系列データにおける輝度及び色の変動幅から、変動幅が予め定めた閾値以上に大きい画素値を抽出する（Ｓ６３）。

変動幅が大きい画素値を抽出する処理は、例えば、予め閾値を設定し、ステップＳ６２で対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける輝度及び色等の画素値の平均値を算出し、この平均値と閾値以上の差を持つ画素値を後段の処理対象から除外することで実現できる。

また、変動幅が大きい画素値を抽出する処理は、予め係数を設定し、ステップＳ６２で対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける輝度及び色等の平均及び標準偏差を調べ、この平均と各々対応する点の画素値との輝度及び色等の差の絶対値を標準偏差で除した値が設定した係数以上の場合に、当該画素値を後段の処理対象から除外することで実現できる。

あるいは、変動幅が大きい画素値を抽出する処理は、予め閾値を設定し、ステップＳ６２で対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける輝度及び色等の分散を調べ、この分散が閾値以上となる画素値の対を後段の処理対象から除外することで実現できる。

本実施形態においては、変動大画素抽出部１５は対応付け変換推定部７が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以上である画素値を抽出し、輝度・色推定部８は変動大画素抽出部１５が抽出した点の画素値以外の画素値から自動車外部の背景画像における当該座標の画素値を推定するため、時系列の画素値において大きな変動があり、誤差や障害物等を含んでいる可能性が高い画素値を無効なものとして背景画像の画素値の推定から除くことができる。すなわち、本実施形態では、ステップＳ６２で推定した変換で対応関係が判っている点の時系列の画素値の内、輝度差等が余りにある場合には、いずれかの撮影画像に道路以外の物体が写り込んでいる可能性があるとして、そのような画素の画素値を利用しない。本実施形態では、これにより、本来の道路の見え方と異なる輝度等の画像を背景画像として取り込むことを防止することができる。

（第７実施形態）
以下、本発明の第７実施形態について説明する。本実施形態においては、障害物が無いときの道路領域の見え方である背景画像の推定の際に、道路上の複数の点が投影されているはずの画素の時系列の輝度及び色等の画素値データを入力し、それらの画素の中で輝度及び色の時間的な変動が閾値以下であり、かつこれらの時間的な変動が閾値以下の点同士の画像上における距離が閾値以下であり且つ点同士の画素値の差が閾値以下である点同士を連結する点とし、これらの連結する点以外の画素値は背景画像の推定に使用しない点が上記第２実施形態とは異なる。図２３に示すように、本実施形態の画像処理装置１ｇは、図９に示す画像処理装置１ｂの各構成要素に加えて、各点画素上輝度・色時系列データ入力部１３、輝度・色変動幅算出部１４、変動小画素抽出部１６、周辺画素との変動幅の重なり判定部１７、及び連結領域サイズ判定部１８を備えている。

上記第６実施形態の同様に、各点画素上輝度・色時系列データ入力部１３は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データを輝度・色変動幅算出部１４に入力するためのものである。また、輝度・色変動幅算出部１４は、各点画素上輝度・色時系列データ入力部１３が入力した画像上の各点の画素値のそれぞれの時系列データにおける輝度及び色の変動幅を算出するためのものである。

変動小画素抽出部１６は、輝度・色変動幅算出部１４が算出した時系列データにおける輝度及び色の変動幅から、変動幅が予め定めた閾値以上に小さい画素値を抽出するためのものである。変動小画素抽出部１６は、特許請求の範囲に記載の変動小画素値抽出手段として機能する。

周辺画素との変動幅の重なり判定部１７は、撮影画像のそれぞれの画像上における変動小画素抽出部１６が抽出した画素値に係る点であって点同士の画像上における距離が閾値以下であり且つ当該点同士の画素値の差が閾値以下である点同士を連結している点として判定するためのものである。周辺画素との変動幅の重なり判定部１７は、特許請求の範囲に記載の連結判定手段として機能する。

連結領域サイズ判定部１８は、周辺画素との変動幅の重なり判定部１７が連結している点であると判定した点同士で形成される領域の撮影画像上における大きさが閾値以上であるか否かを判定するためのものである。連結領域サイズ判定部１８は、特許請求の範囲に記載の連結領域判定手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図２４は、第７実施形態に係る画像処理装置の動作を示すフロー図である。図２４に示すステップＳ７１、Ｓ７２、Ｓ７５、Ｓ７６は、それぞれ図１０に示す上記第２実施形態のステップＳ２１〜Ｓ２４に相当する。そのため、以下、ステップＳ７３、Ｓ７４のみ説明する。

各点画素上輝度・色時系列データ入力部１３は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データを輝度・色変動幅算出部１４に入力する。輝度・色変動幅算出部１４は、各点画素上輝度・色時系列データ入力部１３が入力した画像上の各点の画素値のそれぞれの時系列データにおける輝度及び色の変動幅を算出する。変動小画素抽出部１６は、輝度・色変動幅算出部１４が算出した時系列データにおける輝度及び色の変動幅から、変動幅が予め定めた閾値以下である画素値を抽出する（Ｓ７３）。

変動幅が小さい画素値を抽出する処理は、例えば、予め閾値を設定し、ステップＳ７２で対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける輝度及び色等の画素値の平均値を算出し、この平均値と閾値以下の差を持つ画素値を後段の処理対象とすることで実現できる。

また、変動幅が小さい画素値を抽出する処理は、予め係数を設定し、ステップＳ７２で対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける輝度及び色等の平均及び標準偏差を調べ、この平均と各々対応する点の画素値との輝度及び色等の差の絶対値を標準偏差で除した値が設定した係数以下の場合に、当該画素値を後段の処理対象とすることで実現できる。

あるいは、変動幅が小さい画素値を抽出する処理は、予め閾値を設定し、ステップＳ７２で対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける輝度及び色等の分散を調べ、この分散が閾値以下となる画素値の対を後段の処理対象とすることで実現できる。

周辺画素との変動幅の重なり判定部１７は、撮影画像のそれぞれの画像上における変動小画素抽出部１６が抽出した画素値に係る点であって点同士の画像上における距離が閾値以下であり且つ当該点同士の画素値の差が閾値以下である点同士を連結している点として判定する。連結領域サイズ判定部１８は、周辺画素との変動幅の重なり判定部１７が連結している点であると判定した点同士で形成される領域の撮影画像上における大きさが閾値以上であるか否かを判定する（Ｓ７４）。

本実施形態では、変動小画素抽出部１６は異なる時刻に取得した複数の撮影画像において対応付け変換推定部７が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以下である画素値を抽出するため、時間による画素値の変動が少ない画素値を抽出することができる。また、周辺画素との変動幅の重なり判定部１７が撮影画像のそれぞれの画像上における変動小画素抽出部１６が抽出した画素値に係る点であって点同士の画像上における距離が閾値以下であり且つ点同士の画素値の差が閾値以下である点同士を連結している点として判定するため、撮影画像において時間による変動が少なく、且つ画像上の座標が近く画素値同士の変動が少ない画素値を抽出することができる。さらに、連結領域サイズ判定部１８は、連結判定手段が連結している点として判定した点からなる領域の大きさが閾値以上であるか否かを判定するため、画像上のノイズを除くことができる。したがって、一時的に撮影画像上に障害物が写り込み、画像上の一部で突出して異なる画素値となっているものを無効なものとして背景画像の画素値の推定から除くことができる。

すなわち、本実施形態では、ステップＳ７２で推定した変換で対応関係が判っている各画素値の内、輝度及び色等の変動が少なく、かつ画像上で周囲と同じような分布を持つ場合には、道路領域が投影されている可能性が高いとして、そのような領域に含まれない画素値を背景画像の推定に利用しない。本実施形態では、これにより、本来の道路の見え方と異なる輝度等の画像を背景画像として取り込むことを防止することができる。

（第８実施形態）
以下、本発明の第８実施形態について説明する。本実施形態では、障害物が無いときの道路領域の見え方である背景画像の推定の際に、道路上の同一点が投影されているはずの画素の時系列の輝度及び色データを入力し、道路の輝度及び色の分布形状モデルに適合する部分を抽出し、道路上の点の色及び輝度の推定に使用する点が、上記第２実施形態と異なる。図２３に示すように、本実施形態の画像処理装置１ｈは、図９に示す画像処理装置１ｂの各構成要素に加えて、各点画素上輝度・色時系列データ入力部１３、度数表作成部１９、及び道路輝度・色分布形状モデル当てはめ部２０を備えている。

各点画素上輝度・色時系列データ入力部１３は、各点画素上輝度・色時系列データ入力部１３は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データを度数表作成部１９に入力するためのものである。

度数表作成部１９は、各点画素上輝度・色時系列データ入力部１３が入力した画像上の各点の画素値のそれぞれの時系列データにおける同じ輝度及び色の画素値の出現回数を計測して、全ての輝度及び色の全出現回数に対する割合からなる度数表を作成するためのものである。

道路輝度・色分布形状モデル当てはめ部２０は、度数表作成部１９が作成した度数表上で、予め設定した自動車外部の背景画像のモデルである道路輝度・色分布形状モデルに当てはまる部分を判定するためのものである。道路輝度・色分布形状モデル当てはめ部２０は、特許請求の範囲に記載のモデル当てはめ手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図２６は、第８実施形態に係る画像処理装置の動作を示すフロー図である。図２６に示すステップＳ８１、Ｓ８２、Ｓ８５、Ｓ８６は、それぞれ図１０に示す上記第２実施形態のステップＳ２１〜Ｓ２４に相当する。そのため、以下、ステップＳ８３、Ｓ８４のみ説明する。

各点画素上輝度・色時系列データ入力部１３は、画像入力部２が異なる時刻に取得した複数の撮影画像のそれぞれにおいて、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データを度数表作成部１９に入力する。度数表作成部１９は、各点画素上輝度・色時系列データ入力部１３が入力した画像上の各点の画素値のそれぞれの時系列データ（画素セット）における同じ輝度及び色の画素値の出現回数を計測して、全ての輝度及び色の全出現回数に対する割合からなる度数表を作成する（Ｓ８３）。度数表作成部１９が作成する度数表は、例えば図２７に示すようなヒストグラムｈとなる。

道路輝度・色分布形状モデル当てはめ部２０は、度数表作成部１９が作成した度数表上で、予め設定した自動車外部の背景画像のモデルである道路輝度・色分布形状モデルに当てはまる部分を判定する（Ｓ８４）。すなわち、道路輝度・色分布形状モデル当てはめ部２０は、図２７に示すような画素セット毎に作成したヒストグラムｈに対し、予め設定した道路上の点を画像に投影したときにそれらの点が形成する分布形状モデルｍを動かし、分布形状差が閾値以内となる部分の有無を判定し、分布形状差が閾値以内となる部分が無ければ、当該画素セットに属する画素値を後段の処理で利用しない。分布形状差が閾値以内となる部分があれば、その部分に属する輝度及び色に対応する各撮影画像上の画素値を後段の処理のため輝度・色推定部８に出力する（Ｓ８５）。

分布形状差を測る指標としては、例えば、図２７に示すような分布形状モデルｍがヒストグラムｈ上のある位置にある場合に、分布形状モデルｍの度数が０以外の輝度において、各輝度における分布形状モデルｍの度数とその輝度でのヒストグラムｈの度数との度数差ｆの絶対値を積分した値で表現することもできる。

本実施形態では、道路輝度・色分布形状モデル当てはめ部２０は撮影画像の点の画素値と予め設定した自動車外部の背景画像のモデルにおける当該点に対応する座標での画素値とを比較し、輝度・色推定部８は道路輝度・色分布形状モデル当てはめ部２０がモデルに当てはまると判定した画素値から、自動車外部の背景画像における当該座標の画素値を推定するため、モデルに適合しない誤差や障害物を含む撮影画像の画素値を無効なものとして背景画像の画素値の推定から除くことができる。

（第９実施形態）
以下、本発明の第９実施形態について説明する。本実施形態では、上記第８実施形態と同様に障害物が無いときの道路領域の見え方である背景画像の推定の際に、道路の輝度及び色の時間分布形状モデルに適合する部分を抽出するが、その他に各時刻の輝度・色に基づいて同じ点が他の時刻に取り得る輝度・色とその発生頻度を推定し、算出した輝度・色とその発生頻度とを度数表に加算して度数表を作成する点が上記第８実施形態と異なる。図２８に示すように、本実施形態の画像処理装置１ｉは、図２５に示す画像処理装置１ｈの各構成要素に加えて、母分布推定部２１を備えている。

母分布推定部２１は、各点画素上輝度・色時系列データ入力部１３から入力された対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データに基づいて、撮影画像が取得された時刻以外の時刻における点の画素値を推定するためのものである。母分布推定部２１は、特許請求の範囲に記載の画素値分布推定手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図２９は、第９実施形態に係る画像処理装置の動作を示すフロー図である。図２９に示すステップＳ９１、Ｓ９２、Ｓ９４〜Ｓ９７は、それぞれ図２６に示す上記第８実施形態のステップＳ８１〜Ｓ８６に相当する。そのため、以下、ステップＳ９３のみ説明する。

母分布推定部２１は、各点画素上輝度・色時系列データ入力部１３から入力された対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データに基づいて、撮影画像が取得された時刻以外の時刻における点の画素値を推定する（Ｓ９３）。具体的には、母分布推定部２１は、画像上の各画素の取る値を、ある母分布からのサンプル値であるとみなし、画像上での輝度からそのような母分布に変換する方法を予め設定し、その方法に従って母分布を推定する。このような母分布を推定する方法の一つとして、各撮影画像上の座標の輝度値を入力とし、その入力を平均値とし、分散をカメラの暗電流成分による揺らぎとした正規分布を出力することもできる。

本実施形態では、母分布推定部２１は複数の撮影画像のそれぞれにおける点同士の画素値に基づいて撮影画像が取得された時刻以外の時刻における点の画素値を推定し、道路輝度・色分布形状モデル当てはめ部２０は、複数の撮影画像のそれぞれにおける当該点同士の画素値と、道路輝度・色分布形状モデル当てはめ部２０が推定した画素値と、予め設定した自動車外部の背景画像のモデルにおける当該点に対応する座標での画素値とを比較する。そのため、道路輝度・色分布形状モデル当てはめ部２０は、推定した撮影画像が取得された時刻以外の時刻における点の画素値もモデルとの当てはめに比較することになり、誤差や障害物による障害に強い処理を行うことができる。

すなわち、本実施形態では、各画素セットの画素自体の輝度値だけではなく、観測した画素の輝度値には揺らぎがあるものと仮定して、この揺らぎ分を考慮した輝度分布で、元の分布を近似した上で度数表を作成する。これにより、各画素が本来取りうる輝度へと補正することができ、ノイズに強いものとできる。

（第１０施形態）
以下、本発明の第１０実施形態について説明する。本実施形態においては、本実施形態では、障害物が無いときの道路領域の見え方である背景画像の推定の際に、視野内の限定領域内のどこかに時間に関わらず残っている輝度・色を道路の輝度・色とする点が、上記第２及び実施形態と異なる。図３０に示すように、本実施形態の画像処理装置１ｊは、図１５に示す画像処理装置１ｃの各構成要素に加えて、度数表作成部１９及び度数表積算部２３を備えている。

度数表作成部１９は、上記第８実施形態と同様に、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける同じ輝度及び色の画素値の出現回数を計測して、全ての輝度及び色の全出現回数に対する割合からなる度数表を作成するためのものである。

度数表積算部２３は、度数表作成部９が作成した各時刻の撮影画像に対して作成した度数表であるヒストグラムにおいて、各輝度に関する各時刻のヒストグラムの度数を積算し、積算値が０になった輝度を持つ画素の画素値を後段の処理から除去するためのものである。度数表積算部２３は、特許請求の範囲に記載の画素値出現頻度判定手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図３１は、第１０実施形態に係る画像処理装置の動作を示すフロー図である。図３１に示すステップＳ１０１〜Ｓ１０３、Ｓ１０５〜Ｓ１０６は、それぞれ図１６に示す上記第３実施形態のステップＳ３１〜Ｓ３５に相当する。そのため、以下、ステップＳ１０４のみ説明する。

度数表作成部１９は、上記第８実施形態と同様に、対応付け変換推定部７が対応付けた点の画素値のそれぞれの時系列データにおける同じ輝度及び色の画素値の出現回数を計測して、全ての輝度及び色の全出現回数に対する割合からなる度数表を作成する。また、度数表積算部２３は、度数表作成部９が作成した各時刻の撮影画像に対して作成した度数表であるヒストグラムにおいて、各輝度に関する各時刻のヒストグラムの度数を積算し、積算値が０になった輝度を持つ画素の画素値を後段の処理から除去する（Ｓ１０４）。

本実施形態では、度数表積算部２３は複数の撮影画像のそれぞれにおける点の画素値において同じ値の画素値の出現頻度を判定し、輝度・色推定部８は度数表積算部２３が判定した画素値の出現頻度が閾値以上の画素値から移動体外部の背景画像における当該座標の画素値を推定するため、誤差や障害物等により出現頻度が少ない画素値を無効なものとして背景画像の画素値の推定から除くことができる。

（第１１実施形態）
以下、本発明の第１１実施形態について説明する。本実施形態では、様々な天候及び時刻での障害物検出に対応することができる背景画像を生成するために、背景画像上の道路領域の輝度・色パターンを生成する空間の基底背景画像を記憶する。本実施形態の画像処理装置１ｋは、上記第１実施形態の画像処理装置１ａの画像処理装置１ａと同じ自動車に設置され、背景画像セット保持部３を共通とする。図３２に示すように、本実施形態の画像処理装置１ｋは、背景画像セット保持部３に加えて、領域設定部２２、画像独立性判定部２５、及び基底背景画像セット保持部２６を備えている。

領域設定部２２は、背景画像セット保持部３に記憶された背景画像セットに含まれる自動車外部の複数の背景画像のそれぞれにおいて、背景画像の独立性を判定するための処理に使用する背景画像上の一部を占める領域を設定するためのものである。

画像独立性判定部２５は、既に取得している背景画像セット全体を近似するために必要な最小枚数の基底背景画像からなる基底背景画像セットと背景画像セットを表現するために必要な基底係数範囲とを抽出するためのものである。画像独立性判定部２５は、特許請求の範囲に記載の基底背景画像セット作成手段として機能する。

基底背景画像セット保持部２６は、画像独立性判定部２５により抽出された基底背景画像セットを記憶するためのものである。この基底背景画像セット保持部２６は、杯経緯画像セット保持部３と共通していても良い。

以下、本実施形態の画像処理装置の動作について説明する。図３３は、第１０実施形態に係る画像処理装置の動作を示すフロー図である。背景画像セット保持部３に既に記憶された背景画像セットを読み出す（Ｓ１１１）。領域設定部２２は、背景画像セットに含まれる各々の背景画像から、背景画像それぞれの独立性を判定するために使用する背景画像上の一部を占める領域を設定する（Ｓ１１２）。画像独立性判定部２５は、領域設定部２２により領域を設定された背景画像や、あるいは既に基底背景画像セット保持部２６に記憶された基底背景画像セットから、背景画像セット全体を近似するために必要な最小枚数の基底背景画像からなる基底背景画像セットと背景画像セットを表現するために必要な基底係数範囲とを抽出する（Ｓ１１３）。

上記処理において画像独立性判定部２５は、各背景画像から領域設定部２２が切り出した処理領域に含まれる画像パターンを１次元ベクトルとして並び替え、複数のベクトルの張る空間の基底を見つける従来技術により基底ベクトルを探す。次に、探した基底ベクトルの線形結合で各画像パターンを表現し、そのときに各基底ベクトルにかける係数を基底背景画像セット保持部２６に記憶する。すなわち、画像独立性判定部２５は、どのような範囲の係数を使用すれば、それらの基底ベクトルの線形結合を生成したときに背景画像の道路画像となるのかを背景画像セット保持部２６に記憶しておく。

本実施形態においては、画像独立性判定部２５は背景画像セット保持部３に予め記憶された自動車外部の複数の背景画像同士の中から、背景画像同士で重複した領域が最小限となる複数の背景画像からなる基底背景画像セットを作成し、基底背景画像セット保持部は、画像独立性判定部２５が作成した基底背景画像セットに含まれる背景画像を記憶する。そのため、基底背景画像セット保持部２６は、重複した領域が最小限となる背景画像のみを記憶すればよく、記憶する必要がある背景画像数を最小とすることができる。

（第１２実施形態）
以下、本発明の第１２実施形態について説明する。本実施形態では、背景画像セットに含まれる背景画像と撮影画像とを比較して、閾値以上の差がある領域を障害物として検出する。本実施形態の画像処理装置１ｌは、上記第１実施形態の画像処理装置１ａの画像処理装置１ａと同じ自動車に設置され、画像入力部２、背景画像セット保持部３及び変換部５を共通とする。図３２に示すように、本実施形態の画像処理装置１ｌは、画像入力部２、背景画像セット保持部３及び変換部５に加えて、差分計算部２７及び閾値判定部２８を備えている。

差分計算部２７は、変換部５によって背景画像の空間上に変換された撮影画像と、背景画像セット保持部３に記憶された背景画像との間で、対応する各画素間の色・輝度の差分を算出するためのものである。また、閾値判定部２８は、撮影画像と背景画像との色・輝度の差分が閾値以上であるか否かを判定するためのものである。差分計算部２７及び閾値判定部２８は、特許請求の範囲に記載の誤差領域抽出手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図３１は、第１２実施形態に係る画像処理装置の動作を示すフロー図である。画像入力部２は、自車両に設置されたカメラで撮影された撮影画像を取得した順番に変換部５に入力する（Ｓ１２１）。変換部５は、撮影画像に対応する背景画像が選択されている場合において、撮影画像とそれに対応するとして選択された背景画像の両方が同時に含む道路領域の対応する座標を結びつける変換を推定し、その変換で撮影画像を変換する（Ｓ１２２）。このような変換としては、上記第１実施形態と同様に手法により行うことができる。

差分計算部２７は、変換後の撮影画像と選択された背景画像の同じ画像上の座標における各輝度値を比べ、差を算出する（Ｓ１２３）。閾値判定手段は、閾値以上の輝度値の差がある画素があれば、変換後の撮影画像のその座標に障害物があると判断する（Ｓ１２４）。

本実施形態によれば、変換部５は、撮影画像及び背景画像のそれぞれにおける道路領域同士が同一座標を占めるように撮影画像を変換するため、取得された撮影画像が少なくとも背景画像上に変換して障害物を検出することが可能となる。

（第１３実施形態）
以下、本発明の第１３実施形態について説明する。本実施形態では、背景画像セットに含まれる背景画像を基底背景画像セットで近似する空間での近似結果と撮影画像とを比較して、差のある領域を障害物として検出する。図３６に示すように、本実施形態の画像処理装置１ｍは、上記第１２実施形態の画像処理装置１ｌにおける画像入力部２、変換部５、差分計算部２７及び閾値判定部２８を共通とし、上記第３実施形態の領域設定部１０、上記第１１実施形態の基底背景画像セット保持部２６を備え、さらに背景画像空間近似部２９を備えている。

背景画像空間近似部２９は、撮影画像上の限定領域内の画像を基底背景画像セットで近似した画像を生成するためのものである。背景画像空間近似部２９は、特許請求の範囲に記載の近似手段として機能する。

以下、本実施形態の画像処理装置の動作について説明する。図３７は第１２実施形態に係る画像処理装置の動作を示すフロー図である。画像入力部２は、自車両に設置されたカメラで撮影された撮影画像を取得した順番に変換部５に入力する（Ｓ１３１）。領域設定部１０は、画像入力部２が入力した撮影画像のそれぞれに対し、後段の処理で対応付けを行うときの処理対象である限定領域を設定する（Ｓ１３２）。

背景画像空間近似部２９は、撮影画像上の限定領域内の画像を基底背景画像セットで近似した画像を生成する（Ｓ１３３）。この近似画像は、基底背景画像セットの基底背景画像の線形結合で表現される。線形結合で近似する際の各基底背景画像の係数は、撮影画像と各基底背景画像との内積で定義する。そして、このようにして求めた各基底背景画像の係数と基底ベクトルとを利用して、近似した１次元ベクトルを生成する。

差分計算部２７は、ステップＳ１３４で生成した１次元ベクトルの要素と、同じ順番にある撮影画像上の限定領域内の各画素の輝度値を順に並べて作成した１次元ベクトルの要素の差を算出する（Ｓ１３４）。

閾値判定部２８は、撮影画像と基底背景画像で近似した背景画像とにおける同じ座標における各輝度値を比べ、閾値以上の輝度値の差がある画素があれば、変換後の撮影画像のその座標に障害物があると判断する（Ｓ１３５）。

本実施形態では、背景画像空間近似部２９は、基底背景画像セットに含まれる背景画像を撮影画像に対応するように近似変換処理をして対応画像を作成し、閾値判定部２８は、撮影画像と近似手段により近似変換処理をして作成された対応画像とを比較して誤差領域を抽出する。そのため、基底背景画像セットに含まれる背景画像に撮影画像と対応する画像が無い場合でも、基底背景画像セットに含まれる背景画像を撮影画像に対応するように近似変換処理をして対応画像を作成することができ、撮影画像と背景画像との比較により障害物を検出することができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、本発明の画像処理装置を自動車に設置した場合を中心に説明したが、本発明は例えば自走式のロボット等の全ての移動体に設置することが可能である。また、本発明の画像処理装置は、少なくとも撮影画像取得手段が移動体に設置されていればよく、撮影画像取得手段以外の構成要素は移動体の外部に固定され、無線通信により撮影画像取得手段からの情報を取得するようにしても良い。

第１実施形態に係る画像処理装置の構成を示すブロック図である。第１実施形態に係る画像処理装置の動作を示すフロー図である。道路と道路を俯瞰する背景画像とを示す図である。画像入力部が取得した撮影画像を示す図である。画像入力部が取得した撮影画像と対応する背景画像とを示す図である。画像入力部が取得した撮影画像の領域に対応する背景画像の対応領域を示す図である。画像入力部が取得した撮影画像の障害物に対応する背景画像の誤差領域を示す図である。背景画像の誤差領域と背景画像との比較を示す図である。第２実施形態に係る画像処理装置の構成を示すブロック図である。第２実施形態に係る画像処理装置の動作を示すフロー図である。異なる時刻に取得された撮影画像を示す図である。異なる時刻に取得された撮影画像同士を対応付ける変換を示す図である。異なる時刻に取得された撮影画像の画像上の画素値の推定を示す図である。生成された背景画像を示す図である。第３実施形態に係る画像処理装置の構成を示すブロック図である。第３実施形態に係る画像処理装置の動作を示すフロー図である。第４実施形態に係る画像処理装置の構成を示すブロック図である。第４実施形態に係る画像処理装置の動作を示すフロー図である。第５実施形態に係る画像処理装置の構成を示すブロック図である。第５実施形態に係る画像処理装置の動作を示すフロー図である。第６実施形態に係る画像処理装置の構成を示すブロック図である。第６実施形態に係る画像処理装置の動作を示すフロー図である。第７実施形態に係る画像処理装置の構成を示すブロック図である。第７実施形態に係る画像処理装置の動作を示すフロー図である。第８実施形態に係る画像処理装置の構成を示すブロック図である。第８実施形態に係る画像処理装置の動作を示すフロー図である。画素値のヒストグラムと分布形状モデルとを示すグラフ図である。第９実施形態に係る画像処理装置の構成を示すブロック図である。第９実施形態に係る画像処理装置の動作を示すフロー図である。第１０実施形態に係る画像処理装置の構成を示すブロック図である。第１０実施形態に係る画像処理装置の動作を示すフロー図である。第１１実施形態に係る画像処理装置の構成を示すブロック図である。第１１実施形態に係る画像処理装置の動作を示すフロー図である。第１２実施形態に係る画像処理装置の構成を示すブロック図である。第１２実施形態に係る画像処理装置の動作を示すフロー図である。第１３実施形態に係る画像処理装置の構成を示すブロック図である。第１３実施形態に係る画像処理装置の動作を示すフロー図である。

符号の説明

１ａ〜１ｍ…画像処理装置、２…画像入力部、３…背景画像セット保持部、４…道路領域対応付け部、５…変換部、６…誤差領域抽出部、７…対応付け変換推定部、８…輝度・色推定部、９…背景画像生成部、１０…領域設定部、１１…運動判定部、１２…誤差画素抽出部、１３…各点画素上輝度・色時系列データ入力部、１４…輝度・色変動幅算出部、１５…変動大画素抽出部、１６…変動小画素抽出部、１７…周辺画素との変動幅の重なり判定部、１８…連結領域サイズ判定部、１９…度数表作成部、２０…道路輝度・色分布形状モデル当てはめ部、２１…母分布推定部、２２…領域設定部、２３…度数表積算部、２５…画像独立性判定部、２６…基底背景画像セット保持部、２７…差分計算部、２８…閾値判定部、２９…基底画像空間近似部。

Claims

移動体に設置され前記移動体外部の撮影画像を取得する撮影画像取得手段と、
前記移動体外部の複数の背景画像を記憶する背景画像記憶手段と、
前記背景画像記憶手段に記憶された複数の前記背景画像の中から前記撮影画像取得手段が取得した撮影画像に対応する画像である対応画像を抽出する対応画像抽出手段と、
前記撮影画像取得手段が取得した前記撮影画像及び前記対応画像抽出手段が抽出した前記対応画像のそれぞれにおいて、前記移動体外部における絶対位置が同一座標となる点からなる対応領域を推定する対応領域推定手段と、
前記対応領域推定手段により推定された前記撮影画像及び前記対応画像のそれぞれにおける前記対応領域同士が画像上において同一座標を占めるように、前記撮影画像及び前記対応画像の少なくとも一方を変換する画像変換手段と、
前記画像変換手段が少なくとも一方を変換した前記撮影画像及び前記対応画像を比較し、前記撮影画像における前記対応画像との差異が閾値より大きい領域である誤差領域を抽出する誤差領域抽出手段と、
を備えた画像処理装置。
前記画像変換手段は、前記対応領域推定手段により推定された前記撮影画像及び前記対応画像のそれぞれにおける前記対応領域同士が前記対応画像上において同一座標を占めるように前記撮影画像を変換する、請求項２に記載の画像処理装置。
前記撮影画像取得手段が異なる時刻に取得した複数の前記撮影画像のそれぞれにおいて、前記移動体外部における絶対位置が同一座標となる点同士を対応付ける画像対応付手段と、
前記画像対応付け手段が対応付けた複数の前記撮影画像のそれぞれにおける点同士の画素値から、前記移動体外部の前記背景画像における前記点に対応する座標での画素値を推定する画素値推定手段と、
前記画素値推定手段が推定した画素値により前記移動体外部の前記背景画像を生成する背景画像生成手段と、
を備えた請求項１又は２に記載の画像処理装置。
前記撮影画像取得手段が異なる時刻に取得した複数の前記撮影画像のそれぞれにおいて、画像上の一部を占める領域を設定する領域設定手段をさらに備え、
前記画像対応付手段は、前記領域設定手段が設定した領域内において、前記移動体外部における絶対位置が同一座標となる点同士を対応付ける、請求項３に記載の画像処理装置。
前記移動体が移動中であるか否かを判定する運動判定手段をさらに備え、
前記画像対応付手段は、前記運動判定手段が前記移動体を移動中であると判定した場合に、前記撮影画像取得手段が取得した複数の前記撮影画像のそれぞれにおいて、前記移動体外部における絶対位置が同一座標となる点同士を対応付ける、請求項３又は４に記載の画像処理装置。
前記撮影画像取得手段が連続する時刻に取得した２つの前記撮影画像のそれぞれにおいて、前記画像対応付け手段が対応付けた点の画素値の差が閾値以上である一対の画素値を抽出する変動大画素値対抽出手段をさらに備え、
前記画素値推定手段は、前記変動大画素値対抽出手段が抽出した前記一対の画素値以外の画素値から、前記移動体外部の背景画像における当該座標の画素値を推定する、請求項３〜５のいずれか１項に記載の画像処理装置。
前記撮影画像取得手段が異なる時刻に取得した複数の前記撮影画像のそれぞれにおいて、前記画像対応付け手段が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以上である画素値を抽出する変動大画素値抽出手段をさらに備え、
前記画素値推定手段は、前記変動大画素抽出手段が抽出した点の画素値以外の画素値から、前記移動体外部の背景画像における当該座標の画素値を推定する、請求項３〜６のいずれか１項に記載の画像処理装置。
前記撮影画像取得手段が異なる時刻に取得した複数の前記撮影画像において、前記画像対応付け手段が対応付けた点の画素値のそれぞれの中で当該画素値の平均値との差が閾値以下である画素値を抽出する変動小画素値抽出手段と、
前記撮影画像のそれぞれの画像上における前記変動小画素値抽出手段が抽出した画素値に係る点であって前記点同士の画像上における距離が閾値以下であり且つ前記点同士の画素値の差が閾値以下である点同士を連結している点として判定する連結判定手段と、
前記連結判定手段が連結している点として判定した点からなる領域の大きさが閾値以上であるか否かを判定する連結領域判定手段と、
をさらに備え、
前記画素値推定手段は、前記連結領域判定手段が閾値以上の大きさの領域であると判定した領域の点の画素値から、前記移動体外部の背景画像における当該座標の画素値を推定する、請求項３〜７のいずれか１項に記載の画像処理装置。
前記画像対応付け手段が対応付けた複数の前記撮影画像のそれぞれにおける点同士の画素値と、予め設定した前記移動体外部の背景画像のモデルにおける前記点に対応する座標での画素値とを比較するモデル当てはめ手段をさらに備え、
前記画素値推定手段は、前記モデル当てはめ手段が前記モデルに当てはまると判定した画素値から、前記移動体外部の背景画像における当該座標の画素値を推定する、請求項３〜８のいずれか１項に記載の画像処理装置。
前記画像対応付け手段が対応付けた複数の前記撮影画像のそれぞれにおける点同士の画素値に基づいて、前記撮影画像が取得された時刻以外の時刻における前記点の画素値を推定する画素値分布推定手段をさらに備え、
前記モデル当てはめ手段は、前記画像対応付け手段が対応付けた複数の前記撮影画像のそれぞれにおける点同士の画素値と、前記画素値分布推定手段が推定した画素値と、予め設定した前記移動体外部の背景画像のモデルにおける前記点に対応する座標での画素値とを比較する、請求項９に記載の画像処理装置。
前記画像対応付け手段が対応付けた複数の前記撮影画像のそれぞれにおける点の画素値において同じ値の画素値の出現頻度を判定する画素値出現頻度判定手段をさらに備え、
前記画素値推定手段は、画素値出現頻度判定手段が判定した画素値の出現頻度が閾値以上の画素値から、前記移動体外部の背景画像における当該座標の画素値を推定する、請求項３〜１０のいずれか１項に記載の画像処理装置。
前記背景画像記憶手段に予め記憶された前記移動体外部の複数の背景画像同士の中から、背景画像同士で重複した領域が最小限となる複数の前記背景画像からなる基底背景画像セットを作成する基底背景画像セット作成手段をさらに備え、
前記背景画像記憶手段は、基底背景画像セット作成手段が作成した前記基底背景画像セットに含まれる前記背景画像を記憶する、請求項１〜１１のいずれか１項に記載の画像処理装置。
前記基底背景画像セット作成手段が作成した前記基底背景画像セットに含まれる前記背景画像を、前記撮影画像に対応するように近似変換処理をして前記対応画像を作成する近似手段をさらに備え、
前記誤差領域抽出手段は、前記撮影画像と前記近似手段により近似変換処理をして作成された前記対応画像とを比較し、前記撮影画像における前記対応画像との差異が閾値より大きい領域である誤差領域を抽出する、請求項１２に記載の画像処理装置。