JP5867207B2 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。

従来、ステレオカメラにより撮影した２つの画像を用いて、撮影した物体を認識したり、物体までの距離を算出することが知られている。

例えば、特許文献１には、ステレオカメラにより撮影された画像をウインドゥに分割し、ウィンドゥ列毎に物体の左右端の部分である縦エッジ部分を認識して、縦エッジ部分までの距離を測定する車両用路上物体認識装置が開示されている。

また、特許文献２には、画素ブロックに対して算出された距離データの距離分布に基づいて輝度判定閾値を可変設定することにより、距離データ算出対象となる画素ブロックの抽出感度を制御する車外監視装置が開示されている。

しかしながら、画像処理に有効な画素を効率的に画像から抽出することができないという問題があった。

本発明は、上記に鑑みてなされたものであって、画像処理に有効な画素を効率的に画像から抽出することができる画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像を取得する画像取得部と、前記画像の注目画素の画素値と前記注目画素に隣接する隣接画素の画素値との差分を算出する差分算出部と、複数の画素が一方向に並ぶラインを少なくとも１つ含む領域毎に、前記差分が閾値を超える注目画素を前記画像から抽出する画素抽出部と、前記画素抽出部が抽出した注目画素の数を前記領域毎に計数する計数部と、前記画素抽出部が注目画素を次に抽出する前記領域を示す次領域における前記領域毎に予め定められた抽出すべき画素数を示す領域標準数と前記計数部が計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更する閾値変更部と、を有することを特徴とする。

また、本発明は、画像を撮像する撮像部と、前記画像の注目画素の画素値と前記注目画素に隣接する隣接画素の画素値との差分を算出する差分算出部と、複数の画素が一方向に並ぶラインを少なくとも１つ含む領域毎に、前記差分が閾値を超える注目画素を前記画像から抽出する画素抽出部と、前記画素抽出部が抽出した注目画素の数を前記領域毎に計数する計数部と、前記画素抽出部が注目画素を次に抽出する前記領域を示す次領域における前記領域毎に予め定められた抽出すべき画素数を示す領域標準数と前記計数部が計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更する閾値変更部と、を有することを特徴とする。

また、本発明は、画像を取得する工程と、前記画像の注目画素の画素値と前記注目画素に隣接する隣接画素の画素値との差分を算出する工程と、複数の画素が一方向に並ぶラインを少なくとも１つ含む領域毎に、前記差分が閾値を超える注目画素を前記画像から抽出する工程と、抽出した注目画素の数を前記領域毎に計数する工程と、注目画素を次に抽出する前記領域を示す次領域における前記領域毎に予め定められた抽出すべき画素数を示す領域標準数と計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更する工程と、を含むことを特徴とする。

本発明によれば、画像処理に有効な画素を効率的に画像から抽出することができるという効果を奏する。

図１は、実施形態にかかる画像処理システムのハードウェア構成図である。 図２は、実施形態にかかる画像処理システムの機能ブロック図である。 図３は、基準画像と、標準総数、領域標準数及びライン標準数との関係を示す模式図である。 図４は、閾値算出部が閾値を算出するために有する機能を示す機能ブロック図である。 図５は、画像における差分の分布例を示すグラフである。 図６は、第１撮像部及び第２撮像部がそれぞれ撮像した画像における視差を例示する図である。 図７は、図６に示した視差を用いて撮像対象までの距離を算出する原理を示す原理図である。 図８は、画像処理システムが連続して画像を撮像する場合の動作例を示すフローチャートである。 図９は、図８に示した抽出処理の詳細を示すフローチャートである。 図１０は、画像処理システムに対する第１の比較例の動作結果を示す図である。 図１１は、画像処理システムの第１の実施例の動作結果を示す図である。 図１２は、画像処理システムに対する第２の比較例の動作結果を示す図である。 図１３は、画像処理システムに対する参考例の動作結果を示す図である。 図１４は、画像処理システムの第２の実施例の動作結果を示す図である。 図１５は、画像処理システムの第３の実施例の動作結果と第３の比較例の動作結果を示す図である。 図１６は、画像処理システムの第４の実施例を示す図である。

以下に添付図面を参照して、画像処理システムの実施の形態を詳細に説明する。図１は、実施形態にかかる画像処理システム１のハードウェア構成例を示す構成図である。画像処理システム１は、第１撮像部１０、第２撮像部１２及び画像処理部１４を有する。

第１撮像部１０及び第２撮像部１２は、それぞれレンズ及びセンサを備えたカメラである。第１撮像部１０及び第２撮像部１２は、予め定められた間隔でほぼ同じ方向に向けて並べて配置され、例えば予め定められた時間間隔でほぼ同時に撮像対象を連続して撮像するステレオカメラを構成する。なお、図１に示した画像処理システム１は、第１撮像部１０が撮像した画像を基準画像として、第２撮像部１２が撮像した比較画像と基準画像との相関を、後述する方法を用いて計算（評価）するように構成されている。画像処理部１４は、補正量記憶部２０、歪補正部２１ａ,２１ｂ、ＲＡＭ（Random Access Memory）２２、閾値記憶部２３、処理回路２４及びＭＰＵ（Micro-Processing Unit）２５を有する。

補正量記憶部２０は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）からなり、第１撮像部１０及び第２撮像部１２が撮像した画像の歪を補正するために後述する歪補正計算部２１２ａ，２１２ｂが用いる歪補正量データを個別に記憶している。

歪補正部２１ａは、ラインバッファ２１０ａ及び歪補正計算部２１２ａを有する。ラインバッファ２１０ａは、第１撮像部１０が撮像した画像を順次に取得し、記憶する。なお、ラインバッファ２１０ａは、一列に並ぶ画素からなるライン毎に画像を一時記憶するように構成されている。

歪補正計算部２１２ａは、例えば起動時に補正量記憶部２０が記憶する歪補正量データを読み込む。そして、歪補正計算部２１２ａは、ラインバッファ２１０ａが記憶する画像を順次ピンホール化するように、歪補正量データを用いて画素毎に歪補正する計算を行う。ここで、ラインバッファ２１０ａは、第１撮像部１０から画像を取得するタイミングに対して遅れることなく、歪補正計算部２１２ａにより歪補正された画像を処理回路２４に対して出力する。

歪補正部２１ｂは、ラインバッファ２１０ｂ及び歪補正計算部２１２ｂを有する。ラインバッファ２１０ｂは、第２撮像部１２が撮像した画像を順次に取得し、記憶する。なお、ラインバッファ２１０ｂは、一列に並ぶ画素からなるライン毎に画像を一時記憶するように構成されている。

歪補正計算部２１２ｂは、例えば起動時に補正量記憶部２０が記憶する歪補正量データを読み込む。そして、歪補正計算部２１２ｂは、ラインバッファ２１０ｂが記憶する画像を順次ピンホール化するように、歪補正量データを用いて画素毎に歪補正する計算を行う。ここで、ラインバッファ２１０ｂは、第２撮像部１２から画像を取得するタイミングに対して遅れることなく、歪補正計算部２１２ｂにより歪補正された画像を処理回路２４に対して出力する。

ＲＡＭ２２は、処理回路２４がラインバッファ２１０ａ及びラインバッファ２１０ｂからぞれぞれ受入れた画像、及び処理回路２４の処理結果などを記憶する。閾値記憶部２３は、例えばＥＥＰＲＯＭからなり、後述する閾値４０６（初期値）を記憶する。

処理回路２４は、対象画素抽出部２４０、ＤＭＡＣ（Direct Memory Access Controller）２４１、抽出結果保持部２４２、ラインバッファ２４３，２４４及び相関計算実行部２４５を有する。

対象画素抽出部２４０は、閾値記憶部２３が記憶する閾値４０６（初期値）を読み込み、ラインバッファ２１０ａから基準画像を受入れる。次に、対象画素抽出部２４０は、閾値４０６（初期値又は後述する変更値）を用いて、相関計算実行部２４５が実行する相関計算（後述するＳＳＤなど）の対象画素を基準画像から抽出し、抽出結果をＤＭＡＣ２４１に対して出力する。なお、対象画素抽出部２４０が抽出した相関計算の対象画素（抽出結果）は、基準画像における画素位置によって特定される。また、対象画素抽出部２４０は、ＭＰＵ２５の制御に応じて異なる処理を行うように構成されてもよい。

ＤＭＡＣ２４１は、ダイレクトメモリアクセスを行うコントローラであり、ラインバッファ２１０ａから基準画像を受け入れ、ラインバッファ２１０ｂから比較画像を受入れ、対象画素抽出部２４０から抽出結果を受入れて、基準画像、比較画像及び抽出結果をＲＡＭ２２に記憶させる。また、ＤＭＡＣ２４１は、基準画像をラインバッファ２４３に対して出力し、比較画像をラインバッファ２４４に対して出力する。また、ＤＭＡＣ２４１は、抽出結果を抽出結果保持部２４２に対して出力する。さらに、ＤＭＡＣ２４１は、相関計算実行部２４５から受入れた後述する相関計算結果をＲＡＭ２２に記憶させる。

抽出結果保持部２４２は、図示しないラインバッファを含み、抽出結果を画像単位で一時保持し、抽出結果を相関計算実行部２４５に対して出力する。ラインバッファ２４３は、基準画像を一時記憶し、基準画像を相関計算実行部２４５に対して出力する。ラインバッファ２４４は、比較画像を一時記憶し、比較画像を相関計算実行部２４５に対して出力する。

相関計算実行部２４５は、対象画素抽出部２４０の抽出結果を抽出結果保持部２４２から受入れ、ラインバッファ２４３が記憶する基準画像と、ラインバッファ２４４が記憶する比較画像とを用いて相関計算を実行し、相関計算結果をＤＭＡＣ２４１に対して出力する。具体的には、相関計算実行部２４５は、相関計算の対象画素（基準画像における画素位置）のみについて、例えばＳＳＤ（Sum of Squared Differences）などの手法を用いて、基準画像に対する比較画像の相関計算を行う。相関計算実行部２４５は、ＺＳＳＤ（Zero-mean Sum of Squared Differences）など他の手法を用いて相関計算を行うように構成されてもよい。このように、相関計算実行部２４５は、基準画像の全ての画素に対して相関計算を行うのではなく、対象画素抽出部２４０が抽出した画素のみに対して相関計算を行う。

ＭＰＵ２５は、ＤＭＡＣ２４１を介してＲＡＭ２２が記憶する相関計算結果を受入れ、撮像対象の視差算出、及び撮像対象までの距離算出などの演算を行う。ＭＰＵ２５は、撮像対象の認識処理を行うようにされてもよい。また、ＭＰＵ２５は、画像処理システム１の外部とのインターフェイスとしての機能を有する。例えば、ＭＰＵ２５は、視差算出結果又は距離算出結果などの演算結果を出力する出力部としての機能を有する。また、ＭＰＵ２５は、画像処理システム１を構成する各部を制御する。

次に、画像処理システム１が有する機能について詳述する。図２は、画像処理システム１が有する機能の概要を示す機能ブロック図である。図２に示すように、画像処理システム１は、撮像部３０、画像取得部３２、処理部４、画素情報出力部３４、演算部３６及び演算結果出力部３８を有する。

撮像部３０は、例えば第１撮像部１０及び第２撮像部１２などにより構成されるステレオカメラである。なお、本実施形態においては、画像処理システム１が２つのカメラを有する場合を例に説明するが、画像処理システム１は、１カ所〜複数個所に配置されたカメラによって画像を撮像するように構成されていてもよい。また、画像処理システム１は、カメラが１つの画像を撮像するものであってもよいし、カメラが単位時間あたりに複数フレームの画像を撮像するものであってもよい。

画像取得部３２は、撮像部３０が撮像した画像を取得し、処理部４に対して出力する。処理部４は、設定部４０、差分算出部４１、画素抽出部４２、計数部４３、閾値算出部４４及び閾値変更部４５を有する。

設定部４０は、対象画素抽出部２４０（図１）などに対して予め設定される設定値である標準総数４００、領域標準数４０２及びライン標準数４０４を含む。標準総数４００は、上述した対象画素抽出部２４０が１つの基準画像から抽出する対象画素（画素位置）の総数の標準値である。標準総数４００は、基準画像に対して任意に設定される。

領域標準数４０２は、複数の画素が一方向に並ぶラインを少なくとも１つ含む複数の領域に基準画像を分割した場合に、対象画素抽出部２４０が領域それぞれから抽出する対象画素の数の標準値である。領域標準数４０２は、領域それぞれに対して個別に設定される。

ライン標準数４０４は、複数の画素が一方向に並ぶラインから対象画素抽出部２４０が抽出する対象画素の数の標準値である。ライン標準数４０４は、ラインそれぞれに対して個別に設定される。

図３は、基準画像と、標準総数４００、領域標準数４０２及びライン標準数４０４との関係を模式的に例示する模式図である。基準画像は、例えば図３における左右方向（水平方向）に並ぶ画素からなる複数のラインが上下方向（垂直方向）に並べられて構成されている。基準画像には、例えば最上部のラインの番号を１とし、下方に向けて並ぶラインの番号の数値が順に大きくなるようにｎまでライン番号が付されている。

また、基準画像は、例えば図３における左右方向に並ぶ画素からなるラインを複数含む４つの領域Ａ〜領域Ｄに分割される。領域Ａ〜領域Ｄは、基準画像の上部から下部に向けて順に並べられている。

基準画像には、予め標準総数４００、領域標準数４０２及びライン標準数４０４が設定されている。図３において、基準画像の右側にグラフで示したように、ライン番号１〜ｎの各ラインには、ライン標準数４０４がそれぞれ設定されている。例えば、基準画像は、領域Ｂと領域Ｃの境界（上下方向のほぼ中央）に近いラインほどライン標準数４０４が多くなるように設定される。また、基準画像は、領域Ａ及び領域Ｂにおける各ラインのライン標準数４０４が、領域Ｃ及び領域Ｄにおける各ラインのライン標準数よりも相対的に大きくなるように設定されてもよい。

領域Ａ内に位置する各ラインのライン標準数４０４の合計は、領域Ａの領域標準数４０２となっている。同様に、領域Ｂ〜領域Ｄそれぞれの中に位置する各ラインのライン標準数４０４の合計は、それぞれ領域Ｂ〜領域Ｄの領域標準数４０２となっている。また、領域Ａ〜領域Ｄそれぞれの領域標準数４０２の合計は、標準総数４００になっている。

また、基準画像は、図３における上下方向に並ぶ画素からなる複数のラインが左右方向に並べられた構成でもある。さらに、基準画像は、上下方向に並ぶ画素からなるラインを複数含む複数の領域に分割されてもよい。そして、図３において基準画像の下側にグラフで示したように、ライン番号１〜ｎの各ラインに交差する方向に並ぶ各ラインに対してもライン標準数４０４が個別に設定されてもよい。つまり、交差する２方向の各ラインそれぞれに対してライン標準数４０４が個別に設定されてもよい。

図３に例示した各ライン毎のライン標準数４０４及び各領域ごとの領域標準数４０２は、撮像対象又は撮像環境などに応じて重要となる画像内の範囲に対し、画像処理システム１が抽出する画素が集中するように設定するモデルとして定義されてもよい。例えば、画像処理システム１が、後述するように自動車に積載されて前方の撮像対象までの距離を算出する測距装置に用いられる場合、ライン標準数４０４は各ライン毎に異なる値が設定される。

具体的には、画像処理システム１が撮像する画像内の水平線（又は消失点など）が画像の中央部分に位置する場合には、画像の中央部分に抽出される画素が集中するように、ライン標準数４０４などが設定される。

なお、標準総数４００、領域標準数４０２及びライン標準数４０４は、画像処理システム１の内部において、又は画像処理システム１の外部から変更可能にされてもよい。

また、設定部４０（図２）は、閾値記憶部２３に対して予め設定される閾値４０６の初期値、及び画像処理システム１内で変更される閾値４０６の変更値を含む。閾値４０６は、画素抽出部４２が画素を抽出するか否かを判定するために用いる値である。

差分算出部４１は、基準画像の各画素を順次に注目画素とし、注目画素の画素値（輝度値）と、注目画素に隣接する隣接画素の画素値との差分を順次に算出する。ここで、差分とは、隣接画素の画素値に対する注目画素の画素値の変化の大きさを示す値とする。例えば、画素値の変化に対して１次微分演算した値も差分であるとする。本実施形態においては、差分算出部４１は、ノイズを低減するために、例えば下式１により算出される値を注目画素の画素値の隣接画素の画素値に対する差分とする。また、差分算出部４１は、Ｓｏｂｅｌフィルタなどを用いるように構成されてもよい。

画素抽出部４２は、例えばライン毎に、差分算出部４１が算出した差分が閾値４０６を超える注目画素を基準画像から抽出する。具体的には、画素抽出部４２は、基準画像の例えば左右方向に並ぶ画素からなるライン毎に、各画素の輝度値が閾値４０６を超えるか否かを判定する。画素抽出部４２は、例えば輝度値が閾値４０６を超える画素であるか否かを判定した結果を判定データとして出力する。判定データ（抽出結果）は、例えば１画素毎に相関計算の対象であるか否かを１ｂｉｔで表したデータである。

計数部４３は、画素抽出部４２が抽出した注目画素の数を例えばライン毎に計数する。

閾値算出部４４は、画素抽出部４２が注目画素を次に抽出する例えば次のラインに対して設定されたライン標準数４０４と、計数部４３が計数した注目画素の数との差、及び計数部４３が注目画素の数を直前に計数したラインにおいて差分算出部４１が算出した差分の平均値に応じて、次のラインに対する閾値４０６を算出する。

また、閾値算出部４４が次のラインに対する閾値４０６を算出する算出式は、下式２のように示すこともできる。

閾値４０６（変更値）＝（前ラインにおける差分の平均値）×（重み係数）
・・・（２）

２式に示したように、閾値算出部４４は、前ラインにおける差分の平均値を用いて次のラインに対する閾値４０６を算出することにより、ライン間での急激な閾値４０６の変動を防止する。

図４は、閾値算出部４４が閾値４０６（変更値）を算出するために有する機能の詳細を例示する機能ブロック図である。ここでは、図３に示した基準画像に対する設定などがなされている場合を例に説明する。例えば、次に示すような設定がなされているものとする。

まず、ユーザは、標準総数４００を基準画像の総画素数の４分の１とする設定を行う。つまり、ユーザは、画像処理システム１が基準画像の総画素数の約４分の１の画素を抽出し、基準画像の総画素数の約４分の３の画素を後の処理の対象外にするように設定を行う。また、基準画像は、例えば図３に示した領域Ａ〜領域Ｄの４つの領域に分けられる。

次に、ユーザは、図３の基準画像の右側のグラフに示したように、基準画像の上下方向の中央部分（領域Ｂと領域Ｃの境界近傍）に位置する画素が、基準画像の上部又は下部に位置する画素よりも多く抽出されるように、ライン番号１〜ｎのラインそれぞれにライン標準数４０４を設定する。また、ユーザは、領域Ａ及び領域Ｂ（基準画像の上側半分）における各ラインのライン標準数４０４が、領域Ｃ及び領域Ｄ（基準画像の下側半分）における各ラインのライン標準数よりも相対的に大きくなるように設定する。領域Ａ〜領域Ｄそれぞれの中に位置する各ラインのライン標準数４０４の合計は、それぞれ領域Ａ〜領域Ｄの領域標準数４０２となっている。

図４に示すように、閾値算出部４４は、領域識別部４４０、領域画素数算出部４４１、抽出画素数算出部４４２、重み係数算出部４４３、係数調整部４４４及び次閾値計算部４４５を有する。領域識別部４４０は、現在の基準画像において、注目画素が属するライン番号を示す信号（ライン番号１〜ｎ）を取得し、図３に示した領域Ａ〜領域Ｄのいずれの領域に注目画素が属するかを示す信号（領域Ａ〜領域Ｄ）を抽出画素数算出部４４２に対して出力する。

領域画素数算出部４４１は、直前のラインのライン標準数４０４を取得し、領域Ａ〜領域Ｄそれぞれから抽出されるべき画素数を算出する。領域画素数算出部４４１は、領域Ａ〜領域Ｄそれぞれに対して算出した画素数を示す信号（画素数Ａ〜画素数Ｄ）を抽出画素数算出部４４２に対して出力する。なお、抽出されるべき画素数（画素数Ａ〜画素数Ｄ）は、領域標準数４０２とは異なる場合がある。また、領域画素数算出部４４１は、直前のラインのライン標準数４０４がない場合などには、予め定められた初期値を抽出画素数算出部４４２に対して出力する。

抽出画素数算出部４４２は、領域識別部４４０及び領域画素数算出部４４１それぞれから取得した信号を用いて、予め設定された計算式により、次ラインに抽出すべき画素数（次抽出画素数）を算出する。抽出画素数算出部４４２は、算出した次抽出画素数を重み係数算出部４４３に対して出力する。なお、抽出画素数算出部４４２が算出する次抽出画素数は、ライン標準数４０４とは異なる場合がある。

重み係数算出部４４３は、抽出画素数算出部４４２が算出した次抽出画素数、計数部４３（図２）が計数した注目画素の数（閾値４０６を超えた画素数）、及び予め定められた重み係数の基準値を取得し、次抽出画素数と閾値４０６を超えた画素数との差に応じて、閾値算出に用いる重み係数を算出する。重み係数算出部４４３は、算出した重み係数を係数調整部４４４に対して出力する。なお、重み係数算出部４４３は、抽出画素数算出部４４２から次抽出画素数を取得することに替えて、予め定められた次ラインのライン標準数４０４を直接取得してもよい。つまり、重み係数算出部４４３は、次ラインのライン標準数４０４と閾値４０６を超えた画素数との差に応じて、閾値算出に用いる重み係数を算出してもよい。

例えば、重み係数算出部４４３は、次ラインのライン標準数４０４（又は抽出画素数算出部４４２が算出した次抽出画素数）に対し、計数部４３が計数した注目画素の数（閾値４０６を超えた画素数）が多い場合、閾値４０６が大きくなるように重み係数を算出する。つまり、重み係数算出部４４３は、前ラインで閾値４０６超えた画素数が多い場合には、次ラインで抽出される注目画素の数を少なくするために、閾値４０６が大きくなるように重み係数を算出する。

係数調整部４４４（図４）は、画像取得部３２（図２）が取得した基準画像における前ラインの平均輝度値と、重み係数算出部４４３が算出した重み係数とを取得し、重み係数を調整する演算を行う。

図５は、画像における差分の分布例を示すグラフである。例えば、画像からエッジ検出などに有効な画素を効率的に抽出するためには、図５（ａ）に示すように、画像内で多くの画素の差分が差分の平均値に近い値であることが理想的である。しかし、画像内の平均輝度が低い場合などには、図５（ｂ）に示すように、画像内での差分のばらつきが大きくなってしまう。仮に、図５（ａ）と図５（ｂ）の差分の平均値が同じであっても、閾値４０６を超える画素の数は、差分の分布によって異なる。画像内での差分のばらつきが大きい場合には、閾値４０６の値を大きくすることによって、有効な画素を効率的に抽出することが可能になる。

ここで、係数調整部４４４（図４）は、前ラインの平均輝度値に応じて重み係数を調整している。具体的には、係数調整部４４４は、前ラインの平均輝度値が、予め定められた高輝度値よりも高い場合及び予め定められた低輝度値よりも低い場合のいずれかの場合には、平均輝度値が高輝度値以下であり且つ低輝度値以上である場合よりも、閾値４０６の増減幅が大きくなるように重み係数を調整する。つまり、係数調整部４４４は、差分の小さな不要な画素が過剰に抽出されることを防止する。係数調整部４４４は、調整した重み係数を次閾値計算部４４５に対して出力する。なお、係数調整部４４４は、図５に示した分布などを用いて重み係数を調整するように構成されてもよい。

次閾値計算部４４５は、差分算出部４１（図２）が算出した前ラインの差分の平均値と、係数調整部４４４により調整された重み係数とを取得し、差分の平均値と重み係数の積を計算することにより、次ラインに対して画素抽出部４２が用いる閾値４０６を算出する。

閾値変更部４５（図２）は、閾値算出部４４が算出した閾値４０６を取得し、閾値４０６を変更する。つまり、閾値算出部４４が算出した閾値は、閾値４０６の変更値となる。

画素情報出力部３４は、処理部４が基準画像に対して行った処理結果を受入れ、演算部３６に対して出力する。具体的には、画素情報出力部３４は、基準画像から画素抽出部４２がライン毎に抽出した注目画素を示す抽出結果（判定データ）を演算部３６に対して出力する。即ち、画素情報出力部３４は、相関計算の対象画素（基準画像における画素位置）を演算部３６に対して出力する。

演算部３６は、画素情報出力部３４から判定データを受入れ、画像取得部３２が取得した基準画像及び比較画像を用いて、画像処理演算を行う。例えば、演算部３６は、画素情報出力部３４を介して相関計算の対象画素の画素位置を受入れ、受入れた画素位置によって特定される基準画像の画素と、比較画像の画素との相関計算を例えばＳＳＤなどの手法を用いて行う。ここで、演算部３６は、相関計算の対象画素でない基準画像の画素に対しては相関計算を行わない。

また、演算部３６は、相関計算結果を用いて視差算出及び距離算出を行う。図６は、第１撮像部１０及び第２撮像部１２がそれぞれ撮像した画像における視差を例示する図である。図７は、図６に示した視差を用いて撮像対象までの距離を算出する原理を示す原理図である。

上述したように、第１撮像部１０及び第２撮像部１２が撮像した画像は、それぞれピンホール化するように歪補正される。図７においては、ピンホールカメラを例に挙げて、撮像対象（測定対象物Ｏ）までの距離を算出する原理を説明する。図７に示すように、第１撮像部１０と第２撮像部１２との距離を基線長Ｂ、第１撮像部１０及び第２撮像部１２それぞれの焦点距離をｆ、第１撮像部１０及び第２撮像部１２から測定対象物Ｏまでの距離をＺとする。

第１撮像部１０及び第２撮像部１２の光軸は、互いに平行であり、基線に対して垂直である。第１撮像部１０の撮像面に対し、第２撮像部１２の撮像面には測定対象物Ｏがｐだけずれた位置に映る。このｐは、視差であり、基準画像内のある画素と、相関計算によって対応付けられる比較画像の画素との画素間距離となっている。

ここで、視差の大きさを画素単位で示すために、第１撮像部１０及び第２撮像部１２のセンサのセルサイズをｓｓｉｚｅとすると、画素単位の視差（ｄｐｉｘ）は下式３により算出される。

ｄｐｉｘ＝（Ｂ×ｆ）／（Ｚ×ｓｓｉｚｅ） ・・・（３）

また、１画像分の視差を算出する場合には、下式４に示される算出時間がかかる。

視差算出時間＝算出画素数×１画素の相関計算時間×探索幅＋オーバヘッド
・・・（４）

そして、演算部３６（図２）は、測定対象物Ｏまでの距離Ｚなどの演算結果を演算結果出力部３８に対して出力する。

演算結果出力部３８は、演算部３６の演算結果を受入れ、演算結果を表示する出力又は送信する出力などの予め定められた方法で演算結果を出力する。

なお、画像処理システム１は、撮像部３０、演算部３６及び演算結果出力部３８を有しない構成であってもよい。また、画像処理システム１は、１つの画像から有効な画素を抽出するように構成されてもよい。

次に、画像処理システム１の動作例について説明する。図８は、画像処理システム１が連続して画像（フレーム）を撮像する場合の動作例を示すフローチャートである。図９は、図８に示した抽出処理（Ｓ２０）の詳細を示すフローチャートである。

図８に示すように、ステップ１００（Ｓ１００）において、第１撮像部１０及び第２撮像部１２（撮像部３０）は、撮像対象を撮像する。ＭＰＵ２５は、第１撮像部１０及び第２撮像部１２が撮像対象を撮像すると、Ｓ２００（図９）の処理に進む。

ステップ２００（Ｓ２００：図９）において、画像取得部３２は、第１撮像部１０及び第２撮像部１２が撮像した画像をそれぞれ取得する。

ステップ２０２（Ｓ２０２）において、差分算出部４１は、第１撮像部１０が撮像した基準画像の各画素を順次に注目画素とし、注目画素の画素値（輝度値）と、注目画素に隣接する隣接画素の画素値との差分を順次に算出する。

ステップ２０４（Ｓ２０４）において、画素抽出部４２は、例えばライン毎に、差分算出部４１が算出した差分が閾値４０６を超える注目画素を基準画像から抽出する。

ステップ２０６（Ｓ２０６）において、計数部４３は、画素抽出部４２が抽出した注目画素の数を例えばライン毎に計数する。

ステップ２０８（Ｓ２０８）において、閾値算出部４４は、画素抽出部４２が注目画素を次に抽出する例えば次のラインに対して設定されたライン標準数４０４と、計数部４３が計数した注目画素の数との差、及び計数部４３が注目画素の数を直前に計数したラインにおいて差分算出部４１が算出した差分の平均値に応じて、次のラインに対する閾値４０６を算出する。

ステップ２１０（Ｓ２１０）において、閾値変更部４５は、閾値算出部４４が算出した閾値を受入れ、閾値４０６を変更する。

ステップ２１２（Ｓ２１２）において、ＭＰＵ２５は、基準画像の全ラインに対し、画素の抽出が終了したか否かを判定する。ＭＰＵ２５は、全ラインに対して画素の抽出が終了していないと判定した場合（Ｓ２１２：Ｎｏ）には、Ｓ２０２の処理に進む。また、ＭＰＵ２５は、全ラインに対して画素の抽出が終了したと判定した場合（Ｓ２１２：Ｙｅｓ）には、Ｓ１０２（図８）の処理に進む。

ステップ１０２（Ｓ１０２：図８）において、ＲＡＭ２２は、Ｓ２０の処理で変更した閾値４０６を保存（記憶）する。なお、ＲＡＭ２２は、各ラインに対して変更された全ての閾値４０６をライン毎に記憶する。また、ＲＡＭ２２は、予め定められたラインに対して変更された閾値４０６のみを記憶するように構成されてもよい。ここで、ＲＡＭ２２が記憶した閾値４０６（変更値）は、次のフレームの対応する各ラインから処理部４がそれぞれ対象画素を抽出する処理における閾値４０６の初期値となるように設定される。

ステップ１０４（Ｓ１０４）において、演算部３６は、処理部４が各ラインから抽出した相関計算の対象画素（基準画像における画素位置）と、画像取得部３２が取得した基準画像及び比較画像を用いて、抽出した対象画素に対する視差を算出する。

ステップ１０６（Ｓ１０６）において、Ｓ１０４の処理で算出した視差を用いて、第１撮像部１０及び第２撮像部１２から撮像対象までの距離を算出する。

ステップ１０８（Ｓ１０８）において、ＭＰＵ２５は、予め定められた数の画像を第１撮像部１０及び第２撮像部１２が撮像し終えた場合など、画像処理システム１が撮像を終了する条件が満たされたか否かを判定する。ＭＰＵ２５は、終了する条件が満たされないと判定した場合（Ｓ１０８：Ｎｏ）にはＳ１００の処理に進む。また、ＭＰＵ２５は、終了する条件が満たされたと判定した場合（Ｓ１０８：Ｙｅｓ）には処理を終了する。

次に、画像処理システム１を備えた装置（実施例）の動作結果を比較例と対比させて説明する。

（第１の比較例の動作結果）
図１０は、画像処理システム１に対する第１の比較例の動作結果を示す図である。具体的には、図１０に示した第１の比較例の画像は、ステレオカメラを備えて自動車に積載され、前方の撮像対象までの距離を算出する測距装置の動作結果を示している。

図１０（ａ）は、ステレオカメラが撮像した２枚の画像（例えば図６）において、基準画像の全画素に対して相関計算を行って視差を算出し、視差値の大きさに応じて異なる色を付けた画素を、基準画像の対応する画素位置に配置した図である。即ち、図１０（ａ）は、基準画像上の全ての画素に対する視差を示す第１の比較例の視差マップである。

図１０（ｂ）は、図１０（ａ）に示した視差値を撮像位置から撮像対象（測定対象物）までの距離に換算した結果を示す俯瞰画像である。図１０（ｂ）においては、ｘ軸上に２つの撮像位置がある。また、ｚ軸は、撮像位置から撮像対象までの距離（車両の進行方向）を示す。

図１０（ａ），図１０（ｂ）においては、画像処理に有効でない画素がノイズとして多く含まれており、車両などの物体が塊となって認識されてしまう。なお、図１０（ａ），図１０（ｂ）中の黒色の部分の画素は、隣接画素に対する輝度値の差分が小さいため、視差が不定となっている領域である。また、基準画像上の全画素に対して視差を算出する場合には、上式（４）に示したように、基準画像上の全画素の数に応じた処理時間がかかってしまう。

（第１の実施例の動作結果）
図１１は、画像処理システム１の第１の実施例の動作結果を示す図である。具体的には、図１１に示した第１の実施例の画像は、自動車に積載されて前方の撮像対象までの距離を算出する測距装置に備えられた画像処理システム１の動作結果を示している。なお、第１の実施例においては、例えば各ラインそれぞれのライン標準数４０４は同一に設定されている。

図１１（ａ）は、ステレオカメラが撮像した２枚の画像（例えば図６）において、処理部４が基準画像から抽出した画素に対してのみ相関計算を行って視差を算出し、視差値の大きさに応じて異なる色を付けた画素を、基準画像の対応する画素位置に配置した図である。即ち、図１１（ａ）は、基準画像上の抽出された画素のみに対する視差を示す第１の実施例の視差マップである。

図１１（ｂ）は、図１１（ａ）に示した視差値を撮像位置から撮像対象（測定対象物）までの距離に換算した結果を示す俯瞰画像である。図１１（ｂ）においては、ｘ軸上に２つの撮像位置がある。また、ｚ軸は、撮像位置から撮像対象までの距離（車両の進行方向）を示す。

図１１（ａ），図１１（ｂ）においては、路面上の白線と、撮像対象（車両など）の視差が効率的に算出されていることが示されている。なお、図１１（ａ），図１１（ｂ）中の黒色の部分の画素は、処理部４が基準画像から抽出しなかった画素に対応し、相関計算及び視差算出がなされていない画素に対応する。また、基準画像上の抽出した画素のみに対して視差を算出する場合には、上式（４）に示したように、抽出した画素の数に応じて処理時間が安定的に削減されることになる。

（第２の比較例の動作結果）
図１２は、画像処理システム１に対する第２の比較例の動作結果を示す図である。図１２（ａ）は、ステレオカメラが撮像した２枚の画像（例えば図６）において、視差算出の対象となる画素数を基準画像の全画素の例えば１／４にするために、４画素毎に予め定められた位置の１画素を抽出して算出した視差を示す第２の比較例の視差マップである。第２の比較例では、抽出されなかった３つの画素は、抽出された１つの画素と同じ視差値であると判断されている。

図１２（ｂ）は、図１２（ａ）に示した視差値を撮像位置から撮像対象（測定対象物）までの距離に換算した結果を示す俯瞰画像である。図１２（ｂ）においては、ｘ軸上に２つの撮像位置がある。

基準画像上の全画素の４分の１に対して視差を算出する場合には、上式（４）に示したように、基準画像上の全画素数の処理時間の４分の１に近い時間に処理時間を削減することができる。

しかしながら、図１２（ａ），図１２（ｂ）においては、予め定められた位置の画素を抽出することにより、画像に対する視差算出の処理時間を削減することができても、画像処理に有効でない画素がノイズとして多く含まれており、車両（測定対象物）などの撮像対象がつぶれて認識されてしまう。

（参考例の動作結果）
図１３は、画像処理システム１に対する参考例の動作結果を示す図である。図１３（ａ）は、第２の比較例のように４画素毎に予め定められた位置の１画素を抽出し、抽出した画素からなる画像を基準画像に替えて、処理部４が閾値４０６を超える注目画素を抽出して算出した視差を示す参考例の視差マップである。

図１３（ｂ）は、図１３（ａ）に示した視差値を撮像位置から撮像対象（測定対象物）までの距離に換算した結果を示す俯瞰画像である。図１３（ｂ）においては、ｘ軸上に２つの撮像位置がある。

図１３（ａ），図１３（ｂ）は、画像から均一に間引かれた画素を視差値算出の対象としていることと同じであるため、視差マップの解像度が低くなり、遠方の撮像対象がつぶれて認識されてしまう。

（第２の実施例の動作結果）
図１４は、画像処理システム１の第２の実施例の動作結果を示す図である。第２の実施例は、領域Ａ〜領域Ｄの各ラインごとに異なるライン標準数４０４（図３の右側のグラフ参照）が設定されている点が第１の実施例と異なる。

図１４（ａ）は、異なるライン標準数４０４が設定されて、基準画像上の抽出された画素のみに対する視差を示す第２の実施例の視差マップである。図１４（ｂ）は、図１４（ａ）に示した視差値を撮像位置から撮像対象（測定対象物）までの距離に換算した結果を示す俯瞰画像である。

図１４（ａ），図１４（ｂ）においては、路面上の白線と、撮像対象（車両など）の視差が効率的に算出されていることが示されている。また、第２の実施例においては、図３に示した領域Ｂと領域Ｃの間（上下方向のほぼ中央部）のライン標準数４０４が多くなるように設定されているため、基準画像の上下方向のほぼ中央部に抽出された画素が集中している。一方、図１４（ａ）においては、基準画像の上端側及び下端側で抽出された画素が図１１（ａ）に比べて少なくなっていることが分かる。第２の実施例において、基準画像から抽出した画素の数は、第１の実施例とほぼ同じである。

（第３の実施例と比較例の動作結果）
図１５は、画像処理システム１の第３の実施例の動作結果と第３の比較例の動作結果を示す図である。図１５（ａ）には、第１撮像部１０が撮像した暗い輝度画像（夜間の基準画像）が示されている。図１５（ｂ）は、図１５（ａ）の画像と同時に第２撮像部１２が撮像した画像を用いて、処理部４が基準画像から抽出した画素に対してのみ相関計算を行って視差を算出し、視差値の大きさに応じて異なる色を付けた画素を、基準画像の対応する画素位置に配置した図である。即ち、図１５（ｂ）は、図１５（ａ）の画像から抽出された画素のみに対する視差を示す第３の実施例の視差マップである。

図１５（ｃ）は、図４に示した係数調整部４４４の動作による効果を示すために、係数調整部４４４の機能を停止させて、図１５（ａ）の画像から抽出された画素のみに対して算出された視差を示す第３の比較例の視差マップである。

図１５（ｂ）に示した第３の実施例では、図１５（ｃ）に示した第３の比較例に比べて、抽出されるべき画素が的確に抽出され、夜間における横断歩道の白線及び車両などに対応する画素の視差が良好に算出されていることが示されている。

つまり、画像処理システム１は、閾値変更部４５（図２）が閾値４０６を変更することにより、画像処理に有効な画素を多く抽出し、ノイズとなる画素を多く排除している（Ｓ／Ｎ比が高い）。画像には、例えば車載の測距装置における「空」の画像など、画像処理に有効でない画素が多く含まれる。一方、画像処理に有効でない画素が抽出されるとノイズとなる。

そして、画像処理システム１は、閾値算出部４４が閾値４０６に対する重み係数を変更しているので、昼間と夜間の違いなどの撮像環境の変化に対しても、Ｓ／Ｎ比を高く保っている。さらに、画像処理システム１は、各画像から抽出する画素の数が標準総数４００に近い値に安定的に削減されるため、相関計算などの処理時間が大きく変化することなく、総画素に対する処理も短い処理時間で安定して行う。

このように、画像処理システム１によれば、複数の撮像位置からそれぞれ１つずつ撮像された画像に対し有効な画素を特定する場合、及び複数の撮像位置からそれぞれ複数撮像された画像に対し有効な画素を特定する場合のいずれの場合にも、画像処理に有効な画素を効率的かつ安定的に画像から抽出することができる。また、画像処理システム１は、１つの画像から有効な画素を抽出する場合、及び１つの撮像位置から撮像された複数の画像から有効な画素を特定する場合のいずれの場合にも、画像処理に有効な画素を効率的かつ安定的に画像から抽出することができる。

また、画像処理システム１は、輝度値で示される画像に限定されることなく、例えば印刷画像などに用いられる濃度値などの画素値で示される画像に対しても、画像処理に有効な画素を効率的かつ安定的に画像から抽出することができる。また、画像処理システム１は、ライン毎に画素を抽出して計数し、ライン毎に閾値４０６を変更することに替えて、領域毎（例えば複数ライン毎）に画素を抽出して計数し、領域毎に閾値４０６を変更するように構成されてもよい。

図１６は、画像処理システム１の第４の実施例を示す図である。図１６に示すように、画像処理システム１は、自動車に積載される測距装置などに設けられることに限定されることなく、例えばロボットなどに設けられてもよい。また、画像処理システム１は、監視カメラなどに設けられてもよい。画像処理システム１は、自動車に積載される測距装置では例えば１０〜１００ｆｐｓ（Frames Per Second）、ロボットでは例えば３０〜２００ｆｐｓ、監視カメラでは例えば１〜３０ｆｐｓの画像を処理するように設定される。

即ち、画像処理システム１は、予め定められた時間内に処理を終えることが必要となるリアルタイム処理を行うシステムに対して適用可能である。その他、画像処理システム１は、記憶容量が制限されるシステム、ＭＰＵなどの動作速度が制限されるシステム、通信速度又は通信データ量が制限されるシステムなどにも適用可能である。

１ 画像処理システム
１０ 第１撮像部
１２ 第２撮像部
１４ 画像処理部
２０ 補正量記憶部
２１ａ，２１ｂ 歪補正部
２１０ａ，２１０ｂ ラインバッファ
２１２ａ，２１２ｂ 歪補正計算部
２２ ＲＡＭ
２３ 閾値記憶部
２４ 処理回路
２４０ 対象画素抽出部
２４１ ＤＭＡＣ
２４２ 抽出結果保持部
２４３，２４４ ラインバッファ
２４５ 相関計算実行部
２５ ＭＰＵ
３０ 撮像部
３２ 画像取得部
３４ 画素情報出力部
３６ 演算部
３８ 演算結果出力部
４ 処理部
４０ 設定部
４００ 標準総数
４０２ 領域標準数
４０４ ライン標準数
４０６ 閾値
４１ 差分算出部
４２ 画素抽出部
４３ 計数部
４４ 閾値算出部
４５ 閾値変更部

特開平７−２２５１２７号公報 特開２００９−１６９８４７号公報

Claims (14)

1. 画像を取得する画像取得部と、
   前記画像の注目画素の画素値と前記注目画素に隣接する隣接画素の画素値との差分を算出する差分算出部と、
   複数の画素が一方向に並ぶラインを少なくとも１つ含む領域毎に、前記差分が閾値を超える注目画素を前記画像から抽出する画素抽出部と、
   前記画素抽出部が抽出した注目画素の数を前記領域毎に計数する計数部と、
   前記画素抽出部が注目画素を次に抽出する前記領域を示す次領域における前記領域毎に予め定められた抽出すべき画素数を示す領域標準数と前記計数部が計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更する閾値変更部と、
   を有する画像処理装置。
2. 前記領域は、
   前記一方向に並ぶ複数の画素からなる１つのラインであること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画素抽出部は、
   前記画像から抽出する注目画素の標準総数が予め定められていること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記領域は、
   前記領域標準数が他の前記領域の少なくともいずれかとは異なること
   を特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記領域標準数は、
   前記画像取得部が取得する画像内の予め定められた範囲に含まれる前記領域に対して他の範囲に含まれる前記領域よりも多くなるように定められていること
   を特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記閾値変更部は、
   前記領域標準数と前記計数部が計数した注目画素の数との差、及び前記計数部が注目画素の数を直前に計数した前記領域における前記差分の平均値に基づいて前記閾値を変更すること
   を特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記閾値変更部は、
   前記計数部が注目画素の数を直前に計数した前記領域の各画素の平均画素値が、予め定められた高画素値よりも高い場合及び予め定められた低画素値よりも低い場合のいずれかの場合には、前記平均画素値が前記高画素値以下であり且つ前記低画素値以上である場合よりも、前記閾値の増減幅が大きくなるように前記閾値を変更すること
   を特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記画素値は、
   輝度値であること
   を特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記画像取得部は、
   複数の画像を取得し、
   前記画素抽出部は、
   前記画像取得部が先に取得した画像の前記領域それぞれに対して前記閾値変更部が変更した前記閾値を、前記画像取得部が次に取得した画像における対応する前記領域それぞれに対する前記閾値の初期値とすること
   を特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記計数部は、
    前記一方向に交差する交差方向に並ぶ複数の画素からなるラインを少なくとも１つ含む交差領域毎に、前記差分が閾値を超える注目画素の数をさらに計数し、
    前記閾値変更部は、
    前記交差領域毎に予め定められた抽出すべき画素数を示す交差領域標準数と前記計数部が前記交差領域毎に計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更すること
    を特徴とする請求項９に記載の画像処理装置。
11. 前記画像取得部は、
    複数の異なる撮像位置から撮像された複数の画像を取得し、
    基準画像となる前記画像から前記画素抽出部が抽出した注目画素と、前記基準画像以外の前記画像の画素との相関計算を行う演算部をさらに有すること
    を特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像取得部は、
    複数の異なる撮像位置から撮像された複数の画像を取得し、
    基準画像となる前記画像から前記画素抽出部が抽出した注目画素と、抽出された注目画素に対応する前記基準画像以外の前記画像における画素との画像上の位置の差に基づいて、前記画素抽出部が抽出した注目画素が画像上で示す撮像対象と前記撮像位置との距離を算出する演算部をさらに有すること
    を特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
13. 画像を撮像する撮像部と、
    前記画像の注目画素の画素値と前記注目画素に隣接する隣接画素の画素値との差分を算出する差分算出部と、
    複数の画素が一方向に並ぶラインを少なくとも１つ含む領域毎に、前記差分が閾値を超える注目画素を前記画像から抽出する画素抽出部と、
    前記画素抽出部が抽出した注目画素の数を前記領域毎に計数する計数部と、
    前記画素抽出部が注目画素を次に抽出する前記領域を示す次領域における前記領域毎に予め定められた抽出すべき画素数を示す領域標準数と前記計数部が計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更する閾値変更部と、
    を有する画像処理システム。
14. 画像を取得する工程と、
    前記画像の注目画素の画素値と前記注目画素に隣接する隣接画素の画素値との差分を算出する工程と、
    複数の画素が一方向に並ぶラインを少なくとも１つ含む領域毎に、前記差分が閾値を超える注目画素を前記画像から抽出する工程と、
    抽出した注目画素の数を前記領域毎に計数する工程と、
    注目画素を次に抽出する前記領域を示す次領域における前記領域毎に予め定められた抽出すべき画素数を示す領域標準数と計数した注目画素の数との差に応じて、前記次領域に対する前記閾値を変更する工程と、
    を含むことを特徴とする画像処理方法。