JP4042750B2 - 画像処理装置、コンピュータプログラム、及び画像処理方法 - Google Patents

Description

本発明は、二つの撮像装置で撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像の取得周期の同期ずれを算出して撮像画像を処理する画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法に関する。

ステレオカメラ、二つの専用ビデオカメラ、又は二つの携帯電話カメラなどで撮像した撮像画像に基づいて、車両、人、動物などの撮像対象の三次元位置を算出して、車両、人、動物などの動きを認識又は監視するシステム（例えば、交通管制システム、防犯監視システムなど）が実用化されている。

これらのシステムでは、２つのビデオカメラの撮像時点を同期させて撮像し、撮像して得られた撮像画像夫々において、撮像対象に対応する特徴点を抽出し、抽出した特徴点の座標に基づいて、撮像対象の三次元位置を算出する。

しかしながら、従来のシステムにあっては、２つのビデオカメラで撮像して得られた撮像画像を同期させて取得するためには、同期回路が必要となり、画像処理装置のコストが高くなる。また、撮像画像の取得周期が当初同期している場合であっても、経年変化などにより同期がずれる場合もあった。さらに、取得周期の同期がなされていない２つのビデオカメラを用いて、撮像対象の三次元位置を算出することはできなかった。

本発明は、斯かる事情に鑑みてなされたものであり、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線との交点に基づいて、前記第１撮像画像で前記第３特徴点に対応する対応点を特定し、前記第１特徴点、第２特徴点、対応点、及び異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することにより、撮像画像の取得周期の同期が取れていない場合に、同期ずれを算出することができる画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法を提供することを目的とする。

また、本発明の他の目的は、複数の取得周期に亘って算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる画像処理装置を提供することにある。

また、本発明の他の目的は、複数の撮像対象毎に算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる画像処理装置を提供することにある。

また、本発明の他の目的は、算出された平面と直線との間の角度を算出し、複数の取得周期に亘って同期ずれを複数回算出する都度、算出した角度に対応する重み付け値を、算出した同期ずれに乗じて重み付けした同期ずれを算出することにより、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる画像処理装置を提供することにある。
また、本発明の他の目的は、算出された平面と直線との間の角度を算出し、複数の撮像対象毎に同期ずれを複数回算出する都度、算出した角度に対応する重み付け値を、算出した同期ずれに乗じて重み付けした同期ずれを算出することにより、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる画像処理装置を提供することにある。

また、本発明の他の目的は、異なる撮像時点の第１撮像画像で撮像対象に対応する第４特徴点及び第５特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第６特徴点を抽出し、前記第４特徴点及び第５特徴点の座標、前記第１撮像画像の撮像周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出し、該対応点の座標及び前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出することにより、撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる画像処理装置を提供することにある。

また、本発明の他の目的は、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線との交点に基づいて、前記撮像対象の三次元位置を算出することにより、夫々の撮像装置で撮像された撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、及び画像処理方法を提供することにある。

また、本発明の他の目的は、異なる撮像時点の第１撮像画像で撮像対象に対応する特徴点を抽出し、抽出された特徴点に基づいて、前記撮像対象が略直線移動するか否かを判定することにより、確実に同期ずれを算出することができる画像処理装置を提供することにある。

第１発明に係る画像処理装置は、二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、該抽出手段は、異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定する特定手段と、前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段とを備えることを特徴とする。

第２発明に係る画像処理装置は、第１発明において、前記同期ずれ算出手段は、複数の取得周期に亘って前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする。

第３発明に係る画像処理装置は、第１発明において、前記同期ずれ算出手段は、複数の撮像対象毎に前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする。

第４明に係る画像処理装置は、第１発明において、前記平面算出手段で算出された平面及び前記直線算出手段で算出された直線の間の角度を算出する角度算出手段と、前記角度に応じた重み付け値を記憶する記憶手段とを備え、前記同期ずれ算出手段は、複数の取得周期に亘って前記同期ずれを複数回算出するように構成してあり、前記同期ずれを算出する都度、前記角度算出手段で算出した角度に対応する重み付け値を算出した同期ずれに乗じ、重み付けした同期ずれを算出するように構成してあることを特徴とする。
また、第５明に係る画像処理装置は、第１発明において、前記平面算出手段で算出された平面及び前記直線算出手段で算出された直線の間の角度を算出する角度算出手段と、前記角度に応じた重み付け値を記憶する記憶手段とを備え、前記同期ずれ算出手段は、複数の撮像対象毎に前記同期ずれを複数回算出するように構成してあり、前記同期ずれを算出する都度、前記角度算出手段で算出した角度に対応する重み付け値を算出した同期ずれに乗じ、重み付けした同期ずれを算出するように構成してあることを特徴とする。

第６発明に係る画像処理装置は、第１発明乃至第５発明のいずれかにおいて、前記抽出手段は、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第４特徴点及び第５特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第６特徴点を抽出し、前記第１撮像画像での前記第４特徴点及び第５特徴点の座標、前記取得周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出するようにしてあり、前記第１撮像画像での前記対応点の座標及び前記第２撮像画像での前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出する三次元位置算出手段を備えることを特徴とする。

第７発明に係る画像処理装置は、二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、該抽出手段は、異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段とを備え、算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出するようにしてあることを特徴とする。

第８発明に係る画像処理装置は、第１発明乃至第７発明のいずれかにおいて、前記抽出手段は、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する少なくとも三つの特徴点を抽出し、抽出された特徴点に基づいて、前記撮像対象が略直線移動するか否かを判定する判定手段を備えることを特徴とする。

第９発明に係るコンピュータプログラムは、コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、コンピュータを、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定する特定手段と、前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段として機能させることを特徴とする。

第１０発明に係るコンピュータプログラムは、コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、コンピュータを、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、前記第１特徴点、第２特徴点、及び前記第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出する三次元位置算出手段として機能させることを特徴とする。

第１１発明に係る画像処理方法は、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理する画像処理方法において、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出し、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出し、算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定し、前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出し、算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することを特徴とする。

第１２発明に係る画像処理方法は、二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理方法において、第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２の撮像装置で撮像して得られた第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出し、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出し、算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出することを特徴とする。

第１発明、第９発明及び第１１発明にあっては、移動する撮像対象を第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像（例えば、取得周期をΔとすると、撮像時点が時刻ｔ及び時刻ｔ＋Δの第１撮像画像）で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２の撮像装置で撮像して得られた第２撮像画像（例えば、第１撮像画像との取得周期の同期ずれをδとすると、撮像時点が時刻ｔ＋δの第２撮像画像）で前記撮像対象に対応する第３特徴点を抽出する。特徴点は、撮像画像の画素が有する輝度、色相、彩度のうちの少なくとも１つ以上に基づいてエッジを抽出することに抽出する。抽出された第１特徴点及び第２特徴点の座標位置、並びに前記第１の撮像装置のレンズ中心の座標位置の３点により定まる平面を算出する。抽出された第３特徴点の座標位置及び前記第２の撮像装置のレンズ中心の座標位置の２点により定まる直線を算出する。前記特定手段は、算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定する。特定された対応点は、時刻ｔ+δに撮像したならば得られる第１撮像画像での撮像対象に対応する特徴点となる。前記第１撮像画像での前記第１特徴点と対応点との第１距離と、前記第１撮像画像での前記第１特徴点と第２特徴点との第２距離との比は、同期ずれδと取得周期Δとの比に略等しい。前記第１距離、第２距離、前記異なる撮像時点の時間差（取得周期Δ）に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれδを算出する。

第２発明にあっては、複数の取得周期に亘って前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出する。撮像対象の移動速度が小さい場合であっても、所定の時間に亘って同期ずれを算出する。

第３発明にあっては、複数の撮像対象（例えば、一つの車両における複数の注目点、又は複数の車両など）毎に前記同期ずれを複数回算出し、算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出する。

第４発明にあっては、複数の取得周期に亘って同期ずれを複数回算出する場合に、その都度算出される平面と直線との間の角度を算出する。角度の大小に応じて重み付け値を定めておき、算出された複数の同期ずれに前記角度に応じた重み付け値を乗じる。前記平面と直線との間の角度が小さいほど、同期ずれδの変動に対する第１撮像画像での対応点の位置が大きく変動するため、前記対応点に基づいて算出される同期ずれの値の誤差が大きくなる。前記角度に応じて算出された同期ずれに重み付けをすることにより、誤差の大きい値を除外し、誤差の少ない値を頻度多く用いる。
また、第５発明にあっては、複数の撮像対象毎に同期ずれを複数回算出する場合に、その都度算出される平面と直線との間の角度を算出する。角度の大小に応じて重み付け値を定めておき、算出された複数の同期ずれに前記角度に応じた重み付け値を乗じる。前記平面と直線との間の角度が小さいほど、同期ずれδの変動に対する第１撮像画像での対応点の位置が大きく変動するため、前記対応点に基づいて算出される同期ずれの値の誤差が大きくなる。前記角度に応じて算出された同期ずれに重み付けをすることにより、誤差の大きい値を除外し、誤差の少ない値を頻度多く用いる。

第６発明にあっては、異なる撮像時点の第１撮像画像（例えば、撮像時点が時刻ｔ及び時刻ｔ＋Δの第１撮像画像）で撮像対象に対応する第４特徴点及び第５特徴点を抽出し、 前記第２撮像画像（例えば、撮像時点が時刻ｔ＋δの第２撮像画像）で前記撮像対象に対応する第６特徴点を抽出する。抽出した第４特徴点及び第５特徴点の前記第１撮像画像での座標、該第１撮像画像の取得周期Δ、並びに算出された同期ずれδに基づいて、前記第６特徴点に対応する対応点を算出する。例えば、前記対応点は、取得周期Δから同期ずれδを減じた値に前記第４特徴点の座標を乗じた第１値と、同期ずれδに前記第５特徴点の座標を乗じた第２値とを加算した値を取得周期Δで除することにより算出する。算出された対応点の前記第１撮像画像での座標及び前記第６特徴点の前記第２撮像画像での座標に基づいて、前記撮像対象の三次元位置を算出する。

第７発明、第１０発明及び第１２発明にあっては、移動する撮像対象を第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像（例えば、取得周期をΔとすると、撮像時点が時刻ｔ及び時刻ｔ＋Δの第１撮像画像）で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、第２の撮像装置で撮像して得られた第２撮像画像（例えば、第１撮像画像との取得周期の同期ずれをδとすると、撮像時点が時刻ｔ＋δの第２撮像画像）で前記撮像対象に対応する第３特徴点を抽出する。特徴点は、撮像画像の画素が有する輝度、色相、彩度のうちの少なくとも１つ以上に基づいてエッジを抽出することに抽出する。抽出された第１特徴点及び第２特徴点の座標位置、並びに前記第１の撮像装置のレンズ中心の座標位置の３点により定まる平面を算出する。抽出された第３特徴点の座標位置及び前記第２の撮像装置のレンズ中心の座標位置の２点により定まる直線を算出する。算出された平面と直線との交点は、第２の撮像装置で時刻ｔ＋δに撮像された撮像対象の位置であり、第１の撮像装置で時刻ｔ＋δに撮像された場合の前記撮像対象の位置である。すなわち、前記交点は、第１の撮像装置及び第２の撮像装置で、同時刻ｔ＋δに撮像したならば得られる撮像対象の三次元位置となる。

第８発明にあっては、異なる撮像時点の第１撮像画像で共通の撮像対象に対応する少なくとも三つの特徴点を抽出する。抽出した二つの特徴点で定められる直線と、他の一つの特徴点との距離を所定の閾値と比較し、前記距離が閾値以下の場合は、前記撮像対象が略直線移動すると判定する。

第１発明、第９発明及び第１１発明にあっては、撮像時点が異なる二つの第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第１撮像画像との間で同期ずれが生じている第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、抽出された第１特徴点及び第２特徴点の座標位置、並びに前記第１の撮像装置のレンズ中心の座標位置の３点により定まる平面と、抽出された第３特徴点の座標位置及び前記第２の撮像装置のレンズ中心の座標位置の２点により定まる直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定し、前記第１特徴点、第２特徴点、対応点、及び第１撮像画像の撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することにより、撮像画像の取得周期の同期が取れていない場合に、同期ずれを算出することができる。

第２発明にあっては、複数の取得周期に亘って算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、撮像対象の移動速度に拘わらず、同期ずれを精度良く算出することができる。

第３発明にあっては、複数の撮像対象毎に算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる。

第４発明にあっては、複数の取得周期に亘って同期ずれを複数回算出する都度前記平面と直線との間の角度を算出し、算出した角度に応じた重み付け値を算出された同期ずれに乗じて同期ずれに重み付けをすることにより、誤差の大きい値を除外し、誤差の少ない値を頻度多く用いることができ、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる。
また、第５発明にあっては、複数の撮像画像毎に同期ずれを複数回算出する都度前記平面と直線との間の角度を算出し、算出した角度に応じた重み付け値を算出された同期ずれに乗じて同期ずれに重み付けをすることにより、誤差の大きい値を除外し、誤差の少ない値を頻度多く用いることができ、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる。

第６発明にあっては、抽出した第４特徴点及び第５特徴点の座標、前記第１撮像画像の撮像周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出し、該対応点の座標及び前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出することにより、撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。

第７発明、第１０発明及び第１２発明にあっては、撮像時点が異なる二つの第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、前記第１撮像画像との間で同期ずれが生じている第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面と、前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線との交点に基づいて、前記撮像対象の三次元位置を算出することにより、撮像画像の取得周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。

第８発明にあっては、撮像対象が略直線移動するか否かを判定し、前記撮像対象が略直線移動する場合に、同期ずれを算出することにより、確実に同期ずれを算出することができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る画像処理装置の概要を示す模式図である。図において、１及び２は車両、歩行者などの撮像対象を撮像するビデオカメラである。ビデオカメラ１、２夫々は、略同一高さであって水平方向に適長の距離を隔てて道路付近に設置されてあり、道路付近の共通する撮像対象を撮像するようにしてある。ビデオカメラ１、２には画像処理装置３を接続してある。

ビデオカメラ１、２夫々は撮像周期Δが略３３ｍｓ（又はその整数倍）であり、毎秒３０フレームの割合で１フレーム分の撮像画像を撮像する。ビデオカメラ１、２は、撮像して得られた画像データを画像処理装置３へ送信する。また、ビデオカメラ１、２の撮像時点は同期しておらず、ビデオカメラ１に対してビデオカメラ２は、同期ずれδ（最大で略撮像周期Δに等しい値）を有する。

インタフェース部３１は、ビデオカメラ１、２に対する指令の転送、ビデオカメラ１、２からの画像データの転送などを行い、ビデオカメラ１、２から入力された画像データを第１画像メモリ３２、第２画像メモリ３３にフレーム単位で夫々記憶する。画像処理装置３は、ビデオカメラ１、２各々で撮像して得られた第１撮像画像及び第２撮像画像を毎秒３０フレームの割合、すなわち、撮像周期Δに等しい取得周期Δで取得するが、第１撮像画像と第２撮像画像との取得時点は同期しておらず、同期ずれδ（最大で略取得周期Δに等しい値）を有しながら取得した第１撮像画像及び第２撮像画像を、両撮像画像の取得時点（この場合は撮像時点に等しい）とともに画像メモリ３２、３３夫々に記憶する。

図２は画像メモリ３２、３３に記憶された撮像画像を示す概念図である。撮像周期（取得周期）をΔ、ビデオカメラ１、２の撮像時点の同期ずれをδとすると、第１画像メモリ３２は、時刻ｔ、ｔ＋Δ、…に撮像された１フレーム分の第１撮像画像を記憶し、第２画像メモリ３３は、時刻ｔ、ｔ＋Δ、…からδだけずれた時刻ｔ＋δ、ｔ＋Δ＋δ、…に撮像された１フレーム分の第２撮像画像を記憶している。第１撮像画像、第２撮像画像における特徴点Ａt、Ａt+Δ、Ｂt+δについては後述する。

記録部３６は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ３６１が挿入されることにより、ＣＤ−ＲＯＭ３６１に記録されたコンピュータプログラムＰＧをＲＡＭ３４に記憶する。ＣＰＵ３８は、ＲＡＭ３４に記憶されたコンピュータプログラムＰＧを実行する。コンピュータプログラムＰＧは、ＣＰＵ３８で実行されることにより、画像処理装置３の処理を実現する。

具体的には、ＣＤ−ＲＯＭ３６１に記録したコンピュータプログラムＰＧがＲＡＭ３４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ３８で実行することにより、画像処理装置３は、後述する特徴点抽出処理、直線移動判定処理、平面算出処理、直線算出処理、対応点特定処理、距離算出処理、同期ずれ算出処理、角度算出処理、及び三次元位置算出処理などの処理を実現する。

記憶部３７は、コンピュータプログラムＰＧをＣＰＵ３８で実行することにより、算出された同期ずれ、角度算出処理で算出された角度に対応した重み付けなどを記憶している。

入出力部３５は、キーボード、マウス、ディスプレイなどを備え、画像処理装置３に対する入力操作、コンピュータプログラムＰＧの導入操作を行うことができるとともに、画像処理装置３で処理された処理結果の表示などを行う。

特徴点抽出処理は、第１画像メモリ３２に記憶された第１撮像画像の中から、撮像時点（例えば、時刻ｔ、ｔ＋Δ）における第１撮像画像を読み出し、読み出した第１撮像画像夫々の全画素に対して、３×３画素マスクによるＳｏｂｅｌフィルタでエッジを抽出し、抽出したエッジに基づくエッジ画像を生成する。特徴点抽出処理は、生成したエッジ画像を検索し、隣接する画素よりもエッジ強度が大きく、かつ、エッジ強度が所定の閾値以上であるピーク画素を抽出することにより、撮像対象Ｐの時刻ｔの位置Ｐt及び時刻ｔ＋Δの位置Ｐt+Δ夫々に対応する特徴点Ａt、Ａt+Δを抽出する。

特徴点抽出処理は、同様に、第２画像メモリ３３に記憶された第２撮像画像の中から、撮像時点（例えば、時刻ｔ＋δ）における１フレーム分の第２撮像画像を読み出し、読み出した第２撮像画像から同一撮像対象Ｐの時刻ｔ＋δにおける位置Ｐt+δに対応する特徴点Ｂt+δを抽出する。例えば、撮像対象が車両である場合、エッジ画像に基づいて、ナンバープレートの矩形を切り出し、その四隅夫々を特徴点とすることができる。

直線移動判定処理は、少なくとも三つの撮像時点（例えば、時刻ｔ、ｔ＋Δ、ｔ＋２Δ）の第１撮像画像夫々で抽出された同一撮像対象に対応する特徴点（例えば、ナンバープレートの四隅のうちの１点）Ａ１１、Ａ１２、Ａ１３の第１撮像画像での座標に基づき、撮像対象が略直線移動をしているか否かを判定する。具体的には、直線移動判定処理は、特徴点Ａ１１及びＡ１３で定まる直線と、特徴点Ａ１２との距離ｒを算出し、算出した距離ｒが記憶部３７に記憶され、予め定められた閾値ＴＨｒ以下である場合には、撮像対象が略直線移動をするものと判定する。なお、直線移動判定処理は、後述する同期ずれ算出処理で同期ずれを算出する場合に、撮像対象が略直線移動をしているか否かを判定し、略直線移動している場合に、同期ずれ算出処理で同期ずれを算出するようにすることができる。また、後述する三次元位置算出処理で撮像対象の三次元位置を算出する場合に、撮像対象が略直線移動をしているか否かを判定することもできる。

図３は撮像対象の略直線移動を判定する例を示す概念図である。第１撮像画像において、撮像時点が異なる特徴点Ａ１１、Ａ１２、Ａ１３の第１撮像画像での座標に基づき、特徴点Ａ１１及びＡ１３で定まる直線と、特徴点Ａ１２との距離ｒを算出する。距離ｒが小さいほど、撮像対象の移動が略直線であるということができ、算出された距離ｒと予め定められた閾値ＴＨｒとを比較することにより、撮像対象の略直線移動を判定する。

平面算出処理は、撮像時点（例えば、時刻ｔ、ｔ＋Δ）の第１撮像画像で抽出された同一撮像対象に対応する特徴点Ａt、Ａt+Δのカメラ座標における座標と、ビデオカメラ１のレンズ中心との３点で定まる平面Ｓを算出する。この場合、撮像対象の時刻ｔ、ｔ＋Δの位置をＰt、Ｐt+Δとすると、Ｐt、Ｐt+Δ夫々は算出された平面上にある。

直線算出処理は、撮像時点（例えば、時刻ｔ＋δ）の第２撮像画像で抽出された同一撮像対象に対応する特徴点Ｂt+δのカメラ座標における座標と、ビデオカメラ２のレンズ中心との２点で定まる直線Ｌ２を算出する。

また、直線算出処理は、平面Ｓと直線Ｌ２との交点の座標と、ビデオカメラ１のレンズ中心とで定まる直線Ｌ１を算出する。

対応点特定処理は、カメラ座標における第１撮像画面に直線Ｌ１が交差する点の座標を算出し、算出した座標を第１撮像画像における座標に変換することにより、時刻ｔ＋δに撮像された第２撮像画像の特徴点Ｂt+δに対応する第１撮像画像における対応点Ａt+δを特定する。対応点Ａt+δは、時刻ｔ＋δにおいて撮像対象Ｐt+δをビデオカメラ１で撮像したならば得られる第１撮像画像での特徴点である。

図４は特徴点及び対応点の関係を示す説明図である。図において、Ｏ_A、Ｏ_Bは、夫々ビデオカメラ１、２のレンズ中心である。第１撮像画像において、撮像対象Ｐの時刻ｔの位置Ｐt及び時刻ｔ＋Δの位置Ｐt+Δ夫々に対応する特徴点Ａt、Ａt+Δを抽出する。一方、第２撮像画像において、同一撮像対象Ｐの時刻ｔ＋δにおける位置Ｐt+δに対応する特徴点Ｂt+δを抽出する。

撮像対象Ｐの時刻ｔ＋δにおける位置Ｐt+δと、ビデオカメラ１のレンズ中心Ｏ_Aとにより定まる直線が、第１撮像画像面と交差する点は、特徴点Ｂt+δに対応する対応点Ａt+δである。撮像周期Δは比較的短い時間であるため、時刻ｔから時刻ｔ＋Δまでの撮像対象は、略直線上を移動すると考えられ、撮像対象は、位置Ｐt、Ｐt+Δで定まる直線上を移動する。このため、特徴点Ａt、Ａt+Δ、レンズ中心Ｏ_Aで定まる平面と、特徴点Ｂt+δ、レンズ中心Ｏ_Bで定まる直線との交点Ｐt+δは、撮像対象の時刻ｔ＋δでの位置となる。

また、撮像対象の位置Ｐt+δをビデオカメラ１で撮像した場合、直線ＡtＡt+Δ上に撮像点である対応点Ａt+δが得られる。従って、同期ずれδは、δ＝Δ×（線分Ａt+δＡtの長さ／線分Ａt+ΔＡtの長さ）で算出することができる。

距離算出処理は、特徴点Ａt、特徴点Ａt+Δ、対応点Ａt+δの第１撮像画像における座標に基づいて、特徴点Ａtと対応点Ａt+δとの第１距離ｄ１、特徴点Ａtと特徴点Ａt+Δとの第２距離ｄ２を算出する。

同期ずれ算出処理は、距離算出処理で算出された第１距離ｄ１、第２距離ｄ２、及び撮像周期Δに基づいて、同期ずれδ（δ＝Δ×（ｄ１／ｄ２））を算出し、算出した同期ずれδを記憶部３７へ記憶する。

ここで、同期ずれδの算出方法について具体的に説明する。ワールド座標系（例えば、道路の座標系など）を（Ｘ′、Ｙ′、Ｚ′）、第１撮像画像における座標を（ｘ_L、ｙ_L）、第２撮像画像における座標を（ｘ_R、ｙ_R）とすると、数１で表される式が成立する。

ここで、ａ_LX（ｔ＋δ）、ｂ_LX（ｔ＋δ）、ｃ_LX（ｔ＋δ）は、既知の値であるカメラパラメータ（焦点距離、ワールド座標系とカメラ座標系との間のピッチ角、ロール角、ヨー角）、及び撮像時刻がｔ＋δにおける対応点Ａt+δのｘ_L座標の関数であり、ａ_LY（ｔ＋δ）、ｂ_LY（ｔ＋δ）、ｃ_LY（ｔ＋δ）は、既知の値であるカメラパラメータ、及び撮像時刻がｔ＋δにおける対応点Ａt+δのｙ_L座標の関数である。また、ａ_RX（ｔ＋δ）、ｂ_RX（ｔ＋δ）、ｃ_RX（ｔ＋δ）は、カメラパラメータ、及び撮像時刻がｔ＋δにおける特徴点Ｂt+δのｘ_R座標により定まる既知の値であり、ａ_RY（ｔ＋δ）、ｂ_RY（ｔ＋δ）、ｃ_RY（ｔ＋δ）は、カメラパラメータ、及び撮像時刻がｔ＋δにおける特徴点Ｂt+δのｙ_R座標により定まる既知の値である。また、ΔＸ′、ΔＹ′、ΔＺ′は、ビデオカメラ２のビデオカメラ１に対する相対位置であり既知の値である。

また、対応点Ａt+δの座標（ｘ_L、ｙ_L）は、数２で表される式で推定される。数２の式では、撮像時刻ｔ、ｔ＋Δの特徴点の座標は既知の値であるから、対応点Ａt+δの座標（ｘ_L、ｙ_L）は、未知数である同期ずれδの関数となる。

以上から、数１の式（１）、（２）、（３）、（４）は、いずれも未知数であるδ、Ｘ′（ｔ＋δ）、Ｙ′（ｔ＋δ）、Ｚ′（ｔ＋δ）の数式となる。

同期ずれ算出処理は、数１の式（１）、（２）、（３）のδにｋ×Δ／１０００（ｋ＝１、２…１０００）を代入し、Ｘ′（ｔ＋δ）、Ｙ′（ｔ＋δ）、Ｚ′（ｔ＋δ）を算出し、算出したＸ′（ｔ＋δ）、Ｙ′（ｔ＋δ）、Ｚ′（ｔ＋δ）を数１の式（４）に代入して、代入した値が最小値になるδを同期ずれとして算出する。なお、代入するδは、撮像周期Δの１／１０００の整数倍としたが、これに限定されるものではなく、適宜変更することができる。

また、同期ずれ算出処理は、複数の撮像対象（例えば、一つの車両の複数の注目点、又は複数の車両など）について複数回算出された同期ずれ値から同期ずれの平均値、最頻値、中央値などを算出し、算出した同期ずれδを記憶部３７へ記憶する。また、同期ずれ算出処理は、複数の撮像周期（例えば、１秒間、１０秒間など）の間に複数回算出された同期ずれ値から同期ずれの平均値、最頻値、中央値などを算出し、算出した同期ずれδを記憶部３７へ記憶する。

また、同期ずれ算出処理は、平均値、最頻値、中央値などを算出する代わりに、重み付け平均値を算出してもよい。すなわち、同期ずれを算出する都度、角度算出処理で算出された角度に対応する重み付け値を算出された同期ずれ夫々に乗じることにより重み付けをし、重み付けされた同期ずれ値の総和を、夫々の同期ずれに乗じた重み付け値の総和で割ることにより、同期ずれの重み付け平均値を算出し、算出した同期ずれδを記憶部３７へ記憶する。

角度算出処理は、平面算出処理で算出された平面Ｓと、直線算出処理で算出された直線Ｌ２とのなす角度（０〜９０°）を算出する。

図５は同期ずれの重み付けの例を示す説明図である。ビデオカメラ１、２が同じ高さで左右平行に設置されている場合、平面Ｓは、第１撮像画像及び第２撮像画像における走査線を含む水平面と一致するため、平面Ｓと直線Ｌ２とのなす角度αは、走査線を含む水平面と撮像対象の移動方向とのなす角度αで表すことができる。図に示すように、重み付け値は、角度αが０から９０°に変化するに応じて大きい値を設定してある。

角度αが小さい場合は（例えばα１）、同期ずれδの変動に応じて、対応点Ａ２１の位置は移動方向に対して大きく変化する。一方、角度αが大きい場合は（例えばα３）、同期ずれδの変動に応じて、対応点Ａ２３の位置変化は移動方向に対して大きくない。従って、角度αの大小に応じて、同期ずれの重み付けを行うことにより、同期ずれの誤差が大きいものを除外するとともに、誤差が小さいものの度数を増して、算出する同期ずれの精度を良くする。

例えば、対応点Ａ２１、Ａ２２、Ａ２３夫々に対応して算出された同期ずれをδ₂₁、δ₂₂、δ₂₃とし、対応する角度α１、α２、α３が夫々０〜１５°未満、１５〜７５°未満、７５〜９０°の範囲にあるとする。角度が、０〜１５°未満、１５〜７５°未満、７５〜９０°夫々の範囲に対応する重み付け値は、０、１、２である。従って、３つの対応点Ａ２１、Ａ２２、Ａ２３夫々で算出された同期ずれδ₂₁、δ₂₂、δ₂₃夫々に、０、１、２夫々を乗じて重み付けをし、重み付けされた同期ずれ値の総和を、夫々の同期ずれに乗じた重み付け値の総和で割ることにより、同期ずれの重み付け平均値を算出すると、同期ずれの重み付け平均値は、（δ₂₂＋２δ₂₃）／３となる。

三次元位置算出処理は、平面算出処理で算出された平面Ｓと直線算出処理で算出された直線Ｌ２との交点を算出し、該交点の位置を撮像対象の三次元位置として算出する。三次元位置算出処理は、算出した位置に基づいて三次元距離画像などの形式で入出力部３５へ出力する。

三次元位置算出処理は、特徴点抽出処理で抽出された撮像対象Ｐ′の任意の時刻ｔ及び時刻ｔ＋Δに対応する第１撮像画像における特徴点Ａ′t、特徴点Ａ′t+Δ、撮像周期Δ、同期ずれδに基づいて、撮像対象Ｐ′の撮像時刻ｔ＋δに対応する第１撮像画像における対応点Ａ′t+δを、Ａ′t+δ＝｛（Δ―δ）×Ａ′t＋δ×Ａ′t+Δ｝／Δにより算出する。三次元位置算出処理は、特徴点Ａ′t+δ、Ｂ′t+δ、から撮像対象Ｐ′の三次元位置を算出する。

図６はステレオ画像による位置算出の例を示す説明図である。図に示すように、カメラ座標系を（Ｘ、Ｙ、Ｚ）、ビデオカメラ１、２のレンズ中心を夫々Ｏ_A、Ｏ_B、ビデオカメラ１、２の離隔距離をｈ、ビデオカメラ１、２の焦点距離をｆ、第１撮像画像の座標系を（Ｘ_L、Ｙ_L）、第２撮像画像の座標系を（Ｘ_R、Ｙ_R）、特徴点Ａ′t+δの第１撮像画像における座標を（ｘ_L、ｙ_L）、特徴点Ｂ′t+δの第２撮像画像における座標を（ｘ_R、ｙ_R）とすると、三次元位置算出処理は、カメラ座標における撮像対象Ｐ′の位置（ｘ、ｙ、ｚ）を数３で表される式に基づいて算出する。

また、三次元位置算出処理は、数２で表される式に基づいて、ワールド座標系における撮像対象Ｐ′の三次元位置を算出する。

ここで、（ｘ、ｙ、ｚ）は、撮像対象Ｐ′のカメラ座標系における座標、Ｈはビデオカメラ１、２の高さ、θはピッチ角（水平から下方向を正）、（Ｘ′、Ｙ′、Ｚ′）は撮像対象のワールド座標系における座標である。なお、簡単化のため、ヨー角及びロール角は、いずれも０としている。

次に、本発明に係る画像処理装置の処理手順について説明する。図７及び図８は同期ずれ算出の処理手順を示すフローチャートである。画像処理装置３は、第１画像メモリ３２から撮像時点（例えば、時刻ｔ）の第１撮像画像を読み出す（Ｓ１００）。画像処理装置３は、読み出した第１撮像画像で、撮像対象に対応する特徴点Ａtを抽出する（Ｓ１０１）。画像処理装置３は、読み出した第１撮像画像の全画素を終了したか否かを判定し（Ｓ１０２）、全画素を終了した場合（Ｓ１０２でＹＥＳ）、画像処理装置３は、所定数の撮像画像を読み出したか否かを判定する（Ｓ１０３）。所定数の撮像画像を読み出していない場合（Ｓ１０３でＮＯ）、画像処理装置３は、ステップＳ１００以降の処理を続け、異なる撮像時点（例えば、時刻ｔ＋Δ、ｔ＋２Δ）の第１撮像画像を読み出す。

全画素を終了していない場合（Ｓ１０２でＮＯ）、画像処理装置３は、ステップＳ１０１以降の処理を続け、他の撮像対象に対応する特徴点を抽出する。所定数の撮像画像を読み出した場合（Ｓ１０３でＹＥＳ）、画像処理装置３は、異なる撮像時点（例えば、時刻ｔ、ｔ＋Δ、ｔ＋２Δ）の第１撮像画像で、抽出した特徴点（例えば、Ａt、Ａt+Δ、Ａt+2Δ）が略直線上に存在するか否かを判定することにより、撮像対象が略直線移動しているか否かを判定する（Ｓ１０４）。

撮像対象が略直線移動している場合（Ｓ１０４でＹＥＳ）、画像処理装置３は、第２画像メモリ３３から撮像時点が時刻ｔ＋δにおける第２撮像画像を読み出す（Ｓ１０５）。画像処理装置３は、読み出した第２撮像画像で、同一撮像対象に対応する特徴点Ｂt+δを抽出する（Ｓ１０６）。画像処理装置３は、読み出した第２撮像画像の全画素を終了したか否かを判定し（Ｓ１０７）、全画素を終了した場合（Ｓ１０７でＹＥＳ）、画像処理装置３は、特徴点Ａt、Ａt+Δのカメラ座標における座標と、ビデオカメラ１のレンズ中心との３点で定まる平面Ｓを算出する（Ｓ１０８）。全画素を終了していない場合（Ｓ１０７でＮＯ）、画像処理装置３は、ステップＳ１０６以降の処理を続け、第１撮像画像で撮像した他の撮像対象と同一の撮像対象に対応する特徴点を抽出する。

画像処理装置３は、特徴点Ｂt+δのカメラ座標における座標と、ビデオカメラ２のレンズ中心との２点で定まる直線Ｌ２を算出し（Ｓ１０９）、算出された平面Ｓと直線Ｌ２とのなす角度αを算出する（Ｓ１１０）。画像処理装置３は、算出された角度αに基づいて記憶部３７にアクセスし、対応する重み付けを選択する（Ｓ１１１）。

画像処理装置３は、カメラ座標における第１撮像画面に直線Ｌ２が交差する点の座標を算出し、算出した座標を第１撮像画像における座標に変換することにより、時刻ｔ＋δに撮像された第２撮像画像の特徴点Ｂt+δに対応する第１撮像画像における対応点Ａt+δを特定する（Ｓ１１２）。画像処理装置３は、特徴点Ａt、特徴点Ａt+Δ、対応点Ａt+δの第１撮像画像における座標に基づいて、特徴点Ａtと対応点Ａt+δとの第１距離ｄ１、特徴点Ａtと特徴点Ａt+Δとの第２距離ｄ２を算出する（Ｓ１１３）。

画像処理装置３は、算出された第１距離ｄ１、第２距離ｄ２、及び撮像周期Δに基づいて、同期ずれδ（δ＝Δ×（ｄ１／ｄ２））を算出し、算出した同期ずれに選択した重み付け値を乗じ、同期ずれを算出する（Ｓ１１４）。これにより、画像処理装置３は、複数の撮像対象が撮像された場合、夫々の撮像対象毎に同期ずれを算出する。画像処理装置３は、予め定められた全周期終了したか否かを判定する（Ｓ１１５）。一方、撮像対象が略直線移動していない場合（Ｓ１０４でＮＯ）、画像処理装置３は、ステップＳ１１５以降の処理を続ける。

全周期終了していない場合（Ｓ１１５でＮＯ）、画像処理装置３は、ステップＳ１００以降の処理を続ける。全周期終了した場合（Ｓ１１５でＹＥＳ）、画像処理装置３は、複数回算出された同期ずれに基づいて、同期ずれの平均値を算出し（Ｓ１１６）、処理を終了する。

図９は算出した同期ずれに基づいた三次元位置算出の処理手順を示すフローチャートである。画像処理装置３は、第１画像メモリ３２から撮像時点（例えば、時刻ｔ）の第１撮像画像を読み出す（Ｓ２００）。画像処理装置３は、読み出した第１撮像画像で、撮像対象に対応する特徴点Ａ′tを抽出する（Ｓ２０１）。画像処理装置３は、所定数の撮像画像を読み出したか否かを判定する（Ｓ２０２）。所定数の撮像画像を読み出していない場合（Ｓ２０２でＮＯ）、画像処理装置３は、ステップＳ２００以降の処理を続け、異なる撮像時点（例えば、時刻ｔ＋Δ）の第１撮像画像で、同一撮像対象に対応する特徴点（例えば、Ａ′t+Δ）を抽出する。

所定数の撮像画像を読み出した場合（Ｓ２０２でＹＥＳ）、画像処理装置３は、第２画像メモリ３３から撮像時点が時刻ｔ＋δにおける第２撮像画像を読み出し（Ｓ２０３）、読み出した第２撮像画像で、同一撮像対象に対応する特徴点Ｂt+δを抽出する（Ｓ２０４）。画像処理装置３は、記憶部３７から同期ずれ値を読み出し（Ｓ２０５）、特徴点Ａ′t、特徴点Ａ′t+Δ、撮像周期Δ、同期ずれδに基づいて、撮像対象Ｐ′の撮像時刻ｔ＋δに対応する第１撮像画像における対応点Ａ′t+δを、Ａ′t+δ＝｛（Δ―δ）×Ａ′t＋δ×Ａ′t+Δ｝／Δにより算出する（Ｓ２０６）。

画像処理装置３は、特徴点Ａ′t+δ、Ｂ′t+δ、から撮像対象Ｐ′の三次元位置を算出し（Ｓ２０７）、処理を終了する。

同期ずれを算出せずに抽出した特徴点に基づいて撮像対象の三次元位置を算出することも可能である。図１０は三次元位置算出の処理手順を示すフローチャートである。画像処理装置３は、第１画像メモリ３２から撮像時点（例えば、時刻ｔ）の第１撮像画像を読み出す（Ｓ３００）。画像処理装置３は、読み出した第１撮像画像で、撮像対象に対応する特徴点Ｃtを抽出する（Ｓ３０１）。画像処理装置３は、所定数の撮像画像を読み出したか否かを判定する（Ｓ３０２）。所定数の撮像画像を読み出していない場合（Ｓ３０２でＮＯ）、画像処理装置３は、ステップＳ３００以降の処理を続け、異なる撮像時点（例えば、時刻ｔ＋Δ）の第１撮像画像で、同一撮像対象に対応する特徴点（例えば、Ｃt+Δ）を抽出する。

所定数の撮像画像を読み出した場合（Ｓ３０２でＹＥＳ）、画像処理装置３は、第２画像メモリ３３から撮像時点が時刻ｔ＋δにおける第２撮像画像を読み出し（Ｓ３０３）、読み出した第２撮像画像で、同一撮像対象に対応する特徴点Ｅt+δを抽出する（Ｓ３０４）。画像処理装置３は、特徴点Ｃt、Ｃt+Δのカメラ座標における座標と、ビデオカメラ１のレンズ中心との３点で定まる平面Ｓを算出する（Ｓ３０５）。

画像処理装置３は、特徴点Ｅt+δのカメラ座標における座標と、ビデオカメラ２のレンズ中心との２点で定まる直線Ｌ２を算出し（Ｓ３０６）、平面Ｓと直線Ｌ２との交点の位置を撮像対象の三次元位置として算出し（Ｓ３０７）、処理を終了する。

以上説明したように、本発明にあっては、撮像時点が異なる二つの第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、同期ずれが生じている第２撮像画像で同一撮像対象に対応する第３特徴点を抽出し、抽出した第１特徴点、第２特徴点、及びビデオカメラ１のレンズ中心により定まる平面と、第３特徴点及びビデオカメラ２のレンズ中心により定まる直線との交点に基づいて、撮像対象の三次元位置を算出することにより、撮像画像の撮像周期（取得周期）の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。

また、第３特徴点に対応する対応点を特定し、第１特徴点、第２特徴点、対応点、及び撮像周期に基づいて、前記第１撮像画像及び第２撮像画像の同期ずれを算出することにより、撮像画像の撮像周期の同期が取れていない場合に、同期ずれを算出することができる。

また、複数の撮像周期に亘って算出した複数の同期ずれ、又は複数の撮像対象毎に算出した複数の同期ずれの平均値に基づいて同期ずれを算出することにより、同期ずれを精度良く算出することができる。

また、撮像対象の移動方向に応じて、算出した同期ずれに重み付けすることにより、撮像対象の移動方向に拘わらず、同期ずれを精度良く算出することができる。

また、抽出した特徴点の座標、撮像周期、及び算出した同期ずれに基づいて、抽出した特徴点に対応する対応点を算出し、対応点及び特徴点の座標に基づいて、撮像対象の三次元位置を算出することにより、撮像画像の撮像周期の同期が取れていない場合であっても、撮像対象の三次元位置を算出することができる。

上述の実施の形態においては、第１撮像画像における特徴点を抽出する場合に、撮像時点が時刻ｔ、ｔ＋Δでの第１撮像画像を読み出す構成であったが、第１撮像画像の撮像時点は、この時点に限定されるものではない。例えば、時刻ｔ、ｔ＋２Δ、又は時刻ｔ、ｔ＋３Δなどであってもよい。また、第２撮像画像の撮像時点も時刻ｔ＋δに限定されるものではなく、時刻ｔ＋Δ＋δなどであってもよい。また、第１撮像画像、第２撮像画像の区別は便宜上であって、いずれの撮像画像を用いてもよい。

同期ずれの算出は、ビデオカメラの特性、使用場所、使用条件などに応じて、適宜実施することが可能である。これにより、同期ずれが経時変化する場合であっても、同期ずれを把握しつつ、撮像対象の正確な三次元位置を算出することができる。

また、本発明は、道路の交通状況を把握する画像処理システム、防犯監視システム、スポーツ中継などの放送システムなど、複数のビデオカメラを用いて撮像対象を撮像するものであれば、いずれのシステムにおいても適用することが可能である。

上述の実施の形態では、複数回算出した同期ずれから平均値を算出する構成であったが、平均値に限らず、最頻値、中央値などの他の統計値を求めることも可能である。また、撮像対象の移動方向に応じて重み付けを行う構成であったが、複数の撮像対象に基づいて、同期ずれを複数回算出する場合は、夫々の撮像対象の移動方向に応じて、優先順位を設定し、優先順位の最も高いものを用いることにより、同期ずれの精度を向上させることもできる。

上述の実施の形態においては、ビデオカメラを２台備える構成であったが、ビデオカメラの数は２台に限定されるものではなく、撮像周期が同一のビデオカメラを３台以上備える場合であっても、本発明を適用することが可能である。この場合は、任意の２台を選択し、選択したビデオカメラ間の同期ずれを算出することができる。

上述の実施の形態においては、ビデオカメラ１、２の撮像周期は略３３ｍｓであり、第１撮像画像及び第２撮像画像の取得周期も、撮像周期に等しい構成であったが、これに限定されるものではなく、ビデオカメラの撮像周期と、撮像画像の取得周期が異なる構成であってもよい。例えば、ビデオカメラ１の撮像周期、すなわち、フレームレートを毎秒３０フレームとし、ビデオカメラ２のフレームレートを毎秒１５フレームとし、ビデオカメラ１で撮像した第１撮像画像及びビデオカメラ２で撮像した第２撮像画像夫々を毎秒１５フレームで取得する構成であってもよい。

本発明の実施の形態に係る画像処理装置の概要を示す模式図である。 画像メモリに記憶された撮像画像を示す概念図である。 撮像対象の略直線移動を判定する例を示す概念図である。 特徴点及び対応点の関係を示す説明図である。 同期ずれの重み付けの例を示す説明図である。 ステレオ画像による位置算出の例を示す説明図である。 同期ずれ算出の処理手順を示すフローチャートである。 同期ずれ算出の処理手順を示すフローチャートである。 算出した同期ずれに基づいた三次元位置算出の処理手順を示すフローチャートである。 三次元位置算出の処理手順を示すフローチャートである。

符号の説明

１、２ ビデオカメラ
３、画像処理装置
３１ インタフェース部
３２ 第１画像メモリ
３３ 第２画像メモリ
３４ ＲＡＭ
３５ 入出力部
３６ 記録部
３７ 記憶部
３８ ＣＰＵ

Claims (12)

1. 二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、
   第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、
   該抽出手段は、
   異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
   前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、
   前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
   前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、
   算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定する特定手段と、
   前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、
   算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段と
   を備えることを特徴とする画像処理装置。
2. 前記同期ずれ算出手段は、
   複数の取得周期に亘って前記同期ずれを複数回算出し、
   算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする請求項１に記載の画像処理装置。
3. 前記同期ずれ算出手段は、
   複数の撮像対象毎に前記同期ずれを複数回算出し、
   算出した複数の同期ずれの平均値、最頻値、又は中央値の少なくとも一つを含む統計値に基づいて同期ずれを算出するようにしてあることを特徴とする請求項１に記載の画像処理装置。
4. 前記平面算出手段で算出された平面及び前記直線算出手段で算出された直線の間の角度を算出する角度算出手段と、
   前記角度に応じた重み付け値を記憶する記憶手段と
   を備え、
   前記同期ずれ算出手段は、
   複数の取得周期に亘って前記同期ずれを複数回算出するように構成してあり、
   前記同期ずれを算出する都度、前記角度算出手段で算出した角度に対応する重み付け値を算出した同期ずれに乗じ、
   重み付けした同期ずれを算出するように構成してあることを特徴とする請求項１に記載の画像処理装置。
5. 前記平面算出手段で算出された平面及び前記直線算出手段で算出された直線の間の角度を算出する角度算出手段と、
   前記角度に応じた重み付け値を記憶する記憶手段と
   を備え、
   前記同期ずれ算出手段は、
   複数の撮像対象毎に前記同期ずれを複数回算出するように構成してあり、
   前記同期ずれを算出する都度、前記角度算出手段で算出した角度に対応する重み付け値を算出した同期ずれに乗じ、
   重み付けした同期ずれを算出するように構成してあることを特徴とする請求項１に記載の画像処理装置。
6. 前記抽出手段は、
   異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第４特徴点及び第５特徴点を抽出し、
   前記第２撮像画像で前記撮像対象に対応する第６特徴点を抽出し、
   前記第１撮像画像での前記第４特徴点及び第５特徴点の座標、前記取得周期、並びに算出された同期ずれに基づいて、前記第６特徴点に対応する対応点を算出するようにしてあり、
   前記第１撮像画像での前記対応点の座標及び前記第２撮像画像での前記第６特徴点の座標に基づいて、前記撮像対象の三次元位置を算出する三次元位置算出手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理装置において、
   第１の撮像装置及び第２の撮像装置夫々で撮像して得られた第１撮像画像及び第２撮像画像に基づいて、共通の撮像対象に対応する特徴点を抽出する抽出手段を有し、
   該抽出手段は、
   異なる撮像時点の第１撮像画像で前記撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
   前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出するようにしてあり、
   前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
   前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と
   を備え、
   算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出するようにしてあることを特徴とする画像処理装置。
8. 前記抽出手段は、
   異なる撮像時点の第１撮像画像で共通の撮像対象に対応する少なくとも三つの特徴点を抽出し、
   抽出された特徴点に基づいて、前記撮像対象が略直線移動するか否かを判定する判定手段を備えることを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理装置。
9. コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、
   コンピュータを、
   異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、
   前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
   前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、
   算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定する特定手段と、
   前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出する距離算出手段と、
   算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出する同期ずれ算出手段と
   して機能させることを特徴とするコンピュータプログラム。
10. コンピュータに、第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理させるためのコンピュータプログラムにおいて、
    コンピュータを、
    異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点、並びに第２撮像画像で前記撮像対象に対応する第３特徴点を抽出する抽出手段と、
    前記第１特徴点、第２特徴点、及び前記第１の撮像装置のレンズ中心により定まる平面を算出する平面算出手段と、
    前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出する直線算出手段と、
    算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出する三次元位置算出手段と
    して機能させることを特徴とするコンピュータプログラム。
11. 第１の撮像装置及び第２の撮像装置夫々で繰り返し撮像して得られた第１撮像画像及び第２撮像画像を等しい周期で取得し、取得した第１撮像画像及び第２撮像画像を処理する画像処理方法において、
    異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
    前記第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、
    前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出し、
    前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出し、
    算出された平面と直線との交点に基づいて前記第３特徴点に対応する対応点を前記第１撮像画像で特定し、
    前記第１撮像画像での前記第１特徴点及び対応点の第１距離、並びに前記第１特徴点及び第２特徴点の第２距離を算出し、
    算出された第１距離及び第２距離、並びに前記異なる撮像時点の時間差に基づいて、前記第１撮像画像及び第２撮像画像の取得周期の同期ずれを算出することを特徴とする画像処理方法。
12. 二つの撮像装置で繰り返し撮像して得られた撮像画像を等しい周期で取得し、取得した撮像画像を処理する画像処理方法において、
    第１の撮像装置で撮像して得られた異なる撮像時点の第１撮像画像で共通の撮像対象に対応する第１特徴点及び第２特徴点を抽出し、
    第２の撮像装置で撮像して得られた第２撮像画像で前記撮像対象に対応する第３特徴点を抽出し、
    前記第１特徴点、第２特徴点、及び第１の撮像装置のレンズ中心により定まる平面を算出し、
    前記第３特徴点及び第２の撮像装置のレンズ中心により定まる直線を算出し、
    算出された平面と直線との交点に基づいて前記撮像対象の三次元位置を算出することを特徴とする画像処理方法。

Images