JP7118717B2 - 画像処理装置およびステレオカメラ装置 - Google Patents

Description

本発明は、ステレオカメラ装置に関する。

対象物の三次元位置を推定する手段として、ステレオカメラシステムが知られている。ステレオカメラシステムでは、複数の位置に配置したカメラによって同一対象物を異なる複数の視点から撮像し、複数のカメラでそれぞれ得られた複数の画像における見え方のずれ（所謂、視差）に基づいて対象物までの距離を算出する。また、ステレオカメラシステムでの対象物までの距離の算出では、視差などの情報のほかに、視差オフセットと呼ばれる視差に生じるオフセット状の誤差を考慮する。この視差オフセットは、振動や温度変化によるカメラ等の装置の歪み、ねじ締め時に発生する物理的な負荷などによって経時的に変化するため、対象物までの距離を正確に算出するためには、視差オフセットを校正する必要がある。

車両などの移動体に搭載されるステレオカメラシステムでは、静止物を複数のカメラで撮像した画像から得られる視差に基づいて車両に対する静止物の距離変化を算出し、その距離変化と移動体の移動量とを比較することによって、距離変化と移動量が等しくなるように視差オフセットを算出する校正方法が知られている。しかしながら、この校正方法では、静止物であると判定可能な物体が撮像されたときのみ視差オフセットの算出が可能であり、視差オフセットを校正する機会を十分に確保することができない。

そこで、視差オフセットの校正機会増加を目的とする技術として、例えば、特許文献１には、物体までの距離検出を行うステレオカメラ装置であって、前記装置は、基線長だけ離間して設置された２台のカメラと、前記２台のカメラによって取得された画像から画像上の物体までの距離を計算するための演算手段とを備え、前記演算手段は、前記２台のカメラにより取得された画像の対応点を探索し、対応点の撮像面上の位置座標の差から２つの視差を計算する画像処理手段と、少なくとも２つの時刻において前記画像処理手段により規定された前記２つの視差から前記画像全体に渡って視差オフセット値を計算するオフセット値計算手段と、前記視差オフセット値の分布を統計解析し、校正パラメータとして使用する前記視差オフセット値の最適値を決定する統計処理手段とを備える、ステレオカメラ装置が開示されている。

特開２０１２－８３３３０号公報

しかしながら、上記従来技術においては、複数のカメラで撮像した画像上で検知した特徴点の視差を用いることで移動体の移動距離を算出し、視差オフセットの校正機会を増加させようとしているものの、画像全体について特徴点を追跡して視差を取得しようとすると処理負荷が非常に高くなり、算出コストを考慮すると十分な数の特徴点について視差の取得ができないことが考えられる。また、画像上での特徴点の検知が必ずしも正確に行えるわけではないため、画像上の似た点を特徴点として誤追跡してしまうことで、誤った視差オフセットを算出してしまうことも考えられる。

本発明は上記に鑑みてなされたものであり、視差オフセットの算出精度を確保しつつ、算出コストを低減することができるステレオカメラ装置を提供することを目的とする。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両に配置された複数の撮像部を有する撮像装置と、前記複数の撮像部の間の視差オフセットを補正するための視差オフセット補正量を用い、前記複数の撮像部でそれぞれ撮像された複数の画像に基づいて視差画像を生成する視差画像生成部、及び、前記視差画像に基づいて前記複数の撮像部に対する対象物の相対位置を算出する相対位置算出部を有する画像処理装置とを備えたステレオカメラ装置において、前記画像処理装置は、前記複数の撮像部でそれぞれ撮像された前記複数の画像の特徴点を検出する特徴点検出部と、前記複数の撮像部のそれぞれにおいて異なる時刻に撮像された前記複数の画像の間で前記特徴点を追跡する特徴点追跡部と、前記特徴点追跡部における前記複数の画像に対する前記特徴点の追跡を前記複数の画像の一部の追跡範囲に制限する追跡範囲決定部と、前記異なる時刻の間における前記車両の移動距離と前記特徴点追跡部で追跡した特徴点についての視差とに基づいて、前記複数の撮像部の間の視差オフセットを補正するための視差オフセット補正量を算出する視差オフセット補正量算出部とを備えたものとする。

本発明によれば、視差オフセットの算出精度を確保しつつ、算出コストを低減することができる。

第１の実施の形態に係る本実施の形態に係るステレオカメラ装置のハードウェア構成を示す図である。 第１の実施の形態に係る画像処理装置の処理機能を関連構成とともに抜き出して示す機能ブロック図である。 視差オフセット補正量算出処理の基本原理を説明する図である。 視差オフセット補正部の処理機能を示す機能ブロック図である。 特徴点検出領域決定部の処理機能を示す機能ブロック図である。 特徴点検出領域決定部で排除の対象となる画像中の領域の一例を説明する図である。 特徴点検出領域決定部で排除の対象となる画像中の領域の一例を説明する図であり、視差未算出領域排除部で排除の対象となる領域の一例を示す図である。 特徴点検出領域決定部で排除の対象となる画像中の領域の一例を説明する図であり、視差不安定領域排除部で排除の対象となる領域の一例を示す図である。 特徴点検出領域決定部で排除の対象となる画像中の領域の一例を説明する図であり、特定物体領域排除部で排除の対象となる領域の一例を示す図である。 追跡範囲決定部の処理機能を示す機能ブロック図である。 特徴点追跡部による特徴点の追跡の様子を示す図である。 特徴点追跡部による特徴点の追跡の様子を示す図である。 撮像予想領域算出部における撮像予想領域（探索範囲）の算出方法の一例を模式的に示す図である。 撮像予想領域算出部における撮像予想領域（探索範囲）の算出方法の一例を模式的に示す図である。 第２の実施の形態に係る視差オフセット補正部の処理機能を示す機能ブロック図である。 第２の実施の形態に係る視差オフセット算出判定部の処理機能を示す機能ブロック図である。 視差オフセット補正量算出判定部において視差オフセット補正量算出処理を実行しないと判定する場合の条件の一覧を示す図である。 第３の実施の形態に係る視差オフセット補正量算出判定部の処理機能を示す機能ブロック図である。

以下、本発明の実施の形態について図面を参照しつつ説明する。

＜第１の実施の形態＞
本発明の第１の実施の形態を図１～図１４を参照しつつ説明する。

図１は、本実施の形態に係るステレオカメラ装置のハードウェア構成を示す図である。

図１において、ステレオカメラ装置１００は、左カメラ１１１及び右カメラ１１２の左右一対のカメラ（撮像部）を有するステレオカメラ１１０（撮像装置）と、記憶装置であるリードオンリーメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）などのメモリ１３０とプロセッサである中央処理装置（ＣＰＵ）１４０とから構成される画像処理装置１２０と、ステレオカメラ装置１００と外部のセンサ類や他の装置などの外部装置１６０との間でＣＡＮ（Control Area Network）通信などにより通信を行うためのインタフェース１５０とを備えており、ステレオカメラ１１０、画像処理装置１２０、及び、インタフェース１５０は、互いに情報の授受を行うための通信路であるバスライン１００ａにより接続されている。

本実施の形態においては、ステレオカメラ装置１００は自動車などの車両１（図３等参照）に搭載される車載ステレオカメラ装置であり、外部装置１６０としては、アクセルの開度（すなわち、スロットル開度）、ブレーキの操作量（すなわち、ブレーキペダルの操作量）、ステアリングの操舵角、車速、加速度、温度、湿度などを検出する各種センサ類のほか、車両１の各種動作を制御するＥＣＵ（Electronic Control Unit）などがある。なお、インタフェース１５０を介して取得する各種情報は、ＣＡＮ通信路（ＣＡＮバス）上を流れるエンジン回転や、車速、車輪速、操舵角、スロットル開度などの種々の情報であっても良く、例えば、ＥＣＵが車輪の回転数を検出するセンサなどで得られた情報から車速を演算してＣＡＮ通信路に流した結果を取得しても良い。また、画像処理装置１２０には、図示しないが、例えば、基板上に配置される素子としてのメモリ１３０やＣＰＵ１４０等の温度を検出する素子温度センサが設けられている。

メモリ１３０は、画像処理装置における各種処理に用いる制御プログラムと各種情報とが記憶された記録媒体である。ＣＰＵ１４０は、メモリ１３０に記憶された制御プログラムに従ってインタフェース１５０を介して取り入れた信号に対して所定の演算処理を行い、立体物や路面の検知、対象物２（図３参照）の位置（対象物２までの距離や方向）の算出等を行う。ＣＰＵ１４０による演算結果は、インタフェース１５０を介して外部装置１６０（ＥＣＵなど）に出力され、アクセルやブレーキ、ステアリングなど車両１の各種動作の判断や制御に用いられる。なお、画像処理装置１２０のメモリ１３０（記憶装置）としてＲＯＭ及びＲＡＭという半導体メモリを例示したが、記憶装置であれば特に代替可能であり、例えばハードディスクドライブ等の磁気記憶装置としても良い。

ステレオカメラ１１０が有する複数（本実施の形態では２台）のカメラ（左カメラ１１１及び右カメラ１１２）は、互いの光軸が平行となるように所定の光軸間隔（基線長）で配置されており、それぞれ、ＣＣＤやＣＭＯＳなどのイメージセンサや光学レンズなどにより構成されている。ステレオカメラ１１０は、車載ステレオカメラであり、左カメラ１１１及び右カメラ１１２によって車両１の前方が撮像されるように配置される。

図２は、本実施の形態に係る画像処理装置の処理機能を関連構成とともに抜き出して示す機能ブロック図である。

図２において、画像処理装置１２０は、ステレオカメラ１１０の左カメラ１１１及び右カメラ１１２の視差における誤差（以降、視差オフセットと称する）を補正するための補正量（視差オフセット補正量）を算出して出力する視差オフセット補正部１２１と、左カメラ１１１及び右カメラ１１２でそれぞれ撮像された複数の画像に基づいて、視差オフセット補正量を用いて視差画像（視差を画素値とした画像）を生成する視差画像生成部１２２と、視差画像生成部１２２で生成された視差画像に基づいてステレオカメラ１１０に対する対象物２の相対位置（対象物２までの距離や方向）を算出する距離算出部１２３（相対位置算出部）とを有している。距離算出部１２３で算出された対象物２の相対位置（対象物２までの距離や方向）は、インタフェース１５０を介して外部装置１６０に送られるほか、画像処理装置１２０のメモリ１３０等に記憶される。

視差オフセットとは、視差に生じるオフセット状の誤差である。視差オフセットの値はステレオカメラ１１０を構成する左カメラ１１１及び右カメラ１１２の設置位置によって予め決定されるが、設置後に生じる振動や温度変化による装置の歪み、ねじ締め時に発生する物理的な負荷などによって経時的に変化する。本実施の形態に係る視差オフセット補正部１２１では、視差オフセットの値を適切に補正するための視差オフセット補正量を視差オフセットの経時的変化に応じて算出する。視差画像生成部１２２では、左カメラ１１１及び右カメラ１１２で得られた画像に基づく視差を視差オフセット補正部１２１で算出された視差オフセット補正量を用いて補正することで視差画像を生成することにより、視差画像の精度を向上させる。したがって、視差画像の精度が向上することにより、距離算出部１２３で視差画像を用いて距離を算出する際の誤差の発生を抑制することができるので、対象物の三次元位置を正確に推定することができる。

ここで、本実施の形態における視差オフセット補正量を算出する処理（以降、視差オフセット補正量算出処理と称する）の基本原理について図３を参照しつつ説明する。

図３は、視差オフセット補正量算出処理の基本原理を説明する図である。

図３においては、本実施の形態のステレオカメラ装置１００が搭載される車両１の時刻ｔ１における位置ｓ１と対象物（静止物体）との距離をＬ１、時刻ｔ２における位置ｓ２と対象物（静止物体）との距離を距離Ｌ２とし、時刻ｔ１における車両１の位置ｓ１と時刻ｔ２における車両１の位置ｓ２の距離を移動量ｄｚとしている。なお、ステレオカメラ装置１００の車両１に対する相対位置（取付位置）は既知であるため、ステレオカメラ１１０から対象物２までの距離と車両１から対象物２までの距離とは実質的に同じものとして考える。

本実施の形態のように２台のカメラ（左カメラ１１１及び右カメラ１１２）を用いるステレオカメラ装置１００では、ステレオカメラ１１０（又は車両１）から対象物までの距離Ｚ［ｍｍ］は、下記の（式１）により表される。

上記の（式１）において、ｆ［ｍｍ］は左カメラ１１１及び右カメラ１１２の焦点距離、ｗｉ［ｍｍ／ｐｘ］は画素ピッチ、Ｂ［ｍｍ］は左カメラ１１１と右カメラ１１２の光軸間距離（すなわち、基線長）、ｄ［ｍｍ］は視差、ε［ｐｘ］は視差オフセットをそれぞれ表している。

車両１などの移動体に搭載されたステレオカメラ装置１００では、静止している対象物２（静止物体）の視差に基づいて移動する車両１から対象物２までの距離を算出し、この距離の所定時間における変化（すなわち、対象物の視差に基づく車両１の移動距離）と車両１の移動量（視差以外の情報から得られる車両１の移動距離）とを比較して車両１から対象物２までの距離変化と車両１の移動量とが等しくなるように視差オフセットを選ぶことで、ステレオカメラ１１０の視差オフセットを推定することができる。すなわち、この視差オフセットをキャンセルするように視差オフセット補正量を算出すことにより、視差画像生成部１２２で生成される視差画像の精度を向上させ、距離算出部１２３で距離を算出する際の誤差の発生を抑制することができる。

図３に示した複数（本実施の形態では２つ）の異なる時刻（時刻ｔ１，時刻ｔ２）における視差をそれぞれ視差ｄ１［ｐｘ］，視差ｄ２［ｐｘ］とすれば、視差から算出された車両１から対象物２までの距離変化と車両１の移動量とは下記の（式２）を満たす。

上記の（式２）をε（視差オフセット）について解くことで、視差オフセットを推定することができ、この視差オフセットから視差オフセット補正量を算出する。

図４は、視差オフセット補正部の処理機能を示す機能ブロック図である。

図４において、視差オフセット補正部１２１は、ステレオカメラ１１０の左カメラ１１１及び右カメラ１１２でそれぞれ撮像された複数の画像（ここでは、左カメラ１１１と右カメラ１１２とで同時刻に撮像された２つの画像）について、互いに対応する特徴点を検出する特徴点検出部２２０と、左カメラ１１１及び右カメラ１１２のそれぞれにおいて異なる時刻に撮像された複数の画像の間で特徴点を追跡する特徴点追跡部２４０と、特徴点追跡部２４０における特徴点の追跡の範囲を画像中の一部に制限する（追跡範囲を決定する）追跡範囲決定部２３０と、特徴点追跡部２４０で追跡した特徴点についての視差と、特徴点の追跡を行った異なる時刻間での車両の移動距離とに基づいて視差オフセットを算出する視差オフセット補正量算出部２５０と、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、特徴点検出部２２０で特徴点を検出する領域を画像中の一部に制限する（特徴点検出領域を決定する）特徴点検出領域決定部２１０とを有している。

図５は、特徴点検出領域決定部の処理機能を示す機能ブロック図である。

図５において、特徴点検出領域決定部２１０は、ステレオカメラ１１０の左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれ画像について、視差の得られていない領域を排除する視差未算出領域排除部２１１と、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、視差の精度が低い領域を排除する視差不安定領域排除部２１２と、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、予め定めた特定の物体の領域を排除する特定物体領域排除部２１３とを有している。

特徴点検出領域決定部２１０では、特徴点を検出すべきでない領域を排除する、逆に言えば、特徴点を検出する領域を制限する（すなわち、特徴点を検出する領域（特徴点検出領域）を決定する）ことで処理時間の短縮と精度の向上を図っている。本実施の形態では、三次元的に静止している領域の時系列的な視差変化を用いて視差オフセットの値を推定している。したがって、テクスチャがなく視差を算出できない領域や、視差の精度が低い特定のパターンの領域、移動している物体が撮像されている領域において特徴点検出を行う必要がないため、これらの領域を排除した領域を特徴点を検出する対象となる領域（特徴点検出領域）として決定することで、処理時間の短縮と精度の向上が期待できる。

図６～図９は、特徴点検出領域決定部で排除の対象となる画像中の領域の一例を説明する図である。図６は、特徴点検出領域決定部で扱う画像の一例を示す図である。また図７は図６に示す画像のうち視差未算出領域排除部で排除の対象となる領域の一例を、図８は図６に示す画像のうち視差不安定領域排除部で排除の対象となる領域の一例を、図９は図６に示す画像のうち特定物体領域排除部で排除の対象となる領域の一例をそれぞれ示している。

図７に示すように、視差未算出領域排除部２１１では、画像３００において視差が算出されない領域（視差未算出領域３１１～３１３）を排除する。領域３１１～３１３で例示した排除対象の領域は、画像３００において、例えば、テクスチャがなく視差を算出できない領域である。すなわち、排除対象の領域としては、画像３００中において空などが撮像された領域３１１や、道路などが撮像された領域３１１，３１２が考えられる。なお、視差を算出できない排除対象の領域の選択では、例えば、過去の時点で生成した視差画像において、視差の得られていない領域を選択すれば良い。また、視差を算出する際に得られる左右の画像がどれだけ一致しているかを表すマッチングコストなどの数値を利用し、一致度合いが低い点（画素）は、視差が得られていた場合であっても排除するように構成しても良い。

図８に示すように、視差不安定領域排除部２１２では、画像３００において視差の精度が低い可能性のある領域（視差不安定領域３２１）を排除する。領域３２１で例示した排除対象の領域は、画像３００において、例えば、柵など細かい繰り返しパターンの領域３２１であり、視差画像の生成過程において誤った視差が算出される可能性がある。

図９に示すように、特定物体領域排除部２１３では、画像３００において特定物体が撮像されている領域（特定物体領域３３１～３３３）を排除する。ここでいう特定物体とは、静止していない可能性が高い物体のことである。すなわち、排除対象の領域としては、画像３００中において、移動している可能性が高い車両が撮像された領域３３１，３３２や歩行者が撮像された領域３３３が考えられる。なお、領域３３１～３３３の抽出、すなわち、車両や歩行者などの特定物体の抽出は、例えば、予め保持しているパターンとの適合率で判定を行うパターンマッチングなどの方法により行うことができる。また、上記の特定物体に限らず、例えば、他の特定の物体を検知して追跡した結果、移動していると判断された物体についても排除するようにしても良い。

なお、図６～図９においては、視差未算出領域排除部２１１で排除する視差が算出されない領域３１１～１１３、視差不安定領域排除部２１２で排除する視差の精度が引く可能性のある領域３２１、及び、特定物体領域排除部２１３で排除する特定物体が撮像されている領域３３１～３３３として、それぞれ、排除対象となる領域をある一定の範囲として表現して説明したが、これらの領域は複数画素が連なる領域である必要はなく、１画素単位を領域と考えて視差の有無や精度、特定物体の撮像有無などを判定し、視差未算出領域３１１～１１３、視差不安定領域３２１、又は、特定物体領域３３１～３３３の何れかであるかどうかを判定しても良い。

また、図５においては、特徴点検出領域決定部２１０の処理として、視差未算出領域排除部２１１、視差不安定領域排除部２１２、特定物体領域排除部２１３の順序で処理を行う場合を例示して説明したが、これに限られず、これらの処理機能の順番を入れ替えて特徴点検出領域決定部２１０を構成しても良い。

特徴点検出部２２０は、特徴点検出領域決定部２１０で決定した特徴点検出領域（すなわち、例えば、画像３００のうち、視差未算出領域３１１～１１３、視差不安定領域３２１、及び、特定物体領域３３１～３３３として排除した領域以外の範囲）において、１つ以上の特徴点の検出を行う。特徴点の検出方法としては、例えば、ＦＡＳＴ（Features from Accelerated Segment Test）を用いることができる。ＦＡＳＴは、ある点（画素）について、その周辺画素と比べて異なる輝度を持つかどうかを高速に判定するもので、高速に特徴のある点を見つける手法として良く用いられるものである。

図１０は、追跡範囲決定部の処理機能を示す機能ブロック図である。また、図１１及び図１２は、特徴点追跡部による特徴点の追跡の様子を示す図である。

図１１及び図１２に示すように、特徴点追跡部２４０は、ある時刻ｔ１における画像４１０で撮像された１つ以上の特徴点（ここでは、特徴点ｐ１を例示する）に対応する点を時刻ｔ１よりも後の他の時刻ｔ２における画像４２０上で検知された複数の特徴点から探索し、探索した特徴点ｐ２を特徴点ｐ１と対応付けることにより、特徴点の追跡を行う。なお、本実施の形態においては、１つ以上の特徴点のうち、特徴点ｐ１のみを例示して説明する。

特徴点追跡部２４０での特徴点の追跡においては、時刻ｔ１，ｔ２の画像４１０，４２０間で誤った特徴点を対応付けてしまった場合には、視差オフセット補正部１２１において、誤った視差オフセットを算出してしまう（すなわち、誤った視差オフセット補正量を算出してしまう）ことになるため、撮像時刻ｔ１，ｔ２の異なる画像４１０，４２０間において対応する特徴点ｐ１，ｐ２を精度よく追跡することが必要となる。そこで、追跡範囲決定部２３０では、特徴点追跡部２４０において追跡の対象となる特徴点の追跡の範囲を画像中の一部に制限する（追跡範囲を決定する）。これにより、特徴点追跡部２４０での特徴点ｐ１の追跡を追跡範囲に絞ることにより、撮像時刻ｔ１，ｔ２の異なる画像４１０，４２０間における誤った特徴点との対応付けの発生を抑制することができる。また、対応する特徴点であるかどうかを判定する対象となる特徴点の数を減らすことがことから、処理時間の削減も期待できる。

図１０において、追跡範囲決定部２３０は、時刻ｔ１において撮像された画像４１０上のある特徴点ｐ１が時刻ｔ２に撮像された画像４２０上において撮像されていると予測される位置（撮像予想位置ｐ１１）を算出する撮像予想位置算出部２３１と、撮像予想位置算出部２３１で算出された撮像予想位置ｐ１１に基づいて、時刻ｔ２に撮像された画像４２０上において特徴点ｐ１に対応する特徴点ｐ２が撮像されていると予測される範囲（撮像予想領域４１１）を探索範囲として算出する撮像予想領域算出部２３２とを有している。

撮像予想位置算出部２３１は、時刻ｔ１において撮像された画像４１０上のある特徴点ｐ１が時刻ｔ２に撮像された画像４２０上において撮像されていると予測される位置（撮像予想位置ｐ１１）を算出する。本実施の形態においては、特徴点検出領域決定部２１０において、３次元的に静止しているものだけを特徴点としての検出対象としているため、画像４１０（時刻ｔ１）と画像４２０（時刻ｔ２）間で特徴点の撮像位置が変わるのは車両１（自車）の移動が要因であると言える。

したがって、時刻ｔ１で撮像された画像４１０における、ある特徴点ｐ１のカメラ座標系（例えば、ステレオカメラ装置１００を基準とする座標系で、ステレオカメラ装置１００の中心に原点を設定し、上方にｚ軸、前方にｙ軸、右方にｘ軸を設定した座標系）における３次元位置（Ｘ１，Ｙ１，Ｚ１）と、画像４１０における画像座標系（例えば、画像４１０，４２０の左下角に原点を設定し、右方向にｉ軸、上方向にｊ軸を設定した座標系）における位置（ｉ１，ｊ１）とから、時刻ｔ２で撮像された画像４２０における画像座標系での撮像予想位置ｐ１１の位置（ｉ２，ｊ２）は、下記の（式３）及び（式４）で表される。

上記の（式３）及び（式４）において、ｆ［ｍｍ］は焦点距離、ｗｉ［ｍｍ／ｐｘ］は画素ピッチ、ｖ［ｍｍ／ｓ］は外部装置１６０に含まれる車速センサより得られる車両１（自車）の車速をそれぞれ表している。なお、本実施の形態においては説明の簡単のため、車両１（自車）が等速度ｖで前進している場合を考える。

撮像予想領域算出部２３２は、撮像予想位置算出部２３１で算出された撮像予想位置ｐ１１に基づいて、時刻ｔ２に撮像された画像４２０上において特徴点ｐ１に対応する特徴点ｐ２が撮像されていると予測される範囲（撮像予想領域４１１）を探索範囲として算出する。撮像予想領域算出部２３２で算出された探索範囲は、追跡範囲決定部２３０から追跡範囲として特徴点追跡部２４０に出力される。

この撮像予想領域４１１を設定して追跡範囲として出力することにより、特徴点ｐ１が静止している場合には特徴点追跡部２４０において精度の良い追跡が可能となる。また、時刻ｔ２に撮像された画像４２０おいて多くの検知特徴点がある場合であっても、追跡範囲を設定したことで不要な特徴点の追跡に計算コストをかけることなく範囲外として弾くことができる。この追跡範囲の設定は、特に、縞模様などの繰り返しパターン（例えば、視差不安定領域排除部２１２では除去対象とならなかったような繰り返しパターン）においても有効であり、似通った特徴点が画像上に複数個現れていた場合でも、静止物らしい移動をしている点だけを選んで対応付けすることが可能である。

図１３及び図１４は、撮像予想領域算出部における撮像予想領域（探索範囲）の算出方法の一例を模式的に示す図である。

撮像予想領域算出部２３２において、撮像予想領域４１１は、例えば、画像４１０において、撮像予想位置算出部２３１で算出された撮像予想位置ｐ１１を中心とし、視差誤差による撮像位置のずれが考えられる方向と、ピッチングによる撮像位置のずれが考えられる方向とに、それらの誤差を考慮した範囲で設定する。

視差誤差は、画像４１０の中心から撮像予想位置ｐ１１を通るような線分に沿って発生する（すなわち、画像４１０の中心から放射方向に発生する）ので、この線分に沿う方向に撮像予想位置ｐ１１を中心として、画像４１０の中心方向と、画像４１０の中心とは逆方向とにそれぞれ視差誤差の発生しうる範囲を設定する。また、ピッチングは、画像４１０の上下方向に発生するので、撮像予想位置ｐ１１を中心として上下方向にピッチングにより発生しうる誤差の範囲を設定する。そして、視差誤差とピッチングとにより発生する誤差の範囲の両方を考慮した範囲を撮像予想領域４１１として設定する。このとき、撮像予想領域４１１は、画像４１０の中心から撮像予想位置ｐ１１を通るような線分に沿う２本の線分と、画像４１０の上下方向に延びる２本の線分とで囲まれた領域となる。

このように、誤差が大きいと考えられる視差誤差と、車載環境下では車両が加減速や微妙な凹凸上を走行することで発生するピッチングによる垂直方向の検知位置の誤差とを考慮することにより、撮像予想領域４１１を適切に設定することができる。

なお、撮像予想位置算出部２３１での演算に用いる他のカメラ特性に係るパラメータ、すなわち、焦点距離ｆ、画素ピッチｗｉ、速度ｖ、時刻ｔ１，ｔ２、時刻t1における撮像位置（ｉ１、ｊ１）、時刻ｔ２における撮像位置（ｉ２，ｊ２）などを考慮して撮像予想領域４１１を設定するように構成しても良い。

特徴点追跡部２４０は、特徴点検出部２２０で検出された１つ以上の特徴点のそれぞれについて、追跡範囲決定部２３０によって設定された追跡範囲において異なる時刻に撮像された複数の画像間で対応する特徴点の探索を行う。すなわち、特徴点追跡部２４０では、異なる時刻に撮像された複数の画像間で対応づいた特徴点について、時系列の視差情報を算出する。

視差オフセット補正量算出部２５０は、特徴点追跡部２４０で得られた特徴点の時系列の視差情報と、車両１（自車）の移動量（移動距離）とを用いて視差オフセット補正量算出処理を行い、視差オフセット補正量を算出する。なお、本実施の形態では、２つの異なる時刻について得られた視差情報を用いて視差オフセット補正量を算出する場合を例示して説明したが、例えば、時系列的に多くのデータを使うことで安定性を高めることが可能である。なお、３つ以上の異なる時刻について得られた視差情報を用いる場合には、視差オフセットを算出のための式が冗長となり一意には解けないため、最適化計算で視差オフセットを算出する。また、複数の特徴点の情報を用いて視差オフセットを算出することも考えられる。

以上のように構成した本実施の形態に係る作用効果を説明する。

従来技術においては、複数のカメラで撮像した画像上で検知した特徴点の視差を用いることで移動体の移動距離を算出し、視差オフセットの校正機会を増加させようとしているものの、画像全体について特徴点を追跡して視差を取得しようとすると処理負荷が非常に高くなり、算出コストを考慮すると十分な数の特徴点について視差の取得ができないことが考えられる。また、画像上での特徴点の検知が必ずしも正確に行えるわけではないため、画像上の似た点を特徴点として誤追跡してしまうことで、誤った視差オフセットを算出してしまうことも考えられる。

これに対して、本実施の形態においては、車両１に配置された複数の左カメラ１１１及び右カメラ１１２を有するステレオカメラ１１０と、左カメラ１１１及び右カメラ１１２の間の視差オフセットを補正するための視差オフセット補正量を用い、左カメラ１１１及び右カメラ１１２でそれぞれ撮像された複数の画像に基づいて視差画像を生成する視差画像生成部１２２、及び、視差画像に基づいて左カメラ１１１及び右カメラ１１２に対する対象物の相対位置を算出する距離算出部１２３を有する画像処理装置１２０とを備えたステレオカメラ装置１００において、画像処理装置１２０が、左カメラ１１１及び右カメラ１１２でそれぞれ撮像された複数の画像の特徴点を検出する特徴点検出部２２０と、左カメラ１１１及び右カメラ１１２のそれぞれにおいて異なる時刻に撮像された複数の画像の間で特徴点を追跡する特徴点追跡部２４０と、特徴点追跡部２４０における複数の画像に対する特徴点の追跡を複数の画像の一部の追跡範囲に制限する追跡範囲決定部２３０と、異なる時刻の間における車両１の移動距離と特徴点追跡部２４０で追跡した特徴点についての視差とに基づいて、左カメラ１１１及び右カメラ１１２の間の視差オフセットを補正するための視差オフセット補正量を算出する視差オフセット補正量算出部２５０とを備えるように構成したので、視差オフセットの算出精度を確保しつつ、算出コストを低減することができる。

すなわち、本実施の形態においては、追跡範囲決定部２３０において、特徴点追跡部２４０における複数の画像に対する特徴点の追跡を複数の画像の一部の追跡範囲（探索範囲）に制限するように構成したので、追跡対象の特徴点を他の特徴点と誤って対応付けてしまう可能性を抑制することにより、視差オフセットの算出精度を確保することができ、また、特徴点の追跡範囲を画像の一部に制限することによって、特徴点の対応の判定に係る処理量を低減することができ、算出コストを低減することができる。

また、追跡範囲決定部２３０においては、特に誤差の大きいと考えられる視差オフセットと車両のピッチング量とに基づいて追跡範囲を決定するように構成したので、より精度良く追跡範囲を決定することができ、視差オフセットの算出精度を確保することができる。

また、特徴点検出領域決定部２１０においては、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、特徴点検出部２２０で特徴点を検出する領域を画像中の一部に制限した特徴点検出領域を決定するように構成したので、特徴点を検出すべきでない領域を排除することで処理時間の短縮と精度の向上を図ることができる。

また、特徴点検出領域決定部２１０では、視差未算出領域排除部２１１において、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、視差の得られていない領域を排除するように構成したので、テクスチャがなく視差を算出できない領域を排除することができ、処理時間の短縮と精度の向上を図ることができる。

また、特徴点検出領域決定部２１０では、視差不安定領域排除部２１２において、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、視差の精度が低い領域を排除するように構成したので、視差の精度が低い特定のパターンの領域を排除することができ、処理時間の短縮と精度の向上を図ることができる。

また、特徴点検出領域決定部２１０では、特定物体領域排除部２１３において、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、予め定めた特定の物体の領域を排除するように構成したので、移動している物体が撮像されている領域を排除することができ、処理時間の短縮と精度の向上を図ることができる。

＜第２の実施の形態＞
本発明の第２の実施の形態を図１５及び図１６を参照しつつ説明する。本実施の形態では、第１の実施の形態との相違点についてのみ説明するものとし、本実施の形態で用いる図面において第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

本実施の形態は、視差オフセット補正量を精度良く算出可能な状態であるかに基づいて、視差オフセット補正量の算出（視差オフセット補正量算出処理）を行うかどうかを判定する視差オフセット補正量算出判定部６１０を備えた場合を示すものである。本実施の形態において、視差オフセット補正量を精度良く求めるためには、視差オフセット補正量の算出に用いるパラメータである自車の移動量と視差を精度良く求めること、及び、仮定としている静止している点の視差だけを用いること、の２点の条件を満たすことが重要である。そこで、この２点の条件を満たさないと考えられるシーンにおいては、視差オフセット補正量算出処理を実行しないことを視差オフセット補正量算出判定部６１０で簡易的に判定することにより、視差オフセット補正量の精度を確保することができる。

図１５は、本実施の形態に係る視差オフセット補正部の処理機能を示す機能ブロック図である。

図１５において、本実施の形態における視差オフセット補正部１２１Ａは、所定の条件に基づいて、視差オフセットを算出するかどうかを判定する視差オフセット補正量算出判定部６１０と、視差オフセット補正量算出判定部６１０で視差オフセットを算出すると判定した場合に、ステレオカメラ１１０の左カメラ１１１及び右カメラ１１２でそれぞれ撮像された複数の画像（ここでは、左カメラ１１１と右カメラ１１２とで同時刻に撮像された２つの画像）について、互いに対応する特徴点を検出する特徴点検出部２２０と、左カメラ１１１及び右カメラ１１２のそれぞれにおいて異なる時刻に撮像された複数の画像の間で特徴点を追跡する特徴点追跡部２４０と、特徴点追跡部２４０における特徴点の追跡の範囲を画像中の一部に制限する（追跡範囲を決定する）追跡範囲決定部２３０と、特徴点追跡部２４０で追跡した特徴点についての視差と、特徴点の追跡を行った異なる時刻間での車両の移動距離とに基づいて視差オフセットを算出する視差オフセット補正量算出部２５０と、左カメラ１１１及び右カメラ１１２で撮像された複数の画像のそれぞれについて、特徴点検出部２２０で特徴点を検出する領域を画像中の一部に制限する（特徴点検出領域を決定する）特徴点検出領域決定部２１０とを有している。

図１６は、視差オフセット算出判定部の処理機能を示す機能ブロック図である。

図１６において、視差オフセット補正量算出判定部６１０は、車両１（自車）の速度に基づいて視差オフセット補正量の算出を行うかどうかを判定する速度判定部６１１と、車両１（自車）の加速度に基づいて視差オフセット補正量の算出を行うかどうかを判定する加速度判定部６１２と、車両１（自車）が直進しているかどうかに基づいて視差オフセット補正量の算出を行うかどうかを判定する直進判定部６１３と、視差オフセット補正量を算出してよいシーンであるかどうかに基づいて、視差オフセット補正量の算出を行うかどうかを判定するシーン判定部６１４とを有している。判定部６１１～６１４の少なくとも何れか１つにおいて視差オフセット補正量算出処理を実行しないと判定した場合は、視差オフセット補正量算出判定部６１０での判定結果として、視差オフセット補正量算出処理を実行しないとする判定結果を特徴点検出領域決定部２１０に出力し、特徴点検出領域決定部２１０の処理に連なる視差オフセット算出処理の一連の処理を実行しない。

速度判定部６１１は、車両１（自車）の速度に応じて、視差オフセット補正量を算出するかどうかを判定する。一般的に、車両に取り付けられた速度センサは低速域において誤差が大きくなる事が知られており、したがって、低速域では外部装置１６０に含まれる車速センサの検出値を用いて算出される車両１（自車）の移動量の誤差が大きくなると考えられる。そこで、速度判定部６１１では、例えば、外部装置１６０に含まれる車速センサによる検出値が２０ｋｍ／ｈ以下の場合には、車両１（自車）の移動量に発生する誤差が許容範囲を超えると判断して、視差オフセット補正量算出処理を実行しないと判定する。

加速度判定部６１２は、車両１（自車）の加速度に応じて、視差オフセット補正量を算出するかどうかを判定する。外部装置１６０に含まれる各種センサから得られる値は検出から画像処理装置１２０での受信までに時間的な遅れが発生するため、加減速時にはステレオカメラ１１０での撮像時刻と速度とが誤って対応付けられる可能性がある。そこで、加速度判定部６１２では、外部装置１６０に含まれる加速度センサによる検出値が予め定めた閾値以上の場合、すなわち、許容範囲以上の加減速が行われている場合には、ステレオカメラ１１０での撮像時刻と速度とが誤って対応付けられる可能性が許容範囲を超えると判断して、視差オフセット補正量算出処理を実行しないと判定する。このような加速度判定部６１２では、車両１のスリップ状態での視差オフセット補正量算出処理の実行も回避することができる。なお、加速度（加速および減速）は、速度センサの検出値の単位時間における変化量（差分値）や、或いは、外部装置１６０に含まれるジャイロセンサの出力を観測する事で判定するように構成しても良い。

直進判定部６１３は、車両１（自車）が直進しているかどうかに基づいて、視差オフセット補正量を算出するかどうかを判定する。車両１のカーブ路走行時には、車両１の移動量の推定値の誤差が大きくなる。そこで、直進判定部６１３では、車両１が直進していると判断できる場合以外は、視差オフセット補正量算出処理を実行しないと判定する。なお、車両１が直進しているかどうか（カーブ走行であるかどうか）の判定は、外部装置１６０に含まれるナビゲーションシステム等からのＧＰＳ情報や、地図データ、操舵角やヨーレートなどを検出する車両センサからの検出値などに基づいて判定することができる。すなわち、例えば、外部装置１６０に含まれる操舵角センサの検出値が予め定めた範囲外である場合に、視差オフセット補正量算出処理を実行しないと判定する。

シーン判定部６１４は、視差オフセット補正量を算出してよいシーンであるかどうかに基づいて、視差オフセット補正量の算出を行うかどうかを判定する。例えば、車両１の渋滞路走行中には、ステレオカメラ１１０の視界の大部分において低速で動く物体が撮像されるため、静止物体と移動物体との区別が難しくなり、移動物体上で特徴点を検知してしまうことにより、誤った視差オフセット補正値を算出してしまう可能性が高くなる。そこで、シーン判定部６１４では、例えば、外部装置１６０に含まれるナビゲーションシステム等から渋滞路走行中であるかどうかの情報を取得し、渋滞路走行中である場合には、視差オフセット補正量を算出してよいシーンではないと判断して、視差オフセット補正量算出処理を実施しないと判定する。なお、同様の理由から、例えば、商店街などの人通りの多い道を走行している場合にも、視差オフセット補正量を算出してよいシーンではないと判断して、視差オフセット補正量算出処理を実施しないと判定する。

図１７は、視差オフセット補正量算出判定部において視差オフセット補正量算出処理を実行しないと判定する場合の条件の一覧を示す図である。

図１７から分かるように、視差オフセット補正量算出判定部６１０では、外部装置１６０に含まれる各種センサ類からの入力値や、ナビゲーションシステムからの情報をもとに視差オフセット補正量算出処理を実行するかどうかを判定するため、高速に処理を完了することができ、視差オフセット補正量算出処理を実行すべきでないシーンでは計算リソースを確保する事が可能である。

なお、視差オフセット補正量算出判定部６１０における、速度判定部６１１、加速度判定部６１２、直進判定部６１３、及び、シーン判定部６１４での各判定処理は互いに独立に行うことができるので、これらの判定部６１１～６１４のうちの一部を必要に応じて用いるように構成しても良い。例えば、低速域でも精度の良い車速センサを用いている車両１においては、速度判定部６１１を省略することができ、また、カーブ走行時の移動量を精度よくモデル化できるのであれば、直進判定部６１３を省略することができる。すなわち、視差オフセット補正量算出判定部６１０においては、実施時の構成要素に合わせて必要な判定だけを行うように構成すれば良い。

その他の構成は第１の実施の形態と同様である。

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

また、本実施の形態においては、視差オフセット補正量の算出誤差が大きくなることが考えられるシーンにおいては、視差オフセット補正量算出処理を実行しないように構成したので、視差オフセット補正量の算出に適さない状態で特徴点検出などの処理を実行する事がなくなり、計算リソースを他の処理に割り当てる事ができる。また、誤った視差オフセット補正量を算出する可能性を低減することができる。

＜第３の実施の形態＞
本発明の第３の実施の形態を図１８を参照しつつ説明する。本実施の形態では、第２の実施の形態との相違点についてのみ説明するものとし、本実施の形態で用いる図面において第２の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

本実施の形態は、第２の実施の形態の視差オフセット補正部１２１Ａに設けられた、視差オフセット補正量算出処理を実行しない場合を判定する視差オフセット補正量算出判定部６１０に代えて、視差オフセット補正量算出処理を実行する場合を判定する視差オフセット補正量算出判定部６１０Ａを備えたものである。すなわち、本実施の形態においては、視差オフセット補正量算出判定部６１０Ａが視差オフセット補正量算出処理を実行すると判定した場合に、視差オフセット補正部１２１Ａは視差オフセット算出処理を実行する。したがって、本実施の形態においては、視差オフセット補正量算出処理を実行し、視差オフセット補正量を更新すべき状態であるにも関わらず、視差オフセット補正量算出処理を実施しないというケースがなくなり、適切なタイミングで視差オフセット補正量を更新する事ができる。

図１８は、本実の形態に係る視差オフセット補正量算出判定部の処理機能を示す機能ブロック図である。

図１８において、本実施の形態における視差オフセット補正量算出判定部６１０Ａは、ステレオカメラ１１０の周辺環境の変化に基づいて視差オフセット補正量の算出を行うかどうかを判定する環境変化判定部６１５と、前回の視差オフセット補正値算出処理の実行からの経過時間に基づいて視差オフセット補正量の算出を行うかどうかを判定する経過時間判定部６１６とを有している。判定部６１５，６１６の少なくとも何れか一方において視差オフセット補正量算出処理を実行すると判定した場合は、視差オフセット補正量算出判定部６１０Ａでの判定結果として、視差オフセット補正量算出処理を実行するとする判定結果を特徴点検出領域決定部２１０に出力し、特徴点検出領域決定部２１０の処理に連なる視差オフセット算出処理の一連の処理を実行する。

環境変化判定部６１５は、ステレオカメラ１１０の周辺環境が、前回の視差オフセット補正量算出処理の実行時の環境と比較して大きく変化しているかどうかに基づいて、視差オフセット補正量を算出するかどうかを判定する。ステレオカメラ１１０の周辺環境としては、例えば、湿度や温度などがあり、温度や湿度の変化によって筐体の変形などが発生し、視差オフセットが変化している可能性が高いと考えられる場合には、急ぎこれを補正する必要がある。そこで、環境変化判定部６１５では、外部装置１６０に含まれる温度センサや湿度センサからの検出値の前回の視差オフセット補正量算出処理の実行時からの変化量が予め定めた閾値よりも大きい場合には、ステレオカメラ１１０の周辺環境が大きく変化したと判断して、視差オフセット補正量算出処理を実行すると判定する。

経過時間判定部６１６は、前回の視差オフセット補正値算出処理の実行からの経過時間に基づいて、視差オフセット補正量を算出するかどうかを判定する。ステレオカメラ１１０は、経年変化などの何らかの要因で視差オフセットが変化することが考えられる。そこで、経過時間判定部６１６では、前回の視差オフセット補正値算出処理の実行からの経過時間が予め定めた閾値以上である場合には、視差オフセットが変化している可能性が高いと判断して、視差オフセット星量算出処理を実行すると判定する。なお、経年劣化に対応する場合には、例えば、数ヶ月の期間を閾値として設定すればよい。また、ブレーキや人の手がぶつかったことによる衝撃などに対応する場合には、数日～数週間程度の期間を閾値として設定することで、視差オフセットがずれたまま走行するケースを防止する事ができる。

その他の構成は第１及び第２の実施の形態と同様である。

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

また、本実施の形態においては、実際に視差オフセットを算出することなく、視差オフセット補正量を算出すべき状況を判定して処理を実行する事ができるので、通常時には視差オフセット補正量算出処理を行わない事で計算リソースを確保しつつ、必要なタイミングでは動作し、視差の精度を確保する事が可能である。

＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１…車両、２…対象物、１００…ステレオカメラ装置、１００ａ…バスライン、１１０…ステレオカメラ、１１１…左カメラ、１１２…右カメラ、１１３…視差未算出領域、１２０…画像処理装置、１２１，１２１Ａ…視差オフセット補正部、１２２…視差画像生成部、１２３…距離算出部、１３０…メモリ、１４０…中央処理装置（ＣＰＵ）、１５０…インタフェース、１６０…外部装置、２１０…特徴点検出領域決定部、２１１…視差未算出領域排除部、２１２…視差不安定領域排除部、２１３…特定物体領域排除部、２２０…特徴点検出部、２３０…追跡範囲決定部、２３１…撮像予想位置算出部、２３２…撮像予想領域算出部、２４０…特徴点追跡部、２５０…視差オフセット補正量算出部、３００，４１０，４２０…画像、３１１…視差未算出領域、３２１…視差不安定領域、３３１…特定物体領域、３３２…特定物体領域、３３３…特定物体領域、４１１…撮像予想領域、６１０…視差オフセット補正量算出判定部、６１０Ａ…視差オフセット補正量算出判定部、６１１…速度判定部、６１２…加速度判定部、６１３…直進判定部、６１４…シーン判定部、６１５…環境変化判定部、６１６…経過時間判定部

Claims (13)

1. 車両に配置された複数の撮像部の間の視差オフセットを補正する視差オフセット補正部を備えた画像処理装置において、
   前記複数の撮像部でそれぞれ撮像された複数の画像に含まれる特徴点を検出する特徴点検出部と、
   視差誤差の発生しうる範囲と前記車両のピッチングにより生じうる誤差に基づいて、前記複数の画像に対する前記特徴点の追跡範囲を決定する追跡範囲決定部と、
   前記複数の撮像部のそれぞれで異なる時刻に撮像された前記複数の画像において、前記追跡範囲に基づいて特徴点を追跡する特徴点追跡部と、
   前記異なる時刻の間における前記車両の移動距離と前記特徴点追跡部で追跡した特徴点についての視差とに基づいて、前記複数の撮像部の間の視差オフセットの補正に用いる視差オフセット補正量を算出する視差オフセット補正量算出部と、
   を備えたことを特徴とする画像処理装置。
2. 車両に配置された複数の撮像部を有する撮像装置と、
   前記複数の撮像部の間の視差オフセットを補正するための視差オフセット補正量を用い、前記複数の撮像部でそれぞれ撮像された複数の画像に基づいて視差画像を生成する視差画像生成部、及び、前記視差画像に基づいて前記複数の撮像部に対する対象物の相対位置を算出する相対位置算出部を有する画像処理装置と
   を備えたステレオカメラ装置において、
   前記画像処理装置は、
   前記複数の撮像部でそれぞれ撮像された前記複数の画像の特徴点を検出する特徴点検出部と、
   前記複数の撮像部のそれぞれにおいて異なる時刻に撮像された前記複数の画像の間で前記特徴点を追跡する特徴点追跡部と、
   前記特徴点追跡部における前記複数の画像に対する前記特徴点の追跡を前記複数の画像の一部の追跡範囲に制限する追跡範囲決定部と、
   前記異なる時刻の間における前記車両の移動距離と前記特徴点追跡部で追跡した特徴点についての視差とに基づいて、前記複数の撮像部の間の視差オフセットを補正するための視差オフセット補正量を算出する視差オフセット補正量算出部とを備え
   前記追跡範囲決定部は、前記視差オフセットと前記車両のピッチング量とに基づいて前記追跡範囲を決定することを特徴とするステレオカメラ装置。
3. 請求項２に記載のステレオカメラ装置において、
   前記複数の撮像部で撮像された複数の画像のそれぞれについて、前記特徴点検出部で前記特徴点を検出する領域を前記画像中の一部に制限した特徴点検出領域を決定する特徴点検出領域決定部をさらに備えたことを特徴とするステレオカメラ装置。
4. 請求項３に記載のステレオカメラ装置において、
   前記特徴点検出領域決定部は、前記複数の撮像部で撮像された複数の画像のそれぞれについて、視差の得られていない領域を排除する視差未算出領域排除部を備えたことを特徴とするステレオカメラ装置。
5. 請求項３に記載のステレオカメラ装置において、
   前記特徴点検出領域決定部は、前記複数の撮像部で撮像された複数の画像のそれぞれについて、視差の精度が低い領域を排除する視差不安定領域排除部を備えたことを特徴とするステレオカメラ装置。
6. 請求項３に記載のステレオカメラ装置において、
   前記特徴点検出領域決定部は、前記複数の撮像部で撮像された複数の画像のそれぞれについて、予め定めた特定の物体の領域を排除する特定物体領域排除部を備えたことを特徴とするステレオカメラ装置。
7. 請求項２に記載のステレオカメラ装置において、
   前記画像処理装置は、所定の条件に基づいて前記視差オフセットを算出するかどうかを判定する視差オフセット補正量算出判定部をさらに備え、
   前記視差オフセット補正量算出部は、前記視差オフセット補正量算出判定部で前記視差オフセットを算出しないと判定した場合には前記視差オフセットを算出しないことを特徴とするステレオカメラ装置。
8. 請求項７に記載のステレオカメラ装置において、
   前記視差オフセット補正量算出判定部は、前記車両の速度が予め定めた閾値よりも低速である場合に前記視差オフセットを算出しないと判定することを特徴とするステレオカメラ装置。
9. 請求項７に記載のステレオカメラ装置において、
   前記視差オフセット補正量算出判定部は、前記車両の加速度の絶対値が予め定めた閾値以上でる場合に前記視差オフセットを算出しないと判定することを特徴とするステレオカメラ装置。
10. 請求項７に記載のステレオカメラ装置において、
    前記視差オフセット補正量算出判定部は、前記車両が直進していない場合に前記視差オフセットを算出しないと判定することを特徴とするステレオカメラ装置。
11. 請求項７に記載のステレオカメラ装置において、
    前記視差オフセット補正量算出判定部は、前記複数の画像中に低速で移動する物体が多く撮像されている場合に前記視差オフセットを算出しないと判定することを特徴とするステレオカメラ装置。
12. 請求項７に記載のステレオカメラ装置において、
    前記視差オフセット補正量算出判定部は、前回の視差オフセット補正量算出時からの湿度及び温度の値の変化量が予め定めた閾値以上である場合に前記視差オフセットを算出することを特徴とするステレオカメラ装置。
13. 請求項７に記載のステレオカメラ装置において、
    前記視差オフセット補正量算出判定部は、前回の視差オフセット補正量算出時からの経過時間が閾値以上である場合に前記視差オフセットを算出することを特徴とするステレオカメラ装置。

Images