JP5017921B2

JP5017921B2 - 車両用画像処理装置

Info

Publication number: JP5017921B2
Application number: JP2006132205A
Authority: JP
Inventors: 祐之宇佐美
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-05-11
Filing date: 2006-05-11
Publication date: 2012-09-05
Anticipated expiration: 2026-05-11
Also published as: JP2007306272A

Description

本発明は、撮像された画像を処理して立体物検出及び白線認識する車両用画像処理装置に関し、特に、夜間も立体物検出及び白線認識が可能な車両用画像処理装置に関する。

カメラにより撮像された車両周囲の画像から走行車線、障害物等を検出して運転者の車両操作を支援する車両用画像処理装置が知られている（例えば、特許文献１参照）。特許文献１の車両用画像処理装置は、ステレオカメラの２つのカメラのうち、一方のカメラで得られた画像から白線を検出すると共に、双方のカメラで得られた画像を矩形領域毎に比較してその相関から立体物を検出する。
特開平１１−１４３４６号公報

ところで、カメラによる撮像では照度や検出対象に応じて適切なシャッタ制御があることが知られており、例えば、白線を正確に認識するためのシャッタ制御と立体物を正確に検出するためのシャッタ制御とは異なっている。したがって、引用文献１記載の車両用画像処理装置のように、同一の画像を用いて白線と立体物の両方を検出することは困難である。

本発明は、上記課題に鑑み、ステレオカメラを共用して立体物と白線の双方を精度よく検出できる車両用画像処理装置を提供することを目的とする。

上記課題に鑑み、本発明は、撮像した画像の輝度情報に基づいて平面物を認識する平面物認識用のシャッタ制御及び撮像した画像の視差情報に基づいて立体物を検出する立体物検出用のシャッタ制御、の双方を実行可能な第１の撮像手段（例えば、カメラ１７Ｌ）と、前記立体物検出用のシャッタ制御を行う第２の撮像手段（例えば、カメラ１７Ｒ）と、前記平面物認識用のシャッタ制御により、前記第１の撮像手段が撮像した画像を画像処理することで平面物を認識し、前記立体物検出用のシャッタ制御により、前記第１の撮像手段が撮像した画像及び前記第２の撮像手段が撮像した画像、の２つの画像に基づいて、立体物を検出する画像処理部と、を有することを特徴とする。

本発明によれば、第１の撮像手段が平面物認識用のシャッタ制御及び立体物検出用のシャッタ制御の双方が可能であるので、１つのステレオカメラで平面物と立体物を精度よく検出することができる。なお、平面物の典型的なものは走行車線を区分する白線であるが、路上のペイントであればどのような平面物であってもよい。また、第２の撮像手段はシャッタ制御が略一定なので画像が安定しており、画像を利用するさらに別のデバイス（表示装置等）で利用することができる。

また、本発明の一形態において、第１の撮像手段は、平面物認識用のシャッタ制御と立体物検出用のシャッタ制御とをフレーム毎に切り替えることを特徴とする。

本発明によれば、交互にシャッタ制御を切り替えるので、平面物認識又は立体物検出に偏らずいずれも好適に認識できる。

また、本発明の一形態において、第２の撮像手段が撮像した画像を表示装置に出力する画像出力部を有する、ことを特徴とする。

より具体的には、第１の撮像手段が平面物認識用のシャッタ制御により撮像した場合であっても、画像出力部は第２の撮像手段が立体物検出用のシャッタ制御により撮像した画像を表示装置に出力する。

本発明によれば、第２の撮像手段により撮像された画像を、第１の撮像手段のシャッタ制御にかかわらず表示装置に表示することができ、１対のステレオカメラにより撮像された画像に基づき平面物と立体物の検出処理を行うだけでなく、表示装置に表示して利用することができる。

さらに、本発明の一形態において、第１の撮像手段が平面物認識用のシャッタ制御により撮像し、かつ、第２の撮像手段が立体物検出用のシャッタ制御により撮像した場合、画像出力部は第２の撮像手段が撮像した画像を表示装置に出力すると共に、画像処理部は平面物認識を行うことを特徴とする。

本発明によれば、第２の撮像手段が撮像した画像を表示装置に画像を表示しながら、第１の撮像手段が撮像した画像により平面物を認識することができる。したがって、この場合、立体物の検出は行わない。

また、本発明の一形態において、立体物検出用のシャッタ制御はシャッタ速度に下限及びゲイン値に上限を有し、平面物認識用のシャッタ制御は前記下限よりも小さい（遅い）シャッタ速度及び前記上限よりも大きいゲイン値が設定可能であることを特徴とする。

本発明によれば、立体物検出用の画像はシャッタ速度に下限及びゲイン値に上限を有するのでハレーションすることが防止でき、平面物認識用の画像はシャッタ速度やゲイン値の制約がないので白線等の輝度を高くして画像を撮像できる。

ステレオカメラを共用して立体物と白線の双方を精度よく検出できる車両用画像処理装置を提供することができる。

以下、図面を参照して、本発明を実施するための最良の形態について説明する。図１（ａ）は本実施の形態の車両用画像処理装置のシステム構成図の一例である。車両用画像処理装置１は、画像取得部１０とステレオＥＣＵ２０を備える。ステレオＥＣＵ２０は、プログラムを実行するＣＰＵ（Central Processing Unit）、プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、設定定数やパラメータ、データ等を記憶するＮＶ−ＲＡＭ（ＮＯＮＶｏｌａｔｉｌｅＲＡＭ）、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものであり、マイコンやコンピュータとも呼ばれる。

画像取得部１０は、撮像手段として、撮像素子１１，１２やレンズ１５，１６といったステレオカメラを構成するカメラモジュール１７、カメラＣＰＵ１３、フレームを一時的に記憶するメモリ１８及び画像出力部１４等を有する。撮像素子１１，１２は、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子により構成されている。カメラモジュール１７に車両前方から入射した光は撮像素子１１、１２により光電変換され、蓄積した電荷を電圧として読み出し増幅してＡ／Ｄ変換された後、所定の輝度階調（例えば、２５６階調）のデジタル画像に変換される。

カメラＣＰＵ１３は、ステレオＥＣＵ２０から送信されるカメラ制御値に基づいてカメラ側のフレームの露出を調節するカメラ制御を行う。カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、カメラモジュール１７の撮像したフレーム、撮像する際に適用したカメラ制御値、フレームナンバ等を画像信号としてステレオＥＣＵ２０に送信する。なお、撮像素子は２個に限らず、それ以上の数を有してもよい。

カメラモジュール１７は、右カメラ１７Ｒ及び左カメラ１７Ｌによりステレオカメラとして構成されると共に、一方のカメラ（本実施の形態では右カメラ１７Ｒ）は暗視用（ナイトビュー）のカメラとして併用される。ナイトビュー用のフレームは、ステレオＥＣＵ２０による画像処理なしにそのまま表示装置に表示することができるので、ナイトビュー装置が作動している間（以下、単にＮＶ装置作動時という）、画像出力部１４は右カメラ１７Ｌのフレームを例えばＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）へ出力すると共に、左右のカメラ１７Ｒ、１７Ｌに撮像されたフレームを画像入力部２１へ出力する。

ステレオＥＣＵ２０は、入力インターフェースである画像入力部２１、幾何変換ＬＳＩ等を有する幾何変換処理部２２、画像処理ＬＳＩ等を有する画像認識処理部２４及び各処理部を監督するＳＶ−ＣＰＵ２３を有する。

画像取得部１０の画像出力部１４から出力された画像信号は、ステレオＥＣＵ２０の入力インターフェースである画像入力部２１に送られる。画像出力部１４と画像入力部２１は、所定のデジタル伝送方式のインターフェースである。

フレームを受信した画像入力部２１は、画像信号のフレームを幾何変換処理部２２に送出する。幾何変換処理部２２は、キャリブレーションデータを用いて、ステレオ演算処理に使用されるカメラモジュール１７の撮像したフレームから、撮像素子１１，１２やレンズ１５，１６等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換処理部２２は、メモリ２５に記憶された幾何変換用のＬＵＴ（Look Up Table）に基づき入力画像を変換する。

画像認識処理部２４は、幾何変換処理部２２からの幾何変換された画像データに基づいて立体物検出処理や白線認識処理を行う。それらの処理や制御のための画像処理プログラムや画像信号はメモリ２６に記憶される。

画像認識処理部２４が実行する立体物検出処理は、例えばステレオ視の技術によって撮像したフレームから立体物を検出する画像処理プログラムによる処理である。立体物検出処理は、例えば左右に配置された撮像素子１１，１２により撮像された一対のフレームの相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。

具体的には、画像認識処理部２４は、撮像素子１１，１２により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子１１によるフレームと撮像素子１２によるフレームとを重ね合わせると、撮像対象物が左右横方向にずれる。そして、一方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、『Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）』という関係式が成立する。この（ｎ・ｄ）が視差である。

また、画像認識処理部２４が実行する白線認識処理は、撮像したフレームから路面上の
白線を検出する画像処理プログラムによる処理である。画像処理プログラムは撮像されたフレームの例えば輝度に基づき、所定の閾値以上の輝度を有する領域をフレーム底部から上方に向けて探索する。白線は両端に高周波成分たるエッジを有するので、車両前方のフレームを水平方向に微分すると、白線の両端にピークが得られ、そのピークは白線の線内に、白線外から白線と白線から白線外とで正負逆に得られるため、白線部分が推定できる。このような処理を行う白線強調フィルタをフレームに施すことで白線部分を強調でき、白線が強調されたフレームから、白線の特徴である、輝度が高い、線状の形状である等の特徴のある領域を、マッチングなどの手法により白線を検出できる。

また、画像認識処理部２４が実行するシャッタ制御は、適切なカメラ制御値（シャッタスピードＳや制御ゲインＫ）を算出処理・調節する。フレームの露出はシャッタスピードＳに応じて変化し、シャッタスピードＳを遅くすれば通る光が保持されるため暗い場所での撮像も可能になる。画像認識処理部２４は、撮像したフレームにおける目標明るさＤ_Ｒと撮像したフレームにおける実明るさＤ_Ａから所定の関数Ｆに基づいて適切なカメラ制御値を算出する。例えば、シャッタスピードＳの今回値をＳ_Ｎ、シャッタスピードＳの前回値をＳ_Ｎ−１、制御ゲインをＫとした場合、所定関数Ｆ「Ｓ_Ｎ＝Ｓ_Ｎ−１＋Ｋ・（Ｄ_Ｒ−Ｄ_Ａ）」に基づいて、カメラ制御値が算出される。

ＳＶ−ＣＰＵ２３は、各処理部を監督（supervisor）するＣＰＵであり、メモリ２６等に格納されたプログラムを実行することで後述するシャッタ制御を実現する。なお、画像認識処理部２４が兼ねてもよい。ＳＶ−ＣＰＵ２３は、画像認識処理部２４による算出されたカメラ制御値を画像取得部１０内のカメラＣＰＵ１３に送信・指示する。

車両用画像処理装置１を車両に搭載することによって、路上の立体物や白線等を画像から認識して車両制御及び運転者の車両操作を支援することが可能である。例えば、ＳＶ−ＣＰＵ２３が、車内ＬＡＮを介して、画像認識処理結果を必要とする他のＥＣＵにその結果を送信すればよい。他のＥＣＵとは、例えば、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。

続いて、シャッタ制御について説明する。ある対象物を画像処理により検出する場合、その対象物が最適な明るさとなるように、シャッタスピード、ゲイン値等のカメラ制御値を調節することによってカメラの露出を制御する。

例えば、日中であれば、所定のフレームに基準となるウィンドウを設定して、そのウィンドウ内の画素の輝度平均が所定値となるようにカメラ制御値を決定することができる。また、夜間の場合、十分な光量が得られないのでシャッタスピードを遅めにゲイン値を高めに設定することでナイトビューに適切なカメラ制御値とする必要がある。

ところで、車両は、立体物検出のための画像、白線認識のための画像、ナイトビュー用の画像と、目的によって多くの画像を利用するが、目的に応じてそれぞれカメラを車載することはコスト的にも車両スペースにも困難である。そこで、本実施の形態では、立体物検出のカメラの一方をナイトビューに、他方を白線認識に使用することで、立体物検出、白線認識及びナイトビュー用の画像を一対のステレオカメラにより実現する。

図１（ｂ）はステレオカメラの共用システムの概略図を示す。なお、図１（ｂ）において図１（ａ）と同一部分には同一の符号を付した。カメラ１７Ｒは常にナイトビュー用のカメラ制御値（以下、単にＮＶ用カメラ制御値という）により撮像し、カメラ１７ＬはＮＶ用カメラ制御値と白線を認識するためのカメラ制御値（以下、単に白線用カメラ制御値という）を交互に切り替えて撮像する。したがって、カメラ１７ＬがＮＶ用カメラ制御値で撮像した場合、ステレオＥＣＵ２０は一対のフレームを使用して立体物検出することができ、カメラ１７Ｌが白線用カメラ制御値で撮像した場合、ステレオＥＣＵ２０は白線認識することができる。

また、画像取得部１０が、白線用のカメラ制御値を適用した白線用認識用のフレームとナイトビュー用のカメラ制御値を適正に適用した立体物検出用のフレームを単純に切り替えることができたとしても、画像取得部１０とステレオＥＣＵ２０間で撮像したフレームに関する整合がとれていなければ、ステレオＥＣＵ２０側が、画像処理のタイミングをずらしてしまったり、画像処理すべき画像を取り込み間違いしてしまったりするおそれがある。

そこで、本実施の形態の車両用画像処理装置１は、立体物検出と白線認識のそれぞれの処理に適した画像を得るために、以下のように動作する。

図２は、画像取得部１０とステレオＥＣＵ２０間で行われる画像処理シーケンスの一部を切り出した図である。

ステレオＥＣＵ２０のＳＶ−ＣＰＵ２３は、画像取得部１０内のカメラＣＰＵ１３とシリアル通信を行う。ＳＶ−ＣＰＵ２３は、シリアル通信により、画像認識処理部２４のシャッタ制御で算出されたカメラ制御値をカメラ１７Ｒと１７Ｌにそれぞれ送信する。ＳＶ−ＣＰＵ２３は、カメラ１７Ｒには常にＮＶ用カメラ制御値を送信し、カメラ１７ＬにはＮＶ用カメラ制御値と白線用カメラ制御値を必ず交互に送信する。

したがって、カメラ１７Ｌには、所定間隔Ｔ（例えば５０ｍｓ）の送信周期で、白線用カメラ制御値とＮＶ用カメラ制御値が送信される。なお、白線用カメラ制御値とＮＶ用カメラ制御値の送信順序は、通信カウンタ（図２の（ｉ）〜（ｖii））が奇数の場合には白線用カメラ制御値が送信され、偶数の場合にはＮＶ用カメラ制御値が送信される。

ＮＶ用カメラ制御値によりカメラ１７Ｒ、１７Ｌが制御されるサイクルでは、１対のフレームを使用して画像認識処理部２４により立体物検出処理が行われる。また、白線用カメラ制御値によりカメラ１７Ｌが制御されるサイクルでは、カメラ１７Ｌにより撮像されたフレームを使用して画像認識処理部２４により白線認識処理が行われる。

ＳＶ−ＣＰＵ２３は、カメラ制御値を送信する場合、その送信タイミングにおいて画像認識処理部２４が最後に算出したカメラ制御値を送信する。すなわち、画像認識処理部２４によるカメラ制御値の算出処理が高負荷等の理由により、カメラ制御値の送信タイミングに間に合わない場合、前回算出されたカメラ制御値が送信される。

一方、画像取得部１０は、所定フレーム数を最小単位に白線認識及びＮＶ用カメラ制御を行う。図２では、ＳＶ−ＣＰＵ２３からの白線用カメラ制御値及びＮＶ用カメラ制御値は１フレーム毎に適用されるものとした。なお、白線認識とＮＶ用カメラ制御の適用フレーム数は同じでなくてもよい。

ここで、カメラの１フレームは２つのフィールドという要素から成り立っており、いわゆるインタレース処理に施される。すなわち、「奇数（ＯＤＤ）フィールド」は走査線の奇数本目に走査が行われ、「偶数（ＥＶＥＮ）フィールド」は走査線の偶数本目に走査が行われる。画像取得部１０は、撮像した１フレーム毎にフレームナンバＮ（Ｎ＝１，２，３，・・・）を順番に付与する。さらに、フィールドもさらに区別できるように「１ｏ，１ｅ」，「２ｏ，２ｅ」，・・・と付与する。

図３はこのようなシーケンス処理によりカメラ１７Ｌとカメラ１７Ｒが制御される制御手順を示すフローチャート図である。図３（ａ）はカメラ１７Ｌのカメラ制御を、図３（ｂ）はカメラ１７Ｒのカメラ制御値をそれぞれ示す。

カメラＣＰＵ１３は、フレームナンバに応じてカメラ１７Ｌのカメラ制御をＮＶ用とするか白線用とするかを判定する（Ｓ１）。フレームナンバが偶数の場合（Ｓ１のＹｅｓ）、カメラＣＰＵ１３はＮＶ用カメラ制御値によりカメラ１７Ｌを制御する（Ｓ２）。

図２では、フレームナンバ「０ｏ、２ｏ、４ｏ、６ｏ、…」が相当し、カメラ１７ＬのこれらのフレームはＮＶ用カメラ制御値により撮像される。

ＮＶ用カメラ制御値は、シャッタスピードに下限及びゲイン値に上限を設けており、これにより先行車や街灯などの光源が撮像されてもハレーションを防ぐことができる。なお、ＮＶ装置作動時は対向車を眩惑しないように近赤外領域の波長の光を照明し立体物からの反射光を撮像するが、近赤外の光を効率よく入射するためカメラ１７Ｒには可視光カットフィルタが装着される。また、一対のフレームに視差以外の差異があると立体物検出できないので、カメラ１７Ｌにも可視光カットフィルタが装着される。したがって、少なくともＮＶ装置作動時は、近赤外線が照射されると共に左右のカメラに可視光カットフィルタが装着される。

そしてフレームナンバが奇数の場合は（Ｓ３のＹｅｓ）、カメラＣＰＵ１３は白線用カメラ制御値によりカメラ１７Ｌを制御する（Ｓ４）。

図２では、フレームナンバ「１ｏ１ｅ、３ｏ３ｅ、５ｏ５ｅ、…」が相当し、カメラ１７Ｌのこれらのフレームは白線用カメラ制御値により撮像される。

白線用カメラ制御値は、白線が明るく（輝度が大きく）検出されることが好ましいので、シャッタスピードに下限及びゲイン値に上限を設けない。白線は光源を有さないのでこのような制限を設けなくてもハレーションを起こすことがなく、また、前照灯（近赤外を若干含む）及び近赤外の光が白線で反射するので、可視光カットフィルタが装着されていてもカメラ１７Ｌは輝度の十分な白線を撮像できる。

なお、上述のように、画像取得部１０がステレオＥＣＵ２０からカメラ制御値を受信していないサイクルでは、その時点で最新のカメラ制御値を適用してカメラ１７Ｌ、１７Ｒを制御する。

また、ナイトビュー用に、ＨＵＤに継続して画像を投影する右側のカメラ１７Ｒは、常にＮＶ用のカメラ制御値により制御されるので、フレームナンバに関わらすＮＶ用カメラ制御値により制御される（Ｓ５）。

図２では、フレームナンバ「０ｏ〜６ｅ…」が相当し、カメラ１７ＲのこれらのフレームはＮＶ用カメラ制御値により撮像される。

図２に示すように、カメラ１７Ｌは白線用カメラ制御値とＮＶ用カメラ制御値とを交互に切り替えてシャッタ制御され、カメラ１７ＲはＮＶ用カメラ制御値でのみシャッタ制御されている。

なお、画像取得部１０は、すでに受信している最後の白線用カメラ制御値又はＮＶ用カメラ制御値をそれぞれの最小フレーム単位毎に適用して撮像するので、カメラ制御値の受信タイミングと撮像のタイミングとの同期はとれていなくてもよい。

図４は、ステレオＥＣＵ２０がフレームナンバに応じて白線認識又は立体物検出する画像処理手順を示すフローチャート図である。

撮像されたフレームは、当該フレームのカメラ制御値及びフレームナンバと共にステレオＥＣＵ２０に送信される。

ステレオＥＣＵ２０はフレームナンバに応じて立体物検出の画像処理を行うか、白線認識の画像処理を行うかを判定する（Ｓ１０）。

画像取得部１０からフレームを受信したステレオＥＣＵ２０は、フレームに付与されたフレームナンバに応じて白線用フレームと立体物フレームを区別する。ステレオＥＣＵ２０は、処理すべきフレームのフレームナンバが偶数の場合（Ｓ１０のＹｅｓ）、立体物用カメラ制御により撮像した立体物用フレームであるとして立体物検出処理を行う（Ｓ２０）。

一方、処理すべきフレームのフレームナンバが奇数の場合（Ｓ３０のＹｅｓ）、ステレオＥＣＵ２０は、白線用カメラ制御により撮像した白線用フレームであるとして白線認識処理を行う（Ｓ４０）。

処理すべきフレームのフレームナンバが奇数の場合であっても、カメラ１７Ｒが撮像したフレームは画像出力部１４が常にＨＵＤに出力している。なお、ステレオＥＣＵ２０が白線認識処理を行う場合、このフレーム（フレームナンバが奇数のフレーム）に基づく立体物検出は行わない。この場合、カメラ１７Ｒが撮像してステレオＥＣＵ２０に入力されたフレームは使用されないか又は破棄される。

そして、白線認識処理の後に白線用カメラ制御値算出等の白線認識後処理が行われ、立体物検出処理の後に立体物用カメラ制御値算出等の立体物検出後処理が行われる。

なお、処理負荷増大等の理由により、白線認識処理若しくは立体物検出処理の時間が増えてタイミングがずれた場合には、タイミングを取り直して再スタートする。処理時間の制限として、例えば、白線認識処理は１６．７ｍｓ以内、立体物検出処理は８３．３ｍｓ以内に設定しておく。

また、ステレオＥＣＵ２０内の画像認識処理部２４の起動タイミングは、白線認識はＥＶＥＮ起動、立体物検出はＯＤＤ起動であるため、初期起動時にフレームナンバとＯＤＤ／ＥＶＥＮ起動のタイミングを合わせるために空回しをする必要がある。この正規のタイミングと逆に立体物の画像をＥＶＥＮ起動で受けたり、白線の画像をＯＤＤ起動で受けた場合、その回の処理を廃棄して、ＳＶ−ＣＰＵ２３は、白線用カメラ制御値と立体物用カメラ制御値をカメラＥＣＵ１０へ送信するタイミングに合わせる。

以上のように、ステレオＥＣＵ２０は、付与されたフレームナンバに応じて白線認識処理すべきフレームと立体物検出処理すべきフレームを区別することによって、検出処理すべきフレームを白線用と立体物用とで間違えて取り込むことを防止することができる。そして、フレームの区別を行ったステレオＥＣＵ２０は、白線認識処理用と区別がなされたフレームを基に白線認識処理と白線用カメラ制御値の算出処理を行い、立体物検出処理用と区別がなされたフレームを基に立体物検出処理と立体物用カメラ制御値の算出処理を行っている。

そして、このように算出処理された白線用カメラ制御値と立体物用カメラ制御値に関して、「通信カウンタが奇数の場合には白線用カメラ制御値を送信し、偶数の場合にはＮＶ用カメラ制御値を送信する」といった送信順序の決め事をカメラＣＰＵ１３とＳＶ−ＣＰＵ２３との間で設定し、ステレオＥＣＵ２０はかかる決め事に従いカメラＥＣＵ１０へ送信する。したがって、カメラＥＣＵ１０は、その送信順序でカメラ制御値を受信してカメラ１７Ｌのカメラ制御値に適用することができる。

各カメラ制御を実行したカメラＥＣＵ１０は、撮像したフレームを、当該フレームのカメラ制御値とフレームナンバとを付与した上でステレオＥＣＵ２０に送信する。このよう処理のサイクルが、カメラＥＣＵ１０とステレオＥＣＵ２０間で繰り返されることとなり、立体物検出と白線認識のそれぞれの処理に適した画像を得ることができるようになる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。例えば、本発明の走査方式は特に限定せず、インターレース方式でもノンインターレース方式でもよい。

本実施の形態の車両用画像処理装置のシステム構成図の一例である。画像取得部とステレオＥＣＵ間で行われる画像処理シーケンスの一部を切り出した図である。このようなシーケンス処理により左右のカメラが制御される制御手順を示すフローチャート図である。ステレオＥＣＵがフレームナンバに応じて白線認識又は立体物検出する画像処理手順を示すフローチャート図である。

符号の説明

１車両用画像処理装置
１０画像取得部
１１，１２撮像素子
１３カメラＣＰＵ
１４画像出力部
１５、１６レンズ
１７カメラモジュール
１８、２５、２６メモリ
２０ステレオＥＣＵ
２１画像入力部
２２幾何変換処理部
２３ＳＶ−ＣＰＵ
２４画像認識処理部

Claims

撮像した画像の輝度情報に基づいて平面物を認識する平面物認識用のシャッタ制御及び撮像した画像の視差情報に基づいて立体物を検出する立体物検出用のシャッタ制御、の双方を実行可能な第１の撮像手段と、
前記立体物検出用のシャッタ制御を行う第２の撮像手段と、
前記平面物認識用のシャッタ制御により、前記第１の撮像手段が撮像した画像を画像処理することで平面物を認識し、
前記立体物検出用のシャッタ制御により、前記第１の撮像手段が撮像した画像及び前記第２の撮像手段が撮像した画像、の２つの画像に基づいて、立体物を検出する画像処理部と、
を有することを特徴とする車両用画像処理装置。
前記第１の撮像手段は、前記平面物認識用のシャッタ制御と前記立体物検出用のシャッタ制御とをフレーム毎に切り替える、
ことを特徴とする請求項１記載の車両用画像処理装置。
前記第２の撮像手段が撮像した画像を表示装置に出力する画像出力部を有する、
ことを特徴とする請求項１又は２記載の車両用画像処理装置。
前記第１の撮像手段が前記平面物認識用のシャッタ制御により撮像した場合であっても、前記画像出力部は前記第２の撮像手段が前記立体物検出用のシャッタ制御により撮像した画像を前記表示装置に出力する、
ことを特徴とする請求項３記載の車両用画像処理装置。
前記第１の撮像手段が前記平面物認識用のシャッタ制御により撮像し、かつ、前記第２の撮像手段が前記立体物検出用のシャッタ制御により撮像した場合、前記画像出力部は前記第２の撮像手段が撮像した画像を前記表示装置に出力すると共に、前記画像処理部は平面物認識を行う、
ことを特徴とする請求項３記載の車両用画像処理装置。
前記立体物検出用のシャッタ制御はシャッタ速度に下限及びゲイン値に上限を有し、前記平面物認識用のシャッタ制御は前記下限よりも小さいシャッタ速度及び前記上限よりも大きいゲイン値が設定可能である、
ことを特徴とする請求項１又は２記載の車両用画像処理装置。