JP6279090B6 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に係り、例えば自動車等の車両に搭載された複数のカメラで撮像された画像を処理して車両周囲の環境を認識する画像処理装置に関する。

従来、自動車等の車両に搭載されたカメラ（車載カメラ）から得られる画像に基づいて当該車両の周囲に存在する車両を検知し、その検知結果をドライバーの運転支援に利用するシステムが開発されている。そのようなシステムの一例として、例えば、自車周囲に存在する車両との車間距離を自動的に維持する車間維持システム（ＡＣＣ）や、自車周囲に存在する車両等との衝突可能性が生じた際に警報等でドライバーに注意を促し、さらに衝突が避けられない状況になった際に自動ブレーキ等で乗員に対する傷害を軽減する衝突回避システムなどが知られている。

特に、複数のカメラからなるステレオカメラ装置を利用する場合には、カメラで撮像された画像に寄る視覚的な情報とその画像に映る対象物の距離に関する情報とを同時に取得でき、車両周囲の様々な対象物（人、車両、立体物、路面、路面標識、看板標識など）を詳細に把握できるため、運転支援時の安全性の向上にも寄与すると考えられている。

上記した車間維持システムや衝突回避システムの中核を成す画像処理を用いた物体検知技術については、精度向上のための試みが継続して行われているが、その一方で、車載装置として利用し得る計算リソースには限界があり、また早い応答速度が求められている。そのため、当該分野では、検知精度向上と計算負荷低減や応答速度向上といった、互いに矛盾する要求に応える技術の開発が望まれている。

このような要請に対し、特許文献１には、画像に映る対象物までの距離を測定する際に、距離精度を向上させて当該対象物までの正確な距離を測定する技術が開示されている。

特許文献１に開示されている画像処理装置は、一対の撮像素子で同時刻に同方向を撮像した一対の画像の一方の画像から対象物の画像を含む一方画像対象物領域を抽出し、その一方画像対象物領域を構成する複数の画像構成部分についてそれぞれ対象物画像構成部分と背景画像構成部分のいずれであるかの確度である背景度を算出し、その背景度を用いて他方の画像内から一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出して、一方画像対象物領域と他方画像対象物領域との視差を算出する装置である。

特開２０１３−１０４７４０号公報

ところで、ステレオカメラ装置を利用した物体（特に車両）検知技術に用いる従来の画像処理装置は、一般に図７に示すような装置構成を有している。すなわち、従来の画像処理装置５０'は、図７に示すように、主に、画像処理部５２'を構成する右画像取得部５０１'と左画像取得部５０２'と視差情報取得部５０３'と、演算処理部５３'を構成する車両検知部５０４'と距離算出部５０５'と照合処理部５０６'と相対速度算出部５０７'と算出結果出力部５０８'と、を備えている。

この従来の画像処理装置５０'では、まず、左画像取得部５０２'及び右画像取得部５０１'によって、車両に搭載された左右一対のカメラから画像を取得する。次に、視差情報取得部５０３'によって、左右のカメラで撮像された２つの画像を互いに照合して視差を計算し、視差画像を出力する。次に、車両検知部５０４'によって、計算結果から得られた視差情報（視差画像）と左右の画像（左右のカメラで撮像された左画像と右画像）または一方の画像を使用して、画像に映る車両の検知・認識を行い、車両候補群の位置（画像中の位置）を出力する。次に、距離算出部５０５'によって、車両の検知結果（車両候補群の位置）と視差情報（視差画像）などを用いて、前記車両までの距離（車両候補群の距離）を算出・出力する。なお、その計算結果は登録テーブル５０９'に記録される。次に、照合処理部５０６'によって、フレーム間の検知された車両の位置情報（例えば、あるフレームＴとその過去のフレームＴ−１の車両候補群の位置及び距離）や画像の見え方の情報を用いて、あるフレームでの検知結果とその次のフレームでの検知結果の対応付けを行う。なお、過去の情報が無い場合には当該照合処理部５０６'による照合処理は実施されない。次に、相対速度算出部５０７'によって、照合処理部５０６'により認識されたフレーム間の対応（すなわち、フレーム間で対応付けられた車両候補群の位置及び距離）を使用し、距離の変化率を認識して前記車両の相対速度を算出すると共に、そのフレームで求まった相対速度を車両の位置及び距離などの情報とともに登録テーブル５０９'に記録する。なお、相対速度は、拡大率から求めることも可能であるため、その場合には、右画像または左画像のどちらかを用いてもよい。そして、算出結果出力部５０８'によって、その計算結果を制御処理部などに出力する。なお、登録テーブル５０９'に記録された、あるフレームで計測された車両候補群の位置及び距離、相対速度などは、次のフレームでの処理に用いられる。

上記した視差情報取得部５０３'による視差算出処理では、図８に示すように、左右の画像での視差算出処理の対象エリアを領域５１１'と領域５１４'とした場合、領域５１１'をある一定のサイズの小領域に分割し、着目する小領域に対応する部分を領域５１４'の中から探す。具体的には、領域５１１'上の着目する小領域と同じサイズの領域５１２'を領域５１４'から切り出し、この切出し範囲を矢印５１３'方向（横方向）にシフトして、最も良く照合する場所を探す。この照合範囲は、予め定められたｍａｄの範囲内で行うが、上記した細かな領域の照合を、立体視したい対象画像の全面に亘って行うために処理が重くなる。一般には、この処理は、画像処理を専用に行う素子で行うが、それでもその計算負荷が大きいことが知られている。

従来の画像処理装置５０'による画像処理を時系列でより詳細に説明すると、図９に示すように、画像処理部５２'におけるプロセスをＳ１'系列とし、演算処理部５３'におけるプロセスをＳ２'系列とした場合、まず、画像処理部５２'（Ｓ１'系列）において、右カメラからの右画像入力処理Ｓ５０１'と左カメラからの左画像入力処理Ｓ５０２'を行い、双方の画像が集積された段階で、視差算出処理Ｓ５０３'を行う。この視差算出処理Ｓ５０３'の結果、左右または一方の画像とそれに対応する視差情報（視差画像）が得られる。この視差算出処理Ｓ５０３'での処理結果を、タイミングＴ１'で演算処理部５３'に転送し、演算処理部５３'（Ｓ２'系列）では、その転送終了を待って、車両検知・認識処理Ｓ５０４'を行う。その後に、距離算出処理Ｓ５０５'、照合処理Ｓ５０６'、相対速度算出処理Ｓ５０７'、算出結果出力処理Ｓ５０８'が行われることとなる。

しかしながら、上記した従来の画像処理装置５０'では、図８に基づき説明したように、視差情報取得部５０３'による視差算出処理Ｓ５０３'に要する時間があり、また、車両検知部５０４'による車両検知・認識処理Ｓ５０４'自身も画像処理と認識を多用するため、全体としての処理時間が長くなる傾向がある。その結果、算出結果出力までの応答速度が遅くなる、すなわち応答性能が劣化するといった問題が生じ得る。

また、カメラからの画像入力から算出結果出力までの応答の遅延は、単にステレオカメラ装置単体を用いて車両制御装置などへ通信するときだけでなく、他のセンサと組み合わせて車両周囲の情報を当該車両に提供するようなセンサフュージョンシステムにおいても、センサ間の応答の違いが大きくなり、その情報の統合が困難となるという問題も生じ得る。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を抑制でき、認識精度向上と計算負荷低減（処理効率向上）や応答速度向上といった、互いに矛盾する要求に応えることのできる画像処理装置を提供することである。

上記する課題を解決するために、本発明に係る画像処理装置は、複数のカメラで同期して所定の周期で時系列的に撮像された複数のフレームのうちの所定の１つのフレームの複数の画像を処理して前記画像に映る対象物までの相対距離もしくは相対速度を計測する認識処理を行う画像処理装置であって、前記所定の１つのフレームの前記複数の画像のうちのいずれか一つの画像と前記対象物の過去の位置情報とに基づいて、前記対象物の現在の位置情報を求める追跡処理を実施する対象物追跡部と、前記対象物追跡部により求められた前記現在の位置情報と前記複数の画像のうちの少なくとも二つの画像とに基づいて、前記対象物までの相対距離を算出する第１距離算出部と、前記所定の１つのフレームの前記複数の画像のうちの少なくとも二つの画像から得られる視差情報に基づいて、前記対象物の現在の位置情報を求めて前記対象物を検知する対象物検知部と、前記対象物検知部における前記対象物の検知結果に基づいて前記対象物までの相対距離を算出する第２距離算出部と、前記対象物追跡部により求められる現在の位置情報と前記対象物検知部により求められる現在の位置情報の少なくとも一方に基づいて行う前記現在の位置情報の補正処理及び前記第１距離算出部により算出される相対距離と前記第２距離算出部により算出される相対距離の少なくとも一方に基づいて行う前記相対距離の補正処理の少なくとも一方の補正処理を行う補正処理部と、を備え、前記所定の１つのフレームに対する認識処理よりも前に少なくとも他の１つのフレームに対する認識処理を行った場合において、前記所定の１つのフレームに対する認識処理の前記第１距離算出部の処理開始タイミングは、前記対象物検知部の処理終了タイミングよりも前に設定されていることを特徴とする。

本発明によれば、第１距離算出部の処理開始タイミングは、前記対象物検知部の処理終了タイミングよりも前に設定されている、特に前記対象物検知部の処理開始タイミングの以前に設定され、対象物検知部による対象物検知・認識処理の終了前や開始前に、複数の画像のうちのいずれか一つの画像と予め記憶された対象物の過去の位置情報とに基づいて求められる対象物の現在の位置情報を用いて対象物までの相対距離を算出することにより、距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を効果的に抑制することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る画像処理装置の実施形態１が適用されたステレオカメラシステムのシステム構成を概略的に示すシステム構成図。 図１に示す画像処理装置の内部構成を概略的に示す内部構成図。 図２に示す画像処理装置の内部構成を示す内部構成図。 図１に示す画像処理装置の処理内容を時系列で説明するタイミングチャート。 本発明に係る画像処理装置の実施形態２の処理内容を時系列で説明するタイミングチャート。 本発明に係る画像処理装置の実施形態３の処理内容を時系列で説明するタイミングチャート。 従来の画像処理装置の内部構成を示す内部構成図。 視差情報取得部の一般的な処理内容を模式的に説明する模式図。 従来の画像処理装置による処理内容を時系列で説明するタイミングチャート。

以下、本発明に係る画像処理装置の実施形態を図面を参照して説明する。

［実施形態１］
図１は、本発明に係る画像処理装置の実施形態１が適用されたステレオカメラシステムのシステム構成を概略的に示したものである。図示するステレオカメラシステム１は、例えば自動車等の車両Ｖに搭載され、主に、複数（本実施形態では、２つ）のカメラからなるステレオカメラ装置１１と、ステレオカメラ装置１１の各カメラで同期して撮像された複数の画像を処理する画像処理装置１０と、画像処理装置１０で生成された制御信号に基づいて車両Ｖに搭載された各種装置（例えば、アクセル１３、ブレーキ１４、スピーカ１５、ステアリング１６など）を制御する制御装置１２と、から構成されている。

ステレオカメラ装置１１は、例えば車両Ｖの前方のフロントガラスの上部の手前に、車両Ｖの前方に向かって設置されており、車内ネットワークを介して、画像処理装置１０や制御装置１２、アクセル１３、ブレーキ１４、スピーカ１５などと通信可能に接続されている。このステレオカメラ装置１１は、車両Ｖの前方を撮像して画像情報を取得する一対の撮像手段としての右カメラ１１ａと左カメラ１１ｂを備えている。右カメラ１１ａと左カメラ１１ｂはそれぞれ、ＣＣＤなどの撮像素子を有しており、互いに車幅方向（左右方向）に離間した位置から車両Ｖの前方を撮像するように設置されている（図２参照）。

画像処理装置１０は、ステレオカメラ装置１１で所定の周期で時系列的に取得した車両Ｖの前方の撮影対象領域の画像情報に基づいて車外の環境を認識する装置であり、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの各種対象物を認識し、その認識結果に基づいて制御信号を生成して制御装置１２へ出力する。制御装置１２は、画像処理装置１０から受信した制御信号に基づいて、当該車両Ｖ（自車両）のアクセル１３やブレーキ１４、ステアリング１６などの調整を行うようになっている。

なお、画像処理装置１０や制御装置１２は、ステレオカメラ装置１１内に組み込まれて当該スレテオカメラ装置１１自身が処理を兼ねてもよいし、統合コントローラ内等に組み込まれてもよい。

図２は、図１に示す画像処理装置の内部構成を概略的に示したものである。図示する画像処理装置１０は、主に、画像入力インタフェース２１と、画像処理部２２と、演算処理部２３と、記憶部２４と、ＣＡＮインタフェース２５と、制御処理部２６とを有し、各部がバス２０を介して通信可能に接続されている。

画像入力インタフェース２１は、ステレオカメラ装置１１の撮像を制御し、ステレオカメラ装置１１（の各カメラ１１ａ、１１ｂ）で撮像した画像を取り込むためのものである。この画像入力インタフェース２１を通して取り込まれた各カメラ１１ａ、１１ｂの画像は、バス２０を通して転送され、画像処理部２２や演算処理部２３で処理されると共に、処理途中の結果や最終結果となる画像データなどが記憶部２４に記憶されるようになっている。

画像処理部２２は、ステレオカメラ装置１１の右カメラ１１ａの撮像素子から得られる右画像と、左カメラ１１ｂの撮像素子から得られる左画像とを比較し、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正やノイズ補間などの画像補正を行い、これを記憶部２４に記憶する。また、右画像と左画像の間で相互に対応する箇所を計算し、視差情報を計算して視差画像（視差情報）を生成し、同様に、これを記憶部２４に記憶する。

演算処理部２３は、記憶部２４に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使用し、車両Ｖの周辺の環境を知覚するために必要な、各種対象物の認識を行う。ここで、各種対象物としては、人、車両、その他の障害物、信号機、標識、車両のテールランプやヘッドライド、などが挙げられる。これらの認識結果や中間的な計算結果の一部は、同様に記憶部２４に記憶される。

制御処理部２６は、記憶部２４に蓄えられた認識結果等を用いて車両Ｖの制動等を制御する制御信号を生成するものであり、その車両Ｖの制御方針に関する制御信号や対象物認識の認識結果の一部は、ＣＡＮインタフェース２５を介して車載ネットワークＣＡＮ２７に伝送され、そこから前記制御装置１２等に転送される。

図３は、図２に示す画像処理装置の内部構成をより具体的に示したものである。なお、以下では、対象物として当該車両Ｖの前方に存在する先行車両の存在を検知し、当該車両Ｖからその先行車両までの相対的な距離や速度を認識する場合について具体的に説明する。

図示するように、前記画像処理装置１０は、主に、画像処理部２２を構成する右画像取得部１０１と左画像取得部１０２と視差情報取得部１０３と、演算処理部２３を構成する車両追跡部１０４と第１距離算出部１０５と相対速度算出部１０６と車両検知部１０７と第２距離算出部１０８と補正処理部１０９と算出結果出力部１１０と、を備えている。

前記画像処理装置１０による認識処理（車両検知処理）の処理内容は、１回目における認識処理と２回目以降における認識処理とで異なるため、１回目における認識処理と２回目以降における認識処理とに分けて説明する。ここで、１回目における認識処理とは、対象とする車両が過去に検知されていない状態から初めて検知する処理を意味している。

１回目における認識処理では、まず、右画像取得部１０１及び左画像取得部１０２は、右カメラ１１ａ及び左カメラ１１ｂで撮像された右画像及び左画像を記憶部２４から取得する。なお、右画像取得部１０１及び左画像取得部１０２は、画像入力インタフェース２１を介してステレオカメラ装置１１（の各カメラ１１ａ、１１ｂ）から直接的に右画像及び左画像を取得してもよい。次に、視差情報取得部１０３は、右画像取得部１０１及び左画像取得部１０２で取得された右画像及び左画像を使用して視差計算を行い、視差画像（視差情報）を生成する。視差情報取得部１０３による視差計算の結果、画像と視差情報（ステレオ情報）が得られるので、車両検知部１０７は、これらの結果を使用して画像に映る車両の現在の位置情報（画像中の位置情報）を求めて当該車両の検知・認識を行う。第２距離算出部１０８は、その検知結果を用いて先行車両までの距離を算出する。車両検知部１０７や第２距離算出部１０８は、対象物の過去の位置情報として利用するために、その算出結果である位置情報や距離情報を記憶部２４としての登録テーブル１１１に登録する。

一方、２回目以降における認識処理では、処理の効率化を図るべく、右画像取得部１０１にて右画像を取得した後に、車両追跡部１０４は、その右画像とすでに登録テーブル１１１に登録された検知済みの結果（すなわち、対象物の過去の位置情報）を使用して、先行車両の現在の位置情報（画像中の位置情報）を求める車両追跡処理を行う。詳細には、車両追跡部１０４は、右画像の情報を用いて検知済みの結果に含まれる位置の付近を探索し、先行車両の現在のフレームにおける位置を特定する。次に、第１距離算出部１０５は、車両追跡部１０４にて求められた位置情報と視差情報取得部１０３にて生成された視差画像（視差情報）とを用いて先行車両までの距離を算出し、相対速度算出部１０６は、第１距離算出部１０５による算出結果と当該第１距離算出部１０５により過去に算出された算出結果とを用いて先行車両の相対速度を算出する。そして、算出結果出力部１１０は、第１距離算出部１０５による算出結果や相対速度算出部１０６による算出結果を、記憶部２４等を介して制御処理部２６へ出力する。

すなわち、この２回目以降における認識処理では、車両追跡部１０４が、図７及び図９に基づき説明した従来の画像処理装置５０'の照合処理部５０６'のように、現在のフレームの車両検知部５０４'による検知結果を受け取るのではなく、すでに登録テーブル１１１に登録された過去の情報から自身の処理の中で現在のフレームにおける対象物（先行車両）の位置を特定するようになっている。

一般に、車両検知部１０７による車両検知・認識処理では、様々なデザインや様々な外界環境下での車両の映像を認識するため、車両の画像事例を大量に登録した辞書（画像事例辞書）を使用して認識を行う。そのため、処理精度は良いが、計算量が大きくなり、処理時間が長くなる傾向がある。一方で、車両追跡部１０４による車両追跡処理は、既に一度検知した車両の画像を事例として、その周辺に対して追跡を行うため、計算量が小さくなり、画像入力から算出結果出力までの処理時間を非常に短くすることができる。

第１距離算出部１０５や相対速度算出部１０６にて距離計測や相対速度計測を行った後に、上記したように、車両検知部１０７は、視差情報取得部１０３による視差計算の結果を使用して当該フレームにおける先行車両の位置を求めて当該先行車両の検知・認識を行い、第２距離算出部１０８は、その検知結果を用いて先行車両までの距離を算出する。ここで、車両追跡部１０４でも現在のフレームでの対象物（先行車両）の位置が既に求められ、第１距離算出部１０５でも前記対象物（先行車両）までの距離が既に求められているため、車両検知部１０７や第２距離算出部１０８の結果と車両追跡部１０４や第１距離算出部１０５の結果とが存在するが、双方の結果は必ずしも一致しない。そこで、補正処理部１０９は、車両検知部１０７や第２距離算出部１０８の結果と車両追跡部１０４や第１距離算出部１０５の結果とを比較し、次のフレームでどの位置情報や距離情報を使用するかを決定する。例えば、補正処理部１０９は、どちらかの情報を優先して次のフレームで使用したり、双方で得られた位置の内分点を次のフレームで使用できるが、その補正方法は、特に限定されない。また、補正処理部１０９は、第２距離算出部１０８の結果と第１距離算出部１０５の結果に基づき、相対速度算出部１０６で求められた結果を補正することも可能である。補正処理部１０９は、次のフレームでの車両追跡処理などにおいて対象物の過去の位置情報などとして使用するため、求められた結果（位置情報や距離情報、相対速度情報など）を登録テーブル１１１に保存する。

上記した画像処理装置１０による画像処理を時系列でより詳細に説明すると、図４に示すように、画像処理部２２におけるプロセスをＳ１系列とし、演算処理部２３におけるプロセスをＳ２系列とした場合、まず、画像処理部２２（Ｓ１系列）において、右カメラ１１ａからの右画像入力処理Ｓ１０１と左カメラ１１ｂからの左画像入力処理Ｓ１０２を行い、双方の画像が集積された段階で、視差算出処理Ｓ１０３を行う。この視差算出処理Ｓ１０３の結果、左右または一方の画像とそれに対応する視差情報（視差画像）が得られる。この視差算出処理Ｓ１０３での処理結果を、タイミングＴ１で演算処理部２３に転送する。なお、ここまでの処理フローは、図９に基づき説明した従来の画像処理装置５０'の処理フローと同様である。

一方、本実施形態では、視差算出処理Ｓ１０３での処理結果の転送タイミング（視差算出処理Ｓ１０３の処理終了タイミングの以後のタイミング）であるタイミングＴ１よりも前であって、右画像入力処理Ｓ１０１が終了した後のタイミングＴ０で、立体視データ（視差情報）を含まない、画像のみのデータを画像処理部２２（Ｓ１系列）から演算処理部２３（Ｓ２系列）に転送する。既に一度検知された車両については、画像のみを使用した車両追跡が可能であるため、演算処理部２３（Ｓ２系列）では、画像処理部２２（Ｓ１系列）における左画像入力処理Ｓ１０２と視差算出処理Ｓ１０３の時間を使って、現在のフレームにおける車両の位置を求める車両追跡処理Ｓ１０４を行う。その後、視差算出処理Ｓ１０３の以後のタイミングＴ１で転送されてくる視差情報を使用して、第１距離算出処理Ｓ１０５及び相対速度算出処理Ｓ１０６を実施し、この段階で第１距離算出処理Ｓ１０５や相対速度算出処理Ｓ１０６による算出結果を出力する算出結果出力処理Ｓ１１０を行う。これにより、画像入力から制御処理部２６等への算出結果出力までの遅延が抑制される。

算出結果出力処理Ｓ１１０により算出結果を出力した後に、視差情報を使用して車両検知・認識処理Ｓ１０７を行い、その検知結果を用いて先行車両までの距離を算出する第２距離算出処理Ｓ１０８を行い、先に述べた車両追跡処理Ｓ１０４などの結果と車両検知・認識処理Ｓ１０７などの結果とに基づき、次のフレームで使用する位置などを決定する補正処理Ｓ１０９を実施して、このフレームでの処理が終了する。

このように、本実施形態１では、画像処理装置１０における画像処理を細分化し、単眼系の処理フローと立体系の処理フローとに分割して構成し直し、ＣＰＵなどの計算リソースの効率的な配分を行うことで、距離等の認識精度を維持しながら、画像入力から算出結果出力までの応答の遅延を効果的に短縮することができる。

具体的には、車両追跡部１０４の処理開始タイミングを、視差情報取得部１０３の処理終了タイミングよりも前、特に視差情報取得部１０３の処理開始タイミングの以前に設定し、かつ、第１距離算出部１０５の処理開始タイミングを、車両検知部１０７の処理終了タイミングよりも前、特に車両検知部１０７の処理開始タイミングの以前に設定し、車両検知部１０７による車両検知・認識処理Ｓ１０７の終了前や開始前に、左右の画像のいずれかと予め登録テーブル１１１に記憶された車両の過去の位置情報とに基づいて求められる車両の現在の位置情報を用いて先行車両までの相対距離などを算出して出力することにより、距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を効果的に抑制することができる。

［実施形態２］
図５は、本発明に係る画像処理装置の実施形態２の処理内容を時系列で説明したものでる。本実施形態２の画像処理装置は、上記した実施形態１の画像処理装置１０に対し、主に第１距離算出部による距離算出処理の処理方法と処理開始・終了タイミングが相違している。すなわち、本実施形態２の画像処理装置の装置構成は、実施形態１の画像処理装置１０の装置構成と同様であるため、その詳細な説明は省略し、以下では、画像処理装置による画像処理の処理内容を具体的に説明する。

本実施形態２では、図５に示すように、画像処理部２２におけるプロセスをＳ１Ａ系列とし、演算処理部２３におけるプロセスをＳ２Ａ系列とした場合、上記した実施形態１と同様、まず、画像処理部２２（Ｓ１Ａ系列）において、右カメラ１１ａからの右画像入力処理Ｓ１０１Ａと左カメラ１１ｂからの左画像入力処理Ｓ１０２Ａを行い、双方の画像が集積された段階で、視差算出処理Ｓ１０３Ａを行う。この視差算出処理Ｓ１０３Ａの結果、左右または一方の画像とそれに対応する視差情報（視差画像）が得られる。この視差算出処理Ｓ１０３Ａでの処理結果を、タイミングＴ１Ａで演算処理部２３に転送する。

また、視差算出処理Ｓ１０３Ａでの処理結果の転送タイミングであるタイミングＴ１Ａよりも前であって、右画像入力処理Ｓ１０１Ａが終了した後のタイミングＴ０Ａで、立体視データ（視差情報）を含まない、画像のみのデータ（右画像）を画像処理部２２（Ｓ１Ａ系列）から演算処理部２３（Ｓ２Ａ系列）に転送し、現在のフレームにおける車両の位置を求める車両追跡処理Ｓ１０４Ａを行う。

更に、左画像入力処理Ｓ１０２Ａが終了した後のタイミングＴ２Ａで、視差情報を含まない画像のみのデータ（左画像のみ、もしくは、右画像と左画像の双方の画像）を画像処理部２２（Ｓ１Ａ系列）から演算処理部２３（Ｓ２Ａ系列）に転送する。距離計測及び相対速度計測は、右画像と左画像があれば、図８に基づき説明したのと同じ原理で計算範囲を限定することで実施可能であり、且つ、一般に視差算出処理Ｓ１０３Ａよりも短い処理時間で実施可能である。そこで、車両追跡処理Ｓ１０４Ａにて求められた位置情報とタイミングＴ０Ａ、Ｔ２Ａで転送されてくる右画像及び左画像とを用いて第１距離算出処理Ｓ１０５Ａ及び相対速度算出処理Ｓ１０６Ａを実施し、その後、第１距離算出処理Ｓ１０５Ａや相対速度算出処理Ｓ１０６Ａによる算出結果を出力する算出結果出力処理Ｓ１１０Ａを行う。これにより、画像入力から制御処理部２６等への算出結果出力までの処理時間を更に短縮することができる。

その後、視差算出処理Ｓ１０３Ａの終了タイミング以後のタイミングＴ１Ａで転送されてくる当該フレームでの視差情報を使用して車両検知・認識処理Ｓ１０７Ａを行い、その検知結果を用いて先行車両までの距離を算出する第２距離算出処理Ｓ１０８Ａを行い、先に述べた車両追跡処理Ｓ１０４Ａなどの結果と車両検知・認識処理Ｓ１０７Ａなどの結果に基づき、次のフレームで使用する位置などを決定する補正処理Ｓ１０９Ａを実施する。

このように、本実施形態２では、第１距離算出部の処理開始タイミングを、視差情報取得部の処理終了タイミングよりも前に設定し、視差算出処理Ｓ１０３Ａでの処理結果の転送タイミングであるタイミングＴ１Ａよりも前の、各カメラからの画像入力処理が終了した段階で各画像を転送し、視差算出処理Ｓ１０３Ａでの処理が終了する前であって、車両追跡処理Ｓ１０４Ａが終了し且つ各カメラから各画像が転送された段階で、第１距離算出処理Ｓ１０５Ａや相対速度算出処理Ｓ１０６Ａを開始することで、距離等の認識精度を維持しながら、画像入力から算出結果出力までの応答の遅延を更に短縮することができる。

［実施形態３］
図６は、本発明に係る画像処理装置の実施形態３の処理内容を時系列で説明したものでる。本実施形態３の画像処理装置は、上記した実施形態２の画像処理装置に対し、主に演算処理部による演算処理を２つのＣＰＵを利用して実施する点が相違している。すなわち、本実施形態３の画像処理装置の装置構成は、実施形態１、２の画像処理装置の装置構成と同様であるため、その詳細な説明は省略し、以下では、画像処理装置による画像処理の処理内容を具体的に説明する。

単眼系の車両追跡処理及びそれに関連する処理と立体系の車両検知・認識処理及びそれに関連する処理とは別々のデータを利用しており、車両追跡処理はステレオ情報が不要であること、及び、各処理が互いに独立であることから、演算処理部２３における車両追跡処理等と車両検知・認識処理等とは、２つのＣＰＵでそれぞれ独立して実施することができる。

本実施形態３では、図６に示すように、画像処理部２２におけるプロセスをＳ１Ｂ系列とし、演算処理部２３におけるプロセスを、２つのＣＰＵを仮定してそれぞれのＣＰＵで動くＳ２ａＢ系列、Ｓ２ｂＢ系列とし、上記した実施形態１、２と同様、まず、画像処理部２２（Ｓ１Ｂ系列）において、右画像入力処理Ｓ１０１Ｂと左画像入力処理Ｓ１０２Ｂと視差算出処理Ｓ１０３Ｂを行う。そして、この視差算出処理Ｓ１０３Ｂが終了したタイミングＴ１Ｂで、その処理結果（視差情報）を演算処理部２３のＳ２ｂＢ系列に転送する。

右画像入力処理Ｓ１０１Ｂが終了した後のタイミングＴ０Ｂ（一方の画像を取得した後のタイミング）と、左画像入力処理Ｓ１０２Ｂが終了した後のタイミングＴ２Ｂ（双方の画像を取得した後のタイミング）で、視差情報を含まない画像のみのデータを画像処理部２２（Ｓ１Ｂ系列）から演算処理部２３のＳ２ａＢ系列に転送し、演算処理部２３のＳ２ａＢ系列では、車両追跡処理Ｓ１０４Ｂと第１距離算出処理Ｓ１０５Ｂと相対速度算出処理Ｓ１０６Ｂと算出結果出力処理Ｓ１１０Ｂとを実施する。その後、算出結果出力処理Ｓ１１０Ｂが終了した以後の適宜のタイミングＴ３Ｂで、車両追跡処理Ｓ１０４Ｂ等の結果を演算処理部２３のＳ２ａＢ系列からＳ２ｂＢ系列に転送する。

一方、演算処理部２３のＳ２ｂＢ系列では、視差算出処理Ｓ１０３Ｂの終了タイミング後のタイミングＴ１Ｂで転送されてくるそのフレームでの視差情報を使用して車両検知・認識処理Ｓ１０７Ｂと第２距離算出処理Ｓ１０８Ｂを実施する。その後、車両検知・認識処理Ｓ１０７Ｂなどの結果とＳ２ａＢ系列から転送されてくる車両追跡処理Ｓ１０４Ｂなどの結果に基づき、次のフレームで使用する位置などを決定する補正処理Ｓ１０９Ｂを実施する。

このように、本実施形態３では、演算処理部２３における車両追跡処理及びそれに関連する処理と車両検知・認識処理及びそれに関連する処理を２つのＣＰＵのそれぞれで実施し、車両追跡部及び第１距離算出部などによる処理と対象物検知部及び第２距離算出部などによる処理とを時間的に並行して実施することで、仮に車両追跡処理Ｓ１０４Ｂ等に時間を要し、車両追跡から算出結果出力までの処理時間が長くなり、１ＣＰＵの場合では車両検知・認識処理の実行が遅延する場合であっても、車両検知・認識処理などを車両追跡処理などと並列して実施できる。そのため、画像処理装置による画像処理全体の処理時間（処理サイクル）を短縮でき、その処理効率を効果的に高めることができる。

なお、上記した実施形態１〜３では、左画像の前に右画像を取得し、その右画像を用いて車両追跡処理を実施する形態について説明したが、右画像の前に左画像を取得し、その左画像を用いて車両追跡処理を実施してもよいことは勿論である。

なお、本発明は上記した実施形態１〜３に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態１〜３は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…ステレオカメラシステム、１０…画像処理装置、１１…ステレオカメラ装置、１１ａ…右カメラ、１１ｂ…左カメラ、１２…制御装置、２０…バス、２１…画像入力インタフェース２１、２２…画像処理部、２３…演算処理部、２４…記憶部、２５…ＣＡＮインタフェース、２６…制御処理部、２７…車載ネットワークＣＡＮ、１０１…右画像取得部、１０２…左画像取得部、１０３…視差情報取得部、１０４…車両追跡部（対象物追跡部）、１０５…第１距離算出部、１０６…相対速度算出部、１０７…車両検知部（対象物検知部）、１０８…第２距離算出部、１０９…補正処理部、１１０…算出結果出力部、１１１…登録テーブル

Claims (11)

1. 複数のカメラで同期して所定の周期で時系列的に撮像された複数のフレームのうちの所定の１つのフレームの複数の画像を処理して前記画像に映る対象物までの相対距離もしくは相対速度を計測する認識処理を行う画像処理装置であって、
   前記所定の１つのフレームの前記複数の画像のうちのいずれか一つの画像と前記対象物の過去の位置情報とに基づいて、前記対象物の現在の位置情報を求める追跡処理を実施する対象物追跡部と、
   前記対象物追跡部により求められた前記現在の位置情報と前記複数の画像のうちの少なくとも二つの画像とに基づいて、前記対象物までの相対距離を算出する第１距離算出部と、
   前記所定の１つのフレームの前記複数の画像のうちの少なくとも二つの画像から得られる視差情報に基づいて、前記対象物の現在の位置情報を求めて前記対象物を検知する対象物検知部と、
   前記対象物検知部における前記対象物の検知結果に基づいて前記対象物までの相対距離を算出する第２距離算出部と、
   前記対象物追跡部により求められる現在の位置情報と前記対象物検知部により求められる現在の位置情報の少なくとも一方に基づいて行う前記現在の位置情報の補正処理及び前記第１距離算出部により算出される相対距離と前記第２距離算出部により算出される相対距離の少なくとも一方に基づいて行う前記相対距離の補正処理の少なくとも一方の補正処理を行う補正処理部と、を備え、
   前記所定の１つのフレームに対する認識処理よりも前に少なくとも他の１つのフレームに対する認識処理を行った場合において、前記所定の１つのフレームに対する認識処理の前記第１距離算出部の処理開始タイミングは、前記対象物検知部の処理終了タイミングよりも前に設定されていることを特徴とする画像処理装置。
2. 前記第１距離算出部の処理開始タイミングは、前記対象物検知部の処理開始タイミングの以前に設定されていることを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像処理装置は、前記第１距離算出部の算出結果を外部へ出力する算出結果出力部を更に備えることを特徴とする、請求項１に記載の画像処理装置。
4. 前記対象物追跡部は、前記補正処理部により補正された前記現在の位置情報及び前記相対距離の少なくとも一方を前記対象物の過去の位置情報として用いて前記追跡処理を実施することを特徴とする、請求項１に記載の画像処理装置。
5. 前記画像処理装置は、前記複数の画像のうちの少なくとも二つの画像から前記視差情報を取得する視差情報取得部を更に備え、
   前記対象物追跡部の処理開始タイミングは、前記視差情報取得部の処理終了タイミングよりも前に設定されていることを特徴とする、請求項１に記載の画像処理装置。
6. 前記対象物追跡部の処理開始タイミングは、前記視差情報取得部の処理開始タイミングの以前に設定されていることを特徴とする、請求項５に記載の画像処理装置。
7. 前記第１距離算出部の処理開始タイミングは、前記視差情報取得部の処理終了タイミングの以後に設定されていることを特徴とする、請求項５に記載の画像処理装置。
8. 前記第１距離算出部の処理開始タイミングは、前記視差情報取得部の処理終了タイミングよりも前に設定されていることを特徴とする、請求項５に記載の画像処理装置。
9. 前記対象物追跡部及び前記第１距離算出部による処理と前記対象物検知部及び前記第２距離算出部による処理とが並行して実施されるようになっていることを特徴とする、請求項１に記載の画像処理装置。
10. 前記画像処理装置は、前記第１距離算出部により算出される相対距離に基づいて前記対象物の相対速度を算出する相対速度算出部を更に備えることを特徴とする、請求項１に記載の画像処理装置。
11. 前記補正処理部は、前記第１距離算出部により算出される相対距離と前記第２距離算出部により算出される相対距離とに基づいて、前記対象物の相対速度を補正することを特徴とする、請求項１０に記載の画像処理装置。

Images