JP2007318558A - 画像処理装置 - Google Patents

Abstract

【課題】カメラにより得られる画像データを処理して車両の近傍の対象物を認識・検出する画像処理装置に関し、画像データの異常や信号の異常が起きている場合に、車両の近傍の対象物に対する未認識や誤認識が生じるのを防止することを目的とする。
【解決手段】画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部２と、画像データを処理して対象物を検出する画像認識処理部３と、垂直同期信号および水平同期信号の少なくとも一方の同期信号に異常が発生したことを検出する同期信号異常検出部６とを備え、少なくとも一方の同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して画像認識処理結果を外部装置に出力しないように構成される。
【選択図】図１

Description

本発明は、カメラにより捕えられた画像データをＣＰＵ（Central Processing Unit ：中央演算処理装置）等により処理して車両（すなわち、移動体）の近傍に存在する対象物（例えば、道路の白線、他の車両または物体）を検出し、上記対象物との距離を正確に測定したり上記対象物を正確に認識したりするための画像処理装置に関する。

特に、本発明は、車載用の画像処理装置において、車両内に設置されたカメラの故障や信号ラインの断線等により異常が発生した場合に車両の近傍の対象物が誤って認識されるのを防止し、ひいては、衝突軽減を目的とするシステム等に上記画像処理装置を搭載した場合に、ブレーキをかけるタイミングがずれる等の事態が発生するのを防止するための一方策について言及するものである。

一般に、走行している車両では、当該車両の近傍に存在する対象物（例えば、車両の前方に存在する他の車両）を正確に検出するために、車載カメラ等のカメラが車両内のルームミラーの前方に設けられている。このカメラにより捕らえられた画像データに対し、画像処理装置により画像データのエッジ抽出等の処理を行うことによって車両の前方または後方に存在する対象物を認識することができる。

ここで、「エッジ」とは、画像データ中の濃淡の大きい部分、すなわち、画像データ中の複数の対象物の輪郭線を指している。このエッジは、影や汚れによって濃淡が変化しても影響が少ないという利点を有しており、走行する車両の近傍の対象物を認識する際に利用され得る。

従来の画像処理装置においては、車載カメラ等のカメラから供給される各種の信号や、カメラの動作自体を監視することなく、入力される画像データの画像認識処理を行っていた。このため、従来の画像処理装置では、カメラ本体または周辺回路の故障や、信号ラインの断線や、信号ラインに入り込むノイズの影響を受けて画像データの異常や信号の異常が起きているにもかかわらず、何もわからずに画像認識処理を行っていた。

例えば、垂直同期信号または水平同期信号等の同期信号にノイズが重畳している場合、垂直同期信号または水平同期信号の先頭の部分のタイミングが前側にずれたときは、画像データの先頭の部分が削除されて車両の近傍の対象物が認識できなくなるといったような未認識が生じ、垂直同期信号または水平同期信号の先頭の部分のタイミングが後側にずれたときは、画像データの先頭の部分が誤って付加されることにより車両の近傍の対象物が誤って認識されるといったような誤認識が生じるおそれがある。ここで、画像データそのものは常に変化しているので、画像データそのものを監視しても一般に当該画像データが正常なのか異常なのかはよくわからない点に注意すべきである。
ここで、「垂直同期信号」は、フレーム単位の画像データを処理する際の１フレームの期間を規定する同期信号であり、「水平同期信号」は、当該画像データの１ラインの期間を規定する同期信号である。

上記のとおり、従来の画像処理装置によれば、カメラ本体または周辺回路の故障や、信号ラインの断線や、信号ラインへのノイズ侵入の影響を受けて画像データの異常や信号の異常が起きているにもかかわらずＣＰＵ等により画像認識処理を行っているので、車両の近傍の対象物に対する未認識または誤認識が生じ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりする等の不都合な事態が発生していた。

ここで、参考のため、従来の画像処理装置に関連した技術内容が記載された３件の先行技術文献（特許文献１〜特許文献３）を呈示する。

特許文献１（特開２００３−１６７５４５号公報）においては、垂直同期信号の入力から次の入力までの間に生成される水平同期信号の数を計数し、計数された水平同期信号の数が所定範囲外であると、垂直同期信号または水平同期信号が異常であるとの判定を行うような画像表示用信号の異常検出方法が開示されている。しかしながら、特許文献１では、垂直同期信号または水平同期信号が異常であるとの判定を行う手法が記述されているにすぎず、このような判定結果を画像認識処理結果に反映させることによって車両の近傍の対象物に対する未認識または誤認識が生じるのを防止するための具体的な手法には言及していない。

特許文献２（特開２００１−３２６９５１号公報）においては、全てのビットの値が“０”を示す画像データ（イメージ）を特定して出力することによってカメラの異常やＡ／Ｄ変換器等の異常を検出するようなディジタルカメラが開示されている。しかしながら、特許文献２では、特定の画像データを抽出してカメラの異常やＡ／Ｄ変換器等の異常を検出するような手法が記述されているにすぎず、このような検出結果を画像認識処理結果に反映させることによって車両の近傍の対象物に対する未認識または誤認識が生じるのを防止するための具体的な手法には言及していない。

特許文献３（特開平１１−１１２８６４号公報）においては、最適の露光条件設定のための自動露出調整が規定時間内に終わらないときに被試験カメラが異常であると判定するようなディジタルカメラ調整装置が開示されている。しかしながら、特許文献３では、自動露出調整の時間に応じて被試験カメラの異常を検出するような手法が記述されているにすぎず、このような検出結果を画像認識処理結果に反映させることによって車両の近傍の対象物に対する未認識または誤認識が生じるのを防止するための具体的な手法には言及していない。

この結果、特許文献１〜特許文献３のいずれにおいても、画像データの異常や信号の異常が起きている場合に、車両の近傍の対象物に対する未認識または誤認識が生じ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりする等の問題が依然として残る。

特開２００３−１６７５４６号公報 特開２００１−３２６９５１号公報 特開平１１−１１２８６４号公報

本発明は上記問題点に鑑みてなされたものであり、カメラ本体または周辺回路の故障や、信号ラインの断線や、信号ラインへのノイズ侵入により画像データの異常や信号の異常が起きている場合に、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、ひいては、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能な画像処理装置を提供することを目的とするものである。

上記問題点を解決するために、本発明の一つの態様に係る画像処理装置は、画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、この画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部と、上記垂直同期信号および上記水平同期信号の少なくとも一方の同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、上記画像認識処理部は、上記同期信号異常検出部にて上記少なくとも一方の同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置（例えば、ＥＣＵ（Electronic Control Unit ：電子制御ユニット））に出力しないように構成される。

好ましくは、本発明の画像処理装置において、上記画像認識処理部は、上記同期信号異常検出部にて上記少なくとも一方の同期信号の異常が検出されたときに、最新の正常な画像データの画像認識処理結果を上記外部装置に出力するようになっている。

また一方で、本発明の他の態様に係る画像処理装置は、画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、この画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部と、一つのフレームの期間内で上記水平同期信号の数をカウントする水平同期信号数カウンタ部と、上記水平同期信号の数が所定の範囲外であることが検知された場合に、上記水平同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、上記画像認識処理部は、上記同期信号異常検出部にて上記水平同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置に出力しないように構成される。

さらに、本発明の他の態様に係る画像処理装置は、画像信号の垂直同期信号、水平同期信号、および各部の動作の同期を取るためのクロック信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、この画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部と、一つのフレームの期間内における任意の相隣り合う上記水平同期信号の間隔を上記クロック信号によりカウントする水平同期信号間間隔カウンタ部と、上記水平同期信号間間隔カウンタ部によるカウント値が所定の範囲外であることが検知された場合に、上記水平同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、上記画像認識処理部は、上記同期信号異常検出部にて上記水平同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置に出力しないように構成される。

さらに、本発明の他の態様に係る画像処理装置は、画像信号の垂直同期信号、水平同期信号、および各部の動作の同期を取るためのクロック信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、この画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部と、上記垂直同期信号の周期を上記クロック信号によりカウントする垂直同期信号周期カウンタ部と、上記垂直同期信号周期カウンタ部によるカウント値が所定の範囲外であることが検知された場合に、上記垂直同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、上記画像認識処理部は、上記同期信号異常検出部にて上記垂直同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置に出力しないように構成される。

さらに、本発明の他の態様に係る画像処理装置は、画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、この画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを備え、この画像認識処理部は、一つのフレームの期間中、上記画像データにおける所定のビットの値が固定され続けているか否かを監視し、上記画像データにおける所定のビットの値が固定され続けていることが検知された場合に、上記画像処理装置が故障している旨の信号を外部装置に出力するように構成される。

さらに、本発明の他の態様に係る画像処理装置は、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、この画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを備え、この画像認識処理部は、上記カメラの露光時間が切り替わる毎に上記画像データの濃度平均値を算出し、上記露光時間の変化に応じて上記画像データの濃度平均値が適切に変化しているか否かを監視し、上記露光時間の変化に応じて上記画像データの濃度平均値が適切に変化していないことが検知された場合に、上記画像処理装置が故障している旨の信号を外部装置に出力するように構成される。ここで、「画像データの濃度平均値」とは、画像データの領域を複数のエリアに分割して各エリアの濃度値を算出した場合に、各エリアの濃度値を平均して得られる平均値を指している。

要約すれば、本発明では、第１に、垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理により得られるフレーム単位の画像データを認識処理して車両の近傍の対象物を検出する場合に、少なくとも一つの同期信号に異常が発生したことを同期信号異常検出部にて検出したときには、対応するフレームにおける画像認識処理結果が異常であると判定して上記画像認識処理結果をＥＣＵ等の外部装置に出力しない。

これによって、少なくとも一つの同期信号の異常による誤った画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。この結果、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ＥＣＵ等の制御によってブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

さらに、本発明では、第２に、少なくとも一つの同期信号に異常が発生したことを同期信号異常検出部にて検出したときに、最新の正常な画像データの画像認識処理結果を外部装置に出力することで、画像処理装置の画像認識処理結果の不良（ＮＧ）の発生頻度を減少させることが可能になる。

さらに、本発明では、第３に、垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理により得られるフレーム単位の画像データを認識処理し車両の近傍の対象物を検出する場合に、一つのフレームの期間内で水平同期信号の数が所定の範囲外であることを同期信号異常検出部にて検出したときには、対応するフレームにおける画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置に出力しない。

これによって、１つのフレームの期間内で行われる各ライン毎の画像データの監視に対して、水平同期信号の数の異常による誤った画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。この結果、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

さらに、本発明では、第４に、垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理により得られるフレーム単位の画像データを認識処理して車両の近傍の対象物を検出する場合に、一つのフレームの期間内における相隣り合う水平同期信号の間隔が所定の範囲外であることを同期信号異常検出部にて検出したときには、対応するフレームにおける画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置に出力しない。

これによって、画像データの１画素単位の監視に対して相隣り合う水平同期信号の間隔の異常による誤った画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。この場合、前述の各ライン毎の画像データの監視を行う場合よりも高い精度にて、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。ただし、この場合の画像データの処理量は多くなる。

さらに、本発明では、第５に、垂直同期信号および水平同期信号を使用して、カメラにより画像データのサンプリング処理により得られるフレーム単位の画像データを認識処理して車両の近傍の対象物を検出する場合に、垂直同期信号の周期が所定の範囲外であることを同期信号異常検出部にて検出したときには、対応するフレームにおける画像認識処理結果が異常であると判定して上記画像認識処理結果を外部装置に出力しない。

一般に、各々のフレームの期間を規定する垂直同期信号の周期が異常になると、画像データの画像認識処理結果のタイミングが変化し、画像処理装置や外部装置を含むシステム全体の応答性が不安定になる。ここでは、垂直同期信号の周期そのものの異常を検出することによって、画像データの画像認識処理結果によるシステム全体の応答性が不安定になるのを阻止することができる。これによって、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

さらに、本発明では、第６に、垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理により得られるフレーム単位の画像データを認識処理して車両の近傍の対象物を検出する場合に、一つのフレームの期間中、画像データにおける所定のビットの値が固定され続けていることが検知されたときに、カメラおよび周辺回路を含む画像処理装置が故障している旨の信号を外部装置に出力するようにしている。これによって、カメラから入力される画像データの異常による誤った画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。

さらに、本発明では、第７に、垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理により得られるフレーム単位の画像データを認識処理して車両の近傍の対象物を検出する場合に、カメラの露光時間が切り替わる毎に当該露光時間の設定どおりに画像データの濃度平均値が変化していないことが検知された場合に、カメラおよび周辺回路を含む画像処理装置が故障している旨の信号を外部装置に出力するようにしている。これによって、カメラの異常等による誤った画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。

以下、添付図面（図１〜図１６）を参照しながら、本発明の好ましい実施の形態を説明する。

図１は、本発明の一実施例に係る画像処理装置の構成を示すブロック図である。ただし、ここでは、本発明の一実施例に係る画像処理装置１０を車載カメラ等のカメラ１に適用した場合の実施例の構成を簡略化して示す。

図１に示すように、車載カメラ等のカメラ１が、走行する車両の前部（例えば、車両内のルームミラーの前方）に搭載されている。図１の実施例に係る画像処理装置１０においては、カメラ１により捕らえられた画像データＳｉａのアナログ／ディジタル変換処理およびサンプリング処理を行ってフレーム単位のディジタル形式の画像データＳｉｄを出力する画像データフレーム処理部２が設けられている。好ましくは、画像データフレーム処理部２は、カメラ１の周辺回路の一部を構成する。

この画像データフレーム処理部２においては、フレーム単位の画像データにおける一つのフレームの期間を規定する垂直同期信号ＳＶＳ、１つのフレームにおける１ラインの期間を規定する水平同期信号（すなわち、ライン切り替え時の信号）ＳＨＳ、および、画像処理装置１０内の各部の動作の同期を取るクロック信号ＣＬＫを使用して、入力される画像データＳｉａのアナログ／ディジタル変換処理およびサンプリング処理を行うことによって、所定のタイミングでフレーム単位の画像データＳｉｄが出力される。ここでは、垂直同期信号ＳＶＳにより規定される１フレームの期間内で、水平同期信号ＳＨＳのパルスの数に相当する複数のライン分（例えば、４８０ライン）の画像データＳｉｄのサンプリング処理を行うことによって、各ライン毎に複数の画素（（例えば、６４０画素）を含む画像データＳｉｄが順次出力されることになる。

さらに、画像処理装置１０においては、制御信号Ｓｃに基づいて画像データフレーム処理部２から供給される画像データＳｉｄをエッジ抽出等により処理して車両の近傍の対象物（例えば、道路の白線、走行する車両の近傍に存在する他の車両または物体））を検出する画像認識処理部３と、この画像認識処理部３により処理される画像データＳｉｄの明るさ（濃度値）に応じてカメラ１の露光を調整するための露光制御値（絞りおよび露光時間）Ｓｃｅを演算する露光制御値演算部４とが設けられている。ここで、画像認識処理部３は、車両の近傍の対象物を検出することによって、上記対象物との距離を正確に測定したり上記対象物を正確に認識処理したりする機能を有している。好ましくは、画像認識処理部３および露光制御値演算部４は、マイクロコンピュータのＣＰＵ（Central Processing Unit ：中央処理装置）等により構成される。画像認識処理部３から画像データフレーム処理部２に供給されるリセット信号Ｓｒおよび取り込み信号Ｓｆｅによって、フレーム単位で画像認識処理部３に入力される画像データＳｉｄの入力のタイミングが制御される。

通常、ＣＰＵ等により構成される画像認識処理部３は、ＥＣＵ等の外部装置９に接続されている。ここでは、車両内の各種の電子制御機器（例えば、ブレーキ、警報機、シートベルト、および電子制御式エンジン等）がＥＣＵ等の外部装置９により制御される。

例えば、図１に示す実施例では、ブレーキ９０、警報機９１およびシートベルト９２が、それぞれ対応する切り替えスイッチ部９３、９４および９５を介してＥＣＵ等の外部装置９に接続されている。この外部装置９は、画像認識処理部３から入力される画像認識処理結果に応じて車両等の衝突が発生する可能性が高いと最終的に判断した場合に、切り替えスイッチ部９３、９４および９５をオフ状態からオン状態に切り替える。これによって、ブレーキ９０、警報機９１およびシートベルト９２が作動してフェイルセーフ処理を実行することができる。ここで、「フェイルセーフ処理」とは、車両等の衝突等が発生した場合に、移動体内の電子制御機器を安全側に作用させることによって衝突等による被害を最小限に抑える処理を行うことを指している。

さらに、画像処理装置１０においては、画像データ処理用のプログラム（ソフトウェア）およびカメラ露光制御用のプログラムを含む各種のデータを格納する記憶部（メモリ）３０と、カメラ１により捕らえられた画像データや画像認識処理部３により検出された車両の近傍の対象物を表示するディスプレイ等の表示部３２とが設けられている。

上記の画像認識処理部３、露光制御値演算部４、記憶部３０、および表示部３２は、バス３４により互いに接続されており、相互にデータの遣り取りができるようになっている。

さらに、画像処理装置１０においては、垂直同期信号ＳＶＳおよび水平同期信号ＳＨＳの少なくとも一方の同期信号が正常であるか否かを監視する同期信号監視部５と、この同期信号監視部５による同期信号監視結果に応じて、少なくとも一方の同期信号に異常が発生したことを検出する同期信号異常検出部６とが設けられている。

同期信号監視部５においては、一つのフレームの期間内で水平同期信号ＳＨＳのパルスの数をカウントしたり、一つのフレームの期間内における任意の相隣り合う水平同期信号ＳＨＳのパルス間の間隔を計測したり、垂直同期信号ＳＶＳの周期を計測したりすることによって、水平同期信号ＳＨＳまたは垂直同期信号ＳＶＳが正常であるか否かを監視するようになっている。また一方で、同期信号異常検出部６においては、同期信号監視部５の計測した水平同期信号ＳＨＳのパルスの数や、任意の相隣り合う水平同期信号ＳＨＳのパルス間の間隔が許容可能な範囲から外れていることが検知された場合、または、垂直同期信号ＳＶＳの周期が許容可能な範囲から外れていることが検知された場合に、水平同期信号ＳＨＳまたは垂直同期信号ＳＶＳに異常が発生した旨を画像認識処理部３に通知するようになっている。

ここで、画像認識処理部３は、水平同期信号ＳＨＳまたは垂直同期信号ＳＶＳに異常が発生した旨が通知されたときに、対応するフレームにおける画像データの画像認識処理結果（画像認識処理結果を示す出力信号Ｓｉｒ）が異常であると判定する（画像認識処理結果が異常である旨を示すフラグを立てる）。さらに、画像認識処理部３は、この判定結果に応じて、当該画像データの画像認識処理結果が異常である旨を示す信号（異常信号）のみを外部装置９に出力し、当該画像データの画像認識処理結果を外部装置９に出力しないようにしている。

それゆえに、図１の実施例によれば、水平同期信号または垂直同期信号の異常が発生した場合に、ＣＰＵ等の画像認識処理部による誤った画像認識処理結果が外部装置に出力されるのが抑制される。したがって、このような画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。これによって、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ＥＣＵ等の外部装置の制御によってブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

好ましくは、図１の実施例において、同期信号異常検出部６にて水平同期信号ＳＨＳまたは垂直同期信号ＳＶＳの異常が検出されたときに、画像認識処理部３が、１フレーム前のフレーム等における最新の正常な画像データの画像認識処理結果（出力信号Ｓｉｒ）を外部装置９に出力する。本例では、画像データフレーム処理部２にて処理される画像データを、ＦＩＦＯ（First-in-First-out：先入れ先出し）フィールドメモリ（後述の図２参照）等のフィールドメモリにフレーム単位で順次格納する。そして、このフィールドメモリ内には、水平同期信号または垂直同期信号の異常が検出されたフレームにおける画像データに先行する正常な画像データ（１フレーム前の画像等、最新の正常な画像データ）を格納するようにその記憶容量を定め、データ書き込み制御を行う。そして、水平同期信号または垂直同期信号の異常が検出された現在のフレームにおける画像データの代わりに、フィールドメモリ内にある１フレーム前のフレーム等における最新の正常な画像データを読み出して有効に利用する。

このように、水平同期信号または垂直同期信号の異常が検出されたときに１フレーム前のフレーム等における最新の正常な画像データの画像認識処理結果を外部装置に出力することによって、画像処理装置の画像認識処理結果の不良（ＮＧ）の発生頻度を必要以上に増加させないようにすることが可能になる。

図２は、図１の画像データフレーム処理部の具体的な構成を示すブロック図である。なお、これ以降、前述した構成要素と同様のものについては、同一の参照番号を付して表すこととする。

図２に示すように、画像データフレーム処理部２は、カメラ１に接続されるアナログ／ディジタル変換器２１（図２ではＡ／Ｄと略記する）と、このアナログ／ディジタル変換器２１に接続されるＦＩＦＯフィールドメモリ２２とを備えている。

ここで、アナログ／ディジタル変換器２１は、カメラ１により捕らえられた画素データＳｉａの画素毎の画像信号を、サンプリング用のクロック信号ＣＬＫのタイミングでアナログ形式からディジタル形式に変換してサンプリング処理を行い、例えば８ビットの濃度値を有する画素データＳｉｄを出力する。

また一方で、ＦＩＦＯフィールドメモリ２２では、アナログ／ディジタル変換器２１から出力されるタイミングにてフレーム単位で１フィールド分（すなわち、１フレーム分）の画像データＳｉｄが書き込まれ、ＣＰＵ（画像認識処理部３）からの取り込み信号Ｓｆｅのタイミングで先に書き込まれた画像データＳｉｄが先に読み出される。取り込み信号Ｓｆｅの出力は、カメラ１の垂直同期信号ＳＶＳのタイミングで開始し、画像データＳｉｄの読み出し終了と共に終了する。

さらに、図２の画像処理制御部２は、サンプリング用のクロック信号ＣＬＫを生成してアナログ／ディジタル変換器２１に供給するタイミング発生部２３と、垂直同期信号ＳＶＳおよび水平同期信号ＳＨＳを検出する同期信号検出部２４と、書き込み制御信号ＳｗをＦＩＦＯフィールドメモリ２２に供給する書き込み制御部２５とを備えている。

ここで、同期信号検出部２４は、カメラ１から出力される画像信号を分岐して取り込み、当該画像信号から垂直同期信号ＳＶＳおよび水平同期信号ＳＨＳを抽出することによって垂直同期信号ＳＶＳおよび水平同期信号ＳＨＳを検出する。同期信号検出部２４からの垂直同期信号ＳＶＳおよび水平同期信号ＳＨＳは画像認識処理部３（例えば、ＣＰＵ）に送出され、取り込み信号Ｓｆｅの出力のタイミングに使用される。

さらに、図２に示すように、同期信号監視部５は、同期信号検出部２４により検出された垂直同期信号ＳＶＳまたは水平同期信号ＳＨＳが正常であるか否かを監視している。同期信号異常検出部６は、同期信号監視部５による垂直同期信号ＳＶＳまたは水平同期信号ＳＨＳの監視結果に応じて、垂直同期信号ＳＶＳまたは水平同期信号ＳＨＳに異常が発生したことを検出して画像認識処理部３に通知する。

図３は、フレーム単位で処理される画像データの一例を示す図である。図３の例では、フレーム単位でＦＩＦＯフィールドメモリ２２（図２参照）に入力される１フィールド分の画像データＳｉｄは、６４０画素×４８０画素から構成されており、各々の画素は、例えば８ビットの濃度値（明るさ）を有している。ここでは、垂直同期信号ＳＶＳにより規定される一つのフレーム内で、１ラインの期間を規定する水平同期信号ＳＨＳの数に相当する４８０ライン分の画像データが処理される。さらに、１ライン分の画像データは、６４０画素の画像データＳｉｄを含む。

一般に、車両７等の対象物と道路Ｒや白線Ｗ等の認識対象でない物との間には濃度値の差が生ずるため、各々のエリアＡ、ＢおよびＣ内の車両７等の対象物が、エッジ抽出処理等によりエッジ画像として抽出される。このエッジ画像のエッジ分布に基づき、走行する車両の近傍の対象物（例えば、走行する車両の前方に存在する他の車両）を認識することができる。

図４は、画像処理装置に用いられる構成部品の配置関係を示す車両の上面図であり、図５は、その正面図である。ここでは、走行する車両７の近傍の対象物をより正確に認識するために、車載カメラ等のカメラ１以外に、バックモニタカメラ８やレーダ１８が車両７に別途設けられている。

図４および図５に示すように、走行している車両７の前方の対象物を認識するために、車載カメラ等のカメラ１が車両内のルームミラー７１の前方に設けられている。さらに、車両７の後方の対象物を認識するために、テールランプ７３の近傍（または車両７の後部の天井７２の近傍）にバックモニタカメラ８が設置されている。

また一方で、走行している車両７では、電磁波を用いて車両の前方の対象物との距離を測定するために、車両のボンネット７５およびヘッドランプ７４の近傍にレーダ１８が設けられている。このレーダ１８を用いて車両７の前方の対象物との距離を測定することにより、走行する車両７の前方（近傍）の対象物をより正確に認識することが可能になる。

図６は、図１の同期信号監視部および同期信号異常検出部の第１の具体例を示すブロック図であり、図７は、図６の第１の具体例の動作を説明するためのタイミングチャートである。

図６の第１の具体例において、画像処理装置の同期信号監視部５（図１参照）として、１フレームの期間内で水平同期信号ＳＨＳのパルスの数をカウントする水平同期信号数カウンタ部５０が設けられている。この水平同期信号数カウンタ部５０は、同期信号検出部２４（図２参照）からの垂直同期信号ＳＶＳにより規定される１フレームの期間内で、同期信号検出部２４からの水平同期信号ＳＨＳのパルスの数をカウントするものである。ここでは、１フレームの期間内で水平同期信号ＳＨＳのパルスの数に相当する複数のライン分の画像データが監視されることになる。

より詳しく説明すると、図７のタイミングチャートの（１）に示すように、垂直同期信号ＳＶＳの“Ｌ（Low）”レベルから“Ｈ（High）”レベルへの立ち上りのタイミングと、“Ｈ”レベルから“Ｌ”レベルへの立ち下りのタイミングとを検出することによって、１フレーム期間Ｔｆが規定される。さらに、図７のタイミングチャートの（２）に示すように、水平同期信号ＳＨＳの各々のパルスの立ち上りのタイミングを検出しながら上記パルスの数のカウント値のインクリメントを行うことによって、１フレーム期間Ｔｆ内のパルスの数をカウントすることができる。最終的に、図７のタイミングチャートの（３）に示すように、水平同期信号数カウンタ部５０から、１フレーム期間Ｔｆ内の水平同期信号ＳＨＳのパルスの数に相当するカウント値Ｐｃが出力される。

ここで、図６の第１の具体例を再び参照すると、同期信号異常検出部６（図１参照）は、水平同期信号数カウンタ部５０から出力されるカウント値Ｐｃが、予め設定された許容範囲内に入っているか否かを判定するコンパレータ６０、６１と、コンパレータ６０、６１からの２つの出力信号の論理積を取るＡＮＤゲート等の論理回路部６２とを具備している。

より詳しく説明すると、コンパレータ６０は、水平同期信号数カウンタ部５０からのカウント値Ｐｃが、予め設定された最大許容カウント値Ｐｃｒｍａｘ以下になっているか否かを判定し、コンパレータ６１は、上記カウント値Ｐｃが、予め設定された最小許容カウント値Ｐｃｒｍｉｎ以上になっているか否かを判定する。ここで、コンパレータ６０、６１において、水平同期信号数カウンタ部５０からのカウント値Ｐｃが最大許容カウント値Ｐｃｒｍａｘより大きいか、または最小許容カウント値Ｐｃｒｍｉｎより小さいと判定された場合（すなわち、カウント値Ｐｃが許容可能な範囲から外れていることが検知された場合）、水平同期信号ＳＨＳに異常が発生したことが検出されたことになり、コンパレータ６０またはコンパレータ６１のいずれか一方から“０”の論理信号が出力される。

さらに、コンパレータ６０またはコンパレータ６１のいずれか一方からの“０”の論理信号が、ＡＮＤゲート等の論理回路部６２に入力されると、水平同期信号ＳＨＳに異常が発生した旨を通知する信号（例えば“０”の論理信号）が、論理回路部６２から画像認識処理部３（図１参照）に供給される。なお、最大許容カウント値Ｐｃｒｍａｘと最小許容カウント値Ｐｃｒｍｉｎとは、同じ値（正常カウント値Ｐｃｒｅｆ）に設定することも可能である。この場合には、同期信号異常検出部６内に一致回路が設けられることとなり、カウント値Ｐｃが正常カウント値Ｐｃｒｅｆに一致しない場合は異常発生を示す信号が出力されることとなる。

最終的に、画像認識処理部３は、水平同期信号ＳＨＳに異常が発生した旨を通知する信号が入力されたときに、対応するフレームにおける画像データの画像認識処理結果が異常である旨を示す信号のみを外部装置９（図２参照）に出力し、当該画像データの画像認識処理結果を外部装置９に出力しない。これによって、上記の画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。この結果、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

図８は、図１の同期信号監視部および同期信号異常検出部の第２の具体例を示すブロック図であり、図９は、図８の第２の具体例の動作を説明するためのタイミングチャートである。

図８の第２の具体例において、画像処理装置の同期信号監視部５（図１参照）は、垂直同期信号ＳＶＳにより規定される１フレームの期間内で水平同期信号ＳＨＳを選択的に通過させるゲート回路部５１と、このゲート回路部５１からの水平同期信号ＳＨＳの中で、任意の相隣り合う水平同期信号ＳＨＳのパルス間の間隔を計測する水平同期信号間間隔カウンタ部５２とを具備している。この水平同期信号間間隔カウンタ部５２は、同期信号検出部２４（図２参照）からの垂直同期信号ＳＶＳにより規定される１フレームの期間内で、任意の相隣り合う水平同期信号ＳＨＳのパルス間の間隔をクロック信号ＣＬＫによりカウントするものである。

ここでは、１フレームの期間内で、水平同期信号ＳＨＳの各々の“Ｈ”レベルのパルス間間隔、または水平同期信号ＳＨＳの各々の“Ｌ”レベルのパルス間間隔をクロック信号ＣＬＫの数によりカウントすることによって、各々のフレームの画像データが１ライン単位で監視されることになる。各々のラインの画像データを処理する際に、１フレームの期間内の出だしの部分が最も重要であると考えられるので、１フレームの期間内で１番目および２番目の“Ｈ”レベルのパルス間間隔または“Ｌ”レベルのパルス間間隔をカウントすることが望ましい。

より詳しく説明すると、図９のタイミングチャートの（１）に示すように、垂直同期信号ＳＶＳの“Ｌ”レベルから“Ｈ”レベルへの立ち上りのタイミングと、“Ｈ”レベルから“Ｌ”レベルへの立ち下りのタイミングとを検出することによって、１フレーム期間Ｔｆが規定される。さらに、図９のタイミングチャートの（２）、（３）に示すように、クロック信号ＣＬＫの“Ｌ”レベルから“Ｈ”レベルへの立ち上りのタイミングを次々に検出しながら、水平同期信号ＳＨＳの各々の“Ｈ”レベルのパルス間間隔ＤＨ、または水平同期信号ＳＨＳの各々の“Ｌ”レベルのパルス間間隔ＤＬをクロック信号ＣＬＫの数によりカウントする。最終的に、図９のタイミングチャートの（３）、（４）に示すように、水平同期信号パルス間間隔カウンタ部５２から、１フレーム期間Ｔｆ内で水平同期信号ＳＨＳの各々の“Ｈ”レベルのパルス間間隔に相当するカウント値Ｐｄｈが出力されるか、または、上記水平同期信号ＳＨＳの各々の“Ｌ”レベルのパルス間間隔に相当するカウント値Ｐｄｌが出力される。

ここで、図８の第２の具体例を再び参照すると、同期信号異常検出部６（図１参照）は、水平同期信号パルス間間隔カウンタ部５２から出力されるカウント値Ｐｄｈ（またはカウント値Ｐｄｌ）が、予め設定された許容範囲内に入っているか否かを判定するコンパレータ６３、６４と、コンパレータ６３、６４からの２つの出力信号の論理積を取るＡＮＤゲート等の論理回路部６５とを具備している。

より詳しく説明すると、コンパレータ６３は、水平同期信号パルス間間隔カウンタ部５２からのカウント値Ｐｄｈ（またはＰｄｌ）が、予め設定された最大許容カウント値Ｐｈｍａｘ（またはＰｌｍａｘ）以下になっているか否かを判定し、コンパレータ６３は、上記カウント値Ｐｄｈ（またはＰｄｌ）が、予め設定された最小許容カウント値Ｐｈｍｉｎ（またはＰｌｍｉｎ）以上になっているか否かを判定する。ここで、コンパレータ６３、６４において、水平同期信号パルス間間隔カウンタ部５２からのカウント値Ｐｄｈ（またはＰｄｌ）が最大許容カウント値Ｐｈｍａｘ（またはＰｌｍａｘ）より大きいか、または最小許容カウント値Ｐｈｍｉｎ（またはＰｌｍｉｎ）より小さいと判定された場合（すなわち、カウント値Ｐｄｈ（またはＰｄｌ）が許容可能な範囲から外れていることが検知された場合）、水平同期信号ＳＨＳに異常が発生したことが検出されたことになり、コンパレータ６３またはコンパレータ６４のいずれか一方から“０”の論理信号が出力される。

さらに、コンパレータ６３またはコンパレータ６４のいずれか一方からの“０”の論理信号が、ＡＮＤゲート等の論理回路部６５に入力されると、水平同期信号ＳＨＳに異常が発生した旨を通知する信号（例えば“０”の論理信号）が、論理回路部６５から画像認識処理部３（図１参照）に供給される。なお、最大許容カウント値Ｐｈｍａｘ（またはＰｌｍａｘ）と最小許容カウント値Ｐｈｍｉｎ（またはＰｌｍｉｎ）とは、同じ値（正常カウント値Ｐｈｒｅｆ（またはＰｌｒｅｆ））に設定することも可能である。この場合には、同期信号異常検出部６内に一致回路が設けられることとなり、カウント値Ｐｄｈ（またはＰｄｌ）が正常カウント値Ｐｈｒｅｆ（またはＰｌｒｅｆ）に一致しない場合は異常発生を示す信号が出力されることとなる。

最終的に、前述の図６の場合と同様に、画像認識処理部３は、水平同期信号ＳＨＳに異常が発生した旨を通知する信号が入力されたときに、対応するフレームにおける画像データの画像認識処理結果が異常である旨を示す信号のみを外部装置９（図２参照）に出力し、当該画像データの画像認識処理結果を外部装置９に出力しない。これによって、上記の画像認識処理結果が、画像処理装置や外部装置を含むシステム全体に影響を与えないようになる。この結果、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

図１０は、図１の同期信号監視部および同期信号異常検出部の第３の具体例を示すブロック図であり、図１１は、図１０の第３の具体例の動作を説明するためのタイミングチャートである。

図１０の第３の具体例において、画像処理装置の同期信号監視部５（図１参照）として、垂直同期信号ＳＶＳの周期を計測する垂直同期信号周期カウンタ部５３が設けられている。この垂直同期信号周期カウンタ部５３は、同期信号検出部２４（図２参照）からの垂直同期信号ＳＶＳの周期をクロック信号ＣＬＫによりカウントするものである。

より詳しく説明すると、図１１のタイミングチャートの（１）に示すように、垂直同期信号ＳＶＳの“Ｌ”レベルから“Ｈ”レベルへの第１回目および第２回目の立ち上りのタイミングを検出することによって、垂直同期信号ＳＶＳの周期Ｔｓが規定される。さらに、図１１のタイミングチャートの（２）に示すように、クロック信号ＣＬＫの“Ｌ”レベルから“Ｈ”レベルへの立ち上りのタイミングを次々に検出しながら、垂直同期信号ＳＶＳの周期Ｔｓの実際の長さをクロック信号ＣＬＫの数によりカウントする。最終的に、図１１のタイミングチャートの（３）に示すように、垂直同期信号周期カウンタ部５３から、垂直同期信号ＳＶＳの周期Ｔｓの実際の長さに相当するカウント値Ｐｔが出力される。

ここで、図１０の第３の具体例を再び参照すると、同期信号異常検出部６（図１参照）は、垂直同期信号周期カウンタ部５３から出力されるカウント値Ｐｔが、予め設定された許容範囲内に入っているか否かを判定するコンパレータ６６、６７と、コンパレータ６６、６７からの２つの出力信号の論理積を取るＡＮＤゲート等の論理回路部６８とを具備している。

より詳しく説明すると、コンパレータ６６は、垂直同期信号周期カウンタ部５３からのカウント値Ｐｔが、予め設定された最大許容カウント値Ｐｔｒｍａｘ以下になっているか否かを判定し、コンパレータ６７は、上記カウント値Ｐｔが、予め設定された最小許容カウント値Ｐｔｒｍｉｎ以上になっているか否かを判定する。ここで、コンパレータ６６、６７において、垂直同期信号周期カウンタ部５３からのカウント値Ｐｔが最大許容カウント値Ｐｔｒｍａｘより大きいか、または最小許容カウント値Ｐｔｒｍｉｎより小さいと判定された場合（すなわち、カウント値Ｐｔが許容可能な範囲から外れていることが検知された場合）、垂直同期信号ＳＶＳに異常が発生したことが検出されたことになり、コンパレータ６６またはコンパレータ６７のいずれか一方から“０”の論理信号が出力される。

さらに、コンパレータ６６またはコンパレータ６７のいずれか一方からの“０”の論理信号が、ＡＮＤゲート等の論理回路部６８に入力されると、垂直同期信号ＳＶＳに異常が発生した旨を通知する信号（例えば“０”の論理信号）が、論理回路部６８から画像認識処理部３（図１参照）に供給される。なお、最大許容カウント値Ｐｔｒｍａｘと最小許容カウント値Ｐｔｒｍｉｎとは、同じ値（正常カウント値Ｐｔｒｅｆ）に設定することも可能である。この場合には、同期信号異常検出部６内に一致回路が設けられることとなり、カウント値Ｐｔが正常カウント値Ｐｔｒｅｆに一致しない場合は異常発生を示す信号が出力されることとなる。

最終的に、画像認識処理部３は、垂直同期信号ＳＶＳに異常が発生した旨を通知する信号が入力されたときに、対応するフレームにおける画像データの画像認識処理結果が異常である旨を示す信号のみを外部装置９（図２参照）に出力し、当該画像データの画像認識処理結果を外部装置に出力しない。これによって、上記の画像認識処理結果によるシステム全体の応答性が不安定になるのを阻止することができる。この結果、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止し、かつ、ブレーキをかけるタイミングがずれたり警報を鳴らすタイミングがずれたりするのを防止することが可能になる。

図１２は、図６の第１の具体例による画像認識処理手順を示すフローチャート（図６のＡの処理：Ｂを除く）である。これは、ＣＰＵにより、同期信号監視部５、同期信号検出部６、画像認識処理部３等を実現する際にＣＰＵが実行する処理（ＣＰＵで異常検出処理（水平同期信号の数のカウントや比較）等も行う場合の処理）であって、画像処理装置１０の動作中の垂直同期信号の立ち上り検出によりスタートする。

まず、ステップＳ１０において、水平同期信号を計数（カウント）する水平同期信号カウンタをリセットして、ステップＳ１１に移る。ステップＳ１１において、水平同期信号の立ち上りを検出したか否かを判断し、検出すればステップＳ１２に移り、検出しなければステップＳ１３に移る。

ステップＳ１２では、水平同期信号カウンタのカウント値をインクリメント（＋１）し、ステップＳ１３に移る。

ステップＳ１３において、垂直同期信号の立ち下りを検出し、立ち下りが検出された場合はステップＳ１４に移り、検出されない場合はステップＳ１１に移る。これらの処理により、垂直同期信号の立ち上りから立ち下りまでの期間における、つまり１フレームにおける水平同期信号のパルスの数が計数されることになる。

そして、ステップＳ１４では、水平同期信号カウンタのカウント値が、予め設定された許容範囲内に入っているか否かを判定する。

ここで、第１の処理例として、図１２のＡの処理例を説明する。上記カウント値が許容範囲外と判定された場合、水平同期信号に異常が発生したとみなし、ステップＳ１５に移り、許容範囲内と判定された場合、ステップＳ１９に移る。ステップＳ１９において、対応するフレームの画像認識処理結果を出力し、処理を終える。また、ステップＳ１５では、対応するフレームにおける画像データが異常である旨を示す信号（異常信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。

なお、別の処理例（図１２のＢの処理：Ａを除く）を説明する。ステップＳ１４で、水平同期信号のカウント値が許容範囲内に入っていないと判定された場合、ステップＳ１６に移る。ステップＳ１６では、現在のフレームおよび１フレーム前のフレームを含む２つのフレームにおいて、異常判定（ＮＧ）がなされているか否かを判断し、異常が連続していればステップＳ１８に移り、連続していなければステップＳ１７に移る。

そして、ステップＳ１７では、１フレーム前のフレームにおける画像データの画像認識処理結果を外部装置に出力し、処理を終える。

ステップＳ１８では、連続する２つのフレームにおける画像データが異常である旨を示す信号（異常信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。つまり、本例では、異常が連続しなければ、１フレーム前の画像で補間処理を行い、異常が連続すれば、異常である旨の信号を外部装置に出力する処理のみを行う。

図１３は、図８の第２の具体例による画像認識処理手順を示すフローチャート（図１３のＡの処理：Ｂを除く）である。これも、前述の図１２のフローチャートと同様に、ＣＰＵにより、同期信号監視部５、同期信号検出部６、画像認識処理部３等を実現する際にＣＰＵが実行する処理（クロック信号による水平同期信号の期間のカウントや比較）であって、画像処理装置１０の動作中の垂直同期信号の立ち上り検出によりスタートする。

まず、ステップＳ２０において、水平同期信号の“Ｈ”レベルまたは“Ｌ”レベルの期間（すなわち、任意の相隣り合う水平同期信号のパルス間の間隔）を格納する複数個のメモリ（♯Ｈ１〜♯ＨＮ、♯Ｌ１〜♯ＬＮ）をリセットし、またメモリ選択用のカウンタｍ、ｎをリセットする（１にする）。ここで、ＨＮおよびＬＮのＮは、１フレーム期間内の水平同期信号のパルスの数に相当するラインの数（例えば、Ｎ＝４８０ライン）を示す。これと同時に、クロック信号により水平同期信号の期間を計数する水平同期信号期間カウンタをリセットして、ステップＳ２１に移る。ステップＳ２１において、クロック信号の立ち上りを検出したか否かを判断し、検出すればステップＳ２２に移り、検出しなければステップＳ２５に移る。

ステップＳ２２では、水平同期信号のレベルが“Ｈ”レベルであるか否かを判断し、当該レベルが“Ｈ”レベルであればステップＳ２３ｂに移る。ステップＳ２３ｂにおいて、水平同期信号が反転したか否かを判断し、反転した場合はステップＳ２３ｃに移り、水平同期信号の“Ｈ”レベルの期間測定用のメモリを現在のアドレスのメモリ♯ｍから次のアドレスのメモリ♯（ｍ＋１）に切り替える。

ステップＳ２３ｄでは、クロック信号のカウント値をインクリメント（＋１）することにより、水平同期信号のレベルが“Ｈ”レベルになっている期間を計測し（インクリメントし）、ステップＳ２５に移る。すなわち、最初の水平同期信号の“Ｈ”レベルの期間を計数する際に１番目のアドレスのメモリ♯Ｈ１が選択され、水平同期信号の“Ｈ”レベルの期間が反転してから次の水平同期信号の“Ｈ”レベルの期間を計数する際には、２番目のアドレスのメモリ♯Ｈ２が選択され、以降、水平同期信号の“Ｈ”レベルの期間が反転した後、再度“Ｈ”レベルとなる度に、選択の対象であるメモリのアドレスが順次インクリメント（＋１）されることになる。この処理により、水平同期信号の各ラインに対する“Ｈ”レベルの期間（すなわち、任意の相隣り合う水平同期信号のパルス間間隔）が、クロック信号の数により計数されることになる。さらに、水平同期信号の各々の“Ｈ”レベルの期間を計数した結果は、メモリ（♯Ｈ１〜♯ＨＮ）に順次格納される。

また一方で、ステップＳ２２において、水平同期信号のレベルが“Ｌ”レベルと判断され、ステップＳ２４ｂに移る。ステップＳ２４ｂにおいて、水平同期信号が反転したか否かを判断し、反転した場合はステップＳ２４ｃに移り、水平同期信号の“Ｌ”レベルの期間測定用のメモリを現在のアドレスのメモリ♯Ｌｎから次のアドレスのメモリ♯Ｌ（ｎ＋１）に切り替える。つまり、最初の水平同期信号の “Ｌ”レベルの期間を計数する際に１番目のアドレスのメモリ♯Ｌ１が選択され、その後、水平同期信号の“Ｌ”レベルが反転した後、再度“Ｌ”レベルとなる度に、メモリ♯Ｌｎが切り替わることになる。

ステップＳ２４ｄでは、クロック信号のカウント値をインクリメント（＋１）することにより、水平同期信号のレベルが“Ｌ”レベルになっている期間を計測し（インクリメントし）、ステップＳ２５に移る。この処理により、水平同期信号の各ラインに対する“Ｌ”レベルの期間（すなわち、任意の相隣り合う水平同期信号のパルス間間隔）が、クロック信号の数により計数されることになる。さらに、水平同期信号の各々の“Ｌ”レベルの期間を計数した結果も、前述の“Ｈ”レベルの期間を計数した結果と同様に、メモリ（♯Ｌ１〜♯ＬＮ）に順次格納される。

ステップＳ２５において、垂直同期信号の立ち下りを検出し、立ち下りが検出された場合はステップＳ２６に移り、検出されない場合はステップＳ２１に移る。これらの処理により、垂直同期信号の立ち上りから立ち下りまでの期間における、水平同期信号の各々の“Ｈ”レベルの期間と“Ｌ”レベルの期間が計数されることになる。

そして、ステップＳ２６では、水平同期信号の各々の“Ｈ”レベルまたは“Ｌ”レベルの期間に関するカウント値が、予め設定された許容範囲内に入っているか否かを判定する。

ここで、第１の処理例として、図１３のＡの処理例を説明する。上記カウント値が許容範囲外と判定された場合、水平同期信号に異常が発生したとみなし、ステップＳ２７に移り、許容範囲内と判定された場合、ステップＳ３１に移る。ステップＳ３１において、対応するフレームの画像認識処理結果を出力し、処理を終える。また、ステップＳ２７では、対応するフレームにおける画像データが異常である旨を示す信号（異常信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。

なお、別の処理例（図１３のＢの処理：Ａを除く）を説明する。ステップＳ２６で、水平同期信号の各々の“Ｈ”レベルまたは“Ｌ”レベルの期間に関するカウント値が許容範囲内に入っていないと判定された場合、ステップＳ２８に移る。ステップＳ２８では、現在のフレームおよび１フレーム前のフレームを含む２つのフレームにおいて、異常判定（ＮＧ）がなされているか否かを判断し、異常が連続していればステップＳ３０に移り、連続していなければステップＳ２９に移る。

そして、ステップＳ２９では、１フレーム前のフレームにおける画像データの画像認識処理結果を外部装置に出力し、処理を終える。

ステップＳ３０では、連続する２つのフレームにおける画像データが異常である旨を示す信号（異常信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。つまり、本例では、異常が連続しなければ、１フレーム前の画像で補間処理を行い、異常が連続すれば、異常である旨の信号を外部装置に出力する処理のみを行う。

図１４は、図１０の第３の具体例による画像認識処理手順を示すフローチャート（図１４のＡの処理：Ｂを除く）である。これは、ＣＰＵにより、同期信号監視部５、同期信号検出部６、画像認識処理部３等を実現する際にＣＰＵが実行する処理（ＣＰＵで異常検出処理（クロック信号による垂直同期信号の周期のカウントや比較）等も行う場合の処理）であって、画像処理装置１０の動作中の垂直同期信号の立ち上り検出によりスタートする。

まず、ステップＳ４０において、クロック信号により垂直同期信号の周期を計数する垂直同期信号周期カウンタをリセットして、ステップＳ４１に移る。ステップＳ４１において、クロック信号の立ち上りを検出したか否かを判断し、検出すればステップＳ４２に移り、検出しなければステップＳ４３に移る。

ステップＳ４２では、垂直同期信号周期カウンタのカウント値をインクリメント（＋１）し、ステップＳ４３に移る。

ステップＳ４３において、垂直同期信号の立ち上りを検出し、この立ち上りが検出された場合はステップＳ４４に移り、検出されない場合はステップＳ４１に移る。これらの処理により、垂直同期信号の立ち上りから次の立ち上りまでの期間、つまり垂直同期信号の周期が計数されることになる。

そして、ステップＳ４４では、垂直同期信号周期カウンタのカウント値（周期）が、予め設定された許容範囲内に入っているか否か（すなわち、上記カウント値が正常（ＯＫ）であるか否か）を判定する。

ここで、第１の処理例として、図１４のＡの処理例を説明する。上記カウント値が許容範囲外と判定された場合、垂直同期信号に異常が発生したとみなし、ステップＳ４５に移り、許容範囲内と判定された場合、ステップＳ４９に移る。ステップＳ４９において、対応するフレームの画像認識処理結果を出力し、処理を終える。また、ステップＳ４５では、対応するフレームにおける画像データが異常である旨を示す信号（異常信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。

なお、別の処理例（図１４のＢの処理：Ａを除く）を説明する。ステップＳ４４で、垂直同期信号周期カウンタのカウント値が許容範囲内に入っていないと判定された場合、ステップＳ４６に移る。ステップＳ４６では、現在のフレームおよび１フレーム前のフレームを含む２つのフレームにおいて、異常判定（ＮＧ）がなされているか否かを判断し、異常が連続していればステップＳ４８に移り、連続していなければステップＳ４７に移る。

そして、ステップＳ４７では、１フレーム前のフレームにおける画像データの画像認識処理結果を外部装置に出力し、処理を終える。

ステップＳ４８では、連続する２つのフレームにおける画像データが異常である旨を示す信号（異常信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。つまり、本例では、異常が連続しなければ、１フレーム前の画像で補間処理を行い、異常が連続すれば、異常である旨の信号を外部装置に出力する処理のみを行う。

図１５は、１フレームの画像データの各ビット監視による画像認識処理手順を示すフローチャートである。これは、ＣＰＵにより画像認識処理部５等を実現する際に、ＣＰＵが実行する処理（ＣＰＵで、１フレームの各画素の画像データ（例えば８ビット）における各ビットの値の監視による画像認識処理を実行する手順）で、この処理は、ＣＰＵによる１フレーム分の画像データの取り込みが完了した時点でスタートする。

まず、ステップＳ５０ａにおいて、各ビットのフラグをリセットして、ステップＳ５０ｂに移る。１フレーム期間内の各画素の画像データが例えば８ビットである場合、ステップＳ５０ｂにおいて、８ビットの画像データにおける各々のビットの値を順次取り込んで、ステップＳ５１０に移る。

ステップＳ５１０において、画像データの０ビット目を監視し、ステップＳ５２０に移る。

ステップＳ５２０において、例えば“０”のレベルが含まれているビットを検出した場合、当該ビットのフラグを１にする。そして、これらの処理を１ビット目から３ビット目〜７ビット目まで行い（ステップＳ５１ｎ、Ｓ５２ｎ、ｎ＝１〜７）、ステップＳ５７ａに移る。例えば、ステップＳ５２０では、０ビット目のビットの値に関して、“０”のレベルが有る場合にはフラグ１を立てる。ステップＳ５２３では、３ビット目のビットの値に関して、“０”のレベルが有る場合にはフラグ１を立てる。そして、ステップＳ５２７では、７ビット目のビットの値に関して、“０”のレベルが有る場合にはフラグ１を立てる。したがって、各々の画素の画像データにおいて、全部“１”のレベルであるビットのみのフラグが０になる。

ステップＳ５７ａにおいて、１フレーム分の画像データの全画素について前述のような各ビットの値の監視が完了しているか否かを判断し、完了していなければステップＳ５７ｂに移り、完了していればステップＳ５７ｃに移る。ステップＳ５７ｂでは、１フレーム分の画像データの次の画素について前述のような各ビットの値の監視（ステップＳ５０ｂ〜Ｓ５２７）を実行する。

ステップＳ５７ｃにおいて、１フレーム分の全画素の画像データの中で、全てのフラグが１になっているか否かを判断し、全てのフラグが１になっている場合は処理を終え、０になっているフラグが有る場合は、この画像データが異常であるとみなして、ステップＳ５８に移る。すなわち、ある画素の画像データについて、全部“１”のレベルであるビット（ “１”のレベルに張りついているビット）が存在する場合に異常であると判断されることになる。

ステップＳ５８では、対応するフレームにおける画像データに異常が発生して画像処理装置が故障している旨を示す信号（故障信号）のみを外部装置に出力し（当該画像データの画像認識処理結果を外部装置に出力しない）、処理を終える。

なお、図１５のフローチャートでは、１フレーム分の全画素の画像データの中で、“１”のレベルに張りついているビットが存在する場合に異常であると判断して画像認識処理を行っているが、その逆に、“０”のレベルに張りついているビットが存在する場合に異常であると判断して画像認識処理を行うことも可能である。さらに、“１”のレベルに張りついているビットが存在する場合と“０”のレベルに張りついているビットが存在する場合のいずれにおいても異常であると判断して画像認識処理を行うことも可能である。また、１フレーム分の全画素ではなく、１ライン分の全画素に関する判断でも、あるいは監視画像領域を限定する処理も考えられる。

図１５のフローチャートによる処理によれば、カメラから入力される画像データの異常による誤った画像認識処理結果が出力されず、画像処理装置や外部装置を含むシステム全体に影響を与えない。これによって、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止することが可能になる。

図１６は、画像データの濃度平均値算出による異常処理手順を示すフローチャートである。この処理は、ＣＰＵにより画像認識処理部３等を実現する際にＣＰＵが実行する処理で、画像データ取り込み時に実行される。

まず、ステップＳ６０において、カメラにより捕えられた画像データのサンプリング処理を行い、各フレーム毎に所定のタイミングで画像データを入力し、ステップＳ６１に移る。

ステップＳ６１では、取り込んだ画像データの濃度平均値に応じてカメラの露光を調整するための露光制御値（ここでは、露光時間）を決定（算出）し、ステップＳ６２に移る。この露光制御値は前回の画像取り込み時（カメラによる撮影時）に使用される。ステップＳ６２では、前回の取り込み画像に対して今回の取り込み画像の露光時間（露光制御値）が変化したか否かを判断し、変化していればステップＳ６３に移り、変化していなければ処理を終える。ステップＳ６３では、取り込み画像における画像データの濃度平均値を算出し、ステップＳ６４に移る。

ステップＳ６４において、前回と今回の取り込み画像における濃度平均値を比較し、カメラの露光時間の変化に応じて画像データの濃度平均値が適切に変化しているか否かを判断し、適切であれば処理を終え、適切でなければステップＳ６５に移る。例えば、露光時間がＸから０．５Ｘに変化した場合、濃度平均値は約１／２にならなければならない。また一方で、露光時間がＸから２．０Ｘに変化した場合、濃度平均値は約２倍にならなければならない。

前述のステップＳ６４において、カメラの露光時間が変化したにもかかわらず画像データの濃度平均値が正しい値に変化していないことが検知された場合、信号ラインの断線等によってカメラおよび周辺回路を含む画像処理装置が故障しているとみなされる。そこで、ステップＳ６５では、カメラおよび周辺回路を含む画像処理装置が故障している旨を示す信号（故障信号）を外部装置に出力して、処理を終える。前述のステップＳ６０〜Ｓ６５の処理は、画像処理装置の動作中繰り返し実行される。

図１６のフローチャートによる処理によれば、カメラの異常等による誤った画像認識処理結果が出力されず、画像処理装置や外部装置を含むシステム全体に影響を与えない。これによって、車両の近傍の対象物に対する未認識または誤認識が生じるのを防止することが可能になる。

本発明の画像処理装置は、車両に設けられた車載カメラに適用されるのみでなく、車両の近傍の対象物の認識・検出を行うための一般のカメラに適用することが可能である。さらに、本発明の画像処理装置は、衝突軽減を目的とするシステム等に搭載されて使用され得る。

本発明の一実施例に係る画像処理装置の構成を示すブロック図である。 図１の画像データフレーム処理部の具体的な構成を示すブロック図である。 フレーム単位で処理される画像データの一例を示す図である。 画像処理装置に用いられる構成部品の配置関係を示す車両の上面図である。 画像処理装置に用いられる構成部品の配置関係を示す車両の正面図である。 図１の同期信号監視部および同期信号異常検出部の第１の具体例を示すブロック図である。 図６の第１の具体例の動作を説明するためのタイミングチャートである。 図１の同期信号監視部および同期信号異常検出部の第２の具体例を示すブロック図である。 図８の第２の具体例の動作を説明するためのタイミングチャートである。 図１の同期信号監視部および同期信号異常検出部の第３の具体例を示すブロック図である。 図１０の第３の具体例の動作を説明するためのタイミングチャートである。 図６の第１の具体例による画像認識処理手順を示すフローチャートである。 図８の第２の具体例による画像認識処理手順を示すフローチャートである。 図１０の第３の具体例による画像認識処理手順を示すフローチャートである。 １フレームの画像データの各ビット監視による画像認識処理手順を示すフローチャートである。 画像データの濃度平均値算出による異常処理手順を示すフローチャートである。

符号の説明

１ カメラ
２ 画像データフレーム処理部
３ 画像認識処理部
４ 露光制御値演算部
５ 同期信号監視部
６ 同期信号異常検出部
７ 車両
８ バックモニタカメラ
９ 外部装置
１０ 画像処理装置

Claims (7)

1. 画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、該画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを有する画像処理装置において、
   前記垂直同期信号および前記水平同期信号の少なくとも一方の同期信号に異常が発生したことを検出する同期信号異常検出部を備え、
   前記画像認識処理部は、前記同期信号異常検出部にて前記少なくとも一方の同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して前記画像認識処理結果を外部装置に出力しないように構成されることを特徴とする画像処理装置。
2. 前記画像認識処理部は、前記同期信号異常検出部にて前記少なくとも一方の同期信号の異常が検出されたときに、最新の正常な画像データの画像認識処理結果を前記外部装置に出力することを特徴とする請求項１記載の画像処理装置。
3. 画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、該画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを有する画像処理装置において、
   一つのフレームの期間内で前記水平同期信号の数をカウントする水平同期信号数カウンタ部と、
   前記水平同期信号の数が所定の範囲外であることが検知された場合に、前記水平同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、
   前記画像認識処理部は、前記同期信号異常検出部にて前記水平同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して前記画像認識処理結果を外部装置に出力しないように構成されることを特徴とする画像処理装置。
4. 画像信号の垂直同期信号、水平同期信号、および各部の動作の同期を取るためのクロック信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、該画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを有する画像処理装置において、
   一つのフレームの期間内における任意の相隣り合う前記水平同期信号の間隔を前記クロック信号によりカウントする水平同期信号間間隔カウンタ部と、
   前記水平同期信号間間隔カウンタ部によるカウント値が所定の範囲外であることが検知された場合に、前記水平同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、
   前記画像認識処理部は、前記同期信号異常検出部にて前記水平同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して前記画像認識処理結果を外部装置に出力しないように構成されることを特徴とする画像処理装置。
5. 画像信号の垂直同期信号、水平同期信号、および各部の動作の同期を取るためのクロック信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、該画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを有する画像処理装置において、
   前記垂直同期信号の周期を前記クロック信号によりカウントする垂直同期信号周期カウンタ部と、
   前記垂直同期信号周期カウンタ部によるカウント値が所定の範囲外であることが検知された場合に、前記垂直同期信号に異常が発生したことを検出する同期信号異常検出部とを備え、
   前記画像認識処理部は、前記同期信号異常検出部にて前記垂直同期信号の異常が検出されたときに、対応するフレームにおける画像データの画像認識処理結果が異常であると判定して前記画像認識処理結果を外部装置に出力しないように構成されることを特徴とする画像処理装置。
6. 画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、該画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを有する画像処理装置において、
   前記画像認識処理部は、一つのフレームの期間中、前記画像データにおける所定のビットの値が固定され続けているか否かを監視し、前記画像データにおける所定のビットの値が固定され続けていることが検知された場合に、前記画像処理装置が故障している旨の信号を外部装置に出力するように構成されることを特徴とする画像処理装置。
7. 画像信号の垂直同期信号および水平同期信号を使用して、カメラにより捕えられた画像データのサンプリング処理を行ってフレーム単位の画像データを出力する画像データフレーム処理部と、該画像データフレーム処理部から出力される画像データを処理して対象物を検出する画像認識処理部とを有する画像処理装置において、
   前記画像認識処理部は、前記カメラの露光時間が切り替わる毎に前記画像データの濃度平均値を算出し、前記露光時間の変化に応じて前記画像データの濃度平均値が適切に変化しているか否かを監視し、前記露光時間の変化に応じて前記画像データの濃度平均値が適切に変化していないことが検知された場合に、前記画像処理装置が故障している旨の信号を外部装置に出力するように構成されることを特徴とする画像処理装置。

Images