JP7218216B2 - 画像処理装置、及び、検出方法 - Google Patents

Description

本実施形態は、画像処理装置、及び、検出方法に関する。

近年、例えば、ステレオカメラを車両などの移動体に搭載し、このカメラから一定間隔で出力される画像に基づいて障害物を検出し、当該障害物との接触を回避するように車両の走行に係る自動制御を行って運転の支援をするようなシステム（安全運転システム）が実用化されつつある。

このようなシステムでは、機能安全の観点から、画像認識に使用される画像データを信号処理する画像処理部を、定期的に故障診断する必要がある。故障診断は、任意のフレームの画像処理が完了してから次のフレームの画像処理が開始されるまでの間、すなわち、画像処理部による画像処理の空き時間に行われる。

ところで、画像処理装置では、複数の画像処理部を縦列接続して構成する場合がある。このような構成では、前段の画像処理部では、処理対象フレームとして指定された画像データについてのみ信号処理を行い、処理対象フレームとして指定されない画像データについては信号処理を行わず、画像データも出力しない場合がある。

このように、画像処理部が間欠的に動作する場合、画像処理完了のタイミングを示す信号も間欠的に出力されるため、所定周期内に定期的に故障診断を行うことが困難であった。

特開２０１６－８５７２１号公報

本実施形態は、間欠的に動作する画像処理部の故障診断を定期的に実行することができる、画像処理装置、及び、検出方法を提供することを目的とする。

本実施形態の画像処理装置は、連続して撮像された画像データをフレームごとに画像処理する第１画像処理部と、前記第１画像処理部の故障診断をフレームごとに行なう故障診断処理部と、前記故障診断処理部に対し、前記故障診断の実行を制御する故障診断制御部と、を備えている。前記第１画像処理部は、指定された処理対象フレームの前記画像データに対して画像処理を行う。前記故障診断制御部は、前記第１画像処理部が前記故障診断を実行可能な状態である故障診断許可状態を通知する故障診断許可通知部を有し、前記故障診断許可通知部は、前記処理対象フレームの入力時には、前記第１画像処理部における前記処理対象フレームの画像処理の完了をもって前記故障診断許可状態を通知し、前記処理対象フレーム以外のフレームである処理非対象フレームの入力時には、前記第１画像処理部において前記画像処理が終了状態とみなす旨の通知を取得した時点で前記故障診断許可状態を通知する。

第１の実施形態に係わる画像処理装置１の構成の一例を示すブロック図。 第１の実施形態に係わる第１画像処理部１２の故障診断許可のステータスを制御する手順の一例を説明するフローチャート。 第２画像処理部１４の故障診断許可のステータスを制御する手順の一例を説明するフローチャート。 第１画像処理部１２の故障診断の実行を制御する手順の一例を説明するフローチャート。 第２画像処理部１４の故障診断の実行を制御する手順の一例を説明するフローチャート。 第１の実施形態に係わる第１画像処理部１２における故障診断の実行に関するタイミングチャート。 第２の実施形態に係わる画像処理装置１´の構成の一例を示すブロック図。 第２の実施形態に係わる第１画像処理部１２の故障診断許可のステータスを制御する手順の一例を説明するフローチャート。

以下、図面を参照して実施形態を説明する。
（第１の実施形態）
本実施形態に係わる画像処理装置は、例えば車載カメラのように連続して撮像された画像データをフレームごとに画像処理を行う画像処理部を備えた装置であり、１フレームの画像処理を完了するごとに画像処理部の故障診断を行う機能を備えている。１フレームの画像処理を完了するごとに画像処理部の故障診断を行う目的は、画像処理後の画像データの信頼性を確認し、正常に画像処理が行われた画像データを用いて画像認識を行うことで、安全性の高い運転支援制御を行うことである。

図１は、第１の実施形態に係わる画像処理装置１の構成の一例を示すブロック図である。画像処理装置１は、キャプチャ処理部１１と、第１画像処理部１２と、データ選択部１３と、第２画像処理部１４と、システムメモリ１６と、画像認識処理部１７と、システム制御部１８とを備える。また、画像処理装置１は、故障診断制御部２０と、故障診断処理部２５、２６と、割り込み制御部２７とも備える。

第１画像処理部１２と、第２画像処理部１４と、システムメモリ１６と、画像認識処理部１７と、システム制御部１８とは、システムバス１５を介して接続されている。また、システム制御部１８は、制御レジスタ１９に接続されており、制御レジスタ１９を介してキャプチャ処理部１１、第１画像処理部１２、割り込み制御部２７、故障診断制御部２０に制御内容を指示する。

キャプチャ処理部１１は、図示しない撮像装置から入力される撮像信号を、システムクロックに同期した画像データとして、第１画像処理部１２とデータ選択部１３とに出力する。また、画像データを出力する際に、各フレームの先頭の画像データが第１画像処理部１２及びデータ選択部１３に入力されるタイミングを示す、フレームデータ入力開始信号を、故障診断制御部２０に出力する。

第１画像処理部１２は、ＤＳＰ（Digital Signal Processing Unit）等を備え、制御レジスタ１９から画像処理対象として指定されたフレームの画像データについて、所定の画像処理を行う。第１画像処理部１２は、例えば、輝度値分布情報の抽出処理、ＲＡＷデータから画素間の色の補完を行うデモザイク処理、画像データの輝度を増幅したり低減したりして画像認識に適した輝度に調整する輝度修正処理などを行う。画像処理後の画像データは、データ選択部１３を介して第２画像処理部１４へ出力される。また、輝度値分布情報の抽出処理など、処理対象フレームの画像データに関する統計情報などを抽出した場合、当該情報は、システムバス１５を介してシステムメモリ１６へ出力される。更に、第１画像処理部１２は、任意のフレームの画像処理が終了する都度、画像処理が完了したことを通知する信号（画像処理完了信号）を、故障診断制御部２０に出力する。

データ選択部１３は、キャプチャ処理部１１から入力される画像データ、または、第１画像処理部１２から入力される画像データのいずれか一方を選択し、第２画像処理部１４へ出力する。第２画像処理部１４へ出力する画像データは、制御レジスタ１９からの指示に従って決定する。具体的には、制御レジスタ１９において、第１画像処理部１２で画像処理対象として指定されたフレームについては、第１画像処理部１２から入力される画像データ（第１画像処理部１２で画像処理が施されたデータ）が選択され出力される。一方、制御レジスタ１９において、第１画像処理部１２で画像処理対象として指定されないフレーム（第１画像処理部１２で画像処理が行われないフレーム）については、キャプチャ処理部１１から入力される画像データが選択され出力される。

第２画像処理部１４は、ＤＳＰ（Digital Signal Processing unit）等を備え、データ選択部１３から入力された画像データについて、所定の画像処理を行う。第２画像処理部１４は、例えば、１フレーム分の画像データから指定された所定領域のみを切り出す画像切り出し処理や、１フレーム分の画像データにおける指定された所定領域の大きさを変更する拡大縮小処理などを行う。画像処理後の画像データは、システムバス１５を介してシステムメモリ１６へ出力される。更に、第２画像処理部１４は、任意のフレームの画像処理が終了する都度、画像処理が完了したことを通知する信号（画像処理完了信号）を、故障診断制御部２０に出力する。

システムメモリ１６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の半導体メモリで構成される。システムメモリ１６は、第１画像処理部１２から入力される各種情報や、第２画像処理部１４から入力される画像データなどを格納する。

画像認識処理部１７は、システムメモリ１６に格納されている画像処理後の画像データを用いて、例えば障害物検知など、運転支援制御のための画像認識を行う。画像認識処理部１７は、システムバス１５を介してシステム制御部１８から入力される指示に従って動作する。例えば、第１画像処理部１２や第２画像処理部１４の故障が検出された場合、当該部位を経由した該当フレームの画像データを用いて画像認識を行わないよう、システム制御部１８から指示が入力される。この場合、画像認識処理部１７は、画像認識処理を中断したり、予め設定された代替処理を行ったりするなど、システム制御部１８から入力された指示に従って処理を行う。

システム制御部１８は、ＣＰＵ（Central Processing Unit）などを備えており、画像処理装置１全体の動作を制御する。例えば、割り込み制御部２７から第１画像処理部１２（または第２画像処理部１４）の故障検出を通知する割り込み信号が入力された場合には、故障が検知された第１画像処理部１２（または、第２画像処理部１４）で画像処理を行ったフレームの画像データを画像認識に用いないよう、画像認識処理部１７を制御する。また、故障が検知された第１画像処理部１２（または第２画像処理部１４）での処理を行わないよう、画像処理装置１の各部位を制御する。

故障診断制御部２０は、第１画像処理部１２、及び、第２画像処理部１４における故障診断の実行を制御する。故障診断制御部２０は、故障診断処理開始タイミング生成部２１と、故障診断開始制御部２２、２４と、故障診断許可通知部として機能する信号選択部２３とから構成される。

故障診断処理開始タイミング生成部２１は、第１画像処理部１２、及び、第２画像処理部１４における故障診断の開始制御のトリガとなる信号を生成し、故障診断開始制御部２２、２４に出力する。具体的には、故障診断開始制御部２２、２４のそれぞれに対し、初期化信号（画像処理開始信号）と、故障診断開始タイミング信号の、２種類の信号を出力する。

初期化信号は、任意のフレームの画像処理の開始にともない、故障診断開始制御部２２、２４の動作を初期化するために用いられる信号である。キャプチャ処理部１１からフレームデータ入力開始信号を受信すると、遅滞なく、初期化信号が故障診断開始制御部２２、２４に出力される。初期化信号は、任意のフレームの画像処理の開始にともない、故障診断開始制御部２２、２４の動作を初期化するために用いられる信号である。従って、画像処理の開始のタイミングを通知する信号でもある。以下の説明において、初期化信号を画像処理開始信号と記す。

故障診断開始タイミング信号は、第１画像処理部１２、及び、第２画像処理部１４において、任意のフレームの画像処理後に行う故障診断を、次のフレームの画像処理が開始される前に完了させるための、故障診断開始のタイミングを通知するための信号である。故障診断開始タイミング信号は、キャプチャ処理部１１からフレームデータ入力開始信号を受信してから、予め制御レジスタ１９に設定された所定時間が経過した後に、故障診断開始制御部２２、２４に出力される。

また、故障診断処理開始タイミング生成部２１は、信号選択部２３に対し、疑似画像処理終了信号を出力する。疑似画像処理終了信号は、故障開始タイミング信号が出力されるタイミングより所定時間だけ早いタイミングで、信号選択部２３に出力される。

故障診断許可通知部として機能する信号選択部２３は、入力される複数の信号から、第１画像処理部１２における故障診断の開始を許可するトリガとなる信号を選択し、故障診断開始許可信号として故障診断開始制御部２２に出力する。すなわち、故障診断開始許可信号とは、第１画像処理部１２において画像処理が終了状態で、故障診断を実行可能であることを通知する信号である。信号選択部２３に入力される信号は、故障診断処理開始タイミング生成部２１から出力される疑似画像処理終了信号と、第１画像処理部１２から出力される画像処理完了信号である。制御レジスタ１９において、第１画像処理部１２で画像処理対象として指定されたフレームについては、画像処理完了信号が故障診断開始許可信号として選択されて、出力される。一方、制御レジスタ１９において、第１画像処理部１２で画像処理対象として指定されないフレーム（第１画像処理部１２で画像処理が行われないフレーム）については、疑似画像処理終了信号が故障診断開始許可信号として選択されて、出力される。

故障診断開始制御部２２は、故障診断処理部２５における第１画像処理部１２の故障診断の実行可否を決定し、実行可能な場合は故障診断開始の指示を故障診断実行信号として出力する。すなわち、１フレーム分の画像データがキャプチャ処理部１１から出力される周期（フレーム周期）と同じ周期で定期的に行われる故障診断が、次のフレームの画像処理開始前に完了するか否かを判断する。故障診断を完了することができないと判断した場合、故障診断開始制御部２２は、故障診断処理部２５に対して故障診断実行信号を出力しない。

詳細には、故障診断開始制御部２２は、画像処理開始信号が入力されてから故障診断開始許可信号が入力されるまでの間に故障診断開始タイミング信号が入力された場合、当該周期における故障診断の実行が不可であると判定し、故障診断実行信号の出力は行わない。一方、故障診断の実行が可能であると判定した場合、故障診断開始タイミング信号が入力されると遅滞なく故障診断実行信号を出力する。

故障診断開始制御部２４は、故障診断処理部２６における第２画像処理部１４の故障診断の実行可否を決定し、実行可能な場合は故障診断開始の指示を故障診断実行信号として出力する。故障診断を完了することができないと判断した場合、故障診断開始制御部２４は、故障診断処理部２６に対して故障診断実行信号を出力しない。

詳細には、故障診断開始制御部２４は、画像処理開始信号が入力されてから画像処理完了信号が入力されるまでの間に故障診断開始タイミング信号が入力された場合、当該周期における故障診断の実行が不可（実行時間の不足）であると判定し、故障診断実行信号の出力は行わない。一方、故障診断の実行が可能であると判定した場合、故障診断開始タイミング信号が入力されると遅滞なく故障診断実行信号を出力する。

故障診断処理部２５は、第１画像処理部１２が画像処理を行っていない期間を利用して、第１画像処理部１２の故障診断を行う。故障診断処理部２５は、ＤＳＰなどを備えており、故障診断開始制御部２２からの故障診断実行信号の入力をトリガとして、故障診断を行う。具体的には、故障診断処理部２５は、第１画像処理部１２に対し、予め設定されているスキャンテストデータを出力する。第１画像処理部１２において当該データの画像処理が終了すると、第１画像処理部１２からスキャンテスト結果が入力される。スキャンテスト結果の正常値は既知であり、期待値として予め設定されている。故障診断処理部２５は、第１画像処理部１２から入力されたスキャンテスト結果と、予め設定されている期待値とを照合する。故障診断処理部２５は、スキャンテスト結果と期待値とが一致した場合、第１画像処理部１２が正常であると判定する。一方、故障診断処理部２５は、スキャンテスト結果と期待値とが一致しない場合、第１画像処理部１２に故障があると判定する。故障診断の判定結果は、故障診断結果情報として割り込み制御部２７に出力される。

故障診断処理部２６は、第２画像処理部１４が画像処理を行っていない期間を利用して、第２画像処理部１４の故障診断を行う。故障診断処理部２６は、ＤＳＰなどを備えており、故障診断開始制御部２２からの故障診断実行信号の入力をトリガとして、故障診断を行う。具体的には、故障診断処理部２６は、第２画像処理部１４に対し、予め設定されているスキャンテストデータを出力する。第２画像処理部１４において当該データの画像処理が終了すると、第２画像処理部１４からスキャンテスト結果が入力される。スキャンテスト結果の正常値は既知であり、期待値として予め設定されている。故障診断処理部２６は、第２画像処理部１４から入力されたスキャンテスト結果と、予め設定されている期待値とを照合する。故障診断処理部２６は、スキャンテスト結果と期待値とが一致した場合、第２画像処理部１４が正常であると判定する。一方、故障診断処理部２６は、スキャンテスト結果と期待値とが一致しない場合、第２画像処理部１４に故障があると判定する。故障診断の判定結果は、故障診断結果信号として割り込み制御部２７に出力される。

割り込み制御部２７は、故障診断処理部２５、２６から入力される故障診断結果信号のいずれかが故障判定を示す信号である場合、図示しない割り込み要因レジスタに故障の情報を保持するとともに、故障の検出を通知する割り込み信号をシステム制御部１８に出力する。割り込み要因レジスタに保持される故障の情報には、故障が検出された部位（第１画像処理部１２、及び／または、第２画像処理部１４）の情報も含まれる。

次に、故障診断制御部２０の動作について、図２～図６の各図面を参照しながら説明する。図２は、第１の実施形態に係わる第１画像処理部１２の故障診断許可のステータスを制御する手順の一例を説明するフローチャートである。図３は、第２画像処理部１４の故障診断許可のステータスを制御する手順の一例を説明するフローチャートである。図４は、第１画像処理部１２の故障診断の実行を制御する手順の一例を説明するフローチャートである。図５は、第２画像処理部１４の故障診断の実行を制御する手順の一例を説明するフローチャートである。図６は、第１の実施形態に係わる第１画像処理部１２における故障診断の実行に関するタイミングチャートである。

最初に、図２、図４、図６を用いて、第１画像処理部１２の故障診断の実行について説明する。なお、図２に示す故障診断許可のステータスを制御する手順と、図４に示す故障診断の実行を制御する手順とは、並列に開始される。

まず、第１画像処理部１２の故障診断許可のステータスを制御する手順について説明する。画像処理装置１の初期設定が行われると（Ｓ１０）、故障診断処理開始タイミング生成部２１は、制御レジスタ１９から、次の入力フレームに対する第１画像処理部１２の動作設定を取得する（Ｓ１１）。すなわち、次の入力フレームが、第１画像処理部１２での画像処理対象フレームであるか否かを取得する。続いて、故障診断処理開始タイミング生成部２１は、キャプチャ処理部１１からのフレーム入力開始信号の入力を監視する（Ｓ１２）。故障診断処理開始タイミング生成部２１は、フレーム入力開始信号を受信すると（Ｓ１２、ＹＥＳ）、画像処理開始信号を故障診断開始制御部２２に出力する。

故障診断開始制御部２２は、画像処理開始信号の受信をトリガとして、第１画像処理部故障診断許可ステータス（図示せず）を“０”にセットする（Ｓ１３）。なお、第１画像処理部故障診断許可ステータスは、例えば、故障診断開始制御部２２の内部に構成される。

入力フレームが第１画像処理部１２での画像処理対象フレームである場合、すなわち、第１画像処理部１２が動作している場合（Ｓ１４、ＮＯ）、第１画像処理部１２は、当該フレームの画像処理を完了すると、信号選択部２３に画像処理完了信号を通知する。信号選択部２３は、画像処理完了信号を受信すると（Ｓ１５、ＹＥＳ）、故障診断開始制御部２２に故障診断開始許可信号を通知する。故障診断開始制御部２２は、故障診断開始許可信号を受信すると、第１画像処理部故障診断許可ステータス（図示せず）を“１”にセットする（Ｓ１７）。

一方、入力フレームが第１画像処理部１２での画像処理対象フレームでない場合、すなわち、第１画像処理部１２が動作していない場合（Ｓ１４、ＹＥＳ）、信号選択部２３は、故障診断開始制御部２２から疑似画像処理完了信号の入力を監視する。信号選択部２３は、疑似画像処理完了信号を受信すると（Ｓ１６、ＹＥＳ）、故障診断開始制御部２２に故障診断開始許可信号を通知する。故障診断開始制御部２２は、故障診断開始許可信号を受信すると、第１画像処理部故障診断許可ステータス（図示せず）を“１”にセットする（Ｓ１７）。

このように、本実施の形態においては、入力フレームが第１画像処理部１２での画像処理対象フレームでない場合においても、故障診断開始許可信号によって第１画像処理部故障診断許可ステータスを“１”にセットすることができる。従って、入力フレームが第１画像処理部１２の画像処理対象フレームであるか否かにかかわらず、故障診断開始制御部２２は、第１画像処理故障診断許可ステータスの更新を適切に行うことができる。

次に、上記の処理と並列して実行される、第１画像処理部１２の故障診断の実行を制御する手順について説明する。画像処理装置１の初期設定が行われると（Ｓ３０）、故障診断処理開始タイミング生成部２１は、キャプチャ処理部１１からのフレーム入力開始信号の入力を監視する（Ｓ３１）。フレーム入力開始信号を受信すると（Ｓ３１、ＹＥＳ）、故障診断処理開始タイミング生成部２１は、図示しない第１カウンタを起動する（Ｓ３２）。なお、第１カウンタは、例えば、故障診断処理開始タイミング生成部２１の内部に構成される。

故障診断処理開始タイミング生成部２１は、第１カウンタが予め制御レジスタ１９に設定された所定時間（設定値）に達するまでの間（Ｓ３３、ＮＯ）、カウントアップを継続する。第１カウンタが設定値に達すると（Ｓ３３、ＹＥＳ）、第１カウンタを停止して初期化する（Ｓ３４）。なお、所定時間は、フレーム周期から故障診断に要する時間を差し引いた値となるように、予め制御レジスタ１９に設定される。

故障診断処理開始タイミング生成部２１は、第１カウンタを停止すると遅滞なく、故障診断開始タイミング信号を故障診断開始制御部２２へ出力する。故障診断開始制御部２２は、故障診断開始タイミング信号を受信すると、第１画像処理部故障診断許可ステータスを確認する。第１画像処理部故障診断許可ステータスが“１”である場合（Ｓ３５、ＹＥＳ）、故障診断開始制御部２２は、故障診断処理部２５に故障診断実行信号を送信する。

故障診断実行信号を受信すると、故障診断処理部２５は、遅滞なく第１画像処理部１２の故障診断を実行する（Ｓ３６）。具体的には、故障診断処理部２５は、第１画像処理部１２にスキャンテストデータを出力する。第１画像処理部１２では、入力されたスキャンテストデータに基づきスキャンテストが実行される。テスト結果は第１画像処理部１２から故障診断処理部２５に出力される。故障診断処理部２５は、入力されたテスト結果と期待値とを照合する。テスト結果と期待値とが一致した場合、第１画像処理部１２は故障していないと判定する。一方、テスト結果と期待値とが一致しない場合、第１画像処理部１２に故障があると判定する。判定結果は、故障検出信号として割り込み制御部２７に出力される。故障診断実行後、故障診断制御部２０は、第１画像処理部１２に対する故障診断の実行制御に関して、次のフレーム入力開始信号の受信まで待機状態となる。

一方、第１画像処理部故障診断許可ステータスが“０”である場合（Ｓ３５、ＮＯ）、故障診断開始制御部２２は、故障診断処理部２５に故障診断実行信号を送信しない。すなわち、故障診断は実行されず、故障診断制御部２０は、第１画像処理部１２に対する故障診断の実行制御に関して、次のフレーム入力開始信号の受信まで待機状態となる。

以上に示す故障診断制御の一連の動作を、図６のタイミングチャートを用いて説明する。図６に示すタイミングチャートには、フレーム周期３つ分のフレーム期間に関する故障診断制御の流れを示している。また、図６では、一例として、１番目と３番目に入力されるフレームは、第１画像処理部１２での画像処理対象フレームであり、２番目に入力されるフレームは、第１画像処理部１２での画像処理対象フレームではない場合について示している。

まず、１番目のフレームがキャプチャ処理部１１から第１画像処理部１２へ出力されるタイミングで、フレーム入力開始信号が出力される。故障診断処理開始タイミング生成部２１がフレーム入力開始信号を受信すると、画像処理開始信号が故障診断開始制御部２２へ出力される。故障診断開始制御部２２が画像処理開始信号を受信すると、故障診断許可ステータスが“０”にセットされる。

第１画像処理部１２において１番目のフレームの画像処理が終了すると、画像処理完了信号が第１画像処理部１２から信号選択部２３へ出力される。信号選択部２３が画像処理完了信号を受信すると、故障診断開始許可信号が故障診断開始制御部２２へ出力される。故障診断開始制御部２２が故障診断開始許可信号を受信すると、故障診断許可ステータスが“１”にセットされる。

一方、故障診断処理開始タイミング生成部２１において、フレーム入力開始信号を受信してから予め設定された所定時間（ｔ１）に達すると、故障診断開始タイミング信号が故障診断開始制御部２２へ出力される。なお、所定時間ｔ１は、フレーム周期Ｔから故障診断に要する時間（故障診断実行指示がなされてから故障診断が開始されるまでの応答期間ｔ２と、第１画像処理部１２において故障診断を実行する時間ｔ３とを合算した時間）を差し引いた値以下となるように、予め制御レジスタ１９に設定されている。

１番目のフレーム期間で故障診断開始タイミング信号が入力された時点では、故障診断許可ステータスが“１”であるので、故障診断実行信号が故障診断開始制御部２２から故障診断処理部２５へ出力される。故障診断処理部２５が故障診断実行信号を受信すると、第１画像処理部１２において故障診断が実行され、結果が出力される。以上のような流れで、１番目のフレーム期間において、第１画像処理部１２における画像処理、及び、画像処理後の故障診断が実行される。

１番目のフレームがキャプチャ処理部１１から出力されてからフレーム周期Ｔが経過すると、２番目のフレームがキャプチャ処理部１１から出力される。２番目のフレームは、第１画像処理部１２での処理対象外のフレームであるため、当該フレームはキャプチャ処理部１１からデータ選択部１３へ出力される。キャプチャ処理部１１から２番目のフレームが出力されるタイミングで、フレーム入力開始信号も出力される。故障診断処理開始タイミング生成部２１がフレーム入力開始信号を受信すると、画像処理開始信号が故障診断開始制御部２２へ出力される。故障診断開始制御部２２が画像処理開始信号を受信すると、故障診断許可ステータスが“０”にセットされる。

２番目のフレームは、第１画像処理部１２で画像処理は行われない。従って、信号選択部２３には画像処理完了信号は通知されない。しかし、故障診断処理開始タイミング生成部２１において、フレーム入力開始信号を受信してから所定時間ｔ１が経過したタイミングよりも少し早いタイミングで、信号選択部２３に対し、疑似画像処理終了信号が出力される。信号選択部２３が疑似画像処理終了信号を受信すると、故障診断開始許可信号が故障診断開始制御部２２へ出力される。故障診断開始制御部２２が故障診断開始許可信号を受信すると、故障診断許可ステータスが“１”にセットされる。

一方、故障診断処理開始タイミング生成部２１において、フレーム入力開始信号を受信してから所定時間ｔ１が経過したタイミングで、故障診断開始タイミング信号が故障診断開始制御部２２へ出力される。２番目のフレーム期間で故障診断開始タイミング信号が入力された時点では、故障診断許可ステータスが“１”であるので、故障診断実行信号が故障診断開始制御部２２から故障診断処理部２５へ出力される。故障診断処理部２５が故障診断実行信号を受信すると、第１画像処理部１２において故障診断が実行され、結果が出力される。以上のような流れで、２番目のフレーム期間において、第１画像処理部１２における画像処理、及び、画像処理後の故障診断が実行される。

２番目のフレームがキャプチャ処理部１１から出力されてからフレーム周期Ｔが経過すると、３番目のフレームがキャプチャ処理部１１から出力される。３番目のフレームは、第１画像処理部１２での処理対象フレームであるので、３番目のフレームがキャプチャ処理部１１から第１画像処理部１２へ出力されるタイミングで、フレーム入力開始信号が出力される。故障診断処理開始タイミング生成部２１がフレーム入力開始信号を受信すると、画像処理開始信号が故障診断開始制御部２２へ出力される。故障診断開始制御部２２が画像処理開始信号を受信すると、故障診断許可ステータスが“０”にセットされる。

第１画像処理部１２において３番目のフレームの画像処理が終了すると、画像処理完了信号が第１画像処理部１２から信号選択部２３へ出力される。ただし、３番目のフレームの画像処理時間は、図示しない他のモジュールによるシステムバスのデータ転送の混雑などの理由により、１番目のフレームの画像処理時間よりも長く、所定時間ｔ１を超えてから画像処理が終了するものとする。信号選択部２３が画像処理完了信号を受信すると、故障診断開始許可信号が故障診断開始制御部２２へ出力される。故障診断開始制御部２２が故障診断開始許可信号を受信すると、故障診断許可ステータスが“１”にセットされる。

一方、故障診断処理開始タイミング生成部２１において、フレーム入力開始信号を受信してから所定時間ｔ１が経過したタイミングで、故障診断開始タイミング信号が故障診断開始制御部２２へ出力される。３番目のフレーム期間で故障診断開始タイミング信号が入力された時点では、故障診断許可ステータスは“０”であるので、故障診断実行信号は出力されない。従って、３番目のフレームの画像処理後には、第１画像処理部１２における故障診断は行われない。すなわち、故障診断処理に使用できる時間の不足に起因する故障診断の中断を防止することができる。また、処理途中の故障診断結果が廃棄されることがないので、無駄な処理を行うことがなく、消費電力を節約することができる。

このように、本実施形態の画像処理装置１は、画像処理を行わないフレーム期間については、故障診断開始タイミング信号が故障診断開始制御部２２へ出力されるタイミングより少し前のタイミングで、信号選択部２３に対して疑似画像処理終了信号が出力される。信号選択部２３は、疑似画像処理終了信号を受信すると、故障診断開始許可信号を遅滞なく故障診断開始制御部２２へ出力する。従って、故障診断開始制御部２２が故障診断開始タイミング信号を受信するタイミングでは、故障診断許可ステータスが“１”にセットされているので、次のフレームが入力されるまでの間に第１画像処理部１２の故障診断を確実に行うことができる。すなわち、第１画像処理部１２において画像処理を行うフレームと行わないフレームとが混在する場合にも、定期的に第１画像処理部１２の故障診断を行うことができる。

次に、図３、図５を用いて、第２画像処理部１４の故障診断の実行について説明する。なお、図３に示す故障診断許可のステータスを制御する手順と、図５に示す故障診断の実行を制御する手順とは、並列に開始される。また、これらの手順は、図２及び図４に示す第１画像処理部１２の故障診断に関する制御手順とも並列に行われる。

まず、第２画像処理部１４の故障診断許可のステータスを制御する手順について説明する。画像処理装置１の初期設定が行われると（Ｓ２０）、キャプチャ処理部１１からのフレーム入力開始信号の入力を監視する（Ｓ２１）。フレーム入力開始信号を受信すると（Ｓ２１、ＹＥＳ）、故障診断処理開始タイミング生成部２１は、画像処理開始信号を故障診断開始制御部２２に出力する。

故障診断開始制御部２２は、画像処理開始信号の受信をトリガとして、第２画像処理部故障診断許可ステータス（図示せず）を“０”にセットする（Ｓ２２）。なお、第２画像処理部故障診断許可ステータスは、例えば、故障診断開始制御部２２の内部に構成される。第２画像処理部１４は、当該フレームの画像処理を完了すると、故障診断開始制御部２４に故障診断開始許可信号を通知する。故障診断開始制御部２４は、故障診断開始許可信号を受信すると（Ｓ２３、ＹＥＳ）、第２画像処理部故障診断許可ステータス（図示せず）を“１”にセットする（Ｓ２４）。

次に、上記の処理と並列して実行される、故障診断の実行を制御する手順について説明する。第２画像処理部１４の故障診断の実行を制御する手順は、タイミングを計測するカウンタが第２画像処理部１４用の第２カウンタである点を除き、図４を用いて説明した第１画像処理部１２の手順と同様である。すなわち、画像処理装置１の初期設定が行われると（Ｓ４０）、故障診断処理開始タイミング生成部２１は、キャプチャ処理部１１からのフレーム入力開始信号の入力を監視する（Ｓ４１）。フレーム入力開始信号を受信すると（Ｓ４１、ＹＥＳ）、故障診断処理開始タイミング生成部２１は、図示しない第２カウンタを起動する（Ｓ４２）。なお、第２カウンタは、例えば、故障診断処理開始タイミング生成部２１の内部に構成される。

故障診断処理開始タイミング生成部２１は、第２カウンタが予め制御レジスタ１９に設定された所定時間（設定値）に達するまでの間（Ｓ４３、ＮＯ）、カウントアップを継続する。第２カウンタが設定値に達すると（Ｓ４３、ＹＥＳ）、第２カウンタを停止して初期化する（Ｓ４４）。なお、所定時間は、フレーム周期から故障診断に要する時間を差し引いた値となるように、予め制御レジスタ１９に設定される。

故障診断処理開始タイミング生成部２１は、第２カウンタを停止すると遅滞なく、故障診断開始タイミング信号を故障診断開始制御部２２へ出力する。故障診断開始制御部２２は、故障診断開始タイミング信号を受信すると、第２画像処理部故障診断許可ステータスを確認する。第２画像処理部故障診断許可ステータスが“１”である場合（Ｓ４５、ＹＥＳ）、故障診断開始制御部２２は、故障診断処理部２６に故障診断実行信号を送信する。

故障診断実行信号を受信すると、故障診断処理部２６は、遅滞なく第２画像処理部１４の故障診断を実行する（Ｓ４６）。具体的には、故障診断処理部２６は、第２画像処理部１４にスキャンテストデータを出力する。第２画像処理部１４では、入力されたスキャンテストデータに基づきスキャンテストが実行される。テスト結果は第２画像処理部１４から故障診断処理部２６に出力される。故障診断処理部２６は、入力されたテスト結果と期待値とを照合する。テスト結果と期待値とが一致した場合、第２画像処理部１４は故障していないと判定する。一方、テスト結果と期待値とが一致しない場合、第２画像処理部１４に故障があると判定する。判定結果は、故障検出信号として割り込み制御部２７に出力される。故障診断実行後、故障診断制御部２０は、第２画像処理部１４に対する故障診断の実行制御に関して、次のフレーム入力開始信号の受信まで待機状態となる。

一方、第２画像処理部故障診断許可ステータスが“０”である場合（Ｓ４５、ＮＯ）、故障診断開始制御部２２は、故障診断処理部２６に故障診断実行信号を送信しない。すなわち、故障診断は実行されず、故障診断制御部２０は、第２画像処理部１４に対する故障診断の実行制御に関して、次のフレーム入力開始信号の受信まで待機状態となる。

このように、故障診断開始タイミング信号が入力された時点で故障診断許可ステータスが“０”である場合には、故障診断処理部２６に対して故障診断実行信号は出力されない。すなわち、第２画像処理部１４での画像処理時間が長く、次のフレームに対する画像処理が開始されるまでの間に、故障診断の実行に必要な時間が確保できない場合には、故障診断は行われないよう制御している。従って、故障診断処理に使用できる時間の不足に起因する故障診断の中断を防止することができる。また、処理途中の故障診断結果が廃棄されることがないので、無駄な処理を行うことがなく、消費電力を節約することができる。

以上のように、本実施形態の画像処理装置１は、第１画像処理部１２において画像処理を行なうフレームと画像処理を行なわないフレームとが混在する場合にも、定期的に第１画像処理部１２の故障診断を行うことができる。また、第１画像処理部１２、及び／又は、第２画像処理部１４での画像処理時間が長い場合には、故障診断処理に使用できる時間の不足に起因する故障診断の中断を防止することができる。
（第２の実施形態）
上述の第１の実施形態では、第１画像処理部１２において画像処理が行なわれないフレフレームについては、故障診断許可通知部として機能する信号選択部２３は、故障診断処理開始タイミング生成部２１から入力される擬似画像処理完了信号に基づき、故障診断開始許可信号を出力していた。これに対し、本実施形態においては、故障診断許可通知部として機能する信号選択部２３´は、第２画像処理部１４から入力される画像処理完了信号に基づき、故障診断開始許可信号を出力する点が異なっている。図７は、第２の実施形態に係わる画像処理装置１´の構成の一例を示すブロック図である。図７において、図１に示す画像処理装置１と同様の構成要素については、同じ符号を付して説明を省略する。

図７に示す画像処理装置１´の故障診断制御部２０´は、第１画像処理部１２、及び、第２画像処理部１４における故障診断の実行を制御する。故障診断制御部２０´は、故障診断処理開始タイミング生成部２１´と、故障診断開始制御部２２、２４と、故障診断許可通知部として機能する信号選択部２３´とから構成される。

故障診断処理開始タイミング生成部２１´は、第１画像処理部１２、及び、第２画像処理部１４における故障診断の開始制御のトリガとなる信号を生成し、故障診断開始制御部２２、２４に出力する。具体的には、故障診断開始制御部２２、２４のそれぞれに対し、画像処理開始信号と、故障診断開始タイミング信号の、２種類の信号を出力する。

故障診断許可通知部として機能する信号選択部２３´は、入力される複数の信号から、第１画像処理部１２における故障診断の開始を許可するトリガとなる信号を選択し、故障診断開始許可信号として故障診断開始制御部２２に出力する。すなわち、故障診断開始許可信号とは、第１画像処理部１２において画像処理が終了状態で、故障診断を実行可能であることを通知する信号である。信号選択部２３´に入力される信号は、第１画像処理部１２から出力される画像処理完了信号と、第２画像処理部１４から出力される画像処理完了信号である。制御レジスタ１９において、第１画像処理部１２で画像処理対象として指定されたフレームについては、第１画像処理部１２から出力される画像処理完了信号が故障診断開始許可信号として選択されて、出力される。一方、制御レジスタ１９において、第１画像処理部１２で画像処理対象として指定されないフレーム（第１画像処理部１２で画像処理が行われないフレーム）については、第２画像処理部１２から出力される画像処理完了信号が故障診断開始許可信号として選択されて、出力される。

次に、故障診断制御部２０´の動作について説明する。第１画像処理部１２の故障診断許可ステータスを制御する手順以外の各手順や実行タイミング、及び、第２画像処理部１４の故障診断の実行制御にかかわる一連の動作については、図３～図６を用いて説明した第１の実施形態と同様であるので、説明を省略する。以下、第１画像処理部１２の故障診断許可のステータスを制御する手順について、図８を用いて説明する。

図８は、第２の実施形態に係わる第１画像処理部１２の故障診断許可のステータスを制御する手順の一例を説明するフローチャートである。画像処理装置１´の初期設定が行われると（Ｓ５０）、故障診断処理開始タイミング生成部２１´は、制御レジスタ１９から、次の入力フレームに対する第１画像処理部１２の動作設定を取得する（Ｓ５１）。すなわち、次の入力フレームが、第１画像処理部１２での画像処理対象フレームであるか否かを取得する。続いて、故障診断処理開始タイミング生成部２１´は、キャプチャ処理部１１からのフレーム入力開始信号の入力を監視する（Ｓ５２）。故障診断処理開始タイミング生成部２１は、フレーム入力開始信号を受信すると（Ｓ５２、ＹＥＳ）、画像処理開始信号を故障診断開始制御部２２に出力する。

故障診断開始制御部２２は、画像処理開始信号の受信をトリガとして、第１画像処理部故障診断許可ステータス（図示せず）を“０”にセットする（Ｓ５３）。なお、第１画像処理部故障診断許可ステータスは、例えば、故障診断開始制御部２２の内部に構成される。

入力フレームが第１画像処理部１２での画像処理対象フレームである場合、すなわち、第１画像処理部が動作している場合（Ｓ５４、ＮＯ）、第１画像処理部１２は、当該フレームの画像処理を完了すると、信号選択部２３´に画像処理完了信号を通知する。信号選択部２３´は、画像処理完了信号を受信すると（Ｓ５５、ＹＥＳ）、故障診断開始制御部２２に故障診断開始許可信号を通知する。故障診断開始制御部２２は、故障診断開始許可信号を受信すると、第１画像処理部故障診断許可ステータス（図示せず）を“１”にセットする（Ｓ５７）。

一方、入力フレームが第１画像処理部１２での画像処理対象フレームでない場合、すなわち、第１画像処理部１２が動作していない場合（Ｓ５４、ＹＥＳ）、信号選択部２３´は、第２画像処理部１４から画像処理完了信号の入力を監視する。上述のように、第２画像処理部１４は、全ての入力フレームについて画像処理を行なうため、第１画像処理部１２の処理対象外のフレームについても画像処理を行い、画像処理完了信号を出力する。第２画像処理部１４は、当該フレームの画像処理を完了すると、信号選択部２３´と故障診断開始制御部２４とに対し、画像処理完了信号を出力する。信号選択部２３´は、第２画像処理部１４から画像処理完了信号を受信すると（Ｓ５６、ＹＥＳ）、故障診断開始制御部２２に故障診断開始許可信号を通知する。故障診断開始制御部２２は、故障診断開始許可信号を受信すると、第１画像処理部故障診断許可ステータス（図示せず）を“１”にセットする（Ｓ５７）。

このように、本実施の形態においては、入力フレームが第１画像処理部１２での画像処理対象フレームでない場合においても、第２画像処理部１４における当該フレームの画像処理完了信号をトリガとして故障診断開始許可信号を出力する。故障診断開始制御部２２は、故障診断開始許可信号の受信により、第１画像処理部故障診断許可ステータスを“１”にセットすることができる。従って、入力フレームが第１画像処理部１２の画像処理対象フレームであるか否かにかかわらず、故障診断開始制御部２２は、第１画像処理故障診断許可ステータスの更新を適切に行うことができる。

このように、本実施形態の画像処理装置１´は、第１画像処理部１２において画像処理を行なうフレームと画像処理を行なわないフレームとが混在する場合にも、第２画像処理部１４からの画像処理完了信号を用いることにより、定期的に第１画像処理部１２の故障診断を行うことができる。

なお、上記の説明では、第１画像処理部１２、第２画像処理部１４、故障診断処理部２５、２６、システム制御部１８のそれぞれが、ＤＳＰやＣＰＵを備える場合について説明したが、ハードウェア構成はこれに限定される趣旨のものではない。例えば、全ての処理を複数または１個のＣＰＵで処理するようにしてもよい。

また、上記の説明では、故障診断処理部２５、２６がスキャンテストパターンと期待値とを用いて故障診断を行なう場合を一例にあげて説明したが、故障診断の方法や内容を限定する趣旨のものではない。第１画像処理部１２、及び、第２画像処理部１４に何らかの処理を所定の時間内で実行させ、その実行結果に基づいて故障診断を行なうものであれば、他の方法や内容を用いてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、一例として示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像処理装置
１１…キャプチャ処理部
１２…第１画像処理部
１３…データ選択部
１４…第２画像処理部
１５…システムバス
１６…システムメモリ
１７…画像認識処理部
１８…システム制御部
１９…制御レジスタ
２０…故障診断制御部
２１…故障診断処理開始タイミング生成部
２２…故障診断開始制御部
２３…信号選択部
２４…故障診断開始制御部
２５、２６…故障診断処理部
２７…割り込み制御部

Claims (8)

1. 連続して撮像された画像データをフレームごとに画像処理する第１画像処理部と、
   前記第１画像処理部の故障診断をフレームごとに行なう故障診断処理部と、
   前記故障診断処理部に対し、前記故障診断の実行を制御する故障診断制御部と、
   を備えた画像処理装置であって、
   前記第１画像処理部は、指定された処理対象フレームに対応する前記画像データに対して画像処理を行い、
   前記故障診断制御部は、前記第１画像処理部が前記故障診断を実行可能な状態である故障診断許可状態を通知する故障診断許可通知部を有し、前記故障診断許可通知部は、前記処理対象フレームの入力時には、前記第１画像処理部における前記処理対象フレームの画像処理の完了をもって前記故障診断許可状態を通知し、前記処理対象フレーム以外のフレームである処理非対象フレームの入力時には、前記第１画像処理部において前記画像処理が終了状態とみなす旨の通知を取得した時点で前記故障診断許可状態を通知することを特徴とする、画像処理装置。
2. 前記故障診断制御部は、前記第１画像処理部の画像処理動作停止期間中に前記故障診断を完了可能なタイミングである故障診断開始タイミングを生成して通知する故障診断処理開始タイミング生成部と、前記故障診断許可状態の通知と前記故障診断開始タイミングの通知に基づき前記故障診断の実行可否を判定して前記故障診断処理部に指示を出力する故障診断開始制御部とを更に有し、前記故障診断処理開始タイミング生成部は、前記処理非対象フレームが入力された場合において、前記故障診断開始タイミングを生成する以前に、前記第１画像処理部において前記画像処理が終了状態であることを、前記故障診断許可通知部に通知することを特徴とする、請求項１に記載の画像処理装置。
3. 前記故障診断開始制御部は、前記故障診断開始タイミングの通知を取得する以前に前記
   故障診断許可状態の通知を取得した場合に、前記故障診断の実行を前記故障診断制御部に
   指示することを特徴とする、請求項２に記載の画像処理装置。
4. 前記画像データをフレームごとに画像処理する第２画像処理部を更に備え、前記故障診断許可通知部は、前記処理非対象フレームの入力時には、前記第２画像処理部における前記フレームの画像処理の完了をもって前記第１画像処理部において前記画像処理が終了状態である旨の通知を取得したものとすることを特徴とする、請求項１に記載の画像処理装置。
5. 前記故障診断制御部は、前記第１画像処理部の画像処理動作停止期間中に前記故障診断を完了可能なタイミングである故障診断開始タイミングを生成して通知する故障診断処理開始タイミング生成部と、前記故障診断許可状態の通知と前記故障診断開始タイミングの通知に基づき前記故障診断の実行可否を判定して前記故障診断制御部に指示を出力する故障診断開始制御部とを更に有することを特徴とする、請求項４に記載の画像処理装置。
6. 前記故障診断開始制御部は、前記故障診断開始タイミングの通知を取得する以前に前記故障診断許可状態の通知を取得した場合に、前記故障診断の実行を前記故障診断制御部に指示することを特徴とする、請求項５に記載の画像処理装置。
7. 連続して撮像される画像データのうち処理対象に指定されたフレームに対応する前記画像データについて画像処理する第１画像処理部に関し、入力フレームごとに前記第１画像処理部の故障診断を行なって故障を検知する検出方法であって、
   前記フレームの入力の検知により前記第１画像処理部の故障診断許可ステータスを実行不可状態に設定し、
   前記フレームの入力を検知してから所定時間経過後に、前記第１画像処理部の画像処理動作停止期間中に前記故障診断を完了可能なタイミングである故障診断開始タイミング信号を出力し、
   前記故障診断開始タイミング信号が出力される以前に擬似画像処理完了信号を出力し、
   前記検知した入力フレームが前記処理対象に指定されたフレームの場合は、前記第１画像処理部での画像処理が完了したタイミングで前記故障診断許可ステータスを実行可状態に設定し、
   前記検知した入力フレームが前記処理対象に指定されていないフレームの場合は、前記擬似画像処理完了信号を受信したタイミングで前記故障診断許可ステータスを実行可状態に設定し、
   前記故障診断開始タイミング信号を受信した時点において、前記故障診断許可ステータスが実行可状態である場合に故障診断実行信号を出力し、
   前記故障診断実行信号の受信により前記第１画像処理部の故障診断を実行することを特徴とする、検出方法。
8. 連続して撮像される画像データのうち処理対象に指定されたフレームに対応する前記画像データについて画像処理する第１画像処理部に関し、入力フレームごとに前記第１画像処理部の故障診断を行なって故障を検知する検出方法であって、
   前記フレームの入力の検知により前記第１画像処理部の故障診断許可ステータスを実行不可状態に設定し、
   前記フレームの入力を検知してから所定時間経過後に、前記第１画像処理部の画像処理動作停止期間中に前記故障診断を完了可能なタイミングである故障診断開始タイミング信号を出力し、
   前記検知した入力フレームが前記処理対象に指定されたフレームの場合は、前記第１画像処理部での画像処理が完了したタイミングで前記故障診断許可ステータスを実行可状態に設定し、
   前記検知した入力フレームが前記第１画像処理部に処理対象に指定されていないフレームの場合は、第２画像処理部において前記入力フレームの画像処理が完了したタイミングで前記故障診断許可ステータスを実行可状態に設定し、
   前記故障診断開始タイミング信号を受信した時点において、前記故障診断許可ステータスが実行可状態である場合に故障診断実行信号を出力し、
   前記故障診断実行信号の受信により前記第１画像処理部の故障診断を実行することを特徴とする、検出方法。

Images