JP2011188134A - 監視システム、その制御方法及び監視装置 - Google Patents

Abstract

【課題】前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ドライバに対し、その故障を伝えることができる監視システムを提供する。
【解決手段】画像比較演算部４０は、動作検知部５０から入力された出力信号ｐ２を基に、車両が動作していると判別された場合、画像比較演算部４０は、現在の画像データと、少なくとも１つ前の周期で得られた過去の画像データとを比較する。画像比較演算部４０は、この比較の結果を基に、カメラ５又は画像処理部１０に故障が発生しているか否かを判定する。故障が発生している場合、画像比較演算部４０は、故障有りを伝える出力信号ｐ１を画像処理部１０に出力する。画像処理部１０は、この出力信号ｐ１を受けると、故障時における画像処理を行い、故障情報を画像信号ｇ２に乗せて伝達することにより、表示装置２０を単色表示又は警告表示に変更する。
【選択図】図１

Description

本発明は、移動体を監視する監視システム、その制御方法及び監視装置に関する。

移動体を監視する監視システムとして、近年、カメラから得られた車両周辺の画像データ、又はこれらの画像を合成処理した画像データを表示装置に表示する監視システムが普及してきている。図６は、従来の監視システムの構成を示すブロック図である。図６に示す監視システムは、カメラ１５０、画像処理部１００及び表示装置２００を備える。画像処理部１００は、カメラ１５０が撮影した画像データを処理する。表示装置２００は、画像処理部１００から入力された画像を表示する。当該監視システムが搭載された車両のドライバは、表示装置２００に表示される情報を基に、安全を確認しながら前進や後退を行う。

このような監視システムは、例えば、特許文献１に示す構成に適用される。具体的には、視野を広げ、ドライバが表示装置のみを確認しながら後退できるような合成画像を表示する監視システムがある。また、自車の直近周囲の位置関係を分かりやすくするために、周囲の様子をあたかも自車の上方から見下ろしたような画像を表示するだけでなく、自車の近傍の情報を同時にドライバに提示する監視システムもある。

特開２００２−１２５２２４号公報

しかし、上記従来の監視システムによれば、カメラ等から得られた情報が表示装置に的確に伝わらない場合に問題が発生するおそれがある。このような状況を排除することにより、更なる安全性の向上を図り、フェールセーフ機能の強化を図る必要がある。

具体的には、監視システムの故障時に、ドライバにとってはあたかも正しく見える画像が表示装置に表示されている場合の対処を的確に行う必要がある。例えば、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合のフェールセーフ機能が必要である。

明らかに故障と分かる画像が表示装置に表示されている場合、ドライバは、監視システムの故障に気付く。このとき、ドライバは、バックミラー等の補助機能を使用して車両を安全な場所に一時退避させることで、事故を回避可能である。しかし、本来出力されるべき画像の前の画像が表示装置に表示されたままの状態でドライバが車両を運転し続けると、接触事故等が発生する可能性が高まる。

本発明の目的は、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに対して監視システムの故障を伝えることができる監視システム、その制御方法及び監視装置を提供することである。

本発明は、移動体を監視する監視システムであって、前記移動体を撮影して画像信号を出力するカメラと、前記カメラから入力された画像信号を処理して画像データを生成する
画像処理部と、前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、前記移動体が動作していることを検知する動作検知部と、前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有する監視システムを提供する。
これにより、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに注意を促すことができ、監視システムの故障を伝えることができる。したがって、移動体として車両に適用された場合、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して安全な場所に車を一時退避させることで、事故を回避できる。これにより、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

また、本発明は、移動体を監視する監視システムであって、前記移動体を撮影して画像信号を出力するカメラと、前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、前記移動体が動作していることを検知する動作検知部と、前記カメラから入力された画像信号が所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記カメラから入力された現在の画像信号と、当該画像信号の入力より少なくとも１つ前の周期で入力された過去の画像信号とを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラが故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有する監視システムを提供する。
これにより、監視システムが故障している場合、ユーザに注意を促すことができるとともに、故障箇所がカメラであることを特定できる。

また、本発明は、移動体を監視する監視システムであって、前記移動体を撮影して画像信号を出力するカメラと、前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、前記移動体が動作していることを検知する動作検知部と、前記カメラからの画像信号、及び前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された画像データと、前記カメラから入力された画像信号とを比較する画像比較部とを備え、前記画像比較部は、前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部とを有する監視システムを提供する。
これにより、監視システムが故障している場合、ユーザに注意を促すことができ、しかも、画像データを蓄積することなく、画像メモリを省くことができる。

上記監視システムでは、前記画像比較部は、前記画像処理部から入力された画像データを前記所定の周期で蓄積する蓄積部を有し、前記蓄積部によって蓄積された前記過去の画像データを前記比較に用いる。
これにより、複数回の周期にわたる画像データの蓄積が可能であり、これら蓄積された画像データを比較に使用することで、故障か一時的な障害であるかの判定が容易になる。

上記監視システムでは、前記画像比較部は、前記カメラから入力された画像信号を蓄積
する蓄積部を有し、前記蓄積部によって蓄積された前記過去の画像信号を前記比較に用いる。
これにより、上記と同様、複数回の周期にわたって蓄積された画像信号を比較に使用することで、故障か一時的な障害であるかの判定が容易になる。

上記監視システムでは、前記画像処理部は、前記表示装置に前記画像データを出力する機能を有し、前記画像比較部は、前記判定部によって故障していると判定された場合、前記機能が正常である前記画像処理部を介して前記表示装置に前記故障情報を伝達する。
これにより、画像処理部を介して故障情報を伝達することで、表示画面に警告情報を重畳させたり、警告時の表示画面の色や輝度などの表示態様を変化させることができ、ユーザに注意を喚起することが容易となる。

上記監視システムでは、前記画像比較部は、前記判定部によって故障していると判定された場合、前記画像処理部を介さずに、前記表示装置に前記故障情報を直接伝達する。
これにより、画像処理部を介することなく故障情報を表示装置に出力でき、画像処理部の機能を全て信頼できなくても故障の有無を知らせることができる。

上記監視システムでは、前記表示装置は、前記伝達部によって伝達された故障情報に基づき、単色表示又は警告表示を行う。
これにより、ユーザは容易に故障に気付くことができる。

上記監視システムでは、前記移動体が車両である場合、前記動作検知部は、タイヤの回転信号、速度計の速度信号又は動作信号を使用し、前記車両が動作していることを検知する。
これにより、車両が動いている時に監視システムの故障をドライバに伝えることができ、事故を回避できる。

上記監視システムでは、前記画像比較部に対し、前記所定の周期に相当する信号を発生する信号発生部を有し、前記信号発生部は、前記周期を可変自在なハードウェア、又はハードウェアとソフトウェアの組み合わせで構成される。
これにより、移動体の動きに合わせた周期で、監視システムの故障の検知が可能となる。

上記監視システムは、前記表示装置とは別に、警告を発する警告発生部を備え、前記警告発生部は、前記伝達部によって故障が伝達された場合、前記警告を発する。
これにより、故障が伝達された場合、画像処理部において画像処理を行って表示装置に出力する部分に故障がある場合でも、確実にドライバに注意を促すことができる。

本発明は、移動体を撮影して画像信号を出力するカメラ、及び画像データに応じた画像を表示する表示装置に接続され、移動体を監視する監視装置であって、前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記移動体が動作していることを検知する動作検知部と、前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有する監視装置を提供する。

また、本発明は、移動体を撮影して画像信号を出力するカメラ、及び画像データに応じ
た画像を表示する表示装置に接続され、移動体を監視する監視装置であって、前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記移動体が動作していることを検知する動作検知部と、前記カメラから入力された画像信号が所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記カメラから入力された現在の画像信号と、当該画像信号の入力より少なくとも１つ前の周期で入力された過去の画像信号とを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラが故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有する監視装置を提供する。

また、本発明は、移動体を撮影して画像信号を出力するカメラ、及び画像データに応じた画像を表示する表示装置に接続され、移動体を監視する監視装置であって、前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記移動体が動作していることを検知する動作検知部と、前記カメラから入力された画像信号、及び前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された画像データと、前記カメラから入力された画像信号とを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有する監視装置を提供する。

本発明は、移動体を監視する監視システムの制御方法であって、前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、前記移動体が動作していることを検知する動作検知ステップと、前記画像処理ステップで生成された画像データが所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記画像処理ステップで生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較ステップと、前記比較の結果、前記カメラ又は画像処理部が故障しているか否かを判定する判定ステップと、前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有する監視システムの制御方法を提供する。

また、本発明は、移動体を監視する監視システムの制御方法であって、前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、前記移動体が動作していることを検知する動作検知ステップと、前記カメラから入力された画像信号が所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記カメラから入力された現在の画像信号と、当該画像信号の入力より少なくとも１つ前の周期で入力された過去の画像信号とを比較する画像比較ステップと、前記比較の結果、前記カメラが故障しているか否かを判定する判定ステップと、前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有する監視システムの制御方法を提供する。

また、本発明は、移動体を監視する監視システムの制御方法であって、前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、前記移動体が動作していることを検知する動作検知ステップと、前記カメラからの画像信号、及び前記画像処理ステップで生成された画像データが所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時
、前記画像処理ステップで生成された画像データと、前記カメラから入力された画像信号とを比較する画像比較ステップと、前記比較の結果、前記カメラ又は画像処理部が故障しているか否かを判定する判定ステップと、前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有する監視システムの制御方法を提供する。

本発明は、外部のカメラからの画像信号を入力とし、この画像信号から画像を生成し、外部の表示装置に表示信号を出力する画像処理部と、移動体が動作しているかを検知する動作検知部と、前記動作検知部で検知した結果の信号と、前記外部のカメラからの画像信号と、前記画像処理部からの表示信号とを入力とする画像比較演算部と、を備え、前記画像比較演算部は、前記動作検知部が前記移動体が動作している状態を確認した時、予め定められた周期で、現在の画像データと、少なくとも一つ前の周期で得られた過去の画像データとを比較し、前記外部のカメラ又は前記画像処理部が故障していないかを確認し、故障時には、前記外部の表示装置に、前記画像処理部を介して、故障を通知する監視システムを提供する。

本発明は、外部のカメラからの画像信号を入力とし、この画像信号から画像を生成し、外部の表示装置に表示信号を出力する画像処理部と、移動体が動作しているかを検知する動作検知部と、前記動作検知部で検知した結果の信号と、前記外部のカメラからの画像信号と、前記画像処理部からの表示信号とを入力とする画像比較演算部と、を備え、前記画像比較演算部は、前記動作検知部で前記移動体が動作している状態を確認した時、予め定められた周期で、現在の画像データと、少なくとも一つ前の周期で得られた過去の画像データとを比較し、前記外部のカメラ又は前記画像処理部が故障していないかを確認し、故障時には、前記外部の表示装置に、前記画像処理部を介さず、ダイレクトに、故障を通知する監視システムを提供する。

上記監視システムは、外部のカメラと、外部の表示装置とを組み込む。

本発明に係る監視システム、その制御方法及び監視装置によれば、本来入力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに対して監視システムの故障を伝えることができる。したがって、移動体として車両に適用された場合、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して安全な場所に車を一時退避させることで、事故を回避できる。これにより、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

第１の実施形態の監視システムの構成を示すブロック図 画像比較演算部４０によって比較が行われる周期をソフトウェアで変更する際の構成を示すブロック図 監視システムの動作手順を示すフローチャート 他の警告を報知する装置が付加された監視システムの構成を示すブロック図 第２の実施形態の監視システムの構成を示すブロック図 従来の監視システムの構成を示すブロック図

本発明に係る監視システム、その制御方法及び監視装置の実施の形態について、図面を参照して説明する。本実施形態の監視システムは、車両に設置したカメラで自車の直近周囲を監視する監視システムに適用される。

（第１の実施形態）
図１は、第１の実施形態の監視システムの構成を示すブロック図である。図１に示すように、第１の実施形態の監視システムは、カメラ５と、画像処理部１０と、表示装置２０と、周期信号発生器３０と、画像比較演算部４０と、動作検知部５０とを備える。また、当該監視システムはＣＰＵ及びメモリを備え、ＣＰＵがメモリに格納された制御プログラムを実行することにより、ハードウェアと共に上記各部の機能を実現する。なお、全ての機能をハードウェアで実現することも可能である。

カメラ５は、少なくとも１台設けられ、車両を含むその周囲を撮影する。画像処理部１０は、カメラ５から入力された複数の画像信号ｇ１を合成することにより合成画像を生成する。表示装置２０は、画像処理部１０から入力された画像信号ｇ２（画像データ）に応じた画像を表示する。動作検知部５０は、車両が動作しているか否かを検知する。

画像比較演算部４０は、動作検知部５０による検知結果を伝える出力信号ｐ２、カメラ５からの画像信号ｇ１、及び画像処理部１０からの画像信号ｇ２（画像データ）を入力する。また、画像比較演算部４０には、予め定められた周期で更新される、少なくとも２枚分の画像データを蓄積する蓄積部４０ａを有する。蓄積部４０ａには、画像処理部１０から入力された画像データが蓄積される。

また、画像比較演算部４０は、動作検知部５０によって車両の動作が確認された時、予め定められた周期で、現在の画像データと少なくとも１つ前の周期で得られた過去の画像データとを比較し、カメラ５又は画像処理部１０が故障していないか否かを常に確認する。

なお、画像比較演算部４０によって比較される現在の画像データと過去の画像データの組み合わせとしては、前述したように、画像処理部１０から入力された現在の画像信号ｇ２（画像データ）と、蓄積部４０ａに蓄積されている過去の画像信号ｇ２（画像データ）の組み合わせが挙げられる。この組み合わせの場合、画像マッチングを行うことにより、画像データ同士の比較が容易である。また、蓄積部４０ａは、複数回の周期にわたる画像データの蓄積が可能である。複数回の周期にわたって蓄積された複数枚の画像データを用いた画像比較演算部４０による比較によって、故障か一時的な障害であるかの判定が容易になる。

また、画像処理部１０から入力された画像データの代わりに、カメラ５から入力された現在の画像信号ｇ１と、蓄積部４０ａに蓄積されている１つ以上前の周期でカメラ５が撮像した過去の画像信号ｇ１との組み合わせであっても良い。この組み合わせの場合、故障が検知された場合、その故障はカメラ５によるものであるとして、故障箇所が特定される。また、複数回の周期にわたってカメラ５からの画像信号ｇ１を蓄積することで、上記と同様、故障か一時的な障害であるかの判定が容易になる。

なお、現在の画像データと過去の画像データの組み合わせではなく、カメラ５から入力された現在の画像信号ｇ１と、画像処理部１０から入力された現在の画像信号ｇ２（画像データ）の組み合わせであっても良い。この組み合わせの場合、画像マッチングにより、画像処理部１０から入力された画像データに、カメラ５から入力された画像信号ｇ１が含まれているか否かを判断し、含まれていない場合には故障有りと判定可能である。なお、含まれている場合であっても、車両が動いているにもかかわらず、カメラ５から入力された画像信号ｇ１に変化が無い場合にはカメラ５が故障していると判定可能である。このように、現在の画像データ同士を組み合わせる場合、画像データを蓄積する蓄積部４０ａは不要となる。

このように、画像信号ｇ１及び画像信号ｇ２の少なくとも一方をモニタすることにより、カメラ５又は画像処理部１０の故障の有無が検知される。なお、上記比較の組み合わせは、１つだけ使用されても良いし、切り替えて使用されても良い。

前述したように、この故障の検知では、画像比較演算部４０で画像マッチングが行われ、比較される２枚の画像データ（現在の画像データと過去の画像データ）の類似性が判断される。すなわち、２枚の画像の相関が強い場合、２枚の画像はほぼ同じであると判断され、車両の周囲の状況が変わっても変化しないため、故障有りと判定される。一方、２枚の画像の相関が弱い場合、２枚の画像は異なると判断され、故障無しと判定される。また、故障時には、画像比較演算部４０は、故障有りを伝える出力信号ｐ１を画像処理部１０に出力する。

画像処理部１０は、出力信号ｐ１が入力されると、カメラ５又は画像処理部１０の故障時における画像処理を行う。画像処理部１０が画像処理情報（故障情報）を示す画像信号ｇ２を出力することにより、画像処理部１０は、表示装置２０の表示を単色表示又は警告表示に変更する。なお、画像処理部１０が故障時の画像処理を行い、故障情報を表示装置２０に伝える部分の機能については正常であって、故障が無いことが前提である。

また、画像比較演算部４０が比較を行う際、予め定められた周期は、ブレーキをかけようとする人の反応時間と車両が止まるまでの機械的な時間とを足し合わせた反応時間よりきわめて短い周期に設定される。また、故障か一時的な障害かについては、前述したように、ある一定時間の動作確認を複数回の周期にわたって確認することで、判定が可能となる。

動作検知部５０には、異なる検知方式により車両の動作をそれぞれ検知する複数の回路のいずれか１つを選択する選択回路６０が設けられている。選択回路６０には、異なる検知方式により車両の動作を検知する回路として、タイヤの回転信号ｋ１を伝える回転確認回路７０、速度計の速度信号ｋ２を伝える速度確認回路８０、及びその他の動作信号ｋ３を伝える動作確認回路９０が接続されている。動作検知部５０は、選択回路６０によって選択された回路から入力された信号を基に、車両が動作しているか否かを示す出力信号ｐ２を画像比較演算部４０に繰り返し供給する。

また、画像比較演算部４０には、所定の周期に相当する信号を発生する周期信号発生器３０が接続されている。画像比較演算部４０が比較を行う際の周期は、予め定められた周期として固定の値でなく、周期信号発生器３０からの出力信号ｐ３に従って、適宜、最良の周期に変更可能である。

本実施形態では、周期信号発生器３０には、少なくとも１本以上（Ｎ本）の周期選択端子３１が設けられている。この周期選択端子３１への入力信号を、例えばＨ／Ｌレベルに切り替えることで、ハードウェアのみで周期を段階的に変更できる。すなわち、周期選択端子３１が１本である場合、２段階の周期を周期信号発生器３０で選択できる。また、Ｎ本(整数)である場合、２^Ｎ段階の周期を周期信号発生器３０で選択できる。周期信号発生器３０で選択された出力信号ｐ３が供給された画像比較演算部４０は、選択された出力信号ｐ３に対応する周期で現在の画像データと、少なくとも１つ前の周期で得られた過去の画像データとを比較する。

なお、周期選択端子３１にＨ／Ｌレベルの信号を入力する代わりに、アナログボリュームで可変自在なレベルの信号を入力しても良い。この場合、周期信号発生器３０と１本の周期選択端子３１の間に、アナログデジタル変換回路（ＡＤＣ）を設けることで、連続的
な周期の変更が可能である。

また、画像比較演算部４０が比較を行う際の周期をソフトウェアで変更しても良い。図２は、画像比較演算部４０によって比較が行われる周期をソフトウェアで変更する際の構成を示すブロック図である。周期信号発生器３０には、周期選択レジスタ３５が接続されている。周期選択レジスタ３５は、ソフトウェアによって設定された値に応じて、周期信号発生器３０に周期を選択するための出力信号ｐ４を出力する。

周期選択レジスタ３５によって選択される周期の幅（選択幅）は、周期選択レジスタ３５から入力された出力信号ｐ４の本数に依存する。出力信号ｐ４の本数がＭ本である場合、周期信号発生器３０は、２^Ｍ段階の周期を選択できる。また、周期信号発生器３０によって選択された出力信号ｐ３を画像比較演算部４０に供給することで、画像比較演算部４０は、選択された出力信号ｐ３に対応する周期で、前述したように、現在の画像データと少なくとも１つ前の周期で得られた過去の画像データとを比較する。

上記構成の監視システムの動作について説明する。図３は、監視システムの動作手順を示すフローチャートである。この動作は、監視システムに搭載されたマイクコンピュータ内のＣＰＵがメモリに格納された制御プログラムを実行することにより機能として実現され、画像比較演算部４０によって予め定められた周期で繰り返し行われる。

まず、画像比較演算部４０は、動作検知部５０から入力された出力信号ｐ２に基づいて、車両が動作しているか否かを判別する（ステップＳ１）。車両が動作していないと判別された場合、画像比較演算部４０は、そのまま本処理を終了する。

一方、車両が動作していると判別された場合、画像比較演算部４０は、現在の画像データと、少なくとも１つ前の周期で得られた過去の画像データとを比較する（ステップＳ２）。なお、比較される画像データの組み合わせは、前述したように、複数通りの中から適宜選択可能である。

画像比較演算部４０は、画像データの比較結果に基づいて、カメラ５又は画像処理部１０に故障が発生しているか否かを判定する（ステップＳ３）。故障が発生していない場合、画像比較演算部４０はそのまま本処理を終了する。

一方、故障が発生している場合、画像比較演算部４０は、故障有りを伝える出力信号ｐ１を画像処理部１０に出力する（ステップＳ４）。画像処理部１０は、出力信号ｐ１が入力されると、カメラ５又は画像処理部１０の故障時における画像処理を行い、その画像処理情報（故障情報）を示す画像信号ｇ２を出力することにより、表示装置２０を単色表示又は警告表示に変更する。この後、画像比較演算部４０は本処理を終了する。

第１の実施形態の監視システムによれば、本来出力されるべき画像の前の画像が表示装置２０に表示されたまま、監視システムが何らかの故障で止まった場合、ドライバに対して監視システムの故障を伝えることができる。したがって、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して車両を安全な場所に一時退避させることで、事故を回避できる。その結果、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

また、画像処理部１０を介して故障情報を伝達することで、表示画面に警告情報を重畳させたり、警告時の表示画面の色や輝度などの表示態様を変化させることができ、ドライバに注意を喚起することが容易となる。また、車両が動いている時に監視システムの故障をドライバに伝えることができ、事故を回避できる。また、周期を可変することで、車両
などの移動体の動きに合わせた周期で、監視システムの故障の検知が可能となる。

なお、本実施形態では、故障時の警告を表示装置２０の表示画面で報知していたが、さらに、他の方法を併用して報知することも可能である。

図４は、他の警告を報知する装置が付加された監視システムの構成を示すブロック図である。図４に示す監視システムでは、警告発生手段として、画像比較演算部４０からの出力信号ｐ１が入力される警告表示器４２及び警告音発生器４５が設けられている。

画像比較演算部４０によって、故障有りを伝える出力信号ｐ１が入力されると、表示装置２０による警告表示とは別に、警告表示器４２は警告表示を行う。さらに、警告音発生器４５は警告音を発する。なお、警告表示器４２及び警告音発生器４５のいずれか一方だけが設けられ、動作しても良い。

これにより、ドライバに確実に故障があることの注意を促すことができる。特に、警告表示器４２や警告音発生器４５を設けることで、画像処理部１０において、画像処理を行い表示装置２０に出力する部分の機能に故障がある場合でも、ドライバに注意を確実に促すことができる。

（第２の実施形態）
図５は、第２の実施形態の監視システムの構成を示すブロック図である。第１の実施形態と同一の構成要素については同一の符号を付すことによりその説明を省略する。以下、第１の実施形態と異なる構成及び動作について説明する。

第２の実施形態の監視システムには、画像処理部１０から出力された画像信号ｇ２、及び故障がある場合に画像比較演算部４０から出力された出力信号ｐ１が入力される選択回路５５が設けられている。また、画像比較演算部４０は、故障の有無を伝える出力信号ｐ１を、画像処理部１０ではなく、選択回路５５に出力する。

選択回路５５は、画像処理部１０から入力された画像信号ｇ２、又は故障がある場合に画像比較演算部４０から入力された出力信号ｐ１に対応する故障情報を有する画像信号を、画像信号ｇ４として表示装置２０に出力する。なお、選択回路５５は、画像信号ｇ４として、画像信号ｇ２、又は出力信号ｐ１に対応する故障情報を選択する代わりに、乗算回路として、画像信号ｇ２に故障情報を重ね合わせ、画像信号ｇ４として出力しても良い。

このように、画像比較演算部４０から入力された出力信号ｐ１を選択回路５５に与えることで、選択回路５５は、出力信号ｐ１に対応する画像信号を優先させる。したがって、故障時、選択回路５５から入力された画像信号ｇ４には、故障情報が含まれる。表示装置２０は、故障情報を含む画像信号ｇ４が入力されると単色表示又は警告表示を行う。

第２の実施形態の監視システムによれば、画像処理部１０の一部に故障があって、全ての機能が信頼できない場合でも、画像処理部１０を介さず直接、故障情報を表示装置２０に出力できる。したがって、安全性の高いシステムの構築が可能となる。このように、画像処理部１０を介することなく故障情報を表示装置に出力することで、画像処理部１０の機能を全て信頼できない場合でも、故障の有無を知らせることができる。

なお、第１の実施形態と同様に、画像比較演算部４０に周期信号発生器３０を接続しても良い。画像比較演算部４０が比較を行う際の周期は、予め定められた周期として固定の値でなく、周期信号発生器３０からの出力信号ｐ３に従って、適宜、最良の周期に変更しても良い。また、その際、周期信号発生器３０に周期選択端子３１又は周期選択レジスタ
３５を接続して周期を変更しても良い。

また、第１の実施形態と同様に、表示装置２０による警告表示とは別に、警告表示器４２による警告表示又は警告音発生器４５による警告音を発しても良い。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、又は本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、監視システムは車両に適用された場合を示したが、本発明は車両以外の移動体にも同様に適用可能である。車両以外の移動体には、可動式監視カメラ等も含まれる。

また、上記実施形態では、監視システムは、単に全体として構成されるものとして説明したが、外部のカメラと、外部の表示装置と、その他の各部を内蔵する監視装置とがそれぞれ別体に構成されるものであっても良い。

本発明に係る監視システムは、本来出力されるべき画像の前の画像が表示装置に表示された際にユーザに故障を伝える監視システム等として有用である。

５ カメラ
１０ 画像処理部
２０ 表示装置
３０ 周期信号発生器
３１ 周期選択端子
３５ 周期選択レジスタ
４０ 画像比較演算部
４２ 警告表示器
４５ 警告音発生器
５０ 動作検知部
６０ 選択回路
７０ 回転確認回路
８０ 速度確認回路
９０ 動作確認回路

Claims (20)

1. 移動体を監視する監視システムであって、
   前記移動体を撮影して画像信号を出力するカメラと、
   前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
   前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、
   前記移動体が動作していることを検知する動作検知部と、
   前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較部と、を備え、
   前記画像比較部は、
   前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、
   前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視システム。
2. 移動体を監視する監視システムであって、
   前記移動体を撮影して画像信号を出力するカメラと、
   前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
   前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、
   前記移動体が動作していることを検知する動作検知部と、
   前記カメラから入力された画像信号が所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記カメラから入力された現在の画像信号と、当該画像信号の入力より少なくとも１つ前の周期で入力された過去の画像信号とを比較する画像比較部と、を備え、
   前記画像比較部は、
   前記比較の結果、前記カメラが故障しているか否かを判定する判定部と、
   前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視システム。
3. 移動体を監視する監視システムであって、
   前記移動体を撮影して画像信号を出力するカメラと、
   前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
   前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、
   前記移動体が動作していることを検知する動作検知部と、
   前記カメラからの画像信号、及び前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された画像データと、前記カメラから入力された画像信号とを比較する画像比較部と、を備え、
   前記画像比較部は、
   前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、
   前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視システム。
4. 前記画像比較部は、
   前記画像処理部から入力された画像データを前記所定の周期で蓄積する蓄積部を有し、
   前記蓄積部によって蓄積された前記過去の画像データを前記比較に用いることを特徴とする請求項１記載の監視システム。
5. 前記画像比較部は、
   前記カメラから入力された画像信号を蓄積する蓄積部を有し、
   前記蓄積部によって蓄積された前記過去の画像信号を前記比較に用いることを特徴とする請求項２記載の監視システム。
6. 前記画像処理部は、前記表示装置に前記画像データを出力する機能を有し、
   前記画像比較部は、前記判定部によって故障していると判定された場合、前記機能が正常である前記画像処理部を介して前記表示装置に前記故障情報を伝達することを特徴とする請求項１又は３に記載の監視システム。
7. 前記画像比較部は、前記判定部によって故障していると判定された場合、前記画像処理部を介さずに、前記表示装置に前記故障情報を直接伝達することを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
8. 前記表示装置は、前記伝達部によって伝達された故障情報に基づき、単色表示又は警告表示を行うことを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
9. 前記移動体が車両である場合、前記動作検知部は、タイヤの回転信号、速度計の速度信号又は動作信号を使用し、前記車両が動作していることを検知することを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
10. 前記画像比較部に対し、前記所定の周期に相当する信号を発生する信号発生部を有し、
    前記信号発生部は、前記周期を可変自在なハードウェア、又はハードウェアとソフトウェアの組み合わせで構成されることを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
11. 前記表示装置とは別に、警告を発する警告発生部を備え、
    前記警告発生部は、前記伝達部によって故障が伝達された場合、前記警告を発することを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
12. 移動体を撮影して画像信号を出力するカメラ、及び画像データに応じた画像を表示する表示装置に接続され、移動体を監視する監視装置であって、
    前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
    前記移動体が動作していることを検知する動作検知部と、
    前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較部と、を備え、
    前記画像比較部は、
    前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、
    前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視装置。
13. 移動体を撮影して画像信号を出力するカメラ、及び画像データに応じた画像を表示する表示装置に接続され、移動体を監視する監視装置であって、
    前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
    前記移動体が動作していることを検知する動作検知部と、
    前記カメラから入力された画像信号が所定の周期で入力され、前記動作検知部によって
    前記移動体が動作していることが検知された時、前記カメラから入力された現在の画像信号と、当該画像信号の入力より少なくとも１つ前の周期で入力された過去の画像信号とを比較する画像比較部と、を備え、
    前記画像比較部は、
    前記比較の結果、前記カメラが故障しているか否かを判定する判定部と、
    前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視装置。
14. 移動体を撮影して画像信号を出力するカメラ、及び画像データに応じた画像を表示する表示装置に接続され、移動体を監視する監視装置であって、
    前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
    前記移動体が動作していることを検知する動作検知部と、
    前記カメラから入力された画像信号、及び前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された画像データと、前記カメラから入力された画像信号とを比較する画像比較部と、を備え、
    前記画像比較部は、
    前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、
    前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視装置。
15. 移動体を監視する監視システムの制御方法であって、
    前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、
    前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、
    前記移動体が動作していることを検知する動作検知ステップと、
    前記画像処理ステップで生成された画像データが所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記画像処理ステップで生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較ステップと、
    前記比較の結果、前記カメラ又は画像処理部が故障しているか否かを判定する判定ステップと、
    前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有することを特徴とする監視システムの制御方法。
16. 移動体を監視する監視システムの制御方法であって、
    前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、
    前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、
    前記移動体が動作していることを検知する動作検知ステップと、
    前記カメラから入力された画像信号が所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記カメラから入力された現在の画像信号と、当該画像信号の入力より少なくとも１つ前の周期で入力された過去の画像信号とを比較する画像比較ステップと、
    前記比較の結果、前記カメラが故障しているか否かを判定する判定ステップと、
    前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有することを特徴とする監視システムの制御方法。
17. 移動体を監視する監視システムの制御方法であって、
    前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、
    前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、
    前記移動体が動作していることを検知する動作検知ステップと、
    前記カメラからの画像信号、及び前記画像処理ステップで生成された画像データが所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記画像処理ステップで生成された画像データと、前記カメラから入力された画像信号とを比較する画像比較ステップと、
    前記比較の結果、前記カメラ又は画像処理部が故障しているか否かを判定する判定ステップと、
    前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有することを特徴とする監視システムの制御方法。
18. 外部のカメラからの画像信号を入力とし、この画像信号から画像を生成し、外部の表示装置に表示信号を出力する画像処理部と、
    移動体が動作しているかを検知する動作検知部と、
    前記動作検知部で検知した結果の信号と、前記外部のカメラからの画像信号と、前記画像処理部からの表示信号とを入力とする画像比較演算部と、を備え、
    前記画像比較演算部は、
    前記動作検知部が前記移動体が動作している状態を確認した時、予め定められた周期で、現在の画像データと、少なくとも一つ前の周期で得られた過去の画像データとを比較し、前記外部のカメラ又は前記画像処理部が故障していないかを確認し、故障時には、前記外部の表示装置に、前記画像処理部を介して、故障を通知することを特徴とする監視システム。
19. 外部のカメラからの画像信号を入力とし、この画像信号から画像を生成し、外部の表示装置に表示信号を出力する画像処理部と、
    移動体が動作しているかを検知する動作検知部と、
    前記動作検知部で検知した結果の信号と、前記外部のカメラからの画像信号と、前記画像処理部からの表示信号とを入力とする画像比較演算部と、を備え、
    前記画像比較演算部は、
    前記動作検知部で前記移動体が動作している状態を確認した時、予め定められた周期で、現在の画像データと、少なくとも一つ前の周期で得られた過去の画像データとを比較し、前記外部のカメラ又は前記画像処理部が故障していないかを確認し、故障時には、前記外部の表示装置に、前記画像処理部を介さず、ダイレクトに、故障を通知することを特徴とする監視システム。
20. 請求項１８又は１９に記載の監視システムであって、
    外部のカメラと、外部の表示装置とを組み込んだことを特徴とする監視システム。

Images