JP2008283431A - 画像処理装置 - Google Patents

Abstract

【課題】画像メモリが更新されない異常動作を検出することができ、カメラで撮影している映像とは異なる映像を利用者あるいは映像信号処理装置に伝えることを防ぐことのできる画像処理装置を提供すること。
【解決手段】判定手段６は、画像メモリ２に得られた最新の画像信号からフレーム情報を取得する現フレーム情報取得手段４と、その１フレーム前のフレーム情報を格納する前フレーム情報格納手段５とのフレーム情報を比較することにより、画像メモリ２の更新異常を検知し、異常を検知した場合、画像処理手段３は、車載カメラ１から得られた画像信号ではなく、警告画像生成手段７によって生成した画像信号を表示器８または外部の映像信号処理装置に出力する。
【選択図】図１

Description

本発明は、カメラ（例えば、車載カメラ）で撮影した映像信号を画像メモリに格納し、得られた信号情報を処理する画像処理装置に関し、画像メモリの信号情報を監視することにより、画像メモリの不具合によって画像信号が更新されない（以下、フリーズ状態）異常動作を検出する画像処理装置に関する。

近年、車載カメラにより車両の周囲を撮影し、その映像を表示器に表示することで運転者の補助をするシステムや、車両の運転状況を記録するカメラシステム、あるいは、信号処理によって危険を警告するカメラシステム、例えば、道路の白線を監視しておき、車がレーンを外れそうになったときに自動で警告または運転補助するシステムなど、が普及し始めている。

こうしたカメラシステムでは、カメラで撮影し、画像処理装置に取り込んだ画像が正しいかどうかを判断する必要がある。

図５は従来の車載用画像処理装置を示す図である。図５に示すように、この車載用画像処理装置は、ビデオカメラ１０１からの映像信号を格納する画像メモリ１０２と、画像メモリ１０２を介して得られた画像信号を処理して画像表示装置１０８に表示する画像処理手段１０３と、車速センサ１０４とランプスイッチ（ＳＷ）１０５からの入力信号を受ける入力処理手段１０６と、画像信号の異常を判断する判定手段１０７で構成されており、画像メモリ１０２を介して得られた画像信号の信号レベルが、ある設定値以下であり、かつ、車速センサ１０４とランプＳＷ１０５からの入力信号より、ヘッドランプがＯＦＦで車両が走行中であることを認識した場合に、ビデオカメラからの画像信号に異常があったと判断し、警報手段１０９により警告表示を出すというように動作する（例えば、特許文献１参照）。
特開２００１−２０４０１２号公報

このように、従来の車載用画像処理装置においては、ビデオカメラの映像が正常であるか否かの判定をしている。

したがって、ビデオカメラ１０１とコントローラー間の接続が正常であり、また、判定手段１０７で正常動作と判定される基準以上の画像信号が画像メモリ１０２に得られた時に、画像メモリ１０２の不具合によってフリーズ状態になった場合、画像メモリ１０２から得られる画像信号の信号レベルは常に判定基準以上と判断され、異常動作が検知出来ない。

また、映像信号が更新されない状態になるため、表示器に映し出される映像は同じ画像を表示し続ける。このため、車両の周囲あるいは車室内の情報を車載カメラで撮像した映像が更新されず、誤情報を出力することで運転手、あるいは外部の映像信号処理装置が誤認識してしまうという問題があった。

本発明は、前記従来の問題を解決するためになされたものであり、画像メモリが更新されない異常動作を検出することができ、カメラで撮影している映像とは異なる映像を利用者あるいは外部の映像信号処理装置に伝えることを防ぐことのできる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、カメラからの映像を格納する画像メモリと、前記画像メモリに得られた画像信号を処理する画像処理手段と、前記画像メモリの更新異常を検知する判定手段と、前記判定手段が前記画像メモリの更新異常を検知したとき警告を行う警告手段とを備えた構成を有している。

この構成により、画像メモリに得られた画像信号が更新されているか否かを検知することができ、画像メモリが更新されない異常動作のときには警告動作を行うことで、カメラで撮影している状況の変化とは異なる映像を利用者、あるいは、外部の映像信号処理装置に伝えることを防ぐことができる。

ここで、前記判定手段は、カメラからの映像の最新のフレーム情報を格納する現フレーム情報取得手段と、そのひとつ前のフレーム情報を格納する前フレーム情報格納手段とを有し、そのフレーム情報を比較することで、画像メモリの更新を監視する構成とした。

この構成により、２フレームの画像の比較により画像メモリが更新されているかが検知され、画像メモリが更新されない異常動作を検出することができる。

さらに、前記前フレーム情報格納手段は、前記最新のフレーム情報より２フレーム以上前のフレーム情報も格納し、前記判定手段は、そのフレーム情報を比較することで、画像メモリの更新を監視する構成とした。

この構成により、３フレーム以上の画像の比較により画像メモリが更新されているかが検知され、より確実に画像メモリが更新されない異常動作を検出することができる。

ここで、前記フレーム情報として、フレームごとに画像メモリに得られた各画素の輝度レベルを数値化して比較する構成とした。

この構成により、各フレームの各画素の輝度レベルを数値化してフレームが比較され、画像メモリが更新されているかを検知することができる。

また、前記フレーム情報として、フレームごとに画像メモリに得られた各画素の輝度レベル及び色情報を数値化して比較する構成とした。

この構成により、各フレームの各画素の輝度レベル及び色情報を数値化してフレームが比較され、より精度良く画像メモリが更新されているかを検知することができる。

また、前記フレーム情報として、フレームごとに画像メモリに得られた全画素の輝度レベルを数値化した平均値を比較する構成とした。

この構成により、各フレームの全画素の輝度レベルを数値化した平均値でフレームが比較され、処理を削減することができる。

また、前記フレーム情報として、フレームごとに画像メモリに得られた各画素の輝度レベルを数値化し、そのチェックサムを求めて比較する構成とした。

この構成により、各フレームの各画素の輝度レベルを数値化し、そのチェックサムによりフレームが比較され、処理を削減することができる。

また、前記判定手段は、比較対象となる各画素の輝度レベルに閾値を設け、ある閾値以内の映像信号を得られた場合のみフレーム情報を比較する構成とした。

この構成により、映像信号レベルが黒レベルや白レベルの場合は、画像メモリの更新異常の検出を行わず、黒レベルや白レベルの変化のない画像での誤検出を避けることができる。

また、前記判定手段は、搭載されている車両の車速センサーを備え、前記車両が走行中と判定された場合に、前フレームと現フレームのフレーム情報を比較する構成とした。

この構成により、車両が走行中のときのみ画像メモリの更新異常の検出が行われ、停車中の変化のない画像での誤検出を避けることができる。

また、前記判定手段は、前記カメラからの映像のブランキング期間に、前記画像メモリに特定のデータを書き込み、さらにその書き込んだデータを読み込む機能を有し、その書込データと読込データを比較することで、画像メモリの更新を監視する構成とした。

この構成により、画像メモリへの書込データと読込データを比較することで、画像メモリの更新異常を検出することができる。

また、前記画像メモリに、前記カメラからの映像のブランキング期間で、カウンター値をインクリメントされるカウンターを設置し、前記判定手段は、前記カウンター値を監視することで、画像メモリの更新を監視する構成とした。

この構成により、画像メモリに設けられた映像のブランキング期間でインクリメントされるカウンターの値により画像メモリの更新異常を検出することができる。

また、前記警告手段は、警告画像生成手段を有し、前記画像メモリの更新異常判定時に、前記カメラからの映像ではなく、前記警告画像生成手段で生成した警告のための画像を表示器に表示する構成とした。

この構成により、利用者に警告を行うことができるとともにカメラで撮影している状況の変化とは異なる映像信号の表示を止めることができる。

また、前記警告手段は、警告画像生成手段を有し、前記画像メモリの更新異常判定時に、映像信号処理装置が故障を把握できる警告判定画像を前記警告画像生成手段で生成し、映像信号処理装置に伝送し、異常動作を知らせる構成とした。

この構成により、映像信号処理装置に異常動作を知らせることができるとともにカメラで撮影している状況の変化とは異なる映像信号の表示を止めることができる。

また、前記警告手段は、画像メモリの更新異常判定時に、警告音あるいは警告灯により警告を行う構成とした。

この構成により、利用者に警告音あるいは警告灯により異常動作が知らされ、表示画面を見ていない利用者にも異常動作を知らせることができる。

また、前記カメラは、複数のカメラを有する構成とした。

この構成により、複数のカメラを有する場合にも画像メモリに得られた画像信号が更新されているか否かを検知することができ、画像メモリが更新されない異常動作のときには警告動作を行うことで、カメラで撮影している状況の変化とは異なる映像を利用者、あるいは、外部の映像信号処理装置に伝えることを防ぐことができる。

本発明によれば、画像メモリに得られた画像信号を監視し、画像メモリの更新異常を検知する判定手段を設けることにより、カメラからの映像信号から得られた画像メモリの信号情報が、画像メモリのフリーズ状態により更新されないという異常動作を検出することができる。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を用いて説明する。本発明の第１の実施形態における車載用画像処理装置のブロック図を図１に示す。

この車載用画像処理装置は図１のように、車両にとりつけ、車両周囲、あるいは車室内の映像情報を撮影する車載カメラ１と、車載カメラ１から得られた映像信号を格納する画像メモリ２と、画像メモリ２に得られた画像信号を処理する画像処理手段３を備え、画像メモリ２に得られた最新の画像信号からフレーム情報を取得する現フレーム情報取得手段４と、その１フレーム前のフレーム情報を格納する前フレーム情報格納手段５からのフレーム情報を比較することにより、画像メモリ２のフリーズ状態を判定する判定手段６を備え、画像メモリ２のフリーズ状態と判定された場合の警告画像を生成する警告画像生成手段７と、判定手段６の結果によって、画像処理後の画像、あるいは、生成された警告画像を表示する表示器８を備えている。なお、画像処理手段３は、画像処理後の画像信号あるいは、生成された警告画像の画像信号を、外部の映像信号処理装置に出力するようにしてもよい。

現フレーム情報取得手段４は、画像メモリ２から得られた画像信号の各画素の輝度レベルを数値化し、内蔵のメモリに格納する。格納した各画素のデータは、次のフレーム情報を取得する前に、随時、前フレーム情報格納手段５に移される。

次のフレーム情報を現フレーム情報取得手段４に格納したとき、この両者のデータを判定手段６が比較する。

通常、映像信号にはランダムなノイズが付加するため、各画素の輝度値がフレームごとにまったく同値であることはない。したがって、前フレームと現在のフレームの各画素の信号レベルを比較して同値だった場合、画像信号の更新が行われなかったと判定手段６が判断し、画像メモリ２がフリーズ状態であるとして、異常を検出する。

また、車両が走行中であれば、前フレームと現在のフレームの信号レベルが同値であることはなく、図２のように、判定手段６が、車速センサー９からの情報により、車両が走行中であると判断した場合に限り、異常を検出する仕様であってもよい。このようにすれば、車両が停車中は異常の検出は行われず、停車中の動かない画像により異常が誤検出されることを避けることができる。

また、例えば、車載カメラ１からの映像信号レベルが黒レベルや白レベルであった場合は、前フレームとの信号レベルの比較を行わないなど、比較を行う輝度レベルに閾値を設けてもよい。このようにすれば、黒レベルや白レベルの変化のない画像により異常が誤検出されることを避けることができる。

異常を検出した場合、画像処理手段３は、表示器８あるいは、外部のカメラシステムの映像信号処理装置に出力する画像信号を、車載カメラ１から得られた画像信号ではなく、警告画像生成手段７によって生成した画面の画像信号、例えば、一面青色表示といった利用者に異常を知らせることができる、また予め設定されたパターンの表示のような映像信号処理装置が異常を把握できる警告表示画面の画像信号を出力する。

警告表示画面は、警告文字を出力する仕様であっても良く、あるいは、ブザーなどによる警告音やLED（Light-Emitting Diode）などによる警告灯で異常検出を知らせる仕様であっても良い。このようにすれば、表示器８を見ていない利用者に対しても異常を知らせることができる。

また、本実施形態では、前フレームと現在のフレームの２フレーム分のデータを用いて各画素の比較を行ったが、３フレーム以上のフレーム情報を用いて判定を行っても良い。このようにすれば、より確実に異常を検出することができる。

また、本実施形態では、各画素の輝度レベルの比較を行ったが、併せて各画素の色のレベルを比較する仕様であってもよい。このようにすれば、より精度良く画像メモリが更新されているかを検知することができる。

また、フレームごとの信号のチェックサムまたはフレームの輝度平均値によって比較する方法であってもよい。このようにすれば、画像メモリ２が更新されているかの検出の処理を削減することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について、図面を用いて説明する。本発明の第２の実施形態における車載用画像処理装置のブロック図を図３に示す。

この車載用画像処理装置は図３のように、車両周囲、あるいは車室内の映像情報を撮影する車載カメラ１と、車載カメラ１から得られた映像信号を格納する画像メモリ２と、画像メモリ２に得られた画像信号を処理する画像処理手段３と、画像メモリ２にフリーズ状態を判定する為の判定データを書き込む判定用データ書込手段２１と、その結果を受けて、画像メモリ２のフリーズ状態を判定する判定手段２２を備え、画像メモリ２のフリーズ状態と判定された場合の警告画像を生成する警告画像生成手段７と、判定手段２２の結果によって、画像処理後の画像あるいは、生成された警告画像を表示する表示器８を備えている。なお、画像処理手段３は、画像処理後の画像信号あるいは、生成された警告画像の画像信号を、外部の映像信号処理装置に出力するようにしてもよい。

車載カメラ１からの映像信号のブランキング期間に、判定用データ書込手段２１が、特定のデータを画像メモリ２に書込を行い、書込を行った領域とデータの値を判定手段２２に出力する。

判定手段２２は、判定用データ書込手段２１からの書込を行った領域の情報に基づいて該領域から読込を行う。

判定手段２２は、画像メモリ２の各領域に書込を行ったデータの値と、再度、読込を行ったデータの値を比較し、一致していなければ、その領域に書込ができず、信号が更新されなかったと判断し、画像メモリのフリーズ状態であるとして、異常を検出する。

異常を検出した場合、画像処理手段３は、表示器８あるいは、外部のカメラシステムの映像信号処理装置に出力する画像信号は車載カメラ１から得られた画像信号ではなく、警告画像生成手段７によって生成した画面の画像信号、例えば、一面青色表示といった利用者に異常を知らせることができる、また予め設定されたパターンの表示のような映像信号処理装置が異常を把握できる警告表示画面の画像信号を出力する。

警告表示画面は、警告文字を出力する仕様であっても良く、あるいは、ブザーなどによる警告音やLEDなどによる警告灯で異常検出を知らせる仕様であっても良い。このようにすれば、表示器８を見ていない利用者に対しても異常を知らせることができる。

また、書込を行う特定のデータは、唯一のデータである必要は無く、フレームごとに別の値に切り替わる仕様であっても良い。このようにすれば、より精度良く画像メモリが更新されているかを検知することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について、図面を用いて説明する。本発明の第３の実施形態における車載用画像処理装置のブロック図を図４に示す。

この車載用画像処理装置は図４のように、車両周囲、あるいは車室内の映像情報を撮影する車載カメラ１と、車載カメラ１から得られた映像信号を格納する画像メモリ２と、画像メモリ２に得られた画像信号を処理する画像処理手段３と、画像メモリ２内に設けた画像メモリ更新カウンター３１と、その結果を受けて、画像メモリ２のフリーズ状態を判定する判定手段３２を備え、画像メモリのフリーズ状態と判定された場合の警告画像を生成する警告画像生成手段７と、判定手段３２の結果によって、画像処理後の画像、あるいは、生成された警告画像を表示する表示器８を備えている。なお、画像処理手段３は、画像処理後の画像信号あるいは、生成された警告画像の画像信号を、外部の映像信号処理装置に出力するようにしてもよい。

画像メモリ２の一部領域に、画像メモリ２に画像信号を書き込む制御を行うDSP（Digital Signal Processor）などにより車載カメラ１からの画像信号のブランキング期間に更新される画像メモリ更新カウンター３１を設定しておく。画像メモリ更新カウンター３１は、１フレームの画像信号が終了するごとにインクリメントされる。

判定手段３２は、前フレームと現在のフレームでカウンター値を比較し、同値であれば、画像信号の更新が行われなかったと判断し、画像メモリ２がフリーズ状態であるとして、異常を検出する。

異常を検出した場合、画像処理手段３は、表示器８あるいは、外部のカメラシステムの映像信号処理装置に出力する画像信号は車載カメラ１から得られた画像信号ではなく、警告画像生成手段７によって生成した画面の画像信号、例えば、一面青色表示といった利用者に異常を知らせることができる、また予め設定されたパターンの表示のような映像信号処理装置が異常を把握できる警告表示画面の画像信号を出力する。

警告表示画面は、警告文字を出力する仕様であっても良く、あるいは、ブザーなどによる警告音やLEDなどによる警告灯で異常検出を知らせる仕様であっても良い。このようにすれば、表示器８を見ていない利用者に対しても異常を知らせることができる。

また、本実施形態では１フレームごとの映像のブランキング期間にカウンターを設置し、フレームごとにカウンター値をインクリメントする仕様で説明したが、１ラインごとの映像のブランキング期間にカウンターを設置し、ラインごとにカウンター値を比較する仕様でも良い。このようにすれば、より精度良く画像メモリが更新されているかを検知することができる。

本発明の第１から第３の実施形態は、単カメラで説明したが、複数の車載カメラを搭載した仕様についても同様である。

また、表示器８を搭載せずにカメラ映像を処理する画像処理装置についても同様である。

以上のように、本発明にかかる画像処理装置は、カメラからの映像信号から得られた画像メモリの信号情報が、画像メモリのフリーズ状態により更新されないという異常動作を検出することができるという効果を有し、カメラ（例えば、車載カメラ）で撮影した映像信号を画像メモリに格納し、得られた信号情報を処理する画像処理装置等として有用である。

本発明の第１の実施形態における車載用画像処理装置のブロック図 本発明の第１の実施形態における車載用画像処理装置の他のブロック図 本発明の第２の実施形態における車載用画像処理装置のブロック図 本発明の第３の実施形態における車載用画像処理装置のブロック図 従来の車載用画像処理装置のブロック図

符号の説明

１ 車載カメラ
２ 画像メモリ
３ 画像処理手段
４ 現フレーム情報取得手段
５ 前フレーム情報格納手段
６ 判定手段
７ 警告画像生成手段
８ 表示器
９ 車速センサー
２１ 判定用データ書込手段
２２ 判定手段
３１ 画像メモリ更新カウンター
３２ 判定手段

Claims (15)

1. カメラからの映像を格納する画像メモリと、前記画像メモリに得られた画像信号を処理する画像処理手段と、前記画像メモリの更新異常を検知する判定手段と、前記判定手段が前記画像メモリの更新異常を検知したとき警告を行う警告手段とを備えたことを特徴とする画像処理装置。
2. 前記判定手段は、カメラからの映像の最新のフレーム情報を格納する現フレーム情報取得手段と、そのひとつ前のフレーム情報を格納する前フレーム情報格納手段とを有し、そのフレーム情報を比較することで、画像メモリの更新を監視することを特徴とする請求項１に記載の画像処理装置。
3. 前記前フレーム情報格納手段は、前記最新のフレーム情報より２フレーム以上前のフレーム情報も格納し、前記判定手段は、そのフレーム情報を比較することで、画像メモリの更新を監視することを特徴とする請求項２に記載の画像処理装置。
4. 前記フレーム情報として、フレームごとに画像メモリに得られた各画素の輝度レベルを数値化して比較することを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記フレーム情報として、フレームごとに画像メモリに得られた各画素の輝度レベル及び色情報を数値化して比較することを特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記フレーム情報として、フレームごとに画像メモリに得られた全画素の輝度レベルを数値化した平均値を比較することを特徴とする請求項２または請求項３に記載の画像処理装置。
7. 前記フレーム情報として、フレームごとに画像メモリに得られた各画素の輝度レベルを数値化し、そのチェックサムを求めて比較することを特長とする請求項２または請求項３に記載の画像処理装置。
8. 前記判定手段は、比較対象となる各画素の輝度レベルに閾値を設け、ある閾値以内の映像信号を得られた場合のみフレーム情報を比較することを特徴とする、請求項４から請求項７のいずれか１項に記載の画像処理装置。
9. 前記判定手段は、搭載されている車両の車速センサーを備え、前記車両が走行中と判定された場合に、前フレームと現フレームのフレーム情報を比較することを特徴とする、請求項４から請求項７のいずれか１項に記載の画像処理装置。
10. 前記判定手段は、前記カメラからの映像のブランキング期間に、前記画像メモリに特定のデータを書き込み、さらにその書き込んだデータを読み込む機能を有し、その書込データと読込データを比較することで、画像メモリの更新を監視することを特徴とする請求項１に記載の画像処理装置。
11. 前記画像メモリに、前記カメラからの映像のブランキング期間で、カウンター値をインクリメントされるカウンターを設置し、前記判定手段は、前記カウンター値を監視することで、画像メモリの更新を監視することを特徴とする請求項１に記載の画像処理装置。
12. 前記警告手段は、警告画像生成手段を有し、前記画像メモリの更新異常判定時に、前記カメラからの映像ではなく、前記警告画像生成手段で生成した警告のための画像を表示器に表示することを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記警告手段は、警告画像生成手段を有し、前記画像メモリの更新異常判定時に、映像信号処理装置が故障を把握できる警告判定画像を前記警告画像生成手段で生成し、映像信号処理装置に伝送し、異常動作を知らせることを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
14. 前記警告手段は、画像メモリの更新異常判定時に、警告音あるいは警告灯により警告を行うことを特徴とする請求項１から請求項１１のいずれか１項に記載の画像処理装置。
15. 前記カメラは、複数のカメラを有することを特徴とする請求項１から請求項１４のいずれか１項に記載の画像処理装置。

Images