JP7354443B2

JP7354443B2 - 画像処理装置

Info

Publication number: JP7354443B2
Application number: JP2022527505A
Authority: JP
Inventors: 大堤; 寛人三苫
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-05-25
Filing date: 2021-02-05
Publication date: 2023-10-02
Anticipated expiration: 2041-02-05
Also published as: JPWO2021240896A1; DE112021001875T5; WO2021240896A1; CN115668959A

Description

本発明は、車載カメラにおける画像劣化判定精度向上に寄与する画像処理装置に関する。

近年、カメラセンサの入力画像劣化時の一時停止機能や、入力画像劣化時の補正値計算に関する技術の一つとして、カメラセンサが搭載された車両のカメラ前フロントガラスの汚れ等（画像劣化）の有無を検出する技術が知られている。例えばカメラセンサの一時停止時はドライバへ通知する場合が有るため、画像劣化検出には精度が求められる。

しかし、カメラセンサが撮像する外界は、天候や路面状況などの影響を受け、画像劣化が発生していないにも関わらず画像劣化発生時と似通った特徴を示す場合がある。そのため、精度良く画像劣化を検出するには、画像劣化判定に利用する特徴量の選定が肝要である。

従来から、画像劣化を検出する様々な技術や画像処理装置が提案されてきた。例えば、特許文献１には、画像劣化が発生するとコントラストが低下する特徴に着目し、複数の処理エリアを設け、各処理エリアのコントラスト低下時に画像劣化判定する画像処理装置が記載されている。

特開平１１－１３９２６２号公報

しかしながら、前述した特許文献１に記載の従来技術では、画像劣化が発生していないにも関わらずコントラストが低下する積雪路や、吹雪・霧などの悪天候下において画像劣化を誤検知する。

本発明の目的は、走行路や天候に依らない高精度な画像劣化判定を行うことができる画像処理装置を提供することである。

上記課題を解決するため、本発明の画像処理装置は、第1のカメラセンサで撮像した第1の画像及び第2のカメラセンサで撮像した第2の画像から視差画像を求める視差計算部と、前記第1の画像または前記第2の画像のいずれかから特徴点を検出する特徴点検出部と、前記特徴点検出部で求めた特徴点領域に対応する前記視差画像内の領域を参照し、視差が欠損している所定単位領域の数を計数する視差欠損数計算部と、前記視差欠損数計算部による計数結果から画像劣化を判定する画像劣化判定部と、を備える。

本発明によれば、画像劣化が発生していないにも関わらず画像劣化発生時と似通った特徴を示す走行路や天候と、実際の画像劣化発生時を切り分けることができるため、走行路や天候に依らない高精度な画像劣化検出を実現できる。

前述した以外の課題、構成、及び効果は以下の実施形態の説明により明らかにされる。

本発明に係る画像処理装置の一実施形態を示す機能ブロック構成図。入力画像の画像劣化のイメージ図。視差画像のイメージ図。処理ウィンドウに対応する視差が有る場合の、特徴点検出部と視差欠損数計算部の処理概要図。処理ウィンドウに対応する視差が無い場合の、特徴点検出部と視差欠損数計算部の処理概要図。処理ウィンドウに対応する視差が無い場合の、特徴点検出部と視差欠損数計算部と画像劣化判定部の処理概要図。特徴点をエッジとし、画素単位で判定する場合の、特徴点検出部の処理フローの一例を示すフローチャート。特徴点をエッジとし、画素単位で判定する場合の、視差欠損数計算部の処理フローの一例を示すフローチャート。特徴点をエッジとし、視差マッチングウィンドウ領域単位で判定する場合の、特徴点検出部の処理フローの他例を示すフローチャート。特徴点をエッジとし、視差マッチングウィンドウ領域単位で判定する場合の、視差欠損数計算部の処理フローの他例を示すフローチャート。画像劣化判定部の処理フローの一例を示すフローチャート。

本発明の実施形態について、図面を用いながら以下に説明する。

図1は、本発明に係る画像処理装置の一実施形態を示す機能ブロック構成図である。本実施形態の画像処理装置は、例えば車両に搭載され、フロントガラスの汚れ等の画像劣化の有無を判定するものである。本実施形態の画像処理装置100は、図1に示すように、カメラセンサとしての一対のCMOS素子101、102と、視差計算部103と、特徴点検出部105と、視差欠損数計算部107と、画像劣化判定部109と、を備える。

図1におけるCMOS素子101、102はそれぞれ入力画像を撮像する。例えば、CMOS素子101、102は、車両のフロントガラス内側の車室内に、車両前方に向けて左右一対で（横並びで）設置され、2つの異なる撮像点から車両前方の外界を撮像する。なお、CMOS素子101、102で撮像された画像を利用することで、外界物体（他車両や歩行者、障害物など）の検知、検知情報に基づく車両制御などを行うことが可能である。

視差計算部103は、CMOS素子101、102が撮像した入力画像を用いて視差画像を生成する。視差計算部103は、CMOS素子101、102の一方（第1のカメラセンサ）が撮像した第1の画像を基準画像、CMOS素子101、102の他方（第2のカメラセンサ）が撮像した第2の画像を探査画像としてステレオマッチングを行い視差画像を生成する。ここでの視差画像の生成は一般的な手法を用いて実施可能であるため、その詳細説明は割愛する。

特徴点検出部105は、ステレオマッチングに利用する基準画像に対して、特徴点を検出する。特徴点としては、例えばエッジなどの画像上の輝度に関する特徴点を利用できる。エッジを特徴点とした場合、特徴点検出部105は、注目画素と隣接画素の差分を取り、その差分が予め設けた閾値を超過した場合はエッジであると判定する。つまり、エッジは、隣接画素の輝度差ないし輝度変化量が大きい領域である。当該処理は、画素単位で実施し、エッジ（特徴点）がある領域として設定する。また、視差を求めるマッチングウィンドウ領域（視差マッチングウィンドウ領域）単位で実施し、エッジが予め設けた閾値以上の数だけ検出されたとき、当該領域をエッジ（特徴点）がある領域として設定しても良い。以下の説明において、エッジを特徴点とした場合、特徴点検出部105をエッジ検出部と称することがある。

視差欠損数計算部107は、特徴点検出部105が検出した基準画像の特徴点領域に対応する、視差計算部103が計算した視差画像内の領域を参照して視差の有無を確認し、視差が無かった（欠損していた）場合は計数する。

画像劣化判定部109は、視差欠損数計算部107が求めた計数結果である視差欠損数を用いて画像劣化が発生しているか否かを判定する。画像劣化判定部109は、例えば、視差欠損数を予め設けた閾値と比較し、視差欠損数が閾値を超過していた場合は、画像劣化が発生していると判定する。

図2～図6を用いて、上述した視差計算部103、特徴点検出部105、視差欠損数計算部107、画像劣化判定部109の処理内容を、より詳しく説明する。ここでの説明では、特徴点検出部105は、エッジを特徴点とするものとし、エッジ検出部105と記載することがある。

図2は、本発明の実施形態を説明する上で、入力画像の状態を定義する図である。今回説明する実施形態では、歩行者、先行車、左右の白線、路面テクスチャが路面上に存在していると仮定する。また、CMOS素子101、102の一方（第1のカメラセンサ）が撮像した第1の画像をステレオマッチングの基準画像、CMOS素子101、102の他方（第2のカメラセンサ）が撮像した第2の画像をステレオマッチングの探査画像とする。図2に示すように、第2の画像には、曇りや汚れ等の画像劣化が発生しているものとする。

図3は、図2を入力画像として生成される視差画像のイメージ図である。点線でマッチングウィンドウブロックサイズを、ハッチングで視差を表す。また、ハッチングの濃淡で距離情報（濃いハッチングは近く、薄いハッチングは遠く）を表す。図3に示すように、歩行者の上半部には、近い距離情報を含む視差が出るとともに、先行車には、遠い距離情報を含む視差が出るが、歩行者の下半部には、画像劣化によって視差が出ない（欠損している）。実際には路面や白線等の地物にも視差は出るが、今回は説明のために省いている。

図4は、本実施形態におけるエッジ検出部105と視差欠損数計算部107の処理概要を表している。エッジ検出部105は、輝度変化が大きい領域を検出して処理ウィンドウに設定する。視差欠損数計算部107は、エッジ検出部105が検出したブロックに対応する視差画像ブロックを参照し、視差の有無を確認し、視差が有った場合は処理を終了する。本図4は、処理ウィンドウに対応する視差が有った場合を表している。

図5は、本実施形態におけるエッジ検出部105と視差欠損数計算部107の処理概要を表している。エッジ検出部105は、輝度変化が大きい領域を検出して処理ウィンドウに設定する。視差欠損数計算部107は、エッジ検出部105が検出したブロックに対応する視差画像ブロックを参照し、視差の有無を確認し、視差が無かった場合は視差欠損数をカウントアップして処理を終了する。本図5は、処理ウィンドウに対応する視差が無かった場合を表している。

図6は、本実施形態におけるエッジ検出部105と視差欠損数計算部107と画像劣化判定部109の処理全体のイメージ図である。図4及び図5の処理を対象画像の全ブロックで行い、画像全体で視差が欠損していた数（ブロック数）をカウントし、画像劣化判定部109は、カウント数（視差欠損数）を予め設けた閾値と比較して超過していれば、画像劣化であると判定する。

図7～図11を用いて、上述した特徴点検出部105、視差欠損数計算部107、画像劣化判定部109の処理フローを説明する。ここでの説明では、特徴点をエッジとし、画素単位（1画素毎）で判定する例（図7、図8、図11）と、特徴点をエッジとし、視差マッチングウィンドウ領域単位で判定する例（図9、図10、図11）とを分けて説明する。視差マッチングウィンドウ領域とは、前述のように視差計算に用いる複数画素を含む所定単位領域である。

（特徴点をエッジとし、画素単位で判定する例）
図7は、特徴点検出部105の処理フローの一例を示すフローチャートである。図7に示すように、基準画像の注目画素と隣接画素の差分を取り（S711）、差分である輝度差と予め設けた閾値を比較する（S713）。差分が閾値を超過していたら、エッジ（特徴点）が有ると判定する（S715）。差分が閾値を下回ったら、エッジ（特徴点）ではないと判定する（S717）。注目画素が画像終端に到達しているかを判定し（S719）、注目画素が画像終端まで来ていれば、処理を終了し（S721）、もし注目画素が画像終端に来ていなければ、注目画素をずらして処理を継続する（S723）。

図8は、視差欠損数計算部107の処理フローの一例を示すフローチャートである。図8に示すように、特徴点検出部105が特徴点であると判定した画素に対応する視差画像領域を参照する（S831）。当該領域に視差が出ていないかを判定し（S833）、当該領域に視差が出ていなければ（欠損していれば）、視差欠損数をカウントアップして処理を終了する（S835）。

図7及び図8に示す処理により、画素単位でエッジ（特徴点）を検出するとともに、視差が欠損している画素の数を（画素単位で）計数できる。

（特徴点をエッジとし、視差マッチングウィンドウ領域単位で判定する例）
図9は、特徴点検出部105の処理フローの他例を示すフローチャートである。視差を求めるマッチングウィンドウ領域内で基準画像の注目画素と隣接画素の差分を取り（S911）、差分である輝度差と予め設けた閾値を比較する（S913）。差分が閾値を超過していたら、エッジ（特徴点）が有ると判定する（S915）。差分が閾値を下回ったら、エッジ（特徴点）ではないと判定する（S917）。注目画素がマッチングウィンドウ領域終端に到達しているかを判定し（S919）、注目画素がマッチングウィンドウ領域終端に到達していなければ、注目画素を移動する（S923）。注目画素がマッチングウィンドウ領域終端に到達していれば、注目しているマッチングウィンドウ領域内でエッジ判定された画素数が予め定めた閾値を超過しているかを判定し（S925）、エッジ（特徴点）数が予め定めた閾値を超過していれば、当該領域を特徴点であると判定する（S927）。エッジ（特徴点）数が予め定めた閾値を超過しなかった場合は、当該領域を特徴点判定しない（S929）。注目画素が画像終端であるかを判定し（S931）、注目画素が画像終端であれば、処理を終了する（S933）。注目画素が画像終端でなければ、注目するマッチングウィンドウ領域をずらして処理を継続する（S935）。

図10は、視差欠損数計算部107の処理フローの他例を示すフローチャートである。図10に示すように、特徴点検出部105が特徴点であると判定した領域（図8の場合は画素）に対応する視差画像領域を参照する（S1031）。当該領域に視差が出ていないかを判定し（S1033）、当該領域に視差が出ていなければ（欠損していれば）、視差欠損数をカウントアップして処理を終了する（S1035）。

図9及び図10に示す処理により、複数画素を含む所定単位領域である視差マッチングウィンドウ領域単位でエッジ（特徴点）を検出するとともに、視差が欠損している領域（視差マッチングウィンドウ領域に対応）の数を（視差マッチングウィンドウ領域単位で）計数できる。

図11は、画像劣化判定部109の処理フローの一例を示すフローチャートである。図11に示す画像劣化判定部109の処理フローは、図7及び図8に示す画素単位での視差欠損数のカウント後、または、図9及び図10に示す視差マッチングウィンドウ領域単位での視差欠損数のカウント後に実行される。視差欠損数計算部107から視差欠損数を取得する（S1151）。視差欠損数が予め設けた閾値を超過しているかを判定する（S1153）。視差欠損数が閾値を超過していたら、当該画像は画像劣化と判定する（S1155）。視差欠損数が閾値を下回ったら、当該画像は画像劣化していないと判定する（S1157）。

以上で説明したように、本実施形態の画像処理装置100は、第1のカメラセンサで撮像した第1の画像及び第2のカメラセンサで撮像した第2の画像から視差画像を求める視差計算部103と、前記第1の画像または前記第2の画像のいずれかから特徴点（エッジなど）を検出する特徴点検出部105と、前記特徴点検出部105で求めた特徴点領域に対応する前記視差画像内の領域を参照し、視差が欠損している所定単位領域の数を計数する視差欠損数計算部107と、前記視差欠損数計算部107による計数結果から画像劣化を判定する画像劣化判定部109と、を備える。

換言すれば、本実施形態の画像処理装置100は、ステレオマッチングで利用する基準画像上の特徴点領域に対応する視差画像領域を参照し、視差が欠損しているか（視差が欠損している所定単位領域の数）を計数することで、画像劣化が発生しているかを判定する。

本実施形態によれば、画像劣化が発生していないにも関わらず画像劣化発生時と似通った特徴を示す走行路や天候と、実際の画像劣化発生時を切り分けることができるため、走行路や天候に依らない高精度な画像劣化検出を実現できる。

本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

100 画像処理装置
101、102 CMOS素子（カメラセンサ）
103 視差計算部
105 特徴点検出部（エッジ検出部）
107 視差欠損数計算部
109 画像劣化判定部

Claims

第1のカメラセンサで撮像した第1の画像及び第2のカメラセンサで撮像した第2の画像から視差画像を求める視差計算部と、
前記第1の画像または前記第2の画像のいずれかから特徴点を検出する特徴点検出部と、
前記特徴点検出部で求めた特徴点領域に対応する前記視差画像内の領域を参照し、視差が欠損している所定単位領域の数を計数する視差欠損数計算部と、
前記視差欠損数計算部による計数結果から画像劣化を判定する画像劣化判定部と、を備え、
前記特徴点検出部は、視差マッチングウィンドウ領域単位で特徴点を検出し、
前記視差欠損数計算部は、視差が欠損している所定単位領域の数を前記視差マッチングウィンドウ領域単位で計数する画像処理装置。
請求項１に記載の画像処理装置において、
前記特徴点は、前記第1の画像または前記第2の画像のいずれかのエッジである画像処理装置。
請求項１に記載の画像処理装置において、
前記画像劣化判定部は、前記視差欠損数計算部による計数結果と予め定めた閾値とを比較して画像劣化を判定する画像処理装置。