JP7325308B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

液晶表示装置では、高コントラスト化（視認性向上）の要求（特に外光環境下で視聴される車載機器でのニーズ）がある。そこで、車載カメラシステムに搭載されるＳｏＣ（System on Chip）の画像処理ミドルウェアの機能として、車載カメラからの入力映像（画像）に対してローカルエリア単位の輝度値に対するガンマ補正を用いて画像の視認性を向上する技術が必要とされてきている。画像視認性の向上に係る従来技術では、ローカルエリア境界付近での視認性向上の副作用として、不自然な画像を生成してしまう問題が発生してしまう。

従来技術は、ピークＡＣＬ（Automatic Contrast Limit）制御によるゲイン値と輝度分布から算出した絵柄にあわせたガンマ補正値を基にトータルゲインを算出し、一度の演算で輝度変調を行うことで、階調劣化を抑制しつつ、絵柄特性（輝度分布）に応じた高コントラスト化と明るさ向上を可能にする技術である。この技術は表示部のバックライトのシステム構造が単一光源のものだけでなく、複数光源のシステム構造も対象としている。このため、複数光源によりローカルエリア単位でガンマ補正が制御可能であるシステム構造の場合には、ローカルエリア単位で絵柄適応ガンマ特性を算出することが可能であると記載されている。（例えば、特開２０１６－３１４９２号公報）

特開２０１６－３１４９２号公報

従来技術を使用するだけでは、液晶表示装置、特に車載カメラシステムにおける高コントラスト化としての視認性の向上には不十分な場合がある。通常、ローカルエリア（Local Ａrea、以下ＬＡと称する）単位での絵柄適応ガンマ特性を算出する場合、ＬＡ毎に各ＬＡに最適なガンマ補正値を算出する。そして、ＬＡ間の補正値の急激な変化を防ぐために、ＬＡ間の境界付近では、線形補間を用いつつ補正を行う。しかしながら、特徴が大きく異なるＬＡ同士が隣接する場合、各ＬＡに最適なガンマ補正を行うと、境界付近で輝度値が逆転し、不自然な映像になる問題がある。不自然な映像になる例として、図１５（Ａ）の画像を図１５（Ｂ）のように格子状のエリアに分割し、ガンマ補正を行った結果を図１５（Ｃ）に示す。

図１５（Ａ）と図１５（Ｃ）を比較すると、画像内のオブジェクト（人、車）の視認性は向上しているが、画像全体では段差ノイズ（グラデーション）が発生している。このような画像は単純に画質が劣化していると捉えられ、視聴者やドライバーに不快感を与える原因となってしまう。さらに、特に車載カメラシステムでは、視認が必要な領域以外の不自然な領域にドライバーの注意が向くこととなり、安全運転の妨害となる。

本発明の課題は、視認性がよい高画質な画像を生成する画像処理装置を提供することである。

画像処理装置は、入力画像から画像の全体領域（Global Area、以下ＧＡと称する）の特徴量（輝度値の最大値、最小値、平均値、ヒストグラムなど）及び各ＬＡの特徴量を取得し、ＧＡ及び各ＬＡに対する複数の変調ゲイン値（ガンマ補正カーブ）を算出する。さらに、画像処理装置は、ＧＡの特徴量及び各ＬＡの特徴量から、ＬＡ毎に補正強度を決定し、ＬＡ補正強度マップを作成する。最後に、画像処理装置は、ＬＡ補正強度マップに基づいて複数の変調ゲイン値を合成した結果を最終的に入力画像に適用する。

一実施の形態に係る画像処理装置によれば、高画質で視認性のよい画像が生成できる。

図１は、第一の実施形態における画像処理装置の構成例を示すブロック図である。 図２（Ａ）及び図２（Ｂ）は、輝度分布率算出のための前処理を説明するための図である。 図３（Ａ）及び図３（Ｂ）は、ＬＡ補正強度マップの例を示す表である。 図４（Ａ）は、ＬＡに対してオブジェクトの座標情報を反映するイメージを示す図であり、図４（Ｂ）は本実施形態適用後のイメージを示す図である。 図５は、第一の実施形態におけるＬＡ補正強度部の処理フローである。 図６は、第一の実施形態における画像処理装置のＳｏＣの構成例を示すブロック図である。 図７は、第二の実施形態における画像処理装置の構成例を示すブロック図である。 図８（Ａ）及び図８（Ｂ）は、車速に応じたＬＡ補正強度マップの例（高速時）である。 図９（Ａ）及び図９（Ｂ）は、車速に応じたＬＡ補正強度マップの例（中速時）である。 図１０（Ａ）及び図１０（Ｂ）は、車速に応じたＬＡ補正強度マップの例（低速時）である。 図１１（Ａ）及び図１１（Ｂ）は、進行方向に応じたＬＡ補正強度マップの例（左折時）である。 図１２（Ａ）及び図１２（Ｂ）は、進行方向に応じたＬＡ補正強度マップの例（右折時）である。 図１３は、第二の実施形態におけるＬＡ補正強度部の処理フローである。 図１４は、第二の実施形態における画像処理装置のＳｏＣの構成例を示すブロック図である。 図１５（Ａ）、図１５（Ｂ）及び図１５（Ｃ）は、従来技術における補正画像イメージを示す図である。

（第一の実施形態）
以下、第一の実施形態に係る画像処理装置について、図面を参照して詳細に説明する。なお、明細書及び図面において、同一の構成要件または対応する構成要件には、同一の符号を付し、重複する説明は省略する。また、図面では、説明の便宜上、構成を省略または簡略化している場合もある。また、実施の形態と各変形例との少なくとも一部は、互いに任意に組み合わされてもよい。

（画像処理装置の全体構成）
第一の実施形態に係る画像処理装置（１ａ）には、映像入力信号が入力され、接続される表示装置としての液晶パネル（１ｍ）に供給する映像出力信号と、表示パネル（１ｍ）に付属するバックライト制御部（１ｎ）に供給するバックライト制御信号とを、それぞれ算出して出力する。また、図１に示す通り、画像処理装置（１ａ）は、ヒストグラム検出部（１ｂ）、ピーク値検出部（１ｃ）、ピークＡＣＬ（Automatic Contrast Limit）制御ゲイン算出部（１ｄ）、輝度変調部（１ｈ）、バックライト制御ゲイン算出部（１ｋ）及びゲイン変換部（１ｌ）を備える。さらに、画像処理装置（１ａ）は、ヒストグラム変調部（１ｅ）、輝度分布率算出部（１ｆ）、絵柄適応ガンマ特性算出部（１ｇ）、輝度変調用ゲイン算出部（１ｊ）、トータル制御ゲイン算出部（１ｉ）、物体検出部（１ｏ）及びＬＡ補正強度部（１ｐ）を備える。

ヒストグラム検出部（１ｂ）は、入力される映像信号の全体ＧＡの輝度値と各ＬＡの輝度値についての頻度分布を算出する。ここで、ＬＡはＧＡを複数の領域に分割した分割領域である。

ピーク値検出部（１ｃ）は、入力される映像信号のＧＡの画素が持つ映像レベル（輝度）の中で最も高い輝度（すなわち最も明るい輝度）を検出する。さらに、各ＬＡにＬＡの画素が持つ映像レベルの中で最も高い輝度を検出する。

本実施形態のように、ヒストグラム検出部（１ｂ）が抽出する輝度のヒストグラム（頻度分布）からピーク値を検出することで、入力される映像信号から直接ピーク値を検出する場合と比較して、検出の安定度が向上する。なぜならば、例えば、１画面（１フレーム）内の総画素数を１００％とし、輝度の低い方から順に頻度（画素数）を累積していった時に、ヒストグラムの累積値がその９８％に達した時の輝度値をピーク値として検出することで、ノイズ等により数画素が突出して高い輝度を持つ時にはその輝度をピーク値として検出しないからである。

ピークＡＣＬ制御ゲイン算出部（１ｄ）は、検出されたＧＡのピーク値に応じたゲインである画像全体のピークＡＣＬ制御ゲインを算出してトータル制御ゲイン算出部（１ｉ）及びヒストグラム変調部（１ｅ）に変調ゲイン値を供給する。同様に、ピークＡＣＬ制御ゲイン算出部（１ｄ）は、検出された各ＬＡのピーク値に応じたゲインである各ＬＡのピークＡＣＬ制御ゲインを算出してトータル制御ゲイン算出部（１ｉ）及びヒストグラム変調部（１ｅ）に変調ゲイン値を供給する。

バックライト制御ゲイン算出部（１ｋ）は、ゲイン変換部（１ｌ）に対して、ピーク値検出部（１ｃ）で検出されたＧＡのピーク値及び各ＬＡのピーク値のそれぞれに応じたゲイン処理を実行させる。

ヒストグラム変調部（１ｅ）は、ヒストグラム検出部（１ｂ）から出力されるＧＡのヒストグラム及び各ＬＡのヒストグラムに対して、ピークＡＣＬ制御ゲイン算出部（１ｄ）から得られたゲインで変調処理を行う。実際には、ヒストグラム変調部（１ｅ）は映像レベルに対してのゲイン変調を行うことになる。ヒストグラムに対するピークＡＣＬ制御ゲインでの変調処理とは、各映像レベルにおけるヒストグラム検出値を、そのピークＡＣＬ制御ゲイン倍の映像レベルにおけるヒストグラム検出値と読み替える処理である。

例えば映像信号が８ｂｉｔの場合、映像レベルは２５６階調となるため、このレベルに対しゲイン処理を行う。ピーク検出値が５０％の場合には、５０％の輝度を表す映像レベル１２８以上にはヒストグラムが存在しないことになり、ピークＡＣＬ制御ゲインは２倍となる。そして、映像レベル１２８に存在していたヒストグラムを、１２８×２のゲイン処理を施して、映像レベル２５６（実際の処理では８ビットにおける最大値の２５５）に存在しているヒストグラムと読み替える処理を行う。ここではヒストグラムの階調数を映像信号と同じ２５６で説明したが、ヒストグラムの階調数は、一般的に採用される１６もしくは６４などの場合でも同様の処理となる。

輝度分布率算出部（１ｆ）は、ＧＡピークＡＣＬ制御ゲインで変調処理されたＧＡのヒストグラムの分布状態を解析する。同様に、各ＬＡピークＡＣＬ制御ゲインで変調処理された各ＬＡのヒストグラムのそれぞれの分布状態を解析する。ヒストグラムの分布状態には、例えば、一部の映像レベル領域に偏った分布、複数の映像レベル領域に偏った分布、顕著な遍在のない比較的均等な分布等がある。輝度分布率算出部（１ｆ）は、入力されるヒストグラムに対して、映像レベルごとの重み付けを行う前処理を行い、その重み付け後のヒストグラム検出値を累積し、その値から分布率を算出する。輝度分布率算出部（１ｆ）はＧＡの特徴を示す第一の特徴データとしての特徴量と各ＬＡの特徴を示す第二の特徴データ群としての特徴量を算出する特徴データ算出部である。特徴量は輝度値の最大値、最小値、平均値、ヒストグラムである。映像中の各画素の輝度値の分布より、最大/最小の輝度値、輝度値の平均値を算出することができる。また、輝度値ごとの画素数を算出することでヒストグラムを作成することができる。

具体例としては、輝度分布率算出部（１ｆ）は、ヒストグラム検出値に対して、低映像レベルから中間映像レベルまでに重み付け処理を行い、重み付け後のヒストグラム検出値を累積し、その値の大きさから低／中間映像レベルの分布率を算出する（図２（Ａ））。

また、輝度分布率算出部（１ｆ）は、中間映像レベル付近に重み付け処理を行い、重み付け後のヒストグラム検出値を累積し、その値の大きさから中間映像レベル付近の分布率を算出する（図２（Ｂ））。勿論、低／中間映像レベル分布率及び中間映像レベル付近の分布率を算出する方法は、これらに限定されるものではない。

絵柄適応ガンマ特性算出部（１ｇ）では、算出された映像レベル分布率に応じて、ＧＡ及び各ＬＡに適切なガンマ特性を自動で算出する。例えば、バックライト制御用の明るさ向上効果を得ることを目的とした絵柄適応ガンマ処理する場合には、小ガンマ値補正（ヒストグラムの分布状態が顕著な遍在のない比較的均等な分布である場合）やＳカーブ補正（ヒストグラムの分布状態が１ヵ所に遍在する場合）を行う。また、輝度変調後のヒストグラム分布状態が低映像レベルから高映像レベルまで均一に分布させることを目的とした補正処理する場合には、ヒストグラムイコライゼンション（平坦化）を行う。

以上のように、絵柄に適応したガンマ特性を自動算出して輝度変調を行う効果には、以下の二点がある。一点目は、元より高コントラストで、明るい画像が入力されている場合には、固定ガンマ特性による輝度変調処理では、高映像レベル領域での飽和（白つぶれ）や低映像レベル領域での飽和（黒つぶれ）を生じる危険が想定される。しかし、絵柄適応処理により、これらの危険を防止することができる。二点目は、絵柄特性（映像レベルの分布中心＝集中している明るさレベル）に応じて、最も効果的に高コントラスト化及び明るさ向上の効果を得ることができる。

輝度変調用ゲイン算出部（１ｊ）は、絵柄適応ガンマ特性算出部（１ｇ）から与えられるガンマ特性に従って、輝度変調用ゲインをＧＡ及び各ＬＡに算出する。輝度変調用ゲインは、ＧＡ及び各ＬＡに、変調後の映像レベルの値を対応付ける関数として与えられる。

トータル制御ゲイン算出部（１ｉ）では、ピークＡＣＬ制御ゲイン算出部（１ｄ）及び輝度変調用ゲイン算出部（１ｊ）から得られた複数の変調ゲイン値を、ユーザ設定のＭＩＸ比またはＬＡ補正強度部（１ｐ）が算出したＬＡ毎の補正強度に応じて乗じ、予めトータルゲイン値を算出する。ガンマ補正カーブの合成は、ＬＡ補正強度をαとした場合、以下のような加重平均を用いる。
合成後の補正量 ＝ ＬＡの補正量×α＋ＧＡの補正量×（１－α）
ここで、０＜＝α＜＝１、αが１に近いほどＬＡの補正強度が強くなる。

輝度変調部（１ｈ）では、このトータルゲイン値を使用して輝度変調を行う。輝度変調とは、入力される映像信号の１画素毎の映像レベル（輝度）をその映像レベルの値に応じて別の映像レベルに変換する処理を指す。輝度変調部（１ｈ）は、例えば１次元のルックアップテーブルによって構成される。映像信号が８ｂｉｔ、２５６階調の場合には、２５６ｗｏｒｄ×８ｂｉｔのメモリによって構成することができる。ルックアップテーブルによる実装に代えて、予め関数化されたハードウェア、又はソフトウェアによって実装することもできる。

検出部としての物体検出部（１ｏ）は、入力画像からＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）に記録されているオブジェクトを検出する。オブジェクトを検出する方法としては、画像中から対象物と背景の間のエッジを利用する方法などがある。検出したオブジェクトは、パターン認識によりＲＯＭやＲＡＭに記録されたオブジェクトと照合を行い、特定する。最後に、物体検出部（１ｏ）は、オブジェクトの位置情報（座標）、領域及び照合結果をオブジェクト情報としてＬＡ補正強度部（１ｐ）に出力する。

ＬＡ補正強度部（１ｐ）では、輝度分布率算出部（１ｆ）より得られたＧＡと各ＬＡの特徴量（輝度値の最大値、最小値、平均値、ヒストグラム）を基に各ＬＡの補正強度（第一の補正強度）を設定するため、第１ＬＡ補正強度マップを作成する。ＬＡ補正強度マップはＬＡに対応するテーブルで、数値はＬＡ補正強度を意味する。ＬＡ補正強度には、例えば０～１の値が設定される。具体的には、ＬＡ補正強度部（１ｐ）は、輝度分布状態解析結果から得られた全体特徴量とＬＡ特徴量を比較し、各ＬＡに対して、補正後に隣合うＬＡ間で輝度値の逆転や白飛び・黒潰れが発生するかどうかを判定する。ＬＡ補正強度部（１ｐ）は、隣合うＬＡ間で輝度値の逆転や白飛び・黒潰れが発生すると判定したＬＡには、対応するテーブルの要素に、課題として挙げた不自然なグラデーションが発生しない程度の弱いＬＡ補正強度を設定する。

以上の処理により、高画質で視認性のよい画像が生成できる。さらに、ＬＡ補正強度部（１ｐ）は、物体検出部（１ｏ）より得られたオブジェクトの位置情報（座標情報）、領域及び照合結果を基にＬＡごとの補正強度（第二の補正強度）を設定するため、第２ＬＡ補正強度マップを作成する。例えば、オブジェクトの座標情報及び領域として図４（Ａ）の破線で囲まれたエリアが与えられた場合、図３（Ｂ）に示すように、ＬＡ補正強度部（１ｐ）はこのエリアに含まれるＬＡの補正強度を強く設定するような補正強度マップ（第２ＬＡ補正強度マップ）を作成する。

ここでは、ＬＡ補正強度部（１ｐ）は、ＲＯＭやＲＡＭに記録された注目すべき物体のランク付けに従い、テーブルの各要素にＬＡ補正強度を設定する。例えば、ＬＡ補正強度が０～１の範囲の値を取る場合、ＬＡ補正強度部（１ｐ）は、１に近いほどそのＬＡが重要と判断する。図３（Ａ）及び図３（Ｂ）の例では、車両は１、人は０．９としている。図３（Ｂ）に示すように、この第２ＬＡ補正強度マップを作成することで、図４（Ｂ）に示すように、撮影シーンに含まれているオブジェクトに適した高画質で視認性のよい画像が生成できる。

最後に、ＬＡ補正強度部（１ｐ）は、下記の式に示すように、２つの補正強度マップを加算することにより、トータル制御ゲイン算出部（１ｉ）に供給する補正強度マップを決定する。
ＬＡ補正強度マップ（ｍ,ｎ）＝ 第１ＬＡ補正強度マップ（ｍ，ｎ）
＋第２ＬＡ補正強度マップ（ｍ，ｎ）
その後、ＬＡ補正強度部（１ｐ）は、各ＬＡ補正強度が最大値１となるように正規化を実施する。なお、合成前のＬＡ補正強度マップのどちらかで０が設定されている場合は正規化を行わずに、片方の強度をそのまま用いてもよい。

図５は、第一の実施形態における補正強度マップ作成処理をフローにしたものである。輝度分布状態の解析結果を取得し（ステップＳ５０１）、白飛びや黒潰れを防ぐための補正に必要な第１ＬＡ補正強度マップを作成する（ステップＳ５０２）。次に、物体検出部（１ｏ）により物体検出結果を取得し（ステップＳ５０３）、注目すべき物体が存在するかどうかを判定し（ステップＳ５０４）、注目すべき物体が存在する場合は物***置情報に基づく第２ＬＡ補正強度マップを作成し（ステップＳ５０５）、第１ＬＡ補正強度マップと第２ＬＡ補正強度マップを合成する（ステップＳ５０６）。ステップＳ５０４において注目すべき物体が存在しない場合には、第１ＬＡ補正強度マップのみが使用される。なお、ここで示した処理順はこれに限ったものではなく、第１ＬＡ補正強度マップの前に、第２ＬＡ補正強度マップを作成してもよい。

図１に示した本実施形態の画像処理装置（１ａ）は、ハードウェアによって実装されてもよいし、搭載される画像処理方法の一部がソフトウェアによって実装された、ミドルウェアによって実装されてもよい。

図６は、第一の実施形態に係る画像処理装置のＳｏＣでの構成例を示すブロック図である。画像処理装置（６ａ）には、バックライト制御部（６ｎ）が付属する液晶などの表示パネル（６ｍ）と、映像信号を入力する映像機器（６ｂ）とが接続される。さらに、外光センサ（６ｃ）が接続されてもよい。映像機器（６ｂ）は、例えば、カメラ、ブルーレイやＤＶＤなどの映像コンテンツメディアプレーヤー、ディジタルテレビジョン受像機（ＤＴＶ）などである。画像処理装置（６ａ）は、映像処理ユニット（６ｄ）、ＣＰＵ（６ｊ）、ＲＯＭ（６ｋ）、ＲＡＭ（６ｉ）、バックライト制御インターフェース（Ｉ／Ｆ）ユニット（６ｇ）、通信インターフェース（Ｉ／Ｆ）ユニット（６ｈ）、その他の周辺ユニット（６ｌ）が、バスを介して互いに接続されて構成される。

映像処理ユニット（６ｄ）は、映像機器（６ｂ）から入力される映像信号を受信して、ＲＯＭ（６ｋ）に格納されるソフトウェアによって実装された物体検出部（不図示）、輝度変調部（６ｅ）及びヒストグラム検出部（６ｆ）にそれぞれ供給し、輝度変調部（６ｅ）から出力される映像出力信号を液晶パネルに出力する。バックライト制御インターフェース（Ｉ／Ｆ）ユニット（６ｇ）は、バックライト制御信号を、接続される表示パネルのバックライト制御部（６ｎ）に出力する。外光センサ（６ｃ）が接続され場合には、例えばＩ２Ｃ（Inter-Integrated Circuit）などの通信インターフェース（Ｉ／Ｆ）ユニット（６ｈ）に接続される。

輝度変調部（６ｅ）、ヒストグラム検出部（６ｆ）、バックライト制御インターフェース（Ｉ／Ｆ）ユニット（６ｇ）及び通信インターフェース（Ｉ／Ｆ）ユニット（６ｈ）は、それぞれ、ＣＰＵ（６ｊ）からバスを介してアクセス可能である。映像処理ユニット（６ｄ）内の各処理部（図１に示すピーク値検出部（１ｃ）、ピークＡＣＬ制御ゲイン算出部（１ｄ）、ヒストグラム変調部（１ｅ）、輝度分布率算出部（１ｆ）、絵柄適応ガンマ特性算出部（１ｇ）、輝度変調用ゲイン算出部（１ｊ）、物体検出部（１ｏ）、ＬＡ補正強度部（１ｐ）及びトータル制御ゲイン算出部（１ｉ））は、ＲＯＭ（６ｋ）に格納されるソフトウェアによって実装され、トータル制御ゲイン算出部（不図示）によって算出されたトータル制御ゲインは、バスを介して輝度変調部（６ｅ）に設定される。

図１に示すバックライト制御ゲイン算出部（１ｋ）とゲイン変換部（１ｌ）も同様に、ＲＯＭ（６ｋ）に格納されるソフトウェアによって実装され、ゲイン変換部によって算出されたバックライト制御ゲインは、バックライト制御インターフェース（Ｉ／Ｆ）ユニット（６ｇ）を介してバックライト制御信号として出力される。

図６に示される構成は一例に過ぎず、種々変更可能である。例えば、映像処理ユニット（６ｄ）に含まれるハードウェアの一部をソフトウェアで実装されるように変更してもよいし、逆に他の機能をハードウェアで実装して映像表示ユニットに含まれるように変更してもよい。ＣＰＵ（６ｊ）は単一の如何なるアーキテクチャのプロセッサでも良く、複数のプロセッサを含むマルチプロセッサユニットであってもよい。また、ＣＰＵ（６ｊ）またはこれに代わるプロセッサ、マルチプロセッサは、キャッシュメモリやローカルメモリを備えていてもよい。また、バスは階層化されていてもよい。ＲＯＭ（６ｋ）はフラッシュメモリなどの電気的に書き換え可能な不揮発性メモリであってもよく、或いは、不揮発性メモリを搭載しないＳｏＣによって構成し、パワーアップシーケンス等においてソフトウェアをロードしてもよい。

（第一の実施形態の効果）
ＧＡの特徴量をもとにＬＡ毎に補正強度マップを作成して補正強度を決定し、決定した各ＬＡの補正強度に応じて、ピークＡＣＬ制御ゲイン算出部及び輝度変調用ゲイン算出部から得られた複数の変調ゲイン値（ガンマ補正カーブ）を乗じ、トータルゲイン値（ガンマ補正カーブ）を算出する。これにより得られたトータルゲイン値を入力画像に適用することで、高画質で視認性のよい画像が生成できる。

（第二の実施形態）
第二の実施形態に係る画像処理装置は第一の実施形態の画像処理装置を自動車等の車両に搭載して運用することを想定し、改良したものである。第二の実施形態における画像処理装置は、電子ミラー、リアビュー、サラウンドビュー等のカメラ映像の表示をドライバーの運転補助の目的で使用する車載カメラシステムに搭載される。第二の実施形態に係る画像処理装置（７ａ）は、図７に示す通り、走行情報を基に、運転シーンを判別する運転シーン判別部（７ｑ）がある点が第一の実施形態と異なる。図７の符号７ｘ（ｘ＝ａ，ｂ，ｃ，・・・，ｐ）のそれぞれは図１の符号１ｘ（ｘ＝ａ，ｂ，ｃ，・・・，ｐ）に対応する。

運転シーン判別部（７ｑ）は、ＥＣＵ（Electronic Control Unit）を介して得られた車速やステアリング制御の情報（走行情報）から運転シーンを判別する。運転シーン判別部（７ｑ）では、画像処理装置（７ａ）が搭載された車両が高速で走っているのかまたは、低速で走っているのか、車両前方の右側に向かっているのかまたは左側に向かっているのかなどを判別する。そして、その判別結果である運転情報をＬＡ補正強度部（７ｐ）に供給し、ＬＡ補正強度部（７ｐ）は運転情報を考慮したＬＡごとの補正強度（第三の補正強度）を設定するため、第３ＬＡ補正強度マップを作成する。運転情報は車両の車速、車両の進行方向の何れか一つ、または組み合わせた情報である。

例えば、車が高速で走行していることを判別した場合、遠方から近づくオブジェクトの視認が重要となるため、ＬＡ補正強度部（７ｐ）は、図８（Ａ）に示す画像の上部が他の部分よりも重要になるように、図８（Ｂ）に示すような重要度を設定したＬＡ補正強度マップを作成する。また、車が中速で走行していることを判別した場合、中央のオブジェクトの視認が重要となるため、ＬＡ補正強度部（７ｐ）は、図９（Ａ）に示す画像の中央が他の部分よりも重要になるように、図９（Ｂ）に示すような重要度を設定したＬＡ補正強度マップを作成する。また、駐停車中の場合は低速走行かつ車両周辺の情報が重要となるため、ＬＡ補正強度部（７ｐ）は、図１０（Ａ）に示す画像の下部が他の部分よりも重要になるように、図１０（Ｂ）に示すような重要度を設定したＬＡ補正強度マップを作成する。

さらに、ステアリング制御に連動させ、進行方向にあわせて重要領域を設定することで運転シーンにあわせた補正強度の制御をしてもよい。左折時は、ＬＡ補正強度部（７ｐ）は、図１１（Ａ）に示す画像の左側が他の部分よりも重要になるように、図１１（Ｂ）に示すような重要度を設定したＬＡ補正強度マップを作成する。また、右折時は、ＬＡ補正強度部（７ｐ）は、図１２（Ａ）に示す画像の左側が他の部分よりも重要になるように、図１２（Ｂ）に示すような重要度を設定したＬＡ補正強度マップを作成する。最後に、第３ＬＡ補正強度マップと第一の実施形態に係る第１ＬＡ補正強度マップ及び第２ＬＡ補正強度マップとを加算することで、トータル制御ゲイン算出部（７ｉ）に供給する補正強度マップを決定する。

図１３は、第二の実施形態における補正強度マップ作成処理をフローにしたものである。輝度分布状態の解析結果を取得し（ステップＳ１３０１）、白飛びや黒潰れを防ぐための補正に必要な第１ＬＡ補正強度マップを作成する（ステップＳ１３０２）。次に、物体検出部（７ｏ）により物体検出結果を取得し（ステップＳ１３０３）、注目すべき物体が存在するかどうかを判定し（ステップＳ１３０４）、注目すべき物体が存在する場合は物***置情報に基づく第２ＬＡ補正強度マップを作成する（ステップＳ１３０５）。運転シーン判別部（７ｑ）により運転シーン判別結果を取得し（ステップＳ１３０６）、運転シーンに基づく第３ＬＡ補正強度マップを作成する（ステップＳ１３０７）。次に、第１ＬＡ補正強度マップ、第２ＬＡ補正強度マップ及び第３ＬＡ補正強度マップを合成し、補正に使用する補正強度マップを作成する（ステップＳ１３０８）。ステップＳ１３０４において注目すべき物体が存在しない場合には、ステップＳ１３０６及びステップＳ１３０７の処理を行い、ステップＳ１３０８において第１ＬＡ補正強度マップと第３補正強度マップを合成し、補正に使用する補正強度マップを作成する。なお、ここで示した処理順はこれに限ったものではなく、第１ＬＡ補正強度マップの前に、第３ＬＡ補正強度マップを作成してもよい。

図１４は、第二の実施形態の画像処理装置のＳｏＣでの構成例を示すブロック図である。第一の実施形態との違いとしては、ＥＣＵ（１４ｏ）が、例えばＩ２Ｃ等の通信インターフェース（Ｉ／Ｆ）ユニット（１４ｈ）に接続されている点である。運転シーン判別部（不図示）は、ＣＰＵからバスを介してアクセス可能である。運転シーン判別部は、ＲＯＭ（１４ｋ）に格納されるソフトウェアによって実装されている。これは、図６に示される構成のように、一例に過ぎず、種々変更可能である。図１４の符号１４ｘ（ｘ＝ａ，ｂ，ｃ，・・・，ｎ）のそれぞれは図６の符号６ｘ（ｘ＝ａ，ｂ，ｃ，・・・，ｎ）に対応する。

（第二の実施形態の効果）
車載カメラ以外の車載システムの情報としての走行情報を基に、運転シーンを判別する運転シーン判別部が追加したことで、物体検出部だけでは検出できない未知のオブジェクトが存在する場合でも、ＬＡごとの補正の重み付けを変更することで、運転シーンにあわせた最適な輝度値の補正が可能になり、高画質で視認性のよい画像が生成できる。

（変形例）
物体検出部のオブジェクト位置座標情報をもとに、ＬＡのグループ化を実施し、グループ化された領域ごとにガンマ補正カーブの算出を実施する。これにより、処理量を削減しつつグループ化によるオブジェクトに特化した補正が可能になる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

第二の実施形態では車載カメラシステムにおける画像処理装置について説明したが、本発明はこれに限定されるものではなく、映像信号処理全般（例えば、ＮＡＶＩ（Navigation）、カーエンターテイメント等のカー製品、ＤＴＶ（Digital Television）、ＰＣ（Personal Computer）、モニタ等のホーム製品、タブレット、スマートフォン等のモバイル製品）に適用可能である。

１ａ、６ａ、７ａ、１４ａ、１５ａ 画像処理装置
１ｂ、６ｆ、７ｂ、１４ｆ、１５ｂ ヒストグラム検出部
１ｃ、７ｃ、１５ｃ ピーク値検出部
１ｄ、７ｄ、１５ｄ ピークＡＣＬ制御ゲイン算出部
１ｅ、６ｆ、７ｅ、１５ｅ ヒストグラム変調部
１ｆ、７ｆ、１５ｆ 輝度分布率算出部
１ｇ、７ｇ、１５ｇ 絵柄適応ガンマ特性算出部
１ｈ、６ｅ、７ｈ、１４ｅ、１５ｈ 輝度変調部
１ｉ、７ｉ、１５ｉ トータル制御ゲイン算出部
１ｊ、７ｊ、１５ｊ 輝度変調用ゲイン算出部
１ｋ、７ｋ、１５ｋ バックライト制御ゲイン算出部
１ｌ、７ｌ、１５ｌ ゲイン変換部
１ｍ、６ｍ、７ｍ、１４ｍ、１５ｍ 液晶パネル
１ｎ、６ｎ、７ｎ、１４ｎ、１５ｎ バックライト制御部
１ｏ、７ｏ 物体検出部
１ｐ、７ｐ ＬＡ補正強度部
７ｑ 運転シーン判別部
６ｂ、１４ｂ 映像機器
６ｃ、１４ｃ 外光センサ
６ｄ、１４ｄ 映像処理ユニット
６ｇ、１４ｇ バックライト制御インターフェース（Ｉ／Ｆ）ユニット
６ｈ、１４ｈ 通信インターフェース（Ｉ／Ｆ）ユニット
６ｉ、１４ｉ ＲＡＭ
６ｊ、１４ｊ ＣＰＵ
６ｋ、１４ｋ ＲＯＭ
６ｌ、１４ｌ 周辺ユニット
１４ｏ ＥＣＵ

Claims (10)

1. 車載カメラからの映像入力信号から映像出力信号及びバックライト制御信号を生成し表示装置に出力する画像処理装置であって、
   前記映像入力信号から映像の全体領域と、前記全体領域を複数の領域に分割した分割領域を取得して、前記全体領域の輝度値の特徴を示す第一の特徴データと、前記分割領域ごとの輝度値の特徴を示す第二の特徴データ群とを算出する特徴データ算出部と、
   前記映像入力信号から映像に含まれている車両および人を含むオブジェクトを検出し、検出された前記オブジェクトの位置情報を含むオブジェクト情報を出力する検出部と、
   前記画像処理装置が搭載される車両の車速およびステアリング制御の情報である走行情報から前記映像入力信号の運転シーンを判別し、運転情報を出力する判別部と、
   前記第一の特徴データと前記第二の特徴データ群とから前記分割領域ごとの第一の補正強度を設定し、前記オブジェクト情報に基づいて第二の補正強度を設定し、前記運転情報に基づいて第三の補正強度を設定する補正強度部と、
   前記第一の補正強度と前記第二の補正強度と前記第三の補正強度に基づいて補正データを調整する補正データ算出部と、
   前記補正データに基づいて前記全体領域の映像補正を行って前記映像出力信号を生成する補正処理部と、
   を有し、
   前記補正強度部は、前記第一の特徴データと前記第二の特徴データ群とを比較し、各前記分割領域に対して、補正後に隣合う前記分割領域間で輝度値の逆転や白飛び・黒潰れが発生するかどうかを判定し、隣合う前記分割領域間で輝度値の逆転や白飛び・黒潰れが発生すると判定した前記分割領域には、対応するテーブルの要素に、不自然なグラデーションが発生しない程度の弱い補正強度を前記第一の補正強度として設定する、画像処理装置。
2. 前記全体領域の画素の輝度値および各前記分割領域の画素の輝度値についての頻度分布を算出するヒストグラム検出部と、
   前記全体領域の前記頻度分布に基づいて前記全体領域の輝度値の中で最も高い輝度値（ＧＡ最高輝度値）および各前記分割領域の前記頻度分布に基づいて各前記分割領域の輝度値の中で最も高い輝度値（ＬＡ最高輝度値）を検出するピーク値検出部と、
   前記ＧＡ最高輝度値に応じたゲインであるＧＡピーク制御ゲインおよび前記ＬＡ最高輝度値に応じたゲインであるＬＡピーク制御ゲインを算出するピーク制御ゲイン算出部と、
   前記全体領域の前記頻度分布及び各前記分割領域の前記頻度分布に対して、前記ＧＡピーク制御ゲインおよび各前記ＬＡピーク制御ゲインのそれぞれで変調処理を行うヒストグラム変調部と、をさらに有し、
   前記特徴データ算出部は、さらに、前記ＧＡピーク制御ゲインで変調処理された前記全体領域の前記頻度分布の分布状態および各前記ＬＡピーク制御ゲインで変調処理された各前記分割領域の前記頻度分布のそれぞれの分布状態に基づいて輝度分布率を算出する、請求項１記載の画像処理装置。
3. 前記輝度分布率に応じて、前記全体領域及び各前記分割領域に適切なガンマ特性を算出する絵柄適応ガンマ特性算出部と、
   前記ガンマ特性に従って、前記全体領域の輝度変調用ゲイン及び各前記分割領域の輝度変調用ゲインを算出する輝度変調用ゲイン算出部と、
   をさらに有し、
   前記補正データ算出部は、前記ＧＡピーク制御ゲイン、各前記ＬＡピーク制御ゲイン、前記全体領域の輝度変調用ゲイン及び各前記分割領域の輝度変調用ゲインを、ユーザ設定のＭＩＸ比または前記分割領域毎の前記第一の補正強度および前記第二の補正強度に基づいてトータルゲイン値を算出し、
   前記補正処理部は、前記トータルゲイン値を使用して前記映像入力信号の１画素毎の輝度をその輝度の値に応じて別の輝度に変換する輝度変調を行って前記映像出力信号を生成する、請求項２記載の画像処理装置。
4. 前記特徴データ算出部は、前記頻度分布に対して、輝度ごとの重み付けを行う前処理を行い、その重み付け後の前記頻度分布の検出値を累積し、その値から分布率を算出する、請求項２記載の画像処理装置。
5. 前記第一の特徴データと前記第二の特徴データ群は、少なくとも輝度値の最大値、最小値、平均値、ヒストグラムのいずれか一つを含んでいる、請求項１記載の画像処理装置。
6. 前記第一の補正強度、前記第二の補正強度、および前記第三の補正強度は、前記分割領域ごとの補正強度が設定されたマップ形式のデータである、請求項１記載の画像処理装置。
7. 車載カメラからの映像入力信号から映像出力信号及びバックライト制御信号を生成し表示装置に出力する画像処理装置における画像処理方法であって、
   前記映像入力信号から映像の全体領域と、前記全体領域を複数の領域に分割した分割領域を取得して、前記全体領域の輝度値の特徴を示す第一の特徴データと、前記分割領域ごとの輝度値の特徴を示す第二の特徴データ群とを算出する特徴データ算出ステップと、
   前記映像入力信号から映像に含まれている車両および人を含むオブジェクトを検出し、検出された前記オブジェクトの位置情報を含むオブジェクト情報を出力する検出ステップと、
   前記画像処理装置が搭載される車両の車速およびステアリング制御の情報である走行情報から前記映像入力信号の運転シーンを判別し、運転情報を出力する判別ステップと、
   前記第一の特徴データと前記第二の特徴データ群とから前記分割領域ごとの第一の補正強度を設定し、前記オブジェクト情報に基づいて第二の補正強度を設定し、前記運転情報に基づいて第三の補正強度を設定する補正強度ステップと、
   前記第一の補正強度と前記第二の補正強度と前記第三の補正強度に基づいて補正データを調整する補正データ算出ステップと、
   前記補正データに基づいて前記全体領域の映像補正を行って前記映像出力信号を生成する補正処理ステップと、
   を有し、
   前記補正強度ステップは、前記第一の特徴データと前記第二の特徴データ群とを比較し、各前記分割領域に対して、補正後に隣合う前記分割領域間で輝度値の逆転や白飛び・黒潰れが発生するかどうかを判定し、隣合う前記分割領域間で輝度値の逆転や白飛び・黒潰れが発生すると判定した前記分割領域には、対応するテーブルの要素に、不自然なグラデーションが発生しない程度の弱い補正強度を前記第一の補正強度として設定する、画像処理方法。
8. 前記全体領域の画素の輝度値および各前記分割領域の画素の輝度値についての頻度分布を算出するヒストグラム検出ステップと、
   前記全体領域の前記頻度分布に基づいて前記全体領域の輝度値の中で最も高い輝度値（ＧＡ最高輝度値）および各前記分割領域の前記頻度分布に基づいて各前記分割領域の輝度値の中で最も高い輝度値（ＬＡ最高輝度値）を検出するピーク値検出ステップと、
   前記ＧＡ最高輝度値に応じたゲインであるＧＡピーク制御ゲインおよび前記ＬＡ最高輝度値に応じたゲインであるＬＡピーク制御ゲインを算出するピーク制御ゲイン算出ステップと、
   前記全体領域の前記頻度分布及び各前記分割領域の前記頻度分布に対して、前記ＧＡピーク制御ゲインおよび各前記ＬＡピーク制御ゲインのそれぞれで変調処理を行うヒストグラム変調ステップと、をさらに有し、
   前記特徴データ算出ステップは、さらに、前記ＧＡピーク制御ゲインで変調処理された前記全体領域の前記頻度分布の分布状態および各前記ＬＡピーク制御ゲインで変調処理された各前記分割領域の前記頻度分布のそれぞれの分布状態に基づいて輝度分布率を算出する、請求項７記載の画像処理方法。
9. 前記輝度分布率に応じて、前記全体領域及び各前記分割領域に適切なガンマ特性を算出する絵柄適応ガンマ特性算出ステップと、
   前記ガンマ特性に従って、前記全体領域の輝度変調用ゲイン及び各前記分割領域の輝度変調用ゲインを算出する輝度変調用ゲイン算出ステップと、
   をさらに有し、
   前記補正データ算出ステップは、前記ＧＡピーク制御ゲイン、各前記ＬＡピーク制御ゲイン、前記全体領域の輝度変調用ゲイン及び各前記分割領域の輝度変調用ゲインを、ユーザ設定のＭＩＸ比または前記分割領域毎の前記第一の補正強度および前記第二の補正強度に基づいてトータルゲイン値を算出し、
   前記補正処理ステップは、前記トータルゲイン値を使用して前記映像入力信号の１画素毎の輝度をその輝度の値に応じて別の輝度に変換する輝度変調を行って前記映像出力信号を生成する、請求項８記載の画像処理方法。
10. 前記特徴データ算出ステップは、前記頻度分布に対して、輝度ごとの重み付けを行う前処理を行い、その重み付け後の前記頻度分布の検出値を累積し、その値から分布率を算出する、請求項８記載の画像処理方法。

Images