JP7279613B2 - 画像処理装置 - Google Patents

Description

本開示は、画像処理装置に関する。

例えば、下記特許文献１には、カメラを用いて撮像した撮像画像に対して、輝度補正を行う、という技術が開示されている。

特開２０１６－１１１４７５号公報

輝度補正を行うことにより、対象画像の明度、コントラスト等が補正される。輝度補正においては、輝度の入力と出力との関係を示したトーンカーブが用いられる。上述の従来技術では、輝度補正を行う際に、輝度の入出力関係が予め定められたトーンカーブが用いられる。

しかしながら、発明者の詳細な検討の結果、上述の従来技術では、トーンカーブの入出力関係が固定されているため、撮像シーンに応じて適正な補正画像を得ることができない、という課題が見出された。

本開示は、撮像シーンに応じて適正な補正画像を得ることができる画像処理装置を提供する。

本開示の１つの局面は、画像処理装置（１２）である。画像処理装置は、画像取得部（３１、Ｓ１）と、ヒストグラム生成部（３２、Ｓ２）と、画像補正部（３５、Ｓ７）と、を備える。画像取得部は、車両に搭載されたカメラから撮像画像を取得するように構成される。ヒストグラム生成部は、撮像画像について、輝度と画素数との関係を表すヒストグラムを生成するように構成される。画像補正部は、撮像画像における輝度と画素数との関係を撮像画像のヒストグラムに基づいて補正するための補正用トーンカーブ、を生成し、補正用トーンカーブを用いて撮像画像を補正して補正画像を生成するように構成される。補正用トーンカーブは、輝度の入力値と出力値との関係を示すトーンカーブである。

撮像画像のヒストグラムは撮像シーンに応じて異なる。本開示の１つの局面によれば、 画像処理装置は、撮像画像のヒストグラムに基づいて補正用トーンカーブを生成し、補正用トーンカーブを用いて撮像画像における輝度の補正を行う。そのため、撮像画像の撮像シーンに応じた補正用トーンカーブで輝度の補正を行うことができる。即ち、撮像シーンに応じた適正な補正画像を得ることができる。

画像処理システムの構成を示すブロック図。 画像処理装置の機能を示すブロック図。 画像生成処理のフローチャート。 線形トーンカーブの例を説明する説明図。 対数トーンカーブの例を説明する説明図。 平坦化トーンカーブの例を説明する説明図。 補正処理のフローチャート。 合成割合処理のフローチャート＿１／２。 合成割合処理のフローチャート＿２／２。 分布平均値情報の例を示す説明図。 分布幅情報の例を示す説明図。 頂上輝度情報の例を示す説明図。 補正用（すなわち、合成）トーンカーブの例を説明する説明図。 第１シーン及び第２シーンのヒストグラムにおける分布平均値の例を示す説明図。 第３シーン及び第４シーンのヒストグラムにおける分布幅の例を示す説明図。 第５シーン及び第６シーンのヒストグラムにおける頂上輝度差の例を示す説明図。

以下、図面を参照しながら、本開示を実施するための例示的な形態を説明する。
［１．構成］
まず、本実施形態に係る画像処理装置１２が適用される画像処理システム１００の構成について、図１を参照して説明する。本実施形態に係る画像処理システム１００は、車両に搭載されるシステムである。画像処理システム１００は、車載カメラ１１と、画像処理装置１２と、を備える。画像処理システム１００は、画像記録装置１３と、車両制御装置１４と、を備えてもよい。車載カメラ１１、画像記録装置１３及び車両制御装置１４は、画像処理装置１２に信号線で接続されている。

車載カメラ１１は、例えば、車両前方の路面の所定範囲が撮像範囲となるように、例えば、前方のウィンドシールドに設置される。車載カメラ１１は、予め設定された時間間隔で、例えば、毎秒６０回繰り返し撮像する。そして、車載カメラ１１は、撮像した画像をデジタル信号化して画像処理装置１２へ出力する。なお、車載カメラ１１の取付位置、車載カメラ１１による撮像範囲、車載カメラ１１による撮像周期は、任意に定められてよい。

画像記録装置１３は、運転者の視野範囲内に、例えば前方のウィンドシールドに設置される。画像記録装置１３は、画像処理装置１２から出力される補正画像を記録または表示する。

車両制御装置１４は、ＥＣＵであり、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを含むマイクロコンピュータを備える。車両制御装置１４は、例えば、画像処理装置１２から出力される補正画像に基づいて区画線を推定し、推定結果に基づいて警報出力制御や走行制御の走行支援を実行する。警報出力制御は、車両が車線を逸脱しそうな場合に警報の出力を実行する制御である。また、走行制御は、車線内を走行するように実行する車両の操舵の制御やブレーキの制御である。

画像処理装置１２は、ＥＣＵであり、ＣＰＵ２１、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリ（以下、メモリ）２２を含むマイクロコンピュータを備える。画像処理装置１２は、ＣＰＵ２１が非遷移有形記録媒体に格納されたプログラムを実行することにより、図２に示すような各機能を実現する。メモリ２２が、コンピュータプログラムを格納する非遷移有形記録媒体に該当する。また、このコンピュータプログラムの実行により、コンピュータプログラムに対応する方法が実行される。

画像処理装置１２は、図２に示すように、画像取得部３１、ヒストグラム生成部３２、基本トーンカーブ部３３、画像補正部３４、及び出力部３５の機能を備える。
画像取得部３１は、車載カメラ１１により撮像された画像を取得する。なお、撮像画像は、各画素のデータとして赤色成分値、緑色成分値、及び青色成分値を有するカラー画像である。但し、撮像画像はいずれかの色成分値のみ、または白黒画像であってもよい。

ヒストグラム生成部３２は、撮像画像に基づいて、撮像画像のヒストグラムを生成する。ヒストグラムとは、輝度毎の画素の画素数（以下、度数ともいう）を表すものである。輝度は画素値である。なお、カラー画像では、赤色成分、緑色成分、及び青色成分毎にヒストグラムが生成される。

基本トーンカーブ部３３は、撮像画像のヒストグラムに基づいて、複数の基本トーンカーブを生成する。複数の基本トーンカーブは、特性の異なる、複数のトーンカーブである。本実施形態では、線形トーンカーブ、対数トーンカーブ、平坦化トーンカーブの３つのトーンカーブを基本トーンカーブとして生成する。

画像補正部３４は、ヒストグラムの分布に基づいて、補正用トーンカーブを生成し、補正用トーンカーブに基づいて撮像画像の輝度補正を行う。補正用トーンカーブとは撮像画像の輝度補正を行うためのトーンカーブであり、複数の基本トーンカーブを基本トーンカーブ毎に決定された合成割合で合成することにより生成される。

出力部３５は、補正像画像を出力する。補正画像とは、撮像画像を補正用トーンカーブによって補正した画像である。
なお、後述する画像生成処理において、Ｓ１が画像取得部３１としての処理に相当し、Ｓ２がヒストグラム生成部３２としての処理に相当し、Ｓ３－Ｓ６が基本トーンカーブ部３３としての処理に相当する。また、Ｓ７が画像補正部３４としての処理に相当し、Ｓ８が出力部３５としての処理に相当する。

［２．処理］
［２－１．画像生成処理］
次に、画像処理装置１２が実行する画像生成処理について、図３のフローチャートを用いて説明する。画像生成処理は、本実施形態では、車載カメラ１１にて撮像画像が取得される毎に起動される。

画像処理装置１２は、Ｓ１では、 車載カメラ１１から撮像画像を取得する。以下、本ステップで取得した撮像画像を取得画像という。
画像処理装置１２は、Ｓ２では、取得画像について、ヒストグラムを生成する。

画像処理装置１２は、Ｓ３では、適用範囲を決定する。ここでいう適用範囲とは、取得画像において輝度補正を行う際の輝度の範囲をいう。適用範囲を決定するとは、ヒストグラムにおいて、最小の輝度である最小明るさと、最大の輝度である最大明るさと、を特定することをいう。最小明るさから最大明るさ迄の輝度の範囲が、基本トーンカーブが適用される適用範囲として決定される。

ここで、例えば、画像処理装置１２は、取得画像のヒストグラムにおいて、輝度の上限値から所定の割合を除いた上限値を最大明るさとしてもよい。また例えば、上限値にメディアンフィルタ等のフィルタを用いて時間的な変化を平滑化してもよい。また例えば、取得画像に含まれる可能性のある物標毎に輝度の上限値が予め定められていてもよい。そして、画像処理装置１２は、取得画像に含まれる物標を特定し、該物標について予め定められた輝度の上限値よりも明るい区間にヒストグラムが存在しても、該物標の輝度の上限値を最大明るさとして用いてもよい。

一方、例えば、画像処理装置１２は、取得画像のヒストグラムにおいて、輝度の下限値から所定の割合を除いた下限値を最小明るさとしてもよい。また例えば、下限値にメディアンフィルタ等のフィルタを用いて時間的な変化を平滑化してもよい。また例えば、取得画像に含まれる可能性のある物標毎に輝度の下限値が予め定められていてもよい。そして、画像処理装置１２は、取得画像に含まれる物標を特定し、該物標について予め定められた輝度の下限値よりも暗い区間にヒストグラムが存在しても、該物標の輝度の下限値を最小明るさとして用いてもよい。

画像処理装置１２は、Ｓ４－Ｓ６では、取得画像のヒストグラムに応じて、複数の異なる基本トーンカーブを生成する。トーンカーブとは、輝度について入力値と出力値との関係を定めたものである。基本トーンカーブには、線形トーンカーブ、対数トーンカーブ、及び平坦化トーンカーブが含まれる。

画像処理装置１２は、Ｓ４では、線形トーンカーブを生成する。線形トーンカーブとは、輝度の入力値と出力値との関係が線形で表されるトーンカーブである。線形トーンカーブの例を図４に示す。線形トーンカーブは、例えば、最大明るさを画素値の最大値（以下、最大画素値）とするように、（１）式で表される。ｎビットの画素値は０～２ⁿ－１で表され、２ⁿ－１が最大画素値に相当する。ｎは１以上の整数である。例えば、本実施形態では画素値は１６ビットで表され得る。

ここで、ｘは輝度の入力値であり、linear_out(x)は輝度の出力値であり、hist_maxは最大明るさであり、out_maxは、最大画素値である。線形トーンカーブによって、ｘがhist_maxのときのlinear_out(x)が最大画素値となる。

画像処理装置１２は（１）式をメモリ２２に記憶する。具体的には、画像処理装置１２は、（１）式を記述するための各パラメータ（すなわち、hist_maxや最大画素値）を、メモリ２２に記憶する。

画像処理装置１２は、Ｓ５では、対数トーンカーブを生成する。対数トーンカーブとは、輝度の入力値と出力値との関係が対数で表されるトーンカーブである。対数トーンカーブの例を図５に示す。対数トーンカーブは、最大明るさを最大画素値、最小明るさを画素の最小値（以下、最小画素値）とするように、（２）式－（４）式で表される。

ここで、ｘは輝度の入力値であり、log_out(x)は輝度の出力値であり、hist_maxは最大明るさであり、hist_minは最小明るさであり、out_maxは、最大画素値である。（２）式において、ａは（３）式のように表され、ｂは（４）式のように表される。画像処理装置１２は（２）式－（４）式をメモリ２２に記憶する。具体的には、画像処理装置１２は、（２）式－（４）式を記述するための各パラメータ（すなわち、hist_max、hist_min、最大画素値）を、メモリ２２に記憶する。

画像処理装置１２は、Ｓ６では、平坦化トーンカーブを生成する。平坦化トーンカーブとは、輝度の入力値と出力値との関係が、ヒストグラムの度数（すなわち、画素数）を平坦化するように対応付けられるトーンカーブである。平坦化トーンカーブの例を図６に示す。平坦化トーンカーブは、（５）式－（６）式のように表される。

ここで、Ｈは、取得画像のヒストグラムのビンの分解能を表す予め定められた定数であり、メモリ２２に予め記憶されている。out_maxは、最大画素値である。Hist_totalは、総画素数である。総画素数とは、取得画像における画素数の総和である。bin(i)は、ヒストグラムのビン毎の度数である。

画像処理装置１２は（５）式－（６）式をメモリ２２に記憶する。具体的には、画像処理装置１２は、（５）式－（６）式を記述するための各パラメータ（すなわち、Ｈ、out_max、hist_total）を、メモリ２２に記憶する。

画像処理装置１２は、Ｓ７では、補正処理を実行する。補正処理は、補正用トーンカーブを取得画像のヒストグラムに基づいて生成し、補正用トーンカーブによって取得画像における輝度と画素数との関係を補正して補正画像を生成する処理である。補正処理の詳細は後述する。

画像処理装置１２は、Ｓ８では、補正画像を画像記録装置１３、車両制御装置１４へ出力し、以上で画像生成処理を終了する。
［２－２．補正処理］
画像処理装置１２が、画像生成処理のＳ７にて実行する補正処理について、図７に示すフローチャートを用いて説明する。

画像処理装置１２は、Ｓ１０では、複数の基本トーンカーブを取得する。つまり、線形トーンカーブと、対数トーンカーブと、平坦化トーンカーブと、を取得する。
画像処理装置１２は、Ｓ２０では、合成割合処理を実行する。合成割合処理は、複数の基本トーンカーブを合成して補正用トーンカーブを生成する際の、基本トーンカーブそれぞれの合成割合を、取得画像のヒストグラムに基づいて決定する処理である。合成割合とは、複数の基本トーンカーブを合成して合成トーンカーブ（すなわち、補正用トーンカーブ）を生成する際の、それぞれの基本トーンカーブの割合である。

なお、それぞれの基本トーンカーブの合成割合を全て加算した値は１である。つまり、線形トーンカーブの合成割合（以下、Ａ値という）と、対数トーンカーブの合成割合（以下、Ｂ値という）と、平坦化トーンカーブの合成割合（以下、Ｃ値という）と、を全て加算した値は１である。合成割合処理の詳細は後述する。

画像処理装置１２は、Ｓ３０では、（７）式に示すように、Ｓ２０にて決定された合成割合で複数の基本トーンカーブそれぞれを合成して合成トーンカーブを生成する。

ｘは輝度の入力値であり、C_out(x)は合成トーンカーブによる輝度の出力値である。なお、合成トーンカーブの例を後述する図１３に示す。

画像処理装置１２は、Ｓ４０では、合成トーンカーブを補正用トーンカーブとして用いて、取得画像における輝度と画素数との関係を補正して、補正画像を生成する。補正画像とは、補正用トーンカーブ（すなわち、合成トーンカーブ）を用いて、取得画像における輝度と画素数との関係が補正された画像である。以上で、画像処理装置１２は補正処理を終了する。

［２－３．合成割合処理］
画像処理装置１２が、補正処理のＳ２０で実行する合成割合処理を、図８－図９のフローチャートを用いて説明する。合成割合処理は、ヒストグラムの分布平均値ｐ、ヒストグラムの分布幅ｑ、ヒストグラムにおいて輝度が離れた複数の山があるか否か、を検出し、検出結果に基づいて複数の基本トーンカーブそれぞれの合成割合を決定する。

ここで、分布平均値ｐとは、取得画像のヒストグラムにおいて、ヒストグラムの輝度とヒストグラムの画素数との積をヒストグラムのビン毎に計算して加算し総画素数で除算した値である。一方、分布幅ｑとは、取得画像のヒストグラムの輝度の幅である。つまり、分布幅ｑは、最大明るさと最小明るさとの輝度の差である。

また、輝度が離れた複数の山がある、とは、取得画像のヒストグラムにおいて、頂上輝度差ｒが所定値（すなわち、後述するＲｓ１）以上であること、をいう。頂上輝度差ｒとは、低頂上輝度と高頂上輝度との差である。ここで、低頂上輝度とは、ヒストグラムの変化（すなわち、度数の変化）を最小ビンから辿ったときに度数が増加から減少に転じる、最も小さい輝度である。高頂上輝度とは、ヒストグラムの変化（すなわち、度数の変化）を最大ビンから辿ったときに度数が増加から減少に転じる、最も大きい輝度である。

画像処理装置１２は、Ｓ１００では、線形トーンカーブ、対数トーンカーブ、平坦化トーンカーブについて、合成割合の初期値を取得する。合成割合の初期値は、予めメモリ２２に記憶されている。例えば、線形トーンカーブの合成割合（すなわち、Ａ値）の初期値はＡ０であり、対数トーンカーブの合成割合（すなわち、Ｂ値）の初期値はＢ０であり、平坦化トーンカーブの合成割合の初期値（すなわち、Ｃ値）はＣ０であるものとする。例えば、Ａ０、Ｂ０、Ｃ０は、それぞれ、１／３であってもよい。

画像処理装置１２は、Ｓ１０５では、取得画像のヒストグラムに基づいて分布平均値ｐを算出する。
画像処理装置１２は、Ｓ１１０では、分布平均値情報を取得する。分布平均値情報とは、例えば、分布平均値ｐと、基本トーンカーブそれぞれの重み付け値と、の対応を表した情報である。重み付け値とは、合成トーンカーブを生成する際に基本トーンカーブを寄与させる度合いを数値で表したものであり、１以下の数値で表され、数値が大きいほど合成トーンカーブを生成する際に寄与する度合いが大きいことを表す。分布平均値情報は、例えばテーブル形式で表されており、予めメモリ２２に記憶されている。なお、本実施形態では、重み付け値は、分布平均値、分布幅、輝度が離れた複数の山があるか否か、の検出結果毎に決定される。

本実施形態の分布平均値情報を図示した例を図１０に示す。図１０において、実線１０１ａで示される線形トーンカーブの重み付け値をｐａ値といい、点線１０２ａで示される対数トーンカーブの重み付け値をｐｂ値といい、一点鎖線１０３ａで示される平坦化トーンカーブの重み付け値をｐｃ値という。つまり、分布平均値情報は、分布平均値ｐが低くなるにつれて、ｐｂ値を増加させ且つｐａ値とｐｃ値とを減少させるように、分布平均値ｐと重み付け値ｐａ、ｐｂ、ｐｃとを対応付けた情報である。

なお、本実施形態では、分布平均値情報は、分布平均値ｐが予め定められた境界平均閾値Ｐｓ未満である場合に、ｐｂ値を１に設定し、ｐａ値とｐｃ値とを０に設定する。また、分布平均値情報は、分布平均値ｐ≧Ｐｓである場合に、同一の分布平均値ｐにおいて、ｐｂ＞ｐａ＞ｐｃとなるように、各重み付け値を設定する。

画像処理装置１２は、Ｓ１１５では、分布平均値ｐが境界平均閾値Ｐｓ以上であるか否かを判断する。Ｐｓは、例えば、夜に照明等が無く非常に暗い撮像シーンでの撮像画像における分布平均値である。境界平均閾値Ｐｓは、実験や学習等によって値が予め定められており、メモリ２２に記憶されている。画像処理装置１２は、分布平均値ｐが境界平均閾値Ｐｓ未満である場合に処理をＳ１２０へ移行させ、分布平均値ｐが境界平均閾値Ｐｓ以上である場合に処理をＳ１２５へ移行させる。なお、分布平均値ｐが境界平均閾値Ｐｓ未満であるということは、取得画像が上述のように相対的に非常に暗い撮像シーンで撮像されたことを意味する。

画像処理装置１２は、Ｓ１２０では、合成重み付け値を算出する。合成重み付け値とは、分布平均値、分布幅、輝度が離れた複数の山があるか否か、のうち少なくとも１つの検出結果に基づいて決定される、各基本トーンカーブの重み付け値に基づく値である。以下では、線形トーンカーブの合成重み付け値をｗａ値といい、対数トーンカーブの合成重み付け値をｗｂ値といい、平坦化トーンカーブの合成重み付け値をｗｃ値という。

画像処理装置１２は、本ステップでは、ｗｂ値を１（すなわち、１００％）に設定し、ｗａ値及びｗｃ値を０（すなわち、０％）に設定し、処理をＳ２００に移行させる。
画像処理装置１２は、Ｓ１２５では、分布平均値情報から、分布平均値に対応するｐａ値、ｐｂ値、及びｐｃ値を決定する。

画像処理装置１２は、Ｓ１３０では、合成重み付け値を決定する。本ステップでは、画像処理装置１２は、ｐａ値をｗａ値として決定し、ｐｂ値をｗｂ値として決定し、ｐｃ値をｗｃ値として決定する。画像処理装置１２は、ｗａ値、ｗｂ値、ｗｃ値をメモリ２２に保存する。

画像処理装置１２は、Ｓ１３５では、取得画像のヒストグラムに基づいて、分布幅ｑを検出する。
画像処理装置１２は、Ｓ１４０では、分布幅情報を取得する。分布幅情報とは、例えば、分布幅ｑと、基本トーンカーブそれぞれの重み付け値と、の対応を表した情報である。分布幅情報は、例えばテーブル形式で表されており、予めメモリ２２に記憶されている。

本実施形態の分布幅情報を図示した例を図１１に示す。図１１において、実線１０１ｂで示される線形トーンカーブの重み付け値をｑａ値といい、点線１０２ｂで示される対数トーンカーブの重み付け値をｑｂ値といい、一点鎖線１０３ｂで示される平坦化トーンカーブの重み付け値をｑｃ値という。つまり、分布幅情報は、分布幅ｑが広くなるにつれて、ｑｂ値とｑｃ値とを増加させ且つｑａ値を減少させるように、分布幅ｑとそれぞれの重み付け値ｑａ、ｑｂ、ｑｃとを対応付けた情報である。

なお、本実施形態では、分布幅情報は、分布幅ｑが予め定められた第２幅閾値Ｑｓ２未満である場合に、ｑa値を１に設定し、ｑb値とｑｃ値とを０に設定する。換言すると、分布幅情報は、Ｑｓ２≦ｑである場合に、分布幅ｑが狭くなるにつれてｑｂ値及びｑｃ値を減少させ且つｑａ値を増加させるように、それぞれの重み付け値を設定する。

画像処理装置１２は、Ｓ１４５では、分布幅ｑが第２幅閾値Ｑｓ２未満であるか否かを判断する。画像処理装置１２は、分布幅ｑが第２幅閾値Ｑｓ２未満である場合に処理をＳ１５０へ移行させ、分布幅ｑが第２幅閾値Ｑｓ２以上である場合に処理をＳ１６５へ移行させる。なお、分布幅ｑが第２幅閾値Ｑｓ２未満であるということは、相対的に、分布幅ｑが非常に狭いことを意味する。

画像処理装置１２は、Ｓ１５０では、合成重み付け値を決定する。画像処理装置１２は、本ステップでは、ｗａ値を１に設定し、ｗｂ値及びｗｃ値を０に設定し、処理をＳ２００に移行させる。

画像処理装置１２は、Ｓ１５５では、分布幅値情報から、分布幅ｑに対応するｑａ値、ｑｂ値、及びｑｃ値を決定する。
画像処理装置１２は、Ｓ１６０では、合成重み付け値を決定する。本ステップでは、画像処理装置１２は、ｗａ値とｑａ値との乗算値を新たなｗａ値として決定し、ｗｂ値とｑｂ値との乗算値を新たなｗｂ値として決定し、ｗｃ値とｑｃ値との乗算値を新たなｗｃ値として決定する。そして、画像処理装置１２は、新たなｗａ値、ｗｂ値、及びｗｃ値をメモリ２２に保存する。

画像処理装置１２は、Ｓ１６５では、頂上輝度差ｒを検出する。具体的には、画像処理装置１２は、取得画像のヒストグラムにおいて、低頂上輝度と高頂上輝度とを検出し、低頂上輝度と高頂上輝度との差を頂上輝度差ｒとして検出し、メモリ２２に記録する。

画像処理装置１２は、Ｓ１７０では、輝度差情報を取得する。輝度差情報とは、例えば、頂上輝度差ｒと、基本トーンカーブそれぞれの重み付け値と、の対応を表した情報である。輝度差情報は、例えばテーブル形式で表されており、予めメモリ２２に記憶されている。

本実施形態の輝度差情報を図示した例を図１２に示す。図１２において、実線１０１ｃで示される線形トーンカーブの重み付け値をｒａ値といい、点線１０２ｃで示される対数トーンカーブの重み付け値をｒｂ値といい、一点鎖線１０３ｃで示される平坦化トーンカーブの重み付け値をｒｃ値という。つまり、輝度差情報は、頂上輝度差ｒが大きくなるにつれて、ｒｃ値を増加させ且つｒａ値とｒｂ値とを減少させるように、頂上輝度差ｒとそれぞれの重み付け値ｒａ、ｒｂ、ｒｃとを対応付けた情報である。

なお、本実施形態では、輝度差情報は、頂上輝度差ｒが予め定められた第２輝度差閾値Ｒｓ２以上である場合に、ｒｃ値を１に設定し且つｒａ値とｒｂ値とを０に設定する。
画像処理装置１２は、Ｓ１７５では、取得画像のヒストグラムにおいて輝度が離れた複数の山があるか否か、を判断する。具体的には、画像処理装置１２は、頂上輝度差ｒが、予め定められた第１輝度差Ｒｓ１以上である場合に、輝度が離れた複数の山がある、と判断する。

ここで、画像処理装置１２は、輝度が離れた複数の山があると判断された場合に処理をＳ１８０に移行させる。一方、画像処理装置１２は、輝度が離れた複数の山がないと判断された場合に、処理をＳ２００へ移行させる。なお、輝度が離れた複数の山があることは、取得画像において相対的に明るいものと相対的に暗いものとが撮像されていることを意味する。つまり、輝度の分布に偏りがあることを意味する。

画像処理装置１２は、Ｓ１８０では、画像処理装置１２は、頂上輝度差ｒが、予め定められた第２輝度差閾値Ｒｓ２以上であるか否かを判断する。画像処理装置１２は、頂上輝度差ｒが第２輝度差閾値Ｒｓ２以上である場合に処理をＳ１８５へ移行させ、頂上輝度差ｒが第２輝度差閾値Ｒｓ２未満である場合に処理をＳ１９０へ移行させる。なお、頂上輝度差ｒが、予め定められた第２輝度差閾値Ｒｓ２以上であることは、取得画像において、輝度の分布について相対的に大きな偏りがあることを意味する。

画像処理装置１２は、Ｓ１８５では、合成重み付け値を決定する。画像処理装置１２は、本ステップでは、ｗｃ値を１に設定し、ｗａ値及びｗｂ値を０に設定し、処理をＳ２００に移行させる。

画像処理装置１２は、Ｓ１９０では、輝度差情報から、頂上輝度差ｒに対応するｒａ値、ｒｂ値、及びｒｃ値を決定する。
画像処理装置１２は、Ｓ１９５では、合成重み付け値を決定する。本ステップでは、画像処理装置１２は、ｗａ値とｒａ値との乗算値を新たなｗａ値として決定し、ｗｂ値とｒｂ値との乗算値を新たなｗｂ値として決定し、ｗｃ値とｒｃ値との乗算値を新たなｗｃ値として決定する。そして、画像処理装置１２は、新たなｗａ値、ｗｂ値、及びｗｃ値をメモリ２２に保存する。

画像処理装置１２は、Ｓ２００では、合成割合の初期値と合成重み付け値との積を算出する。線形トーンカーブについての合成割合の初期値と合成重み付け値との積をｍＡ値といい、対数トーンカーブについての合成割合の初期値と合成重み付け値との積をｍＢ値という。平坦化トーンカーブについての合成割合の初期値と合成重み付け値との積をｍＣ値という。画像処理装置１２は、ｍＡ値、ｍＢ値、ｍＣ値を算出し、メモリ２２に保存する。

画像処理装置１２は、Ｓ２０５では、ｍＡ値、ｍＢ値、ｍＣ値を正規化する。正規化するとは、ｍＡ値、ｍＢ値、ｍＣ値の比を変えることなく、ｍＡ値、ｍＢ値、ｍＣ値の合計値が１となるように、ｍＡ値、ｍＢ値、ｍＣ値を算出し直すことをいう。画像処理装置１２は、正規化後のｍＡ値を合成割合のＡ値として、正規化後のｍＢ値を合成割合のＢ値として、正規化後のｍＣ値を合成割合のＣ値として、メモリ２２保存する。画像処理装置１２は、以上で合成割合処理を終了する。これにより、（７）式に基づいて、Ａ値、Ｂ値、及びＣ値を用いて、例えば図１３に示すような合成トーンカーブが補正用トーンカーブとして得られる。

［３．作用］
上述のように生成される補正用トーンカーブを用いて取得画像を補正する、画像処理装置１２の作用について説明する。

［３－１．基本トーンカーブの特徴］
はじめに、補正用トーンカーブを生成するために用いられる基本トーンカーブそれぞれの特徴を説明する。

線形トーンカーブを用いると、撮像画像のヒストグラムの幅（すなわち、分布幅ｑ）が相対的に狭い場合は、入力画素の変化に応じて出力画素が比例して変化するため、補正画像においてコントラストが適切に表現される。また、分布幅qが相対的に狭い場合は、ＲＧＢそれぞれの画素値の比が維持されるため、補正画像において色が適切に表現される。但し、分布幅qが相対的に広い場合は、補正画像において明部が白飛びし暗部が黒つぶれするおそれがある。

対数トーンカーブを用いると、撮像画像において輝度の小さい（すなわち、暗い）区間及び輝度の大きい（すなわち、明るい）区間のダイナミックレンジを拡大することができるため、補正画像において輝度の比が適切に反映される。ただし、コントラストは抑制される。また、分布幅ｑが相対的に広い場合、ＲＧＢそれぞれの画素値の比が変化するため、補正画像において色が適切に表現されないおそれがある。

平坦化トーンカーブは、ヒストグラムの分布が集中している区間を引き伸ばすため、補正画像においてコントラストを強調することができる。
［３－２．分布平均値ｐに基づく処理による作用］
例えば図１４に示すように、暗い撮像シーン（すなわち、第１シーン）における撮像画像の分布平均値ｐ（すなわち、ｐ＿１）は、明るい撮像シーン（すなわち、第２シーン）における撮像画像の分布平均値ｐ（すなわち、ｐ＿２）よりも小さい。例えば、夜の方が昼よりも分布平均値ｐが小さく、光源の明るさ（すなわち、照度）が小さいほど分布平均値ｐが小さく曇りの方が晴れよりも分布平均値ｐは小さい。

画像処理装置１２は、取得画像の分布平均値ｐが境界平均閾値Ｐｓ以上である場合（すなわち、分布平均値ｐが、夜に照明等が無く非常に暗い撮像シーンでの撮像画像における分布平均値Ｐｓ以上である場合）、処理をＳ１２５へ移行する。つまり、画像処理装置１２は、非常に暗い撮像シーン以外の撮像シーンでは、分布平均値ｐが低くなるにつれて、対数トーンカーブの合成割合（すなわちＢ値）を増加させる。且つ、画像処理装置１２は、線形トーンカーブの合成割合（すなわちＡ値）と平坦化トーンカーブの合成割合（すなわちＣ値）とを減少させる。

これにより、補正用トーンカーブを用いると、暗い撮像シーンであるほど、対数トーンカーブによる補正の特徴である、輝度の小さい区間及び輝度の大きい区間のダイナミックレンジを拡大する点、が効果的に作用し、夜間の広い大ミックレンジの輝度の比が適切に反映された補正画像が得られる。

同時に、補正用トーンカーブを用いると、暗い撮像シーンであるほど、線形トーンカーブによる補正の特徴である、取得画像の明部が白飛びし、暗部が黒潰れするおそれがある点、が抑制された補正画像が得られる。また、補正用トーンカーブを用いると、暗い撮像シーンであるほど、平坦化トーンカーブによる補正の特徴である、コントラストが強調されすぎる点、が抑制された補正画像が得られる。

このように、補正用トーンカーブを用いることによって、撮像シーンの明るさに応じて、具体的には、昼夜の別や、光源の有無、天候等に応じて、適切な補正画像を得ることができる。適切な補正画像とは、例えば、路面と白線とのコントラストが適切に表される画像であり得る。又、色の変化が少ない画像であり得る。

結果として、画像記録装置１３は、車両の乗員にとって違和感の少ない補正画像を記録または表示する。また、車両制御装置１４は、補正画像に基づいて適切に白線認識を行う。
更に、画像処理装置１２は、分布平均値ｐが境界平均閾値Ｐｓ未満である場合に、処理をＳ１２０へ移行させる。つまり、画像処理装置１２は、対数トーンカーブの合成割合を１に決定し、線形トーンカーブの合成割合と平坦化トーンカーブの合成割合とを０に決定するように構成されている。これにより、例えば夜に照明等が無いような非常に暗い撮像シーンで、対数トーンカーブによる補正の特徴が活かされた補正画像であって、輝度の小さい区間及び輝度の大きい区間のダイナミックレンジが拡大された補正画像、が得られる。

［３－３．分布幅ｑに基づく処理による作用］
全体が一様の明るさである撮像シーンにおける撮像画像の分布幅ｑは、昼に明るいものから暗いものまでが一様に存在する撮像シーンにおける撮像画像の分布幅ｑよりも小さい。

例えば図１５に示すように、全体が一様の明るさである撮像シーンとしては、昼に全体が一様の明るさである場合（すなわち、第３シーン）があげられる。第３シーンでは、撮像画像のヒストグラムは、輝度が比較的高い区間に狭い分布幅ｑ（すなわち、ｑ－１）で分布する。また、全体が一様の明るさである撮像シーンとしては、昼及び夜のトンネルの中が含まれる。この場合、撮像画像のヒストグラムは、図示しないが、輝度が比較的低い区間に狭い分布幅ｑで分布する。

また、昼に明るいものから暗いものまでが一様に分布する撮像シーンとしては、例えば、昼のトンネルの出口があげられる（すなわち、第４シーン）。第４シーンでは、撮像画像のヒストグラムは、分布幅ｑが非常に広く（すなわち、ｑ＿２）、度数はほぼ一様に（すなわち、度数の大小の変化が少なく）分布する。上述のように、分布幅ｑが広いほど、撮像画像においてダイナミックレンジが広い。

画像処理装置１２は、分布幅ｑが第２閾値Ｑｓ２以上である場合に、処理をＳ１５５へ移行させる。つまり、画像処理装置１２は、分布幅ｑが広くなるにつれて対数トーンカーブの合成割合を増加させ且つ線形トーンカーブの合成割合と平坦化トーンカーブの合成割合とを減少させる。

これにより、補正用トーンカーブを用いると、明るいものから暗いものまでが一様に分布するほど、すなわち、ダイナミックレンジが広い撮像シーンであるほど、対数トーンカーブの特徴が効果的に作用した補正画像が得られる。つまり、輝度の比が適切に反映された補正画像が得られる。

同時に、補正用トーンカーブを用いると、線形トーンカーブによる補正の特徴である、取得画像の明部が白飛びし、暗部が黒潰れするおそれがある点、が抑制された補正画像が得られる。また、補正用トーンカーブを用いると、平坦化トーンカーブによる補正の特徴である、コントラストを強調した補正画像が得られる。

このように補正用トーンカーブを用いることによって、撮像シーンにおける明るいものから暗いものまでの分布の状況に応じて、具体的には、昼夜のトンネルの中や、昼のトンネルの出口等といった種々の撮像シーンに応じて、適切な補正画像を得ることができる。

更に、画像処理装置１２は、分布幅ｑが第２閾値Ｑｓ２未満である場合（すなわち、分布幅ｑが非常に幅狭である場合）に、線形トーンカーブの合成割合を１に決定し、対数トーンカーブの合成割合と平坦化トーンカーブの合成割合とを０に決定する。これにより、分布幅ｑが狭い（すなわち、コントラストが弱い）画像において、線形トーンカーブによる補正の特徴が最も活かされた補正画像であって、コントラストが適切に表された補正画像、が簡易な処理で得られる。例えば、路面と白線とのコントラストが適切である補正画像が得られる。

［３－４．輝度が離れた複数の山があるか否かに基づく処理による作用］
取得画像において、昼に明るいものと暗いものの分布に偏りがある撮像シーンにおける撮像画像では、撮像画像のヒストグラムにおいて輝度が離れた複数の山が現れる。例えば、図１６に示すように、昼に明るいものと暗いものの分布に偏りがある撮像シーンとしては、昼で且つ晴れであるときの日向と日陰の白線とが含まれる場合（すなわち、第５シーン）等があげられ、撮像画像のヒストグラムは、輝度が離れた複数の山が現れる。第５シーンでは、頂上輝度差ｒは第１輝度差閾値Ｒｓ１以上（頂上輝度差ｒ＿１≧Ｒｓ１）である。

画像処理装置１２は、頂上輝度差ｒが第１閾値Ｒｓ１以上であり第２閾値Ｒｓ２未満である場合に、処理をＳ１９０へ移行させる。つまり、画像処理装置１２は、頂上輝度差ｒが大きくなるにつれて、平坦化トーンカーブの合成割合を増加させ且つ線形トーンカーブの合成割合と対数トーンカーブの合成割合とを減少させる。これにより、補正用トーンカーブを用いると、頂上輝度差ｒが大きい画像であるほど、平坦化形トーンカーブによる補正の特徴であるコントラストを強調する点が効果的に作用し、コントラストが適切に反映された補正画像、が得られる。なお、頂上輝度差ｒが大きい画像とは、上述のように、輝度の分布の偏りが大きい画像である。

同時に、補正用トーンカーブを用いると、輝度の分布の偏りが大きいほど、線形トーンカーブによる補正の特徴である、取得画像の明部が白飛びし、暗部が黒潰れするおそれがある点、が抑制された補正画像が得られる。輝度の分布の偏りが大きいほど、対数トーンカーブによる補正の特徴である、コントラストが抑制される点、が抑制された補正画像が得られる。

このように補正用トーンカーブを用いることによって、撮像シーンにおける明るいものと暗いものとの分布の偏りの状況に応じて、具体的には日向の白線と日陰の白線とが同時撮像される状況等といった種々の撮像シーンに応じて、適切な補正画像が得られる。

更に、画像処理装置１２は、図１６に示すように、頂上輝度差ｒが第２輝度差閾値Ｒｓ２以上（すなわち、ｒ＿２≧Ｒｓ２）である場合（すなわち、第６シーン）に、平坦化トーンカーブの合成割合を１に決定する。且つ、画像処理装置１２は、線形トーンカーブの合成割合と対数トーンカーブの合成割合とを０に決定する。第６シーンは、輝度の分布の偏りが非常に大きい例である。これにより、頂上輝度差ｒが大きい（すなわち、輝度の偏りが大きい）画像において、平坦化形トーンカーブによる補正の特徴がより活かされた補正画像であって、コントラストが適度に強調された補正画像、が得られる。

［４．効果］
以上詳述した第１実施形態によれば、以下の効果を得る。
（１ａ）画像処理装置１２は、撮像画像のヒストグラムに基づいて補正用トーンカーブ生成し、補正用トーンカーブによって撮像画像における輝度と画素数との関係を補正して出力画像を生成する。

車載カメラ１１による撮像画像では、撮像画像のヒストグラムは撮像シーンに応じて異なる分布となる。撮像シーンとは、車載カメラ１１による撮像が行われた状況であり、例えば、昼夜の別や、天気（例えば、曇り、晴れ）、場所（例えば、トンネル手前、トンネル中）等、様々な状況をいう。近年、車載カメラ１１のダイナミックレンジは増大する傾向にある。このため、ヒストグラムは幅広い輝度範囲において分布する。ここで、例えば、撮像画像に対して一律に同じトーンカーブを用いて輝度補正を行うと、ダイナミックレンジが広いため、ヒストグラムの分布状況によっては、適正な補正画像が得られないおそれがある。つまり、撮像シーンに応じた適正な補正画像が得られないおそれがある。

画像処理装置１２は、撮像画像のヒストグラムに基づいて補正用トーンカーブを生成し、該補正用トーンカーブを用いて撮像画像における輝度の補正を行う。そのため、撮像画像の撮像シーンに応じた補正用トーンカーブで輝度の補正を行うことが可能となる。即ち、撮像シーンに応じた適正な補正画像を得ることができる。

（１ｂ）画像処理装置１２は、Ｓ２０では複数の基本トーンカーブを合成して補正用トーンカーブを生成する際の基本トーンカーブそれぞれの合成割合を撮像画像のヒストグラムに基づいて決定する。画像処理装置１２は、Ｓ３０では、決定した合成割合で複数の基本トーンカーブを合成して、補正用トーンカーブを生成する。

上述のように、撮像画像のヒストグラムは幅広い輝度範囲において分布する。このような撮像画像に対して、例えば、線形トーンカーブのような単一の特性を示すトーンカーブを常に用いて輝度補正を行うと、低輝度において黒つぶれが生じたり高輝度において白飛びが生じたりし、適切でない補正画像が生成されるおそれがある。

画像処理装置１２は、複数の基本トーンカーブを撮像画像のヒストグラムに基づいた合成割合で合成して補正用トーンカーブを生成する。そのため、ダイナミックレンジが広い撮像画像においても、適正な補正画像を得ることが可能となる。即ち、撮像シーンに応じた適正な補正画像を得ることができる。

（１ｃ）画像処理装置１２は、複数の基本トーンカーブのうちの少なくとも１つを撮像画像のヒストグラムに基づいて生成してもよい。本実施形態の画像処理装置１２は、Ｓ４－Ｓ６では、複数の基本トーンカーブの全てを撮像画像のヒストグラムに基づいて生成する。そして、画像処理装置１２は、Ｓ１０では、生成された基本トーンカーブを取得する。

画像処理装置１２は、撮像画像のヒストグラムに基づいて生成された基本トーンカーブを用いた補正用トーンカーブによって輝度補正を行うので、撮像シーンに応じた適正な補正画像を得ることができる。

（１ｄ）画像処理装置１２は、撮像画像のヒストグラムにおいて、分布平均値ｐ、分布幅ｑ、及びヒストグラムにおける複数の山の有無、のうちの少なくとも１つを検出し、検出した結果に基づいて複数の基本トーンカーブそれぞれの合成割合を決定する。撮像シーンに応じて、撮像画像のヒストグラムの分布では、分布平均値、分布幅、山の数に特徴がある。画像処理装置１２は、撮像シーンに応じて合成割合を決定するので、撮像シーンに応じて輝度補正を行うことができる。すなわち、撮像シーンに応じた適正な補正画像を得ることができる。

（１ｅ）画像処理装置１２は、Ｓ１では、線形トーンカーブと、対数トーンカーブと、平坦化トーンカーブとを複数の基本トーンカーブとして取得する。これにより、それぞれ異なる特性を備える基本トーンカーブを合成した補正用トーンカーブが生成することができる。つまり、複雑な特性の補正用トーンカーブを生成することができるので、撮像シーンに応じた適正な補正画像を得ることができる。

（１ｆ）画像処理装置１２は、Ｓ１１５－Ｓ１３０、Ｓ２００－Ｓ２０５では、分布平均値ｐが低くなるにつれて対数トーンカーブの合成割合を増加させ且つ線形トーンカーブの合成割合と平坦化トーンカーブの合成割合とを減少させるように、合成割合を決定する。結果として、補正用トーンカーブを用いることによって、撮像シーンの明るさに応じて、具体的には、昼夜の別や、照明の有無、天候等に応じて、適切な補正画像を得ることができる。

なお、画像処理装置１２は、分布平均値情報を取得し、分布平均値ｐが境界平均閾値Ｐｓ以上である場合に、分布平均値情報に基づいてそれぞれの合成割合を決定してもよい。また、画像処理装置１２は、分布平均値ｐが境界平均閾値Ｐｓ未満である場合に、対数トーンカーブの合成割合を１に決定してもよい。

（１ｇ）画像処理装置１２は、Ｓ１３５－Ｓ１６０、Ｓ２００－Ｓ２０５では、分布幅ｑが広くなるにつれて対数トーンカーブの合成割合を増加させ且つ線形トーンカーブの合成割合と平坦化トーンカーブの合成割合とを減少させるように、合成割合を決定する。結果として、補正用トーンカーブを用いることによって、撮像シーンにおける明るいものから暗いものまでの分布の状況に応じて、具体的には昼夜のトンネルの中や昼のトンネルの出口等といった種々の撮像シーンに応じて、適切な補正画像を得ることができる。

なお、画像処理装置１２は、分布幅情報を取得し、分布幅ｑが第２分布幅閾値Ｑｓ２以上である場合に、分布幅情報に基づいてそれぞれの合成割合を決定してもよい。また、画像処理装置１２は、分布幅ｑが第２分布幅閾値Ｑｓ２未満である場合に線形トーンカーブの合成割合を１に決定してもよい。

（１ｈ）画像処理装置１２は、Ｓ１６５－Ｓ２０５では、頂上輝度差ｒを検出し、頂上輝度差ｒに基づいて撮像画像のヒストグラムにおいて輝度が離れた複数の山があるか否かを判断する。そして、画像処理装置１２は、輝度が離れた複数の山があると判断した場合に、頂上輝度差ｒが大きくなるにつれて、平坦化トーンカーブの合成割合を増加させる。且つ、画像処理装置１２は、線形トーンカーブの合成割合と対数トーンカーブの合成割合とを減少させる。

結果として、補正用トーンカーブを用いることによって、撮像シーンにおける明るいものと暗いものとの分布の偏りの状況に応じて、具体的には昼で晴れであるときの日向と日陰の白線昼等といった種々の撮像シーンに応じて、適切な補正画像を得ることができる。

なお、画像処理装置１２は、輝度差情報を取得し、頂上輝度差ｒが第１輝度差閾値Ｒｓ１以上であり且つ第２輝度差閾値Ｒｓ２未満である場合に、輝度差情報に基づいてそれぞれの合成割合を決定してもよい。また、画像処理装置１２は、Ｓ１８５では、頂上輝度差ｒが第２輝度差閾値Ｒｓ２以上である場合に、平坦化トーンカーブの合成割合を１に決定してもよい。

［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（５ａ）上述の実施形態では、画像処理装置１２は、複数の基本トーンカーブ全てを取得画像のヒストグラムに応じて生成していたが、本開示はこれに限定されるものではない。例えば、画像処理装置１２は、複数の基本トーンカーブのうち少なくとも１つを取得画像のヒストグラムに応じて生成するように構成されていてもよい。

（５ｂ）画像処理装置１２は、分布平均値ｐの大小に拘わらず、分布平均値Ｐに応じて、分布平均値情報に基づいてｐａ、ｐｂ、ｐｃを設定してもよい。この場合、例えば、Ｓ１１５－Ｓ１２０が削除されてもよい。また、画像処理装置１２は、分布幅ｑの大小に拘わらず、分布幅ｑに応じて、分布幅情報に基づいてｑａ、ｑｂ、ｑｃを設定してもよい。この場合、例えば、Ｓ１４５－Ｓ１５０が削除されてもよい。

また、画像処理装置１２は、頂上輝度差ｒの大小に拘わらず、頂上輝度差ｒに応じて、輝度差情報に基づいてｒａ、ｒｂ、ｒｃを設定してもよい。この場合、例えば、Ｓ１７５－Ｓ１８５が削除されてもよい。

（５ｃ）本開示に記載の画像処理装置１２及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理装置１２及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。

もしくは、本開示に記載の画像処理装置１２及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。

画像処理装置１２に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（５ｄ）上述の実施形態における１つの構成要素が備える複数の機能を、複数の構成要素によって実現したり、１つの構成要素が備える１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が備える複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上述の実施形態の構成の一部を省略してもよい。また、上述の実施形態の構成の少なくとも一部を、他の上述の実施形態の構成に対して付加又は置換してもよい。

（５ｅ）上述した画像処理装置１２、ＣＰＵ２１、画像処理システム１００の他、画像処理装置１２を機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。

なお、上述の実施形態において、画像処理装置１２（すなわち、画像補正部３４）が、基本取得部と、割合決定部と、合成実行部とに相当する。また、Ｓ１０が基本取得部としての処理に相当し、Ｓ２０が割合決定部としての処理に相当し、Ｓ３０が合成実行部としての処理に相当し、Ｓ４０が画像生成部としての処理に相当する。

１２ 画像処理装置、２１ ＣＰＵ、３１ 画像取得部、３２ ヒストグラム生成部、３４ 画像補正部。

Claims (5)

1. 画像処理装置（１２）であって、
   車両に搭載されたカメラから撮像画像を取得するように構成された画像取得部（３１、Ｓ１）と、
   前記撮像画像について、輝度と画素数との関係を表すヒストグラムを生成するように構成されたヒストグラム生成部（３２、Ｓ２）と、
   前記輝度の入力値と出力値との関係を示すトーンカーブであって、前記撮像画像の前記ヒストグラムに基づいて前記撮像画像における前記輝度と前記画素数との関係を補正するための補正用トーンカーブ、を生成し、前記補正用トーンカーブを用いて前記撮像画像を補正して補正画像を生成するように構成された画像補正部（３４、Ｓ７）と、
   を備え、
   前記画像補正部は、
   複数の異なる前記トーンカーブを複数の基本トーンカーブとして取得するように構成された基本取得部（Ｓ１０）と、
   前記複数の基本トーンカーブを合成して前記補正用トーンカーブを生成する際の前記複数の基本トーンカーブそれぞれの合成割合を、前記撮像画像の前記ヒストグラムに基づいて決定するように構成された割合決定部（Ｓ２０）と、
   前記合成割合で前記複数の基本トーンカーブを合成して前記補正用トーンカーブとして生成するように構成された合成実行部（Ｓ３０）と、
   前記撮像画像を前記補正用トーンカーブを用いて補正して前記補正画像を生成するように構成された画像生成部（Ｓ４０）と、
   を備え、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて輝度と画素数との積を輝度毎に加算して総画素数で除算した値である前記ヒストグラムの分布平均値、前記撮像画像の前記ヒストグラムにおける前記輝度の幅である分布幅、及び前記ヒストグラムにおいて前記輝度が離れた複数の山があるか否か、のうちの少なくとも１つを検出し、検出した前記分布平均値、前記分布幅、及び前記山の有無のうちの少なくとも１つに基づいて前記複数の基本トーンカーブそれぞれの前記合成割合を決定し、
   前記複数の基本トーンカーブは、前記輝度の入力値と出力値との関係が線形である線形トーンカーブと、前記輝度の入力値と出力値との関係が対数で表される対数トーンカーブと、前記輝度の入力値と出力値との関係が前記画素数を平坦化するように対応付けられる平坦化トーンカーブと、を備え、
   前記基本取得部は、前記線形トーンカーブと、前記対数トーンカーブと、前記平坦化トーンカーブとを前記複数の基本トーンカーブとして取得し、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて前記分布平均値を検出し、前記分布平均値が低くなるにつれて前記対数トーンカーブの前記合成割合を増加させ且つ前記線形トーンカーブの前記合成割合と前記平坦化トーンカーブの前記合成割合とを減少させるように、それぞれの前記合成割合を決定する
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて前記分布幅を検出し、 前記分布幅が広くなるにつれて前記対数トーンカーブの前記合成割合と前記平坦化トーンカーブの前記合成割合とを増加させ且つ前記線形トーンカーブの前記合成割合を減少させるように、それぞれの前記合成割合を決定する
   画像処理装置。
3. 画像処理装置（１２）であって、
   車両に搭載されたカメラから撮像画像を取得するように構成された画像取得部（３１、Ｓ１）と、
   前記撮像画像について、輝度と画素数との関係を表すヒストグラムを生成するように構成されたヒストグラム生成部（３２、Ｓ２）と、
   前記輝度の入力値と出力値との関係を示すトーンカーブであって、前記撮像画像の前記ヒストグラムに基づいて前記撮像画像における前記輝度と前記画素数との関係を補正するための補正用トーンカーブ、を生成し、前記補正用トーンカーブを用いて前記撮像画像を補正して補正画像を生成するように構成された画像補正部（３４、Ｓ７）と、
   を備え、
   前記画像補正部は、
   複数の異なる前記トーンカーブを複数の基本トーンカーブとして取得するように構成された基本取得部（Ｓ１０）と、
   前記複数の基本トーンカーブを合成して前記補正用トーンカーブを生成する際の前記複数の基本トーンカーブそれぞれの合成割合を、前記撮像画像の前記ヒストグラムに基づいて決定するように構成された割合決定部（Ｓ２０）と、
   前記合成割合で前記複数の基本トーンカーブを合成して前記補正用トーンカーブとして生成するように構成された合成実行部（Ｓ３０）と、
   前記撮像画像を前記補正用トーンカーブを用いて補正して前記補正画像を生成するように構成された画像生成部（Ｓ４０）と、
   を備え、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて輝度と画素数との積を輝度毎に加算して総画素数で除算した値である前記ヒストグラムの分布平均値、前記撮像画像の前記ヒストグラムにおける前記輝度の幅である分布幅、及び前記ヒストグラムにおいて前記輝度が離れた複数の山があるか否か、のうちの少なくとも１つを検出し、検出した前記分布平均値、前記分布幅、及び前記山の有無のうちの少なくとも１つに基づいて前記複数の基本トーンカーブそれぞれの前記合成割合を決定し、
   前記複数の基本トーンカーブは、前記輝度の入力値と出力値との関係が線形である線形トーンカーブと、前記輝度の入力値と出力値との関係が対数で表される対数トーンカーブと、前記輝度の入力値と出力値との関係が前記画素数を平坦化するように対応付けられる平坦化トーンカーブと、を備え、
   前記基本取得部は、前記線形トーンカーブと、前記対数トーンカーブと、前記平坦化トーンカーブとを前記複数の基本トーンカーブとして取得し、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて前記分布幅を検出し、前記分布幅が広くなるにつれて前記対数トーンカーブの前記合成割合と前記平坦化トーンカーブの前記合成割合とを増加させ且つ前記線形トーンカーブの前記合成割合を減少させるように、それぞれの前記合成割合を決定する
   画像処理装置。
4. 請求項１から請求項３のいずれか一項に記載の画像処理装置であって、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて頂上輝度差を検出し前記頂上輝度差に基づいて前記輝度が離れた複数の山があるか否かを判断し、前記輝度が離れた複数の山があると判断した場合に、前記頂上輝度差が大きくなるにつれて前記平坦化トーンカーブの前記合成割合を増加させ且つ前記線形トーンカーブの前記合成割合と前記対数トーンカーブの前記合成割合とを減少させるように、それぞれの前記合成割合を決定する
   画像処理装置。
5. 画像処理装置（１２）であって、
   車両に搭載されたカメラから撮像画像を取得するように構成された画像取得部（３１、Ｓ１）と、
   前記撮像画像について、輝度と画素数との関係を表すヒストグラムを生成するように構成されたヒストグラム生成部（３２、Ｓ２）と、
   前記輝度の入力値と出力値との関係を示すトーンカーブであって、前記撮像画像の前記ヒストグラムに基づいて前記撮像画像における前記輝度と前記画素数との関係を補正するための補正用トーンカーブ、を生成し、前記補正用トーンカーブを用いて前記撮像画像を補正して補正画像を生成するように構成された画像補正部（３４、Ｓ７）と、
   を備え、
   前記画像補正部は、
   複数の異なる前記トーンカーブを複数の基本トーンカーブとして取得するように構成された基本取得部（Ｓ１０）と、
   前記複数の基本トーンカーブを合成して前記補正用トーンカーブを生成する際の前記複数の基本トーンカーブそれぞれの合成割合を、前記撮像画像の前記ヒストグラムに基づいて決定するように構成された割合決定部（Ｓ２０）と、
   前記合成割合で前記複数の基本トーンカーブを合成して前記補正用トーンカーブとして生成するように構成された合成実行部（Ｓ３０）と、
   前記撮像画像を前記補正用トーンカーブを用いて補正して前記補正画像を生成するように構成された画像生成部（Ｓ４０）と、
   を備え、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて輝度と画素数との積を輝度毎に加算して総画素数で除算した値である前記ヒストグラムの分布平均値、前記撮像画像の前記ヒストグラムにおける前記輝度の幅である分布幅、及び前記ヒストグラムにおいて前記輝度が離れた複数の山があるか否か、のうちの少なくとも１つを検出し、検出した前記分布平均値、前記分布幅、及び前記山の有無のうちの少なくとも１つに基づいて前記複数の基本トーンカーブそれぞれの前記合成割合を決定し、
   前記複数の基本トーンカーブは、前記輝度の入力値と出力値との関係が線形である線形トーンカーブと、前記輝度の入力値と出力値との関係が対数で表される対数トーンカーブと、前記輝度の入力値と出力値との関係が前記画素数を平坦化するように対応付けられる平坦化トーンカーブと、を備え、
   前記基本取得部は、前記線形トーンカーブと、前記対数トーンカーブと、前記平坦化トーンカーブとを前記複数の基本トーンカーブとして取得し、
   前記割合決定部は、前記撮像画像の前記ヒストグラムにおいて頂上輝度差を検出し前記頂上輝度差に基づいて前記輝度が離れた複数の山があるか否かを判断し、前記輝度が離れた複数の山があると判断した場合に、前記頂上輝度差が大きくなるにつれて前記平坦化トーンカーブの前記合成割合を増加させ且つ前記線形トーンカーブの前記合成割合と前記対数トーンカーブの前記合成割合とを減少させるように、それぞれの前記合成割合を決定する
   画像処理装置。

Images