JP6896658B2 - ホワイトバランス調整装置及びホワイトバランス調整方法 - Google Patents
ホワイトバランス調整装置及びホワイトバランス調整方法 Download PDFInfo
- Publication number
- JP6896658B2 JP6896658B2 JP2018013513A JP2018013513A JP6896658B2 JP 6896658 B2 JP6896658 B2 JP 6896658B2 JP 2018013513 A JP2018013513 A JP 2018013513A JP 2018013513 A JP2018013513 A JP 2018013513A JP 6896658 B2 JP6896658 B2 JP 6896658B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- color difference
- unit
- image signal
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Description
本発明は、受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置及びホワイトバランス調整方法に関するものである。
撮像装置から出力される画像信号はRGB色空間における値(RGB値)として出力されることが多いが、このRGB値に対してホワイトバランス調整を行うと、ホワイトバランス調整を行った結果の画面の明るさが、ホワイトバランス調整前の画面の明るさから変わってしまうことがある。これは、RGB空間におけるホワイトバランス調整はR値、G値、B値それぞれに行われることから、ある画素に対するRGB値の比率がホワイトバランス調整により変化すると、結果的に画素の明るさが変化してしまうことがあるからである。
このため、RGB値をYUV色空間における値(YUV値)に変換し、YUV色空間において輝度を変化させずに彩度(色差)のみを調整するホワイトバランス調整を行う技術が提案されている(例えば特許文献1、2参照)。かかる技術によれば、ホワイトバランス調整の前後において画面の明るさを変えることなくホワイトバランス調整を行うことができる。
しかしながら、上述した特許文献1、2に開示された技術では、画面を構成する全ての画素に対して一律の彩度補正量を与えることでホワイトバランス調整を行っており、かかる技術では適切なホワイトバランス調整が実現しにくい場合があった。
一例として、車両に搭載されて車両前方を撮像する車載カメラからの画像信号に対してホワイトバランス調整を行う場合を考えてみる。このような車載カメラを搭載した車両が夜間に道路を走行していた際に、車載カメラが車両前方にある信号機や街灯などの自発光光源を撮像すると、この自発光光源は任意の光を発光することから、路面等からの光の彩度と異なる彩度を有する自発光光源が画面に写り込むこととなる。この場合、路面等からの光に合わせてホワイトバランス調整を行うと、自発光光源からの光に対しては適切なホワイトバランス調整が行えない可能性がある。
また、車両が昼間にトンネル内を走行していた際、車載カメラがトンネル内の自発光光源であるトンネル灯と、トンネルの出口から見える景色とを同時に撮像した場合、トンネル灯に合わせてホワイトバランス調整を行うと、やはり景色に対して適切なホワイトバランス調整が行えない可能性がある。
より詳細に検討すると、路面等からの光と自発光光源からの光とを車載カメラが撮像しているとき、低輝度部である路面等からの光の彩度と高輝度部である自発光光源からの光の彩度が異なりうるので、路面等からの光に合わせてホワイトバランス調整を行うと適切なホワイトバランス調整ができない可能性がある。
同様に、トンネル灯からの光と景色からの光とを車載カメラが撮像しているとき、低輝度部であるトンネル灯の光の彩度と高輝度部である景色からの光の彩度とが異なりうるので、トンネル灯からの光に合わせてホワイトバランス調整を行うと適切なホワイトバランス調整ができない可能性がある。
そこで、本発明は、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供することを目的としている。
前記目的を達成するために、受け入れた画像信号に対してホワイトバランス調整を行う本発明のホワイトバランス調整装置は、統計取得部と補正部とを有し、統計取得部は、複数の輝度範囲を設定する輝度領域設定部を備える領域設定部と、輝度領域設定部により設定された各々の輝度範囲における画像信号の色差値の平均値を算出する平均値算出部とを有し、補正部は、平均値算出部が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部と、補正関数決定部により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部とを有することを特徴とする。
ここで、領域設定部は、輝度領域設定部と、画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有する構成とすることができる。
また、平均値算出部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値を補正する構成とすることができる。
そして、補正関数決定部は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定する構成とすることができる。
また、受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置により実行される本発明のホワイトバランス調整方法は、複数の輝度範囲を設定し、設定した各々の輝度範囲における画像信号の色差値の平均値を算出し、算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定し、決定した補正関数に基づいて画像信号の色差値を補正することを特徴とする。
このように構成された本発明のホワイトバランス調整装置では、補正関数決定部が、輝度領域設定部により設定された各々の輝度範囲における画像信号の色差値の平均値に基づいて画像信号の色差値の補正関数を決定し、補正関数決定部により決定された補正関数に基づいて、色差補正部が画像信号の色差値を補正する。
このようにすることで、画像信号に複数の輝度を有する光源からの光が写り込んでいた場合でも、輝度範囲を適切に設定することで各々の光源からの光に合わせたホワイトバランス調整を行うことができる。これにより、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供することができる。
ここで、領域設定部は、輝度領域設定部と、画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有するので、これら画面領域設定部及び彩度領域設定部による範囲を適切に設定することで、画像信号により表示される画面のどの範囲に光源からの光が写り込んでいるかに応じて、また、光源からの光の彩度の偏りに応じて適切なホワイトバランス調整を行うことができる。
また、平均値算出部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値を補正するので、画面範囲を適切に設定することで、より適切なホワイトバランス調整を行うことができる。
そして、補正関数決定部は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定するので、高輝度部または低輝度部からの光に対しても適切なホワイトバランス調整を行うことができる。
また、本発明のホワイトバランス調整方法によれば、本発明のホワイトバランス調整装置に適切なホワイトバランス調整方法を実現することができる。
以下、この発明の実施の形態を図面に基づいて説明する。図1は、本発明の実施の形態であるホワイトバランス調整装置の概略構成を示すブロック図である。
本実施の形態であるホワイトバランス調整装置1には、例えば車載カメラ等の図略の撮像装置からの画像信号が入力される。ホワイトバランス調整装置1に入力される画像信号は、いわゆるYUV形式の画像信号である。撮像装置がRGB形式の画像信号を出力する場合は、ホワイトバランス調整装置1の前段に、撮像装置からのRGB信号をYUV信号に変換する図略の装置が設けられる。
本実施の形態であるホワイトバランス調整装置1は、CPU等の演算制御手段及びROM、RAM等の記憶手段を有し、起動時に記憶手段内に格納された制御プログラムが読み出されて演算制御手段により実行されることで、ホワイトバランス調整装置1全体の制御が行われるとともに、下記に示す各種機能実現手段としての機能がホワイトバランス調整装置1により実行される。
本実施の形態であるホワイトバランス調整装置1は、入力された画像信号に対して統計処理を行う統計取得部2と、統計取得部2が行った統計処理結果に基づいて、入力された画像信号のホワイトバランス調整(特に彩度の補正)を行う補正部3とを有する。
統計取得部2は、複数の輝度範囲を設定する輝度領域設定部4a、画像信号により表示される画面の範囲を設定する画面領域設定部4b、及び、彩度範囲を設定する彩度領域設定部4cを備える領域設定部4と、輝度領域設定部4aにより設定された各々の輝度範囲における画像信号の彩度(色差)値の平均値を算出する平均値算出部5とを有する。
また、補正部3は、平均値算出部5が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部6と、補正関数決定部6により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部7とを有する。これら各種機能実現手段の詳細については後述する。
補正部3による補正の結果、ホワイトバランス調整装置1から出力される画像信号は、車内に設けられたディスプレイ等の表示装置に提供され、この画像信号に基づいて表示装置において画面が表示される。なお、画面表示をするに当たって行われる周知の画像処理、例えばガンマ補正などは、ホワイトバランス調整装置1から出力される画像信号について行えばよい。当然、ホワイトバランス調整装置1に入力される画像信号について予め各種画像処理を行ってもよい。
次に、本実施の形態であるホワイトバランス調整装置1の統計取得部2の動作の詳細を図2のフローチャート及び図3〜図7を参照して説明する。
ステップS1では、統計取得部2の領域設定部4が、入力された画像信号に対してROI(Region Of Interest:対象領域)を設定する。
本実施の形態であるホワイトバランス調整装置1の領域設定部4(含む輝度領域設定部4a、画面領域設定部4b及び彩度領域設定部4c)が設定するROIは、画面ROI、輝度ROI及び彩度ROIである。
画面ROIは、ホワイトバランス調整のためにホワイトバランス調整装置1が色ずれした画像信号を取得する範囲であり、この画面ROIの範囲内の画像信号について統計取得部2及び補正部3による演算が行われる。画面ROI P_ROIは、例えば図3に示すように、画面領域設定部4bにより表示装置に表示される画面Pの上部に設定される。
画面ROI P_ROIは、画面に対して予めかつ任意に設定可能であり、例えば上述した例において路面からの画像信号に基づいてホワイトバランス調整を行いたい場合は、画面下半分に画面ROI P_ROIを設定すればよい。
輝度ROIは、ホワイトバランス調整のためにホワイトバランス調整装置1が取得する画像信号の輝度範囲である。本実施の形態であるホワイトバランス調整装置1は、図4に示すようなYUV色空間においてホワイトバランス調整を行う。図4に示すように、各々の画素の画像信号は、輝度Y軸、色差U軸及び色差V軸により定められる3次元座標系であるYUV色空間上の座標値として表すことが可能である。
輝度ROIは輝度領域設定部4aにより設定される。輝度領域設定部4aにより設定された輝度ROI Y_ROI(1)〜Y_ROI(3)の一例を図5に示す。図5に示す輝度ROI Y_ROI(1)〜Y_ROI(3)は、一例として横軸に輝度Y、縦軸に色差Uを取ったYU平面上で表現されており、輝度Yの全輝度範囲に対して複数(図示例では3つ)設定されている。
輝度ROI Y_ROI(1)〜Y_ROI(3)も、全輝度範囲に対して予めかつ任意に設定可能であり、例えば上述した例において高輝度部である自発光光源からの光を含まないホワイトバランス調整を行いたい場合は、この自発光光源からの光に対応する輝度を除いた輝度ROIを設定すればよい。さらには、輝度ROI Y_ROI(1)〜Y_ROI(3)は複数設定可能であるので、低輝度部からの光や高輝度部からの光に着目したホワイトバランス調整を行うことができる。
彩度ROIは、ホワイトバランス調整のためにホワイトバランス調整装置1が取得する画像信号の彩度(色差)範囲である。
彩度ROIは彩度領域設定部4cにより設定される。彩度領域設定部4cにより設定された彩度ROI U_ROI(1)〜U_ROI(3)の一例を図6に示す。図6に示す彩度ROI U_ROI(1)〜U_ROI(3)も、輝度ROI Y_ROI(1)〜Y_ROI(3)と同様にYU平面上で表現されており、色差Uの全輝度範囲に対して複数(図示例では3つ)設定されている。
彩度ROI U_ROI(1)〜U_ROI(3)は輝度ROI Y_ROI(1)〜Y_ROI(3)と同数設定することができ、特に、図6に示すように、輝度ROI Y_ROI(1)〜Y_ROI(3)毎に彩度ROI U_ROI(1)〜U_ROI(3)を設定することも可能である。なお、図6ではYU平面上に設定された彩度ROI U_ROI(1)〜U_ROI(3)の一例を示したが、同様に、彩度領域設定部4cはYV平面上においても彩度ROI V_ROIを設定する。
彩度ROI U_ROI(1)〜U_ROI(3)も、全彩度範囲に対して予めかつ任意に設定可能であり、例えば上述した例において自発光光源や看板といった高彩度部からの光から一部の彩度(例えば高彩度範囲の彩度)を含まないホワイトバランス調整を行いたい場合は、この高彩度部からの光から特定の彩度範囲を除いた彩度ROIを設定すればよい。さらには、彩度ROI U_ROI(1)〜U_ROI(3)は複数設定可能であるので、撮像装置が撮像した光の中から複数の彩度を有する光に着目したホワイトバランス調整を行うことができる。
次に、ステップS2では、統計取得部2の平均値算出部5が、領域設定部4により設定されたROI範囲内の画素の画像信号に対して平均値を算出する。
平均値算出部5が平均値を算出する画像信号は、画面領域設定部4bが設定した画面ROIの範囲内の画素の画像信号であり、さらに、画面ROIの範囲内の画素の画像信号について輝度領域設定部4aにより設定された輝度ROIの範囲内の輝度及び彩度領域設定部4cにより設定された彩度ROIの範囲内の彩度について平均値が算出される。
平均値算出部5は、個々の輝度ROI毎に輝度及び彩度(色差)の平均値を算出する。より詳細には、平均値算出部5は、特定の輝度ROIについて色差Uの平均値 U_Ave及びこれに対応する輝度Yの平均値 Yu_Aveを算出し、同様に、色差Vの平均値 V_Ave及びこれに対応する輝度Yの平均値 Yv_Aveを算出する。
一例として、図7に示すように3つの輝度ROI Y_ROI(1)〜Y_ROI(3)が設定されていたとすると、平均値算出部5は、各々の輝度ROI Y_ROI(1)〜Y_ROI(3)における色差Uの平均値 U_Ave(1)〜U_Ave(3)及びこれに対応する輝度Yの平均値 Yu_Ave(1)〜Yu_Ave(3)を算出する。なお、図示の簡略化のため、彩度ROI U_ROI(1)〜U_ROI(3)は全ての輝度ROI Y_ROI(1)〜Y_ROI(3)において同一に設定している。
ステップS2において平均値算出部5が算出した輝度Y、色差U及び色差Vの平均値は、撮像装置からの画像信号を代表する画面ROIにおける色ずれ情報として補正部3に送出される。
次に、本実施の形態であるホワイトバランス調整装置1の補正部3の動作の詳細を図8のフローチャート及び図9〜図11を参照して説明する。
(第1の実施例)
まず、ステップS3では、統計取得部2の平均値算出部5により算出された輝度Y、色差U及び色差Vの平均値に基づいて、補正部3の補正関数決定部6が、ホワイトバランス調整に用いる補正関数を定義する。ここで、補正関数とは、撮像装置からの画像信号の色ずれ情報、より詳細には、撮像装置からの画像信号を代表する画面ROIにおける色ずれ情報を表す関数である。
まず、ステップS3では、統計取得部2の平均値算出部5により算出された輝度Y、色差U及び色差Vの平均値に基づいて、補正部3の補正関数決定部6が、ホワイトバランス調整に用いる補正関数を定義する。ここで、補正関数とは、撮像装置からの画像信号の色ずれ情報、より詳細には、撮像装置からの画像信号を代表する画面ROIにおける色ずれ情報を表す関数である。
図9を参照して、第1の実施例における補正関数について説明する。図9に示す例では、図7に示した3つの色差Uの平均値 U_Ave(1)〜U_Ave(3)及びこれに対応する輝度Yの平均値 Yu_Ave(1)〜Yu_Ave(3)が平均値算出部5に提供されたものとする。また、以下の説明では、輝度ROI Y_ROI(1)〜Y_ROI(3)を輝度領域Y_Reg(1)〜Y_Reg(3)として設定する。
第1の実施例における色差Uの補正関数f(U)は、各々の輝度領域Y_Reg(1)〜Y_Reg(3)において色差Uの平均値を代表値として用いたものである。すなわち、各々の輝度領域Y_Reg(1)〜Y_Reg(3)において、色差Uの補正関数f(U)は次式で与えられる。
また、補正関数決定部6は、色差Vの補正関数f(V)についても、色差Uの補正関数と同様に定義する。
次に、ステップS4では、補正部3の色差補正部7が、ステップS3で定義された補正関数に基づいて、撮像装置からの画像信号の全ての画素について補正関数を計算する。つまり、各々の画素に対応する輝度値Y_inを参照し、この輝度値Y_inが属する輝度領域Y_Regを特定し、そして、特定した輝度領域Y_Regに基づいて各々の画素の補正関数を計算する。
次に、ステップS5では、補正部3の色差補正部7が、ステップS4で計算された補正関数に基づいて、色差U、Vの補正量を算出する。ここで、補正量は、補正関数の計算結果と補正目標値(つまりホワイトバランス調整の目標値)との差分により定義され、具体的には次式により定義される。
ここで、Target_Uは色差Uの補正目標値であり、Target_Vは色差Vの補正目標値である。本実施の形態であるホワイトバランス調整装置1では、一例としていずれも値0に設定される。図9に、各輝度領域Y_Reg(1)〜Y_Reg(3)の補正値を矢印で示す。
そして、ステップS6では、補正部3の色差補正部7が、ステップS5で算出された色差U、Vの補正量に基づいて補正処理を行う。ここで、補正処理とは、画素に応じた補正量を色差値からオフセットすることで、補正された色差値を得る、すなわちホワイトバランス調整を行った色差値を得ることである。補正された色差値、つまり、ホワイトバランス調整装置1に入力される画像信号の色差値をそれぞれU_in、V_in、ホワイトバランス調整装置1から出力される画像信号の色差値をそれぞれU_out、V_outとすると、これら出力色差値U_out、V_outは次式により与えられる。
色差補正部7は、全ての画素について補正処理を行う。なお、上式に示すように、色差補正部7は色差U、Vについてのみ補正処理を行い、輝度Yについては撮像装置から入力される画像信号の輝度値のまま補正は行わない。
以上説明した手順により、第1の実施例によるホワイトバランス調整装置1のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、輝度ROIを複数設定してこの輝度ROI=輝度領域毎に色差U、Vの平均値を算出し、この平均値に基づいて補正関数を定めて補正処理を行っているので、表示装置の画面内に異なる色ずれが発生している場合でも、すなわち、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行うことが可能となる。
特に、本実施例の補正手法によれば、輝度ROIを多数の区間、さらには微少な輝度範囲で設定することができ、輝度領域毎の色ずれをより詳細に取得することができるので、ホワイトバランス調整の精度向上を図ることができる。
一方で、本実施例の補正手法を採用したホワイトバランス調整装置1を、デジタルカメラやビデオカメラ等に付随する画像信号処理部に実装した場合、輝度ROIを多数の区間で設定することにより演算規模が増加し、実時間あるいはこれに近い速度でホワイトバランス調整を行うためには、高速演算が可能な画像信号処理部を実装する必要が生じる。これは実装コストの増加につながる可能性がある。
また、本実施例の補正手法では輝度領域毎に定数(平均値)となる補正関数を定義しているので、輝度領域の境界部分において補正結果が不連続になる可能性があり、結果的にホワイトバランス調整装置1から出力される画像信号の色再現性が不自然な結果になる可能性もある。
そこで、以下の第2の実施例において、より少ない輝度領域を設定し、かつ、補正関数に連続性を持たせた補正手法について説明する。
(第2の実施例)
第2の実施例において、統計取得部2による動作は第1の実施例におけるそれと同一であるので、説明を省略する。
第2の実施例において、統計取得部2による動作は第1の実施例におけるそれと同一であるので、説明を省略する。
図8のステップS3において、補正部3の補正関数決定部6が、第1の実施例と異なる補正関数を定義する。
図10を参照して、第2の実施例における補正関数について説明する。図10に示す例でも、図7に示した3つの色差Uの平均値 U_Ave(1)〜U_Ave(3)及びこれに対応する輝度Yの平均値 Yu_Ave(1)〜Yu_Ave(3)が平均値算出部5に提供されたものとする。
第2の実施例における色差Uの補正関数は、YU平面において平均値U_Ave(1)と平均値U_Ave(2)とを結ぶ直線と、平均値U_Ave(2)と平均値U_Ave(3)とを結ぶ直線とからなる2領域の区分線形関数として定義される。また、平均値U_Ave(1)と平均値U_Ave(2)とを結ぶ直線に対応する輝度領域を輝度領域Y_Reg(1)とし、平均値U_Ave(2)と平均値U_Ave(3)とを結ぶ直線に対応する輝度領域を輝度領域Y_Reg(2)とする。
図10に示す区分線形関数である補正関数は、複数の変数(Knee,Offset,Gain)で定義される。ここで、Knee_Uは輝度Yの平均値Yu_Aveにより与えられ、Offset_Uは色差Uの平均値U_Aveにより与えられ、Gain_UはYU平面で隣り合う色差Uの平均値U_Aveを結ぶ直線の傾きにより与えられる。
これら変数についてより詳細に説明する。輝度Yの下限値をKnee_U(1)、そのときの色差Uの値をOffset_U(1)とする。また、輝度Yの上限値をKnee_U(3)、そのときの色差Uの値をOffset_U(3)とする。輝度領域Y_Reg(1)、Y_Reg(2)の境界におけるKnee_U(2)及びOffset_U(2)は、平均値Yu_Ave(2)及びU_Ave(2)を用いて、次式により与えられる。
また、輝度領域Y_Reg(1)の区分線形関数の傾きをGain_U(1)、輝度領域Y_Reg(2)の区分線形関数の傾きをGain_U(2)とする。
また、補正関数決定部6は、色差Vの補正関数f(V)についても、色差Uの補正関数と同様に定義する。
次のステップS4〜S6の処理は、上述した第1の実施例と同一であるので説明を省略する。但し、補正量及び補正処理に用いる式が第1の実施例におけるそれと異なるので、以下にそれぞれ示す。まず、補正量の式は次式により与えられる。
以上説明した手順により、第2の実施例によるホワイトバランス調整装置1のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、図10に示すように、輝度領域Y_Reg(1)、Y_Reg(2)を色差Uの平均値の間に設定しているので、第1の実施例と比較して輝度領域Y_Regの数を減少させることができて演算規模の削減が図れ、実装コストを抑制することができる。また、補正関数を輝度領域Y_Reg(1)、Y_Reg(2)の境界において連続となるように設定しているので、ホワイトバランス調整装置1から出力される画像信号の色再現性が不自然な結果になることを抑制することができる。
一方で、本実施例の補正手法では、これも図10に示すように、輝度下限値及び輝度上限値においても補正値が算出される(補正関数の値が0ではない)ので、高輝度部である自発光光源や夜間の低輝度部からの光についても0でない補正値が与えられ、結果としてホワイトバランス調整が行われてこれらの光の彩度が変更されて色ずれが生じる可能性がある。
そこで、以下の第3の実施例において、補正関数に連続性を持たせつつ、輝度下限値及び輝度上限値における補正値を考慮した補正手法について説明する。
(第3の実施例)
第3の実施例においても、統計取得部2による動作は第1の実施例におけるそれと同一であるので、説明を省略する。
第3の実施例においても、統計取得部2による動作は第1の実施例におけるそれと同一であるので、説明を省略する。
図8のステップS3において、補正部3の補正関数決定部6が、第1、第2の実施例と異なる補正関数を定義する。
図11を参照して、第3の実施例における補正関数について説明する。図11に示す例でも、図7に示した3つの色差Uの平均値 U_Ave(1)〜U_Ave(3)及びこれに対応する輝度Yの平均値 Yu_Ave(1)〜Yu_Ave(3)が平均値算出部5に提供されたものとする。
第3の実施例における色差Uの補正関数は、第2の実施例における補正関数と同様に、色差Uの平均値を結んだ区分線形関数により与えられるが、第3の実施例では、輝度下限値と色差Uの平均値との間の輝度領域Y_Reg(1)と、色差Uの平均値と輝度上限値との間の輝度領域Y_Reg(4)を新たに設け、合計4つの輝度領域Y_Reg(1)〜Y_Reg(4)において補正関数を定義している。
補正関数の変数について詳細に説明する。輝度下限値をKnee_U(1)とし、輝度下限値に対応する色差Uの値をOffset_U(1)、輝度上限値をKnee_U(5)とし、輝度上限値に対応する色差Uの値をOffset_U(5)とする。また、Offset_U(1)=Offset_U(5)とし、いずれも輝度Y軸上(つまり値0)に設定する。
Knee、Offsetからなる領域の変化点をつなぐ補正関数の直線の傾きを、輝度Yの低域側から順にGain_U(1)、Gain_U(2)、Gain_U(3)、Gain_U(4)、Gain_U(5)とする。また、輝度領域は、輝度Yの低域側から順にY_Reg(1)、Y_Reg(2)、Y_Reg(3)、Y_Reg(4)、Y_Reg(5)とする。
また、補正関数決定部6は、色差Vの補正関数f(V)についても、色差Uの補正関数と同様に定義する。
次のステップS4〜S6の処理は、上述した第2の実施例と同一であるので説明を省略する。
以上説明した手順により、第3の実施例によるホワイトバランス調整装置1のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、図11に示すように、輝度下限値及び輝度上限値における補正値を0に設定したので、高輝度部、低輝度部に近付くほど補正値が小さくなり、この結果、高輝度部である自発光光源や夜間の低輝度部からの光についても色ずれを起こさないホワイトバランス調整を行うことができる。
ここで、統計取得部2による動作と補正部3による動作の関係について補足する。これら統計取得部2及び補正部3の動作は順次行ってもよいし、並行して行ってもよい。つまり、統計取得部2及び補正部3の動作は、上述したように画面単位、言い換えれば撮像装置からの画像信号のフレーム単位で行われるので、あるフレームの画像信号についての統計取得部2による動作が終了してから、このフレームの画像信号について補正部3の動作を行ってもよい。あるいは、統計取得部2が、現在撮像装置から送出されているフレームの数フレーム前の画像信号について動作を行い、数フレーム前の画像信号についての統計取得部2の演算結果に基づいて、補正部3が現在のフレームの画像信号について演算を行ってもよい。このように、統計取得部2と補正部3とを並行動作させることで、ホワイトバランス調整を実時間処理することができる。
以上のように構成された本実施の形態であるホワイトバランス調整装置1では、補正関数決定部6が、輝度領域設定部4aにより設定された各々の輝度範囲における画像信号の色差値の平均値に基づいて画像信号の色差値の補正関数を決定し、この補正関数決定部6により決定された補正関数に基づいて、色差補正部7が画像信号の色差値を補正する。
このようにすることで、画像信号に複数の輝度を有する光源からの光が写り込んでいた場合でも、輝度範囲を適切に設定することで各々の光源からの光に合わせたホワイトバランス調整を行うことができる。これにより、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置1及びホワイトバランス調整方法を提供することができる。
ここで、領域設定部4は、輝度領域設定部4aと、画像信号により表示される画面の範囲を設定する画面領域設定部4bと、彩度範囲を設定する彩度領域設定部4cとを有するので、これら画面領域設定部4b及び彩度領域設定部4cによる範囲を適切に設定することで、画像信号により表示される画面のどの範囲に光源からの光が写り込んでいるかに応じて、また、光源からの光の彩度の偏りに応じて適切なホワイトバランス調整を行うことができる。
また、平均値算出部5は、画面領域設定部4bにより設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部7は、画面領域設定部4bにより設定された画面範囲に対応する画像信号の色差値を補正するので、画面範囲を適切に設定することで、より適切なホワイトバランス調整を行うことができる。
そして、補正関数決定部6は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定するので、高輝度部または低輝度部からの光に対しても適切なホワイトバランス調整を行うことができる。
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
一例として、上述した各実施例における補正関数は、色差U及び色差Vそれぞれについて定義されていたが、3次元のYUV空間において色差U、色差Vに関する変数を同時に含む、つまり3次元のYUV空間において定義される補正関数を用いてもよい。
また、上述した実施の形態であるホワイトバランス調整装置1の補正処理結果に対して調整を行ってもよい。一例として、補正部3の色差補正部7が算出する補正量に制限を設けてもよい。これを式に表すと、
となる。ここで、Coef_U、Coef_Vはそれぞれ色差U、色差Vの補正量調整係数であり、0≦Coef_U≦1、0≦Coef_V≦1とする。補正量調整係数はホワイトバランス調整装置の実装時及び実装後に任意に設定、変更可能である。
このように補正量に制限を設けることで、例えば画面の大部分を有彩色が占めるような画像信号についても、彩度を過剰に補正することで人間が違和感を感じるようなホワイトバランス調整結果になることを回避できる。
1 ホワイトバランス調整装置
2 統計取得部
3 補正部
4 領域設定部
4a 輝度領域設定部
4b 画面領域設定部
4c 彩度領域設定部
5 平均値算出部
6 補正関数決定部
7 色差補正部
2 統計取得部
3 補正部
4 領域設定部
4a 輝度領域設定部
4b 画面領域設定部
4c 彩度領域設定部
5 平均値算出部
6 補正関数決定部
7 色差補正部
Claims (5)
- 受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置であって、
統計取得部と補正部とを有し、
前記統計取得部は、
複数の輝度範囲を設定する輝度領域設定部を備える領域設定部と、
前記輝度領域設定部により設定された各々の前記輝度範囲における前記画像信号の色差値の平均値を算出する平均値算出部とを有し、
前記補正部は、
前記平均値算出部が算出した前記色差値の平均値に基づいて、前記画像信号の色差値の補正関数を決定する補正関数決定部と、
前記補正関数決定部により決定された前記補正関数に基づいて前記画像信号の前記色差値を補正する色差補正部とを有する
ことを特徴とするホワイトバランス調整装置。 - 前記領域設定部は、前記輝度領域設定部と、前記画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有することを特徴とする請求項1に記載のホワイトバランス調整装置。
- 前記平均値算出部は、前記画面領域設定部により設定された画面範囲に対応する前記画像信号の前記色差値の平均値を算出し、
前記色差補正部は、前記画面領域設定部により設定された画面範囲に対応する前記画像信号の前記色差値を補正する
ことを特徴とする請求項2に記載のホワイトバランス調整装置。 - 前記補正関数決定部は、前記画像信号の輝度値の下限値及び上限値に近付くほど前記画像信号の補正量が小さくなる前記補正関数を決定する
ことを特徴とする請求項1〜3のいずれかに記載のホワイトバランス調整装置。 - 受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置により実行されるホワイトバランス調整方法であって、
複数の輝度範囲を設定し、設定した各々の前記輝度範囲における前記画像信号の色差値の平均値を算出し、
算出した前記色差値の平均値に基づいて、前記画像信号の色差値の補正関数を決定し、
決定した前記補正関数に基づいて前記画像信号の前記色差値を補正する
ことを特徴とするホワイトバランス調整方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018013513A JP6896658B2 (ja) | 2018-01-30 | 2018-01-30 | ホワイトバランス調整装置及びホワイトバランス調整方法 |
PCT/JP2018/047738 WO2019150860A1 (ja) | 2018-01-30 | 2018-12-26 | ホワイトバランス調整装置及びホワイトバランス調整方法 |
US16/966,340 US10979683B2 (en) | 2018-01-30 | 2018-12-26 | White balance adjustment device and white balance adjustment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018013513A JP6896658B2 (ja) | 2018-01-30 | 2018-01-30 | ホワイトバランス調整装置及びホワイトバランス調整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019134252A JP2019134252A (ja) | 2019-08-08 |
JP6896658B2 true JP6896658B2 (ja) | 2021-06-30 |
Family
ID=67479666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018013513A Active JP6896658B2 (ja) | 2018-01-30 | 2018-01-30 | ホワイトバランス調整装置及びホワイトバランス調整方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10979683B2 (ja) |
JP (1) | JP6896658B2 (ja) |
WO (1) | WO2019150860A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09130815A (ja) | 1995-11-06 | 1997-05-16 | Seiko Epson Corp | 画像処理方法および画像処理装置 |
JP2001036924A (ja) | 1999-07-23 | 2001-02-09 | Victor Co Of Japan Ltd | 自動ホワイトバランス調整方法及び調整装置 |
JP4740602B2 (ja) | 2005-01-19 | 2011-08-03 | イーストマン コダック カンパニー | オートホワイトバランス装置及びホワイトバランス調整方法 |
JP5067852B2 (ja) | 2007-08-10 | 2012-11-07 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP4948591B2 (ja) * | 2009-12-25 | 2012-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5921983B2 (ja) | 2012-08-03 | 2016-05-24 | クラリオン株式会社 | 車載撮像装置 |
-
2018
- 2018-01-30 JP JP2018013513A patent/JP6896658B2/ja active Active
- 2018-12-26 US US16/966,340 patent/US10979683B2/en active Active
- 2018-12-26 WO PCT/JP2018/047738 patent/WO2019150860A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019150860A1 (ja) | 2019-08-08 |
US10979683B2 (en) | 2021-04-13 |
US20200374500A1 (en) | 2020-11-26 |
JP2019134252A (ja) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5896788B2 (ja) | 画像合成装置及び画像合成方法 | |
US6346994B1 (en) | Image processing system and its smoothing method for correcting color fog and backlight of a digital image | |
US10521887B2 (en) | Image processing device and image processing method | |
JP2014096834A (ja) | 電子機器 | |
US8111301B2 (en) | Method of performing auto white balance in YCbCr color space | |
JP4066803B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ | |
TW201123912A (en) | Method for adjusting image | |
WO2010089836A1 (ja) | 画像処理装置 | |
JP2010244360A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
CN106575434B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
JP4710403B2 (ja) | 車両用画像生成装置および方法 | |
JP2008009877A (ja) | 画像処理装置,画像処理方法およびプログラム | |
JP2007072750A (ja) | 合成画像生成装置及び合成画像生成方法 | |
JP2007271771A (ja) | 画像表示システム及びその制御方法 | |
JP6896658B2 (ja) | ホワイトバランス調整装置及びホワイトバランス調整方法 | |
JP2013106151A (ja) | 画像処理装置及び画像処理方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP6730423B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2011172107A (ja) | マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
KR20110095556A (ko) | 영상투사장치 및 그 영상보정방법 | |
JP2005072694A (ja) | 撮像装置 | |
US11410274B2 (en) | Information processing device and program | |
KR20160069452A (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
WO2023189456A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6896658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |