JP2008123296A - 光源色推定方法、推定光源色設定方法、および、光源色制御方法 - Google Patents
光源色推定方法、推定光源色設定方法、および、光源色制御方法 Download PDFInfo
- Publication number
- JP2008123296A JP2008123296A JP2006307134A JP2006307134A JP2008123296A JP 2008123296 A JP2008123296 A JP 2008123296A JP 2006307134 A JP2006307134 A JP 2006307134A JP 2006307134 A JP2006307134 A JP 2006307134A JP 2008123296 A JP2008123296 A JP 2008123296A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- value
- color
- brightness
- source color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【解決手段】推定光源色設定装置100は、所定の画像の無彩色領域におけるY分布データ、X,Y,Z色分布データ、X,Y,Zバランスデータを算出する。Y分布データの累計頻度が90%となる明点に対応するY値を明点Y値、80%となる暗点に対応するY値を暗点Y値としてそれぞれ求める。明点Y値、暗点Y値に対応するXバランスデータを明点Xバランスデータ、暗点Xバランスデータとして取得し、これらを含む1次関数の光源推定直線L1を設定し、この光源推定直線L1上におけるY分布データの累計頻度が100%となるXバランスデータを、反射勾配推定X値として算出し、この反射勾配推定X値と、同様に算出された反射勾配推定Y,Z値と、で表される色を推定光源色として推定する。
【選択図】図1
Description
このような不具合を解消するために、入力画像信号の情報に基づいて、実像の光源色を推定する構成が知られている(例えば、特許文献1参照)。
まず、本発明の一実施の形態に係る推定光源色設定装置の構成について、図面を参照して説明する。
なお、この推定光源色設定装置は静止画像に対しても適応可能であるが、後述する方法を用いる事によって、動画像に対しても、例えば1クレーム毎にリアルタイムで光源色を推定し設定することが可能であるため、より利用価値が高いと言うことができる。
図1は、本発明の一実施の形態に係る推定光源色設定装置の概略構成を示すブロック図である。図2は、鏡面反射光源色推定部の概略構成を示す模式図である。図3は、明るさとY分布データとの関係を示すグラフである。図4は、明るさとXバランスデータとの関係を示すグラフである。図5は、明るさとYバランスデータとの関係を示すグラフである。図6は、明るさとZバランスデータとの関係を示すグラフである。図7は、平滑化前後の明るさとXバランスデータとの関係を示すグラフである。図8は、暗い画像における明点Y値および暗点Y値の設定状態をグラフ形式で示す図である。図9は、明るい画像における明点Y値および暗点Y値の設定状態をグラフ形式で示す図である。図10は、明点Xバランスデータおよび暗点Xバランスデータの取得方法をグラフ形式で示す図である。図11は、反射勾配推定X値の算出方法をグラフ形式で示す図である。図12は、Xバランスデータが一様勾配変化しているか否かの判定方法をグラフ形式で示す図である。図13は、X,Y,Zバランスデータが一様勾配変化している状態をグラフ形式で示す図である。図14は、物体色光源色推定部の概略構成を示す模式図である。図15は、オブジェクト抽出対象の画像の一例を示す図である。図16は、オブジェクト抽出対象の画像におけるXYZ明るさ毎バランスデータと明るさとの関係を示すグラフである。図17は、XYZ明るさ毎バランスデータを微分処理した状態を示すグラフである。図18は、微分処理後のXYZ明るさ毎バランスデータに基づくオブジェクトの位置特定方法をグラフ形式で示す図である。図19は、オブジェクトの抽出方法をグラフ形式で示す図である。図20は、オブジェクト毎の明点Y値および暗点Y値の設定状態をグラフ形式で示す図である。図21は、半透明のオブジェクトが重なった画像の一例を示す図である。図22は、推定光源色設定部の概略構成を示す模式図である。図23は、第2推定光源色の算出方法を示す図である。図24は、シーンチェンジがない状態をグラフ形式で示す図である。図25は、シーンチェンジがある状態をグラフ形式で示す図である。
そして、推定光源色設定装置100は、各種プログラムとして、画像データ調整部200と、鏡面反射光源色推定部300と、物体色光源色推定部400と、推定光源色設定部600と、などを備えている。
この画像データ調整部200は、画像データ出力手段10から所定の画像を図示しない表示手段で表示させるための画像データを取得する。そして、この画像データの画像撮像時に光源が照射されていない部分(以下、光源非照射部分と記す)を認識し、この光源非照射部分以外をアクティブエリアとして抽出する。ここで、光源非照射部分としては、例えば字幕、テロップなどが例示できる。
この鏡面反射光源色推定部300は、画像データ調整部200からのRGB入力信号に対応する画像中の鏡面反射領域の状態に基づいて、光源色を推定する。
そして、鏡面反射光源色推定部300は、図2に示すように、表色系変換手段310と、無彩色点抽出手段320と、Y分布算出手段330と、Y毎色分布算出手段340と、勾配法処理部350と、平均法処理部360と、などを備えている。
具体的には、無彩色点抽出手段320は、表色系変換手段310からXYZ表色系に変換された入力信号を取得する。そして、各画素におけるXYZ表色系のXYZ値をUV値に変換する。ここで、XYZ値をUV値に変換する手法としては、例えば、CIE(Commission International de l'Eclairage)1976UCS(Uniform Chromaticity Scale)色度図に基づいて変換する手法が例示できる。
さらに、各画素におけるUV値の黒体軌跡からの偏差をduvとして求め、このduvが閾値以内であるか否かを判断する。ここで、閾値は、JIS(Japanese Industrial Standard)で±0.025と定義されていることに対応して、±0.02前後に設定されていることが好ましい。そして、閾値以内であると判断した場合、このUV値に対応する部分を無彩色点として抽出し、閾値を越えると判断した場合、このUV値に対応する部分を無彩色点として抽出しない。この無彩色点の画素データは、本発明の抽出画素データに対応している。
さらに、一般的に光源とは色温度で示すと、市販の光源手段の最低温度である2800Kから、野外の晴天時の最高温度10000Kの範囲内にあると言える。よって、上記duvの閾値以内という条件に加え、各画素の色温度が2800K〜10000Kか否かという条件を加え、この色温度の範囲内である部分を無採色点として抽出することができる。
このY毎色分布算出手段340で算出されたX,Y,Z色分布データ(以下、Y値毎のX,Y,Z色分布データをまとめて表現する際には、Y毎色分布データと適宜記す)は、明るさ毎に対する輝度(明るさ)と色味とを表している。このため、明るさが増加すると、X色分布データ、Y色分布データ、Z色分布データの値も増加することとなる。
例えば、Y毎色分布算出手段340での処理において、Y値がH1の画素数が所定値以上で補間不要、Y値がH2の画素数が所定値未満で補間必要、Y値がH3の画素数が所定値以上で補間不要であったとする。このとき、補間が必要なY値がH2の例えばX色分布データに置き換えて、Y値がH3およびH1のX色分布データに基づき新たなX色分布データを算出して適用する処理を、補間処理として実施する。ここで、新たなX色分布データとしては、Y値がH3,H1のX色分布データの平均値、重み付けや特定のアルゴリズムを利用して演算した値を用いることができる。
このように算出されたXバランスデータおよびZバランスデータは、Yバランスデータを1とした場合の値であり、明るさ毎の色味のみを表している。
具体的には、反射勾配法推定光源算出手段356は、図11に示すように、明点Xバランスデータおよび暗点Xバランスデータに対応する点を通る光源推定直線L1、つまり1次関数の線を設定する。さらに、明点Y値から、明点Y値および暗点Y値の差ΔM1だけ高輝度側にシフトしたY値を推定光源Y値として算出する。そして、光源推定直線L1における推定光源Y値に対応するXバランスデータを、反射勾配推定X値として算出する。
ここで、明点Y値および暗点Y値を、Y分布データの累計頻度がそれぞれ90%および80%になるY値に設定しているため、推定光源Y値は、累計頻度が100%になるY値と考えられる。つまり、累計頻度が100%になると考えられるY値に対応するXバランスデータを、反射勾配推定X値として算出する。
さらに、同様にして、反射勾配推定Z値を算出して、反射勾配推定X,Y,Z値に関する推定光源情報としての反射勾配推定光源情報を推定光源色設定部600へ出力する。ここで、推定光源Yバランスデータは、1となる。
なお、累計頻度が100%ではなく、100%近傍、例えば99%になると考えられるY値に対応する反射勾配推定X,Y,Z値を算出する構成としてもよい。
そして、明るい画像であると判断した場合、第2の反射推定信頼性があると判断し、暗い画像であると判断した場合、第2の反射推定信頼性がないと判断する。
この図12に示すような場合には、暗点Y値および明点Y値の間が一様増加であっても、その直前や直後で減少している。このため、暗点Y値や明点Y値の設定状態により、光源推定直線L1が変わってしまい、信頼性が低くなる。したがって、値Nという幅を考慮に入れて、「暗点Y値−値N」と、「明点Y値+値N」と、の間が一様勾配変化である場合に、第3のX反射推定信頼性があると判断し、一様勾配変化でない場合に、第3のX反射推定信頼性がないと判断する。同様にして、反射勾配推定Y,Z値の算出に利用されたグラフにおいて、差ΔM1が所定値以上か否か、および、一様勾配変化か否かに基づいて、第3のY,Z反射推定信頼性があるか否かを判断する。
このような判断方法を適用すると、例えば図13に示すように、X,Zバランスデータが一様勾配変化の場合に、第3のX,Z反射推定信頼性があると判定される。
また、一様勾配変化であった場合においても、その傾きが急激に変化する場合は図12と同様の不具合が発生する可能性がある。よって、一様勾配変化の状態であっても所定の傾き以上に変化した場合、第3のX,Z反射推定信頼性がないと判定することもできる。この場合、「暗点Y値−値N」と、「明点Y値+値N」と、の間において2次微分を行い、その微分値が所定の値以内では信頼性がありと判断し、所定の値から外れる場合は信頼性がないと判断することができる。
具体的には、例えば、Y値がHの画素におけるX値、Y値、Z値が、(X1,H,Z1)、(X2,H,Z2)、(X3,H,Z3)、(X4,H,Z4)の場合、X,Y,Z色分布データは、それぞれ(X1+X2+X3+X4)、4H、(Z1+Z2+Z3+Z4)となる。そして、例えばY値がHよりも大きい画素におけるX,Y,Z色分布データの総和をX,Y,Z値毎に算出し、これら算出したそれぞれの総和をそれぞれの画素抽出数で除した値を、反射平均推定X,Y,Z値として算出する。例えば、Y値がHよりも大きいX色分布データが(X1+X2+X3+X4+X5+X6)、かつ、画素抽出数が6の場合、(X1+X2+X3+X4+X5+X6)/6を、反射平均推定X値として算出する。さらに、反射平均推定X,Y,Z値に関する推定光源情報としての反射平均推定光源情報を推定光源色設定部600へ出力する。
なお、所定の閾値は、「Y値のピーク値」、「APL値」、「ピーク値をAPL値で除した値」のいずれかに基づいて設定されていてもよいし、任意に設定されていてもよい。
さらに、一般的に光源とは色温度で示すと、市販の光源手段の最低温度である2800Kから、野外の晴天時の最高温度10000Kの範囲内にあると言える。よって、上記duvの閾値以内という条件に加え、反射平均推定X,Y,Z値の色温度が2800K〜10000Kか否かという条件を加え、この色温度の範囲内であった場合に、推定光源として相応しいと判断することもできる。
この物体色光源色推定部400は、画像データ調整部200からのRGB入力信号に対応する画像中の物体の色に基づいて、光源色を推定する。
そして、物体色光源色推定部400は、図14に示すように、明るさ分布算出手段410と、明るさ毎色分布算出手段420と、物体色階調不足レベル補間手段430と、明るさ毎バランス算出手段440と、物体色平滑化手段450と、オブジェクト抽出手段460と、明点暗点明るさ値取得手段470と、物体色明点暗点バランス取得手段480と、物体色勾配法推定光源算出手段490と、物体色勾配法推定結果判定手段500と、オブジェクト毎判定手段510と、物体色推定結果採用判定手段520と、を備えている。
具体的には、明るさ分布算出手段410は、XYZ表色系に基づく明るさ分布データ(以下、XYZ明るさ分布データと記す)を算出する場合、RGB入力信号に基づくRGB表色系をXYZ表色系に変換して、Y分布算出手段330と同様の処理を適用する。すなわち、画像全体に対して、明るさを表す所定のY値に対して、このY値以内に対応する画素数の累計頻度をXYZ明るさ分布データとして算出し、グラフ化する。
また、Yuv表色系に基づく明るさ分布データ(以下、Yuv明るさ分布データと記す)を算出する場合、RGB入力信号に基づくRGB表色系をYuv表色系に変換する。そして、画像全体に対して、明るさを表す所定のY値に対して、このY値以内に対応する画素数の累計頻度をYuv明るさ分布データとして算出し、グラフ化する。
さらに、RGB表色系に基づく明るさ分布データ(以下、RGB明るさ分布データと記す)を算出する場合、RGB入力信号に基づくRGB表色系での明るさを表す明るさ値を算出する。ここで、明るさ値としては、1画素におけるR、G、Bのそれぞれの輝度の平均値や、1画素におけるR、G、Bの輝度の最高値または最低値などを適用できる。つまり、R,G,Bの色味を考慮せずに、単純に輝度値に基づく明るさ値を算出する。そして、画像全体に対して、所定の明るさ値に対して、この明るさ値以内に対応する画素数の累計頻度をRGB明るさ分布データとして算出し、グラフ化する。
具体的には、明るさ毎色分布算出手段420は、XYZ明るさ毎色分布データを算出する場合、RGB入力信号に対応するXYZ表色系に基づいて、Y毎色分布算出手段340と同様の処理を実施する。すなわち、各Y値に対応するX値の合計値を、XYZ明るさ毎色分布データを構成するX色分布データとして算出する。さらに、各Y値に対応するY値、Z値の各々の合計値を、XYZ明るさ毎色分布データを構成するY色分布データ、Z色分布データとして算出する。
また、Yuv明るさ毎色分布データを算出する場合、RGB入力信号に対応するYuv表色系に基づいて、各Y値に対応するY値の合計値を、Yuv明るさ毎色分布データを構成するY色分布データとして算出する。そして、各Y値に対応するu値、v値の各々の合計値を、Yuv明るさ毎色分布データを構成するu色分布データ、v色分布データとして算出する。
さらに、RGB明るさ毎色分布データを算出する場合、RGB入力信号でのRGB表色系に基づいて、各明るさ値に対応するR値の合計値を、RGB明るさ毎色分布データを構成するR色分布データとして算出する。また、各明るさ値に対応するG値、B値の各々の合計値を、RGB明るさ毎色分布データを構成するG色分布データ、B色分布データとして算出する。なお、RGB明るさ毎色分布データを算出する際の明るさ値は、明るさ分布算出手段410で適用したものと同じ値を適用する。
具体的には、明るさ毎バランス算出手段440は、XYZ明るさ毎バランスデータを算出する場合、Y値毎に、X色分布データ、Y色分布データ、Z色分布データをY値および画素数で除算して、XYZ明るさ毎バランスデータを構成するXバランスデータ、Yバランスデータ、Zバランスデータを算出する。
また、Yuv明るさ毎バランスデータを算出する場合、Y値毎に、Y色分布データ、u色分布データ、v色分布データをY値および画素数で除算して、Yuv明るさ毎バランスデータを構成するYバランスデータ、uバランスデータ、vバランスデータを算出する。
さらに、RGB明るさ毎バランスデータを算出する場合、明るさ値毎に、R色分布データ、G色分布データ、B色分布データを明るさ値および画素数で除算して、RGB明るさ毎バランスデータを構成するRバランスデータ、Gバランスデータ、Bバランスデータを算出する。そして、上述した各バランスデータを、図4〜図6のグラフ化処理と同様の処理によりグラフ化する。
具体的には、オブジェクト抽出手段460は、物体色平滑化手段450から、例えば図16に示すように適宜平滑化されかつグラフ化されたXYZ明るさ毎バランスデータを取得する。さらに、このXYZ明るさ毎バランスデータを、微分フィルタを通して、図17に示すようにグラフ化する。そして、この図17に示すグラフにおけるX,Zバランスデータの微分値となるY値の部分を、エッジE11として検出し、画像P1中のエッジE11に対応する部分をオブジェクトの変化点と判断する。このような方法では、少なくとも2つのデータのエッジE11、つまりX,ZバランスデータのエッジE11が略一致するので、信頼性が高い算出結果を得ることができる。
このため、このエリアA,E、つまり端部について、オブジェクトが存在するか否かを判断する端部判断処理を実施する。この端部判断処理としては、物体色階調不足レベル補間手段430で適宜補間されたXYZ明るさ分布データや、物体色平滑化手段450で適宜平滑化されたXYZ毎明るさ分布データを利用する処理が例示できる。
また、オブジェクト抽出手段460は、Y,Zバランスデータについても同様の抽出処理を実施する。
具体的には、明点暗点明るさ値取得手段470は、図19に示すようなXバランスデータのグラフにおいて、図20に示すように、オブジェクトOB1,2,3の暗点明るさ値および明点明るさ値をそれぞれ求める。オブジェクトOB1の暗点明るさ値は、XYZ明るさ分布データの累計頻度がT1a%となるY値であり、明点明るさ値は、累計頻度がT1a%よりも大きいT1b%となるY値である。オブジェクトOB2の暗点明るさ値は、累計頻度がT1b%よりも大きいT2a%となるY値であり、明点明るさ値は、累計頻度がT2a%よりも大きいT2b%となるY値である。オブジェクトOB3の暗点明るさ値は、累計頻度がT2b%よりも大きいT3a%となるY値であり、明点明るさ値は、累計頻度がT3a%よりも大きいT3b%となるY値である。
さらに、明点暗点明るさ値取得手段470は、Yuv明るさ毎バランスデータ、RGB明るさ毎バランスデータについても、上述した処理と同様の処理を実施して、暗点明るさ値、明点明るさ値をそれぞれ求める。
図19に示すエリアA,B,C,D,Eを構成する画素数が、それぞれGa,Gb,Gc,Gd,Geである、つまりエリアA〜Eの合計画素数がGg(=Ga+Gb+Gc+Gd+Ge)とする。そして、オブジェクトOB1,2,3毎に対して累計頻度が90%となる点を明点、80%となる点を暗点と設定する場合、T1a%を、{(Ga+0.8×Gb)/Gg}×100で算出される値に、T1b%を、{(Ga+0.9×Gb)/Gg}×100で算出される値に設定する。また、T2a%を、{(Ga+Gb+0.8×Gc)/Gg}×100で算出される値に、T2b%を、{(Ga+Gb+0.9×Gc)/Gg}×100で算出される値に設定する。さらに、T3a%を、{(Ga+Gb+Gc+0.8×Gd)/Gg}×100で算出される値に、T3b%を、{(Ga+Gb+Gc+0.9×Gd)/Gg}×100で算出される値に設定する。
なお、オブジェクト毎に暗点明るさ値および明点明るさ値を設定する場合、上述したように累計頻度が80%、90%となる点を暗点、明点と設定すると、暗点明るさ値および明点明るさ値の差が小さくなる可能性がある。このため、例えば累計頻度が25%となる点を暗点、75%となる点を明点として、暗点明るさ値および明点明るさ値を設定してもよい。
具体的には、物体色明点暗点バランス取得手段480は、物体色平滑化手段450で適宜平滑化された例えば図19に示すXバランスデータのグラフにおいて、Y値がオブジェクトOB1,2,3の明点明るさ値のXバランスデータを、オブジェクトOB1,2,3の明点Xバランスデータとして取得する。また、オブジェクトOB1,2,3の暗点明るさ値のXバランスデータを、オブジェクトOB1,2,3の暗点Yバランスデータとして取得する。
さらに、Y,Zバランスデータについても同様の処理を実施して、オブジェクトOB1,2,3の明点Y,Zバランスデータ、暗点Y,Zバランスデータを取得する。
また、物体色明点暗点バランス取得手段480は、Yuv明るさ毎バランスデータについても、上述した処理と同様の処理を実施して、暗点明るさ値、明点明るさ値に対応するオブジェクトOB1,2,3のYバランスデータ、uバランスデータ、vバランスデータを、暗点Y,u,vバランスデータ、明点Y,u,vバランスデータとして取得する。さらに、RGB明るさ毎バランスデータについても、暗点明るさ値、明点明るさ値に対応するオブジェクトOB1,2,3のRバランスデータ、Gバランスデータ、Bバランスデータを、暗点R,G,Bバランスデータ、明点R,G,Bバランスデータとして取得する。なお、明点X,Y,Z,Y,u,v,R,G,Bバランスデータ、および、暗点X,Y,Z,Y,u,v,R,G,Bバランスデータは、本発明の明点バランスデータおよび暗点バランスデータにそれぞれ対応している。
また、Yuv明るさ毎バランスデータに対応する明点Y,u,vバランスデータと、暗点Y,u,vバランスデータと、に基づいて、オブジェクト毎の推定光源のY,u,vバランスデータを、Yuv物体色推定Y,u,v値としてそれぞれ算出する。さらに、RBG明るさ毎バランスデータに対応する明点R,G,Bバランスデータと、暗点R,G,Bバランスデータと、に基づいて、オブジェクト毎の推定光源のR,G,Bバランスデータを、RGB物体色推定R,G,B値としてそれぞれ算出する。
そして、オブジェクト毎に、XYZ物体色推定X,Y,Z値に関するXYZ物体色推定光源情報と、Yuv物体色推定Y,u,v値に関するYuv物体色推定光源情報と、RGB物体色推定R,G,B値に関するRGB物体色推定光源情報と、を物体色推定結果採用判定手段520へ出力する。
また、Yuv物体色推定Y,u,v値に対して、同様の処理を実施して、オブジェクト毎の推定光源の判定結果に関するYuv物体色判定情報を、物体色推定結果採用判定手段520へ出力する。さらに、RGB物体色推定R,G,B値に対して、同様の処理を実施して、オブジェクト毎の推定光源の判定結果に関するRGB物体色判定情報を、物体色推定結果採用判定手段520へ出力する。
さらに、Yuv明るさ毎バランスデータに対しても、オブジェクト毎にエリアの両端のY値の幅が所定値以上か否かに基づいて、オブジェクト毎に第1のY,u,v物体色推定信頼性があるか否かを判断する。そして、RGB明るさ毎バランスデータに対しても、オブジェクト毎にエリアの両端の明るさ値の幅が所定値以上か否かに基づいて、オブジェクト毎に第1のR,G,B物体色推定信頼性があるか否かを判断する。
また、第1のX,Y,Z,Y,u,v,R,G,B物体色推定信頼性があると判断した場合、Y値の幅に対応する第1のX,Y,Z,Y,u,v,R,G,B信頼値を設定する。この第1のX,Y,Z,Y,u,v,R,G,B信頼値は、Y値の幅が大きいほど、つまり信頼性が高いほど、大きい値に設定される。
また、Yuv物体色推定Y,u,v値、RGB物体色推定R,G,B値の算出に利用されたグラフにおいても同様の処理を実施して、オブジェクト毎に、第2のY,u,v物体色信頼性、第2のR,G,B物体色信頼性があるか否かを判断する。
また、第2のX,Y,Z,Y,u,v,R,G,B物体色推定信頼性があると判断した場合、差ΔM1と、一様勾配変化および傾き変化の状態と、に対応する第2のX,Y,Z,Y,u,v,R,G,B信頼値を設定する。この第2のX,Y,Z,Y,u,v,R,G,B信頼値は、差ΔM1の幅が大きいほど、かつ、勾配が大きいほど、傾きの変化が緩やかなほど、つまり信頼性が高いほど、大きい値に設定される。
例えば、図21に示すように、半透明なオブジェクトOB3およびオブジェクトOB4が重なっている画像P2の場合、一方のオブジェクトの明点明るさ値または暗点明るさ値が、他方のオブジェクトの明点明るさ値から暗点明るさ値の間に位置する可能性がある。この場合、物体色勾配法推定光源算出手段490で算出したXYZ物体色推定X,Y,Z値、Yuv物体色推定Y,u,v値、RGB物体色推定R,G,B値の信頼性が低くなる。このため、各オブジェクトの境界の明確性を判断する。
具体的には、オブジェクト毎判定手段510は、XYZ明るさ毎バランスデータを微分して得られる図17に示すようなグラフにおいて、微分値の絶対値が所定値以上であると判断した場合、オブジェクトが重なっていないため第3のXYZ物体色推定信頼性があると判断し、所定値未満であると判断した場合、オブジェクトが重なっているため第3のXYZ物体色推定信頼性がないと判断する。
さらに、Yuv明るさ毎バランスデータ、RGB明るさ毎バランスデータについても同様の処理を実施して、第3のYuv物体色推定信頼性、第3のRGB物体色推定信頼性があるか否かを判断する。
また、第3のXYZ,Yuv,RGB物体色推定信頼性があると判断した場合、微分値の絶対値に対応する第3のXYZ,Yuv,RGB信頼値を設定する。この第3のXYZ,Yuv,RGB信頼値は、微分値の絶対値が大きいほど、つまり信頼性が高いほど、大きい値に設定される。
具体的には、所定のオブジェクトの第1,2のX,Y,Z信頼値、第3のXYZ信頼値に対して、所定の演算、例えば適宜重み付けをした四則演算を実施して、XYZ総合信頼値を算出する。また、第1,2のY,u,v信頼値、第3のYuv信頼値に対して、所定の演算を実施して、Yuv総合信頼値を算出する。さらに、第1,2のR,G,B信頼値、第3のRGB信頼値に対して、所定の演算を実施して、RGB総合信頼値を算出する。
そして、オブジェクト毎判定手段510は、オブジェクト毎のXYZ,Yuv,RGBのそれぞれに関するXYZ,Yuv,RGB総合信頼値情報を、物体色推定結果採用判定手段520へ出力する。
なお、総合信頼値が最も高いものを物体色推定値として選出せずに、以下のように選出する構成としてもよい。すなわち、XYZ,Yuv,RGB物体色推定値に関する例えば上位A個のオブジェクトを選出し、これらのオブジェクトの物体色推定値を総合信頼値に対応する重み付けをするなどして平均化する。そして、この平均化した値を、推定光源色を表す物体色推定値として選出する構成としてもよい。
この推定光源色設定部600は、鏡面反射光源色推定部300および物体色光源色推定部400での推定結果に基づいて、推定光源色を設定する。
そして、推定光源色設定部600は、図22に示すように、第1推定光源色選択手段610と、第2推定光源色算出手段620と、第3推定光源色設定手段630と、推定光源色出力手段640と、を備えている。
また、表示制御手段20は、推定光源色設定部600で設定された推定光源色に基づいて、図示しない表示手段で表示された画像を適宜補正する。
また、反射勾配判定情報および反射勾配採用情報のうち少なくともいずれか一方がNGのものであり、かつ、反射平均判定情報がOKのものの場合、反射平均推定光源情報に基づく反射平均推定X,Y,Z値が推定光源を表すものとして相応しいものであると判断して、この反射平均推定X,Y,Z値を第1推定光源色として選択する。
さらに、反射勾配判定情報および反射勾配採用情報のうち少なくともいずれか一方がNGのものであり、反射平均判定情報がNGのものであり、物体色推定光源情報を取得している場合、物体色推定光源情報に基づく物体色推定値を第1推定光源色として選択する。
そして、反射勾配判定情報および反射勾配採用情報のうち少なくともいずれか一方がNGのものであり、反射平均判定情報がNGのものであり、物体色推定光源情報を取得していない場合、その旨の未選択情報を推定光源色出力手段640へ出力する。
具体的には、第2推定光源色算出手段620は、図23に示すように、JIS−Z−8720に定められた黒体軌跡上の標準光源、常用光源に対応する点のうち、第1推定光源色に最も近い点を第2推定光源色として算出する。
また、テストパターンであると判断した場合、または、第1推定光源色選択手段610から未選択情報を取得した場合、画像データ出力手段10からの入力信号の種類により定められた「白」、つまり既定の光源色に関する既定光源色情報を出力する。一般的に、NTSC信号における「白」、HD信号における「白」、PAL信号における「白」など、入力信号により「白」の値が設定されている。ここでは、その値をそのまま推定した光源色として設定する。
また、第1推定光源色選択手段610から未選択情報を取得した場合、直前の画像(フィールド、フレーム)における第3推定光源色を最終的な最終推定光源色として設定してもよい。または、直前フレームのおよびそれよりも以前の単数または複数のフレームにおける第3推定光源色を平均化または所定の重み付けによる演算を実施し、最終的な最終推定光源色として設定してもよい。すなわち、第1推定光源色選択手段610から未選択情報を取得した場合、それよりも前のフレームにおける第3推定光源色に基づいて最終的な最終推定光源色として設定してもよい。
次に、推定光源色設定装置100の動作について、図面を参照して説明する。なお、以下の処理は、1画面毎に実施される。
図26は、光源色の推定処理を示すフローチャートである。図27は、鏡面反射からの光源色推定処理を示すフローチャートである。図28は、物体色からの光源色推定処理を示すフローチャートである。図29は、光源色設定処理を示すフローチャートである。
この後、推定光源色設定装置100は、鏡面反射光源色推定部300にて、平面LPF処理が施された入力信号をRGB表色系またはYuv表色系からXYZ表色系に変換して(ステップS103)、鏡面反射からの光源色推定処理を実施する(ステップS104)。また、推定光源色設定装置100は、物体色光源色推定部400にて、平面LPF処理が施された入力信号に基づいて、物体色からの光源色推定処理を実施する(ステップS105)。
そして、推定光源色設定装置100は、推定光源色設定部600にて、光源色設定処理を実施して(ステップS106)、光源色の推定処理を終了する。
そして、勾配法処理部350は、これらの判定結果に基づいて、反射勾配推定X,Y,Z値に基づく推定光源を適用するか否か判断して(ステップS217)、反射勾配採用情報を、推定光源色設定部600へ出力する。
このステップS401において、選択できないと判断した場合、既定光源色に関する既定光源色情報を出力する(ステップS402)。
一方、ステップS401において、選択できたと判断した場合、この第1推定光源色に基づいて、第2推定光源色の算出処理を実施する(ステップS403:光源色設定工程)。この後、シーンチェンジに基づき光源色を補正して(ステップS404)、第3推定光源色を設定する。そして、この第3推定光源色の設定に用いられた画像がテストパターンか否かを判断する(ステップS405)。
このステップS405において、テストパターンであると判断した場合、ステップS402の処理を実施する。
一方、ステップS405において、テストパターンでないと判断した場合、第3推定光源色を最終推定光源色として設定して、最終推定光源色情報を出力する(ステップS406)。
上述したように、上記一実施の形態では、推定光源色設定装置100の鏡面反射光源色推定部300は、XYZ表色系に変換された入力信号に基づいて、各画素から黒体軌跡からの偏差が閾値以内の画素を無彩色点として抽出する。そして、この無彩色点で構成される無彩色領域について、各Y値に対して、このY値以内に対応する画素数の累計頻度をY分布データとして算出するとともに、X,Y,Z値の各々の合計値をX,Y,Z色分布データとして算出する。また、X,Y,Z色分布データを、それぞれ対応するY値および画素数で除算して、X,Y,Zバランスデータを算出する。そして、Y分布データに基づいて、累計頻度がTa%となる明点に対応するY値を明点Y値として、Tb%となる暗点に対応するY値を暗点Y値として、それぞれ求める。さらに、明点Y値、暗点Y値にそれぞれ対応するX,Y,Zバランスデータを、明点X,Y,Zバランスデータ、暗点X,Y,Zバランスデータとして取得する。そして、明点Xバランスデータ、暗点Xバランスデータを含む1次関数の光源推定直線L1を設定し、この光源推定直線L1上におけるY分布データの累計頻度が100%となるXバランスデータを、反射勾配推定X値として算出し、この反射勾配推定X値と、同様に算出された反射勾配推定Y,Z値と、で表される色を推定光源色として推定する。
このため、略全ての色を表現可能なXYZ表色系のX値、Y値、および、Z値に基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。
このため、略全ての色を表現可能なXYZ表色系のX値、Y値、および、Z値に基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。
さらに、入力信号に対応するYuv表色系、RGB表色系に基づいて、同様の処理を実施して、オブジェクト毎にYuv物体色推定Y,u,v値、RGB物体色推定R,G,B値を算出する処理を、オブジェクト毎の推定光源色の推定処理として実施する。
このため、略全ての色を表現可能なXYZ表色系のX値、Y値、Z値、Yuv表色系のY値、u値、v値、RGB表色系のR値、G値、B値に基づく処理を実施するので、人物の肌の部分に限らず、あらゆる物体におけるあらゆる部分の色に基づいて、画像撮像時の光源色を推定できる。したがって、画像撮像時の光源色を適切に推定できる。
このため、複数の手法により推定された推定光源色に基づいて最終推定光源色を設定するので、1つの手法により推定された推定光源色に基づき最終推定光源色を設定する構成と比べて、より適切に最終推定光源色を設定できる。
特に、上記実施の形態の処理方法を用いた場合、実測の光源値に対して、色温度が±100〜500kの精度で光源色を設定できることが実験的に確認されており、上記実施の形態の全処理を実施することが好ましい。
このため、例えばY分布データにおける所定のY値に対応する画素数が少ない場合であっても、所定の画素数に対応する状態にY分布データを補間することにより、信頼性が高いXYZ物体色推定X,Y,Z値を得ることができる。したがって、撮像時の光源色をより適切に推定できる。
また、物体色階調不足レベル補間手段430においても、XYZ,Yuv,RGB明るさ分布データ、XYZ,Yuv,RGB明るさ毎色分布データに対して、上述したような補間処理を実施するので、信頼性が高いXYZ,Yuv,RGB物体色推定値を得ることができ、撮像時の光源色をさらに適切に推定できる。
このため、Xバランスデータが波を打つ場合、この波を打つ状態を平滑化することにより、この平滑化部分に対応するグラフ上で隣接するXバランスデータの差を最小限に抑えることができる。したがって、平滑化部分を含む光源推定直線L1を明点Y値や暗点Y値によらず略等しくすることができ、信頼性がより高いXYZ物体色推定X,Y,Z値を得ることができ、光源色をさらに適切に推定できる。
また、物体色平滑化手段450においても、XYZ,Yuv,RGB明るさ分布データ、XYZ,Yuv,RGB明るさ毎色分布データに対して、上述したような平滑化処理を実施するので、信頼性がより高いXYZ,Yuv,RGB物体色推定値を得ることができ、光源色をさらに適切に推定できる。
このため、推定光源色設定部600にて、上述した各信頼性に基づいて、より信頼性が高い光源色を適切に設定できる。
さらに、反射平均法推定結果判定手段362にて、反射平均推定X,Y,Z値が推定光源として相応しいか否かを判定する処理を、推定光源の信頼性判定処理として実施するので、この判定結果に基づいて、推定光源色設定部600にて、さらに信頼性が高い光源色を適切に設定できる。
このため、所定の大きさよりも大きい無彩色領域に基づいて光源色を推定するので、反射勾配推定X,Y,Z値を算出するためのデータ数を所定数以上にすることができ、光源色をより適切に推定できる。
このため、所定の明るさよりも明るい無彩色領域に基づいて光源色を推定するので、明るさが暗い鏡面反射でない無彩色領域に基づき算出した反射勾配推定X,Y,Z値を、光源色の推定に用いることがない。したがって、光源色をさらに適切に推定できる。
このため、差ΔM1が極めて小さいY毎バランスデータに基づいて光源推定直線L1を設定すると、この光源推定直線L1の安定性が悪くなるおそれがあるが、差ΔM1が所定値以上のY毎バランスデータに基づいて光源推定直線L1を設定することにより、光源推定直線L1の安定性を所定レベル以上にすることができる。したがって、反射勾配推定X,Y,Z値の信頼性をより高めることができる。
このため、一様勾配変化していない、または傾きの変化が急激な場合も光源推定直線L1の設定対象にすると、明点Y値や暗点Y値の設定により光源推定直線L1の勾配が大きく変化してしまうおそれがあるが、一様勾配変化している場合、および傾きの変化が緩やかな場合のみ、この部分に基づいて光源推定直線L1を設定することにより、光源推定直線L1の安定性を所定レベル以上にすることができる。したがって、反射勾配推定X,Y,Z値の信頼性をさらに高めることができる。
このため、一般的に複数のオブジェクト間の部分は色の変化が急峻な場合が多く、この色の変化を数値化したXYZ,Yuv,RGB明るさ毎バランスデータの微分値を用いることにより、オブジェクト間の部分を容易に特定でき、オブジェクトの位置をより容易に算出できる。
このため、物体色光源色推定部400にて、上述した各信頼性に基づいて、より信頼性が高い推定光源色を適切に推定できる。
このため、一様勾配変化している場合、および傾きの変化が緩やかな場合のみ、この部分に基づいて光源推定直線L1を設定することにより、光源推定直線L1の安定性を所定レベル以上にすることができ、XYZ物体色推定X,Y,Z値の信頼性をさらに高めることができる。
このため、オブジェクトが重なっている場合も例えばXYZ物体色推定X,Y,Z値の算出対象とすると、一方のオブジェクトの明点明るさ値が、他方のオブジェクトの明点明るさ値から暗点明るさ値の間に位置する可能性があり、例えばXYZ物体色推定X,Y,Z値の信頼性が低くなるが、オブジェクトが重なっていない場合のみを算出対象にすることにより、一方のオブジェクトの明点明るさ値が上述したような位置に位置することがなく、XYZ物体色推定X,Y,Z値の信頼性を高めることができる。
このため、最終推定光源色として、鏡面反射光源色推定部300や物体色光源色推定部400で推定された推定光源色をそのまま適用すると、最終推定光源色として設定されうる推定光源色の数が極めて多くなってしまうが、あらかじめJISで定められた光源色を適用することにより、最終推定光源色として設定されうる推定光源色の数を所定数に抑えることができる。したがって、表示制御手段20での画像補正の基準となる最終推定光源色を所定数にすることができ、画像補正処理を容易に実施させることができる。
このため、いかなる画像であっても、表示制御手段20へ最終推定光源色を出力することができ、画像補正処理を適切に実施させることができる。
特に、上記一実施の形態では、入力信号の種類により定められた「白」を最終推定光源色として設定するので、画像補正処理をより適切に実施させることができる。
このため、上述したように、2800Kは市販の光源手段の最低温度、10000Kは野外の晴天時の最高温度に対応しているため、これらを考慮に入れて無彩色点を抽出することにより、より適切に光源色を設定することができる。
このため、1フレーム毎にリアルタイムで光源色を設定することが可能なので、1フレーム前後で光源の状態が変化する動画像であっても、適正に光源色を設定することができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
このような構成にすれば、推定光源色設定装置100の構成を簡略にできる。
また、反射推定結果採用判定手段358にて、第1,第2の反射推定信頼性、第3のX,Y,Z反射推定信頼性のうちの1つまたは2つを設定する構成としてもよい。
そして、第3のX,Y,Z反射推定信頼性を、差ΔM1に基づいて、または、一様勾配変化か否か、および傾きの変化が急激か否かに基づいて、判定する構成としてもよい。
具体的には、明点Y値および暗点Y値の中間値を中間Y値として設定する。例えば明点の累計頻度が90%、暗点が80%の場合、85%に対応する中間Y値を設定する。さらに、中間Y値のXバランスデータを中間Xバランスデータとして取得し、明点,中間,暗点Xバランスデータに対応する点を通るQ(Qは2以上の自然数)次関数の光源推定曲線L2を設定する。そして、この光源推定曲線L2における累計頻度が100%となる推定光源Y値に対応するXバランスデータを、反射勾配推定X値として算出する構成としてもよい。
具体的には、図31に示すように、第1推定光源色に最も近い標準光源に対応する2個の点が、略等しい距離K1,K2の位置にそれぞれ存在する場合、1画像毎の微妙な絵柄の変化により第2推定光源色が、その2個の標準光源間で1画像毎に変わってしまうことがある。このような場合、第1推定光源色の点と、それぞれの標準光源の点と、の距離の比(K1:K2)に基づいて、黒体軌跡上におけるその比に対応した点を第2推定光源色として算出する構成を適用してもよい。
このような構成にすれば、1画像毎に第2推定光源色が大きく変わることがなく、光源色をより適切に推定できる。
具体的には、図32に示すように、第1推定光源色の色温度と同じ値の黒体軌跡上の点を、第2推定光源色として算出する構成としてもよい。
このような構成にすれば、微妙な絵柄の変化では、前後画像で第2推定光源色に大きな変化が発生することがなく、光源色をさらに適切に推定できる。
さらに、無彩色点抽出手段320にて、無彩色点を抽出する際に、黒体軌跡からの偏差が閾値以内か否か、および、色温度が2800K〜10000Kか否かのうちいずれか一方のみを基準として判断してもよい。
この光源色制御装置1は、例えば美術館や博物館などに配置される。そして、光源色制御装置1は、撮像手段2と、光源手段3と、推定光源色設定装置100と、所望光源色入力手段4と、光源色制御手段5と、を備えている。
光源手段3は、対象物6に光を照射可能な位置に設けられている。この光源手段3は、例えばRGB各色から構成されるLEDなどであり、光源色制御手段5の制御により、異なる光源色の光を対象物6に照射する。
推定光源色設定装置100は、撮像手段2からの画像信号に基づいて、上述したような処理により、対象物6が撮像された際の光源色を推定して、最終推定光源色情報を光源色制御手段5へ出力する。ここで、この推定光源色設定装置100による光源色の推定は、本発明の対象物光源色設定工程に対応している。
所望光源色入力手段4は、利用者により入力操作可能な例えばキーボードなどであり、所望の光源色を設定入力可能な構成を有している。そして、所望光源色入力手段4は、設定入力された所望光源色情報を光源色制御手段5へ出力する。
光源色制御手段5は、推定光源色設定装置100からの最終推定光源色情報に基づく対象物6の光源色と、所望光源色入力手段4からの所望光源色情報に基づく光源色と、を比較する。そして、差異が所定の状態よりも大きい場合、対象物6の光源色が利用者により設定された光源色となる状態に、光源手段3の光源色を制御する。ここで、この光源色制御手段5による光源色の制御は、本発明の光源制御工程に対応している。
すなわち、対象物6として表示装置を適用するとともに、この表示装置が太陽7により照射されない位置に配置する。このような場合、画像が表示された表示装置自体を光源の一部として考えると、その表示画像の状態により、表示装置に照射される光源色全体の状態は、1フレーム毎に変化していると言える。
このような構成にすれば、上述したような処理により、表示画像全体の変化に伴い変化する光源色の状態をリアルタイムで所望の状態に制御することができる。
なお、表示装置を太陽7により照射される位置に設けてもよい。
上述したように、上記実施の形態では、推定光源色設定装置100の鏡面反射光源色推定部300は、無彩色点で構成される無彩色領域について、各Y値に対して、このY値以内に対応する画素数の累計頻度をY分布データとして算出する。また、各Y値に対するX,Y,Z値の各々の合計値であるX,Y,Z色分布データを、それぞれ対応するY値および画素数で除算して、X,Y,Zバランスデータを算出する。そして、Y分布データの累計頻度がTa%となる明点に対応するY値を明点Y値として、Tb%となる暗点に対応するY値を暗点Y値として、それぞれ求め、明点Y値、暗点Y値にそれぞれ対応するX,Y,Zバランスデータを、明点X,Y,Zバランスデータ、暗点X,Y,Zバランスデータとして取得する。そして、明点Xバランスデータ、暗点Xバランスデータを含む1次関数の光源推定直線L1を設定し、この光源推定直線L1上におけるY分布データの累計頻度が100%となるXバランスデータを、反射勾配推定X値として算出し、この反射勾配推定X値と、同様に算出された反射勾配推定Y,Z値と、で表される色を推定光源色として推定する。
さらに、入力信号に対応するYuv表色系、RGB表色系に基づいて、同様の処理を実施して、オブジェクト毎にYuv物体色推定Y,u,v値、RGB物体色推定R,G,B値を算出する処理を、オブジェクト毎の推定光源色の推定処理として実施する。
このため、複数の手法により推定された推定光源色に基づいて最終推定光源色を設定するので、1つの手法により推定された推定光源色に基づき最終推定光源色を設定する構成と比べて、より適切に最終推定光源色を設定できる。
このため、対象物6の光源色をリアルタイムで所望の状態に制御することができる。また、光源色を直接測定する高価な測定機器を用いずに、安価なビデオカメラを用いるだけで対象物6の光源色を制御でき、このような制御をする構成の低コスト化を実現できる。
S203…Y分布算出工程
S204…Y毎色分布算出工程
S205,S212,S311…推定光源算出工程
S206,S213…信頼性判定工程
S207,S303…補間工程
S208…Y毎バランス算出工程
S209,S305…平滑化工程
S211…明点暗点Y値取得工程および明点暗点バランス取得工程
S301…明るさ分布算出工程
S302…明るさ毎色分布算出工程
S304…明るさ毎バランス算出工程
S306…オブジェクト明るさ毎バランス取得工程
S307…明点暗点明るさ値取得工程および明点暗点バランス取得工程
S310…オブジェクト毎判定工程
S401…推定光源情報取得工程および光源色設定工程
S403…光源色設定工程
Claims (26)
- 所定の画像が撮像された際の光源色を推定する光源色推定方法であって、
前記画像の画像信号におけるXYZ表色系のX値、Y値、および、Z値で表される画素データから、黒体軌跡からの偏差が所定値以内の前記画素データを抽出画素データとして抽出する抽出工程と、
この抽出工程で抽出した前記抽出画素データに基づいて、各Y値に対して、前記Y値以内のY値に対応する前記抽出画素データの数の累計頻度を表すY分布データを算出するY分布算出工程と、
前記抽出画素データに基づいて、各Y値に対して、前記Y値に対応する前記抽出画素データの前記X値の合計値、前記Y値の合計値、および、前記Z値の合計値をY毎色分布データとして算出するY毎色分布算出工程と、
このY毎色分布算出工程で算出した前記Y毎色分布データの前記X値の合計値、前記Y値の合計値、前記Z値の合計値を、それぞれ対応する前記Y値で除算したY毎バランスデータを算出するY毎バランス算出工程と、
前記Y分布算出工程で算出した前記Y分布データに基づいて、前記累計頻度がTa%となる明点に対応する前記Y値を明点Y値として取得し、前記累計頻度がTa%未満のTb%となる暗点に対応する前記Y値を暗点Y値として取得する明点暗点Y値取得工程と、
前記Y毎バランス算出工程で算出した前記Y毎バランスデータに基づいて、前記明点Y値に対応する前記Y毎バランスデータを明点バランスデータとして取得し、前記暗点Y値に対応する前記Y毎バランスデータを暗点バランスデータとして取得する明点暗点バランス取得工程と、
前記Y毎バランスデータに基づいて、前記明点バランスデータおよび前記暗点バランスデータを含むQ(Qは自然数)次関数の線を設定し、この線上における前記累計頻度が100%または略100%に対応する前記Y毎バランスデータのX値、Y値、および、Z値を算出し、この算出した前記X値、前記Y値、および、前記Z値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、
を実施することを特徴とする光源色推定方法。 - 請求項1に記載の光源色推定方法であって、
前記Y毎バランス算出工程の前に、前記Y分布データ、前記Y毎色分布データの各Y値に対して、前記Y値に対応する前記抽出画素データの数が所定値未満の場合、前記抽出画素データの数が所定値以上となる状態に前記Y分布データ、前記Y毎色分布データを補間する補間工程を実施し、
前記Y毎バランス算出工程、前記明点暗点Y値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記補間工程で補間された前記Y分布データ、前記Y毎色分布データに基づく処理を実施する
ことを特徴とする光源色推定方法。 - 請求項1または請求項2に記載の光源色推定方法であって、
前記明点暗点Y値取得工程の前に、前記Y毎バランスデータを平滑化する平滑化工程を実施し、
前記明点暗点Y値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記平滑化工程で平滑化された前記Y毎バランスデータに基づく処理を実施する
ことを特徴とする光源色推定方法。 - 請求項1ないし請求項3のいずれかに記載の光源色推定方法であって、
前記推定光源算出工程で推定した前記光源色の信頼性を判定する信頼性判定工程を実施する
ことを特徴とする光源色推定方法。 - 請求項4に記載の光源色推定方法であって、
前記信頼性判定工程では、前記抽出画素データの数に基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。 - 請求項4または請求項5に記載の光源色推定方法であって、
前記信頼性判定工程では、前記画像の明るさに基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。 - 請求項4ないし請求項6のいずれかに記載の光源色推定方法であって、
前記信頼性判定工程では、前記明点Y値および前記暗点Y値の差に基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。 - 請求項4ないし請求項7のいずれかに記載の光源色推定方法であって、
前記信頼性判定工程では、前記Y値の増減に対する前記Y毎バランスデータの増減状態に基づいて、前記光源色の信頼性を判定する
ことを特徴とする光源色推定方法。 - 請求項1ないし請求項8のいずれかに記載の光源色推定方法であって、
前記抽出工程では、所定の色温度の範囲内の前記画素データを前記抽出画素データとして抽出することを特徴とする光源色推定方法。 - 請求項1ないし請求項9のいずれかに記載の光源色推定方法であって、
前記画像は動画像である
ことを特徴とする光源色推定方法。 - 所定の画像が撮像された際の光源色を推定する光源色推定方法であって、
前記画像の画像信号におけるXYZ表色系のX値、Y値、および、Z値で表される画素データから、黒体軌跡からの偏差が所定値以内の前記画素データを抽出画素データとして抽出する抽出工程と、
この抽出工程で抽出した前記抽出画素データに基づいて、各Y値に対して、前記Y値に対応する前記抽出画素データの前記X値の合計値、前記Y値の合計値、および、前記Z値の合計値をY毎色分布データとして算出するY毎色分布算出工程と、
このY毎色分布算出工程で算出した前記Y毎色分布データに基づいて、所定のY値以上のY値に対応する前記Y毎色分布データの前記X値の合計値、前記Y値の合計値、および、前記Z値の合計値を、前記所定のY値以上のY値に対応する前記Y毎色分布データの合計数でそれぞれ除算して得られたX値、Y値、および、Z値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、
を実施することを特徴とする光源色推定方法。 - 請求項11に記載の光源色推定方法であって、
前記推定光源算出工程で推定した前記光源色の信頼性を判定する信頼性判定工程を実施する
ことを特徴とする光源色推定方法。 - 請求項11または請求項12に記載の光源色推定方法であって、
前記抽出工程では、所定の色温度の範囲内の前記画素データを前記抽出画素データとして抽出することを特徴とする光源色推定方法。 - 請求項11ないし請求項13のいずれかに記載の光源色推定方法であって、
前記画像は動画像である
ことを特徴とする光源色推定方法。 - 所定のオブジェクトを含む画像が撮像された際の光源色を推定する光源色推定方法であって、
前記画像の画像信号における3個の表色値で色を表現可能な少なくとも1種類の表色系の前記表色値で表される画素データに基づいて、前記3個の表色値に基づく前記画像の明るさを表す明るさ値のそれぞれに対して、前記明るさ値以内の前記明るさ値に対応する前記画素データの数の累計頻度を表す明るさ分布データを算出する明るさ分布算出工程と、
前記画素データに基づいて、各前記明るさ値に対して、前記明るさ値に対応する前記画素データの前記第1の表色値の合計値、第2の前記表色値の合計値、および、第3の前記表色値の合計値を明るさ毎色分布データとして算出する明るさ毎色分布算出工程と、
この明るさ毎色分布算出工程で算出した前記明るさ毎色分布データの前記第1の表色値の合計値、前記第2の表色値の合計値、前記第3の表色値の合計値を、それぞれ対応する前記明るさ値で除算した明るさ毎バランスデータを算出する明るさ毎バランス算出工程と、
この明るさ毎バランス算出工程で算出された前記明るさ毎バランスデータに基づいて、前記画像における前記オブジェクトの位置を算出し、この算出した位置に対応する前記明るさ毎バランスデータをオブジェクト明るさ毎バランスデータとして取得するオブジェクト明るさ毎バランス取得工程と、
前記明るさ分布算出工程で算出した前記明るさ分布データに基づいて、前記オブジェクト毎に、前記累計頻度がTa%となる明点に対応する前記明るさ値を明点明るさ値として取得し、前記累計頻度がTa%未満のTb%となる暗点に対応する前記明るさ値を暗点明るさ値として取得する明点暗点明るさ値取得工程と、
前記明るさ毎バランスデータに基づいて、前記オブジェクト毎に、前記明点明るさ値に対応する前記明るさ毎バランスデータを明点バランスデータとして取得し、前記暗点明るさ値に対応する前記明るさ毎バランスデータを暗点バランスデータとして取得する明点暗点バランス取得工程と、
前記明るさ毎バランスデータに基づいて、前記オブジェクト毎に、前記明点バランスデータおよび前記暗点バランスデータを含むQ(Qは自然数)次関数の線を設定し、この線上における前記累計頻度が100%または略100%に対応する前記明るさ毎バランスデータの第1の表色値、第2の表色値、および、第3の表色値を算出し、このオブジェクト毎に算出された前記第1の表色値、前記第2の表色値、および、前記第3の表色値に基づいて、前記画像が撮像された際の光源色を算出して推定する推定光源算出工程と、
を実施することを特徴とする光源色推定方法。 - 請求項15に記載の光源色推定方法であって、
前記明るさ毎バランス算出工程の前に、前記明るさ分布データ、前記明るさ毎色分布データの各明るさ値に対して、前記明るさ値に対応する前記画素データの数が所定値未満の場合、前記画素データの数が所定値以上となる状態に前記明るさ分布データ、前記明るさ毎色分布データを補間する補間工程を実施し、
前記明るさ毎バランス算出工程、前記オブジェクト明るさ毎バランス工程、前記明点暗点明るさ値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記補間工程で補間された前記明るさ分布データ、前記明るさ毎色分布データに基づく処理を実施する
ことを特徴とする光源色推定方法。 - 請求項15または請求項16に記載の光源色推定方法であって、
前記オブジェクト明るさ毎バランス工程の前に、前記明るさ毎バランスデータを平滑化する平滑化工程を実施し、
前記オブジェクト明るさ毎バランス工程、前記明点暗点明るさ値取得工程、前記明点暗点バランス取得工程、および、前記推定光源算出工程では、前記平滑化工程で平滑化された前記明るさ分布データ、前記明るさ毎色分布データに基づく処理を実施する
ことを特徴とする光源色推定方法。 - 請求項15ないし請求項17のいずれかに記載の光源色推定方法であって、
前記オブジェクト明るさ毎バランス取得工程では、前記明るさ毎バランスデータを微分して、この微分した結果に基づいて、前記画像における前記オブジェクトの位置を算出する
ことを特徴とする光源色推定方法。 - 請求項15ないし請求項18のいずれかに記載の光源色推定方法であって、
前記オブジェクト明るさ毎バランス取得工程で位置が算出されたオブジェクトに対して、前記推定光源算出工程で算出される前記オブジェクトの前記第1の表色値、前記第2の表色値、および、前記第3の表色値の信頼性を判定するオブジェクト毎判定工程を実施し、
前記推定光源算出工程では、前記オブジェクト毎判定工程で判定された前記信頼性に基づいて、所定の前記オブジェクトを選出し、この選出した前記オブジェクトの前記第1の表色値、前記第2の表色値、および、前記第3の表色値に基づいて、前記画像が撮像された際の光源色を算出して推定する
ことを特徴とする光源色推定方法。 - 請求項19に記載の光源色推定方法であって、
前記オブジェクト毎判定工程では、前記明るさ値の増減に対する前記明るさ毎バランスデータの増減状態に基づいて、前記オブジェクトの前記信頼性を判定する
ことを特徴とする光源色推定方法。 - 請求項19または請求項20に記載の光源色推定方法であって、
前記オブジェクト毎判定工程では、前記オブジェクトの重なり状態に基づいて、前記オブジェクトの前記信頼性を判定する
ことを特徴とする光源色推定方法。 - 請求項15ないし請求21のいずれかに記載の光源色推定方法であって、
前記明るさ分布算出工程の前に、所定の色温度の範囲内の前記画素データを抽出する抽出工程を実施し、
前記明るさ分布算出工程以降の工程では、前記抽出工程で抽出された前記画素データに基づく処理を実施する
ことを特徴とする光源色推定方法。 - 請求項15ないし請求項22のいずれかに記載の光源色推定方法であって、
前記画像は動画像である
ことを特徴とする光源色推定方法。 - 請求項1ないし請求項10のいずれかに記載の光源色推定方法で推定された前記光源色、請求項11ないし請求項14に記載の光源色推定方法で推定された前記光源色、および、請求項15ないし請求項23のいずれかに記載の光源色推定方法で推定された前記光源色のうち、少なくともいずれか2つの前記光源色に関する推定光源情報を取得する推定光源情報取得工程と、
所定の優先度に基づいて、前記推定光源情報取得工程で取得した前記推定光源情報に基づく前記少なくともいずれか2つの光源色のうち1つの光源色を選出し、この選出した光源色に基づいて、前記画像が撮像された際の光源色を設定する光源色設定工程と、
を実施することを特徴とする推定光源色設定方法。 - 請求項24に記載の推定光源色設定方法であって、
前記光源色設定工程では、あらかじめ規格化されている標準光源色のうち前記選出した光源色と略等しい前記標準光源色を、前記画像が撮像された際の光源色として設定する
ことを特徴とする推定光源色設定方法。 - 所定の対象物を撮像する撮像手段から入力される画像信号に基づいて、請求項24または請求項25に記載の推定光源色設定方法により前記対象物の画像が撮像された際の光源色を設定する対象物光源色設定工程と、
所望の光源色と前記推定光源色設定方法で設定された前記光源色とが異なる場合に、前記対象物を照射する光源手段を前記所望の光源色で照射する状態に制御する光源制御工程と、
を実施することを特徴とする光源色制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307134A JP2008123296A (ja) | 2006-11-13 | 2006-11-13 | 光源色推定方法、推定光源色設定方法、および、光源色制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307134A JP2008123296A (ja) | 2006-11-13 | 2006-11-13 | 光源色推定方法、推定光源色設定方法、および、光源色制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008123296A true JP2008123296A (ja) | 2008-05-29 |
Family
ID=39507981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006307134A Ceased JP2008123296A (ja) | 2006-11-13 | 2006-11-13 | 光源色推定方法、推定光源色設定方法、および、光源色制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008123296A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011145439A (ja) * | 2010-01-14 | 2011-07-28 | Sharp Corp | 画像形成装置の回転伝達機構 |
JP2017215851A (ja) * | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | 画像処理装置および画像処理方法、造形システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955948A (ja) * | 1995-08-11 | 1997-02-25 | Minolta Co Ltd | 撮像装置 |
JP2000148978A (ja) * | 1998-11-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 撮影光源推定方法および装置、画像処理方法および装置、並びに記録媒体 |
JP2002271638A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 |
JP2003087818A (ja) * | 2001-09-14 | 2003-03-20 | Toshiba Corp | 白バランスを得るための照明光の色推定方法および撮像装置 |
JP2006181974A (ja) * | 2004-12-28 | 2006-07-13 | Sharp Corp | レーザ書込装置およびレーザ書込方法。 |
JP2006254487A (ja) * | 2006-04-17 | 2006-09-21 | Canon Inc | 画像処理方法、装置および記録媒体 |
JP2006262404A (ja) * | 2005-03-18 | 2006-09-28 | Sharp Corp | 光源推定装置、画像処理装置、光源推定方法、および画像処理方法 |
-
2006
- 2006-11-13 JP JP2006307134A patent/JP2008123296A/ja not_active Ceased
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0955948A (ja) * | 1995-08-11 | 1997-02-25 | Minolta Co Ltd | 撮像装置 |
JP2000148978A (ja) * | 1998-11-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 撮影光源推定方法および装置、画像処理方法および装置、並びに記録媒体 |
JP2002271638A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 |
JP2003087818A (ja) * | 2001-09-14 | 2003-03-20 | Toshiba Corp | 白バランスを得るための照明光の色推定方法および撮像装置 |
JP2006181974A (ja) * | 2004-12-28 | 2006-07-13 | Sharp Corp | レーザ書込装置およびレーザ書込方法。 |
JP2006262404A (ja) * | 2005-03-18 | 2006-09-28 | Sharp Corp | 光源推定装置、画像処理装置、光源推定方法、および画像処理方法 |
JP2006254487A (ja) * | 2006-04-17 | 2006-09-21 | Canon Inc | 画像処理方法、装置および記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011145439A (ja) * | 2010-01-14 | 2011-07-28 | Sharp Corp | 画像形成装置の回転伝達機構 |
JP2017215851A (ja) * | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | 画像処理装置および画像処理方法、造形システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240029199A1 (en) | Efficient Image Demosaicing and Local Contrast Enhancement | |
US7406213B2 (en) | Image processing apparatus and method, and computer program | |
US8446485B2 (en) | Image processing apparatus, image processing method, and storage medium thereof | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
US9137464B2 (en) | Image processing apparatus and control method of the same | |
US7013025B2 (en) | Image correction apparatus | |
US7656437B2 (en) | Image processing apparatus, image processing method, and computer program | |
US8249337B2 (en) | Methods and systems for converting images from low dynamic range to high dynamic range | |
US7697044B2 (en) | Image processing apparatus and image processing method | |
US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
JP2007110576A (ja) | 被写体像データの色補正装置およびその制御方法 | |
CN107533756B (zh) | 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质 | |
CN110009588B (zh) | 一种人像图像色彩增强方法及装置 | |
JP5901667B2 (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
JP5392560B2 (ja) | 画像処理装置および画像処理方法 | |
JP4595569B2 (ja) | 撮像装置 | |
JP2010272996A (ja) | 画像処理装置、及び画像処理プログラム | |
JP3673092B2 (ja) | 画質調整装置及び画質調整方法、並びに画像調整用プログラムを記録した記録媒体 | |
JP2008123296A (ja) | 光源色推定方法、推定光源色設定方法、および、光源色制御方法 | |
JP2005173879A (ja) | 融合画像表示装置 | |
JP2005260675A (ja) | 画像処理装置およびプログラム | |
JP2007234034A (ja) | 画像処理装置及び画像処理方法 | |
JP2003046807A (ja) | 画像表示装置および画像表示方法 | |
JP3502828B2 (ja) | コンピュータによる画像処理システム | |
JP2004260835A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
A045 | Written measure of dismissal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20120124 |