JP3767541B2 - 光源推定装置、光源推定方法、撮像装置および画像処理方法 - Google Patents
光源推定装置、光源推定方法、撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP3767541B2 JP3767541B2 JP2002328719A JP2002328719A JP3767541B2 JP 3767541 B2 JP3767541 B2 JP 3767541B2 JP 2002328719 A JP2002328719 A JP 2002328719A JP 2002328719 A JP2002328719 A JP 2002328719A JP 3767541 B2 JP3767541 B2 JP 3767541B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- estimation method
- spectral
- source estimation
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 106
- 238000003384 imaging method Methods 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000009826 distribution Methods 0.000 claims description 109
- 238000012360 testing method Methods 0.000 claims description 101
- 238000011156 evaluation Methods 0.000 claims description 88
- 230000003595 spectral effect Effects 0.000 claims description 85
- 230000004044 response Effects 0.000 claims description 78
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 25
- 230000035945 sensitivity Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000013213 extrapolation Methods 0.000 claims 2
- 238000001914 filtration Methods 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000007619 statistical method Methods 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 27
- 238000010586 diagram Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101150049912 bin3 gene Proteins 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Image Communication Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Spectrometry And Color Measurement (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
人間の目に入射する光は照明による放射エネルギの一部を視対象である物体が反射して空気中を伝播したものであり、視覚系は物体や照明の特性を直接観測できるわけではないが、どのような未知の色的特性を持つ照明下であってもある程度安定して物体を同定する。この特性は色恒常性と呼ばれており、例えば白い物体表面は白として認識することを可能にする。
【０００３】
一方デジタルスチルカメラやデジタルビデオカメラなどの電子撮像機器では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのフォトセンサの応答によってシーンを画像として形成するが、一般にＲ, Ｇ, Ｂ等のカラーチャンネル間でセンサ応答のバランスが一定であるため、シーンの照明に応じて自然に見える状態で画像を形成するためにはチャンネル間のバランスを調整する補正機構が必要となる。バランスの調整が十分に行われないと、画像観察者にとって、本来無彩色であるような物体として認識される箇所に着色して画像が再現されたり、物体の記憶色が異なる色で再現されるなどの不自然な印象を与えるため、画像の色再現にとって非常に重要である。
【０００４】
チャンネル間のバランス調整は、各チャンネルのゲイン調整でホワイトバランスと呼ばれる無彩色の補正をしたり、チャンネル間で信号の線形マトリクス変換によって光源の演色性を補正したり（特許文献１）、撮像機器や視覚系などの異なるセンサの感度応答へマッチングを行うなどが可能である。ただしいずれにしても、そのためには補正機構がシーンに応じた適切な補正パラメータを何らかの手段で得なければならない。例えば光量に対してリニアなＲ, Ｇ, Ｂ３チャンネルの応答を得るセンサのホワイトバランス調整のために適当なゲイン値は、撮影シーンの光源の分光分布が既知であれば撮像系の分光感度特性とともに次の数1 式、数2 式のように計算できる。
【０００５】
【数１】
【０００６】
【数２】
【０００７】
しかし撮像機器にとって、キャリブレーション等を行わない通常の撮影時のシーンに存在する被写体やそれらの照明光源に関する情報は未知であり、専用に設けたセンサもしくは撮像用センサの応答結果からシーンに適した調整パラメータ、もしくはそれを決定するための照明光源の色的特性を特定しなければならず光源推定問題や色恒常性問題として知られている。
【０００８】
視覚研究の分野においては１９８０年ごろから各種アルゴリズムや計算モデルが提案されており、またそれら以外の経験的知識にも基づいた手法などはカラー撮像機器に従来から実装されてきており、その推定性能は年々進歩してきている。さらに最近ではロボット等の人工的視覚系への応用も期待されている。
【０００９】
最もよく利用されているアルゴリズムの一つは、物体の表面反射率はシーンの空間的平均がグレーに近いという仮説に基づいてセンサ応答の平均値やその黒体軌跡上への投影から光源の色成分を抽出するもので（非特許文献1 、非特許文献2 ）、単にセンサ応答を画素間で平均したり、特定の明るさレベル範囲内の画素を平均したり、空間内の位置によってサンプリングする範囲や重みを変えるなど、多様な形式で応用されている。また最も明るさレベルの高いエリアを完全拡散反射面に近い白い表面に対応すると仮定して応答値が高い画素をサンプリングした結果から光源の色成分を抽出したり（特許文献２）、明るさレベルが高いエリアが鏡面反射成分であると仮定して応答値の分布から光源を推定する手法（非特許文献３）などもある。これらは物理的には光源と独立であるはずの物体表面についての仮定に基づいているため、シーンによっては仮定から離れた被写体の状態により光源の推定結果が大きく左右されることが知られている。
【００１０】
さらに物体表面を拡散反射面とした反射モデルを仮定し、光源と物体表面それぞれの分光特性を少数次元の線形モデルで近似することで、センサ応答とは異なるベクトル空間を用いた線形演算により復元を試みるもの（非特許文献４）や、物体表面の分光反射率が物理的に0 〜1 の範囲内に在るなどの制約条件を課して確率の高い光源を選定するもの（非特許文献５）などがあるが、応答チャンネル数が少ない一般的な撮像系において、これらは単独では十分な推定性能が得られない。さらには、演算量は増えるが、光源、物体表面、撮像系など複数の既知の仮定や確率分布を統合して統計的に推定精度を高めることを可能にする提案（非特許文献６）などもある。
【００１１】
特に反射モデルを適用した手法では、全く未知の一つの光源を答として推定するのではなく、事前知識を多用して、あらかじめ候補として設定した幾つかの光源の中から最も確からしいものを分類・検出するという決定方式では、比較的計算が単純で高速に結果を出力できるという点で有利と考えられる。これらが確からしいと判断する基準としては、センサ応答自体を一定の制約条件下で復元した誤差（非特許文献７）を用いたり、センサ空間での色域内の分布状態を広く利用して、あらかじめ基準とした色域や重み付き分布との比較で相関関係を効率的に数値化する提案（非特許文献８、非特許文献９、非特許文献１０、特許文献３）がなされている。
【００１２】
【特許文献１】
特開２００２−１４２２３１号公報
【特許文献２】
特開平９−５５９４８号公報
【特許文献３】
特開平５−１９１８２６号公報
【非特許文献１】
G.Buchsbaum, "A Spatial Processor Model for Object Color Perception", J.Franklin Inst. 310, 1980
【非特許文献２】
E.H.Land, "Recent Advances in Retinex Theory", Vision Research, 26, 1986
【非特許文献３】
H.C.Lee, "Method for computing the scene-illuminant chromaticity from specular highlights", J.Opt.Soc.Am A, Vol.3, No.10, 1986
【非特許文献４】
L.T.Maloney & B.A.Wandell, "Color Constancy: A method for recovering surface spectral reflectance", J.Opt.Soc.Am. A, 1986
【非特許文献５】
D.A.Forsyth, "A novel Algorithm for Color Constancy", Int.J.Comput.Vision 5, 1990
【非特許文献６】
D.H.Brainard & W.T.Freeman, "Bayesian color constancy", J.Opt.Soc.Am. A, Vol.14, No.7, 1997
【非特許文献７】
B.Tao, I.Tastl & N.Katoh, "Illumination Detection in Linear Space", Proc. 8th Color Imaging Conf., 2000
【非特許文献８】
Hewlett-Packard Company, Hubel, et al. , "White point determination using correlation matrix memory", U.S.Patent 6038339
【非特許文献９】
G.D.Finlayson, P.M.Hubel, & S.Hordley, "Color by correlation", Proc.5th Color Imaging Conf., 1997
【非特許文献１０】
S.Tominaga & B.A.Wandell, "Natural scene-illuminant estimation using the sensor correlation", Proc. IEEE, Vol.90, No.1, 2002
【００１３】
【発明が解決しようとする課題】
一般的に光源推定アルゴリズムをデジタルカメラ内部のホワイトバランス処理のような画像処理演算で利用するためには、処理速度が速いだけでなくメモリ消費量などのコストが低いことが実装時に求められる。
【００１４】
しかし、上述した従来のアルゴリズムのうち比較的高速に分類・検出を可能にする方式（非特許文献８、非特許文献９、特許文献３）であっても、図１０に従来のセンサ応答空間でのテスト光源の正当性を評価する方式の概念図を示すように、候補として設定するテスト光源１０１の数１〜ｎが多いほど推定精度を高める可能性がある一方で、撮像手段１０４による被写体１０３の撮影画像のセンサ応答１０５に対する画像分布１０６と、それらテスト光源１０１に対応して記憶媒体１０７に記憶された参照分布（１，２、・・・ｎ）１０８との比較部１０９による比較評価を、撮像光源１０２に依存するセンサ空間の画像分布１０６において行って、評価結果のスコア（１，２、・・・ｎ）１１０を出力し、判定部１１１がスコア値１１０に基づいて最も正しいと判断したテスト光源を推定光源Ｏとして判定するために、正しい光源である比較基準としての色域、重み付き分布、ターゲット値などの参照分布（１，２、・・・ｎ）１０８の情報を、設定したテスト光源１０１の数１〜ｎだけ記憶媒体１０７に保持している必要がありＲＯＭ等の記憶媒体１０７のメモリ消費量が増えるという傾向があり、精度とコストの間に一長一短の問題があるという不都合があった。
【００１５】
これらが固定した投影によって、１つの撮像につき１つの画像分布を作成し、それを仮定した複数の光源に対応する複数の参照分布と比較することを判断基準としているのに対して、本願発明では、仮定した複数の光源に対応する投影によって生成される複数の画像分布を、固定した一つの参照分布と比較することを判断基準とする。
【００１６】
そこで、本発明は、かかる点に鑑みてなされたものであり、カラー撮像機器での自動ホワイトバランス調整などの色再現品質を向上するため、センサ応答から撮影シーンの未知の光源の色特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法を提供することを課題とする。
【００１７】
【課題を解決するための手段】
本発明の光源推定装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価する評価手段とを備えたことによって正しい撮影光源を推定するものである。
【００１８】
従って本発明によれば、以下の作用をする。
サンプリングしたセンサ応答に対して、既知である撮像系の分光感度特性とテスト光源の分光特性とから測色的に近似可能な演算により、光源に依存しない評価空間へ投影し、そこでの広く分布したサンプル値の状態に基づいて各テスト光源についての正当性を評価する。
【００１９】
これによれば、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持しておけばよいため、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることができる。
【００２０】
また、本発明の光源推定方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定するものである。
【００２１】
従って本発明によれば、以下の作用をする。
光源に依存しない固定した空間を用いて評価を行うために、正しい光源である比較基準としての情報を一つの参照分布の空間についてのみ保持していればよく、評価の処理が簡略化されるため、コストが増大する課題を解決することを可能にする。さらにそのために、正しい光源である基準として参照する情報（条件やデータ）をより多く与えることができるため、推定精度を向上させるための最適化調整も容易になる。
【００２２】
また、本発明の撮像装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したものである。
【００２３】
従って本発明によれば、以下の作用をする。
撮像装置において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることにより、カラーバランス処理に利用することができる。
【００２４】
また、本発明の画像処理方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたものである。
【００２５】
従って本発明によれば、以下の作用をする。
画像処理方法において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、早い処理で高い推定精度を得ることにより、カラーバランス処理に利用することができる。
【００２６】
【発明の実施の形態】
以下に、本発明の実施の形態について適宜図面を参照しながら説明する。
図１に本発明の実施の形態に適用される光源に依存しない評価空間でテスト光源の正当性を評価する方式の概念図を示す。
【００２７】
図１において、撮像手段４により撮影光源２での被写体３を撮像する。このときの撮像手段４によりサンプリングしたセンサ応答５に対して、光源に依存しない評価空間へ投影するために、既知である撮像手段４の分光感度特性とテスト光源（１〜ｎ）１の分光特性とから予め測色的に近似した演算を行い記憶媒体７に記憶された各テスト光源に対応する行列（１〜ｎ）８を用いて、投影変換部６により評価空間の画像分布９へ投影し、その画像分布９に広く分布したサンプル値の状態に基づいて各テスト光源（１〜ｎ）１についての正当性を参照分布１１に基づいて評価部１０により評価しスコア値１２を出力し、判定部１３がスコア値１２に基づいて最も正しいと判断したテスト光源を推定光源Ｏとして判定する。
【００２８】
これによれば、センサ空間から評価空間の画像分布９へ投影するための行列（１〜ｎ）８等のパラメータのみを各テスト光源（１〜ｎ）１について記憶媒体７に保持しておけばよいため、評価空間の画像分布９での唯一の参照分布１１による評価基準をあたえることで、判定部１３が高い精度で判定を行うに十分な情報量を持つスコア（１，２、・・・ｎ）１２を、記憶媒体７は少量のメモリ消費で評価部１０が出力することができる。
【００２９】
図２に本発明の実施の形態に適用されるデジタルスチルカメラ内の画像処理系のブロック図を示す。
【００３０】
各画素で異なる分光感度特性によるＲｅｄ, Ｂｌｕｅ, Ｇｒｅｅｎの３チャンネルのセンサ応答を光量に比例した１０ｂｉｔのデジタル値で得ることができ、その同装置内部の画像処理演算器において、各チャンネル毎に適当なゲイン値によってホワイトバランス調整のための処理を施すデジタルスチルカメラを想定する。
【００３１】
センサ応答読み出し部２１で読み出した値から黒補正部２２でオフセット成分を差し引いたセンサ応答に基づいてホワイトバランス調整用の適当なゲイン値を決定するために、サブサンプリング部２３により全画素の中から適当な位置間隔でサブサンプリングを行う。その際に、センサ応答が最小値や最大値付近で飽和していると判断できる範囲にある画素は除外する。これらのサンプル画素に対して光源推定処理部２４により後述の光源推定処理を行う。
【００３２】
その結果、あらかじめ数１式、数２式に示す計算によりゲイン決定部２５に保持してあるテスト光源毎のホワイトバランス調整用のゲイン値から推定光源に対応するものを選択し、ホワイトバランス用ゲイン調整部２６のホワイトバランス処理へ適用する。
【００３３】
その後、階調変換部２７による非線形な階調変換と、色空間変換部２８での３ｘ３のマトリクス変換によりＹ，Ｃｂ，Ｃｒ（輝度式差信号）各８ｂｉｔへ変換し、符号化部２９による画像圧縮処理を含めた符号化を行ってファイル書き込み部３０によりメモリカードへ電子ファイルとして記録する。
【００３４】
本実施の形態での光源推定では、センサ応答に関して、次のような物体表面の線形な反射モデルを数３式で仮定する。
【００３５】
【数３】
【００３６】
本実施の形態は物体表面の分光反射率が３つの基底関数の線形結合で近似できるものとした数４式の行列計算によって説明する。
【００３７】
【数４】
【００３８】
基底関数の重み係数は分光反射率が既知であれば次の数５式のように近似値を算出できる。
【００３９】
【数５】
【００４０】
数５式のｗはセンサや撮影光源には依存しないため、基底関数の重み係数によるベクトル空間（以下、反射率ベクトル空間と呼ぶ）は物体に固有の空間と言える。図５に示す分光反射率基底関数は基底関数の例を波長が４００ｎｍ〜７００ｎｍの範囲において示しており、β１が明るさ成分を表すために第１成分を波長間でフラットに設定し、第２・第３成分は特定の２４枚の色票の分光反射率データから第１成分をオフセットとして除外してから主成分分析を行って上位二成分を抽出したものである。また数３式、数４式より基底数とセンサ応答のチャンネル数が同じ場合、センサ応答から行列により投影した列ベクトルは次の数６式のように計算できる。
【００４１】
【数６】
【００４２】
数６式の行列Ｍがセンサ応答を反射率ベクトル空間へ投影するが、光源Ｌに依存する行列であり、ここでは以下で光源行列と呼ぶ。センサ応答から投影したｗ〜は、光源Ｌにセンサ応答を得たシーンと同一の光源を用いれば、被写体の分光反射率が未知であっても近い値を復元することになる。しかし撮影シーンと異なる光源を用いればその復元精度は得られない。したがって任意の光源Ｌｉを仮定し、数７式に示す光源行列Ｍｉを用いる。
【００４３】
【数７】
【００４４】
数７式により取得した光源行列Ｍｉを用いて数６式で投影した列ベクトルｗｉ〜と被写体の正しい列ベクトルｗとの関係によって反射率ベクトル空間において撮影光源との類似度を評価できる。図６は反射率ベクトル空間内のβ２- β３平面で、既知の表面の分光反射率から近似した点の分布と、撮影した同じ表面のセンサ応答から撮影時と同じ光源の光源行列で投影した点の分布がそれに近い状態にあること、撮影時と異なる光源の光源行列で投影した点が異なる分布状態にあることを２４枚の色票についてのシミュレーション結果で示す。
【００４５】
被写体がとり得る列ベクトルｗは反射率ベクトル空間内に広く分布し、単一画素のセンサ応答から得られる列ベクトルｗｉ〜では未知の被写体との関係を評価することが困難である。したがってここでは撮影シーンが一つの光源で一様に照らされていると仮定し、画像全体からサンプリングした画素のセンサ応答を反射率ベクトル空間内へ投影し、それらの分布状態（以下、画像分布と呼ぶ）を評価することによって一つの推定光源を決定する。評価対象とする光源（以下、テスト光源と呼ぶ）は複数設け、全ての光源行列を上述した数式７に従ってあらかじめ算出して保持しておく。
【００４６】
推定処理時には全てのテスト光源について各光源行列を適用して投影した画像分布を評価し、全てのテスト光源の中から正しさを示す評価指標が最も高かったものを推定光源として選択する。ここではテスト光源として色温度が約２８５０〜８０００［Ｋ］の範囲の自然光を想定し、推定誤差のばらつきを少なくするために図７Ａに示すようにＣＩＥ１９７６ＵＣＳ色度図のｕ' −ｖ' 平面上でできるだけ等間隔になるようなCIE 昼光軌跡上から７つを設定した。本実施の形態では、テスト光源のいずれかの選択が推定結果となるため、テスト光源は、図７Ｂに示すようにｕ' −ｖ' 平面上で色温度方向に意図的な特定区間だけ詳細に分割したり、図７Ｃに示すように蛍光灯など物理的な発光方式が異なるものなども加えて多様なシーンで正しい推定結果を得る確率を高めたりしてもよい。
【００４７】
画像分布の分布状態が被写体の正しい状態にあるかどうかを相対的に評価するために、反射率ベクトル空間での比較基準とする固定した一つの分布状態（以下、参照分布と呼ぶ）を参照する。参照分布はβ２- β３の平面上で均等な間隔に分割した各セルについて重み係数を持たせた２次元の数値テーブルの形式のデータとして保持しておく。この参照分布の生成は例えば次のような手順で作成する。
【００４８】
具体的な参照分布の生成処理のフローチャートを図３に示す。
【００４９】
ステップＳ１で、被写体として想定できる多くの物体表面の分光反射率データを収集し、できるだけ多様な代表的サンプルを抽出する。
【００５０】
ステップＳ２で、分光反射率のサンプルデータを数式５により反射率ベクトル空間へ投影する。（図８）
【００５１】
ステップＳ３で、反射率ベクトル空間のβ２- β３平面において、長方形領域がサンプルの分布を包含するように各軸の下端ｌｏｗ２，ｌｏｗ３、上端ｈｉｇｈ２，ｈｉｇｈ３、セル分割数ｂｉｎ２，ｂｉｎ３を定めて、セル領域を設定する。
【００５２】
ステップＳ４で、各セル範囲内に位置するサンプルデータの個数を集計して頻度分布を生成する。
【００５３】
セル座標（ｘ，ｙ）は次の数８式で計算する。
【００５４】
【数８】
【００５５】
ステップＳ５で、各セルの頻度を適当なビット深度で符号化した値Ｔｒｘｙを記録する。
【００５６】
ステップＳ６で、参照分布の分布範囲の輪郭を形成するために、値が存在するセルを突状に包括する多角形を計算し、その内部に位置して値が存在しないセルに値1 を与えることで、輪郭内のセルに穴埋めを行う。図９にビット深度を2 で生成した参照分布の例をセル内の数値で示す。
【００５７】
具体的な光源推定処理のフローチャートを図４に示す。
推定処理時にはまず各テスト光源について、図４の中で示す次のような手順でスコア値の算出を繰り返す。
【００５８】
ステップＳ１１で、テスト光源別の投影行列を選択する。具体的には、図１に示す投影変換部６は記憶媒体７からテスト光源i の光源行列Ｍｉを選択する。
【００５９】
ステップＳ１２で、サンプル画素の読み出しを行う。具体的には、図１に示す投影変換部６は撮像手段４からサンプル画素の読み出しを行う。
【００６０】
ステップＳ１３で、行列変換を行う。具体的には、図１に示す投影変換部６はテスト光源i の光源行列Ｍｉによりサンプル画素のセンサ応答５を反射率ベクトル空間へ投影する。
【００６１】
ステップＳ１４で、画像分布の生成を行う。具体的には、図１に示す投影変換部６は参照分布１１と同一のセル位置での画像分布９を作成する。画像分布９は参照分布１１の生成時と同様に各セルの頻度を適当なビット深度で符号化した値Ｔｈｉｘｙである。ここではビット深度を1 とし、1 画素以上が存在したセルに値1 を与えそれ以外のセルは0 とした画像分布の例を、図９に示す参照分布テーブルのセル内のグレーで表示する。
【００６２】
ステップＳ１５で、全サンプル画素について繰り返しを行って，ステップＳ１２へ戻ってステップＳ１２〜ステップＳ１５までの処理および判断を繰り返す。具体的には、図１に示す投影変換部６は各画素について画像分布９を記録するだけでなく、参照分布１１で値が存在するセル（図９で太枠表示）に位置していた画素をカウントしていく。
【００６３】
ステップＳ１６で、テスト光源別のスコア値を算出する。ここで、スコア値１２は画像分布９と参照分布１１との相関値等である。具体的には、図１に示す評価部１０は、次のような３種類の指標を算出する。
【００６４】
第１に、分布相関として、反射率ベクトル空間内での分布状態に関して、参照分布１１と画像分布９との相関関係を示す一つの指標として、画像分布９をセル毎の参照分布１１の重み付きの和を数９式で算出する。
【００６５】
【数９】
【００６６】
第２に、画素数割合として、画素のサンプル数に関して、参照分布１１を基準とした比較指標として、全サンプル画素数のうち参照分布１１の色域内（図９で太枠表示）に在る画素数の比率を数１０式で算出する。
【００６７】
【数１０】
【００６８】
第３に、分布サイズとして、反射率ベクトル空間内の画像分布のみについて、誤った光源マトリクスによる投影では正しい光源マトリクスとの差が大きいほどβ２軸方向に分散して分布範囲が広くなるという仮定の基に次のような指標を数１１式で算出する。
【００６９】
【数１１】
【００７０】
ここで、図１に示す評価部１０は、３種類の指標の積算で光源i のスコア値１２を数式１２で取得する。
【００７１】
【数１２】
【００７２】
ステップＳ１７で、全テスト光源について繰り返しを行って，ステップＳ１１へ戻ってステップＳ１１〜ステップＳ１７までの処理および判断を繰り返す。
【００７３】
ステップＳ１８で、推定光源の選択を行う。具体的には、図１に示す評価部１０は、全テスト光源１のスコア値１２を取得した後、判定部１３が最も高いスコア値１２を持つ光源i を推定光源として決定する。
【００７４】
その他のスコア値の高いテスト光源を利用した重み付け平均などによって中間的な光源を推定光源として決定してもよい。
【００７５】
またはスコア値が高かった図７Ａに示すｕ' −ｖ' 平面上のテスト光源に近い特定区間だけ色温度方向にさらに細分化した複数のテスト光源を新たに生成し、それらの新たに設けたテスト光源に対するスコア計算とそれによる判定を段階的に行うことで、推定結果の分解能を向上させてもよい。
【００７６】
テスト光源として高効率型蛍光ランプや三波長型蛍光ランプなど物理的発光方式などにより異なるカテゴリに分類できるものが複数含まれる場合には、各カテゴリ内での評価と、カテゴリ間の評価とで異なる指標を利用して算出し、別々のスコア値を組み合わせて推定光源を判断してもよい。
【００７７】
時間的に連続してシーンの光源推定処理を続ける場合には、間隔の近い過去に取得された指標や推定結果と組み合わせて最新の推定光源を判断してもよい。
【００７８】
反射率ベクトル空間内でテスト光源の正答性を評価するのに、β２- β３平面での分布状態だけでなく、β１- β３やβ１- β２の他の２次元空間の分布で評価したり、各軸の１次元の分布を評価したり、三次元での分布状態を評価してもよい。
【００７９】
例えば、β２、β３をそれぞれβ１で除算したβ２／β１- β３／β１平面のようにベクトルチャンネル間の相対値による２次元空間を用いることにより、シーン毎の露出のばらつきや同一シーン内での照明強度のムラなどによる評価への影響を抑えることができる。
【００８０】
なお、上述した本実施の形態に限らず、本発明の特許請求の範囲内であれば適宜他の構成をとりうることはいうまでもない。
【００８１】
【発明の効果】
本発明の光源推定装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価する評価手段とを備えたことによって正しい撮影光源を推定するものであるので、サンプリングしたセンサ応答に対して、既知である撮像系の分光感度特性とテスト光源の分光特性とから測色的に近似可能な演算により、光源に依存しない評価空間へ投影し、そこでの広く分布したサンプル値の状態に基づいて各テスト光源についての正当性を評価することができるという効果を奏する。
【００８２】
これによれば、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持しておけばよいため、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることができるという効果を奏する。
【００８３】
また、本発明の光源推定方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定するものであるので、光源に依存しない固定した空間を用いて評価を行うために、正しい光源である比較基準としての情報を一つの参照分布の空間についてのみ保持していればよく、評価の処理が簡略化されるため、コストが増大する課題を解決することができる。さらにそのために、正しい光源である基準として参照する情報（条件やデータ）をより多く与えることができるため、推定精度を向上させるための最適化調整も容易にすることができるという効果を奏する。
【００８４】
本発明は仮定した複数のテスト光源から最も適当な光源を判別する方式であるが、従来から提案されていたように光源に依存する空間で評価を行うには各光源毎に評価基準が必要であり、評価基準としてのデータ量がテスト光源のパターン数に比例して増えるために、評価基準のデータ量かテスト光源の数を減らして推定精度を犠牲にするか、精度を優先してメモリコストを増大させるしかない。本発明では、テスト光源毎に少量のメモリで済む空間変換用の係数を設け、評価は光源に依存しない固定した空間を用いて行うために、正しい光源である比較基準として参照する情報（条件やデータ）を一つの空間についてのみ保持していればよく、コストを増大させずに推定精度を上げることができ、従来の技術に比べて優位なものである。
【００８５】
また、本発明の撮像装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したものであるので、撮像装置において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることにより、カラーバランス処理に利用することができるという効果を奏する。
【００８６】
また、本発明の画像処理方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたものであるので、画像処理方法において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、メモリ消費を抑えた処理で高い推定精度を得ることにより、カラーバランス処理に利用することができるという効果を奏する。
【００８７】
本発明は撮像系の応答から撮影シーンの光源を高精度に推定することを目的とした一つの枠組みを提供することができる。撮像系において未知のシーンの光源を推定することができると、撮像機器での画像のホワイトバランス調整やカラーマッチング調整などのパラメータを正確に決定することが可能であり、撮影シーンの正確な色再現を行ったり、意図する特定の色再現が得られるように正確に補正をして、画像を記録・表示することができる。
【図面の簡単な説明】
【図１】本実施の形態に適用される光源に依存しない評価空間でテスト光源の正当性を評価する方式の概念図である。
【図２】デジタルスチルカメラ内の画像処理ブロック図である。
【図３】参照分布の生成処理を示すフローチャートである。
【図４】光源推定処理を示すフローチャートである。
【図５】分光反射率基底関数を示す図である。
【図６】色票を反射率ベクトル空間へ投影した例を示す図である。
【図７】テスト光源を示す図であり、図７Ａは等間隔、図７Ｂは特定区間の詳細分割、図７Ｃは複数光源タイプである。
【図８】反射率サンプルの分布を示す図である。
【図９】参照分布テーブルを示す図である。
【図１０】従来のセンサ応答空間でテスト光源の正当性を評価する方式の概念図である。
【符号の説明】
１……テスト光源１〜ｎ、２……撮像光源、３……被写体、４……撮像手段、５……センサ応答、６……投影変換部、７……記憶媒体、８……行列１〜ｎ、９……画像分布、１０……評価部、１１……参照分布、１２……スコア１〜ｎ、１３……判定部、２１……センサ応答読み出し部、２２……黒補正部、２３……サンプリング部、２４……光源推定部、２５……ゲイン決定部、２６……ホワイトバランス用ゲイン調整部、２７……諧調変換部、２８……色空間変換部、２９……符号化部、３０……ファイル書き込み部
【発明の属する技術分野】
本発明は、例えば、複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
人間の目に入射する光は照明による放射エネルギの一部を視対象である物体が反射して空気中を伝播したものであり、視覚系は物体や照明の特性を直接観測できるわけではないが、どのような未知の色的特性を持つ照明下であってもある程度安定して物体を同定する。この特性は色恒常性と呼ばれており、例えば白い物体表面は白として認識することを可能にする。
【０００３】
一方デジタルスチルカメラやデジタルビデオカメラなどの電子撮像機器では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのフォトセンサの応答によってシーンを画像として形成するが、一般にＲ, Ｇ, Ｂ等のカラーチャンネル間でセンサ応答のバランスが一定であるため、シーンの照明に応じて自然に見える状態で画像を形成するためにはチャンネル間のバランスを調整する補正機構が必要となる。バランスの調整が十分に行われないと、画像観察者にとって、本来無彩色であるような物体として認識される箇所に着色して画像が再現されたり、物体の記憶色が異なる色で再現されるなどの不自然な印象を与えるため、画像の色再現にとって非常に重要である。
【０００４】
チャンネル間のバランス調整は、各チャンネルのゲイン調整でホワイトバランスと呼ばれる無彩色の補正をしたり、チャンネル間で信号の線形マトリクス変換によって光源の演色性を補正したり（特許文献１）、撮像機器や視覚系などの異なるセンサの感度応答へマッチングを行うなどが可能である。ただしいずれにしても、そのためには補正機構がシーンに応じた適切な補正パラメータを何らかの手段で得なければならない。例えば光量に対してリニアなＲ, Ｇ, Ｂ３チャンネルの応答を得るセンサのホワイトバランス調整のために適当なゲイン値は、撮影シーンの光源の分光分布が既知であれば撮像系の分光感度特性とともに次の数1 式、数2 式のように計算できる。
【０００５】
【数１】
【数２】
しかし撮像機器にとって、キャリブレーション等を行わない通常の撮影時のシーンに存在する被写体やそれらの照明光源に関する情報は未知であり、専用に設けたセンサもしくは撮像用センサの応答結果からシーンに適した調整パラメータ、もしくはそれを決定するための照明光源の色的特性を特定しなければならず光源推定問題や色恒常性問題として知られている。
【０００８】
視覚研究の分野においては１９８０年ごろから各種アルゴリズムや計算モデルが提案されており、またそれら以外の経験的知識にも基づいた手法などはカラー撮像機器に従来から実装されてきており、その推定性能は年々進歩してきている。さらに最近ではロボット等の人工的視覚系への応用も期待されている。
【０００９】
最もよく利用されているアルゴリズムの一つは、物体の表面反射率はシーンの空間的平均がグレーに近いという仮説に基づいてセンサ応答の平均値やその黒体軌跡上への投影から光源の色成分を抽出するもので（非特許文献1 、非特許文献2 ）、単にセンサ応答を画素間で平均したり、特定の明るさレベル範囲内の画素を平均したり、空間内の位置によってサンプリングする範囲や重みを変えるなど、多様な形式で応用されている。また最も明るさレベルの高いエリアを完全拡散反射面に近い白い表面に対応すると仮定して応答値が高い画素をサンプリングした結果から光源の色成分を抽出したり（特許文献２）、明るさレベルが高いエリアが鏡面反射成分であると仮定して応答値の分布から光源を推定する手法（非特許文献３）などもある。これらは物理的には光源と独立であるはずの物体表面についての仮定に基づいているため、シーンによっては仮定から離れた被写体の状態により光源の推定結果が大きく左右されることが知られている。
【００１０】
さらに物体表面を拡散反射面とした反射モデルを仮定し、光源と物体表面それぞれの分光特性を少数次元の線形モデルで近似することで、センサ応答とは異なるベクトル空間を用いた線形演算により復元を試みるもの（非特許文献４）や、物体表面の分光反射率が物理的に0 〜1 の範囲内に在るなどの制約条件を課して確率の高い光源を選定するもの（非特許文献５）などがあるが、応答チャンネル数が少ない一般的な撮像系において、これらは単独では十分な推定性能が得られない。さらには、演算量は増えるが、光源、物体表面、撮像系など複数の既知の仮定や確率分布を統合して統計的に推定精度を高めることを可能にする提案（非特許文献６）などもある。
【００１１】
特に反射モデルを適用した手法では、全く未知の一つの光源を答として推定するのではなく、事前知識を多用して、あらかじめ候補として設定した幾つかの光源の中から最も確からしいものを分類・検出するという決定方式では、比較的計算が単純で高速に結果を出力できるという点で有利と考えられる。これらが確からしいと判断する基準としては、センサ応答自体を一定の制約条件下で復元した誤差（非特許文献７）を用いたり、センサ空間での色域内の分布状態を広く利用して、あらかじめ基準とした色域や重み付き分布との比較で相関関係を効率的に数値化する提案（非特許文献８、非特許文献９、非特許文献１０、特許文献３）がなされている。
【００１２】
【特許文献１】
特開２００２−１４２２３１号公報
【特許文献２】
特開平９−５５９４８号公報
【特許文献３】
特開平５−１９１８２６号公報
【非特許文献１】
G.Buchsbaum, "A Spatial Processor Model for Object Color Perception", J.Franklin Inst. 310, 1980
【非特許文献２】
E.H.Land, "Recent Advances in Retinex Theory", Vision Research, 26, 1986
【非特許文献３】
H.C.Lee, "Method for computing the scene-illuminant chromaticity from specular highlights", J.Opt.Soc.Am A, Vol.3, No.10, 1986
【非特許文献４】
L.T.Maloney & B.A.Wandell, "Color Constancy: A method for recovering surface spectral reflectance", J.Opt.Soc.Am. A, 1986
【非特許文献５】
D.A.Forsyth, "A novel Algorithm for Color Constancy", Int.J.Comput.Vision 5, 1990
【非特許文献６】
D.H.Brainard & W.T.Freeman, "Bayesian color constancy", J.Opt.Soc.Am. A, Vol.14, No.7, 1997
【非特許文献７】
B.Tao, I.Tastl & N.Katoh, "Illumination Detection in Linear Space", Proc. 8th Color Imaging Conf., 2000
【非特許文献８】
Hewlett-Packard Company, Hubel, et al. , "White point determination using correlation matrix memory", U.S.Patent 6038339
【非特許文献９】
G.D.Finlayson, P.M.Hubel, & S.Hordley, "Color by correlation", Proc.5th Color Imaging Conf., 1997
【非特許文献１０】
S.Tominaga & B.A.Wandell, "Natural scene-illuminant estimation using the sensor correlation", Proc. IEEE, Vol.90, No.1, 2002
【００１３】
【発明が解決しようとする課題】
一般的に光源推定アルゴリズムをデジタルカメラ内部のホワイトバランス処理のような画像処理演算で利用するためには、処理速度が速いだけでなくメモリ消費量などのコストが低いことが実装時に求められる。
【００１４】
しかし、上述した従来のアルゴリズムのうち比較的高速に分類・検出を可能にする方式（非特許文献８、非特許文献９、特許文献３）であっても、図１０に従来のセンサ応答空間でのテスト光源の正当性を評価する方式の概念図を示すように、候補として設定するテスト光源１０１の数１〜ｎが多いほど推定精度を高める可能性がある一方で、撮像手段１０４による被写体１０３の撮影画像のセンサ応答１０５に対する画像分布１０６と、それらテスト光源１０１に対応して記憶媒体１０７に記憶された参照分布（１，２、・・・ｎ）１０８との比較部１０９による比較評価を、撮像光源１０２に依存するセンサ空間の画像分布１０６において行って、評価結果のスコア（１，２、・・・ｎ）１１０を出力し、判定部１１１がスコア値１１０に基づいて最も正しいと判断したテスト光源を推定光源Ｏとして判定するために、正しい光源である比較基準としての色域、重み付き分布、ターゲット値などの参照分布（１，２、・・・ｎ）１０８の情報を、設定したテスト光源１０１の数１〜ｎだけ記憶媒体１０７に保持している必要がありＲＯＭ等の記憶媒体１０７のメモリ消費量が増えるという傾向があり、精度とコストの間に一長一短の問題があるという不都合があった。
【００１５】
これらが固定した投影によって、１つの撮像につき１つの画像分布を作成し、それを仮定した複数の光源に対応する複数の参照分布と比較することを判断基準としているのに対して、本願発明では、仮定した複数の光源に対応する投影によって生成される複数の画像分布を、固定した一つの参照分布と比較することを判断基準とする。
【００１６】
そこで、本発明は、かかる点に鑑みてなされたものであり、カラー撮像機器での自動ホワイトバランス調整などの色再現品質を向上するため、センサ応答から撮影シーンの未知の光源の色特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法を提供することを課題とする。
【００１７】
【課題を解決するための手段】
本発明の光源推定装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価する評価手段とを備えたことによって正しい撮影光源を推定するものである。
【００１８】
従って本発明によれば、以下の作用をする。
サンプリングしたセンサ応答に対して、既知である撮像系の分光感度特性とテスト光源の分光特性とから測色的に近似可能な演算により、光源に依存しない評価空間へ投影し、そこでの広く分布したサンプル値の状態に基づいて各テスト光源についての正当性を評価する。
【００１９】
これによれば、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持しておけばよいため、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることができる。
【００２０】
また、本発明の光源推定方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定するものである。
【００２１】
従って本発明によれば、以下の作用をする。
光源に依存しない固定した空間を用いて評価を行うために、正しい光源である比較基準としての情報を一つの参照分布の空間についてのみ保持していればよく、評価の処理が簡略化されるため、コストが増大する課題を解決することを可能にする。さらにそのために、正しい光源である基準として参照する情報（条件やデータ）をより多く与えることができるため、推定精度を向上させるための最適化調整も容易になる。
【００２２】
また、本発明の撮像装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したものである。
【００２３】
従って本発明によれば、以下の作用をする。
撮像装置において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることにより、カラーバランス処理に利用することができる。
【００２４】
また、本発明の画像処理方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたものである。
【００２５】
従って本発明によれば、以下の作用をする。
画像処理方法において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、早い処理で高い推定精度を得ることにより、カラーバランス処理に利用することができる。
【００２６】
【発明の実施の形態】
以下に、本発明の実施の形態について適宜図面を参照しながら説明する。
図１に本発明の実施の形態に適用される光源に依存しない評価空間でテスト光源の正当性を評価する方式の概念図を示す。
【００２７】
図１において、撮像手段４により撮影光源２での被写体３を撮像する。このときの撮像手段４によりサンプリングしたセンサ応答５に対して、光源に依存しない評価空間へ投影するために、既知である撮像手段４の分光感度特性とテスト光源（１〜ｎ）１の分光特性とから予め測色的に近似した演算を行い記憶媒体７に記憶された各テスト光源に対応する行列（１〜ｎ）８を用いて、投影変換部６により評価空間の画像分布９へ投影し、その画像分布９に広く分布したサンプル値の状態に基づいて各テスト光源（１〜ｎ）１についての正当性を参照分布１１に基づいて評価部１０により評価しスコア値１２を出力し、判定部１３がスコア値１２に基づいて最も正しいと判断したテスト光源を推定光源Ｏとして判定する。
【００２８】
これによれば、センサ空間から評価空間の画像分布９へ投影するための行列（１〜ｎ）８等のパラメータのみを各テスト光源（１〜ｎ）１について記憶媒体７に保持しておけばよいため、評価空間の画像分布９での唯一の参照分布１１による評価基準をあたえることで、判定部１３が高い精度で判定を行うに十分な情報量を持つスコア（１，２、・・・ｎ）１２を、記憶媒体７は少量のメモリ消費で評価部１０が出力することができる。
【００２９】
図２に本発明の実施の形態に適用されるデジタルスチルカメラ内の画像処理系のブロック図を示す。
【００３０】
各画素で異なる分光感度特性によるＲｅｄ, Ｂｌｕｅ, Ｇｒｅｅｎの３チャンネルのセンサ応答を光量に比例した１０ｂｉｔのデジタル値で得ることができ、その同装置内部の画像処理演算器において、各チャンネル毎に適当なゲイン値によってホワイトバランス調整のための処理を施すデジタルスチルカメラを想定する。
【００３１】
センサ応答読み出し部２１で読み出した値から黒補正部２２でオフセット成分を差し引いたセンサ応答に基づいてホワイトバランス調整用の適当なゲイン値を決定するために、サブサンプリング部２３により全画素の中から適当な位置間隔でサブサンプリングを行う。その際に、センサ応答が最小値や最大値付近で飽和していると判断できる範囲にある画素は除外する。これらのサンプル画素に対して光源推定処理部２４により後述の光源推定処理を行う。
【００３２】
その結果、あらかじめ数１式、数２式に示す計算によりゲイン決定部２５に保持してあるテスト光源毎のホワイトバランス調整用のゲイン値から推定光源に対応するものを選択し、ホワイトバランス用ゲイン調整部２６のホワイトバランス処理へ適用する。
【００３３】
その後、階調変換部２７による非線形な階調変換と、色空間変換部２８での３ｘ３のマトリクス変換によりＹ，Ｃｂ，Ｃｒ（輝度式差信号）各８ｂｉｔへ変換し、符号化部２９による画像圧縮処理を含めた符号化を行ってファイル書き込み部３０によりメモリカードへ電子ファイルとして記録する。
【００３４】
本実施の形態での光源推定では、センサ応答に関して、次のような物体表面の線形な反射モデルを数３式で仮定する。
【００３５】
【数３】
本実施の形態は物体表面の分光反射率が３つの基底関数の線形結合で近似できるものとした数４式の行列計算によって説明する。
【００３７】
【数４】
基底関数の重み係数は分光反射率が既知であれば次の数５式のように近似値を算出できる。
【００３９】
【数５】
数５式のｗはセンサや撮影光源には依存しないため、基底関数の重み係数によるベクトル空間（以下、反射率ベクトル空間と呼ぶ）は物体に固有の空間と言える。図５に示す分光反射率基底関数は基底関数の例を波長が４００ｎｍ〜７００ｎｍの範囲において示しており、β１が明るさ成分を表すために第１成分を波長間でフラットに設定し、第２・第３成分は特定の２４枚の色票の分光反射率データから第１成分をオフセットとして除外してから主成分分析を行って上位二成分を抽出したものである。また数３式、数４式より基底数とセンサ応答のチャンネル数が同じ場合、センサ応答から行列により投影した列ベクトルは次の数６式のように計算できる。
【００４１】
【数６】
数６式の行列Ｍがセンサ応答を反射率ベクトル空間へ投影するが、光源Ｌに依存する行列であり、ここでは以下で光源行列と呼ぶ。センサ応答から投影したｗ〜は、光源Ｌにセンサ応答を得たシーンと同一の光源を用いれば、被写体の分光反射率が未知であっても近い値を復元することになる。しかし撮影シーンと異なる光源を用いればその復元精度は得られない。したがって任意の光源Ｌｉを仮定し、数７式に示す光源行列Ｍｉを用いる。
【００４３】
【数７】
数７式により取得した光源行列Ｍｉを用いて数６式で投影した列ベクトルｗｉ〜と被写体の正しい列ベクトルｗとの関係によって反射率ベクトル空間において撮影光源との類似度を評価できる。図６は反射率ベクトル空間内のβ２- β３平面で、既知の表面の分光反射率から近似した点の分布と、撮影した同じ表面のセンサ応答から撮影時と同じ光源の光源行列で投影した点の分布がそれに近い状態にあること、撮影時と異なる光源の光源行列で投影した点が異なる分布状態にあることを２４枚の色票についてのシミュレーション結果で示す。
【００４５】
被写体がとり得る列ベクトルｗは反射率ベクトル空間内に広く分布し、単一画素のセンサ応答から得られる列ベクトルｗｉ〜では未知の被写体との関係を評価することが困難である。したがってここでは撮影シーンが一つの光源で一様に照らされていると仮定し、画像全体からサンプリングした画素のセンサ応答を反射率ベクトル空間内へ投影し、それらの分布状態（以下、画像分布と呼ぶ）を評価することによって一つの推定光源を決定する。評価対象とする光源（以下、テスト光源と呼ぶ）は複数設け、全ての光源行列を上述した数式７に従ってあらかじめ算出して保持しておく。
【００４６】
推定処理時には全てのテスト光源について各光源行列を適用して投影した画像分布を評価し、全てのテスト光源の中から正しさを示す評価指標が最も高かったものを推定光源として選択する。ここではテスト光源として色温度が約２８５０〜８０００［Ｋ］の範囲の自然光を想定し、推定誤差のばらつきを少なくするために図７Ａに示すようにＣＩＥ１９７６ＵＣＳ色度図のｕ' −ｖ' 平面上でできるだけ等間隔になるようなCIE 昼光軌跡上から７つを設定した。本実施の形態では、テスト光源のいずれかの選択が推定結果となるため、テスト光源は、図７Ｂに示すようにｕ' −ｖ' 平面上で色温度方向に意図的な特定区間だけ詳細に分割したり、図７Ｃに示すように蛍光灯など物理的な発光方式が異なるものなども加えて多様なシーンで正しい推定結果を得る確率を高めたりしてもよい。
【００４７】
画像分布の分布状態が被写体の正しい状態にあるかどうかを相対的に評価するために、反射率ベクトル空間での比較基準とする固定した一つの分布状態（以下、参照分布と呼ぶ）を参照する。参照分布はβ２- β３の平面上で均等な間隔に分割した各セルについて重み係数を持たせた２次元の数値テーブルの形式のデータとして保持しておく。この参照分布の生成は例えば次のような手順で作成する。
【００４８】
具体的な参照分布の生成処理のフローチャートを図３に示す。
【００４９】
ステップＳ１で、被写体として想定できる多くの物体表面の分光反射率データを収集し、できるだけ多様な代表的サンプルを抽出する。
【００５０】
ステップＳ２で、分光反射率のサンプルデータを数式５により反射率ベクトル空間へ投影する。（図８）
【００５１】
ステップＳ３で、反射率ベクトル空間のβ２- β３平面において、長方形領域がサンプルの分布を包含するように各軸の下端ｌｏｗ２，ｌｏｗ３、上端ｈｉｇｈ２，ｈｉｇｈ３、セル分割数ｂｉｎ２，ｂｉｎ３を定めて、セル領域を設定する。
【００５２】
ステップＳ４で、各セル範囲内に位置するサンプルデータの個数を集計して頻度分布を生成する。
【００５３】
セル座標（ｘ，ｙ）は次の数８式で計算する。
【００５４】
【数８】
ステップＳ５で、各セルの頻度を適当なビット深度で符号化した値Ｔｒｘｙを記録する。
【００５６】
ステップＳ６で、参照分布の分布範囲の輪郭を形成するために、値が存在するセルを突状に包括する多角形を計算し、その内部に位置して値が存在しないセルに値1 を与えることで、輪郭内のセルに穴埋めを行う。図９にビット深度を2 で生成した参照分布の例をセル内の数値で示す。
【００５７】
具体的な光源推定処理のフローチャートを図４に示す。
推定処理時にはまず各テスト光源について、図４の中で示す次のような手順でスコア値の算出を繰り返す。
【００５８】
ステップＳ１１で、テスト光源別の投影行列を選択する。具体的には、図１に示す投影変換部６は記憶媒体７からテスト光源i の光源行列Ｍｉを選択する。
【００５９】
ステップＳ１２で、サンプル画素の読み出しを行う。具体的には、図１に示す投影変換部６は撮像手段４からサンプル画素の読み出しを行う。
【００６０】
ステップＳ１３で、行列変換を行う。具体的には、図１に示す投影変換部６はテスト光源i の光源行列Ｍｉによりサンプル画素のセンサ応答５を反射率ベクトル空間へ投影する。
【００６１】
ステップＳ１４で、画像分布の生成を行う。具体的には、図１に示す投影変換部６は参照分布１１と同一のセル位置での画像分布９を作成する。画像分布９は参照分布１１の生成時と同様に各セルの頻度を適当なビット深度で符号化した値Ｔｈｉｘｙである。ここではビット深度を1 とし、1 画素以上が存在したセルに値1 を与えそれ以外のセルは0 とした画像分布の例を、図９に示す参照分布テーブルのセル内のグレーで表示する。
【００６２】
ステップＳ１５で、全サンプル画素について繰り返しを行って，ステップＳ１２へ戻ってステップＳ１２〜ステップＳ１５までの処理および判断を繰り返す。具体的には、図１に示す投影変換部６は各画素について画像分布９を記録するだけでなく、参照分布１１で値が存在するセル（図９で太枠表示）に位置していた画素をカウントしていく。
【００６３】
ステップＳ１６で、テスト光源別のスコア値を算出する。ここで、スコア値１２は画像分布９と参照分布１１との相関値等である。具体的には、図１に示す評価部１０は、次のような３種類の指標を算出する。
【００６４】
第１に、分布相関として、反射率ベクトル空間内での分布状態に関して、参照分布１１と画像分布９との相関関係を示す一つの指標として、画像分布９をセル毎の参照分布１１の重み付きの和を数９式で算出する。
【００６５】
【数９】
第２に、画素数割合として、画素のサンプル数に関して、参照分布１１を基準とした比較指標として、全サンプル画素数のうち参照分布１１の色域内（図９で太枠表示）に在る画素数の比率を数１０式で算出する。
【００６７】
【数１０】
第３に、分布サイズとして、反射率ベクトル空間内の画像分布のみについて、誤った光源マトリクスによる投影では正しい光源マトリクスとの差が大きいほどβ２軸方向に分散して分布範囲が広くなるという仮定の基に次のような指標を数１１式で算出する。
【００６９】
【数１１】
ここで、図１に示す評価部１０は、３種類の指標の積算で光源i のスコア値１２を数式１２で取得する。
【００７１】
【数１２】
ステップＳ１７で、全テスト光源について繰り返しを行って，ステップＳ１１へ戻ってステップＳ１１〜ステップＳ１７までの処理および判断を繰り返す。
【００７３】
ステップＳ１８で、推定光源の選択を行う。具体的には、図１に示す評価部１０は、全テスト光源１のスコア値１２を取得した後、判定部１３が最も高いスコア値１２を持つ光源i を推定光源として決定する。
【００７４】
その他のスコア値の高いテスト光源を利用した重み付け平均などによって中間的な光源を推定光源として決定してもよい。
【００７５】
またはスコア値が高かった図７Ａに示すｕ' −ｖ' 平面上のテスト光源に近い特定区間だけ色温度方向にさらに細分化した複数のテスト光源を新たに生成し、それらの新たに設けたテスト光源に対するスコア計算とそれによる判定を段階的に行うことで、推定結果の分解能を向上させてもよい。
【００７６】
テスト光源として高効率型蛍光ランプや三波長型蛍光ランプなど物理的発光方式などにより異なるカテゴリに分類できるものが複数含まれる場合には、各カテゴリ内での評価と、カテゴリ間の評価とで異なる指標を利用して算出し、別々のスコア値を組み合わせて推定光源を判断してもよい。
【００７７】
時間的に連続してシーンの光源推定処理を続ける場合には、間隔の近い過去に取得された指標や推定結果と組み合わせて最新の推定光源を判断してもよい。
【００７８】
反射率ベクトル空間内でテスト光源の正答性を評価するのに、β２- β３平面での分布状態だけでなく、β１- β３やβ１- β２の他の２次元空間の分布で評価したり、各軸の１次元の分布を評価したり、三次元での分布状態を評価してもよい。
【００７９】
例えば、β２、β３をそれぞれβ１で除算したβ２／β１- β３／β１平面のようにベクトルチャンネル間の相対値による２次元空間を用いることにより、シーン毎の露出のばらつきや同一シーン内での照明強度のムラなどによる評価への影響を抑えることができる。
【００８０】
なお、上述した本実施の形態に限らず、本発明の特許請求の範囲内であれば適宜他の構成をとりうることはいうまでもない。
【００８１】
【発明の効果】
本発明の光源推定装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価する評価手段とを備えたことによって正しい撮影光源を推定するものであるので、サンプリングしたセンサ応答に対して、既知である撮像系の分光感度特性とテスト光源の分光特性とから測色的に近似可能な演算により、光源に依存しない評価空間へ投影し、そこでの広く分布したサンプル値の状態に基づいて各テスト光源についての正当性を評価することができるという効果を奏する。
【００８２】
これによれば、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持しておけばよいため、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることができるという効果を奏する。
【００８３】
また、本発明の光源推定方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定するものであるので、光源に依存しない固定した空間を用いて評価を行うために、正しい光源である比較基準としての情報を一つの参照分布の空間についてのみ保持していればよく、評価の処理が簡略化されるため、コストが増大する課題を解決することができる。さらにそのために、正しい光源である基準として参照する情報（条件やデータ）をより多く与えることができるため、推定精度を向上させるための最適化調整も容易にすることができるという効果を奏する。
【００８４】
本発明は仮定した複数のテスト光源から最も適当な光源を判別する方式であるが、従来から提案されていたように光源に依存する空間で評価を行うには各光源毎に評価基準が必要であり、評価基準としてのデータ量がテスト光源のパターン数に比例して増えるために、評価基準のデータ量かテスト光源の数を減らして推定精度を犠牲にするか、精度を優先してメモリコストを増大させるしかない。本発明では、テスト光源毎に少量のメモリで済む空間変換用の係数を設け、評価は光源に依存しない固定した空間を用いて行うために、正しい光源である比較基準として参照する情報（条件やデータ）を一つの空間についてのみ保持していればよく、コストを増大させずに推定精度を上げることができ、従来の技術に比べて優位なものである。
【００８５】
また、本発明の撮像装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したものであるので、撮像装置において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることにより、カラーバランス処理に利用することができるという効果を奏する。
【００８６】
また、本発明の画像処理方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたものであるので、画像処理方法において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、メモリ消費を抑えた処理で高い推定精度を得ることにより、カラーバランス処理に利用することができるという効果を奏する。
【００８７】
本発明は撮像系の応答から撮影シーンの光源を高精度に推定することを目的とした一つの枠組みを提供することができる。撮像系において未知のシーンの光源を推定することができると、撮像機器での画像のホワイトバランス調整やカラーマッチング調整などのパラメータを正確に決定することが可能であり、撮影シーンの正確な色再現を行ったり、意図する特定の色再現が得られるように正確に補正をして、画像を記録・表示することができる。
【図面の簡単な説明】
【図１】本実施の形態に適用される光源に依存しない評価空間でテスト光源の正当性を評価する方式の概念図である。
【図２】デジタルスチルカメラ内の画像処理ブロック図である。
【図３】参照分布の生成処理を示すフローチャートである。
【図４】光源推定処理を示すフローチャートである。
【図５】分光反射率基底関数を示す図である。
【図６】色票を反射率ベクトル空間へ投影した例を示す図である。
【図７】テスト光源を示す図であり、図７Ａは等間隔、図７Ｂは特定区間の詳細分割、図７Ｃは複数光源タイプである。
【図８】反射率サンプルの分布を示す図である。
【図９】参照分布テーブルを示す図である。
【図１０】従来のセンサ応答空間でテスト光源の正当性を評価する方式の概念図である。
【符号の説明】
１……テスト光源１〜ｎ、２……撮像光源、３……被写体、４……撮像手段、５……センサ応答、６……投影変換部、７……記憶媒体、８……行列１〜ｎ、９……画像分布、１０……評価部、１１……参照分布、１２……スコア１〜ｎ、１３……判定部、２１……センサ応答読み出し部、２２……黒補正部、２３……サンプリング部、２４……光源推定部、２５……ゲイン決定部、２６……ホワイトバランス用ゲイン調整部、２７……諧調変換部、２８……色空間変換部、２９……符号化部、３０……ファイル書き込み部
Claims (33)
- 複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定装置において、
上記撮像手段が有する既知である上記複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことにより上記センサ応答値を上記撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、
上記センサ応答値に対して、上記記憶手段に記憶されたパラメータを用いて上記撮影光源に依存しない評価空間へ投影する投影変換手段と、
上記投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて上記複数のテスト光源についての正答性を評価する評価手段と、
を備えたことによって正しい撮影光源を推定することを特徴とする光源推定装置。 - 複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定方法において、
上記センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、
その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
多様な物体表面の分光反射率を複数の反射率基底関数の結合で近似するための重み係数が物体表面に固有の分光反射率特性を表す空間、もしくはその重み係数をさらに一定の演算により変換した値が構成する空間を、上記評価用のベクトル空間とすることを特徴とする光源推定方法。 - 請求項３記載の光源推定方法において、
既知の複数の物体表面の分光反射率データを母集団として統計的分析により抽出した分光反射率成分、もしくは意図的に抽出したい分光反射率成分、もしくはそれら両方を組み合わせて、上記分光反射率を近似するための反射率基底関数とすることを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
特定の分光分布を持つ一つの仮想的な基準光源下で物体表面が反射する光の分光分布値を、一定の演算により複数のチャンネルへ変換した値が構成する空間を、上記評価用のベクトル空間とすることを特徴とする光源推定方法。 - 請求項５記載の光源推定方法において、
上記分光分布が波長間で一定である基準光源を用いることを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
既知の分光分布が異なる複数の光源を上記テスト光源とし、それら各テスト光源の分光分布データもしくはそれらを適用して各テスト光源に対応させた演算用係数をあらかじめ保持しておき、上記光源推定時に参照することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
既知の多様な光源の分光分布データ、もしくはそれら分光分布データを複数の光源基底関数の重み付け線形和などの演算で近似するための係数、もしくはそれら分光分布データから一定の演算式で得られる指数の中から、複数の異なる代表的な光源を抽出して上記テスト光源としてあらかじめ保持しておき、それら各テスト光源の分光分布データもしくはそれらを適用して各テスト光源に対応させた演算用係数を上記光源推定時に参照することを特徴とする光源推定方法。 - 請求項８記載の光源推定方法において、
予め保持してある複数の異なる光源の情報として、特定の光源の分光分布データもしくはそれを適用して特定の光源に対応させた演算用係数を用いて、上記光源推定時にそれらからの適当な選択や補間演算等により上記複数のテスト光源を生成して参照することを特徴とする光源推定方法。 - 請求項７記載の光源推定方法において、
光源の色温度値、もしくは光源の物理的発光方式、もしくはそれら両方によって分類可能な、上記複数の代表的なテスト光源を構成することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値のうち、全画素、もしくは撮像面の空間的位置について適当な位置、範囲、間隔でサンプリングした画素の値を使用することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値のうち、各チャンネルの値が特定の範囲に在る画素の値のみを使用する、もしくは各チャンネルの値が特定の範囲に在る画素を除いた全ての画素の値を使用することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値に対して、評価空間へ投影する時、またはその前に、一定の任意の比率もしくはあらかじめ撮像結果に応じて決定した適当な比率によって、スケーリングを行うことを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値に対して、上記撮像手段に想定されるノイズや露出誤差等の時空間的変動量を付加してから、もしくは同変動量を付加した画素を追加してから使用することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記各テスト光源について、評価空間に投影されたサンプル画素の値から得られる統計量、もしくはサンプル画素から生成される評価空間中の頻度分布を示す画像分布から得られる統計量、もしくはサンプル画素が分布する評価空間中の領域を示す画像色域から得られる統計量、もしくはそれらのいずれか２つ以上の組み合わせを、そのまま、もしくはそれらを一定の演算により変換した値を、あらかじめ仮定した正答性の指標として上記推定基準に用いることを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記センサ応答値のセンサ空間においてサンプル画素の値から得る統計量、もしくはセンサ空間におけるサンプル画素の値を一定の演算により変換した値から得る統計量を、上記各テスト光源について評価空間に投影し、そのまま、もしくはそれらを一定の演算により変換した値を、あらかじめ仮定した正答性の指標として上記推定基準に用いることを特徴とする光源推定方法。 - 請求項１５記載の光源推定方法において、
物体表面の分光反射率に関して、各波長で０〜１の範囲内にあるという物理的実現可能性や、平均的には波長間でフラットな特性を持つ無彩色に近い表面が多く存在するという実世界の仮説的確率分布に基づいて、あらかじめ評価空間中で特定の領域に形成可能な制限や重みを付加した統計量によって上記各テスト光源の正答性の指標を算出することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記各テスト光源について、評価空間に投影されたサンプル画素の値、もしくはサンプル画素から生成される評価空間中の頻度分布、もしくはサンプル画素が分布する評価空間中の領域、もしくはそれらのいずれか２つ以上の組み合わせに対し、あらかじめ記録してあり参照可能な同評価空間中の出現範囲を示す参照色域との相関関係を上記推定基準の指標として用いることを特徴とする光源推定方法。 - 請求項１８記載の光源推定方法において、
多様な物体表面の分光反射率データを反射率基底関数により近似する係数へ変換した値、もしくはそれらを一定の演算により変換した値の評価空間内での頻度分布から生成した重み付き分布や領域情報を上記参照色域として用いることを特徴とする光源推定方法。 - 請求項１８記載の光源推定方法において、
実在する多様なシーンを撮像した結果もしくは仮想的な多様なシーンの撮像を数値演算で予測した結果であるセンサ応答値を、上記撮像手段の分光感度特性と、各シーンの撮影時に測定した撮影光源の分光分布特性とから測色的に近似可能な演算によりシーン毎に評価空間へ投影した値の頻度分布から生成した重み付き分布や領域情報を上記参照色域として用いることを特徴とする光源推定方法。 - 請求項１８記載の光源推定方法において、
物体表面の分光反射率に関して、各波長で０〜１の範囲内にあるという物理的実現可能性や、平均的には波長間でフラットな特性を持つ無彩色に近い表面が実際には多く存在するという仮説的確率分布に基づいて決定した頻度分布から生成した重み付き分布や領域情報を上記参照色域として用いることを特徴とする光源推定方法。 - 請求項１９記載の光源推定方法において、
上記頻度分布のいずれか、もしくはそれらの合成により上記参照色域を生成する前後において、評価空間中の分布に対して、一定の基準によって内挿、外挿、除去、空間的フィルタリング等の加工を行うことを特徴とする光源推定方法。 - 請求項１５記載の光源推定方法において、
上記各テスト光源の正答性の指標生成において、評価空間中で各テスト光源間の差分がより大きく現れる高彩度領域を重視するために、画像色域の輪郭上またはその付近で画像分布の抽出や重み付けを行った演算を行うことを特徴とする光源推定方法。 - 請求項１５記載の光源推定方法において、
評価空間に投影されたサンプル画素の画像分布または画像領域に対して、一定の基準によって内挿、外挿、除去、空間的フィルタリング等の加工を行ってから上記各テスト光源についての正答性の指標を算出することを特徴とする光源推定方法。 - 請求項１５記載の光源推定方法において、
一つの評価空間に投影されたサンプル画素の値から生成される複数の異なる指標、もしくは複数の異なる評価空間に投影されたサンプル画素の値から生成される複数の異なる指標を、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、新たな指標を生成して上記各テスト光源の正答性を評価することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記テスト光源の中で最も正答性の高い指標をもつものを推定光源として決定することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記テスト光源の中で正答性の高い２つ以上の重み付け平均を推定光源として決定することを特徴とする光源推定方法。 - 請求項２６記載の光源推定方法において、
上記テスト光源の中で最も正答性の高い指標をもつ光源を一旦選定し、さらにその光源付近で細分化した異なる光源を参照して各光源の正答性の指標を生成することを繰り返すことを特徴とする光源推定方法。 - 請求項２６記載の光源推定方法において、
上記テスト光源が物理的発光方式により分類される２つ以上のカテゴリを含み、各カテゴリ内で撮影光源の色温度に最も近いことを示す指標を基にした色温度判定処理と、これと同じまたは異なる指標を用いて撮影光源の物理的発光方式に最も近いことを示す指標を基にした発光方式判定処理とを行い、これら両方の判定結果により推定光源を決定することを特徴とする光源推定方法。 - 請求項２６記載の光源推定方法において、
上記テスト光源が任意の条件で分類できる２つ以上のカテゴリを含み、ユーザが指定したカテゴリ、もしくは上記推定手段とは異なるカテゴリ判別手段から与えられたカテゴリに属するテスト光源のみを対象に、撮影光源に最も近いことを示す指標を基に推定光源を決定することを特徴とする光源推定方法。 - 請求項２記載の光源推定方法において、
上記推定により決定した撮影光源と、上記推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な推定光源として決定することを特徴とする光源推定方法。 - 複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定し、推定した光源の色である分光特性もしくはそれに適したパラメータを、上記撮像手段のセンサ応答に対するカラーバランス処理に利用する撮像装置において、
上記撮像手段が有する既知である上記複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことにより上記センサ応答値を上記撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、
上記センサ応答値に対して、上記記憶手段に記憶されたパラメータを用いて上記撮影光源に依存しない評価空間へ投影する投影変換手段と、
上記投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて上記複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、
上記推定により決定した撮影光源と、上記推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、
推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、上記撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したことを特徴とする撮像装置。 - 複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定し、推定した光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用する画像処理方法において、
上記センサ応答値に対して、既知である上記撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、
その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、
上記推定により決定した撮影光源と、上記推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、
推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、上記撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたことを特徴とする画像処理方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002328719A JP3767541B2 (ja) | 2002-11-12 | 2002-11-12 | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
| TW092130300A TWI241134B (en) | 2002-11-12 | 2003-10-30 | Device and method for estimating light source, image pickup device and image processing method |
| PCT/JP2003/014377 WO2004045219A1 (ja) | 2002-11-12 | 2003-11-12 | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
| US10/534,432 US7436997B2 (en) | 2002-11-12 | 2003-11-12 | Light source estimating device, light source estimating method, and imaging device and image processing method |
| KR1020057008387A KR20050074590A (ko) | 2002-11-12 | 2003-11-12 | 광원 추정 장치, 광원 추정 방법, 촬상 장치 및 화상 처리방법 |
| EP03772709A EP1583371A4 (en) | 2002-11-12 | 2003-11-12 | DEVICE FOR ESTIMATING A LIGHT SOURCE, METHOD FOR ESTIMATING A LIGHT SOURCE, IMAGING DEVICE, AND IMAGE PROCESSING METHOD |
| CNA2003801078376A CN1732696A (zh) | 2002-11-12 | 2003-11-12 | 光源估计设备和方法、成像设备及图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002328719A JP3767541B2 (ja) | 2002-11-12 | 2002-11-12 | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004165932A JP2004165932A (ja) | 2004-06-10 |
| JP2004165932A5 JP2004165932A5 (ja) | 2005-04-07 |
| JP3767541B2 true JP3767541B2 (ja) | 2006-04-19 |
Family
ID=32310550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002328719A Expired - Fee Related JP3767541B2 (ja) | 2002-11-12 | 2002-11-12 | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7436997B2 (ja) |
| EP (1) | EP1583371A4 (ja) |
| JP (1) | JP3767541B2 (ja) |
| KR (1) | KR20050074590A (ja) |
| CN (1) | CN1732696A (ja) |
| TW (1) | TWI241134B (ja) |
| WO (1) | WO2004045219A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503771B2 (en) | 2010-12-20 | 2013-08-06 | Samsung Techwin Co., Ltd. | Method and apparatus for estimating light source |
| US9445062B2 (en) | 2013-11-27 | 2016-09-13 | Ricoh Company, Ltd. | Imaging device, imaging system, and imaging method |
Families Citing this family (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8055063B2 (en) * | 2003-09-30 | 2011-11-08 | Sharp Laboratories Of America, Inc. | Methods and systems for improving robustness of color balance correction |
| US7636473B2 (en) * | 2004-03-12 | 2009-12-22 | Seiko Epson Corporation | Image color adjustment |
| US20060007239A1 (en) * | 2004-07-06 | 2006-01-12 | Harrison Charles F | Color correction system |
| JP4715288B2 (ja) * | 2004-08-23 | 2011-07-06 | 凸版印刷株式会社 | 分光反射率候補算出方法、色変換方法、分光反射率候補算出装置、色変換装置、分光反射率候補算出プログラム、色変換プログラム |
| JP2006173659A (ja) * | 2004-12-10 | 2006-06-29 | Sony Corp | 画像処理装置、画像処理方法及び撮像装置 |
| US7421121B2 (en) | 2005-02-08 | 2008-09-02 | Micron Technology, Inc. | Spectral normalization using illuminant exposure estimation |
| JP4539432B2 (ja) | 2005-05-16 | 2010-09-08 | ソニー株式会社 | 画像処理装置および撮像装置 |
| JP4626776B2 (ja) * | 2005-07-13 | 2011-02-09 | 日本電気株式会社 | 色補正方法および色補正装置 |
| JP4692190B2 (ja) * | 2005-09-29 | 2011-06-01 | 凸版印刷株式会社 | 分光反射率推定方法、分光反射率推定装置、ならびに分光反射率推定プログラム |
| JP4798354B2 (ja) * | 2006-02-02 | 2011-10-19 | 凸版印刷株式会社 | 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム |
| JP4967440B2 (ja) * | 2006-04-03 | 2012-07-04 | ソニー株式会社 | 撮像装置およびその光源推定装置 |
| CN100477743C (zh) * | 2006-04-03 | 2009-04-08 | 索尼株式会社 | 摄像装置及其光源推断装置 |
| JP4967445B2 (ja) * | 2006-05-11 | 2012-07-04 | ソニー株式会社 | 撮像装置およびその光源推定装置 |
| KR100855470B1 (ko) * | 2006-09-28 | 2008-09-01 | 삼성전자주식회사 | 광원 추정 방법 및 장치 |
| WO2008065466A1 (en) * | 2006-11-29 | 2008-06-05 | Nokia Corporation | Apparatus, method, and computer program product providing a light source with memory |
| KR100918392B1 (ko) * | 2006-12-05 | 2009-09-24 | 한국전자통신연구원 | 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법 |
| US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
| US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
| JP4668956B2 (ja) * | 2007-06-29 | 2011-04-13 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
| JP5092612B2 (ja) * | 2007-08-03 | 2012-12-05 | 株式会社ニコン | カラー撮像装置 |
| JP5210121B2 (ja) * | 2007-11-16 | 2013-06-12 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US8229215B2 (en) * | 2007-12-03 | 2012-07-24 | Omnivision Technologies, Inc. | Image sensor apparatus and method for scene illuminant estimation |
| US20090147098A1 (en) * | 2007-12-10 | 2009-06-11 | Omnivision Technologies, Inc. | Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix |
| JP5075648B2 (ja) * | 2008-01-15 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| JP5435885B2 (ja) * | 2008-04-15 | 2014-03-05 | キヤノン株式会社 | 色処理装置、画像処理装置およびそれらの方法 |
| JP5389380B2 (ja) * | 2008-05-28 | 2014-01-15 | オリンパス株式会社 | 信号処理システム及び信号処理プログラム |
| US8736709B2 (en) * | 2008-07-11 | 2014-05-27 | The Invention Science Fund I, Llc | Spectral improvement of digital camera color images |
| US8463072B2 (en) * | 2008-08-29 | 2013-06-11 | Adobe Systems Incorporated | Determining characteristics of multiple light sources in a digital image |
| US9013596B2 (en) * | 2008-09-24 | 2015-04-21 | Nikon Corporation | Automatic illuminant estimation that incorporates apparatus setting and intrinsic color casting information |
| US20100157334A1 (en) * | 2008-12-24 | 2010-06-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, image processing method, and medium storing program |
| US8320662B2 (en) * | 2009-01-07 | 2012-11-27 | National Instruments Corporation | Distinguishing colors of illuminated objects using machine vision |
| US20100245617A1 (en) * | 2009-03-31 | 2010-09-30 | Gary Stephen Shuster | Automated white balancing in digital photography |
| JP5517685B2 (ja) * | 2009-04-14 | 2014-06-11 | キヤノン株式会社 | 画像処理装置および方法 |
| CN101635053B (zh) * | 2009-09-02 | 2011-10-26 | 北京航空航天大学 | 多光源颜色强度一致性标定方法 |
| EP2520134B1 (en) | 2009-10-08 | 2015-03-25 | Delos Living, LLC | Led lighting system |
| US8420996B2 (en) * | 2009-12-23 | 2013-04-16 | Nokia Corporation | Intensity estimation using binary sensor array with spatially varying thresholds |
| US20110187891A1 (en) * | 2010-02-04 | 2011-08-04 | Buyue Zhang | Methods and Systems for Automatic White Balance |
| JP5676906B2 (ja) * | 2010-04-13 | 2015-02-25 | 日本放送協会 | 色補正装置 |
| US10354929B2 (en) * | 2012-05-08 | 2019-07-16 | Kla-Tencor Corporation | Measurement recipe optimization based on spectral sensitivity and process variation |
| US9129188B2 (en) * | 2012-06-22 | 2015-09-08 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
| WO2014036133A1 (en) | 2012-08-28 | 2014-03-06 | Delos Living Llc | Systems, methods and articles for enhancing wellness associated with habitable environments |
| JP6288952B2 (ja) * | 2013-05-28 | 2018-03-07 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP6249638B2 (ja) * | 2013-05-28 | 2017-12-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9756222B2 (en) * | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| US9299188B2 (en) | 2013-08-08 | 2016-03-29 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
| CN104702930B (zh) * | 2013-12-06 | 2016-12-07 | 青岛海信移动通信技术股份有限公司 | 一种确定白平衡光源的方法及装置 |
| EP3111411A4 (en) | 2014-02-28 | 2017-08-09 | Delos Living, LLC | Systems, methods and articles for enhancing wellness associated with habitable environments |
| US10217438B2 (en) * | 2014-05-30 | 2019-02-26 | Apple Inc. | User interface and method for directly setting display white point |
| EP3185180B1 (en) * | 2014-10-23 | 2019-01-02 | Axis AB | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
| US10923226B2 (en) | 2015-01-13 | 2021-02-16 | Delos Living Llc | Systems, methods and articles for monitoring and enhancing human wellness |
| US10321066B2 (en) | 2015-09-03 | 2019-06-11 | Kabushiki Kaisha Toshiba | Light source estimating apparatus and image pickup apparatus |
| US9928441B2 (en) | 2015-11-20 | 2018-03-27 | Infinity Augmented Reality Israel Ltd. | Method and a system for determining radiation sources characteristics in a scene based on shadowing analysis |
| JP6786850B2 (ja) * | 2016-04-07 | 2020-11-18 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
| US10134198B2 (en) | 2016-04-19 | 2018-11-20 | Adobe Systems Incorporated | Image compensation for an occluding direct-view augmented reality system |
| CN106296658B (zh) * | 2016-07-28 | 2018-09-04 | 电子科技大学 | 一种基于相机响应函数的场景光源估计准确性提升方法 |
| WO2018039433A1 (en) | 2016-08-24 | 2018-03-01 | Delos Living Llc | Systems, methods and articles for enhancing wellness associated with habitable environments |
| US10607329B2 (en) * | 2017-03-13 | 2020-03-31 | Adobe Inc. | Illumination estimation from a single image |
| US10609286B2 (en) | 2017-06-13 | 2020-03-31 | Adobe Inc. | Extrapolating lighting conditions from a single digital image |
| US10403045B2 (en) | 2017-08-11 | 2019-09-03 | Adobe Inc. | Photorealistic augmented reality system |
| US11668481B2 (en) | 2017-08-30 | 2023-06-06 | Delos Living Llc | Systems, methods and articles for assessing and/or improving health and well-being |
| JP2019185730A (ja) * | 2018-03-30 | 2019-10-24 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7155681B2 (ja) * | 2018-07-10 | 2022-10-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| US11490060B2 (en) | 2018-08-01 | 2022-11-01 | Sony Corporation | Image processing device, image processing method, and imaging device |
| EP3850458A4 (en) | 2018-09-14 | 2022-06-08 | Delos Living, LLC | AIR CLEANING SYSTEMS AND PROCEDURES |
| US11844163B2 (en) | 2019-02-26 | 2023-12-12 | Delos Living Llc | Method and apparatus for lighting in an office environment |
| US11898898B2 (en) | 2019-03-25 | 2024-02-13 | Delos Living Llc | Systems and methods for acoustic monitoring |
| KR102082970B1 (ko) * | 2019-04-29 | 2020-02-28 | 주식회사 루닛 | 기계학습을 위한 정규화 방법 및 그 장치 |
| CN110675366B (zh) * | 2019-08-30 | 2022-03-08 | 杭州电子科技大学 | 基于窄带led光源估计相机光谱灵敏度的方法 |
| CN111787299B (zh) * | 2019-10-18 | 2022-06-14 | 西安宇视信息科技有限公司 | 特殊光源的确定方法、装置、介质及电子设备 |
| CN114531578B (zh) * | 2020-11-23 | 2023-11-07 | 华为技术有限公司 | 光源光谱获取方法和设备 |
| CN112712568A (zh) * | 2020-12-16 | 2021-04-27 | 杭州博联智能科技股份有限公司 | 颜色亮度识别方法、装置、设备及介质 |
| TW202303511A (zh) * | 2021-01-29 | 2023-01-16 | 日商索尼半導體解決方案公司 | 圖像處理裝置、圖像處理方法及圖像處理程式 |
| CN114793270A (zh) * | 2022-04-20 | 2022-07-26 | 深圳市慧鲤科技有限公司 | 色彩校正方法及装置、电子设备和存储介质 |
| CN116385566B (zh) * | 2022-05-27 | 2024-04-30 | 上海玄戒技术有限公司 | 光源估计方法、装置、电子设备、芯片及存储介质 |
| CN114827591B (zh) * | 2022-06-27 | 2022-10-18 | 东莞锐视光电科技有限公司 | 一种应用于光源相机***的综合测定评价方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05111059A (ja) * | 1991-10-15 | 1993-04-30 | Matsushita Electric Ind Co Ltd | 光源推定装置 |
| JP3639696B2 (ja) * | 1997-07-09 | 2005-04-20 | キヤノン株式会社 | 画像処理方法および装置および記憶媒体 |
| DE69835638T2 (de) | 1997-07-09 | 2006-12-28 | Canon K.K. | Farbbildverarbeitungsgerät und -verfahren |
| US6038339A (en) | 1997-11-14 | 2000-03-14 | Hewlett-Packard Company | White point determination using correlation matrix memory |
| US6304294B1 (en) | 1999-10-15 | 2001-10-16 | Sony Corporation | Apparatus for and method of estimating the illumination of an image |
| JP4529210B2 (ja) * | 1999-12-27 | 2010-08-25 | 凸版印刷株式会社 | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
| JP2001311666A (ja) * | 2000-04-28 | 2001-11-09 | Toppan Printing Co Ltd | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
| US7084907B2 (en) * | 2001-01-15 | 2006-08-01 | Nikon Corporation | Image-capturing device |
| US7184080B2 (en) * | 2001-06-25 | 2007-02-27 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring |
| US7362357B2 (en) * | 2001-08-07 | 2008-04-22 | Signature Research, Inc. | Calibration of digital color imagery |
-
2002
- 2002-11-12 JP JP2002328719A patent/JP3767541B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-30 TW TW092130300A patent/TWI241134B/zh active
- 2003-11-12 US US10/534,432 patent/US7436997B2/en not_active Expired - Fee Related
- 2003-11-12 EP EP03772709A patent/EP1583371A4/en not_active Withdrawn
- 2003-11-12 WO PCT/JP2003/014377 patent/WO2004045219A1/ja active Application Filing
- 2003-11-12 CN CNA2003801078376A patent/CN1732696A/zh active Pending
- 2003-11-12 KR KR1020057008387A patent/KR20050074590A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503771B2 (en) | 2010-12-20 | 2013-08-06 | Samsung Techwin Co., Ltd. | Method and apparatus for estimating light source |
| US9445062B2 (en) | 2013-11-27 | 2016-09-13 | Ricoh Company, Ltd. | Imaging device, imaging system, and imaging method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1583371A4 (en) | 2009-01-21 |
| TW200420118A (en) | 2004-10-01 |
| US20060103728A1 (en) | 2006-05-18 |
| TWI241134B (en) | 2005-10-01 |
| JP2004165932A (ja) | 2004-06-10 |
| EP1583371A1 (en) | 2005-10-05 |
| WO2004045219A1 (ja) | 2004-05-27 |
| US7436997B2 (en) | 2008-10-14 |
| CN1732696A (zh) | 2006-02-08 |
| KR20050074590A (ko) | 2005-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3767541B2 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
| US7065255B2 (en) | Method and apparatus for enhancing digital images utilizing non-image data | |
| US8855412B2 (en) | Systems, methods, and apparatus for image processing, for color classification, and for skin color detection | |
| JP4212165B2 (ja) | 色再現システム | |
| JP6004481B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
| US9485391B2 (en) | Method, apparatus and program for restoring and correcting surface reflectance with color image processing | |
| US20080266430A1 (en) | Method and system for optimizing an image for improved analysis of material and illumination image features | |
| US20090128649A1 (en) | Reflectance Spectra Estimation and Colour Space Conversion Using Reference Reflectance Spectra | |
| US7457000B2 (en) | Image input system, conversion matrix calculating method, and computer software product | |
| WO2001030067A1 (en) | An apparatus for and method of estimating the illumination of an image | |
| JP4262359B2 (ja) | 色再現システム | |
| US20140267612A1 (en) | Method and Apparatus for Adaptive Exposure Bracketing, Segmentation and Scene Organization | |
| KR101695246B1 (ko) | 광원 추정 장치 및 광원 추정 방법 | |
| US8026954B2 (en) | System and computer-readable medium for automatic white balancing | |
| JP4415446B2 (ja) | 測色画像変換方法及び測色画像変換装置並びに測色画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| JP5265338B2 (ja) | イルミナントの推定 | |
| JP2001311666A (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| JP4529210B2 (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| JP4378810B2 (ja) | 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| JP2002350355A (ja) | 光沢ムラ評価装置、光沢ムラ評価方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
| JP5120936B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH11287712A (ja) | 照明光分光特性推定方法及び装置、並びに分光特性推定プログラムを記録した情報記録媒体 | |
| CN115918060A (zh) | 重建图像、特别是精确彩色图像的方法以及相关联的计算机程序、设备和*** | |
| JP2001208609A (ja) | 測色的色表現方法と測色的色表現装置、並びに測色的色表現プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| JP2002033933A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |