JP2004048740A - ニューラル・ネットワーク・マッピングによる輝度得点自動露出を通しての自動白色バランシング - Google Patents
ニューラル・ネットワーク・マッピングによる輝度得点自動露出を通しての自動白色バランシング Download PDFInfo
- Publication number
- JP2004048740A JP2004048740A JP2003179026A JP2003179026A JP2004048740A JP 2004048740 A JP2004048740 A JP 2004048740A JP 2003179026 A JP2003179026 A JP 2003179026A JP 2003179026 A JP2003179026 A JP 2003179026A JP 2004048740 A JP2004048740 A JP 2004048740A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- exposure
- prototype
- colors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】ディジタル・カメラに有用である自動白色バランシング法および/または自動露出法とその回路を提供する。
【解決手段】ディジタル・カメラに有用である自動白色バランシングおよび/または自動露出は、種々の色温度の光源の下にあるレファレンス・カラーと画像のカラーとを比較することからカラー・チヤンネル利得を引き出し、および/または訓練されたニューラル・ネットワークでもって、1つの画像の複数の領域の中の輝度の平均、輝度の分散、輝度の最小、および輝度の最大から露出の設定を引き出す。
【選択図】 図1a
【解決手段】ディジタル・カメラに有用である自動白色バランシングおよび/または自動露出は、種々の色温度の光源の下にあるレファレンス・カラーと画像のカラーとを比較することからカラー・チヤンネル利得を引き出し、および/または訓練されたニューラル・ネットワークでもって、1つの画像の複数の領域の中の輝度の平均、輝度の分散、輝度の最小、および輝度の最大から露出の設定を引き出す。
【選択図】 図1a
Description
【0001】
【発明の属する技術分野】
本発明は電子デバイスに関する。さらに詳細に言えば、本発明はディジタル・カメラおよび白色バランシングおよび/または自動露出の方法および回路に関する。
【0002】
【発明が解決しようとする課題】
ここ数年の間に、ディジタル・カメラの販売が大幅に伸びそして盛んに利用されるようになってきている。10Mに近いディジタル・カメラが2000年に世界的に販売された。この数は2005年までには40Mにまで成長すると期待されている。この成長は、主として画像がすぐに見られてそしてすぐに転送したいという消費者の要望によるものである。
【0003】
図2は、典型的なディジタル・スチル・カメラ(DSC(digital still camera))の、種々の画像処理コンポーネントのブロック線図であり、これらは全体的として画像パイプラインと呼ばれる。カラー・フィルタ・アレイ(CFA(colorfilter array))補間、ガンマ補正、白色バランシング、カラー空間変換およびJPEG/MPEG圧縮/減圧は、重要な画像パイプライン・アルゴリズムのいくつかを構成する。典型的なカラーCCDは、それぞれが赤、緑、または青のいずれかのフィルタで覆われた写真サイトを有する写真サイトの長方形のアレイから成る。通常用いられるベイヤー(Bayer)パターンでは、これらの写真サイトの半分が緑、そして四分の一が赤、そして四分の一が青である。そしてRBGからJPEG/MPEGに用いられるYCbCr(輝度、クロミナンス青、およびクロミナンス赤)へのカラー変換は次の式によって定められる。
【0004】
【数1】
【0005】
したがって、逆の変換は次のようになる。
【0006】
【数2】
【0007】
ここで、8ビットのカラーの場合、R、G、およびBは0−255の範囲内の整数値を有するであろう。そしてそれに対応してCbCr面は離散的であるであろう。
【0008】
画像の中の風景の色は、その画像が撮影される時に風景を照らしている照明が異なると異なって見える。これは、日中の光、白熱灯の光および蛍光灯の光のように異なる光源は、異なるパワー・スペクトル分布を有するという事実によるものである。その結果、物体はその本当の色とは異なる色を有するように見える。この現象によって最も影響を受ける色は白である。したがって、異なる光源の下で白色の物体が白として見えるようにする問題が白色バランシング(white balancing)と呼ばれる。通常は、この問題はCCD/CMOSセンサの3原色、すなわち赤、緑、および青の利得を調整することによって解決される。ユーザがなにも介入することなく白色バランシングを自動的に行う性能は、自動白色バランシング(AWB(automatic white balancing))と呼ばれる。
【0009】
白色バランシングを手動で制御するプロのカメラでは、白色バランシングを行うことは比較的に容易である。このことは、純粋に白色の物体がフレームの全体を占めるように、その物体をズームすることによって行われる。白色バランシング・ボタンを押すことにより、カラー・チヤンネルの利得が調整される。カメラはこの方法でその電子装置をバランスさせ、それにより白として指定された物体が白として見え、そして白として処理される。戸外から室内へ移動するまたは日向から日陰へ移動するように支配的な光源が変わる時にはいつでも、この処理工程を繰り返すことが必要である。カメラによっては手動による白色バランシングは、「室内」、「晴天」、「曇天」などのように予め定められた組の光源の設定を選定することによって行われる。
【0010】
自動白色バランシングに関しては、ハードウエアによる解決法とソフトウエアによる解決法との両方が提案されている。ハードウエアによる解決法は、通常は、風景の平均のカラーを用いて電子回路によりカラー・バイアスをゼロにすることである。ここでの主な仮定は、風景の平均のカラーはニュートラル、すなわち灰色(無色)であるということである。風景の中に支配的で強烈なカラーの物体が含まれていてそのために平均のカラーにバイアスが存在する場合には、この仮定は成立しなく、そして白色バランシング回路は適切に補償を行うことはできない。ディジタル・カメラの中にプログラマブル・プロセッサ用いれば、CCD/CMOSセンサによって捉えられた生の画像データを単に検査することにより、AWBに対しソフトウエアによる解決法を導入することが可能になる。このような解決法の利点は、ソフトウエアのアップグレードおよびソフトウエアの再使用の可能性において柔軟性があることである。
【0011】
自動白色バランシングに対して最も広く用いられている技術は、「灰色世界」の仮定に基づいている。この仮定は、風景の中のカラーの平均はニュートラル、すなわち無色であることを述べている。kr、kgおよびkbがそれぞれ、R、G、およびBのチヤンネルに対するスケール因子または利得であるとする。これらのスケール因子は次のように定められる。
【0012】
【数3】
【0013】
ここで、Ravg、Gavg、およびBavgはそれぞれ、画像の中の平均の赤値、平均の緑値、および平均の青値を示す。
【0014】
よく用いられるまた別の技術は、「白色世界」の仮定に基づいている。この白色世界の仮定は、画像の中の最も明るい点の赤値、緑値、および青値は同じであるべきであることを述べている。この仮定に基づくならば、利得は次のように調整される。
【0015】
【数4】
【0016】
ここで、Rmax、Gmax、およびBmaxはそれぞれ、画像の中の最大の赤値、最大の緑値、および最大の青値を示す。
【0017】
前記の仮定は多くの状況の中で白色バランシングに導くけれども、風景が比較的に大きな背景を含んでいる時、または風景の中に同じカラーを有する大きな物体が含まれている時には、このことはうまくいかない。例えば、広い青空を有している画像または海洋を背景に有する画像はこの分類に入る。
【0018】
したがって何人かの研究者は、風景に関してさらに弱い仮定をすることによる解決法を開発してきた。ハベル(Hubel)ほか名の米国特許第 6,038,339号は相関方式によるカラーを開示している。この方式では、特定の光源の下での色度空間の中の多数のレファレンス・カラーのコンベックス・ハル(convex hull)が捉えられた画像のカラーに対して比較される。1組の光源に対し、捉えられた画像とレファレンス・コンベックス・ハルとを相関させることにより、最も適当である光源が識別される。他の解決法は、ニューラル・ネットワークを用いて画像の色度を原色の利得にマップすることである(フント(Funt)ほか名の論文「カラー恒常性の学習(Learning Color Constancy)」、IS&T Proc.Fourth Color Imaging Conf.58頁−60頁(1996年))、およびカラーの傾向を除去するためにほぼ無色の物体を見付け出すことである(クーパ(Cooper)ほか名の論文「ディジタル・スチル・カメラのための白色バランシングに対する支援としてのカラー区分(ColorSegmentation as an Aid to White Balancing for Digital Still Cameras)」、Proc. SPIE、第4300巻、99.16141(2001年))。
【0019】
色温度はケルビン(K)で計測される。色温度は、黒体がケルビンで表された温度にまで加熱される時、その黒体放射体のカラーを指している。このカラーは、指定された温度にある黒体放射のスペクトル分布により変化する。ケルビンの目盛りを用いて、色温度が低くなればなる程その物体の見かけは赤っぽくなり、そして色温度が高くなればなる程その物体の見かけは青っぽくなる。例えば、太陽光は約5500Kの色温度を有し、そして100ワットの白熱灯は2800Kの色温度を有する。人間の目は色温度に対して自動的に調整を行う。換言すれば、1つの物体を異なる光源の下で見た時でも、目で見たその物体のカラーは同じであるように認知する。ディジタル・カメラを通して物体を見た時には、このことは当てはまらない。画像を照射している光源が異なれば、物体のカラーは異なって見える。ディジタル・カメラにおける見かけのカラーに関する限り、観察者は画像のより飽和したカラーまたはより強いカラーを優先して見ることが研究により示されている。例えば、観察者は皮膚の色調は実際よりもより健康的に見る傾向があり、草は実際よりもより緑に見る傾向があり、そして青空は実際よりも青く見る傾向がある。
【0020】
捉えられたカラーのスペクトル分布は光源(発光体)のスペクトル・パワー分布と風景のスペクトル反射率との積である。そして光源のスペクトル分布が変われば、この積の値も変わる。実際、表面の反射率S(λ)と光源のスペクトル分布E(λ)と標準的な観察者またはセンサの3原色のスペクトル感度r(λ)、g(λ)、およびb(λ)が与えられるならば、その場合には、捉えられたカラーの赤スペクトル成分R、緑スペクトル成分G、および青スペクトル成分Bは次の式のように表すことができる。
【0021】
【数5】
【0022】
もちろんカラー・フィルタ・アレイ(CFA(color filter array))を備えたCCDでは、写真サイトのおのおのは3つのR、G、またはBの中の1つだけを捉え、そして他の2つは近傍の写真サイトから補間法により得られる。
【0023】
ディジタル・スチル・カメラにおける自動露出(図2の自動露出)は、典型的には輝度レベルを評価し、そして露出(時間および/または開口部の寸法)を調整する。ニコンF5カメラのようなまた別の方式では、次の画像パラメータ、すなわち画像全体の明るさ、焦点を結んでいる領域の明るさ、画像の下側部分および上側部分のコントラスト、色温度、焦点の位置、および物体からの距離のパラメータ値に露出値を関係づけるために、30,000個の画像に関してニューラル・ネットワークを学習させる。
【0024】
【課題を解決するための手段】
本発明により、種々の色温度の光源の下での1組のレファレンス・カラーと画像カラーのプロトタイプとを比較する白色バランシングを有し、および自動白色バランシングと一緒にニューラル・ネットワークを用いる自動露出を有する、自動白色バランシングおよび/または自動露出のためのカメラ・システムおよび方法が得られる。
【0025】
これは、捉えられた画像のみを利用するという利点を有する。
【0026】
添付図面は明確さに対して実践的である。
【0027】
【発明の実施の形態】
1.概観
好ましい実施例のディジタル・カメラ・システムは、種々の色温度の照明においてレファレンス・カラーと画像のプロトタイプ・カラーとを比較することから、カラー・チヤンネル利得を引き出す好ましい実施例の自動白色バランシング法を有している。図1aは、好ましい第1の実施例の自動白色バランシング法の流れ図を示した図である。この方法は画像から少数(例えば、5−20個)のプロトタイプ・カラーを引き出し、そしてこれらのプロトタイプ・カラーを少数組(例えば、240組)のレファレンス・カラーと光源との組合わせと比較する。プロトタイプ・カラーとの比較において最良であるレファレンス・カラーと光源との組合わせは画像に対する光源の推定される混合を決定し、その結果として赤の利得と緑の利得と青の利得とを決定する。
【0028】
他の好ましい実施例のディジタル・カメラ・システムは、好ましい実施例の自動的な露出法(自動露出法)を有している。この好ましい実施例の自動露出法は、画像の中の部分領域の照度平均、照度分散、照度最小、および照度最大を含む画像パラメータから露出の設定を引き出す。これらの好ましい実施例は、照度パラメータから露出の設定を引き出すために学習されたニューラル・ネットワークを用いる。図1bを参照されたい。
【0029】
さらに好ましい実施例は、好ましい実施例の自動白色バランシングと好ましい実施例の自動露出との両方を有する。
【0030】
図2は、好ましい実施例の自動白色バランシング法およびまた好ましい実施例の自動露出法を取り込むことができるシステム(カメラ)を機能ブロックの形式で示した図である。ディジタル信号プロセッサ(DSP(digital signal processor))、または汎用のプログラマブル・プロセッサ、またはアプリケーション特定回路、またはRISCプロセッサ・コントローラを有する同じチップの上のDSPとRISCプロセッサとの両方のような1つのチップの上のシステムで、図2の機能を実行することができる。DSPとRISCプロセッサを有するチップに、CFAカラー補間法およびJPEGエンコーディングのようなさらに特殊化された促進器を付加することができるであろう。画像パイプライン処理の前または後のいずれかに、捉えられた画像をメモリの中に記憶することができる。画像パイプラインの機能は、オン・ボードまたは外部のROM、フラッシュEEPROM、またはDPSまたはプログラマブル・プロセッサのための強誘電体RAMの中に記憶されたプログラムであることができる。
【0031】
2.第1の好ましい実施例の白色バランシング
第1の好ましい実施例の白色バランシング法は3つの段階を有する。すなわち(1)多数のレファレンス・カラーを定める段階、(2)検査される画像から1組のプロトタイプ・カラーまたは代表的カラーを得る段階、(3)レファレンス・カラーとプロトタイプ・カラーとの間のカラー整合手続きを実行する段階である。
【0032】
(1)第1の部分では、1組の色温度に対応する多数(例えば、10個)のレファレンス光源のスペクトル分布と一緒にマクベス(Macbeth)のレファレンス・カラー・チャート(24色)と関連するスペクトル分布を用いて、CbCr空間の中の多数のレファレンス・カラー点(例えば、240カラー点)が得られる。マクベスのカラーは、ニュートラル(黒、灰色、および白)を含む小さな組のレファレンス・カラーでもって通常出会うカラーを要約することを試みている。
【0033】
(2)この方法の第2の部分は、検査する画像に対し多数の代表するカラー(プロトタイプ・カラー)を確立することを含んでいる。このことは、ケータナバズ(Kehtarnavaz)ほかによって開発されたマルチスケール・クラスタリング法の簡単化された方式を用いることによって行われる。この方法では、CbCr空間の中の画像のカラーの2次元のカラー・ヒストグラムを用いて、ガウス型カーネル(Gaussian kernel)でもってこのヒストグラムをコンボルブ(convolve)することによってポテンシャル・フィールド関数が組み立てられる。離散的であるCbCr空間(典型的な8ビットのメモリによる256×256の矩形マトリックスの部分組)はCbCrの中に〜1M画像点の2次元のヒストグラムに導くことに注目されたい。そこで、ポテンシャル・フィールド関数の局所的な最大を用いて、画像を表す突出したカラーまたはプロトタイプ・カラーを定める。図3は、「+」で標識されたピークを有するサンプル画像の2次元のヒストグラムを示した図である。図3におけるようなCbCr空間の中心から画像カラーが分岐するのが普通である。CbCr空間の中心はニュートラル(黒、灰色、および白)に対応する。1つの画像に対して見い出されるプロトタイプ・カラーの総数は、典型的には5−20個の範囲内あり、普通は8−12個である。このように、240個のレファレンス・カラーと比較されるべき8−12個のプロトタイプ・カラーが存在するであろう。
【0034】
さらに詳細に言えば、マルチ・スケール・クラスタ法は次のように進行する。増大した寸法(標準偏差)を有する一連のガウス型カーネルでもってCbCr空間の画像カラーのヒストグラムをコンボルブする。すなわち、カーネルは
【数6】
である。ここで
【外1】
はCbCr空間の中の2次元のベクトル
【外2】
の長さ、σは標準偏差である。これらのコンボリューション(convolution)は、σが増大する時に次第に滑らかになる一連のフィールド関数を生成する。このガウス型カーネルとその結果得られるフィールド関数は、2次元の連続変数の関数であると考えられ、そしてこのコンボリューションに対して、ヒストグラムは2次元の変数の点(n,m)に配置されるスケールド(scaled)デルタ関数の和として配列される。ここで、mおよびnは整数であり、そして0≦m≦255および0≦n≦255である。フィールド関数の局所的な最大(もし負の符号が含まれているならば最小)の数はカーネルの寸法が増大すると共に減少し、そしてカーネルの寸法が増大する時に最長を持続する局所的な最大の数がプロトタイプ・カラーの数として採用され、そしてプロトタイプ・カラーはこれらの局所的な最大に対応するCbCr空間の中の点である。規格化された標準偏差の範囲はσ=0.001、0.002、…、0.04、0.045、0.05、0.055、0.06、…、1.0のようであることができる。ここで1.0は255番目のbinに対応する。
【0035】
経験的には、5binのガウス型カーネルの寸法(標準偏差)は持続する数の局所的最大を生ずるのが通常であり、したがって単純化された第2の好ましい実施例は、第1の好ましい実施例のマルチ・スケール・クラスタリング法をガウス型カーネルの単一のコンボリューションによって置き換える。そこで、この単一のフィールド関数の局所的最大はプロトタイプ・カラーとして用いられる。
【0036】
(3)CbCrカラー空間の中の画像のカラーの位置は、2つの原因によって支配される。すなわち、(a)その色相(例えば、反射率S(λ))、および(b)そのカラーを観察する際の光源のスペクトル分布(例えば、E(λ))によるそのシフト、により支配される。プロトタイプ・カラーをレファレンス・カラーと比較する時、(a)と(b)とを切り離すために、カラー空間が多くのセクタに分割される。それぞれのセクタの中のカラー点は類似した見かけのカラーを表している。セクタを組み立てるのに2つの方式を採用することができる。すなわち、1つの方式は固定された数のセクタを組み立てることであり、そして他のもう1つの方式はプロトタイプの数に応じて変化することができる数のセクタを組み立てることである。8個のような固定された数のセクタを用いることがさらに簡単である。
【0037】
セクタのおのおのの中で、プロトタイプ・カラーはそのセクタの中の(光源の組の中の1つの光源明の下において)レファレンス・カラーの全部と比較される。このことは、プロトタイプ・カラーとレファレンス・カラーの色相の近さを計算することによって行われる。例えば図4に示されているように、このことは、プロトタイプ・カラー・ベクトルとレファレンス・カラー・ベクトルとの間の積を計算することを意味する。ここで、これらのベクトルは、CbCr空間の中心(ニュートラル・カラーに対応する)から出発している。この比較の軌跡を保つために、考察している光源(色温度)のおのおのに対してまずゼロの得点が与えられる。次に、プロトタイプの比較の中で最も近いレファレンス・カラーまたは勝ったレファレンス・カラーに関連する光源の得点が1だけ増される。この工程が、そのセクタの中のプロトタイプのおのおのに対して繰り返される。すべてのセクタを検査した後、これらの光源の最終の得点が比較される。プロトタイプ・ベクトルがレファレンス・カラーを有しないセクタの中にある時、その時には最も近いレファレンスは存在しなく、そしてこのプロトタイプによる得点の増大はない。図5bは、白熱灯による照明を有する図5aに示された画像に対する光源の得点を示すバー・チャート(bar chart)の図である。図5bから分かるように、3500Kの色温度が期待されるような最高の得点を生成する。太陽光および曇天光に対するまた別の例が、図6および図7にそれぞれ示されている。セクタに分けることが比較の数を少なくすることに注目されたい。そしてまた、プロトタイプ・カラーを含むセクタの中にレファレンス・カラーが存在しない時、プロトタイプ・カラーに対して最も近いレファレンス・カラーを見つけることを排除することに注目されたい。そうでない場合には、セクタに分けることはこれらの比較に関して最小の効果を有する。
【0038】
最後に、白色バランシングに対し、マクベスのレファレンス・カラーのニュートラル・カラーに関連する利得の平均に基づいて、原色の利得が調整される。下記の表は、(製造業者にによって計測された)特定のカメラのための異なる色温度光源に対するこれらのニュートラル・カラーの白色バランシングされた利得を示した表である。
【0039】
【表1】
【0040】
例えば、図5bに示された得点の結果の場合、利得は3500Kの光の69パーセント、2500Kの光の16パーセント、7500Kの光の4パーセント、8500Kの光の2パーセント、9500Kの光の8パーセントおよび10500Kの光の1パーセントを取ることによって組み合わされる。図5cは、図5aの入力に対する白色世界仮定(white world presumption)の白色バランシングの結果の画像を示した図である。図5dは、好ましい実施例の白色バランシングの結果の画像を示した図である。
【0041】
3.複雑さが少ない好ましい実施例の白色バランシング
第3の好ましい実施例の白色バランシング法は、第1の好ましい実施例および第2の好ましい実施例の白色バランシング法の2つの実施の特徴、すなわち(a)同じ光源の異なる明るさのレベルの下で見かけのカラーを変えさせるCbCr空間の中の輝度情報の不足、(b)2次元のCbCrヒストグラムに関連する必要な処理時間およびメモリ使用料、を変更している。この第3の好ましい実施例の光源の得点法は、先行技術の好ましい実施例の方法を変更した実施例である。
【0042】
第1の変更は、強度の影響をなくするためにカラー空間r=R/Gおよびb=B/Gの中で動作することである。この空間により、異なる強度レベルまたは異なる明るさのレベルの下でRGBの規格化が可能になる。けれども、CbCr空間とは異なって、類似のカラーが十分に定められた幾何学的領域の中に入らない。けれども、rb空間では、図8に示された部分領域r≦2およびb≦2の中のニュートラル・カラーの近傍に入ることが分かる。その結果、プロトタイプ・カラーとレファレンス・カラーとの間の整合が、ニュートラル・カラーの付近を取り込んだこの部分領域に制限される。
【0043】
第2の変更は、2次元のCbCrヒストグラムを用いる代わりに、rおよびbに対応する2つの1次元のヒストグラムを用いることを含むことである。そこで、プロトタイプは1次元のヒストグラムの1次元のガウス型のコンボリューションによって形成されたフィールド関数のピークを横切って分けることにより定めることである。計算の便利のために、部分領域の中のr変数およびb変数を0ないし150のような範囲に尺度を変更する。再び、2つの好ましい実施例は、すなわち(1)実験的に決定されるようにガウス型の標準偏差を用い、(2)標準偏差のシーケンスを用い、そして持続性を決定する。この方式により、実施のための計算時間およびメモリ使用料が大幅に減少する。プロトタイプ・カラーを定めるために、1次元のフィールド関数の中に典型的には2個ないし3個のピークが生ずることに注目されたい。そしてニュートラルの部分領域の中の最も近いレファレンス・カラーと光源との組合わせに対する比較は、(1)少数のレファレンス・カラーと光源との組合わせと部分領域の中のプロトタイプ・カラーとによる2進数の得点を用いる2つの1次元比較(図9参照)、または(2)前記のように進み、そして得点を省略することができる、のいずれかであることができる。実際、カラーは、図8に示されたニュートラルの部分領域の右上の四半分の曲線に沿って入るのが典型的な場合である。
【0044】
4.実際的な好ましい実施例
現実的な照明条件では、カラーは時間と共に少し揺らぐ。このようなカラーの揺らぎに対して安定した応答を得るために、時間的なメンバシップ(membership)が組み立てられる。このことは、どの色温度が時間的に最も長く続くかを見るために、多数のフレームを検査することを含んでいる。図10は、6つのフレームの検査の後で7500Kの色温度を識別するために、時間的なメンバシップの好ましい実施例が用いられた例を示した図である。特に、光源が1つのフレームの中で得点する時、その時にはその時間的得点が増分される。一方、光源が1つのフレームの中で得点するのに失敗した時、その時にはその時間的得点が減分される。光源の得点は5で飽和し、そしてこれらの得点は第1の好ましい実施例の表の中のカラー・チヤンネル利得でもって用いられる混合を決定する。
【0045】
5.自動露出
図2のような好ましい実施例のシステムにおける好ましい実施例の自動露出法は、図1bによるように学習されたニューラル・ネットワーク方式を用いる。露出は、風景の異なる部分からカメラに到達する光の量を指すのに用いられる用語である。過剰に露出された画像は白っぽく褪色して見え、そして露出不足の画像は過剰に暗く見える。フィルムまたはCCDセンサに到達する光の量は、主として2つの因子によって決定される。すなわち、シャッタ速度によって制御される露出時間、および開口部の寸法である。消費者用のディジタル・カメラでは、画像パイプライン・タスクの1つは自動露出(AE(auto−exposure))を有している。このモジュールにより、露出時間および開口部の寸法を自動的な方式で変えることによって正しい量の露出、すなわち正しい量の画像の明るさが得られる。ディジタル・カメラでは、シャッタ速度または露出時間を電気的にまたは機械的に制御することができる。シャッタ速度および開口部の寸法に加えて、ディジタル・カメラにおけるアナログ・フロント・エンド(AFE(analog front end))の利得を用いて、感度を変えて露出の変更に導くことができる。
【0046】
写真術では、絞りという用語は露出を2だけ変える因子を指すのに用いられる。換言すれば、1段階だけ絞りを変えて露出を増すことは光の量を2倍にすることであり、そして1段階だけ絞りを変えて露出を減らすことは光の量を半分にすることである。ビデオ・カメラでは、ユーザによってシャッタ速度は通常は固定され、そして自動露出は主として開口部の寸法を変えることによって達成される。ディジタル・カメラでは、自動露出を達成するためにシャッタ速度と開口部の寸法との両方が変えられる。
【0047】
速度に関する絞りは、露出時間を2倍または半分にすることに翻訳される。これは、露出は露出時間に比例して変化するという事実によっている。ディジタル・カメラは、フィルム・カメラに出てくる速度に関する絞りのよく知られたシーケンス、すなわち
1, 1/2, 1/4, 1/8, 1/15, 1/30, 1/60, 1/125, 1/250, 1/500, 1/1000, 1/2000秒
にエミュレートされる。開口部に関する絞りは、開口部の面積を2倍または半分にすることが必要である。円形の開口部の場合には、これは虹彩の直径を2の平方根倍、すなわち1.4倍だけ開くまたは閉じることに翻訳される。開口部絞りは、レンズの焦点距離の分数を使って、すなわちよく知られているFナンバを使って表される。すなわち
F/1, F/1.4, F/2, F/2.8, F/4, F/5.6, F/8, F/11, F/16, F/22
である。
【0048】
写真術では、特定の量の露出に対するシャッタ速度と開口部の寸法との対を得るために、相互性の原則が用いられる。この原則は、シャッタ速度と開口部の寸法との間に相反関係が存在することを述べている。すなわち、次の式である。
【0049】
【数7】
【0050】
ここで、EVは露出値、TVはシャッタ速度値、およびAVは開口部の寸法値である。例えば、EV=11の等価な露出値は、シャッタ速度(T秒)と開口部の寸法(A)との次のような対、すなわち(1/250−F/2)、(1/60−F/5.6)、および(1/15−F/11)を用いることによって得られる。ここで、EVは2を底とする対数で表される。
【0051】
【数8】
【0052】
AEに関する限り、ディジタル・カメラは3つのモードで動作することができる。すなわち、(a)シャッタ速度と開口部の寸法との両方が自動的に設定されるプログラム・モード。(b)シャッタ速度がユーザによって固定されるシャッタ優先モード。このモードは、通常は、高速で移動する物体を捉えるに用いられる。もしシャッタ速度が移動する物体の速度に十分に整合する程には高く設定されないならば、物体のぼやけた画像が得られる。(c)開口部の寸法がユーザによって固定される開口部寸法優先モード。このモードは、通常は、視野の深度を制御するために用いられる。開口部が小さくなればなる程、風景の深さ方向のますます大きな部分が画像の中で鮮明に写るであろう。例えば、これは風景写真に対して選定されるモードである。開口部の寸法が大きくなればなる程、深さ方向のますます小さな部分が画像の中で鮮明に写るであろう。例えば、肖像写真の場合にこのモードを用いることにより、物体の近傍だけに焦点が鋭く合い、そして背景は焦点がずれてぼやける。
【0053】
露出値は画像の明るさ(BV)と感度(SV)とに関係している、すなわち下記の式のように、露出値は画像の明るさ(BV)と感度(SV)との関数である。
【0054】
【数9】
【0055】
フィルム・カメラの感度はISOナンバに関係している。ディジタル・カメラでは、感度はアナログ・フロント・エンド(AFE)の利得を変えることによって変えられる。感度またはISOを2倍にすることは、信号対雑音比(SNR(signal−to−noise ratio))を約70%だけ低下させる。フィルム・カメラと同様に、適切なSNRを得るために感度は名目値に固定されることが多い。適切な照明がありそして比較的に動きのない物体に対する通常の写真の場合には、可能な最低のISO設定または感度を用いることが勧められる。それは、その結果として、最も鮮明でそして最も明確な画像が得られるからである。感度を増すと画像の粒子の粗さが増すけれども、フラッシュの使用が禁止されている低い照明状態の場合には、それにより高い露出が得られる。
【0056】
AEにおける主な挑戦は、画像の明るさBVを露出値EVに関係させる方法である。換言すれば、(3)式の関数fをどのように定めるかである。カメラによっては、風景の平均の明るさを提供する計測デバイスまたはフォトセル・デバイスが備えられている。そこでは、平均の明るさに基づいて露出値を設定するために、ルック・アップ・テーブルが用いられる。画像の中の異なる部分領域の平均の明るさに基づいて露出値を設定するために、マトリックス法、センタ加重法のような種々の計測法が用いられている。それとは対照的に、自動露出の好ましい実施例ではこのような計測デバイスを用いない。
【0057】
大抵の風景は、全体の明るさが中程度の灰色を生ずる。したがって最も多くの場合には、平均の輝度を用いることもより適切な露出が得られる。けれども、明るい砂浜の風景または雪で覆われた明るい風景のような場合には、平均の明るさは中程度の灰色よりもさらに明るいまたはさらに暗いことがある。このような状況の場合には、中程度の灰色方式は適切な露出レベルには導かない。これは、カメラによっては露出値を手動で1段階または2段階だけ変えることができる露出の補償を許容する理由である。また、明るい領域と暗い領域との両方を共存する風景では、明るい領域と暗い領域との両方の細部が保持される完全な露出レベルを達成することは非常に困難である。再びこのような状況に対しては、露出の補償を用いることが適切である。
【0058】
AEに対する先行技術の大部分は、AEのためのビデオ・カメラおよびそれらの電子ハードウエアに関するものである。例えば、1つの画像が小さな部分画像のマトリックスに分割され、そしてこれらの部分画像の平均の明るさを用いて、レファレンスの明るさ値が組み立てられる。次に、このレファレンスの値が開口部の寸法を調整することによって到達される。シャッタ速度を設定するために、同様の方式が採用される。さらに、明るさを露出に関連づける多くの関係および規則が、実験を通して提供されている。
【0059】
いくつかのディジタル・カメラ製造業者によって採用されているまた別の方式は、異なる照明条件に対して画像のサンプルを通して明るさと露出との関係を学習することである。例えば、ニコン(Nikon)(R)F5カメラの場合には、下記のパタメータ、すなわち画像全体の明るさ、焦点を結んだ領域の明るさ、画像全体のコントラスト、画像の下側部分および上側部分のコントラスト、色温度、焦点の位置、および物体からの距離を露出値に関係づけるために、30,000個のサンプル画像を用いてニューラル・ネットワーク・モジュールを学習した。
【0060】
前記の2つの方式の間で、例示された方式による学習によって、多くの異なる照明条件および多くの異なる種類の写真術を取り込んでいるという事実により、さらに確固とした解決法が得られる。けれども、このような方式は、異なる照明条件の下で捉えられた画像に関する大量のデータベースを入手することが必要である。
【0061】
好ましい実施例の自動露出法は、要求された露出を得るために、すなわちシャッタ速度および/または開口部寸法を変更するために、バック・プロパゲーション・ニューラル・ネットワークを用いることにより例示された方式による学習を採用する。この好ましい実施例の方法は、1つの画像から多数の輝度値を引き出す。次に、適切な露出値を出力として得るために、これらの値は学習されたニューラル・ネットワークに送られる。
【0062】
好ましい実施例の方法は、1つの画像を5つの領域に分割する、すなわち前面の中央領域、上側領域、下側領域、左側領域、および右側領域に分割する(図1cを参照)。この分割を実行することにより、風景写真や肖像写真において異なる領域に異なる強調や異なる加重を行うことが必要であるが、このような異なる種類の写真術に対してAEを適合させることができる。これらの領域に対する平均の輝度、輝度の変動、最小の輝度、および最大の輝度を決定するために、これらの領域のおのおのに対してヒストグラムを用いる。その平均は平均の明るさに対応し、そしてその変動はコントラストに対応する。コントラストは、画像の中の明るさの尖鋭さの尺度である。輝度の時間的な変化のすべてをネットワークの中に取り込むために、同じ空間的情報がそれ以前のいくつかのフレームに対して計算される。したがって、ネットワークの中の入力またはセルの数は全部で20(5つ領域と、1つの領域当たりの4段階の輝度目盛りとの積)である。最小の2乗平均エラーを生成するために、隠された層のネットワーク・セルの数が実験によって決定される。出力セルの数は、このネットワークがそれに対して学習された露出値の変化に応じて変わる。
【0063】
また別の好ましい実施例のAEでは、1つの画像を多くの(例えば、64個の)部分領域にさらに分割し、そしてこれらの部分領域のおのおのの中で4つの入力(平均の輝度、輝度の分散、最小の輝度、および最大の輝度)を計測し、そして学習されたニューラル・ネットワークをAEに対する 256個(1つの部分領域当たりに4個の入力と64個の部分領域との積)の入力と共に用いる。
【0064】
ニューラル・ネットワーク・モジュールに加えて、さらに自動露出の好ましい実施例は、このニューラル・ネットワークによってモデル化されない低レベルの光の状況に対して設計された第2のモジュールを有する。このような状況の下で感度および明るさのレベルを増大するために、この第2のモジュールはアナログ・フロント・エンドの利得を調整する。このようにして、AFE利得がその画像の平均の輝度に対して調整される。
【0065】
6.変更
これらの好ましい実施例は、平均の輝度、輝度の分散、最小の輝度、および最大の輝度の入力に関して訓練されたニューラル・ネットワークによって、カラー空間および自動露出の中で1組のレファレンス・カラーと光源との組み合わせに対してプロトタイプ画像カラーを比較することに基づいて、光源の得点の1つまたはさらに多くの特徴を保持したまま、種々の方法で変更することができる。
【0066】
例えば、r=R/(R+G+B)およびb=B/(R+G+B)によって定義されるr−bカラーのような他のカラー空間を用いることができる。閾値法でもってセクタに分けることを置き換える段階、自動露出輝度計測のために画像を領域に分割する段階は、長方形でない領域(例えば、楔形の領域)を含むことができるであろう。
【0067】
関連する出願
本出願は、2001年6月25日受付のシリアル番号第60/300,627号の暫定出願からの優先権を主張する。2000年8月4日受付のシリアル番号第09/632,543号の出願中特許は、関連する主題を開示している。参照されるこれらの出願は、本出願と同じ譲渡人に譲渡されている。
【0068】
以上の説明に関して更に以下の項を開示する。
(1) (a) 1つの画像から複数のプロトタイプ・カラーを引き出す段階と、
(b) 前記プロトタイプ・カラーの中の第1のプロトタイプ・カラーに対し、1つの光源を選定するために複数の光源の下で前記第1のプロトタイプ・カラーを複数のレファレンス・カラーと比較する段階と、
(c) 段階(a)で引き出された前記プロトタイプ・カラーのおのおのに対し段階(b)を繰り返す段階と、
(d) 前記画像に対するカラー利得を決定するために段階(b)〜段階(c)の前記選定された光源を組み合わせる段階と、
を有する白色バランシングの方法。
(2) 第1項記載の方法において、
(a) 前記プロトタイプ・カラーが2次元のカラー空間の中にある方法。
(3) 第1項記載の方法において、
(a) 第1項の段階(a)のプロトタイプ・カラーを引き出す前記段階が
(i) 前記入力画像のカラーのヒストグラムでもって平滑化カーネルをコンボリュートする段階と、
(ii) 段階(i)の結果の局所的最大を見い出す段階と、
(iii) 複数の平滑化カーネルでもって段階(i)および段階(ii)を繰り返す段階と、
(iv) 段階(i)〜段階(iii)の結果から前記プロトタイプ・カラーを選定する段階と、
を有する方法。
(4) 第3項記載の方法において、
(a) 第3項記載の段階(a)(iv)の前記選定段階が複数の前記平滑化カーネルに対する局所的最大の数を評価する段階を有する方法。
(5) 第1項記載の方法において、
(a) 第1項記載の段階(b)の前記比較段階がカラー空間のセクタの中で前記光源のおのおのの下における前記レファレンス・カラーと前記プロトタイプ・カラーとの間の距離を見い出す段階を有する方法。
(6) 第1項記載の方法において、
(a) 第2の画像に対して第1項記載の段階(a)〜段階(d)を繰り返す段階と、
(b) 前記第2の画像に対する先行する段階(a)の結果でもって前記画像に対する第1項記載の前記段階(d)の前記カラー利得を調整する段階と、
をさらに有する方法。
【0069】
(7) (a) 白色バランシングが(i)入力画像からプロトタイプ・カラーを引き出すために動作し、(ii)前記プロトタイプ・カラーのおのおのに対し複数の光源の下における記憶されたレファレンス・カラーと前記プロトタイプ・カラーとを比較するために動作し、(iii)前記画像に対するカラー・チヤンネル利得を決定するために段階(ii)〜段階(iii)の選定された前記光源を組み合わせるために動作する前記白色バランシングを有する画像パイプライン。
(8) (a) 1つの画像をいくつかの領域に分割する段階と、
(b) 前記領域の各々に対し輝度の平均、輝度の分散、輝度の最小、および輝度の最大を引き出す段階と、
(c) 段階(b)の結果から露出を決定する段階と、
を有する自動露出の方法。
(9) 第8項記載の方法において、
(a) 第1項記載の前記段階(c)の前記決定段階が訓練されたニューラル・ネットワークで行われる方法。
(10) 第8項記載の方法において、
(a) 1つの画像の前記領域が前面の中央の領域と、上側領域と、下側領域と、左側領域と、および右側領域とを有する方法。
(11) (a) 輝度の平均と、輝度の分散と、輝度の最小と、および輝度の最大との入力に対し露出を出力するために訓練されたニューラル・ネットワーク、
を有するカメラ露出制御。
(12) ディジタル・カメラに有用である自動白色バランシングおよび/または自動露出は、種々の色温度の光源の下にあるレファレンス・カラーと画像のカラーとを比較することからカラー・チヤンネル利得を引き出し、および/または訓練されたニューラル・ネットワークでもって、1つの画像の複数の領域の中の輝度の平均、輝度の分散、輝度の最小、および輝度の最大から露出の設定を引き出す。
【図面の簡単な説明】
【図1a】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図1b】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図1c】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図2】カメラ・システムを示した図。
【図3】ヒストグラムおよび好ましい実施例のフィールド関数のピークを示した図。
【図4】好ましい実施例の光源の得点を示した図。
【図5】実験結果を示した図。
【図6】実験結果を示した図。
【図7】実験結果を示した図。
【図8】カラー空間を示した図。
【図9】好ましい実施例の1次元ヒストグラムの比較および得点を示した図。
【図10】好ましい実施例の時間的な得点を示した図。
【発明の属する技術分野】
本発明は電子デバイスに関する。さらに詳細に言えば、本発明はディジタル・カメラおよび白色バランシングおよび/または自動露出の方法および回路に関する。
【0002】
【発明が解決しようとする課題】
ここ数年の間に、ディジタル・カメラの販売が大幅に伸びそして盛んに利用されるようになってきている。10Mに近いディジタル・カメラが2000年に世界的に販売された。この数は2005年までには40Mにまで成長すると期待されている。この成長は、主として画像がすぐに見られてそしてすぐに転送したいという消費者の要望によるものである。
【0003】
図2は、典型的なディジタル・スチル・カメラ(DSC(digital still camera))の、種々の画像処理コンポーネントのブロック線図であり、これらは全体的として画像パイプラインと呼ばれる。カラー・フィルタ・アレイ(CFA(colorfilter array))補間、ガンマ補正、白色バランシング、カラー空間変換およびJPEG/MPEG圧縮/減圧は、重要な画像パイプライン・アルゴリズムのいくつかを構成する。典型的なカラーCCDは、それぞれが赤、緑、または青のいずれかのフィルタで覆われた写真サイトを有する写真サイトの長方形のアレイから成る。通常用いられるベイヤー(Bayer)パターンでは、これらの写真サイトの半分が緑、そして四分の一が赤、そして四分の一が青である。そしてRBGからJPEG/MPEGに用いられるYCbCr(輝度、クロミナンス青、およびクロミナンス赤)へのカラー変換は次の式によって定められる。
【0004】
【数1】
【0005】
したがって、逆の変換は次のようになる。
【0006】
【数2】
【0007】
ここで、8ビットのカラーの場合、R、G、およびBは0−255の範囲内の整数値を有するであろう。そしてそれに対応してCbCr面は離散的であるであろう。
【0008】
画像の中の風景の色は、その画像が撮影される時に風景を照らしている照明が異なると異なって見える。これは、日中の光、白熱灯の光および蛍光灯の光のように異なる光源は、異なるパワー・スペクトル分布を有するという事実によるものである。その結果、物体はその本当の色とは異なる色を有するように見える。この現象によって最も影響を受ける色は白である。したがって、異なる光源の下で白色の物体が白として見えるようにする問題が白色バランシング(white balancing)と呼ばれる。通常は、この問題はCCD/CMOSセンサの3原色、すなわち赤、緑、および青の利得を調整することによって解決される。ユーザがなにも介入することなく白色バランシングを自動的に行う性能は、自動白色バランシング(AWB(automatic white balancing))と呼ばれる。
【0009】
白色バランシングを手動で制御するプロのカメラでは、白色バランシングを行うことは比較的に容易である。このことは、純粋に白色の物体がフレームの全体を占めるように、その物体をズームすることによって行われる。白色バランシング・ボタンを押すことにより、カラー・チヤンネルの利得が調整される。カメラはこの方法でその電子装置をバランスさせ、それにより白として指定された物体が白として見え、そして白として処理される。戸外から室内へ移動するまたは日向から日陰へ移動するように支配的な光源が変わる時にはいつでも、この処理工程を繰り返すことが必要である。カメラによっては手動による白色バランシングは、「室内」、「晴天」、「曇天」などのように予め定められた組の光源の設定を選定することによって行われる。
【0010】
自動白色バランシングに関しては、ハードウエアによる解決法とソフトウエアによる解決法との両方が提案されている。ハードウエアによる解決法は、通常は、風景の平均のカラーを用いて電子回路によりカラー・バイアスをゼロにすることである。ここでの主な仮定は、風景の平均のカラーはニュートラル、すなわち灰色(無色)であるということである。風景の中に支配的で強烈なカラーの物体が含まれていてそのために平均のカラーにバイアスが存在する場合には、この仮定は成立しなく、そして白色バランシング回路は適切に補償を行うことはできない。ディジタル・カメラの中にプログラマブル・プロセッサ用いれば、CCD/CMOSセンサによって捉えられた生の画像データを単に検査することにより、AWBに対しソフトウエアによる解決法を導入することが可能になる。このような解決法の利点は、ソフトウエアのアップグレードおよびソフトウエアの再使用の可能性において柔軟性があることである。
【0011】
自動白色バランシングに対して最も広く用いられている技術は、「灰色世界」の仮定に基づいている。この仮定は、風景の中のカラーの平均はニュートラル、すなわち無色であることを述べている。kr、kgおよびkbがそれぞれ、R、G、およびBのチヤンネルに対するスケール因子または利得であるとする。これらのスケール因子は次のように定められる。
【0012】
【数3】
【0013】
ここで、Ravg、Gavg、およびBavgはそれぞれ、画像の中の平均の赤値、平均の緑値、および平均の青値を示す。
【0014】
よく用いられるまた別の技術は、「白色世界」の仮定に基づいている。この白色世界の仮定は、画像の中の最も明るい点の赤値、緑値、および青値は同じであるべきであることを述べている。この仮定に基づくならば、利得は次のように調整される。
【0015】
【数4】
【0016】
ここで、Rmax、Gmax、およびBmaxはそれぞれ、画像の中の最大の赤値、最大の緑値、および最大の青値を示す。
【0017】
前記の仮定は多くの状況の中で白色バランシングに導くけれども、風景が比較的に大きな背景を含んでいる時、または風景の中に同じカラーを有する大きな物体が含まれている時には、このことはうまくいかない。例えば、広い青空を有している画像または海洋を背景に有する画像はこの分類に入る。
【0018】
したがって何人かの研究者は、風景に関してさらに弱い仮定をすることによる解決法を開発してきた。ハベル(Hubel)ほか名の米国特許第 6,038,339号は相関方式によるカラーを開示している。この方式では、特定の光源の下での色度空間の中の多数のレファレンス・カラーのコンベックス・ハル(convex hull)が捉えられた画像のカラーに対して比較される。1組の光源に対し、捉えられた画像とレファレンス・コンベックス・ハルとを相関させることにより、最も適当である光源が識別される。他の解決法は、ニューラル・ネットワークを用いて画像の色度を原色の利得にマップすることである(フント(Funt)ほか名の論文「カラー恒常性の学習(Learning Color Constancy)」、IS&T Proc.Fourth Color Imaging Conf.58頁−60頁(1996年))、およびカラーの傾向を除去するためにほぼ無色の物体を見付け出すことである(クーパ(Cooper)ほか名の論文「ディジタル・スチル・カメラのための白色バランシングに対する支援としてのカラー区分(ColorSegmentation as an Aid to White Balancing for Digital Still Cameras)」、Proc. SPIE、第4300巻、99.16141(2001年))。
【0019】
色温度はケルビン(K)で計測される。色温度は、黒体がケルビンで表された温度にまで加熱される時、その黒体放射体のカラーを指している。このカラーは、指定された温度にある黒体放射のスペクトル分布により変化する。ケルビンの目盛りを用いて、色温度が低くなればなる程その物体の見かけは赤っぽくなり、そして色温度が高くなればなる程その物体の見かけは青っぽくなる。例えば、太陽光は約5500Kの色温度を有し、そして100ワットの白熱灯は2800Kの色温度を有する。人間の目は色温度に対して自動的に調整を行う。換言すれば、1つの物体を異なる光源の下で見た時でも、目で見たその物体のカラーは同じであるように認知する。ディジタル・カメラを通して物体を見た時には、このことは当てはまらない。画像を照射している光源が異なれば、物体のカラーは異なって見える。ディジタル・カメラにおける見かけのカラーに関する限り、観察者は画像のより飽和したカラーまたはより強いカラーを優先して見ることが研究により示されている。例えば、観察者は皮膚の色調は実際よりもより健康的に見る傾向があり、草は実際よりもより緑に見る傾向があり、そして青空は実際よりも青く見る傾向がある。
【0020】
捉えられたカラーのスペクトル分布は光源(発光体)のスペクトル・パワー分布と風景のスペクトル反射率との積である。そして光源のスペクトル分布が変われば、この積の値も変わる。実際、表面の反射率S(λ)と光源のスペクトル分布E(λ)と標準的な観察者またはセンサの3原色のスペクトル感度r(λ)、g(λ)、およびb(λ)が与えられるならば、その場合には、捉えられたカラーの赤スペクトル成分R、緑スペクトル成分G、および青スペクトル成分Bは次の式のように表すことができる。
【0021】
【数5】
【0022】
もちろんカラー・フィルタ・アレイ(CFA(color filter array))を備えたCCDでは、写真サイトのおのおのは3つのR、G、またはBの中の1つだけを捉え、そして他の2つは近傍の写真サイトから補間法により得られる。
【0023】
ディジタル・スチル・カメラにおける自動露出(図2の自動露出)は、典型的には輝度レベルを評価し、そして露出(時間および/または開口部の寸法)を調整する。ニコンF5カメラのようなまた別の方式では、次の画像パラメータ、すなわち画像全体の明るさ、焦点を結んでいる領域の明るさ、画像の下側部分および上側部分のコントラスト、色温度、焦点の位置、および物体からの距離のパラメータ値に露出値を関係づけるために、30,000個の画像に関してニューラル・ネットワークを学習させる。
【0024】
【課題を解決するための手段】
本発明により、種々の色温度の光源の下での1組のレファレンス・カラーと画像カラーのプロトタイプとを比較する白色バランシングを有し、および自動白色バランシングと一緒にニューラル・ネットワークを用いる自動露出を有する、自動白色バランシングおよび/または自動露出のためのカメラ・システムおよび方法が得られる。
【0025】
これは、捉えられた画像のみを利用するという利点を有する。
【0026】
添付図面は明確さに対して実践的である。
【0027】
【発明の実施の形態】
1.概観
好ましい実施例のディジタル・カメラ・システムは、種々の色温度の照明においてレファレンス・カラーと画像のプロトタイプ・カラーとを比較することから、カラー・チヤンネル利得を引き出す好ましい実施例の自動白色バランシング法を有している。図1aは、好ましい第1の実施例の自動白色バランシング法の流れ図を示した図である。この方法は画像から少数(例えば、5−20個)のプロトタイプ・カラーを引き出し、そしてこれらのプロトタイプ・カラーを少数組(例えば、240組)のレファレンス・カラーと光源との組合わせと比較する。プロトタイプ・カラーとの比較において最良であるレファレンス・カラーと光源との組合わせは画像に対する光源の推定される混合を決定し、その結果として赤の利得と緑の利得と青の利得とを決定する。
【0028】
他の好ましい実施例のディジタル・カメラ・システムは、好ましい実施例の自動的な露出法(自動露出法)を有している。この好ましい実施例の自動露出法は、画像の中の部分領域の照度平均、照度分散、照度最小、および照度最大を含む画像パラメータから露出の設定を引き出す。これらの好ましい実施例は、照度パラメータから露出の設定を引き出すために学習されたニューラル・ネットワークを用いる。図1bを参照されたい。
【0029】
さらに好ましい実施例は、好ましい実施例の自動白色バランシングと好ましい実施例の自動露出との両方を有する。
【0030】
図2は、好ましい実施例の自動白色バランシング法およびまた好ましい実施例の自動露出法を取り込むことができるシステム(カメラ)を機能ブロックの形式で示した図である。ディジタル信号プロセッサ(DSP(digital signal processor))、または汎用のプログラマブル・プロセッサ、またはアプリケーション特定回路、またはRISCプロセッサ・コントローラを有する同じチップの上のDSPとRISCプロセッサとの両方のような1つのチップの上のシステムで、図2の機能を実行することができる。DSPとRISCプロセッサを有するチップに、CFAカラー補間法およびJPEGエンコーディングのようなさらに特殊化された促進器を付加することができるであろう。画像パイプライン処理の前または後のいずれかに、捉えられた画像をメモリの中に記憶することができる。画像パイプラインの機能は、オン・ボードまたは外部のROM、フラッシュEEPROM、またはDPSまたはプログラマブル・プロセッサのための強誘電体RAMの中に記憶されたプログラムであることができる。
【0031】
2.第1の好ましい実施例の白色バランシング
第1の好ましい実施例の白色バランシング法は3つの段階を有する。すなわち(1)多数のレファレンス・カラーを定める段階、(2)検査される画像から1組のプロトタイプ・カラーまたは代表的カラーを得る段階、(3)レファレンス・カラーとプロトタイプ・カラーとの間のカラー整合手続きを実行する段階である。
【0032】
(1)第1の部分では、1組の色温度に対応する多数(例えば、10個)のレファレンス光源のスペクトル分布と一緒にマクベス(Macbeth)のレファレンス・カラー・チャート(24色)と関連するスペクトル分布を用いて、CbCr空間の中の多数のレファレンス・カラー点(例えば、240カラー点)が得られる。マクベスのカラーは、ニュートラル(黒、灰色、および白)を含む小さな組のレファレンス・カラーでもって通常出会うカラーを要約することを試みている。
【0033】
(2)この方法の第2の部分は、検査する画像に対し多数の代表するカラー(プロトタイプ・カラー)を確立することを含んでいる。このことは、ケータナバズ(Kehtarnavaz)ほかによって開発されたマルチスケール・クラスタリング法の簡単化された方式を用いることによって行われる。この方法では、CbCr空間の中の画像のカラーの2次元のカラー・ヒストグラムを用いて、ガウス型カーネル(Gaussian kernel)でもってこのヒストグラムをコンボルブ(convolve)することによってポテンシャル・フィールド関数が組み立てられる。離散的であるCbCr空間(典型的な8ビットのメモリによる256×256の矩形マトリックスの部分組)はCbCrの中に〜1M画像点の2次元のヒストグラムに導くことに注目されたい。そこで、ポテンシャル・フィールド関数の局所的な最大を用いて、画像を表す突出したカラーまたはプロトタイプ・カラーを定める。図3は、「+」で標識されたピークを有するサンプル画像の2次元のヒストグラムを示した図である。図3におけるようなCbCr空間の中心から画像カラーが分岐するのが普通である。CbCr空間の中心はニュートラル(黒、灰色、および白)に対応する。1つの画像に対して見い出されるプロトタイプ・カラーの総数は、典型的には5−20個の範囲内あり、普通は8−12個である。このように、240個のレファレンス・カラーと比較されるべき8−12個のプロトタイプ・カラーが存在するであろう。
【0034】
さらに詳細に言えば、マルチ・スケール・クラスタ法は次のように進行する。増大した寸法(標準偏差)を有する一連のガウス型カーネルでもってCbCr空間の画像カラーのヒストグラムをコンボルブする。すなわち、カーネルは
【数6】
である。ここで
【外1】
はCbCr空間の中の2次元のベクトル
【外2】
の長さ、σは標準偏差である。これらのコンボリューション(convolution)は、σが増大する時に次第に滑らかになる一連のフィールド関数を生成する。このガウス型カーネルとその結果得られるフィールド関数は、2次元の連続変数の関数であると考えられ、そしてこのコンボリューションに対して、ヒストグラムは2次元の変数の点(n,m)に配置されるスケールド(scaled)デルタ関数の和として配列される。ここで、mおよびnは整数であり、そして0≦m≦255および0≦n≦255である。フィールド関数の局所的な最大(もし負の符号が含まれているならば最小)の数はカーネルの寸法が増大すると共に減少し、そしてカーネルの寸法が増大する時に最長を持続する局所的な最大の数がプロトタイプ・カラーの数として採用され、そしてプロトタイプ・カラーはこれらの局所的な最大に対応するCbCr空間の中の点である。規格化された標準偏差の範囲はσ=0.001、0.002、…、0.04、0.045、0.05、0.055、0.06、…、1.0のようであることができる。ここで1.0は255番目のbinに対応する。
【0035】
経験的には、5binのガウス型カーネルの寸法(標準偏差)は持続する数の局所的最大を生ずるのが通常であり、したがって単純化された第2の好ましい実施例は、第1の好ましい実施例のマルチ・スケール・クラスタリング法をガウス型カーネルの単一のコンボリューションによって置き換える。そこで、この単一のフィールド関数の局所的最大はプロトタイプ・カラーとして用いられる。
【0036】
(3)CbCrカラー空間の中の画像のカラーの位置は、2つの原因によって支配される。すなわち、(a)その色相(例えば、反射率S(λ))、および(b)そのカラーを観察する際の光源のスペクトル分布(例えば、E(λ))によるそのシフト、により支配される。プロトタイプ・カラーをレファレンス・カラーと比較する時、(a)と(b)とを切り離すために、カラー空間が多くのセクタに分割される。それぞれのセクタの中のカラー点は類似した見かけのカラーを表している。セクタを組み立てるのに2つの方式を採用することができる。すなわち、1つの方式は固定された数のセクタを組み立てることであり、そして他のもう1つの方式はプロトタイプの数に応じて変化することができる数のセクタを組み立てることである。8個のような固定された数のセクタを用いることがさらに簡単である。
【0037】
セクタのおのおのの中で、プロトタイプ・カラーはそのセクタの中の(光源の組の中の1つの光源明の下において)レファレンス・カラーの全部と比較される。このことは、プロトタイプ・カラーとレファレンス・カラーの色相の近さを計算することによって行われる。例えば図4に示されているように、このことは、プロトタイプ・カラー・ベクトルとレファレンス・カラー・ベクトルとの間の積を計算することを意味する。ここで、これらのベクトルは、CbCr空間の中心(ニュートラル・カラーに対応する)から出発している。この比較の軌跡を保つために、考察している光源(色温度)のおのおのに対してまずゼロの得点が与えられる。次に、プロトタイプの比較の中で最も近いレファレンス・カラーまたは勝ったレファレンス・カラーに関連する光源の得点が1だけ増される。この工程が、そのセクタの中のプロトタイプのおのおのに対して繰り返される。すべてのセクタを検査した後、これらの光源の最終の得点が比較される。プロトタイプ・ベクトルがレファレンス・カラーを有しないセクタの中にある時、その時には最も近いレファレンスは存在しなく、そしてこのプロトタイプによる得点の増大はない。図5bは、白熱灯による照明を有する図5aに示された画像に対する光源の得点を示すバー・チャート(bar chart)の図である。図5bから分かるように、3500Kの色温度が期待されるような最高の得点を生成する。太陽光および曇天光に対するまた別の例が、図6および図7にそれぞれ示されている。セクタに分けることが比較の数を少なくすることに注目されたい。そしてまた、プロトタイプ・カラーを含むセクタの中にレファレンス・カラーが存在しない時、プロトタイプ・カラーに対して最も近いレファレンス・カラーを見つけることを排除することに注目されたい。そうでない場合には、セクタに分けることはこれらの比較に関して最小の効果を有する。
【0038】
最後に、白色バランシングに対し、マクベスのレファレンス・カラーのニュートラル・カラーに関連する利得の平均に基づいて、原色の利得が調整される。下記の表は、(製造業者にによって計測された)特定のカメラのための異なる色温度光源に対するこれらのニュートラル・カラーの白色バランシングされた利得を示した表である。
【0039】
【表1】
【0040】
例えば、図5bに示された得点の結果の場合、利得は3500Kの光の69パーセント、2500Kの光の16パーセント、7500Kの光の4パーセント、8500Kの光の2パーセント、9500Kの光の8パーセントおよび10500Kの光の1パーセントを取ることによって組み合わされる。図5cは、図5aの入力に対する白色世界仮定(white world presumption)の白色バランシングの結果の画像を示した図である。図5dは、好ましい実施例の白色バランシングの結果の画像を示した図である。
【0041】
3.複雑さが少ない好ましい実施例の白色バランシング
第3の好ましい実施例の白色バランシング法は、第1の好ましい実施例および第2の好ましい実施例の白色バランシング法の2つの実施の特徴、すなわち(a)同じ光源の異なる明るさのレベルの下で見かけのカラーを変えさせるCbCr空間の中の輝度情報の不足、(b)2次元のCbCrヒストグラムに関連する必要な処理時間およびメモリ使用料、を変更している。この第3の好ましい実施例の光源の得点法は、先行技術の好ましい実施例の方法を変更した実施例である。
【0042】
第1の変更は、強度の影響をなくするためにカラー空間r=R/Gおよびb=B/Gの中で動作することである。この空間により、異なる強度レベルまたは異なる明るさのレベルの下でRGBの規格化が可能になる。けれども、CbCr空間とは異なって、類似のカラーが十分に定められた幾何学的領域の中に入らない。けれども、rb空間では、図8に示された部分領域r≦2およびb≦2の中のニュートラル・カラーの近傍に入ることが分かる。その結果、プロトタイプ・カラーとレファレンス・カラーとの間の整合が、ニュートラル・カラーの付近を取り込んだこの部分領域に制限される。
【0043】
第2の変更は、2次元のCbCrヒストグラムを用いる代わりに、rおよびbに対応する2つの1次元のヒストグラムを用いることを含むことである。そこで、プロトタイプは1次元のヒストグラムの1次元のガウス型のコンボリューションによって形成されたフィールド関数のピークを横切って分けることにより定めることである。計算の便利のために、部分領域の中のr変数およびb変数を0ないし150のような範囲に尺度を変更する。再び、2つの好ましい実施例は、すなわち(1)実験的に決定されるようにガウス型の標準偏差を用い、(2)標準偏差のシーケンスを用い、そして持続性を決定する。この方式により、実施のための計算時間およびメモリ使用料が大幅に減少する。プロトタイプ・カラーを定めるために、1次元のフィールド関数の中に典型的には2個ないし3個のピークが生ずることに注目されたい。そしてニュートラルの部分領域の中の最も近いレファレンス・カラーと光源との組合わせに対する比較は、(1)少数のレファレンス・カラーと光源との組合わせと部分領域の中のプロトタイプ・カラーとによる2進数の得点を用いる2つの1次元比較(図9参照)、または(2)前記のように進み、そして得点を省略することができる、のいずれかであることができる。実際、カラーは、図8に示されたニュートラルの部分領域の右上の四半分の曲線に沿って入るのが典型的な場合である。
【0044】
4.実際的な好ましい実施例
現実的な照明条件では、カラーは時間と共に少し揺らぐ。このようなカラーの揺らぎに対して安定した応答を得るために、時間的なメンバシップ(membership)が組み立てられる。このことは、どの色温度が時間的に最も長く続くかを見るために、多数のフレームを検査することを含んでいる。図10は、6つのフレームの検査の後で7500Kの色温度を識別するために、時間的なメンバシップの好ましい実施例が用いられた例を示した図である。特に、光源が1つのフレームの中で得点する時、その時にはその時間的得点が増分される。一方、光源が1つのフレームの中で得点するのに失敗した時、その時にはその時間的得点が減分される。光源の得点は5で飽和し、そしてこれらの得点は第1の好ましい実施例の表の中のカラー・チヤンネル利得でもって用いられる混合を決定する。
【0045】
5.自動露出
図2のような好ましい実施例のシステムにおける好ましい実施例の自動露出法は、図1bによるように学習されたニューラル・ネットワーク方式を用いる。露出は、風景の異なる部分からカメラに到達する光の量を指すのに用いられる用語である。過剰に露出された画像は白っぽく褪色して見え、そして露出不足の画像は過剰に暗く見える。フィルムまたはCCDセンサに到達する光の量は、主として2つの因子によって決定される。すなわち、シャッタ速度によって制御される露出時間、および開口部の寸法である。消費者用のディジタル・カメラでは、画像パイプライン・タスクの1つは自動露出(AE(auto−exposure))を有している。このモジュールにより、露出時間および開口部の寸法を自動的な方式で変えることによって正しい量の露出、すなわち正しい量の画像の明るさが得られる。ディジタル・カメラでは、シャッタ速度または露出時間を電気的にまたは機械的に制御することができる。シャッタ速度および開口部の寸法に加えて、ディジタル・カメラにおけるアナログ・フロント・エンド(AFE(analog front end))の利得を用いて、感度を変えて露出の変更に導くことができる。
【0046】
写真術では、絞りという用語は露出を2だけ変える因子を指すのに用いられる。換言すれば、1段階だけ絞りを変えて露出を増すことは光の量を2倍にすることであり、そして1段階だけ絞りを変えて露出を減らすことは光の量を半分にすることである。ビデオ・カメラでは、ユーザによってシャッタ速度は通常は固定され、そして自動露出は主として開口部の寸法を変えることによって達成される。ディジタル・カメラでは、自動露出を達成するためにシャッタ速度と開口部の寸法との両方が変えられる。
【0047】
速度に関する絞りは、露出時間を2倍または半分にすることに翻訳される。これは、露出は露出時間に比例して変化するという事実によっている。ディジタル・カメラは、フィルム・カメラに出てくる速度に関する絞りのよく知られたシーケンス、すなわち
1, 1/2, 1/4, 1/8, 1/15, 1/30, 1/60, 1/125, 1/250, 1/500, 1/1000, 1/2000秒
にエミュレートされる。開口部に関する絞りは、開口部の面積を2倍または半分にすることが必要である。円形の開口部の場合には、これは虹彩の直径を2の平方根倍、すなわち1.4倍だけ開くまたは閉じることに翻訳される。開口部絞りは、レンズの焦点距離の分数を使って、すなわちよく知られているFナンバを使って表される。すなわち
F/1, F/1.4, F/2, F/2.8, F/4, F/5.6, F/8, F/11, F/16, F/22
である。
【0048】
写真術では、特定の量の露出に対するシャッタ速度と開口部の寸法との対を得るために、相互性の原則が用いられる。この原則は、シャッタ速度と開口部の寸法との間に相反関係が存在することを述べている。すなわち、次の式である。
【0049】
【数7】
【0050】
ここで、EVは露出値、TVはシャッタ速度値、およびAVは開口部の寸法値である。例えば、EV=11の等価な露出値は、シャッタ速度(T秒)と開口部の寸法(A)との次のような対、すなわち(1/250−F/2)、(1/60−F/5.6)、および(1/15−F/11)を用いることによって得られる。ここで、EVは2を底とする対数で表される。
【0051】
【数8】
【0052】
AEに関する限り、ディジタル・カメラは3つのモードで動作することができる。すなわち、(a)シャッタ速度と開口部の寸法との両方が自動的に設定されるプログラム・モード。(b)シャッタ速度がユーザによって固定されるシャッタ優先モード。このモードは、通常は、高速で移動する物体を捉えるに用いられる。もしシャッタ速度が移動する物体の速度に十分に整合する程には高く設定されないならば、物体のぼやけた画像が得られる。(c)開口部の寸法がユーザによって固定される開口部寸法優先モード。このモードは、通常は、視野の深度を制御するために用いられる。開口部が小さくなればなる程、風景の深さ方向のますます大きな部分が画像の中で鮮明に写るであろう。例えば、これは風景写真に対して選定されるモードである。開口部の寸法が大きくなればなる程、深さ方向のますます小さな部分が画像の中で鮮明に写るであろう。例えば、肖像写真の場合にこのモードを用いることにより、物体の近傍だけに焦点が鋭く合い、そして背景は焦点がずれてぼやける。
【0053】
露出値は画像の明るさ(BV)と感度(SV)とに関係している、すなわち下記の式のように、露出値は画像の明るさ(BV)と感度(SV)との関数である。
【0054】
【数9】
【0055】
フィルム・カメラの感度はISOナンバに関係している。ディジタル・カメラでは、感度はアナログ・フロント・エンド(AFE)の利得を変えることによって変えられる。感度またはISOを2倍にすることは、信号対雑音比(SNR(signal−to−noise ratio))を約70%だけ低下させる。フィルム・カメラと同様に、適切なSNRを得るために感度は名目値に固定されることが多い。適切な照明がありそして比較的に動きのない物体に対する通常の写真の場合には、可能な最低のISO設定または感度を用いることが勧められる。それは、その結果として、最も鮮明でそして最も明確な画像が得られるからである。感度を増すと画像の粒子の粗さが増すけれども、フラッシュの使用が禁止されている低い照明状態の場合には、それにより高い露出が得られる。
【0056】
AEにおける主な挑戦は、画像の明るさBVを露出値EVに関係させる方法である。換言すれば、(3)式の関数fをどのように定めるかである。カメラによっては、風景の平均の明るさを提供する計測デバイスまたはフォトセル・デバイスが備えられている。そこでは、平均の明るさに基づいて露出値を設定するために、ルック・アップ・テーブルが用いられる。画像の中の異なる部分領域の平均の明るさに基づいて露出値を設定するために、マトリックス法、センタ加重法のような種々の計測法が用いられている。それとは対照的に、自動露出の好ましい実施例ではこのような計測デバイスを用いない。
【0057】
大抵の風景は、全体の明るさが中程度の灰色を生ずる。したがって最も多くの場合には、平均の輝度を用いることもより適切な露出が得られる。けれども、明るい砂浜の風景または雪で覆われた明るい風景のような場合には、平均の明るさは中程度の灰色よりもさらに明るいまたはさらに暗いことがある。このような状況の場合には、中程度の灰色方式は適切な露出レベルには導かない。これは、カメラによっては露出値を手動で1段階または2段階だけ変えることができる露出の補償を許容する理由である。また、明るい領域と暗い領域との両方を共存する風景では、明るい領域と暗い領域との両方の細部が保持される完全な露出レベルを達成することは非常に困難である。再びこのような状況に対しては、露出の補償を用いることが適切である。
【0058】
AEに対する先行技術の大部分は、AEのためのビデオ・カメラおよびそれらの電子ハードウエアに関するものである。例えば、1つの画像が小さな部分画像のマトリックスに分割され、そしてこれらの部分画像の平均の明るさを用いて、レファレンスの明るさ値が組み立てられる。次に、このレファレンスの値が開口部の寸法を調整することによって到達される。シャッタ速度を設定するために、同様の方式が採用される。さらに、明るさを露出に関連づける多くの関係および規則が、実験を通して提供されている。
【0059】
いくつかのディジタル・カメラ製造業者によって採用されているまた別の方式は、異なる照明条件に対して画像のサンプルを通して明るさと露出との関係を学習することである。例えば、ニコン(Nikon)(R)F5カメラの場合には、下記のパタメータ、すなわち画像全体の明るさ、焦点を結んだ領域の明るさ、画像全体のコントラスト、画像の下側部分および上側部分のコントラスト、色温度、焦点の位置、および物体からの距離を露出値に関係づけるために、30,000個のサンプル画像を用いてニューラル・ネットワーク・モジュールを学習した。
【0060】
前記の2つの方式の間で、例示された方式による学習によって、多くの異なる照明条件および多くの異なる種類の写真術を取り込んでいるという事実により、さらに確固とした解決法が得られる。けれども、このような方式は、異なる照明条件の下で捉えられた画像に関する大量のデータベースを入手することが必要である。
【0061】
好ましい実施例の自動露出法は、要求された露出を得るために、すなわちシャッタ速度および/または開口部寸法を変更するために、バック・プロパゲーション・ニューラル・ネットワークを用いることにより例示された方式による学習を採用する。この好ましい実施例の方法は、1つの画像から多数の輝度値を引き出す。次に、適切な露出値を出力として得るために、これらの値は学習されたニューラル・ネットワークに送られる。
【0062】
好ましい実施例の方法は、1つの画像を5つの領域に分割する、すなわち前面の中央領域、上側領域、下側領域、左側領域、および右側領域に分割する(図1cを参照)。この分割を実行することにより、風景写真や肖像写真において異なる領域に異なる強調や異なる加重を行うことが必要であるが、このような異なる種類の写真術に対してAEを適合させることができる。これらの領域に対する平均の輝度、輝度の変動、最小の輝度、および最大の輝度を決定するために、これらの領域のおのおのに対してヒストグラムを用いる。その平均は平均の明るさに対応し、そしてその変動はコントラストに対応する。コントラストは、画像の中の明るさの尖鋭さの尺度である。輝度の時間的な変化のすべてをネットワークの中に取り込むために、同じ空間的情報がそれ以前のいくつかのフレームに対して計算される。したがって、ネットワークの中の入力またはセルの数は全部で20(5つ領域と、1つの領域当たりの4段階の輝度目盛りとの積)である。最小の2乗平均エラーを生成するために、隠された層のネットワーク・セルの数が実験によって決定される。出力セルの数は、このネットワークがそれに対して学習された露出値の変化に応じて変わる。
【0063】
また別の好ましい実施例のAEでは、1つの画像を多くの(例えば、64個の)部分領域にさらに分割し、そしてこれらの部分領域のおのおのの中で4つの入力(平均の輝度、輝度の分散、最小の輝度、および最大の輝度)を計測し、そして学習されたニューラル・ネットワークをAEに対する 256個(1つの部分領域当たりに4個の入力と64個の部分領域との積)の入力と共に用いる。
【0064】
ニューラル・ネットワーク・モジュールに加えて、さらに自動露出の好ましい実施例は、このニューラル・ネットワークによってモデル化されない低レベルの光の状況に対して設計された第2のモジュールを有する。このような状況の下で感度および明るさのレベルを増大するために、この第2のモジュールはアナログ・フロント・エンドの利得を調整する。このようにして、AFE利得がその画像の平均の輝度に対して調整される。
【0065】
6.変更
これらの好ましい実施例は、平均の輝度、輝度の分散、最小の輝度、および最大の輝度の入力に関して訓練されたニューラル・ネットワークによって、カラー空間および自動露出の中で1組のレファレンス・カラーと光源との組み合わせに対してプロトタイプ画像カラーを比較することに基づいて、光源の得点の1つまたはさらに多くの特徴を保持したまま、種々の方法で変更することができる。
【0066】
例えば、r=R/(R+G+B)およびb=B/(R+G+B)によって定義されるr−bカラーのような他のカラー空間を用いることができる。閾値法でもってセクタに分けることを置き換える段階、自動露出輝度計測のために画像を領域に分割する段階は、長方形でない領域(例えば、楔形の領域)を含むことができるであろう。
【0067】
関連する出願
本出願は、2001年6月25日受付のシリアル番号第60/300,627号の暫定出願からの優先権を主張する。2000年8月4日受付のシリアル番号第09/632,543号の出願中特許は、関連する主題を開示している。参照されるこれらの出願は、本出願と同じ譲渡人に譲渡されている。
【0068】
以上の説明に関して更に以下の項を開示する。
(1) (a) 1つの画像から複数のプロトタイプ・カラーを引き出す段階と、
(b) 前記プロトタイプ・カラーの中の第1のプロトタイプ・カラーに対し、1つの光源を選定するために複数の光源の下で前記第1のプロトタイプ・カラーを複数のレファレンス・カラーと比較する段階と、
(c) 段階(a)で引き出された前記プロトタイプ・カラーのおのおのに対し段階(b)を繰り返す段階と、
(d) 前記画像に対するカラー利得を決定するために段階(b)〜段階(c)の前記選定された光源を組み合わせる段階と、
を有する白色バランシングの方法。
(2) 第1項記載の方法において、
(a) 前記プロトタイプ・カラーが2次元のカラー空間の中にある方法。
(3) 第1項記載の方法において、
(a) 第1項の段階(a)のプロトタイプ・カラーを引き出す前記段階が
(i) 前記入力画像のカラーのヒストグラムでもって平滑化カーネルをコンボリュートする段階と、
(ii) 段階(i)の結果の局所的最大を見い出す段階と、
(iii) 複数の平滑化カーネルでもって段階(i)および段階(ii)を繰り返す段階と、
(iv) 段階(i)〜段階(iii)の結果から前記プロトタイプ・カラーを選定する段階と、
を有する方法。
(4) 第3項記載の方法において、
(a) 第3項記載の段階(a)(iv)の前記選定段階が複数の前記平滑化カーネルに対する局所的最大の数を評価する段階を有する方法。
(5) 第1項記載の方法において、
(a) 第1項記載の段階(b)の前記比較段階がカラー空間のセクタの中で前記光源のおのおのの下における前記レファレンス・カラーと前記プロトタイプ・カラーとの間の距離を見い出す段階を有する方法。
(6) 第1項記載の方法において、
(a) 第2の画像に対して第1項記載の段階(a)〜段階(d)を繰り返す段階と、
(b) 前記第2の画像に対する先行する段階(a)の結果でもって前記画像に対する第1項記載の前記段階(d)の前記カラー利得を調整する段階と、
をさらに有する方法。
【0069】
(7) (a) 白色バランシングが(i)入力画像からプロトタイプ・カラーを引き出すために動作し、(ii)前記プロトタイプ・カラーのおのおのに対し複数の光源の下における記憶されたレファレンス・カラーと前記プロトタイプ・カラーとを比較するために動作し、(iii)前記画像に対するカラー・チヤンネル利得を決定するために段階(ii)〜段階(iii)の選定された前記光源を組み合わせるために動作する前記白色バランシングを有する画像パイプライン。
(8) (a) 1つの画像をいくつかの領域に分割する段階と、
(b) 前記領域の各々に対し輝度の平均、輝度の分散、輝度の最小、および輝度の最大を引き出す段階と、
(c) 段階(b)の結果から露出を決定する段階と、
を有する自動露出の方法。
(9) 第8項記載の方法において、
(a) 第1項記載の前記段階(c)の前記決定段階が訓練されたニューラル・ネットワークで行われる方法。
(10) 第8項記載の方法において、
(a) 1つの画像の前記領域が前面の中央の領域と、上側領域と、下側領域と、左側領域と、および右側領域とを有する方法。
(11) (a) 輝度の平均と、輝度の分散と、輝度の最小と、および輝度の最大との入力に対し露出を出力するために訓練されたニューラル・ネットワーク、
を有するカメラ露出制御。
(12) ディジタル・カメラに有用である自動白色バランシングおよび/または自動露出は、種々の色温度の光源の下にあるレファレンス・カラーと画像のカラーとを比較することからカラー・チヤンネル利得を引き出し、および/または訓練されたニューラル・ネットワークでもって、1つの画像の複数の領域の中の輝度の平均、輝度の分散、輝度の最小、および輝度の最大から露出の設定を引き出す。
【図面の簡単な説明】
【図1a】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図1b】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図1c】好ましい実施例の自動白色バランシング法および自動露出法に対する流れ図および画像の分割を示した図。
【図2】カメラ・システムを示した図。
【図3】ヒストグラムおよび好ましい実施例のフィールド関数のピークを示した図。
【図4】好ましい実施例の光源の得点を示した図。
【図5】実験結果を示した図。
【図6】実験結果を示した図。
【図7】実験結果を示した図。
【図8】カラー空間を示した図。
【図9】好ましい実施例の1次元ヒストグラムの比較および得点を示した図。
【図10】好ましい実施例の時間的な得点を示した図。
Claims (1)
- (a) 1つの画像から複数のプロトタイプ・カラーを引き出す段階と、
(b) 前記プロトタイプ・カラーの中の第1のプロトタイプ・カラーに対し、1つの光源を選定するために複数の光源の下で前記第1のプロトタイプ・カラーを複数のレファレンス・カラーと比較する段階と、
(c) 段階(a)で引き出された前記プロトタイプ・カラーのおのおのに対し段階(b)を繰り返す段階と、
(d) 前記画像に対するカラー利得を決定するために段階(b)〜段階(c)の前記選定された光源を組み合わせる段階と、
を有する白色バランシングの方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/179,870 US7576797B2 (en) | 2001-06-25 | 2002-06-25 | Automatic white balancing via illuminant scoring autoexposure by neural network mapping |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004048740A true JP2004048740A (ja) | 2004-02-12 |
Family
ID=31714128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003179026A Pending JP2004048740A (ja) | 2002-06-25 | 2003-06-24 | ニューラル・ネットワーク・マッピングによる輝度得点自動露出を通しての自動白色バランシング |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004048740A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141732A (ja) * | 2006-11-30 | 2008-06-19 | Samsung Electro Mech Co Ltd | ホワイトバランスの自動調整装置及び自動調整方法 |
CN113168673A (zh) * | 2019-04-22 | 2021-07-23 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
CN114071106A (zh) * | 2020-08-10 | 2022-02-18 | 合肥君正科技有限公司 | 一种低功耗设备冷启动快速白平衡方法 |
-
2003
- 2003-06-24 JP JP2003179026A patent/JP2004048740A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141732A (ja) * | 2006-11-30 | 2008-06-19 | Samsung Electro Mech Co Ltd | ホワイトバランスの自動調整装置及び自動調整方法 |
JP4708406B2 (ja) * | 2006-11-30 | 2011-06-22 | サムソン エレクトロ−メカニックス カンパニーリミテッド. | ホワイトバランスの自動調整装置及び自動調整方法 |
CN113168673A (zh) * | 2019-04-22 | 2021-07-23 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
CN114071106A (zh) * | 2020-08-10 | 2022-02-18 | 合肥君正科技有限公司 | 一种低功耗设备冷启动快速白平衡方法 |
CN114071106B (zh) * | 2020-08-10 | 2023-07-04 | 合肥君正科技有限公司 | 一种低功耗设备冷启动快速白平衡方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7184080B2 (en) | Automatic white balancing via illuminant scoring | |
US7576797B2 (en) | Automatic white balancing via illuminant scoring autoexposure by neural network mapping | |
US9996913B2 (en) | Contrast based image fusion | |
US8107762B2 (en) | Systems, methods, and apparatus for exposure control | |
EP1774797B1 (en) | Automatic white balance method and apparatus | |
Weng et al. | A novel automatic white balance method for digital still cameras | |
JP4063418B2 (ja) | オートホワイトバランス装置 | |
EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
CN109688396B (zh) | 图像的白平衡处理方法、装置和终端设备 | |
US20050018923A1 (en) | Digital image processing method having an exposure correction based on recognition of areas corresponding to the skin of the photographed subject | |
JP6685188B2 (ja) | 撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
JP2008052428A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
WO2012024163A2 (en) | Image capture with identification of illuminant | |
CN113452980B (zh) | 图像处理方法、终端及存储介质 | |
CN110930341A (zh) | 一种基于图像融合的低光照图像增强方法 | |
US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
US7486819B2 (en) | Sampling images for color balance information | |
US11445127B2 (en) | Leveraging HDR sensors for handling mixed illumination auto white balance | |
US20070041064A1 (en) | Image sampling method for automatic white balance | |
Kehtarnavaz et al. | Development and real-time implementation of auto white balancing scoring algorithm | |
JP2004048740A (ja) | ニューラル・ネットワーク・マッピングによる輝度得点自動露出を通しての自動白色バランシング | |
JP2004078652A (ja) | 画像処理装置および画像処理方法 | |
CN114143420B (zh) | 双传感器摄像***及其隐私保护摄像方法 | |
WO2022067761A1 (zh) | 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质 | |
Kehtarnavaz et al. | New approach to auto-white-balancing and auto-exposure for digital still cameras |