JP2014042272A - デジタルカメラデバイスのホワイトバランス較正 - Google Patents
デジタルカメラデバイスのホワイトバランス較正 Download PDFInfo
- Publication number
- JP2014042272A JP2014042272A JP2013197615A JP2013197615A JP2014042272A JP 2014042272 A JP2014042272 A JP 2014042272A JP 2013197615 A JP2013197615 A JP 2013197615A JP 2013197615 A JP2013197615 A JP 2013197615A JP 2014042272 A JP2014042272 A JP 2014042272A
- Authority
- JP
- Japan
- Prior art keywords
- cct
- vector
- average
- low
- total
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】特定のカメラセンサのカメラセンサ応答についての事前知識を必要とせず、ユーザに対して透過的な方法で動作することができるホワイトバランス自動自己較正技術を提供する。
【解決手段】デジタルカメラデバイスにおいて較正手順を実行するための方法は、デジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始することと、カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む較正手順のためのデータを累積することと、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算することと、1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成することとを備える。
【選択図】図2
【解決手段】デジタルカメラデバイスにおいて較正手順を実行するための方法は、デジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始することと、カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む較正手順のためのデータを累積することと、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算することと、1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成することとを備える。
【選択図】図2
Description
本開示は、デジタルカメラデバイスに関し、より詳しくはデジタルカメラデバイスの較正についての技術に関する。
デジタルカメラは、一般に多種多様なデバイスに組み込まれる。本開示では、デジタルカメラデバイスは、静止画像をキャプチャすることができるデバイスおよびビデオを記録するために画像のシーケンスをキャプチャすることができるデバイスを含む、1つまたは複数のデジタル画像をキャプチャすることができる任意のデバイスを指す。例として、デジタルカメラデバイスは独立型デジタルカメラまたはデジタルビデオカムコーダ、携帯電話、セルラー電話または衛星無線電話などのカメラ付き無線(wireless)通信デバイスハンドセット、カメラ付き携帯情報端末(PDA)、いわゆる「ウェブカム」などのカメラを含むコンピュータデバイス、あるいはデジタルイメージング機能またはビデオ機能をもつ任意のデバイスを含み得る。
デジタルカメラデバイスでは、適切なホワイトバランスを達成するために、しばしば較正が必要とされる。ホワイトバランス(カラーバランス、グレーバランスまたはニュートラルバランスと呼ばれることがある)は、中間色が正しく再現されるような、画像または表示における原色(例えば、赤、緑および青)の相対量の調整を指す。ホワイトバランスにより、画像における色の全体的な混合を変更することができる。ホワイトバランスがなければ、キャプチャされた画像の表示は望ましくない色合いを含むことがある。
ホワイトバランスのための多くの較正技術では、光源状態の適切な推定を行うことができるように、カメラセンサ応答についての知識が必要である。この場合、後で較正を実施するために必要な情報を得るために、製造プロセス中にあらゆるカメラセンサを測定する必要があることがある。しかしながら、製造中にあらゆるカメラセンサのカメラセンサ応答を測定する必要があることにより、デジタルカメラデバイスに関連する製造プロセスに著しい時間およびコストが追加される可能性があるので、望ましくない。
本開示では、デジタルカメラデバイスのための自動自己較正技術について説明する。ここで述べる技術は、特定のカメラセンサのカメラセンサ応答についての事前知識を必要とせず、ユーザに対して透過的な(transparent)方法で動作することができる。ユーザがデジタルカメラデバイスを動作させたとき、自己較正のための適切な状態が識別された場合、自動自己較正が開始される。本開示では、自己較正を開始するために使用することができるいくつかのファクタについて説明し、また、効果的な較正を達成するためにデータを累積し(accumulating)、そのようなデータを処理するための技術について説明する。
ここで述べる技術は、シミュレーションにおいて較正のために望ましい結果を示し、デジタルカメラデバイスは、異なるカメラセンサ間のセンサばらつきの量がより多い、より低品質のカメラセンサを使用することが可能になる。この場合、ここで述べる技術はデジタルカメラデバイスを使用するときに、そのようなばらつきを補償し、時間が経つにつれて最終的に適切なホワイトバランスを達成することができる。製造プロセス中にただ1つの(または場合によっては数個の)カメラセンサを測定する必要があることがあり、測定されたセンサ(1つまたは複数)のセンサ応答(1つまたは複数)を他の同様に製造されたカメラセンサのための較正手順において使用することができる。
一態様では、本開示はデジタルカメラデバイスにおいて較正手順を実行するための方法を提供する。本方法は、デジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始することと、カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む較正手順のためのデータを累積することと、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算することと、1つまたは複数のCCTベクトルに基づいてグレー点補正係数(gray point correction factors)を生成することと、を備える。
別の態様では、本開示はデジタルカメラデバイスにおける較正手順のためのデータを記憶するメモリと、較正ユニットとを備える装置を提供する。この較正ユニットは、デジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始し、カメラセンサによってキャプチャされた情報に関連するCCTの1つまたは複数の平均値を含む較正手順のためのデータを累積し、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算し、1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成する。
別の態様では、本開示はデジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始する手段と、カメラセンサによってキャプチャされた情報に関連するCCTの1つまたは複数の平均値を含む較正手順のためのデータを累積する手段と、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算するための手段と、1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成する手段とを備えるデバイスを提供する。
別の態様では、本開示は情報をキャプチャするカメラセンサと、キャプチャされた情報に基づいて較正手順のためのデータを記憶するメモリと、較正ユニットとを備えるデジタルカメラデバイスを提供する。この較正ユニットは、カメラセンサが動作しているときに較正手順を開始し、カメラセンサによってキャプチャされた情報に関連するCCTの1つまたは複数の平均値を含む較正手順のためのデータを累積し、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算し、1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成する。
本開示で説明するこれらおよび他の技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装できる。ソフトウェアで実装される場合、ソフトウェアは汎用マイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他のタイプのプロセッサなどのプロセッサで実行され得る。そのようなソフトウェアは、符号化画像の回転を容易にするために、最初にコンピュータ可読媒体に記憶され、プロセッサでロードおよび実行され得る。コンピュータ可読媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品として販売または配布され得る。
従って、本開示はまた実行時にデジタルカメラデバイスにおいて較正手順をプロセッサに実行させる命令を備えるコンピュータ可読媒体を企図する。特に、この命令はデジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始することと、カメラセンサによってキャプチャされた情報に関連するCCTの1つまたは複数の平均値を含む較正手順のためのデータを累積することと、CCTの1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算することと、1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成することとをプロセッサに行わせる。
添付の図面および以下の説明に、1つまたは複数の態様の詳細を記載する。他の特徴、目的および利点は、説明および図面ならびに特許請求の範囲から明らかになろう。
本開示では、デジタルカメラデバイスのための自動自己較正技術について説明する。ここで述べる技術は、ユーザがデジタルカメラデバイスを動作させたとき、ユーザに対して透過的な方法で実行され得る。本開示によれば、晴または一部晴の状態におけるデジタルカメラデバイスの屋外使用に関連する状態など、自己較正のための適切な状態がデジタルカメラデバイスによって識別された場合、自動自己較正を開始する。本自己較正技術は、デジタルカメラデバイスによって開始された後、相関色温度(CCT)の1つまたは複数の平均値、例えば総平均値、高平均値および低平均値を含むデータを累積する。
次に、本自動自己較正手順は1つまたは複数のCCT平均値に基づいて実光線に対する1つまたは複数のCCTベクトルを計算する。実光線は、少なくとも1つの所定の実色温度測定値と少なくとも2つの所定の模擬色温度測定値とに基づき得る。所定の実色温度測定値(1つまたは複数)および所定の模擬色温度測定値は、事前に計算され、デジタルカメラデバイスに結合されたメモリ中にプログラムされ得る。例えば、所定の色温度測定値は、デジタルカメラデバイスのカメラセンサと同様に製造された基準カメラセンサに関連するカメラセンサ応答測定値を含むことができる。模擬測定は、制御された模擬昼光下で照明チャンバ中において行うことができ、実測定は、正午など特定の時刻に日光下で、場合によっては地上の規定された場所において快晴の状態で行うことができる。ただし、いずれも基準カメラセンサ、すなわち較正されているカメラセンサとは異なるカメラセンサに対して、これらの測定を実施することができる。
デジタルカメラデバイスのカメラセンサと同様に製造された基準カメラセンサに関連するカメラセンサ応答測定値を使用することによって、ここで述べる技術はあらゆる製造されたカメラセンサの応答を測定する必要を回避することができる。代わりに、ここで述べる技術はカメラセンサの製造されたロットのうちの1つまたは複数の例示的な基準カメラセンサの応答を測定し、その製造されたロットからのカメラセンサを含むデバイスのホワイトバランス較正において、その測定値を使用することができる。
CCTベクトルは、グレー点補正係数を生成するために使用され得る。例えば、CCTベクトルを計算した後、CCTベクトルを使用して組み合わせベクトル(combination vector)を計算し、その組み合わせベクトルに基づいてグレー点補正係数を生成することができる。次いで、デジタルカメラデバイスはグレー点補正係数を適用して、デジタルカメラデバイスのグレー点を調整することができる。例えば、グレー点補正係数は赤/緑(R/G)×青/緑(B/G)色空間において定義された組み合わせベクトルのR/GおよびB/G成分を含むことができる。
ここで述べる技術は、反復方式(iteration fashion)で実施され得、反復の各々はデジタルカメラデバイスの次の使用中に定義される。このようにして、グレー点補正係数は自己較正技術のいくつかの反復の後、望ましいレベルに収束され得る。さらに、本技術はデバイスに対して使用とともにデバイスの較正を改善させることができる。特に、デジタルカメラデバイスを使用すればするほど、その較正は向上する。上記のように、ここで述べる技術は各デジタルカメラデバイスに関連するカメラセンサ応答についての事前知識を必要としないので、デジタルカメラデバイスを製造するときにセンサ応答測定を実施する必要がない。ここで述べる技術は、シミュレーションにおいて較正のために望ましい結果を示し、デジタルカメラデバイスは異なるカメラセンサ間のセンサばらつきの量がより多い、より低品質のカメラセンサを使用することが可能になる。この場合、ここで述べる技術では、より低いコストのカメラセンサが使用できるので、デジタルカメラデバイスのコスト削減を図ることができる。ここで述べる技術は、デジタルカメラデバイスを使用するときにカメラセンサばらつきを補償し、時間が経つにつれて最終的に適切なホワイトバランスを達成することができる。
図1は、本開示の技術を実装する例示的なデジタルカメラデバイス2を示すブロック図である。例として、デジタルカメラデバイス2は独立型デジタルカメラ、デジタルビデオカムコーダ、セルラー電話または衛星無線電話などのカメラ付き無線通信デバイスハンドセット、カメラ付き携帯情報端末(PDA)、ウェブカムなどのデジタルカメラを備えたコンピュータデバイス、あるいはイメージング機能またはビデオ機能をもつ任意の他のデバイスを含み得る。本開示の技術は、カメラ付き無線通信デバイスハンドセット中などのカメラセンサに関連するコストを制限することが望ましいデバイスに、特に適用可能である。この場合、ここで述べる技術により、そのようなデジタルカメラデバイスは異なるカメラセンサ間のセンサばらつきの量がより多い、より低品質のカメラセンサを使用することができ、デバイスを製造するときにあらゆるカメラセンサの応答を測定する必要がなくなる。
図1の例では、デバイス2は情報をキャプチャするカメラセンサ10を備える。キャプチャされた情報は、1つまたは複数の静止画写真またはビデオシーケンスの画像フレームを定義するために使用され得るカメラセンサ10の出力を備えることができる。ただし、ここで述べる較正技術はキャプチャされた情報が記録された画像または記録されたビデオとして提示されないビューファインダモード中に動作することができる。キャプチャされた情報は、ユーザの知識なしに較正手順において使用され得る。ここで述べる技術は、カメラセンサ10が動作しているときはいつでも、例えばカメラセンサ10によって情報がキャプチャされているときはいつでも、実行され得る。
キャプチャされた情報は、専用バス13を介してカメラセンサ10から処理ユニット12に送信される。処理ユニット12は、イメージング「フロントエンド」と呼ばれ得、様々な画像処理機能を実行する1つのユニット、または場合によっては複数のユニットのパイプラインを備えることができる。処理ユニット12によって実行される機能は、スケーリング、ホワイトバランス、クロッピング、デモザイク、信号ノイズ低減、シャープニング、または他のフロントエンド画像データ処理を含むことができる。本明細書で説明する較正手順の後、較正ユニット14は処理ユニット12がグレー点補正係数を適用してホワイトバランスを制御するためにデジタルカメラデバイス2によって使用されるグレー点を調整することができるように、処理ユニット12にグレー点補正係数を与えることができる。
カメラセンサ10は、例えば行と列に配列された個々の画素センサエレメントの2次元アレイを含むことができる。いくつかの態様では、カメラセンサ10のエレメントの各々は単一の画素に関連することができる。他の方法として、各画素に関連する2つ以上の画素エレメントが存在してもよく、例えば各画素をカメラセンサ10の赤(R)、緑(G)および青(B)の画素エレメントのセットによって定義することができる。カメラセンサ10は、例えば相補型金属酸化膜半導体(CMOS)エレメント、電荷結合デバイス(CCD)エレメント、またはデジタルカメラ適用例においてカメラセンサを形成するために使用される他のエレメントなどの固体エレメントのアレイを備えることができる。図1には示されていないが、デジタルカメラデバイス2は所望される場合、1つまたは複数のレンズ、焦点調整のためのレンズアクチュエータ、シャッタ、画像シーンを照明するためのフラッシュデバイス、その他の構成要素(component)など、他の光学的構成要素を含むことができる。本開示で説明する技術は様々な他のアーキテクチャで実装可能であるので、図1に示すアーキテクチャは例にすぎない。
カメラセンサ10は、例えばユーザによるデジタルカメラデバイス2のカメラモードの起動時に、カメラセンサ10のエレメントを画像シーンに露光する。カメラセンサ10は、カメラモードの起動時に、例えば各特定の画素位置におけるキャプチャされた光の強度を表す強度値をキャプチャすることができる。カメラセンサ10のエレメントの各々は、場合によってはセンサを覆う色フィルタのために1つの色または1つの色帯域にしか反応しないことがある。例えば、カメラセンサ10はR、GおよびBチャネルを定義するための適切なフィルタをもつエレメントのアレイを備えることができる。ただし、カメラセンサ10は他のタイプの色フィルタを利用することができる。カメラセンサ10のエレメントの各々は、ただ1つの色についての強度値をキャプチャすることができる。キャプチャされた情報は、カメラセンサ10のエレメントによってキャプチャされた画素強度および/または明度(color value)を含み得る。所定の画素は、R、GおよびB値のセットによって定義され得る。
プロセッサユニット12は、カメラ10から生データ(すなわち、キャプチャされた情報)を受信し、そのような生データに対して多種多様な画像処理技術のいずれかを実施することができる。上述のように、処理ユニット12は様々な処理機能を実行する処理パイプライン、または場合によってはいくつかの異なるユニットを備え得る。キャプチャおよび処理された画像データは、メモリ16に記憶され、場合によってはディスプレイ18を介してユーザに表示される。
較正ユニット14は、処理ユニット12がホワイトバランス中にキャプチャされた画像データと比較するグレー点にグレー点補正係数を調整するために、本開示の較正技術を実行する。本開示によれば、較正ユニット14はカメラセンサ10が動作しているときに較正技術を実行する。言い換えれば、ユーザがカメラセンサ10を起動すると、較正手順が行われる。較正手順の後に、較正ユニット14はアプリケーションがデジタルカメラデバイス2のグレー点を調整するように、計算されたグレー点補正係数を処理ユニット12に送信する。ディスプレイ18、メモリ16、較正ユニット14および処理ユニット12は、共有データ通信バス15を介して互いに通信可能に結合される。次いで、処理ユニット12は調整されたグレー点に基づいて、到来するキャプチャされた情報に対してホワイトバランスを実行する。
メモリ16は、読取り専用メモリ(ROM)、ある形態のランダムアクセスメモリ(RAM)、電気消去可能なプログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリ、または何らかのタイプのデータストレージドライブまたはユニットなど、任意の形態の揮発性または不揮発性メモリを含み得る。一般に、メモリ16はデバイス2の異なる構成要素(コンポーネント)間の高速データ転送を保証するために、何らかのタイプのRAMのまたはフラッシュメモリとして実装され得る。
ディスプレイ18は、例えばカメラセンサ10によってキャプチャされているシーンに関連する最新の画像をユーザに与えるために、デジタルカメラデバイス2用のビューファインダを備えることができる。キャプチャされた画像またはビデオは、またユーザによる閲覧のためにディスプレイ18上に提示される。ただし、本開示の技術はデバイス2のユーザに対して透過的な方法で行われることがある、すなわち、ユーザはそのカメラセンサ10が動作しているときはいつでも較正プロセスが行われていることに気付かないことがある。
デバイス2は、実装形態に応じて多くの他の構成要素をも含むことができる。例えば、デバイス2は画像を圧縮するためのJoint Photographic Experts Group(JPEG)エンコーダなどの1つまたは複数の画像エンコーダ、あるいは、ビデオを圧縮するためのMotion Pictures Expert Group(MPEG)エンコーダ、またはInternational Telecommunication Union(ITU)H.263またはH.264エンコーダなどの1つまたは複数のビデオエンコーダを含むことができる。また、デバイス2が無線通信デバイスハンドセットとして実装される場合、デバイス2は無線送信機、無線受信機、変復調器(モデム)および1つまたは複数のアンテナなどの無線通信のための様々な構成要素を含むことができる。実装形態に応じて、これらまたは他の構成要素をデバイス2中に含めることができる。これらの他の構成要素は、本明細書で説明する較正技術の説明を簡単で容易にするために図1に示されていない。
較正ユニット14は、ハードウェア、ソフトウェア、ファームウェア、あるいは、ハードウェア、ソフトウェアまたはファームウェアの多種多様な組合せのいずれかとして実装できる。較正ユニット14は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、あるいは他の等価の個別または集積論理回路、あるいはそれらの組合せによって実現できる。ソフトウェアで実装した場合、較正プロセスの一部として実行される命令は、コンピュータ可読媒体上で記憶され得、較正ユニット14を認識し、デバイス2に本明細書で説明する技術を実行させるように1つまたは複数のプロセッサで実行され得る。
図2は、デジタルカメラデバイス2によって実装できる、本開示に合致する例示的な技術を示す流れ図である。図2に示すように、処理ユニット12はグレー点補正係数を適用して、デバイス2におけるグレー点を調整する(200)。最初に、調整が行われないように、グレー点補正係数を値1に設定する。本開示の較正プロセスは、新しい補正係数を生成する図2のステップ201〜205を含む。図2に示す本技術の各反復(iteration)を用いて、望ましいホワイトバランスに向かって収束するように補正係数を再生成する。較正を開始しない場合(201のNOブランチ)、処理ユニット12は較正プロセスの前の反復で生成されたグレー点補正係数を適用し続ける。
グレー点補正係数を適用して、デバイス2におけるグレー点を調整する(200)。次いで、調整されたグレー点をホワイトバランスのために使用する。ホワイトバランスの一例では、キャプチャされた情報の画素に関連するキャプチャされたR、GおよびB値をグレー点と比較する。画素がグレー点に実質的にまたは十分に対応しないR、GおよびB値を定義した場合、そのような画素を不十分なデータとして廃棄する。このようにして、処理ユニット12は画素がグレー点に実質的にまたは十分に対応するかどうかに基づいて、画素を受け取るかまたは拒絶するようにホワイトバランスを実行する。ただし、多種多様なホワイトバランスアルゴリズムは、グレー点を較正するために使用される本開示の教示から利益を得ることができる。適切に較正されたグレー点は、グレー点の近くで十分にはバランスしていないデータを受け取るか、またはなくすために、ホワイトバランスに依拠する多種多様なイメージング技術を改善することができる。
例えば、いわゆる「グレーワールド」ホワイトバランスアルゴリズムは、「ニアグレー」画素の探索を含む。この場合、適切に較正されたグレー点は「ニアグレー」画素のこれらの探索が行われるべき場合を定義するために重要である。また、いわゆる補正色(color by correction)ホワイトバランスアルゴリズムの場合、適切に較正されたグレー点は色補正マップの生成を可能にするために重要である。さらに、他のタイプのホワイトバランスアルゴリズムは、色域の境界を予測するためにグレー点に依拠することがある。この場合、適切に較正されたグレー点は、適切な色域境界予測を可能にするために重要である。いわゆるニューラルネットワークタイプのホワイトバランスアルゴリズムでは、グレー点を使用してシナプス間の重み関数をセットアップする。この場合、適切に較正されたグレー点は、重み関数のセットアップを可能にするために重要である。これらおよび多くの他のホワイトバランスアルゴリズムは、本開示の教示から利益を得ることができる。
較正プロセスでは、較正ユニット14は最初に較正を開始すべきかどうかを判断する(201)。較正を開始するとき(201のYESブランチ)、較正ユニット14はデータをメモリ16に累積する(202)。較正手順のために、この累積されたデータは、相関色温度(CCT)の1つまたは複数の平均値を備えることができる。CCTは、色彩科学においてよく知られているパラメータであり、人間の目によって知覚される、キャプチャされた画素値に関連する光を最も密に一致させる黒体放射体の色温度である。CCTは絶対単位、例えばケルビン(K)の単位で与えられる。CCT平均値は、ある時間期間にわたってカメラセンサ10によってキャプチャされたシーンのCCTの1つまたは複数の平均値を指す。
CCTの1つまたは複数の平均値を累積した後、較正ユニット14は実光線に対するCCTベクトルを計算する(203)。CCTベクトルは、CCT平均値に基づいて計算される。以下でより詳細に説明するように、実光線は事前に計算され、較正ユニット14が使用するためにメモリ16に記憶される。実光線は模擬光線の線形補間を表すことができ、少なくとも2つの模擬光測定値と基準カメラセンサに関連する少なくとも1つの実光測定値とに基づいて構成され得る。実光線を生成するために使用される基準カメラセンサは、デジタルカメラデバイスのカメラセンサ10と同様とすることができる。特に、基準カメラセンサはカメラセンサ10の構成と同じまたは同様の構成を有することができる。例えば、基準カメラセンサはカメラセンサ10と同じ製造ロットからのカメラセンサ、またはカメラセンサ10と同じ製造業者および/または製品番号に一般に関連するカメラセンサとすることができる。このようにして、異なるが同様に構成された基準カメラセンサに関連する実光線を使用して、デバイス2中のカメラセンサ10からのデータの較正を助けることができる。模擬光線および実光線についてのさらなる詳細について、以下で述べる。
次に、較正ユニット14は組み合わせベクトルを計算する(204)。組み合わせベクトルはCCTベクトルの重み付け和を含み、重み付けはCCTベクトルの信頼性および推定精度に基づいて選択され得る。例えば、以下でより詳細に説明するように、CCTの平均値は総平均CCTと高平均CCTと低平均CCTとを含むことができる。この場合、総平均CCTはカメラセンサ10によって収集されるすべてのCCTサンプルの平均値を含み、高平均CCTは総平均CCTよりも大きいCCTサンプルの平均値を含み、低平均CCTは総平均CCTよりも小さいCCTサンプルの平均値を含む。組み合わせベクトルは総CCTベクトルと高CCTベクトルと低CCTベクトルとの重み付け和を含むことができ、それぞれの重みは個々の総CCTベクトルと高CCTベクトルと低CCTベクトルとに適用される。その上、場合によっては高CCTベクトルまたは低CCTベクトルのいずれかが不良データを含む場合、組み合わせベクトルが総CCTベクトルに対応するように、重み付けを割り当てることができる。CCT平均値およびCCTベクトルのこれらの概念についてのさらなる詳細について、以下で述べる。
次に、較正ユニット14は組み合わせベクトルに基づいてグレー点補正係数を生成する(205)。例えば、以下でより詳細に説明するように、R/B×B/G色空間中の組み合わせベクトル(V)は、R/G方向のVx成分とB/G方向のVy成分とに分割され得る。グレー点補正係数は、次のように生成され得る。
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
補正係数が生成されると、処理ユニット12はグレー点補正係数を適用して、グレー点を調整する(200)。再び、図2に示す本技術の各反復を用いて、望ましいホワイトバランスに向かって収束するように補正係数を再生成する。
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
補正係数が生成されると、処理ユニット12はグレー点補正係数を適用して、グレー点を調整する(200)。再び、図2に示す本技術の各反復を用いて、望ましいホワイトバランスに向かって収束するように補正係数を再生成する。
グレー点を調整することによって、ホワイトバランスを改善することができる。一例では、ホワイトバランスは画像シーンの画素を受け取るかまたは拒絶するかを判断するためにグレー点を使用するプロセスである。この場合、キャプチャされた情報の画素に関連するキャプチャされたR、GおよびB値をグレー点と比較する。画素がグレー点に実質的にまたは十分に対応しないR、GおよびB値を定義した場合、そのような画素を不十分なデータとして廃棄する。このようにして、ホワイトバランスは画素がグレー点に実質的にまたは十分に対応するかどうかに基づいて、画素を受け取るか、または拒絶することができる。多種多様なホワイトバランスアルゴリズムは、グレー点を較正するために使用される本開示の教示から利益を得ることができる。適切に較正されたグレー点は、十分にバランスしていないデータを受け取るか、またはなくすためにホワイトバランスに依拠する多種多様なイメージング技術を改善することができる。
別の例では、いわゆる「グレーワールド」ホワイトバランスアルゴリズムは、「ニアグレー」画素の探索を含む。この場合、適切に較正されたグレー点は、「ニアグレー」画素のこれらの探索が行われるべき場合を定義するために重要である。また、いわゆる相関色(color by correlation)ホワイトバランスアルゴリズムの場合、適切に較正されたグレー点は、色相関マップの生成を可能にするために重要である。さらに、他のタイプのホワイトバランスアルゴリズムは、色域の境界を予測するためにグレー点に依拠することがある。この場合、適切に較正されたグレー点は適切な色域境界予測を可能にするために重要である。いわゆるニューラルネットワークタイプのホワイトバランスアルゴリズムでは、グレー点を使用してシナプス間の重み関数をセットアップする。この場合、適切に較正されたグレー点は重み関数のセットアップを可能にするために重要である。これらおよび多くの他のホワイトバランスアルゴリズムは、本開示の教示から利益を得ることができる。
較正を開始すべきかどうかの判断(201)は、いくつかのファクタに基づく。一般に、較正ユニット14は手順が較正のための有用なデータをキャプチャする高い確率を有するとき、較正を開始またはトリガするように設計される。較正ユニット14は、キャプチャされたデータの標準を定義するために、カメラセンサ10が好ましくは晴の状態で屋外光(outdoor light)をキャプチャしているときを自動的に認識または判断するように設計される。例えば、較正ユニット14は測定された輝度をしきい値と比較し、しきい値は屋外の晴(または曇)の状態に関連する輝度レベルを定義する。例えば、しきい値は10,000ルクス、あるいは屋外の晴(または曇)の状態に関連する別の輝度レベルとされ得る。画像シーンに関連する輝度レベルは、画像処理ユニット12によって適用されるR、G、B利得と画像センサ10に関連する露光時間とに基づいて定量化される。この場合、輝度レベルが高いために、利得が小さくなり、露光時間が短くなる。デバイス2は、これらのまたは他の測定可能なファクタに基づいて輝度を定量化するように構成され得る。代替または追加として、較正ユニット14は屋外使用に関連するカメラセンサ10による木または他の物体の認識など、デジタルカメラデバイス2の屋外使用を識別するために物体認識技術を利用することができる。
一例として、測定された輝度が輝度しきい値よりも大きいとき、較正ユニット14は較正手順を開始する(201のYESブランチ)。さらに、カメラセンサ10が自動露光制御(AEC)ユニットを含むか、またはそれに関連する場合、較正ユニット14はカメラセンサ10のAECユニットによって定義されるAECが安定していることを必要とする。例えば、露光の時間的変動が露光について定義されたしきい値内であるとき、AECは安定している。この場合、測定された輝度が輝度しきい値よりも大きく、AECが安定していると判断されたとき、較正ユニット14は較正手順を開始する(201のYESブランチ)。さらに、較正ユニット14はまた処理ユニット12によって選択および/または適用される照明状態とR、GおよびBチャネルの利得とに基づいて屋外判断(outdoor determination)を行う。この場合、測定された輝度が輝度しきい値よりも大きく、AECが安定していると判断され、高信頼度屋外判断(high confidence outdoor determination)が較正ユニット14によって行われたとき、較正ユニット14は較正手順を開始する(201のYESブランチ)。ここで、高信頼度屋外判断はカメラセンサによってキャプチャされた情報に処理ユニット12によって適用される照明状態とR、GおよびBチャネルの利得とに基づく。この高信頼度屋外判断により、カメラセンサ10が屋内光源に直接向けられているためにカメラセンサがしきい値を上回る輝度を検出した場合に較正を開始するのを避けることができる。
図3は、(R/G,B/G)色空間におけるカメラセンサの例示的なグレー点を示すグラフである。図3のグラフのx軸は、R、GおよびB値を有する画素のR/G値である。図3のグラフのy軸は、画素のB/G値である。R/GおよびB/G値は色温度単位、すなわちケルビン(K)度で与えられる。図3にグラフで示すように、本開示では大部分のカメラセンサについて実昼光下の真のグレー点の分布が模擬6500K〜模擬5000K色温度の間で定義された線に対して概して平行である分布を有すると認識する。模擬色温度点は、模擬光下において例えば照明チャンバ中で定義されたグレー点を指す。残念ながら、模擬照明チャンバは実屋外光を正確に再現せず、屋外光を近似するにすぎない。本開示の技術は、キャプチャされたデータが実際の曇の昼光状態および実際の晴の昼光状態にそれぞれ対応するエリア38および39中のデータに高い確率で対応するように、屋外判断を使用する。これにより、グレー点の調整はそのような調整を行うために、これらのエリア中のグレー点の線形性質を利用することと、線37に沿った模擬グレー点を利用することとが可能になる。
図3に示すデータに基づいて、エリア38および39のグレー点に関連する実際の曇の状態または実際の晴の状態を自己較正にとって最良の照明状態とすることができる。様々な屋内照明は、本開示に合致する効果的な自己較正に十分に好適ではない。その上、例えばエリア36中のグレー点に関連する陰になった状態は遙かに大きい分布エリアを有し、カメラセンサの視野外の他の物体によってより多くの影響を受けることがある。これらの理由により、本開示の自己較正技術はデータが図3のエリア38または39中に入りやすいシナリオに向けてデータのキャプチャを制御しようと試みる。
図2を再び参照すると、較正を開始するとき(201のYESブランチ)、較正ユニット14はデータをメモリ16に累積する(202)。この場合も、この累積されたデータはカメラセンサ10によってキャプチャされた画像シーンの相関色温度(CCT)の1つまたは複数の平均値を含む。平均値は、総平均CCTと高平均CCTと低平均CCTとを含み得る。総平均CCTはカメラセンサ10によって収集されたCCTサンプルの平均値を含み、高平均CCTはカメラセンサ10によって収集された総平均CCTよりも大きいCCTサンプルの平均値を含み、低平均CCTはカメラセンサ10によって収集された総平均CCTよりも小さいCCTサンプルの平均値を含む。平均値でカウントされるサンプル数は、追跡もされ得る。
例えば、メモリ16は「自己較正」として定義されたデータ構造を記憶することができる。自己較正データ構造は、以下を含むことができる。
平均(R/G,B/G)値およびカウント
低CCT平均(R/G,B/G)値およびカウント
高CCT平均(R/G,B/G)値およびカウント
前のR/G利得、前のB/G利得
これは自己較正データ構造に、11個の数字(平均値および利得のための8つの浮動小数点およびカウントのための3つの整数)を維持することのみを必要とする。一例として、自己較正データ構造は以下の11個の数字を含むことができる。
R/GのCCT点の総平均値を表すOveral_Ave_rg
B/GのCCT点の総平均値を表すOverall_Ave_bg
R/GおよびB/GのCCT点の総平均値に関連する総カウントを表すOverall_Ave_cnt
R/GのCCT点の低平均値を表すLow_cct_rg_ave
B/GのCCT点の低平均値を表すLow_cct_bg_ave
R/GおよびB/GのCCT点の低平均値に関連する低いカウントを表すLow_cct_cnt
R/GのCCT点の高平均値を表すHigh_cct_rg_ave
B/GのCCT点の高平均値を表すHigh_cct_bg_ave
R/GおよびB/GのCCT点の低平均値に関連する高いカウントを表すHigh_cct_cnt
R/Gグレー点を補正するために使用される前の補正係数(Fx)を表すPrevious_rg_gain
B/Gグレー点を補正するために使用される前の補正係数(Fy)を表すPrevious_bg_gain
新しい(R/G,B/G)値が自己較正データ構造に追加されたとき、較正ユニット14は以下の計算を実行することができる。
Overal_Ave_rgおよびOverall_Ave_bgを再計算する
Overall_Ave_cntを増分する
新しい(R/G,B/G)値について、B/GがLow_cct_bg_ave以下である場合
Low_cct_rg_aveおよびLow_cct_bg_aveを再計算する
Low_cct_cntを増分する
新しい(R/G,B/G)値について、B/GがHigh_cct_bg_aveよりも大きい場合
High_cct_rg_aveおよびHigh_cct_bg_aveを再計算する
High_cct_cntを増分する
カウントの所定の1つがあらかじめ定義された最大値に達した場合、数のオーバーフローを回避するために平均値の更新が行われないように、較正ユニット14はカウントの最大値を定義することができる。追加のデータがカウントの最大数を上回るように所望された場合、カウント数をより低い数(次の累積)にリセットすることができる。
平均(R/G,B/G)値およびカウント
低CCT平均(R/G,B/G)値およびカウント
高CCT平均(R/G,B/G)値およびカウント
前のR/G利得、前のB/G利得
これは自己較正データ構造に、11個の数字(平均値および利得のための8つの浮動小数点およびカウントのための3つの整数)を維持することのみを必要とする。一例として、自己較正データ構造は以下の11個の数字を含むことができる。
R/GのCCT点の総平均値を表すOveral_Ave_rg
B/GのCCT点の総平均値を表すOverall_Ave_bg
R/GおよびB/GのCCT点の総平均値に関連する総カウントを表すOverall_Ave_cnt
R/GのCCT点の低平均値を表すLow_cct_rg_ave
B/GのCCT点の低平均値を表すLow_cct_bg_ave
R/GおよびB/GのCCT点の低平均値に関連する低いカウントを表すLow_cct_cnt
R/GのCCT点の高平均値を表すHigh_cct_rg_ave
B/GのCCT点の高平均値を表すHigh_cct_bg_ave
R/GおよびB/GのCCT点の低平均値に関連する高いカウントを表すHigh_cct_cnt
R/Gグレー点を補正するために使用される前の補正係数(Fx)を表すPrevious_rg_gain
B/Gグレー点を補正するために使用される前の補正係数(Fy)を表すPrevious_bg_gain
新しい(R/G,B/G)値が自己較正データ構造に追加されたとき、較正ユニット14は以下の計算を実行することができる。
Overal_Ave_rgおよびOverall_Ave_bgを再計算する
Overall_Ave_cntを増分する
新しい(R/G,B/G)値について、B/GがLow_cct_bg_ave以下である場合
Low_cct_rg_aveおよびLow_cct_bg_aveを再計算する
Low_cct_cntを増分する
新しい(R/G,B/G)値について、B/GがHigh_cct_bg_aveよりも大きい場合
High_cct_rg_aveおよびHigh_cct_bg_aveを再計算する
High_cct_cntを増分する
カウントの所定の1つがあらかじめ定義された最大値に達した場合、数のオーバーフローを回避するために平均値の更新が行われないように、較正ユニット14はカウントの最大値を定義することができる。追加のデータがカウントの最大数を上回るように所望された場合、カウント数をより低い数(次の累積)にリセットすることができる。
較正の前に、すなわち最初に自己較正データ構造は次のように初期化される。
Low_cct_rg_ave=0.0, Low_cct_bg_ave=0.0, Low_cct_cnt=0
High_cct_rg_ave=0.0, High_cct_bg_ave=0.0, High_cct_cnt=0
Overal_Ave_rg=0.0, Overall_ave_bg=0.0, Overall_ave_cnt=0
Previous_rg_gain=1.0, Previous_bg_gain=1.0
これらの値は不揮発性メモリ、例えばメモリ16または別のメモリ位置に記憶され得る。
Low_cct_rg_ave=0.0, Low_cct_bg_ave=0.0, Low_cct_cnt=0
High_cct_rg_ave=0.0, High_cct_bg_ave=0.0, High_cct_cnt=0
Overal_Ave_rg=0.0, Overall_ave_bg=0.0, Overall_ave_cnt=0
Previous_rg_gain=1.0, Previous_bg_gain=1.0
これらの値は不揮発性メモリ、例えばメモリ16または別のメモリ位置に記憶され得る。
図4A〜図4Cは、較正手順のためのデータを累積するプロセスを示すグラフである。図4A〜図4Cのグラフは、キャプチャされた画像シーンに関連する色温度測定値を持つサンプルを示す。これらのサンプルは、総CCT平均値、高CCT平均値および低CCT平均値などの1つまたは複数のCCT平均値を定義するために、較正ユニット14によって累積され得る。
高平均CCTは、図4A〜図4C中に示されていないが、低平均CCTと同様の方法で累積される。自己較正が始まる前、総平均値は低CCT平均値と同じである。図4Aは、サンプルカウントNにおける例示的な総平均値41Aおよび低CCT平均値42Aを示し、N個のサンプルが較正手順中に総平均値を定義するために得られたことを意味する。新しいサンプル43が到着したとき、図4Bに示す総平均値41Aおよび低CCT平均値42Aは、図4Cに示す総平均値41Cおよび低CCT平均値42Cへと変化する。この手順は、低CCT平均値42Cを総平均値41Cから離れて右下方向に反復的に押し進める。同様の方法で、この手順はまた(図4A〜図4Cに示さない)高CCT平均値を総平均値から離れて左上方向に反復的に押し進める。
図2を再び参照すると、CCTの1つまたは複数の平均値(例えば、総平均CCT、高平均CCTおよび低平均CCT)を累積した後、較正ユニット14は実光線に対するCCTベクトルを計算する(203)。実光線は事前に計算され、較正ユニット14が使用するためにメモリ16に記憶される。実光線は模擬光線の線形補間を表すことができ、少なくとも2つの模擬光測定値と異なるカメラセンサに関連する少なくとも1つの実光測定値とに基づいて構成され得る。実光線を生成するために使用される異なるカメラセンサは、デジタルカメラデバイスのカメラセンサ10と同様、例えばカメラセンサ10と同じ製造ロットからのカメラセンサ、またはカメラセンサ10と同じ製造業者および/または製品番号に一般に関連するカメラセンサとすることができる。このようにして、同様のカメラセンサに関連する実光線を使用してデバイス2中のカメラセンサ10からのデータの較正を助けることができる。
図5は、2つの模擬光測定点52および53、ならびに1つの実光測定点55に基づく実光線59の構成を示すグラフである。図5において、点51は7500Kにおける模擬光測定値を含み、点52は6500Kにおける模擬光測定値を含み、点53は5000Kにおける模擬光測定値を含み得る。模擬光測定51、52および53は、光チャンバ中の基準カメラセンサに対して行われ、光チャンバは5000Kおよび6500Kにおいて光をシミュレートする。基準カメラセンサは、較正されるべきカメラセンサ10(図1)と同様の構成を有する異なるセンサを備えることができる。例えば、較正されるべきセンサ10のための実光線59を構成するために使用される基準カメラセンサは、製造されたセンサの所与のロットに関連する例示的なセンサとすることができる。次いで、カメラセンサ10などの他のセンサを使用するデバイスは、それらのそれぞれの較正プロセスにおいて、この例示的な基準カメラセンサの実光線59をデータとして使用することができる。
実光測定点55は、5000K〜6500Kの間の照明下で、例えば晴または曇の状態で基準カメラセンサによる実屋外光測定値に対応する。従って、実光線59は実昼光線、例えば実昼光下で基準センサのグレー点に対応する線を含むことができる。実光測定点55は、晴または一部曇の状態の屋外測定値によって定義され得る。所望の実光の測定を達成するために、実光測定点55に関連する地理的位置を例えば、その年の定義された日付における地球上の特定の緯度および経度として選択または定義することができる。
模擬光線57は、(例えば、点52および53に対応する)2つ以上の模擬光測定値に基づいて定義される。模擬光線57は、模擬昼光下で基準カメラセンサのグレー点に対応する線を含むことができる。模擬光線57は、実光測定点55に線形補間され、それによって実光線59を定義することができる。このようにして、実光線59は少なくとも2つの所定の模擬色温度測定値(点52および53)によって定義された模擬光線57に対してほぼ平行であり、実色温度測定値点59ならびに模擬色温度点52および53は較正されているデジタルカメラデバイス2のカメラセンサ10(図1)と同様に製造された異なる基準カメラセンサの測定値に基づいて(較正手順の前に)あらかじめ決定される。このようにして、実光線59はカメラセンサ10と同様の基準カメラセンサに基づいて判断される、カメラセンサ10の予想されるグレー点の計算を含むことができる。記載の較正手順は、カメラセンサ10の較正の開始点として、この実光線59を使用することができる。すなわち、較正プロセスはカメラセンサ10が実光線10に関連する応答を有すると仮定し、本明細書で説明する較正プロセスは、実光線10上で定義されたグレー点に対して実際のグレー点を調整することができる。
図6は、較正ユニット14が実光線に対するCCTベクトルを計算する(203)方法を示す図である。図6において、ベクトルv1は総CCTベクトルであり、ベクトルv2は高CCTベクトルであり、ベクトルv3は低CCTベクトルである。示されるように、v1は実光線59に対して直角である、総平均値へのベクトルとして定義される。従ってv1は、実昼光線59上の最も近い点から、自己較正データ構造のR/GおよびB/G総平均値点によって定義される総平均値点へと定義される。高CCTベクトルv3は、実光線59上の実際の5000Kに対応する点から、自己較正データ構造のR/GおよびB/G高平均値点によって定義される高CCT平均値点へのベクトルである。低CCTベクトルv2は、実光線59上の実際の6500Kに対応する点から、自己較正データ構造のR/GおよびB/G低平均値点によって定義される低CCT平均値へのベクトルである。
実昼光線59を定義するために使用される基準カメラセンサと、較正されている現在のカメラセンサ10との間にセンサばらつきがない場合、総平均CCT、高平均CCTおよび低平均CCTは、すべて実昼光線59上にほぼ入るはずであり、白色点調整は不要となる。
図2を再び参照すると、総CCTベクトルv1、高CCTベクトルv3および低CCTベクトルv2を計算した後、較正ユニット14は組み合わせベクトルを計算する(204)。組み合わせベクトルは、CCTベクトルの重み付け和を含み、重み付けはCCTベクトルの信頼性および推定精度(probable accuracy)に基づいて選択され得る。
例えば、最終の組み合わせベクトルは、
v=w1*v1+w2*v2+w3*v3、ただしw1+w2+w3=1.0
のように定義できる。
v=w1*v1+w2*v2+w3*v3、ただしw1+w2+w3=1.0
のように定義できる。
w1、w2およびw3の値は、統計品質に依存することがある。w1、w2およびw3のために選択された実際の重み値は、多種多様な実装形態によって異なる。一例では、
w1は0.4であり、
w2は0.3であり、
w3は0.3である。
w1は0.4であり、
w2は0.3であり、
w3は0.3である。
別の例では、
w1は1.0であり、
w2は0であり、
v2またはv3のいずれかが不良データを備える場合、w3は0である。
w1は1.0であり、
w2は0であり、
v2またはv3のいずれかが不良データを備える場合、w3は0である。
この場合、対応する(高または低)CCT平均値のデータ点が、総平均値によって定義される実昼光線59の線形補間から実質的にそれたならば、v2またはv3は不良データを含むと判断できる。従って、良好な自己較正データは、実光線59に対して平行な総CCT平均値を通過する直線上に、3つのすべてのデータ点(総CCT平均値、高CCT平均値および低CCT平均値)をほぼ有するはずである。低CCT平均値または高CCT平均値が当該直線からあまりに遠くにそれている(ことが、例えば、高および低平均偏差の定義されたレベルまたはしきい値によって判断された)場合、較正ユニット14は0の重み係数をその対応するベクトルに割り当てることによって、低CCT平均値、高CCT平均値、またはその両方に関連するデータを拒絶することができる。この場合も、w1、w2およびw3の値は統計品質に依存することがあり、w1、w2およびw3のために選択される実際の重み値は多種多様な実装形態によって異なる。
図7は、実昼光線71に対する高CCT平均値、総CCT平均値および低CCT平均値の図である。この場合も、実昼光線71は本来は例えば模擬光測定および実際光測定に基づく基準センサのために定義された昼光線に対応する。実昼光線71に対して平行な線72は、総CCT平均値を通過し、低CCT平均値をほぼ通過するが、高CCT平均値をほとんど通過しない。この場合、高CCT平均値は不良データとしてフラグを立てられ、重み係数w2およびw3は、これに基づいて0に設定される。ただし、場合によっては重み係数w2およびw3はそれぞれ低CCT平均値および高CCT平均値に依存することがあり、1つの点が不良データとしてフラグを立てられた場合、これにより他の点に関連する重み係数が必ずしも0になるわけではない。この場合も、w1、w2およびw3の値は統計品質に依存することがあり、w1、w2およびw3のために選択される実際の重み値は多種多様な実装形態によって異なる。上記の例示的な重み係数は1つの実装形態に固有の例にすぎず、本開示に従って多種多様な他の重み係数を使用することができる。
図2を再び参照すると、較正ユニット14が組み合わせベクトルを計算した後、較正ユニット14は組み合わせベクトルに基づいてグレー点補正係数を生成する(205)。例えば、R/B×B/G色空間中の組み合わせベクトル(V)は、R/G方向のVx成分とB/G方向のVy成分とに分割され得る。グレー点補正係数は、次のように生成され得る。
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
FxはD50照明に対応するR/G方向の補正係数に対応し、FyはD50照明に対応するB/G方向の補正係数に対応する。D50照明は、一般に5000ケルビンのグレー点色温度に対応する。
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
FxはD50照明に対応するR/G方向の補正係数に対応し、FyはD50照明に対応するB/G方向の補正係数に対応する。D50照明は、一般に5000ケルビンのグレー点色温度に対応する。
すべての真のグレー点、例えば7500K〜2300Kについて、
較正R/G値=Fx*(所与の未較正R/G値)および
較正B/G値=Fy*(所与の未較正B/G値)
である。
較正R/G値=Fx*(所与の未較正R/G値)および
較正B/G値=Fy*(所与の未較正B/G値)
である。
従って、較正ユニット14は生成されたグレー点補正値FxおよびFyを処理ユニット12に転送することができる。次いで、処理ユニット12は適切なホワイトバランスを達成するために、グレー点補正係数FxおよびFyをカメラセンサ10からの未較正データに適用する。
初期化、すなわち較正プロセスの第1の反復より前の「時刻0」において、
Fx=Fx(時刻0)=1.0およびFy=Fx(時刻0)=1.0
である。
Fx=Fx(時刻0)=1.0およびFy=Fx(時刻0)=1.0
である。
次いで、較正プロセスの第1の反復、すなわち、「時刻1」の後、補正係数の新しいセットは、上記で概説したように計算され、Fx(時刻1)およびFy(時刻1)と呼ばれる。この点において適用される補正係数は、
Fx=Fx(時刻1)*Fx(時刻0)およびFy=Fy(時刻1)*Fy(時刻0)
である。
Fx=Fx(時刻1)*Fx(時刻0)およびFy=Fy(時刻1)*Fy(時刻0)
である。
次いで、第2の反復、すなわち「時刻2」の後、補正係数の新しいセットは、上記で概説したように計算され、Fx(時刻2)およびFy(時刻2)と呼ばれる。この点において適用される補正係数は、
Fx=Fx(時刻2)*Fx(時刻1)*Fx(時刻0)および
Fy=Fy(時刻2)*Fy(時刻1)*Fy(時刻0)
である。
Fx=Fx(時刻2)*Fx(時刻1)*Fx(時刻0)および
Fy=Fy(時刻2)*Fy(時刻1)*Fy(時刻0)
である。
従って、FxおよびFyの一般的な表現は、
Fx=Fx(現在の反復)*各Fx(前の反復)の積および
Fy=Fy(現在の反復)*各Fy(前の反復)の積
によって与えられる。
Fx=Fx(現在の反復)*各Fx(前の反復)の積および
Fy=Fy(現在の反復)*各Fy(前の反復)の積
によって与えられる。
このようにして、反復ごとのFxおよびFyは前の反復と現在の反復とに関連する累積された積である。従って、現在の反復に関連する現在のグレー点補正係数は、前の反復のグレー点補正係数に基づく積を含む。
必要があれば、FxおよびFyに対して制限を設けることができる。例えば、FxおよびFyは0.8および1.2という上と下の制限が設けられる。このように較正技術は、予想される環境に遭遇した場合に対して、FxおよびFyの不適切な補償を制限することに役立つことができる。反復当たりのグレー点補正係数に対する調整量を反復ごとに制限するように、場合によっては必要があれば総補正係数についてすべての反復のグレー点補償の総量を制限するように、制限を設けることができる。
この場合においても、多種多様なホワイトバランスアルゴリズムは、グレー点を較正するために使用される本開示の教示から利益を得ることができる。適切に較正されたグレー点は、十分にバランスしていないデータを受け取るか、またはなくすためにホワイトバランスに依拠する多種多様なイメージング技術を改善することができる。
説明されるように、ここで述べる技術は反復方式で実施され得、反復の各々はデジタルカメラデバイス2の次の使用中に定義される。このようにして、グレー点補正係数FxおよびFyは、自己較正技術のいくつかの反復の後、望ましいレベルに収束され得る。さらに、本技術はデバイス2に対して使用とともにデバイス2の較正を改善させることができ、すなわち、デジタルカメラデバイス2を使用すればするほど、その較正は向上する。上記のように、ここで述べる技術はカメラセンサ10の応答についての事前知識を必要としないので、デジタルカメラデバイスを製造するときにセンサ応答測定を実施する必要がない。ここで述べる技術は、シミュレーションにおいて較正のために望ましい結果を示し、デジタルカメラデバイスとして異なるカメラセンサ間のセンサばらつきの量がより多い、より低品質のカメラセンサを使用することが可能になる。この場合、ここで述べる技術はデジタルカメラデバイスを使用するときに、そのようなばらつきを補償し、時間が経つにつれて最終的に適切なホワイトバランスを達成することができる。
図8は、本開示の技術を実装することが可能な無線通信デバイス148を示す例示的なブロック図である。上述のようにカメラセンサは、いわゆるカメラ付き携帯電話またはビデオ電話を形成するように、モバイル無線電話などの無線通信デバイス内に設けられる。本開示のこの態様では、図8に示すように無線通信デバイス148はデジタルカメラデバイス2(図1)の様々な構成要素、ならびに無線通信およびユーザインターフェース機能をサポートするための様々な構成要素を含むことができる。例えば、無線通信デバイス148はプロセッサ150、オーディオ/ビデオエンコーダ/デコーダ(コーデック)152、メモリ153、モデム154、送受信(TX/RX)ユニット156、無線周波数(RF)アンテナ158、ユーザ入力デバイス159、ディスプレイドライバ/出力デバイス160、オーディオドライバ/出力デバイス162、カメラセンサ140および処理ユニット151を含むことができる。プロセッサ150を使用して、本明細書で説明する較正技術を実行することができる。
カメラセンサ140は、情報をキャプチャし、キャプチャされた情報を処理ユニット151に送信する。処理ユニット151は、グレー点補正係数FxおよびFyの適用を含む様々な画像処理機能を実行することができる。プロセッサ150は、補正係数FxおよびFyを生成するために、本明細書で説明する較正技術を実行する。この意味で、プロセッサ150は図1のデジタルカメラデバイス2の較正ユニット14によって実行される技術を実行することができる。
ただし、プロセッサ150はさらに、無線通信デバイス148に関連するディスプレイおよびスピーカを介して画像、ビデオおよび関連する音声をユーザに提示するために、ディスプレイドライバおよび関連するディスプレイ出力160およびオーディオドライバおよび関連するオーディオ出力162をも制御することができる。ディスプレイ出力160上の画像の提示は、本明細書で説明する較正技術によって改善され得る。メモリ157は、様々な動作をサポートするためにプロセッサ150によって実行するための命令を記憶することができる。図8には示されていないが、メモリ157(または別のメモリ)は、そのような構成要素によって処理されるか、または生成されるデータを記憶するために、処理ユニット151または他の構成要素に結合される。ユーザ入力デバイス159は、ユーザが無線通信デバイス148の動作を制御するためのキー、ボタン、タッチスクリーン媒体などの様々な入力媒体のいずれかを含むことができる。
画像(images)およびオーディオおよびイメージ(imagery)またはビデオは、記憶および送信のためにオーディオ/ビデオコーデック152によって符号化され得る。図8の例では、オーディオ/ビデオコーデックは、カメラセンサ140によってキャプチャされるビデオに加えて、様々なオーディオおよびビデオアプリケーションを処理するために、より大きい無線通信デバイス148内に存在し得る。オーディオビデオコーデックは、MPEG−2、MPEG−4、ITU H.263、ITU H.264、JPEGなどの様々な符号化技術またはフォーマットのいずれかに従って画像またはビデオを符号化することができる。
さらに、いくつかの態様では無線通信デバイス148は無線通信によって、そのようなオーディオ、画像またはビデオを符号化し、他のデバイスに送信し、ならびに他のデバイスからオーディオ、画像またはビデオを受信し、それを符号化することができる。例えば、モデム154およびTX−RXユニット156を使用して、符号化されたオーディオおよび画像またはビデオ情報を他の無線通信デバイスに158を介して送信することができる。モデム154は、TX−RXユニット156とアンテナ158とによって提供されるエアインターフェースを介した送信のために符号化情報を変調することができる。さらに、TX−RXユニット156およびモデム154は、アンテナ158を介して受信された、符号化されたオーディオ、イメージ、またはビデオを含む信号を処理することができる。TX−RXユニット156は、アンテナ158を介した無線送信および受信をサポートするために、好適なミキサ、フィルタおよび増幅器回路をさらに含み得る。
本開示で説明する較正技術は、カメラセンサに関連するコストを制限することが望ましい無線通信デバイス148のようなデバイスにとって大いに望ましい。この場合、ここで述べる技術により、デバイス48のような無線通信デバイスは異なるカメラセンサ間のセンサばらつきの量がより多い、より低品質のカメラセンサを用いて製造され得、デバイスの製造時にあらゆるカメラセンサの応答を測定する必要がなくなる。とはいえ、同じ技術はカメラセンサ応答測定が製造時に実行される高品質デバイスを含む、多種多様な他のデジタルカメラデバイスにも適用可能である。
本明細書に説明される技術は、ハードウェア、ソフトウェア、ファームウェア、または任意のその組合せにおいて実施できる。ユニット、モジュールまたは構成要素として説明したいずれかは、集積論理装置中で一緒に実装でき、または個別であるが相互運用可能な論理装置として別々に実装できる。場合によっては、様々な機能は集積回路チップまたはチップセットなどの集積回路デバイスとして実装できる。ソフトウェアで実装した場合、これらの技術は、実行されると上記で説明した技術の1つまたは複数を実行する命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータプログラム製品の一部をなすことができる。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリ、磁気または光学データ記憶媒体などを含み得る。本技術は、追加または代替として命令またはデータ構造を搬送または伝達し、コンピュータによってアクセス、読込みおよび/または実行できるコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)など1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価な集積または個別論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書に記載の技術の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明する機能を専用のソフトウェアモジュール、ハードウェアモジュール、またはそれらの組合せ内に設けることができる。
ハードウェアで、またはハードウェアとソフトウェアとの組合せで実装された場合、ここで述べる技術は、図1に示す較正ユニット14、または場合によっては図1に示す構成要素の組合せを備えることができる装置、デバイスまたは集積回路中で実施され得る。集積回路は、例えばここで述べる技術の1つまたは複数を実行するように構成され得る。これらおよび他の例は、以下の特許請求の範囲内にある。
Claims (65)
- デジタルカメラデバイスにおいて較正手順を実行するための方法であって、
前記デジタルカメラデバイスのカメラセンサが動作しているときに前記較正手順を開始することと、
前記カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む前記較正手順のためのデータを累積することと、
CCTの前記1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算することと、
前記1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成することと、を備える方法。 - 前記デジタルカメラデバイスにおけるグレー点を調整するために前記グレー点補正係数を適用することをさらに備える請求項1に記載の方法。
- 画像シーンに関連する測定された輝度が輝度しきい値よりも大きいときに前記較正手順を開始することをさらに備える請求項1に記載の方法。
- 自動露光制御(AEC)が安定していると判断されたときに前記較正手順を開始することをさらに備える請求項3に記載の方法。
- 前記カメラセンサによってキャプチャされた情報に適用される照明状態と赤(R)、緑(G)および青(B)チャネルの利得とに基づく高信頼度屋外判断に応答して前記較正手順を開始することをさらに備える請求項4に記載の方法。
- CCTの前記1つまたは複数の平均値に基づいて前記1つまたは複数のCCTベクトルを計算することは、CCTの前記1つまたは複数の平均値に基づいて実光線に対する前記1つまたは複数のCCTベクトルを計算することを備え、前記実光線は少なくとも1つの所定の実色温度測定値と少なくとも2つの所定の模擬色温度測定値とに基づく請求項1に記載の方法。
- 前記実光線は、前記少なくとも2つの所定の模擬色温度測定値によって定義される模擬光線に対してほぼ平行であり、前記少なくとも1つの所定の実色温度測定値は、前記デジタルカメラデバイスの前記カメラセンサと同様の構造を有する基準カメラセンサに関連する請求項6に記載の方法。
- 前記1つまたは複数のCCTベクトルに基づいて組み合わせベクトルを計算することと、
前記組み合わせベクトルに基づいて前記グレー点補正係数を生成することと、
をさらに備える請求項6に記載の方法。 - 前記較正手順のためのデータを累積することは、
総平均CCT、高平均CCTおよび低平均CCTを累積することを備え、前記総平均CCTは前記カメラセンサによって収集されるすべてのCCTサンプルの平均値を含み、前記高平均CCTは前記総平均CCTよりも大きい前記CCTサンプルの平均値を含み、前記低平均CCTは前記総平均CCTよりも小さい前記CCTサンプルの平均値を含む請求項8に記載の方法。 - 前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算することと、
前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算することと、
をさらに備える請求項9に記載の方法。 - 前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算することと、
前記高CCTベクトルまたは前記低CCTベクトルが不良データを備えるかどうかを判断することと、
前記高CCTベクトルまたは前記低CCTベクトルが不良データを含む場合に前記総CCTベクトルに基づいて前記組み合わせベクトルを計算することと、
前記高CCTベクトルおよび前記低CCTベクトルが不良データを含まない場合に前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算することと、
をさらに備える請求項9に記載の方法。 - 前記少なくとも2つの所定の模擬色温度測定値は、約5000ケルビンおよび約6500ケルビンでの模擬色温度測定値を含む請求項6に記載の方法。
- 前記組み合わせベクトルは赤/緑(R/G)×青/緑(B/G)色空間に存在し、前記組み合わせベクトルに基づいてグレー点補正係数を生成することは、
前記組み合わせベクトル(V)をR/G方向のVx成分とB/G方向のVy成分とに分割することと、
前記グレー点補正係数を
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
として生成することと、
を備える請求項8に記載の方法。 - 前記グレー点補正係数を適用することをさらに備え、前記グレー点補正係数を適用することは、
補償R/G値をFx*(所与のR/G値)として計算することと、
補償B/G値をFy*(所与のB/G値)として計算することと、
を備える請求項13に記載の方法。 - 前記グレー点補正係数を反復的に生成することをさらに備え、現在の反復に関連する前記グレー点補正係数は、前の反復の前記グレー点補正係数に基づく積を含む請求項1に記載の方法。
- デジタルカメラデバイスにおける較正手順のためのデータを記憶するメモリと、
前記デジタルカメラデバイスのカメラセンサが動作しているときに前記較正手順を開始し、
前記カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む前記較正手順のための前記データを累積し、
CCTの前記1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算し、
前記1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成する
較正ユニットと、
を備える装置。 - 前記デジタルカメラデバイスの1つまたは複数の集積回路を備える請求項16に記載の装置。
- 前記デジタルカメラデバイスにおけるグレー点を調整するために前記グレー点補正係数を適用する処理ユニットをさらに備える請求項16に記載の装置。
- 前記較正ユニットは、画像シーンに関連する測定された輝度が輝度しきい値よりも大きいときに前記較正手順を開始する請求項16に記載の装置。
- 前記較正ユニットは、自動露光制御(AEC)が安定していると判断されたときに前記較正手順を開始する請求項19に記載の装置。
- 前記較正ユニットは、前記カメラセンサによってキャプチャされた前記情報に処理ユニットによって適用される照明状態と赤(R)、緑(G)および青(B)チャネルの利得とに基づく高信頼度屋外判断に応答して前記較正手順を開始する請求項20に記載の装置。
- 前記較正ユニットは、CCTの前記1つまたは複数の平均値に基づいて、少なくとも1つの所定の実色温度測定値と少なくとも2つの所定の模擬色温度測定値とに基づく実光線に対する前記1つまたは複数のCCTベクトルを計算する請求項16に記載の装置。
- 前記実光線は、前記少なくとも2つの所定の模擬色温度測定値によって定義される模擬光線に対してほぼ平行であり、前記少なくとも1つの所定の実色温度測定値は、前記デジタルカメラデバイスの前記カメラセンサと同様の構造を有する基準カメラセンサに関連する請求項22に記載の装置。
- 前記較正ユニットは、
前記1つまたは複数のCCTベクトルに基づいて組み合わせベクトルを計算し、
前記組み合わせベクトルに基づいて前記グレー点補正係数を生成する
請求項22に記載の装置。 - 前記較正ユニットは、
総平均CCT、高平均CCTおよび低平均CCTを累積し、前記総平均CCTは前記カメラセンサによって収集されるすべてのCCTサンプルの平均値を含み、前記高平均CCTは前記総平均CCTよりも大きい前記CCTサンプルの平均値を含み、前記低平均CCTは前記総平均CCTよりも小さい前記CCTサンプルの平均値を含む請求項24に記載の装置。 - 前記較正ユニットは、
前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算し、
前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算する請求項25に記載の装置。 - 前記較正ユニットは、
前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算し、
前記高CCTベクトルまたは前記低CCTベクトルが不良データを備えるかどうかを判断し、
前記高CCTベクトルまたは前記低CCTベクトルが不良データを含む場合に前記総CCTベクトルに基づいて前記組み合わせベクトルを計算し、
前記高CCTベクトルおよび前記低CCTベクトルが不良データを含まない場合に前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算する請求項25に記載の装置。 - 前記少なくとも2つの所定の模擬色温度測定値は、約5000ケルビンおよび約6500ケルビンでの模擬色温度測定値を含む請求項22に記載の装置。
- 前記組み合わせベクトルは赤/緑(R/G)×青/緑(B/G)色空間に存在し、前記較正ユニットは、
前記組み合わせベクトル(V)を、R/G方向のVx成分と、B/G方向のVy成分とに分割し、
前記グレー点補正係数を
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
として生成する請求項24に記載の装置。 - 前記補正係数を適用する処理ユニットであって、
補償R/G値をFx*(所与のR/G値)として計算し、
補償B/G値をFy*(所与のB/G値)として計算する
処理ユニットをさらに備える請求項29に記載の装置。 - 前記較正ユニットは、
前記グレー点補正係数を反復的に生成し、現在の反復に関連する前記グレー点補正係数は前の反復の前記グレー点補正係数に基づく積を備える請求項16に記載の装置。 - 実行時にデジタルカメラデバイスにおける較正手順をプロセッサに実行させる命令を備えるコンピュータ可読媒体であって、前記命令は、
前記デジタルカメラデバイスのカメラセンサが動作しているときに前記較正手順を開始することと、
前記カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を備える、前記較正手順のためのデータを累積することと、
CCTの前記1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算することと、
前記1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成することとを前記プロセッサに行わせるコンピュータ可読媒体。 - 前記命令は、前記デジタルカメラデバイスにおけるグレー点を調整するために前記グレー点補正係数を適用することを前記プロセッサに行わせる請求項32に記載のコンピュータ可読媒体。
- 前記命令は、画像シーンに関連する測定された輝度が輝度しきい値よりも大きいときに前記較正手順を開始することを前記プロセッサに行わせる請求項32に記載のコンピュータ可読媒体。
- 前記命令は、自動露光制御(AEC)が安定していると判断されたときに前記較正手順を開始することを前記プロセッサに行わせる請求項34に記載のコンピュータ可読媒体。
- 前記命令は、前記カメラセンサによってキャプチャされた前記情報に適用される照明状態と、赤(R)、緑(G)および青(B)チャネルの利得とに基づく高信頼度屋外判断に応答して前記較正手順を開始させることを前記プロセッサに行わせる請求項35に記載のコンピュータ可読媒体。
- 前記命令は、CCTの前記1つまたは複数の平均値に基づいて、少なくとも1つの所定の実色温度測定値と少なくとも2つの所定の模擬色温度測定値とに基づく実光線に対する1つまたは複数のCCTベクトルを計算することを前記プロセッサに行わせる請求項35に記載のコンピュータ可読媒体。
- 前記実光線は、前記少なくとも2つの所定の模擬色温度測定値によって定義される模擬光線に対してほぼ平行であり、前記少なくとも1つの所定の実色温度測定値は、前記デジタルカメラデバイスの前記カメラセンサと同様の構造を有する基準カメラセンサに関連する請求項37に記載のコンピュータ可読媒体。
- 前記命令は、
前記1つまたは複数のCCTベクトルに基づいて組み合わせベクトルを計算することと、
前記組み合わせベクトルに基づいて前記グレー点補正係数を生成することと、
を前記プロセッサに行わせる請求項37に記載のコンピュータ可読媒体。 - 前記命令は、
総平均CCT、高平均CCTおよび低平均CCTを累積することを前記プロセッサに行わせ、前記総平均CCTは前記カメラセンサによって収集されるすべてのCCTサンプルの平均値を含み、前記高平均CCTは前記総平均CCTよりも大きい前記CCTサンプルの平均値を含み、前記低平均CCTは前記総平均CCTよりも小さい前記CCTサンプルの平均値を含む請求項39に記載のコンピュータ可読媒体。 - 前記命令は、
前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算することと、
前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算することと、
を前記プロセッサに行わせる請求項40に記載のコンピュータ可読媒体。 - 前記命令は、
前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算することと、
前記高CCTベクトルまたは前記低CCTベクトルが不良データを含むかどうかを判断することと、
前記高CCTベクトルまたは前記低CCTベクトルが不良データを含む場合に前記総CCTベクトルに基づいて前記組み合わせベクトルを計算することと、
前記高CCTベクトルおよび前記低CCTベクトルが不良データを含まない場合に前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算することと、
を前記プロセッサに行わせる請求項40に記載のコンピュータ可読媒体。 - 前記少なくとも2つの所定の模擬色温度測定値は、約5000ケルビンおよび約6500ケルビンでの模擬色温度測定値を含む請求項37に記載のコンピュータ可読媒体。
- 前記組み合わせベクトルは赤/緑(R/G)×青/緑(B/G)色空間に存在し、前記命令は、
前記組み合わせベクトル(V)をR/G方向のVx成分とB/G方向のVy成分とに分割することと、
前記グレー点補正係数を
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
として生成することと、
を前記プロセッサに行わせる請求項39に記載のコンピュータ可読媒体。 - 前記命令は、
補償R/G値をFx*(所与のR/G値)として計算することと、
補償B/G値をFy*(所与のB/G値)として計算することと、
を前記プロセッサに行わせる請求項44に記載のコンピュータ可読媒体。 - 前記命令は、
前記グレー点補正係数を反復的に生成することを前記プロセッサに行わせ、現在の反復に関連する前記グレー点補正係数は前の反復の前記グレー点補正係数に基づく積を含む請求項32に記載のコンピュータ可読媒体。 - デジタルカメラデバイスのカメラセンサが動作しているときに較正手順を開始する手段と、
前記カメラセンサによってキャプチャされた情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む前記較正手順のためのデータを累積する手段と、
CCTの前記1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算する手段と、
前記1つまたは複数のCCTベクトルと組み合わせベクトルとに基づいてグレー点補正係数を生成する手段と、
を備えるデバイス。 - 前記デジタルカメラデバイスにおけるグレー点を調整するために前記グレー点補正係数を適用する手段をさらに備える請求項47に記載のデバイス。
- 開始する手段は、画像シーンに関連する測定された輝度が輝度しきい値よりも大きいときに前記較正手順を開始する請求項47に記載のデバイス。
- 開始する手段は、自動露光制御(AEC)が安定していると判断されたときに前記較正手順を開始する請求項49に記載のデバイス。
- 開始する手段は、前記カメラセンサによってキャプチャされた前記情報に適用される照明状態と赤(R)、緑(G)および青(B)チャネルの利得とに基づく高信頼度屋外判断に応答して前記較正手順を開始する請求項50に記載のデバイス。
- 計算する手段は、CCTの前記1つまたは複数の平均値に基づいて、少なくとも1つの所定の実色温度測定値と少なくとも2つの所定の模擬色温度測定値とに基づく実光線に対する前記1つまたは複数のCCTベクトルを計算する請求項47に記載のデバイス。
- 前記実光線は、前記少なくとも2つの所定の模擬色温度測定値によって定義される模擬光線に対してほぼ平行であり、前記少なくとも1つの所定の実色温度測定値は前記デジタルカメラデバイスの前記カメラセンサと同様の構造を有する基準カメラセンサに関連する請求項52に記載のデバイス。
- 前記1つまたは複数のCCTベクトルに基づいて組み合わせベクトルを計算する手段をさらに備え、
生成する手段は、前記組み合わせベクトルに基づいて前記グレー点補正係数を生成する請求項52に記載のデバイス。 - 前記較正手順のためのデータを累積する手段は、
総平均CCT、高平均CCTおよび低平均CCTを累積するための手段を備え、前記総平均CCTは前記カメラセンサによって収集されるすべてのCCTサンプルの平均値を含み、前記高平均CCTは前記総平均CCTよりも大きい前記CCTサンプルの平均値を含み、前記低平均CCTは前記総平均CCTよりも小さい前記CCTサンプルの平均値を含む請求項54に記載のデバイス。 - 1つまたは複数のCCTベクトルを計算する手段は、前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算するための手段を含み、
前記組み合わせベクトルを計算する手段は、前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算する、請求項55に記載のデバイス。 - 1つまたは複数のCCTベクトルを計算する手段は、前記総平均CCT、前記高平均CCTおよび前記低平均CCTに基づいて前記実光線に対する総CCTベクトル、高CCTベクトルおよび低CCTベクトルを計算するための手段を備え、
前記デバイスは、前記高CCTベクトルまたは前記低CCTベクトルが不良データを備えるかどうかを判断する手段をさらに備え、
前記組み合わせベクトルを計算する手段は、前記高CCTベクトルまたは前記低CCTベクトルが不良データを含む場合に前記総CCTベクトルに基づいて前記組み合わせベクトルを計算し、
前記組み合わせベクトルを計算するための手段は、前記高CCTベクトルおよび前記低CCTベクトルが不良データを含まない場合に前記総CCTベクトル、前記高CCTベクトルおよび前記低CCTベクトルに基づいて前記組み合わせベクトルを計算する、請求項55に記載のデバイス。 - 前記少なくとも2つの所定の模擬色温度測定値は、約5000ケルビンおよび約6500ケルビンでの模擬色温度測定値を含む請求項52に記載のデバイス。
- 前記組み合わせベクトルは赤/緑(R/G)×青/緑(B/G)色空間に存在し、生成するための手段は、
前記組み合わせベクトル(V)をR/G方向のVx成分とB/G方向のVy成分とに分割し、
前記グレー点補正係数を
Fx=Vx/(約5000ケルビンに対応する模擬R/G値)
Fy=Vy/(約5000ケルビンに対応する模擬B/G値)
として生成する請求項54に記載のデバイス。 - 前記グレー点補正係数を適用する手段をさらに備え、適用するための手段は、
補償R/G値をFx*(所与のR/G値)として計算するための手段と、
補償B/G値をFy*(所与のB/G値)として計算するための手段と、
を備える請求項59に記載のデバイス。 - 前記グレー点補正係数を生成する手段は、
前記グレー点補正係数を反復的に生成し、現在の反復に関連する前記グレー点補正係数は前の反復の前記グレー点補正係数に基づく積を含む請求項47に記載のデバイス。 - 情報をキャプチャするカメラセンサと、
キャプチャされた前記情報に基づいて較正手順のためのデータを記憶するメモリと、
前記カメラセンサが動作しているときに前記較正手順を開始し、
前記カメラセンサによってキャプチャされた前記情報に関連する相関色温度(CCT)の1つまたは複数の平均値を含む前記較正手順のための前記データを累積し、
CCTの前記1つまたは複数の平均値に基づいて1つまたは複数のCCTベクトルを計算し、
前記1つまたは複数のCCTベクトルに基づいてグレー点補正係数を生成する
較正ユニットと、
を備えるデジタルカメラデバイス。 - 前記較正ユニットは、CCTの前記1つまたは複数の平均値に基づいて、少なくとも1つの所定の実色温度測定値と少なくとも2つの所定の模擬色温度測定値とに基づく実光線に対する前記1つまたは複数のCCTベクトルを計算する請求項62に記載のデジタルカメラデバイス。
- 前記デジタルカメラデバイスにおけるグレー点を調整するために前記グレー点補正係数を適用する処理ユニットをさらに備える請求項62に記載のデジタルカメラデバイス。
- カメラ付き無線通信デバイスハンドセットを備える請求項62に記載のデジタルカメラデバイス。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/030,814 | 2008-02-13 | ||
US12/030,814 US8004566B2 (en) | 2008-02-13 | 2008-02-13 | Self calibration of white balance for a digital camera device using correlated color temperature data |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010546929A Division JP5512550B2 (ja) | 2008-02-13 | 2009-02-13 | デジタルカメラデバイスのホワイトバランス較正 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014042272A true JP2014042272A (ja) | 2014-03-06 |
Family
ID=40635866
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010546929A Active JP5512550B2 (ja) | 2008-02-13 | 2009-02-13 | デジタルカメラデバイスのホワイトバランス較正 |
JP2013197615A Withdrawn JP2014042272A (ja) | 2008-02-13 | 2013-09-24 | デジタルカメラデバイスのホワイトバランス較正 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010546929A Active JP5512550B2 (ja) | 2008-02-13 | 2009-02-13 | デジタルカメラデバイスのホワイトバランス較正 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8004566B2 (ja) |
EP (1) | EP2091261B1 (ja) |
JP (2) | JP5512550B2 (ja) |
KR (1) | KR101154136B1 (ja) |
CN (1) | CN101911715B (ja) |
CY (1) | CY1117040T1 (ja) |
TW (1) | TW200952502A (ja) |
WO (1) | WO2009102998A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100271489A1 (en) * | 2009-04-23 | 2010-10-28 | Nokia Corporation | Imaging unit, apparatus comprising an imaging unit, a system, and methods for calibrating an imaging apparatus |
US8462227B2 (en) * | 2009-04-24 | 2013-06-11 | Ati Technologies Ulc | Digital camera module white balance calibration method and apparatus using only single illumination source data |
KR101245199B1 (ko) * | 2011-04-20 | 2013-03-19 | (주)아크로엠 | 카메라용 컬러 밸런스 조절 장치 및 조절 방법 |
US20120314086A1 (en) * | 2011-06-08 | 2012-12-13 | Apple Inc. | Camera test and calibration based on spectral monitoring of light |
WO2014057588A1 (ja) * | 2012-10-12 | 2014-04-17 | Necディスプレイソリューションズ株式会社 | 輝度校正装置、プログラムおよび輝度校正方法 |
US8854709B1 (en) * | 2013-05-08 | 2014-10-07 | Omnivision Technologies, Inc. | Automatic white balance based on dynamic mapping |
CN103338383B (zh) * | 2013-06-25 | 2016-12-28 | 努比亚技术有限公司 | 白平衡校准的方法及装置 |
CN103963453B (zh) * | 2014-04-21 | 2016-07-06 | 杭州电子科技大学 | 一种印刷灰平衡预置方法 |
US9386289B2 (en) * | 2014-04-29 | 2016-07-05 | Intel Corporation | Automatic white balancing with chromaticity measure of raw image data |
CN105578166B (zh) * | 2016-01-08 | 2018-06-05 | 浙江宇视科技有限公司 | 一种色温确定方法及装置 |
EP3449628B1 (en) | 2016-04-25 | 2022-12-14 | Zhejiang Dahua Technology Co., Ltd | Methods, systems, and media for image white balance adjustment |
CN106791758B (zh) * | 2016-12-07 | 2018-07-06 | 浙江大华技术股份有限公司 | 一种图像中自然光混合色温的判断方法及装置 |
CN105872513A (zh) * | 2016-06-17 | 2016-08-17 | 刘华英 | 基于环境特征值的白平衡方法和装置 |
US10420186B2 (en) * | 2017-05-31 | 2019-09-17 | Nbcuniversal Media, Llc | Color tunable light with zone control |
EP3553373A1 (en) | 2018-04-13 | 2019-10-16 | NBCUniversal Media, LLC | Digitally adjustable focused beam lighting system |
US10863059B2 (en) * | 2018-06-26 | 2020-12-08 | Microsoft Technology Licensing, Llc | Environmental-based spatial color uniformity correction by using statistical distribution of camera modules |
US10791310B2 (en) * | 2018-10-02 | 2020-09-29 | Intel Corporation | Method and system of deep learning-based automatic white balancing |
US11047560B2 (en) | 2019-05-29 | 2021-06-29 | Nbcuniversal Media, Llc | Light emitting diode cooling systems and methods |
US11333342B2 (en) | 2019-05-29 | 2022-05-17 | Nbcuniversal Media, Llc | Light emitting diode cooling systems and methods |
CN112950635A (zh) * | 2021-04-26 | 2021-06-11 | Oppo广东移动通信有限公司 | 灰点检测方法、灰点检测装置、电子设备及存储介质 |
KR20230023498A (ko) | 2021-08-10 | 2023-02-17 | 삼성전자주식회사 | 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법 |
US12025302B1 (en) | 2023-04-28 | 2024-07-02 | NBCUniversal Studios LLC | Light emitting diode lighting systems and methods |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS612487A (ja) * | 1984-06-14 | 1986-01-08 | Sony Corp | カラ−ビデオカメラの自動白バランス調整方法 |
JP2776437B2 (ja) * | 1987-02-18 | 1998-07-16 | ミノルタ株式会社 | 自動ホワイトバランス調整装置 |
JPH05300525A (ja) * | 1991-04-19 | 1993-11-12 | Hitachi Ltd | ホワイトバランス制御装置 |
US5821993A (en) | 1996-01-25 | 1998-10-13 | Medar, Inc. | Method and system for automatically calibrating a color camera in a machine vision system |
US5995142A (en) | 1996-02-04 | 1999-11-30 | Sony Corporation | Automatic white balance control system for a color video camera |
US6023264A (en) * | 1998-04-24 | 2000-02-08 | Adobe Systems Incorporated | Method to estimate the white point on a display device |
US6654493B1 (en) | 1998-11-13 | 2003-11-25 | Lightsurf Technologies, Inc. | Charactering and calibrating an image capture device |
KR100304663B1 (ko) * | 1998-12-04 | 2001-09-29 | 윤종용 | 칼라조명색온도검출방법및장치 |
JP2001275122A (ja) * | 2000-03-27 | 2001-10-05 | Minolta Co Ltd | デジタルカメラ |
US6947079B2 (en) * | 2000-12-22 | 2005-09-20 | Eastman Kodak Company | Camera having verification display with reverse white balanced viewer adaptation compensation and method |
US7084907B2 (en) * | 2001-01-15 | 2006-08-01 | Nikon Corporation | Image-capturing device |
JP4059708B2 (ja) | 2001-06-01 | 2008-03-12 | オリンパス株式会社 | デジタルカメラ及びホワイトバランス調整方法 |
US7184080B2 (en) * | 2001-06-25 | 2007-02-27 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring |
US7218344B2 (en) * | 2001-08-15 | 2007-05-15 | Sony Corporation | System and method for efficiently performing a white balance operation |
EP1311111A3 (en) * | 2001-11-08 | 2004-12-08 | Fuji Photo Film Co., Ltd. | Method and apparatus for correcting white balance, method for correcting density and program recording medium |
JP3719424B2 (ja) * | 2002-05-09 | 2005-11-24 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体 |
US7218358B2 (en) * | 2004-06-15 | 2007-05-15 | Coretronic Corporation | Method and apparatus for calibrating color temperature of color display devices |
JP2006279459A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像撮影装置、画像撮影方法、画像撮影プログラムおよび記録媒体 |
JP4539432B2 (ja) * | 2005-05-16 | 2010-09-08 | ソニー株式会社 | 画像処理装置および撮像装置 |
US7912279B2 (en) * | 2006-10-26 | 2011-03-22 | Qualcomm Incorporated | Automatic white balance statistics collection |
US8049789B2 (en) * | 2006-12-15 | 2011-11-01 | ON Semiconductor Trading, Ltd | White balance correction using illuminant estimation |
-
2008
- 2008-02-13 US US12/030,814 patent/US8004566B2/en active Active
- 2008-03-31 EP EP08006441.3A patent/EP2091261B1/en not_active Not-in-force
-
2009
- 2009-02-13 TW TW098104719A patent/TW200952502A/zh unknown
- 2009-02-13 JP JP2010546929A patent/JP5512550B2/ja active Active
- 2009-02-13 CN CN200980101577.9A patent/CN101911715B/zh not_active Expired - Fee Related
- 2009-02-13 WO PCT/US2009/034121 patent/WO2009102998A1/en active Application Filing
- 2009-02-13 KR KR1020107020457A patent/KR101154136B1/ko not_active IP Right Cessation
-
2013
- 2013-09-24 JP JP2013197615A patent/JP2014042272A/ja not_active Withdrawn
-
2015
- 2015-09-28 CY CY20151100856T patent/CY1117040T1/el unknown
Also Published As
Publication number | Publication date |
---|---|
JP5512550B2 (ja) | 2014-06-04 |
WO2009102998A1 (en) | 2009-08-20 |
TW200952502A (en) | 2009-12-16 |
CN101911715B (zh) | 2012-12-05 |
EP2091261A3 (en) | 2014-07-02 |
EP2091261A2 (en) | 2009-08-19 |
US20090201374A1 (en) | 2009-08-13 |
CN101911715A (zh) | 2010-12-08 |
KR101154136B1 (ko) | 2012-06-13 |
JP2011512112A (ja) | 2011-04-14 |
US8004566B2 (en) | 2011-08-23 |
CY1117040T1 (el) | 2017-04-05 |
KR20100121665A (ko) | 2010-11-18 |
EP2091261B1 (en) | 2015-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5512550B2 (ja) | デジタルカメラデバイスのホワイトバランス較正 | |
US10897609B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
US10070042B2 (en) | Method and system of self-calibration for phase detection autofocus | |
EP3414896B1 (en) | Combined hdr/ldr video streaming | |
US9473698B2 (en) | Imaging device and imaging method | |
US8508619B2 (en) | High dynamic range image generating apparatus and method | |
US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
CN106713755B (zh) | 全景图像的处理方法及装置 | |
US8803994B2 (en) | Adaptive spatial sampling using an imaging assembly having a tunable spectral response | |
US9066072B2 (en) | Systems and methods for calibrating image sensors | |
JP5457845B2 (ja) | 色特性補正装置およびカメラ | |
CN107995396B (zh) | 一种双摄像头模组以及终端 | |
KR101639664B1 (ko) | 촬상장치 및 촬상방법 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
CN104221364A (zh) | 成像装置和图像处理方法 | |
US20180115757A1 (en) | Mesh-based auto white balancing | |
KR20170074771A (ko) | 라이트필드 카메라들에 의해 캡처된 이미지 상에 야기된 비네팅 효과를 정정하는 방법 및 장치 | |
US9143762B2 (en) | Camera module and image recording method | |
KR101337667B1 (ko) | 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작 | |
US10937230B2 (en) | Image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20140407 |