JP2009518982A - 適応性自動ホワイト・バランス - Google Patents

適応性自動ホワイト・バランス Download PDF

Info

Publication number
JP2009518982A
JP2009518982A JP2008544670A JP2008544670A JP2009518982A JP 2009518982 A JP2009518982 A JP 2009518982A JP 2008544670 A JP2008544670 A JP 2008544670A JP 2008544670 A JP2008544670 A JP 2008544670A JP 2009518982 A JP2009518982 A JP 2009518982A
Authority
JP
Japan
Prior art keywords
component
image
light source
gray
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008544670A
Other languages
English (en)
Inventor
ノイェス、イング・シェ
フング、スゼポ・ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009518982A publication Critical patent/JP2009518982A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

画像システムは、画像フォーマットの成分のゲインを生成する。このゲインは、シーンの画像が生成されたときにシーンを照明している光源の輝度に少なくとも部分的に依存する。このゲインは、光源によってもたらされた画像の色変化に対する画像フォーマットの成分を補正するために使用することができる。幾つかの事例では、画像システムは、画像フォーマットの複数の成分のためのゲインであるか、または、画像フォーマットの成分の全てのためのゲインを生成する。このゲインは、光源によってもたらされた画像における色変化の成分を補正するために使用することができる。

Description

本願は、画像システムに関し、更に詳しくは、画像システムにおける自動ホワイト・バランスに関する。
デジタル画像は、異なる光条件の下で生成される。異なる光源は、画像における異なる色変化を生成する。自動ホワイト・バランス（ＡＷＢ）技術は、色変化に対して画像を補正するために適用された。ＡＷＢ技術は、一般に、画像の光源を識別するために、灰色に関してフォーマットされた画像データを適用する。この画像データはその後、識別された光源に関連付けられた色変化に対して補正される。しかしながら、現在のＡＷＢ技術は、光源を識別する際に混乱する場合がある。例えば、蛍光灯の下で撮影された青色は、太陽光の下で撮影された灰色に似た色記号を有する。その結果、現在のＡＷＢ技術は、蛍光灯によって照明された青の画像を、太陽光の下で撮影された画像と間違える。その結果、光源によって引き起こされた色変化の補正において改善のニーズがある。
（３５Ｕ．Ｓ．Ｃ．§１１９の下の優先権主張）
本特許出願は、２００５年１２月８日に出願され、"ADAPTIVE AUTO WHITE BALANCE WITH WEIGHTING VECTORS"と題され、本願の譲受人に譲渡され、その全体が本明細書に参照によって明確に組み込まれた米国仮出願６０／７４８，７３２号の優先権を主張する。
発明の概要
画像システムは、画像フォーマットの成分のゲインを生成する。このゲインは、シーンの画像が生成されたとききシーンを照明する光源の輝度に少なくとも部分的に依存する。このゲインは、光源によって引き起こされた画像における色変化に対して、画像フォーマットの成分を補正するために使用することができる。幾つかの事例では、画像システムは、画像フォーマットにおける複数の成分、または、画像フォーマットにおける成分の全てのゲインを生成する。各ゲインは、光源によって引き起こされた画像における色変化に関する成分を補正するために用いられる。このシステムの１つの実施形態は、モバイル・カメラ電話である。この電話は、シーンの画像が生成されたときにシーンを照明している光源の輝度を決定するための電子機器を含む。この電話は更に、複数の重み係数を決定するために輝度を用いる電子機器を含む。重み係数はそれぞれ、画像が生成されたときに、異なる光源が、シーンを照明している光源である確率を示す。この電話は更に、画像フォーマットの成分の重み付けられた灰色成分を生成する電子機器を含む。重み付けられた灰色成分は、画像フォーマットの成分である。更に、重み付けられた灰色成分は、既知の光強度を持つ異なる可能な光源にそれぞれ関連付けられた可能な灰色成分の重み付け平均でありうる。特定の可能な光源に関連付けられた可能な灰色成分の値は、可能な光源によって照明された灰色に関してこの成分が持つであろう値を示す。重み付け平均された可能な灰色成分は、画像が既知の光強度レベルで生成された場合に、可能な灰色成分に関連付けられた可能な光源が、シーンを照明している光源である確率を示す係数によって重み付けられる。この電話は更に、画像フォーマットの成分のゲインを生成するために、重み付けられた灰色成分を用いる電子機器と、画像が生成されたときに、シーンを照明している光源によって引き起こされた画像における色変化に関する成分を補正するためにこのゲインを用いる電子機器とを含む。
詳細な説明
画像システムは、画像フォーマットの１または複数の成分のゲインを生成する。各ゲインは、シーンの画像における色変化に対して画像フォーマットの成分を補正するために使用される。この色変化は、画像が撮られたときにシーンを照明していた光源によって引き起こされる。各ゲインは、シーンを照明している光源の輝度に少なくとも部分的に依存する。例えば、特定のセットの画像データのために決定されたゲインは、光源の輝度に依存して異なりうる。ゲインを生成する場合に輝度を考慮に入れることは、色変化補正が、正しい光源に基づくであろう確率を高める。例えば、明るい画像は、太陽光を光源として屋外で撮られる可能性が高いであろう。一方、さほど明るくない画像は、タングステン光源または蛍光光源の下で、屋内で撮られる可能性が高いであろう。その結果、輝度は、シーンを照明している光源を示す。
ゲインは、それぞれ異なる光源に関連付けられた重み係数を用いて生成される。各重み係数は、シーンが生成されたときに、関連付けられた光源が、このシーンを照明していた光源である確率を示す。これら重み係数はそれぞれ、シーンを照明している光源の輝度の関数である。その結果、異なる光源に関連付けられた重み係数を決定するために、シーンを照明している光源の輝度が用いられる。ゲインは、複数の異なる光源に関するデータの関数であって、各光源のデータは、その光源に関連付けられた重みによって重み付けられる。従って、画像が生成されたときに、各光源が、シーンを実際に照明している光源であるという確率によって重み付けられた異なる光源に関するデータからゲインが生成される。
輝度を用いることによって、蛍光灯の下で撮影された青色と、太陽光の下で撮影された灰色との間の乱れを克服することができる。例えば、シーンを照明している光源が非常に明るい場合、本システムは、蛍光灯よりも太陽光により重みを与えるだろう。従って、ゲインは、支配的な光源として太陽光を主に反映し、画像データは、太陽光からのものを主とする色変化に対して補正されるだろう。シーンを照明している光源が、それほど明るくない場合、本システムは、太陽光よりも蛍光灯により高い重みを与えるだろう。従って、ゲインは主に、支配的な光源として蛍光灯を反映し、画像データは、主に蛍光灯からの色変化に対して補正されるだろう。
重み係数は、簡単なチューニング方法をシステムに提供する。例えば、重み係数は、異なる輝度レベルにおいて、異なる光源の影響を調節するために変えることができる。
図１は、画像システム１０のブロック図である。画像システム１０は、光センサ１６にそれぞれ関連付けられたピクセル１４からなるアレイを有する画像センサ１２を含んでいる。幾つかの事例では、ピクセルは、カラムとローからなる２次元アレイで構成される。画像センサの例は、限定される訳ではないが、ＣＭＯＳ（相補型金属酸化膜半導体）センサ・チップと、ＣＣＤ（電荷結合素子）センサ・チップとを含んでいる。
画像システムは、画像センサ１２から画像データを受信するように構成された電子機器２０を含んでいる。画像データは、シーンの画像を記述する。電子機器２０は、画像が生成されたときにシーンを照明していた光源に起因する色変化に対する画像データを補正する。この電子機器は、画像を再生成したり、１または複数の出力デバイス２４へその結果を出力するために、補正された画像データを用いることができる。適切な出力デバイス２４は、限定される訳ではないが、コンピュータ・システム、プリンタ、送信機、例えばインターネットのようなネットワーク、および、例えばカメラ・ディスプレイ、テレビ電話ディスプレイ、ビデオ・スクリーン、コンピュータ・スクリーンのようなディスプレイを含む。１または複数の出力デバイス２４は、画像システム１０の一部として示されているが、１または複数の出力デバイス２４は、画像システムの外部であっても良い。
電子機器２０は、メモリ３０と通信するプロセッサ２８を含んでいる。メモリ３０は、例えば画像や、画像に関連付けられたデータを格納することのような読み／書き動作に適切な任意のメモリ・デバイスまたはこれらメモリ・デバイスの組み合わせでありうる。
プロセッサは、補助電子機器３２と電気的に通信している。補助電子機器３２は、データを電子機器２０に提供したり、電子機器２０からデータを受信するシステム内の何れかにある電子機器でありうる。例えば、補助電子機器３２は、ビデオ・フロント・エンドでありうる。幾つかの事例では、補助電子機器３２は、１または複数のプロセッサ、及び／又は、１または複数のメモリを含んでいる。電子機器２０は、画像に関するデータを求めてこれら補助電子機器３２にアクセスすることができる。例えば、電子機器２０は、画像が生成された時に、シーンを照明している光源の輝度に関するデータを求めてこれら補助電気機器にアクセスすることができる。補助電子機器３２は、電気機器とは別のものとして示されているが、補助電子機器と電子機器とは統合されることが可能である。
本発明の方法および装置は、例えば、フロッピ（登録商標）ディスク、ＣＤ−ＲＯＭ、ハード・ドライブ、ランダム・アクセス・メモリまたは読取専用メモリ、あるいはその他の機械読取可能記憶媒体のような明確なメディア内で具体化されたプログラム・ロジックまたはプログラム・コード（すなわち、命令群）のうちの少なくとも一部を形成することができる。プログラム・コードが、例えばコンピュータのような機械へロードされ、実行される場合、この機械が、本発明を実現するための装置になる。本発明の方法および装置はまた、光ファイバや、無線インタフェースや、その他任意の送信形式を介した例えば電気的ワイヤリングまたはケーブリングのような幾つかの送信媒体を介して送信されるプログラム・コードの形式で具体化されうる。プログラム・コードが受信され、ロードされ、例えばプロセッサのような機械によって実行される場合、この機械が、本発明を実現する装置となる。汎用プロセッサ上で実施される場合、プログラム・コードは、プロセッサと一緒になって、具体的なロジック回路と似たように動作するユニークな装置を提供する。幾つかの事例では、電子機器は、プロセッサ２８と通信するコンピュータ読取可能媒体３４を含む。コンピュータ読取可能媒体は、プロセッサによって実行される命令群からなるセットを有することができる。コンピュータ読取可能媒体３４は、メモリ３０とは異なるものとして示されているが、コンピュータ読取可能媒体３４は、メモリ３０と同じになることができる。
適切なプロセッサ２８は、限定される訳ではないが、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラム可能ゲート・アレイ（ＦＰＧＡ）またはその他のプログラム可能ロジック回路、ディスクリート・ゲートまたはトランジスタ・ロジック、ディスクリート・ハードウェア・コンポーネント、あるいは本明細書に記載の機能を実行するように設計された任意の組み合わせを含む。汎用プロセッサは、マイクロプロセッサでありうるが、代替例では、このプロセッサは、任意の従来式プロセッサ、コントローラ、マイクロコントローラ、または状態機械でありうる。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１または複数のマイクロプロセッサ、またはその他任意のそのような構成のような計算デバイスの組み合わせとして実現されうる。
適切なコンピュータ読取可能媒体３４は、限定される訳ではないが、例えば、ＣＤ、磁気記憶ディスケット、Ｚｉｐディスク、磁気テープ、ＲＡＭ、およびＲＯＭのような光ディスクを含む。幾つかの事例では、コンピュータ読取可能媒体３４は、画像システムの外部に位置する。例えば、コンピュータ読取可能媒体は、コンピュータ・ネットワーク上のサーバ・コンピュータに接続することができる。幾つかの事例では、コンピュータ読取可能媒体３４は必要ではない。
適切な画像システム１０の例は、限定される訳ではないが、デジタル・カメラ、ビデオ・カメラ、モバイル・カメラ電話、医療用画像デバイスを含む。画像システムはさらに、画像データを格納するように構成されたコンピュータ・システムでありうる。適切なコンピュータ・システムの一例は、限定される訳ではないが、パーソナル・コンピュータおよびサーバを含む。幾つかの事例では、画像システムは、画像センサを含んでいない。例えば、画像システムがコンピュータ・システムである場合、画像センサは必ずしも画像システムには含まれない。画像センサが画像システムに含まれない場合、画像センサは、画像システムから独立することができるが、電子機器がセンサ値を受信できるように、画像システムと通信するように配置されうる。
図２は、図１の画像システムのような画像システムを介した画像データの進展を示す。画像データは、ＲＧＢフォーマットあるいはＹＣｂＣｒフォーマットのような画像フォーマットでありうる。画像フォーマットは、異なる成分を含む。例えば、ＲＧＢフォーマットはＲ成分、Ｇ成分、およびＢ成分を含む一方、ＹＣｂＣｒ画像フォーマットは、Ｙ成分、Ｃｂ成分、およびＣｒ成分を含む。ほとんどの事例では、画像フォーマットの成分の各々は、画像の光学特性を示す。例えば、ＲＧＢフォーマットでは、Ｒ成分がピクセルの赤成分を示し、Ｇ成分がピクセルの緑成分を示し、Ｂ成分がピクセルの青成分を示す。ＹＣｂＣｒフォーマットでは、Ｙは、ピクセルのルミネセンス成分を示す一方、ＣｂおよびＣｒは各々、ピクセルのクロミナンス成分を示す。その結果、画像成分のセットは一般に、ピクセルの光学特性を記述する。しかしながら、電子機器は、個々のピクセル以外の項目を記述するために、画像フォーマットの成分を適用する。例えば、多数のピクセルを含んでいる領域の光学特性は、画像フォーマットの成分を用いて記述することができる。その結果、画像の領域は、Ｒ成分（Ｒｒｅｇ）、Ｇ成分（Ｇｒｅｇ）、およびＢ成分（Ｂｒｅｇ）を用いて記述することができる。
画像の生成中、電子機器は、画像センサから画像データを受け取る。電子機器は、メモリ内にこの画像データを格納する。画像データは、例えばＲＧＢフォーマットのような初期フォーマットである場合がある。例示目的のために、図２は、ＲＧＢフォーマットの画像データで始まる。電子機器は、生のデータ・フォーマットを、灰色のピクセル識別フォーマットへ変換する。電子機器は、可能な灰色のピクセルを識別するために、灰色ピクセル識別フォーマットの画像データを適用する。その結果、識別フォーマットは、初期フォーマットよりも、灰色のピクセルを識別するのにより適することができる。初期フォーマットが、可能な灰色ピクセルを識別するのに適切な事例では、画像データを初期フォーマットから識別フォーマットへ変換することは、実現のために必要ではないかもしれない。その結果、画像データを初期フォーマットから識別フォーマットへ変換することは、オプションでありうる。適切な識別フォーマットは、限定される訳ではないが、ＹＣｂＣｒフォーマットを含んでいる。図２は、ＹＣｂＣｒフォーマットの画像データに変換される初期ＲＧＢフォーマットの画像データを示す。
電子機器は、可能な灰色ピクセルを識別するために、灰色の識別フォーマットの画像成分を用いる。例えば、電子機器は、このピクセルが可能な灰色のピクセルであるかを判定するために、ピクセルに関する識別フォーマットのうちの１または複数の成分を、１または複数の基準と比較することができる。この識別フォーマットがＹＣｂＣｒフォーマットである場合、電子機器は、範囲内にＹ値を持つピクセルを選択することができる。Ｙに対する値の範囲は、暗すぎるピクセルであるか、明るすぎるピクセルが、可能な灰色ピクセルのプールから取り除かれるように確立することができる。その後、電子機器は、それぞれＣｒおよび／またはＣｂの関数である１または複数の基準を満足する選択されたピクセルを識別することができる。識別されたピクセルは、可能な灰色ピクセルとして役立つ。灰色ピクセルを識別するために適切な基準は、以下の式で表現することができる。例えば、以下の６つの式を満足するＹＣｂＣｒ成分を備えたピクセルは、可能な灰色ピクセルと考えることができる。
Figure 2009518982
定数ｍ１、ｍ２、ｍ３、ｍ４、ｃ１、ｃ２、ｃ３およびｃ４は、１または複数の可能な灰色ピクセルが、ほとんど全ての画像が実際に識別されることを促進しながら、可能な灰色ピクセルの正確な選択を促進するために選択される。例示目的のために、図２におけるダイヤグラムＡは、画像内のピクセルの一部を例示する。ピクセルの一部は、灰色になり、可能な灰色ピクセルを表す。式１乃至式６は、個別の式として例示されているが、これら式は結合することが可能である。例えば、式１および式２は、Ｙｍｉｎ≦Ｙ≦Ｙｍａｘとして表すことができる。
幾つかの事例では、可能な灰色ピクセルであるかを識別するために、ピクセルの一部のみが処理される。大量のデータを有するより大きな画像では、この処理時間は、全ピクセルよりも少ないピクセルをサンプルすることによって低減される。例えば、灰色ピクセルであるかを確かめるために、水平方向および／または垂直方向におけるその他全てのピクセルがテストされる。
電子機器は、画像を、領域またはブロックに分割する。例えば、図２におけるダイヤグラムＢは、領域に分割された画像の一部を例示する。各領域は、複数のピクセルを含む。例えば、図２のダイヤグラムＡに例示するような画像の一部は、図２のダイヤグラムＢにおける領域のうちの１つとなる。一例において、各領域は、（ピクセル／１６の画像幅）ピクセル×（ピクセル／１６の画像高さ）ピクセルを含み、他の例では、各領域は、（ピクセル／８の画像幅）ピクセル×（ピクセル／８の画像高さ）ピクセルを含む。別の例では、各領域はそれぞれ単一のピクセルを含んでいる。従って、以下の説明は、個々のピクセルを表わす各領域で行なうことができる。
電子機器は、可能な灰色ピクセルのうちの１つを含む各領域の領域成分を決定することができる。各領域成分は、識別フォーマットの成分に対応する。例えば、領域成分は、識別フォーマットでありうる。その結果、領域成分は、識別フォーマットの成分と同じでありえる。一例として、識別フォーマットがＹＣｂＣｒフォーマットである場合、領域成分は、領域Ｙ成分（Ｙｒｅｇ）、領域Ｃｂ成分（Ｃｂｒｅｇ）、および領域Ｃｒ成分（Ｃｒｒｅｇ）を含むことができる。従って、領域Ｙ成分（Ｙｒｅｇ）は、識別フォーマットのＹ成分に対応し、領域Ｃｂ成分（Ｃｂｒｅｇ）は、識別フォーマットのＣｂ成分に対応し、領域Ｃｒ成分（Ｃｒｒｅｇ）は、識別フォーマットのＣｒ成分に対応する。
各領域成分はそれぞれ生成されるので、領域における可能な灰色ピクセルの対応する成分を表す。例えば、電子機器は、領域内の可能な灰色ピクセルのＹ値を平均化することによって、領域の領域Ｙ成分（Ｙｒｅｇ）を生成し、領域内の可能な灰色ピクセルのＣｂ値を平均化することによって、領域の領域Ｃｂ成分（Ｃｂｒｅｇ）を生成し、領域内の可能な灰色ピクセルのＣｒ値を平均化することによって、領域の領域Ｃｒ成分（Ｃｒｒｅｇ）を生成することができる。あるいは、電子機器は、領域Ｙ成分（Ｙｒｅｇ）として、領域内の可能な灰色ピクセルのＹ値のメジアンを用い、領域Ｃｂ成分（Ｃｂｒｅｇ）として、領域内の可能な灰色ピクセルのＣｂ値のメジアンを用い、領域Ｃｒ成分（Ｃｒｒｅｇ）として、領域内の可能な灰色ピクセルのＣｒ値のメジアンを用いることができる。領域のうちの幾つかは、何れの灰色ピクセルをも含まないので、領域のうちの少なくとも一部は、それぞれ領域成分に関連付けられる。
電子機器は、領域成分を識別フォーマットから比較フォーマットに変換することができる。電子機器は、領域成分に関連付けられた領域の各々が灰色領域であるかを判定するために比較フォーマットを適用する。その結果、比較フォーマットは、灰色領域を識別するために、識別フォーマットよりもより適切でありうる。図２に示す例では、電子機器は、ＹＣｂＣｒフォーマットの領域成分を、ＲＧＢフォーマットとＹＣｂＣｒフォーマットとの間の従来式の変換を用いて、ＲＧＢフォーマットの領域成分に変換する。その変換の結果、領域Ｒ成分（Ｒｒｅｇ）、領域Ｇ成分（Ｇｒｅｇ）、および領域Ｂ成分（Ｂｒｅｇ）となる。幾つかの事例では、識別フォーマットは、比較フォーマットとして用いるのに適している。その結果、識別フォーマットから比較フォーマットへの領域成分の変換は必要ではないかもしれない。更に、比較フォーマットは、初期フォーマットと同じでありえる。例えば、図２に例示するように、初期フォーマットと比較フォーマットは共に、ＲＧＢフォーマットでありうる。
電子機器は、異なる光源に関し、領域成分を基準データと比較することができる。異なる光源の例は、限定される訳ではないが、白熱光源、ハロゲン光源、タングステン光源、蛍光光源、異なる日時における太陽光、および／または異なる条件下における太陽光を含む。光源は、例えば太陽光と蛍光灯との組み合わせのような光源の組み合わせになりえる。
基準データは、メモリ内に格納することができる。基準データは、メモリ内に格納することができる。
基準データは、各光源に関連付けられた基準成分を含むことができる。各基準成分は、比較フォーマットの成分に対応することができる。例えば、基準成分は、比較フォーマットでありうる。その結果、基準成分は、比較フォーマットの成分と同じでありうる。一例として、比較フォーマットがＲＧＢフォーマットである場合、基準成分は、基準Ｒ成分（Ｒｒｅｆ）、基準Ｇ成分（Ｇｒｅｆ）、および基準Ｂ成分（Ｂｒｅｆ）を含むことができる。従って、基準Ｒ成分（Ｒｒｅｆ）は、比較フォーマットにおけるＲ成分に相当し、基準Ｇ成分（Ｇｒｅｆ）は、比較フォーマットにおけるＧ成分に相当し、基準Ｂ成分（Ｂｒｅｆ）は、比較フォーマットにおけるＢ成分に相当する。灰色を示す光源の基準成分は、その光源によって照明された場合に表れる。従って、光源の基準成分は、その光源によって照明された場合、灰色の光特性を示す。
灰色シーンの画像を生成することによって基準データが生成される。ここでは、各画像が、基準データが望まれる光源によって照明される。灰色シーンは、一様に照明されるフラット・フィールドでありうる。幾つかの事例では、同じ光源について１より多い画像が生成される。画像は比較フォーマットで生成されるか、または、比較フォーマットへ変換される。画像の比較フォーマットは、光源によって照明された灰色を表す基準成分を識別するために処理される。例えば、光源の基準Ｒ値は、光源によって照明された画像のうちの１または複数における異なるピクセルのＲ値の平均でありうる。あるいは、光源の基準Ｒ値は、光源によって照明された画像のうちの１または複数における異なるピクセルのＲ値のメジアンでありうる。
領域成分は、灰色領域を識別するために、基準成分と比較される。この比較は、比較フォーマット空間における異なる点の間の距離を利用することができる。ＲＧＢはカラー・フォーマットである。その結果、比較フォーマットがＲＧＢフォーマットである場合、比較フォーマット空間はＲＧＢ色空間である。従って、比較フォーマットがＲＧＢフォーマットである場合、この比較は、ＲＧＢ色空間における異なる点の間の距離を利用することができる。
図２におけるダイヤグラムＣは、Ｂ／Ｇを表すｘ軸とＲ／Ｇを表すｙ軸とを備えたＲＧＢ色空間を例示する２次元ダイヤグラムである。基準点は、Ｐ１ｒｅｆとラベルされた黒丸で示される。この基準点は、ＲＧＢ色空間内の光源のうちの１つの基準成分の位置を例示する。例えば、Ｐ１ｒｅｆとラベルされた基準点は、蛍光光源に関連付けられたＲｒｅｆ、Ｇｒｅｆ、およびＢｒｅｆに位置することができる。領域点は、中空円として例示される。領域点は、比較フォーマット空間におけるその領域の位置を例示する。例えば、Ｐ１ｒｅｇとラベルされた領域点は、図２のダイヤグラムＢに例示するような領域のうちの１つに関連付けられたＲｒｅｇ、Ｇｒｅｇ、およびＢｒｅｇから決定されるような（Ｒｒｅｇ／Ｇｒｅｇ、Ｂｒｅｇ／Ｇｒｅｇ）に位置することができる。図２におけるダイヤグラムＣは、２次元のダイヤグラムを示すが、比較フォーマット空間は、２次元を超える次元で表現されることも可能である。例えば、ＲＧＢ色空間は、Ｒ成分を表すｘ軸と、Ｇ成分を表すｙ軸と、Ｂ成分を表すｙ軸とを備えた３次元でありうる。
基準データは、光源の各々に関連付けられた距離範囲を含むことができる。幾つかの事例では、この距離範囲は、光源の各々について同一である。この距離範囲は、メモリ内に格納することができる。幾つかの事例では、この距離範囲は、基準データ内に含まれる。
電子機器は、領域点の各々について、領域点と、最も近い基準点との間の距離を判定することができる。判定された距離は各々、比較距離として役立つ。領域の比較距離は、最も近い基準点に関連付けられた距離範囲と比較することができる。比較距離が、距離範囲内にある場合、領域点に関連付けられた領域が、灰色領域として分類され、その領域点の領域データが、将来の計算のために保持される。比較距離が距離範囲を越える場合、その領域点に関連付けられた領域は、灰色領域となることはできず、その領域点の領域データが、将来の計算のために保留される。灰色領域を識別する処理は、その領域点の各々について繰り返すことができる。
灰色領域を識別する処理は、基準点の各々における円を中心としており、かつ、円の外側に位置する領域点を除外するものとして例示される。特定の基準点の周りの円の直径は、その基準点に関連付けられた距離範囲と等しい。例示目的のために、図２のダイヤグラムＣは、Ｐ１ｒｅｆとラベルされた基準点を中心とし、幾つかの領域点を囲んでいる円を含む。この円の外側の領域点は、破棄することができる。例えば、Ｐ２ｒｅｇとラベルされた領域点は、円の外側にあり、更なる計算から破棄することができる。
灰色領域を識別する処理は、２次フィルタとして作用することができ、可能な灰色ピクセルを識別する処理は、１次フィルタとして作用することができる。２次フィルタ処理は、領域成分が、灰色ピクセルを実際に含む領域のためであることを保証するのに役立つ。例えば、１次フィルタ処理は、ある緑ピクセルとある黄色ピクセルとを、可能な灰色ピクセルであるとして誤って識別しうる。２次フィルタ処理は、領域成分が、灰色の基準成分に近いが必要であるので、２次フィルタ処理は、誤って識別された可能な灰色ピクセルを含む領域を除去することができる。
電子機器は、可能な光源を識別するために灰色領域を用いる。例えば、電子機器は、基準点の周りの領域点のクラスタを識別することができる。図２においてダイヤグラムＣに関して述べたように、基準点に関連付けられた距離範囲は、比較フォーマット空間内の基準点の周りの円として例示することができる。円の内部の領域点は、領域点のクラスタに属する。異なる円内の領域点は、異なるクラスタに属する。幾つかの事例では、領域点は、２つの異なるクラスタに関連付けられた円内に位置し、この領域点がどのクラスタに属するか明らかではないかもしれない。これらの事例では、領域点は、その領域点に最も近い基準点に関連付けられたクラスタに属するものとして指定されうる。図２におけるダイヤグラムＣは、Ａとラベルされたクラスタと、Ｂとラベルされたクラスタとを例示する。クラスタ内の灰色領域はそれぞれ、灰色領域がクラスタ化される基準点に関連付けられる。各基準点は光源に関連付けられているので、各灰色領域もまた光源に関連付けられる。光源に関連付けられた灰色領域の数は、しきい値数と比較することができる。しきい値数を越える灰色領域の数に関連付けられた光源は、画像が取得された時間においてシーンを照明している実際の光源である可能な光源として分類される。例えば、ダイヤグラムＣで例示された画像は、Ａとラベルされたクラスタ内の灰色領域に関連付けられた光源、および／または、Ｂとラベルされたクラスタ内の灰色領域に関連付けられた光源によって照明されるであろう。幾つかの事例では、１または複数の光源が、灰色領域のしきい値数と等しいかまたはそれより少ない灰色領域の数に関連付けられる。これらの光源は、可能な光源として分類されないだろう。可能な光源として分類されるべき光源のための光源に関連付けられる必要のある灰色領域のしきい値数は、０、１、および／または１を越える値でありうる。
電子機器は、可能な光源の各々について可能な灰色成分を生成する。可能な灰色成分はそれぞれ、比較フォーマットの成分に相当することができる。従って、可能な灰色成分は、比較フォーマットの成分と同じでありえる。一例として、比較フォーマットがＲＧＢフォーマットである場合、可能な灰色成分は、可能な灰色Ｒ成分（Ｒｓｓ）、可能な灰色Ｇ成分（Ｇｓｓ）、および可能な灰色Ｂ成分（Ｂｓｓ）を含むことができる。従って、可能な灰色Ｒ成分（Ｒｓｓ）は、比較フォーマットのＲ成分に相当し、可能な灰色Ｇ成分（Ｇｓｓ）は、比較フォーマットのＧ成分に相当し、可能な灰色Ｂ成分（Ｂｓｓ）は、比較フォーマットのＢ成分に相当する。
特定の可能な光源のための可能な灰色成分の値は、その可能な光源によって照明された場合、フォーマット成分がその灰色のために持つであろう値の近似である。従って、電子機器は、その可能な光源に関連付けられた灰色領域のための光学特性を特徴付けることができるように、特定の可能な光源のための可能な灰色成分を生成する。その結果、可能な光源の可能な灰色成分は、その可能な光源に関連付けられた灰色領域の領域成分の関数でありうる。例えば、可能な光源のための可能な灰色成分は、その可能な光源に関連付けられた灰色領域のための対応する領域成分の平均でありうる。一例として、可能な光源のＲｓｓは、その光源に関連付けられたＲｒｅｇ値の平均でありうる。あるいは、可能な光源用の可能な灰色成分は、その可能な光源に関連付けられた灰色領域の対応する領域成分のメジアンでありうる。
電子機器は、重み付けられた灰色成分を決定するために、可能な灰色成分を使用する。重み付けられた各灰色成分は、比較フォーマットの成分に相当することができる。重み付けられた灰色成分は、比較フォーマットの成分と同じでありえる。一例として、比較フォーマットがＲＧＢフォーマットである場合、重み付けられた灰色成分は、重み付けられたＲ成分（Ｒｗ）、重み付けられたＧ成分（Ｇｗ）、および重み付けられたＢ成分（Ｂｗ）を含むことができる。従って、重み付けられたＲ成分（Ｒｗ）は、比較フォーマットにおけるＲ成分に相当し、可能な灰色Ｇ成分（Ｇｗ）は、比較フォーマットにおけるＧ成分に相当し、可能な灰色Ｂ成分（Ｂｗ）は、比較フォーマットにおけるＢ成分に相当する。
電子機器は、重み付けられた灰色成分を決定するために重み係数をも使用する。可能な光源の各々は、重み係数と関連付けることができる。重み係数は、シーンの画像が生成されたとき、この係数に関連付けられた可能な光源が、シーンを照明している光源である確率を示すことができる。例えば、重み係数は、画像のための実際の光源がタングステン光源であるか太陽光であるかの相対確率を示すことができる。
光源に関連付けられた重み係数は、シーンの画像が撮られたときに、シーンを照明している光源の輝度に少なくとも部分的に依存することができる。例えば、表１は、異なる輝度レベルに対する可能な重み係数を示す。高い輝度レベルでは、太陽光の重み係数は、タングステン光源および／または蛍光光源の重み係数よりも大きい。この重み付けは、非常に明るい画像が戸外で撮られることが高い確率を反映する。例えば、タングステン光源を１に重み付ける一方、太陽光を２００に重み付けることは、画像が太陽光によって照明される相対確率が、画像がタングステン光源によって照明される確率の２００倍であることを示す。低い輝度レベルでは、太陽光の重み係数は、タングステン光源および／または白熱光源の重み係数よりも低い。この重み付けは、薄暗い条件で生成された画像が屋内で撮られたとの確率が高いことを反映する。例えば、タングステン光源を２に重み付ける一方、太陽光を１に重み付けることは、画像が太陽光によって照明される相対確率が、画像がタングステン光源によって照明される確率の半分であることを示す。従って、重み係数は、画像が、可能な光源のうちの特定の１つによって照明される確率を示す。
Figure 2009518982
輝度に少なくとも部分的に依存する重み係数に各光源を関連付けるデータは、メモリに格納することができる。幾つかの事例では、重み係数に各光源を関連付けるデータは、基準データとともに含まれる。例えば、基準データは、例えば表１に示すデータのようなデータを含むルック・アップ・テーブルを含むことができる。
電子機器は、自動露光制御ロジックから画像輝度を決定することができる。自動露光制御ロジックは、図１に示された第２の電子機器に含まれている。例えばカメラのような多くの画像デバイスが、ビデオ・フロント・エンド（ＶＦＥ）内に第２の電子機器を含んでいる。電子機器は、輝度を、輝度に少なくとも部分的に依存する重み係数に各光源を関連付けるデータと比較することにより、個々の可能な光源の重み係数を決定することができる。例えば、第１の条件の下では、太陽光の重み係数が１であることを決定するために、電子機器は、低輝度を、表１内のデータと比較することができる。重み係数を決定する際に、電子機器は、実際に輝度を使用する必要はないが、輝度を示すか、輝度と関連する信号および／またはその他の変数を使用することができる。
電子機器は、重み付けられた灰色成分を生成するために、重みおよび可能な灰色成分を使用する。重み付けられた灰色成分は各々、比較フォーマットの成分に相当しうる。例として、比較フォーマットがＲＧＢフォーマットである場合、重み付けられた灰色成分は、重み付けられたＲ成分（Ｒｗ）、重み付けられたＧ成分（Ｇｗ）、および重み付けられたＢ成分（ＢＷ）を含むことができる。
重み付けられた灰色成分は、それぞれの可能な灰色成分に関連付けられた光源が、画像のための実際の光源である確率によって重み付けられた１または複数の光源によって関連付けられた可能な灰色成分であることを示す。その結果、重み付けられた灰色成分は、画像内の灰色ピクセルに属する成分の近似である。
電子機器は、対応する可能な灰色成分の重み付け平均を生成することにより、重み付けられた灰色成分を生成することができる。重み付け平均における各可能な灰色成分は、可能な灰色成分に関連付けられた可能な光源が、画像が生成されたときにシーンを照明していた光源でもあるという確率を示す係数によって重み付けることができる。例として、Ａとラベルされたクラスタと関連付けられた光源の可能な灰色Ｒ成分は、Ｒｓｓ、Ａと示され、Ｂとラベルされたクラスタと関連付けられた光源の可能な灰色Ｒ成分は、Ｒｓｓ、Ｂと示され、Ａとラベルされたクラスタと関連付けられた光源の重み係数は、ＷＡと示され、Ｂとラベルされたクラスタと関連付けられた光源の重み係数は、ＷＢと示される。これら表示を用いて、重み付けられたＲ成分（ＲＷ）は、Ｒｗ＝（ＷＡ＊Ｒｓｓ、Ａ＋ＷＢＲｓｓ、Ｂ）／（ＷＡ＋ＷＢ）として示される。その結果、重み付けられた灰色成分は、重み係数と可能な灰色成分との関数である。
電子機器は、比較フォーマットの成分のゲインを決定するために、重み付けられた灰色成分を用いる。このゲインはそれぞれ、比較フォーマットの成分に相当している。例として、比較フォーマットがＲＧＢフォーマットである場合、ゲインは、Ｒ成分（ＧＲ）のためのゲイン、Ｇ成分（ＧＧ）のためのゲイン、およびＢ成分（ＧＢ）のためのゲインを含むことができる。
ＲＧＢフォーマットでは、Ｒ成分、Ｇ成分、およびＢ成分は、灰色と等しい。灰色のＲ成分、Ｇ成分、およびＢ成分の各々を設定するために、電子機器は、予備的な赤ゲイン（ＰＧＲ）を１／Ｒｗ、予備的な緑ゲイン（ＰＧＧ）を１／Ｇｗ、予備的な青ゲイン（ＰＧＢ）を１／Ｂｗと定めることができる。電子機器は、赤ゲインＧＲ、緑ゲインＧＧ、および青ゲインＧＢを提供するために、ＰＧＲ、ＰＧＧ、およびＰＧＢからなるグループにおける最低値によって、ＰＧＲ、ＰＧＧ、およびＰＧＢの値を規格化することができる。ゲインは、重み係数の関数である重み付け灰色成分から決定されるので、ゲインは、重み係数の関数である。ゲインは、重み係数の関数であり、重み係数は、シーンを照明する光源の輝度に少なくとも部分的に依存するので、ゲインは、画像の輝度に少なくとも部分的に依存する。例えば、フォーマットされた画像データのセットのために決定されるゲインは、画像が生成されたときにシーンを照明していた光源の輝度に依存して異なりうる。
画像成分ゲインは、光源ベースの色変化に対して画像を補正するために用いることができる。例えば、画像データが、比較フォーマットと同じフォーマットで利用可能な場合、光源ベースの色変化に対して画像を補正するために、画像データの成分に、対応するゲインを乗じることができる。例えば、画像データがＲＧＢフォーマットにおいて利用可能であり、比較フォーマットがＲＧＢフォーマットである場合、補正された画像データは、画像データ内のＲ値に赤ゲインを乗じ、画像データ内のＧ値に緑ゲインを乗じ、画像データ内のＢ値に青ゲインを乗じることによって生成される。画像データが、比較フォーマットと同じフォーマットで利用可能ではない場合、ゲインは、比較フォーマットから、画像データと同じフォーマットに変換することができる。あるいは、画像データは、ゲインと同じフォーマットに変換することができる。電子機器は、補正された画像データをメモリに格納するか、あるいは、またはそれに加えて、補正された画像を出力デバイス上に表示することができる。
図３は、光源ベースの色変化に対して画像を補正するために画像データを処理する方法を例示するフロー図である。処理ブロック２００では、画像データが受け取られる。例えば、電子機器が、画像センサから画像データを受け取ることができる。この画像データは、シーンの画像のためのものである。画像データは、例えばＲＧＢフォーマットのような画像成分を有する初期フォーマットにある。処理ブロック２０２では、画像内の灰色ピクセルが識別される。例えば、電子機器は、この画像データを、初期フォーマットから、画像成分をも持つ灰色ピクセル識別フォーマットへ変換することができる。灰色ピクセルの識別に適切なフォーマットは、ＹＣｂＣｒフォーマットでありうる。灰色ピクセル識別フォーマット・ピクセルの成分は、可能な灰色ピクセルであるピクセルを識別するために、式１〜６に示す基準と比較されうる。
処理ブロック２０４では、灰色領域が識別される。例えば、電子機器は、領域成分を生成するために、画像における異なる領域に位置する可能な灰色ピクセルのための画像成分を平均化することができる。電子機器は、基準データと比較するために、領域成分を、灰色ピクセル識別フォーマットから比較フォーマットへ変換することができる。例えば、電子機器は、領域成分を、例えばＹＣｂＣｒのようなピクセル識別フォーマットから、例えばＲＧＢのような比較フォーマットに変換することができる。電子機器は、各領域が灰色領域であるかを判定するために、比較フォーマットにおける領域成分を、基準データと比較することができる。幾つかの事例では、この比較は、領域と基準点との間の、比較フォーマット空間における距離を決定することを含む。領域と、最も近い基準点との間の距離が、距離範囲よりも大きい場合、その領域は、灰色領域ではないと判定される。領域と、最も近い基準点との間の距離が、距離範囲内である場合、その領域は、その基準点に関連付けられた灰色領域であると判定される。１を超える基準点の距離範囲内に領域がある場合、その領域は、最も近い基準点に関連付けられた灰色領域でありうる。
処理ブロック２０６では、可能な光源が識別される。灰色領域はそれぞれ基準点に関連付けられ、基準点はそれぞれ光源に関連付けられているので、灰色領域はそれぞれ光源に関連付けられている。電子機器は、光源に関連付けられた灰色領域の数を決定することができる。光源に関連付けられた灰色領域の数がしきい値を越える場合、電子機器は、その光源を可能な光源として分類することができる。光源に関連付けられた灰色領域の数が、しきい値に、あるいはそれ以下になった場合、電子機器は、その光源を可能な光源として分類することができる。この処理は、光源の各々のために繰り返されうる。
処理ブロック２０８では、画像フォーマットの成分のためのゲインが生成される。例えば、電子機器は、ゲインを生成するために、灰色領域のデータを、可能な光源の各々の基準データと比較することができる。図４は、ゲインを生成する適切な方法を図示するフローチャートである。
処理ブロック２１０では、画像が生成された場合にシーンを実際に照明していた光源によって引き起こされた色変化に対して画像データが補正される。例えば、電子機器は、ゲインを用いて、画像データの１または複数の成分に、対応するゲインを乗じることによって画像データの成分を補正することができる。電子機器は、補正された画像データをメモリ内に格納し、あるいは、またはそれに加えて、補正された画像データを出力デバイスに出力し、あるいは、またはそれに加えて、補正された画像を出力デバイス上に表示することができる。
図４は、画像フォーマットの１または複数の成分のためのゲインを生成する適切な方法を例示するフロー図である。処理ブロック２３０では、可能な光源と灰色領域のデータが受け取られる。例えば、電子機器は、図３の処理ブロック２０６で生成されたデータにアクセスすることができる。処理ブロック２３２では、各可能な光源の可能な灰色成分が生成される。例えば、電子機器は、可能な光源に関連付けられた灰色領域の対応する領域成分を平均化することによって、可能な光源の可能な灰色成分を生成することができる。電子機器は、可能な光源の各々、および成分の各々に対する平均化処理を繰り返すことができる。
処理ブロック２３４では、シーンを照明していた光源の輝度が決定される。例えば、電子機器は、補助電子機器から輝度を受け取ることができる。あるいは、電子機器は、補助電子機器から、輝度を示すデータであるか、あるいは、機能の関数であるデータを受け取ることができる。処理ブロック２３６では、可能な光源の各々の重み係数を決定するために輝度が用いられる。例えば、電子機器はメモリから、各光源を、輝度の関数である重み係数に関連付けるデータにアクセスすることができる。例として、電子機器は、メモリから、表１のデータを含むルック・アップ・テーブルにアクセスすることができる。電子機器は、各可能な光源の重み係数を決定できるように、処理ブロック２３４で決定された輝度を、データと比較することができる。
処理ブロック２３８では、重み付けられた灰色成分を生成するために、重み係数と、可能な灰色成分とが合成される。例えば、電子機器は、可能な灰色成分の重み付け平均を生成することができる。この成分の重み付け平均は、光源についての重み係数によって重み付けられた各可能な光源に対応する可能な灰色成分を有することができる。
処理ブロック２４０では、重み付けられた灰色成分が、ゲインを生成するために使用される。例えば、電子機器は、成分について重み付けられた灰色成分の逆数として、その成分のための予備的ゲインを決定することができる。予備的ゲインは、重み付けられた灰色成分の各々について決定することができる。電子機器は、ゲインを生成するために、最も低い予備的ゲインによって、予備的ゲインを規格化することができる。
図３および図４のフロー図内で例示された処理ブロックおよび決定ブロックは、例示されたシーケンス以外のシーケンスでも行うことが可能である。例えば、図４は、処理ブロック２３４および処理ブロック２３６と平行して実行される処理ブロック２３０および処理ブロック２３２を示す。しかしながら、処理ブロック２３０、処理ブロック２３２、処理ブロック２３４、および処理ブロック２３６は、連続的に実行することができる。更に、あるいは、その代わりに、図３および図４のフロー図の開示の一部はオプションである。例えば、初期フォーマットからピクセル識別フォーマットへの変換は、オプションでありうる。また、ピクセル識別フォーマットから比較フォーマットへの変換も、オプションでありうる。
図５は、色変化を補正できるように画像データを処理する論理モジュールを示す論理フロー図である。電子機器１８は、画像センサから画像データを受け取るように構成された灰色ピクセル識別モジュール２５２を含む。灰色ピクセル識別モジュール２５２は、画像内の可能な灰色ピクセルを識別できるように、画像データを処理することができる。電子機器はまた、灰色領域識別モジュール２５４と基準データ・モジュール２５６とを含んでいる。基準データ・モジュール２５６は、基準光源の基準成分を格納し、処理することができる。灰色領域識別モジュール２５４は、領域成分を生成するために、画像の異なる領域に位置する可能な灰色ピクセルの画像データを処理することができる。灰色領域識別モジュール２５４は、灰色領域を識別するために、領域成分を基準成分と比較することができる。
電子機器は、灰色領域識別モジュール２５４から灰色領域の領域成分を受け取り、かつ、基準データ・モジュール２５６から基準成分を受け取る可能光源識別モジュール２５８を含む。可能光源識別モジュール２５８は、可能な光源を識別するために、灰色領域の領域成分を、基準成分と比較する。可能な光源の各々は、画像が撮られたときにシーンを照明している光源でありうる。
電子機器はまた、シーンの画像が生成されているときにシーンを照明している光源の輝度を決定するように構成された輝度モジュール２６０を含む。例えば、電子機器は、補助電子機器から、輝度または輝度を示すデータを受け取ることができる。基準データ・モジュール２５６は、輝度モジュール２６０から輝度を受け取り、この輝度を、係数データと比較することができる。係数データは、輝度に少なくとも部分的に依存する重み係数に各光源を関連付ける。基準データ・モジュール２５６は、光源の各々の重み係数を生成できるように、輝度を係数データと比較することができる。
電子機器は、基準データ・モジュール２５６から重み係数を受け取り、かつ、可能光源識別モジュール２５８から可能な光源の領域データを受け取るゲイン生成モジュール２６２を含む。ゲイン生成モジュール２６２は、各可能な光源の可能な灰色成分を生成するために、可能な光源の領域データを用いる。ゲイン生成モジュール２６２は、画像データの成分のゲインを生成するために、可能な灰色成分と重み係数とを合成する。
電子機器は、画像補正モジュール２６４を含んでいる。この画像補正モジュールは、画像が生成されたときにシーンを照明している光源から生じる色変化に対し、画像データのうちの１または複数の成分を補正するために、ゲイン生成モジュールからのゲインを用いる。補正された画像データは、出力デバイス２４において受け取ることができる。電子機器はまた、画像補正モジュール２６４から、補正された画像データを受け取り、それを格納する記憶モジュール２６６を含んでいる。
上記開示は灰色を用いることに関して与えられているが、本開示はその他の色に関しても適用可能である。更に、この開示は、ＲＧＢフォーマットやＹＣｂＣＲフォーマット以外のフォーマットに関しても適用可能である。
上述した１または複数の方法のうちの全てまたは一部は、画像システムによって、あるいは、画像システム内の電子機器によって実行される。更に、プロセッサは、上述した方法の１または複数のうちの全てまたは一部を実行することができる。電子機器が、コンピュータ読取可能媒体を含む場合、プロセッサは、コンピュータ読取可能媒体上の命令群を実行することができる。これら命令群は、プロセッサに対して、上述した方法の１または複数のうちの全てまたは一部を実行させることができる。更に、上述した方法の１または複数のうちの全てまたは一部は、開示した画像システム以外のシステムおよびデバイスによって実行することができる。
当業者であれば、これら情報および信号が、種々異なった技術や技法を用いて表されることを理解するであろう。例えば、上述した記載の全体で引用されているデータ、命令群、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光学場または光学微粒子、あるいはこれら何れかの組み合わせによって表現されうる。
当業者であれば、更に、本明細書で開示された実施形態に関連して記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズム・ステップが、電子工学ハードウェア、コンピュータ・ソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互置換性を明確に説明するために、様々な例示的な部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとして又はソフトウェアとして実現されるかは、特定のアプリケーション及びシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変化する方法で上述した機能を実現することができる。しかしながら、この適用判断は、本発明の範囲からの逸脱をもたらすものと解釈されるべきではない。
本明細書で開示された実施形態に関連して記述された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリート・ゲートあるいはトランジスタ・ロジック、ディスクリート・ハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実施されうる。
汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはその他任意のこのような構成である計算デバイスの組み合わせとして実現することも可能である。
本明細書で開示された実施形態に関連して記述された方法やアルゴリズムのステップは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェア・モジュールによって、または、これらの組み合わせによって具体化される。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。典型的な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されることができる。このプロセッサと記憶媒体とは、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体とは、ユーザ端末内のディスクリート部品として存在することができる。
開示された実施形態における上述の記載は、当業者をして、本発明の製造または利用を可能とするように提供される。これらの実施形態への様々な変形例もまた、当業者には明らかであって、本明細書で定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく他の実施形態にも適用されうる。このように、本発明は、本明細書で示された実施形態に限定されるものではなく、本明細書に記載された原理および新規な特徴に一致した最も広い範囲に相当することが意図されている。
図１は、画像システムのブロック図である。 図２は、図１の画像システムによる画像データの進展を示す。 図３は、光源ベースの色変化に対して画像を補正するために画像データを処理する方法を例示するフロー図である。 図４は、光源ベースの色変化に対して画像を補正するために利用されるゲインを生成する適切な方法のためのフロー図の例である。 図５は、画像システムにおいて画像データを処理するためのロジック・モジュールを示すロジック・フロー図である。

Claims (29)

  1. 画像システムであって、
    画像フォーマットの成分のゲインを生成するように構成された電子機器を備え、
    前記ゲインは、シーンの画像が生成されたときに、前記シーンを照明している光源の輝度に少なくとも部分的に依存し、前記ゲインは、前記光源によって引き起こされた前記画像の色変化の成分を補正することが可能である画像システム。
  2. 画像システムであって、
    画像フォーマットの成分のゲインを生成するように構成された電子機器を備え、
    前記ゲインは、シーンの画像が生成されたときに、前記シーンを照明している光源の輝度に少なくとも部分的に依存し、
    前記画像システムは更に、
    前記光源によって引き起こされた前記画像の色変化の成分を補正するために前記ゲインを用いるように構成された電子機器を備える画像システム。
  3. 前記成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択される請求項１に記載のシステム。
  4. 前記成分は、前記画像の光学特性を示す請求項１に記載のシステム。
  5. 前記ゲインは、複数の重み係数に少なくとも部分的に依存し、
    各重み係数は、複数の可能な光源のうちの別の１つが、前記画像が生成されたときに前記シーンを照明している光源である確率を示す請求項１に記載のシステム。
  6. 前記重み係数は、前記シーンの画像が生成されたときに、前記シーンを照明している光源の輝度に少なくとも部分的に依存する請求項３に記載のシステム。
  7. 前記ゲインは、前記可能な光源のうちの別の１つにそれぞれ関連付けられた可能な灰色成分の重み付け平均から生成され、
    前記重み付け平均における各可能な灰色成分は、前記可能な灰色成分に関連付けられた前記可能な光源が、前記画像が生成されたときに前記シーンを照明している光源である確率を示す係数によって重み付けられる請求項３に記載のシステム。
  8. 前記可能な灰色成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択される成分用である請求項７に記載のシステム。
  9. 少なくとも１つの可能な灰色成分は、複数の灰色ピクセルの画像成分の平均である請求項７に記載のシステム。
  10. 前記可能な灰色成分のうちの１つの平均に含まれる前記灰色ピクセルは、色空間内でプロットされた場合に、前記色空間内の基準点のまわりにクラスタ化されるピクセル画像を有し、前記基準点は、前記基準点に関連付けられた光源によって照明された場合、灰色の画像成分を有する請求項９に記載のシステム。
  11. 画像変化に対して前記画像を補正するために前記ゲインを用いる電子機器を更に備える請求項１に記載のシステム。
  12. 前記シーンの画像が生成されたときに前記シーンを照明している光源の輝度を決定する電子機器と、
    複数の重み係数を決定するために前記輝度を用いる電子機器とを備え、
    各重み係数は、複数の可能な光源のうちの別の１つが、前記画像が生成されたときに前記シーンを照明している確率を示し、
    前記システムは更に、
    前記成分のゲインを決定するために、前記重み係数を用いる電子機器を備える請求項１に記載のシステム。
  13. 領域が灰色領域であるかを判定できるように、前記画像内のピクセルの異なる領域のフォーマット・データの成分を、複数の基準点の成分と比較する電子機器と、
    前記ゲインが、灰色ではないと判定された領域に依存しないように、前記ゲインを生成する電子機器と
    を更に備える請求項１に記載のシステム。
  14. 前記ピクセルが灰色ピクセルであるかを判定できるように、前記画像内の別のピクセルの画像フォーマットの成分を、複数の基準点の成分と比較する電子機器と、
    前記ゲインが、灰色ではないと判定されたピクセルに依存しないように、前記ゲインを生成する電子機器と
    を更に備える請求項１に記載のシステム。
  15. 前記シーンの画像が生成されたとき、各ゲインが、前記シーンを照明している光源の輝度に少なくとも部分的に依存できるように、複数のゲインを生成するように構成され、
    各ゲインは、前記光源によって引き起こされた前記画像の色変化に対し、前記画像フォーマットの異なる成分を補正するために使用されうる請求項１に記載のシステム。
  16. モバイル・カメラ電話であって、
    シーンの画像が生成されたとき、前記シーンを照明している光源の輝度を決定する電子機器と、
    複数の係数を決定するために前記輝度を用いる電子機器とを備え、
    各係数は、前記画像が生成されたときに、複数の可能な光源のうちの別の１つが、前記シーンを照明している光源である確率を示し、
    前記電話は更に、重み付けられた灰色成分を生成する電子機器を備え、
    前記重み付けられた灰色成分は、可能な光源のうちの別の１つにそれぞれ関連付けられた可能な灰色成分の重み付け平均であり、特定の可能な光源に関連付けられた前記可能な灰色成分は、可能な光源によって照明されたときに、前記成分が灰色のために有するであろう値を示し、前記重み付け平均における各可能な灰色成分は、前記画像が生成されたとき、前記可能な灰色成分に関連付けられた可能な光源が、前記シーンを照明している光源である確率を示す係数によって重み付けられ、
    前記電話は更に、
    前記画像のデータのフォーマットの成分のためのゲインを生成するために、前記重み付けられた灰色成分を用いる電子機器と、
    前記画像が生成されたときに前記シーンを照明している光源によって生成された色変化に対して成分を補正するために前記ゲインを用いる電子機器と
    を備えたモバイル・カメラ電話。
  17. 前記画像のデータの成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択され、
    前記可能な灰色成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択され、
    前記重み付けられた灰色成分は、ＲＧＢ画像フォーマットの重み付けられたＲ成分、ＲＧＢ画像フォーマットの重み付けられたＧ成分、およびＲＧＢ画像フォーマットの重み付けられたＢ成分からなるグループから選択される請求項１５に記載の電話。
  18. 画像システムであって、
    シーンの画像のデータを受け取る手段と、
    画像フォーマットの成分のゲインを生成する手段とを備え、
    前記ゲインは、前記画像が生成されたときに、前記シーンを照明している光源の輝度に少なくとも部分的に依存し、
    前記画像システムは更に、前記光源によって引き起こされた前記画像の色変化の成分を補正するために前記ゲインを用いる手段を備える画像システム。
  19. 前記ゲインを生成する手段は、複数の係数を決定するために、前記輝度を用いる手段を含み、
    各係数は、複数の可能な光源のうちの別の１つが、前記画像が生成されたときに前記シーンを照明している光源である確率を示す請求項１７に記載のシステム。
  20. 前記ゲインを生成する手段は、重み付けられた灰色成分を生成する手段を含み、
    前記重み付けられた灰色成分は、前記複数の可能な光源のうちの別の１つにそれぞれ関連付けられた可能な灰色成分の重み付け平均であり、前記重み付け平均における各可能な灰色成分は、可能な灰色成分に関連付けられた可能な光源が、前記画像が生成されたときに前記シーンを照明している光源である確率を示す係数によって重み付けられる請求項１８に記載のシステム。
  21. 前記成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択される請求項１７に記載のシステム。
  22. 画像データを処理するためのプログラム製品であって、
    コンピュータ読取可能媒体に含まれ、シーンの画像のデータを受け取ることと、画像フォーマットの成分のゲインを生成することとからなるコンピュータ実行ステップをさせるように構成されたコンピュータ実行可能ロジックを備え、
    前記ゲインは、前記画像が生成されたときに、前記シーンを照明している光源の輝度に少なくとも部分的に依存するプログラム製品。
  23. 前記ゲインを生成することは、複数の係数を決定するために、前記輝度を用いることを含み、各係数は、複数の可能な光源のうちの別の１つが、前記画像が生成されたときに前記シーンを照明している光源である確率を示す請求項２１に記載のプログラム製品。
  24. 前記ゲインを生成することは、重み付けられた灰色成分を生成することを含み、前記重み付けられた灰色成分は、前記可能な光源のうちの別の１つにそれぞれ関連付けられた可能な灰色成分の重み付け平均であり、前記重み付けられた平均における各可能な灰色成分は、可能な灰色成分に関連付けられた可能な光源が、前記画像が生成されたときに前記シーンを照明している光源である確率を示す係数によって重み付けられる請求項２１に記載のプログラム製品。
  25. 前記成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択される請求項２１に記載のプログラム製品。
  26. 画像データ処理方法であって、
    シーンの画像のデータのゲインを生成することを備え、
    前記画像が生成されたときに、前記シーンを照明している光源の輝度に前記ゲインが少なくとも部分的に依存することができるように、前記ゲインが生成され、
    前記方法は更に、前記光源によって引き起こされた前記画像の色変化の成分を補正するために前記ゲインを用いることを備える方法。
  27. 前記成分は、ＲＧＢ画像フォーマットのＲ成分、ＲＧＢ画像フォーマットのＧ成分、およびＲＧＢ画像フォーマットのＢ成分からなるグループから選択される請求項２５に記載の方法。
  28. 前記ゲインを生成することは、複数の係数を決定するために前記輝度を用いることを含み、各係数は、複数の可能な光源のうちの別の１つが、前記画像が生成されたときに前記シーンを照明している光源である確率を示す請求項２５に記載の方法。
  29. 前記ゲインを生成することは、重み付けられた灰色成分を生成することを含み、前記重み付けられた灰色成分は、前記可能な光源のうちの別の１つにそれぞれ関連付けられた可能な灰色成分の重み付け平均であり、前記重み付けられた平均における各可能な灰色成分は、可能な灰色成分に関連付けられた可能な光源が、前記画像が生成されたときに前記シーンを照明している光源である確率を示す係数によって重み付けられる請求項２７に記載の方法。
JP2008544670A 2005-12-08 2006-12-08 適応性自動ホワイト・バランス Pending JP2009518982A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74873205P 2005-12-08 2005-12-08
US11/404,477 US8064110B2 (en) 2005-12-08 2006-04-13 Adaptive auto white balance
PCT/US2006/061818 WO2007120321A2 (en) 2005-12-08 2006-12-08 Adaptive auto white balance

Publications (1)

Publication Number Publication Date
JP2009518982A true JP2009518982A (ja) 2009-05-07

Family

ID=38138992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008544670A Pending JP2009518982A (ja) 2005-12-08 2006-12-08 適応性自動ホワイト・バランス

Country Status (6)

Country Link
US (1) US8064110B2 (ja)
EP (1) EP1958457A2 (ja)
JP (1) JP2009518982A (ja)
KR (1) KR100955145B1 (ja)
TW (1) TW200806047A (ja)
WO (1) WO2007120321A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140601A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728880B2 (en) * 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
US7885690B2 (en) * 2005-12-28 2011-02-08 Toppoly Optoelectronics Corp. Methods for driving devices capable of displaying images and processing audio messages
US8384801B2 (en) * 2007-07-31 2013-02-26 Qualcomm Incorporated Scene-dependent auto exposure control
US8013907B2 (en) 2008-04-08 2011-09-06 Omnivision Technologies, Inc. System and method for adaptive local white balance adjustment
US8149292B2 (en) * 2008-06-11 2012-04-03 Omnivision Technologies, Inc. Automatic white balance using non-uniform averaging
US20100020193A1 (en) * 2008-07-28 2010-01-28 Texas Instruments Incorporated Method and apparatus for white balance
US9118880B2 (en) * 2008-09-24 2015-08-25 Nikon Corporation Image apparatus for principal components analysis based illuminant estimation
KR101030393B1 (ko) 2009-02-20 2011-04-20 인하대학교 산학협력단 디지털 영상의 화이트 밸런스 조정 장치 및 방법
KR101590771B1 (ko) 2009-08-27 2016-02-02 삼성전자주식회사 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법
US8547450B2 (en) * 2010-02-22 2013-10-01 Texas Instruments Incorporated Methods and systems for automatic white balance
TWI501635B (zh) * 2010-06-09 2015-09-21 Hon Hai Prec Ind Co Ltd 具圖像處理功能的相機及相機系統
TWI554116B (zh) * 2012-10-16 2016-10-11 鴻海精密工業股份有限公司 白平衡調整方法
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
KR102346522B1 (ko) 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
CN106791758B (zh) * 2016-12-07 2018-07-06 浙江大华技术股份有限公司 一种图像中自然光混合色温的判断方法及装置
US10805588B2 (en) 2016-04-25 2020-10-13 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for image white balance adjustment
EP3718304A1 (en) 2017-12-01 2020-10-07 InterDigital VC Holdings, Inc. Processing an image
US20220292635A1 (en) * 2021-03-11 2022-09-15 Samsung Electronics Co., Ltd. Method and apparatus with image correction
US11509875B1 (en) * 2021-08-06 2022-11-22 Ford Global Technologies, Llc Enhanced color consistency for imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251620A (ja) * 1995-03-07 1996-09-27 Eastman Kodak Japan Kk オートホワイトバランス装置
JP2000092509A (ja) * 1998-09-11 2000-03-31 Eastman Kodak Japan Ltd オートホワイトバランス装置
JP2001112019A (ja) * 1999-10-04 2001-04-20 Eastman Kodak Japan Ltd オートホワイトバランス装置及び方法
JP2005033434A (ja) * 2003-07-10 2005-02-03 Olympus Corp デジタルカメラ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162890A (ja) 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JP3550440B2 (ja) 1995-04-13 2004-08-04 イーストマン・コダックジャパン株式会社 オートホワイトバランス調整装置
JP3787927B2 (ja) 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JP3849834B2 (ja) 1999-02-02 2006-11-22 富士写真フイルム株式会社 オートホワイトバランス制御方法
US7184080B2 (en) 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
US7019776B1 (en) * 2002-08-16 2006-03-28 Magnachip Semiconductor, Inc. Method and system for automatic white balancing
CN102098417A (zh) * 2002-10-11 2011-06-15 精工爱普生株式会社 图像输出装置及其方法
JP4076148B2 (ja) * 2003-03-20 2008-04-16 株式会社リコー デジタルカメラ
US7496228B2 (en) * 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP4305200B2 (ja) 2004-02-04 2009-07-29 株式会社ニコン 撮像装置および方法、並びにプログラム
EP1904952A2 (en) * 2005-05-23 2008-04-02 Nextcode Corporation Efficient finder patterns and methods for application to 2d machine vision problems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251620A (ja) * 1995-03-07 1996-09-27 Eastman Kodak Japan Kk オートホワイトバランス装置
JP2000092509A (ja) * 1998-09-11 2000-03-31 Eastman Kodak Japan Ltd オートホワイトバランス装置
JP2001112019A (ja) * 1999-10-04 2001-04-20 Eastman Kodak Japan Ltd オートホワイトバランス装置及び方法
JP2005033434A (ja) * 2003-07-10 2005-02-03 Olympus Corp デジタルカメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140601A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法

Also Published As

Publication number Publication date
US8064110B2 (en) 2011-11-22
TW200806047A (en) 2008-01-16
WO2007120321A3 (en) 2008-03-13
WO2007120321A2 (en) 2007-10-25
KR20080086491A (ko) 2008-09-25
KR100955145B1 (ko) 2010-04-28
EP1958457A2 (en) 2008-08-20
US20070133071A1 (en) 2007-06-14

Similar Documents

Publication Publication Date Title
JP2009518982A (ja) 適応性自動ホワイト・バランス
JP4754227B2 (ja) オートホワイトバランス装置及びホワイトバランス調整方法
JP4740602B2 (ja) オートホワイトバランス装置及びホワイトバランス調整方法
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
JP5377691B2 (ja) オートホワイトバランスを備える画像処理装置
EP2426928B1 (en) Image processing apparatus, image processing method and program
US10325354B2 (en) Depth assisted auto white balance
KR100983037B1 (ko) 자동 화이트 밸런스 조정 방법
US8243164B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
KR100478064B1 (ko) 백색 밸런스를 얻기 위한 조명광의 색추정 방법 및 촬상장치
JP2000092509A (ja) オートホワイトバランス装置
US20080292184A1 (en) Apparatus and method for automatically adjusting white balance
US20200228770A1 (en) Lens rolloff assisted auto white balance
US7486819B2 (en) Sampling images for color balance information
US20060177128A1 (en) White balance with zone weighting
JP4081213B2 (ja) オートホワイトバランス装置及び方法
US20070041064A1 (en) Image sampling method for automatic white balance
JP5899894B2 (ja) 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
US20200228769A1 (en) Lens rolloff assisted auto white balance
JP4269780B2 (ja) 画像処理装置、電子カメラ、及び画像処理プログラム
JP3958700B2 (ja) デジタルカメラ
JP3466167B2 (ja) 白バランスの光源色推定方法およびその推定方法を用いた撮像装置
CN101322417A (zh) 适应性自动白平衡
CN115170407A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP3903054B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111018