JP7343090B2 - 画像処理システム及び方法 - Google Patents

画像処理システム及び方法 Download PDF

Info

Publication number
JP7343090B2
JP7343090B2 JP2019050949A JP2019050949A JP7343090B2 JP 7343090 B2 JP7343090 B2 JP 7343090B2 JP 2019050949 A JP2019050949 A JP 2019050949A JP 2019050949 A JP2019050949 A JP 2019050949A JP 7343090 B2 JP7343090 B2 JP 7343090B2
Authority
JP
Japan
Prior art keywords
pixels
pixel
data
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019050949A
Other languages
English (en)
Other versions
JP2019186916A (ja
Inventor
ドミドゥ タラガラ，
デイビッド ハンウェル，
ヴァチェスラフ チェスノコフ，
アレクセイ コルニエンコ，
Original Assignee
アーム・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アーム・リミテッド filed Critical アーム・リミテッド
Publication of JP2019186916A publication Critical patent/JP2019186916A/ja
Application granted granted Critical
Publication of JP7343090B2 publication Critical patent/JP7343090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

[1]本発明は、画像データを処理するための方法及び装置に関連している。
背景
[2]画像センサは、通常、人間の視覚系によって知覚できるダイナミックレンジよりも小さいダイナミックレンジを有する情景の画像を捕捉することができ、このダイナミックレンジは、例えば、画像内の最も明るいピクセルのピクセル強度と、最も暗いピクセルのピクセル強度の間の比率である。例えば、人間の目は、５５ｄＢ（デシベル）を超えるダイナミックレンジを知覚することができ、一方、画像センサは、３５ｄＢ～４５ｄＢの範囲内のダイナミックレンジを有することがある。したがって、動きを伴う屋外の情景又は明るい光が存在する夜間の情景などの、高ダイナミックレンジの情景の画像の品質は、リアルタイムでの人間によるそのような情景の知覚と比較して、画像センサによって捕捉された画像では、低下することがある。
概要
[3]第１の態様によれば、
第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む画像の少なくとも一部を表す画像データを受信するステップと、
第１のピクセルのセットのうちの第１のピクセルを表す画像データの一部を処理して、第１のピクセルのセットのうちの第１のピクセルが飽和したピクセルであると決定する、処理するステップと、
第１のピクセルのセットのうちの第１のピクセル及び第２のピクセルのセットのうちの第１のピクセルを含む第１の画像領域に関して、第２のピクセルのセットのうちの第１のピクセルの値に基づく第１のデータを取得するステップと、
第１のデータに基づいて、第１のピクセルのセットのうちの第２のピクセル及び第２のピクセルのセットのうちの第２のピクセルを含む第２の画像領域に関して、第１のピクセルのセットのうちの第２のピクセルの値及び第２のピクセルのセットのうちの第２のピクセルの値に基づく第２のデータを取得するステップと、
第２のデータを処理して、第１のピクセルのセットのうちの第１のピクセルの第１のカラーチャネルに関連付けられた推定値を表す出力データを生成する、処理するステップと、
を含む方法が提供されている。
[4]画像センサは、通常、強度の制限範囲内の光を検出することができ、この制限範囲は、例えば、明度の制限範囲に対応してもよい。この範囲は、画像センサのダイナミックレンジに対応すると考えられてもよい。画像センサが検出できる最大強度を超える強度値は、同じ最大値に設定される。この設定は、クリッピングと呼ばれることがある。例えば、画像センサは、相対的に長い露光を使用して情景の画像を捕捉し、情景の暗い部分における詳細を捕捉するように、調整されてもよい。しかし、このアプローチでは、情景の明るい部分に対応する画像センサのセンサピクセルが飽和することがある。例えば、情景のこれらの部分の明度が、（例えば、画像センサによって画像に導入される不必要なアーチファクトを補正するための、白バランス補正やレンズシェーディング補正などの、情景を表す画像データの初期処理後に）センサピクセルによって記録できる最大明度を超えることがある。そのような場合、飽和したピクセルのピクセル強度値がクリップされ、情景の明るい部分の詳細が減少することがある。したがって、本明細書の実施例では、飽和は、色（例えば、明るさに比例するエリアの彩度）との関連における飽和ではなく、既定の最大値を超えたピクセル値の飽和を指している。
[5]実施例による方法は、飽和したピクセルのより正確な推定値の決定を可能にする。この推定値は、既定の最大強度値であってもよい、クリッピング後の飽和したピクセルの強度値などの、飽和したピクセルの飽和値よりも大きくなることがある。このようにして、画像データのダイナミックレンジを拡張することができ、画像の（例えば、飽和したピクセルに対応する）明るい部分の詳細を改善できる。
[6]第２の態様によれば、
ストレージであって、
第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む画像の少なくとも一部を表す画像データと、
第２のピクセルのセットのうちの第１のピクセルの値に基づく第１のデータと、
第１のピクセルのセットのうちの第２のピクセルの値及び第２のピクセルのセットのうちの第２のピクセルの値に基づく第２のデータと、
第１のピクセルのセットのうちの第１のピクセルの第１のカラーチャネルに関連付けられた推定値を表す出力データと、
を格納するための、ストレージと、
飽和補正システムであって、
第１のピクセルのセットのうちの第１のピクセルを表す画像データの一部を処理して、第１のピクセルのセットのうちの第１のピクセルが飽和したピクセルであると決定することと、
第１のピクセルのセットのうちの第１のピクセル及び第２のピクセルのセットのうちの第１のピクセルを含む第１の画像領域に関して、第１のデータを取得することと、
第１のデータに基づいて、第１のピクセルのセットのうちの第２のピクセル及び第２のピクセルのセットのうちの第２のピクセルを含む第２の画像領域に関して、第２のデータを取得することと、
第２のデータを処理して出力データを生成することと、を実行するよう機能する飽和補正システムと
を備えている、画像処理システムが提供されている。
[7]飽和補正システムは、ハードウェア又はソフトウェア、或いはハードウェア又はソフトウェアの組み合わせにおいて実装されてもよい。例えば、飽和補正システムは、非一時的コンピュータ可読記憶媒体に格納されたコンピュータ可読命令のセットとして実装されてもよく、これらのコンピュータ可読命令は、少なくとも１つのプロセッサによって実行されたときに、少なくとも１つのプロセッサに、飽和補正システムの方法を実行させる。
[8]添付の図面を単に例として参照して行われる以下の説明から、その他の特徴が明らかになる。
図１は、実施例に従って画像データを処理する方法を概略的に示す図である。 図２は、図１の方法において使用するためのデータを収集する例示的な方法を説明するフロー図である。 図３は、画像のブロックをサブブロックに分割する例を概略的に示す図である。 図４は、図３のブロックなどの画像のブロックから取得できる、例示的なヒストグラムを示す図である。 図５は、画像の飽和したブロックのデータを収集する例示的な方法を概略的に示す図である。 図６は、第１の画像領域の１つのピクセルが飽和している実施例に従って、出力データの生成を概略的に示す図である。 図７は、第１の画像領域の１つのピクセルが飽和している実施例に従って、少なくとも２つのパラメータ値に重み付けする例を概略的に示す図である。 図８は、第１の画像領域の２つのピクセルが飽和している実施例に従って、出力データの生成を概略的に示す図である。 図９は、第１の画像領域の２つのピクセルが飽和している実施例に従って、少なくとも２つのパラメータ値に重み付けする例を概略的に示す図である。 図１０は、実施例に従って画像処理システムの構成要素を概略的に示す図である。
詳細な説明
[10]各図を参照して、以下の説明から、実施例によるシステム及び方法の詳細が明らかになる。この説明では、説明の目的で、特定の実施例の多数の具体的な詳細が示される。本明細書における「実施例」又は類似の言葉への参照は、実施例に関連して説明された特定の特徴、構造、又は特性が、少なくともその１つの実施例には含まれるが、他の実施例には必ずしも含まれないことを意味している。実施例の基礎になる概念の説明及び理解を簡単にするために、特定の特徴が省略され、及び／又は必然的に簡略化されて、特定の実施例が概略的に説明されることに、さらに注意するべきである。
[11]図１は、実施例に従って画像データを処理する方法を概略的に示している。画像データは、画像の少なくとも一部を表し、画像センサ１００を使用して捕捉される。画像センサは、通常、センサピクセルのアレイを含み、画像を捕捉するための任意の適切な光センサであってもよい。例えば、標準的なセンサピクセルは、入射光を電子信号又はデータに変換できる光ダイオードなどの、受光素子を含む。センサピクセルは、例えば、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）又は相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。通常、露光は、画像センサの各センサピクセルによって光が捕捉される期間、及び／又は増幅器によって、各センサピクセルによって生成された電気信号に適用される利得を設定する。したがって、入射光に対する画像センサの感度は、通常、露光によって決定される。図１の実施例では、画像センサ１００は、１回の露光を使用して画像データを捕捉するように調整される。例えば、同じ期間の間、又は互いに同じ長さの期間の間、画像センサ１００のすべてのセンサピクセルが光を捕捉してもよい。しかし、他の実施例では、本明細書に記載された実施例で使用するための画像センサは、少なくとも２回の異なる露光でセンサピクセルを使用して画像データを捕捉するように調整される、多重露光画像センサであってもよい。
[12]例えば、画像データは、画像センサ１００によって捕捉された光の少なくとも１つの特性を表す。例えば、画像データは、各センサピクセルによって捕捉された光の強度を表してもよく、この光の強度は、センサピクセルによって捕捉された光子の数に比例してもよい。この強度は、例えば、絶対強度ではなく、単位面積当たりの光の強度の測定値である、捕捉された光の輝度を表してもよい。他の実施例では、画像データは、輝度の知覚に対応すると考えられてもよく、輝度に比例しても比例しなくてもよい、捕捉された光の明度を表してもよい。一般に、画像データは、画像データによって表される画像の見た目を表すために使用されてもよい、任意の測光量又は特性を表してもよい。画像データは、未加工画像形式などの、任意の適切な形式であってもよい。例えば、未加工画像データをファイルに保存せずに、画像データが、フレームバッファに保存されるか、又は保存されずに、画像センサからストリーミングされてもよい。ただし、そのような場合、未加工画像データの処理後に取得された画像データがファイルに保存されてもよい。
[13]図１などの実施例では、画像センサ１００は、カラーフィルタ素子のパターンを含むカラーフィルタアレイを含む。カラーフィルタ素子は、画像センサ１００のセンサピクセルのアレイの各センサピクセルに対応する。例えば、カラーフィルタアレイは、モザイクパターン又は繰返しパターンを形成すると考えられてもよい。通常、カラーフィルタ素子は、特定の色の光が、対応するセンサピクセルに向かって通過することを可能にする。このようにして、カラーフィルタアレイは、センサピクセルのアレイのうちの異なるセンサピクセルが、入射光の異なる色を受信できるように、フルカラー画像の捕捉を可能にする。標準的な光センサは、入射光の波長に対して感受性がないため、カラーフィルタアレイがなければ、標準的なセンサピクセルは、検出された光から色情報を提供することができない。しかし、カラーフィルタアレイを使用して、入射光を、異なる色に対応する異なる波長範囲に分割することによって、それらの異なる波長範囲内の光の強度を確定することができ、この色情報を決定できる。
[14]色は任意の範囲の波長の光を指してもよいことが、理解されるべきである。それでも、例えば、カラーフィルタ素子は可視スペクトル内の特定の波長（すべての波長又は実質的にすべての波長など）が下層のセンサピクセルに透過されることを可能にするという意味において、透明又は白色のカラーフィルタ素子が、カラーフィルタ素子であると考えられてもよい。他の実施例では、カラーフィルタ素子の一部又は全部が白色以外のカラーフィルタ素子であってもよい。
[15]カラーフィルタ素子のパターンは、カラーフィルタ素子の繰り返しグループで形成されてもよい。カラーフィルタ素子のグループは、例えば、１つの赤色フィルタ素子、１つの青色フィルタ素子、及び２つの緑色フィルタ素子を含んでもよい。したがって、カラーフィルタアレイは、ベイヤーパターンに対応してもよいが、他の実施例では、他のグループが可能である。各グループは、適切な品質のフルカラー画像を取得するために必要なセンサピクセルと一致してもよい。
[16]図１による実施例において画像センサ１００によって取得される画像は、第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む。したがって、第１のピクセルのセットは、第１のカラーチャネルのカラーフィルタ素子に対応する第１のセンサピクセルのセットによって捕捉されてもよく、第２のピクセルのセットは、第２のカラーチャネルのカラーフィルタ素子に対応する第２のセンサピクセルのセットによって捕捉されてもよい。第１のカラーチャネルは、赤色、緑色、又は青色のうちの１つであってもよく、第２のカラーチャネルは、赤色、緑色、又は青色のうちの異なる１つであってもよい（ただしこれは、限定するよう意図されていない）。さらに別の実施例では、画像センサ１００によって取得される画像は、第３のカラーチャネルに関連付けられた第３のピクセルのセットを含んでもよい（第３のカラーチャネルは、第１及び第２のカラーチャネルと異なる赤色、緑色、又は青色のうちの異なる１つなど、第１及び第２のカラーチャネルと異なっていてもよい）。そのような場合、第３のピクセルのセットは、第３のカラーチャネルのカラーフィルタ素子に対応する第３のセンサピクセルのセットによって捕捉されてもよい。第１、第２、及び第３のピクセルのセットの実施例が、図３、６、及び８を参照して、下でさらに説明される。
[17]再び図１を参照すると、図１の方法は、データ収集プロセス１０２を使用してセンサ１００によって取得された画像データを処理して、飽和補正で使用するためのデータを取得する（例えば、飽和したピクセルの推定値を取得する）ことを含む。このデータは、本明細書では第２のデータと呼ばれてもよく、図２～５を参照して下で詳細に説明される。
[18]図１の方法では、データ収集プロセス１０２の後に、飽和補正プロセス１０４が実行される。これについては、図６～９を参照して下でさらに説明される。
[19]再正規化プロセス１０６は、下でさらに説明されているように、飽和補正プロセス１０４を介して取得された出力画像データを、既定の範囲に対して再正規化するために実行される。
[20]その後、デモザイク処理１０８が実行されて、正規化された出力画像データからフルカラー画像を再構築する。例えば、再正規化された出力画像データは、ピクセル位置ごとに１つのみのカラーチャネルの強度値を含み、一方、デモザイク処理１０８は、複数の異なるカラーチャネルのうちの各カラーチャネルの強度値を、ピクセル位置ごとに取得できるようにする。例えば、上で説明されたように、標準的な画像センサはセンサピクセルを含んでおり、各センサピクセルは、特定の色のカラーフィルタ素子で覆われている。したがって、通常は、画像センサから出力される各ピクセルも、デモザイク処理１０８の前に、１つのみのカラーチャネルの強度値を含む。例えば、デモザイク処理１０８は、（本明細書では、同じピクセルのセットに属していると説明される）同じカラーチャネルの隣接するピクセル間を補間して、例えば異なるピクセルのセットのうちの、異なるカラーチャネルのピクセルに対応する位置などの、それらの隣接するピクセル間の位置の値を取得することを含む。この処理は、各ピクセル位置でカラーチャネルごとに強度値を取得するために、カラーチャネルごとに実行されてもよい。
[21]最後に、処理された画像データがディスプレイ１１０に出力される。
[22]図１の方法が単なる例であること、及び簡潔にするために、一部の要素が省略されているか、又は簡略化されていることがあることが、理解されるべきである。例えば、飽和補正プロセス１０４の前に、画像の品質を改善するために、画像データに対してさらに処理が実行されてもよい。例えば画像は、レンズシェーディングによる悪影響を受けることがあり、レンズシェーディングは通常、画像の明度又は強度を、画像の中心から半径方向に徐々に減少させる。画像のカラーバランスも準最適になることがあり、つまり、画像の色が、画像内の捕捉された情景の色に正確に一致していないことがある。したがって、このさらに処理することは、白バランス調整又はレンズシェーディングを補正するための処理を含んでもよい。
[23]ただし、通常は、白バランス及び／又はレンズシェーディングを補正する前に、図１のデータ収集１０２が実行される（ただし、一部の実施例では、データ収集１０２は、これらのプロセスのうちの１つ又は両方の後に実行されてもよい）。例えば、ピクセルの値（強度など）が、白バランス及び／又はレンズシェーディングの補正の後に制限されるか、又はクリップされるような値である場合、そのピクセルは、飽和していると考えられてもよい。加えて、ピクセルの値が既定の最大値にすでに制限されているか、又はクリップされている場合も、そのピクセルは、飽和していると考えられてもよい。したがって、ピクセルの値が既定の最大値以上である場合、そのピクセルは、飽和していると考えられてもよい。
[24]再正規化プロセス１０６の後に、画像の品質をさらに改善するため（又は、画像を調整して望ましい視覚効果を得るため）の処理が、さらに適用されてもよい。例えば、色補正プロセス又はガンマ補正プロセスが画像データに適用されてもよい。
[25]ここで、図１の特徴がさらに詳細に説明される。
データ収集
[26]図１のデータ収集プロセス１０２が、図２～５でさらに説明される。
[27]図２は、図１の方法において使用するためのデータを収集する例示的な方法を説明するフロー図である。図２の項目１１２で、画像センサ１００によって捕捉された、画像データによって表すことができる画像がブロックに分割される。画像データによって表された画像は、画像センサ１００によって捕捉された情景の全体であってもよく、或いは代わりに、情景の一部又はサブセットを表してもよい。各ブロックは、本明細書では第２の画像領域と呼ばれてもよく、既定のサイズの既定の画像領域であってもよい。例えば、画像のピクセルのアレイは、ｎピクセル×ｍピクセルのブロックに分割されてもよく、ｎ及びｍは整数である。例えば、画像は、それぞれ３３ピクセル×３３ピクセルを含むブロックに分割されてもよい。ただしこれは、限定するよう意図されておらず、その他の場合では、第２の画像領域は、方形以外の形状又は不規則な形状などの、その他のサイズ又は形状であってもよい。例えば、第２の画像領域は、画像のエリアを表す有意義な色特性又は色相特性を決定できるようにするための、任意の適切な形状及びサイズであってもよい。
[28]ブロック１１４の例が、図３に概略的に示されている。図３のブロック１１４は、この例では緑色である、第１のカラーチャネルに関連付けられた第１のピクセルのセット、この例では青色である、第２のカラーチャネルに関連付けられた第２のピクセルのセット、及びこの例では赤色である、第３のカラーチャネルに関連付けられた第３のピクセルのセットを含む。第１のピクセルのセットのピクセルは、それぞれ「Ｇ」のラベルが付けられており、第２のピクセルのセットのピクセルは、それぞれ「Ｂ」のラベルが付けられており、第３のピクセルのセットのピクセルは、それぞれ「Ｒ」のラベルが付けられている。この例では、カラーフィルタアレイのカラーフィルタ素子、及びしたがって、第１、第２、及び第３のピクセルのセットのピクセルは、一連の繰り返しグループ内に、ベイヤーパターンで配置される。ベイヤーパターン（ベイヤーフィルタモザイクと呼ばれることもある）は、赤色フィルタ、緑色フィルタ、及び青色フィルタをセンサピクセルのグリッドに配置するためのカラーフィルタアレイパターンである。ベイヤーパターンは、１つの青色フィルタ素子、２つの緑色フィルタ素子、及び１つの赤色フィルタ素子の繰り返しグループを含む。したがって、ベイヤーパターンのカラーフィルタ素子を含む画像センサ１００から取得された画像は、やはり（例えば、１つの青色ピクセル、２つの緑色ピクセル、及び１つの赤色ピクセルの繰り返しグループを含む）ベイヤーパターンで配置されたピクセルを含むことになる。したがって、この例では、各グループは、第１のピクセルのセットの２つのピクセル、第２のピクセルのセットの１つのピクセル、及び第３のピクセルのセットの１つのピクセルを含む。
[29]再び図２を参照すると、データ収集プロセスは、項目１１６で、ブロック内のサブブロックの値を計算することをさらに含む。各サブブロックは、例えば、ピクセルの繰り返しグループのうちの１つのグループである。したがって、その場合、各サブブロックは、第１のピクセルのセットの２つのピクセル、第２のピクセルのセットの１つのピクセル、及び第３のピクセルのセットの１つのピクセルを含む、２ピクセル×２ピクセルのサブブロックである。第２のピクセルのセットのピクセル及び第３のピクセルのセットのピクセルは、第１のピクセルのセットのピクセルのうちの少なくとも１つにそれぞれ隣接してもよい。図３では、３つのサブブロックに、参照番号１１８ａ、１１８ｂ、１１８ｃのラベルが付けられているが、ブロックが、図３でラベル付けされているサブブロック以外のサブブロックをさらに含んでもよいことが、理解されるべきである。サブブロックは、任意の形状又はサイズであってもよく、場合によっては、一部のサブブロックは、他のサブブロックと異なる形状及び／又はサイズであってもよい。
[30]サブブロックに対して計算される値は、サブブロックの色相に関連している情報を表すか、又は提供してもよい、カラーチャネルのうちの少なくとも１つに関連付けられたパラメータ値、或いはサブブロックに関する別のカラーアピアランスパラメータであると考えられてもよい。したがって、これらの値は、色相統計値と呼ばれてもよい。例えば、色相は、色の見た目を表し、刺激が赤色、緑色、青色、及び黄色の刺激と類似しているか、又は異なっている程度として定義されてもよい。
[31]実施例では、サブブロックのパラメータ値を計算することは、サブブロックのピクセルのいずれかが飽和しているかどうかを判定することを含む。どのピクセルも飽和していない場合、サブブロックの各ピクセルを使用して、例えば、第１のピクセルのセットのピクセルの（強度値などの）値、第２のピクセルのセットのピクセルの値、及び／又は第３のピクセルのセットの値に基づいて、パラメータ値を計算できる。図３の例では、パラメータは、２つの異なるカラーチャネルに対応する、２つの異なるピクセルのセット内のサブブロックのピクセルの値間の比率である（ただし、他の実施例では、他のパラメータが計算されてもよい）。したがって、パラメータ値は、これらの比率の値である。したがって、Ｒ／Ｂ、Ｇ／Ｂ、Ｇ／Ｒという比率の値が、緑色、青色、及び赤色のピクセルに関して計算されてもよく、「Ｒ／Ｂ」は、例えば赤色ピクセルの強度と青色ピクセルの強度の間の比率を表し、「Ｇ／Ｂ」は、例えば緑色ピクセルの強度と青色ピクセルの強度の間の比率を表し、「Ｇ／Ｒ」は、例えば緑色ピクセルの強度と赤色ピクセルの強度の間の比率を表す。これらの例では、各比率Ｒ／Ｂ、Ｇ／Ｂ、及びＧ／Ｒは、それぞれ異なるパラメータに対応する。比率Ｒ／Ｂは、赤色チャネル及び青色チャネルに関連付けられていると考えることができ、比率Ｇ／Ｂは、緑色チャネル及び青色チャネルに関連付けられていると考えることができ、比率Ｇ／Ｒは、緑色チャネル及び赤色チャネルに関連付けられていると考えることができる。
[32]理解されるであろうように、図３などの例では、サブブロック１１８ａ、１１８ｂ、１１８ｃは、同じピクセルのセットのうちの２つのピクセル（すなわち、同じカラーチャネルに対応する２つのピクセル）を含んでもよい。そのような場合、このカラーチャネルに対応する値を使用する比率は、さまざまな異なる方法で計算されてもよい。例えば、図３では、各サブブロック１１８ａ、１１８ｂ、１１８ｃは、それぞれ第１のピクセルのセットに属する２つの緑色ピクセルを含む。この場合、Ｇ／Ｂ及びＧ／Ｒの比率は、２つのＧ／Ｂの比率及び２つのＧ／Ｒの比率（２つの緑色ピクセルのピクセルごとに１つ）を計算し、平均をとることによって計算されてもよい。代替として、Ｇ／Ｂ及びＧ／Ｒの比率は、例えば、最大（又は最小）強度値を有する緑色ピクセルを使用して、特定のサブブロックに対して計算されてもよい。
[33]場合によっては、サブブロックが少なくとも１つの品質基準を満たすことが決定された場合に、パラメータ値が計算されてもよい。例えば、品質基準は、平均強度（ｍｅａｎ ｉｎｔｅｎｓｉｔｙ）などの、サブブロックのピクセルの平均強度（ａｖｅｒａｇｅ ｉｎｔｅｎｓｉｔｙ）に基づいてもよい。平均強度がしきい値強度以上である場合に、パラメータ値が計算されてもよい。そうでない場合、サブブロックは、破棄されてもよく、又はさらに処理されなくてもよい。
[34]再び図２を参照すると、次に、項目１２０で、項目１１６で計算されたパラメータ値を使用してヒストグラムが生成されてもよい。ヒストグラムは、パラメータ値の各範囲にそれぞれ関連付けられた、複数のビンを含んでもよい。図４は、ヒストグラム１２２の例を示している。図４のヒストグラム１２２はＢ／Ｒの比率のヒストグラムであるが、他の実施例では、下でさらに説明されているように、他の比率などの他のパラメータのヒストグラムが、代替的又は追加的に生成されてもよい。ヒストグラム１２２の各ビンは、比率Ｂ／Ｒの値の異なる範囲に対応する。
[35]図４のヒストグラムなどのヒストグラムは、反復的に生成されてもよい。例えば、ヒストグラム１２２に対応するパラメータのパラメータ値の計算後に、計算されたパラメータ値に対応するヒストグラム１２２のビンが識別されてもよい。次に、そのビンのカウントがインクリメントされてもよい。
[36]実施例では、特定のサブブロックに関して、他のパラメータのパラメータ値が格納されてもよい。例えば、図４では、ヒストグラム１２２に格納されたパラメータはＢ／Ｒの比率である。ただし、Ｇ／Ｂ及びＧ／Ｒの比率の値が格納されてもよい。最低強度のカラーチャネル（例えば、飽和する可能性が最も低いカラーチャネル）の値などの、他のパラメータの値が格納されてもよい。格納される各値は、当該のサブブロックのパラメータ値に対応するヒストグラム１２２のビンに関連付けられてもよい。サブブロックが、ヒストグラム１２２の第１０のビンに対応するＢ／Ｒの比率を有することが識別された場合、第１０のビンのカウントをインクリメントし、Ｇ／Ｂ及びＧ／Ｒの比率を累算し、最低強度のカラーチャネルの値（この場合は、強度値）を累算するように、ヒストグラム１２２が更新されてもよい。これは、例えば次のように要約されてもよい。
ＱＢＲ（１０，：）＝ＱＢＲ（１０，：）＋［１ Ｇ／Ｒ Ｇ／Ｂ Ｂ］
ここで、青色が最低強度のカラーチャネルであり、ＱＢＲ（１０，：）は第１０のビンに関連付けられたヒストグラムのエントリを表す。
[37]この手順が、すべてのピクセルが飽和していないブロック１１４のサブブロックごとに繰り返されて、特定のパラメータ（この場合は、Ｂ／Ｒの比率）のカウント数の分布を取得してもよい。このようにして、Ｂ／Ｒの比率値の特定の範囲に関連付けられた他のパラメータ値の合計が取得されてもよい。これによって、その後、下でさらに説明されているように、例えば飽和補正のために、Ｂ／Ｒの比率値のこの範囲に関連付けられたパラメータ値を取得することが可能になる。
[38]実施例では、飽和補正の柔軟性を実現するために、複数の異なるパラメータごとに、別々のヒストグラムが格納されてもよい。例えば、画像が３つのカラーチャネルを含む場合、Ｂ／Ｒの比率のビンで表されるヒストグラム、Ｇ／Ｒの比率のビンで表されるヒストグラム、及びＧ／Ｂの比率のビンで表されるヒストグラムという３つのヒストグラムが作成されてもよい。例えば、特定のサブブロックが、ヒストグラム１２２の第１０のビンに対応するＢ／Ｒの比率を有する場合、前述したように、第１０のビンのカウントをインクリメントし、Ｇ／Ｂ及びＧ／Ｒの比率を累算し、サブブロックの最低強度のカラーチャネルの値（この場合は、強度値）を累算するように、ヒストグラム１２２が更新されてもよい。ただし、その同じサブブロックに関して、Ｇ／Ｂの比率の第２のヒストグラムが、Ｇ／Ｂの比率に対応する第２のヒストグラムのビンを識別し、このビンのカウントをインクリメントし、サブブロックのＲ／Ｂ及びＧ／Ｒの比率を累算し、最低強度のカラーチャネルの値を累算することによって、更新されてもよい。同様に、Ｇ／Ｒの比率の第３のヒストグラムが、サブブロックのＧ／Ｒの比率に対応する第３のヒストグラムのビンを識別し、このビンのカウントをインクリメントし、サブブロックのＲ／Ｂ及びＧ／Ｂの比率を累算し、最低強度のカラーチャネルの値を累算することによって、更新されてもよい。
[39]ブロック１１４のサブブロックを処理して１つ又は複数のヒストグラムを生成した後に、ヒストグラムに格納されたデータの量が相対的に大きくなることがある。ストレージ要件を減らすために、図２の方法は、項目１２４で、ヒストグラム（図４のヒストグラム１２２など）の複数のビンのサブセットを選択して格納することをさらに含む。複数のビンのサブセットを選択することは、複数のビンのうちの残りの各ビンの各カウントよりも大きい各カウントをそれぞれ有する、複数のビンのうちのｎ個を識別し、それらのｎ個のビンをサブセットとして選択することを含んでもよい（ｎは整数である）。したがって、この選択することは、最高の各カウントを有するｎ個のビンなどの、ヒストグラム１２２の最も量の多いｎ個のビンを識別することを含んでもよい。サブセット内のビンの数は、本明細書に記載された方法を実装するために画像処理システムの一部として使用できるストレージによって決まってもよい。一例として、最高の５つのカウントを有する５つのビンが格納されてもよいが、他の実施例では、その他の数のビンが格納されてもよい。
[40]ビンのサブセットのカウントは、通常、ヒストグラムのそのビンに対応する他のパラメータの値と共に格納される。例えば、Ｂ／Ｒの比率のヒストグラムの第１０のビンが、格納されるビンのサブセット内にあると識別された場合、Ｂ／Ｒの比率のヒストグラムの第１０のビンに関連付けられた、Ｇ／Ｂ及びＧ／Ｒの比率の累算値並びに青色チャネルのピクセルの強度の累算値が、格納されてもよい。ただし、実施例では、累算値ではなく、Ｇ／Ｂ及びＧ／Ｒの比率の平均値並びに最低強度のカラーチャネルの平均強度が格納される。
[41]一例として、Ｂ／Ｒの比率によって格納されるエントリの最高のカウントを有する５つのビンを表すビンｍ、ｍ＋１、ｍ＋２、ｍ＋３、ｍ＋４、ｍ＋４（ｍ、ｍ＋１、ｍ＋２、ｍ＋３、ｍ＋４、ｍ＋４は、必ずしも連続するビンでなくてもよく、ビン番号で順序付けられなくてもよい）の場合、ルックアップテーブルに、次のデータが入力されてもよい。
Figure 0007343090000001
ここで、
Figure 0007343090000002
は、第ｍのビンに含まれるＢ／Ｒの比率値を有するサブブロックのＧ／Ｂの比率の平均値を表し、
Figure 0007343090000003
は、第ｍのビンに含まれるＢ／Ｒの比率値を有するサブブロックのＧ／Ｒの比率の平均値を表し、
Figure 0007343090000004
は、第ｍのビンに含まれるＢ／Ｒの比率値を有するサブブロックのＢの平均値を表す。
[42]Ｇ／Ｂ及びＧ／Ｒの比率に関して、同様のルックアップテーブルが生成されてもよい。Ｇ／Ｂの比率に対応するルックアップテーブルの場合、Ｇ／Ｂ及びＧ／Ｒの比率の平均値の代わりに、Ｂ／Ｒ及びＧ／Ｒの比率の平均値が格納されてもよい。同様に、Ｇ／Ｒの比率に対応するルックアップテーブルの場合、Ｇ／Ｂ及びＧ／Ｒの比率の平均値の代わりに、Ｂ／Ｒ及びＧ／Ｂの比率の平均値が格納されてもよい。
[43]複数の異なる各パラメータに対応するヒストグラムなどの、複数のヒストグラムが生成される実施例では、ストレージ要件をさらに減らすように、ビンのサブセットが、各ヒストグラムから格納のために選択されてもよい。
[44]上で説明されたように、格納のために選択された値は、ルックアップテーブル又は特定の値の取得を可能にするその他のデータ形式で格納されてもよい。このようにして、その後、下で説明されているように、飽和補正プロセスの一部として、それらの値が取得されてもよい。
[45]上で説明された例では、サブブロックのどのピクセルも飽和していない。そのため、サブブロックの各ピクセルを使用してパラメータ値を計算することができる。しかし、場合によっては、サブブロックのピクセルのうちの少なくとも１つが飽和していることがある。そのような場合、飽和したピクセルが関連付けられたカラーチャネルに関連付けられたパラメータは、画像センサによって測定可能な最大強度値を超える強度値を有する飽和したピクセルに起因して、それらのパラメータの値が制限される可能性が高いため、サブブロックの色相に関する限定的な情報を提供することがある。このことを考慮して、代わりに方法は、サブブロックの飽和していないいずれかのピクセル間の比率を計算することを含んでもよい。
[46]例えば、サブブロックの２つの緑色ピクセルが両方とも飽和している場合、Ｂ／Ｒの比率が計算されてもよく、最低強度のカラーチャネルが青色チャネル又は赤色チャネルである場合、最低強度のカラーチャネルの値が計算されてもよい。Ｇ／Ｂ及びＧ／Ｒの比率の計算は省略されてもよく、Ｇ／Ｂ及びＧ／Ｒのヒストグラムは更新されなくてもよい。その場合、Ｂ／Ｒの比率のヒストグラムは、計算されたＢ／Ｒの比率が存在するビンのカウントをインクリメントし、このビンに関連付けられたＢ値を累算するように、更新されてもよい。Ｂ／Ｒの比率のヒストグラムのこのビンに関連付けられたＧ／Ｂ及びＧ／Ｒの比率は、インクリメントされなくてもよい（又は、０の値でインクリメントされてもよい）。
[47]さらに別の実施例では、サブブロックのカラーチャネルのうちの２つが飽和していることがある。そのような場合、２つの異なるカラーチャネルの値間の比率は、値のうちの少なくとも１つが飽和した値であるため、限定的な情報を提供することがある。そのような場合、代わりに、ブロックのサブブロックの飽和していないピクセルの強度のヒストグラムが生成されてもよい。例えば、カラーチャネルごとに、別々の強度のヒストグラムが生成されてもよい。そのような場合、前述したように、ルックアップテーブルが生成されてもよいが、例えばカラーチャネルごとに、比率値ではなく、ヒストグラムの最高の平均強度値を有するｎ個のビンの平均強度値を格納する（又は、それらのｎ個のビンのゼロ以外の値を有する平均強度値に加えて、比率値のヌル又は０の値を格納することによる）。
[48]飽和していないピクセルを使用できるパラメータの値を取得することによって、ブロックから取得される色相情報が増やされてもよい。
[49]場合によっては、サブブロックは、飽和していないピクセルを含んでいないことがある。そのような場合、そのサブブロックに関する情報は格納されなくてもよい。代替として、飽和したサブブロックと呼ばれることがあるそれらのサブブロックに関して、異なるパラメータが格納されてもよい。例えば、そのようなサブブロックに関して、カラーチャネル（又は、カラーチャネルのサブセット）ごとの平均強度値が格納されてもよい。そのようなサブブロックに関して、カラーチャネル又はカラーチャネルのサブセットごとの強度値のヒストグラムが生成されてもよい。このヒストグラムのビンのすべて又はサブセットが格納され、その後、使用されてもよい。
[50]ブロックが、少なくとも１つの飽和していないピクセルを含む少なくとも１つのサブブロックを含む実施例では、前述したように、データが収集されてもよい。ただし、他の実施例では、すべてのサブブロックが飽和したサブブロックであってもよい。これは、ブロックが情景の特に明るい部分に対応する場合であってもよい。そのような場合、そのブロックのデータは、他のブロックなどの、画像の他の領域に基づいて取得されてもよい。図５は、その例を示している。
[51]図５で、ブロック１２６は、飽和していないサブブロックを含んでいない飽和したブロックである。言い換えると、ブロック１２６のピクセルのすべてが飽和したピクセルである。ブロック１２６の色相を表すデータを取得するために、図５による方法は、ブロック１２６の隣接するブロック１２８のデータを処理して、隣接するブロック１２８が色相においてブロック１２６に十分類似しているかどうかを判定することを含んでもよい。例えば、隣接するブロック１２８のうちの隣接するブロックのデータは、カラーチャネルの一部又は全部に関する、隣接するブロックの平均強度を表すデータであってもよい。このデータは、ブロック１２６の対応するカラーチャネルの平均強度と比較されてもよい。その後、ブロック１２６に最も類似する強度値を有する隣接するブロックのデータが、ブロック１２６を表すデータとして使用されてもよい。これは、例えば、ブロック１２６の特定のカラーチャネルの平均強度と、隣接するブロックの特定のカラーチャネルの平均強度との間の差が、しきい値差以下であり、ブロック１２６及び隣接するブロックが、画像の類似する色相のエリアを表すことを示唆している場合であってもよい。そうでない場合、隣接するブロック１２８のうちの１つだけブロック１２６から離れたブロック１３０などの、増加したブロックのデータが処理されて、それらのブロック１３０のいずれかが、それらのブロック１３０のデータをブロック１２６の失われたデータの代わりに使用できるほど、色相においてブロック１２６に十分類似しているかどうかを識別してもよい。このプロセスは、ブロック１２６を表すのに適したデータが識別されるまで、又は検索領域のサイズが既定のサイズ以上になるまで、検索領域を徐々に増やして、増大されてもよい。検索領域のサイズが既定のサイズ（ブロック１２６に局在していると考えることができなくなり、したがってブロック１２６の色相を正確に表している可能性が低いサイズなど）以上になった場合は、ブロック１２６を表すために、デフォルトのデータが使用されてもよい。例えば、デフォルトのデータは、画像の灰色又は白色の領域に対応するパラメータ値を表してもよい。
［飽和補正－飽和した１つのピクセル］
[52]画像のブロックのデータを取得した後に、例えば図２～５を参照して説明されたように、飽和補正プロセスが実行されてもよい。第１の画像領域の１つのピクセルが飽和している実施例に関して、図６及び７を参照して、飽和補正プロセスの例が説明される。
[53]図６は、図３に示された画像のブロック１１４を示しており、図２～５で説明されたように、このブロック１１４からデータが収集された。ブロック１１４は、飽和したピクセルである、第１のピクセルのセットのうちの第１のピクセル１３２を含む。例えば、ブロック１１４を表すか、又は（ブロック１１４を含む）複数のブロックを表す画像データなどの、画像の少なくとも一部を表す画像データが、飽和補正プロセスの一部として処理されてもよい。第１のピクセルのセットのうちの第１のピクセル１３２を表す画像データの一部が処理されて、第１のピクセルのセットのうちの第１のピクセル１３２が飽和したピクセルであると決定してもよい。この処理は、第１のピクセルのセットのうちの第１のピクセル１３２の強度値を最大強度値と比較することを含んでもよく、強度が、画像センサが検出できる最大強度を超えた場合、強度値がこの最大強度値に設定されるか、又は限定されてもよい。他のピクセルを表す画像データの他の部分の処理が実行されて、ブロック１１４の飽和しているピクセルを識別してもよい。この処理は、異なる各カラーチャネルに関連付けられたピクセルに対して、別々に実行されてもよい。例えば、画像データが処理されて、第１、第２、及び第３のピクセルのセットのうちの飽和しているピクセルを識別してもよい。
[54]図６では、第１のピクセルのセットのうちの第１のピクセル１３２は、第１の画像領域１３４内にある。図６の第１の画像領域１３４は、第２のピクセルのセットのうちの第１のピクセル１３６も含む。この実施例では、第１の画像領域１３４は、第３のピクセルのセットのうちの第１のピクセル１３８も含む。しかし、他の実施例では、第１の画像領域１３４は、第３のピクセルのセットのうちの第１のピクセル１３８を含まなくてもよい。同様に、図６では、第１の画像領域１３４が第２及び第３のピクセルのセットのうちの追加の第１のピクセル１３６’、１３８’を含むが、他の実施例では、第１の画像領域１３４は、それらの追加のピクセルを含まなくてもよい。第１の画像領域１３４は、第１のピクセル１３２を囲んでいるか、又は含む画像領域であると考えられてもよい。したがって、第１の画像領域１３４は、第１のピクセル１３２に局在しており、したがって、第１のピクセル１３２の近隣の領域又は近接している領域内の色相を表している、画像のエリア又は領域であると考えられてもよい。第１の画像領域１３４は、別のピクセルが介在せずに、第１のピクセル１３２に隣接するか、又は第１のピクセル１３２の隣にある、少なくとも１つのピクセルを含んでもよい。例えば、第１のピクセル１３２は、繰返しパターンのグループ（２ピクセル×２ピクセルのベイヤーグループなど）のうちのグループに属しており、第１の画像領域１３４は、第１のピクセル１３２を含むグループの少なくとも１つのピクセルを含んでもよい。
[55]実施例では、第１の画像領域１３４内の飽和したピクセルの数が決定される。第１のピクセル１３２の飽和を補正するために適用される処理は、第１の画像領域１３４内の飽和したピクセルの数によって決まってもよい。
[56]図６の実施例では、第１のピクセル１３２は、第１の画像領域１３４内の唯一の飽和したピクセルであり、第１の画像領域１３４の他のピクセル１３６、１３８、１３６’、１３８’は飽和していない。したがって、第１の画像領域１３４は、単一のカラーチャネル（緑色チャネル）がクリップされるか、又は飽和している領域であると考えられてもよい。
[57]次に、第２のピクセルのセットのうちの第１のピクセル１３６の値に基づく第１のデータが取得されてもよい。図６の実施例では、第２のピクセルのセット及び第３のピクセルのセットの両方の第１のピクセル１３６、１３８が飽和していないため、第１のデータは、第２のピクセルのセット及び第３のピクセルのセットの両方の第１のピクセル１３６、１３８の値に基づく。ただし、他の実施例（後で説明される）では、第１のデータは、第２のピクセルのセットのうちの第１のピクセル１３６の値のみに基づいてもよい。
[58]そのような方法は、第１の画像領域１３４内で、第２のピクセルのセットのうちの飽和していないピクセルを識別し、第２のピクセルのセットのうちの飽和していないピクセルを第２のピクセルのセットのうちの第１のピクセル１３６として使用することを含んでもよい。例えば、第２のピクセルのセットのうちの第１のピクセル１３６及び追加の第１のピクセル１３６’が、両方とも飽和していないと識別された場合、それらのピクセルのいずれかが第２のピクセルのセットのうちの第１のピクセル１３６として使用されてもよい。しかし、それらのピクセルのうちの１つが飽和しておらず、他のもう１つのピクセルが飽和している場合、それらのピクセルのうちの飽和していないピクセルが第２のピクセルのセットのうちの第１のピクセルとして選択されてもよい。
[59]例えば、第１のデータは、第１の画像領域１３４の第１のパラメータの第１のパラメータ値を表してもよく、第２のカラーチャネルに関連付けられてもよい。第１のピクセル１３４が第１の画像領域１３４内の唯一の飽和したピクセルである実施例では、第１のパラメータは、例えば、第２のピクセルのセットのうちの第１のピクセル１３６の値と第３のピクセルのセットのうちの第１のピクセル１３８の値の間の第１の比率（Ｂ／Ｒと表されてもよい）である。ただし、他の実施例では、第１の画像領域１３４の色相を表す他のパラメータなどの、その他の第１のパラメータが可能である。第１のパラメータとしての第１の比率の使用は、第２のピクセルのセットのうちの第１のピクセル及び第３のピクセルのセットのうちの第１のピクセルが飽和していないピクセルであることの決定に基づいてもよい。他の実施例では、第１のパラメータは、第１の画像領域１３４の異なる特性を表してもよい。
[60]上で説明されたように、図６の実施例では、第１のピクセル１３６、１３８、１３６’、１３８’はすべて飽和していないピクセルである。したがって、第１の画像領域１３４の第１の比率を計算する可能な方法は、複数存在する。例えば、第１の比率は、第２のセットの第１のピクセル１３６の強度値と第３のセットの第１のピクセル１３８の強度値との間の比率、第２のセットの第１のピクセル１３６の強度値と第３のセットの追加の第１のピクセル１３８’の強度値との間の比率、第２のセットの追加の第１のピクセル１３６’の強度値と第３のセットの第１のピクセル１３８の強度値との間の比率、第２のセットの追加の第１のピクセル１３６’の強度値と第３のセットの追加の第１のピクセル１３８’の強度値との間の比率、第２のセットの第１のピクセル１３６及び追加の第１のピクセル１３６’の強度値の合計と第３のセットの第１のピクセル１３８及び追加の第１のピクセル１３８’の強度値の合計との間の比率、又はこれらの比率のいずれかの間の平均として、計算されてもよい。実施例では、ピクセルの可能な対（１つのピクセルが第２のセットに属し、もう１つのピクセルが第３のセットに属する）ごとに、強度値の合計が計算され、第１の比率が、最大の合計値を有するピクセルの対に関する、第２のセットのピクセルの強度値と第３のセットのピクセルの強度値との間の比率として選択される。
[61]第１のデータに基づいて、第２の画像領域に関して、第１のピクセルのセットのうちの第２のピクセルの値及び第２のピクセルのセットのうちの第２のピクセルの値に基づく第２のデータが取得されてもよい。第２の画像領域は、第１のピクセルのセットのうちの第２のピクセル及び第２のピクセルのセットのうちの第２のピクセルを含む。図６の実施例では、第２の画像領域はブロック１１４に対応し、第２のデータは、ブロック１１４を表す、あらかじめ収集されたデータに基づく。ブロック１１４を表すデータは、図２～５を参照して前述されたように、収集されてもよい。このデータは、上で説明されたように、ルックアップテーブルに格納されてもよい。
[62]そのような実施例では、第２のデータは、第１のデータに基づいてルックアップテーブルから取得されてもよい。例えば、第１のデータは第１の比率（図６の実施例では、第１の画像領域１３４のＢ／Ｒの比率）を表し、第１の比率に対応するエントリを識別するために、ルックアップテーブルが検索されてもよい。例えば、ルックアップテーブルは、第２の画像領域１１４に関する第１のパラメータの第１のパラメータ値のセットのうちの各第１のパラメータ値に対応するエントリを含んでもよい（例えば、第１のパラメータは第１の比率である）。言い換えると、ルックアップテーブルは、第２の画像領域１１４の各ピクセルの値に基づくなど、第２の画像領域１１４に基づいて作成されていてもよい。例えば、ルックアップテーブルの各エントリは、各エントリが第１の比率の値の特定の範囲に対応するように、第１の比率のヒストグラムのビンと一致してもよい。第２のデータは、第１のデータによって表された第１のパラメータ値に最も近い値を有する第１のパラメータ値のセットのうちの１つに対応する、ルックアップテーブルのエントリを識別することによって、ルックアップテーブルから取得されてもよい。
[63]上で説明されたように、ルックアップテーブルは、第２の画像領域に関して、複数のビンを含むヒストグラムを生成することによって、生成されていてもよく、それらの各ビンは、第１のパラメータ値の各範囲に関連付けられる。複数のエントリの各エントリにそれぞれ対応している、複数のビンのサブセットが、ヒストグラムから選択されてもよい。複数のビンのサブセットごとに、第１のカラーチャネルに関連付けられた第２のパラメータの対応する第２のパラメータ値が、複数のビンのサブセットの各ビンに対応する各エントリの一部として格納されてもよい。したがって、ルックアップテーブルは、値の可能性のあるすべての範囲ではなく、第１のパラメータの値の範囲のサブセットを含んでもよい。例えば、ルックアップテーブルは、第１のパラメータの値の第１の範囲に対応する第１のエントリ、及び値の第１の範囲と値の第２の範囲の間にギャップがあるなど、値の第１の範囲と不連続である、第１のパラメータの値の第２の範囲に対応する第２のエントリを含んでもよい。第１の画像領域１３４の第１の比率が、値の第１の範囲と値の第２の範囲の間のギャップにある値を有している場合、例えば、第１の比率の値が、値の第１の範囲又は値の第２の範囲のどちらに近いかに応じて、第１のエントリ又は第２のエントリのいずれかが取得されてもよい。ただし、他の実施例では、第１の比率は、第１の範囲内又は第２の範囲内にあってもよい。そのような場合、第１のエントリ又は第２のエントリが、それぞれ取得されてもよい。
[64]第１の比率は、飽和している第１のピクセル１３２を囲んでいるか、又は隣接している局所的エリアの色相特性を表していると考えられてもよい。したがって、第１の画像領域１３４に関する第１の比率の値に類似する第１のパラメータ値を含むルックアップテーブルからのデータは、第１の画像領域１３４に類似する色相特性を有する画像部分を表してもよい。これによって、飽和補正プロセスの精度を改善することができる。
[65]実施例のルックアップテーブルは、第１の比率（実施例では、第１のパラメータに対応すると考えられてもよい）の値の範囲に対応するエントリを含む。この実施例では、第１の比率はＢ／Ｒである。しかし、実施例におけるルックアップテーブルは、各Ｂ／Ｒのエントリ（ルックアップテーブルの基になるヒストグラムの各ビンに対応する）に関連付けられた他の値も含む。例えば、ルックアップテーブルは、前述したＧ／Ｂ又はＧ／Ｒの比率などの、第１のカラーチャネルに関連付けられた第２のパラメータを含んでもよい。そのような場合、第２のパラメータの第２のパラメータ値は、ルックアップテーブルから第２のデータとして取得されてもよい。例えば、第２のパラメータ値は、第１のパラメータ値のセットのうちの１つに関連付けられてもよく、第１のピクセルのセットのうちの第２のピクセルの値、及び第２のピクセルのセットのうちの第２のピクセル又は第３のピクセルのセットのうちの第２のピクセルのうちの少なくとも１つの値に基づいてもよい。例えば、第２のパラメータ値は、第１のピクセルのセットのうちの第２のピクセルの値と第２のピクセルのセットのうちの第２のピクセルの値との間の比率（Ｇ／Ｂの比率などであり、第２の比率と呼ばれてもよい）、又は第１のピクセルのセットのうちの第２のピクセルの値と第３のピクセルのセットのうちの第２のピクセルの値との間の比率（Ｇ／Ｒの比率などであり、第３の比率と呼ばれてもよい）を表してもよい。
[66]理解されるであろうように、Ｇ／Ｂ及びＧ／Ｒの比率は、第１の画像領域１３４に関して計算されたＢ／Ｒの比率に最も近いルックアップテーブルの値の範囲内に含まれるＢ／Ｒの比率を有するブロック１１４のサブブロックの、平均比率であってもよい。したがって、第１、第２、及び第３のピクセルのセットのうちの第２のピクセルは、Ｇ／Ｂ及び／又はＧ／Ｒの比率を取得するために使用されたこれらのサブブロックのうちのいずれかのピクセルであってもよい。
[67]前述したように、ルックアップテーブルは、第２の画像領域内の第１のピクセルのセットのうちの複数のピクセルのピクセルごとの各値、及び第２の画像領域内の第２のピクセルのセットのうちの複数のピクセルのピクセルごとの各値に基づいて、第２の画像領域（ブロック１１４など）に関して生成されてもよい。第１及び／又は第２のピクセルのセットのうちの複数のピクセルの各ピクセルは、それぞれ飽和していないピクセルであってもよい。例えば、Ｇ／Ｂ及び／又はＧ／Ｒの比率は、飽和したピクセルを含んでいない１つ又は複数の飽和していないサブブロックに関して取得されてもよい。したがって、方法は、第２の画像領域内で、第１のピクセルのセットのうちの飽和していないピクセル及び第２のピクセルのセットのうちの飽和していないピクセルを識別することと、第１のピクセルのセットのうちの飽和していないピクセルを第１のピクセルのセットのうちの第２のピクセルとして使用することと、第２のピクセルのセットのうちの飽和していないピクセルを第２のピクセルのセットのうちの第２のピクセルとして使用することとを含んでもよい。
[68]第２のデータを取得した後に、第２のデータが処理されて、第１のピクセルのセットのうちの第１のピクセル１３２の第１のカラーチャネルに関連付けられた推定値を表す出力データを生成してもよい。したがって、推定値は、第１のピクセル１３２を含むブロック１１４の色相特性を表すことができるルックアップテーブルから取得された第２のデータに基づいて取得されてもよい。このようにして、このような方法は、画像の飽和していないエリア（この実施例では、ブロック１１４に対応する第２の画像領域の飽和していないピクセル）の色相間の相関関係を利用して、飽和したピクセルである第１のピクセル１３２の値を外挿してもよい。例えば、第２のデータは、第２の画像領域の色相特性の統計的測定値を表す。したがって、画像センサ１００のダイナミックレンジを超えて、画像のダイナミックレンジを拡張することができる。
[69]図６の実施例などの他の実施例では、方法は、少なくとも１つの追加の画像領域に関する追加のデータを取得することをさらに含んでもよい。図６では、追加のデータは、４つの追加の画像領域１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ（まとめて、参照番号１４０を使用して参照される）に関して取得される。ただし他の実施例では、追加のデータは、４つより多い又は少ない画像領域に関して取得されてもよい。さらに、図６では４つの追加の画像領域１４０ａ、１４０ｂ、１４０ｃ、１４０ｄが互いに隣接していないが、他の実施例では、追加の画像領域のうちの少なくとも一部が互いに隣接してもよく、したがって、連続する画像領域を形成してもよい。追加の画像領域は、通常、第１のピクセルのセットのうちの少なくとも１つの追加のピクセル及び第２のピクセルのセットのうちの少なくとも１つの追加のピクセルを含み、第３のピクセルのセットのうちの少なくとも１つの追加のピクセルを含んでもよい。例えば、追加のデータは、ピクセルの追加のセットのうちの少なくとも１つの追加のピクセル及び第２のピクセルのセットのうちの少なくとも１つの追加のピクセルの各値に基づき、第３のピクセルのセットのうちの少なくとも１つの追加のピクセルの各値に基づいてもよい。
[70]追加のデータが取得される追加の画像領域は、第２のデータの基になる第２の画像領域より小さくてもよい。例えば、第２のデータは、第１のピクセル１３２を含むより大きい画像部分のより一般的な色相特性を表すと考えられてもよく、一方、（追加の画像領域に基づく）追加のデータは、第１のピクセル１３２により局在するより小さい画像部分のより局在的な色相特性を表してもよい。例えば、第２の画像領域は、既定のサイズの既定の画像領域（図６のブロック１１４など）であってもよく、一方、追加の画像領域は、固定されたサイズも既定のサイズも有さなくてもよいが、それでも、第２の画像領域より小さくてもよい。追加の画像領域は、第２の画像領域内にあってもよく、したがって、第２の画像領域の下位部分を表してもよい。出力データにおいて、画像内のより短い距離尺度及びより長い距離尺度の両方で色相特性を考慮するように、第２のデータが追加のデータと共に処理されて、出力データを生成してもよい。したがって、第２のデータは、画像のブロックを表す収集された統計値を表すと考えられてもよく、追加のデータは、局所的統計値を表すと考えられてもよい。
[71]第２のデータは、前述したように、ルックアップテーブルから取得されてもよい。追加のデータは、ルックアップテーブル（第２の画像領域より小さい画像領域に関するルックアップテーブルなど）から取得されてもよい。ただし、図６の実施例などの実施例では、追加のデータは、ルックアップテーブルからではなく、画像データから取得されてもよい。
[72]追加のデータは、第１のピクセルのセットのうちの第１のピクセル１３２に最も近い第１のピクセルのセットのうちの少なくとも１つの追加のピクセルに関して、及び第１のピクセルのセットのうちの第１のピクセル１３２に最も近い第２のピクセルのセットのうちの少なくとも１つの追加のピクセルに関して、取得されてもよい。言い換えると、追加のデータは、第１のピクセルのセットのうちの第１のピクセル１３２に最も近いか、又は隣接するピクセル、或いは第１のピクセルのセットのうちの第１のピクセル１３２から既定の距離内にあるピクセルに関して、取得されてもよい。図６の実施例では、追加の画像領域１４０ａ、１４０ｂ、１４０ｃ、１４０ｄはそれぞれ、４つのピクセルのグループに対応し、図６のブロック１１４は４つのピクセルの繰り返しグループを含む。例えば、追加の画像領域はそれぞれ、図３に示されたサブブロック１１８ａ、１１８ｂ、１１８ｃなどのサブブロックであってもよい。図６からわかるように、追加の画像領域１４０ａ、１４０ｂ、１４０ｃ、１４０ｄはそれぞれ、第１のピクセルのグループの第１のピクセル１３２を含む４つのピクセルのグループに隣接している。
[73]追加のデータを取得するために、方法は、追加の画像領域内で、第１のピクセルのセットのうちの少なくとも１つの飽和していないピクセル及び第２のピクセルのセットのうちの少なくとも１つの飽和していないピクセルを識別することを含んでもよい。第１及び第２のピクセルのセットのうちの少なくとも１つの飽和していないピクセルが、第１及び第２のピクセルのセットのうちの少なくとも１つの追加のピクセルとしてそれぞれ使用されてもよい。同様に、方法は、追加の画像領域内で、第３のピクセルのセットのうちの少なくとも１つの飽和していないピクセルを識別すること、及び第３のピクセルのセットのうちの少なくとも１つの飽和していないピクセルを使用することを含んでもよい。例えば、図６では、第１のピクセル１３２を含むピクセルのグループに隣接する４つのピクセルの４つの他のグループが存在している。ただし、この実施例では、これらの他の各グループは、第１のピクセルのセットのうちの飽和したピクセル及び／又は第２のピクセルのセットのうちの飽和したピクセルを含む。したがって、この実施例では、これらの他のグループは追加のデータの計算に使用されない。
[74]追加の画像領域１４０に関して、第１のパラメータの第１のパラメータ値（例えば、前述したように、第２のデータをルックアップテーブルから取得するために使用される）が計算されてもよい。例えば、第１のパラメータがＢ／Ｒの比率である場合、Ｂ／Ｒの比率の値が、図６の追加の画像領域１４０ごとに計算されてもよい（この場合、追加の画像領域１４０のどのピクセルも飽和していないことが決定されているため）。追加の画像領域１４０に関して、第２のパラメータ（例えば、Ｇ／Ｂの比率又はＧ／Ｒの比率）の第２のパラメータ値が計算されてもよい。このような実施例では、第２のデータは、第２の画像領域（図６の実施例では、ブロック１１４）に関する第２のパラメータの第２のパラメータ値を表してもよく、追加のデータは、追加の画像領域（図６の追加の画像領域１４０のうちの１つなど）に関する第２のパラメータの第２のパラメータ値を表してもよい。第２のデータを追加のデータと共に処理して出力データを生成することは、第２の画像領域及び追加の画像領域に関して、第２のパラメータ値の加重和を実行することを含んでもよい。このようにして、収集された統計値は、局所的統計値とマージされてもよい。これが、図７に概略的に示されている。
[75]図７は、第１のパラメータ（この例では、第１の比率Ｂ／Ｒ）の値による加重関数１４２の例示的な変化を示している。ｙ軸１４４は加重関数１４２の値を示し、ｘ軸１４６はＢ／Ｒの比率の値を示す。加重関数１４２は、第１のデータ１４８によって表されるＢ／Ｒ値で最大値（１）を取り、この実施例では、第１のデータ１４８は、図６の第１の画像領域１３４に関して計算された第１の比率（Ｂ／Ｒ）である。このＢ／Ｒ値は、Ｂ／Ｒａｃｔｕａｌとして参照されてもよい。また、第２のデータ１５０に対応するＢ／Ｒ値が図７に示されており、前述したように、第２のデータ１５０をルックアップテーブルから取得できるため、第２のデータ１５０に対応するＢ／Ｒ値は、Ｂ／Ｒｌｏｏｋｕｐとして参照されてもよい。例えば、Ｂ／Ｒｌｏｏｋｕｐは、Ｂ／Ｒａｃｔｕａｌに最も近いルックアップテーブルのＢ／Ｒ値である。同様に、追加のデータ１５２ａ、１５２ｂ、１５２ｃ、１５２ｄの第４のセットのそれぞれによって表されたＢ／Ｒ値も、図７に示されており、Ｂ／Ｒａｄｊａｃｅｎｔとして参照されてもよい。したがって、Ｂ／Ｒａｄｊａｃｅｎｔは、第１のピクセルのセットのうちの第１のピクセル１３２を含むピクセルのグループに隣接するピクセルのグループのＢ／Ｒ値を表す。図７に示されているＢ／Ｒ値ごとに、各加重値が取得されてもよい。
[76]その後、ルックアップテーブルから取得された第１のパラメータ値に対応するサブブロック（又は画像領域）の第２のパラメータ値が、追加の画像領域ごとに取得されてもよい。次に、これらの第２のパラメータ値の加重和が実行されて、第１のピクセルのセットのうちの第１のピクセル１３２の推定値を取得してもよい。例えば、加重和Ｓ１が次のように実行されてもよい。
Figure 0007343090000005
ここで、ｗは加重関数１４２から取得された重みを表し、下付き文字「ａｄｊａｃｅｎｔ１」、「ａｄｊａｃｅｎｔ２」、「ａｄｊａｃｅｎｔ３」、「ａｄｊａｃｅｎｔ４」は、これらの下付き文字が付けられた値が追加の画像領域１４０ａ、１４０ｂ、１４０ｃ、１４０ｄそれぞれに基づいて（例えば、追加のデータから）取得されたことを示し、下付き文字「ｌｏｏｋｕｐ」は、この下付き文字が付けられた値が第２の画像領域に基づいて（例えば、第２のデータから）取得されたことを示している。この実施例では、加重和Ｓ１の式の右辺が、例えば重みの合計値で割ることによって、正規化されてもよいことが、理解されるべきである。
[77]同様の加重和Ｓ２が、Ｇ／ＢではなくＧ／Ｒに基づいて、異なる第２のパラメータに関して、例えば次のように取得されてもよい。
Figure 0007343090000006
[78]加重和Ｓ１の式に関しては、加重和Ｓ２の式の右辺が、例えば重みの合計値で割ることによって、正規化されてもよいことが、理解されるべきである。
[79]このようにして、Ｇ／Ｂの比率に基づく加重和及びＧ／Ｒの比率に基づく加重和という、２つの異なる加重和の値が取得されてもよい（ただし、場合によっては、これらの加重和のうちの１つのみが計算されてもよい）。これらの加重和の値は、第１の画像領域１３４に関する第２のパラメータ値の推定値に対応すると考えられてもよい。このことから、第１のピクセル１３２の推定値は、（第１の画像領域１３４内の）第２のピクセルのセットのうちの第１のピクセル及び／又は第３のピクセルのセットのうちの第１のピクセルに基づいて取得されてもよい。
[80]例えば、加重和Ｓ１に基づいて、第１のピクセル１３２の強度値の第１の推定値Ｇ１が次のように取得されてもよい。
Ｇ１＝Ｓ１Ｂ１
ここで、Ｂ１は、第１の画像領域１３４内の第２のピクセルのセットのうちの第１のピクセルの強度値を表す（第１のピクセル１３６又は追加の第１のピクセル１３６’、或いはこれらのピクセルの両方の平均強度値など）。
[81]同様に、第１のピクセル１３２の強度値の第２の推定値Ｇ２が、加重和Ｓ２から次のように取得されてもよい。
Ｇ２＝Ｓ２Ｒ２
ここで、Ｒ２は、第１の画像領域１３４内の第３のピクセルのセットのうちの第１のピクセルの強度値を表す（第１のピクセル１３８又は追加の第１のピクセル１３８’、或いはこれらのピクセルの両方の平均強度値など）。
[82]最後に、第１のピクセル１３２の推定値は、Ｇ１又はＧ２或いはＧ１及びＧ２の組み合わせ（平均値など）のうちの最大値として選択されてもよい。第１のピクセル１３２の推定値は、出力データによって表されてもよい。最初に受信された画像データは、更新された画像が飽和補正後の画像を表すように、出力データに基づいて更新されてもよい。
[83]飽和補正プロセスは、画像の飽和したピクセルのそれぞれ又はサブセットに対して実行されてもよい。その後、さらに処理が画像に適用されてもよい。例えば、このようにして飽和を補正した後に、再正規化プロセス１０６が画像に適用されてもよい。
[84]第１のピクセル１３２の推定値は、第１のピクセル１３２の飽和値より大きくてもよく、例えば既定の最大値に制限されてもよい。したがって、これによって、更新された画像データによって表される強度値の範囲が、その後の画像処理動作が許容するように調整されている既定の範囲を超えて、増えることがある。例えば、追加の画像処理動作は、ピクセルの強度値が０～１の範囲内であるという仮定に基づくことがある。しかし、第１のピクセル１３２の推定値は、１より大きい強度値を有してもよい。
[85]そのような場合、再正規化プロセス１０６が実行され、強度値の許容範囲内になるように推定値の大きさを変更してもよい。例えば、飽和補正プロセスが画像に適用された後に、画像の強度の範囲が０～ｘになるように、最大強度値がｘ（ｘは１より大きい）である場合、再正規化プロセスは、再正規化後の再正規化済み画像の強度の範囲が０～１になるように、マッピング関数を画像のピクセルの強度値に適用することを含んでもよい。
[86]その後の画像処理が、画像の強度値が既定の範囲内にあることを必要としない実施例、又は飽和補正後の強度値が許容範囲内又は既定の範囲内にある実施例などの、他の実施例では、再正規化プロセス１０６は省略されてもよい。
［飽和補正－飽和した２つのピクセル］
[87]上で説明されたように、場合によっては、第１の画像領域の２つ以上のピクセルが飽和したピクセルであることがある。そのような場合、比率とは異なるパラメータが、第１及び第２のパラメータとして使用されてもよい。次に、そのような実施例が、図８及び９を参照して説明される。図６及び７の対応する特徴に類似する図８及び９の特徴は、同じ参照番号を１００だけ増やした参照番号を使用してラベル付けされ、対応する説明が選択されて適用される。
[88]図８は、飽和したピクセルである、第１のピクセルのセットのうちの第１のピクセル２３２を含む第１の画像領域２３４を示している。第１の画像領域２３４は、第２のピクセルのセットのうちの第１のピクセル及び追加の第１のピクセル２３６、２３６’、並びに第３のピクセルのセットのうちの第１のピクセル及び追加の第１のピクセル２３８、２３８’も含む。
[89]図８の実施例では、第２のピクセルのセットのうちの第１のピクセル２３６が飽和していないピクセルであり、第３のピクセルのセットのうちの第１のピクセル及び追加の第１のピクセル２３８、２３８’が飽和したピクセルであることが決定される。言い換えると、第１のピクセルのセットのうちの第１のピクセル２３２を含む局所的領域を表す第１の画像領域２３４は、１つのカラーチャネル（第２のカラーチャネル）の飽和していないピクセルのみを含む。
[90]この実施例では、この決定に基づいて、第２のピクセルのセットのうちの第１のピクセルの強度値と第３のピクセルのセットのうちの第１のピクセルの強度値との間の第１の比率ではなく、第２のピクセルのセットのうちの第１のピクセル２３６の強度値を表すために、第１のデータが使用される。言い換えると、これらの実施例では、第１のパラメータは、第２のピクセルのセットのうちの第１のピクセル２３６の強度値であってもよく、第１のデータによって表されてもよい。図６を参照して上で説明されたように、第１のピクセル２３６又は追加の第１のピクセル２３６’の強度値、或いは第１のピクセル２３６と追加の第１のピクセル２３６’の組み合わせ（平均値など）が、第１のパラメータの第１のパラメータ値として使用されてもよい。
[91]第１の比率の値ではなく、第２のピクセルのセットのうちの少なくとも１つの第１のピクセル２３６に基づく強度値を第１のパラメータ値として使用すること以外は、第１のピクセル２３２の推定値の計算は、図６及び７を参照して前述した方法に類似していてもよい。
[92]例えば、第１のパラメータの第１のパラメータ値に関連付けられた第２のデータ（この場合、第１の画像領域２３４に関する強度値を有する）は、前述したように、ルックアップテーブルから取得されてもよい。同様に、少なくとも１つの追加の画像領域（この実施例では、４つの追加の画像領域２４０ａ、２３０ｂ、２４０ｃ、２４０ｄ）に関する追加のデータが、画像データから取得されてもよい。第１の画像領域２３４は、唯一の飽和していないか、又はクリップされていないカラーチャネル（この場合、第２のカラーチャネル）を含んでもよいが、他の画像領域は、２つ以上の飽和していないか、又はクリップされていないカラーチャネルを含んでもよいことが、理解されるべきである。例えば、追加の画像領域２４０ａ、２３０ｂ、２４０ｃ、２４０ｄそれぞれのすべて（又は２つ以上）のピクセルは、飽和していないピクセルであってもよい。同様に、ルックアップテーブルから取得される第２のデータは、２つ以上のカラーチャネルの飽和していないピクセルに基づいてもよい。このようにして、これらの他の画像領域に関して、カラーチャネルのうちの２つの間（第１のカラーチャネルと、第２及び第３のカラーチャネルのうちの１つ又は両方との間など）の比率を取得することができてもよい。このようにして、第１のピクセル２３２の推定値は、追加の画像領域及び／又は第２の画像領域内などの、第１の画像領域２３４内で使用可能なカラーチャネルより多くのカラーチャネルにおける色情報に基づいてもよい。
[93]第２のデータ及び追加のデータは、図７で示された第２のデータ及び追加のデータの重み付けに類似する方法で、重み付けされてもよい。第２のデータ及び追加のデータの重み付けが、図９に概略的に示されている。この場合、第１のパラメータは、第２のカラーチャネルの強度値（この場合、青色チャネルの強度値）を表し、第２のパラメータの取得された値に適用される重み付けは、Ｂ／Ｒの比率値ではなく、特定のサブブロック又は画像領域に関する第２のカラーチャネルの強度値によって決まる。
[94]例えば、加重和Ｓ１が次のように実行されてもよい。
Figure 0007343090000007
上で説明されたように、加重和Ｓ１の式の右辺が、例えば重みの合計値で割ることによって、正規化されてもよいことが、理解されるべきである。
[95]この場合、第３のピクセルのセットのうちの第１のピクセル及び追加の第１のピクセル２３８、２３８’がこの実施例では両方とも飽和しているため、第２の加重和Ｓ２は計算されなくてもよい。したがって、この実施例では、第１のピクセル２３２の強度の推定値Ｇ１は、次のように取得されてもよい。
Ｇ１＝Ｓ１Ｂ１
ここで、Ｂ１は、第１の画像領域２３４内の第２のピクセルのセットのうちの第１のピクセルの強度値を表す（第１のピクセル２３６又は追加の第１のピクセル２３６’、或いはこれらのピクセルの両方の平均強度値など）。第１のピクセル１３２の推定値は、出力データによって表されてもよい。最初に受信された画像データは、更新された画像が飽和補正後の画像を表すように、出力データに基づいて更新されてもよい。
[96]その後、前述したように、再正規化などの追加の処理が、更新された画像に適用されてもよい。
［飽和補正－飽和した３つのピクセル］
[97]さらに別の実施例では、第１の画像領域の３つのカラーチャネルすべてのピクセルが飽和していることがある。そのような場合、これらのピクセルの値は、これらのピクセルの飽和値より大きくてもよい、既定の最大値に設定されてもよい。その後、これらのピクセルに対して、前述した再正規化プロセスなどの再正規化プロセスが実行されて、再正規化された画像の強度の範囲を、０～ｘから０～１にマッピングしてもよい。そのような場合、画像の明るい部分は、多くの場合、画像のそのような部分の色がどうなるべきかについて確実に推定できないため、通常は、明るいままである。
画像処理システム
[98]本明細書に記載された実施例は、図１０に概略的に示された画像処理システムなどの画像処理システム１５６を使用して、実装されてもよい。
[99]図１０の画像処理システム１５６は、前述した画像センサなどの画像センサ１５８を含む。画像センサ１５８で受信された光は、画像データに変換される。画像データは画像信号プロセッサ１６０に転送され、画像信号プロセッサ１６０は、通常、出力画像の少なくとも一部を表す出力画像データを生成するように構成されている。出力画像データは、エンコーダ１６２を介してエンコードされてから、例えば格納又は追加処理のために、他の構成要素（図１０に示されていない）に転送されてもよい。画像信号プロセッサ１６０は、通常、画像データに対してさまざまな処理を実行して出力画像データを生成するように構成された、複数のモジュール又はユニットを含む。図１０の画像信号プロセッサ１６０などの画像信号プロセッサは、マイクロプロセッサ、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又はその他のプログラマブル論理デバイス、個別のゲート又はトランジスタ論理、個別のハードウェア構成要素、或いは本明細書に記載された機能を実行するように設計された、これらの任意の適切な組み合わせを含んでもよい。プロセッサは、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意のその他のそのような構成の組み合わせなどの、コンピューティングデバイスの組み合わせとして実装されてもよい。
[100]図１０の実施例における画像信号プロセッサ１６０は、本明細書に記載された飽和補正プロセスなどの飽和補正プロセスを実行するように調整されており、したがって、飽和補正システム１６４を含むと考えられてもよい。飽和補正システム１６４において使用するためのデータ、又は飽和補正システム１６４の一部として生成されたデータが、画像処理システム１５６のストレージ１６６に格納されてもよい。ストレージ１６６は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、及び読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリ、又はフラッシュメモリなどの半導体ドライブ（ＳＳＤ：ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）のうちの少なくとも１つを含んでもよい。ストレージ１６は、例えば、画像信号プロセッサ１６０によって相対的に高速にアクセスできるオンチップメモリ又はバッファである。ただし他の実施例では、ストレージ１６６は、例えば磁気媒体、光媒体、又はテープ媒体、コンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、或いはその他のデータストレージ媒体などのストレージ媒体をさらに含んでもよい。ストレージ１６６は、画像処理システム１５６から取り外し可能であるか、又は取り外し不能である。図１０のストレージ１６６は、ストレージ１６６と画像信号プロセッサ１６０の間でデータを転送できるように、画像信号プロセッサ１６０に通信によって結合される。例えば、ストレージ１６６は、画像の少なくとも一部を表す画像データ（デモザイク処理前の画像データなど）、前述した第１のデータ、前述した第２のデータ、前述した追加のデータ、前述した出力データ、及び前述した更新された画像データを格納してもよい。
[101]画像信号プロセッサ１６０は、画像データ（飽和補正プロセス後の更新された画像データなど）がエンコーダ１６２によってエンコードされる前に、画像データをデモザイク処理するためのデモザイク処理システム１６８を含んでもよい。
[102]図１０の画像処理システム１５６は、画像センサ１５８の特徴又は特性を制御するためのコントローラ１７０も含む。コントローラ１７０は、ハードウェア構成要素又はソフトウェア構成要素或いはハードウェアとソフトウェアの組み合わせを含んでもよい。例えば、コントローラ１７０は、コントローラ１７０の動作を制御するためのソフトウェアを含むファームウェア１７２を含んでもよい。ファームウェア１７２は、コントローラ１７０の不揮発性メモリ又は（コントローラ１７０がアクセスできる）ストレージ１６６に格納されてもよい。図１０のコントローラ１７０は、自動画像強調システム１７４も含んでおり、自動画像強調システム１７４は、例えば、画像品質を改善するために画像処理システム１５６に対して調整を行う必要があるかどうかを判定する処理を実行するように構成される。例えば、自動画像強調システム１７４は、自動露光モジュール、自動白バランスモジュール、及び／又は自動焦点モジュールを含んでもよい。コントローラ１７０は、画像センサ１５８の動作を制御するためのドライバ１７６も含む。
[103]統計値収集プロセスと呼ばれることがあるデータ収集プロセスが、コントローラ１７０又は画像信号プロセッサ１６０のハードウェアなどのハードウェアを使用して、実行されてもよい。飽和したブロックを表すデータを他の飽和していないブロックから取得するために、例えば図５を参照して説明されたような統計値の内挿が、例えばコントローラ１７０のファームウェア１７２又は画像信号プロセッサ１６０に関連付けられたファームウェアなどのファームウェアを使用して、実行されてもよい。飽和補正システム１６４及びデモザイク処理システム１６８は通常、ソフトウェアにおいて実装されるが、代わりにハードウェア又はハードウェアとソフトウェアの組み合わせにおいて実装されてもよい。同様に、データ収集プロセス及び統計値の内挿は、代わりにソフトウェア又はハードウェアとソフトウェアの組み合わせを使用して実行されてもよい。
[104]上記の実施例は、例示的な実施例として理解されるべきである。その他の実施例が想定される。
[105]いずれか１つの実施例に関して説明された任意の特徴が、単独で、又は説明された他の特徴と組み合わせて使用されてもよく、任意の他の実施例、又は任意の他の実施例の任意の組み合わせの１つ又は複数の特徴と組み合わせて使用されてもよいことが、理解されるべきである。さらに、前述されていない同等のもの及び変更が、添付の特許請求の範囲を逸脱することなく採用されてもよい。
［発明の項目］
［項目１］
第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む画像の少なくとも一部を表す画像データを受信するステップと、
前記第１のピクセルのセットのうちの第１のピクセルを表す前記画像データの一部を処理して、前記第１のピクセルのセットのうちの前記第１のピクセルが飽和したピクセルであると決定する、処理するステップと、
前記第１のピクセルのセットのうちの前記第１のピクセル及び前記第２のピクセルのセットのうちの第１のピクセルを含む第１の画像領域に関して、前記第２のピクセルのセットのうちの前記第１のピクセルの値に基づく第１のデータを取得するステップと、
前記第１のデータに基づいて、前記第１のピクセルのセットのうちの第２のピクセル及び前記第２のピクセルのセットのうちの第２のピクセルを含む第２の画像領域に関して、前記第１のピクセルのセットのうちの前記第２のピクセルの値及び前記第２のピクセルのセットのうちの前記第２のピクセルの値に基づく第２のデータを取得するステップと、
前記第２のデータを処理して、前記第１のピクセルの前記第１のカラーチャネルに関連付けられた推定値を表す出力データを生成する、処理するステップと、
を含む、方法。
［項目２］
前記第１の画像領域内で、前記第２のピクセルのセットのうちの飽和していないピクセルを識別するステップと、
前記第２のピクセルのセットのうちの飽和していない前記ピクセルを前記第２のピクセルのセットのうちの前記第１のピクセルとして使用するステップと、
を含む、項目１に記載の方法。
［項目３］
前記第２の画像領域内で、前記第１のピクセルのセットのうちの飽和していないピクセル及び前記第２のピクセルのセットのうちの飽和していないピクセルを識別するステップと、
前記第１のピクセルのセットのうちの飽和していない前記ピクセルを前記第１のピクセルのセットのうちの前記第２のピクセルとして使用するステップと、
前記第２のピクセルのセットのうちの飽和していない前記ピクセルを前記第２のピクセルのセットのうちの前記第２のピクセルとして使用するステップと、
を含む、項目１又は２に記載の方法。
［項目４］
前記第１のデータが、前記第２のピクセルのセットのうちの前記第１のピクセルの強度値を表す、項目１～３のいずれか一項に記載の方法。
［項目５］
前記第２のデータを取得するステップが、前記第１のデータに基づくルックアップテーブルから前記第２のデータを取得することを含む、項目１～３のいずれか一項に記載の方法。
［項目６］
前記第１のデータが、前記第１の画像領域に関する第１のパラメータの第１のパラメータ値を表し、前記第１のパラメータが前記第２のカラーチャネルに関連付けられており、
前記ルックアップテーブルが、前記第２の画像領域に関する前記第１のパラメータの第１のパラメータ値のセットのうちの各第１のパラメータ値に対応する複数のエントリを含んでおり、
前記ルックアップテーブルから前記第２のデータを取得するステップが、
前記第１のパラメータ値に最も近い値を有する前記第１のパラメータ値のセットのうちの１つに対応する、前記複数のエントリのうちの１つのエントリを識別することと、
前記第１のカラーチャネルに関連付けられた第２のパラメータの第２のパラメータ値を識別することであって、前記第２のパラメータ値が、前記第１のパラメータ値のセットのうちの前記１つに関連付けられ、前記第１のピクセルのセットのうちの前記第２のピクセルの前記値及び前記第２のピクセルのセットのうちの前記第２のピクセルの前記値に基づいている、ことと、
前記第２のパラメータ値を前記第２のデータとして取得することと、
を含む、項目５に記載の方法。
［項目７］
前記第２のパラメータ値が、前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第２のピクセルのセットのうちの前記第２のピクセルの前記値との間の比率を表す、項目６に記載の方法。
［項目８］
前記第２の画像領域に関して、
前記第２の画像領域内の前記第１のピクセルのセットのうちの複数のピクセルのピクセルごとの各値であって、前記第１のピクセルのセットのうちの前記複数のピクセルが、前記第１のピクセルのセットのうちの前記第２のピクセルを含む、各値と、
前記第２の画像領域内の前記第２のピクセルのセットのうちの複数のピクセルのピクセルごとの各値であって、前記第２のピクセルのセットのうちの前記複数のピクセルが、前記第２のピクセルのセットのうちの前記第２のピクセルを含む、各値と、
に基づいて、前記ルックアップテーブルを生成するステップを含む、項目５～７のいずれか一項に記載の方法。
［項目９］
前記第１のピクセルのセットのうちの前記複数のピクセルの各ピクセルが、それぞれ飽和していないピクセルであり、
前記第２のピクセルのセットのうちの前記複数のピクセルの各ピクセルが、それぞれ飽和していないピクセルである、項目８に記載の方法。
［項目１０］
前記第１のデータが、前記第１の画像領域に関する第１のパラメータの第１のパラメータ値を表し、前記第１のパラメータが前記第２のカラーチャネルに関連付けられており、
前記ルックアップテーブルが、前記第２の画像領域に関する前記第１のパラメータの第１のパラメータ値のセットのうちの各第１のパラメータ値に対応する複数のエントリを含んでおり、
前記ルックアップテーブルを生成するステップが、
前記第２の画像領域に関して、複数のビンを含むヒストグラムを生成することであって、各ビンが、第１のパラメータ値の各範囲に関連付けられる、ことと、
前記複数のビンのサブセットを選択することであって、前記複数のビンの前記サブセットの各々が、前記複数のエントリの各エントリに対応する、ことと、
前記複数のビンの前記サブセットごとに、前記第１のカラーチャネルに関連付けられた第２のパラメータの対応する第２のパラメータ値を、前記複数のビンの前記サブセットの各ビンに対応する各エントリの一部として格納することと、
を含む、項目８又は９に記載の方法。
［項目１１］
前記複数のビンの各ビンが各カウントを含んでおり、
前記複数のビンの前記サブセットを選択することが、
前記複数のビンのうちの残りの各ビンの各カウントよりも大きい各カウントをそれぞれ有する、前記複数のビンのうちのｎ個を識別することであって、ｎが整数である、ことと、
前記複数のビンのうちの前記ｎ個を、前記複数のビンの前記サブセットとして選択することと、
を含む、項目１０に記載の方法。
［項目１２］
前記第２のデータが、前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第２のピクセルのセットのうちの前記第２のピクセルの前記値との間の比率を表す、項目１～１１のいずれか一項に記載の方法。
［項目１３］
前記第１のデータを取得するステップが、
前記第２のピクセルのセットのうちの前記第１のピクセルの前記値に基づき、前記第３のピクセルのセットのうちの第１のピクセルの値にさらに基づく前記第１のデータを取得することを含んでおり、
前記第１の画像領域が、前記第３のピクセルのセットのうちの前記第１のピクセルを含む、項目１～１２のいずれか一項に記載の方法。
［項目１４］
前記第１のデータが、前記第２のピクセルのセットのうちの前記第１のピクセルの前記値と、前記第３のピクセルのセットのうちの前記第１のピクセルの前記値との間の第１の比率を表す、項目１３に記載の方法。
［項目１５］
前記第２のデータが、
前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第２のピクセルのセットのうちの前記第２のピクセルの前記値との間の第２の比率、又は
前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第３のピクセルのセットのうちの前記第２のピクセルの前記値との間の第３の比率
のうちの少なくとも１つを表す、項目１１～１４のいずれか一項に記載の方法。
［項目１６］
前記第１のピクセルのセットのうちの少なくとも１つの追加のピクセル及び前記第２のピクセルのセットのうちの少なくとも１つの追加のピクセルを含む追加の画像領域に関して、前記第１のピクセルのセットのうちの前記少なくとも１つの追加のピクセル及び前記第２のピクセルのセットのうちの前記少なくとも１つの追加のピクセルの各値に基づく追加のデータを取得するステップを含んでおり、
前記第２のデータを処理するステップが、前記第２のデータを前記追加のデータと共に処理して前記出力データを生成することを含む、項目１１～１５のいずれか一項に記載の方法。
［項目１７］
前記第２の画像領域が、既定のサイズの既定の画像領域であり、前記追加の画像領域が、前記第２の画像領域内にあって、前記第２の画像領域よりも小さい、項目１８に記載の方法。
［項目１８］
前記第２のデータを取得するステップが、前記第２のデータをルックアップテーブルから取得することを含んでおり、
前記追加のデータを取得するステップが、
前記第１のピクセルのセットのうちの前記第１のピクセルに最も近い前記第１のピクセルのセットのうちの前記少なくとも１つの追加のピクセルに関して、及び
前記第１のピクセルのセットのうちの前記第１のピクセルに最も近い前記第２のピクセルのセットのうちの前記少なくとも１つの追加のピクセルに関して、
前記追加のデータを取得することを含む、項目１６又は１７に記載の方法。
［項目１９］
前記追加のデータを取得するステップが、
前記追加の画像領域内で、前記第１のピクセルのセットのうちの少なくとも１つの飽和していないピクセル及び前記第２のピクセルのセットのうちの少なくとも１つの飽和していないピクセルを識別することと、
前記第１のピクセルのセットのうちの前記少なくとも１つの飽和していないピクセルを前記第１のピクセルのセットのうちの前記少なくとも１つの追加のピクセルとして使用することと、
前記第２のピクセルのセットのうちの飽和していない前記ピクセルを前記第２のピクセルのセットのうちの前記少なくとも１つの追加のピクセルとして使用することと、
を含む、項目１６～１８のいずれか一項に記載の方法。
［項目２０］
前記第２のデータを処理するステップが、
前記第２の画像領域に関する第２のパラメータの第２のパラメータ値、及び
前記追加の画像領域に関する前記第２のパラメータの第２のパラメータ値
の加重和を実行することを含む、項目１６～１９のいずれか一項に記載の方法。
［項目２１］
前記出力データの生成後に前記画像の前記少なくとも一部に対してデモザイク処理を実行するステップを含む、項目１～２０のいずれか一項に記載の方法。
［項目２２］
前記推定値が前記第１のピクセルの飽和値よりも大きい、項目１～２１のいずれか一項に記載の方法。
［項目２３］
前記第１のピクセルのセット、前記第２のピクセルのセット、及び前記第３のピクセルのセットがベイヤーパターンで配置される、項目１～２２のいずれか一項に記載の方法。
［項目２４］
前記第１のピクセルのセットのうちの前記第１のピクセルが、前記第２のピクセルのセットのうちの前記第１のピクセルに隣接する、項目１～２３のいずれか一項に記載の方法。
［項目２５］
前記第２のピクセルのセットのうちの前記第１のピクセルが飽和していないピクセルであると決定するステップと、
前記第３のピクセルのセットのうちの第１のピクセルが、飽和したピクセルであると決定するステップであって、前記第１の画像領域が前記第３のピクセルのセットのうちの前記第１のピクセルを含む、ステップと、
前記決定するステップに基づいて、前記第１のデータを使用して前記第２のピクセルのセットのうちの前記第１のピクセルの強度値を表す、使用するステップと、
を含む、項目１～２４のいずれか一項に記載の方法。
［項目２６］
前記第２のピクセルのセットのうちの前記第１のピクセルが飽和していないピクセルであると決定するステップと、
前記第３のピクセルのセットのうちの第１のピクセルが、飽和していないピクセルであると決定するステップであって、前記第１の画像領域が前記第３のピクセルのセットのうちの前記第１のピクセルを含む、ステップと、
前記決定するステップに基づいて、前記第１のデータを使用して、前記第２のピクセルのセットのうちの前記第１のピクセルの前記値と、前記第３のピクセルのセットのうちの前記第１のピクセルの前記値との間の第１の比率を表す、使用するステップと、
を含む、項目１～２４のいずれか一項に記載の方法。
［項目２７］
ストレージであって、
第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む画像の少なくとも一部を表す画像データと、
前記第２のピクセルのセットのうちの第１のピクセルの値に基づく第１のデータと、
前記第１のピクセルのセットのうちの第２のピクセルの値及び前記第２のピクセルのセットのうちの第２のピクセルの値に基づく第２のデータと、
前記第１のピクセルのセットのうちの第１のピクセルの前記第１のカラーチャネルに関連付けられた推定値を表す出力データと、
を格納するための、ストレージと、
飽和補正システムであって、
前記第１のピクセルのセットのうちの前記第１のピクセルを表す前記画像データの一部を処理して、前記第１のピクセルのセットのうちの前記第１のピクセルが飽和したピクセルであると決定することと、
前記第１のピクセルのセットのうちの前記第１のピクセル及び前記第２のピクセルのセットのうちの前記第１のピクセルを含む第１の画像領域に関して、前記第１のデータを取得することと、
前記第１のデータに基づいて、前記第１のピクセルのセットのうちの前記第２のピクセル及び前記第２のピクセルのセットのうちの前記第２のピクセルを含む第２の画像領域に関して、前記第２のデータを取得することと、
前記第２のデータを処理して前記出力データを生成することと、
を実行するよう機能する飽和補正システムと、
を備えている、画像処理システム。
［項目２８］
前記画像の前記少なくとも一部を表す出力画像データに対してデモザイク処理を実行するように調整されたデモザイク処理システムを備えており、前記出力画像データが前記出力データを含む、項目２７に記載の画像処理システム。

Claims (28)

  1. 第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む画像の少なくとも一部を表す画像データを受信するステップと、
    前記第１のピクセルのセットのうちの第１のピクセルを表す前記画像データの一部を処理して、前記第１のピクセルのセットのうちの前記第１のピクセルが飽和したピクセルであると決定する、処理するステップと、
    前記第１のピクセルのセットのうちの前記第１のピクセル及び前記第２のピクセルのセットのうちの第１のピクセルを含む第１の画像領域に関して、前記第２のピクセルのセットのうちの前記第１のピクセルの値に基づく第１のデータを取得するステップと、
    前記第１のデータに基づいて、前記第１のピクセルのセットのうちの第２のピクセル及び前記第２のピクセルのセットのうちの第２のピクセルを含む第２の画像領域に関して、前記第１のピクセルのセットのうちの前記第２のピクセルの値及び前記第２のピクセルのセットのうちの前記第２のピクセルの値に基づく第２のデータを取得するステップと、
    前記第２のデータを処理して、前記第１のピクセルの前記第１のカラーチャネルに関連付けられた推定値を表す出力データを生成する、処理するステップと、
    を含む、方法。
  2. 前記第１の画像領域内で、前記第２のピクセルのセットのうちの飽和していないピクセルを識別するステップと、
    前記第２のピクセルのセットのうちの飽和していない前記ピクセルを前記第２のピクセルのセットのうちの前記第１のピクセルとして使用するステップと、
    を含む、請求項１に記載の方法。
  3. 前記第２の画像領域内で、前記第１のピクセルのセットのうちの飽和していないピクセル及び前記第２のピクセルのセットのうちの飽和していないピクセルを識別するステップと、
    前記第１のピクセルのセットのうちの飽和していない前記ピクセルを前記第１のピクセルのセットのうちの前記第２のピクセルとして使用するステップと、
    前記第２のピクセルのセットのうちの飽和していない前記ピクセルを前記第２のピクセルのセットのうちの前記第２のピクセルとして使用するステップと、
    を含む、請求項１又は２に記載の方法。
  4. 前記第１のデータが、前記第２のピクセルのセットのうちの前記第１のピクセルの強度値を表す、請求項１～３のいずれか一項に記載の方法。
  5. 前記第２のデータを取得するステップが、前記第１のデータに基づくルックアップテーブルから前記第２のデータを取得することを含む、請求項１～３のいずれか一項に記載の方法。
  6. 前記第１のデータが、前記第１の画像領域に関する第１のパラメータの第１のパラメータ値を表し、前記第１のパラメータが前記第２のカラーチャネルに関連付けられており、
    前記ルックアップテーブルが、前記第２の画像領域に関する前記第１のパラメータの第１のパラメータ値のセットのうちの各第１のパラメータ値に対応する複数のエントリを含んでおり、
    前記ルックアップテーブルから前記第２のデータを取得するステップが、
    前記第１のパラメータ値に最も近い値を有する前記第１のパラメータ値のセットのうちの１つに対応する、前記複数のエントリのうちの１つのエントリを識別することと、
    前記第１のカラーチャネルに関連付けられた第２のパラメータの第２のパラメータ値を識別することであって、前記第２のパラメータ値が、前記第１のパラメータ値のセットのうちの前記１つに関連付けられ、前記第１のピクセルのセットのうちの前記第２のピクセルの前記値及び前記第２のピクセルのセットのうちの前記第２のピクセルの前記値に基づいている、ことと、
    前記第２のパラメータ値を前記第２のデータとして取得することと、
    を含む、請求項５に記載の方法。
  7. 前記第２のパラメータ値が、前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第２のピクセルのセットのうちの前記第２のピクセルの前記値との間の比率を表す、請求項６に記載の方法。
  8. 前記第２の画像領域に関して、
    前記第２の画像領域内の前記第１のピクセルのセットのうちの複数のピクセルのピクセルごとの各値であって、前記第１のピクセルのセットのうちの前記複数のピクセルが、前記第１のピクセルのセットのうちの前記第２のピクセルを含む、各値と、
    前記第２の画像領域内の前記第２のピクセルのセットのうちの複数のピクセルのピクセルごとの各値であって、前記第２のピクセルのセットのうちの前記複数のピクセルが、前記第２のピクセルのセットのうちの前記第２のピクセルを含む、各値と、
    に基づいて、前記ルックアップテーブルを生成するステップを含む、請求項５～７のいずれか一項に記載の方法。
  9. 前記第１のピクセルのセットのうちの前記複数のピクセルの各ピクセルが、それぞれ飽和していないピクセルであり、
    前記第２のピクセルのセットのうちの前記複数のピクセルの各ピクセルが、それぞれ飽和していないピクセルである、請求項８に記載の方法。
  10. 前記第１のデータが、前記第１の画像領域に関する第１のパラメータの第１のパラメータ値を表し、前記第１のパラメータが前記第２のカラーチャネルに関連付けられており、
    前記ルックアップテーブルが、前記第２の画像領域に関する前記第１のパラメータの第１のパラメータ値のセットのうちの各第１のパラメータ値に対応する複数のエントリを含んでおり、
    前記ルックアップテーブルを生成するステップが、
    前記第２の画像領域に関して、複数のビンを含むヒストグラムを生成することであって、各ビンが、第１のパラメータ値の各範囲に関連付けられる、ことと、
    前記複数のビンのサブセットを選択することであって、前記複数のビンの前記サブセットの各々が、前記複数のエントリの各エントリに対応する、ことと、
    前記複数のビンの前記サブセットごとに、前記第１のカラーチャネルに関連付けられた第２のパラメータの対応する第２のパラメータ値を、前記複数のビンの前記サブセットの各ビンに対応する各エントリの一部として格納することと、
    を含む、請求項８又は９に記載の方法。
  11. 前記複数のビンの各ビンが各カウントを含んでおり、
    前記複数のビンの前記サブセットを選択することが、
    前記複数のビンのうちの残りの各ビンの各カウントよりも大きい各カウントをそれぞれ有する、前記複数のビンのうちのｎ個を識別することであって、ｎが整数である、ことと、
    前記複数のビンのうちの前記ｎ個を、前記複数のビンの前記サブセットとして選択することと、
    を含む、請求項１０に記載の方法。
  12. 前記第２のデータが、前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第２のピクセルのセットのうちの前記第２のピクセルの前記値との間の比率を表す、請求項１～１１のいずれか一項に記載の方法。
  13. 前記第１のデータを取得するステップが、
    前記第２のピクセルのセットのうちの前記第１のピクセルの前記値に基づき、第３のカラーチャネルに関連付けられた第３のピクセルのセットのうちの第１のピクセルの値にさらに基づく前記第１のデータを取得することを含んでおり、
    前記第１の画像領域が、前記第３のピクセルのセットのうちの前記第１のピクセルを含む、請求項１～１２のいずれか一項に記載の方法。
  14. 前記第１のデータが、前記第２のピクセルのセットのうちの前記第１のピクセルの前記値と、前記第３のピクセルのセットのうちの前記第１のピクセルの前記値との間の第１の比率を表す、請求項１３に記載の方法。
  15. 前記第２のデータが、
    前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第２のピクセルのセットのうちの前記第２のピクセルの前記値との間の第２の比率、又は
    前記第１のピクセルのセットのうちの前記第２のピクセルの前記値と、前記第３のピクセルのセットのうちの第２のピクセルの値との間の第３の比率
    のうちの少なくとも１つを表す、請求項１３又は１４に記載の方法。
  16. 前記第１のピクセルのセットのうちの少なくとも１つの追加のピクセル及び前記第２のピクセルのセットのうちの少なくとも１つの追加のピクセルを含む追加の画像領域に関して、前記第１のピクセルのセットのうちの前記少なくとも１つの追加のピクセル及び前記第２のピクセルのセットのうちの前記少なくとも１つの追加のピクセルの各値に基づく追加のデータを取得するステップを含んでおり、
    前記第２のデータを処理するステップが、前記第２のデータを前記追加のデータと共に処理して前記出力データを生成することを含む、請求項１１～１５のいずれか一項に記載の方法。
  17. 前記第２の画像領域が、既定のサイズの既定の画像領域であり、前記追加の画像領域が、前記第２の画像領域内にあって、前記第２の画像領域よりも小さい、請求項１６に記載の方法。
  18. 前記第２のデータを取得するステップが、前記第２のデータをルックアップテーブルから取得することを含んでおり、
    前記追加のデータを取得するステップが、
    前記第１のピクセルのセットのうちの前記第１のピクセルに最も近い前記第１のピクセルのセットのうちの前記少なくとも１つの追加のピクセルに関して、及び
    前記第１のピクセルのセットのうちの前記第１のピクセルに最も近い前記第２のピクセルのセットのうちの前記少なくとも１つの追加のピクセルに関して、
    前記追加のデータを取得することを含む、請求項１６又は１７に記載の方法。
  19. 前記追加のデータを取得するステップが、
    前記追加の画像領域内で、前記第１のピクセルのセットのうちの少なくとも１つの飽和していないピクセル及び前記第２のピクセルのセットのうちの少なくとも１つの飽和していないピクセルを識別することと、
    前記第１のピクセルのセットのうちの前記少なくとも１つの飽和していないピクセルを前記第１のピクセルのセットのうちの前記少なくとも１つの追加のピクセルとして使用することと、
    前記第２のピクセルのセットのうちの飽和していない前記ピクセルを前記第２のピクセルのセットのうちの前記少なくとも１つの追加のピクセルとして使用することと、
    を含む、請求項１６～１８のいずれか一項に記載の方法。
  20. 前記第２のデータを処理するステップが、
    前記第２の画像領域に関する第２のパラメータの第２のパラメータ値、及び
    前記追加の画像領域に関する前記第２のパラメータの第２のパラメータ値
    の加重和を実行することを含む、請求項１６～１９のいずれか一項に記載の方法。
  21. 前記出力データの生成後に前記画像の前記少なくとも一部に対してデモザイク処理を実行するステップを含む、請求項１～２０のいずれか一項に記載の方法。
  22. 前記推定値が前記第１のピクセルの飽和値よりも大きい、請求項１～２１のいずれか一項に記載の方法。
  23. 前記第１のピクセルのセット、前記第２のピクセルのセット、及び前記第３のピクセルのセットがベイヤーパターンで配置される、請求項１３又は請求項１３に従属する請求項１４～２２のいずれか一項に記載の方法。
  24. 前記第１のピクセルのセットのうちの前記第１のピクセルが、前記第２のピクセルのセットのうちの前記第１のピクセルに隣接する、請求項１～２３のいずれか一項に記載の方法。
  25. 前記第２のピクセルのセットのうちの前記第１のピクセルが飽和していないピクセルであると決定するステップと、
    前記第３のピクセルのセットのうちの前記第１のピクセルが、飽和したピクセルであると決定するステップであって、前記第１の画像領域が前記第３のピクセルのセットのうちの前記第１のピクセルを含む、ステップと、
    前記決定するステップに基づいて、前記第１のデータを使用して前記第２のピクセルのセットのうちの前記第１のピクセルの強度値を表す、使用するステップと、
    を含む、請求項１３又は請求項１３に従属する請求項１４～２４のいずれか一項に記載の方法。
  26. 前記第２のピクセルのセットのうちの前記第１のピクセルが飽和していないピクセルであると決定するステップと、
    前記第３のピクセルのセットのうちの前記第１のピクセルが、飽和していないピクセルであると決定するステップであって、前記第１の画像領域が前記第３のピクセルのセットのうちの前記第１のピクセルを含む、ステップと、
    前記決定するステップに基づいて、前記第１のデータを使用して、前記第２のピクセルのセットのうちの前記第１のピクセルの前記値と、前記第３のピクセルのセットのうちの前記第１のピクセルの前記値との間の第１の比率を表す、使用するステップと、
    を含む、請求項１３又は請求項１３に従属する請求項１４～２４のいずれか一項に記載の方法。
  27. ストレージであって、
    第１のカラーチャネルに関連付けられた第１のピクセルのセット及び第２のカラーチャネルに関連付けられた第２のピクセルのセットを含む画像の少なくとも一部を表す画像データと、
    前記第２のピクセルのセットのうちの第１のピクセルの値に基づく第１のデータと、
    前記第１のピクセルのセットのうちの第２のピクセルの値及び前記第２のピクセルのセットのうちの第２のピクセルの値に基づく第２のデータと、
    前記第１のピクセルのセットのうちの第１のピクセルの前記第１のカラーチャネルに関連付けられた推定値を表す出力データと、
    を格納するための、ストレージと、
    飽和補正システムであって、
    前記第１のピクセルのセットのうちの前記第１のピクセルを表す前記画像データの一部を処理して、前記第１のピクセルのセットのうちの前記第１のピクセルが飽和したピクセルであると決定することと、
    前記第１のピクセルのセットのうちの前記第１のピクセル及び前記第２のピクセルのセットのうちの前記第１のピクセルを含む第１の画像領域に関して、前記第１のデータを取得することと、
    前記第１のデータに基づいて、前記第１のピクセルのセットのうちの前記第２のピクセル及び前記第２のピクセルのセットのうちの前記第２のピクセルを含む第２の画像領域に関して、前記第２のデータを取得することと、
    前記第２のデータを処理して前記出力データを生成することと、
    を実行するよう機能する飽和補正システムと、
    を備えている、画像処理システム。
  28. 前記画像の前記少なくとも一部を表す出力画像データに対してデモザイク処理を実行するように調整されたデモザイク処理システムを備えており、前記出力画像データが前記出力データを含む、請求項２７に記載の画像処理システム。
JP2019050949A 2018-04-03 2019-03-19 画像処理システム及び方法 Active JP7343090B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1805465.0A GB2572571B (en) 2018-04-03 2018-04-03 Image processing
GB1805465.0 2018-04-03

Publications (2)

Publication Number Publication Date
JP2019186916A JP2019186916A (ja) 2019-10-24
JP7343090B2 true JP7343090B2 (ja) 2023-09-12

Family

ID=62142149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019050949A Active JP7343090B2 (ja) 2018-04-03 2019-03-19 画像処理システム及び方法

Country Status (5)

Country Link
US (1) US10863156B2 (ja)
JP (1) JP7343090B2 (ja)
KR (1) KR102629951B1 (ja)
CN (1) CN110365920B (ja)
GB (1) GB2572571B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132758B2 (en) * 2016-09-14 2021-09-28 Inscape Data, Inc. Embedding data in video without visible impairments
US10755062B1 (en) * 2019-03-19 2020-08-25 Cognex Corporation System and method for evaluating symbols
GB201904072D0 (en) * 2019-03-25 2019-05-08 Secr Defence Dazzle resilient video camera or video camera module
US11394935B2 (en) 2020-06-15 2022-07-19 Samsung Electronics Co., Ltd. Pixel array for reducing image information loss and image sensor including the same
KR20210156553A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US12033392B2 (en) * 2020-12-15 2024-07-09 Mobileye Vision Technologies AG Signal-to-noise ratio (SNR) identification within a scene
KR102630653B1 (ko) * 2022-10-13 2024-01-30 주식회사 넥스트칩 컬러 정보를 생성하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089355A (ja) 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
JP2012244633A (ja) 2011-05-19 2012-12-10 Foveon Inc ディジタル画像中のハイライト領域および飽和領域を処理するための方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0212367D0 (en) * 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
KR101750058B1 (ko) * 2010-12-09 2017-07-03 엘지전자 주식회사 높은 동적 영역의 영상을 생성하는 장치 및 방법
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
EP2880624B1 (en) * 2012-03-26 2019-05-08 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding
GB201516173D0 (en) 2015-09-14 2015-10-28 Apical Ltd Adaptive shading correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089355A (ja) 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
JP2012244633A (ja) 2011-05-19 2012-12-10 Foveon Inc ディジタル画像中のハイライト領域および飽和領域を処理するための方法

Also Published As

Publication number Publication date
KR20190116077A (ko) 2019-10-14
KR102629951B1 (ko) 2024-01-26
GB2572571A (en) 2019-10-09
CN110365920A (zh) 2019-10-22
GB2572571B (en) 2021-09-01
JP2019186916A (ja) 2019-10-24
CN110365920B (zh) 2023-06-27
GB201805465D0 (en) 2018-05-16
US20190306480A1 (en) 2019-10-03
US10863156B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
JP7343090B2 (ja) 画像処理システム及び方法
US11218630B2 (en) Global tone mapping
EP2775719B1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
EP1528797B1 (en) Image processing apparatus, image-taking system and image processing method
KR100893092B1 (ko) 디지털 영상처리 체인에서 색균형을 조절하기 위한 방법 및장치, 대응 장비, 및 이 방법을 구현하기 위한소프트웨어수단
US20070047803A1 (en) Image processing device with automatic white balance
CN104284096B (zh) 基于像素强度分布的多目标自动曝光及增益控制的方法及***
US9355327B2 (en) Image processing apparatus and imaging apparatus with noise correction function and signal level correction function
WO2009050594A2 (en) Exposure control for an imagning system
WO2019104047A1 (en) Global tone mapping
JP7443639B2 (ja) ダイナミックレンジを維持する方法及びプロセッサ、画像処理システム、非一時的コンピュータ可読ストレージ媒体
US11997384B2 (en) Focus setting determination
JPH11262029A (ja) 撮像装置および信号処理装置
GB2623241A (en) Focus setting determination
CN116416144A (zh) 基于反馈进行参数调整的图像处理方法及***
GB2623242A (en) Focus setting determination
GB2616109A (en) Focus setting determination
CN117678234A (zh) 涉水场景的成像方法和成像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230816

R150 Certificate of patent or registration of utility model

Ref document number: 7343090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150