JP5670456B2 - カラー画像のノイズを低減すること - Google Patents

カラー画像のノイズを低減すること Download PDF

Info

Publication number
JP5670456B2
JP5670456B2 JP2012525886A JP2012525886A JP5670456B2 JP 5670456 B2 JP5670456 B2 JP 5670456B2 JP 2012525886 A JP2012525886 A JP 2012525886A JP 2012525886 A JP2012525886 A JP 2012525886A JP 5670456 B2 JP5670456 B2 JP 5670456B2
Authority
JP
Japan
Prior art keywords
image data
energy
visible spectrum
pixel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012525886A
Other languages
English (en)
Other versions
JP2013503527A (ja
Inventor
アンドリュー・オーガスティン・ワイス
Original Assignee
アイピーリンク・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイピーリンク・リミテッド filed Critical アイピーリンク・リミテッド
Publication of JP2013503527A publication Critical patent/JP2013503527A/ja
Application granted granted Critical
Publication of JP5670456B2 publication Critical patent/JP5670456B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、カラー画像のノイズを低減することに関し、詳細には、限定しないが、低ノイズのカラー画像を提供するための方法およびシステム、そのようなシステムで用いるための画像処理装置および画像センサ、ならびに、そのような方法を用いるコンピュータプログラム製品に関する。
従来のデジタルカメラでは、できるだけ実際のシーンに一致するカラー画像を再現するために、フィルタ、例えばレンズと画像センサの間に配置されるカラーフィルタアレイ(CFA)や、レンズの前の赤外線遮断フィルタが用いられる。しかし、フィルタを使用すると画像センサに届く光量が少なくなり、それによってカメラの信号対雑音比(SNR)が実質的に劣化する。さらに、ピクセルのサイズを小さくすることによってセンサの解像度を上げることなど、デジタルカメラ技術における最近の傾向と、光の少ない条件で画像を取り込むために高いISO感度で向上した画像品質を得たいという要求によって、SNRがさらに劣化する恐れがある。
露出時間を長くするか、または絞りを大きくして、より多くの光に画像センサを露出するなどの、SNRを向上させるための方法は、動きによるぶれ、および/または、被写界深度(DOF)の短縮をまねく場合があり、したがって本当の改善をもたらさない。他の選択肢は、ISO感度を上げること(すなわち、画像センサのゲインを増やすこと)である。しかし、ISO感度を上げることによって、画像ノイズが著しく増える。したがって、光の少ない条件において、かつ/または、ピクセルサイズの小さい画像センサを用いる場合において、SNRを向上させる、または所望のレベルに少なくとも維持するために、ノイズを低減するための技術はますます重要となる。
デジタルカメラのSNRを向上させる方法の1つは、広いスペクトル感度を有する画像センサを用いることでありうる。例えば、米国特許出願公開第2007/0153335号では、RGBピクセルと、フィルタのない(透明な)ピクセルとを含む画像センサの使用が記載されている。透明ピクセルの信号はノイズ低減方式で使用され、透明ピクセルの信号に含まれるエッジ情報に基づいて、比較的高ノイズのRGBピクセルの信号がフィルタにかけられる。しかし、このノイズ低減方式は、かなり複雑であり、エッジ保存フィルタリングに依拠している。エッジ保存フィルタ(例えば、メディアンフィルタ、バイラテラルフィルタなど)の使用に関する問題は、このようなフィルタが、鋭いエッジまたは明瞭なエッジに関係しない細部に対して、ノイズと実際の画像細部との違いを判別することが根本的にできないことである。
したがって、当技術分野では、SNRを向上させたカラー画像をもたらす簡単で効率的な方法を提供するための方法およびシステムが必要である。
米国特許出願公開第2007/0153335号 米国特許出願公開第2009/0159799号 米国特許出願公開第2007/0145273号 WO2007/015982
本発明の目的は、従来技術において知られている欠点の少なくとも1つを低減する、または、なくすことである。第1の態様では、本発明は、カラー画像を処理する方法に関しうる。
本方法は、可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含む画像センサを、上記可視スペクトルのエネルギーおよび上記非可視スペクトルのエネルギーに露出するステップと、第1の画像データおよび第2の画像データを生成するステップと、上記第1の画像データをローパスフィルタにかけ、上記第2の画像データをハイパスフィルタにかけるステップと、上記第2の画像データの高周波数成分の少なくとも一部を、上記第1の画像データの低周波数成分の少なくとも一部に加えることによってカラー画像を形成するステップとを含むことができる。
可視スペクトルのエネルギーに関連する第1の画像データ、および、非可視スペクトルのエネルギーに関連する第2の画像データを生成するための様々な画像センサを用いることができる。一実施形態では、上記第1の画像データを得るための上記ピクセルは、上記可視スペクトルのエネルギーの少なくとも一部を透過させるように構成された1つまたは複数のカラーピクセルフィルタを含むことができる。別の実施形態では、上記第2の画像データを得るための上記ピクセルは、上記非可視スペクトルのエネルギーの実質的な部分を透過させ、上記可視スペクトのエネルギーの実質的な部分を遮断するように構成された1つまたは複数の赤外線透過ピクセルフィルタを含むことができる。さらに別の実施形態では、第1の画像データおよび第2の画像データを得るための上記ピクセルは、縦方向に積み重ねられた2つ以上のフォトセンサを含み、上記フォトセンサの少なくとも1つは、上記可視スペクトルのエネルギーの所定部分に反応し、また上記フォトセンサの少なくとも1つは、上記非可視スペクトルの所定部分に反応する。
したがって、公知のノイズ低減方式とは対照的に、本発明によるノイズ低減処理では、「複合の」低ノイズのカラー画像が生成され、カラー情報は、RGBピクセルによって生成されるRGB画像データの低周波数成分によって提供され、画像細部の情報は、赤外線ピクセルによって生成される赤外線画像データの高周波数成分によって提供される。カラー画像は、低周波数のRGB画像データを、高周波数の赤外線画像データに単に加えることによって得られる。本発明は、カラー画像における効果的なノイズ抑圧を可能とする、カラー画像のSNRを実質的に向上させる比較的低ノイズの赤外線ピクセルの信号を、画像センサが生成する点に基づいている。
一実施形態では、画像センサは、少なくとも第1の絞りを使用して上記可視スペクトルのエネルギーに露出され、また、少なくとも第2の絞りを使用して上記非可視スペクトルのエネルギーに露出されうる。別の実施形態では、上記第1の絞りは、上記非可視スペクトルのエネルギーの少なくとも一部に対する画像センサの露出を調節するように適合することができ、上記第2の絞りは、上記可視スペクトルのエネルギーの少なくとも一部に対する上記画像センサの露出を調節するように適合することができる。さらなる実施形態では、本方法は、上記第2の画像データのフィルタにかけられた高周波数成分を、第2の絞りに対する第1の絞りの比に比例して増幅するステップをさらに含む。二重絞りを用いることによって、絞りが大きく、したがって光の少ない状況において効果的に動作すると同時に、鮮鋭な写真をもたらす向上したDOFとSNRを有する、固定焦点のレンズをもつ撮像システム(例えば、携帯電話のカメラ)が提供される。
一変形形態では、本方法は、少なくとも第1のISO感度に従って、上記可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅し、少なくとも第2のISO感度に従って、上記非可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅するステップをさらに含むことができ、上記第1のISO感度は、上記第2のISO感度より大きい。一実施形態では、上記第1のISOの値と上記第2のISOの値との比は、およそ2と8の間に設定することができる。2つのISOの設定を用いることによって、光の少ない条件において、向上したカラー画像を得ることができる。
別の変形形態では、本方法は、上記非可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間を、上記可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間より低い値に設定するステップをさらに含むことができる。赤外線ピクセルに対して比較的短い露出時間を用いることによって、ぶれの少ないカラー画像を得ることができる。
さらなる変形形態では、本方法は、補正されたカラー画像データを形成するために、上記第1のデータの少なくとも一部から、上記第2の画像データの少なくとも一部を引くステップをさらに含むことができる。したがって、赤外線画像データは、カラーピクセルによって生成された信号における赤外線成分を効率的に除くために用いることができる。
さらに別の実施形態では、本方法は、上記画像センサによって生成されたモザイク画像データを提供するステップと、上記画像データに基づいて、1つまたは複数のカラーピクセルに関連する少なくとも1つまたは複数の第1のカラー画像データと、上記赤外線ピクセルに関連する第2の画像データとを、デモザイキングアルゴリズムを用いて生成するステップとをさらに含むことができる。
さらなる態様では、本発明は、可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに画像センサを露出することによって生成される画像データを受信するための入力部であって、上記画像データが、可視スペクトルのエネルギーに関連する第1の画像データ、および、非可視スペクトルのエネルギーに関連する第2の画像データを含む、入力部と、上記第1の画像データをローパスフィルタにかけ、上記第2の画像データをハイパスフィルタにかけるように構成されたノイズ低減部と、上記ハイパスフィルタにかけられた赤外線画像データを、上記ローパスフィルタにかけられたカラー画像データに加えるための混合部とを含む画像処理装置に関しうる。
一実施形態では、本装置は、画像センサによって生成されるモザイク画像データであって、1つまたは複数のカラーピクセルフィルタに関連する第1のモザイク画像データと、1つまたは複数の赤外線ピクセルフィルタに関連する第2のモザイク画像データとを含む、モザイク画像データを受信するためのデモザイク処理部をさらに含むことができる。
別の実施形態では、本処理装置は、上記デモザイク処理部からの入力を受信するように構成され、1つまたは複数のカラーピクセルフィルタに関連する上記第1のデモザイク処理された画像データから、1つまたは複数の赤外線ピクセルフィルタに関連する第2のデモザイク処理された画像データを引くように構成されたカラー補正部をさらに含むことができる。
別の態様では、本発明は、可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに露出するように構成され、上記可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、上記非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含み、絞り系が、可視スペクトルのエネルギーおよび非可視スペクトルエネルギーへの画像センサの露出を調節するように適合されている、画像センサと、上記で説明した画像処理装置とを含む撮像システムに関しうる。
一実施形態では、上記絞り系は、上記非可視スペクトルのエネルギーの少なくとも一部への画像センサの露出を調節するように適合されている少なくとも第1の絞りと、上記可視スペクトルのエネルギーの少なくとも一部への上記画像センサの露出を調節するように適合されている少なくとも第2の絞りとを含む。
本発明は、上記説明による撮像システムで用いるための画像センサにさらに関し、本センサは、好ましくは2次元のピクセルアレイであり、可視スペクトルのエネルギーに感光性のある1つまたは複数のカラーピクセルと、非可視スペクトルのエネルギーに感光性のある1つまたは複数の赤外線ピクセルとを定めるピクセルアレイと、上記カラーピクセルに関連するISO感度を第1のISO感度の値に設定するための、上記カラーピクセルの少なくとも一部に関連する少なくとも1つの第1の増幅器と、上記赤外線ピクセルに関連するISO感度を第2のISO感度の値に設定するための、上記赤外線ピクセルの少なくとも一部に関連する第2の増幅器とを含み、上記第1のISO感度の値は上記第2のISO感度の値より大きく、好ましくは、上記第1の増幅器および上記第2の増幅器は、上記第1のISO感度の値と上記第2のISO感度の値の比が、およそ2と8の間で調節されうるように構成されている。
さらなる実施形態では、本画像センサは、上記カラーピクセルに関連する露出時間を第1の露出値に設定するための、上記カラーピクセルの少なくとも1つに関連する第1の電子シャッタと、上記赤外線ピクセルに関連する露出時間を第2の露出時間の値に設定するための、上記赤外線ピクセルの少なくとも1つに関連する第2の電子シャッタとをさらに含むことができる。したがって、本実施形態では、この画像センサは、赤外線ピクセルによって生成された赤外線信号の高周波数成分を用いてカラー画像のノイズを効果的に低減するための画像処理装置と一緒に使用することに特に適合されている。さらに、この画像センサは、光の少ない条件のもとでSNRを向上させ、かつ/または、動きによるぶれを少なくするために、撮像システムが2つのISOおよび/または2つの露出モードを用いることができるように、カラーピクセルと赤外線ピクセルの信号ゲイン(ISO感度)と露出時間を独立して設定することができる。
さらに、本発明は、カラー画像を処理するためのコンピュータプログラム製品に関する場合があり、上記コンピュータプログラム製品は、コンピュータシステムのメモリにおいて動作する際に、上記で説明した方法ステップを実行するように構成されたソフトウェアコード部分を含む。また本発明は、コンピュータシステムの伝送ライン、および/または、コンピュータシステムに接続されているデータネットワークを介して伝わる搬送波に含まれるデータ信号に関する場合があり、上記データ信号は、上記で説明したコンピュータプログラム製品の少なくとも一部を符号化するデータを含む。また本発明は、コンピュータシステムによって読み取ることができ、上記で説明したコンピュータシステムの1つまたは複数のリソースへの安全なアクセスを管理するためにコンピュータプログラム製品を符号化しているコンピュータプログラム記憶媒体に関する場合がある。
本発明による実施形態を概略的に示す添付図面を参照して、本発明をさらに例示する。本発明は、いかなる方法においてもこれらの具体的な実施形態に限定されないことが理解されよう。
本発明の一実施形態による撮像システムを示す図である。 赤外線遮断フィルタのないデジタルカメラの典型的なカラー応答を示す図である。 シリコンおよび赤外線遮断フィルタの光応答を示す図である。 赤外線/カラーフィルタアレイの概略図(A)と、積み重ねられたフォトダイオードの構造の概略図(B)とを示す図である。 本発明の一実施形態によるノイズ低減方式の流れ図である。 本発明の一実施形態による撮像システムで用いるための二重絞りを示す図である。 二重絞りを用いて撮像システムのDOFを向上させる原理を示す図である。
図1は、本発明の一実施形態による撮像システム100を示す。この撮像システムは、画像センサ102、画像センサの撮像面にシーンの被写体の焦点を合わせるためのレンズ系104、シャッタ106、および、電磁スペクトルにおける可視部分(例えば、RGB)と非可視部分(例えば、赤外線)からなる光(電磁放射線)が撮像システムに入ることを可能にするための少なくとも1つの絞りを含む絞り系108を含む。この撮像システムは、デジタルカメラの一部でもよく、または、画像取り込み機能を必要とする携帯電話、ウェブカメラ、および別のマルチメディアデバイスに組み込まれていてもよい。
光に対する画像センサの露出は、シャッタと絞りによって調節される。シャッタが開いたとき、絞りは、光量と、画像センサを露光する光のコリメーションの度合いとを調節する。シャッタは、機械式シャッタでもよく、あるいは、画像センサと一体になっている電子シャッタでもよい。画像センサは、2次元のピクセルアレイを形成する感光性部分(ピクセル)の行と列を含む。画像センサは、CMOS(相補型金属酸化膜半導体)のアクティブピクセルセンサでもよく、または、CCD(電荷結合デバイス)の画像センサでもよい。
レンズ系によって光が画像センサに投影されると、それぞれのピクセルは、そのピクセルに入射した電磁放射線(エネルギー)に比例した電気信号を生成する。カラー情報を取得し、画像センサの撮像面に投影される画像のカラー成分を分離するために、レンズと画像センサの間にカラーフィルタアレイ (CFA) 120が一般に配置される。このカラーフィルタアレイは、画像センサのそれぞれのピクセルが、対応するピクセルフィルタを有するように画像センサと一体化していてもよい。それぞれのカラーフィルタは、所定のカラーバンドの光をピクセルの方に通過させるように適合されている。一般には、赤、緑、および青(RGB)のフィルタの組み合わせが用いられるが、CYGM(シアン、黄、緑、マジェンダ)、RGBE(赤、緑、青、エメラルド)などの他のフィルタ方式も可能である。
露出した画像センサの各ピクセルは、ピクセルに関連するカラーフィルタを通過した電磁放射線に比例した電気信号を生成する。したがって、ピクセルのアレイは、カラーフィルタアレイを通過した電磁エネルギー(放射線)の空間分布を表す画像データ(フレーム)を生成する。ピクセルから受信された信号は、1つまたは複数の、オンチップ増幅器を用いて増幅することができる。一実施形態では、画像センサのそれぞれのカラーチャネルは、別々の増幅器を用いて増幅することができ、それによって、異なる色に対するISO感度を個別に調節することが可能となる。
さらに、ピクセル信号は、画像センサのチップに組み込むことができる1つまたは複数のアナログ-デジタル(A/D)コンバータ110を用いて、サンプリングし、量子化し、また、デジタルフォーマットのワードに変換することができる。デジタル化された画像データは、補間、フィルタリング、ホワイトバランス、輝度補正、データ圧縮技術(例えば、MPEGまたはJPEGタイプの技術)などの信号処理機能を実行するように構成された、画像センサに結合しているデジタル信号プロセッサ(DSP)112によって処理される。DSPは、中央処理装置114と、取り込まれた画像を記憶するための記憶装置116と、画像データを処理するためのDSPによって用いられるか、もしくは、撮像システムの動作を管理するための中央処理装置によって用いられる1つもしくは複数のソフトウェアプログラムを含むEEPROMまたは別の種類の不揮発性メモリなどのプログラムメモリ118とに結合している。
撮像システムの感度を上げるために、レンズ系は、可視光と、赤外線または赤外線の少なくとも一部との両方が撮像システムに入ることを可能とするように構成されている。そのため、撮像システムは、すべての赤外線の入射を遮断する、レンズ系の前にあるフィルタを含まない。したがって、レンズ系を通って撮像システムに入る電磁放射線122は、光のスペクトルの可視部分に関連する放射線と、赤外線部分に関連する放射線との両方を含むことができ、それによって、画像センサの光応答は赤外線まで広がる。
図2には、従来のCFAのカラー画像センサにおける赤外線遮断フィルタ(がないこと)の効果が示されている。グラフAおよびグラフBにおけるカーブ202は、赤外線遮断フィルタ(熱線反射フィルタ(hot mirror filter))をもたないデジタルカメラの典型的なカラー応答を表す。グラフAは、熱線反射フィルタを使用した効果を示す。熱線反射フィルタの応答210によって、画像センサのスペクトル応答が可視スペクトルに制限されるため、画像センサの全体的な感度は実質的に制限される。熱線反射フィルタが除かれると、赤外線の一部がカラーピクセルフィルタを通過することになる。この効果は、青のピクセルフィルタ204、緑のピクセルフィルタ206、および赤のピクセルフィルタ208を含むカラーピクセルの光応答を示すグラフBによって示されている。特に赤のピクセルフィルタである、カラーピクセルフィルタは、ピクセル信号の一部が赤外線に起因しうるように赤外線を(部分的に)透過させる。これらの赤外線の寄与は、カラーバランスを歪める場合があり、いわゆる偽色(false color)を含む画像をもたらす。
図3は、熱線反射フィルタの応答302と、シリコン、すなわち、デジタルカメラで用いられる画像センサの主要な半導体コンポーネントの応答304とを含むグラフを示す。このグラフでは、赤外線に対するシリコンの画像センサの感度が、可視光に対するシリコンの画像センサの感度よりおよそ4倍高くなることが明らかに示されている。
したがって、画像センサによってもたらされるスペクトル感度をうまく利用するために、図1の撮像システムにおける画像センサ102は、赤外線スペクトルのエネルギーに関連するピクセル信号を取り出すための1つまたは複数のピクセルを含み、それによって、撮像システムは、RGBのカラー画像と、比較的低ノイズの赤外線画像とを生成することが可能となる。図4には、このような画像センサの例が示されている。図4(A)には、画像センサが、カラーピクセルと共に1つまたは複数の赤外線ピクセル(I)を含む実施形態が示されている。このような赤外線ピクセルは、可視光を実質的に遮断する、好ましくは約700nmから約1100nmの範囲内の赤外線を実質的に透過させるフィルタ材料で、光部分(photo-site)を覆うことによって実現することができる。このような赤外線/カラーフィルタアレイ(ICFA)における赤外線透過ピクセルフィルタは、「DARC 400」の商標でBrewer Scienceによって販売されている黒のポリイミド材料などの、スペクトルにおける赤外線帯域の波長に対して高い透過率を有する周知のフィルタ材料を用いて実現することができる。このようなフィルタを実現する方法は、米国特許出願公開第2009/0159799号に記載されている。ICFAは、2×2ピクセルなどの、ピクセルのブロックを含むことができ、それぞれのブロックは、赤、緑、青、および赤外線のピクセルを含む。露出されると、このようなICFAのカラー画像センサは、RGBのカラー情報と赤外線情報を含む生のモザイク画像を生成することができる。周知のデモザイキングアルゴリズム(demosaicking algorithm)を用いて生のモザイク画像を処理した後、RGBのカラー画像と赤外線画像が得られる。このようなICFAのカラー画像センサにおける赤外線に対する感度は、ブロックにおける赤外線ピクセルの数を増やすことによって上げることができる。構成の1つ(図示せず)では、画像センサのフィルタアレイは、例えば4個のカラーピクセルRGGBと12個の赤外線ピクセルとを含む、16個のピクセルからなるブロックを含むことができる。
さらに別の実施形態では、画像センサは、光部分のアレイを含むことができ、それぞれの光部分は、複数の積み重ねられたフォトダイオードを含む。積み重ねられた光部分(stacked photo-site)は、少なくとも原色RGBと赤外線とにそれぞれ反応する少なくとも4つの、積み重ねられたフォトダイオードを含むことが好ましい。これらの積み重ねられたフォトダイオードは、画像センサのシリコン基板に組み込むことができる。図4(B)は、このような積み重ねられた光部分の概略図を示す。フォトダイオード404、406、408、410は、スペクトルの異なる部分にそれぞれのフォトダイオードが反応するように、画像センサにおけるシリコン基板の異なる深さの所に配置されている。波長が長いほど、光はシリコン基板の深くに入り込むことになる。したがって、画像センサの受光面402に最も近いフォトダイオード404は、青のスペクトル応答を有することになるため、青(色)のピクセルを形成する。一方、受光面402から最も遠くに移されているフォトダイオード410は、赤外線のスペクトル応答を有することになるため、赤外線ピクセル(I)を形成する。縦方向に積み重ねられたフォトダイオードを含むこのようなRGBIの画像センサでは、カラーピクセルの信号によって、デモザイキングを必要とせずにRGBカラー画像と赤外線画像が直接形成されるという利点がもたらされる。
画像センサは、カラーピクセルと、赤外線ピクセルおよび/または透明ピクセルとのピクセル信号を増幅するための1つまたは複数の増幅器、および、所定の露出時間にわたってピクセルを露出するための1つまたは複数の電子シャッタを含むことができる。通常、増幅器およびシャッタの電子回路は、画像センサのチップに組み込むことができる。一実施形態では、カラーピクセルは、カラーピクセルに関連するISO感度および/または露出時間を設定するための増幅器および/または電子シャッタを有することができる。同様に、赤外線ピクセルは、赤外線ピクセルに関連するISO感度および/または露出時間を設定するための増幅器および/または電子シャッタを有することができる。
図4に示されている画像センサの赤外線ピクセルにより生成された赤外線画像データは、SNR特性が向上したカラー画像を生成するために用いることができる。図5には、このような処理に関する一実施形態がより詳細に示されている。本実施形態では、ICFAのカラー画像センサを含む撮像システムが用いられる。処理における第1のステップでは、画像センサは、その画像センサの受光部分に入射する、カラー(RGB)スペクトルと赤外線スペクトルにおける光子のエネルギーの分布を表すモザイクを含む生の画像データを生成する(ステップ502)。次に、モザイクの画像データは、周知のデモザイキングアルゴリズムを用いて、3つのカラー画像(R’G’B’)と、赤外線画像とにデモザイク処理される(ステップ504)。このR’G’B’のカラー画像は、望ましくない赤外線情報を含んだままである可能性があるが、その赤外線情報は、カラー画像から赤外線画像を引くことによって除くことができ、それによって、補償された(本来の)RGBカラー画像が作られる(ステップ506)。あるいは、R’G’B’のカラー画像は、周知のホワイトバランスの技法を用いて補正することもできる。その後、RGBのカラー画像は、有限入力応答フィルタ(finite input response filter)またはエッジ保存フィルタなどのローパスフィルタにかけられ、それによって、ぼやけた画像、または少なくとも部分的にぼやけた画像が効果的に作られ、コントラスト情報と高周波数のノイズとは抑圧される(ステップ508)。赤外線画像データは、赤外線画像のコントラスト情報を含む、赤外線画像ピクセルの信号における高周波数成分を抽出するためにハイパスフィルタにかけられる(ステップ510)。一実施形態(図示せず)では、赤外線画像をエッジ保存フィルタリングのステップにさらにかけることができる。このようなエッジ保存フィルタリングのステップでは、赤外線画像データのコントラスト情報がさらに強調されうる。次に、ハイパスフィルタにかけられた赤外線画像データと、ローパスフィルタにかけられたカラー画像データとは、フルカラーのRGB画像を形成するために加えられる(混ぜられる)(ステップ512)。したがって、公知のノイズ低減方式とは対照的に、本発明によるノイズ低減処理では、「複合の」低ノイズのカラー画像が生
成され、カラー情報は、RGBピクセルによって生成されたRGB画像データの低周波数成分によって提供され、画像細部の情報は、赤外線ピクセルによって生成された赤外線画像データの高周波数成分によって提供される。カラー画像は、低周波数のRGB画像データを高周波数の赤外線画像データに単に加えることによって得られる。本発明は、画像センサが比較的低ノイズの赤外線ピクセルの信号を生成する点に基づいている。この方法は、カラー画像におけるノイズの効果的な抑圧を可能にし、カラー画像のSNRを実質的に向上させることができる。一変形形態では、国際照明委員会によって定義され、人間の視覚に近づけるように設計されたCIE 1931 XYZの色空間に基づくLAB色空間などの適切な色空間に、RGBカラー画像をさらに変換することができる。その後、高周波数の赤外線成分は、LABカラー画像のL成分(明度(lightness contrast))に加えられる。
本方法は、撮像システムのDSPにおけるノイズ抑圧機能として実装することができる。典型的には、本方法は、ソフトウェアプログラム、または、ハードウェア回路とソフトウェアプログラムの組み合わせとして実施されることになる。
図5に示されている方法は、赤外線画像データを得るためにICFAタイプの画像センサを用いて説明されているが、本発明は、他の画像センサと共に用いられてもよい。一実施形態では、図5に示されている方法は、図4(B)を参照して説明した、縦方向に積み重ねられたフォトダイオードを含むRGBIの画像センサと共に用いられてもよい。このような画像センサを用いることによって、図5を参照して説明したデモザイキングのステップ504と、カラー補償のステップ506とが必要でなくなるという利点がもたらされる。
さらなる実施形態(図示せず)では、1つまたは複数のパンクロピクセル(panchromatic pixel)または透明ピクセルを含むカラー画像センサを用いることができる。このようなカラー画像センサは、例えば、米国特許出願公開第2007/0153335号、米国特許出願公開第2007/0145273号、またはWO2007/015982から公知であり、RGBピクセルと、可視スペクトルおよび非可視(赤外線)スペクトルの両方に感光性のある1つもしくは複数の透明ピクセル(T)またはパンクロピクセルと(のブロック)を含む。このような画像センサを用いて生の画像データを取り込んだ後、例えば米国特許出願公開第2007/0153335号に開示されている公知のホワイトバランス技法を用いて、取り込んだRGBデータのカラーバランスをまず元に戻すことができる。その後、RGB画像データは、ローパスフィルタを用いてフィルタにかけられ、(RGB部分と赤外線部分の両方を含む)透明ピクセルに関連する画像データは、ハイパスフィルタを用いてフィルタにかけられる。次に、SNRが向上したカラー画像を形成するために、透明ピクセルの信号における高周波数成分は、ローパスフィルタにかけられたRGB画像データに加えられる。
このノイズ低減方法によって、(目に見える)光の少ない条件における画像品質のさらなる向上が可能となる。そのため、さらなる実施形態では、画像センサのカラーピクセルは、光の少ない条件のもとで高ノイズのカラー画像を提供するために、例えば3200と6400の間である、(例えば、ISO規格12232:2006によって定義されている)高いISO感度に設定することができる。カラーピクセルを高いISOレーティング(ISO rating)に効果的に設定することは、そのカラーピクセルに関連する増幅器の信号ゲインが増すことを意味する。
画像センサの赤外線ピクセルは、低ノイズの赤外線画像を生成するために、例えば400と1600の間である、低いISO感度に設定することができる。一実施形態では、高いISOの値と低いISOの値との比を、2と8の間に設定することができる。図5を参照して説明した方法を用いて、光の少ない条件のもとで2つのISOモードの画像センサによって取り込まれた生の画像データの後段の処理によって、SNRが向上したカラー画像がもたらされることになる。本方法は、画像センサにおける本来備わっている赤外線感度を最適に利用することを可能にし、また複雑な処理を必要としない。
さらなる実施形態では、図5における方法は、特に比較的長い露出時間を使う場合に、カメラのぶれによる影響を少なくするために用いることができる。その場合、感光性のある赤外線ピクセルは、カラーピクセルと同じ感度(同じISO感度)に設定することができる。しかし、赤外線ピクセルの露出時間は、カラーピクセルの露出時間に比べて著しく低減されうる。例えば、カラーピクセルの露出時間が1/4秒に設定される場合、赤外線ピクセルの露出時間は1/60秒に設定され、それによってコントラストの高い赤外線画像が提供される。図5に示されている方法を用いる画像センサによって生成される生の画像データの後段の処理によって、ぶれの少ないカラー画像がもたらされることになる。
カラーピクセルの露出時間と赤外線ピクセルの露出時間は、カラーピクセル用の第1の電子シャッタと、赤外線ピクセル用の第2の電子シャッタとによって調節することができる。あるいは、カラー画像と赤外線画像は、次の2つの画像、すなわち比較的長い露出時間に関連する第1の画像と、比較的短い露出時間に関連する第2の画像とを、時間を合わせて取り込むことによって得ることもできる。
したがって、光の少ない条件のもとでSNRを向上させ、かつ/または、動きによるぶれを少なくするために、カラーピクセルと赤外線ピクセルの信号ゲイン(ISO感度)と露出時間をそれぞれ独立して調節するように構成された画像センサと組み合わせたノイズ低減方法を用いることによって、撮像システムが2つのISOおよび/または2つの露出モードを用いることが可能となる。
その上さらなる実施形態では、このノイズ低減方法は、二重絞りを含む撮像システムにおいて用いることができる。このような二重絞りは、カメラの被写界深度(DOF)を向上させるために用いることができる。DOFによって、画像が取り込まれる際に焦点の合う、カメラからの距離範囲が求められる。絞りが大きいほど(受光が多いほど)、DOFは制限される。図6には、このような二重絞りに関する一実施形態が概略的に示されている。二重絞り系600は、中央に開口部602(例えば、円形穴)を有する基板604を含む。基板の材料は、少なくとも可視放射線に対して透過性とすることができ、誘電体フィルタなどの薄膜のフィルタ材料606によって覆われていてもよい。一実施形態では、この基板は、赤外線スペクトルの放射線を反射し、可視スペクトルの放射線を透過させるダイクロイックフィルタで覆われている。干渉フィルタとも呼ばれるダイクロイックフィルタは、当技術分野では周知であり、一般に、赤外線(例えば、約750ナノメートルから約1250ナノメートルの間の波長を有する放射線)を反射し、スペクトルの可視部分における放射線を透過させるように構成された特定の厚さの、複数の薄膜誘電体層を含む。
基板は、不透明材料からなるホルダ606を用いて、撮像システムのレンズの前に配置することができる。このホルダは、円形の開口部608を含み、ホルダの円形開口部の中心に基板の開口部が配置されるように、基板を受け、その基板を位置決めするように構成されている。ホルダの開口部の直径は基板の開口部の直径より大きいため、フィルタで覆われた基板の一部は、レンズを通って撮像システムに入る放射線に露出している。この露出部分によって、基板の穴のまわりに同心円のリング612が形成される。
多重絞りは、光学的配置において、第1の円形フィルタの皮膜を含む第1の透明基板と共に、第2の円形フィルタを含む第2の透明基板、および、光学系における1つまたは複数のレンズなどの、いくつかの別々の絞り部品によって形成することができ、それによって、図6に関して説明した二重絞り系と同じ効果が有効に提供される。あるいは、絞り系は、絞り系を形成する第1および第2のフィルタ被膜の基板としてレンズを用いることによって、レンズと一体化することもできる。
変形形態では、二重絞り系は、第1の絞り系に関連する第1のレンズ系と、第2の絞り系に関連する第2のレンズ系などの、2つ以上のレンズ系によって形成されてもよい。
可視スペクトルのエネルギーと非可視(赤外線)スペクトルのエネルギーは、二重絞り系を通って撮像システムに入る。絞り系で用いられる赤外線遮断フィルタが可視光に対して透過性であるため、撮像システムに入る可視スペクトルの放射線の量は、ホルダの開口部の直径によって調節される。他方、フィルタが、赤外線のすべて、または少なくともその実質的な部分を遮断するため、撮像システムに入る赤外線スペクトルの放射線の量は、ホルダの開口部の直径より小さい、基板の開口部の直径によって調節される。
したがって、単一の絞りを含む撮像システムとは反対に、二重絞りの撮像システムでは、画像センサを露光する、異なる帯域のスペクトルにおける放射線の量とコリメーションとを調節するために、異なるサイズの2つ(または3つ以上)の絞りを含む絞り系が用いられる。二重絞りは、f値が通常7(例えば、7mmの焦点距離fと1mmの直径)である携帯電話のシンプルなカメラのそのDOFを、f値が例えば0.5mmの直径に対する14から0.2mm以下の直径に対する最大70以上の間で変化する第2の絞りによって改善することを可能にし、このときf値は、焦点距離fと、絞りの有効径との比によって定義される。好ましい実装形態は、近くの被写体の鮮鋭度を向上させるための、約2から約4までの可視放射線用のf値を、遠くの被写体の鮮鋭度を向上させるための、約16から約22までの赤外線の絞り用のf値と組み合わせて含む光学系を含む。
絞り系は、2つの異なる薄膜フィルタ、すなわち、スペクトルの第1の帯域における放射線を透過させる第1の開口部を基板の中央に形成する第1の円形薄膜フィルタと、スペクトルの第2の帯域における放射線を透過させる、第1のフィルタのまわりに(例えば、同心円のリング状に)形成された第2の薄膜フィルタとを有する透明基板を含むことができる。第1のフィルタは、可視放射線と赤外線の両方を透過させるように構成することができ、第2のフィルタは、赤外線を反射させ、可視放射線を透過させるように構成することができる。外側の同心円のリングの外径は、不透明絞りホルダの開口部によって定められてもよく、あるいは、赤外線と可視放射線の両方を遮断する、基板上に堆積した不透明薄膜層によって画定された開口部によって定められてもよい。
図6に示されている二重絞り系は、撮像システムのDOFを向上させるために用いることができる。図7には、DOFを向上させる原理が概略的に示されている。可視スペクトルのエネルギーと赤外線スペクトルのエネルギーは、所定の直径の円形穴702を有する、フィルタで覆われた透明基板700を含む二重絞り系を通って撮像システムに入る。フィルタの皮膜704は、可視放射線を透過させ、赤外線を反射させることができる。不透明カバー706は、穴702の直径より大きい直径を有する円形の開口部を含むことができる。このカバーは、赤外線と可視放射線の両方を反射する薄膜の皮膜を含んでもよく、または、光学系において基板700を保持し、位置決めするためのホルダの一部でもよい。可視スペクトルのエネルギーと赤外線スペクトルのエネルギーは、絞り系を通過し、次に、ICFAのカラー画像アレイなどの、可視スペクトルのエネルギーに関連する画像データを得るためのピクセルと、非可視(赤外線)スペクトルのエネルギーに関連する画像データを得るためのピクセルとを含む画像センサ、または、積み重ねられたRGBIの光部分を含む画像センサの撮像面714にレンズ712によって投影される。したがって、画像センサのピクセルは、DOFの大きい、赤外線スペクトルのエネルギーに関連する絞りの小さい第2の画像信号718に重なる、可視スペクトルのエネルギーに関連するDOFが制限された(比較的)絞りの大きい第1の画像信号716を受けることができる。したがって、レンズにおける焦点fの面に近い被写体714は、可視放射線によって比較的焦点ぼけの少ない状態で画像面に投影され、焦点の面から遠くに位置している被写体716は、赤外線によって比較的焦点ぼけの少ない状態で画像面に投影される。
露出時には、画像センサは、可視画像信号と赤外線画像信号の両方を1枚の画像フレームに同時に取り込む。ICFAのカラー画像センサが用いられる場合、DSPは、例えばデモザイキングアルゴリズム(図示せず)を用いて、取り込まれた生のモザイク画像におけるカラーピクセル信号と赤外線ピクセル信号を分離することができる。その後、(可視)カラー画像データと(非可視)赤外線画像データは、図5を参照して説明したノイズ低減方法にかけることができ、それによって、DOFとSNRが向上したカラー画像が作られる。図7に示された原理は、当業者によって、焦点面からの様々な距離における焦点ぼけの少ない被写体を画像センサの画像面に投影するように構成可能な多重絞り系に容易に拡張されうる。
図6および図7を参照して説明した二重絞りを含む撮像システムを用いる場合、画像センサによって受けられる赤外線は、主に赤のピクセルフィルタと赤外線のピクセルフィルタによって透過する。したがって、取り込まれた画像フレームにおける赤のカラー成分は、高振幅の可視赤信号と、鮮鋭で低振幅の非可視赤外線信号との両方を含む。一般に、赤外線成分は、可視赤成分より8倍から6倍低くなる。赤外線の存在によって生じるわずかな歪みを補償するために、レッドバランス(red balance)を調整することができる。鮮鋭で、絞りの小さい赤外線画像の信号は、赤ピクセルにおけるハイパスフィルタにかけられた成分と、赤外線ピクセルの信号とから得ることができる。この信号は、カラー画像のDOFとSNRの両方を向上させるために用いることができる。
画像センサの赤外線ピクセルによって生成された赤外線画像信号は、カラー画像信号におけるそれぞれのカラー成分から赤外線画像信号を引くことによって、赤外線によって生じたカラーピクセルの色歪みを効率的に除去するために用いることができる。したがって、RGBIのフィルタアレイを有する画像センサ、または、積み重ねられたRGBIの画像センサを多重絞り系と組み合わせて用いることによって、DOFおよびSNRおよびカラーバランスが向上したカラー画像の生成が可能となる。
さらなる実施形態においては、図6および図7を参照して説明した二重絞りの撮像システムでは、カラーピクセルと、透明ピクセルまたはパンクロピクセルとを含むカラー画像センサも使用されうる。絞りの小さい赤外線信号は、絞りの大きいカラー信号に比べて比較的低振幅の信号であるため、カラーピクセル信号における赤外線の寄与は、比較的小さいものとなる。透明ピクセルによって生成される画像データにおける支配的なカラー成分を除くために、カラーピクセルによって生成されるカラー画像データを用いることができる。透明ピクセルによって生成された画像データからカラー画像データを引くことによって、図5を参照して説明したノイズ低減方法で使用するのに適した赤外線画像データが得られる。
さらに、赤外線用絞りが比較的小さいことによって比較的小さい赤外線画像信号が生成されるため、フィルタにかけられた高周波数の成分は、赤外線用絞りに対する可視光用絞りの比に比例して増幅することができる。
図6および図7を参照して説明した二重絞りを、図5を参照して説明したノイズ低減方式と組み合わせることによって、絞りが大きく、したがって光の少ない状況において効果的に動作すると同時に、鮮鋭な写真をもたらす向上したDOFとSNRを有する、固定焦点のレンズをもつ撮像システム(例えば、携帯電話のカメラ)が提供される。
いずれか1つの実施形態に関して説明した任意の特徴は、単独で用いられてもよく、または、説明した他の特徴と組み合わせて用いられてもよく、また、任意の他の実施形態の1つまたは複数の特徴と組み合わせて用いられてもよく、または、任意の他の実施形態と任意に組み合わせて用いられてもよい。さらに、上記で説明されていない等価物および変形が、添付の特許請求の範囲で定義されている本発明の範囲から逸脱することなく用いられてもよい。
100 撮像システム
102 画像センサ
104 レンズ系
106 シャッタ
108 絞り系
120 カラーフィルタアレイ
122 電磁放射線
202 カーブ
204 青のピクセルフィルタ
206 緑のピクセルフィルタ
208 赤のピクセルフィルタ
210 熱線反射フィルタの応答
302 熱線反射フィルタの応答
304 シリコンの応答
402 受光面
404 フォトダイオード
406 フォトダイオード
408 フォトダイオード
410 フォトダイオード
600 二重絞り系
602 開口部
604 基板
606 薄膜のフィルタ材料
608 開口部
612 同心円のリング
700 透明な基板
702 円形穴
704 フィルタの皮膜
706 不透明カバー
712 レンズ
714 被写体
716 被写体

Claims (13)

  1. 低ノイズのカラー画像を提供する方法であって、
    可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含む１つの画像センサを、少なくとも第１の絞りを使用して前記可視スペクトルのエネルギーに、および前記第１の絞りより小さい少なくとも第２の絞りを使用して前記非可視スペクトルのエネルギーに露出するステップと、
    第1の画像データおよび第2の画像データを生成するステップと、
    前記第1の画像データをローパスフィルタにかけ、前記第2の画像データをハイパスフィルタにかけるステップと、
    前記第2の画像データの高周波数成分の少なくとも一部を、前記第1の画像データの低周波数成分の少なくとも一部に加えることによってカラー画像を形成するステップと
    を含む方法。
  2. 前記第1の画像データを得るための前記ピクセルが、前記可視スペクトルのエネルギーの少なくとも一部を透過させるように構成された1つまたは複数のカラーピクセルフィルタを含む、請求項1に記載の方法。
  3. 前記第2の画像データを得るための前記ピクセルが、前記非可視スペクトルのエネルギーの実質的な部分を透過させ、前記可視スペクトルのエネルギーの実質的な部分を遮断するように構成された1つまたは複数の赤外線透過ピクセルフィルタを含む、請求項1または2に記載の方法。
  4. 第1の画像データおよび第2の画像データを得るための前記ピクセルが、縦方向に積み重ねられた2つ以上のフォトセンサを含み、前記フォトセンサの少なくとも1つが、前記可視スペクトルのエネルギーの所定部分に反応し、前記フォトセンサの少なくとも1つが、前記非可視スペクトルの所定部分に反応する、請求項1に記載の方法。
  5. 前記第1の絞りが、前記非可視スペクトルのエネルギーの少なくとも一部に対する前記画像センサの露出を調節するように適合されており、前記第2の絞りが、前記可視スペクトルのエネルギーの少なくとも一部に対する前記画像センサの露出を調節するように適合されている、請求項１に記載の方法。
  6. 前記第2の画像データのフィルタにかけられた高周波数成分を、前記第2の絞りに対する前記第1の絞りの比に比例して増幅するステップをさらに含む、請求項１または５に記載の方法。
  7. 少なくとも第1のISO感度に従って、前記可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅し、少なくとも第2のISO感度に従って、前記非可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅するステップをさらに含み、前記第1のISO感度が、前記第2のISO感度より大きく、好ましくは、前記第1のISOの値と前記第2のISOの値との比がおよそ2と8の間である、請求項1から６のいずれか1項に記載の方法。
  8. 前記非可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間を、前記可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間より低い値に設定するステップをさらに含む、請求項1から７のいずれか1項に記載の方法。
  9. 前記画像センサは、カラーピクセルフィルタを備えた１つまたは複数のカラーピクセルと、赤外線を実質的に透過させ、可視光を遮断するピクセルフィルタを備えた１つまたは複数の赤外線ピクセルとを含み、
    前記画像センサによって生成されたモザイク画像データを提供するステップと、
    前記画像データに基づいて、前記1つまたは複数のカラーピクセルに関連する少なくとも1つまたは複数の第1のカラー画像データと、前記赤外線ピクセルに関連する第2の画像データとを、デモザイキングアルゴリズムを用いて生成するステップと
    をさらに含む、請求項1から3のいずれか1項に記載の方法。
  10. 第１の絞りを使用して可視スペクトルのエネルギーに、および前記第１の絞りより小さい第２の絞りを使用して非可視スペクトルのエネルギーに１つの画像センサを露出することによって生成される画像データを受信するための入力部であって、前記画像データが、可視スペクトルのエネルギーに関連する第1の画像データ、および、非可視スペクトルのエネルギーに関連する第2の画像データを含む、入力部と、
    前記第1の画像データをローパスフィルタにかけ、前記第2の画像データをハイパスフィルタにかけるように構成されたノイズ低減部と、
    前記ハイパスフィルタにかけられた第２の画像データを、前記ローパスフィルタにかけられた第１の画像データに加えるための混合部と
    を含む、画像処理装置。
  11. 可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに露出するように構成され、前記可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、前記非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含む画像センサと、
    少なくとも第１の絞りを使用して前記可視スペクトルのエネルギーへ、および前記第１の絞りより小さい少なくとも第２の絞りを使用して前記非可視スペクトルのエネルギーへの画像センサの露出を調節するように適合されている絞り系と、
    請求項１０に記載の画像処理装置と
    を含む、撮像システム。
  12. 好ましくは2次元のピクセルアレイであり、可視スペクトルのエネルギーに感光性のある1つまたは複数のカラーピクセルと、非可視スペクトルのエネルギーに感光性のある1つまたは複数の赤外線ピクセルとを定めるピクセルアレイと、
    前記カラーピクセルに関連するISO感度を第1のISO感度の値に設定するための、前記カラーピクセルの少なくとも一部に関連する少なくとも1つの第1の増幅器と、前記赤外線ピクセルに関連するISO感度を第2のISO感度の値に設定するための、前記赤外線ピクセルの少なくとも一部に関連する第2の増幅器と
    を含み、前記第1のISO感度の値が前記第2のISO感度の値より大きく、好ましくは、前記第1のISO感度の値と前記第2のISO感度の値の比が、およそ2と8の間で調節されうるように前記第1の増幅器および前記第2の増幅器が構成されている、請求項１０または１１に記載の撮像システムで用いるための画像センサ。
  13. コンピュータシステムのメモリにおいて動作する際に、請求項1から９のいずれか1項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を含む、カラー画像を処理するコンピュータプログラム。
JP2012525886A 2009-08-25 2009-08-25 カラー画像のノイズを低減すること Expired - Fee Related JP5670456B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/060936 WO2011023224A1 (en) 2009-08-25 2009-08-25 Reducing noise in a color image

Publications (2)

Publication Number Publication Date
JP2013503527A JP2013503527A (ja) 2013-01-31
JP5670456B2 true JP5670456B2 (ja) 2015-02-18

Family

ID=41666783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012525886A Expired - Fee Related JP5670456B2 (ja) 2009-08-25 2009-08-25 カラー画像のノイズを低減すること

Country Status (5)

Country Link
US (1) US20120154596A1 (ja)
EP (1) EP2471258B1 (ja)
JP (1) JP5670456B2 (ja)
CN (1) CN102687502B (ja)
WO (1) WO2011023224A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635285B2 (en) * 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
DE102010006664A1 (de) * 2010-02-03 2011-08-04 Diehl BGT Defence GmbH & Co. KG, 88662 Verfahren und Vorrichtung zum Abbilden einer Umgebung auf eine Detektoreinrichtung
CN103229509B (zh) 2010-02-19 2016-08-17 双光圈国际株式会社 处理多孔径像数据
US8659683B1 (en) 2010-03-25 2014-02-25 Ambarella, Inc. Digital picture noise reduction by combining high-noise and low-noise processed pictures
US8917349B2 (en) 2010-07-16 2014-12-23 Dual Aperture, Inc. Flash system for multi-aperture imaging
US8755625B2 (en) * 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
WO2012085863A1 (en) * 2010-12-21 2012-06-28 Zamir Recognition Systems Ltd. A visible light and ir hybrid digital camera
EP2719165B1 (en) 2011-06-10 2018-05-02 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
KR20130008304A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 색 왜곡 보정 방법 및 장치
US9148589B2 (en) * 2012-11-12 2015-09-29 NBCUniversal, LLC Image capture using infrared and visible spectrum light
DE102013114450B4 (de) * 2012-12-26 2020-08-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Verbessern einer Bildempfindlichkeits- und Farbinformation für ein von einer Kameravorrichtung aufgenommes Bild
JP6112862B2 (ja) * 2012-12-28 2017-04-12 キヤノン株式会社 撮像装置
US10152820B2 (en) * 2013-03-15 2018-12-11 Intel Corporation Texture address mode discarding filter taps
US20140321739A1 (en) * 2013-04-26 2014-10-30 Sony Corporation Image processing method and apparatus and electronic device
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
DE102014008686B4 (de) * 2014-06-13 2017-04-06 Basler Aktiengesellschaft Verfahren und Vorrichtung zur Farbinterpolation
WO2015199163A1 (ja) * 2014-06-24 2015-12-30 日立マクセル株式会社 撮像センサおよび撮像装置
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이
US9674466B2 (en) * 2015-02-26 2017-06-06 Dual Aperture International Co., Ltd. Hybrid image correction for dual-aperture camera
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9793306B2 (en) * 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
CN111560094A (zh) * 2015-05-29 2020-08-21 富士胶片株式会社 近红外线吸收性色素多聚物、组合物、膜、滤光片、图案形成方法及装置
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
US9686478B2 (en) * 2015-11-19 2017-06-20 Google Inc. Generating high-dynamic range images using multiple filters
EP3439300B1 (en) * 2016-03-29 2020-08-05 Kyocera Corporation Image pickup device, vehicle-mounted camera, and image processing method
US10504956B2 (en) * 2016-06-30 2019-12-10 Omnivision Technologies, Inc. Photogate for front-side-illuminated infrared image sensor and method of manufacturing the same
US10218926B2 (en) * 2016-07-21 2019-02-26 Christie Digital Systems Usa, Inc. Device, system and method for cross-talk reduction in visual sensor systems
FR3056332A1 (fr) * 2016-09-21 2018-03-23 Stmicroelectronics (Grenoble 2) Sas Dispositif comportant un capteur d'image 2d et un capteur de profondeur
CN111988587B (zh) 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN108419061B (zh) 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN108986036B (zh) * 2017-06-01 2022-01-28 中兴通讯股份有限公司 处理文件的方法、终端
CN107370917B (zh) * 2017-06-30 2020-01-10 Oppo广东移动通信有限公司 控制方法、电子装置和计算机可读存储介质
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
US10789684B2 (en) * 2018-06-12 2020-09-29 Carl Zeiss Ag Method, apparatus, and system for multilevel bilateral noise filtering
US11689785B2 (en) 2018-09-14 2023-06-27 Zhejiang Uniview Technologies Co., Ltd. Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium
JP7277236B2 (ja) * 2019-04-18 2023-05-18 キヤノン株式会社 撮像装置、撮像システム、プログラム、記録媒体、及び制御方法
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN112243117B (zh) * 2019-07-17 2022-09-16 杭州海康威视数字技术股份有限公司 图像处理装置、方法及摄像机
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
CN114143418B (zh) * 2020-09-04 2023-12-01 聚晶半导体股份有限公司 双传感器摄像***及其摄像方法
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning
US12015835B2 (en) * 2022-01-25 2024-06-18 Qualcomm Incorporated Multi-sensor imaging color correction

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4238760A (en) * 1978-10-06 1980-12-09 Recognition Equipment Incorporated Multi-spectrum photodiode devices
JPS6286318A (ja) * 1985-10-11 1987-04-20 Minolta Camera Co Ltd 焦点位置検出装置
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
US7053928B1 (en) * 2000-03-20 2006-05-30 Litton Systems, Inc. Method and system for combining multi-spectral images of a scene
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
JP4931288B2 (ja) * 2001-06-08 2012-05-16 ペンタックスリコーイメージング株式会社 画像検出装置と絞り装置
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
US20060182364A1 (en) * 2005-02-16 2006-08-17 George John System and method for sharpening vector-valued digital images
JP4622629B2 (ja) * 2005-03-31 2011-02-02 株式会社ニコン 撮像装置
DE102005026912A1 (de) * 2005-06-10 2006-12-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Filmscanner
US7940994B2 (en) * 2005-11-15 2011-05-10 Teledyne Licensing, Llc Multi-scale image fusion
JP4730082B2 (ja) * 2005-12-22 2011-07-20 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4695550B2 (ja) * 2006-06-22 2011-06-08 富士フイルム株式会社 固体撮像装置およびその駆動方法
US20090175535A1 (en) * 2008-01-09 2009-07-09 Lockheed Martin Corporation Improved processing of multi-color images for detection and classification
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법

Also Published As

Publication number Publication date
JP2013503527A (ja) 2013-01-31
WO2011023224A1 (en) 2011-03-03
EP2471258B1 (en) 2017-05-24
CN102687502B (zh) 2015-07-08
US20120154596A1 (en) 2012-06-21
CN102687502A (zh) 2012-09-19
EP2471258A1 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
JP5670456B2 (ja) カラー画像のノイズを低減すること
JP5486017B2 (ja) イメージングシステムの被写界深度の改善
US9497370B2 (en) Array camera architecture implementing quantum dot color filters
KR101655742B1 (ko) 다중 조리개 촬영용 플래시 시스템
EP3133646A2 (en) Sensor assembly with selective infrared filter array
JP5670481B2 (ja) 多開口画像データの処理
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US9793306B2 (en) Imaging systems with stacked photodiodes and chroma-luma de-noising
US20130033579A1 (en) Processing multi-aperture image data
JP2008113236A (ja) 撮像装置におけるシェーディング補正方法と装置
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
WO2024016288A1 (zh) 拍摄装置以及控制方法
US9531925B2 (en) Photographing apparatus
JP2004201203A (ja) 撮像素子及びそれを備えたデジタル撮影装置
WO2012008070A1 (ja) 撮像装置及び信号処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140122

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141217

R150 Certificate of patent or registration of utility model

Ref document number: 5670456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees