JP4279384B2 - カラーフィルタ画像信号生成方法 - Google Patents

カラーフィルタ画像信号生成方法 Download PDF

Info

Publication number
JP4279384B2
JP4279384B2 JP32510498A JP32510498A JP4279384B2 JP 4279384 B2 JP4279384 B2 JP 4279384B2 JP 32510498 A JP32510498 A JP 32510498A JP 32510498 A JP32510498 A JP 32510498A JP 4279384 B2 JP4279384 B2 JP 4279384B2
Authority
JP
Japan
Prior art keywords
color
pixel array
pixels
interpolated
color pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32510498A
Other languages
English (en)
Other versions
JP2000261814A (ja
Inventor
エム スミス クレイグ
イー アダムス ジュニア ジェイムス
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2000261814A publication Critical patent/JP2000261814A/ja
Application granted granted Critical
Publication of JP4279384B2 publication Critical patent/JP4279384B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、広くは電子写真の分野に関し、特にカラーフィルタアレイを使用する形式の単一センサカメラに関する。
【0002】
【従来の技術】
通常のディジタルカメラは、単一のカラー撮像センサ、例えば、電荷結合素子(CCD)を使用し、情景についての色彩を含めて情景として映し出されるものを記録する。これらのセンサ素子は、通常、アレイ上の各点において光を測定する光点画素の二次元アレイを含む。これらのセンサがカラー画像を記録することができるようにするために、カラーフィルタアレイ(以下、CFAと略す)が画素の上に配置される。そのため、各画素は画素に対応するフィルタの色の光を測定する。普通のCFAフィルタのひとつは、バイエル(Bayer)RGBパターンとして知られている。図1に示すようにBayerFAは米国特許第3,971,065号にも開示されており、そこではグリーンフィルタのチェッカボード構造を含めレッド、グリーンおよびブルーのパターンが提供される。したがって、各画素に対する主要なCFA画像信号は、一色のみ、すなわち、レッド、グリーンまたはブルーのいずれかが関与することになる(BayerFAの場合)。CFA画像が記録された後で、各画素点に対する残りの(欠落している)色が、たとえば、周辺の画素から各画素に対して補間されるので、補間された完全解像度記録が各画像に対して生成される。したがって、補間された記録中の各画素は、RGB値のセットを有することになる。
【0003】
一部のデジタルカメラにおいては、CCDセンサの標準解像度より低い解像度において記録する必要がある。このひとつの理由は、短い低解像度ビデオ連写のように、最小のメモリおよび画像処理時間必要条件の状態において迅速に一連の画像を記録する必要があるためである。これを実現するために、CCD中の画素は、多くの場合、出される。たとえば、米国特許第5,493,335号には、2×2ブロックの画素を基礎とするひとつのパターンを含む多様な出パターンが開示されている。図2に示すCFAパターンは、画素を、どのようにして出し半解像度の2×2ブロックとすることができるかを示す図である。図に示すように、このパターンにおいては、R、G、およびB画素は、抽出されたレッド、グリーン、およびブルー画素を表し、一方、ダッシュ「−」は、記憶されていない画素を表す。この構成においては、妥当な画素を通常より非常に迅速にCCDハードウェアから読み込み、通常より小さいメモリ領域に記憶することができる。その結果、得られる画像を処理する時間も通常より短くすることができる。
【0004】
【発明が解決しようとする課題】
しかし、この手法に関する問題は、画素が不規則に抽出されるので、結果として得られる画像の質が低下することである。例えば、こうした抽出パターンの影響により画像においてわずかに濃淡のむらがあるように見えることや、また、被写体の端部が波形に見えること等が生じる。従って、上記事前処理ステップにおける抽出形式を補正し、かつ、その他の画像処理については通常の画像処理ハードウェアおよびソフトウェアを使用することができる方法を見出すことが望ましい。
【0005】
【課題を解決するための手段】
本発明は、前述したひとつ以上の問題を解決することを目的とする。要するに、本発明の一態様であるカラー画像画素のアレイから導かれるカラー画像信号を生成するための方法は、カラー画素から構成される原始カラー画素アレイからカラー画像信号を生成するための方法であって、前記原始カラー画素アレイからカラー画素を抽出し、画素数が減少された抽出カラー画素アレイを生成するステップと、前記抽出カラー画素アレイの中のカラー画素について同色の周辺のカラー画素を使用して補間し、均一な間隔で配置される補間カラー画素から構成される補間カラー画素アレイを生成するステップと、補間カラー画素アレイからカラー画像信号を生成するステップと、を含む。
【0006】
本発明の利点は、本発明の方法によれば不規則な抽出パターンによって惹起される濃淡のむらおよび波形構造が補正されることである。さらに、これらの構造は事前処理ステップにおいて補正することができるが、同時に、それでもなお、通常の画像処理ハードウェアまたはソフトウェアの残部を結果として得られる出されたCFA画像について使用することができる。
【0007】
本発明のこれらのおよび他の態様、目的、特徴および利点は、添付図面を参照して以下の本発明の詳細説明および特許請求の範囲を精査することによって一層明確に理解され評価される。
【0008】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面を用いて説明する。なお、電子センサを利用するデジタルカメラ、ならびにその結果得られる画像データの電子処理および記憶は公知であるため、本明細書では、これら電子センサの各要素のうち、特に本発明による装置の一部を構成する、またはさらに本発明による装置と共に直接に作用する、要素を対象に説明する。従って、本明細書に特に示されていないまたは記述されていない要素が、技術上周知である要素から選択されることがある。また、記述する必要がある実施形態のある一定の態様は、ソフトウェアとして提供される。以下の資料に記載されるシステムを考慮すれば、本発明を実施するために必要とされる全てのこのようなソフトウェアの実用化はこの分野における通常の専門家の技術の範囲内である。
【0009】
図3にカメラ30およびホストコンピュータ32を備えるCFA補正を組み込んだ撮像システムを示す。図3に示す通り、特にカメラがコンピュータに接続される場合には、CFA補正をカメラ30またはコンピュータ32において実行させることができる。カメラ30は、画像光を撮像センサ36に向けるための光学セクション34を備える。また、この撮像センサ36は、通常、電荷結合素子(CCD)のような単一の撮像センサである。撮像センサ36は、図1に示すバイエルアレイのようなカラーフィルタアレイ(CFA)パターンを重ね合わされたディスクリート感光性撮像要素のアレイを備え、CFAパターンに対応するカラー画像データを生成する。光学セクションは、レンズ38と、撮像センサ36に対する画像光の露光を調整するためのシャッタ−絞り機構40とを備える。クロック発振器およびドライバ回路42によって、カラー画像データを撮像センサ36から生成するために必要とされる波形が提供され、出力データは、アナログ信号処理(ASP)およびアナログ/ディジタル(A/D)変換セクション44に向けられ、ここでカラー画像データからディジタルCFAデータが生成される。ディジタルCFAデータは、センサ36、すなわち、完全センサまたはセンサの出された部分から得られる「生の」CFA画像データを表す。
【0010】
結果として得られるディジタルデータはディジタル信号プロセッサ46に送られ、ディジタル信号プロセッサ46は、たとえば、JPEG圧縮あるいはDPCMコーディングを使用する数値上無損失または視覚上無損失の圧縮技術を含む多数の圧縮技術のうちのいずれかひとつを使用して画像データを圧縮すること、および他の場合は画像データを処理し記憶することができる。特に、ディジタル信号プロセッサ46は、ある一定の状況下において、補正ROM47に記憶されるCFA補正アルゴリズムを画像データに適用する。たとえば、ユーザインタフェースセクション49を使用し、カメラに低解像度画像の連写を記録すること、およびこれらの画像にCFA補正を適用することを命令することができる。(この実施形態においては、メモリ50は処理前にディジタルCFAデータを記憶するためのバッファとしての機能を果たすが、独立したバッファを備えることもできる。)処理されたCFAデータは、出力インタフェース48を経由して交換可能メモリ50に送られる。作動中は、CFA画像データは、固定解像度の画像、通常、撮像センサ36の実際の解像度に事実上対応する画像を表す。それ故、メモリ50は、この固定解像度に対応する固定数の画像要素から得られるディジタルCFA画像データを記憶する。しかし、前述した連写画像の場合は、メモリ50に記憶されるディジタルCFA画像データは、撮像センサによって提供される固定解像度の低解像度表現である場合がある。
【0011】
出力インタフェース48は、PCMCIAカードインタフェース標準のような従来のカードインタフェース標準に適合するメモリカードインタフェースであり、これはカリフォルニア州、Sunnyvaleのパーソナルコンピュータメモリカード国際協会(The Personal Computer Memory Card International Assosiation)によって1997年に発行された“PC CardStandard”に記載されているような標準である。したがって、交換可能メモリ50は、フラッシュEPROMメモリのような固体記憶装置、または小型ハードドライブ(PCMCIAカードインタフェース標準に基づいてPCMCIA−ATAタイプIIIハードドライブとして類別される)のいずれかを含む不揮発性PCMCIAメモリカードである。別のカードインタフェース標準は、DOSファイルフォーマットを有するコンパクトフラッシュATAである。代替方法としては、フロッピーディスク磁気媒体または光学記憶装置のような他の不揮発性記憶装置を使用することができる(このような場合は、適切なインタフェースおよび従来の読み取り/書き込み装置がカメラ30に備えられる。たとえば、磁気または光学読み取り/書き込みヘッドである)。
【0012】
その上、カメラは、ホストコンピュータインタフェースドライバ52を備え、カメラ30をホストコンピュータ32に直接接続し、たとえば、記録された画像に対応するディジタルCFAデータをダウンロードする。(この処理においては、交換可能メモリ50がバッファメモリとして機能すること、または独立したバッファメモリ(図示してない)を備えることができる。)さらに、カメラ30は、制御プロセッサ54を備え、(a)クロック発振器およびドライバ回路42と、(b)ASPおよびA/Dセクション44、ディジタル信号プロセッサ46、出力インタフェース48、およびユーザインタフェース49を備えるディジタル信号処理連鎖と、(c)インタフェースドライバ52と、を制御する。インタフェースドライバ52は、SCSIまたはIEEE−1394インタフェースのような従来のコンピュータインタフェースを提供する。その結果、カメラ30から得られるディジタルCFAデータは、インタフェースドライバ52経由または交換可能メモリ50を受け取るカード読み取り装置56経由のいずれかによってホストコンピュータ32に連結される。
【0013】
処理された画像を生成するために、ホストコンピュータ32はアプリケーションプログラムを含み、記録された画像を処理し、ディスプレイ58によってソフトコピーを生成、またはプリンタ60(または、フィルムライタなど)によってハードコピーを生成する。たとえば、アプリケーションプログラムは、CFAデータにCFA補間アルゴリズム64を適用するアルゴリズムセクション62と、ユーザインタフェース67とを含む。アプリケーションプログラムによって、CFAデータから各画像要素に対する完全カラーデータが補間され、補間された出力画像が生成される。CFA補間アルゴリズム64には、任意の数の公知の補間技術を含めることができる。たとえば、以下の特許に開示される補間技術を使用することができる。すなわち、米国特許第5,373,322号(発明の名称「彩度階調度を利用し完全カラー画像を適切に補間するための装置および方法」)、米国特許第5,382,976号(発明の名称「画像階調性を利用し完全カラー画像を適切に補間するための装置および方法」)、並びに米国特許第5,506,619号および第5,629,734号(共通の発明の名称「単一センサカラー電子カメラにおける適切なカラー面補間法」)である。これらの各内容は、本明細書に包含される。処理アルゴリズムは、ノイズ減少、ホワイトバランス補正、色補正、エッジ強調などに適用することができる。代替方法としては、カメラ30は、ディジタルCFAデータを補間するためのCFA補間アルゴリズム(およびノイズ減少、ホワイトバランス補正、色補正、またはエッジ強調に適用されるひとつ以上の処理アルゴリズム)を備えることが可能であり、この場合、カメラ30は完全に補間されたディジタルデータを提供し、コンピュータ32におけるその後の補間は不要となる。
【0014】
前述したように、図2に示す出されたデータの使用に関する問題は、画素が不規則に抽出されるため、結果として得られる画像の質が低いことにある。抽出パターンのために、画像がわずかに濃淡むらがあるように見えること、および端部が波形に見えることが通常である。こうした問題に対して、事前処理ステップとして、この形式のサンプリングを補正し(CFA補間前に)、同時に、通常の画像処理ハードウェアまたはソフトウェアの残部を使用する方法を見出すことが望ましい。本発明によれば、CFA補正は、カメラ内部にCFA補正ROM47として含まれる。代替方法としては、CFA補正アルゴリズム66をコンピュータ32のアルゴリズムセクション62に含め、CFA補正をコンピュータにおいてCFA補間前にCFAデータに適用することが可能である。
【0015】
この形式の抽出構造を補正するひとつの方法は、図4に示すように、周辺の画素を使用し原始画素から対角線方向に半画素離れた位置において画素を補間することである。この図においては、(大文字)R、G、およびB画素は、抽出された原始画素であり、(小文字)r、g、およびb画素は、補間された画素である。新しく補間された画素は通常の長方形CFA形式のパターンの中央(境界線上)に位置し、原始CFAパターンの低解像度版を生成することに注意することが重要である。特に、新たに補間された画素は画像面全体に均一に配置され、すなわち、図4に示すように、行方向で間隔d1だけ、列方向で間隔d2だけ間隔を置いて均一に配置される(ここで、d1はd2と等しい必要はない)。
【0016】
新しい画素は、新画素を取り巻く同じ色の4個の画素に対して双一次として補間を実施することによって生成することができる。たとえば、新画素r21、g11、b12およびg22は、原画素R21、G11、B12、およびG22から半画素だけ間隔をあけて生成することができる。特に、新画素r21は、下記の式を用いて原始データから半画素だけ離して双一次として補間される。
【0017】
21=(49R21+7R01+7R23+R03)/64
必要とされる計算を簡略化するために、補間は下記の式を用いて近似させることができる。
【0018】
21=(6R21+R01+R23)/8
同様に、g11、b12、およびg22画素は、下記の式を用いて生成し補間することができる。
【0019】
11=(6G11+G31+G13)/8
12=(6B12+B32+B10)/8
22=(6G22+G02+G20)/8
図4に示す他の新画素(小文字r、g、b)は、同様に、それらを取り巻く近隣画素(大文字R、G、B)を参照して双一次として補間することができる。これらの式が出された画像においてすべての画素に対して適用されたとき、原始画素に関して半画素だけ間隔を置いた位置に補間される画素のみを含む新しく出された画像が生成される。この新しく出された画像は、通常の完全解像度の場合と同じ補間アルゴリズム64を使用して処理し完全なRGB画像とすることができる。これらの補間アルゴリズムは、前述したように、技術上公知である。出のために、いくらかのエイリアシング(不鮮明な画像)がまだ発生するが、結果として得られる画像は補正処理しなかった場合に比較して濃淡むらおよび波形が相当に減少する。
【0020】
図5に、CFA補正処理の全体ステップを示す。最初に、ユーザシステムまたは撮像システムのいずれかが、比較的小さな画像サイズを選択する(ステップ70)。たとえば、ユーザは、連写モードの操作を選択し、この操作によってシステムが比較的小さい画像サイズを選択することが誘導される。次に、完全解像度CFA画像が撮像センサ36によって記録される(ステップ72)。完全解像度CFA画像データは、次に出されて比較的小さいサイズの出されたCFA画像を生成する(ステップ74)。この出は、たとえば、センサ36から画素行の半分だけを読み取ることによって実行される。この点は技術上公知である。他の半分の画素行はセンサ36から読み取られないので、この結果、センサを読み取り期間における速度が相当に増加される。なお、代替方法としては、CCDおよび処理ハードウェアを配置することができる。この場合には、完全解像度画像はセンサ36から読み取られ、次に、バッファメモリに記憶され、そこでバッファメモリは出パターンに従って抽出される。しかし、この場合は、速度の利点はセンサの読み出し時に喪失されることになる。図2は、出されたCFA画像の例を示す図である。
【0021】
次に、双一次補間出されたCFA画像上において実行され、新しく出されたCFA画像が生成される(ステップ76)。新しく出された画像は、図4に小文字のr、g、b値として示される。最後に、新しく出されたCFA画像上において、処理が実行される(ステップ78)。この処理は、単一の処理ステップ、たとえば、CFA補間、またはノイズ減少、ホワイトバランス補正、CFA補間、色補正、エッジ強調、および画像圧縮を含む全体の撮像連鎖を包含することができる。
【0022】
前述したすべての新画素は、同じ形式の式を使用して生成されることに注意することが重要である。これは、別の色のCFA補間後に、補間によって引き起こされる平滑化はすべての3色面において同一であることを意味する。このために、各3色面の頻度特性は同じであり、このことはその後の画像処理アルゴリズムは過剰カラーエイリアシングを有することはないことを意味する。
【0023】
一部のCFAセンサにおいては、CFAパターンにおいてグリーン画素の行と行との間の不整合が存在する。これは、通常、読み出しエレクトロニクスと関係があり、この場合、グリーン/レッドラインは1セットのゲインを有し、グリーン/ブルーラインは別の1セットのゲインを有するので、グリーンはライン間において完全にはバランスされない。言い換えれば、グリーン/レッドラインのグリーン画素は、グリーン/ブルーラインのグリーン画素とわずかに異なる。これは、センサから読み取られる連続した画素間の前述した相互作用によって惹起される。グリーン/レッド行においては、レッド画素はグリーン画素に一方法によって影響を与えるが、グリーン/ブルー行においては、ブルー画素は別の方法によってグリーン画素に影響を与える。その結果、得られる画像は予期されるものより遙かにノイズが多くなる。
【0024】
前述したアルゴリズムは、グリーン画素を補間するために異なる画素を使用して修正し、この隣接する行間の不整合問題を解消することができる。各原始グリーン画素が対向する行形式から得られる他の二つのグリーン画素の平均と平均化される(すなわち、奇数行は偶数行と混合され、また逆に)場合は、隣接する行間のオフセットは自動的に相殺され、一方同時に、新しい補間グリーン画素が所望の位置に生成される。下記の式は、これを実行する方法を示す。
【0025】
11=(2G11+G20+G02)/4
22=(2G22+G13+G31)/4
これによって、隣接する行間の不整合問題はさらに複雑なアルゴリズムを追加することなく取り除かれるが、それはグリーンチャネルにおける補間ブルーはレッド、およびブルーチャネルにおける補間ブルーとわずかに異なることを意味することに留意することが必要である。その結果、結果として得られる最終画像において非常に少量のカラーエイリアシングが、ある一定の頻度において目に見えるようになる。一部の資源の制約されるシステムにおいては、このトレードオフは許容できる。
【0026】
以上、好適な実施形態を参照して本発明を述べた。しかし、通常の当業者は、本発明の範囲を逸脱することなく異なる形および変形して実行することができることは理解される。
【図面の簡単な説明】
【図1】 従来のバイエルカラーフィルタアレイを示す図である。
【図2】 従来の2×2ブロックの画素に基づくバイエルカラーフィルタアレイに対する2次抽出パターンを示す図である。
【図3】 本発明の実施形態におけるCFA補正を組み込む撮像システムを示すブロック図である。
【図4】 本発明の実施形態におけるCFA補正された補完画素の空間構造を示す図である。
【図5】 本発明の実施形態におけるCFA補正処理を示す工程図である。
【符号の説明】
30 カメラ、32 ホストコンピュータ、34 光学セクション、36 撮像センサ、38 レンズ、40 シャッタ−絞り機構、42 クロック発振器およびドライバ回路、44 ASPおよびA/D変換セクション、46 DSP、47 CFA補正ROM、48 出力インタフェース、49,67 ユーザインタフェース、50 交換可能メモリ、52 インタフェースドライバ、54 制御プロセッサ、56 カード読み取り装置、58 ディスプレイ、60 ハードコピープリンタ、62 アルゴリズムセクション、64 CFA補完アルゴリズム、66 CFA補正アルゴリズム。

Claims (11)

  1. カラー画素から構成される原始カラー画素アレイからカラー画像信号を生成するための方法であって、
    前記原始カラー画素アレイからカラー画素を抽出し、画素数が減少された抽出カラー画素アレイを生成するステップと、
    前記抽出カラー画素アレイの中のカラー画素について同色の周辺のカラー画素を使用して補間し、均一な間隔で配置される補間カラー画素から構成される補間カラー画素アレイを生成するステップと、
    補間カラー画素アレイからカラー画像信号を生成するステップと、
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、前記補間は、双一次補間を含むことを特徴とする方法。
  3. カラー画素が所定の画素間隔で配列される原始カラー画素アレイから導かれるカラー画像信号を処理するための方法であって、
    前記原始カラー画素アレイから2×2のカラー画素からなるブロックを水平方向および垂直方向において飛び飛びに抽出し、水平方向および垂直方向の両方向において前記原始カラー画素アレイの半分の解像度の抽出カラー画素アレイを生成するステップと、
    抽出カラー画素アレイの中のカラー画素について同色の周辺のカラー画素を使用して、前記抽出カラー画素アレイの中のカラー画素から前記原始カラー画素アレイにおける対角方向の画素間隔の半分だけ離れた位置に、補間カラー画素を補間し、この補間カラー画素からなる補間カラー画素アレイを生成するステップと、
    補間カラー画素アレイから導かれる前記カラー画像信号を処理するステップと、
    を含むことを特徴とする方法。
  4. 請求項3に記載の方法において、 前記補間は双一次補間を含むことを特徴とする方法。
  5. 請求項4に記載の方法において、
    前記双一次補間は、前記位置の補間カラー画素を生成するように重み付けされていることを特徴とする方法。
  6. カラー画素が所定の画素間隔で配列される原始カラー画素アレイから導かれるカラー画像信号を処理するための方法であって、
    カラーフィルタアレイを通してカラー画像を記録し、対応する原始カラー画素アレイを生成するステップと、
    前記原始カラー画素アレイから2×2のカラー画素からなるブロックを水平方向および垂直方向において飛び飛びに抽出し、水平方向および垂直方向の両方向において前記原始カラー画素アレイの半分の解像度の抽出カラー画素アレイを生成するステップと、
    抽出カラー画素アレイの中のカラー画素について同色の周辺のカラー画素を使用して、前記抽出画素アレイの中のカラー画素から前記原始カラー画素アレイにおける対角方向の画素間隔の半分だけ離れた位置に、補間カラー画素を補間し、この補間カラー画素からなる補間カラー画素アレイを生成するステップと、
    前記補間カラー画素アレイから導かれる前記カラー画像信号を処理するステップと、
    を含むことを特徴とする方法。
  7. 請求項6に記載の方法において、
    前記補間は、双一次補間を含むことを特徴とする方法。
  8. 請求項7に記載の方法において、
    前記双一次補間は、重み付けして前記位置のカラー画素を生成することを特徴とする方法。
  9. 請求項6に記載の方法において、
    前記カラーフィルタアレイはバイエルカラーフィルタアレイであることを特徴とする方法。
  10. 請求項6に記載の方法において、
    前記カラー画像信号を処理するステップは、カラーフィルタアレイ補間を含むことを特徴とする方法。
  11. 請求項6に記載の方法において、
    前記カラー画像信号を処理するステップは、ノイズ減少、ホワイトバランス補正、カラーフィルタアレイ補間、色補正、エッジ強調、および画像圧縮よりなるグループから選択される一つ以上のステップを含むことを特徴とする方法。
JP32510498A 1998-03-27 1998-11-16 カラーフィルタ画像信号生成方法 Expired - Fee Related JP4279384B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/049,400 US6366318B1 (en) 1998-03-27 1998-03-27 CFA correction for CFA images captured at partial resolution
US09/049,400 1998-03-27

Publications (2)

Publication Number Publication Date
JP2000261814A JP2000261814A (ja) 2000-09-22
JP4279384B2 true JP4279384B2 (ja) 2009-06-17

Family

ID=21959623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32510498A Expired - Fee Related JP4279384B2 (ja) 1998-03-27 1998-11-16 カラーフィルタ画像信号生成方法

Country Status (2)

Country Link
US (1) US6366318B1 (ja)
JP (1) JP4279384B2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6686961B1 (en) * 1997-11-07 2004-02-03 Minolta Co., Ltd. Image pickup apparatus
JPH11168745A (ja) * 1997-12-03 1999-06-22 Minolta Co Ltd デジタルカメラ
JP4284754B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 カラー撮像装置及びその制御方法
US6900838B1 (en) * 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
US7474337B1 (en) * 2000-10-24 2009-01-06 Sony Corporation Method and apparatus to provide edge enhancements as part of a demosaicing process
US20030081564A1 (en) * 2001-10-29 2003-05-01 Chan James C. K. Wireless transmission and recording of images from a video surveillance camera
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
US20070292022A1 (en) * 2003-01-16 2007-12-20 Andreas Nilsson Weighted gradient based and color corrected interpolation
JP3877695B2 (ja) 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
US7862624B2 (en) * 2004-04-06 2011-01-04 Bao Tran Nano-particles on fabric or textile
US7019391B2 (en) * 2004-04-06 2006-03-28 Bao Tran NANO IC packaging
US20050218397A1 (en) * 2004-04-06 2005-10-06 Availableip.Com NANO-electronics for programmable array IC
US20050218398A1 (en) * 2004-04-06 2005-10-06 Availableip.Com NANO-electronics
US7330369B2 (en) * 2004-04-06 2008-02-12 Bao Tran NANO-electronic memory array
US7671398B2 (en) * 2005-02-23 2010-03-02 Tran Bao Q Nano memory, light, energy, antenna and strand-based systems and methods
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7589772B2 (en) * 2005-09-21 2009-09-15 Coifman Ronald R Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data
WO2007054931A2 (en) * 2005-11-10 2007-05-18 D-Blur Technologies Ltd. Image enhancement in the mosaic domain
US8154636B2 (en) * 2005-12-21 2012-04-10 DigitalOptics Corporation International Image enhancement using hardware-based deconvolution
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7393699B2 (en) 2006-06-12 2008-07-01 Tran Bao Q NANO-electronics
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US8452082B2 (en) 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
JP4377428B2 (ja) * 2007-12-12 2009-12-02 アキュートロジック株式会社 固体撮像素子及びそれを用いた撮像装置
JP5572960B2 (ja) * 2009-02-16 2014-08-20 株式会社ニコン 撮像装置およびその画素加算方法
JP2011171885A (ja) * 2010-02-17 2011-09-01 Renesas Electronics Corp 画像処理装置及び画像処理方法
US8350936B2 (en) * 2010-07-21 2013-01-08 Canon Kabushiki Kaisha Recording successive frames of raw sensor data depicting a moving scene
CN111345807B (zh) * 2018-12-21 2022-08-09 四川锦江电子科技有限公司 一种心电波形绘制方法、模块及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
GB2231460B (en) * 1989-05-04 1993-06-30 Sony Corp Spatial interpolation of digital video signals
US5053861A (en) * 1989-07-24 1991-10-01 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5373322A (en) 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5382976A (en) 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5493335A (en) 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US6091851A (en) * 1997-11-03 2000-07-18 Intel Corporation Efficient algorithm for color recovery from 8-bit to 24-bit color pixels

Also Published As

Publication number Publication date
JP2000261814A (ja) 2000-09-22
US6366318B1 (en) 2002-04-02

Similar Documents

Publication Publication Date Title
JP4279384B2 (ja) カラーフィルタ画像信号生成方法
JP3871072B2 (ja) 適応カラー補間単一センサカラー電子カメラ
JP3816082B2 (ja) 輝度勾配を用いたフルカラーイメージ適応的補間装置
US6075889A (en) Computing color specification (luminance and chrominance) values for images
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
US6943831B2 (en) Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images
JP5123212B2 (ja) パンクロマチック画素及びカラー画素の補間
JP5007767B2 (ja) 画像処理装置および方法
US5808674A (en) Producing and improved digital image from digital signals corresponding to pairs of photosites
JP5156022B2 (ja) パンクロマチックおよびカラーの画像のノイズ低減
JP4228699B2 (ja) 撮像装置、および撮像素子
US8223219B2 (en) Imaging device, image processing method, image processing program and semiconductor integrated circuit
JP3968121B2 (ja) 画像圧縮方法
JPH08298669A (ja) 適応カラー補間単一センサカラー電子カメラ
US6897425B2 (en) Method of processing an image signal with the result from decision on a correlation corrected
US6542187B1 (en) Correcting for chrominance interpolation artifacts
JPS63266982A (ja) 画像信号の補間方法及びそれを実施する画像信号処理装置
JP4096626B2 (ja) 画像処理方法及び画像処理プログラム
JP2007274504A (ja) デジタルカメラ
JP5693089B2 (ja) 画像処理装置、及び画像処理装置の制御方法
JP4302855B2 (ja) 画像処理方法および装置並びに記録媒体
JP4302854B2 (ja) 画像処理方法および装置並びに記録媒体
JP2002084548A (ja) カラー撮像素子及び撮像装置
JP3962518B2 (ja) 画像信号処理装置
JP4334740B2 (ja) 画像生成装置および撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050906

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20051111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees