JP4027441B2 - カラー画像撮像装置 - Google Patents
カラー画像撮像装置 Download PDFInfo
- Publication number
- JP4027441B2 JP4027441B2 JP32896995A JP32896995A JP4027441B2 JP 4027441 B2 JP4027441 B2 JP 4027441B2 JP 32896995 A JP32896995 A JP 32896995A JP 32896995 A JP32896995 A JP 32896995A JP 4027441 B2 JP4027441 B2 JP 4027441B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- interpolation
- filter
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明はカラー画像撮像装置に関し、特に、モザイク色フィルタを有する単眼方式のカラー撮像装置に関する。
【0002】
【従来の技術】
まず、第1の従来技術について述べる。CCD,MOSなどの半導体デバイスを用いた撮像素子の受光画素は個々に分離していることから、受光画素ごとに色フィルタが装着された、いわゆるモザイク色フィルタを用いた単板方式のカラーカメラに広く利用されている。モザイク色フィルタの構成法には多数の提案がある。例えば、テレビジョン学会技術報告、TEBS101−1ED836、(1985)、「完全色差線順次単板カラー化方式」に関する文献は、赤(R),緑(G),青(B)の3原色の分光特性を有するフィルタを図16に示すように配置したCCD単板カラーカメラを開示している。
【0003】
図16に示す配列は、緑市松R/B線順次方式、あるいはベイヤー方式と呼ばれ、色信号と輝度信号とのS/Nバランスが良く、照度に依存せずに優れた色再現性が得られる方式として採用されてきた。このような規則的配置によるモザイク色フィルタを用いた従来の単板カラーカメラで生成される原色画像は、粗くダウンサンプリングされた画像を限られた帯域によって補間再生することにより得られる。
【0004】
次に、第2の従来技術について述べる。有限個の受光画素により構成される撮像素子により画像を撮像して複数回入力することにより静止画像の解像度を向上させる方法が提案されている。例えば、特開平3−240372号公報は、結像面より小さい面積の撮像素子を結像面上で2次元的に移動させながら画像を入力することにより、高精細で広画角な静止画像を入力する方法を提案している。
【0005】
【発明が解決しようとする課題】
上記した第1の従来技術には、モザイク色フィルタを用いた単板カラーカメラを用いて解像度や色再現性に優れた高画質なカラー画像を生成する方法という観点について記載されていない。本発明はこの観点に着目し、単板カラーカメラを用いながら解像度に優れた原色画像を生成し、解像度および色再現性に優れた高画質なカラー画像を再生することのできるカラー画像撮像装置及びカラー画像撮像素子を提供することを目的とする。
【0006】
また、上記した第2の従来技術には、モザイク色フィルタを用いた単板カラーカメラを用いて入力された複数の画像から高画質な1枚のカラー画像を生成する方法という観点について記載されていない。本発明はこの観点に着目し、単板カラーカメラを用いて入力された複数の画像から解像度に優れた原色画像を生成することにより、解像度および色再現性に優れた高画質なカラー画像を再生することのできるカラー画像撮像装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明に係るカラー画像撮像装置は、撮像画素に各色のフィルタ位置が対応するように、補間する処理単位のブロックで複数色を有するモザイク色フィルタを空間的にランダムに配置して、このようなブロックが繰り返されるように画像全体を構成する撮像素子と、前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、を具備する。
【0009】
また、第3の発明に係るカラー画像撮像装置は、上記第1の発明に係るカラー画像撮像装置であって、前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段と、この記憶手段に記憶された複数枚のうち相互に同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、この位置ずれ検出手段によって検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、をさらに備え、前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間することを特徴とする。
【0010】
すなわち、第1の発明に係るカラー画像撮像装置は、撮像画素に各色のフィルタ位置が対応するように、補間する処理単位で複数色を有するモザイク色フィルタを空間的にランダムに配置するとともに、前記モザイク色フィルタのフィルタ色配置情報を格納手段に格納しておく。そして、撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間するようにする。
【0012】
また、第3の発明に係るカラー画像撮像装置は、上記第1の発明に係るカラー画像撮像装置であって、前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段に記憶された複数枚の画像のうち相互に同一の被写体の相対的位置関係を位置ずれ検出手段によって検出し、この検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段を更に備える。そして、前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する。
【0013】
【発明の実施の形態】
以下に図面を参照して本発明の実施形態を詳細に説明する。
まず、本発明の第1実施形態を説明する。図1に本発明の第1実施形態の全体構成図を示す。図1の構成において、撮像面にモザイク色フィルタが装着されたCCDイメージセンサで構成される撮像素子100は入力された物体像を対応する電気的画像信号に変換して出力する。撮像素子100の駆動制御は撮像素子ドライバ200により行なわれる。撮像素子100から出力された電気的画像信号はA/D変換器300によりディジタル信号に変換され、メモリ400に記録される。このメモリ400に対する記録制御はメモリコントローラ500により行なわれる。プロセッサ600はメモリ400に記録された観測画像信号を用いて以下に述べる所定の補間処理を行なうことによって、R,G,Bの各原色信号が欠落の無い完全なディジタル画像を生成し、このディジタル画像を再びメモリ400に記録する。この補間処理の際にはROM700に記録されている撮像素子100におけるモザイク色フィルタの画素配置情報と補間係数列情報が利用される。なお、メモリ400、プロセッサ600、ROM700はバス800を介して接続されている。このようにして生成され、メモリ400に記録されたRGBカラー画像は、通信・表示デバイスや画像処理装置等に送られ所定の用途に利用される。
【0014】
図2はモザイク色フィルタの構成例を示す。本実施形態におけるモザイク色フィルタはR,G,Bの3原色フィルタで構成され、同色フィルタの画素は、例えば以下に述べるポアソン分布にしたがって図2に示すように空間的にランダムに配置される。ここで、モザイク色フィルタにおける色配置はブロック画像単位でランダムになるように配置しても良いし、ブロックとは無関係に画像全体でランダムになるように色配置を適当に決めても良い。ブロック内で色配置をランダム構成にし、このような構成のブロックが繰り返されるように画像全体を構成することにより、ROM700に記録されるべき色配置情報と補間係数列情報の容量を少なくすることができる。
【0015】
図3はメモリ400とプロセッサ600の詳細な構成を示す図である。図1に示す撮像素子100の各受光画素により検出された光強度値は撮像素子ドライバ200の制御により逐次的に読み出され、A/D変換器300を介してメモリ400内のメモリ401に記録される。メモリ401の画素を撮像素子100の受光画素と1対1に対応するように構成することにより、撮像素子100の各受光画素からの光強度検出値がメモリ401の各画素に濃度値として記録される。
【0016】
メモリ401に記録された画像は、ROM700に記録されているモザイクフィルタの色配置情報に基づいて、まずRフィルタが装着された撮像素子100の受光画素ごとに濃度値がメモリ401から読み出され、プロセッサ600に転送される。プロセッサ600はCPU601と、線形演算を高速に行なうために用意されたDSP602とで構成される。メモリ401より読み出された画像信号列とROM700に記録されている補間係数列情報とはDSP602に送られ、線形演算つまり積和演算が実行されて、その結果はメモリ400内のR画像用メモリ402に記録される。このような処理がG,B画像にも繰り返され、最終的に欠落の無い完全なR,G,B原色画像がR,G,B画像用メモリ402,403,404に記録される。メモリ401に記録されている画像信号から完全なR,G,B画像を補間生成して画像用メモリ402〜404に記録するまでの上記したプロセスはCPU601により動作制御される。
【0017】
上記プロセスにおいて同色画素値が読み出され、線形演算(積和演算)による補間処理が実行される過程は以下に示すようにブロック単位で行なわれる。図4にそのようなブロック単位の補間処理の概念図を示す。R,G,Bの各原色画像は図4(A)に示すようなブロック画像に分割され、各ブロック画像内に含まれる全観測画素の濃度値と補間係数列との間で積和演算が実行される。この補間演算によって図4(B)に示すような欠落画素を含むブロック画像から、図4(C)に示すように欠落の無い完全な原色画像が生成される。
【0018】
図5は補間処理の変形例として、補間生成される欠落画素を中心とした近傍の画像領域を補間演算対象領域として設定する場合の概念図である。この実施形態では、図5(A)に示すような対象欠落画素を補間生成する際に、ROM700に記録されている色配列情報を利用してその欠落画素に対応する近傍の観測画素濃度値と、ROM700に記録されているその欠落画素に対応する補間系数列とが読み出され、それらを用いて積和演算が実行される。そのような操作が全欠落画素に対して繰り返されることにより、図5(B)に示すように完全な原色画像が補間生成される。
【0019】
以下に上記した第1実施形態の作用を理論的に説明する。まず、RGBフィルタをモザイク色フィルタに用いた場合の単板カラーCCDカメラによるイメージング系を以下のような関係式により定式化する。
【0020】
g=Hf (1)
(1)式を行列、ベクトルの内容まで示すことにより書き換えると(2)式のように表される。
【0021】
【数1】
【0022】
ただし、f=[fR ,fG ,fB ]t を欠落の無い理想的なRGBカラー画像(理想画像)、g=[gR ,gG ,gB ]t を観測されたRGBのカラー画像とする。なお、fi 、gi (i=R,G,B)をn×1のサイズのベクトル、f,gを3n×1のサイズのベクトルとする。また各バンドフィルタの配置を表すn×nサイズの行列Hi (i=R,G,B)を次のように定義する。
【0023】
【数2】
【0024】
ただし、行列Hi のej t 以外の行ベクトル要素は0t である。つまり行列Hi はn×nの単位行列から欠落画素を伝達する行ベクトルを0t で置き換えたものに相当する。また、R,G,Bフィルタを装着した画素の数を各々、mR 、mG 、mB 、ただしmR +mG +mB =nとする。これらの定義によれば、以下の(4),(5)式で表される関係が成立する。
【0025】
【数3】
【0026】
以上の定義の下に、原色画像ごとに欠落画素を埋める補間操作について説明する。補間行列をPとすると、補間されたバンド画像、すなわち、推定バンド画像f^は以下の(6)式で表される。なお、表現を簡単にするためにバンドを表す添え字(R,G,B)は省略し、以下の式は3つの各原色画像の内の任意の1つについて定義されるものとする。
【0027】
【数4】
【0028】
補間行列Pはモザイク色フィルタの色配列と、特定の画像対象についての複数の画像から先験的に予測される統計的性質とよりあらかじめ設定することが可能であり、それらより求められる補間行列PをROM700に書き込んでおけば良い。
【0029】
以下に、補間行列Pを設定する際に同色フィルタの画素配列が図2に示すようにランダムである場合の作用効果を説明する。
(9)式より、補間行列Pの精度はベクトルgの自己相関Rggの逆行列の精度に依存することが分かる。自己相関Rggのランクは最大でm(<n)であるので正確には逆行列は存在しないが、ランク内でRggが単位行列になることが最適な条件であると考えることができる。そのような条件の一つは、ベクトルgの欠落画素の配置がランダムに近いことである。そのような条件をポアソン分布の定義を用いて以下に説明する。
【0030】
ここでは、図6に示されるような、不規則な間隔で振幅が変化する方形波で表されるような定常確率集合を考える。関数の振幅は不規則な間隔でEm から−Em へ、または−Em からEm へ0を交差しながら跳躍する。この時、区間t内に現われる0(零交差)の数の確率分布が(12)式で表される課程をポアソン分布という。
【0031】
【数5】
【0032】
ただし、Pξ(n;t)は1回の観測で区間tにおける0の数ξが与えられた数nとなる確率であり、kは単位時間当たりの0の数の平均値とする。ランダム画素配列はランダムな単位インパルス列として定義される。そこで、図7に示されるようなポアソン分布に基づく正値のみの単位インパルス列を考える。仮に理想画像fが統計的に白色な性質であるとすると、Rffは単位行列になるから、
Rggは次の(13)式のように行列Hに関する自己相関行列HHt になる。
【0033】
Rgg=HRffHt =HHt ここで、Rff=I (13)
そこで(14)式で表される自己相関Cggの定義式よりポアソン分布に基づく正値単位インパルス列の自己相関を求めると、(15)式が得られる。
【0034】
【数6】
【0035】
なお、u(τ)はτ=0でインパルスをもつある単位インパルス関数とする。(15)式を図示すると図8のようになる。(15)式及び図8から自己相関行列HHt を類推すると、次式のような性質を有することが予測される。
【0036】
【数7】
【0037】
そこで、自己相関行列HHt を改めて次式のように定義する。
HHt =I+γ2 W (17)
(15)式よりτ=0における自己相関の高さは無限大であることを考慮すると、γ2 は1に比べて小さい値になることが予測される。そこで、自己相関行列HHt の疑似逆行列を次式のように定義する。
【0038】
【数8】
【0039】
(18)式で定義される疑似逆行列は理想画像fの統計的性質が白色であるときのみ成立するが、実用的には(18)式をそのまま自己相関Rggの逆行列として定義しても良い。以上の説明で明らかなように、モザイク色フィルタの同色画素配置をポアソン分布に基づく正値単位インパルス列と仮定すると、自己相関Rggは単位行列に極めて近い行列となるが、これは逆行列を求めるのに最も適した条件であると言える。なぜなら行列が単位行列の場合、その行列自体がそのまま逆行列として定義できるからである。もし画素配列が図9(A)に示すように決まった間隔でダウンサンプリングされるような規則的配列であると、その場合の自己相関行列HHt は図9(B)に示すように周期的な関数に基づくものとなり、逆行列を精度良く求めるのには適さなくなる。
【0040】
第1実施形態では、(6)式に示されるように観測画素gすなわち観測画素の濃度値と補間行列Pとの線形演算により補間処理が行なわれる。ブロック画像領域をN×N画素とすると、その領域の画素を1次元的に並べて定義されるn=N×N要素のベクトルに対して上記のような定式化を適応させることにより、補間処理を定義することができる。なお、(6)式は欠落画素と観測画素の両方を含んだn画素の画像領域から完全なn画素の画像領域を補間生成するように定義されるが、補間行列を画像領域内のm個の観測画像からn−m個の欠落画素を生成するように(n−m)×m行列で定義しても良く、その作用は上記したとおりである。また、注目するある欠落画素を中心として、その近傍領域内の観測画素からその欠落画素を補間推定する場合は、(6)式は次の(20)式のように再定義される。
【0041】
【数9】
【0042】
なお、添え字sはs番目の欠落画素を示し、ベクトルps ,gs はそれぞれ前記近傍領域に対する補間、観測ベクトルを表す。前記近傍画像領域内における欠落画素と観測画素の両方を含んだn画素の画像領域から求めるべき欠落画素を補間生成するように定義される場合はベクトルps ,gs は共にn個の要素で構成され、前記近傍画像領域内のm個の観測画像から欠落画素を生成する場合はそれらはm個の要素で構成される。このような場合でも、基本的に補間行列Pに対して示した上記作用は同様に説明される。
【0043】
上記した第1実施形態によれば、RGBによるモザイク色フィルタを用いることにより、色再現性に優れたカラー画像を生成することができる。また最小二乗法に基づく補間行列を用いて欠落画素の補間推定を行なうことにより、欠落の無い完全な原色画像を最も誤差の少ない状態で推定することができ、しかも演算は単純な積和演算で実行され、高速化も容易である。補間演算は小画像領域に対して実行されることにより演算量を削減することができる上に、補間生成すべき画素に対して因果関係の薄い観測画素を補間処理から除外することにより効率の良い補間処理が行なえる。またモザイク色フィルタにおける同色フィルタの画素を例えばポアソン分布に基づくように空間的にランダムに配置することにより、補間行列を精度良く求めることができる。
【0044】
以下に本発明の第2実施形態を説明する。
本発明の第2実施形態は、第1実施形態における撮像素子100のモザイク色フィルタに補色フィルタを用いた例である。ここで、補色フィルタとは、光の3原色のうち、少なくとも2つの色を通過できる分光特性を有するフィルタを意味する。本実施形態におけるモザイク色フィルタ以外の構成は第1実施形態と同様なので、図示は省略する。
【0045】
以下に第2実施形態の作用を理論的に説明する。本実施形態ではモザイク色フィルタにシアン(C),マゼンタ(M),黄色(Y)の補色フィルタを用いるものとする。シアン(C)フィルタは緑(G)および青(B)、マゼンタ(M)フィルタは赤(R)および青(B)、黄色(Y)フィルタは緑(G)および赤(R)の色バンド領域を同時に入力して設定される。これらの補色フィルタによる画像観測系を次の(21),(22)式で定義する。
【0046】
【数10】
【0047】
ただし、補間行列PC は第1実施形態に示した導出法に従えば、次式のように求められる。
PC =RfCgCRgCgC -1 (25)
ただし、ベクトルgC の自己相関行列RgCgCは次式のように展開される。
【0048】
【数11】
【0049】
【数12】
【0050】
上記したように、本実施形態においては、(30)式で定義される線形演算を実行することにより、補色フィルタによるモザイク色フィルタが装着された撮像素子により入力された観測画像から欠落の無いRGBカラー画像が補間生成される。(30)式を計算するためには行列PC ,PM ,PY をあらかじめROM700に記録しておく必要が有るが、(26)式によればそれらはR,G,B原色画像の自己相関と共に原色画像間の相互相関をも先験的に推定することにより求められる。
【0051】
以上の説明ではC,M,Yの3色の補色フィルタを用いた例を示したが、輝度情報に大きく関与するG画像を多く入力するように、G,C,M,YまたはG,C,Yの組み合せでモザイク色フィルタを構成しても良い。また、輝度と感度を両方向上させるために、原色、補色に白(W),ただしW=R+G+Bを加えた組み合せを採用しても良い。この場合も、上記方法と同様にして1つの線形プロセスにより観測画像から欠落の無いRGBカラー画像が補間生成される。
【0052】
上記した第2実施形態によれば、モザイク色フィルタに補色フィルタを用いることにより、1つのフィルタでカバーする波長領域をRGBフィルタの場合の2倍に広げることになるため、感度を向上させ、S/Nの良いカラー画像を入力、生成することができる。また、補間手段をあらかじめ用意される各原色画像および原色画像相互間の相関情報を利用することにより、より多くの先験情報を用いながら対象となる画像に対して最適な条件を設定でき、最も理想画像に近いカラー画像を補間生成することができる。
【0053】
以下に本発明の第3実施形態を説明する。
本発明の第3の実施形態では、撮像素子にCMD(Charge Modulation Device) などのように、受光面における画素に対してランダムアクセスが可能であり、しかも受光画素に蓄積された電荷の非破壊読み出しが可能なデバイスを使用する。 図10に第3実施形態の全体構成図を示す。同図において、まず、撮像面にモザイク色フィルタが装着されたCMDイメージセンサで構成される撮像素子1000に物体の像を入力する。撮像素子1000の駆動制御は撮像素子ドライバ1100により行なわれる。ROM1200にはモザイク色フィルタの色配置情報が記録されている。撮像素子ドライバ1100による撮像素子1000からの画像信号の読み出し制御はその色配置情報に基づいて行なわれる。撮像素子1000から出力される電気的画像信号はA/D変換器1300によりディジタル信号に変換され、バッファメモリ1400に一時的に保持される。
【0054】
また、ROM1200に記録された色配置情報として、モザイク色フィルタの種類とフィルタ色、およびブロックの番号とを判別させるためのコードが記録されているが、このコードは、撮像素子1000から読み出され、バッファメモリ1400に記録された画像信号列がどのような色配列により観測されたものかを示すヘッダ信号としてバッファメモリ1400に同時に記録される。バッファメモリ1400に記録された色配列コード信号はプロセッサ1500により解読されることによりROM1600より所定の補間系数列が読み出され、バッファメモリ1400に記録された観測画像信号列との間でプロセッサ1500において所定の補間処理が行なわれる。
【0055】
以上の構成によりR,G,Bの各原色信号が欠落の無い完全なディジタル画像として生成され、メモリ1700に記録される。なお、プロセッサ1500は第1実施形態におけるプロセッサ600と同様、補間処理全体の制御を行なうCPUと、積和演算による補間処理を高速に実行するDSPとで構成される。またメモリ1700はR,G,Bの各原色信号を記録するための3つのメモリブロックで構成される。バッファメモリ1400、プロセッサ1500、ROM1600、メモリ1700の間のデータの転送はバス1800を介して行なわれる。最終的にメモリ1700に記録されたRGBカラー画像は、第1実施形態と同様、通信・表示デバイスや画像処理装置等に送られ、所定の用途に利用される。
【0056】
図11は、CMDイメージセンサの読み出し駆動制御を説明するための概念図である。各受光画素5011〜501n, 5021〜502n, 5031〜503n, 50m1〜50mnに蓄積された光電荷量は、撮像素子ドライバ1100から送られてくる水平および垂直アドレス信号に基づき、水平走査回路20と垂直走査回路30の両信号がオンであるときに読み出される。ただし、読み出し後も各受光画素の電荷は保持される非破壊読み出し機能を有するので、撮像素子自体をメモリとして利用することができる。
【0057】
なお、第3実施形態では撮像系と画像処理系とを分離し、撮像系を交換可能な構成にすることができる。その場合、撮像系は撮像素子1000、撮像素子ドライバ1100、ROM1200、A/D変換器1300、およびバスインターフェースとしてのバッファメモリ1400とで構成され、画像処理系はプロセッサ1500、ROM1600、メモリ1700、およびバス1800とで構成される。異なるモザイク色フィルタが装着された撮像素子1000を用いる場合は、それに対応した色配置情報およびコードが記録されたROM1200が用いられる。一方、画像処理系ではROM1600には想定される撮像系に対応した補間系数列が全て記録されており、撮像系から送られてくるコード信号に従って所定の補間処理が実行される。
【0058】
上記した第3実施形態によれば、ランダム・非破壊読み出し可能な撮像素子を使用することにより撮像素子を撮像機能と同時にメモリ機能を有するデバイスとして利用でき、ディジタル画像メモリとしてのバッファメモリ1400の容量を節約することができる。また撮像系にモザイク色フィルタの色配置情報を示すコードを記録したROM1200を設けることにより、撮像系が交換可能な構成を容易に実現できる。
【0059】
以下に本発明の第4実施形態を説明する。
本発明の第4の実施形態では撮像系を電子カメラで構成し、撮像した画像情報をメモリ媒体に記録し、パーソナルコンピュータを主に構成される画像処理系においてメモリ媒体から伝達される画像情報に基づいてカラー画像が再生される。
【0060】
図12は電子カメラ2000の構成を示す図であり、この電子カメラには半導体ICや光メモリ、磁気メモリなどで構成されるメモリカード3000が装着されている。電子カメラ2000には、モザイク色フィルタが装着された撮像素子2010と、撮像素子ドライバ2020、ROM2030、およびA/D変換器2040が第3実施形態と同様に構成される。ただし、撮像素子2010に用いられるイメージセンサはCCD、CMD、あるいはその他のデバイスのいずれであっても良く、撮像素子ドライバ2020は用いられるイメージセンサの仕様に合わせて構成されれば良い。撮像素子2010により入力された画像信号は撮像素子ドライバ2020の駆動制御により逐次的に読み出され、A/D変換器2040によりディジタル信号に変換されてカード書き込み装置2050に送られる。カード書き込み装置2050には同時にROM2030から色フィルタの種類を表すコード信号が送られる。カード書き込み装置2050はそれら観測画像および色フィルタコードをメモリカード3000に記録する。
【0061】
図13はパーソナルコンピュータ4000の構成を示す図であり、このパーソナルコンピュータ4000には上記した観測画像と色フィルタコードが記録されたメモリカード3000が装着されている。パーソナルコンピュータ4000では、メモリカード3000に記録されている情報がカード読み取り装置4010により読み取られる。その内、色フィルタコードはCPU4020により解読され、観測画像はメモリ4030に記録される。次に解読された色フィルタ情報を基に、ハードディスクドライバ4040の制御によりハードディスク4050に記録されている所定の補間系数列が読み出され、メモリ4030に記録されている観測画像信号列との間でDSP4060において所定の補間処理が行なわれる。なお、DSP4060は積和演算が高速に実行されるプロセッサにより構成される。また、補間系数列はハードディスク4050の代わりにROMに記録するように構成しても良い。
【0062】
なお、パーソナルコンピュータ4000にはカラーモニタとキーボード、マウスなどの操作器が接続されるが図では省略する。以上の構成によりR,G,Bの各原色信号が欠落の無い完全なディジタル画像として生成され、ビデオメモリ4070に記録される。ビデオメモリ4070から出力されるRGBカラー画像はD/A変換器4080により所定のアナログビデオ信号に変換されて、カラーモニタ上に表示される。なお、パーソナルコンピュータ4000内における、カード読み取り装置4010、CPU4020、メモリ4030、ハードディスクドライバ4040、DSP4060、およびビデオメモリ4070はバス4090を介して接続されている。
【0063】
以上説明した構成において、操作者はまず電子カメラ2000を用いて電子カメラ2000が使用可能なあらゆる環境の下で目的とする物体を撮像し、メモリカードに記録することができる。それらをパーソナルコンピュータ4000を用いて読み込み、カラーモニタ上にカラー画像として表示することができる。なお、パーソナルコンピュータ4000では撮像したカラー画像を用いて操作者が様々な画像処理やコンピュータグラフィックに応用できるように構成しても良い。
【0064】
上記した第4実施形態によれば、操作者に対して電子カメラを用いた撮像操作とパーソナルコンピュータによる画像処理、表示操作とを独立に行なえるような環境を提供することができる。その際にメモリカードに記録される1枚の画像は撮像素子の受光画素数と同等な画素数で構成されれば良く、またモザイク色フィルタの色配置情報はコード化して記録されるので、メモリカードに要求される容量は少なくて良い。従って、操作者は1枚のメモリカードにより多くの画像を記録することができる。しかも、パーソナルコンピュータでは本発明に基づく最適な補間処理が行なわれるので、高画質なカラー画像が再生される。
【0065】
以下に本発明の第5実施形態を説明する。
本発明の第5の実施形態は撮像系に連写機能を付加し、連続して入力された複数の画像から1枚の高画質なカラー画像を生成する方法に関するものである。図14に第5実施形態の構成図を示す。本実施形態の構成は第1実施形態と同様、撮像素子5100、撮像素子ドライバ5200、A/D変換器5300、メモリ5400、メモリコントローラ5500、プロセッサ5600、ROM5700、さらにバス5800から構成されるが、メモリ5400内には観測画像を記録するN個のメモリ5401〜540Nが設けられ、撮像系より入力された最大N枚の画像が記録されるようになっている。メモリ5400内には、これらの他にR,G,B画像を記録するメモリ5411〜5413と、処理の途中にワークエリアとして使用されるメモリ5414が設けられる。またプロセッサ5600内には、CPU5610、DSP5620の他に相関演算装置5630が設けられ、メモリ5401〜540Nに記録された観測画像間の相関演算が実行されて、同一被写体の相対的位置関係が求められる。
【0066】
なお、相関演算を積和演算で行なうことにより相関演算装置5630はDSP5620で代用しても良い。次に相関演算装置5630において求められた観測画像間の相対的位置関係を利用して、メモリ5401〜540Nに記録された観測画像間における同じ色フィルタによる観測画像が合成され、メモリ5414に記録される。メモリ5414に記録された合成画像は画素が新たにランダム配置された画像となるが、その画素配置はROM5700に記録されている撮像素子5100のモザイク色フィルタの色配置情報と相関演算装置5630において求められた観測画像間の相対的位置関係を用いてCPU5610により求められる。CPU5610では、さらに合成画像の画素配置から補間係数列が算出され、DSP5620においてブロックごとに合成画像と補間係数列との積和演算が実行される。そのようにして最終的にメモリ5411〜5413に欠落画素の無い完全な原色画像が記録される。
【0067】
以下に、第5実施形態の作用について説明する。本装置は連写機能を有し、撮像時に所定の短い時間間隔で最大N枚の複数の画像が連続して入力される。なお、連写入力された各画像は同一被写体を含むもので、撮影時にカメラを持つ手がぶれたり被写体が形をほとんど変えずにわずかに移動することにより、撮像素子5100に対して被写体の位置が相対的にずれながら撮像されるとする。そのような条件で入力された複数の画像を同じ色フィルタによる観測画像ごとに合成する。 その画像合成の概念図を図15に示す。各観測画像において一種類の色画像は、図の連写画像No.1,2に示すように画素がランダムでかつ粗に配置された状態で撮像される。これらの連写画像に含まれる同一被写体の相対的位置関係を求め、位置合わせを行なった後にそれらを足し合わせることにより得られる合成画像では、図に示すように観測画素の密度が向上する。このようにして得られた合成画像から上記した方法によって各原色画像が補間生成される。上記したことより単板カラー撮像装置により連写入力された複数の画像から、解像度に優れた1枚のカラー画像を生成することができる。
【0068】
次に、第5実施形態に応用する場合においてもランダムに配置したモザイク色フィルタが有効であることを説明する。1種類の色フィルタにより2枚の観測画像を連写入力することを考える。それら2枚の観測画像内に写っている同一被写体の相対的位置関係が相関演算により求められ、位置合わせがすでに行なわれたと仮定する。それらを加算することにより得られる観測画像をg=[g1 t g2 t ] t とすると、画像入力系は次式のように定式化される。
【0069】
【数13】
【0070】
ただし、Hi (i=1,2)はi番目の画像入力に対応するフィルタ配置関数行列とする。例えばH1 を本来のフィルタ画素配置を表す行列だとすると、H2 は位置合わせにより配置が空間的にずらされた状態を表す行列と考えられる。次に観測画像gから完全な理想画像fを推定するプロセスを次式に示すように観測画素gの画像内での再配置と補間推定との2つのプロセスに分けて定義する。
【0071】
【数14】
【0072】
(36)式においてH1 およびH2 を各々最初のm列に単位行ベクトルeij t (i=1,2;j=1,…,m)がくるように行ベクトルを再配置すると、(36)式は次式のように書き換えられる。
【0073】
【数15】
【0074】
(37)式における非対角要素行列Ik のランクkは行列H1 とH2 の観測画素のオーバーラップの程度に依存する。つまり、行列H1 とH2 が全く異なる画素で観測するように定義されたとすると、Ik =0(k=0)となり、最良の条件であると言える。この場合、自己相関行列HHt のランクは2mとなる。一方、最も悪い条件は行列H1 とH2 が全く同じ画素で観測されたように定義される場合で、Ik =Im (k=m)となり、自己相関行列HHt のランクはmとなる。一般にはこれらの中間の状態になると考えられる。このような解析に従って、理想的な行列Hを考える。もし行列Hが規則的な配置によるものの場合、画像のシフトがちょうど画素周期の谷間に来れば最良な条件が得られるが、逆に画素周期に同期してしまった場合は最悪な条件となる。これに対して画素配置をランダムにしておけば、Ik に対して画像の位置ずれ量に寄らず一定のランクが期待でき、装置を構成する上で都合が良い。
【0075】
本実施形態では以上のような理由によりモザイク色フィルタの色配置をランダムに構成し、(33)式で表されるプロセスに従って連写入力画像からの1枚の画像の合成および欠落の無い完全な原色画像の補間生成が行なわれる。なお、合成画像では位置合わせに基づいて新たなランダム画素配置が実現されるか、それに対応した補間行列は以下のように求められる。
【0076】
まず合成画像の画素配置はROM5700に記録されている撮像素子5100のモザイク色フィルタの色配置情報と相関演算装置5630において求められた観測画像間の相対的位置関係を用いて算出される。次に最適な補間行列は、例えば第1実施形態に示した(18)式で定義されるような画素配置がポアソン分布に従うと仮定した場合に導出される疑似逆行列で定義すれば良い。そのような場合、画像自身の先験的相関情報を用いる必要はなく、合成画像の画素配置情報のみから補間系数列を求めることができる。
【0077】
上記した第5実施形態によれば、モザイク色フィルタにおける同色フィルタの画素配置が粗に分布される場合においても、連写画像間で埋め合せをすることにより、最終的に生成されるカラー画像の解像度を向上させることができる。モザイク色フィルタの色配置をランダムにしておけば、連写画像間における被写体の相対的位置関係に依存せずに、解像度の向上を効率良く実現させることができる。
【0078】
上記した具体的実施形態には以下の構成を有する発明が含まれている。
(構成1)
撮像画素に各色のフィルタ位置が対応するように複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色ごとの画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、
を具備することを特徴とするカラー画像撮像装置。
(対応する発明の実施形態)
構成1に記載の発明は、上記した第1、2、3、4実施形態に対応する。
(効果)
撮像素子に装着されたモザイク色フィルタの同色画素配列を空間的にランダムにすることにより、限られた画素数でありながら解像度に優れた原色画像を推定するのに必要な画像情報を入力することができる。つまり、全画像を構成する画素数より少ない画素を配置する際に従来のモザイクフィルタで採用されているような規則的なダウンサンプリングを行なうと、そのサンプリング間隔によって決定される帯域以上の空間周波数成分は全く再生できない。ところがランダムな画素配列によれば明確な帯域が定まらず、全ての空間周波数成分をほぼ均等に有する条件が得られるので、適当な補間処理を通じて欠落画素を埋めた完全な原色画像を解像度に優れた状態で再生することが可能である。さらに本発明ではランダムな画素配列情報を取得する手段を有することにより、その画素配列に適した補間処理を行なうことができる。以上のような作用により各原色画像がそれぞれ解像度に優れた状態で復元されるので、結果的に解像度や色再現性に優れた高画質なカラー画像が生成できる。
(構成2)
構成1のカラー画像撮像装置において、前記補間手段は、前記撮像素子から出力した画像情報のうち、所定の画像領域内の観測画素輝度値と、前記色配置情報から求める補間行列との線形演算によって補間を行うことを特徴とする。
(対応する発明の実施形態)
構成2に記載の発明は、上記した第1、2、3、4実施形態に対応する。
(効果)
補間演算を観測画素濃度値と補間行列との線形演算で行なうことにより計算を単純な積和演算で実現できるため、補間演算を単純な構成で実行でき、しかも高速化が容易である。
(構成3)
構成1のカラー画像撮像装置において、前記補間手段は、前記所定の画像領域における全画素により色ごとに光強度が検出されることにより得られる理想画像と、補間処理後の画像との二乗誤差が最小になるように補間を行うことを特徴とする。
(対応する発明の実施形態)
構成3に記載の発明は、上記した第1、2実施形態に対応する。
(効果)
補間手段を理想画像と補間処理後の画像との二乗誤差が最小になるように構成することにより、最も理想画像に近いカラー画像を補間生成することができる。
(構成4)
構成3のカラー画像撮像装置において、前記撮像素子に装着されたモザイク色フィルタは、原色(R、G、B)フィルタを用いて構成され、前記補間手段は、あらかじめ推定される各原色画像に対する相関情報を利用して構成されることを特徴とする。
(対応する発明の実施形態)
構成4に記載の発明は、上記した第1実施形態に対応する。
(効果)
原色フィルタによるモザイク色フィルタを用いることにより色再現性に優れたカラー画像を生成し、しかも補間手段をあらかじめ用意される各原色画像に対する相関情報を利用して構成することにより、対象となる画像に対して最適な条件により最も理想画像に近いカラー画像を補間生成することができる。
(構成5)
構成3のカラー画像撮像装置において、前記撮像素子に装着されたモザイク色フィルタは、補色(C、M、Y)フィルタを用いて構成され、前記補間手段は、あらかじめ推定される各原色画像および原色画像相互間の相関情報を利用して構成されることを特徴とする。
(対応する発明の実施形態)
構成5に記載の発明は、上記した第2実施形態に対応する。
(効果)
補色フィルタによるモザイク色フィルタを用いることにより1つのフィルタでカバーする波長領域を原色フィルタの場合の2倍に広げることになるため、感度を向上させ、S/Nの良いカラー画像を入力、生成することができ、しかも補間手段をあらかじめ用意される各原色画像および原色画像相互間の相関情報を利用して構成することにより、より多くの先験情報を用いながら、対象となる画像に対して最適な条件により最も理想画像に近いカラー画像を補間生成することができる。
(構成6)
構成1において、前記撮像素子に装着されたモザイク色フィルタにおける同色フィルタの画素配置は、ポアソン分布に基づくインパルス列発生確率に従うことを特徴とする。
(対応する発明の実施形態)
構成6に記載の発明は、上記した第1実施形態に対応する。
(効果)
モザイク色フィルタを構成する際に同色フィルタを装着する撮像素子の画素の配置をポアソン分布の発生確率に従うように設計することにより、理想的なランダム配置を実現できる。
(構成7)
構成6において、前記補間手段は、インパルス列の相関情報を利用して設計されることを特徴とする。
(対応する発明の実施形態)
構成7に記載の発明は、上記した第1実施形態が対応する。
(効果)
補間手段をインパルス列の相関情報を利用して設計することにより、広い画像の種類に適用可能な最適な補間手段を構成することができる。
(構成8)
構成1において、前記補間手段は、全画像を分割したところの個々のブロック画像を対象にして補間処理を行なうことを特徴とする。
(対応する発明の実施形態)
構成8に記載の発明は、上記した第1実施形態が対応する。
(効果)
補間手段をブロック画像単位に行なうことにより、演算量を削減することができる上に、補間生成すべき画素に対して因果関係の薄い観測画素を補間処理から除外することにより効率の良い補間処理を行なうことができる。
(構成9)
構成1において、前記補間手段は、注目する欠落画素の近傍の所定の画像領域を対象にして補間処理を行なうことを特徴とする。
【0079】
(対応する発明の実施形態)
構成9に記載の発明は、上記した第1実施形態に対応する。
(効果)
補間手段を注目する欠落画素の近傍の所定の画像領域単位に行なうことにより、演算量を削減することができる上に、補間生成すべき画素に対して常に最も因果関係の強い観測画素を用いて補間処理を行なうことにより理想的な補間処理が実行でき、ブロックアーティファクトなどの影響を除去できる。
(構成10)
構成1において、前記モザイク色フィルタにおける色配置情報を格納する格納手段は、画素配置情報を記録したROMであることを特徴とする。
(対応する発明の実施形態)
構成10に記載の発明は、上記した第1実施形態に対応する。
(効果)
画素配列情報をROMに記録することにより、色配列情報を補間処理に利用する際に高速に読み出すことが可能である。
(構成11)
構成1において、前記モザイク色フィルタにおける色配置情報を格納する手段は、モザイク色フィルタの種類を判別するためのコードと、このコードに対応した色配置情報とによって構成することを特徴とする。
(対応する発明の実施形態)
構成11に記載の発明は、上記した第3、4実施形態に対応する。
(効果)
色配列情報をコード化して記録、伝達することにより、撮像系と画像処理系を分割して構成する際に色配列情報に関する構成を少ないメモリ容量で簡便にできる。
(構成12)
構成1において、前記撮像素子は、受光画素に対してランダムアクセスが可能であり、かつ、受光画素に蓄積された電荷の非破壊読み出しが可能なデバイスであることを特徴とする。
(対応する発明の実施形態)
構成12に記載の発明は、上記した第3実施形態に対応する。
(効果)
撮像素子を撮像機能と同時にメモリ機能を有するデバイスとして利用できるので、ディジタル画像メモリの容量を節約することができる。
(構成13)
撮像したカラー画像情報を補間手段によって補間して元の画像を復元するカラー画像撮像装置におけるカラー画像撮像素子において、
撮像画素に各色のフィルタ位置が対応するように補間する処理単位で複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
を具備することを特徴とするカラー画像撮像素子。
(対応する発明の実施形態)
構成13に記載の発明は、上記した第1、2、3、4、5実施形態に対応する。
(効果)
モザイク色フィルタの同色画素配列を補間する処理単位で空間的にランダムにすることにより、限られた画素数でありながら解像度に優れた原色画像を推定するのに必要な画像情報を入力することができるカラー画像撮像素子を構成できる。
(構成14)
撮像画素に各色のフィルタ位置が対応するように複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子により出力された時間軸に関して連続する複数枚の画像を記憶する記憶手段と、
この記憶手段に記憶された複数枚の画像情報の相互間に関して同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、
この位置ずれ検出手段による位置ずれ情報を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、
この画像合成手段により合成された画像情報と、前記格納手段内の色配置情報とを用いて、欠落を含む各色ごとの画像情報を欠落画素の無い状態に補間処理により復元する補間手段と、
を具備することを特徴とするカラー画像撮像装置。
(対応する発明の実施形態)
構成14に記載の発明は、上記した第5実施形態に対応する。
(効果)
撮像素子により続けて入力された複数枚の画像を記録するメモリと位置ずれ検出手段と画像合成手段とを設けることにより、モザイク色フィルタにおける同色フィルタの画素配置が粗に分布される場合においても、連写画像間で埋め合せをすることにより、最終的に生成されるカラー画像の解像度を向上させることができる。モザイク色フィルタの色配置をランダムにしておけば、連写画像間における被写体の相対的位置関係に依存せずに、解像度の向上を効率良く実現させることができる。
(構成15)
構成14において、前記位置ずれ検出手段は、画像間の相関を計算する手段であることを特徴とする。
(対応する発明の実施形態)
構成15に記載の発明は、上記した第1、2、3、4、5実施形態に対応する。
(効果)
位置ずれ検出手段を画像間の相関を計算する手段で構成することにより、簡便な演算処理で画像間の相対的位置関係を求めることができる。
(構成16)
構成14において、前記画像合成手段と補間手段とは、同一の手段で構成されることを特徴とする。
(対応する発明の実施形態)
構成16に記載の発明は、上記した第5実施形態に対応する。
(効果)
画像合成手段と補間手段とを同一の手段で構成することにより、構成を簡便にすることができる。
【0080】
【発明の効果】
本発明によれば、解像度および色再現性に優れた高画質なカラー画像を再生することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態の全体構成図を示す。
【図2】モザイク色フィルタの構成例を示す図である。
【図3】図1に示すメモリとプロセッサの詳細な構成を示す図である。
【図4】ブロック単位の補間処理の概念図である。
【図5】図4に示す補間処理の変形例として、補間生成される欠落画素を中心とした近傍の画像領域を補間演算対象領域として設定する場合の概念図である。
【図6】不規則な間隔で振幅が変化する方形波を示す図である。
【図7】ポアソン分布に基づく正値のみの単位インパルス列を示す図である。
【図8】ポアソン分布に基づく正値単位インパルス列の自己相関を図示したものである。
【図9】画素配列が規則的配列である場合の自己相関行列を示す図である。
【図10】第3実施形態の全体構成図を示す図である。
【図11】CMDイメージセンサの読み出し駆動制御を説明するための概念図である。
【図12】第4実施形態における電子カメラの構成を示す図である。
【図13】パーソナルコンピュータの構成を示す図である。
【図14】第5実施形態の構成を示す図である。
【図15】第5実施形態における画像合成の概念図である。
【図16】従来のCCD単板カラーカメラにおけるフィルタの配置を示す図である。
【符号の説明】
100…撮像素子、200…撮像素子ドライバ、300…A/D、400…メモリ、500…メモリコントローラ、600…プロセッサ、700…ROM、800…バス。
Claims (2)
- 撮像画素に各色のフィルタ位置が対応するように、補間する処理単位のブロックで複数色を有するモザイク色フィルタを空間的にランダムに配置して、このようなブロックが繰り返されるように画像全体を構成する撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、
を具備することを特徴とするカラー画像撮像装置。 - 前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段と、
この記憶手段に記憶された複数枚のうち相互に同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、
この位置ずれ検出手段によって検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、
をさらに備え、
前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間することを特徴とする請求項1に記載のカラー画像撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32896995A JP4027441B2 (ja) | 1995-12-18 | 1995-12-18 | カラー画像撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32896995A JP4027441B2 (ja) | 1995-12-18 | 1995-12-18 | カラー画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09168157A JPH09168157A (ja) | 1997-06-24 |
JP4027441B2 true JP4027441B2 (ja) | 2007-12-26 |
Family
ID=18216145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32896995A Expired - Fee Related JP4027441B2 (ja) | 1995-12-18 | 1995-12-18 | カラー画像撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4027441B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8520099B2 (en) | 2010-05-14 | 2013-08-27 | Panasonic Corporation | Imaging apparatus, integrated circuit, and image processing method |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100459389B1 (ko) * | 1997-09-30 | 2005-05-09 | 엘지전자 주식회사 | 디지털스틸카메라의보간회로 |
JPH11168745A (ja) * | 1997-12-03 | 1999-06-22 | Minolta Co Ltd | デジタルカメラ |
US7123299B1 (en) | 1999-04-15 | 2006-10-17 | Olympus Optical Co., Ltd. | Color image pickup device and color image pickup apparatus including a randomized color coding array |
AU3047801A (en) | 2000-02-03 | 2001-08-14 | Alst Technical Excellence Center | Image resolution improvement using a color mosaic sensor |
JP2002320235A (ja) | 2001-04-19 | 2002-10-31 | Fujitsu Ltd | 空間解像度の低下を抑えて縮小画像信号を生成するcmosイメージセンサ |
JP2005354610A (ja) | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
JP5258352B2 (ja) * | 2007-05-08 | 2013-08-07 | キヤノン株式会社 | 撮像素子、データ処理装置、及び制御方法 |
FR2917559B1 (fr) * | 2007-06-12 | 2009-12-25 | Centre Nat Rech Scient | Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre |
WO2011063311A2 (en) * | 2009-11-20 | 2011-05-26 | Mritunjay Singh | Method and system for compressive color image sampling and reconstruction |
JP6595161B2 (ja) * | 2014-07-31 | 2019-10-23 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び、撮像装置 |
JP6975897B2 (ja) * | 2016-12-27 | 2021-12-01 | パナソニックIpマネジメント株式会社 | 画像生成装置及び撮像装置 |
-
1995
- 1995-12-18 JP JP32896995A patent/JP4027441B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8520099B2 (en) | 2010-05-14 | 2013-08-27 | Panasonic Corporation | Imaging apparatus, integrated circuit, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JPH09168157A (ja) | 1997-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5054857B1 (ja) | カラー撮像装置 | |
US9338364B2 (en) | Imaging device and image generation method | |
JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
JP5053654B2 (ja) | 画像処理装置およびその方法と電子カメラ | |
US20120320228A1 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
US6765611B1 (en) | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device | |
US5808674A (en) | Producing and improved digital image from digital signals corresponding to pairs of photosites | |
US20080151083A1 (en) | Color filter pattern for color filter arrays including a demosaicking algorithm | |
EP2645723B1 (en) | Imaging device, method for controlling operation thereof, and imaging system | |
JP4027441B2 (ja) | カラー画像撮像装置 | |
JP5853166B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
US20130038758A1 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
US20130083220A1 (en) | Image processing device, imaging device, information storage device, and image processing method | |
WO2012147523A1 (ja) | 撮像装置及び画像生成方法 | |
US8786738B2 (en) | Image sensing apparatus and method of controlling operation of same | |
JP2014200008A (ja) | 画像処理装置および方法、並びにプログラム | |
JP5621057B2 (ja) | カラー撮像素子 | |
JP2014200000A (ja) | 画像処理装置および方法、並びにプログラム | |
JP5159461B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
US20060044428A1 (en) | Image pickup device and signal processing method | |
JP2004172859A (ja) | 撮像装置および撮像方法 | |
JP4086618B2 (ja) | 信号処理装置及び方法 | |
JP4945852B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の生成方法および装置、ならびにディジタルカメラ、携帯型ディジタル情報装置、ディジタルビデオプリンタ | |
JP2004172858A (ja) | 撮像装置および撮像方法 | |
WO2012147630A1 (ja) | 撮像装置及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070104 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071010 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |