JPH09261498A - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JPH09261498A JPH09261498A JP8068827A JP6882796A JPH09261498A JP H09261498 A JPH09261498 A JP H09261498A JP 8068827 A JP8068827 A JP 8068827A JP 6882796 A JP6882796 A JP 6882796A JP H09261498 A JPH09261498 A JP H09261498A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coefficient
- recorded
- wavelength
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Facsimile Scanning Arrangements (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
用いて、色再現性に優れた正確なカラー画像を復元でき
る撮像装置を提供すること。 【解決手段】レンズ101により結像される物体の光像
をN種類の波長領域ごとに透過させるN種類の色フィル
タで構成される回転色フィルタ103と、レンズ101
と回転色フィルタ103とを介して入射される物体の光
像を撮像するためのCCD撮像素子102と、回転色フ
ィルタ103により透過されたN種類の波長領域の物体
の光像を撮像して得られたN種類の多波長領域画像を記
録するための画像メモリ202と、N種類の多波長領域
画像との行列演算に用いられる係数列が記録されたRO
M205と、N種類の多波長領域画像と、係数列との間
で行列演算を行ない、Nと等しいかまたはNより少ない
N′種類の波長領域の画像を出力する行列演算器204
とを具備する。
Description
体の像を電子的画像信号に変換するカメラによってカラ
ー画像を撮像する撮像装置に関し、特に、撮像系と画像
復元処理系とを組み合わせて構成される撮像装置に関す
る。
ディジタル画像処理により明瞭な画像に復元する技術が
従来より知られている。このような復元技術において
は、原理的に連続−連続系モデルで定義される問題を離
散−離散系モデルに置き換えてディジタル処理により解
決するために、標本化定理に基づいて両モデルを関係付
けることにより定義される画像復元アルゴリズムを従来
より利用している。
は、J.W.Goodman,Introduction toFourier Optics,pp.2
1-25,(McGraw-Hill;San Francisco;1968) に開示されて
おり、また、連続−連続系モデルにおいて定義される画
像復元を離散−離散系モデルに基づくアルゴリズムで実
現する方法については、W.K.Pratt,Digital,ImageProce
ssing,pp.378-425,(John Wiley & Sons;New York;1978)
に開示されている。しかしながら、上記した従来の復
元技術は、以下に示すような理由により正確な画像を復
元する上で限界を有する。
は、連続信号が周波数空間で矩形に帯域制限されている
ことが必要である。また離散フーリエ変換を利用した復
元フィルタリングを適用する場合にはフーリエ空間での
離散化も必要となり、物体空間も矩形状に領域制限され
ることが要求される。加えてサンプリング間隔は両制限
矩形領域の1辺の長さに依存することになる。ところが
そのような制約条件を課することは画像入力系を完全に
表現する上で障害となってしまう。
置不変の場合に成立する。従って光学結像系の収差など
の影響で伝達特性が位置に対して異なるような場合には
適用できない。
び特開平7−160847号公報は、連続系で定義され
る物体空間と、複数の受光素子で構成される離散系で定
義される撮像素子との関係を連続−離散系モデルで再定
義し、一般化逆行列の考え方にしたがって画像を正確に
復元する方法を開示している。しかしながら、特開平6
−98170号公報は、赤(Red;R )、緑(Green;G
)、青(Blue;B)の各色バンド画像ごとに復元処理を
行って復元画像を得ているが、このような方法では正確
な色再現性を実現する上で限界があり、これを克服する
方法については何等開示していない。また、光学結像系
に色収差が有る場合には色バンド画像ごとに伝達特性が
異なるが、このことが最終的に得られる復元画像にどの
ような影響を与えるかについては言及していない。
−連続系で定義される結像関係を離散−離散系で近似し
たモデルを用いる従来の画像復元方法は、標本化定理が
要求する条件に従わない画像入力系に対しては原理的に
適用できないため正確な画像を復元することができない
場合が多かった。
画像復元技術は、正確な色再現性を実現するためのカラ
ー画像の復元方法については何等開示していない。
してなされたものであり、その目的とするところは、連
続−離散系モデルに基づいた画像復元方法を用いて、色
再現性に優れた正確なカラー画像を復元することができ
る撮像装置を提供することにある。
めに、第1の発明に係る撮像装置は、撮像光学系と、こ
の撮像光学系により結像される物体の光像をN種類の波
長領域ごとに透過させるN種類の色フィルタで構成され
る多色フィルタと、前記撮像光学系と前記多色フィルタ
とを介して入射される物体の光像を撮像するための撮像
手段と、前記多色フィルタにより透過されたN種類の波
長領域の物体の光像を前記撮像手段により撮像して得ら
れたN種類の多波長領域画像を記録するための画像メモ
リと、この画像メモリに記録されたN種類の多波長領域
画像との行列演算に用いられる係数列が記録された係数
メモリと、前記画像メモリに記録されたN種類の多波長
領域画像と、前記係数メモリに記録された係数列との間
で行列演算を行ない、Nと等しいかまたはNより少ない
N′種類の波長領域の画像を出力する行列演算手段とを
具備する。
光学系と、この撮像光学系により結像される物体の光像
をN種類の波長領域ごとに透過させるN種類の色フィル
タで構成される多色フィルタと、前記撮像光学系と前記
多色フィルタとを介して入射される物体の光像を撮像す
るための撮像手段と、前記多色フィルタにより透過され
たN種類の波長領域の物体の光像を前記撮像手段により
撮像して得られたN種類の多波長領域画像を記録するた
めの画像メモリと、前記撮像手段における各受光素子に
対して、前記撮像光学系により伝達される物体空間およ
び波長に対する光強度分布を表す感度分布関数と、前記
多色フィルタに設けられたN種類の色フィルタの透過率
分布特性と、Nと等しいかまたはNより少ないN′種類
の出力画像の各々の波長感度分布とを係数列として記録
した第1の係数メモリと、物体空間座標と波長との関数
として定義される被写体画像の統計的相関情報を係数列
として記録した第2の係数メモリと、前記第1および第
2の係数メモリに記録された係数列から、前記画像メモ
リに記録されたN種類の多波長領域画像との行列演算に
用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたN種類の多波長領域画像
と、前記係数列演算手段により算出された新たな係数列
との間で行列演算を行ない、N′種類の波長領域の画像
を出力する行列演算手段とを具備する。
光学系と、この撮像光学系により結像される物体の光像
をN種類の波長領域ごとに透過させるN種類の色フィル
タで構成される多色フィルタと、前記撮像光学系と前記
多色フィルタとを介して入射される物体の光像を撮像す
るための撮像手段と、前記多色フィルタにより透過され
たN種類の波長領域の物体の光像を前記撮像手段により
撮像して得られたN種類の多波長領域画像を記録するた
めの画像メモリと、前記撮像手段における各受光素子に
対して、前記撮像光学系により伝達される物体空間およ
び波長に対する光強度分布を表す感度分布関数と、前記
多色フィルタに設けられたN種類の色フィルタの透過率
分布特性と、Nと等しいかまたはNより少ないN′種類
の出力画像の各々の波長感度分布と、物体空間座標と波
長との関数として定義される被写体画像の統計的相関情
報とを係数列として記録した第1の係数メモリと、前記
撮像手段のS/Nを表すパラメータを記録した第2の係
数メモリと、前記第1の係数メモリに記録された係数列
と、前記第2の係数メモリに記録されたパラメータとか
ら、前記画像メモリに記録されたN種類の多波長領域画
像との行列演算に用いられる新たな係数列を算出する係
数列演算手段と、前記画像メモリに記録されたN種類の
多波長領域画像と、前記係数列演算手段により算出され
た新たな係数列との間で行列演算を行ない、N′種類の
波長領域の画像を出力する行列演算手段とを具備する。
まず、撮像光学系と、この撮像光学系により結像される
物体の光像をN種類の波長領域ごとに透過させるN種類
の色フィルタで構成される多色フィルタとを介して入射
される物体の光像を撮像手段によって撮像し、この撮像
において得られたN種類の多波長領域画像を画像メモリ
に記録する。次に、この画像メモリに記録されたN種類
の多波長領域画像と、係数メモリに記録された係数列と
の間で行列演算手段によって行列演算を行ない、Nと等
しいかまたはNより少ないN′種類の波長領域の画像を
出力する。
ず、撮像光学系と、この撮像光学系により結像される物
体の光像をN種類の波長領域ごとに透過させるN種類の
色フィルタで構成される多色フィルタとを介して入射さ
れる物体の光像を撮像手段によって撮像し、この撮像に
おいて得られたN種類の多波長領域画像を画像メモリに
記録する。そして、第1の係数メモリに記録され、前記
撮像手段における各受光素子に対して、前記撮像光学系
により伝達される物体空間および波長に対する光強度分
布を表す感度分布関数と、前記多色フィルタに設けられ
たN種類の色フィルタの透過率分布特性と、Nと等しい
かまたはNより少ないN′種類の出力画像の各々の波長
感度分布とからなる係数列と、第2の係数メモリに記録
され、物体空間座標と波長との関数として定義される被
写体画像の統計的相関情報からなる係数列とから、前記
画像メモリに記録されたN種類の多波長領域画像との行
列演算に用いられる新たな係数列を係数列演算手段によ
って算出し、前記画像メモリに記録されたN種類の多波
長領域画像と、前記係数列演算手段により算出された新
たな係数列との間で行列演算手段によって行列演算を行
ない、N′種類の波長領域の画像を出力する。
ず、撮像光学系と、この撮像光学系により結像される物
体の光像をN種類の波長領域ごとに透過させるN種類の
色フィルタで構成される多色フィルタとを介して入射さ
れる物体の光像を撮像手段によって撮像し、この撮像に
おいて得られたN種類の多波長領域画像を画像メモリに
記録する。そして、第1の係数メモリに記録され、前記
撮像手段における各受光素子に対して、前記撮像光学系
により伝達される物体空間および波長に対する光強度分
布を表す感度分布関数と、前記多色フィルタに設けられ
たN種類の色フィルタの透過率分布特性と、Nと等しい
かまたはNより少ないN′種類の出力画像の各々の波長
感度分布とからなる係数列と、第2の係数メモリに記録
され、撮像手段のS/Nを表すパラメータとから、前記
画像メモリに記録されたN種類の多波長領域画像との行
列演算に用いられる新たな係数列を係数列演算手段によ
って算出し、前記画像メモリに記録されたN種類の多波
長領域画像と、前記係数列演算手段により算出された新
たな係数列との間で行列演算手段によって行列演算を行
ない、N′種類の波長領域の画像を出力する。
施形態を詳細に説明する。
本発明の第1実施形態は、多波長バンド画像(多波長領
域画像)を入力し、それらを用いてRGBカラー画像を
復元する撮像装置に関するものである。図1に本発明の
第1実施形態の構成を示す。構成は大きく、カメラ10
0、画像処理プロセッサ200、TVモニタ300とに
分けられる。カメラ100内にはレンズ101で構成さ
れる光学結像系(撮像光学系)が設けられており、この
レンズ101を介して被写体の光像が撮像手段としての
CCD撮像素子102の受光面上に結像される。なお、
CCD撮像素子102の代わりにMOSやCMDといっ
た他の方式による撮像素子を用いてもよい。
間には回転色フィルタ(多色フィルタ)103が設けら
れている。回転色フィルタ103は図2に示すように、
N枚の色フィルタ103−1〜Nが回転方向に並べられ
た断面構造をしており、モータ104により所定の色フ
ィルタが選択されて光学結像系の光路内に設置されてい
る。各色フィルタ103−1〜Nは図3に示すように、
可視光の波長範囲内で所定の波長バンドに透過率分布特
性を有する。
ルタ103−1〜Nに対応する波長バンド画像は画像処
理プロセッサ200内のA/D変換器201によりディ
ジタル変換され、N枚の画像メモリ202−1〜Nの内
の所定の1枚に記録される。以上の動作はカメラ100
において回転色フィルタ103が回転制御され色フィル
タ103−1〜Nの内の1枚が次々と選択されることに
より繰り返され、計N枚の波長バンド画像が画像メモリ
202−1〜Nに記録される。
色フィルタドライバ203が設けられており、カメラ1
00内のモータ104の動作制御を行なう。
た各波長バンド画像、および係数メモリとしてのROM
205に記録されている係数列が行列演算器204に入
力されて、所定の行列演算、つまり積和演算が実行され
て結果は画像メモリ206−1〜3の内の1枚に記録さ
れる。ここで、画像メモリ206−1〜3は各々カラー
画像を構成するR,G,B画像を記録するのに用いられ
る。つまりR画像を構成する場合はROM205に記録
されているデータの内、R画像用の係数列が読み出され
て所定の行列演算が行なわれ、結果は画像メモリ206
−1に記録される。同様の動作がG,B画像についても
繰り返し行なわれる。
に記録されたカラー画像はD/A変換器207により所
定のアナログビデオ信号に変換されてTVモニタ300
に表示される。以上の構成における動作制御は画像処理
プロセッサ200内のCPU210により行なわれる。
画像処理プロセッサ200とをオンラインで接続する構
成を示したが、オフラインの構成でも良い。つまり、カ
メラ100内のCCD撮像素子102からの出力画像デ
ータをアナログ信号としてあるいはディジタル変換して
から半導体メモリカード、フロッピーディスク、光メモ
リカードなどの媒体に記録する構成を設け、画像処理プ
ロセッサ200内にはそれら記録媒体から画像信号を読
み取るリーダー装置を設けることにより同様の処理を実
現するように構成してもよい。そのような場合、使用者
はカメラだけを持って撮影場所にでかけることができる
などオフラインシステムの利点を生かすことができる。
態の作用を説明する。第1実施形態では可視光範囲に渡
って透過特性が設定されたN枚の色フィルタ103−1
〜Nを用いて入力されたN枚の多波長バンド画像を用い
てRGBカラー画像を復元する作用を有する。その際
に、以下に述べるような連続−離散系モデルに基づく一
般化逆行列的手法により、光学結像系の収差による周辺
部の歪みや色収差の影響による波長ごとの結像特性の違
いを最適に補正し、正確な画像を復元する。加えてN枚
(N>3)の多波長バンド画像からRGB画像を求める
ことにより、正確な色再現性を実現する作用を有する。
一般的な連続−離散系モデルに基づいて扱われるため、
従来の標本化定理に基づく解析が要求するような帯域/
領域制限や伝達特性の位置不変性の条件を必要とせず、
適用範囲が広く正確な解析が可能である。従って光学結
像系の収差の影響により位置によって伝達特性が変化す
るような画像入力系に対しても正確な画像復元ができ
る。しかも細かく設定された多波長バンドの各々に対す
る光学結像特性を考慮しながらカラー画像を復元するこ
とにより色収差の影響を波長単位で補正することが可能
で、R,G,B画像が各々正確に復元されることから結
果的に色再現性に優れたカラー画像が得られる。
に記録された多波長バンド画像とROM205に記録さ
れている係数列とを用いて行列演算器204において行
なわれる積和演算により実現されるが、以下に具体的な
演算処理の内容を説明する。まず、光学結像系を利用し
た画像入力系が連続系で定義される物体空間と離散系で
定義される撮像部とを関係付けた連続−離散系モデルで
定義する。CCD撮像素子102を構成するM個の受光
エレメントの内の1つ(i番目;i=1,…,M)に着
目し、N枚の波長バンドフィルタの内の1枚(j番目;
j=1,…,N)を通過して結像された光像が受光され
る系を考え、これを次のように定式化する。
フィルタを用いて入力されたi番目の受光エレメントの
観測値、tj (λ):j番目の波長バンドパスフィルタ
の透過率分布特性、hi (r,λ):i番目の受光エレ
メントにおける物体空間rおよび波長λの両方に対して
定義される感度分布関数、f(r,λ):被写体を表す
物体空間rおよび波長λの両方に対して定義される原画
像関数である。
記した特開平6−98170号公報および特開平7−1
60847号公報に開示されている感度分布関数を拡張
して定義したもので、撮像素子のi番目の受光エレメン
トにおける物体空間および光の波長に対する光強度の感
度分布を表す関数である。感度分布関数hi (r,λ)
は特開平6−98170号公報の図1に示すような構成
によって実際に計測しても良いし、光学結像系の解析に
基づいて計算により求めても良い。
λ)は連続系で定義され、観測値gi j は離散値で定義
される。そして両者を関係付けるために波長バンドフィ
ルタの透過率分布特性tj (λ)および感度分布関数h
i (r,λ)が定義される。一方、原画像f(r,λ)
をRGBカラー画像に変換する過程は次式で表される。
(k=R,G,B)、sk (λ):k番目の色の等色関
数で、図4に示すような波長特性を有する。また現実の
装置でカラー画像を表示するためには連続系で定義され
る原色画像fk (r)を再サンプリングする必要がある
ので、その過程を次式で定義する。
pi (r):i番目の画素値を求めるためのサンプリン
グ関数である。(1)式で表される画像入力系により入
力された複数の波長バンド画像から(2)式で表される
各原色画像を推定する過程を、前記した特開平6−98
170号公報および特開平7−160847号公報に開
示されているような連続−離散系モデルに対して一般的
に拡張定義された擬似逆行列の考え方に従って定式化す
ると、以下のように表される。なお、繁雑さを避けるた
め、以下の説明では途中の導出に関する記述を省略し、
最終的な結果のみを示す。
ペレータ{h(r,λ)}は次式に示すように受光エレ
メント数と等しいM個の感度分布関数hi (r,λ)を
列方向に並べて構成されるオペレータである。
向にN×M個の関数を並べて構成される。一方、行列B
a は行列Bの擬似逆行列であるが、行列Bは次のように
N×N個のブロック行列Bmn(m,n=1,2,…,
N)で構成される。
義される推定原色画像は、次に(3)式に基づいて離散
値に変換される。そこで離散原色画像をベクトルfk =
[f1 k f2 k …fM' k ]t で定義すると、観測ベク
トルgからベクトルfkを推定する過程は(10)式に
まとめられる。なお、M′は離散原色画像の画素数であ
り、実用的には受光エレメント数Mとほぼ同等に決めれ
ば良い。
レータ{p(r)}とオペレータ{ak (r)}t とを
線形演算することにより改めて定義されるM′×MN行
列であり、行列Ck は行列Ak と行列Ba との行列積を
計算することにより定義されるM′×MN行列である。
つまり、ROM205に予め記録される係数列は(1
1)式で表される行列Ck の各要素であれば良く、k=
R,G,Bの各々について定義されるそれらの係数列を
全て記録しておけば良いことになる。
ンド光学結像を用いた連続−離散画像入力系の定義に基
づいた復元処理を行なうことにより正確なカラー画像が
復元可能であるため、レンズなどの光学結像系を簡便に
設計することができ、小型軽量のカメラを用いながら解
像度や色再現性に優れたカラー画像を得ることができ
る。
本発明の第2実施形態は、あらかじめ予測される被写体
の統計的自己相関情報が記録されたカードを用いて、よ
り高性能なカラー画像を復元する方法に関する。図5に
第2実施形態における画像処理プロセッサ400の構成
を示す。なおその他のカメラとTVモニタは第1実施形
態におけるカメラ100およびTVモニタ300と同様
なので、図示および説明は省略する。
メモリ402−1〜N、回転色フィルタドライバ40
3、行列演算器404、画像メモリ406−1〜3、D
/A変換器407、CPU410は、それぞれ図1にお
けるA/D変換器201、画像メモリ202−1〜N、
回転色フィルタドライバ203、行列演算器204、画
像メモリ206−1〜3、D/A変換器207、CPU
210と同様である。なお、図5では繁雑さを避けるた
めCPU410と他の構成要素との結線を省略してあ
る。
途に応じて着脱可能なカード420とカードリーダー4
21が用意される。第2の係数メモリとしてのカード4
20には半導体IC、光メモリなどの記録媒体が内蔵さ
れており、対象とする被写体の自己相関行列に関する情
報(統計的相関情報)が記録されている。この自己相関
行列の係数値は、第1の係数メモリとしてのROM42
2内に記録されている係数値と共に係数列演算手段とし
ての行列演算器423に送られることにより所定の行列
演算が行なわれ、算出された2種類の新たな係数値が係
数メモリ424−1〜2に記録される。
は、画像メモリ402−1〜Nに記録されている多波長
バンド画像と係数メモリ424−1〜2に記録されてい
る係数値との間で所定の行列演算が行われ、復元された
RGBカラー画像が画像メモリ406−1〜3に記録さ
れる。
態の作用を説明する。第2実施形態は、以下に説明する
ように最小二乗規範に基づいて連続−離散系画像入力モ
デルを再定式化することにより被写体の原画像に対して
最も誤差の少ない画像を推定復元する方法に関する。そ
れには先験的に予測される原画像の統計的自己相関情報
が必要となるため、図5の装置は被写体の種類、例えば
人物、風景、医療、建造物画像などに応じて適当な自己
相関情報が記録されたカード420を選択できるように
構成される。
長により結像状態が異なるような場合においても、波長
バンド画像間の相関を利用して復元されるカラー画像の
解像度や色再現性を向上させる作用を有する。例えば色
収差の影響の大きい光学結像系では、緑の波長領域に対
して最も焦点の合った状態で結像される際には赤や青の
波長領域は焦点はずれの状態となる。従って各波長バン
ド画像ごとに復元を行なおうとすると、緑の画像に比べ
赤や青の画像はぼけを回復しきれないため、結果的に復
元されるカラー画像は色バンド画像間で解像度のバラン
スが悪く色再現性に劣ったものになってしまう。ところ
が第2実施形態の方法によれば、焦点の合った状態で入
力できる緑の画像と赤あるいは青の画像との相関情報を
活用することにより赤や青の画像における結像特性の劣
化を補正し、緑と同等な画質にまで復元する作用が有
る。
の再定式化を行ない、カード420に記録される自己相
関情報の内容と具体的な計算方法について示す。なお、
以下の説明では離散−連続変換オペレータによる偏微分
などの計算式が現れるが、全ての関係式は線形であり行
列とベクトルで構成される離散系における定義を拡張す
ることにより定義される。つまり、連続系は要素数が無
限個の離散系であると考えて扱えば良い。
表す。平均二乗誤差ek を最小にするためのオペレータ
{mk (r)}t は(18)式を{mk (r)}で偏微
分した値が0になるような次の方程式により求められ
る。
れるオペレータ{mk (r)}t は次式のように表され
る。
(r)}t は以下のように定義される。
j は次式で定義される。
画像f(r,λ)の自己相関関数であり、次式で定義さ
れる。
と、最小二乗規範を導入した第2実施形態において定義
されるオペレータ{dk (r)}t の各要素関数[dk
(r)]j は、第1実施形態で定義されたオペレータ
{ak (r)}t における各要素関数[ak (r)]j
の積分項に原画像f(r,λ)の自己相関関数R
ff(r,λ:r′,λ′)を挿入させたものであること
が分かる。
ように定義される行列Qの擬似逆行列である。
と比較すると、第2実施形態において定義される行列Q
の各ブロック行列Qmnは、第1実施形態で定義された行
列Bの各ブロック行列Bmnにおける積分項に原画像f
(r,λ)の自己相関関数Rff(r,λ:r′,λ′)
を挿入したものであることが分かる。最後に(12)式
に従って求められる連続空間で定義される推定原色画像
は(3)式に基づいて離散変換されるが、
ペレータ{p(r)}とオペレータ{dk (r)}t と
を線形演算することにより改めて定義されるM′×MN
行列である。つまり、カード420には対象とする被写
体の性質に最も近いと予測される自己相関Rff(r,
λ:r′,λ′)を記録しておけば良く、ROM422
には各波長バンドパスフィルタの透過率分布特性t
j (λ)、物体空間rおよび波長λの両方に対して定義
される感度分布関数hi (r,λ)、k番目の色の等色
関数sk (λ)、サンプリング関数pi (r)を記録し
ておけば良い。なお、実際の装置では自己相関R
ff(r,λ;r′,λ′)などの連続関数や感度分布関
数hi (r,λ)のような離散系と連続系を変換するオ
ペレータを厳密に記録することは困難であるが、離散系
のサンプリング数(MやM′)に比べて多いサンプリン
グ数になるように細かくピッチを設定した擬似的な連続
空間を定義すれば実用上問題はなく、本発明の主旨に沿
った処理が実現できる。
れているデータは行列演算器423において(21)式
で定義された行列Dk ,Qa を算出するのに利用され、
結果はそれぞれ係数メモリ424−1,2に記録され
る。そして行列演算器404では画像メモリ402−1
〜Nに記録されている各波長バンド画像と係数メモリ4
24−1〜2に記録された行列係数との間で(21)式
に従った計算が行なわれ、RGB原色画像が復元され
る。
像の自己相関情報を記録するように構成したが、画像入
力系の条件があらかじめ固定されるような場合に対して
は最終的に必要となる行列Dk ,Qa の係数をカード4
20に記録しても良い。その場合、ROM422、行列
演算器423および係数メモリ424−1〜2が省略さ
れ、構成が簡便になる。また、特定の被写体を対象とす
る場合や広い被写体の種類に対して共通に設定可能な自
己相関関数が定義される場合には、第1実施形態と同様
に、最終的に算出される行列Dk Qa の要素を1個のR
OMに記録するように構成しても良い。
どの影響による原色画像間の解像度のムラを補正できる
ため、レンズなどの光学結像系を簡便にしながらも、よ
り解像度や色再現に優れたカラー画像を得ることができ
る。また適当な自己相関情報が記録されたカードを選択
できることから、被写体の種類に対して適応的に復元画
像の画質を向上させることができる。
る。本発明の第3実施形態は、モザイク色フィルタが装
着された単板カラーカメラを用いて入力された画像から
RGBカラー画像を復元する方法に関する。図6に第3
実施形態におけるカメラ500と画像処理プロセッサ6
00の構成を示す。カメラ500内にはレンズ501で
構成される光学結像系が設けられており、このレンズ5
01を介して被写体の光像がCCD撮像素子502の受
光面上に結像される。CCD撮像素子502は単板型の
カラー撮像素子であり、その撮像面上にモザイク色フィ
ルタ505が装着されている。モザイク色フィルタ50
5は、例えば図7に示すような緑市松R/B線順次方式
あるいはベイヤー方式と呼ばれる色配置に従って色フィ
ルタが設けられており、CCD撮像素子502では画素
順次方式によりカラー画像が撮像される。
は画像処理プロセッサ600内のA/D変換器601に
よりディジタル変換され、画像メモリ602に記録され
る。次に画像メモリ602に記録されたディジタル画像
信号はROM605に記憶されている係数列と共に行列
演算器604に送られ、所定の行列演算が行なわれるこ
とによりRGBカラー画像が復元され、その各原色画像
は画像メモリ606−1〜3にそれぞれ記録される。画
像メモリ606−1〜3に記録されたRGB画像はD/
A変換器607により適当なアナログビデオ信号に変換
され、図示しないTVモニタに表示される。
態の作用を説明する。第3実施形態は、単板カラー方式
のカメラ500で入力されたR,G,Bの3バンド波長
領域の画像から、第1あるいは第2実施形態に示したよ
うな連続−離散系モデルに基づく画像復元の原理に従っ
て解像度や色再現性に優れたカラー画像を得る作用を有
する。モザイク色フィルタ505を介して入力された画
素順次方式のカラー画像は、欠落画素を有する原色画像
の集まりであると考えられる。つまり、図7に示すよう
なモザイク色配置によれば、例えばR画像に着目すると
G,Bのフィルタが配置されている画素は欠落画素であ
ると考えられる。第3実施形態はそのような欠落画素を
含む原色画像から欠落の無い完全な原色画像を復元する
作用を有する。復元処理はR,G,Bの3色バンド領域
における連続−離散系画像入力モデルに基づいて定義さ
れるが、結局は第1,2実施形態と同様に行列演算によ
り実現される。
に基づいた具体的な計算方法について示す。まずCCD
撮像素子502を構成するM個の受光エレメントの内の
1つ(i番目;i=1,…,M)に着目し、R,G,B
の色バンドの内の1つ(j番目;j=R,G,B)で離
散値gi j が観測される画像入力系を次のように定式化
する。
メントのj番目の色バンド領域において物体空間rに対
して定義される感度分布関数、fj (r):j番目の色
バンド領域における原画像関数である。また、R,G,
B各画素数をそれぞれMR ,MG ,MB とするとMR +
MG +MB =Mである。
れるオペレータ{nk (r)}t は次式のように表され
る。
(r)}t は以下のように定義される。
k (r)]j は次式で定義される。
k (r)と原画像fj (r′)の相互相関関数であり、
次式で表される。
オペレータ{hj (r)}は次式に表されるように、j
番目の色のフィルタが装着されたMi 個の各画素に対す
る感度分布関数を列方向に並べることにより定義され
る。
ように定義される行列Vの擬似逆行列である。
れ、各々Mk ×Mj 個の要素を持つ。
空間で定義される推定原色画像は(3)式に基づいて離
散変換されるが、
ペレータ{p(r)}とオペレータ{uk (r)}t と
を線形演算することにより改めて定義されるM′×M行
列である。また、行列Xk は行列Uk と行列Va との行
列積を計算することにより改めて定義されるM′×M行
列である。
2実施形態のように、原色画像間の相関情報を記録した
カードを脱着可能にすることにより、被写体に対して適
応的に復元処理を行なわせることができる。また、第3
実施形態は、第2実施形態のみならず、前記した第1実
施形態、さらには以下に述べる第4、第5実施形態に適
用することも可能である。
ラを用いながら解像度や色再現性に優れたカラー画像を
得ることができるため、コンパクトでしかも画像入力時
間の短い実用上有用なカラー画像撮像装置を提供するこ
とができる。
る。本発明の第4実施形態は、撮像素子のS/Nに関す
るデータをあらかじめカメラ内のメモリに記録してお
き、そのデータに基づいて適応的にノイズが抑制された
カラー画像を復元する方法に関する。図8に第4実施形
態におけるカメラ700と画像処理プロセッサ800の
構成を示す。カメラ700において、レンズ701、C
CD撮像素子702、回転色フィルタ703、モータ7
04はそれぞれ第1実施形態のカメラ100におけるレ
ンズ101、CCD撮像素子102、回転色フィルタ1
03、モータ104と同様である。カメラ700にはそ
れらの他に撮像素子702のS/Nに関するデータが記
録された第2の係数メモリとしてのROM706が内蔵
されている。
A/D変換器801、画像メモリ802−1〜N、回転
色フィルタドライバ803、行列演算器804、画像メ
モリ806−1〜3、D/A変換器807、CPU81
0は、それぞれ第1実施形態の画像処理プロセッサ20
0におけるA/D変換器201、画像メモリ202−1
〜N、回転色フィルタドライバ203、行列演算器20
4、画像メモリ206−1〜3、D/A変換器207、
CPU210と同様である。
の係数メモリとしてのROM830が内蔵され、このR
OM830に記録されている係数列はカメラ700内の
ROM706から送られてきたデータと共に係数列演算
手段としての行列演算器831に送られ、所定の行列演
算が行なわれて算出された係数列は係数メモリ832−
1、2に記録される。そして、これらの係数列と画像メ
モリ802−1〜Nに記録されている多波長バンド画像
との間で行列演算が行なわれることによりRGB原色画
像が復元され、結果は画像メモリ806−1〜3に記録
される。
の作用を説明する。第4実施形態は、CCD撮像素子7
02の熱雑音などにより入力画像に混入するノイズの影
響を抑制しながらカラー画像を復元する作用を有する。
カメラ700内にカメラ700のS/N特性を示すパラ
メータを記録したROM706を設けることにより、カ
メラ700に対して適応的なノイズ抑制効果をもたら
す。
元処理について説明する。加法的離散ノイズの加わった
観測ベクトルg′は次式で表される。
n:ノイズベクトルである。この観測ベクトルg′から
連続空間で定義される原色画像を推定する過程は、第2
実施形態と同様な最小二乗規範に従った解析により、以
下の(35)式のように導出される。ただし、式の導出
において原画像とノイズには相関が無いと仮定した。
ータ{dk (r)}t は(16)式に定義されたオペレ
ータと同様であり、行列Qは(19),(20)式と同
様に定義される。また行列Nはノイズの自己相関行列で
あり、CCD撮像素子702の各受光エレメントに生じ
るノイズ同士は無相関で、発生確率は各受光エレメント
間で等しいとすると次式で表すことができる。
メータ、I:MN×MNの単位行列である。以上の解析
により、
行列Dk と同様であり、行列Qは(19),(20)式
に定義される行列Qと同様である。ROM830内には
感度分布関数hi (r,λ),(i=1,…,M)と、
波長バンドパスフィルタの透過率分布特性tj (λ),
(j=1,…,N)と、原色画像の等色関数s
k (λ),(k=R,G,B)および原画像f(r,
λ)の自己相関関数Rff(r,λ;r′,λ′)が記録
される。またカメラ700内のROM706にはパラメ
ータαが記録される。ROM830,706に記録され
ているこれらのデータが行列演算器831に入力される
ことにより行列Dk および(Q+αI)a が算出され、
その要素がそれぞれ係数メモリ832−1,2に記録さ
れる。行列演算器804では、ROM832−1,2内
に記録されている行列Dk と(Q+αI)a を用いて画
像メモリ802−1〜Nに記録されている各波長バンド
画像との間で(37)式に基づく原色画像の復元処理が
行なわれる。
に混入するノイズの影響が抑制された明瞭なカラー画像
を出力することができる。またカメラ自体にカメラの性
能に依存したS/Nパラメータを保持させるので、カメ
ラを画像処理プロセッサに対して着脱可能な構成とした
場合は、使用するカメラに適応させた最適なノイズ抑制
処理が実現できる。
る。本発明の第5実施形態は、光学結像系の色収差を利
用して波長ごとに異なる物体面に焦点の合った多波長バ
ンド画像を入力し、それらを用いて任意の物体面に焦点
の合ったカラー画像を復元する方法に関する。
と画像処理プロセッサ1000の構成を示す。カメラ9
00において、レンズ901、CCD撮像素子902、
回転色フィルタ903、モータ904はそれぞれ第1実
施形態のカメラ100におけるレンズ101、CCD撮
像素子102、回転色フィルタ103、モータ104と
同様である。ただし、第5実施形態のレンズ901は色
収差が大きく、光学結像系は波長に応じて合焦範囲に広
がりがあるとする。また画像処理プロセッサ1000に
おいて、A/D変換器1001、画像メモリ1002−
1〜N、回転色フィルタドライバ1003、行列演算器
1004、画像メモリ1006−1〜3、D/A変換器
1007、CPU1010は、それぞれ第1実施形態の
画像処理プロセッサ200におけるA/D変換器20
1、画像メモリ202−1〜N、回転色フィルタドライ
バ203、行列演算器204、画像メモリ206−1〜
3、D/A変換器207、CPU210と同様である。
OM1040が内蔵され、複数の被写体の種類に対応し
た自己相関情報が記録されている。またROM1041
には複数の物体面の位置に対応した感度分布関数が記録
されている。これらのROM1040,1041に記録
されている複数の係数列の内の1つが選択されて行列演
算器1043に入力されるが、どの係数列を選択するか
はユーザインターフェース1050によりユーザから指
定された条件に基づいてCPU1010からROM10
40,1041に送られる読み出しアドレス信号により
制御される。
に対する感度分布関数、回転色フィルタ903に設けら
れているN枚の色バンドフィルタの透過率分布特性およ
びRGB等色関数が記録されており、それらの係数列は
行列演算器1043に入力される。行列演算器1043
ではROM1040,1041,1042から送られて
きた係数列を用いて所定の行列演算が行なわれ、算出さ
れた2種類の新たな係数値が係数メモリ1044−1〜
2に記録される。行列演算器1004では、画像メモリ
1002−1〜Nに記録されている多波長バンド画像と
係数メモリ1044−1〜2に記録されている係数値と
の間で所定の行列演算が行なわれ、復元されたRGBカ
ラー画像が画像メモリ1006−1〜3に記録される。
の作用を説明する。第5実施形態は、色収差の大きい光
学結像系を用いた場合は波長ごとに異なる物体面に焦点
が合うことを利用して、レンズの位置を固定させながら
波長と焦点位置とが共に異なる複数の画像を入力する。
それらを用いて、全入力画像に対応した合焦範囲内にお
ける任意の物体面の位置に焦点の合ったカラー画像を復
元する作用を有する。そのような処理を実現させるため
に、以下に説明するような3次元物体空間に対する多波
長バンドの連続−離散系モデルに基づき、各波長バンド
画像間の相関を利用したカラー画像復元法を用いる。
ず(1)式と同様に3次元物体空間に対する連続−離散
画像入力系を次式で定義する。
z)を3次元物体空間を表す直交座標系とし、感度分布
関数hi (R,λ)と原画像f(R,λ)とを3次元物
体空間に対して再定義する。ただし、zを光学結像系の
光軸と平行な軸に定義する。
(r,z0 )}t は以下のように定義される。
0 )]j は次式で定義される。
0 の2次元物体面における感度分布関数hi (r,
z0 ;λ),(i=1,…,M)を列方向に並べること
により構成される連続−離散系変換オペレータであり、
Rff(r,λ;r′,λ′;z0 )はz=z0 における
2次元原画像f(r,λ;z0 )の自己相関関数であ
る。一方、(39)式における行列Za は行列Zの擬似
逆行列であるが、行列ZのN×N個のブロック要素行列
Zmn,(m,n=1,…,N)は次式で定義され、各々
M×M個の要素を持つ。
次元連続物体空間で定義された原画像f(R,λ)の自
己相関関数である。以上の解析により、
ペレータ{p(r)}とオペレータ{wk (r)}t と
を線形演算することにより改めて定義されるM′×MN
行列である。ROM1040には被写体の種類に対応し
た複数の3次元自己相関関数Rff(R,λ;R′,
λ′)、および複数の被写体の種類と複数の物体面の位
置z0 に対応した2次元自己相関関数Rff(R,λ;
R′,λ′;z0 )が記録される。またROM1041
には複数の物体面の位置z0 に対応した2次元感度分布
関数hi (r,z0 ;λ),(i=1,…,M)が記録
される。
物体面の位置に応じて適当な条件を選択することによ
り、ROM1040,1041に記録されている複数種
類の上記係数列から適当なものが選択される。一方、R
OM1042には画像入力・表示系により固定された係
数列である3次元感度分布関数hi (R,λ),(i=
1,…,M)、色バンドパスフィルタの透過率分布特性
tj (λ),(j=1,…,N)およびRGB等色関数
sk (λ),(k=R,G,B)が記録されている。
41,1042から送られてくる係数列を用いて行列演
算器1043では所定の行列演算が行なわれ、係数メモ
リ1044−1,2にはそれぞれ行列Wk ,Za の要素
係数列が記録される。そして行列演算器1004では画
像メモリ1002−1〜Nに記録されている各波長バン
ド画像と係数メモリ1044−1〜2に記録された行列
との間で(43)式に従った計算が行なわれ、RGB離
散原色画像が復元される。
体空間の範囲内での焦点の合った物体面の位置をコント
ロールできるような装置をレンズ駆動によるメカニカル
な動作をせずに実現できる。従ってレンズ駆動部を省略
できるために構成が簡便になる上に、モータによる振動
の影響なども無い。しかも多波長バンド光学結像を用い
た連続−離散画像入力系の定義に基づいた復元処理を行
なうことにより解像度や色再現性に優れたカラー画像を
得ることができる。
構成を有する発明が含まれており、各発明に対応する実
施形態と効果は次の通りである。
により結像される物体の光像をN種類の波長領域ごとに
透過させるN種類の色フィルタで構成される多色フィル
タと、前記撮像光学系と前記多色フィルタとを介して入
射される物体の光像を撮像するための撮像手段と、前記
多色フィルタにより透過されたN種類の波長領域の物体
の光像を前記撮像手段により撮像して得られたN種類の
多波長領域画像を記録するための画像メモリと、この画
像メモリに記録されたN種類の多波長領域画像との行列
演算に用いられる係数列が記録された係数メモリと、前
記画像メモリに記録されたN種類の多波長領域画像と、
前記係数メモリに記録された係数列との間で行列演算を
行ない、Nと等しいかまたはNより少ないN′種類の波
長領域の画像を出力する行列演算手段と、を具備するこ
とを特徴とする撮像装置。
る実施形態には、前記した第1実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第1実施形態
で述べた(10)式を計算することに相当する。
する光学結像特性を考慮しながらNと等しいかまたはN
より少ないN′種類の波長バンド画像を復元するように
したので、波長領域に対して冗長性を持たせると共に色
収差の影響を波長単位で補正することが可能になる。こ
れによって画像が各々正確に復元されることから結果的
に色再現性に優れた画像が得られる。
おいて、前記係数メモリに記録された係数列は、前記撮
像手段における各受光素子に対して、前記撮像光学系に
より伝達される物体空間および波長に対する光強度分布
を表す感度分布関数と、前記多色フィルタに設けられた
N種類の色フィルタの透過率分布特性と、前記行列演算
手段により出力されるN′種類の出力画像の各々の波長
感度分布とを用いて、前記撮像光学系と、前記多色フィ
ルタと、前記撮像手段とで決定される画像入力系を線形
に関係付けたところの一般化行列に対する擬似逆行列で
あることを特徴とする。
る実施形態には、前記した第1実施形態が対応する。
系モデルに基づいて扱われることにより、従来の標本化
定理に基づく解析が要求するような帯域/領域制限や伝
達特性の位置不変性の条件を必要とせず、適用範囲が広
く正確な解析が可能となる。従って光学結像系の収差の
影響により位置によって伝達特性が変化するような画像
入力系に対しても正確な画像復元ができる。これによっ
て、レンズなどの光学結像系を簡便に設計することがで
き、小型軽量のカメラを用いながら解像度や色再現性に
優れたカラー画像を得ることができる。
おいて、前記行列演算手段により出力される画像の種類
N′は3であり、それらの画像はカラー画像を構成する
赤,緑,青の波長領域の画像であることを特徴とする。
る実施形態には、前記した第1実施形態が対応する。
像をRGBカラー画像とすることにより、一般的なカラ
ー画像機器に親和性のあるカラー画像を出力できる。
により結像される物体の光像をN種類の波長領域ごとに
透過させるN種類の色フィルタで構成される多色フィル
タと、前記撮像光学系と前記多色フィルタとを介して入
射される物体の光像を撮像するための撮像手段と、前記
多色フィルタにより透過されたN種類の波長領域の物体
の光像を前記撮像手段により撮像して得られたN種類の
多波長領域画像を記録するための画像メモリと、前記撮
像手段における各受光素子に対して、前記撮像光学系に
より伝達される物体空間および波長に対する光強度分布
を表す感度分布関数と、前記多色フィルタに設けられた
N種類の色フィルタの透過率分布特性と、Nと等しいか
またはNより少ないN′種類の出力画像の各々の波長感
度分布とを係数列として記録した第1の係数メモリと、
物体空間座標と波長との関数として定義される被写体画
像の統計的相関情報を係数列として記録した第2の係数
メモリと、前記第1および第2の係数メモリに記録され
た係数列から、前記画像メモリに記録されたN種類の多
波長領域画像との行列演算に用いられる新たな係数列を
算出する係数列演算手段と、前記画像メモリに記録され
たN種類の多波長領域画像と、前記係数列演算手段によ
り算出された新たな係数列との間で行列演算を行ない、
N′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
る実施形態には、前記した第2実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第2実施形態
で述べた(21)式を計算することに相当する。
結像状態が異なるような場合においても、波長バンド画
像間の相関を利用して復元されるカラー画像の解像度や
色再現性を向上させることができる。従って、レンズな
どの光学結像系を簡便な構成とした場合でも、解像度や
色再現により優れたカラー画像を得ることができる。
おいて、前記第2の係数メモリは、複数の係数メモリと
それらの中の一つから係数列を読み込む手段とから構成
されることを特徴とする。
る実施形態には、前記した第2実施形態が対応する。
景、医療、建造物画像などに応じて適当な統計的相関情
報が記録されたメモリを選択することができ、より正確
な画像の復元が可能になる。
像装置において、前記第2の係数メモリにおける複数の
係数メモリは複数のカード媒体に内蔵され、それらの中
の一つから係数列を読み込む手段はカードリーダーであ
ることを特徴とする。
る実施形態には、前記した第2実施形態が対応する。
カードを選択できることから、被写体の種類に対して適
応的に復元画像の画質を向上させることができる。
により結像される物体の光像をN種類の波長領域ごとに
透過させるN種類の色フィルタで構成される多色フィル
タと、前記撮像光学系と前記多色フィルタとを介して入
射される物体の光像を撮像するための撮像手段と、前記
多色フィルタにより透過されたN種類の波長領域の物体
の光像を前記撮像手段により撮像して得られたN種類の
多波長領域画像を記録するための画像メモリと、前記撮
像手段における各受光素子に対して、前記撮像光学系に
より伝達される物体空間および波長に対する光強度分布
を表す感度分布関数と、前記多色フィルタに設けられた
N種類の色フィルタの透過率分布特性と、Nと等しいか
またはNより少ないN′種類の出力画像の各々の波長感
度分布と、物体空間座標と波長との関数として定義され
る被写体画像の統計的相関情報とを係数列として記録し
た第1の係数メモリと、前記撮像手段のS/Nを表すパ
ラメータを記録した第2の係数メモリと、前記第1の係
数メモリに記録された係数列と、前記第2の係数メモリ
に記録されたパラメータとから、前記画像メモリに記録
されたN種類の多波長領域画像との行列演算に用いられ
る新たな係数列を算出する係数列演算手段と、前記画像
メモリに記録されたN種類の多波長領域画像と、前記係
数列演算手段により算出された新たな係数列との間で行
列演算を行ない、N′種類の波長領域の画像を出力する
行列演算手段と、を具備することを特徴とする撮像装
置。
る実施形態には、前記した第4実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第4実施形態
で述べた(37)式を計算することに相当する。
が抑制された明瞭なカラー画像を出力することができ
る。
おいて、前記第2の係数メモリに記録されるパラメータ
は、前記撮像手段からの出力信号に加わるノイズの統計
量であることを特徴とする。
る実施形態には、前記した第4実施形態が対応する。
像と相関の無いノイズを定量的に扱うために撮像手段の
性能に依存したノイズの統計量を記録しておくことによ
り、最適な条件でノイズを抑制できる画像復元を行なう
ことができる。
おいて、前記第2の係数メモリは、前記撮像手段に内蔵
されることを特徴とする。
る実施形態には、前記した第4実施形態が対応する。
したS/Nパラメータを保持させるので、カメラを画像
処理プロセッサに対して着脱可能に構成した場合でも使
用するカメラに適応させた最適なノイズ抑制処理を実現
することができる。
置において、前記係数列演算手段は、前記行列演算手段
により出力されたN′種類の波長領域の画像と、物体空
間座標と波長との関数として定義される被写体画像に、
前記第1の係数メモリに記録されているN′種類の出力
画像の各々の波長感度分布を作用することにより得られ
るところのN′種類の波長領域の被写体画像との誤差が
最小になるような係数を算出することを特徴とする。
る実施形態には、前記した第2,3実施形態が対応す
る。
が予測される理想的な出力画像に対して最も誤差の少な
い画像を推定復元することができる。
が合う撮像光学系と、この撮像光学系により結像される
物体の光像をN種類の波長領域ごとに透過させるN種類
の色フィルタで構成される多色フィルタと、前記撮像光
学系と前記多色フィルタとを介して入射される物体の光
像を撮像するための撮像手段と、前記多色フィルタによ
り透過されたN種類の波長領域の物体の光像を前記撮像
手段により撮像することにより得られたN種類の多波長
領域画像を記録するための画像メモリと、前記撮像手段
における各受光素子に対して、前記撮像光学系により伝
達される3次元物体空間および波長に対する光強度分布
を表す3次元感度分布関数と、前記撮像手段における各
受光素子に対して、前記撮像光学系により伝達される3
次元物体空間内の所定の2次元物体面および波長に対す
る光強度分布を表す2次元感度分布関数と、3次元物体
空間座標と波長との関数として定義される被写体画像の
統計的3次元相関情報と、3次元物体空間内の所定の2
次元物体面座標と波長との関数として定義される被写体
画像の統計的2次元相関情報と、前記多色フィルタに設
けられたN種類の色フィルタの透過率分布特性と、Nと
等しいかまたはNより少ないN′種類の出力画像の各々
の波長感度分布と、を係数列として記録した係数メモリ
と、この係数メモリに記録されている係数列から前記画
像メモリに記録されたN種類の多波長領域画像との行列
演算に用いられる新たな係数列を算出する係数列演算手
段と、前記画像メモリに記録されたN種類の多波長領域
画像と、前記係数列演算手段により算出された係数列と
の間で行列演算を行ない、N′種類の波長領域の画像を
出力する行列演算手段と、を具備することを特徴とする
撮像装置。
る実施形態には、前記した第5実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第5実施形態
で述べた(43)式を計算することに相当する。
る場合は波長ごとに異なる物体面に焦点が合うことを利
用して、レンズの位置を固定させながら波長と焦点位置
とが共に異なる複数の画像を入力し、全入力画像に対応
した合焦範囲内における任意の物体面の位置に焦点の合
った画像を復元するようにしたので、所定の物体空間の
範囲内で焦点の合った物体面の位置をコントロールでき
るような装置をレンズ駆動によるメカニカルな動作をせ
ずに実現できる。したがって、レンズ駆動部を省略でき
構成が簡便になる上にモータによる振動の影響なども無
くなる。
おいて、前記係数列演算手段は、前記係数メモリに記録
されている3次元感度分布関数と、被写体画像の統計的
3次元相関情報と、前記多色フィルタに設けられたN種
類の色フィルタの透過率分布特性との線形結合により定
義される行列の擬似逆行列と、2次元感度分布関数と被
写体画像の統計的2次元相関情報とN′種類の出力画像
の各々の波長感度分布との線形結合により定義される行
列と、を算出することを特徴とする。
る実施形態には、前記した第5実施形態が対応する。
続−離散画像入力系の定義に基づいた復元処理を行なう
ことができ、解像度や色再現性に優れた画像を出力する
ことができる。
おいて、前記係数メモリには、前記撮像手段における各
受光素子に対して、前記撮像光学系により伝達される3
次元物体空間内の所定の2次元物体面および波長に対す
る光強度分布を表す2次元感度分布関数と、3次元物体
空間内の所定の2次元物体面座標と波長との関数として
定義される被写体画像の統計的2次元相関情報とが異な
る物体面に対応させて複数記録され、それらの内の1つ
づつを選択する手段を有することを特徴とする。
る実施形態には、前記した第5実施形態が対応する。
に選択可能な装置を構成できる。
像装置において、前記多色フィルタはN種類の色フィル
タが同一平面上に空間的に配置されたモザイク色フィル
タであることを特徴とする。
る実施形態には、前記した第3実施形態が対応する。
力するカメラを用いながら、連続−離散系モデルに基づ
く画像復元の原理に従って解像度や色再現性に優れたカ
ラー画像を得ることができる。従って、コンパクトでし
かも画像入力時間の短い実用上有用なカラー画像撮像装
置を提供することができる。
おいて、前記モザイク色フィルタに設けられる色フィル
タの種類Nおよび前記行列演算手段により出力される画
像の数N′は、共に3であることを特徴とする。
する実施の形態には、前記した第3実施形態が対応す
る。
像により構成されるため、一般的なカラー画像機器に親
和性のある処理を実現できる。
像装置において、前記モザイク色フィルタに設けられる
3種類の色フィルタは赤,緑,青の波長領域を透過させ
る色フィルタであり、前記行列演算手段により出力され
るN′種類の画像はカラー画像を構成する赤,緑,青の
波長領域の画像であることを特徴とする。
る実施形態には、前記した第3実施形態が対応する。
カメラやカラー画像機器を使用しながら本発明の効果を
得ることができる。
基づいた画像復元方法を用いて、色再現性に優れた正確
なカラー画像を復元することができる。
示す図である。
サの構成を示す図である。
理プロセッサの構成を示す図である。
理プロセッサの構成を示す図である。
理プロセッサの構成を示す図である。
素子、103…回転色フィルタ、104…モータ、20
1…A/D変換器、202−1〜N…画像メモリ、20
3…回転色フィルタドライバ、204…行列演算器、2
05…ROM、206−1〜3…画像メモリ、207…
D/A変換器、210…CPU、300…TVモニタ。
Claims (3)
- 【請求項1】 撮像光学系と、 この撮像光学系により結像される物体の光像をN種類の
波長領域ごとに透過させるN種類の色フィルタで構成さ
れる多色フィルタと、 前記撮像光学系と前記多色フィルタとを介して入射され
る物体の光像を撮像するための撮像手段と、 前記多色フィルタにより透過されたN種類の波長領域の
物体の光像を前記撮像手段により撮像して得られたN種
類の多波長領域画像を記録するための画像メモリと、 この画像メモリに記録されたN種類の多波長領域画像と
の行列演算に用いられる係数列が記録された係数メモリ
と、 前記画像メモリに記録されたN種類の多波長領域画像
と、前記係数メモリに記録された係数列との間で行列演
算を行ない、Nと等しいかまたはNより少ないN′種類
の波長領域の画像を出力する行列演算手段と、 を具備することを特徴とする撮像装置。 - 【請求項2】 撮像光学系と、 この撮像光学系により結像される物体の光像をN種類の
波長領域ごとに透過させるN種類の色フィルタで構成さ
れる多色フィルタと、 前記撮像光学系と前記多色フィルタとを介して入射され
る物体の光像を撮像するための撮像手段と、 前記多色フィルタにより透過されたN種類の波長領域の
物体の光像を前記撮像手段により撮像して得られたN種
類の多波長領域画像を記録するための画像メモリと、 前記撮像手段における各受光素子に対して、前記撮像光
学系により伝達される物体空間および波長に対する光強
度分布を表す感度分布関数と、前記多色フィルタに設け
られたN種類の色フィルタの透過率分布特性と、Nと等
しいかまたはNより少ないN′種類の出力画像の各々の
波長感度分布とを係数列として記録した第1の係数メモ
リと、 物体空間座標と波長との関数として定義される被写体画
像の統計的相関情報を係数列として記録した第2の係数
メモリと、 前記第1および第2の係数メモリに記録された係数列か
ら、前記画像メモリに記録されたN種類の多波長領域画
像との行列演算に用いられる新たな係数列を算出する係
数列演算手段と、 前記画像メモリに記録されたN種類の多波長領域画像
と、前記係数列演算手段により算出された新たな係数列
との間で行列演算を行ない、N′種類の波長領域の画像
を出力する行列演算手段と、 を具備することを特徴とする撮像装置。 - 【請求項3】 撮像光学系と、 この撮像光学系により結像される物体の光像をN種類の
波長領域ごとに透過させるN種類の色フィルタで構成さ
れる多色フィルタと、 前記撮像光学系と前記多色フィルタとを介して入射され
る物体の光像を撮像するための撮像手段と、 前記多色フィルタにより透過されたN種類の波長領域の
物体の光像を前記撮像手段により撮像して得られたN種
類の多波長領域画像を記録するための画像メモリと、 前記撮像手段における各受光素子に対して、前記撮像光
学系により伝達される物体空間および波長に対する光強
度分布を表す感度分布関数と、前記多色フィルタに設け
られたN種類の色フィルタの透過率分布特性と、Nと等
しいかまたはNより少ないN′種類の出力画像の各々の
波長感度分布と、物体空間座標と波長との関数として定
義される被写体画像の統計的相関情報とを係数列として
記録した第1の係数メモリと、 前記撮像手段のS/Nを表すパラメータを記録した第2
の係数メモリと、 前記第1の係数メモリに記録された係数列と、前記第2
の係数メモリに記録されたパラメータとから、前記画像
メモリに記録されたN種類の多波長領域画像との行列演
算に用いられる新たな係数列を算出する係数列演算手段
と、 前記画像メモリに記録されたN種類の多波長領域画像
と、前記係数列演算手段により算出された新たな係数列
との間で行列演算を行ない、N′種類の波長領域の画像
を出力する行列演算手段と、を具備することを特徴とす
る撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06882796A JP3790906B2 (ja) | 1996-03-25 | 1996-03-25 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06882796A JP3790906B2 (ja) | 1996-03-25 | 1996-03-25 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09261498A true JPH09261498A (ja) | 1997-10-03 |
JP3790906B2 JP3790906B2 (ja) | 2006-06-28 |
Family
ID=13384939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06882796A Expired - Fee Related JP3790906B2 (ja) | 1996-03-25 | 1996-03-25 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3790906B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252911A (ja) * | 2007-03-29 | 2008-10-16 | Sony Corp | 画像ノイズ除去の方法及び装置 |
-
1996
- 1996-03-25 JP JP06882796A patent/JP3790906B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252911A (ja) * | 2007-03-29 | 2008-10-16 | Sony Corp | 画像ノイズ除去の方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3790906B2 (ja) | 2006-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5864364A (en) | Color image recording and reproducing system | |
US7808533B2 (en) | Electronic camera having signal processing units that perform signal processing on image data | |
JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US6847397B1 (en) | Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor | |
EP1206119A2 (en) | Method and apparatus for exposure control for an extended dynamic range image sensing device | |
EP0869683B1 (en) | Image pickup device | |
US20020122124A1 (en) | Image sensing apparatus and its control method, control program, and storage medium | |
US6809765B1 (en) | Demosaicing for digital imaging device using perceptually uniform color space | |
US20220182562A1 (en) | Imaging apparatus and method, and image processing apparatus and method | |
KR100754661B1 (ko) | 디지털 촬영 장치에서의 컬러 보간 방법 및 그 장치 | |
US11460666B2 (en) | Imaging apparatus and method, and image processing apparatus and method | |
KR20070011429A (ko) | 디지털 이미징 시스템을 이용하여 오브젝트로부터 광의대안적 형태의 재생 | |
CN106507065A (zh) | 拍摄装置、拍摄***、图像生成装置及滤色器 | |
WO2012153532A1 (ja) | 撮像装置 | |
US8493463B2 (en) | Spectral characteristic correction apparatus, spectral characteristic correction method and recording medium on which spectral characteristic correction program is recorded | |
JP3790906B2 (ja) | 撮像装置 | |
JP4531007B2 (ja) | 画像処理システム | |
WO2018150695A1 (ja) | 画像処理装置、画像処理方法、およびカメラシステム | |
JP4027116B2 (ja) | 撮像素子及び撮像装置 | |
JP3397397B2 (ja) | 撮像装置 | |
US7405759B2 (en) | Imaging with spectrally dispersive element for aliasing reducing | |
JP2883648B2 (ja) | 画像入出力装置 | |
JP4133179B2 (ja) | 画像信号処理装置 | |
WO2001026359A1 (en) | Demosaicing using wavelet filtering for digital imaging device | |
JP3935528B2 (ja) | カラー画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060322 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |