JPH09261498A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】連続−離散系モデルに基づいた画像復元方法を
用いて、色再現性に優れた正確なカラー画像を復元でき
る撮像装置を提供すること。 【解決手段】レンズ１０１により結像される物体の光像
をＮ種類の波長領域ごとに透過させるＮ種類の色フィル
タで構成される回転色フィルタ１０３と、レンズ１０１
と回転色フィルタ１０３とを介して入射される物体の光
像を撮像するためのＣＣＤ撮像素子１０２と、回転色フ
ィルタ１０３により透過されたＮ種類の波長領域の物体
の光像を撮像して得られたＮ種類の多波長領域画像を記
録するための画像メモリ２０２と、Ｎ種類の多波長領域
画像との行列演算に用いられる係数列が記録されたＲＯ
Ｍ２０５と、Ｎ種類の多波長領域画像と、係数列との間
で行列演算を行ない、Ｎと等しいかまたはＮより少ない
Ｎ′種類の波長領域の画像を出力する行列演算器２０４
とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光学結像された物
体の像を電子的画像信号に変換するカメラによってカラ
ー画像を撮像する撮像装置に関し、特に、撮像系と画像
復元処理系とを組み合わせて構成される撮像装置に関す
る。

【０００２】

【従来の技術】光学結像系を利用して撮像された画像を
ディジタル画像処理により明瞭な画像に復元する技術が
従来より知られている。このような復元技術において
は、原理的に連続−連続系モデルで定義される問題を離
散−離散系モデルに置き換えてディジタル処理により解
決するために、標本化定理に基づいて両モデルを関係付
けることにより定義される画像復元アルゴリズムを従来
より利用している。

【０００３】２次元画像データの標本化定理について
は、J.W.Goodman,Introduction toFourier Optics,pp.2
1-25,(McGraw-Hill;San Francisco;1968) に開示されて
おり、また、連続−連続系モデルにおいて定義される画
像復元を離散−離散系モデルに基づくアルゴリズムで実
現する方法については、W.K.Pratt,Digital,ImageProce
ssing,pp.378-425,(John Wiley & Sons;New York;1978)
に開示されている。しかしながら、上記した従来の復
元技術は、以下に示すような理由により正確な画像を復
元する上で限界を有する。

【０００４】１．２次元標本化定理を適用するために
は、連続信号が周波数空間で矩形に帯域制限されている
ことが必要である。また離散フーリエ変換を利用した復
元フィルタリングを適用する場合にはフーリエ空間での
離散化も必要となり、物体空間も矩形状に領域制限され
ることが要求される。加えてサンプリング間隔は両制限
矩形領域の１辺の長さに依存することになる。ところが
そのような制約条件を課することは画像入力系を完全に
表現する上で障害となってしまう。

【０００５】２．標本化定理は連続信号の伝達関数が位
置不変の場合に成立する。従って光学結像系の収差など
の影響で伝達特性が位置に対して異なるような場合には
適用できない。

【０００６】そこで、特開平６−９８１７０号公報およ
び特開平７−１６０８４７号公報は、連続系で定義され
る物体空間と、複数の受光素子で構成される離散系で定
義される撮像素子との関係を連続−離散系モデルで再定
義し、一般化逆行列の考え方にしたがって画像を正確に
復元する方法を開示している。しかしながら、特開平６
−９８１７０号公報は、赤（Red;R ）、緑（Green;G
）、青（Blue;B）の各色バンド画像ごとに復元処理を
行って復元画像を得ているが、このような方法では正確
な色再現性を実現する上で限界があり、これを克服する
方法については何等開示していない。また、光学結像系
に色収差が有る場合には色バンド画像ごとに伝達特性が
異なるが、このことが最終的に得られる復元画像にどの
ような影響を与えるかについては言及していない。

【０００７】

【発明が解決しようとする課題】上記したように、連続
−連続系で定義される結像関係を離散−離散系で近似し
たモデルを用いる従来の画像復元方法は、標本化定理が
要求する条件に従わない画像入力系に対しては原理的に
適用できないため正確な画像を復元することができない
場合が多かった。

【０００８】また、連続−離散系モデルに基づく従来の
画像復元技術は、正確な色再現性を実現するためのカラ
ー画像の復元方法については何等開示していない。

【０００９】本発明の撮像装置はこのような課題に着目
してなされたものであり、その目的とするところは、連
続−離散系モデルに基づいた画像復元方法を用いて、色
再現性に優れた正確なカラー画像を復元することができ
る撮像装置を提供することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る撮像装置は、撮像光学系と、こ
の撮像光学系により結像される物体の光像をＮ種類の波
長領域ごとに透過させるＮ種類の色フィルタで構成され
る多色フィルタと、前記撮像光学系と前記多色フィルタ
とを介して入射される物体の光像を撮像するための撮像
手段と、前記多色フィルタにより透過されたＮ種類の波
長領域の物体の光像を前記撮像手段により撮像して得ら
れたＮ種類の多波長領域画像を記録するための画像メモ
リと、この画像メモリに記録されたＮ種類の多波長領域
画像との行列演算に用いられる係数列が記録された係数
メモリと、前記画像メモリに記録されたＮ種類の多波長
領域画像と、前記係数メモリに記録された係数列との間
で行列演算を行ない、Ｎと等しいかまたはＮより少ない
Ｎ′種類の波長領域の画像を出力する行列演算手段とを
具備する。

【００１１】また、第２の発明に係る撮像装置は、撮像
光学系と、この撮像光学系により結像される物体の光像
をＮ種類の波長領域ごとに透過させるＮ種類の色フィル
タで構成される多色フィルタと、前記撮像光学系と前記
多色フィルタとを介して入射される物体の光像を撮像す
るための撮像手段と、前記多色フィルタにより透過され
たＮ種類の波長領域の物体の光像を前記撮像手段により
撮像して得られたＮ種類の多波長領域画像を記録するた
めの画像メモリと、前記撮像手段における各受光素子に
対して、前記撮像光学系により伝達される物体空間およ
び波長に対する光強度分布を表す感度分布関数と、前記
多色フィルタに設けられたＮ種類の色フィルタの透過率
分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類
の出力画像の各々の波長感度分布とを係数列として記録
した第１の係数メモリと、物体空間座標と波長との関数
として定義される被写体画像の統計的相関情報を係数列
として記録した第２の係数メモリと、前記第１および第
２の係数メモリに記録された係数列から、前記画像メモ
リに記録されたＮ種類の多波長領域画像との行列演算に
用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像
と、前記係数列演算手段により算出された新たな係数列
との間で行列演算を行ない、Ｎ′種類の波長領域の画像
を出力する行列演算手段とを具備する。

【００１２】また、第３の発明に係る撮像装置は、撮像
光学系と、この撮像光学系により結像される物体の光像
をＮ種類の波長領域ごとに透過させるＮ種類の色フィル
タで構成される多色フィルタと、前記撮像光学系と前記
多色フィルタとを介して入射される物体の光像を撮像す
るための撮像手段と、前記多色フィルタにより透過され
たＮ種類の波長領域の物体の光像を前記撮像手段により
撮像して得られたＮ種類の多波長領域画像を記録するた
めの画像メモリと、前記撮像手段における各受光素子に
対して、前記撮像光学系により伝達される物体空間およ
び波長に対する光強度分布を表す感度分布関数と、前記
多色フィルタに設けられたＮ種類の色フィルタの透過率
分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類
の出力画像の各々の波長感度分布と、物体空間座標と波
長との関数として定義される被写体画像の統計的相関情
報とを係数列として記録した第１の係数メモリと、前記
撮像手段のＳ／Ｎを表すパラメータを記録した第２の係
数メモリと、前記第１の係数メモリに記録された係数列
と、前記第２の係数メモリに記録されたパラメータとか
ら、前記画像メモリに記録されたＮ種類の多波長領域画
像との行列演算に用いられる新たな係数列を算出する係
数列演算手段と、前記画像メモリに記録されたＮ種類の
多波長領域画像と、前記係数列演算手段により算出され
た新たな係数列との間で行列演算を行ない、Ｎ′種類の
波長領域の画像を出力する行列演算手段とを具備する。

【００１３】すなわち、第１の発明に係る撮像装置は、
まず、撮像光学系と、この撮像光学系により結像される
物体の光像をＮ種類の波長領域ごとに透過させるＮ種類
の色フィルタで構成される多色フィルタとを介して入射
される物体の光像を撮像手段によって撮像し、この撮像
において得られたＮ種類の多波長領域画像を画像メモリ
に記録する。次に、この画像メモリに記録されたＮ種類
の多波長領域画像と、係数メモリに記録された係数列と
の間で行列演算手段によって行列演算を行ない、Ｎと等
しいかまたはＮより少ないＮ′種類の波長領域の画像を
出力する。

【００１４】また、第２の発明に係る撮像装置は、ま
ず、撮像光学系と、この撮像光学系により結像される物
体の光像をＮ種類の波長領域ごとに透過させるＮ種類の
色フィルタで構成される多色フィルタとを介して入射さ
れる物体の光像を撮像手段によって撮像し、この撮像に
おいて得られたＮ種類の多波長領域画像を画像メモリに
記録する。そして、第１の係数メモリに記録され、前記
撮像手段における各受光素子に対して、前記撮像光学系
により伝達される物体空間および波長に対する光強度分
布を表す感度分布関数と、前記多色フィルタに設けられ
たＮ種類の色フィルタの透過率分布特性と、Ｎと等しい
かまたはＮより少ないＮ′種類の出力画像の各々の波長
感度分布とからなる係数列と、第２の係数メモリに記録
され、物体空間座標と波長との関数として定義される被
写体画像の統計的相関情報からなる係数列とから、前記
画像メモリに記録されたＮ種類の多波長領域画像との行
列演算に用いられる新たな係数列を係数列演算手段によ
って算出し、前記画像メモリに記録されたＮ種類の多波
長領域画像と、前記係数列演算手段により算出された新
たな係数列との間で行列演算手段によって行列演算を行
ない、Ｎ′種類の波長領域の画像を出力する。

【００１５】また、第３の発明に係る撮像装置は、ま
ず、撮像光学系と、この撮像光学系により結像される物
体の光像をＮ種類の波長領域ごとに透過させるＮ種類の
色フィルタで構成される多色フィルタとを介して入射さ
れる物体の光像を撮像手段によって撮像し、この撮像に
おいて得られたＮ種類の多波長領域画像を画像メモリに
記録する。そして、第１の係数メモリに記録され、前記
撮像手段における各受光素子に対して、前記撮像光学系
により伝達される物体空間および波長に対する光強度分
布を表す感度分布関数と、前記多色フィルタに設けられ
たＮ種類の色フィルタの透過率分布特性と、Ｎと等しい
かまたはＮより少ないＮ′種類の出力画像の各々の波長
感度分布とからなる係数列と、第２の係数メモリに記録
され、撮像手段のＳ／Ｎを表すパラメータとから、前記
画像メモリに記録されたＮ種類の多波長領域画像との行
列演算に用いられる新たな係数列を係数列演算手段によ
って算出し、前記画像メモリに記録されたＮ種類の多波
長領域画像と、前記係数列演算手段により算出された新
たな係数列との間で行列演算手段によって行列演算を行
ない、Ｎ′種類の波長領域の画像を出力する。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。

【００１７】まず、本発明の第１実施形態を説明する。
本発明の第１実施形態は、多波長バンド画像（多波長領
域画像）を入力し、それらを用いてＲＧＢカラー画像を
復元する撮像装置に関するものである。図１に本発明の
第１実施形態の構成を示す。構成は大きく、カメラ１０
０、画像処理プロセッサ２００、ＴＶモニタ３００とに
分けられる。カメラ１００内にはレンズ１０１で構成さ
れる光学結像系（撮像光学系）が設けられており、この
レンズ１０１を介して被写体の光像が撮像手段としての
ＣＣＤ撮像素子１０２の受光面上に結像される。なお、
ＣＣＤ撮像素子１０２の代わりにＭＯＳやＣＭＤといっ
た他の方式による撮像素子を用いてもよい。

【００１８】レンズ１０１とＣＣＤ撮像素子１０２との
間には回転色フィルタ（多色フィルタ）１０３が設けら
れている。回転色フィルタ１０３は図２に示すように、
Ｎ枚の色フィルタ１０３−１〜Ｎが回転方向に並べられ
た断面構造をしており、モータ１０４により所定の色フ
ィルタが選択されて光学結像系の光路内に設置されてい
る。各色フィルタ１０３−１〜Ｎは図３に示すように、
可視光の波長範囲内で所定の波長バンドに透過率分布特
性を有する。

【００１９】このような構成により撮像された各色フィ
ルタ１０３−１〜Ｎに対応する波長バンド画像は画像処
理プロセッサ２００内のＡ／Ｄ変換器２０１によりディ
ジタル変換され、Ｎ枚の画像メモリ２０２−１〜Ｎの内
の所定の１枚に記録される。以上の動作はカメラ１００
において回転色フィルタ１０３が回転制御され色フィル
タ１０３−１〜Ｎの内の１枚が次々と選択されることに
より繰り返され、計Ｎ枚の波長バンド画像が画像メモリ
２０２−１〜Ｎに記録される。

【００２０】なお画像処理プロセッサ２００内には回転
色フィルタドライバ２０３が設けられており、カメラ１
００内のモータ１０４の動作制御を行なう。

【００２１】次に画像メモリ２０２−１〜Ｎに記録され
た各波長バンド画像、および係数メモリとしてのＲＯＭ
２０５に記録されている係数列が行列演算器２０４に入
力されて、所定の行列演算、つまり積和演算が実行され
て結果は画像メモリ２０６−１〜３の内の１枚に記録さ
れる。ここで、画像メモリ２０６−１〜３は各々カラー
画像を構成するＲ，Ｇ，Ｂ画像を記録するのに用いられ
る。つまりＲ画像を構成する場合はＲＯＭ２０５に記録
されているデータの内、Ｒ画像用の係数列が読み出され
て所定の行列演算が行なわれ、結果は画像メモリ２０６
−１に記録される。同様の動作がＧ，Ｂ画像についても
繰り返し行なわれる。

【００２２】このようにして画像メモリ２０６−１〜３
に記録されたカラー画像はＤ／Ａ変換器２０７により所
定のアナログビデオ信号に変換されてＴＶモニタ３００
に表示される。以上の構成における動作制御は画像処理
プロセッサ２００内のＣＰＵ２１０により行なわれる。

【００２３】上記した第１実施形態ではカメラ１００と
画像処理プロセッサ２００とをオンラインで接続する構
成を示したが、オフラインの構成でも良い。つまり、カ
メラ１００内のＣＣＤ撮像素子１０２からの出力画像デ
ータをアナログ信号としてあるいはディジタル変換して
から半導体メモリカード、フロッピーディスク、光メモ
リカードなどの媒体に記録する構成を設け、画像処理プ
ロセッサ２００内にはそれら記録媒体から画像信号を読
み取るリーダー装置を設けることにより同様の処理を実
現するように構成してもよい。そのような場合、使用者
はカメラだけを持って撮影場所にでかけることができる
などオフラインシステムの利点を生かすことができる。

【００２４】以下に、上記した構成を有する第１実施形
態の作用を説明する。第１実施形態では可視光範囲に渡
って透過特性が設定されたＮ枚の色フィルタ１０３−１
〜Ｎを用いて入力されたＮ枚の多波長バンド画像を用い
てＲＧＢカラー画像を復元する作用を有する。その際
に、以下に述べるような連続−離散系モデルに基づく一
般化逆行列的手法により、光学結像系の収差による周辺
部の歪みや色収差の影響による波長ごとの結像特性の違
いを最適に補正し、正確な画像を復元する。加えてＮ枚
（Ｎ＞３）の多波長バンド画像からＲＧＢ画像を求める
ことにより、正確な色再現性を実現する作用を有する。

【００２５】つまり、以下の解析によれば画像入力系が
一般的な連続−離散系モデルに基づいて扱われるため、
従来の標本化定理に基づく解析が要求するような帯域／
領域制限や伝達特性の位置不変性の条件を必要とせず、
適用範囲が広く正確な解析が可能である。従って光学結
像系の収差の影響により位置によって伝達特性が変化す
るような画像入力系に対しても正確な画像復元ができ
る。しかも細かく設定された多波長バンドの各々に対す
る光学結像特性を考慮しながらカラー画像を復元するこ
とにより色収差の影響を波長単位で補正することが可能
で、Ｒ，Ｇ，Ｂ画像が各々正確に復元されることから結
果的に色再現性に優れたカラー画像が得られる。

【００２６】画像復元処理は画像メモリ２０２−１〜Ｎ
に記録された多波長バンド画像とＲＯＭ２０５に記録さ
れている係数列とを用いて行列演算器２０４において行
なわれる積和演算により実現されるが、以下に具体的な
演算処理の内容を説明する。まず、光学結像系を利用し
た画像入力系が連続系で定義される物体空間と離散系で
定義される撮像部とを関係付けた連続−離散系モデルで
定義する。ＣＣＤ撮像素子１０２を構成するＭ個の受光
エレメントの内の１つ（ｉ番目；ｉ＝１，…，Ｍ）に着
目し、Ｎ枚の波長バンドフィルタの内の１枚（ｊ番目；
ｊ＝１，…，Ｎ）を通過して結像された光像が受光され
る系を考え、これを次のように定式化する。

【００２７】

【数１】

【００２８】ただし、ｇ_i ^j ：ｊ番目の波長バンドパス
フィルタを用いて入力されたｉ番目の受光エレメントの
観測値、ｔ^j （λ）：ｊ番目の波長バンドパスフィルタ
の透過率分布特性、ｈ_i （ｒ，λ）：ｉ番目の受光エレ
メントにおける物体空間ｒおよび波長λの両方に対して
定義される感度分布関数、ｆ（ｒ，λ）：被写体を表す
物体空間ｒおよび波長λの両方に対して定義される原画
像関数である。

【００２９】なお、感度分布関数ｈ_i （ｒ，λ）は、前
記した特開平６−９８１７０号公報および特開平７−１
６０８４７号公報に開示されている感度分布関数を拡張
して定義したもので、撮像素子のｉ番目の受光エレメン
トにおける物体空間および光の波長に対する光強度の感
度分布を表す関数である。感度分布関数ｈ_i （ｒ，λ）
は特開平６−９８１７０号公報の図１に示すような構成
によって実際に計測しても良いし、光学結像系の解析に
基づいて計算により求めても良い。

【００３０】（１）式の定義において原画像ｆ（ｒ，
λ）は連続系で定義され、観測値ｇ_i ^j は離散値で定義
される。そして両者を関係付けるために波長バンドフィ
ルタの透過率分布特性ｔ^j （λ）および感度分布関数ｈ
_i （ｒ，λ）が定義される。一方、原画像ｆ（ｒ，λ）
をＲＧＢカラー画像に変換する過程は次式で表される。

【００３１】

【数２】

【００３２】ただし、ｆ^k （ｒ）：ｋ番目の原色画像
（ｋ＝Ｒ，Ｇ，Ｂ）、ｓ^k （λ）：ｋ番目の色の等色関
数で、図４に示すような波長特性を有する。また現実の
装置でカラー画像を表示するためには連続系で定義され
る原色画像ｆ^k （ｒ）を再サンプリングする必要がある
ので、その過程を次式で定義する。

【００３３】

【数３】 ただし、ｆ_i ^k ：ｋ番目の原色画像のｉ番目の画素値、
ｐ_i （ｒ）：ｉ番目の画素値を求めるためのサンプリン
グ関数である。（１）式で表される画像入力系により入
力された複数の波長バンド画像から（２）式で表される
各原色画像を推定する過程を、前記した特開平６−９８
１７０号公報および特開平７−１６０８４７号公報に開
示されているような連続−離散系モデルに対して一般的
に拡張定義された擬似逆行列の考え方に従って定式化す
ると、以下のように表される。なお、繁雑さを避けるた
め、以下の説明では途中の導出に関する記述を省略し、
最終的な結果のみを示す。

【００３４】

【数４】

【００３５】

【数５】

【００３６】（６）式において、連続−離散変換線形オ
ペレータ｛ｈ（ｒ，λ）｝は次式に示すように受光エレ
メント数と等しいＭ個の感度分布関数ｈ_i （ｒ，λ）を
列方向に並べて構成されるオペレータである。

【００３７】

【数６】

【００３８】結局、オペレータ｛ａ^k （ｒ）｝^t は行方
向にＮ×Ｍ個の関数を並べて構成される。一方、行列Ｂ
^a は行列Ｂの擬似逆行列であるが、行列Ｂは次のように
Ｎ×Ｎ個のブロック行列Ｂ_mn（ｍ，ｎ＝１，２，…，
Ｎ）で構成される。

【００３９】

【数７】

【００４０】（４）式に従って求められる連続空間で定
義される推定原色画像は、次に（３）式に基づいて離散
値に変換される。そこで離散原色画像をベクトルｆ^k ＝
［ｆ₁ ^k ｆ₂ ^k …ｆ_M' ^k ］^t で定義すると、観測ベク
トルｇからベクトルｆ^kを推定する過程は（１０）式に
まとめられる。なお、Ｍ′は離散原色画像の画素数であ
り、実用的には受光エレメント数Ｍとほぼ同等に決めれ
ば良い。

【００４１】

【数８】

【００４２】また、（１０）式において行列Ａ^k はオペ
レータ｛ｐ（ｒ）｝とオペレータ｛ａ^k （ｒ）｝^t とを
線形演算することにより改めて定義されるＭ′×ＭＮ行
列であり、行列Ｃ^k は行列Ａ^k と行列Ｂ^a との行列積を
計算することにより定義されるＭ′×ＭＮ行列である。
つまり、ＲＯＭ２０５に予め記録される係数列は（１
１）式で表される行列Ｃ^k の各要素であれば良く、ｋ＝
Ｒ，Ｇ，Ｂの各々について定義されるそれらの係数列を
全て記録しておけば良いことになる。

【００４３】上記した第１実施形態によれば、多波長バ
ンド光学結像を用いた連続−離散画像入力系の定義に基
づいた復元処理を行なうことにより正確なカラー画像が
復元可能であるため、レンズなどの光学結像系を簡便に
設計することができ、小型軽量のカメラを用いながら解
像度や色再現性に優れたカラー画像を得ることができ
る。

【００４４】以下に本発明の第２実施形態を説明する。
本発明の第２実施形態は、あらかじめ予測される被写体
の統計的自己相関情報が記録されたカードを用いて、よ
り高性能なカラー画像を復元する方法に関する。図５に
第２実施形態における画像処理プロセッサ４００の構成
を示す。なおその他のカメラとＴＶモニタは第１実施形
態におけるカメラ１００およびＴＶモニタ３００と同様
なので、図示および説明は省略する。

【００４５】図５において、Ａ／Ｄ変換器４０１、画像
メモリ４０２−１〜Ｎ、回転色フィルタドライバ４０
３、行列演算器４０４、画像メモリ４０６−１〜３、Ｄ
／Ａ変換器４０７、ＣＰＵ４１０は、それぞれ図１にお
けるＡ／Ｄ変換器２０１、画像メモリ２０２−１〜Ｎ、
回転色フィルタドライバ２０３、行列演算器２０４、画
像メモリ２０６−１〜３、Ｄ／Ａ変換器２０７、ＣＰＵ
２１０と同様である。なお、図５では繁雑さを避けるた
めＣＰＵ４１０と他の構成要素との結線を省略してあ
る。

【００４６】第２実施形態では、これらの他に目的や用
途に応じて着脱可能なカード４２０とカードリーダー４
２１が用意される。第２の係数メモリとしてのカード４
２０には半導体ＩＣ、光メモリなどの記録媒体が内蔵さ
れており、対象とする被写体の自己相関行列に関する情
報（統計的相関情報）が記録されている。この自己相関
行列の係数値は、第１の係数メモリとしてのＲＯＭ４２
２内に記録されている係数値と共に係数列演算手段とし
ての行列演算器４２３に送られることにより所定の行列
演算が行なわれ、算出された２種類の新たな係数値が係
数メモリ４２４−１〜２に記録される。

【００４７】行列演算手段としての行列演算器４０４で
は、画像メモリ４０２−１〜Ｎに記録されている多波長
バンド画像と係数メモリ４２４−１〜２に記録されてい
る係数値との間で所定の行列演算が行われ、復元された
ＲＧＢカラー画像が画像メモリ４０６−１〜３に記録さ
れる。

【００４８】以下に、上記した構成を有する第２実施形
態の作用を説明する。第２実施形態は、以下に説明する
ように最小二乗規範に基づいて連続−離散系画像入力モ
デルを再定式化することにより被写体の原画像に対して
最も誤差の少ない画像を推定復元する方法に関する。そ
れには先験的に予測される原画像の統計的自己相関情報
が必要となるため、図５の装置は被写体の種類、例えば
人物、風景、医療、建造物画像などに応じて適当な自己
相関情報が記録されたカード４２０を選択できるように
構成される。

【００４９】このような方法は、色収差の影響のため波
長により結像状態が異なるような場合においても、波長
バンド画像間の相関を利用して復元されるカラー画像の
解像度や色再現性を向上させる作用を有する。例えば色
収差の影響の大きい光学結像系では、緑の波長領域に対
して最も焦点の合った状態で結像される際には赤や青の
波長領域は焦点はずれの状態となる。従って各波長バン
ド画像ごとに復元を行なおうとすると、緑の画像に比べ
赤や青の画像はぼけを回復しきれないため、結果的に復
元されるカラー画像は色バンド画像間で解像度のバラン
スが悪く色再現性に劣ったものになってしまう。ところ
が第２実施形態の方法によれば、焦点の合った状態で入
力できる緑の画像と赤あるいは青の画像との相関情報を
活用することにより赤や青の画像における結像特性の劣
化を補正し、緑と同等な画質にまで復元する作用が有
る。

【００５０】以下に最小二乗規範に基づいた画像入力系
の再定式化を行ない、カード４２０に記録される自己相
関情報の内容と具体的な計算方法について示す。なお、
以下の説明では離散−連続変換オペレータによる偏微分
などの計算式が現れるが、全ての関係式は線形であり行
列とベクトルで構成される離散系における定義を拡張す
ることにより定義される。つまり、連続系は要素数が無
限個の離散系であると考えて扱えば良い。

【００５１】

【数９】

【００５２】ただし、オペレータＥ［・］は集合平均を
表す。平均二乗誤差ｅ^k を最小にするためのオペレータ
｛ｍ^k （ｒ）｝^t は（１８）式を｛ｍ^k （ｒ）｝で偏微
分した値が０になるような次の方程式により求められ
る。

【００５３】

【数１０】

【００５４】（１４）式を解くことにより最終的に得ら
れるオペレータ｛ｍ^k （ｒ）｝^t は次式のように表され
る。

【００５５】

【数１１】

【００５６】ただし、離散−連続変換オペレータ｛ｄ^k
（ｒ）｝^t は以下のように定義される。

【００５７】

【数１２】

【００５８】ただし、ｊ番目の要素関数［ｄ^k （ｒ）］
^j は次式で定義される。

【００５９】

【数１３】

【００６０】ここで、Ｒ_ff（ｒ，λ：ｒ′，λ′）は原
画像ｆ（ｒ，λ）の自己相関関数であり、次式で定義さ
れる。

【００６１】 Ｒ_ff（ｒ，λ：ｒ′，λ′）＝Ｅ［ｆ（ｒ，λ）ｆ（ｒ′，λ′）］ （18） （１６），（１７）式を（５），（６）式と比較する
と、最小二乗規範を導入した第２実施形態において定義
されるオペレータ｛ｄ^k （ｒ）｝^t の各要素関数［ｄ^k
（ｒ）］^j は、第１実施形態で定義されたオペレータ
｛ａ^k （ｒ）｝^t における各要素関数［ａ^k （ｒ）］^j
の積分項に原画像ｆ（ｒ，λ）の自己相関関数Ｒ
_ff（ｒ，λ：ｒ′，λ′）を挿入させたものであること
が分かる。

【００６２】一方、（１５）式における行列Ｑ^a は次の
ように定義される行列Ｑの擬似逆行列である。

【００６３】

【数１４】

【００６４】（１９），（２０）式を（８），（９）式
と比較すると、第２実施形態において定義される行列Ｑ
の各ブロック行列Ｑ_mnは、第１実施形態で定義された行
列Ｂの各ブロック行列Ｂ_mnにおける積分項に原画像ｆ
（ｒ，λ）の自己相関関数Ｒ_ff（ｒ，λ：ｒ′，λ′）
を挿入したものであることが分かる。最後に（１２）式
に従って求められる連続空間で定義される推定原色画像
は（３）式に基づいて離散変換されるが、

【数１５】

【００６５】ただし、（２１）式において行列Ｄ^k はオ
ペレータ｛ｐ（ｒ）｝とオペレータ｛ｄ^k （ｒ）｝^t と
を線形演算することにより改めて定義されるＭ′×ＭＮ
行列である。つまり、カード４２０には対象とする被写
体の性質に最も近いと予測される自己相関Ｒ_ff（ｒ，
λ：ｒ′，λ′）を記録しておけば良く、ＲＯＭ４２２
には各波長バンドパスフィルタの透過率分布特性ｔ
^j （λ）、物体空間ｒおよび波長λの両方に対して定義
される感度分布関数ｈ_i （ｒ，λ）、ｋ番目の色の等色
関数ｓ^k （λ）、サンプリング関数ｐ_i （ｒ）を記録し
ておけば良い。なお、実際の装置では自己相関Ｒ
_ff（ｒ，λ；ｒ′，λ′）などの連続関数や感度分布関
数ｈ_i （ｒ，λ）のような離散系と連続系を変換するオ
ペレータを厳密に記録することは困難であるが、離散系
のサンプリング数（ＭやＭ′）に比べて多いサンプリン
グ数になるように細かくピッチを設定した擬似的な連続
空間を定義すれば実用上問題はなく、本発明の主旨に沿
った処理が実現できる。

【００６６】カード４２０およびＲＯＭ４２２に記録さ
れているデータは行列演算器４２３において（２１）式
で定義された行列Ｄ^k ，Ｑ^a を算出するのに利用され、
結果はそれぞれ係数メモリ４２４−１，２に記録され
る。そして行列演算器４０４では画像メモリ４０２−１
〜Ｎに記録されている各波長バンド画像と係数メモリ４
２４−１〜２に記録された行列係数との間で（２１）式
に従った計算が行なわれ、ＲＧＢ原色画像が復元され
る。

【００６７】なお、第２実施形態ではカード４２０に画
像の自己相関情報を記録するように構成したが、画像入
力系の条件があらかじめ固定されるような場合に対して
は最終的に必要となる行列Ｄ^k ，Ｑ^a の係数をカード４
２０に記録しても良い。その場合、ＲＯＭ４２２、行列
演算器４２３および係数メモリ４２４−１〜２が省略さ
れ、構成が簡便になる。また、特定の被写体を対象とす
る場合や広い被写体の種類に対して共通に設定可能な自
己相関関数が定義される場合には、第１実施形態と同様
に、最終的に算出される行列Ｄ^k Ｑ^a の要素を１個のＲ
ＯＭに記録するように構成しても良い。

【００６８】上記した第２実施形態によれば、色収差な
どの影響による原色画像間の解像度のムラを補正できる
ため、レンズなどの光学結像系を簡便にしながらも、よ
り解像度や色再現に優れたカラー画像を得ることができ
る。また適当な自己相関情報が記録されたカードを選択
できることから、被写体の種類に対して適応的に復元画
像の画質を向上させることができる。

【００６９】以下に、本発明の第３実施形態を説明す
る。本発明の第３実施形態は、モザイク色フィルタが装
着された単板カラーカメラを用いて入力された画像から
ＲＧＢカラー画像を復元する方法に関する。図６に第３
実施形態におけるカメラ５００と画像処理プロセッサ６
００の構成を示す。カメラ５００内にはレンズ５０１で
構成される光学結像系が設けられており、このレンズ５
０１を介して被写体の光像がＣＣＤ撮像素子５０２の受
光面上に結像される。ＣＣＤ撮像素子５０２は単板型の
カラー撮像素子であり、その撮像面上にモザイク色フィ
ルタ５０５が装着されている。モザイク色フィルタ５０
５は、例えば図７に示すような緑市松Ｒ／Ｂ線順次方式
あるいはベイヤー方式と呼ばれる色配置に従って色フィ
ルタが設けられており、ＣＣＤ撮像素子５０２では画素
順次方式によりカラー画像が撮像される。

【００７０】ＣＣＤ撮像素子５０２からの出力画像信号
は画像処理プロセッサ６００内のＡ／Ｄ変換器６０１に
よりディジタル変換され、画像メモリ６０２に記録され
る。次に画像メモリ６０２に記録されたディジタル画像
信号はＲＯＭ６０５に記憶されている係数列と共に行列
演算器６０４に送られ、所定の行列演算が行なわれるこ
とによりＲＧＢカラー画像が復元され、その各原色画像
は画像メモリ６０６−１〜３にそれぞれ記録される。画
像メモリ６０６−１〜３に記録されたＲＧＢ画像はＤ／
Ａ変換器６０７により適当なアナログビデオ信号に変換
され、図示しないＴＶモニタに表示される。

【００７１】以下に、上記した構成を有する第３実施形
態の作用を説明する。第３実施形態は、単板カラー方式
のカメラ５００で入力されたＲ，Ｇ，Ｂの３バンド波長
領域の画像から、第１あるいは第２実施形態に示したよ
うな連続−離散系モデルに基づく画像復元の原理に従っ
て解像度や色再現性に優れたカラー画像を得る作用を有
する。モザイク色フィルタ５０５を介して入力された画
素順次方式のカラー画像は、欠落画素を有する原色画像
の集まりであると考えられる。つまり、図７に示すよう
なモザイク色配置によれば、例えばＲ画像に着目すると
Ｇ，Ｂのフィルタが配置されている画素は欠落画素であ
ると考えられる。第３実施形態はそのような欠落画素を
含む原色画像から欠落の無い完全な原色画像を復元する
作用を有する。復元処理はＲ，Ｇ，Ｂの３色バンド領域
における連続−離散系画像入力モデルに基づいて定義さ
れるが、結局は第１，２実施形態と同様に行列演算によ
り実現される。

【００７２】以下に第２実施形態と同様な最小二乗規範
に基づいた具体的な計算方法について示す。まずＣＣＤ
撮像素子５０２を構成するＭ個の受光エレメントの内の
１つ（ｉ番目；ｉ＝１，…，Ｍ）に着目し、Ｒ，Ｇ，Ｂ
の色バンドの内の１つ（ｊ番目；ｊ＝Ｒ，Ｇ，Ｂ）で離
散値ｇ_i ^j が観測される画像入力系を次のように定式化
する。

【００７３】

【数１６】

【００７４】ただし、ｈ_i ^j （ｒ）：ｉ番目の受光エレ
メントのｊ番目の色バンド領域において物体空間ｒに対
して定義される感度分布関数、ｆ^j （ｒ）：ｊ番目の色
バンド領域における原画像関数である。また、Ｒ，Ｇ，
Ｂ各画素数をそれぞれＭ_R ，Ｍ_G ，Ｍ_B とするとＭ_R ＋
Ｍ_G ＋Ｍ_B ＝Ｍである。

【００７５】

【数１７】

【００７６】

【数１８】

【００７７】（２５）式を解くことにより最終的に得ら
れるオペレータ｛ｎ^k （ｒ）｝^t は次式のように表され
る。

【００７８】

【数１９】

【００７９】ただし、離散−連続変換オペレータ｛ｕ^k
（ｒ）｝^t は以下のように定義される。

【００８０】

【数２０】

【００８１】（２７）式におけるｊ番目の要素関数［ｕ
^k （ｒ）］^j は次式で定義される。

【００８２】

【数２１】

【００８３】ただし、Ｒ_kj（ｒ；ｒ′）は原画像ｆ
^k （ｒ）と原画像ｆ^j （ｒ′）の相互相関関数であり、
次式で表される。

【００８４】

【数２２】

【００８５】また、（２８）式における連続−離散変換
オペレータ｛ｈ^j （ｒ）｝は次式に表されるように、ｊ
番目の色のフィルタが装着されたＭ_i 個の各画素に対す
る感度分布関数を列方向に並べることにより定義され
る。

【００８６】

【数２３】

【００８７】一方、（２６）式における行列Ｖ^a は次の
ように定義される行列Ｖの擬似逆行列である。

【００８８】

【数２４】

【００８９】ただし、ブロック行列Ｖ_kjは次式で定義さ
れ、各々Ｍ_k ×Ｍ_j 個の要素を持つ。

【数２５】

【００９０】最後に（２３）式に従って求められる連続
空間で定義される推定原色画像は（３）式に基づいて離
散変換されるが、

【数２６】

【００９１】ただし、（３３）式において行列Ｕ^k はオ
ペレータ｛ｐ（ｒ）｝とオペレータ｛ｕ^k （ｒ）｝^t と
を線形演算することにより改めて定義されるＭ′×Ｍ行
列である。また、行列Ｘ^k は行列Ｕ^k と行列Ｖ^a との行
列積を計算することにより改めて定義されるＭ′×Ｍ行
列である。

【００９２】

【数２７】

【００９３】なお、第３実施形態においても前記した第
２実施形態のように、原色画像間の相関情報を記録した
カードを脱着可能にすることにより、被写体に対して適
応的に復元処理を行なわせることができる。また、第３
実施形態は、第２実施形態のみならず、前記した第１実
施形態、さらには以下に述べる第４、第５実施形態に適
用することも可能である。

【００９４】上記した第３実施形態によれば、単板カメ
ラを用いながら解像度や色再現性に優れたカラー画像を
得ることができるため、コンパクトでしかも画像入力時
間の短い実用上有用なカラー画像撮像装置を提供するこ
とができる。

【００９５】以下に、本発明の第４実施形態を説明す
る。本発明の第４実施形態は、撮像素子のＳ／Ｎに関す
るデータをあらかじめカメラ内のメモリに記録してお
き、そのデータに基づいて適応的にノイズが抑制された
カラー画像を復元する方法に関する。図８に第４実施形
態におけるカメラ７００と画像処理プロセッサ８００の
構成を示す。カメラ７００において、レンズ７０１、Ｃ
ＣＤ撮像素子７０２、回転色フィルタ７０３、モータ７
０４はそれぞれ第１実施形態のカメラ１００におけるレ
ンズ１０１、ＣＣＤ撮像素子１０２、回転色フィルタ１
０３、モータ１０４と同様である。カメラ７００にはそ
れらの他に撮像素子７０２のＳ／Ｎに関するデータが記
録された第２の係数メモリとしてのＲＯＭ７０６が内蔵
されている。

【００９６】また画像処理プロセッサ８００において、
Ａ／Ｄ変換器８０１、画像メモリ８０２−１〜Ｎ、回転
色フィルタドライバ８０３、行列演算器８０４、画像メ
モリ８０６−１〜３、Ｄ／Ａ変換器８０７、ＣＰＵ８１
０は、それぞれ第１実施形態の画像処理プロセッサ２０
０におけるＡ／Ｄ変換器２０１、画像メモリ２０２−１
〜Ｎ、回転色フィルタドライバ２０３、行列演算器２０
４、画像メモリ２０６−１〜３、Ｄ／Ａ変換器２０７、
ＣＰＵ２１０と同様である。

【００９７】画像処理プロセッサ８００にはさらに第１
の係数メモリとしてのＲＯＭ８３０が内蔵され、このＲ
ＯＭ８３０に記録されている係数列はカメラ７００内の
ＲＯＭ７０６から送られてきたデータと共に係数列演算
手段としての行列演算器８３１に送られ、所定の行列演
算が行なわれて算出された係数列は係数メモリ８３２−
１、２に記録される。そして、これらの係数列と画像メ
モリ８０２−１〜Ｎに記録されている多波長バンド画像
との間で行列演算が行なわれることによりＲＧＢ原色画
像が復元され、結果は画像メモリ８０６−１〜３に記録
される。

【００９８】以下に上記した構成を有する第４実施形態
の作用を説明する。第４実施形態は、ＣＣＤ撮像素子７
０２の熱雑音などにより入力画像に混入するノイズの影
響を抑制しながらカラー画像を復元する作用を有する。
カメラ７００内にカメラ７００のＳ／Ｎ特性を示すパラ
メータを記録したＲＯＭ７０６を設けることにより、カ
メラ７００に対して適応的なノイズ抑制効果をもたら
す。

【００９９】以下に、Ｓ／Ｎを考慮したカラー画像の復
元処理について説明する。加法的離散ノイズの加わった
観測ベクトルｇ′は次式で表される。

【０１００】 ｇ′＝ｇ＋ｎ （34） ただし、ｇ：ノイズの加わっていない観測ベクトル、
ｎ：ノイズベクトルである。この観測ベクトルｇ′から
連続空間で定義される原色画像を推定する過程は、第２
実施形態と同様な最小二乗規範に従った解析により、以
下の（３５）式のように導出される。ただし、式の導出
において原画像とノイズには相関が無いと仮定した。

【０１０１】

【数２８】

【０１０２】（３５）式において離散−連続変換オペレ
ータ｛ｄ^k （ｒ）｝^t は（１６）式に定義されたオペレ
ータと同様であり、行列Ｑは（１９），（２０）式と同
様に定義される。また行列Ｎはノイズの自己相関行列で
あり、ＣＣＤ撮像素子７０２の各受光エレメントに生じ
るノイズ同士は無相関で、発生確率は各受光エレメント
間で等しいとすると次式で表すことができる。

【０１０３】

【数２９】

【０１０４】ただし、α：ノイズの分散を表す定数パラ
メータ、Ｉ：ＭＮ×ＭＮの単位行列である。以上の解析
により、

【数３０】

【０１０５】ただし、行列Ｄ^k は（２１）式に定義した
行列Ｄ^k と同様であり、行列Ｑは（１９），（２０）式
に定義される行列Ｑと同様である。ＲＯＭ８３０内には
感度分布関数ｈ_i （ｒ，λ），（ｉ＝１，…，Ｍ）と、
波長バンドパスフィルタの透過率分布特性ｔ^j （λ），
（ｊ＝１，…，Ｎ）と、原色画像の等色関数ｓ
^k （λ），（ｋ＝Ｒ，Ｇ，Ｂ）および原画像ｆ（ｒ，
λ）の自己相関関数Ｒ_ff（ｒ，λ；ｒ′，λ′）が記録
される。またカメラ７００内のＲＯＭ７０６にはパラメ
ータαが記録される。ＲＯＭ８３０，７０６に記録され
ているこれらのデータが行列演算器８３１に入力される
ことにより行列Ｄ^k および（Ｑ＋αＩ）^a が算出され、
その要素がそれぞれ係数メモリ８３２−１，２に記録さ
れる。行列演算器８０４では、ＲＯＭ８３２−１，２内
に記録されている行列Ｄ^k と（Ｑ＋αＩ）^a を用いて画
像メモリ８０２−１〜Ｎに記録されている各波長バンド
画像との間で（３７）式に基づく原色画像の復元処理が
行なわれる。

【０１０６】上記した第４実施形態によれば、入力画像
に混入するノイズの影響が抑制された明瞭なカラー画像
を出力することができる。またカメラ自体にカメラの性
能に依存したＳ／Ｎパラメータを保持させるので、カメ
ラを画像処理プロセッサに対して着脱可能な構成とした
場合は、使用するカメラに適応させた最適なノイズ抑制
処理が実現できる。

【０１０７】以下に、本発明の第５実施形態を説明す
る。本発明の第５実施形態は、光学結像系の色収差を利
用して波長ごとに異なる物体面に焦点の合った多波長バ
ンド画像を入力し、それらを用いて任意の物体面に焦点
の合ったカラー画像を復元する方法に関する。

【０１０８】図９に第５実施形態におけるカメラ９００
と画像処理プロセッサ１０００の構成を示す。カメラ９
００において、レンズ９０１、ＣＣＤ撮像素子９０２、
回転色フィルタ９０３、モータ９０４はそれぞれ第１実
施形態のカメラ１００におけるレンズ１０１、ＣＣＤ撮
像素子１０２、回転色フィルタ１０３、モータ１０４と
同様である。ただし、第５実施形態のレンズ９０１は色
収差が大きく、光学結像系は波長に応じて合焦範囲に広
がりがあるとする。また画像処理プロセッサ１０００に
おいて、Ａ／Ｄ変換器１００１、画像メモリ１００２−
１〜Ｎ、回転色フィルタドライバ１００３、行列演算器
１００４、画像メモリ１００６−１〜３、Ｄ／Ａ変換器
１００７、ＣＰＵ１０１０は、それぞれ第１実施形態の
画像処理プロセッサ２００におけるＡ／Ｄ変換器２０
１、画像メモリ２０２−１〜Ｎ、回転色フィルタドライ
バ２０３、行列演算器２０４、画像メモリ２０６−１〜
３、Ｄ／Ａ変換器２０７、ＣＰＵ２１０と同様である。

【０１０９】画像処理プロセッサ１０００にはさらにＲ
ＯＭ１０４０が内蔵され、複数の被写体の種類に対応し
た自己相関情報が記録されている。またＲＯＭ１０４１
には複数の物体面の位置に対応した感度分布関数が記録
されている。これらのＲＯＭ１０４０，１０４１に記録
されている複数の係数列の内の１つが選択されて行列演
算器１０４３に入力されるが、どの係数列を選択するか
はユーザインターフェース１０５０によりユーザから指
定された条件に基づいてＣＰＵ１０１０からＲＯＭ１０
４０，１０４１に送られる読み出しアドレス信号により
制御される。

【０１１０】また、ＲＯＭ１０４２には３次元物体空間
に対する感度分布関数、回転色フィルタ９０３に設けら
れているＮ枚の色バンドフィルタの透過率分布特性およ
びＲＧＢ等色関数が記録されており、それらの係数列は
行列演算器１０４３に入力される。行列演算器１０４３
ではＲＯＭ１０４０，１０４１，１０４２から送られて
きた係数列を用いて所定の行列演算が行なわれ、算出さ
れた２種類の新たな係数値が係数メモリ１０４４−１〜
２に記録される。行列演算器１００４では、画像メモリ
１００２−１〜Ｎに記録されている多波長バンド画像と
係数メモリ１０４４−１〜２に記録されている係数値と
の間で所定の行列演算が行なわれ、復元されたＲＧＢカ
ラー画像が画像メモリ１００６−１〜３に記録される。

【０１１１】以下に上記した構成を有する第５実施形態
の作用を説明する。第５実施形態は、色収差の大きい光
学結像系を用いた場合は波長ごとに異なる物体面に焦点
が合うことを利用して、レンズの位置を固定させながら
波長と焦点位置とが共に異なる複数の画像を入力する。
それらを用いて、全入力画像に対応した合焦範囲内にお
ける任意の物体面の位置に焦点の合ったカラー画像を復
元する作用を有する。そのような処理を実現させるため
に、以下に説明するような３次元物体空間に対する多波
長バンドの連続−離散系モデルに基づき、各波長バンド
画像間の相関を利用したカラー画像復元法を用いる。

【０１１２】以下に具体的な計算方法について示す。ま
ず（１）式と同様に３次元物体空間に対する連続−離散
画像入力系を次式で定義する。

【０１１３】

【数３１】

【０１１４】上式において、空間座標Ｒ＝（ｘ，ｙ，
ｚ）を３次元物体空間を表す直交座標系とし、感度分布
関数ｈ_i （Ｒ，λ）と原画像ｆ（Ｒ，λ）とを３次元物
体空間に対して再定義する。ただし、ｚを光学結像系の
光軸と平行な軸に定義する。

【０１１５】

【数３２】

【０１１６】ただし、離散−連続変換オペレータ｛ｗ^k
（ｒ，ｚ₀ ）｝^t は以下のように定義される。

【０１１７】

【数３３】

【０１１８】ただし、ｊ番目の要素関数［ｗ^k （ｒ，ｚ
₀ ）］^j は次式で定義される。

【０１１９】

【数３４】

【０１２０】ただし、｛ｈ（ｒ，ｚ₀ ；λ）｝はｚ＝ｚ
₀ の２次元物体面における感度分布関数ｈ_i （ｒ，
ｚ₀ ；λ），（ｉ＝１，…，Ｍ）を列方向に並べること
により構成される連続−離散系変換オペレータであり、
Ｒ_ff（ｒ，λ；ｒ′，λ′；ｚ₀ ）はｚ＝ｚ₀ における
２次元原画像ｆ（ｒ，λ；ｚ₀ ）の自己相関関数であ
る。一方、（３９）式における行列Ｚ^a は行列Ｚの擬似
逆行列であるが、行列ＺのＮ×Ｎ個のブロック要素行列
Ｚ_mn，（ｍ，ｎ＝１，…，Ｎ）は次式で定義され、各々
Ｍ×Ｍ個の要素を持つ。

【０１２１】

【数３５】

【０１２２】ただし、Ｒ_ff（Ｒ，λ；Ｒ′，λ′）：３
次元連続物体空間で定義された原画像ｆ（Ｒ，λ）の自
己相関関数である。以上の解析により、

【数３６】

【０１２３】ただし、（４３）式において行列Ｗ^k はオ
ペレータ｛ｐ（ｒ）｝とオペレータ｛ｗ^k （ｒ）｝^t と
を線形演算することにより改めて定義されるＭ′×ＭＮ
行列である。ＲＯＭ１０４０には被写体の種類に対応し
た複数の３次元自己相関関数Ｒ_ff（Ｒ，λ；Ｒ′，
λ′）、および複数の被写体の種類と複数の物体面の位
置ｚ₀ に対応した２次元自己相関関数Ｒ_ff（Ｒ，λ；
Ｒ′，λ′；ｚ₀ ）が記録される。またＲＯＭ１０４１
には複数の物体面の位置ｚ₀ に対応した２次元感度分布
関数ｈ_i （ｒ，ｚ₀ ；λ），（ｉ＝１，…，Ｍ）が記録
される。

【０１２４】ユーザは被写体の種類および結像させたい
物体面の位置に応じて適当な条件を選択することによ
り、ＲＯＭ１０４０，１０４１に記録されている複数種
類の上記係数列から適当なものが選択される。一方、Ｒ
ＯＭ１０４２には画像入力・表示系により固定された係
数列である３次元感度分布関数ｈ_i （Ｒ，λ），（ｉ＝
１，…，Ｍ）、色バンドパスフィルタの透過率分布特性
ｔ^j （λ），（ｊ＝１，…，Ｎ）およびＲＧＢ等色関数
ｓ^k （λ），（ｋ＝Ｒ，Ｇ，Ｂ）が記録されている。

【０１２５】以上説明したようなＲＯＭ１０４０，１０
４１，１０４２から送られてくる係数列を用いて行列演
算器１０４３では所定の行列演算が行なわれ、係数メモ
リ１０４４−１，２にはそれぞれ行列Ｗ^k ，Ｚ^a の要素
係数列が記録される。そして行列演算器１００４では画
像メモリ１００２−１〜Ｎに記録されている各波長バン
ド画像と係数メモリ１０４４−１〜２に記録された行列
との間で（４３）式に従った計算が行なわれ、ＲＧＢ離
散原色画像が復元される。

【０１２６】上記した第５実施形態によれば、所定の物
体空間の範囲内での焦点の合った物体面の位置をコント
ロールできるような装置をレンズ駆動によるメカニカル
な動作をせずに実現できる。従ってレンズ駆動部を省略
できるために構成が簡便になる上に、モータによる振動
の影響なども無い。しかも多波長バンド光学結像を用い
た連続−離散画像入力系の定義に基づいた復元処理を行
なうことにより解像度や色再現性に優れたカラー画像を
得ることができる。

【０１２７】なお、前記した具体的実施形態には以下の
構成を有する発明が含まれており、各発明に対応する実
施形態と効果は次の通りである。

【０１２８】（構成１）撮像光学系と、この撮像光学系
により結像される物体の光像をＮ種類の波長領域ごとに
透過させるＮ種類の色フィルタで構成される多色フィル
タと、前記撮像光学系と前記多色フィルタとを介して入
射される物体の光像を撮像するための撮像手段と、前記
多色フィルタにより透過されたＮ種類の波長領域の物体
の光像を前記撮像手段により撮像して得られたＮ種類の
多波長領域画像を記録するための画像メモリと、この画
像メモリに記録されたＮ種類の多波長領域画像との行列
演算に用いられる係数列が記録された係数メモリと、前
記画像メモリに記録されたＮ種類の多波長領域画像と、
前記係数メモリに記録された係数列との間で行列演算を
行ない、Ｎと等しいかまたはＮより少ないＮ′種類の波
長領域の画像を出力する行列演算手段と、を具備するこ
とを特徴とする撮像装置。

【０１２９】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第１実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第１実施形態
で述べた（１０）式を計算することに相当する。

【０１３０】（効果）Ｎ種類の多波長バンドの各々に対
する光学結像特性を考慮しながらＮと等しいかまたはＮ
より少ないＮ′種類の波長バンド画像を復元するように
したので、波長領域に対して冗長性を持たせると共に色
収差の影響を波長単位で補正することが可能になる。こ
れによって画像が各々正確に復元されることから結果的
に色再現性に優れた画像が得られる。

【０１３１】（構成１．１）構成１に記載の撮像装置に
おいて、前記係数メモリに記録された係数列は、前記撮
像手段における各受光素子に対して、前記撮像光学系に
より伝達される物体空間および波長に対する光強度分布
を表す感度分布関数と、前記多色フィルタに設けられた
Ｎ種類の色フィルタの透過率分布特性と、前記行列演算
手段により出力されるＮ′種類の出力画像の各々の波長
感度分布とを用いて、前記撮像光学系と、前記多色フィ
ルタと、前記撮像手段とで決定される画像入力系を線形
に関係付けたところの一般化行列に対する擬似逆行列で
あることを特徴とする。

【０１３２】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第１実施形態が対応する。

【０１３３】（効果）画像入力系が一般的な連続−離散
系モデルに基づいて扱われることにより、従来の標本化
定理に基づく解析が要求するような帯域／領域制限や伝
達特性の位置不変性の条件を必要とせず、適用範囲が広
く正確な解析が可能となる。従って光学結像系の収差の
影響により位置によって伝達特性が変化するような画像
入力系に対しても正確な画像復元ができる。これによっ
て、レンズなどの光学結像系を簡便に設計することがで
き、小型軽量のカメラを用いながら解像度や色再現性に
優れたカラー画像を得ることができる。

【０１３４】（構成１．２）構成１に記載の撮像装置に
おいて、前記行列演算手段により出力される画像の種類
Ｎ′は３であり、それらの画像はカラー画像を構成する
赤，緑，青の波長領域の画像であることを特徴とする。

【０１３５】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第１実施形態が対応する。

【０１３６】（効果）出力されるＮ′種類の波長領域画
像をＲＧＢカラー画像とすることにより、一般的なカラ
ー画像機器に親和性のあるカラー画像を出力できる。

【０１３７】（構成２）撮像光学系と、この撮像光学系
により結像される物体の光像をＮ種類の波長領域ごとに
透過させるＮ種類の色フィルタで構成される多色フィル
タと、前記撮像光学系と前記多色フィルタとを介して入
射される物体の光像を撮像するための撮像手段と、前記
多色フィルタにより透過されたＮ種類の波長領域の物体
の光像を前記撮像手段により撮像して得られたＮ種類の
多波長領域画像を記録するための画像メモリと、前記撮
像手段における各受光素子に対して、前記撮像光学系に
より伝達される物体空間および波長に対する光強度分布
を表す感度分布関数と、前記多色フィルタに設けられた
Ｎ種類の色フィルタの透過率分布特性と、Ｎと等しいか
またはＮより少ないＮ′種類の出力画像の各々の波長感
度分布とを係数列として記録した第１の係数メモリと、
物体空間座標と波長との関数として定義される被写体画
像の統計的相関情報を係数列として記録した第２の係数
メモリと、前記第１および第２の係数メモリに記録され
た係数列から、前記画像メモリに記録されたＮ種類の多
波長領域画像との行列演算に用いられる新たな係数列を
算出する係数列演算手段と、前記画像メモリに記録され
たＮ種類の多波長領域画像と、前記係数列演算手段によ
り算出された新たな係数列との間で行列演算を行ない、
Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。

【０１３８】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第２実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第２実施形態
で述べた（２１）式を計算することに相当する。

【０１３９】（効果）色収差の影響によって波長ごとに
結像状態が異なるような場合においても、波長バンド画
像間の相関を利用して復元されるカラー画像の解像度や
色再現性を向上させることができる。従って、レンズな
どの光学結像系を簡便な構成とした場合でも、解像度や
色再現により優れたカラー画像を得ることができる。

【０１４０】（構成２．１）構成２に記載の撮像装置に
おいて、前記第２の係数メモリは、複数の係数メモリと
それらの中の一つから係数列を読み込む手段とから構成
されることを特徴とする。

【０１４１】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第２実施形態が対応する。

【０１４２】（効果）被写体の種類、例えば人物、風
景、医療、建造物画像などに応じて適当な統計的相関情
報が記録されたメモリを選択することができ、より正確
な画像の復元が可能になる。

【０１４３】（構成２．１．１）構成２．１に記載の撮
像装置において、前記第２の係数メモリにおける複数の
係数メモリは複数のカード媒体に内蔵され、それらの中
の一つから係数列を読み込む手段はカードリーダーであ
ることを特徴とする。

【０１４４】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第２実施形態が対応する。

【０１４５】（効果）適当な自己相関情報が記録された
カードを選択できることから、被写体の種類に対して適
応的に復元画像の画質を向上させることができる。

【０１４６】（構成３）撮像光学系と、この撮像光学系
により結像される物体の光像をＮ種類の波長領域ごとに
透過させるＮ種類の色フィルタで構成される多色フィル
タと、前記撮像光学系と前記多色フィルタとを介して入
射される物体の光像を撮像するための撮像手段と、前記
多色フィルタにより透過されたＮ種類の波長領域の物体
の光像を前記撮像手段により撮像して得られたＮ種類の
多波長領域画像を記録するための画像メモリと、前記撮
像手段における各受光素子に対して、前記撮像光学系に
より伝達される物体空間および波長に対する光強度分布
を表す感度分布関数と、前記多色フィルタに設けられた
Ｎ種類の色フィルタの透過率分布特性と、Ｎと等しいか
またはＮより少ないＮ′種類の出力画像の各々の波長感
度分布と、物体空間座標と波長との関数として定義され
る被写体画像の統計的相関情報とを係数列として記録し
た第１の係数メモリと、前記撮像手段のＳ／Ｎを表すパ
ラメータを記録した第２の係数メモリと、前記第１の係
数メモリに記録された係数列と、前記第２の係数メモリ
に記録されたパラメータとから、前記画像メモリに記録
されたＮ種類の多波長領域画像との行列演算に用いられ
る新たな係数列を算出する係数列演算手段と、前記画像
メモリに記録されたＮ種類の多波長領域画像と、前記係
数列演算手段により算出された新たな係数列との間で行
列演算を行ない、Ｎ′種類の波長領域の画像を出力する
行列演算手段と、を具備することを特徴とする撮像装
置。

【０１４７】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第４実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第４実施形態
で述べた（３７）式を計算することに相当する。

【０１４８】（効果）入力画像に混入するノイズの影響
が抑制された明瞭なカラー画像を出力することができ
る。

【０１４９】（構成３．１）構成３に記載の撮像装置に
おいて、前記第２の係数メモリに記録されるパラメータ
は、前記撮像手段からの出力信号に加わるノイズの統計
量であることを特徴とする。

【０１５０】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第４実施形態が対応する。

【０１５１】（効果）撮像手段において発生する入力画
像と相関の無いノイズを定量的に扱うために撮像手段の
性能に依存したノイズの統計量を記録しておくことによ
り、最適な条件でノイズを抑制できる画像復元を行なう
ことができる。

【０１５２】（構成３．２）構成３に記載の撮像装置に
おいて、前記第２の係数メモリは、前記撮像手段に内蔵
されることを特徴とする。

【０１５３】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第４実施形態が対応する。

【０１５４】（効果）カメラ自体にカメラの性能に依存
したＳ／Ｎパラメータを保持させるので、カメラを画像
処理プロセッサに対して着脱可能に構成した場合でも使
用するカメラに適応させた最適なノイズ抑制処理を実現
することができる。

【０１５５】（構成４）構成２または３に記載の撮像装
置において、前記係数列演算手段は、前記行列演算手段
により出力されたＮ′種類の波長領域の画像と、物体空
間座標と波長との関数として定義される被写体画像に、
前記第１の係数メモリに記録されているＮ′種類の出力
画像の各々の波長感度分布を作用することにより得られ
るところのＮ′種類の波長領域の被写体画像との誤差が
最小になるような係数を算出することを特徴とする。

【０１５６】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第２，３実施形態が対応す
る。

【０１５７】（効果）被写体の原画像から得られること
が予測される理想的な出力画像に対して最も誤差の少な
い画像を推定復元することができる。

【０１５８】（構成５）波長ごとに異なる物体面に焦点
が合う撮像光学系と、この撮像光学系により結像される
物体の光像をＮ種類の波長領域ごとに透過させるＮ種類
の色フィルタで構成される多色フィルタと、前記撮像光
学系と前記多色フィルタとを介して入射される物体の光
像を撮像するための撮像手段と、前記多色フィルタによ
り透過されたＮ種類の波長領域の物体の光像を前記撮像
手段により撮像することにより得られたＮ種類の多波長
領域画像を記録するための画像メモリと、前記撮像手段
における各受光素子に対して、前記撮像光学系により伝
達される３次元物体空間および波長に対する光強度分布
を表す３次元感度分布関数と、前記撮像手段における各
受光素子に対して、前記撮像光学系により伝達される３
次元物体空間内の所定の２次元物体面および波長に対す
る光強度分布を表す２次元感度分布関数と、３次元物体
空間座標と波長との関数として定義される被写体画像の
統計的３次元相関情報と、３次元物体空間内の所定の２
次元物体面座標と波長との関数として定義される被写体
画像の統計的２次元相関情報と、前記多色フィルタに設
けられたＮ種類の色フィルタの透過率分布特性と、Ｎと
等しいかまたはＮより少ないＮ′種類の出力画像の各々
の波長感度分布と、を係数列として記録した係数メモリ
と、この係数メモリに記録されている係数列から前記画
像メモリに記録されたＮ種類の多波長領域画像との行列
演算に用いられる新たな係数列を算出する係数列演算手
段と、前記画像メモリに記録されたＮ種類の多波長領域
画像と、前記係数列演算手段により算出された係数列と
の間で行列演算を行ない、Ｎ′種類の波長領域の画像を
出力する行列演算手段と、を具備することを特徴とする
撮像装置。

【０１５９】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第５実施形態が対応する。ま
た、前記行列演算手段による行列演算は、第５実施形態
で述べた（４３）式を計算することに相当する。

【０１６０】（効果）色収差の大きい光学結像系を用い
る場合は波長ごとに異なる物体面に焦点が合うことを利
用して、レンズの位置を固定させながら波長と焦点位置
とが共に異なる複数の画像を入力し、全入力画像に対応
した合焦範囲内における任意の物体面の位置に焦点の合
った画像を復元するようにしたので、所定の物体空間の
範囲内で焦点の合った物体面の位置をコントロールでき
るような装置をレンズ駆動によるメカニカルな動作をせ
ずに実現できる。したがって、レンズ駆動部を省略でき
構成が簡便になる上にモータによる振動の影響なども無
くなる。

【０１６１】（構成５．１）構成５に記載の撮像装置に
おいて、前記係数列演算手段は、前記係数メモリに記録
されている３次元感度分布関数と、被写体画像の統計的
３次元相関情報と、前記多色フィルタに設けられたＮ種
類の色フィルタの透過率分布特性との線形結合により定
義される行列の擬似逆行列と、２次元感度分布関数と被
写体画像の統計的２次元相関情報とＮ′種類の出力画像
の各々の波長感度分布との線形結合により定義される行
列と、を算出することを特徴とする。

【０１６２】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第５実施形態が対応する。

【０１６３】（効果）多波長バンド光学結像を用いた連
続−離散画像入力系の定義に基づいた復元処理を行なう
ことができ、解像度や色再現性に優れた画像を出力する
ことができる。

【０１６４】（構成５．２）構成５に記載の撮像装置に
おいて、前記係数メモリには、前記撮像手段における各
受光素子に対して、前記撮像光学系により伝達される３
次元物体空間内の所定の２次元物体面および波長に対す
る光強度分布を表す２次元感度分布関数と、３次元物体
空間内の所定の２次元物体面座標と波長との関数として
定義される被写体画像の統計的２次元相関情報とが異な
る物体面に対応させて複数記録され、それらの内の１つ
づつを選択する手段を有することを特徴とする。

【０１６５】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第５実施形態が対応する。

【０１６６】（効果）焦点の合った物体面の位置を容易
に選択可能な装置を構成できる。

【０１６７】（構成６）構成１、２、３、５に記載の撮
像装置において、前記多色フィルタはＮ種類の色フィル
タが同一平面上に空間的に配置されたモザイク色フィル
タであることを特徴とする。

【０１６８】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第３実施形態が対応する。

【０１６９】（効果）単板方式で多波長バンド画像を入
力するカメラを用いながら、連続−離散系モデルに基づ
く画像復元の原理に従って解像度や色再現性に優れたカ
ラー画像を得ることができる。従って、コンパクトでし
かも画像入力時間の短い実用上有用なカラー画像撮像装
置を提供することができる。

【０１７０】（構成６．１）構成６に記載の撮像装置に
おいて、前記モザイク色フィルタに設けられる色フィル
タの種類Ｎおよび前記行列演算手段により出力される画
像の数Ｎ′は、共に３であることを特徴とする。

【０１７１】（対応する発明の実施形態）この発明に関
する実施の形態には、前記した第３実施形態が対応す
る。

【０１７２】（効果）一般にカラー画像は３つの原色画
像により構成されるため、一般的なカラー画像機器に親
和性のある処理を実現できる。

【０１７３】（構成６．１．１）構成６．１に記載の撮
像装置において、前記モザイク色フィルタに設けられる
３種類の色フィルタは赤，緑，青の波長領域を透過させ
る色フィルタであり、前記行列演算手段により出力され
るＮ′種類の画像はカラー画像を構成する赤，緑，青の
波長領域の画像であることを特徴とする。

【０１７４】（対応する発明の実施形態）この発明に係
る実施形態には、前記した第３実施形態が対応する。

【０１７５】（効果）一般的に広く使われる単板カラー
カメラやカラー画像機器を使用しながら本発明の効果を
得ることができる。

【０１７６】

【発明の効果】本発明によれば、連続−離散系モデルに
基づいた画像復元方法を用いて、色再現性に優れた正確
なカラー画像を復元することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る撮像装置の構成を
示す図である。

【図２】回転色フィルタの断面構造を示す図である。

【図３】色フィルタの透過率分布特性を示す図である。

【図４】等色関数の波長特性を示す図である。

【図５】本発明の第２実施形態に係る画像処理プロセッ
サの構成を示す図である。

【図６】本発明の第３実施形態におけるカメラと画像処
理プロセッサの構成を示す図である。

【図７】モザイク色フィルタの構成を示す図である。

【図８】本発明の第４実施形態におけるカメラと画像処
理プロセッサの構成を示す図である。

【図９】本発明の第５実施形態におけるカメラと画像処
理プロセッサの構成を示す図である。

【符号の説明】

１００…カメラ、１０１…レンズ、１０２…ＣＣＤ撮像
素子、１０３…回転色フィルタ、１０４…モータ、２０
１…Ａ／Ｄ変換器、２０２−１〜Ｎ…画像メモリ、２０
３…回転色フィルタドライバ、２０４…行列演算器、２
０５…ＲＯＭ、２０６−１〜３…画像メモリ、２０７…
Ｄ／Ａ変換器、２１０…ＣＰＵ、３００…ＴＶモニタ。

フロントページの続き (72)発明者 菊地 奨 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 撮像光学系と、 この撮像光学系により結像される物体の光像をＮ種類の
   波長領域ごとに透過させるＮ種類の色フィルタで構成さ
   れる多色フィルタと、 前記撮像光学系と前記多色フィルタとを介して入射され
   る物体の光像を撮像するための撮像手段と、 前記多色フィルタにより透過されたＮ種類の波長領域の
   物体の光像を前記撮像手段により撮像して得られたＮ種
   類の多波長領域画像を記録するための画像メモリと、 この画像メモリに記録されたＮ種類の多波長領域画像と
   の行列演算に用いられる係数列が記録された係数メモリ
   と、 前記画像メモリに記録されたＮ種類の多波長領域画像
   と、前記係数メモリに記録された係数列との間で行列演
   算を行ない、Ｎと等しいかまたはＮより少ないＮ′種類
   の波長領域の画像を出力する行列演算手段と、 を具備することを特徴とする撮像装置。
2. 【請求項２】 撮像光学系と、 この撮像光学系により結像される物体の光像をＮ種類の
   波長領域ごとに透過させるＮ種類の色フィルタで構成さ
   れる多色フィルタと、 前記撮像光学系と前記多色フィルタとを介して入射され
   る物体の光像を撮像するための撮像手段と、 前記多色フィルタにより透過されたＮ種類の波長領域の
   物体の光像を前記撮像手段により撮像して得られたＮ種
   類の多波長領域画像を記録するための画像メモリと、 前記撮像手段における各受光素子に対して、前記撮像光
   学系により伝達される物体空間および波長に対する光強
   度分布を表す感度分布関数と、前記多色フィルタに設け
   られたＮ種類の色フィルタの透過率分布特性と、Ｎと等
   しいかまたはＮより少ないＮ′種類の出力画像の各々の
   波長感度分布とを係数列として記録した第１の係数メモ
   リと、 物体空間座標と波長との関数として定義される被写体画
   像の統計的相関情報を係数列として記録した第２の係数
   メモリと、 前記第１および第２の係数メモリに記録された係数列か
   ら、前記画像メモリに記録されたＮ種類の多波長領域画
   像との行列演算に用いられる新たな係数列を算出する係
   数列演算手段と、 前記画像メモリに記録されたＮ種類の多波長領域画像
   と、前記係数列演算手段により算出された新たな係数列
   との間で行列演算を行ない、Ｎ′種類の波長領域の画像
   を出力する行列演算手段と、 を具備することを特徴とする撮像装置。
3. 【請求項３】 撮像光学系と、 この撮像光学系により結像される物体の光像をＮ種類の
   波長領域ごとに透過させるＮ種類の色フィルタで構成さ
   れる多色フィルタと、 前記撮像光学系と前記多色フィルタとを介して入射され
   る物体の光像を撮像するための撮像手段と、 前記多色フィルタにより透過されたＮ種類の波長領域の
   物体の光像を前記撮像手段により撮像して得られたＮ種
   類の多波長領域画像を記録するための画像メモリと、 前記撮像手段における各受光素子に対して、前記撮像光
   学系により伝達される物体空間および波長に対する光強
   度分布を表す感度分布関数と、前記多色フィルタに設け
   られたＮ種類の色フィルタの透過率分布特性と、Ｎと等
   しいかまたはＮより少ないＮ′種類の出力画像の各々の
   波長感度分布と、物体空間座標と波長との関数として定
   義される被写体画像の統計的相関情報とを係数列として
   記録した第１の係数メモリと、 前記撮像手段のＳ／Ｎを表すパラメータを記録した第２
   の係数メモリと、 前記第１の係数メモリに記録された係数列と、前記第２
   の係数メモリに記録されたパラメータとから、前記画像
   メモリに記録されたＮ種類の多波長領域画像との行列演
   算に用いられる新たな係数列を算出する係数列演算手段
   と、 前記画像メモリに記録されたＮ種類の多波長領域画像
   と、前記係数列演算手段により算出された新たな係数列
   との間で行列演算を行ない、Ｎ′種類の波長領域の画像
   を出力する行列演算手段と、を具備することを特徴とす
   る撮像装置。