JPH1013845A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】任意の構造の画像に対して最適な推定を行なう
ことができる画像処理装置を提供する。 【解決手段】画像信号を生成する撮像装置に関する情報
に基づき、推定すべき画像信号の位置を決定する推定位
置決定装置１１と、この推定位置決定装置１１から得ら
れた画像信号の位置を包含する所定サイズの局所領域を
抽出する領域抽出装置１２と、この領域抽出装置１２か
ら得られた局所領域に関する空間的相関情報を算出する
空間的相関情報算出装置１４と、この空間的相関情報算
出装置１４によって算出された空間的相関情報に基づ
き、推定位置決定装置１１から得られた画像信号の位置
に対応する画像信号を推定する画像信号推定装置１７と
を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関
し、特に、局所領域に関して算出された空間的相関情報
に基づいて画像信号を推定する画像処理装置に関する。

【０００２】

【従来の技術】近年、従来から用いられている銀塩フィ
ルムに代わり、ＣＣＤなどの固体撮像素子を用いた撮像
システムが急速に普及しつつある。このような撮像シス
テムでは、カラー画像情報を３色の色情報もしくは輝
度、色差情報として保存する。例えば、デジタルカメラ
などの撮像系では、一般に３色に対応して分光感度の異
なる３種類のフィルタをＣＣＤの前面に配置することに
より、それぞれの色信号情報を取得することを原理とし
ており、色信号情報を取得するためには１画素につき３
種類のセンサが必要となる。

【０００３】このように、撮像システムを実現する場
合、被写体からの入射光を分割するための光学系と、分
光感度の異なる３種類のフィルタを配置した３枚のＣＣ
Ｄとからなる３板式の撮像装置が用いられているが、３
枚のＣＣＤと分割光学系とを用いることにより高価な装
置となってしまう。

【０００４】そこで、１枚のＣＣＤの各画素に各色フィ
ルタを適当に配置し、各画素で異なる色情報を有する画
像情報を取得する単板式のデジタルカメラが安価な装置
として普及している。この場合、空間的補間処理などの
後処理により各画素で３色の色情報を有する画像情報を
推定している。

【０００５】単板式の撮像装置における色情報補間の最
も基本的な方法としては、補間画素近傍の画素情報から
の線形補間が用いられるが、この補間処理は画像情報が
補間に用いる画素間で緩やかに変化している場合を仮定
した処理であるため、画像のエッジ部などの高空間周波
数成分を多く含む領域では、偽色を発する結果となる。
このような不具合を改善する画像情報の推定方法がいく
つか提案されている。

【０００６】第１は、画像のエッジや特定の画像構造を
認識して画像構造に応じて適応的に処理方法を変えるこ
とで、一般に推定誤差の大きくなる構造にも対応するも
のである。例えば特開平６−３０３６１７号公報では、
推定画素近傍の輝度変化に応じて３種類の補間方法を切
り替えて用いている。また、特開昭６１−５０１４２３
号公報では、予め用意したパターンと推定画素近傍画像
とのマッチングにより補間方法を切り替えるようにして
いる。

【０００７】また、３色の色情報間の相関を利用する推
定方法も提案されている。例えば特開平５−５６４４６
号公報では、各色について低空間周波数成分間で高い相
関があると見なして、取得色情報×（低空間周波数成分
の推定色／低空間周波数成分の推定画素における取得色
情報）から推定色情報を求めている。また、特開平４−
５０２０９６号公報では、高空間周波数でサンプリング
された第一の色情報の変化に応じて、推定画素近傍から
の線形補間により推定を行なっている。

【０００８】

【発明が解決しようとする課題】上記した従来の技術は
いずれも、画像構造に依存した適応的推定方法として、
推定すべき画像信号の局所領域に関する空間的相関情報
を用いた推定方法は提案していない。

【０００９】したがって、本発明の画像処理装置は、推
定すべき画像信号の局所領域に関する空間的相関情報を
用いて画像構造に依存した適応的推定を行なうことによ
り、任意の構造の画像に対して最適な推定を行なうこと
ができる画像処理装置を提供することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る画像処理装置は、画像信号を生
成する撮像装置に関する情報に基づき、推定すべき画像
信号の位置を決定する推定位置決定手段と、この推定位
置決定手段から得られた上記画像信号の位置を包含する
所定サイズの局所領域を抽出する領域抽出手段と、この
領域抽出手段から得られた局所領域に関する空間的相関
情報を算出する空間的相関情報算出手段と、この空間的
相関情報算出手段によって算出された空間的相関情報に
基づき、上記推定位置決定手段から得られた上記画像信
号の位置に対応する画像信号を推定する画像信号推定手
段とを具備する。

【００１１】また、第２の発明に係る画像処理装置は、
第１の発明に係る画像処理装置において、上記領域抽出
手段から得られた局所領域に関する構造情報を抽出する
構造情報抽出手段と、この構造情報抽出手段で抽出され
た構造情報に基づき、上記空間的相関情報算出手段によ
る空間的相関情報算出の方法を変更する変更手段とをさ
らに具備する。

【００１２】また、第３の発明に係る画像処理装置は、
複数の色信号からなる画像信号を生成する撮像装置に関
する情報に基づき、推定すべき画像信号の位置を決定す
る推定位置決定手段と、この推定位置決定手段から得ら
れた上記画像信号の位置を包含する所定サイズの局所領
域を複数の色信号を含む画像信号から抽出する領域抽出
手段と、この領域抽出手段から得られた局所領域に関す
る空間的相関情報を算出する空間的相関情報算出手段
と、上記領域抽出手段から得られた局所領域に関する色
相関情報を算出する色相関情報算出手段と、上記空間的
相関情報算出手段によって算出された空間的相関情報と
上記色相関情報算出手段から算出された色相関情報に基
づき、上記推定位置決定手段から得られた上記画像信号
の位置に対応する画像信号を推定する画像信号推定手段
とを具備する。

【００１３】すなわち、第１の発明に係る画像処理装置
は、まず、画像信号を生成する撮像装置に関する情報に
基づき、推定位置決定手段によって推定すべき画像信号
の位置を決定し、上記推定位置決定手段から得られた上
記画像信号の位置を包含する所定サイズの局所領域を領
域抽出手段によって抽出する。次に、この領域抽出手段
から得られた局所領域に関する空間的相関情報を空間的
相関情報算出手段によって算出し、算出された空間的相
関情報に基づき、上記推定位置決定手段から得られた上
記画像信号の位置に対応する画像信号を画像信号推定手
段によって推定するようにする。

【００１４】また、第２の発明に係る画像処理装置は、
第１の発明に係る画像処理装置において、上記領域抽出
手段から得られた局所領域に関する構造情報を構造情報
抽出手段によって抽出し、抽出された構造情報に基づ
き、上記空間的相関情報算出手段による空間的相関情報
算出の方法を変更手段によって変更するようにする。

【００１５】また、第３の発明に係る画像処理装置は、
まず、複数の色信号からなる画像信号を生成する撮像装
置に関する情報に基づき、推定位置決定手段によって推
定すべき画像信号の位置を決定し、上記推定位置決定手
段から得られた上記画像信号の位置を包含する所定サイ
ズの局所領域を複数の色信号を含む画像信号から領域抽
出手段によって抽出する。次に、この領域抽出手段から
得られた局所領域に関する空間的相関情報を空間的相関
情報算出手段によって算出するとともに、上記領域抽出
手段から得られた局所領域に関する色相関情報を色相関
情報算出手段によって算出し、上記空間的相関情報算出
手段によって算出された空間的相関情報と上記色相関情
報算出手段から算出された色相関情報に基づき、上記推
定位置決定手段から得られた上記画像信号の位置に対応
する画像信号を画像信号推定手段によって推定するよう
にする。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を詳細に説明する。図１は本発明の第１実施形
態が適用される画像処理システムを示す図であり、単板
式デジタルカメラ４と、画像処理装置１９とからなる。
単板式デジタルカメラ４は、レンズ１と、単板式のＣＣ
Ｄ３と、このＣＣＤ３に対してモザイク状に配置された
分光感度の異なる３種類（Ｒ，Ｇ，Ｂ）の色フィルタ２
と、Ａ／Ｄ変換装置５と、画像メモリ７と、ＲＯＭ６と
から構成されている。ここで、各Ｒ，Ｇ，Ｂの色フィル
タ２は、図２に模式的に示すように、２×２画素の矩形
領域にＲ，Ｂフィルタが各１画素づつ、Ｇフィルタが２
画素含まれる単位構造が周期的に繰り返されて配置され
た構造を有する。

【００１７】また、画像処理装置１９は、撮像装置情報
記憶装置９と、画像情報記憶装置１０と、推定位置決定
装置１１と、領域抽出装置１２と、相関範囲記憶装置１
３と、空間的相関情報算出装置１４と、推定係数算出装
置１５と、推定係数範囲記憶装置１６と、画像信号推定
装置１７と、補正画像記憶装置１８とを具備する。

【００１８】上記した構成において、被写体を単板式デ
ジタルカメラ４により撮像して得られた画像情報は、Ｃ
ＣＤ３から出力された後、Ａ／Ｄ変換装置５によりデジ
タル画像情報に変換されて画像メモリ７に記憶される。
画像メモリ７に記憶された画像情報は画像信号８として
画像処理装置１９内の画像情報記憶装置１０に伝送され
て記憶される。ここで、画像メモリ７に記憶された画像
情報は、各画素が図２のフィルタ配置に対応した色情報
のみを有する画像情報として画像情報記憶装置１０に記
憶される。

【００１９】このとき、単板式デジタルカメラ４内部の
ＲＯＭ６に記憶されている色フィルタ２の配置に関する
情報も画像処理装置１９内の撮像装置情報記憶装置９に
伝送されて記憶される。

【００２０】画像処理装置１９は、単板式デジタルカメ
ラ４により撮像された各画素Ｒ，Ｇ，Ｂに関する色フィ
ルタ２のうちいずれかのフィルタに対応する色情報のみ
を有する画像情報を画像内の情報及び撮像装置に関する
情報のみから推定することにより、全画素についての
Ｒ，Ｇ，Ｂの色情報を有する画像情報に補正する。色情
報の推定は、Ｇ，Ｂ，Ｒの色順に、画像情報記憶装置１
０に記憶されている画像情報について順次行われる。

【００２１】すなわち、推定位置決定装置１１は、ＲＯ
Ｍ６から読み出されて撮像装置情報記憶装置９に記憶さ
れた画像の推定色情報に対応する推定画素の位置を求め
る。推定位置は推定色情報の欠落した画素の位置を撮像
装置情報記憶装置９に記憶されているフィルタ配置に関
する情報より求める。例えば、推定色情報をＧとすると
推定位置はＲもしくはＢの色フィルタが配置された画素
の位置となる。各推定色情報について画像内で求められ
た推定位置は全て推定位置決定装置１１内部に記憶され
る。領域抽出装置１２は後述する自己相関関数を計算す
る領域を求めて後述する領域抽出記憶装置に領域抽出画
像として記憶する。

【００２２】領域抽出装置１２による領域抽出は以下の
ように行われる。すなわち、図３において、領域抽出演
算装置２５は、推定位置決定装置１１により定められた
推定画素の位置情報２４と、相関範囲記憶装置１３に予
め記憶された相関範囲形状情報２３とに基づいて、画像
情報記憶装置１０内に記憶された画像情報２０から所定
の領域抽出画像を抽出して領域抽出記憶装置２６に記憶
する。

【００２３】このときの領域抽出画像は推定位置を中心
とする画像情報記憶装置１０内に記憶された画像情報の
相関範囲形状に対応する画像情報となる。また、画像情
報記憶装置１０内に記憶された画像情報の領域抽出画像
内で推定色情報を持たない画素については、領域を抽出
する前に予め推定色情報を持つ近傍領域の画素情報を用
いて簡易的な線形補間等の補間処理により推定色情報を
求め、領域抽出画像内で全ての画素が推定色情報を持つ
画像とする。すなわち図３において、画像情報記憶装置
１０に記憶された画像情報２０のうち、Ｇ成分が欠落し
ている部分の画素をＧの色情報を有する近傍画素からの
補間画素（Ｇ^* ）２２で補間して得られる補間画像２１
において、推定画素位置の座標を（ｉ，ｊ）、相関範囲
形状を３×３の矩形領域とすると、領域抽出画像は図３
に示す領域の画像として領域抽出記憶装置２６に記憶さ
れる。

【００２４】図１に示す空間的相関情報算出装置１４
は、領域抽出装置１２により得られた領域抽出画像の自
己相関関数を算出して、予め記憶された関数形に最小自
乗近似して出力する。すなわち、図４において、自己相
関関数演算装置２８において領域抽出装置１２により得
られた領域抽出画像の自己相関関数が算出されて最小自
乗係数演算装置２７に入力される。また、関数形記憶装
置２７には次式で表わされる指数関数等の統計的な画像
の自己相関関数を近似可能な関数形が記憶されている。

【００２５】

【数１】

【００２６】ここで、ｉ，ｊは画像の空間座標値、α，
βは定数である。最小自乗係数演算装置２７は自己相関
関数演算装置２８により算出された自己相関関数と、関
数形記憶装置２７に記憶されている関数との自乗誤差が
最小となるように（１）式における係数α，βを定め
る。相関値演算装置３０は最小自乗係数演算装置２７に
より算出した係数α，βを用いた（１）式から、相関関
数の値を求め、順次出力する。

【００２７】図１における推定係数算出装置１５は、空
間的相関情報算出装置１４により算出された相関係数の
値を用いて自己回帰モデルに基づく画像情報推定式
（２）の係数Ｃ_ijを算出する。この自己回帰モデルは、
推定画像情報が近傍画像情報の線形和で表わされるとし
たモデルであり、空間座標（ｍ，ｎ）における正しい画
像情報ｆ（ｍ，ｎ）の推定値ｇ（ｍ，ｎ）は、

【００２８】

【数２】 と表わされる。ここでＤはｇ（ｍ，ｎ）を推定するため
に用いる画像情報ｆ（ｍ，ｎ）の空間座標の範囲（近傍
領域）、ｃ_ijは推定画像情報の空間座標から相対的に座
標値がｍｎ方向にそれぞれｉ，ｊに位置する画像情報ｆ
（ｍ−ｉ，ｎ−ｊ）の推定係数を示す。このとき、推定
値ｇ（ｍ，ｎ）と正しい画像ｆ（ｍ，ｎ）との自乗誤差
Ｅrrは、

【００２９】

【数３】 と表わされる。ここで、Ａは領域抽出画像の範囲に対応
する。自乗誤差Ｅrrを最小にする推定係数ｃ_ijはＥrrを
ｃ_ijで偏微分することにより近似的に、

【００３０】

【数４】

【００３１】ここで、Ｒ（ｉ−ｐ，ｊ−ｐ）、Ｒ（ｐ，
ｑ）は空間的相関情報算出装置１４により算出される既
知の値であるから、式（４）は、推定係数ｃ_ijを未知数
とする連立方程式となる。推定係数算出装置１５は、推
定係数範囲記憶装置１６に記憶された近傍領域Ｄの情報
を用いて（４）式の関係から推定係数ｃ_ijを算出する。

【００３２】図１における画像信号推定装置１７は、推
定係数算出装置１５により算出された推定係数ｃ_ijを用
いて式（２）で表わされる自己回帰モデルの画像情報ｆ
（ｍ，ｎ）の推定値ｇ（ｍ，ｎ）を算出する。

【００３３】図１における補正画像記憶装置１８は、画
像信号推定装置１７により順次算出された推定色情報の
各推定位置の推定画像情報を順次記憶する。そして、領
域抽出装置１２による領域抽出画像の決定から推定画像
情報の補正画像記憶装置１８への記憶までの処理をＧ，
Ｂ，Ｒの色情報について全推定位置で行い、全ての画素
をＲＧＢ色情報を有する画像情報として補正画像記憶装
置１８に記憶する。なお、上記した第１実施形態の構成
は、各種変形、変更が可能である。例えばデジタルカメ
ラのフィルタはストライプ状に配置してもよく、また、
原色系の分光特性を有するもの以外にＣＭＹの補色系の
ものを用いてもよい。さらに、ＲＧＢのようにフィルタ
の種類が３枚ではなく任意の枚数のフィルタからなるも
のについても適用可能である。

【００３４】図５は本発明の第２実施形態が適用される
画像処理システムの構成を示す図である。図５におい
て、領域抽出装置１２により第１実施形態と同様の方法
で抽出された領域抽出画像は領域抽出装置１２内の領域
抽出記憶装置２６から図５における構造情報抽出装置３
１に読み込まれる。構造情報抽出装置３１は、領域抽出
画像のエッジ強度Ｉを算出する。エッジ強度Ｉは領域抽
出画像を３×３画素の矩形画像とすると、次式で定義さ
れる。

【００３５】

【数５】

【００３６】ここで、ａ〜ｉは図６に示す領域抽出画像
の画素位置における画素値を表わし、Ｘ，Ｙはそれぞれ
ｘ方向，ｙ方向の微分値に相当する。エッジ強度Ｉは用
いる画像の濃度レンジに応じて０〜１に正規化される。
任意の形状の領域抽出画像についても適当にエッジ強度
Ｉを再定義することにより、エッジ強度Ｉの算出が可能
である。

【００３７】図５に示す空間的相関情報算出装置１４は
図７に示すような構成を有する。第１実施形態と同様
に、最小自乗係数演算装置２９により相関関数の関数形
の係数α，βを算出する。最小自乗係数補正装置３２は
この係数α，βを、構造情報抽出装置３１により算出さ
れた抽出領域のエッジ強度Ｉと、補正係数記憶装置３３
に予め記憶された補正係数Ｐ，Ｑとを用いて次式により
α′，β′に補正する。

【００３８】 α′＝α（ＰＩ＋１） β′＝β（ＱＩ＋１） （７） （７）式の補正によりα，βは、エッジ部ではＩ＝１と
なり、それぞれＰ，Ｑ％増加される。補正された係数
α′，β′を用いて相関値演算装置３０により相関値が
計算される。以下第１実施形態と同様の処理により推定
画像情報が求められ、補正画像記憶装置１８に記憶され
る。

【００３９】なお、上記した第２実施形態の構成は、各
種変形、変更が可能である。例えばＸ，Ｙの値を用いて
エッジ強度のみならずエッジの方向をも算出し、相関関
数の補正を行うことも可能である。また、エッジの強
度、向きなどに応じて相関関数の算出方法を選択するこ
とも可能である。

【００４０】図８は本発明の第３実施形態が適用される
画像処理システムの構成を示す図である。図８におい
て、構造情報抽出装置３１は上記した第２実施形態と同
様の方法により領域抽出装置１２により抽出された領域
抽出画像のエッジ強度Ｉを算出する。推定方法切り替え
装置３３は、構造情報算出装置３１により算出されたエ
ッジ強度Ｉの値から推定位置における画像情報の推定方
法を選択する。すなわち、 Ｉ＞Ｔ の場合は推定方法として第一の推定方法を選択する。ま
た、 Ｉ≦Ｔ の場合は第二の推定方法を選択する。Ｔは実験的に予め
定めた定数である。

【００４１】第一の推定方法は上記した第１実施形態と
同様の自己回帰モデルに基づき、領域抽出画像の自己相
関関数情報を用いて画像情報を推定する方法である。ま
た、第二の推定方法は簡易線形補間装置３５により、予
め定められた補間位置近傍の画素情報の線形和として補
間位置の画素情報を推定するものである。推定位置の推
定画素情報ｇ（ｍ，ｎ）は、推定位置を中心とする３×
３の領域内の画像情報ｆ（ｍ，ｎ）の平均値として次式
で算出される。

【００４２】

【数６】

【００４３】ここで、Ｅは（ｍ，ｎ）を中心とする
（ｍ，ｎ）以外の３×３の矩形領域を表わす。簡易線形
補間装置３５で（８）式により算出された推定画像情報
は、補正画像記憶装置１８に記憶される。

【００４４】なお、上記した第３実施形態の構成は、各
種の変形、変更が可能である。例えば、第二の画像信号
の推定方法は、線形補間に基づく方法に限らず目的に応
じて任意の方法を用いることができる。また、切り替え
可能な推定方法の数は２つに限らず複数の推定方法を用
意することで複数の切り替え方法が選択可能となる。ま
た、切り替え方法は、構造解析によるものに限らず、処
理装置にマニュアルで設定することも可能である。

【００４５】図９は本発明の第４実施形態が適用される
画像処理システムの構成を示す図である。図９におい
て、上記した第１実施形態と同様の方法により領域抽出
装置１２により抽出された領域抽出画像は構造情報抽出
装置３１により解析される。

【００４６】図１０は構造情報抽出装置３１の構成を示
す図である。図１０において、パターン記憶装置３８に
は領域抽出画像と同サイズのパターン画像が予め数十種
類記憶されている。パターンマッチング演算装置３９は
このパターン画像を用いて、領域抽出装置１２内の領域
抽出記憶装置２６からの領域抽出画像とのパターンマッ
チングを行う。そして、パターンマッチング演算装置３
９において算出された相関領域画像とパターン画像との
類似度を類似度評価演算装置４０にて評価値として算出
する。

【００４７】図９におけるメモリカード３６には、パタ
ーン画像の種類に対応して、推定係数がテーブルデータ
として与えられている。メモリカード３６に記憶されて
いる推定係数は、予め構造情報抽出装置３１に記憶され
ているパターン画像について上記した第１実施形態と同
様の処理により計算された自己相関関数から算出された
値である。

【００４８】推定係数選択装置３７は構造情報抽出装置
３１により解析された領域抽出画像と類似する数種類の
パターン画像に対応する推定係数をメモリカード３６内
のテーブルデータより読み出し、読み出した推定係数を
類似度評価演算装置４０により算出された評価値を用い
て算出する。画像信号推定装置１７は推定係数選択装置
３７により算出された推定係数を用いて上記した第１実
施形態と同様の方法により推定画像情報を求め、補正画
像記憶装置１８に記憶する。

【００４９】なお、上記した第４実施形態の構成は、各
種変形、変更が可能である。例えば、メモリカード３６
内のテーブルデータは、領域抽出画像のパターンに対応
した推定係数を与えるのではなく、相関関数の関数形の
パラメータに対応した推定係数を与えるものとすること
も可能である。また、メモリカード３６は、被撮影画像
の種類に応じて入れ替え可能か、もしくは複数の異なる
テーブルデータを保存しておき被撮影画像の種類に応じ
て選択可能とする。

【００５０】以下に本発明の第５実施形態を説明する。
上記した第１実施形態における推定位置決定装置１１
は、第５実施形態では、一画素のみではなく５×５の矩
形の推定領域を定めるものとする。推定領域の決定は、
推定領域内に含まれる画素が重複しないようにＲＧＢ各
色の情報について画像内全体について行われる。

【００５１】領域抽出装置１２は、推定領域を中心とす
る１０×１０の矩形領域を画像情報から領域抽出画像と
して抽出する。空間的相関情報算出装置１４及び推定係
数算出装置１５は第１実施形態と同様の処理を行い、画
像信号推定装置１７は内部の制御装置により推定領域内
の推定色情報の欠落した画素についてのみ、推定係数算
出装置１５により算出された推定係数を用いて画像情報
を推定し、補正画像記憶装置１８に記憶する。

【００５２】なお、上記した第５実施形態は、各種変
形、変更が可能である。例えば、推定領域は予め定めた
領域ではなく、第２実施形態と同様の構造情報抽出装置
３１により推定係数が一定とみなせる領域を推定して推
定領域とすることも可能である。この場合、領域抽出装
置１２により抽出された領域抽出画像を構造情報抽出装
置３１により解析し、推定位置決定装置１１により推定
領域を定める。それ以降の処理は上記した第５実施形態
と同様である。

【００５３】図１１は本発明の第６実施形態が適用され
る画像処理システムの構成を示す図である。図１１にお
いて、構造情報抽出装置３１は上記した第１実施形態と
同様の方法により領域抽出装置１２によって抽出された
領域抽出画像の微分画像を作成する。相関領域抽出装置
４１は自己相関関数の値が一定とみなせる領域を推定
し、新たに相関領域画像として抽出する。領域抽出装置
１２において抽出される領域抽出画像は、予め定めた矩
形領域画像とする。相関領域抽出装置４１は、領域抽出
装置１２により抽出された領域抽出画像の微分画像を作
成し、微分画像濃度の分布の類似性から自己相関関数が
一定とみなせる領域を推定する。推定された位置の集合
を包含するような矩形領域を新たに相関領域画像とす
る。以降は上記した第１実施形態と同様の方法により相
関領域画像を用いて画像情報を推定し、補正画像記憶装
置１８に記憶する。

【００５４】なお、上記した第６実施形態の構成は、各
種変形、変更が可能である。例えば、相関領域画像の作
成方法は微分画像に基づく方法に限られず、実際に抽出
領域画像の相関関数を計算し、その類似性から相関領域
を定めることも可能である。

【００５５】図１２は本発明の第７実施形態が適用され
る画像処理システムの構成を示す図である。図１２にお
いて、推定位置選択装置１００は、上記した第１実施形
態と同様の方法により推定位置決定装置１１により定め
られた推定位置のうち、画像を予め定めた矩形領域に分
割した推定領域の中心点に最も近い位置のみを選択す
る。推定位置選択装置１００により選択された選択推定
位置における自己相関関数の関数形の係数を空間的相関
情報算出装置１４により算出する。以上の処理を画像全
体について行い、全ての選択推定位置における相関関数
の関数形の係数を求め、相関係数記憶装置４２に記憶す
る。

【００５６】空間的相関情報補間装置４３は、記憶され
た選択推定位置における相関関数の関数形の係数を用い
て、全ての位置における相関関数の関数形の係数を補間
演算により推定する。補間演算は推定位置を囲む３つの
選択位置における相関係数を用いることを基本として補
間演算を行なう。相関関数の関数形の係数を求めた各推
定位置について上記した第１実施形態と同様の方法によ
り画像情報を推定し、補正画像記憶装置１８に記憶す
る。

【００５７】なお、上記した第７実施形態の構成は、各
種変形、変更が可能である。例えば、推定位置選択装置
１００は、予め定めた矩形領域より選択推定位置を選択
するのではなく、上記した第２実施形態と同様の構造情
報抽出装置３１により解析した画像から相関関数が一定
とみなせる領域を推定して定めることも可能である。ま
た、選択推定位置における相関関数の関数形の係数から
他の位置の相関関数の関数形の係数を補間するのではな
く、選択推定位置における推定係数から他の位置の推定
係数を補間することも可能である。

【００５８】図１３は本発明の第８実施形態が適用され
る画像処理システムの構成を示す図である。図１３にお
いて、本発明の画像処理装置６５は、図２に示すような
配置のＲ，Ｇ，Ｂの色フィルタを有する単板式デジタル
カメラ４４で撮像された画像情報と、コンピュータ４５
内部に記憶された単板式デジタルカメラ４４のフィルタ
配置情報より輝度信号を生成する。

【００５９】単板式デジタルカメラ４４により撮像され
た画像情報ｇ（ｍ，ｎ）は、カラー画像入力端子４６を
経由し、画像処理装置６５内の画像メモリ４７に伝送、
記憶される。また、画像情報ｇ（ｍ，ｎ）が画像メモリ
４７へ記憶されるのと同時に、コンピュータ４５に予め
記憶された単板式デジタルカメラ４４のフィルタ配置情
報が、色成分マスクＨ_c （ｍ，ｎ）（ｃ＝ｒ，ｇ，ｂ）
に関する情報としてマスク情報入力端子５４を経由して
色成分マスクバッファ５５に伝送、記憶される。

【００６０】色成分マスクバッファ５５はＲ成分マスク
バッファ５５ａ、Ｇ成分マスクバッファ５５ｂ、Ｂ成分
マスクバッファ５５ｃから構成されており、それぞれ対
応する色成分のマスク情報が記憶される。色成分マスク
Ｈ_c （ｍ，ｎ）は、単板式デジタルカメラ４４の画素位
置（ｍ，ｎ）の色フィルタがマスクの色成分ｃの場合は
１、その他の色成分の場合は０の値を持つ。

【００６１】図１４に図２のフィルタ配置に対応する色
成分マスクＨ_r （ｍ，ｎ）、Ｈ_g （ｍ，ｎ）の例を示
す。またマスク情報の伝送と同時に予めコンピュータ４
５内に記憶されている輝度信号演算係数β_c （ｃ＝ｒ，
ｇ，ｂ）がマスク情報入力端子５４を経由して画像処理
装置６５内の輝度ウエイトバッファ５６に伝送、記憶さ
れる。輝度Ｙ（ｍ，ｎ）は、輝度信号演算係数β_c と、
各画素においてＲ，Ｇ，Ｂ全色情報を有する画像情報ｆ
_c （ｍ，ｎ）（ｃ＝ｒ，ｇ，ｂ）とを用いて、

【００６２】

【数７】 と表わされるものとなる。

【００６３】ブロックＩ／Ｏ部４８は、色成分マスクバ
ッファ５５への情報伝送が完了した後、色成分マスクバ
ッファ５５の情報を用いた制御装置５２の制御により部
分ブロック画像ｇ_c （ｍ，ｎ）（ｃ＝ｒ，ｇ，ｂ）を画
像メモリ４７内の画像情報ｇ（ｍｎ）からブロックバッ
ファ４９へ書き込む。ブロックバッファ４９はＲ成分ブ
ロックバッファ４９ａ、Ｇ成分ブロックバッファ４９
ｂ、Ｂ成分ブロックバッファ４９ｃから成り、各色成分
ブロックバッファには、各色成分ブロックバッファの色
成分に対応する色情報を有する画素以外のｇ（ｍ，ｎ）
を０とした色成分ブロック画像ｇ_c （ｍ，ｎ）が記憶さ
れる。画像メモリ内の画像情報ｇ（ｍ，ｎ）は色成分マ
スクＨ_c （ｍ，ｎ）及び色成分画像ｆ_c （ｍ，ｎ）を用
いて、

【００６４】

【数８】 と表わされる。

【００６５】以上の処理により、単板式デジタルカメラ
４４及びコンピュータ４５から画像処理装置６５への情
報伝送が完了し、以下、制御装置５２による制御のもと
で輝度信号推定処理が各画素ごとに順次行われる。輝度
信号Ｙ（ｍ，ｎ）は、ＡＲモデルを拡張した次式により
推定される。

【００６６】

【数９】

【００６７】ここではＤはＹ（ｍ，ｎ）を推定するため
に用いる画像メモリ内の画像情報ｇ（ｍ，ｎ）の空間座
標の範囲（近傍領域）、ｃ_ijは推定画像情報の空間座標
から相対的に座標値がｍ，ｎ方向にそれぞれｉ，ｊに位
置する画像情報ｇ（ｍ−ｉ，ｎ−ｊ）の推定係数を示
す。このとき、（１１）式による推定値と正しい輝度成
分Ｙ（ｍ，ｎ）との所定の領域Ａにおける自乗誤差Ｅrr
は、

【００６８】

【数１０】 を得る。

【００６９】（１４）式より、近似的にｃ_klを求め、
（１１）式より、輝度信号Ｙ（ｍ，ｎ）を推定する。ま
ず、制御装置５２は輝度推定の推定画素の位置を定め
る。

【００７０】

【数１１】 を計算し、記憶する。例えば、単板式デジタルカメラ４
４のＲ成分マスクＨ_r （ｍ，ｎ）とＧ成分マスクＨ_g
（ｍ，ｎ）が図１４に示すような５×５画素の矩形領域
の場合、ＲＧ色間相互相関Ｒ^h _rg（ｉ，ｊ）は図１５の
ようになり、Ｓ_pqは、Ｓ_pq＝｛（−２，−１，４），
（−２，１，４），（−１，−２，４），（−１，０，
６），（−１，２，４），（０，−１，６），（０，
１，６），（１，−２，４），（１，０，６），（１，
２，４），（２，−１，４），（２，１，４）｝とな
る。また、マスク相関計算装置５７は、各色成分マスク
Ｈ_c （ｍ，ｎ）の値が１である数、すなわち対応する色
フィルタを有する画素数α_c を記憶する。例えば図１４
に示したＲ成分マスクＨ_r （ｍ，ｎ）とＧ成分マスクＨ
_g（ｍ，ｎ）の場合、α_r は９、α_g は１２となる。

【００７１】色間相関計算装置５０は部分色間相関計算
部５１、相関値補間部５３、相関関数パラメータ記憶部
５２から構成されている。部分色間相関計算部５１は各
色成分ブロックバッファ４９ａ，４９ｂ，４９ｃから制
御装置５２の制御により各色成分の所定領域Ａの部分画
像を読み込み、Ｒ，Ｇ，Ｂの重複しない組み合わせ

【００７２】

【数１２】 に対して、次式で定義される部分画像間の相互相関
Ｒ_pq′（ｉ，ｊ）を計算する。

【００７３】

【数１３】

【００７４】ここで、ｇ_p （ｍ，ｎ）、ｇ_q （ｍ−ｉ，
ｎ−ｊ）は色フィルタの対応していない画素における情
報の欠落があるため、一般には次式で定義される相関値
Ｒ_pq（ｉ，ｊ）、

【００７５】

【数１４】 とは一致しない。ただし、ｆ_p （ｍ，ｎ）、ｆ_q （ｍ−
ｉ，ｎ−ｊ）は、それぞれ全画素において色情報ｐ，ｑ
を有する画像情報を表わす。そこで、部分色間相関計算
部５１は、マスク相関計算装置５７で計算された集合Ｓ
_pqを用いることによりＲ_pq′（ｉ，ｊ）を補正し、Ｒ_pq
（ｉ，ｊ）の推定値を算出する。集合Ｓ_pqに含まれる点
の座標（ｉ，ｊ）はＲ^h _pq（ｉ，ｊ）がゼロとならない
座標値であるから、（１７）式の右辺には０にならない
項ｇ_p （ｍ′，ｎ′）ｇ_q （ｍ′−ｉ，ｎ′−ｊ）が存
在し、その値は正しい相関値を与える（１８）式におけ
る項の値ｆ_p （ｍ′，ｎ′）ｆ_q （ｍ′−ｉ，ｎ′−
ｊ）と一致する。ただし、そのような項はブロックの全
画素数に対し、集合Ｓ_pqの（ｉ，ｊ）に対応する項に限
られる。

【００７６】例えば図１５に示した例の場合、（１７）
式の２５個の項に対して正しい値が得られる項は最大６
項であり、その他の項は０となる。そこで（１７）式で
得られる値Ｒ_pq′（ｉ，ｊ）と、正しい相関値Ｒ
_pq（ｉ，ｊ）との比が近似的に全領域において１の値を
もつマスク間の相関値Ｒ₀ ^h _pq（ｉ，ｊ）とマスク相関
値Ｒ^h _pq（ｉ，ｊ）との比になると仮定し、Ｒ_pq（ｉ，
ｊ）の推定値Ｒ″_pq（ｉ，ｊ）を次式より求める。 Ｒ″_pq(i,j) ＝Ｒ′_pq(i,j) Ｒ₀ ^h _pq(i,j) ／Ｒ^h _pq(i,j) （19） また、画像メモリ４７内の画像情報ｇ（ｍ，ｎ）を用い
て、

【００７７】

【数１５】 を計算して内部に記憶する。

【００７８】相関値補間部５３は部分色間相関計算部５
１において計算、補正された相関関数Ｒ″_pq（ｉ，ｊ）
の補間を行い、近似相関関数として出力する。Ｒ″
_pq（ｉ，ｊ）は、画素情報の欠落した画像間の自己相関
であるため、図１６に示すように離散的位置にのみデー
タを有する。相関値補間部５３は、相関関数パラメータ
記憶部５２に記憶されている近似関数形、及びそのパラ
メータを用いて相関関数Ｒ″_pq（ｉ，ｊ）を既知の関数
形に最小自乗近似する。近似されたＲ″_pq（ｉ，ｊ）は
相関値補間部５３内部に記憶される。

【００７９】補正係数算出装置６４は相関値加算部５
８、相関値バッファ５９、及び補正係数計算部６０から
成る。相関値加算部５８はマスク相関計算装置５７によ
り算出されたα_c 、輝度ウエイトバッファ５６から得ら
れた輝度信号演算係数β_c 、及び相関値補間部５３より
得られた近似されたＲ″_pq（ｉ，ｊ）を用いて次式を計
算、記憶する。

【００８０】

【数１６】

【００８１】相関値バッファ５９は、部分色間相関計算
部５１において算出された（２０）式、及び相関値加算
部５８において算出された（２１）式の値を記憶する。
補正係数計算部６０は、相関値バッファ５９に記憶され
た（２０）式、（２１）式の値を用いて、（１４）式を
満たすｃ_klを算出し、記憶する。ここで、（１４）式の
左辺において次式の近似、

【００８２】

【数１７】 を用いた。

【００８３】輝度成分復元装置６１は画像メモリ４７に
記憶された画像情報ｆ（ｍ，ｎ）と補正係数計算部６０
に記憶された補正係数ｃ_klを用いて、（１１）式から推
定画素の輝度成分Ｙ（ｍ，ｎ）を算出し、出力画像メモ
リ６２に記憶する。

【００８４】全ての画素について以上の処理が行われ
る。補正された画像は輝度画像出力端子６３を経由して
外部への読み出しが可能となる。なお、上記した実施形
態は各種の変形、変更が可能である。例えば、推定画素
は一画素ごとに行うとしたが、近似精度がよいと判断さ
れた場合はブロック全画素の輝度成分を求めることも可
能である。また、個々の色間の相関を計算する方法とし
ては様々な相関推定手法が利用可能であり、先見的情報
を利用することも可能である。また、ここでは輝度信号
の推定を行ったが特に輝度に限らず色信号の線形和で計
算される任意の画像情報が復元可能である。また、この
例では単板モザイク色フィルタＣＣＤにより撮像された
画像の補正を取り上げたが、

【００８５】

【数１８】 とすることで、例えば色収差を含んだ画像の補正などに
も適用できる。また、色間の相互相関は、観測画像から
得られる情報を基に適当な関数形を当てはめるなどして
求めてもよい。また、対象の統計的性質があらかじめ判
っている場合はそのような情報を利用することも有効で
ある。

【００８６】なお、上記した具体的実施形態には以下の
構成を有する発明が含まれており、各発明に対応する実
施形態と効果は次の通りである。 （１） 画像信号を生成する撮像装置に関する情報に基
づき、推定すべき画像信号の位置を決定する推定位置決
定手段と、この推定位置決定手段から得られた上記画像
信号の位置を包含する所定サイズの局所領域を抽出する
領域抽出手段と、この領域抽出手段から得られた局所領
域に関する空間的相関情報を算出する空間的相関情報算
出手段と、この空間的相関情報算出手段によって算出さ
れた空間的相関情報に基づき、上記推定位置決定手段か
ら得られた上記画像信号の位置に対応する画像信号を推
定する画像信号推定手段と、を具備することを特徴とす
る画像処理装置。 （２） 上記推定位置決定手段は、上記撮像装置の色フ
ィルタの配置情報に基づき推定すべき画像信号の位置を
決定することを特徴とする構成（１）に記載の画像処理
装置。 （３） 上記領域抽出手段は、ｎ，ｍを２以上の整数と
するｎ×ｍ画素のブロック領域を抽出することを特徴と
する構成（１）または（２）に記載の画像処理装置。 （４） 上記空間的相関情報算出手段は、上記局所領域
の自己相関関数に基づき上記空間的相関情報を算出する
ことを特徴とする構成（１）〜（３）のいずれか１つに
記載の画像処理装置。 （５） 上記空間的相関情報算出手段は、上記局所領域
の自己相関関数を指数関数で近似することに基づき上記
空間的相関情報を算出することを特徴とする構成（１）
〜（４）のいずれか１つに記載の画像処理装置。 （６） 上記画像信号推定手段は、上記空間的相関情報
算出手段から算出された空間的相関情報に基づき、上記
領域抽出手段から得られた局所領域に関する推定係数を
算出する推定係数算出手段を具備し、この推定係数算出
手段は、自己回帰モデルに基づき上記局所領域の推定係
数を算出することを特徴とする構成（１）〜（５）のい
ずれか１つに記載の画像処理装置。 （７） 上記領域抽出手段から得られた局所領域に関す
る構造情報を抽出する構造情報抽出手段と、この構造情
報抽出手段で抽出された構造情報に基づき、上記空間的
相関情報算出手段による空間的相関情報算出の方法を変
更する変更手段と、をさらに具備することを特徴とする
構成（１）に記載の画像処理装置。 （８） 上記構造情報抽出手段は、明度情報に基づき上
記構造情報を抽出することを特徴とする構成（７）に記
載の画像処理装置。 （９） 上記構造情報抽出手段は、微分処理、パターン
マッチに基づき上記構造情報を抽出することを特徴とす
る構成（７）に記載の画像処理装置。 （１０） 画像信号を生成する撮像装置に関する情報に
基づき、推定すべき画像信号の位置を決定する推定位置
決定手段と、この推定位置決定手段から得られた位置を
包含する所定サイズの局所領域を抽出する領域抽出手段
と、この領域抽出手段から得られた局所領域に関する構
造情報を抽出する構造情報抽出手段と、上記領域抽出手
段から得られた局所領域に関する空間的相関情報から推
定係数を算出し、上記推定位置決定手段から得られた上
記画像信号の位置に対応する画像信号を推定する第一画
像信号推定手段と、上記領域抽出手段から得られた局所
領域において、上記推定位置決定手段から得られた上記
画像信号の位置に対応する他の画像信号又はその位置の
周囲に位置する画像信号を用いて、上記画像信号の位置
に対応する画像信号を推定する第二画像信号推定手段
と、上記構造情報抽出手段で抽出された上記構造情報に
基づき、上記第一画像信号推定手段と上記第二画像信号
推定手段を切り換える切換手段と、を具備することを特
徴とする画像処理装置。 （１１） 上記第二画像信号推定手段は、上記領域抽出
手段から得られた局所領域において、上記推定位置決定
手段から得られた上記画像信号の位置の周囲の位置の画
像信号からの線形補間、２次、高次関数による補間によ
って推定を行なうことを特徴とする構成（１０）に記載
の画像処理装置。 （１２） 上記第二画像信号推定手段は、上記領域抽出
手段から得られた局所領域において、上記推定位置決定
手段から得られた上記画像信号の位置に対応する他の画
像信号との相関により、上記画像信号を推定することを
特徴とする構成（１０）に記載の画像処理装置。 （１３） 画像信号を生成する撮像装置に関する情報に
基づき、推定すべき画像信号の位置を決定する推定位置
決定手段と、この推定位置決定手段から得られた前記画
像信号の位置を包含する所定サイズの局所領域を抽出す
る領域抽出手段と、この領域抽出手段から得られた上記
局所領域に関する構造情報を抽出する構造情報抽出手段
と、複数の所定の構造情報に対応する推定係数が保存さ
れた推定係数保存手段と、上記構造情報抽出手段から抽
出された上記構造情報に基づき、上記推定係数保存手段
から推定係数を選択する推定係数選択手段と、を具備す
ることを特徴とする画像処理装置。 （１４） 上記推定係数保存手段は、磁気ディスク、メ
モリカードなどの交換可能な記録媒体からなることを特
徴とする構成（１３）に記載の画像処理装置。 （１５） 上記空間的相関情報算出手段から算出された
上記空間的相関情報を上記推定位置決定手段から得られ
た複数の位置で共有して使用させる制御手段をさらに有
することを特徴とする構成（１）〜（６）のいずれか１
つに記載の画像処理装置。 （１６） 上記領域抽出手段から得られた上記局所領域
に関する構造情報を抽出する構造情報抽出手段と、この
構造情報抽出手段で抽出された構造情報に基づき、上記
領域抽出手段から得られた局所領域から新たな局所領域
を抽出する第二領域抽出手段と、をさらに具備すること
を特徴とする構成（１）〜（６）のいずれか１つに記載
の画像処理装置。 （１７） 上記第二領域抽出手段は、自己相関関数が近
似的に一定とみなせる領域を抽出することを特徴とする
構成（１６）に記載の画像処理装置。 （１８） 画像信号を生成する撮像装置に関する情報に
基づき、推定すべき画像信号の位置を決定する推定位置
決定手段と、この推定位置決定手段から得られた複数の
前記画像信号の位置を所定間隔以上で疎に再抽出する推
定位置再抽出手段と、この推定位置再抽出手段から得ら
れた前記画像信号の位置を包含する所定サイズの局所領
域を抽出する領域抽出手段と、この領域抽出手段から得
られた上記局所領域に関し、上記推定位置再抽出手段で
再抽出された前記画像信号の位置に対応する上記局所領
域の空間的相関情報を算出する空間的相関情報算出手段
と、この空間的相関情報算出手段から算出された上記空
間的相関情報に基づき、上記推定位置決定手段から得ら
れた全ての前記画像信号の位置に関する空間的相関情報
を補間する空間的相関情報補間手段と、この空間的相関
情報補間手段によって補間された空間的相関情報に基づ
き、上記推定位置決定手段から得られた前記画像信号の
位置に対応する画像信号を推定する画像信号推定手段
と、を具備することを特徴とする画像処理装置。 （１９） 複数の色信号からなる画像信号を生成する撮
像装置に関する情報に基づき、推定すべき画像信号の位
置を決定する推定位置決定手段と、この推定位置決定手
段から得られた上記画像信号の位置を包含する所定サイ
ズの局所領域を複数の色信号を含む画像信号から抽出す
る領域抽出手段と、この領域抽出手段から得られた局所
領域に関する空間的相関情報を算出する空間的相関情報
算出手段と、上記領域抽出手段から得られた局所領域に
関する色相関情報を算出する色相関情報算出手段と、上
記空間的相関情報算出手段によって算出された空間的相
関情報と上記色相関情報算出手段から算出された色相関
情報に基づき、上記推定位置決定手段から得られた上記
画像信号の位置に対応する画像信号を推定する画像信号
推定手段と、を具備することを特徴とする画像処理装
置。 （２０） 上記色相関情報算出手段は、上記所定サイズ
の局所領域に関する複数の色信号の空間的相関に対する
先見的な情報を保持する先見的色相関情報保持手段を有
することを特徴とする構成（１９）に記載の画像処理装
置。 （２１） 上記色相関情報算出手段は、上記所定サイズ
の局所領域に関する複数の色信号の空間的相関情報をパ
ラメータ表記された所定の関数に近似する関数近似手段
を有することを特徴とする構成（１９）に記載の画像処
理装置。 （２２） 上記領域抽出手段は、ｎ，ｍを２以上の整数
とするｎ×ｍのブロック領域を抽出することを特徴とす
る構成（１９）に記載の画像処理装置。 （構成（１）〜（６）に対応する発明の実施の形態）こ
れらの発明は上記した第１実施形態に対応する。すなわ
ち、構成中の撮像装置は図１の単板式デジタルカメラ４
に、推定位置決定手段は図１の推定位置決定装置１１
に、領域抽出手段は図１の領域抽出装置１２に、空間的
相関情報算出手段は図１の空間的相関情報算出装置１４
に、推定係数算出手段は図１の推定係数算出装置１５
に、画像信号推定手段は図１の画像信号推定装置１７に
対応する。また、撮像装置の色フィルタの配置情報は撮
像装置情報記憶装置９に記憶された図２のＣＣＤ上の色
フィルタ配置情報に対応し、ｎ×ｍ画素のブロック領域
は３×３のブロック領域に対応する。

【００８７】図１において、単板式デジタルカメラ４で
撮像され、内部の画像メモリ７に記憶された画像情報は
画像処理装置１９内の画像情報記憶装置１０に伝送、記
憶される。これと同時に単板式デジタルカメラ４内部の
ＲＯＭ６に記憶されている単板式デジタルカメラ４のＣ
ＣＤ３上に配置された色フィルタ２の配置情報が、撮像
装置情報記憶装置９に伝送、記憶される。撮像装置情報
記憶装置９に記憶されたフィルタ配置情報から、推定位
置決定装置１１により推定すべき色情報に対応する画像
情報記憶装置１０内の画像情報の全画素位置を算出、記
憶する。記憶された一画素の位置について、領域抽出装
置１２により相関範囲記憶装置１３に記憶された領域に
応じて、画像情報記憶装置１０から領域抽出画像を抽出
する。空間的相関情報算出装置１４は領域抽出画像に関
する相関情報を算出し、推定係数算出装置１５は相関情
報を用いて、モデルに基づく画像信号を推定する推定式
の推定係数を算出する。画像信号推定装置１７は推定係
数を用いて画像信号の推定値を算出し、補正画像記憶装
置１８に記憶する。以上の処置を推定位置決定装置１１
内部に記憶された全ての推定位置について行うことによ
り、全画像内で各画素がＲＧＢ色情報を有する画像とし
て補正画像記憶装置１８に記憶される。 （構成（１）〜（６）の効果）推定すべき画像信号の局
所領域に関する空間的相関情報を用いて画像構造に依存
した適応的推定を行なうようにしたので、任意の構造の
画像に対して最適な推定を行なうことができる。例え
ば、推定位置近傍の領域抽出画像の自己相関情報を用い
て、自己回帰モデルによる画像情報推定を行うことによ
り、推定の誤差が最少になるような推定係数を自動的に
算出することができ、これによって、任意の画像構造に
依存した画像処理を行なうことができる。 （構成（７）〜（９）に対応する発明の実施の形態）こ
の発明には上記した第２実施形態が対応する。構成中の
構造情報抽出手段は図５の構造情報抽出装置３１に、変
更手段は空間的相関情報算出装置１４内の最小自乗係数
補正装置３２（図７）にそれぞれ対応する。この発明で
は、構造情報抽出装置３１の解析により得られた推定位
置近傍の画像構造に応じて、空間的相関情報算出装置１
４により算出された相関係数を補正することにより、よ
り正確な空間的相関情報を算出する。構造情報抽出装置
３１は、領域抽出装置１２により抽出された領域抽出画
像のエッジ強度を解析する。空間的相関情報算出装置１
４内の最小自乗係数補正装置３２は、領域抽出画像のエ
ッジ強度に従い最小自乗係数演算装置２９（図７）によ
り算出された相関係数を補正する。補正はエッジ強度が
大きいほど係数を大きくする。以下、第１の実施形態と
同様の処理により画像情報を推定、記憶する。 （構成（７）〜（９）の効果）空間的相関情報算出装置
１４により算出された相関関数の形状は、領域抽出画像
の補間処理や、関数形の近似のため必ずしも正確に求め
ることができない。そこで、特に推定の難しいエッジ領
域において相関関数の形状を、経験的に良好な結果が得
られるように補正することで、より精度の高い推定がで
きる。 （構成（１０）〜（１２）に対応する発明の実施の形
態）この発明には上記した第３実施形態が対応する。構
成中の第一画像信号推定手段は上記した自己回帰モデル
に基づき領域抽出画像の自己相関関数情報を用いて画像
情報を推定する手段に、第二画像信号推定手段は上記し
た簡易線形補間装置３５により予め定められた補間位置
近傍の画素情報の線形和として補間位置の画素情報を推
定する手段に、切換手段は上記した図８の推定方法切り
替え装置３３にそれぞれ対応する。

【００８８】この発明では、構造情報抽出装置３１の解
析により得られた推定位置近傍の画像構造に応じて、平
坦領域での簡易線形補間とエッジ領域での自己回帰モデ
ルに基づく方法とを使いわける。構造情報抽出装置３１
は領域抽出装置１２により抽出された領域抽出画像の構
造を解析し、推定方法切り替え装置３３において推定方
法を選択するために用いるパラメータを算出する。推定
方法切り替え装置３３は、構造情報解析の結果から領域
抽出画像のエッジ強度が所定の値よりも大きい場合に第
一の画像信号推定手段、小さい場合に第二の画像信号推
定手段を用いて画像信号を推定する。 （構成（１０）〜（１２）の効果）領域抽出画像の構造
に応じて画像信号推定方法を切り替えることにより、推
定精度を維持しながら計算量の少ない画像信号推定を行
なうことができる。例えば推定が容易な画像構造が平坦
な領域では、計算量の多い自己回帰モデルに基づく推定
方法を用いるのではなく、計算量の比較的少ない簡易線
形補間装置３５による推定を行なう。また、構造情報解
析装置３１により得られた情報を第一の画像信号推定方
法の処理補正に組み込むか、もしくは第二の画像信号推
定方法として用いることで、より高精度な推定が可能と
なる。 （構成（１３）、（１４）に対応する発明の実施の形
態）この発明には上記した第４実施形態が対応する。構
成中の推定係数保存手段は図９のメモリカード３６に、
推定係数選択手段は推定係数選択装置３７にそれぞれ対
応する。この発明では、上記した第１実施形態において
計算量の多い推定係数の演算を予め複数の所定のパター
ンについて求めておき、推定位置近傍の画像構造と推定
係数のテーブルを作成、記憶しておく。画像情報の推定
の際にこのテーブル情報を利用することで演算を高速化
させる。図９の構造情報抽出装置３１は、領域抽出画像
とパターン記憶装置３８内に記憶された所定のパターン
画像とのパターンマッチング演算を行ない、類似度を評
価する。そして、類似度の高いパターンに対応する推定
係数をメモリカード３６に記憶されているテーブルデー
タより求め、類似度の評価値に基づく適当な重みづけに
より推定係数を算出する。求めた推定係数を用いて画像
信号推定装置１７により画像信号を推定し、補正画像記
憶装置１８に記憶する。 （構成（１３）、（１４）の効果）複数の所定の構造情
報に対応する推定係数を保存しておくことで、領域抽出
画像からの推定係数を算出するための演算を行なうこと
なく推定係数を求めることができる。このように計算量
の多い演算部分を予め所定の画像についてのみ演算して
テーブルデータとして保存しておくことで、実際の処理
の際にはテーブルデータを用いて計算量を削減すること
ができる。 （構成（１５）〜（１７）に対応する発明の実施の形
態）この発明には、上記した第６実施形態が対応する。
構成中の第二領域抽出手段は図１１の相関領域抽出装置
４１に対応する。この発明では、ＡＲモデルがよく成り
立つ推定位置近傍の領域を推定して相関領域を定めるこ
とで、効率的に高精度な画像情報の推定を行う。図１１
の構造情報抽出装置３１は領域抽出画像の微分画像を作
成し、相関領域抽出装置４１により微分値がほぼ一定の
領域を相関値も一定の領域と推定して相関領域とする。
相関領域の自己相関関数を空間的相関情報算出装置１４
により求め、以下、上記した第１実施形態と同様の処理
により画像信号の推定記憶を行なう。 （構成（１５）〜（１７）の効果）相関領域抽出装置４
１により、相関が一定とみなせる領域で推定係数を算出
することにより、より精度の高い推定を行なうことがで
きる。また、計算量の多い推定係数算出の演算過程にお
いて適切な相関領域を設定することで計算量の削減が可
能となる。 （構成（１８）に対応する発明の実施の形態）この発明
には、上記した第７実施形態が対応する。構成中の推定
位置再抽出手段は推定位置選択装置１００に、空間的相
関情報補間手段は空間的相関情報補間装置４３にそれぞ
れ対応する。

【００８９】この発明では、上記した第１実施形態のよ
うに一画素ごとに推定位置の相関係数を実際に相関をと
ることにより求めるのではなく、適当なサンプル位置に
ついてのみ相関計算から相関係数を求め、サンプル位置
間における相関係数はサンプル位置における相関係数か
らの補間演算により求める。これは、相関関数の形状は
大部分空間的に連続的に変化しているという推定に基づ
く。補間によって相関係数を求めることにより、計算量
を削減できる。推定位置選択装置１００は、予め定めら
れた画像情報の複数の所定の位置のうち最も近くに位置
する推定位置を選択し、選択位置として保存する。領域
抽出手段は全ての選択位置について空間的相関情報算出
装置１４により相関関数の関数形の係数を算出し、相関
係数記憶装置４２に記憶する。空間的相関情報補間装置
４３は、相関係数記憶装置４２に記憶された推定位置に
おける相関関数の関数形の係数から画像内全ての推定位
置における相関関数の関数形の係数を補間により求め
る。以下第１の実施形態と同様の処理により画像信号を
求め、補正画像記憶装置１８に記憶する。 （構成（１８）の効果）推定すべき画像信号の複数の位
置を所定間隔以上で疎に再抽出し、この再抽出された位
置のみに対応する局所領域の空間的相関情報を算出し、
全ての位置に関する空間的相関情報を補間している。す
なわち、相関関数の関数形の係数を推定位置選択装置１
００により選択された選択位置についてのみ求め、他の
推定位置における相関関数の関数形の係数を選択位置に
おける相関関数の関数形の係数からの補間演算により求
めることにより、計算量を削減することができる。 （構成（１９）〜（２２）に対応する発明の実施の形
態）この発明には、上記した第８実施形態が対応する。
構成中の補正位置決定手段は図１３の制御装置５２に、
領域抽出手段は図１３の制御装置５２と部分色間相関計
算部５１に、色相関情報算出手段は図１３の色間相関計
算装置５０にそれぞれ対応する。補正係数算出手段は図
１３の補正係数算出装置６４に対応する。画像信号補正
手段は図１３の輝度成分復元装置６１に対応する。先見
的色相関情報保持手段は図１３の相関関数パラメータ記
憶部５２に対応する。

【００９０】この発明では、第１実施形態と同様に、Ａ
Ｒモデルにより推定位置における輝度信号を周囲の画像
情報の線形和として推定する。ただし、輝度信号はＲ，
Ｇ，Ｂ信号値の既知の線形和として表わされるものとす
る。輝度信号を推定するための推定係数は、ＲＧＢ各色
の自己相関情報のみならず色間の相互相関情報が必要と
なるが、ここでは近似的に求めた色間相互相関を用い
る。

【００９１】図１３において、図２に示すようなフィル
タを有する単板式デジタルカメラ４４により撮像された
画像情報はカラー画像入力端子４６を通して画像処理装
置６５内の画像メモリ４７に伝送、記憶される。また、
コンピュータ４５内に予め記憶された単板式デジタルカ
メラ４４のフィルタ配置に関する情報及び輝度信号を
Ｒ，Ｇ，Ｂ色信号の線形和で表わすための輝度信号演算
係数をそれぞれ色成分マスクバッファ５５及び輝度ウエ
イトバッファ５６に伝送、記憶する。図１３の制御装置
５２は色成分マスクバッファ５５内に記憶されたフィル
タ配置情報を用いてブロックＩ／Ｏ部４８を制御して画
像メモリ４７に記憶された画像情報から部分ブロック画
像をブロックバッファ４９に記録する。

【００９２】以上で、単板式デジタルカメラ４４及びコ
ンピュータ４５からの情報伝送、記憶が完了し、以下一
画素ごとに輝度信号が推定され、出力画像メモリ６２に
記憶される。色間相関計算装置５０は、画像メモリ４７
内の画像情報、ブロックバッファ４９内に記憶されたブ
ロック画像、マスク相関計算装置５７で計算されたフィ
ルタ配置の相関情報を用いて、輝度信号推定係数を算出
するために必要となる色間相互相関を算出する。補正係
数算出装置６４は、色間相関計算装置５０において得ら
れた色間相互相関、輝度ウエイトバッファ５６に記憶さ
れた輝度信号推定係数、マスク相関計算装置５７により
得られたフィルタ配置の相関情報を用いて補正係数を算
出する。輝度成分復元装置６１は補正係数算出装置６４
により算出された補正係数を用いて輝度信号を算出し、
出力画像メモリ６２に記憶する。全ての画素について輝
度信号の推定から出力画像メモリ６２への記憶を行い、
処理を完了する。出力画像メモリ６２に記憶された輝度
信号画像は、制御装置５２の制御のもとで、輝度画像出
力端子６３を通して外部の表示装置、出力装置等に伝送
される。 （構成（１９）〜（２２）の効果）複数の色信号からな
る画像信号に対し、各色信号間の空間的相関を利用する
ことで近傍の全ての画素から画像情報を推定することが
可能となり、各色信号を独立に回復する場合に比較して
高い精度で画像情報の推定ができる。

【００９３】特定の対象を被写体とする場合には、各色
信号間の空間的相関に関する先見的な知識を予め求めて
おき有効に生かすことができる。先見的情報は画像信号
の種類に応じて切り替えて用いることで、より高精度な
推定が可能となる。

【００９４】所定領域内の色信号から得られる部分的、
あるいは近似的な各色信号間の相互相関の精度は領域に
より異なる。そこで、画像情報から推定された相互相関
に色間の相互相関の一般的関数形や画像の種類に応じて
求めた色間の相互相関の関数形を当てはめることで、画
像情報の推定精度の局所的な低下を抑制することができ
る。また、相互相関の推定精度が低いと思われる位置に
おいて相互相関を周囲の相互相関から補間により求めた
り、あるいは相互相関が特定の性質をもつように規制す
ることによって推定を高精度化することも可能である。

【００９５】

【発明の効果】本発明によれば、推定すべき画像信号の
局所領域に関する空間的相関情報を用いて画像構造に依
存した適応的推定を行なうようにしたので、任意の構造
の画像に対して最適な推定を行なうことができるように
なる。

【図面の簡単な説明】

【図１】本発明の第１実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図２】ＣＣＤ上の色フィルタの配置を示す図である。

【図３】図１に示す領域抽出装置の構成を示す図であ
る。

【図４】図１に示す空間的相関情報算出装置の構成を示
す図である。

【図５】本発明の第２実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図６】エッジ検出のための領域抽出画像を示す図であ
る。

【図７】図５に示す空間的相関情報算出装置の構成を示
す図である。

【図８】本発明の第３実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図９】本発明の第４実施形態が適用される画像処理シ
ステムの構成を示す図である。

【図１０】図９に示す構造情報抽出装置の構成を示す図
である。

【図１１】本発明の第６実施形態が適用される画像処理
システムの構成を示す図である。

【図１２】本発明の第７実施形態が適用される画像処理
システムの構成を示す図である。

【図１３】本発明の第８実施形態が適用される画像処理
システムの構成を示す図である。

【図１４】色成分マスクの一例を示す図である。

【図１５】赤、緑成分マスクの相互相関について説明す
るための図である。

【図１６】相互相関関数のデータ分布を示す図である。

【符号の説明】

１…レンズ、２…色フィルタ、３…ＣＣＤ、４…単板式
デジタルカメラ、５…Ａ／Ｄ変換装置、６…ＲＯＭ、７
…画像メモリ、８…画像信号、９…撮像装置情報記憶装
置、１０…画像情報記憶装置、１１…推定位置決定装
置、１２…領域抽出装置、１３…相関範囲記憶装置、１
４…空間的相関情報算出装置、１５…推定係数算出装
置、１６…推定係数範囲記憶装置、１７…画像信号推定
装置、１８…補正画像記憶装置。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像信号を生成する撮像装置に関する情
   報に基づき、推定すべき画像信号の位置を決定する推定
   位置決定手段と、 この推定位置決定手段から得られた上記画像信号の位置
   を包含する所定サイズの局所領域を抽出する領域抽出手
   段と、 この領域抽出手段から得られた局所領域に関する空間的
   相関情報を算出する空間的相関情報算出手段と、 この空間的相関情報算出手段によって算出された空間的
   相関情報に基づき、上記推定位置決定手段から得られた
   上記画像信号の位置に対応する画像信号を推定する画像
   信号推定手段と、 を具備することを特徴とする画像処理装置。
2. 【請求項２】 上記領域抽出手段から得られた局所領域
   に関する構造情報を抽出する構造情報抽出手段と、 この構造情報抽出手段で抽出された構造情報に基づき、
   上記空間的相関情報算出手段による空間的相関情報算出
   の方法を変更する変更手段と、 をさらに具備することを特徴とする請求項１記載の画像
   処理装置。
3. 【請求項３】 複数の色信号からなる画像信号を生成す
   る撮像装置に関する情報に基づき、推定すべき画像信号
   の位置を決定する推定位置決定手段と、 この推定位置決定手段から得られた上記画像信号の位置
   を包含する所定サイズの局所領域を複数の色信号を含む
   画像信号から抽出する領域抽出手段と、 この領域抽出手段から得られた局所領域に関する空間的
   相関情報を算出する空間的相関情報算出手段と、 上記領域抽出手段から得られた局所領域に関する色相関
   情報を算出する色相関情報算出手段と、 上記空間的相関情報算出手段によって算出された空間的
   相関情報と上記色相関情報算出手段から算出された色相
   関情報に基づき、上記推定位置決定手段から得られた上
   記画像信号の位置に対応する画像信号を推定する画像信
   号推定手段と、 を具備することを特徴とする画像処理装置。