JP3408146B2 - 画像処理装置および画像処理プログラムを記憶する媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、低照度時の被写体
を撮影して得られる画像の画質を改善するための画像処
理装置および画像処理プログラムを記憶する媒体に関す
る。

【０００２】

【従来の技術】近年、撮像素子を備えた画像機器とし
て、たとえばいわゆるデジタル電子スチルカメラなど
が、知られている。前記画像機器は、被写体からの光を
前記撮像素子に光電変換して電気的な画像信号を得て、
前記画像信号を画像データに変換して、記憶する。前記
撮像素子は、たとえばいわゆるＣＣＤイメージセンサで
あるる。前記画像信号および画像データは、複数の画素
から構成される画像を表すアナログ信号およびデジタル
データである。前記画像データは、前記画像の各画素の
色をそれぞれ表す複数の画素データを含んでいる。以
後、画像信号および画像データを、該画像信号および該
画像データが表す画像と略称することがある。前記色
は、一般的に、色の三属性、すなわち輝度、彩度、およ
び色相によって規定される。

【０００３】前記画像の画質を向上させるために前記画
像データに施される画像処理の１つに、画素の輝度のレ
ベルを改善するための輝度補正処理がある。前記輝度補
正処理が前記画像データに施される場合、前記画像デー
タ内の各画素データの輝度成分が、補正前の輝度成分の
値に応じた予め定める増幅率で、増幅される。一般的
に、補正前の輝度成分の値、すなわち補正前の画素の輝
度のレベルが低いほど、前記増幅率が高い。

【０００４】前記画像機器を用い被写体を撮影する際
に、前記被写体がある空間の照度が低い場合、得られる
画像の各画素の輝度のレベルがどれも低くなり、かつ、
前記各画素の画素データがいわゆるランダムノイズの影
響を強く受ける。前記ランダムノイズは、たとえば、撮
像素子に起因して発生するＣＣＤノイズを含む。このた
め、低照度時に得られる画像に上述の輝度補正処理をそ
のまま施すと、前記ランダムノイズが強調されるので、
輝度補正処理が施された後の画像が非常にきたなくな
る。このため、前記画像に前記輝度補正処理を施す場
合、さらに前記ランダムノイズを抑制するための処理
を、前記画像データに施す必要がある。

【０００５】図１３は、前記ランダムノイズの抑制のた
めの処理に関する第１の従来技術である雑音除去回路１
の電気的構成を示すブロック図である。雑音除去回路１
は、画像信号の信号レベルに応じて雑音の見え方にバラ
ンスを保ちつつ、ノイズを除去するための処理を行う回
路であり、特開平７−１１１６０５号公報に開示され
る。雑音除去回路１は、３つのローパスフィルタ３〜５
と、信号レベル検出回路６と、判定回路７と、選択器８
とを備える。

【０００６】雑音除去回路１の処理対象となる画像信号
は、３つのローパスフィルタ３〜５と信号レベル検出回
路６とに、それぞれ与えられる。各ローパスフィルタ３
〜５は、前記画像信号からノイズをそれぞれ除去するた
めのものであり、通過帯域特性が相互に異なる。判定回
路７は、信号レベル検出回路６が検出した前記画像信号
の信号レベル、すなわち画素の輝度のレベルと、予め定
める３種類の閾値とを、それぞれ比較する。選択器８
は、判定回路７の比較結果に基づいて、前記画素の輝度
のレベルが低いほど前記映像信号内のノイズの除去効果
を大きくするために、前記画像信号の信号レベルが小さ
くなるほど、帯域がより狭いいずれか１つのローパスフ
ィルタを選ぶ。選ばれたいずれか１つのローパスフィル
タから出力される画像信号が、選択器８から雑音除去回
路１外部に出力される。

【０００７】雑音除去回路１では、前記ノイズの除去に
ローパスフィルタを用いているので、雑音除去回路１か
ら出力される画像信号が表す画像が、空間的にぼけてし
まうことがある。このため、前記画像の画質の改善を充
分に行うことは困難である。さらに、前記ランダムノイ
ズは、一般的に、ローパスフィルタだけを用いて前記画
像信号から充分に取除くことは困難なので、雑音除去回
路１から出力される画像信号に、前記ランダムノイズが
残ることがある。

【０００８】本件出願人は、前記ランダムノイズの抑制
のための処理に関する第２の従来技術として、特開平５
−９１３９５号公報に開示される映像信号処理装置１１
を提案している。図１４は、映像信号処理装置１１の電
気的構成を示すブロック図である。映像信号処理装置１
１は、カメラ１４と、信号レベル検出回路１５と、画像
平均化回路１６とを含む。

【０００９】カメラ１４は、広角レンズ１３を介して被
写体を連続して複数回撮影し、複数フレームの画像を示
す映像信号ＡＳ１を、信号レベル検出回路１５に順次与
える。また、前記映像信号は、デジタルデータに変換さ
れてから、画像内の領域の抽出に拘わる回路１７を介し
て、画像平均化回路１６に与えられる。信号レベル検出
回路１５は、前記映像信号の各フレームの画像に基づい
て、被写体のある空間の撮影時の照度が低いかどうかを
検出する。照度が低いことが検出される場合、信号レベ
ル検出回路１５は、低照度検出信号Ｓ０を出力して、画
像平均化回路１６を能動化させる。画像平均化回路１６
は、前記映像信号内のランダムノイズを低減させるため
に、最新フレームの画像と１フレーム前の画像とを平均
化する。信号レベル検出回路１５と画像平均化回路１６
とは、上述の処理をフレーム毎に繰返す。この結果、画
像平均化回路１６は、前記ランダムノイズが時間的に平
均化された映像信号ＡＳ２を、ランダムノイズ低減の他
の処理に拘わる回路１８を介して、映像信号処理回路１
１外部に出力する。

【００１０】

【発明が解決しようとする課題】上述した第２の従来技
術の映像信号処理装置１１は、信号レベル検出回路１５
および画像平均化回路１６が処理する画像の枚数が多い
ほど、ランダムノイズが抑制される。ゆえに、前記映像
信号のランダムノイズを充分に除去するためには、多数
の画像、たとえば４枚以上の画像が必要になる。このた
め、映像信号処理装置１１は、連続して多数の画像を得
ることができる画像機器、たとえばビデオカメラに適用
することはできるが、該画像機器以外の画像機器、たと
えばデジタルスチルカメラに適用することは困難であ
る。

【００１１】さらに、たとえば、映像信号処理回路１１
のカメラ１４が、動きのある被写体を連続して撮影する
場合、前記映像信号の各フレームの画像内に写る被写体
の位置や形状が、前記各フレームの画像間で相互にずれ
る。ゆえに、このような映像信号の各フレームの画像
が、信号レベル検出回路１５および画像平均化回路１６
に与えられると、映像信号処理回路１１から出力される
映像信号に、前記ずれに起因する補正の誤りが蓄積され
る。これによって、前記各フレームの画像の画質の改善
が困難になる。

【００１２】本発明の目的は、できるだけ少ない枚数の
画像を用いて、該画像内のランダムノイズを充分に抑制
し、かつ、前記画像が動きのある被写体を撮影して得ら
れたものである場合もランダムノイズの抑制が可能な画
像処理装置および画像処理プログラムを記憶する媒体を
提供することである。

【００１３】

【課題を解決するための手段】第１の発明は、複数の画
素から構成されるカラーの被処理画像を入力する被処理
画像入力手段と、前記被処理画像の各画素の輝度を、予
め定める関数に基づいて、それぞれ補正する被処理画像
用輝度補正手段と、輝度成分が補正された前記被処理画
像の各画素の彩度を、前記各画素の補正された輝度が低
くかつ前記各画素の前記彩度が高いほど、それぞれ抑制
する被処理画像用彩度抑制手段とを含むことを特徴とす
る画像処理装置である。

【００１４】本発明に従えば、前記画像処理装置は、い
わゆる輝度補正処理が施された前記被処理画像に、さら
に前記被処理画像用彩度抑制手段を用いて彩度抑制処理
を施す。前記彩度抑制処理は、画素の輝度が低くかつ画
素の彩度が高いほど、彩度を強く抑制する。これによっ
て、前記輝度補正処理に起因して、前記被処理画像に重
畳されるいわゆるランダムノイズが増幅された場合、前
記ランダムノイズだけを選択的に抑制することができ
る。したがって、前記被処理画像が、照度が比較的低い
空間内の被写体を撮影して得られている場合、前記被処
理画像の画質を改善することができる。また、前記被処
理画像用彩度抑制手段は、前記各画素の彩度の抑制の度
合を、該各画素自体の前記補正された輝度および彩度に
基づいて、定めている。ゆえに、前記彩度の抑制のため
の処理を、前記被処理画像の画素単位で行うことができ
る。したがって、前記画像処理装置は、前記被理画像全
体を一様に処理する画像処理装置と比較して、前記被処
理画像の画質の改善を効率良く行うことができる。

【００１５】また第２の発明は、前記被処理画像と同じ
被写体が写り、複数の画素から構成されるカラーの補助
画像を、少なくとも１枚入力する補助画像入力手段と、
彩度が抑制された前記被処理画像と、全ての前記補助画
像とを合成して、合成画像を得る合成手段とをさらに含
み、前記合成画像の各画素の色は、前記彩度が抑制され
た被処理画像の各画素の色と、該被処理画像内の各画素
にそれぞれ対応する前記全ての補助画像の各画素の色と
の平均であることを特徴とする。

【００１６】本発明に従えば、前記画像処理装置は、第
１の画像処理装置に加えて、補助画像入力手段と合成手
段とを含む。この結果、前記画像処理装置は、輝度が補
正された前記被処理画像内の各画素の彩度をそれぞれ抑
制するだけでなく、前記少なくとも１枚の補助画像と前
記彩度が抑制された被処理画像とを平均合成する。平均
合成によって得られる合成画像は、前記被処理画像と同
じ被写体が写っている画像であり、かつ、該合成画像の
画素の色は、上述のように定められる。これによって、
合成時に、前記彩度が抑制された被処理画像に残るラン
ダムノイズが、前記補助画像に重畳されるランダムノイ
ズによって相殺される。したがって、第２の前記画像処
理装置から出力される画像、すなわち合成画像の画質
が、前記彩度が抑制された被処理画像の画質よりも向上
する。

【００１７】また第３の発明は、前記全ての補助画像の
各画素の輝度を、予め定める関数に基づいて、それぞれ
補正する補助画像用輝度補正手段と、輝度が補正された
前記全ての補助画像の各画素の彩度を、前記各画素の補
正された前記輝度が低くかつ前記各画素の前記彩度が高
いほど、それぞれ抑制する補助画像用彩度抑制手段とを
さらに含み、前記合成手段は、彩度が抑制された前記被
処理画像と、彩度が抑制された全ての補助画像とを合成
することを特徴とする。

【００１８】本発明に従えば、前記画像処理装置は、第
２の画像処理装置に加えて、補助画像用輝度補正手段と
補助画像用彩度抑制手段とを含み、前記合成手段は、前
記全ての補助画像に代わって、前記輝度が補正されてか
つ彩度が抑制された全ての補助画像と、前記彩度が抑制
された被処理画像とを合成する。これによって、前記合
成手段の合成対象の画像、すなわち被処理画像および複
数の補助画像は、合成手段で合成される前に、前記被処
理画像用および補助画像用彩度抑制手段によって、輝度
補正処理によって増幅されたランダムノイズがそれぞれ
抑制されている。これによって、前記合成手段は、合成
対象の画像を画素の彩度を抑制することなくそのまま合
成する場合よりも少ない枚数の画像を合成するだけで、
前記合成画像にランダムノイズが重畳されることを確実
に防止することができる。したがって、合成手段が行う
合成処理が簡略化される。

【００１９】また第４の発明は、前記合成画像の各画素
の色は、前記彩度が抑制された被処理画像の各画素の色
と、該被処理画像の各画素にそれぞれ対応する前記全て
の補助画像の各画素の色との単純平均であることを特徴
とする。

【００２０】本発明に従えば、前記画像処理装置の前記
合成手段は、前記合成画像の各画素の色を定める際に、
いわゆる単純平均を用いる。これによって、簡単な演算
処理によって、前記彩度が抑制された被処理画像に残る
ランダムノイズが、前記補助画像に重畳されるランダム
ノイズによって相殺される。したがって、前記合成手段
は、前記彩度が抑制された被処理画像よりも画質が良い
合成画像を、簡単な処理手順で作成することができる。

【００２１】また第５の発明は、前記各補助画像の各画
素と、該補助画像の画素にそれぞれ対応する前記彩度が
抑制された被処理画像の画素との相関を、該各補助画像
の画素毎に個別に求める相関演算手段をさらに含み、前
記合成画像の各画素の色は、前記彩度が抑制された被処
理画像の各画素の色と、該被処理画像内の各画素にそれ
ぞれ対応し、かつ、前記相関値によってそれぞれ重み付
けされた前記全ての補助画像内の各画素の色との平均で
あることを特徴とする。

【００２２】本発明に従えば、前記画像処理装置の前記
合成手段は、前記合成画像の各画素の色を定める際に、
前記相関を用いた重み付け平均を用いる。たとえば、前
記全ての補助画像それぞれの画素の色は、該画素と対応
する前記彩度が抑制された被処理画像の画素との相関が
小さいほど、重み付けが小さくなる。ゆえに、任意の１
つの補助画像の画素の色の、前記合成画像の画素の色へ
の影響の度合は、該補助画像の画素と前記被処理画像の
画素との相関が低いほど、小さくなる。これによって、
たとえば前記任意の１つの補助画像と前記彩度が抑制さ
れた被処理画像とに、いわゆる手ぶれに起因するずれが
ある場合、前記ランダムノイズの抑制に加えて、合成画
像に前記ずれに起因するぼけや残像が生じることを、防
止することができる。したがって、第５の画像処理装置
は、前記合成画像の画質を、前記彩度が抑制された被処
理画像よりも、向上させることができる。

【００２３】また第６の発明は、前記各補助画像と前記
被処理画像とのずれを、各補助画像毎にそれぞれ検出す
るずれ検出手段と、前記各補助画像と前記被処理画像と
のずれの検出の信頼性を、各補助画像毎にそれぞれ求め
る信頼性算出手段とをさらに含み、前記合成手段は、前
記全ての補助画像のうちの前記信頼性が予め定める評価
基準以上である補助画像と、前記彩度が抑制された被処
理画像とを、合成することを特徴とする。

【００２４】本発明に従えば、前記画像処理装置は、第
２の画像処理装置に加えて、前記ずれ検出手段と、前記
信頼性算出手段とを備え、前記合成手段は、前記全ての
補助画像に代わって、前記全ての補助画像のうちの前記
信頼性が予め定める評価基準以上である補助画像と前記
彩度が抑制された被処理画像とだけを合成する。これに
よって、検出されたずれの信頼性の低い補助画像が、合
成対象の画像から除かれる。これは、前記合成手段が前
記ずれを考慮して前記補助画像と前記被処理画像とを合
成する場合に、検出された前記ずれが誤っているなら
ば、誤った前記ずれと該ずれが検出された補助画像とを
合成処理に用いると、前記合成画像の画質が劣化する可
能性があるからである。ゆえに、全ての補助画像の中か
ら、前記検出されたずれの信頼性の低い補助画像、すな
わち、前記ずれに誤りがある可能性がある補助画像を除
き、残余の画像だけを前記彩度が抑制された被処理画像
と合成する。これによって、第６の画像処理装置は、前
記ずれの検出誤りに起因して、前記合成画像の画質が劣
化することを、防止することができる。

【００２５】また第７の発明は、前記各補助画像と前記
被処理画像とのずれをそれぞれ検出するずれ検出手段
と、前記被処理画像と前記各補助画像とのずれを相殺す
るように、前記各補助画像をそれぞれ変形する変形手段
をさらに含み、前記合成手段は、変形された前記全ての
補助画像と、前記彩度が抑制された被処理画像とを、合
成することを特徴とする。

【００２６】本発明に従えば、前記画像処理装置は、第
２の画像処理装置に加えて、ずれ補正処理のために、前
記ずれ検出手段と前記変形手段とを備える。前記合成手
段は、前記彩度が抑制された被処理画像と前記全ての補
助画像とを合成する代わりに、前記彩度が抑制された被
処理画像と前記変形された全ての補助画像とを合成す
る。前記全ての補助画像を前記ずれを相殺するように変
形することによって、前記補助画像それぞれの前記ずれ
が補正される。したがって、第７の画像処理装置は、た
とえば任意の１つの補助画像と前記被処理画像とにいわ
ゆる手ぶれに起因するずれがある場合でも、前記彩度が
抑制された被処理画像の画質よりも、前記合成画像の画
質を向上させることができる。

【００２７】また第８の発明は、前記被処理画像内に３
つ以上設定される領域内から、特徴点を１つずつ抽出す
る特徴点抽出手段をさらに含み、前記領域のうちの少な
くとも３つの領域は、各領域に予め定められる基準点を
頂点とする図形が正三角形になるように、配置され、前
記ずれ検出手段は、複数の前記特徴点にそれぞれ対応す
る前記各補助画像内の複数の対応点を、前記各補助画像
毎に個別に探索して、前記被処理画像内の全ての前記特
徴点同士の位置関係と、前記各補助画像内の全ての前記
対応点同士の位置関係とに基づいて、前記被処理画像と
前記各補助画像とのずれをそれぞれ求めることを特徴と
する。

【００２８】本発明に従えば、前記画像処理装置は、第
６または７の画像処理装置に加えて前記特徴点抽出手段
をさらに備え、前記ずれ検出手段は、具体的には、前記
特徴点を用いて、上述の手順でずれを検出する。前記特
徴点は、前記被処理画像内に上述のように配置された前
記複数の領域から１つずつ抽出されるので、全ての特徴
点の位置関係が直線状になること、および前記特徴点が
前記被処理画像の一部分に偏ることが、未然に防止され
る。したがって、第８の画像処理装置は、前記被処理画
像および前記複数の補助画像が比較的照度が低い被写体
を複数回撮影して得られる場合も、前記被処理画像と各
補助画像とのずれを、確実に検出することができる。

【００２９】また第９の発明は、前記被処理画像用輝度
補正手段は、前記被処理画像の各画素の輝度と予め定め
る基準輝度との和をそれぞれ求め、前記和を前記関数に
基づいてそれぞれ補正することを特徴とする。

【００３０】本発明に従えば、前記画像処理装置の前記
輝度補正手段は、上述の手順で被処理画像の各画素の輝
度を補正する。これによって、前記輝度補正処理によっ
て前記被処理画像に重畳されるランダムノイズが増幅さ
れることを、未然に防止することができる。ゆえに、上
述の輝度補正処理によって輝度が補正された被処理画像
の各画素の彩度を、前記彩度抑制手段を用いて該各画素
の輝度および彩度に応じた度合で抑制することによっ
て、前記ランダムノイズを充分に除去することができ
る。したがって、第９の前記画像処理装置は、彩度が抑
制された被処理画像の画質を、さらに向上させることが
できる。

【００３１】また第１０の発明は、前記被処理画像の各
画素の抑制された彩度を、前記各画素の補正された輝度
が高いほど、強調する彩度強調手段をさらに含むことを
特徴とする。

【００３２】本発明に従えば、前記画像処理装置は、第
１の画像処理装置に加えて、前記輝度補正手段の処理に
よって失われた各画素の彩度成分を補正するために、前
記彩度強調手段をさらに備える。前記彩度強調手段は、
各画素毎に、前記補正された輝度が高いほど、前記抑制
された彩度を強調する。この結果、前記彩度抑制手段で
抑制されたランダムノイズを増加させることなく、前記
失われた各画素の彩度だけを補正することができる。し
たがって、各画素の彩度が強調された前記被処理画像の
画質は、各画素の彩度が抑制された前記被処理画像の画
質よりも良くなる。また、前記彩度強調手段は、前記各
画素の彩度の強調の度合を、該各画素自体の前記補正さ
れた輝度に基づいて定めている。ゆえに、前記彩度の強
調のための処理を、前記被処理画像の画素単位で行うこ
とができる。これによって、第１０の前記画像処理装置
は、前記被処理画像全体を一様に処理する画像処理装置
と比較して、前記被処理画像の画質の改善を効率良く行
うことができる。

【００３３】また第１１の発明は、各画素の彩度が抑制
された前記被処理画像に先鋭化を施す先鋭化手段をさら
に含み、前記先鋭化の度合は、前記彩度が抑制された被
処理画像の中の、前記補正された輝度が高い画素がある
部分ほど、強いことを特徴とする。

【００３４】本発明に従えば、前記画像処理装置は、第
１の画像処理装置に加えて、先鋭化手段をさらに備え
る。前記彩度が補正された被処理画像の中の、前記補正
された輝度が高い画素を含む領域ほど、前記先鋭化手段
の先鋭化の度合が強い。この結果、第１１の前記画像処
理装置は、前記彩度抑制手段で抑制されたランダムノイ
ズを増加させることなく、前記彩度が抑制された画像を
先鋭化することができる。したがって、先鋭化が施され
た前記被処理画像の画質は、各画素の彩度が抑制された
前記被処理画像の画質よりも良くなる。

【００３５】また第１２の発明は、複数の画素から構成
されるカラーの被処理画像の画質を改善するための画像
処理プログラムを記憶する媒体であって、前記画像処理
プログラムは、前記被処理画像の各画素の輝度を、予め
定める関数に基づいて、各画素毎にそれぞれ補正し、輝
度が補正された前記被処理画像の各画素の彩度を、前記
各画素の補正された輝度が低くかつ前記各画素の彩度が
高いほど、それぞれ抑制することを特徴とする画像処理
プログラムを記憶する媒体である。

【００３６】本発明に従えば、前記媒体は、上述の画像
処理プログラムを記憶する。ゆえに、前記画像処理プロ
グラムを前記コンピュータにインストールし、前記コン
ピュータに前記画像処理プログラムを実行させると、前
記コンピュータの中央演算処理回路が、第１の画像処理
装置の輝度補正手段および彩度抑制手段として働く。こ
の結果、前記コンピュータに与えられた被処理画像の画
質が向上する。ゆえに、前記コンピュータを用いて、請
求項１の画像処理装置を容易に実現することができる。

【００３７】

【発明の実施の形態】図１は、本発明の実施の一形態で
ある画像処理装置２２を含む画像作成装置２１の電気的
構成を示すブロック図である。画像作成装置２１は、画
像処理装置２２の他に、撮影装置２３を含む。画像処理
装置２２は、通信部２９と画質改善部３１と記憶部３０
とを含む。撮影装置２３は、光学処理部２５と撮像素子
２６とアナログ／デジタル変換回路２７と記憶部２８と
を含む。画像処理装置２２と撮像装置２３とは、接続ケ
ーブル３３を介して電気的に接続され、相互にデータや
信号を送受することができる。接続ケーブル３３は、た
とえば画像処理装置２２および撮影装置２３にそれぞれ
着脱可能であり、画像作成装置２１の操作者によって着
脱される。

【００３８】画像処理装置２２は、概略的には、単一の
被写体がそれぞれ写っている複数の画像を処理対象の画
像として、前記処理対象の複数の画像のうちの少なくと
も１つの画像の画質を改善するための、画質改善処理を
行う。画質が改善された前記少なくとも１つの画像を、
以後、「出力画像」と称する。撮影装置２３は、前記処
理対象の複数の画像をそれぞれ表す複数の画像データ３
５を得るために、概略的には、被写体を複数回連続して
撮影する。

【００３９】前記単一の画像データは、複数の画素が行
列状に配置されて構成される１枚のカラーの画像を表す
デジタルデータであり、複数の画素に個別に対応する複
数の画素データを含む。任意の１つの前記画素データ
は、対応する前記画素の色、すなわち輝度、彩度、およ
び色相を表すためのものであり、画像の表色系に応じた
１または複数の成分を含む。記憶部２８，３０は、一般
的に、複数の画像データの集合を、一括して読書きする
ことが多い。以後、複数の画像データの集合を、「画像
ファイル」と称する。

【００４０】単一の画像データを得るための１回の撮影
動作における、撮影装置２３内部の部品２５〜２８の概
略的な動作は、以下のとおりである。被写体および該被
写体の存在する空間からの光は、光学処理部２５を介し
て、撮像素子の結像面上に結像される。光学処理部２５
は、前記光が該光学処理部２５を通過する間に、前記光
に予め定める光学的な処理を施す。撮像素子２６は、前
記光を光電変換して、画像を表す電気信号である画像信
号を生成する。Ａ／Ｄ変換回路２７は、前記画像信号を
量子化して、前記画像データを生成する。前記画像デー
タは、撮影装置２３の記憶部２８に記憶される。以上の
動作が、１回の撮影動作における部品２５〜２８の動作
である。

【００４１】画像作成装置２１の操作者は、撮影装置２
３に前記処理対象の複数の画像データ３５を生成させる
ために、たとえば、撮影装置２３のアングルを固定し
て、撮影装置２３に備えられる操作部を複数回操作す
る。前記操作部は、上述の撮影動作の実行を指示するた
めのものであり、たとえばいわゆるシャッタボタンであ
る。前記操作部が操作されるたびに、撮影装置２３は上
述の手順で被写体を撮影する。前記撮影動作が複数回行
われる間、撮影装置２３のアングル、すなわち撮影装置
２３と前記被写体との位置関係は、最初の撮影時の位置
関係にほぼ保たれている必要がある。この結果、前記処
理対象の複数の画像データ３５が得られる。複数の画像
データ３５は、単一の画像ファイル３６を構成する。

【００４２】接続ケーブルによって撮影装置２３と画像
処理装置２２とが接続された状態で、通信部２９が動作
すると、画像ファイル３６は、撮影装置２３の記憶部２
８から接続ケーブル３３および通信部２９を介して、画
像処理装置２２の記憶部３０に与えられて記憶される。
画像ファイル３６が画像処理装置２２の記憶部３０に与
えられた後、該画像ファイル３６は、撮影装置２３の記
憶部２８に残っていても良く、残っていなくても良い。
画像処理装置２２の記憶部３０は、画像ファイルを、複
数記憶することができる。

【００４３】前記操作者は、画像処理装置２２の記憶部
３０内の全ての画像ファイルのうちから、いずれか１つ
の画像ファイルを選択して、該いずれか１つの画像ファ
イルを画像処理装置２２に指定し、画質改善部３１に、
前記いずれか１つの画像ファイル内の複数の画像データ
に基づく前記画質改善処理を行わせる。前記画質改善処
理の処理結果、すなわち、少なくとも１枚の出力画像を
表す画像データは、単一の画像ファイル３７を構成す
る。前記処理結果を示す前記画像ファイル３７は、記憶
部３０に再び記憶される。前記処理結果を示す画像ファ
イル３７を再生すると、前記画質改善処理の処理結果、
すなわち、前記出力画像が得られる。

【００４４】撮影装置２３は、たとえば、いわゆる電子
スチルカメラ、またはいわゆるビデオカメラで実現され
る。撮像素子２６は、たとえば、いわゆるＣＣＤ素子、
ＣＣＤイメージセンサで実現される。画像処理装置２２
の記憶部２８は、たとえば、ハードディスク装置で実現
される。撮影装置２３の記憶部３０は、たとえば、記録
媒体として、光磁気ディスク、たとえばいわゆるミニデ
ィスクを用いる記憶装置によって、実現される。光学処
理部７０は、たとえば、レンズを含む。

【００４５】また、撮影装置２３は、アナログ／デジタ
ル変換回路２７と記憶部２８との間に介在される画像圧
縮部を、さらに含んでいても良い。前記画像圧縮部は、
アナログ／デジタル変換回路２７から出力された前記画
像データを、予め定める圧縮方式に基づいて圧縮し、圧
縮された前記画像データを、記憶部２８に記憶させる。
前記圧縮方式は、たとえば、ＪＰＥＧ（Joint Photogra
phic coding ExpertGroup）である。これによって、前
記画像データのデータ量が、圧縮されていない画像デー
タよりも低減するので、記憶部２８に記憶される画像デ
ータの数を増加させることができる。さらにまた、撮影
装置２３は、内部の部品２５〜２８を制御するための連
続撮影制御部を予め備え、前記操作部が１回操作される
ことに応答して、前記連続撮影制御部が、内部の部品２
５〜２８に上述した手順の撮影動作を複数回繰返し実行
させても良い。これによって、操作者が１回操作部を操
作するだけで、前記画質改善処理に必要な複数の画像が
得られる。したがって、撮影装置２３の操作が簡単にな
るので、好ましい。

【００４６】以下に、画質改善部３１が行う画質改善処
理を、具体的に説明する。画質改善部３１内では、画像
は常に画像データの形態で取扱われる。以後の説明で
は、画像データおよび画素データを、該各データがそれ
ぞれ表す画像および画素に置き換えて説明し、画像デー
タを「画像」と称し、画素データを「画素」と称するこ
とがある。また、以後の説明では、記憶部３０内の全て
の画像ファイル３６のうちの、操作者に指定されたいず
れか１つの画像ファイル内の全ての画像データが、処理
対象の複数の画像であると仮定する。前記処理対象の複
数の画像は、撮影装置２３と被写体との位置関係をほぼ
保ったまま、撮影装置２３が被写体を複数回撮影して得
られたものである。

【００４７】前記被写体のある空間の照度が比較的低い
場合、前記処理対象の複数の画像それぞれには、いわゆ
るランダムノイズが重畳されている可能性がある。これ
は、一般的に、前記照度が低いほど、該被写体を撮影し
て得られる画像を構成する全ての画素の輝度がそれぞれ
低くなり、画素データに電気的および光学的な雑音が影
響し易くなるからである。前記雑音のうち、出現頻度や
出現箇所を一義的に定めることが困難なランダムノイズ
は、たとえば、前記撮像素子に起因して発生するいわゆ
るＣＣＤノイズを含む。以後、前記空間の照度が比較的
低い場合に、該空間内の被写体を撮影して得られた画像
を、「低照度画像」と称する。前記照度が比較的低い場
合とは、たとえば、真っ暗な室内に、いわゆるルームラ
イトが１つだけ点灯している場合であり、またたとえ
ば、夜間、屋外で蛍光灯が１つまたは２つ点灯している
場合である。

【００４８】また、前記処理対象の複数の画像は、単一
のシーンを撮影装置２３によって連続して撮影して得ら
れているので、相互に同じシーンが写っているはずだ
が、前記各画像内の前記被写体が写っている位置および
写っている被写体の形状の少なくとも一方が、前記複数
の画像間で相互にずれていることがある。上述のずれ
は、たとえば、前述した複数回の撮影が行われる間に、
被写体が動いたり、撮影装置２３がゆれたりしたため
に、生じる。前記撮影装置２３の揺れは、たとえば、撮
影装置２３を操作者が手で保持する場合、いわゆる手ぶ
れによって生じる。

【００４９】前記画質改善処理では、前記処理対象の複
数の画像のうちのいずれか１枚を、前記画質改善処理に
よって画質が改善される被処理画像である参照画像Ｉｒ
とする。また、前記複数の画像のうちの参照画像Ｉｒ以
外の残余の少なくとも１枚の画像、すなわち残余のＮ枚
の画像を、参照画像Ｉｒの画質の改善の参考にするため
の補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）とする。Ｎは、１以
上の任意の自然数である。また、１以上Ｎ以下の任意の
自然数をｎと記載する。

【００５０】また、処理対象の複数の画像Ｉｒ，Ｉｑ
（１）〜Ｉｑ（Ｎ）は、記憶部３０から画質改善部３１
に与えられた時点では、それぞれ、いわゆるＲＧＢ表色
系で表されているとする。画像Ｉｒ，Ｉｑ（１）〜Ｉｑ
（Ｎ）がＲＧＢ表色系で表される場合、任意の１つの前
記画素データは、３色の色成分Ｒｘ，Ｇｘ，Ｂｘ、すな
わちいわゆるＲ成分とＧ成分とＢ成分とを含む。各色成
分は、赤、緑、青の光の輝度を、それぞれ示す。以後の
説明では、各色成分Ｒｘ，Ｇｘ，Ｂｘは、前記各輝度を
表す数値、すなわち画素値を示すものとする。３色の色
の組合わせは、赤、緑、および青に限らず、混合して白
または黒になる複数の色の組合わせであれば、他の組合
わせでもよい。

【００５１】図２は、画質改善部３１の具体的な機能的
構成を示すブロック図である。画質改善部３１は、参照
用前処理部４１、特徴点抽出部４２、対応点探索部４３
（１）〜４３（Ｎ）、変形部４４（１）〜４４（Ｎ）、
補助用前処理部４５（１）〜４５（Ｎ）、複数枚合成部
４６、および後処理部４７を含む。参照用前処理部４１
は、輝度補正部５１と色ノイズ除去部５２とを含む。補
助用前処理部４３（１）〜４３（Ｎ）は、それぞれ、輝
度補正部５３（１）〜５３（Ｎ）と、色ノイズ除去部５
４（１）〜５４（Ｎ）とを含む。後処理部４７は、彩度
強調部５５と先鋭化部５６とを含む。対応点探索部４３
（１）〜４３（Ｎ）と、変形部４４（１）〜４４（Ｎ）
と、補助用前処理部４５（１）〜４５（Ｎ）とは、それ
ぞれ、前記処理対象の全ての画像の数Ｎ＋１よりも１つ
少ない数Ｎだけ、すなわち補助画像Ｉｑ（１）〜Ｉｑ
（Ｎ）と同じ数だけある。参照画像Ｉｒは、参照用前処
理部４１の輝度補正部５１と、特徴点抽出部４２と、全
ての対応点探索部４３（１）〜４３（Ｎ）とに与えられ
る。各補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）は、各対応点探
索部４３（１）〜４３（Ｎ）と、各変形部４４（１）〜
４４（Ｎ）とに、それぞれ与えられる。

【００５２】任意の１つの対応点探索部４３（ｎ）と任
意の１つの変形部４４（ｎ）と任意の１つの補助用前処
理部４５（ｎ）とが、任意の１つの補助画像Ｉｑ（ｎ）
に処理を施すために用いられる。以後の説明では、画質
改善部３１内の、参照符の沿え字ｎの値が相互に等しい
いずれか１つの部４３（ｎ），４４（ｎ），４５（ｎ）
を含む部分が、参照符の沿え字（ｎ）の等しいいずれか
１つの補助画像Ｉｑ（ｎ）に対する処理に用いられるも
のとする。前記部分を、「補助処理部４８（ｎ）」と称
する。各補助処理部４８（１）〜４８（Ｎ）およびその
内部の部の動作は、全ての補助画像Ｉｑ（１）〜Ｉｑ
（Ｎ）のうちのどれが処理対象であるかだけが異なり、
他は相互に等しい。ゆえに、以後の説明では、各対応点
探索部４３（１）〜４３（Ｎ）と、各変形部４４（１）
〜４４（Ｎ）と、各補助用前処理部４５（１）〜４５
（Ｎ）とのそれぞれの動作を、いずれか１つの補助処理
部４８（ｎ）内の対応点探索部４３（ｎ）と変形部４４
（ｎ）と参照用前処理部４５（ｎ）とを例として、説明
する。

【００５３】参照用前処理部４１は、参照画像Ｉｒに、
予め定める前処理を施す。前記前処理には、参照画像Ｉ
ｒ全体の輝度を向上させるための輝度補正処理と、輝度
が補正された参照画像Ｉｒ＊から色ノイズを除去するた
めの色ノイズ除去処理とが含まれる。すなわち、まず参
照用前処理部４１の輝度補正部５１が、輝度補正処理と
して、予め定める関数に基づいて、参照画像Ｉｒの各画
素の輝度を、画素毎に補正する。次いで、参照用前処理
部４１の色ノイズ除去部５２は、色ノイズ除去処理とし
て、輝度補正部４１で画素の輝度が補正された参照画像
Ｉｒ＊内のランダムノイズを抑制するために、該参照画
像Ｉｒ＊の中の各画素の彩度を、それぞれ抑制する。任
意の１つの画素の彩度の抑制の度合は、該画素自体の輝
度が低いほど、かつ該画素自体の彩度が高いほど、大き
い。前記ランダムノイズは、画像の色ノイズの原因の１
つであり、後述するように、輝度補正部５１が輝度補正
処理を参照画像Ｉｒに施したことに起因して、増幅され
る。この結果、参照画像Ｉｒに前記前処理が施される。
前記前処理が施された参照画像Ｉｒ＄は、色ノイズ除去
部５２から合成部４６に与えられる。

【００５４】特徴点抽出部４２は、参照画像Ｉｒ内か
ら、複数の特徴点ｐａ１〜ｐａＭを抽出して、参照画像
Ｉｒ内での複数の特徴点ｐａ１〜ｐａＭの参照画像Ｉｒ
内の座標を、全ての対応点探索部４３（１）〜４３
（Ｎ）にそれぞれ与える。特徴点ｐａ１〜ｐａＭは、参
照画像Ｉｒと補助画像Ｉｑ（ｎ）とのずれを検出するた
めの基準として用いられる。本実施形態では、特徴点の
数Ｍは３点であると仮定する。特徴点ｐａ１〜ｐａＭ
は、それぞれ、参照画像Ｉｒの中の、輝度が低い画素を
多く含む低輝度領域以外の残余の領域内の点であること
が好ましい。

【００５５】いずれか１つの対応点探索部４３（ｎ）
は、まず、単一の補助画像Ｉｑ（ｎ）内から、複数の特
徴点ｐａ１〜ｐａＭに個別に対応する複数の対応点ｐｂ
１〜ｐｂＭを、探索する。次いで前記対応点探索部４３
（ｎ）は、参照画像Ｉｒ内の複数の特徴点ｐａ１〜ｐａ
Ｍ同士の位置関係と、前記補助画像Ｉｑ（ｎ）内の複数
の対応点ｐｂ１〜ｐｂＭ同士の位置関係とに基づいて、
参照画像Ｉｒと前記単一の補助画像Ｉｑ（ｎ）とのずれ
を求める。前記ずれを表すずれ情報は、前記対応点探索
部４３からいずれか１つの変形部４４（ｎ）に、与えら
れる。

【００５６】前記変形部４４（ｎ）は、前記ずれ情報に
基づいて、参照画像Ｉｒと前記補助画像Ｉｑ（ｎ）との
前記ずれを相殺するために、前記補助画像Ｉｑ（ｎ）を
変形する。変形された前記補助画像Ｉｑ（ｎ）は、いず
れか１つの補助用前処理部４５（ｎ）の輝度補正部５３
（ｎ）に与えられる。前記補助用前処理部４５（ｎ）
は、変形された前記補助画像Ｉｑ（ｎ）に、参照用前処
理部４１で行われたものと同じ前処理を施す。すなわ
ち、まず輝度補正部５３（ｎ）は、参照用前処理部４１
の輝度補正部５１と同じ手法で、変形された前記補助画
像Ｉｑ（ｎ）の各画素の輝度を、画素単位で補正する。
前記補助用前処理部４５（ｎ）内の色ノイズ除去部５４
（ｎ）は、参照用前処理部４１の色ノイズ除去部５２と
同じ手法で、前記輝度補正部５３（ｎ）で画素の輝度が
補正された補助画像Ｉｑ（ｎ）から、色ノイズを除去す
る。この結果、前記変形された補助画像Ｉｑ（ｎ）に、
前記前処理が施される。前記前処理が施された補助画像
Ｉｑ（ｎ）＄は、色ノイズ除去部５４（ｎ）から合成部
４６に与えられる。

【００５７】合成部４６は、前記前処理が施された参照
画像Ｉｒ＄および前記前処理が施された全ての補助画像
Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄を合成して、１枚の合成画
像Ｉｓを生成する。後処理部４７は、合成画像Ｉｓの画
質を向上させるための後処理を、合成画像Ｉｓに施す。
前記後処理は、前記輝度補正処理や前記色ノイズ除去処
理に起因して失われた彩度を補償するための彩度強調処
理と、合成画像Ｉｓ内に写る被写体の像の輪郭のぼけを
回復させるための先鋭化処理とを、含む。すなわち、ま
ず彩度強調部５５は、彩度強調処理として、参照画像Ｉ
ｒの各画素の輝度および彩度を参照して、合成画像Ｉｓ
の各画素の彩度を、該各画素の輝度が大きいほど強調す
る。次いで、先鋭化部５６は、先鋭化処理として、各画
素の彩度が強調された合成画像Ｉｓを先鋭化する。これ
によって、先鋭化部５６から、画質改善処理の処理結果
である１枚の出力画像Ｉｏが、出力される。

【００５８】図３は、参照用前処理部４１の輝度補正部
５１の具体的な機能的構成を説明するブロック図であ
る。輝度補正部５１は、単一の画素データの色成分の数
と同数の加算部６１（１）〜６１（３）および輝度変換
部６２（１）〜６２（３）と、単一のテーブル記憶部６
３とを含む。輝度補正部５１は、いわゆるガンマ補正を
行う。このために、前記関数の特性、すなわち、画素デ
ータの輝度変換前の各色成分Ｒｘ，Ｇｘ，Ｂｘの画素値
と、画素データの輝度変換後の各色成分のＲｙ，Ｇｙ，
Ｂｙの画素値Ｘとの対応関係を表す輝度補正ルックアッ
プテーブルが、テーブル記憶部６３に記憶される。

【００５９】図４は、前記輝度補正ルックアップテーブ
ルの特性曲線６４を示すグラフである。図４のグラフの
横軸は、輝度変換前の各色成分Ｒｘ，Ｇｘ，Ｂｘの画素
値ｘを示し、縦軸は輝度変換後の各色成分Ｒｙ，Ｇｙ，
Ｂｙの画素値Ｘを示す。輝度補正部６４がガンマ補正を
行うので、特性曲線６４はいわゆる一般的なガンマ曲線
になっている。すなわち、輝度変換前の画素値ｘが小さ
いほど、画素値ｘの増幅率が大きい。ゆえに、輝度変換
前の画素値ｘが小さいほど、前記輝度変換前の画素値ｘ
と該画素値ｘの輝度変換後の画素値Ｘ（ｘ）との差が大
きい。

【００６０】再び図３を参照する。参照画像Ｉｒの全て
の画素データは、１つずつ、輝度補正部５１に与えられ
る。全ての画素データのうちのいずれか１つの画素デー
タが与えられた時点の輝度補正部５１の動作は、以下の
とおりである。各加算部６１（１）〜６１（３）は、前
記画素データの各色成分Ｒｘ，Ｇｘ，Ｂｘと予め定める
基準補正値αとを加算して、前記各色成分Ｒｘ，Ｇｘ，
Ｂｘと基準補正値αとの和Ｒｘ＋α，Ｇｘ＋α，Ｂｘ＋
αを、各輝度変換部６２（１）〜６２（３）にそれぞれ
与える。基準補正値αは、前記色成分と比較して充分に
小さい予め定める定数であり、たとえば、色成分の最大
値が２５５である場合に、３〜５程度である。各輝度変
換部６２（１）〜６２（３）は、前記輝度補正ルックア
ップテーブルに基づいて、和Ｒｘ＋α，Ｇｘ＋α，Ｂｘ
＋αをそれぞれ輝度変換して、前記輝度変換後の各色成
分Ｒｙ，Ｇｙ，Ｂｙを得る。前記輝度変換後の３つの色
成分Ｒｙ，Ｇｙ，Ｂｙが、輝度補正後の画素データに含
まれる。以上が、前記時点の輝度補正部５１の動作であ
る。

【００６１】輝度補正部５１は、参照画像Ｉｒを表す画
像データ内の画素データが１つ与えられるたびに、上述
の動作を繰返す。この結果、参照画像Ｉｒの全ての画素
に個別に対応する前記輝度補正後の画素データ内の前記
色成分Ｒｙ，Ｇｙ，Ｂｙが、輝度補正部５１から順次出
力される。全ての前記輝度補正後の画素データの集合
が、輝度が補正された参照画像Ｉｒ＊を表す画像データ
に相当する。

【００６２】輝度補正部５１が、基準補正値αを輝度変
換前の色成分Ｒｘ，Ｇｘ，Ｂｘに加算してから、輝度変
換を行うのは、以下の理由からである。一般的に、撮影
装置２３によって得られる画像は、輝度の低い画素の色
成分ほど、ランダムノイズ等の雑音の影響を強く受け
る。ゆえに、前記画像が前記低照度画像である場合、該
画像の画素の色成分のＳ／Ｎ比は、前記低照度画像以外
の他の画像の画素の色成分のＳ／Ｎ比よりも悪い。ま
た、一般的なガンマ補正処理では、処理対象の画像の各
画素の輝度変換前の色成分Ｒｘ，Ｇｘ，Ｂｘを、そのま
ま、テーブル記憶部６３内の前記輝度補正ルックアップ
テーブルを参照して輝度変換しているので、輝度の低い
画素の色成分ほど増幅率が大きい。これらのことから、
前記一般的なガンマ補正処理に基づいて前記輝度の低い
画素の色成分を増幅した場合、前記ランダムノイズも増
幅してしまう。その結果、前記一般的なガンマ補正処理
後の前記画像内の低輝度部分に、目障りなノイズが発生
する。前記低輝度部分とは、前記ランダムノイズの影響
を受け易い画素を多く含む領域、すなわち、予め定める
基準輝度よりも輝度の低い画素を多く含む領域である。
これによって、前記一般的なガンマ補正処理によって、
前記画像全体の画質が大きく損なわれる。

【００６３】上述した画質の劣化に対する対策として、
画像処理装置２２の輝度補正部５１は、一般的なガンマ
補正処理を行う前に、各色成分Ｒｘ，Ｇｘ，Ｂｘに予め
定めるわずかな値、すなわち基準補正値αを加算してか
ら、上記輝度補正処理を行う。一般的に、前記低照度画
像内の前記ランダムノイズは、非常にレベルの低い高彩
度画素値として現れる。すなわち、前記低照度画像内の
画素は、画素の輝度が低いほど前記ランダムノイズの影
響を強く受け、かつ、前記ランダムノイズの影響を受け
た画素は、影響を受ける前の本来の彩度よりも、彩度が
高くなる。前記輝度補正処理を行う前に、基準補正値α
を輝度変換前の各色成分Ｒｘ，Ｇｘ，Ｂｘに加算する
と、各色成分Ｒｘ，Ｇｘ，Ｂｘがかさ上げされることに
なる。

【００６４】図４に示すように、加算前の画素値ｘと該
画素値ｘの輝度変換後の画素値Ｘ（ｘ）との比と、加算
後の画素値ｘ＋αと該画素値の輝度変換後の画素値Ｘ
（ｘ＋α）との比とを比較すると、前者の画素値ｘより
も後者の画素値ｘ＋αのほうが増幅率が小さいので、前
者の比よりも後者の比のほうが小さくなる。これによっ
て、輝度変換前の色成分Ｒｘ，Ｇｘ，Ｂｘの画素値が低
いほど、基準補正値αの加算に起因する彩度抑制の効果
が強く現れる。したがって、前記輝度補正処理を行う前
に基準補正値αを各色成分Ｒｘ，Ｇｘ，Ｂｘの画素値に
加算することによって、画像内の低輝度領域に発生する
ランダムノイズを、抑制することができるのである。

【００６５】輝度補正部５１は、図４の特性曲線６４で
示す特性の輝度補正ルックアップテーブルの代わりに、
図５の特性曲線６５で示す特性の輝度補正ルックアップ
テーブルを備えてもよい。特性曲線６５は、特性曲線６
４を、画素値ｘが減少する方向、すなわち紙面の左方向
に、基準補正値αだけ平行移動させたものに相当する。
ゆえに、図５の特性曲線６５の形状は、いわゆる一般的
なガンマ曲線と等しく、かつ、輝度変換前の画素値ｘ
に、図４の特性曲線６４において画素値ｘと基準補正値
αとの和ｘ＋αに対応する輝度変換後の画素値Ｘ（ｘ＋
α）が対応する。

【００６６】図５の特性曲線６５が示す特性の輝度補正
ルックアップテーブルをテーブル記憶部６３に記憶する
場合、輝度補正部５１は、前記輝度補正ルックアップテ
ーブルを参照して、輝度変換前の各色成分Ｒｘ，Ｇｘ，
Ｂｘをそのまま輝度変換する。この結果、画素値ｘと基
準補正値αとの和ｘ＋αに対応する輝度変換後の画素値
Ｘ（ｘ＋α）を得ることができる。したがって、輝度補
正処理に図５の輝度補正ルップアップテーブルを用いる
場合、輝度変換前の各色成分Ｒｘ，Ｇｘ，Ｂｘに基準補
正値αを加算する手間を省くことができる。またこの場
合、輝度補正部５１から全ての加算部６１（１）〜６１
（３）を除くことができるので、輝度補正部５１の構成
が簡略化される。さらに、前記場合、輝度補正部５１
は、一般的なガンマ補正を行う輝度補正部と比較して、
輝度補正ルックアップテーブルだけを書換えればよいの
で、実現が容易になる。

【００６７】上述したように、各色成分の画素値Ｒｘ，
Ｇｘ，Ｂｘに基準補正値αを加算して輝度変換するだけ
では、前記ランダムノイズを完全に抑制することは困難
である。ゆえに、色ノイズ除去部５２，５４（１）〜５
４（Ｎ）、および、合成部４６を用いて、さらにランダ
ムノイズを抑制するのである。

【００６８】また、前記輝度補正処理は、基準補正値α
を加算してからガンマ補正を行うことに限らず、基準補
正値αを加算してからガンマ補正以外の他の輝度補正処
理を行っても良い。前記他の輝度補正処理とは、たとえ
ば、表示装置の階調特性に応じたいわゆる階調補正処理
である。さらに、前記輝度補正処理は、前記基準補正値
αを加算せずに、一般的な輝度補正処理、たとえばガン
マ補正や階調補正処理だけを行っても良い。

【００６９】以下に、色ノイズ除去部５２が行う色ノイ
ズ除去処理を、具体的に説明する。色ノイズ除去部５２
は、輝度が補正された参照画像Ｉｒ＊内のランダムノイ
ズを抑制するために、該参照画像Ｉｒ＊の中の各画素の
彩度を、該各画素自体の輝度が低いほど、かつ該各画素
自体の彩度が高いほど、抑制させる。これは、以下の理
由からである。

【００７０】前記ランダムノイズの主原因である前記Ｃ
ＣＤノイズは、画像内の前記低輝度領域に発生する。前
記ＣＣＤノイズは、前記低輝度領域内の画素の色成分を
偏らせる傾向を示す。すなわち前記ＣＣＤノイズが重畳
された画素は、該画素の画素データに含まれる全ての色
成分のうちのいずれか１つまたはいずれか２つの色成分
の画素値は０よりも充分大きいが、前記全ての色成分の
うちの残余の色成分の画素値は０に近いになる傾向があ
る。さらに、前記ＣＣＤノイズが前記全ての色成分のう
ちの一部の色成分にだけ重畳されるため、前記全ての色
成分の構成、すなわち前記全ての色成分の相対的な比率
が偏ることがある。また、ＣＣＤノイズが重畳されたこ
とによって、前記全ての色成分から構成される画素デー
タが示す本来の情報が破壊されることがあり、この場合
も前記全ての色成分の構成が偏る。すなわち、前記ラン
ダムノイズは、いわゆる色ノイズになっている。

【００７１】前記全ての色成分の構成が偏る場合、該全
ての色成分を含む画素データが示す画素の彩度は、前記
構成が偏っていない画素データと比較して、極端に大き
くなる。このような理由によって彩度が大きくなった画
素が、画像内に局所的に存在することが、前記ランダム
ノイズを目立たせる原因となっている。したがって、前
記ランダムノイズの発生しがちな前記低輝度領域内の画
素のうち、彩度が高い画素の彩度を低減させることによ
って、前記ランダムノイズだけを選択的に抑制すること
ができるのである。

【００７２】色ノイズ除去処理の具体的な手法として、
画素データの表色系をＲＧＢ表色系からＨＳＶ表色系に
変換してから該画素データの彩度成分Ｓだけを抑制する
第１の手法と、画素データの各色成分Ｒｙ，Ｇｙ，Ｂｙ
を直接抑制する第２の手法とがある。まず、第１の手法
を説明する。

【００７３】図６は、参照用前処理部４１の、第１の手
法を用いる色ノイズ除去部５２の具体的な電気的構成を
示すブロック図である。色ノイズ除去部５２は、第１お
よび第２表色系変換器６６，６８と彩度抑制部６７とを
含む。輝度が補正された参照画像Ｉｒ＊を示す画素デー
タ内の全ての画素データは、１つずつ、色ノイズ除去部
５２に与えられる。全ての画素データのうちのいずれか
１つの画素データが与えられた時点の色ノイズ除去部５
２の動作は、以下のとおりである。

【００７４】まず、第１表色系変換器６６は、前記いず
れか１つの画素データの表色系を、ＲＧＢ表色系から、
いわゆるＨＳＶ表色系に変換する。前記画素データがＨ
ＳＶ表色系で表される場合、前記画素データは、色相を
示す色相成分Ｈと、彩度を示す彩度成分Ｓと、輝度を示
す輝度成分Ｖとを含む。以後の説明では、上述の各成分
Ｈ，Ｓ，Ｖは、色相、彩度、および輝度の大きさをそれ
ぞれ表す数値、すなわち画素値を示すと仮定する。この
結果、前記画素データ内の３つの色成分Ｒｙ，Ｇｙ，Ｂ
ｙが、色相成分Ｈ、彩度成分Ｓ、および輝度成分Ｖに変
換される。また、この変換の際に、彩度成分Ｓと輝度成
分Ｖとは、それぞれ０以上１以下の範囲で正規化されて
いる。正規化された輝度および彩度成分Ｖ，Ｓが示す画
素値は、それぞれ、０以上１以下の範囲内の実数にな
る。色相成分Ｈと輝度成分Ｖとは、第２表色系変換器６
８に与えられる。彩度成分Ｓと輝度成分Ｖとは、彩度抑
制部６７に与えられる。

【００７５】彩度抑制部６７は、概略的には、第１表色
系変換器６６からの彩度成分Ｓと輝度成分Ｖとに基づい
て、輝度成分Ｖが低いほど、かつ彩度成分Ｓが高いほ
ど、該彩度成分Ｓを抑制する。この結果、抑制された彩
度成分Ｓ＊が得られる。

【００７６】具体的には、彩度抑制部６７は、まず、輝
度および彩度成分Ｖ，Ｓを用い、式１および式２に示す
輝度および彩度の評価関数に基づいて、輝度評価係数ｋ
ｉおよび彩度評価係数ｋｓをそれぞれ求める。以下の式
において、「Ｉ」は正規化された輝度成分Ｖである。
「Ｓ」は正規化された彩度成分Ｓである。「Ｐｉ」およ
び「Ｐｓ」は、前記輝度および彩度の評価関数の変化の
度合を決めるための変化係数である。「Ｉｔ」および
「Ｓｔ」は、前記輝度および彩度の評価関数の閾値であ
る。各変化係数Ｐｉ，Ｐｓは、たとえばそれぞれ０．５
である。輝度の評価関数の閾値Ｉｔは、たとえば０．１
であり、彩度の評価関数の閾値Ｓｔは、たとえば０．９
である。

【００７７】 ｋｉ ＝ １−１÷(１＋ｅｘｐ(−Ｐｉ×(Ｉ−Ｉｔ))) …（１） ｋｓ ＝ １÷(１＋ｅｘｐ(−Ｐｓ×(Ｓ−Ｓｔ))) …（２） 図７は、正規化された輝度成分Ｖと輝度評価係数ｋｉと
の関係を表す特性曲線６９を示すグラフである。図７で
は、輝度の評価関数の閾値Ｉｔが、ほぼ０．５であると
仮定する。輝度評価係数ｋｉは０以上１以下の範囲内の
実数であり、０以上１以下の範囲内で輝度成分Ｖが大き
いほど、輝度評価係数ｋｉは小さい。輝度評価係数ｋｉ
の変化率、すなわち輝度評価係数ｋｉの特性曲線６９の
傾きは、常に負である。さらに、前記変化率の絶対値
は、輝度成分Ｖが０以上閾値Ｉｔ未満の第１輝度範囲Ｗ
Ｖ１内の値である場合、輝度成分Ｖが大きいほど大き
く、輝度成分Ｖが閾値Ｉｔ以上１以下の第２輝度範囲Ｗ
Ｖ２内の値である場合、輝度成分Ｖが大きいほど小さ
い。

【００７８】図８は、正規化された彩度成分Ｓと彩度評
価係数ｋｓとの関係を示す特性曲線７０を示すグラフで
ある。図８では、彩度の評価関数の閾値Ｓｔが、ほぼ
０．５であると仮定する。彩度評価係数ｋｓは０以上１
以下の実数であり、０以上１以下の範囲内で彩度成分Ｓ
が大きいほど、彩度評価係数ｋｓは大きい。彩度評価係
数ｋｓの変化率、すなわち彩度評価係数ｋｓの特性曲線
７０の傾きは、常に正である。さらに、前記変化率の絶
対値は、彩度成分Ｓが０以上閾値Ｓｔ未満の第１彩度範
囲ＷＳ１内の値である場合、彩度成分Ｓが大きいほど大
きく、彩度成分Ｓが閾値Ｓｔ以上１以下の第２彩度範囲
ＷＳ２内の値である場合、彩度成分Ｓが大きいほど小さ
い。

【００７９】再び図６を参照する。続いて彩度抑制部６
７は、式３に示すように、輝度評価係数ｋｉと彩度評価
係数ｋｓとの積を、画素の低輝度かつ高彩度の度合を評
価するための画素評価係数ｋとして、求める。この結
果、画素評価係数ｋは、輝度成分Ｖが高いほど、かつ彩
度成分Ｓが低いほど、大きくなる。最後に、彩度抑制部
６７は、画素評価係数ｋを用い、式４に基づいて、表色
系変換器６６から与えられた彩度成分Ｓを変換する。以
下の式で、「λ」は、画素評価係数ｋと比較して充分に
小さい予め定める定数であり、式４の分母が特異、すな
わち０になることを防止するために、画素評価係数ｋに
加算される。定数λは、式５に示すように０以上１以下
の実数であり、かつ、０に極めて近い。前記変換の結果
得られる抑制された彩度Ｓ＊は、彩度抑制部６７から第
２表色系変換器６８に与えられる。

【００８０】 ｋ ＝ ｋｉ×ｋｓ …（３） Ｓ＊ ＝ Ｓ÷（ｋ＋λ） …（４） ０＜λ＜＜１ …（５） 彩度成分Ｓの変換に画素評価係数ｋが用いられているの
で、彩度成分Ｓの抑制の度合に、輝度成分Ｖおよび彩度
成分Ｓとの評価が反映される。すなわち、彩度抑制前の
画素データの輝度成分Ｖが低いほど、かつ、該画素デー
タの彩度成分Ｓが大きいほど、画素評価係数ｋが大きく
なるので、彩度成分Ｓの増幅率が小さくなるため、彩度
成分Ｓの抑制の度合が大きくなる。色相成分Ｈ、抑制さ
れた彩度成分Ｓ＊、および輝度成分Ｖは、彩度抑制後の
画素データがＨＳＶ表色系で表される場合の、該画素デ
ータに含まれる。第２表色系変換器６９は、彩度抑制後
の画素データの表色系を、ＨＳＶ表色系からＲＧＢ表色
系に変換する。この結果、色相成分Ｈ、抑制された彩度
成分Ｓ＊、および輝度成分Ｖが、彩度抑制後の画素デー
タの３つの色成分Ｒｚ，Ｇｚ，Ｂｚに変換される。以上
が、前記時点の色ノイズ除去部５２の動作である。

【００８１】色ノイズ除去部５２は、輝度補正後の参照
画像Ｉｒ＊を表す画像データ内の画素データが１つ与え
られるたびに、上述の動作を繰返す。この結果、前記参
照画像Ｉｒ＊の全ての画素に個別に対応する彩度抑制後
の画素データの色成分Ｒｚ，Ｇｚ，Ｂｚが、色ノイズ除
去部５２から順次出力される。全ての前記彩度抑制後の
画素データの集合が、前記前処理が施された参照画像Ｉ
ｒ＄を表す画像データに相当する。以上で第１の手法を
用いた色ノイズ除去処理の説明を終了する。

【００８２】次いで、色ノイズ除去処理の前記第２の手
法を、以下に説明する。輝度が補正された参照画像Ｉｒ
＊を示す画像データ内の全ての画素データは、１つず
つ、色ノイズ除去部５２に与えられる。第２の手法を用
いる色ノイズ除去部５２は、概略的には、ランダムノイ
ズを抑制するために、前記画素データが１つ与えられる
たびに、該画素データＲｙ，Ｇｙ，Ｂｙの３つの色成分
の平均値ａｃ１をそれぞれ求め、該画素データの輝度成
分が低くかつ該画素データの彩度成分が高いほど、前記
３つの色成分Ｒｙ，Ｇｙ，Ｂｙを色成分の平均値ａｃに
近い値にそれぞれ置換える。前記全ての画素データのう
ちのいずれ１つの画素データが与えられた時点の色ノイ
ズ除去部５２の動作は、以下のとおりである。

【００８３】まず、色ノイズ除去部５２は、前記いずれ
か１つの画素データの表色系を、ＲＧＢ表色系から、い
わゆるＨＳＶ表色系に変換し、さらに、ＨＳＶ表色系の
画素データの彩度および輝度成分Ｓ，Ｖを、０以上１以
下の範囲で正規化する。次いで、式１，２に基づいて、
輝度および彩度評価係数ｋｉ，ｋｓを求め、さらに式３
に基づいて、画素評価係数ｋを求める。次いで、式６に
基づいて、表色系の変換前の前記いずれか１つの画素デ
ータの３つの色成分Ｒｙ，Ｇｙ，Ｂｙの平均値ａｃ１を
求める。最後に、画素評価係数ｋと色成分の平均値ａｃ
とを用い、式７〜式９に基づいて、彩度抑制後の画素デ
ータの３つの色成分Ｒｚ，Ｇｚ，Ｂｚをそれぞれ求め
る。この結果、彩度抑制後の画素データの各色成分Ｒ
ｚ，Ｇｚ，Ｂｚは、画素評価係数ｋが大きいほど、すな
わち前記彩度抑制前の画素データの輝度成分Ｖが低くか
つ該画素データの彩度成分Ｓが高いほど、色成分の平均
値ａｃにそれぞれ近づく。

【００８４】 ｋｉ ＝ １−１÷(１＋ｅｘｐ(−Ｐｉ×(Ｉ−Ｉｔ))) …（１） ｋｓ ＝ １÷(１＋ｅｘｐ(−Ｐｓ×(Ｓ−Ｓｔ))) …（２） ｋ ＝ ｋｉ×ｋｓ …（３） ａｃ ＝ (Ｒｙ＋Ｇｙ＋Ｂｙ)÷３ …（６） Ｒｚ ＝ ｋ×（ａｃ１−Ｒｙ）＋Ｒｙ …（７） Ｇｚ ＝ ｋ×（ａｃ１−Ｇｙ）＋Ｇｙ …（８） Ｂｚ ＝ ｋ×（ａｃ１−Ｂｙ）＋Ｂｙ …（９） 第２の手法のように、彩度抑制後の３つの色成分Ｒｚ，
Ｇｚ，Ｂｚを、色成分の平均値ａｃを用いて彩度補正前
の３つの色成分Ｒｙ，Ｇｙ，Ｂｙを直接変換して求める
場合、第１の手法よりも、計算量を減少させることがで
きる。これは、以下の理由からである。一般的に、デジ
タルデータ化された画像、すなわち画像データは、撮像
装置２３および画像処理装置２２の記憶部２８，３０に
保存される際に、ＲＧＢ表色系を用いていることが多
い。ゆえに、色ノイズ処理部５２から出力される画像デ
ータの表色系も、ＲＧＢ表色系にしておく必要がある。
ゆえに、前記第１の手法では、彩度抑制処理後に表色系
の変換を行う必要があるが、第２の手法では表色系の変
換を行う必要がない。ゆえに、第１の手法よりも第２の
手法のほうが、計算量上有利となるのである。以上で第
２の手法を用いる色ノイズ除去処理の説明を終了する。

【００８５】第１および第２の手法のどちらにおいて
も、画素評価係数ｋは、前記ランダムノイズの分布しや
すい画素データほど、すなわち輝度が低くかつ彩度が高
い画素の画素データほど、１に近づくように定義され
る。また、画素評価係数ｋが１に近づくほど、彩度抑制
後の色成分Ｒｚ，Ｇｚ，Ｂｚは、色成分の平均値ａｃ１
に近づく。これによって、第１および第２の手法のどち
らも用いても、各色成分Ｒｙ，Ｇｙ，Ｂｙ内の前記ラン
ダムノイズの成分が白色化され、彩度が抑制されるの
で、ランダムノイズが除去された後の参照画像Ｉｒ＄
は、前記ランダムノイズが目立ちにくくなっている。

【００８６】第１および第２手法を用いた色ノイズ除去
部５２の説明では、輝度が補正された画像の画素データ
の表色系が、ＲＧＢ表色系であるとしているが、該表色
系は他の表色系でもよい。たとえば、前記表色系がＹＵ
Ｓ表色系である場合、画素データは、輝度成分Ｙと２種
類の色差成分Ｕｃ，Ｓｃとを含む。この場合、色ノイズ
除去部５２は、最初に、式１０に示すように輝度成分Ｖ
として上記輝度成分Ｙをそのまま用い、かつ彩度成分Ｓ
を、式１１に示すように求めてもよい。また、この場合
に色ノイズ除去部５２が第１の手法を用いる場合、第２
表色系変換器６８は、抑制された彩度成分Ｓ＊を式１１
の逆関数を用いて２種類の彩度成分に変換し、さらに前
記輝度成分Ｙを加えて、ＹＵＳ表色系に変換すればよ
い。

【００８７】 輝度成分Ｖ ＝ Ｙ …（10） 彩度成分Ｓ ＝ √（Ｕｃ² ＋Ｓｃ² ） …（11） また、上述したように、輝度が補正された参照画像Ｉｒ
＊の各画素の彩度の抑制の度合を、画素評価係数ｋが大
きくなるのに伴って連続的に大きくする代わりに、画素
の輝度成分Ｖが予め定める輝度の閾値以上であり、かつ
該画素の彩度成分Ｓが予め定める彩度の閾値未満である
かどうかを、前記参照画像Ｉｒ＊の各画素毎にそれぞれ
調べ、輝度成分Ｖが前記輝度の閾値以上であり彩度成分
Ｓが前記彩度の閾値未満である画素の彩度だけを、抑制
するようにしてもよい。以上で、色ノイズ除去部５２の
説明を終了する。

【００８８】以下に、特徴点抽出部４２が行う特徴点の
探索処理を、図９を用いて、詳細に説明する。参照画像
Ｉｒおよび補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）が前記低照
度画像である場合、各画像Ｉｒ，Ｉｑ（１）〜Ｉｑ
（Ｎ）内に、対応点の探索処理に充分な特徴点情報を持
つ画素が該各画像全面に分布することは少なく、前記特
徴点情報をもつ画素は該各画像内の一部分に偏在してい
ると考えられる。特徴点情報とは、後述する対応点探索
のためのマッチング処理に必要なテキスチャを定めるた
めの情報である。したがって、特徴点抽出部４２は、各
補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）上の対応点の探索処理
に、最も適している参照画像Ｉｒ内の画素を、特徴点ｐ
ａ１〜ｐａＭとして抽出する必要がある。

【００８９】このため、特徴点抽出部４２は、以下の手
順で特徴点ｐａ１〜ｐａＭを抽出する。以下の説明で
は、特徴点の数Ｍを３と仮定する。まず、特徴点抽出部
４２は、参照画像Ｉｒ内に、特徴点の数Ｍと同じ数の特
徴点探索領域８１〜８３を、図９に示す配置で設定す
る。図９は、参照画像Ｉｒ内の特徴点探索領域８１〜８
３の配置状態を示す模式図である。各特徴点探索領域８
１〜８３は、参照画像Ｉｒよりも小さい。また、特徴点
探索領域８１〜８３は、相互に予め定める適当な距離だ
け離れ、かつ、各特徴点探索領域８１〜８３の基準点を
頂点とする仮想の図形がほぼ正三角形になるように、配
置される。前記適当な距離とは、たとえば、参照画像Ｉ
ｒの幅の２０％〜３０％である。次いで、特徴点抽出部
４２は、各特徴点探索領域８１〜８３内からそれぞれ、
特徴点を１つずつ探索する。この結果、３つの特徴点ｐ
ａ１〜ｐａ３が得られる。

【００９０】いずれか１つの特徴点探索領域内から、単
一の特徴点を抽出する手法を、以下に説明する。本実施
形態では、特徴点抽出部４２は、まず、いずれか１つの
特徴点抽出領域内の全ての画素それぞれについて、式１
２に示す特徴点情報の分散値ｋｐを求める。具体的に
は、いずれか１つの画素の分散値ｋｐは、前記いずれか
１つの画素および該画素の近傍画素それぞれの輝度値ｙ
ｉと、前記いずれか１つの画素および該画素の近傍画素
の輝度値の平均値ａｙとの差の絶対値｜ｙｉ−ａｙ｜の
総和Σ｜ｙｉ−ａｙ｜を、前記いずれか１つの画素およ
び前記近傍画素の数Ｎで除算した値である。次いで、特
徴点抽出部４２は、前記全ての画素の分散値ｋｐを相互
に比較して、最も分散値ｋｐが大きい画素を、特徴点と
する。

【００９１】 ｋｐ ＝ Σ_i｜ｙｉ−ｙ｜÷Ｎ …（12） 前述の輝度値ｙとは、画素の輝度を示す数値であり、該
画素のＲＧＢ表色系で示される画素データの３つの色成
分Ｒ，Ｇ，Ｂから経験的に導かれる。前記輝度値と、前
述するＨＳＶ表色系で示される画素データの輝度成分Ｖ
とは、３つの色成分に基づく算出手法が異なる。式１３
は、輝度値ｙの定義式である。以下の式で、「Ｒ」，
「Ｇ」，「Ｂ」は、輝度値を定義するべき画素の赤、青
および緑の色成分である。

【００９２】 ｙ ＝ ０．３Ｒ＋０．６Ｇ＋０．１Ｂ …（13） 特徴点探索領域８１〜８３を図９のように配置して特徴
点ｐａ１〜ｐａ３を探索するのは、以下の理由からであ
る。全ての特徴点ｐａ１〜ｐａ３が、互いに極めて近く
に位置している場合、または全ての特徴点ｐａ１〜ｐａ
３がほぼ１本の直線状に並ぶ場合、後述の変形部４４
（ｎ）で行われるずれ補正のための変形処理の補正誤差
が大きくなることがある。ゆえに、全ての特徴点ｐａ１
〜ｐａ３は、参照画像内に、前記適当な距離に近い距離
だけ相互に離れ、かつ、直線状に並ばないように、点在
していることが好ましい。ここで、図９に示すように特
徴点探索領域８１〜８３を配置して各特徴点探索領域内
から１つずつ特徴点を抽出すると、特徴点ｐａ１〜ｐａ
３が、互いに前記適当な距離に近い距離だけ離れ、かつ
該特徴点ｐａ１〜ｐａ３を頂点とする仮想図形は、正三
角形に近い形になる。またこれによって、後述の対応点
探索部４３（ｎ）において、補助画像Ｉｑ（ｎ）が特徴
的な情報の少ない低照度画像である場合も、対応点ｐｂ
１〜ｐｂ３を容易に見つけ出すことができる。これらの
ことから、ずれ補正処理を安定して行うことができる。
すなわち、前記変形処理の精度を向上することができ
る。またこれによって、特徴点および対応点の探索に要
する時間も短縮することができる。

【００９３】上記特徴点は、３点に限らず、４点以上抽
出してもよい。この場合、さらに、抽出された４点のう
ちから３点を選別して、選別された３点の特徴点だけを
全ての対応点探索部４３（１）〜４３（Ｎ）に与えても
よく、抽出された特徴点全てを用い最小２乗法を併用し
て以後の処理を行ってもよい。さらにまた、特徴点は、
上述の特徴点情報の分散値ｋｐを用いる手法以外の手法
を用いても良い。また、特徴点探索領域８１〜８３は、
常に、参照画像Ｉｒ内の予め定める位置に設定してもよ
く、特徴点探索部４２が参照画像Ｉｒ内の前記特徴点情
報を含む画素が多い部分を求めて、該部分を特徴点探索
領域としてもよい。

【００９４】以下に、いずれか１つの対応点探索部４３
（ｎ）が行う対応点探索処理を、説明する。前記対応点
探索部４３（ｎ）は、いずれか１つの補助画像Ｉｑ
（ｎ）上から、全ての特徴点ｐａ１〜ｐａＭにそれぞれ
対応する画素を、該補助画像Ｉｑ（ｎ）の対応点ｐｂ１
〜ｐｂＭとして、探索する。具体的には、各特徴点ｐａ
１〜ｐａＭ近傍のいわゆるテキスチャと対応点ｐｂ１〜
ｐｂＭ近傍のテキスチャとの相関がそれぞれ最大になる
ように、対応点ｐｂ１〜ｐｂＭを抽出する。

【００９５】特徴点近傍のテキスチャと前記補助画像Ｉ
ｑ（ｎ）内の任意の点の近傍のテキスチャとの相関Ｃｔ
は、たとえば、式１４に示すように、いずれか１つの特
徴点ｐａｍおよび該特徴点ｐａｍの近傍画素それぞれの
輝度値ｙｉと、該任意の点および該任意の点の近傍画素
それぞれの輝度値ｙｊとの差の絶対値｜ｙｉ−ｙｊ｜の
積算値Σ｜ｙｉ−ｙｊ｜であると、仮定する。前記輝度
値ｙｉ，ｙｊは、それぞれ、式１３を用いて定められ
る。

【００９６】 Ｃｔ ＝ Σ_i，_j ｜ｙｉ−ｙｊ｜ …（14） いずれか１つの対応点探索部４３（ｎ）は、処理画像Ｉ
ｑ（ｎ）内の全ての画素のうちで、前記相関値Ｃｔが相
関値Ｃｔがが最小となるいずれか１つの画素を、前記探
索点ｐａｍの対応点ｐｂｍとする。このために、いずれ
か１つの対応点探索部４３（ｎ）は、具体的には、前記
相関値Ｃｔが最大である画素がマッチングが最大の画素
であると定義して、いわゆるテンプレートを用いたピラ
ミッドマッチング法を行う。この処理を、各特徴点ｐａ
１〜ｐａＭ毎に繰返すと、全ての特徴点ｐａ１〜ｐａＭ
の対応点ｐｂ１〜ｐｂＭが得られる。前記特徴点近傍の
テキスチャと任意の点近傍のテキスチャとの相関値Ｃｔ
は、前記積算値Σ｜ｙｉ−ｙｊ｜に限らず、他のもので
もよい。

【００９７】以下に、いずれか１つの変形部４４（ｎ）
が行う変形処理を、説明する。前記変形部４４（ｎ）
は、まず、いずれか１つの補助画像Ｉｑ（ｎ）の対応点
ｐｂ１〜ｐｂＭの妥当性を評価する。これは、以下の理
由からである。前記補助画像Ｉｑ（ｎ）が前記低照度画
像であるならば、低照度画像はテキスチャ情報が乏しい
ため、前記対応点探索部４３（ｎ）の探索結果が信頼で
きるとは限らない。すなわち、前記補助画像Ｉｑ（ｎ）
が前記低照度画像であるならば、参照画像Ｉｒ内の特徴
点ｐａ１〜ｐａＭがある部分と、いずれか１つの補助画
像Ｉｑ（ｎ）内の対応点ｐｂ１〜ｐｂＭがある部分と
に、被写体の同じ部分が写っているとは限らない。この
場合、対応点ｐａ１〜ｐａＭを用いて変形処理が行われ
ると、画像処理装置２２から最終的に出力される出力画
像Ｉｏにいわゆるぼけや残像が生じるので、出力画像Ｉ
ｏが非常に見づらくなる。このため、前記変形部４４
（ｎ）は、まず、対応点探索部５の対応点探索処理の結
果の信頼性、すなわち対応点ｐｂ１〜ｐｂＭの妥当性を
評価して、妥当性の高い処理結果、すなわち探索処理が
成功している前記対応点ｐｂ１〜ｐｂ３だけを、変形処
理に用いる。

【００９８】前記対応点の妥当性の評価手法を、図１０
を用いて説明する。以後の説明では、特徴点の数Ｍが３
であると仮定する。図１０（Ａ）は、参照画像Ｉｒ内の
特徴点ｐａ１〜ｐａ３の相互の位置関係を示す図であ
る。図１０（Ｂ）は、前記補助画像Ｉｑ（ｎ）内の特徴
点ｐｂ１〜ｐｂ３の相互の位置関係を示す図である。

【００９９】前記妥当性の評価のために、いずれか１つ
の変形部４４（ｎ）は、以下の式１５〜式２１に基づい
て、妥当性評価値θを求める。妥当性評価値θは、特徴
点ｐａ１〜ｐａ３を頂点とする三角形Ｔｒから対応点ｐ
ｂ１〜ｐｂ３を頂点とする三角形Ｔｑ（ｎ）への、三角
形の３辺の変動を示す。三角形Ｔｒ，Ｔｑ（ｎ）の３辺
の変動は、参照画像Ｉｒ内および前記補助画像Ｉｑ
（ｎ）内に写る被写体の位置や形状の違いによって、生
じる。

【０１００】 Ｌｒ１ ＝ ｜Ｖｐａ１−Ｖｐａ２｜ …（15） Ｌｒ２ ＝ ｜Ｖｐａ２−Ｖｐａ３｜ …（16） Ｌｒ３ ＝ ｜Ｖｐａ３−Ｖｐａ１｜ …（17） Ｌｑ１ ＝ ｜Ｖｐｂ１−Ｖｐｂ２｜ …（18） Ｌｑ２ ＝ ｜Ｖｐｂ２−Ｖｐｂ３｜ …（19） Ｌｑ３ ＝ ｜Ｖｐｂ３−Ｖｐｂ１｜ …（20） θ ＝ (｜Ｌｑ１−Ｌｒ１｜÷Ｌｒ１＋｜Ｌｑ２−Ｌｒ２｜ ÷Ｌｒ２＋｜Ｌｑ３−Ｌｒ３｜÷Ｌｒ３)÷３ …（21） 上式において、「Ｖｐａ１」，「Ｖｐａ２」，「Ｖｐａ
３」は、参照画像Ｉｒ上の各特徴点ｐａ１〜ｐａ３の座
標ベクトルである。「Ｖｐｂ１」，「Ｖｐｂ２」，「Ｖ
ｐｂ３」は、いずれか１つの補助画像Ｉｑ（ｎ）上の各
対応点ｐｂ１〜ｐｂ３の座標ベクトルである。各点ｐａ
１〜ｐａ３，ｐｂ１〜ｐｂ３の座標ベクトルとは、画像
Ｉｒ，Ｉｑ（ｎ）に設定される座標系の原点（０，０）
から、各点ｐａ１〜ｐａ３，ｐｂ１〜ｐｂ３に相当する
画素の代表点に向かうベクトルであり、画素の代表点と
は、たとえば画素の中心である。画像Ｉｒ，Ｉｑ（ｎ）
の座標系の原点は、画像Ｉｒ，Ｉｑ（ｎ）のどこにとっ
ても良い。「Ｌｒ１」，「Ｌｒ２」，「Ｌｒ３」，「Ｌ
ｑ１」，「Ｌｑ２」，「Ｌｑ３」は、三角形Ｔｒ，Ｔｑ
（ｎ）の３つの辺それぞれの長さである。

【０１０１】次いで、前記変形部４４（ｎ）は、妥当性
評価値θを、前記対応点の妥当性の評価のための閾値θ
ｃと比較する。閾値θｃは、たとえば０．９である。妥
当性評価値θが閾値θｃ以下である場合、前記対応点の
妥当性が低く、ずれ補正のための変形処理が困難である
と判断し、前記補助画像Ｉｑ（ｎ）を、妥当性の評価処
理以後の処理に用いない。このため、前記変形部４４
（ｎ）は、この時点で処理を終了する。妥当性評価値θ
が閾値θｃを越える場合、前記対応点の妥当性がずれ補
正のための変形処理を行うことができる程度に高いと判
断し、前記補助画像Ｉｑ（ｎ）を、妥当性の評価処理以
後の処理に用いる。このため、前記変形部４４（ｎ）
は、前記補助画像Ｉｑ（ｎ）の変形処理を行う。以上
が、妥当性の評価処理である。

【０１０２】いずれか１つの補助画像Ｉｑ（ｎ）の変形
処理の具体的な手法を、以下に説明する。以下の説明で
は、特徴点の数Ｍは３であると仮定する。

【０１０３】まず、前記変形処理に先立って、対応点探
索部４３（ｎ）は、前記ずれ情報を求めて、前記変形部
４４（ｎ）に与える。具体的には、前記対応点探索部４
３（ｎ）は、まず、３つの特徴点ｐａ１〜ｐａ３のうち
のいずれか２つを両端とするベクトルを２つ設定する。
以後の説明では、前記２つのベクトルを、特徴点ｐａ１
から特徴点ｐａ２に向かうベクトル「ｐａ２−ｐａ１」
と、特徴点ｐａ１から特徴点ｐａ３に向かうベクトル
「ｐａ３−ｐａ１」とであると仮定する。次いで、対応
点探索部４３（ｎ）は、参照画像Ｉｒの各画素の座標ベ
クトルｐを、前記２つのベクトルを用いて、式２２に示
すように、それぞれ線形分解する。この結果、前記座標
ベクトルｐを線形分解した際の前記２つのベクトルｐａ
２−ｐａ１，ｐａ３−ｐａ１の比率α，βが、参照画像
Ｉｒの全ての画素について、それぞれ求められる。参照
画像Ｉｒの全ての画素の前記比率α，βが、前記ずれ情
報として、対応点探索部４３（ｎ）から変形部４４
（ｎ）に与えられる。

【０１０４】 ｐ ＝ α×(ｐａ２−ｐａ１)＋β×(ｐａ３−ｐａ１) …（22） 次いで、変形部４４（ｎ）は、変形処理として、前記ず
れ情報に基づいて、補助画像Ｉｑ（ｎ）の全ての画素の
補正後の座標ベクトルｐ＊を、該座標ベクトルｐ＊を対
応点ｐｂ１〜ｐｂ３のうちのいずれか２つを両端とする
２つのベクトルｐｂ２−ｐｂ１，ｐｂ３−ｐｂ１を用い
て線形分解する際の前記２つのベクトルの比率が、参照
画像Ｉｒの各画素の前記比率α，βと等しくなるよう
に、それぞれ求める。具体的には、前記補助画像Ｉｑ
（ｎ）の任意の１つの画素の補正後の座標ベクトルｐ＊
は、該画素に対応する参照画像Ｉｒ内の画素の前記比率
α，βを用い、式２３に基づいて、求められる。

【０１０５】 ｐ＊ ＝ α×(ｐｂ２−ｐｂ１)＋β×(ｐｂ３−ｐｂ１) …（23） 最後に、前記変形部４４（ｎ）は、補助画像Ｉｑ（ｎ）
の全ての画素の座標ベクトルｐを、前記補正後の座標ベ
クトルｐ＊に変更して、前記全ての画素を並べ直す。こ
の結果生成されるずれ補正画像は、補助画像Ｉｑ（ｎ）
が、前記ずれを相殺するように変形されたものである。
前記ずれ補正画像の作成の際に、補助画像Ｉｑ（ｎ）の
変形に伴い、全ての前記補正後の座標ベクトルｐ＊の中
に存在しない座標の画素の画素データが必要になった場
合、前記存在しない座標の画素データと等しい座標の参
照画像Ｉｒ内の画素の画素データを、用いる。以上で、
変形処理の説明を終了する。

【０１０６】上述のずれ補正画像、すなわち変形処理が
施された補助画像Ｉｑ（ｎ）は、いずれか１つの補助用
前処理部４５（ｎ）に与えられて、前処理が施される。
いずれか１つの補助用前処理部４５（ｎ）内の輝度補正
部５３（ｎ）および色ノイズ除去部５４（ｎ）の具体的
な構成は、参照用前処理部４１の内の輝度補正部５１お
よび色ノイズ除去部５２の具体的な構成とそれぞれ等し
い。これによって、変形処理が施された補助画像Ｉｑ
（ｎ）に、前処理がさらに施される。

【０１０７】以下に、合成部４６が行う合成処理を説明
する。合成部４６には、前処理が施された参照画像Ｉｒ
＄と、変形処理および前処理が施された全ての補助画像
Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄が、与えられる。変形部４
４（１）〜４４（Ｎ）の妥当性の評価処理の評価結果に
起因して、変形処理が行われない補助画像がある場合、
該補助画像は合成部４６には与えられない。以後の説明
では、全ての補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄が、
合成部４６に与えられているものと仮定する。また、以
後の説明では、前処理が施された参照画像Ｉｒ＄を、
「補正参照画像Ｉｒ＄」と称し、変形処理および前処理
が施された各補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄を、
それぞれ、「補正補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）
＄」と称する。

【０１０８】合成部４６は、前記ランダムノイズを抑制
するために、上述の補正参照画像Ｉｒ＄および全ての補
正補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄を平均合成し
て、１枚の合成画像Ｉｓを得る。これは、前記ランダム
ノイズは、いわゆる真値を中心として確率的に分布する
傾向があるので、複数の画像を平均合成することによっ
て、前記ランダムノイズを抑制することができるからで
ある。前記合成画像Ｉｓを表す画像データを得るための
処理は、概略的には、合成画像Ｉｓ内の全ての画素の画
素データを、合成画像Ｉｓ内の座標（０，０）に相当す
る画素から順に、上述の全ての画像Ｉｒ＄，Ｉｑ（１）
＄〜Ｉｑ（Ｎ）＄の各画素の画素データを各画素の相関
値を用いた重み付け平均して求め、順次出力する。

【０１０９】図１１は、合成画像Ｉｓ内のいずれか１つ
の座標（ｘ，ｙ）に相当する処理対象の画素ｐｓの画素
データの設定手法を説明するための、機能的ブロック図
である。図１１を用いて、前記設定手法を説明する。図
１１では、補正参照画像Ｉｒ＄の画像データ，全ての補
正補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）の画像データ、お
よび合成画像Ｉｓの画像データを、仮想的に四辺形で描
いている。実際には、補正参照画像Ｉｒ＄および全ての
補正補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）の画像データ
は、該画像データ内の画素データが１つずつ、前記各前
処理部４１，４５（１）＄〜４５（Ｎ）から合成部４６
に与えられ、合成画像Ｉｓの画像データ内の画素データ
が１つずつ後処理部に与えられていれば良く、前記各画
像データを記憶する画像バッファが必ずしもあるわけで
はない。

【０１１０】まず、補正参照画像Ｉｒ＄内の、前記いず
れか１つの座標（ｘ，ｙ）と同じ座標に相当する画素ｐ
ｒの画素データが、全ての相関値計算部９１（１）〜９
１（Ｎ）と平均演算部９３とに与えられる。また、各補
正補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄内の、前記いず
れか１つの座標（ｘ，ｙ）と同じ座標に相当する画素ｐ
ｑ（１）〜ｐｑ（Ｎ）の画素データが、各相関値計算部
９１（１）〜９１（Ｎ）と各補正項演算部９２（１）〜
９２（Ｎ）とに、それぞれ与えられる。補正参照画像Ｉ
ｒ＄内の、合成画像の処理対象の画素ｐｓの座標（ｘ，
ｙ）と同じ座標に相当する前記画素ｐｒを、以後「参照
画素ｐｒ」と称し、各補正補助画像Ｉｑ（１）＄〜Ｉｑ
（Ｎ）＄内の該座標（ｘ，ｙ）と同じ座標に相当する前
記画素ｐｑ（１）〜ｐｑ（Ｎ）を、以後「補助画素ｐｑ
（１）〜ｐｑ（Ｎ）」と称する。

【０１１１】次いで、各相関値演算部９１（１）〜９１
（Ｎ）は、各補助画素ｐｑ（１）〜ｐｑ（Ｎ）と、参照
画素ｐｒとの相関値Ｃ１〜ＣＮを、それぞれ求める。相
関値は、０以上１以下の整数である。相関値Ｃ１〜ＣＮ
の詳細な演算手法は後述する。続いて、補正項演算部９
２（１）〜９２（Ｎ）は、各補助画素ｐｑ（１）〜ｐｑ
（Ｎ）の画素データの３つの色成分ｒｉ，ｇｉ，ｂｉそ
れぞれから、参照画素データの３つの色成分ｒ０，ｇ
０，ｂ０を減算した差の半分の値に、相関値Ｃ１〜ＣＮ
をそれぞれ乗算した積を、合成画像の処理対象の画素ｐ
ｓの３つの色成分ｒ＊，ｇ＊，ｂ＊の補正項として求め
る。最後に、平均演算部９３が、各補正項演算部９２
（１）〜９２（Ｎ）で求められた３つの色成分ｒ＊，ｇ
＊，ｂ＊の補正項と参照画素ｐｒの画素データの３つの
色成分ｒ０，ｇ０，ｂ０との和の平均をそれぞれ求め
る。前記和の平均が、合成画像の処理対象の画素ｐｓの
画素データの色成分ｒ＊，ｇ＊，ｂ＊である。

【０１１２】以上の処理によって、合成画像Ｉｓの全て
の画素１つ毎に、式２４〜式２６に示す演算が行われ
る。以下の式で、「Ｎ」は、合成部４５に与えられる全
ての補助画像の枚数と参照画像の枚数との和である。
「Σ」は、補助画像ｉについての加算を意味する。すな
わち、参照画素ｐｒの各色成分と、相関値Ｃ１〜ＣＮに
よってそれぞれ重み付けされた全ての補助画素ｐｑ
（１）〜ｐｑ（Ｎ）の各色成分との平均値が、合成画像
Ｉｓの処理対象の画素ｐｓの各色成分になる。

【０１１３】 ｒ＊ ＝ Σ_i((ｒｉ−ｒ０)×Ｃｉ×０．５＋ｒ０)÷Ｎ …（24） ｇ＊ ＝ Σ_i((ｇｉ−ｇ０)×Ｃｉ×０．５＋ｇ０)÷Ｎ …（25） ｂ＊ ＝ Σ_i((ｂｉ−ｂ０)×Ｃｉ×０．５＋ｂ０)÷Ｎ …（26） このような重み付け平均を用いた計算によって、合成画
像Ｉｓの処理対象の画素ｐｓの画素データの色成分ｒ
＊，ｇ＊，ｂ＊を計算する場合、相関値Ｃ１〜ＣＮがそ
れぞれ大きいならば、すなわち相関値Ｃ１〜ＣＮが１に
それぞれ近いならば、合成画像Ｉｓの画素ｐｓの画素デ
ータは、全ての補助画素ｐｑ（１）〜ｐｑ（Ｎ）の画素
データと参照画素ｐｒの画素データとの平均に近付く。
また、前記場合、相関値Ｃ１〜ＣＮが小さいならば、す
なわち相関値Ｃ１〜ＣＮが０にそれぞれ近いならば、合
成画像Ｉｓの処理対象の画素ｐｓの画素データは、参照
画素ｐｒの画素データに近付く。

【０１１４】たとえば、合成画像Ｉｓの画素ｐｓの赤の
色成分ｒ＊を例とすると、相関値Ｃ１〜ＣＮが１である
場合、式２７に示すように、赤の色成分ｒ＊は、おおよ
そ、各補助画素ｐｑ（１）〜ｐｑ（Ｎ）の赤の色成分ｒ
ｉと参照画素ｐｒの赤の色成分ｒ０との平均（ｒｉ＋ｒ
０）×０．５の、平均である。また、相関値Ｃ１〜ＣＮ
が０である場合、赤の色成分ｒ＊は、式２８に示すよう
に、おおよそ、参照画素ｐｒの赤の色成分ｒ０になる。

【０１１５】 ｒ＊〜Σ_i（（ｒｉ＋ｒ０）×０．５）÷Ｎ …（27） ｒ＊〜Σ_iｒ０÷Ｎ …（28） このように、合成部４６は、合成画像Ｉｓの処理対象の
画素１つ毎に、参照画素ｐｒとの相関値が大きい補助画
素ｐｑ（ｎ）だけを用いて、上述の平均を各画素ｐｓの
画素データとして求める。合成画像Ｉｓの全ての画素の
画素データの集合が、合成画像Ｉｓを表す画像データに
相当する。この結果、変形部４４（１）〜４４（Ｎ）で
それぞれ補正しきれなかった前記ずれに起因する合成誤
りを、目立ちにくくすることができる。

【０１１６】上述の合成処理の中の、合成画像Ｉｓの処
理対象の画素ｐｓの画素データを求める演算において、
相関値Ｃ１〜ＣＮを用いた重み付け平均を用いる代わり
に、単純平均を用いてもよい。たとえば、前記補助画像
および参照画像Ｉｑ（１）〜Ｉｑ（Ｎ），Ｉｒを撮影し
た際に被写体が動いていないならば、前記合成処理か
ら、前記合成画像の各画素データを求める処理から相関
値Ｃｉの演算と相関値Ｃｉを用いる重み付けとを省略
し、合成部４６は前記合成画像の各画素データを、全て
の前記画像Ｉｒ，Ｉｑ（１）〜Ｉｑ（Ｎ）の各画素の画
素データを単純に平均して求めてもよい。これは、前記
場合には、前記参照画像および補助画像Ｉｒ，Ｉｑ
（１）〜Ｉｑ（Ｎ）内に写るそれぞれ被写体の位置や形
状が相互にほぼ等しいので、前記参照画像Ｉｒと前記各
補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）とのずれが小さく、ず
れに起因する合成誤りが起こりにくいからである。

【０１１７】また、上述の説明では、合成部４６は、合
成対象の画像のうちの補正参照画像Ｉｒ＄以外の残余の
画像として、変形処理および前処理が施された補助画像
Ｉｑ（１）〜Ｉｑ（Ｎ）、すなわち補正補助画像Ｉｑ
（１）＄〜Ｉｑ（Ｎ）＄を用いる。上述の合成処理を前
記ランダムノイズの抑制のために行うならば、合成部４
６は、前記残余の画像として、前処理だけが施された補
助画像Ｉｑ（１）〜Ｉｑ（Ｎ）を用いても良く、変形処
理および前処理のどちらも施されていない元の補助画像
Ｉｑ（１）〜Ｉｑ（Ｎ）を用いても良い。

【０１１８】なお、前記残余の画像としては、少なくと
も前処理が施された補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）を
用いることが好ましい。これは、以下の理由からであ
る。前記残余の画像に予め前処理が施されている場合、
合成対象の全ての画像それぞれから、彩度抑制処理を用
いてランダムノイズが減少されられている。ゆえに、前
記前処理が施された補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）を
前記残余の画像とすると、それを用いた合成処理によっ
て充分にランダムノイズが除かれた合成画像Ｉｓを得る
ために最低限必要な合成対象の画像の枚数が、合成処理
を用いてランダムノイズを抑制する従来技術を用いた画
像処理装置における合成対象の画像の枚数よりも、少な
くなるからである。

【０１１９】上述の各種の手法の合成処理で得られる合
成画像Ｉｓは、参照画像Ｉｒと比較して、写っている被
写体の位置や形状がほぼ等しく、かつ、画質が良好に改
善されている。また、補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）
および参照画像Ｉｒを合成する場合、上述の説明と同じ
ように、合成処理に相関値Ｃｎを用いた重み付け平均を
用いるならば、いわゆる二重写りのない合成画像を生成
することができるので、より好ましい。さらに、前記相
関値Ｃ１〜ＣＮを用いた重み付け平均を用いる代わり
に、前記相関値を予め定める閾値と比較して、相関値が
前記閾値以上である補助画素ｐｑと参照画素ｐｒとの画
素データだけの単純平均を、処理対象の画素ｐｓの画素
データとしてもよい。これによっても、前記二重写りの
ない合成画像を得ることができる。

【０１２０】以下に、全ての相関値演算部９１（１）〜
９１（Ｎ）が行う相関値の演算処理を、いずれか１つの
相関値演算部９１（ｎ）を例に説明する。全ての相関値
演算部９１（１）〜９１（Ｎ）の相関値の演算処理は、
処理対象となる補正補助画像が相互に異なるだけで、他
の点は相互に等しい。前記相関値の演算処理には、第１
〜第３の計算手法がある。

【０１２１】まず、相関値の第１の計算手法を説明す
る。第１の計算手法では、相関値Ｃｎは、参照画素ｐｒ
の輝度値ｙ１と、処理対象となるいずれか１つの補正補
助画像Ｉｑ（ｎ）＄の補助画素ｐｑ（ｎ）の輝度値ｙ２
とを用い、式２９に基づいて、求められる。以下の式で
「ｙａ」は、上記２つの輝度値ｙ１，ｙ２の平均値であ
る。前記輝度値ｙ１，ｙ２は、前述の式１３を用いて定
義される。

【０１２２】 Ｃｎ ＝ １÷（｜ｙ１−ｙａ｜＋｜ｙ２−ｙａ｜＋１） …（29） 第１の計算手法では，合成画像Ｉｓの１つの処理対象の
画素ｐｓの画像データを定める際に、該画素ｐｓと同じ
座標の補正参照画像Ｉｒ＄内の参照画像ｐｒ、および該
画素ｐｓと同じ座標の補正補助画像Ｉｑ（ｎ）＄内の画
素ｐｑ（ｎ）だけを用いて、相関値Ｃｎを計算してい
る。この結果、合成部４６は、合成画像Ｉｓの画素単位
で、相関値を演算することができる。

【０１２３】したがって、各画像Ｉｒ＄，Ｉｑ（ｎ）＄
内の画素ｐｒ，ｐｑ（ｎ）の近傍の画素の画素データ
を、相関値の演算に用いる必要がなくなるので、ずれ補
正処理、前処理、および合成処理の演算時に、各処理の
処理結果を保持するバッファを備える必要がない。すな
わち、合成処理に用いられる元の画像を保持するため
の、いわゆる中間画像バッファを必要としない。ゆえ
に、本実施形態の画像処理装置２２は、メモリを節約す
ることができるため、その部品点数を従来技術の画像処
理装置よりも減少させることができる。

【０１２４】さらにまた、中間画像バッファを省略する
ことによって、画像処理装置の製造コストを大きく減少
させることができる。これは、以下の理由からである。
一般的に、中間画像バッファの容量は、式３０に示すよ
うに、補助画像の幅と補助画像の高さとの積の３倍の値
と、全ての補助画像の枚数よりも１多い数との積のバイ
トになる。たとえば、補助画像のサイズが６４０×４８
０画素であり、補助画像の枚数が１０枚である場合、前
記中間画像バッファの容量は１０Ｍバイトになる。この
ように、中間処理バッファは、比較的容量が大きくなり
易いので、部品コストが高く成り易い。ゆえに、中間画
像バッファを備えた分だけ、画像処理装置の製品コスト
が増加しやすい。本実施形態の画像処理装置２２は、上
述の中間処理バッファを備えないので、製品コストを大
きく減少させることができるのである。

【０１２５】 容量＝３×(補助画像の幅×補助画像の高さ)×(補助画像の枚数＋１) …（30） 次いで、相関値の第２の計算手法を説明する。図１２
は、相関値の第２の計算方法を用いる、合成画像Ｉｓ内
のいずれか１つの座標（ｘ，ｙ）に相当する処理対象の
画素ｐｓの画素データの設定手法を説明するための、機
能的ブロック図である。図１２の機能的ブロック図は、
図１１の機能的ブロック図と類似し、各画像Ｉｒ＄，Ｉ
ｑ（１）＄〜Ｉｑ（Ｎ）＄，Ｉｓをそれぞれ示す四辺形
は、図１１の四辺形と同じ意味である。相関値の第２の
計算手法を用いる場合、図１２に示すように、補助用前
処理部４５（１）〜４５（Ｎ）と合成部４６との間に、
それぞれ、補正画像バッファ９４（１）〜９４（Ｎ）が
介在される。補正画像バッファ９４（１）〜９４（Ｎ）
は、それぞれ、補助用前処理部４５（１）〜４５（Ｎ）
からそれぞれ出力される画素データの集合、すなわち補
正補助画像Ｉｑ（１）＄〜Ｉｑ（Ｎ）＄を表す画像デー
タを記憶する。

【０１２６】第２の計算手法では、まず、補正参照画像
Ｉｒ＄のイメージベクトルＶｉと、処理対象となるいず
れか１つの補正補助画像Ｉｑ（ｎ）＄のイメージベクト
ルＶｊとを、求める。前記各画像Ｉｒ＄，Ｉｑ（ｎ）＄
のイメージベクトルＶｉ，Ｖｊは、それぞれ、各画像Ｉ
ｒ＄，Ｉｑ（ｎ）＄内の前記処理対象の画素ｐｓと座標
が等しい画素ｐｒ、ｐｑ（ｎ）の輝度値と、該画素ｐ
ｒ，ｐｑ（ｎ）の複数の近傍画素それぞれの輝度値と
を、それぞれ成分とする。

【０１２７】たとえば、前記画素ｐｒ，ｐｑ（ｎ）の座
標を（ｘ，ｙ）と仮定し、前記複数の近傍画素をいわゆ
る３×３近傍の画素であると仮定する。この場合、前記
画素ｐｒ，ｐｑ（ｎ）および前記複数の近傍画素の座標
は、以下の行列３１に示す通りの組合わせになる。以下
の行列３１の要素の配列は、前記画像Ｉｒ＄，Ｉｑ
（ｎ）＄内の処理対象の画素ｐｒ，ｐｑ（ｎ）および前
記複数の近傍画素の配列と等しい。

【０１２８】 (ｘ−１,ｙ−１)，(ｘ ,ｙ−１)，(ｘ＋１,ｙ−１) (ｘ−１,ｙ )，(ｘ ,ｙ )，(ｘ＋１,ｙ ) (ｘ−１,ｙ＋１)，(ｘ ,ｙ＋１)，(ｘ＋１,ｙ＋１) …（31） ゆえに、画像Ｉのいずれか１つの画素ｐ（ｘ，ｙ）のイ
メージベクトルＶは、上述の９つの画素の輝度値を要素
とするベクトルであり、式３２で表される。以下の式に
おいて、「Ｉ（ｉ，ｊ）」は、画像Ｉ内の任意の１つの
座標（ｉ，ｊ）に相当する画素の輝度値を示す。前記輝
度値Ｉ（ｉ，ｊ）は、式１３を用いて定義される。
「ｉ」は、ｘ−１，ｘ，ｘ＋１のうちのいずれかであ
り、「ｊ」は、ｙ−１，ｙ，ｙ＋１のうちのいずれかで
あり、画像Ｉは、補正参照画像Ｉｒ＄またはいずれか１
つの補正補助画像Ｉｑ（ｎ）＄である。

【０１２９】 Ｖ＝［Ｉ(ｘ−１,ｙ−１)，Ｉ(ｘ,ｙ−１)，Ｉ(ｘ＋１,ｙ−１)， Ｉ(ｘ−１,ｙ )，Ｉ(ｘ,ｙ )，Ｉ(ｘ＋１,ｙ )， Ｉ(ｘ−１,ｙ＋１)，Ｉ(ｘ,ｙ＋１)，Ｉ(ｘ＋１,ｙ＋１)］ …（32） 次いで、いずれか１つの相関値演算部９２（ｎ）は、補
正参照画像Ｉｒ＄のイメージベクトルＶｉと、前記補正
補助画像Ｉｑ（ｎ）＄のイメージベクトルＶｉとのベク
トル相関値Ｃｖを、前記相関値Ｃｎとして求める。前記
イメージベクトル相関値の演算処理には、第１〜第３の
算出手法があり、各算出手法の詳細は後述する。このよ
うに、第２の計算手法を用いる場合、全ての補助用前処
理部４５（１）〜４５（Ｎ）から出力される画素データ
の集合、すなわち前記変形処理および前処理が施された
全ての補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）の画像データを
保存するための、補正画像バッファ９４（１）〜９４
（Ｎ）が必要となる。

【０１３０】２つの前記イメージベクトルＶｉ，Ｖｊ
は、それぞれ、参照画素ｐｒおよび補助画素ｐｑ（ｎ）
の近傍におけるいわゆるテキスチャを、それぞれ表して
いる。２つの前記イメージベクトルＶｉ，Ｖｊの相関が
高くなることは、参照画素ｐｒの近傍のテキスチャと補
助画素ｐｑ（ｎ）の近傍のテキスチャとが相互に似てい
ることを示している。このため、前記イメージベクトル
Ｖｉ，Ｖｊの相関を、前記相関値Ｃｎとして合成処理に
用いる場合、前記テキスチャの類似度に応じて、前記合
成処理の合成率を制御することができる。このように、
第２の計算手法を用いる場合、前記合成処理に、補正参
照画像Ｉｒ＄およびいずれか１つの補正補助画像Ｉｑ
（ｎ）＄のテキスチャに関する情報を活用することがで
きる。したがって、いわゆるロバスト性を向上させるこ
とができる。

【０１３１】以下に、前記ベクトル相関値の第１の算出
手法を説明する。第１の算出手法では、イメージベクト
ルＶｉ，Ｖｊの第１のベクトル相関値Ｃｖ１として、式
３３に示すイメージベクトルＶｉ，Ｖｊの内積を用い
る。これは、一般的に、２つの処理対象のベクトルが相
互に同じ方向を向く場合に内積が１に近づき、２つの処
理対象のベクトルが相互に異なる方向を向いている場合
に内積が１より小さい値となることを利用している。

【０１３２】 Ｃｖ１ ＝ Ｖｉ・Ｖｊ …（33） 以下に、前記ベクトル相関値の第２の算出手法を説明す
る。第２の算出手法では、イメージベクトルＶｉ，Ｖｊ
の第２のベクトル相関値Ｃｖ２として、式３４に示すイ
メージベクトルの各成分の差の絶対値を積算した和を用
いる。第２のベクトル相関値Ｃｖ２は、算出式３４が加
算および減算だけで構成されているので、ベクトル相関
値Ｃｖ２の計算に乗算処理を必要としない。ゆえに、第
１の計算手法が用いられる場合と比較して、第２の計算
手法が用いられる場合、相関値演算部９１（１）〜９１
（Ｎ）の計算量が少なくなる。

【０１３３】 Ｃｖ２ ＝ Σ_k｜Ｖｉｋ−Ｖｊｋ｜ …（34） 以下に、前記ベクトル相関値の第３の計算手法を説明す
る。第３の計算手法では、イメージベクトルＶｉ，Ｖｊ
の第３のベクトル相関値Ｃｖ３として、参照画素ｐｒお
よび補助画素ｐｑ（ｎ）の輝度成分の逆数を用いる。こ
れは、以下の理由からである。一般的に、前記ランダム
ノイズは、画像内の前記低輝度領域で発生し、ずれ補正
の誤りに起因するいわゆる残像は、画像内の、輝度が大
きい画素を多く含む高輝度領域で顕著となる。このた
め、画像内の前記高輝度領域に関する合成処理を弱め、
かつ、画像内の低輝度領域で積極的に合成処理を行う
と、ずれ補正の誤りに起因する残像を抑えつつ、前記ラ
ンダムノイズを合成処理を用いて抑制することができる
のである。具体的には、第３のベクトル相関値Ｃｖ３
は、式３５に示すように、参照画素ｐｒおよび補助画素
ｐｑ（ｎ）の輝度値ｙａ，ｙｂの平均値に１を加えた値
の逆数である。輝度値ｙａ，ｙｂは、前述の式１３を用
いて定義される。以下の式で、前記平均値に１を加えて
いるのは、前記平均値が０となった場合に、第３のベク
トル相関値Ｃｖ３が特異となるのを防ぐためである。以
上で、ベクトル相関値の計算手法の説明を終了する。

【０１３４】 Ｃｖ３ ＝ １÷（（ｙ１＋ｙ２）÷２＋１） …（35） 上述の合成処理に説明において、相関値Ｃｎを、式３６
に示す該相関値Ｃｎと範囲指定係数ｋａとの積Ｃｎ＊に
置換えても良い。これは、前記合成処理において、輝度
値ｙが取り得る有効範囲のうちの相関値Ｃｎが影響する
範囲を、前記有効範囲内の一部分の限られた範囲内に限
定したり、画素の輝度成分に対する相関値Ｃｎの適用強
度の分布を変えることができるようにするためである。
範囲指定係数ｋａは、式３７に示す評価関数によって定
められる。以下の式で、「ｐ」は前記評価関数の変化の
度合を決める係数である。「Ｉａ」は、式３８で示すよ
うに、参照画素ｐｒおよび補助画素ｐｑ（ｎ）の輝度値
ｙａ，ｙｂの平均値である。「Ｉｔ」は、輝度値の平均
値Ｉａの予め定める閾値である。閾値Ｉｔは、たとえば
０．５であり、係数ｐは、たとえば１０である。このよ
うに、積Ｃｎ＊を相関値Ｃｎと置換えて用いることによ
って、前記係数ｐを変化させるだけで、合成したい輝度
値の範囲を大きく変えるように、容易に指定することが
できる。

【０１３５】 Ｃｎ＊ ＝ Ｃｎ×ｋａ …（36） ｋａ ＝ １÷(１＋ｅｘｐ(−ｐ×(Ｉａ−Ｉｔ))) …（37） Ｉａ ＝ （ｙａ＋ｙｂ）÷２ …（38） 彩度強調部５５が行う彩度強調処理を、以下に説明す
る。彩度強調部５５は、輝度補正部５１，５３（１）〜
５３（Ｎ）における輝度補正処理に起因して参照および
補助画像Ｉｒ，Ｉｑ（１）〜Ｉｑ（Ｎ）から失われた色
のための合成画像Ｉｓの画質の劣化を補正するためのも
のであり、概略的には、合成部４６で得られる合成画像
Ｉｓの各画素の彩度を、該各画素の輝度が大きいほど強
く強調する。前記彩度強調処理には、第１および第２の
手法がある。第１および第２の手法のどちらも、合成画
像の画素を１つずつ順次処理対象として行われ、合成画
像の全ての画素を処理対象とするまで繰返される。

【０１３６】まず、彩度強調処理の第１の手法を説明す
る。第１の手法では、彩度強調部５５は、まず、合成画
像Ｉｓの処理対象の１つの画素の画素データの表色系
を、ＲＧＢ表色系からＨＳＶ表色系に変換する。次い
で、前記画素の画素データの輝度成分Ｖを調べ、輝度成
分Ｖが大きいほど、画素の彩度成分Ｓを拡大する。最後
に、前記画素の画素データの表色系を、ＨＳＶ表色系か
らＲＧＢ表色系に戻す。この処理が、合成画像の各画素
毎に、繰返す。

【０１３７】次いで、彩度強調処理の第２の手法を説明
する。第１の手法では、彩度強調部５５は、まず、合成
画像Ｉｓの処理対象の１つの画素の画素データの３つの
色成分ｒ＊，ｇ＊，ｂ＊の平均値ａｃ２を求める。次い
で彩度強調部５５は、前記各色成分ｒ＊，ｇ＊，ｂ＊
を、該各色成分と平均値ａｃ２との差ａｃ２−ｒ＊，ａ
ｃ２−ｇ＊，ａｃ２−ｂ＊と前記画素評価係数ｋとの積
だけ拡大した値に、置換える。すなわち、前記各色成分
ｒ＊，ｇ＊，ｂ＊が、以下の式３９〜４１で示す色成分
Ｒ＊，Ｇ＊，Ｂ＊に、それぞれ置換えられる。前記画素
評価係数ｋは、前述の彩度抑制部６７の説明の式１〜式
３で定められる。この結果、前記色成分Ｒ＊，Ｇ＊，Ｂ
＊は、前記画素の輝度成分が大きいほど、強調されるこ
とになる。この際、変換後の色成分Ｒ＊，Ｇ＊，Ｂ＊を
含む画素データを、ＨＳＶ表色系に変換すると、該画素
データの輝度成分Ｖが、輝度成分Ｖが取得る予め定める
有効範囲からはみ出すことがある。ゆえに、色成分の変
換後、いわゆるクリッピングを用いて前記輝度成分が前
記有効範囲内にあるか否かを調べ、有効範囲内にない場
合には、前記画素データを修正することが好ましい。

【０１３８】 Ｒ＊＝−（１−ｋ）×（ａｃ２−ｒ＊）＋ｒ＊ …（39） Ｇ＊＝−（１−ｋ）×（ａｃ２−ｇ＊）＋ｇ＊ …（40） Ｂ＊＝−（１−ｋ）×（ａｃ２−ｂ＊）＋ｂ＊ …（41） 上述の第１または第２の手法で彩度が強調された画素デ
ータは、順次、彩度強調部５５から出力される。前記画
素データの集合が、彩度強調処理が施された合成画像Ｉ
ｓ＊に相当する。また、彩度強調処理において、上述の
ように前記合成画像の画素の彩度成分の強調の度合を、
画素評価係数が大きくなるのに伴って連続的に大きくす
る代わりに、前記画素の輝度成分Ｖが予め定める輝度の
閾値以上であるかどうかを前記合成画像Ｉｓの各画素毎
にそれぞれ調べ、輝度成分が前記輝度の閾値以上である
画素の彩度だけを、強調するようにしてもよい。以上
で、彩度強調処理の説明を終了する。

【０１３９】先鋭化部５６が行う先鋭化処理を、以下に
説明する。先鋭化部１０の先鋭化処理は、合成画像Ｉｓ
の画質を改善するために、合成画像Ｉｓに生じるぼけを
抑制し、前記合成画像の先鋭度を回復させる。前記ぼけ
や前記先鋭度の劣化は、参照画像Ｉｒと各補助画像Ｉｑ
（１）〜Ｉｑ（Ｎ）とのずれが、変形部４４（１）〜４
４（Ｎ）の変形処理によって完全に補正しきれなかった
場合に、生じる。

【０１４０】概略的には、先鋭化部１０は、彩度が強調
された合成画像Ｉｓ＊に、先鋭化処理のためのフィルタ
を用いた先鋭化処理を施し、該合成画像Ｉｓ＊の先鋭度
を回復される。前記フィルタは、たとえば、いわゆるラ
プラシアンオペレータを用いたアンシャープマスキング
である。前記先鋭化処理の際、前記合成画像Ｉｓ＊内の
前記低輝度領域に先鋭化処理を適用すると、抑制された
ランダムノイズが再び目立つことになる。このため、先
鋭化部５６は、前記合成画像Ｉｓ＊内の前記高輝度領域
を強く先鋭化して、画像内の前記低輝度領域には先鋭化
処理の影響がでないようにする。すなわち、前記合成画
像Ｉｓ＊内の各画素の画素データの３つの色成分それぞ
れを、式４２に示すように、それぞれ変換する。

【０１４１】 Ｉ＊＝Ｉ−αｃ×Ｙ×Ｌ（Ｉ） …（42） 上式で，「Ｉ」は前記合成画像Ｉｓ＊の処理対象の任意
の１つの画素の画素データ内の３つの色成分のうちのい
ずれか１つの色成分であり、「Ｌ（Ｉ）」は前記任意の
画素のいわゆるラプラシアンであり、「αｃ」はエッジ
強調の強度を示す定数であり、「Ｙ」は、前記任意の１
つの画素の輝度値であり、「Ｉ＊」は先鋭化処理後の前
記いずれか１つの色成分である。前記輝度値は、式１３
を用いて定められる。また、先鋭化処理が行われる場
合、前記合成画像Ｉｓ＊内の全ての画素ｐの輝度値Ｙ
は、０以上１以下の範囲に正規化されているとする。

【０１４２】上述の手法で変換された色成分Ｉ＊は、順
次、先鋭化部５６から出力される。合成画像の全ての画
素の３つの前記変換された色成分Ｉ＊の集合が、出力画
像Ｉｏに相当する。これによって、ランダムノイズを抑
制したまま、前記合成画像Ｉｓ＊内の前記高輝度領域だ
けに先鋭化処理が施される。この結果、参照画像Ｉｒと
比較して、出力画像Ｉｏの画質を向上させることができ
る。以上で、先鋭化部５６の説明を終了する。

【０１４３】本発明の第２実施形態である画像処理装置
を、以下に説明する。前記画像処理装置は、中央演算処
理装置と記憶装置と表示装置と通信部とを備えるコンピ
ュータによって実現される。前記コンピュータには、第
１実施形態で説明した各種の処理を含む前記画質改善処
理を前記中央演算処理装置に行わせるためのプログラム
およびデータを含む画像処理ソフトウエアが、インスト
ールされている。前記画像処理プログラムは、たとえば
頒布時には記憶媒体に記憶されており、該前記記憶媒体
を前記コンピュータに装着して、前記記憶媒体内の前記
ソフトウエアを前記コンピュータにインストールする。
前記記憶媒体には、たとえば、ＣＤ−ＲＯＭおよびフロ
ッピーディスクが挙げられる。前記画像処理ソフトウエ
アは、たとえば、デジタルスチルカメラのバンドルソフ
トウェアである。前記コンピュータは、撮影装置２３と
の間で、通信部２９を介して相互に画像ファイルを送受
信することができるものと仮定する。

【０１４４】この場合、図２のブロック図は、前記プロ
グラムの全体の流れを示す機能的ブロック図に相当し、
図３，６，１０のブロック図は、該各図３，６，１０で
説明した各種処理を行うサブルーチンの流れを示す機能
的ブロック図に相当する。図４，５，７〜９の図表は、
前記ソフトウエア内のデータの特徴を表す。機能的ブロ
ック図では、単一のブロックが、中央演算処理回路の動
作プログラムのうちの或る目的のための一連の処理動
作、いわゆるサブルーチンを表し、該ブロックへ向かう
矢印が、該処理のために必要な入力信号およびデータを
表し、該ブロックから出る矢印が、該処理動作の処理結
果を示す出力信号およびデータを表す。

【０１４５】前記コンピュータを画像処理装置２２とし
て動作させるには、前記コンピュータに前記画像処理ソ
フトウエアがインストールされた状態で、まず操作者
が、記憶部３０内の画像ファイル３６のうちのいずれか
１つを指定し、さらにインストールされた前記ソフトウ
エアの実行を、指示する。コンピュータの中央演算処理
装置は、前記指示に応答して、インストールされた前記
画像処理ソフトウエア内の前記プログラムを実行する。
これによって、前記コンピュータ内の前記中央演算処理
装置およびメモリが、前記画質改善部３１内の各部品と
して順次動作するので、前記コンピュータ全体が画像処
理装置２２として動作する。

【０１４６】この結果、前記中央演算処理装置は、操作
者が指定した画像ファイル３６を記憶部３０から読込
み、該画像ファイル内の複数の画像を用いて上述した画
質改善処理を実行し、該画質改善処理の処理結果として
得られた出力画像Ｉｏを含む画像ファイル３７を記憶部
３０に再び記憶させる。前記画質改善処理の後、操作者
は、さらに、コンピュータの中央演算処理装置に、前記
出力画像Ｉｏの表示に適切ないわゆる画像ファイルビュ
ーアプログラムを実行させる。この結果、前記画像ファ
イル３７が再生されて、出力画像Ｉｏがコンピュータの
表示装置に表示される。これによって、操作者は、参照
画像Ｉｒよりも画質が改善された出力画像Ｉｏを、得る
ことができる。このような手順で、汎用的なコンピュー
タを用いて、容易に第１実施形態の画像処理装置２２を
を実現することができる。

【０１４７】上述した第１実施形態の画像処理装置２２
および第２実施形態の画像処理ソフトウエアがインスト
ールされたコンピュータは、撮影装置２３に外付けする
装置になっていた。画像処理装置２２内の画質改善部３
１、および前記コンピュータ内の前記画像処理プログラ
ムを実行する部分は、それぞれ、撮影装置２３内に内蔵
されていてもよい。

【０１４８】また、撮影装置２３は、単一の被写体を複
数回数撮影することができる装置であれば、デジタルス
チルカメラ以外の他のものでもよい。たとえば、撮影装
置２３は、ビデオカメラであってもよい。撮影装置２３
がビデオカメラである場合、前記動画の各フレームを、
前記画質改善処理の処理対象の複数の画像とみなす。こ
の結果、前記画質改善処理によって、前記動画の各フレ
ームの画質の改善を行うことができる。またこの結果、
前記ビデオカメラを用いて静止画を得る場合、該静止画
の画質を改善することができる。

【０１４９】さらに、撮影装置２３がビデオカメラであ
る場合、前記動画の連続する複数のフレームのうちの最
初のフレームを参照画像Ｉｒとし、前記連続する複数の
フレームのうちの２番目から最後までのフレームを、補
助画像Ｉｑ（１）〜Ｉｑ（Ｎ）としてもよい。また前記
場合、前記動画の連続する複数のフレームのうちのいず
れか１つのフレームを参照画像Ｉｒとし、前記連続する
複数のフレームのうちの前記いずれか１つのフレーム以
外の残余のフレームを、補助画像Ｉｑ（１）〜Ｉｑ
（Ｎ）としてもよい。この場合、前記いずれか１つのフ
レームは、前記複数のフレームの中で、該複数のフレー
ム内の他のフレームと重複する面積が最も大きいフレー
ムであることが好ましい。さらに、前記動画の中から前
記複数のフレームを選択する際に、該複数のフレームか
ら成るフレーム列が２つのシーンにまたがっていると、
前記画像改善処理内の合成処理において、合成処理の画
質を損なう可能性がある。ゆえに、前記フレーム列は、
いわゆるカット検出技術を用いて、単一のシーン内の複
数のフレームだけ抽出して、該複数のフレームを画質改
善処理の処理対象の複数の画像とすることが好ましい。

【０１５０】さらに、前記画質改善処理は、該画質改善
処理内の一部分の処理だけを、選択的に行っても良い。
前記画質改善処理内の全ての処理のうちのどの部分を実
行するかは、たとえば、前記画質改善処理の実行モード
の切換えに応じて切換えられる。前記画質改善処理の中
の複数の処理のうち、実行される処理の数が多いほど、
出力画像Ｉｏの画質を、参照画像Ｉｒよりも向上させる
ことできることができる。特に、前記輝度補正処理と、
前記画質改善処理の中の前記輝度補正処理以外の残余の
処理のうちの少なくとも１つの処理とを組合わせて行う
場合、前記輝度補正処理によって増幅された参照画像内
Ｉｒ内のランダムノイズの影響を、出力画像Ｉｏから充
分に除いて、出力画像Ｉｏの画質を改善することができ
る。

【０１５１】たとえば、前記前処理、すなわち前記輝度
補正処理と前記色ノイズ除去処理だけを実行する第１の
手法では、参照画像Ｉｒの画質改善処理を、画素単位の
処理を繰返して行うことができる。前記第１の場合に
は、画像全体を一様に処理するのに比べて、画質改善処
理の効率が良くなる。また、第２の手法として、前記前
処理と後処理内の彩度強調処理および先鋭化処理の少な
くとも一方とだけを実行してもよい。第２の手法では、
前記ランダムノイズに起因する彩度成分の突出を抑えつ
つ、参照画像Ｉｒ内の前記ランダムノイズが発生しやす
い部分の彩度を強調したり先鋭化することを、画素単位
の処理を繰返して行うことができるので、画質改善処理
の効率が良くなる。

【０１５２】また、第３の手法として、前記前処理と、
合成対象の画像に補正参照画像Ｉｒ＄と補助画像Ｉｑ
（１）〜Ｉｑ（Ｎ）とを用いる前記合成処理とをだけを
実行してもよい。第３の手法では、彩度抑制と画像合成
との２つの手法を用いて前記ランダムノイズを除去する
ことができるので、出力画像Ｉｏの画質がさらに良くな
る。さらにまた、第４の手法として、前記前処理と、合
成対象の画像に補正参照画像Ｉｒ＄と補正補助画像Ｉｑ
（１）＄〜Ｉｑ（Ｎ）＄とを用いる前記合成処理とをだ
けを実行してもよい。第４の手法では、出力画像Ｉｏの
画質をさせることができると共に、従来技術の画像処理
装置よりも少ない枚数の画像を合成しつつ、ノイズ除去
の精度を高くすることができる。さらに、前記前処理と
前記変形処理と前記第３の手法の合成処理を実行する第
５の手法では、撮影装置２３を手で保持して被写体を撮
影して得られた複数枚の画像を処理対象とした場合も、
高い精度のノイズ除去と前記合成画像のぼけの影響の防
止とを行って、参照画像Ｉｒの画質を充分に改善するこ
とができる。

【０１５３】また、第６の手法として、前記輝度補正処
理だけが施された参照画像Ｉｒに、前記後処理内の２つ
の処理の少なくとも一方を、施してもよい。第６の手法
では、後処理を画素単位で行うことができるので、画質
改善処理の効率が、従来の画質改善処理よりも良くな
る。またさらに、第７の手法として、前記輝度補正処理
が施された参照画像Ｉｒと補助画像Ｉｑ（１）〜Ｉｑ
（Ｎ）とを前記第２または第３の手法の合成処理によっ
て合成し、この結果得られる合成画像に前記後処理のう
ちの少なくとも一方を加えても良い。この結果、２種類
のノイズ除去処理と後処理とを同時に行うことができる
ので、出力画像の画質を参照画像の画質よりもさらに向
上させることができる。

【０１５４】さらにまた、第８の手法として、参照画像
Ｉｒと補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）に前記ずれ補正
処理を加えてから、参照画像Ｉｒとずれ補正後の補助画
像Ｉｑ（１）〜Ｉｑ（Ｎ）とを前記合成処理によって合
成し、この結果得られる合成画像に前記後処理のうちの
少なくとも一方を加えても良い。これによって、前記画
像Ｉｒ，Ｉｑ（１）〜Ｉｑ（Ｎ）の撮影時に撮影装置２
３が手で保持される場合も、高い精度のノイズ除去と前
記合成画像のぼけの影響の防止とを行って、参照画像Ｉ
ｒの画質を充分に改善することができる。また、第９の
手法として、前記前処理と前記第合成処理と前記後処理
の２つの処理のうちの少なくとも一方とだけを行っても
よい。第９の手法では、彩度抑制および画像合成を用い
た２種類のノイズ除去処理と後処理とが同時に行われる
ので、参照画像Ｉｒの画質を充分に改善することができ
る。

【０１５５】上述の画像改善処理の第１〜第９の手法に
おいて、前記合成処理は、前記単純平均を用いた合成処
理であってもよく、前記相関値を用いた重み付け平均を
用いる合成処理であってもよい。後者の合成処理を用い
た場合、前記複数の場合のそれぞれの効果に加えて、さ
らに、いわゆる手ぶれに起因する合成画像のぼけの影響
を出力画像Ｉｏが受けることを、防ぐことができる。こ
れによって、出力画像Ｉｏの画質がさらに良くなる。

【０１５６】また、上述の第１および第２実施形態のよ
うに、画像改善処理として、前記輝度補正処理と前記彩
度抑制処理と補助画像Ｉｑ（１）〜Ｉｑ（Ｎ）のずれ補
正のための前記変形処理と前記重み付け平均を用いる合
成処理と前記後処理とを行う場合、手持ちぶれに起因す
るボケおよび手持ちに起因する画像ずれの補正処理およ
び前記ランダムノイズの除去処理を、従来技術の画像処
理装置よりも少ない枚数の画像を用いて行うことができ
る。したがって、出力画像の画質が最も良く改善され、
かつ、従来技術の画像処理装置よりも、画像処理が容易
になる。

【０１５７】本実施形態の画像処理装置２２および画像
処理プログラムは、本発明の画像処理装置および画像処
理プログラムの例示であり、主要な動作が等しければ、
他の様々な形で実施することができる。特に各装置およ
び部の詳細な動作は、同じ処理結果が得られれば、これ
に限らず他の動作によって実現されてもよい。

【０１５８】

【発明の効果】以上のように本発明によれば、前記画像
処理装置は、いわゆる輝度補正処理が施された前記被処
理画像に、さらに、画素の輝度が低くかつ画素の彩度が
高いほど前記彩度を強く抑制する彩度抑制処理を、画素
単位で施す。これによって、前記被処理画像が、照度が
低い被写体を撮影して得られていても、前記被処理画像
の画質を効率良く改善することができる。

【０１５９】また本発明によれば、前記画像処理装置
は、輝度が補正された前記被処理画像内の各画素の彩度
をそれぞれ抑制するだけでなく、少なくとも１枚の補助
画像と前記彩度が抑制された被処理画像とを平均合成す
る。これによって得られる合成画像の画質は、前記彩度
が抑制された被処理画像よりも画質が向上する。さらに
また本発明によれば、前記画像処理装置は、前記平均合
成処理の合成対象の画像、すなわち前記被処理画像およ
び補助画像に、予め輝度補正処理と彩度抑制処理とを施
す。これによって、前記合成画像からランダムノイズの
影響を除くために必要な最低限の合成対象の画像の数
を、減少させることができる。

【０１６０】また本発明によれば、前記画像処理装置
は、前記合成処理にいわゆる単純平均を用いる。これに
よって、簡単な演算処理によって、前記合成画像からラ
ンダムノイズの影響を除くことができる。さらにまた本
発明によれば、前記画像処理装置は、前記合成処理に、
前記相関を用いた重み付け平均を用いる。これによっ
て、たとえば合成対象の画像にいわゆる手ぶれに起因す
るずれがある場合も、前記合成画像の画質を向上させる
ことができる。また本発明によれば、前記画像処理装置
は、合成対象の画像のうちから、被処理画像とのずれの
検出の信頼性が低い補助画像を除く。これによって、前
記ずれの検出誤りに起因して、前記合成画像の画質が劣
化することを、防止することができる。

【０１６１】さらにまた本発明によれば、前記画像処理
装置は、前記補助画像と被処理画像とのずれに基づい
て、前記補助画像を変形してから、変形後の補助画像と
前記被処理画像とを合成する。これによって、補助画像
と前記被処理画像とにいわゆる手ぶれに起因するずれが
ある場合でも、前記合成画像の画質を向上させることが
できる。また本発明によれば、前記画像処理装置は、前
記ずれを求める基準とするべき複数の特徴点を、前記被
処理画像内に相互に予め定める距離だけ離して配置され
る複数の領域の中から、１つずつ抽出する。これによっ
て、前記被処理画像と各補助画像とのずれを、確実に検
出することができる。

【０１６２】さらにまた本発明によれば、前記画像処理
装置の輝度補正手段は、前記被処理画像の各画素の輝度
を、該輝度と予め定める基準輝度との和を予め定める関
数に基づいて変換した値に置換える。これによって、被
処理画像に重畳されるランダムノイズが輝度補正処理に
起因して増幅されることを、防止することができる。

【０１６３】また本発明によれば、前記画像処理装置
は、さらに、前記輝度補正処理および彩度抑制処理が施
された被処理画像の画素の彩度を、前記補正された輝度
が高いほど、強調する。これによって、前記彩度抑制処
理によって抑制されたランダムノイズを増加させること
なく、前記輝度補正処理によって失われた各画素の彩度
だけを補正することができる。さらにまた本発明によれ
ば、前記画像処理装置は、さらに、前記輝度補正処理お
よび彩度抑制処理が施された被処理画像に、先鋭化を施
す。前記先鋭化の度合は、前記被処理画像の中の前記高
輝度領域ほど、強い。この結果、前記彩度抑制処理によ
って抑制されたランダムノイズを増加させることなく、
前記被処理画像を先鋭化することができる。

【０１６４】また本発明によれば、前記画像処理装置
は、いわゆる輝度補正処理が施された前記被処理画像
に、さらに彩度抑制処理を画素単位で施すための画像処
理プログラムが、媒体に記憶される。この画像処理プロ
グラムをコンピュータにインストールして実行させるだ
けで、画像処理装置を容易に実現することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態である画像処理装置２２
を含む画像作成装置２１の電気的な構成を示すブロック
図である。

【図２】画像処理装置２２内の画質改善部３１の機能的
構成を示すブロック図である。

【図３】画質改善部３１の中の参照用前処理部４１内の
輝度補正部５１の機能的構成を示すブロック図である。

【図４】画質改善部３１に備えられる輝度補正ルックア
ップテーブルの特性を示すグラフである。

【図５】画質改善部３１に備えられる輝度補正ルックア
ップテーブルの特性を示すグラフである。

【図６】画質改善部３１の中の参照用前処理部４１内の
色ノイズ除去部５２の機能的構成を示すブロック図であ
る。

【図７】色ノイズ除去部５の中の彩度抑制部６７におい
て、画素の彩度成分Ｓの抑制の度合を定めるために用い
られる輝度評価係数ｋｉと、画素の輝度成分Ｖとの関係
を示すグラフである。

【図８】色ノイズ除去部５の中の彩度抑制部６７におい
て、画素の彩度成分Ｓの抑制の度合を定めるために用い
られる彩度評価係数ｋｓと、画素の彩度成分Ｓとの関係
を示すグラフである。

【図９】画質改善部３１内の特徴点抽出部４２の動作を
説明するための、参照画像Ｉｒの模式図である。

【図１０】画質改善部３１内の補助用前処理部４５の動
作を説明するための、参照画像Ｉｒおよび補助画像Ｉｑ
（ｎ）の模式図である。

【図１１】画質改善部３１の中の合成部４６における第
１の手法の合成処理を説明するための機能的ブロック図
である。

【図１２】画質改善部３１の中の合成部４６における第
２の手法の合成処理を説明するための機能的ブロック図
である。

【図１３】ランダムノイズの抑制に関する第１の従来技
術である雑音除去回路１の電気的構成を示すブロック図
である。

【図１４】ランダムノイズの抑制に関する第２の従来技
術である映像信号処理装置の電気的構成を示すブロック
図である。

【符号の説明】

２２ 画像処理装置 ２３ 撮影装置 ２９ 通信部 ３１ 画質改善部 ４２ 特徴点抽出部 ４３（１）〜４３（Ｎ） 対応点探索部 ４４（１）〜４４（Ｎ） 変形部 ４６ 合成部 ５１，５３（１）〜５３（Ｎ） 輝度補正部 ５２，５４（１）〜５４（Ｎ） 色ノイズ除去部 ５５ 彩度強調部 ５６ 先鋭化部 ８１，８２，８３ 特徴点探索領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 安久 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 昭57−44385（ＪＰ，Ａ) 特開 平５−91395（ＪＰ，Ａ) 特開 平６−189324（ＪＰ，Ａ) 特開 平７−135599（ＪＰ，Ａ) 特開 平７−143509（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/64 - 9/68 H04N 1/46 H04N 1/60

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 複数の画素から構成されるカラーの被処
   理画像を入力する被処理画像入力手段と、 前記被処理画像の各画素の輝度を、予め定める関数に基
   づいて、それぞれ補正する被処理画像用輝度補正手段
   と、 輝度成分が補正された前記被処理画像の各画素の彩度
   を、前記各画素の補正された輝度が低くかつ前記各画素
   の前記彩度が高いほど、それぞれ抑制する被処理画像用
   彩度抑制手段とを含むことを特徴とする画像処理装置。
2. 【請求項２】 前記被処理画像と同じ被写体が写り、複
   数の画素から構成されるカラーの補助画像を、少なくと
   も１枚入力する補助画像入力手段と、 彩度が抑制された前記被処理画像と、全ての前記補助画
   像とを合成して、合成画像を得る合成手段とをさらに含
   み、 前記合成画像の各画素の色は、前記彩度が抑制された被
   処理画像の各画素の色と、該被処理画像内の各画素にそ
   れぞれ対応する前記全ての補助画像の各画素の色との平
   均であることを特徴とする請求項１記載の画像処理装
   置。
3. 【請求項３】 前記全ての補助画像の各画素の輝度を、
   予め定める関数に基づいて、それぞれ補正する補助画像
   用輝度補正手段と、 輝度が補正された前記全ての補助画像の各画素の彩度
   を、前記各画素の補正された前記輝度が低くかつ前記各
   画素の前記彩度が高いほど、それぞれ抑制する補助画像
   用彩度抑制手段とをさらに含み、 前記合成手段は、彩度が抑制された前記被処理画像と、
   彩度が抑制された全ての補助画像とを合成することを特
   徴とする請求項２記載の画像処理装置。
4. 【請求項４】 前記合成画像の各画素の色は、前記彩度
   が抑制された被処理画像の各画素の色と、該被処理画像
   の各画素にそれぞれ対応する前記全ての補助画像の各画
   素の色との単純平均であることを特徴とする請求項２記
   載の画像処理装置。
5. 【請求項５】 前記各補助画像の各画素と、該補助画像
   の画素にそれぞれ対応する前記彩度が抑制された被処理
   画像の画素との相関を、該各補助画像の画素毎に個別に
   求める相関演算手段をさらに含み、 前記合成画像の各画素の色は、前記彩度が抑制された被
   処理画像の各画素の色と、該被処理画像内の各画素にそ
   れぞれ対応し、かつ、前記相関値によってそれぞれ重み
   付けされた前記全ての補助画像内の各画素の色との平均
   であることを特徴とする請求項２記載の画像処理装置。
6. 【請求項６】 前記各補助画像と前記被処理画像とのず
   れを、各補助画像毎にそれぞれ検出するずれ検出手段
   と、 前記各補助画像と前記被処理画像とのずれの検出の信頼
   性を、各補助画像毎にそれぞれ求める信頼性算出手段と
   をさらに含み、 前記合成手段は、前記全ての補助画像のうちの前記信頼
   性が予め定める評価基準以上である補助画像と、前記彩
   度が抑制された被処理画像とを、合成することを特徴と
   する請求項２記載の画像処理装置。
7. 【請求項７】 前記各補助画像と前記被処理画像とのず
   れをそれぞれ検出するずれ検出手段と、 前記被処理画像と前記各補助画像とのずれを相殺するよ
   うに、前記各補助画像をそれぞれ変形する変形手段をさ
   らに含み、 前記合成手段は、変形された前記全ての補助画像と、前
   記彩度が抑制された被処理画像とを、合成することを特
   徴とする請求項２記載の画像処理装置。
8. 【請求項８】 前記被処理画像内に３つ以上設定される
   領域内から、特徴点を１つずつ抽出する特徴点抽出手段
   をさらに含み、 前記領域のうちの少なくとも３つの領域は、各領域に予
   め定められる基準点を頂点とする図形が正三角形になる
   ように、配置され、 前記ずれ検出手段は、複数の前記特徴点にそれぞれ対応
   する前記各補助画像内の複数の対応点を、前記各補助画
   像毎に個別に探索して、前記被処理画像内の全ての前記
   特徴点同士の位置関係と、前記各補助画像内の全ての前
   記対応点同士の位置関係とに基づいて、前記被処理画像
   と前記各補助画像とのずれをそれぞれ求めることを特徴
   とする請求項６および７記載の画像処理装置。
9. 【請求項９】 前記被処理画像用輝度補正手段は、前記
   被処理画像の各画素の輝度と予め定める基準輝度との和
   をそれぞれ求め、前記和を前記関数に基づいてそれぞれ
   補正することを特徴とする請求項１記載の画像処理装
   置。
10. 【請求項１０】 前記被処理画像の各画素の抑制された
    彩度を、前記各画素の補正された輝度が高いほど、強調
    する彩度強調手段をさらに含むことを特徴とする請求項
    １記載の画像処理装置。
11. 【請求項１１】 各画素の彩度が抑制された前記被処理
    画像に先鋭化を施す先鋭化手段をさらに含み、 前記先鋭化の度合は、前記彩度が抑制された被処理画像
    の中の、前記補正された輝度が高い画素がある部分ほ
    ど、強いことを特徴とする請求項１記載の画像処理装
    置。
12. 【請求項１２】 複数の画素から構成されるカラーの被
    処理画像の画質を改善するための画像処理プログラムを
    記憶する媒体であって、 前記画像処理プログラムは、 前記被処理画像の各画素の輝度を、予め定める関数に基
    づいて、各画素毎にそれぞれ補正し、 輝度が補正された前記被処理画像の各画素の彩度を、前
    記各画素の補正された輝度が低くかつ前記各画素の彩度
    が高いほど、それぞれ抑制することを特徴とする画像処
    理プログラムを記憶する媒体。