JP2001008038A - 画像処理方法および画像処理装置およびマルチバンドカラー写真システム - Google Patents

Abstract

(57)【要約】 【課題】マルチバンド画像のノイズ成分を、画質の低下
を引き起こすことなく抑制や除去ができる一方、撮影被
写体のエッジを鮮鋭化して画像のシャープネスを向上す
ることができる画像処理方法および画像処理装置および
マルチバンドカラー写真システムを提供する。 【解決手段】マルチバンド画像の原画像データに対し
て、シャープネス強調、平滑化およびエッジ検出の各処
理を行い、前記エッジ検出からエッジ領域重み付けデー
タを得るとともに、シャープネス強調された画像データ
と平滑化処理された画像データとからエッジ・ノイズ混
在成分画像データを得、これを用いて原画像間の相関値
を求めた後、前記エッジ領域重み付けデータと前記相関
値とからエッジ保持・ノイズ抑制係数を求め、この係数
を前記エッジ・ノイズ混在成分画像データに乗算した後
前記平滑化画像データに加算して処理画像データを得る
ことによって前記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも４種以
上の異なる波長領域で同一の被写体を撮影して得られる
マルチバンド画像の粒状や電気的ノイズに起因する画像
上のノイズ（雑音）成分を抑制あるいは除去し、シャー
プネスを強調するマルチバンド画像の画像処理方法、画
像処理装置およびマルチバンドカラー写真システムの技
術分野に属する。

【０００２】

【従来の技術】今日、デジタル画像処理の進歩によっ
て、デジタル画像に求められる高品質、高画質の要求は
高い。フィルムによって撮影される撮影画像において
も、被写体がシャープに写り、しかもノイズのない色再
現の良好な画像が要求される。このようなデジタル画像
がカラー画像の場合、赤（Ｒ）、緑（Ｇ）および青
（Ｂ）の３原色の３画像によって形成されるのが一般的
である。

【０００３】しかし、絵画等の美術工芸品の分野では、
色の忠実な再現を行なうために、少なくとも４種以上の
異なる波長領域で同一の被写体を撮影した複数の単色画
像から合成して得られる画像、すなわちマルチバンド画
像を用いて整理保存等を行なっている。また、より色再
現の良好な画像を得ることができるように、写真フィル
ムの分光感度やデジタルカメラの撮像素子の分光感度等
の設計を行なう際、被写体の分光反射率を定量的に求め
るためにマルチバンド画像が利用されている。

【０００４】このようなマルチバンド画像を得るために
は、画像撮影手段として、例えば銀塩写真感光材料やＣ
ＣＤ(charge coupled device) 等の固体撮像素子やフォ
トマルチプライヤ等の撮像管等が用いられるが、これら
の手段によって撮影された画像には、いずれにおいても
ノイズ（雑音）が含まれており、画質を低下させる原因
となっている。この撮影画像に含まれるノイズは、例え
ば銀塩写真感光材料を用いた場合、感光材料自体が有す
る粒状であり、また固体撮像素子や撮像管を用いた場
合、ショットノイズや電気回路に起因するノイズによっ
て発生するものである。

【０００５】特に、マルチバンド画像においては、マル
チバンド画像を得る際撮影被写体の分光反射率を計算し
て推定する必要があるため、撮影された単色画像の画像
データを他の波長域で撮影された単色画像の画像データ
とともに演算しなければならず、また波長域の異なる単
色画像の画像データを用いてカラー画像等を得る場合に
も、上記画像データを演算しなければならず、そのため
画像データに含まれるノイズ成分も一緒になって演算さ
れてしまう。その結果、ノイズ成分が強調され、被写体
の分光反射率に大きなノイズ成分が入り、マルチバンド
画像やマルチバンド画像を構成する単色画像の画像デー
タを用いて得られるカラー画像等にノイズ成分が強調さ
れて含まれ、ＲＧＢの３原色によって得られる従来のカ
ラー画像に比べて画質が劣化するといった問題が発生す
る。

【０００６】また、マルチバンド画像は、複数の原画像
を合成することによって得られるため、撮影被写体のエ
ッジのはっきりしないボケ画像を形成し、ＲＧＢの３原
色によって得られる従来のカラー画像に対してシャープ
ネスの劣化を起こし易い。

【０００７】このようなマルチバンド画像のシャープネ
ス劣化に対して画質を向上させるには、従来のＲＧＢの
３原色によって得られる画像に対する場合と同様に、ラ
プラシアンフィルタやアンシャープマスクによってシャ
ープネス強調を行なうことができる。しかし、ラプラシ
アンフィルタやアンシャープマスクによってシャープネ
ス強調を行なうと、画像に含まれているノイズ成分も強
調されマルチバンド画像の画質は一層劣化するといった
ノイズの問題が発生する。

【０００８】このようなノイズの問題に対して、ノイズ
成分の抑制や除去のための画像処理方法として、白黒等
の単色画像のノイズ成分を処理する処理方法やカラー画
像のノイズ成分除去方法等多数の方法が提案されている
一方、撮影画像のノイズ成分を除去しつつ、シャープネ
スを強調する画像処理法も幾つか提案されている。しか
し、これらはいずれもノイズ成分をクリッピングする方
法や、画像データの平均化を行なう方法やぼかす方法を
用いているため、ぼけたノイズパターンが視覚的に不快
に感じられたり、除去してはならない微小な被写体構造
がノイズ成分とともに除去され、不自然な画像となった
り、アーチファクトが生じる等の問題があり、写真のよ
うな審美的な画像には適さないという問題があった。

【０００９】また、シャープネス向上のための画像処理
方法も多数あるが、単にシャープネス強調すると画像と
ともにノイズや粒状も同時に強調されるため、シャープ
ネスは向上してもノイズ成分が悪化した画像となってし
まうといった問題があった。シャープネスを強調しつ
つ、ノイズ成分を除去する画像処理方法も幾つか提案さ
れているが、上述したように不自然な画像となったり、
アーチファクトが生じるといった問題が生じた。

【００１０】たとえば、特表昭５７−５００３１１号公
報、同５７−５００３５４号公報および「アンシャープ
で粒状の目立つ写真画像のディジタル強調方法」、電子
画像処理国際会議録、１９８２年７月、第１７９〜１８
３頁（P.G.Powell and B.E.Bayer, ''A Method for the
Digital Enhancement of Unsharp,Grainy Photographi
c Images'' ,Proceedings of the International Confe
rence on ElectronicImage Processing,Jul.26-28,198
2,pp.179-183) に開示されたポーウェルおよびバイヤー
らの処理法では、粒状抑制方法として平滑化処理法（ロ
ーパスフィルタ）を用い、シャープネス強調方法として
アンシャープマスク（ハイパスフィルタ）による処理法
を用いている。例えば、銀塩写真感光材料の場合を例に
とって説明すると、平滑化処理はｎ×ｎ画素の信号値に
Gaussian型等の重み付けを乗じて信号を平滑化すること
によって、粒状を抑制する処理である。シャープネス強
調処理は、先ずｍ×ｍ画素の画像信号を用いて、中心画
素から周囲画素の方向の微分値を求め、その値が設定し
た閾値より小さい場合は粒状や雑音と見做してコアリン
グ処理で除去し、残った閾値より大きい微分値の和をと
り、１．０以上の定数を乗じて上記の平滑化信号に加算
することによりシャープネス強調を行う。

【００１１】この処理法では、粒状パターンをぼかして
いるので、粒状パターンの濃淡コントラストは低下する
が、粒状を構成する粒子の集落（モトル）からなる大き
いむらパターンが視覚的には目立つようになったりする
ため、不快な粒状として見えるという欠点がある。また
設定した閾値で粒状と画像の識別を行っている（コアリ
ング処理）ので、コントラストの低い画像信号が粒状と
誤認され、粒状と共に抑制あるいは除去されてしまった
り、除去した信号と強調した画像信号との境界で不連続
性が生じ、画像に不自然なアーティファクトが見られる
という欠点がある。特に、芝生や絨毯等の微細な画像、
および布地等のテクスチャが描写されている画像におい
てこの欠点が現れ、視覚的には極めて不自然で望ましく
ないアーティファクトとなる。

【００１２】この問題は、上記銀塩写真感光材料の粒状
性の場合のみならず、固体撮像素子や撮像管を用いた場
合のショットノイズや電気的ノイズに起因する画像デー
タに混入するノイズ成分においても同様に発生する。

【００１３】

【発明が解決しようとする課題】そこで、本発明は、少
なくとも４種以上の異なる波長領域で同一の被写体を撮
影して得られるマルチバンド画像について、上記問題点
を克服して、画像に含まれる画像撮影手段、例えば銀塩
写真感光材料固有の粒状やＣＣＤ等の固体撮像素子やフ
ォトマルチプライヤ等の撮像管等に起因する電気的ノイ
ズに起因したマルチバンド画像のノイズ成分を、画質の
低下を引き起こすことなく抑制や除去ができる一方、撮
影被写体のエッジを鮮鋭化して画像のシャープネスを向
上することができ、しかも視覚的に不快に感じられるノ
イズ成分除去後のパターンが画像に発生することもな
く、本来除去してはならない微細構造をノイズ成分とと
もに除去してしまうこともなく、また画像に不自然なア
ーチファクトが生じることもなく、絵画等の審美的な被
写体をはじめ、一般の被写体を撮影して色・調子再現が
被写体に忠実でかつ像構造（シャープネスとノイズ）の
劣化の少ない審美的な写真画像を得る画像処理方法、画
像処理装置およびこれを用いたマルチバンドカラー写真
システムを提供することを目的とする。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、本発明者が以下の点を考慮して発明に至
ったものである。すなわち、被写体の分光分布は一般の
被写体では種々の波長成分を含む広がりを持ち、またマ
ルチバンド写真を撮影する際に波長域を分離するための
カラーフィルタも一般に幾らかの広がりを有しており、
互いに重なりのあるものとなっている。従って、マルチ
バンド写真においては、被写体画像の情報が複数の原画
像に跨がって記録されている。マルチバンド写真におけ
るノイズ成分あるいは粒状は、例えば銀塩フィルムで撮
影する場合は別々のフィルムに撮影するため、フィルム
固有の粒状は無相関となる。また、撮像素子等の電子的
撮像方式によるものでは、同じ撮像素子を用いて撮影す
る場合には時間的なずれがあり、また複数の撮像素子で
同時に撮影する場合には撮像素子が別々であるため、撮
像素子や電子回路によって発生する電気的なノイズは無
相関となる。マルチバンド写真画像においては、被写体
の画像データは各原画像間の相関があり、一方ノイズ成
分は各原画像固有のものであり、相関がないこと利用し
て、画素毎に原画像の画像データを計算し、相関のより
強い画像データは被写体の画像データと判断し、相関の
弱い画像データはノイズ成分（あるいは粒状）の画像デ
ータと判断することによって、被写体の画像データとノ
イズ成分を識別できる。本発明者は、これを用いること
によって、たとえば、相関の程度に反比例（あるいは、
非線形の関係式を用いて）するように、すなわち相関の
弱い画像データをより多く除去することによって、ノイ
ズ成分を除去し、ノイズ成分の無いあるいはノイズ成分
の少ない画像データを得ることができることを見出した
のである。

【００１５】すなわち、本発明は、少なくとも４種以上
の異なる波長領域で同一の被写体を撮影して得た波長領
域毎の複数の原画像デジタルデータ（原画像データ）に
対し、この原画像データにシャープネス強調処理を行な
ってシャープネス強調画像データを作成し、前記原画像
データに平滑化処理を行って平滑化画像データを作成
し、波長領域に対応した前記シャープネス強調画像デー
タから前記平滑化画像データを減算してエッジ強調成分
とノイズ成分の混在するエッジ・ノイズ混在画像データ
を前記複数の原画像各々について求め、一方、前記原画
像データから被写体のエッジ検出を行って求められるエ
ッジ強度データから被写体のエッジ領域とノイズ領域を
数値化して識別するエッジ領域重み付けデータを求め、
さらに、前記エッジ・ノイズ混在画像データから前記原
画像の各画素位置毎に、前記原画像間の前記エッジ・ノ
イズ混在画像データの相関を表す相関値を計算し、前記
エッジ領域重み付けデータと前記相関値とから、被写体
のエッジ領域ではエッジ強調成分を保存し、ノイズ成分
の支配的な領域ではノイズ成分を抑制するエッジ保存・
ノイズ抑制係数を求め、前記エッジ・ノイズ混在画像デ
ータに前記エッジ保存・ノイズ抑制係数を乗算してエッ
ジ強調・ノイズ抑制画像データを計算し、前記平滑化画
像データに前記エッジ強調・ノイズ抑制画像データを加
算してノイズ成分が抑制され、シャープネスの強調され
た処理画像データを各原画像毎に得ることを特徴とする
画像処理方法を提供するものである。

【００１６】その際、少なくとも６種以上の異なる波長
領域で同一の被写体を撮影して得た波長領域毎の複数の
原画像デジタルデータに対して画像処理を行なうのが好
ましい。また、前記エッジ強度データは、前記原画像の
各画素を中心とした一定範囲の領域内での画像データの
局所的な標準偏差を各画素について各原画像毎に求め、
この局所的な標準偏差の前記原画像での平均値をとるこ
とで得られるのが好ましく、さらに、前記エッジ領域重
み付けデータは、前記エッジ強度データを正規化した０
以上１以下の数値を、上限値を１としつつ下限値を０以
上１以下とする値に縮小変換することで得られるのが好
ましい。また、前記相関値は、前記複数の原画像での前
記エッジ・ノイズ混在画像データの平均値の絶対値をと
ることで得られるのが好ましく、前記エッジ保存・ノイ
ズ抑制係数は、前記相関値と前記エッジ領域重み付けデ
ータとを乗算して得られるのが好ましい。また、前記処
理画像データは、前記エッジ保存・ノイズ抑制係数に応
じて、エッジ強調成分を保存しつつ、ノイズ成分のみを
選択的に抑制して得られるのが好ましい。

【００１７】また、本発明は、少なくとも４種以上の異
なる波長領域で同一の被写体を撮影して得た波長領域毎
の複数の原画像から構成されるマルチバンド画像の原画
像データに対し画像処理を行なう画像処理装置であっ
て、前記原画像データにシャープネス強調処理を行なっ
てシャープネス強調画像データを作成するシャープネス
強調処理部と、前記原画像データから平滑化処理を行な
って平滑化画像データを作成する平滑化処理部と、前記
原画像データから被写体のエッジ検出を行ってエッジ強
度データを求めるエッジ検出部と、このエッジ検出部で
求められたエッジ強度データより、被写体のエッジ領域
とノイズ領域を数値化して識別するエッジ領域重み付け
データを求めるエッジ領域重み付けデータ演算部と、波
長領域に対応する前記シャープネス強調処理部で得られ
た前記シャープネス強調画像データから前記平滑化処理
部で得られた前記平滑化画像データを減算してエッジ強
調成分とノイズ成分の混在するエッジ・ノイズ混在画像
データを原画像各々について抽出するエッジ・ノイズ混
在成分抽出部と、前記エッジ・ノイズ混在画像データか
ら前記原画像の各画素位置毎に、前記エッジ・ノイズ混
在成分抽出部で得られた前記エッジ・ノイズ混在画像デ
ータの前記原画像間の相関を示す相関値を計算して得る
画像間相関演算部と、前記エッジ領域重み付けデータ演
算部で得られた前記エッジ領域重み付けデータと前記画
像間相関演算部で得られた前記相関値とから、被写体の
エッジ領域では前記エッジ強調成分を保存し、ノイズ成
分の支配的な領域ではノイズ成分を抑制するエッジ保存
・ノイズ抑制係数を求めるエッジ保存・ノイズ抑制係数
演算部と、前記前記エッジ・ノイズ混在成分抽出部で得
られた前記エッジ・ノイズ混在画像データと前記エッジ
保存・ノイズ抑制係数演算部で得られた前記エッジ保存
・ノイズ抑制係数とを用いてエッジ強調・ノイズ抑制画
像データを得るエッジ強調・ノイズ抑制画像データ処理
部と、前記平滑化処理部で得られた前記平滑化画像デー
タと前記エッジ強調・ノイズ抑制画像データ処理部で得
られた前記エッジ強調・ノイズ抑制画像データを加算し
て、ノイズ成分が抑制されシャープネスが強調された処
理画像データを得るノイズ抑制・シャープネス強調処理
演算部とを有することを特徴とする画像処理装置を提供
するものである。

【００１８】その際、前記ノイズ抑制・シャープネス強
調処理演算部は、前記エッジ保存・ノイズ抑制係数に応
じて、エッジ強調成分を保存しつつ、ノイズ成分のみを
選択的に抑制するのが好ましい。また、本発明は少なく
とも４種以上の異なる波長領域で同一の被写体を撮影し
て得た波長領域毎の複数の原画像から構成されるマルチ
バンド画像を得るマルチバンドカラー写真システムであ
って、上記マルチバンド画像のノイズ抑制およびシャー
プネス強調のための画像処理装置を含むとともに、被写
体分光反射率分布を得る演算部を備えることを特徴とす
るマルチバンドカラー写真システムを提供するものであ
る。

【００１９】

【発明の実施の形態】以下、本発明の画像処理方法、画
像処理装置およびマルチバンドカラー写真システムにつ
いて、添付の図面に示される好適実施例を基に詳細に説
明する。

【００２０】図１に、本発明の画像処理方法を実施し、
本発明の画像処理装置の一実施例でもあるノイズ除去・
シャープネス強調画像処理演算部１４を組み込んだマル
チバンド写真システム１０を示す。マルチバンド写真シ
ステム１０は、被写体を撮影するマルチバンド写真画像
撮影入力装置１２から得られたマルチバンド画像を構成
する原画像の原画像データＩ_0iから、画像処理を行い分
光反射率分布取得して、この分光反射率分布から得られ
る画像データを、例えばカラーディスプレイ等の画像表
示装置、画像データ記憶装置、あるいはコンピュータ等
に出力する装置であり、ノイズ除去・シャープネス強調
画像処理演算部１４と、被写体の分光反射率分布を算出
して推定する、被写体分光反射率分布演算部１６と、被
写体の分光反射率分布の画像データとして出力する被写
体分光反射率分布画像データ出力装置１８とを有して構
成される。

【００２１】マルチバンド写真画像撮影入力装置１２
は、マルチバンド画像を得るための被写体を撮影する画
像撮影手段であり、マルチバンド画像の原画像データを
マルチバンド写真システム１０に送る装置である。例え
ば、撮影用レンズおよび結像した画像を光電的に読みと
るＣＣＤセンサを有し、上記撮影用レンズの前に複数
個、少なくとも４個のカラーフィルタからなるバンドパ
スフィルタを配し、撮影時このバンドパスフィルタを順
次取り替えながら同一被写体を撮影するマルチバンド画
像撮影用デジタルカメラが挙げられる。また、撮影用レ
ンズと分光感度特性の異なる少なくとも４種の波長域で
結像した画像を光電的に読みとることのできる少なくと
も４種のＣＣＤセンサを有した、上記バンドパスフィル
タのないマルチバンド画像撮影用デジタルカメラであっ
てもよい。この場合、ＣＣＤセンサはバンドパスフィル
タが組み込まれているものであってもよい。さらには、
マルチバンド写真画像撮影入力装置１２は、被写体を少
なくとも４個のカラーフィルタからなるバンドパスフィ
ルタを順次介して銀塩写真感光材料に白黒画像として複
数の原画像を形成させる銀塩写真撮影用カメラと、この
カメラで撮影した上記複数の原画像をデジタル画像デー
タとして得るスキャナとから構成される装置であっても
よい。

【００２２】マルチバンド写真システム１０の、ノイズ
除去・シャープネス強調画像処理演算部１４は、マルチ
バンド画像のノイズ抑制およびシャープネス強調のため
に本発明の画像処理方法を実施し、また、本発明の画像
処理装置の一実施例を示すもので、原画像データＩ_0iに
画像処理を施して、原画像データＩ_0iからノイズが抑制
されシャープネスの強調された処理画像データＩ_1iを得
る部分であり、その構成については後述する。

【００２３】被写体分光反射率分布演算部１６は、処理
画像データＩ_1iから被写体の分光反射率分布ｒ（ｘ，
ｙ，λ）を推定する部分であり、例えば、銀塩写真の場
合、処理画像データＩ_1iから、銀塩写真感光材料の露光
量に対する濃度の特性曲線を用いて露光量に変換し、そ
の後撮影時の被写体照明光、カラーフィルタ、撮影セン
サである写真フィルムの分光分布と組み合わせて被写体
の分光反射率分布ｒ（ｘ、ｙ、λ）を推定するように構
成される。なお、ｘおよびｙは、画像の注目画素位置で
あり、λは光の波長である。

【００２４】被写体分光反射率分布画像データ出力装置
１８は、被写体分光反射率分布演算部１６で得られた被
写体の分光反射率分布ｒ（ｘ，ｙ，λ）を、被写体分光
反射率分布画像データ出力装置１８に接続されたコンピ
ュータ等に画像データとして出力装置である。コンピュ
ータに入力された被写体分光反射率分布画像データは、
ＣＲＴモニタ等の画像表示装置でマルチバンド画像を構
成する各々のバンド画像を黒白画像として表示したり、
色再現・調子再現変換等の画像処理を施してＲＧＢカラ
ー画像データに変換したり、カラー画像として表示した
り、カラープリンタでプリントとして出力する等の様々
な利用に供することができる。

【００２５】さて、ノイズ除去・シャープネス強調画像
処理演算部１４は、ｎ種（ｎは少なくとも４以上）の異
なる波長領域で同一の被写体を撮影した複数の原画像か
ら構成されるマルチバンド画像の原画像の原画像データ
Ｉ_0i（ｉはマルチバンド画像を構成する原画像の番号
で、ｉは１以上ｎ以下の整数）に対し，本発明にかかる
画像処理方法を行なう部分であり、図２に示すように、
シャープネス強調処理部１４ａ、平滑化処理部１４ｂ、
エッジ検出部１４ｃ、エッジ領域重み付けデータ演算部
１４ｄ、エッジ・ノイズ混在成分抽出部１４ｅ、画像間
相関値演算部１４ｆ、エッジ保存・ノイズ抑制係数演算
部１４ｇ、エッジ強調・ノイズ抑制画像データ処理部１
４ｈおよびノイズ抑制・シャープネス強調処理演算部１
４ｉとを有して構成される。

【００２６】シャープネス強調処理部１４ａでは、ガウ
シアン型アンシャープマスク(Gaussian USM)やラプラシ
アン(Laplacian) 等による方法によってシャープネス強
調処理が行われ、原画像データＩ_0iにシャープネス強調
を行い、画像入力系のぼけ回復を行い、シャープネス強
調画像データＩ_Siを作成する処理部である。画像のシャ
ープネス劣化が軽度なものであれば、画像のシャープネ
スを強調することができる。

【００２７】例えば、アンシャープマスクは、次式のよ
うに原画像データＩ_0i（ｘ，ｙ）（ｘ，ｙは、画像中の
注目画素の位置を示す）から、Ｉ_0i（ｘ，ｙ）を平滑化
した画像データ＜Ｉ_0i（ｘ，ｙ）＞を引いて求めたエッ
ジ強調成分Ｉ_0i（ｘ，ｙ）−＜Ｉ_0i（ｘ，ｙ）＞に係数
ａを掛けて原画像データＩ_0i（ｘ，ｙ）に加算すること
によって、シャープネス強調画像データＩ_Si（ｘ，ｙ）
を求める方法である。 Ｉ_Si （ｘ，ｙ）＝Ｉ_0i（ｘ，ｙ） ＋ａ〔Ｉ_0i（ｘ，ｙ）−＜Ｉ_0i（ｘ，ｙ）＞〕 （１） ここで、ａはシャープネス強調の程度を調節する定数で
ある。ラプラシアンは、原画像データＩ_0i（ｘ，ｙ）の
二次微分（ラプラシアン）▽ ² Ｉ_0i（ｘ，ｙ）を原画像
データから引くことによって、シャープネス強調する方
法で、次式で表される。 Ｉ_Si（ｘ，ｙ）＝Ｉ_0i（ｘ，ｙ）−▽² Ｉ_0i（ｘ，ｙ） (２） ラプラシアンによるシャープネス強調の具体的な例とし
ては、下記のような３×３の係数配列が良く用いられ
る。 0 −1 ０ −1 −1 −1 1 −2 1 −1 5 −１ −1 9 −1 −2 5 −2 (３） 0 −1 ０ −1 −1 −1 1 −2 1

【００２８】この係数配列では、特に強いシャープネス
強調を掛けたときに、画像のエッジに不自然な輪郭が発
生し易い。そこで、そのような欠点を少なくするため
に、本発明では式（４）に示したような正規分布型(Gau
ssian)のぼけ関数を用いたアンシャープマスクを用いる
のが好ましい。 G(x,y)＝(1/2πσ²)exp[−(x² + y²)/２σ²] (４） ここで、σ² は正規分布関数の広がりを表すパラメータ
であり、マスクの端ｘ＝ｘ₁ における値とマスクの中心
ｘ＝０における値の比、 G(x₁,0)/G(0,0)＝exp[−x₁ ²/２σ²] （５） が０．１〜１．０となるように調節することによって、
３×３のアンシャープマスクのシャープさを所望のもの
とすることができる。式（５）の値を１．０に近い値に
すると、式（８）の中央のラプラシアンフィルタとほぼ
同じマスクを作ることができる。マスクのシャープさを
変更するには、この他にマスクの大きさを変更する方法
があり、たとえば５×５、７×７、９×９等のマスクを
用いることによって、シャープネス強調の空間周波数域
の大幅な変更が可能となる。

【００２９】また、マスクの関数形としても、上記の正
規分布型以外のもの、たとえば、下記式（１１）のよう
な指数関数型のマスクを用いることができる。 E(x,y)＝exp[−(x² + y²)^1/2／ａ] （６） ここで、ａは式（５）のσ² と同様にアンシャープマス
クの広がりを表すパラメータであり、マスクの端の値と
マスクの中心値の比、 E(x₁,0)/E(0,0)＝exp[−x₁／ａ] （７） が０．１〜１．０となるように調節することによって、
３×３のアンシャープマスクのシャープさを所望のもの
とすることができる。式（８）に、E(x₁,0)/E(0,0)＝
０.3としたときの式（６）の指数関数のマスクの数値例
を示す。 0.18 0.30 0.18 0.30 1.00 0.30 （８） 0.18 0.30 0.18 このマスクから、アンシャープマスクの１例を計算する
と、次式（９）のようになる。 −0.12 −0.22 −0.12 −0.21 2.32 −0.21 （９） −0.12 −0.21 −0.12

【００３０】このようなアンシャープマスクを用いて、
原画像データＩ_0i（ｘ，ｙ）からシャープネス強調画像
データＩ_Si（ｘ，ｙ）を求め、得られたシャープネス強
調画像データＩ_Si（ｘ，ｙ）は、エッジ・ノイズ混在成
分抽出部１４ｅに送られる。なお、本発明に用いられる
シャープネス強調方法は、上述したものに限定されるわ
けではなく、この他の従来公知のシャープネス強調方
法、例えば空間周波数フィルタリング（Spatial fiteri
ng）等も適用可能である。

【００３１】次に、平滑化処理部１４ｂは、原画像デー
タＩ_0i（ｘ，ｙ）から平滑化処理を行なって平滑化画像
データ＜Ｉ_0i（ｘ，ｙ）＞を作成する演算部である。平
滑化処理の方法としては、実空間領域の処理と空間周波
数領域の処理を挙げることができ、以下のように種々の
方法があるが、平滑化処理部１４ｂでは、特に限定され
ない。例えば、実空間領域処理では、隣接する画素全体
の和を求め平均値を計算してその値に置き換える方法、
各画素に重み係数、たとえば正規分布型の関数を掛けて
平均値を求める方法、メディアンフィルタのような非線
型な処理を行う方法等の種々の方法が挙げられる。一
方、空間周波数領域の処理では、ローパスフィルタを掛
ける方法がある。たとえば、重み係数を用いる平均化の
方法では下記式（１０）を挙げることができる。

【００３２】

【数１】

【００３３】ただし、Ｎは平均化のマスクサイズ、ｗは
重み係数である。ｗ＝１．０とすると、単純平均とな
る。この時、処理のマスクとしては、下記のようなＮ×
Ｎ画素のマスクを用いるのが好ましい。具体的には３×
３から５×５、７×７、９×９程度のものを用いるのが
好ましい。 w₁₁ w₁₂ w₁₃・・・・・ w_1N w₂₁ w₂₂ w₂₃・・・・・ w_2N w₃₁ w₃₂ w₃₃・・・・・ w_3N ・ ・ ・ ・ （１１） ・ ・ ・ ・ w_N1 w _N2 w _N3・・・・ w_NN 隣接する各画素に重み係数、たとえば正規分布型の関数
を掛けて平均値を求め、平滑化画像データ＜Ｉ_0i（ｘ，
ｙ）＞を得る。得られた平滑化画像データ＜Ｉ_0i（ｘ，
ｙ）＞は、エッジ・ノイズ混在成分抽出部１４ｅに送ら
れる。

【００３４】エッジ検出部１４ｃは、原画像データＩ_0i
（ｘ，ｙ）から画像中の被写体エッジの検出を行う部分
であり、Ｎ_E ×Ｎ_E 画素の配列を原画像中移動しつつ、
配列内の原画像データＩ_0i（ｘ，ｙ）の値の変動を式
（１２）を用いて、その位置毎の局所的な標準偏差σ_i
（ｘ，ｙ）を順次局所分散として計算することによっ
て、画像中の被写体エッジの検出を行う。画素配列の大
きさ（Ｎ_E ×Ｎ_E ）は、検出精度および計算負荷を考慮
して適宜決めればよいが、例えば３×３、５×５あるい
は７×７程度の大きさを用いるのが好ましい。

【００３５】

【数２】 なお、＜Ｉ_0i（ｘ，ｙ）＞はその配列の平均値で、

【数３】 である。

【００３６】なお、エッジ検出部１４ｃのエッジ検出
は、画像データＩ_0i（ｘ，ｙ）の局所的な標準偏差を用
いてエッジの検出を行う局所分散法に限られず、それ以
外の方法、例えば、Ｎ_E ×Ｎ_E 画素の配列を移動しつつ
局所的に微分し、その絶対値を求める方法や差分型エッ
ジ検出オペレータであるSobel オペレータやRoberts オ
ペレータ等を用いてエッジ検出を行う方法や、さらにテ
ンプレート型のエッジ検出オペレータとして８方向のエ
ッジパターンに相当する３×３テンプレートを用いるRo
binsonオペレータやKirsh オペレータ等を用いる方法で
あってもよい。また、Laplacian オペレータを用いる方
法であってもよい。

【００３７】エッジ領域重み付けデータ演算部１４ｄ
は、エッジ検出部１４ｃで得られた局所的な標準偏差σ
_i （ｘ，ｙ）から、エッジ強度データＥ（ｘ，ｙ）を求
め、このエッジ強度データＥ（ｘ，ｙ）からエッジ領域
重み付けデータＷ_E （ｘ，ｙ）を得る部分である。この
エッジ領域重み付けデータＷ_E （ｘ，ｙ）は、その値が
大きいほど（ｘ，ｙ）での画素位置において被写体エッ
ジである確率が高く、値が小さいほど（ｘ，ｙ）での画
素の画像データにノイズ成分が多く含まれると数値的に
判断される画素毎のデータである。

【００３８】エッジ強度データＥ（ｘ，ｙ）は、マルチ
バンド画像を構成する原画像各々に得られるｎ個の局所
的な標準偏差σ_i （ｘ，ｙ）に対して、下記の式（１
４）のように、原画像での平均値を計算することによっ
てエッジ強度データＥ（ｘ，ｙ）を求める。

【００３９】

【数４】

【００４０】このエッジ強度データＥ（ｘ，ｙ）は、以
下に示す式（１５）のように、最大エッジ強度データＥ
_Max で正規化され、０以上１以下の正規化されたエッジ
強度データＥ_N （ｘ，ｙ）を得る。 Ｅ_N （ｘ，ｙ）＝Ｅ（ｘ，ｙ）／Ｅ_Max （１５） ここで、Ｅ_max は、エッジ強度データＥ（ｘ，ｙ）の最
大値で、Ｅ（ｘ，ｙ）を正規化するための定数である。
Ｅ_Max の決定方法は、式（１５）で求めた画像全体のエ
ッジ強度データＥ（ｘ，ｙ）から下記式（１６）のよう
に最大値を求める。 Ｅ_Max ＝Ｍａｘ｛Ｅ（ｘ，ｙ）｝ （１６）

【００４１】また、画像全体からの最大値を用いず、画
像データの一部分、例えば画像の重要被写体のある確率
の高い中央部分の特定範囲、あるいは全画像から間引い
た画像データ（原画像データの１／４〜１／１０程度）
から上記式（１４）や（１６）を用いて最大値Ｅ_Max を
求めてもよい。この場合、画像中央部分の特定範囲の画
像データや間引いた画像データは、マルチバンド画像の
原画像データを得る前に予め粗い画素密度で得ることの
できる各種処理条件調整用原画像データ（プレスキャン
画像データ）を用いてもよいし、撮影後の画像データか
ら抜き出してもよい。より好ましくは、Ｅ_Max は、エッ
ジ強度データＥ（ｘ，ｙ）を大きい値から順番に並べた
際の上位５〜１０％以内に位置する値の平均値，例えば
上位１０％以内に位置する値の平均値＜Ｅ（ｘ，ｙ）＞
_Max10%をＥ_Max とし、Ｅ（ｘ，ｙ）がこのＥ_Max を超え
る場合、すべてＥ_Max に置き換える。この場合、平均値
は、画像全体の平均値でも、重要被写体が撮影される場
合の多い中央部分の所定の範囲の平均値でも、あるい
は、間引いた画像データの平均値であってもよい。

【００４２】このようにして得られる正規化されたエッ
ジ強度データＥ_N （ｘ，ｙ）を用いて、下記式（１７）
に従って、エッジ領域重み付けデータＷ_E （ｘ，ｙ）を
求める。 Ｗ_E （ｘ，ｙ）＝１−α_E ＋α_E Ｅ_N （ｘ、ｙ） （１７） ここで、α_E はエッジ領域とノイズ領域の重み付けを設
定する定数であり、オペレータが０より大きく１より小
さい任意の値を設定することができる。エッジ領域重み
付けデータＷ_E （ｘ，ｙ）は、１−α_E 以上１以下の値
となり、Ｗ_E （ｘ，ｙ）が大きいほど、その画素位置で
被写体のエッジ領域である確率が高いと判断され、Ｗ_E
（ｘ，ｙ）が小さいほど、その画素位置でノイズ領域で
ある確率が高いと判断される。正規化されたエッジ強度
データＥ_N （ｘ，ｙ）が１．０に近い値となる領域で
は、α_E の値にかかわらずエッジ領域重み付けデータＷ
_E （ｘ，ｙ）が１．０に近い値となり、後述するように
エッジ強調成分が保存される。一方、正規化されたエッ
ジ強度データＥ_N （ｘ，ｙ）が１．０より小さくなるに
連れ、すなわちノイズ成分が多くなるに連れエッジ領域
重み付けデータＷ_E （ｘ，ｙ）は１−α_E に近づき、Ｗ
_E （ｘ，ｙ）の値に応じて、ノイズ成分が抑制され、除
去される。

【００４３】このように上記定数α_E は、後述するエッ
ジ強調・ノイズ抑制画像データΔＩ _ENI ’（ｘ，ｙ）の
係数となるエッジ領域重み付けデータＷ_E （ｘ，ｙ）の
値を定める上で重要な設定可能な定数である。エッジ強
度データＥ_N （ｘ，ｙ）の値が１．０に近い場合、すな
わち被写体のエッジ成分の支配的な領域では、定数α_E
の値に係わらずエッジ領域重み付けデータＷ_E （ｘ，
ｙ）も１．０に近い値を示すが、エッジ強度データＥ_N
（ｘ，ｙ）の値が１．０から小さくなるに連れ、すなわ
ちエッジ成分が少なくなるに連れエッジ領域重み付けデ
ータＷ_E （ｘ，ｙ）も小さくなり、１−α_E に近づく。
このとき、α_E として１．０に近い値を採用すると、エ
ッジ領域重み付けデータＷ _E （ｘ，ｙ）はエッジ強度デ
ータＥ_N （ｘ，ｙ）とほぼ等しくなり、被写体のエッジ
成分の支配的な領域では後述する式（１８）および（２
２）に示されるようにエッジが強調された画像データを
保存するものの、被写体のエッジ成分が全く無くノイズ
成分の支配的な部分では、エッジ領域重み付けデータＷ
_E （ｘ，ｙ）は０に近づき、後述するエッジ・ノイズ混
在画像データΔＩ_ENi （ｘ，ｙ）をほぼ完全に除去した
平滑化画像データ＜Ｉ_0i（ｘ，ｙ）＞、すなわち、ΔＩ
_ENi （ｘ，ｙ）に若干含まれていた被写体の微細構造が
除去された画像データしか得られず好ましくない。一
方、α_E として０．０に近い値を採用すると、ノイズ成
分の抑制や除去は全く行われない画像データしか得られ
ず好ましくない。定数α_E の最適な値は、原画像に含ま
れている被写体のエッジ等の情報と画像データに含まれ
るノイズ成分のバランスに応じて変化するが、その範囲
は、０．１より大きく０．９より小さい値とすることが
好ましく、より好ましくは０．３より大きく０．７より
小さい値である。

【００４４】エッジ・ノイズ混在成分抽出部１４ｅは、
シャープネス強調処理部１４ａから送られてきたシャー
プネス強調画像データＩ_Si（ｘ，ｙ）と、平滑化処理演
算部１４ｂから送られてきた平滑化画像データ＜Ｉ
_0i（ｘ，ｙ）＞とを用いて、下記式（１８）に従ってエ
ッジ・ノイズ混在画像データΔＩ_ENi （ｘ，ｙ）を抽出
する部分であり、抽出したエッジ・ノイズ混在画像デー
タΔＩ_ENi （ｘ，ｙ）は画像間相関値演算部１４ｆとエ
ッジ強調・ノイズ抑制画像データ処理部１４ｈに送られ
る。 ΔＩ_ENi （ｘ，ｙ）＝ Ｉ_si（ｘ，ｙ）ー ＜Ｉ_0i（ｘ，ｙ）＞ （１８）

【００４５】画像相関値演算部１４ｆは、エッジ・ノイ
ズ混在成分抽出部１４ｅから原画像ごとに抽出されたエ
ッジ・ノイズ混在画像データΔＩ_ENi （ｘ，ｙ）の原画
像間の相関を表す相関値Ｃ（ｘ，ｙ）を下記式（１９）
に従って、原画像の各画素の位置毎に得る演算部であ
る。 Ｃ（ｘ，ｙ）＝ ｜ （１／ｎ）Σ ΔＩ_ENi （ｘ，ｙ）｜ （１９） すなわち、マルチチャンネル画像を構成するすべての原
画像について、エッジ・ノイズ混在画像データΔＩ_ENi
の平均値をとり、その絶対値をとり、各画素の位置毎の
相関値Ｃ（ｘ，ｙ）を得る。なお、各画素の位置毎に計
算して得る相関値Ｃ（ｘ，ｙ）は、上記（１９）式によ
って得られるものに限定されず、他の方法で得られる相
関値を用いてもよい。

【００４６】さらに、画像相関値演算部１４ｆは得られ
た相関値Ｃ（ｘ，ｙ）から下記式（２０）に従って、正
規化された相関値Ｃ_N （ｘ，ｙ）を得、この正規化され
た相関値Ｃ_N （ｘ，ｙ）をエッジ保存・ノイズ抑制係数
演算部１４ｇに送る。 Ｃ_N （ｘ，ｙ）＝Ｃ（ｘ，ｙ）／Ｃ_Max （２０） ここで、Ｃ_Max は相関値Ｃ（ｘ，ｙ）の画像全体の範囲
から選ばれる最大値としているが、これに限定されず、
画像データの一部、例えば重要被写体が撮影される場合
が多い画像中央部分の特定範囲内から選ばれる相関値Ｃ
（ｘ，ｙ）の最大値としてもよい。あるいは、原画像デ
ータを、例えば４分の１から１０分の１程度に画像デー
タを間引いた間引き画像データに対して、エッジ・ノイ
ズ混在画像データを作成し、相関値を求め、この相関値
のうちの画像全体の範囲から選ばれる最大値をＣ_Max と
してもよい。この場合、重要被写体が撮影される場合が
多い中央部分の特定範囲の画像データや間引き画像デー
タは、マルチバンド画像の原画像データを得る前に予め
粗い画素密度で得ることのできる各種処理条件調整用原
画像データ（プレスキャン画像データ）を用いてもよ
い。例えば上位１０％以内に位置する値の平均値＜Ｃ
（ｘ，ｙ）＞_Max10%をＣ_Maxとし、Ｃ（ｘ，ｙ）がこの
Ｃ_Max を超える場合、すべてＣ_Max に置き換える。この
場合、平均値は、画像全体の平均値でも、重要被写体が
撮影される場合の多い中央部分の所定の範囲の平均値で
も、あるいは、間引いた画像データの平均値であっても
よい。

【００４７】エッジ保存・ノイズ抑制係数演算部１４ｇ
は、画像相関値演算部１４ｆによって得られた相関値Ｃ
（ｘ，ｙ）とエッジ領域重み付けデータ演算部１４ｄで
得られたエッジ領域重み付けデータＷ_E(ｘ，ｙ）とか
ら、エッジ領域はエッジ強調成分を保存し、ノイズ領域
ではノイズ成分を抑制するためのエッジ保存・ノイズ抑
制係数Ｐ_N(ｘ，ｙ）を下記式（２１）によって求める部
分である。 Ｐ_N(ｘ，ｙ）＝Ｃ_N(ｘ，ｙ）Ｗ_E(ｘ，ｙ） （２１） エッジ保存・ノイズ抑制係数Ｐ_N(ｘ，ｙ）は、エッジ領
域重み付けデータＷ_E（ｘ，ｙ）が大きい場合、各原画
像ごとにできるエッジ・ノイズ混在画像データΔＩ
_ENi(ｘ，ｙ）間の相関値Ｃ_N(ｘ，ｙ）が大きくかつその
位置では被写体のエッジである確率が高いと判断してエ
ッジ・ノイズ混在画像データΔＩ_ENi(ｘ，ｙ）をそのま
ま保存し、逆にエッジ領域重み付けデータＷ_E(ｘ，ｙ）
および相関値Ｃ_N(ｘ，ｙ）の両者共に小さい場合は、そ
の画素位置での画像データはノイズ成分である確率が高
いと判断して抑制や除去を行うための係数である。

【００４８】エッジ強調・ノイズ抑制画像データ処理部
１４ｈは、エッジ・ノイズ混在成分抽出部１４ｅによっ
て得られたエッジ・ノイズ混在画像データΔＩ_ENi(ｘ，
ｙ）に、下記式（２２）のように、エッジ保存・ノイズ
抑制係数演算部１４ｇで求められたエッジ保存・ノイズ
抑制係数Ｐ_N(ｘ，ｙ）を乗算して，ノイズ成分のみを選
択的に除去したエッジ強調・ノイズ抑制画像データΔＩ
_ENI'（ｘ，ｙ）を計算する。 ΔＩ_ENI'（ｘ，ｙ）＝Ｐ_N(ｘ，ｙ）ΔＩ_ENI(ｘ，ｙ） （２２） 得られたエッジ強調・ノイズ抑制画像データΔＩ_ENI'
（ｘ，ｙ）は、ノイズ抑制・シャープネス強調処理演算
部１４ｉに送られる。

【００４９】ノイズ抑制・シャープネス強調処理演算部
１４ｉは、平滑化処理部１４ｂで得られた平滑化画像デ
ータ＜Ｉ_0i（ｘ，ｙ）＞にエッジ強調・ノイズ抑制画像
データ処理部１４ｈで得られたエッジ強調・ノイズ抑制
画像データΔＩ_ENI ’（ｘ，ｙ）を下記式（２３）のよ
うに加算することによって、ノイズが抑制されてシャー
プネスが強調された処理画像データＩ_1i（ｘ，ｙ）を得
る。 Ｉ_1i（ｘ，ｙ）＝＜Ｉ_0i（ｘ，ｙ）＞＋ΔＩ_ENI ’（ｘ，ｙ） （２３） 得られた処理画像データＩ_1i（ｘ，ｙ）は、ノイズ除去
・シャープネス強調画像処理演算部１４の出力データと
して、被写体分光反射率分布演算部１６に送られる。

【００５０】以上のように、ノイズ除去・シャープネス
強調画像処理演算部１４は構成される。

【００５１】つぎに、マルチバンド画像のノイズ抑制お
よびシャープネス強調のための本発明の画像処理方法を
実施し、マルチバンド画像のノイズ抑制およびシャープ
ネス強調のための本発明の画像処理装置を組み込んだマ
ルチバンド写真システム１０の作用を説明する。まず、
被写体をマルチバンド写真画像撮影入力装置１２によっ
てｎ種（ｎは４以上）の波長領域で撮影した原画像デー
タＩ_0i（ｘ、ｙ）（ｉは１以上ｎ以下の整数で、原画像
の番号を示す）を得る。例えば、少なくとも４枚のカラ
ーフィルタからなるバンドパスフィルタを撮影用レンズ
の前に配置し、順次バンドパスフィルタを介して結像し
た画像をＣＣＤセンサによって光電的に読みとるマルチ
バンド画像撮影用デジタルカメラによって、デジタル画
像の各バンドパスフィルタに対応した原画像データＩ_0i
（ｘ，ｙ）を得、ノイズ除去・シャープネス強調画像処
理演算部１４に送る。

【００５２】上記マルチバンド画像撮影用デジタルカメ
ラの例の場合、ＣＣＤセンサによって光電的に読みとる
際、ショットノイズと電気的ノイズがマルチバンド画像
を構成する複数の原画像各々に画像データにノイズ成分
として混入するが、この画像データに混入するノイズ成
分は、ランダムなノイズであるため、各原画像間で相関
のないノイズ成分となる特徴を有する。また、銀塩写真
感光材料の場合においても、フィルムの粒状性はフィル
ム１枚ずつの固有の粒状パターンであるので、原画像間
で粒状性に相関がない特徴を有する。

【００５３】次に、図３に示すように、原画像データＩ
_0i（ｘ，ｙ）は、シャープネス強調処理部１４ａで、シ
ャープネス強調処理が施される（ステップ１００）。例
えば、ガウシアン型アンシャープマスクによる方法の場
合、式（１）のように原画像データＩ_0i（ｘ，ｙ）か
ら、Ｉ_0i(x,y) を式（１１）による正規分布型関数の重
み付け係数を掛けて平均値をとって得られる平滑化画像
データ＜Ｉ_0i（ｘ，ｙ）＞を引いて求めたエッジ強調成
分Ｉ_0i（ｘ，ｙ）−＜Ｉ_0i（ｘ，ｙ）＞に係数ａを掛け
て原画像データＩ_0i（ｘ，ｙ）に加算することによっ
て、シャープネス強調画像データＩ_Si（ｘ，ｙ）を求め
る。シャープネス強調処理の方法は、上記アンシャープ
マスクによる方法に制限されず、ラプラシアン(Laplaci
an) 等による方法等従来公知の方法によって行うことも
できる。ここで、シャープネス強調画像データＩ
_Si（ｘ，ｙ）は、被写体のエッジ成分が強調されるばか
りでなく、ノイズ成分も鮮鋭化される。

【００５４】原画像データＩ_0i（ｘ，ｙ）はシャープネ
ス強調（ステップ１００）が施されると同時に、他方
で、平滑化処理部１４ｂで平滑化の処理が施される（ス
テップ１０２）。平滑化処理の方法としては、上述した
ように、実空間領域での処理と空間周波数領域での処理
があり、これらに種々の方法があるが、平滑化処理部１
４ｂでは、特に限定されない。例えば、実空間領域処理
では、式（１０）に示すように隣接する画素全体の平均
値を各画素に重みを持たせて、たとえば正規分布型の関
数による係数を用いて重み付けして平均値を求める。

【００５５】ステップ１００で得られたシャープネス強
調画像データＩ_Si（ｘ，ｙ）とステップ１０２で得られ
た平滑化画像データ＜Ｉ_0i（ｘ，ｙ）＞とから式（１
８）に従って、エッジ・ノイズ混在成分抽出部１４ｅに
おいてエッジ・ノイズ混在画像データΔＩ_ENi （ｘ，
ｙ）を求める（ステップ１０４）。これによって、被写
体のエッジ強調成分とノイズ成分の含まれた混在画像デ
ータが得られる。

【００５６】次に、ステップ１０4 で得られた原画像ご
とのエッジ・ノイズ混在画像データΔＩ_ENi （ｘ，ｙ）
から、式（１９）に従って、画像相関値演算部１４ｆに
おいて、原画像間の相関を表す相関値Ｃ（ｘ，ｙ）を各
画素の位置毎に計算する（ステップ１０６）。相関値Ｃ
（ｘ，ｙ）は、式（１９）に示されるように、画素位置
（ｘ，ｙ）毎にマルチバンド画像を構成する４以上の原
画像のエッジ・ノイズ混在画像データΔＩ_ENi の平均値
を採ることによって得られるので、得られた相関値Ｃ
（ｘ，ｙ）は安定している。特に、マルチバンド画像を
６画像以上で構成することによって、相関値Ｃ（ｘ，
ｙ）をより一層安定させることができるため、マルチバ
ンド画像を６画像以上で構成することが好ましい。

【００５７】また、相関値Ｃ（ｘ，ｙ）は、エッジ・ノ
イズ混在画像データΔＩ_ENi の平均値を採ることによっ
て得られるので、例えばノイズ成分が多くエッジ成分が
少ない場合、各原画像に含まれるノイズ間には相関がな
いため互いに相殺され、相関値Ｃ（ｘ，ｙ）は０に近い
値となる。一方、ノイズ成分が少なくエッジ成分が多い
場合、各原画像間のエッジ成分には強い相関があるた
め、相関値Ｃ（ｘ，ｙ）は大きな値を持つ。このよう
に、画像の各画素位置について、各画像間の画像データ
の相関性を利用して、ノイズ成分の支配的な画素位置か
ら、画像処理によって除去してはならないエッジ成分の
支配的な画素位置まで相関値Ｃ（ｘ，ｙ）を用いて連続
的に数値化することができる。このような相関値Ｃ
（ｘ，ｙ）は、０以上１以下の正規化された相関値Ｃ_N
（ｘ，ｙ）に処理される。

【００５８】また、原画像データＩ_0i（ｘ，ｙ）はシャ
ープネス強調（ステップ１００）や平滑化（ステップ１
０２）が施されると同時に、他方エッジ検出部１４ｃに
おいてエッジ検出処理にも用いられる（ステップ１０
８）。エッジ検出は、Ｎ_E ×Ｎ_E 画素の配列を原画像中
を移動しつつ、配列内の画像データＩ_0i（ｘ，ｙ）の値
の変動を式（１２）を用いて、その位置毎の局所的な標
準偏差σ_i （ｘ，ｙ）を順次局所分散として計算して数
値として求め、画像中の被写体のエッジの検出を行う。

【００５９】なお、エッジ検出部１４ｃのエッジ検出
は、上記標準偏差を用いる方法に限定されずSobel オペ
レータ、Roberts オペレータ、Robinsonオペレータ、Ki
rsh オペレータまたはLaplacian オペレータ等を用いる
方法であってもよい。

【００６０】次に、エッジ領域重み付けデータ演算部１
４ｄにおいて、ステップ１０８で得られた局所的な標準
偏差σ_i （ｘ，ｙ）を用いて、エッジ領域重み付けデー
タの処理を施して、エッジ強度データＥ（ｘ，ｙ）を求
め、このエッジ強度データＥ（ｘ，ｙ）からエッジ領域
重み付けデータＷ_E （ｘ，ｙ）を計算し求める（ステッ
プ１１０）。マルチバンド画像を構成するｎ個の局所的
な標準偏差σ_i （ｘ，ｙ）に対して、式（１４）のよう
に、原画像での平均値を計算することによってエッジ強
度データＥ（ｘ，ｙ）を求める。さらに、このエッジ強
度データＥ（ｘ，ｙ）は、式（１５）のように、最大エ
ッジ強度データＥ_Max で正規化され、０以上１以下の正
規化されたエッジ強度データＥ_N （ｘ，ｙ）を得る。正
規化されたエッジ強度データＥ_N （ｘ，ｙ）は、さらに
式（１７）に従って、１−α_E 以上１以下の値となるエ
ッジ領域重み付けデータＷ_E （ｘ，ｙ）を求める。

【００６１】このように局所的な標準偏差を用いてエッ
ジ領域重み付けデータＷ_E （ｘ，ｙ）を得るため、原画
像データＩ_0i（ｘ，ｙ）の変動が大きい被写体のエッジ
部分のでは局所的な標準偏差が大きくなり、Ｗ_E （ｘ，
ｙ）は１に近い値を示す。一方、被写体のエッジ成分が
少なく、画像データにノイズ成分が多く含まれる部分で
は、Ｗ_E （ｘ，ｙ）は最低値１−α_E に近くなる。ここ
でα_E は、オペレータが０より大きく１より小さい値を
設定することのできる定数であり、布地のような微細構
造を持つ画像に対しても、被写体の微細構造をノイズ成
分として抑制や除去をすることのないように、定数α_E
を最適に設定することができる。定数α _E は０．１より
大きく０．９より小さい値とすることが好ましく、より
好ましくは０．３より大きく０．７より小さい値であ
る。

【００６２】次に、ステップ１０６で得られた相関値Ｃ
（ｘ，ｙ）とステップ１１０で得られたエッジ領域重み
付けデータＷ_E （ｘ，ｙ）とから、式（２１）に従っ
て、エッジ保存・ノイズ抑制係数演算部１４ｇにおい
て、エッジ保存・ノイズ抑制係数Ｐ_N （ｘ，ｙ）を得る
（ステップ１１２）。エッジ保存・ノイズ抑制係数Ｐ_N
（ｘ，ｙ）は、エッジ領域重み付けデータＷ _E （ｘ，
ｙ）が大きい場合、各原画像ごとにできるエッジ・ノイ
ズ混在画像データΔＩ_ENi （ｘ，ｙ）間の相関値Ｃ
_N （ｘ，ｙ）が大きくかつその位置では被写体のエッジ
である確率が高いと判断してエッジ・ノイズ混在画像デ
ータΔＩ_ENi（ｘ，ｙ）を保存し、逆にエッジ領域重み
付けデータＷ_E （ｘ，ｙ）および相関値Ｃ_N （ｘ，ｙ）
の両者共に小さい場合、その画素位置でのエッジ・ノイ
ズ混在画像データΔＩ_ENi はノイズ成分である確率が高
いと判断して抑制しさらには除去するための係数であ
る。このように、エッジ保存・ノイズ抑制係数Ｐ
_N （ｘ，ｙ）は、画像データの中でノイズ成分が支配的
な場合には０に近く、被写体のエッジ成分が支配的な場
合は１に近くなる正規化された相関値Ｃ_N （ｘ，ｙ）と
ノイズ成分が支配的な場合には１−α_E に近くなり、被
写体のエッジ成分が支配的な場合には１に近くなるエッ
ジ領域重み付けデータＷ_E （ｘ，ｙ）とを乗算すること
によって得られるので、明らかにノイズ成分である部分
の画像データは抑制、除去する一方、被写体のエッジ領
域の画像データは抑制、削除することなく、布地等のよ
うな微細構造の画像部分の画像データにおいても微細構
造の画像データを抑制、除去することなく、ノイズ成分
のみを選択的に抑制、除去する画像処理を可能とする。

【００６３】次に、エッジ強調・ノイズ抑制画像データ
処理部１４ｈにおいて、ステップ１１２で得られたエッ
ジ保存・ノイズ抑制係数Ｐ_N （ｘ，ｙ）を、ステップ１
０４によって得られたエッジ・ノイズ混在画像データΔ
Ｉ_ENi （ｘ，ｙ）に、式（２２）のように乗算して、エ
ッジ強調成分を保存しノイズ成分のみを選択的に除去し
たエッジ強調・ノイズ抑制画像データΔＩ_ENI ’（ｘ，
ｙ）を計算する（ステップ１１４）。

【００６４】最後に、ステップ１０２で得られた平滑化
画像データ＜Ｉ_0i（ｘ，ｙ）＞にステップ１１４で得ら
れたエッジ強調・ノイズ抑制画像データΔＩ_ENI ’
（ｘ，ｙ）を加算することによって、式（２３）のよう
に、ノイズ抑制・シャープネス強調された処理画像デー
タＩ_1i（ｘ，ｙ）を得る。その後、ノイズ除去・シャー
プネス強調画像処理演算部１４からの処理画像データＩ
_1i（ｘ，ｙ）として出力され、被写体分光反射率分布演
算部１６に送られる。原画像データＩ_0i（ｘ，ｙ）のう
ちノイズ成分が支配的な部分では、エッジ保存・ノイズ
抑制係数Ｐ_N （ｘ，ｙ）が０に近いため、エッジ強調・
ノイズ抑制画像データΔＩ_ENI ’（ｘ，ｙ）は０に近
く、その結果、処理画像データＩ_1i（ｘ，ｙ）は、ノイ
ズ成分の除去されて平滑化された平滑化画像データ＜Ｉ
_0i（ｘ，ｙ）＞とほぼ同一の画像データとなり、一方、
被写体のエッジ成分が多い部分では、エッジ保存・ノイ
ズ抑制係数Ｐ_N （ｘ，ｙ）が１に近いため、エッジの強
調されたエッジ・ノイズ混在画像データΔＩ_ENi （ｘ，
ｙ）をそのまま保存して、平滑化画像データ＜Ｉ
_0i（ｘ，ｙ）＞に加えられる。また、ノイズ成分および
エッジ成分が混在する部分では、エッジ保存・ノイズ抑
制係数Ｐ_N （ｘ，ｙ）の値に応じて、すなわちノイズ成
分に相当する割合に応じてエッジ・ノイズ混在画像デー
タΔＩ_ENi （ｘ，ｙ）を選択的に抑制、除去する。

【００６５】被写体分光反射率分布推定演算部１６に送
られた処理画像データＩ_1i（ｘ，ｙ）は、被写体分光反
射率分布推定演算部１６において、画素毎に被写体分光
反射率分布で表した画像データである被写体の分光反射
率分布ｒ（ｘ、ｙ、λ）への推定が行われる。被写体の
分光反射率分布ｒ（ｘ、ｙ、λ）の推定は、処理画像デ
ータＩ_1i（ｘ，ｙ）、撮影時に用いた被写体照明光の分
光放射輝度Ｅ（λ）、各波長領域毎の画像を得るために
用いられるカラーフィルタの分光透過率ｔ（λ）、カメ
ラの撮影センサであるＣＣＤ撮像素子あるいは銀塩写真
フィルムの分光感度（カメラレンズの分光透過率も含
む）および光に対する前記センサの応答特性を用いて既
存の方法で行う。次に、被写体分光反射率分布推定演算
部１６で得られた被写体の分光反射率分布ｒ（ｘ、ｙ、
λ）を被写体分光反射率分布画像データ出力装置１８を
用いて、被写体分光反射率分布画像データ出力装置１８
に接続されたコンピュータ等の装置に画像データとして
出力する。コンピュータに入力された被写体の分光反射
率分布ｒ（ｘ、ｙ、λ）の画像データは、ＣＲＴモニタ
等の画像表示装置でマルチバンド画像を構成する各々の
波長領域毎のバンド画像を黒白画像として表示したり、
色再現・調子再現変換等の画像処理を施してＲＧＢのカ
ラー画像データに変換したり、カラー画像として表示し
たり、カラープリンタでプリントとして出力する等の様
々な利用に供することができる。

【００６６】以上、マルチバンド画像のノイズ抑制およ
びシャープネス強調のための本発明の画像処理方法およ
び本発明の画像処理装置をマルチバンド写真システム１
０に適用した場合について説明したが、上記例に制限さ
れるものではなく、図４に示すようにマルチバンド写真
画像撮影入力装置４２および画像出力装置５０を組み込
むとともに、原画像データＩ_0i（ｘ，ｙ）からマルチバ
ンド画像のノイズ抑制およびシャープネス強調のための
本発明の画像処理方法を実施して処理画像データＩ
_1i（ｘ，ｙ）を得、これより被写体の分光反射率分布ｒ
（ｘ，ｙ，λ）を得るマルチバンド画像ノイズ除去・シ
ャープネス強調画像処理部４４、画像モニタ・画像処理
パラメータ設定部４６およびカラー画像再現（色・調
子）処理部４８を備える、被写体の撮影からカラー画像
を得るマルチバンド方式カラー写真システム４０であっ
てもよい。

【００６７】マルチバンド写真画像撮影入力装置４２
は、図１に示すマルチバンド写真システム１０に接続さ
れるマルチバンド写真画像撮影入力装置１２と同一の構
成および同一の作用をするもので、その説明は省略する
が、マルチバンド画像の原画像データＩ_0i（ｘ，ｙ）を
マルチバンド画像ノイズ除去・シャープネス強調画像処
理部４４に送るとともに、画像モニタ・画像処理パラメ
ータ設定部４６に送られる。

【００６８】マルチバンド画像ノイズ除去・シャープネ
ス強調画像処理部４４は、図１に示すマルチバンド写真
システム１０のノイズ除去・シャープネス強調画像処理
演算部１４と被写体分光反射率分布演算部１６を１つに
まとめた処理部であり、構成および作用は同一であるた
め、その説明は省略するが、推定された被写体の分光反
射率分布ｒ（ｘ，ｙ，λ）はカラー画像再現（色・調
子）処理部４８に送られる。

【００６９】画像モニタ・画像処理パラメータ設定部４
６は、マルチバンド画像を構成する複数の原画像を画像
表示するとともに、オペレータが表示画面を見ながら、
マルチバンド画像ノイズ除去・シャープネス強調画像処
理部４４で行う種々の処理のための設定、例えば、シャ
ープネス処理の方法、平滑化処理の方法やエッジ検出の
方法を選択し、あるいは定数α_E やＥ_Max やＣ_Max 等の
設定等や色変換補正や階調補正や濃度補正等の係数やパ
ラメータの設定等を表示画面を見ながらマウスやキーボ
ード等によって行うことができ、これらの設定された条
件は、マルチバンド画像ノイズ除去・シャープネス強調
画像処理部４４やカラー画像再現（色・調子）処理部４
８に送られる。カラー画像再現（色・調子）処理部４８
は、得られた被写体の分光反射率分布ｒ（ｘ，ｙ，λ）
から、銀塩写真フィルムを用いるカメラやディジタルス
チルカメラで撮影した時のＲＧＢのカラー写真画像デー
タへの変換を行う。被写体の分光反射率分布ｒ（ｘ，
ｙ，λ）から、カメラで撮影した時のＲＧＢ画像データ
Ｉ₁ （ｘ，ｙ）への変換は、撮影時の被写体照明光の分
光放射輝度Ｅ（λ）、カメラの撮影センサであるＣＣＤ
撮像素子（カラーフィルタの分光透過率分布も含む）あ
るいは銀塩写真フィルムの分光感度分布（カメラレンズ
の分光透過率も含む）および光に対する前記センサの応
答特性を用いて、既存の方法で行う。得られたＲＧＢ画
像データＩ₁ （ｘ，ｙ）は画像出力装置５０に出力され
る。

【００７０】画像出力装置５０は、被写体のマルチバン
ド画像から求めたＲＧＢ画像データＩ₁ （ｘ，ｙ）を画
像表示したり、プリント出力を行う通常のＣＲＴモニタ
や液晶モニタ等のカラーディスプレイやデジタルフォト
カラープリンタ等であり、画像データＩ₁ からカラー画
像を得ることができる。

【００７１】このように、マルチバンド画像のノイズ抑
制およびシャープネス強調のための本発明の画像処理方
法を実施する本発明の画像処理装置は、マルチバンド写
真システムに組み込みマルチバンド写真を得る場合のみ
ならず、その他被写体の分光反射率分布ｒ（ｘ，ｙ，
λ）の推定を行う場合、例えば色再現シミュレーション
を行うための被写体の分光反射率分布ｒ（ｘ，ｙ，λ）
をノイズ成分を含むことなく得る場合にも用いることが
できる。

【００７２】以上、本発明の画像処理方法および画像処
理装置について詳細に説明したが、本発明は上記実施例
に限定はされず、本発明の要旨を逸脱しない範囲におい
て、種々の改良および設計の変更を行ってもよいことは
もちろんである。

【００７３】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、銀塩写真感光材料固有の粒状やＣＣＤ素子等の
固体撮像素子や撮像管等に起因するノイズを画質を低下
させることなく除去・抑制することによって、ノイズ成
分の少ない高画質の被写体分光反射率画像データやカラ
ー画像データを得ることができ、しかもカメラレンズ、
写真フィルムやフィルムをデジタル化するスキャナ等の
光学系によって劣化したシャープネスをノイズ成分や粒
状を悪化させずに向上させ、画質の良いマルチバンド写
真画像やカラー画像を得ることができる。しかも、ノイ
ズ成分や被写体のエッジ成分を数値的に表す相関値とエ
ッジ領域重み付けデータを乗算して得られるエッジ保存
・ノイズ抑制係数を用いることで、明らかにノイズ成分
である部分の画像データは抑制、除去する一方、被写体
のエッジ部分の画像データは抑制、削除することなく、
布地等のような微細構造の画像部分の画像データにおい
ても微細構造の画像データを抑制、除去することのない
画像処理を可能とするので、視覚的に不快に感じられる
ノイズ成分除去後のパターンが画像に発生することもな
く、本来除去してはならない微細構造をノイズ成分とと
もに除去してしまうこともなく、また画像に不自然なア
ーチファクトが生じることもなく、絵画等の審美的な被
写体を撮影して審美的な画像を忠実に得ることができ
る。

【図面の簡単な説明】

【図１】 マルチバンド画像のノイズ抑制およびシャー
プネス強調のために本発明の画像処理装置の一実施例を
組み込んだマルチバンド写真システムの概念を示すブロ
ック図である。

【図２】 図１に示すノイズ除去・シャープネス強調画
像処理演算部の構成を示すブロック図である。

【図３】 本発明の画像処理方法の一実施例を説明する
フローチャートである。

【図４】 マルチバンド画像のノイズ抑制およびシャー
プネス強調のために本発明の画像処理装置の一実施例を
組み込んだマルチバンド方式カラー写真システムの概念
を示すブロック図である。

【符号の説明】

１０ マルチバンド写真システム １２、４２ マルチバンド写真画像撮影入力装置 １４ ノイズ除去・シャープネス強調画像処理演算部 １４ａ シャープネス強調処理部 １４ｂ 平滑化処理部 １４ｃ エッジ検出部 １４ｄ エッジ領域重み付けデータ演算部 １４ｅ エッジ・ノイズ混在成分抽出部 １４ｆ 画像間相関値演算部 １４ｇ エッジ保存・ノイズ抑制係数演算部 １４ｈ エッジ強調・ノイズ抑制画像データ処理部 １４ｉ ノイズ抑制・シャープネス強調処理演算部 １６ 被写体分光反射率分布演算部 １８ 被写体分光反射率分布画像データ出力装置 ４０ マルチバンド方式カラー写真システム ４４ マルチバンド画像ノイズ除去・シャープネス強調
画像処理 ４６ 画像モニタ・画像処理パラメータ設定部 ４８ カラー画像再現（色・調子）処理部 ５０ 画像出力装置

Claims (10)

【特許請求の範囲】
1. 【請求項１】少なくとも４種以上の異なる波長領域で同
   一の被写体を撮影して得た波長領域毎の複数の原画像デ
   ジタルデータ（原画像データ）に対し、 この原画像データにシャープネス強調処理を行なってシ
   ャープネス強調画像データを作成し、 前記原画像データに平滑化処理を行って平滑化画像デー
   タを作成し、 波長領域に対応した前記シャープネス強調画像データか
   ら前記平滑化画像データを減算してエッジ強調成分とノ
   イズ成分の混在するエッジ・ノイズ混在画像データを前
   記複数の原画像各々について求め、 一方、前記原画像データから被写体のエッジ検出を行っ
   て求められるエッジ強度データから被写体のエッジ領域
   とノイズ領域を数値化して識別するエッジ領域重み付け
   データを求め、 さらに、前記エッジ・ノイズ混在画像データから前記原
   画像の各画素位置毎に、前記原画像間の前記エッジ・ノ
   イズ混在画像データの相関を表す相関値を計算し、 前記エッジ領域重み付けデータと前記相関値とから、被
   写体のエッジ領域ではエッジ強調成分を保存し、ノイズ
   成分の支配的な領域ではノイズ成分を抑制するエッジ保
   存・ノイズ抑制係数を求め、 前記エッジ・ノイズ混在画像データに前記エッジ保存・
   ノイズ抑制係数を乗算してエッジ強調・ノイズ抑制画像
   データを計算し、 前記平滑化画像データに前記エッジ強調・ノイズ抑制画
   像データを加算してノイズ成分が抑制され、シャープネ
   スの強調された処理画像データを各原画像毎に得ること
   を特徴とする画像処理方法。
2. 【請求項２】少なくとも６種以上の異なる波長領域で同
   一の被写体を撮影して得た波長領域毎の複数の原画像デ
   ジタルデータに対して画像処理を行なう請求項１に記載
   の画像処理方法。
3. 【請求項３】前記エッジ強度データは、前記原画像の各
   画素を中心とした一定範囲の領域内での画像データの局
   所的な標準偏差を各画素について各原画像毎に求め、こ
   の局所的な標準偏差の前記原画像での平均値をとること
   で得られる請求項１または２に記載の画像処理方法。
4. 【請求項４】前記エッジ領域重み付けデータは、前記エ
   ッジ強度データを正規化した０以上１以下の数値を、上
   限値を１としつつ下限値を０以上１以下とする値に縮小
   変換することで得られる請求項３に記載の画像処理方
   法。
5. 【請求項５】前記相関値は、前記複数の原画像での前記
   エッジ・ノイズ混在画像データの平均値の絶対値をとる
   ことで得られる請求項１〜４のいずれかに記載の画像処
   理方法。
6. 【請求項６】前記エッジ保存・ノイズ抑制係数は、前記
   相関値と前記エッジ領域重み付けデータとを乗算して得
   られる請求項１〜５のいずれかに記載の画像処理方法。
7. 【請求項７】前記処理画像データは、前記エッジ保存・
   ノイズ抑制係数に応じて、エッジ強調成分を保存しつ
   つ、ノイズ成分のみを選択的に抑制して得られる請求項
   １〜６のいずれかに記載の画像処理方法。
8. 【請求項８】少なくとも４種以上の異なる波長領域で同
   一の被写体を撮影して得た波長領域毎の複数の原画像デ
   ジタルデータ（原画像データ）に対し画像処理を行なう
   画像処理装置であって、 前記原画像データにシャープネス強調処理を行なってシ
   ャープネス強調画像データを作成するシャープネス強調
   処理部と、 前記原画像データから平滑化処理を行なって平滑化画像
   データを作成する平滑化処理部と、 前記原画像データから被写体のエッジ検出を行ってエッ
   ジ強度データを求めるエッジ検出部と、 このエッジ検出部で求められたエッジ強度データより、
   被写体のエッジ領域とノイズ領域を数値化して識別する
   エッジ領域重み付けデータを求めるエッジ領域重み付け
   データ演算部と、 波長領域に対応する前記シャープネス強調処理部で得ら
   れた前記シャープネス強調画像データから前記平滑化処
   理部で得られた前記平滑化画像データを減算してエッジ
   強調成分とノイズ成分の混在するエッジ・ノイズ混在画
   像データを原画像各々について抽出するエッジ・ノイズ
   混在成分抽出部と、 前記エッジ・ノイズ混在画像データから前記原画像の各
   画素位置毎に、前記エッジ・ノイズ混在成分抽出部で得
   られた前記エッジ・ノイズ混在画像データの前記原画像
   間の相関を示す相関値を計算して得る画像間相関演算部
   と、 前記エッジ領域重み付けデータ演算部で得られた前記エ
   ッジ領域重み付けデータと前記画像間相関演算部で得ら
   れた前記相関値とから、被写体のエッジ領域では前記エ
   ッジ強調成分を保存し、ノイズ成分の支配的な領域では
   ノイズ成分を抑制するエッジ保存・ノイズ抑制係数を求
   めるエッジ保存・ノイズ抑制係数演算部と、 前記前記エッジ・ノイズ混在成分抽出部で得られた前記
   エッジ・ノイズ混在画像データと前記エッジ保存・ノイ
   ズ抑制係数演算部で得られた前記エッジ保存・ノイズ抑
   制係数とを用いてエッジ強調・ノイズ抑制画像データを
   得るエッジ強調・ノイズ抑制画像データ処理部と、 前記平滑化処理部で得られた前記平滑化画像データと前
   記エッジ強調・ノイズ抑制画像データ処理部で得られた
   前記エッジ強調・ノイズ抑制画像データを加算して、ノ
   イズ成分が抑制されシャープネスが強調された処理画像
   データを得るノイズ抑制・シャープネス強調処理演算部
   とを有することを特徴とする画像処理装置。
9. 【請求項９】前記ノイズ抑制・シャープネス強調処理演
   算部は、前記エッジ保存・ノイズ抑制係数に応じて、エ
   ッジ強調成分を保存しつつ、ノイズ成分のみを選択的に
   抑制する請求項８に記載の画像処理装置。
10. 【請求項１０】少なくとも４種以上の異なる波長領域で
    同一の被写体を撮影して得た複数の原画像を得るマルチ
    バンドカラー写真システムであって、 請求項８または９に記載のマルチバンド画像のノイズ抑
    制およびシャープネス強調のための画像処理装置を含む
    とともに、被写体分光反射率分布を得る演算部を備える
    ことを特徴とするマルチバンドカラー写真システム。