JP2001034750A - 画像処理チェーンにおける非画像データの修正方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理チェーンにおけるメタデータの修正
方法が開示される。 【解決手段】 この方法は、特定のデジタル画像の特徴
に対応するメタデータを提供するステップと、最低１つ
の特定の画像変換に関連したメタデータ変換を生成する
ステップと、特定の画像変換に従ってメタデータを修正
するステップとを含む。この方法は画像再生システム中
で実現される。このシステムはデジタル画像データを提
供する画像撮影装置８を含む。画像撮影装置はフィルム
スキャナ、フラットベッドスキャナ、またはデジタルカ
メラ等で構成されうる。メモリ装置は、撮影されたデジ
タル画像データに関連したメタデータを記憶する。画像
変換は画像処理チェーン１０によって実行される。ま
た、画像変換がメタデータに感作する場合は、メタデー
タ処理チェーンが画像処理チェーンに接続して実施され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ノイズ、および入
力装置や入力媒体に関連したその他の非画像データが一
連の作像変換を経て伝搬されるデジタル作像システムに
関する。特定的には、本発明はノイズおよびその他の非
画像データを画像処理チェーンを介して伝搬させる方法
に関する。

【０００２】

【従来の技術】多くの画像処理操作では、その各種パラ
メータを予想される状態に正しく適応させるために非画
像情報を必要とする。非画像情報とは、各画像とともに
保持され、撮影条件、装置、予想されるノイズ統計等に
関する情報を与えるデータをさす。本明細書中、非画像
データをメタデータとも称する。このタイプの画像処理
操作の一例として、各信号レベルについて各カラーレコ
ードごとのノイズの平方二乗平均（ｒｍｓ）値の表を用
いるノイズ低減アルゴリズムがある。公称上は均一な画
像領域のｒｍｓ値は画素間の変化の大きさを示し、Ｎ個
の値の組から

【数１】 として計算することができ、ここでサンプル平均は

【数２】 ｘ_iはｉ番目の位置の画素値、σ_xはｒｍｓ画素間変化を
さす。このため、様々な信号レベルをもつ均一な領域に
ついてｒｍｓ値を計算すると、得られた値の組は同じ画
像源を用いて取得される実際の場面中の画像ノイズの振
幅を画像信号に対する関数として特徴づけると考えられ
る。

【０００３】ｒｍｓ統計は画像の局所化領域においてテ
クスチャとノイズを適応的に識別するのに使用されう
る。他の使用例には画像依存型のシャープ化があり、こ
れはｒｍｓ統計とともにシャープネス損失の大きさを用
いて画像のシャープ化レベルを適応変化させる。しかし
多段作像システムでの画像情報処理の間は、ノイズ統計
を含むメタデータは信号に適用される各操作または変換
ごとに変更されうる。もしこのメタデータの変換が考慮
されなければ、その後の適応型操作は意図したように機
能せず、通常は画像品質の形であらわれるシステムの性
能が劣化する。

【０００４】非画像情報の変換を説明する一方法とし
て、作像システムにおいて各ステップごとに非画像情報
を直接推定する方法がある。例えば、米国特許第５，６
４１，５９６号（１９９７年６月２４日発行、発明者グ
レイら（Gray et al.）、発明の名称「デジタル画像に
おけるフィルムグレイン特性の調整方法（Adjusting Fi
lm Grain Properties in Digital Image）」）は、現実
の場面には通常存在しない複数の均一なステップパッチ
のスキャンに基づいて画像ノイズ統計を測定する方法を
開示している。この推定ステップは、画像処理操作が決
定論的で、かつ均一なパッチの組の処理に柔軟性がある
場合に、作像システム中で使用されうるが、推定ステッ
プ後のノイズ統計の適応型変換にはあてはまらない。

【０００５】他のアプローチとしては、米国特許出願番
号第０８／８２２，７２２号（１９９７年３月２４日出
願、出願人スナイダーら（Snyder et al.）、１９９９
年２月１日許可）があり、これは現実の影像の信号レベ
ルの関数としてのノイズｒｍｓ値からなる表を自動作成
する方法を教示している。しかしこの方法もやはり、ノ
イズ統計をその後の画像処理操作に基づいて変換する方
法については教示していない。

【０００６】画像ノイズが複数の共通の作像操作を介し
て伝搬することは、Peter D.BurnsおよびRoy S. Berns
著の「色の研究と応用」（Color Research and Applica
tion） 中の「カラー測定と作像におけるエラー伝搬分
析（"Error Propagation Analysis in Color Measureme
nt and Imaging"）」という文献に記載されている。し
かしこの分析は、適応型アルゴリズムによって用いられ
る画像処理システム中のノイズ統計の変換には適用され
ていない。同様に、画像撮影装置または撮影条件に関連
したデータを提供するのが非常に有用であり、これらは
画像処理アルゴリズムによってうまく利用されて上級画
像品質を提供できる。米国特許第５，４６１，４４０号
（１９９５年１０月２４日発行、発明者トヨダら（Toyo
da et al.）、発明の名称「写真撮影における画像補正
システム（Photographing Image Correction Syste
m）」は、カメラ本体またはレンズに固有の劣化情報に
基づいて画像補正を行う写真画像補正システムを開示し
ている。劣化情報は、フィルムに記録されるカメラおよ
びレンズの情報から推測される。しかしこの方法は、そ
れに続く画像処理後の劣化情報の調整方法については教
示していない。

【０００７】米国特許第５，６９４，４８４号（１９９
７年１２月２日発行、発明者コットレルら（Cottrell e
t al.）、発明の名称「画像データの自動処理により最
適な認識品質の画像を提供するシステムおよび方法（Sy
stem and Method for Automatically Processing Image
Data to Provide Images of Optimal Perceptual Qual
ity)」は、所与のメタデータの組に正しい画像変換を選
択する方法を記載している。しかしこの方法は、画像変
換に特定的なメタデータの調整については教示していな
い。

【０００８】

【発明が解決しようとする課題】以上の先行技術は、画
像処理におけるノイズ統計および他のメタデータの有用
性は認識しているが、かかるデータをその収集後に作像
システム中で伝搬させることについてはどれも記載して
いない。本発明の目的は、画像処理チェーンに沿ってノ
イズおよび他のメタデータを修正して、その後の操作に
おけるデータユーティリティを改善し、これによりシス
テムの性能および画像品質を向上させる方法を提供する
ことである。メタデータは、画像に行われた変更を反映
するように各画像処理操作後に変換することが必要であ
る。

【０００９】

【課題を解決するための手段】この目的は次の各ステッ
プ、すなわち、 ａ）特定のデジタル画像の特徴に対応するメタデータを
提供するステップ、 ｂ）最低１つの特定の画像変換に関連したメタデータ変
換を生成するステップ、および ｃ）メタデータ変換に従ってメタデータを修正するステ
ップによって達成される。

【００１０】本発明の他の目的は、画像処理チェーンに
おいてメタデータを修正して、処理後の撮影画像データ
の出力を改善する他の方法を提供することである。メタ
データはオンデマンドで（要求に応じて）のみ与えられ
る。この目的は、次の各ステップ、すなわち ａ）特定のデジタル画像の特徴に対応するメタデータを
提供するステップと、 ｂ）提供されたメタデータによって説明される特徴をも
つ画像ターゲットを生成するステップと、 ｃ）画像変換を提供するステップと、 ｄ）画像ターゲットをデジタル画像に適用される画像変
換によって処理するステップと、 ｅ）処理された画像ターゲットから修正済みのメタデー
タを計算するステップとを含む方法によって達成され
る。

【００１１】本発明の目的は、画像処理の複数のステッ
プの間にメタデータを修正する画像再生システムを提供
することである。これにより元のデジタル画像データと
比較した場合の画像データ出力を改善する。この目的
は、 ａ）デジタル画像データを提供する画像撮影装置と、 ｂ）ノイズおよびデジタル画像データに関連した他のメ
タデータを記憶するメモリ装置と、 ｃ）画像変換を実行する画像処理チェーンと、 ｄ）画像変換がメタデータに感作する場合は、画像処理
チェーンに結びつけられたメタデータ処理チェーンとを
含むシステムによって達成される。

【００１２】本発明の他の目的は、画像処理の複数のス
テップの間にノイズおよびその他のメタデータを修正す
る画像再生システムを提供することである。メタデータ
はオンデマンドでのみ適用される。この目的は、 ａ）デジタル画像データを提供する画像撮影装置と、 ｂ）ノイズおよびデジタル画像データに関連したその他
のメタデータを記憶するメモリ装置と、 ｃ）画像変換を実行する第１の処理チェーンと、 ｄ）ターゲット画像に対して変換を実行する第２の処理
チェーンと、 ｅ）第２の処理チェーンにおいてターゲット画像からメ
タデータを求め、これにより第１の処理チェーンのメタ
データ感作型画像変換への入力を与えるターゲット画像
評価器とを含むシステムによって達成される。

【００１３】先行技術には、作像システムにおいて適応
型アルゴリズムに適用するメタデータ伝搬の詳細を提供
するものはない。メタデータは、明らかに各画像処理操
作後に変換が必要なため、画像に適用された変化を反映
する。かかる変換を生成する下地は確率処理理論によっ
て与えられるが、これまでこの理論をデジタル作像シス
テムに適用して画像変換に必要な入力データを得たこと
はない。

【００１４】以下に、図面に示す実施形態を参照して本
発明の主題を説明する。

【００１５】

【発明の実施の形態】理解を容易にするため、本発明は
デジタル画像に対して作用するものであることを述べて
おく。デジタル画像は一般には多数の画像チャネルから
なる。一般的な画像チャネル数は３つであり、それぞれ
赤、緑、および青の画像チャネルである。デジタル画像
内の画素値は、デジタル画像の各チャネルごとの特定の
位置における値からなる。従って、デジタル画像中の画
素値は位置に対する関数として表すことができる。例え
ば、ｆ₀（ｘ，ｙ）は３つの画素値、例えば｛１９ ３
４ １９｝をさし、これはそれぞれデジタル画像中の位
置（ｘ，ｙ）における画素の赤、緑、および青の値を示
す。

【００１６】図１を参照すると、画像取得システム８お
よび画像レンダリングシステム１２は、それぞれ画像処
理チェーン１０の入力側と出力側である。画像取得シス
テム８はフィルムスキャナ、文書もしくは印刷物スキャ
ナ、またはデジタルカメラでもよい。画像レンダリング
システム１２は従来型のディスプレイ、デジタルプリン
タ、写真プリンタ、またはデジタル式コピー機でもよ
い。画像処理チェーン１０は、図２に示すように一連の
画像変換２０₁，２０₂，．．．，２０_i，．．．，２０_N
を含む。これらの画像変換２０₁，２０₂，．．．，２０
_i，．．．，２０ _Nは、画像取得システム８によって与え
られるデジタル画像データに作用して、変換デジタル画
像データを生成する。１番目の画像変換２０₁は入力デ
ジタル画像データｆ₀（ｘ，ｙ）に適用されて、第１の
変換画像ｆ₁（ｘ，ｙ）を生成する。残りのｉ個の画像
変換（２≦ｉ≦Ｎ）の各々は、前の画像変換の出力ｆ
_i-1（ｘ，ｙ）に作用して変換画像ｆ_i（ｘ，ｙ）を生成
する。画像処理チェーン１０の最後の画像変換２０_Nは
最終画像ｆ_N（ｘ，ｙ）を生成する。

【００１７】画像処理チェーン１０の画像変換２０₁，
２０₂，．．．，２０_i，．．．，２０_Nは、一次元ルッ
クアップテーブル（１Ｄ ＬＵＴ）等の単純な操作、多
次元ルックアップテーブル（ウィリアム・Ｆ・シュライ
バ（Willam F. Schreiber）による米国特許第４，５０
０，９１９号に記載される３次元ＬＵＴなど）、デジタ
ル画像の既存チャネルを組み合わせて新たなチャネルを
作成する行列、１つ以上の画像チャネルと線形フィルタ
との線形コンボリューションを含む空間操作、またはノ
イズ低減や適応型シャープ化等のその他のより複雑な変
換を含みうる。

【００１８】画像処理チェーン１０では、画素値では説
明されないデジタル画像の属性を説明するデジタル画像
関連データが有用な場合がある。デジタル画像の画素値
では説明されない属性に関連したデータを本明細書では
メタデータと称する。またデジタル画像ｆ_i（ｘ，ｙ）
に関連したメタデータ要素の組はＭ_iとする。メタデー
タとなりうる要素には、非包括的に、画像撮影時間、シ
ャッタースピード、画像のカラー符号化計量、画像源
（デジタルカメラやフィルムカメラ等）、レンズの焦点
距離、レンズ口径、撮影レンズの変調伝達関数（ＭＴ
Ｆ）、フィルムタイプ、検出器タイプ、被写体の位置、
被写体の距離、カメラフラッシュ情報、カメラフラッシ
ュ発光情報、画像解像度、焦点情報、および画像ノイズ
特性が挙げられる。

【００１９】図２を参照すると、画像変換には画像のメ
タデータへのアクセスをもつのが有利と考えられる。例
えば画像をシャープ化する変換の場合、撮影レンズのＭ
ＴＦを説明するメタデータによってシャープニングのレ
ベル調整を行うのが有利である。ｉ番目の画像変換へ入
力される画像ｆ_i-1（ｘ，ｙ）を説明する正確なメタデ
ータによって改善されうる任意のｉ番目の画像変換を、
本明細書ではメタデータ感作型画像変換（メタデータセ
ンシティブな画像変換：a metadata sensitiveimage tr
ansform）と称する。このような画像のメタデータを認
識した画像変換を適用することで、全体的な画像品質の
向上が可能となる。

【００２０】さらに、ある変換をデジタル画像に適用し
て得られる変換デジタル画像では、以前に取得したメタ
データはもはや正しくなくなることが認められている。
言い換えれば、画像ｆ_i-1（ｘ，ｙ）がｉ番目の画像変
換によって変換されて画像ｆ_i（ｘ，ｙ）を生成した場
合、元の画像のメタデータＭ_i-1は必ずしも変換後の画
像のメタデータＭ_iと同じとは限らない。本質的には、
メタデータと画像との対応関係を維持するには、ｉ番目
の画像変換には対応するｉ番目のメタデータを見つけな
ければならない。例えば、画像変換によってデジタル画
像をシャープ化する場合をもう一度検討してみる。デジ
タル画像のメタデータはブレ画像に関するＭＴＦ情報を
含みうる。このデジタル画像に、変換によってシャープ
ニングを加えて変換デジタル画像を生成する。この時点
で元のデジタル画像のメタデータ（ＭＴＦに関するも
の）は変換後のデジタル画像に対してはもう正しくな
い。本発明の利点は、デジタル画像のメタデータを修正
する、画像変換に関連したメタデータ変換を作成するこ
とである。デジタル画像のメタデータがメタデータ変換
によって変換されると、変換後のメタデータは変換後の
デジタル画像の属性を正確に説明するものとなる。これ
により、メタデータを用いるその後の任意のｉ番目の画
像変換は、デジタル画像ｆ_i-1（ｘ，ｙ）について正し
いメタデータを用いるようになる。

【００２１】他の例では、入力デジタル画像データｆ₀
（ｘ，ｙ）は、この入力デジタル画像データｆ₀（ｘ，
ｙ）が絞りをしぼって撮影されたことを記載する関連メ
タデータＭ₀をもちうる。第１の画像変換２０₁におい
て、画像の非被写体領域をぼかすことによって被写体深
度をシミュレートして画像ｆ₁（ｘ，ｙ）を生成したと
する。すると画像ｆ₁（ｘ，ｙ）の見かけは絞りを広げ
て撮影した画像となる。これはメタデータＭ₀が第１の
メタデータ変換３０₁によって変換されて、絞りを広げ
た画像ｆ₁（ｘ，ｙ）に関連するデータを含むメタデー
タＭ₁を作成したと考えられる。これにより、メタデー
タの絞り要素を利用するその後の任意の画像変換ｉ（ｉ
＞１）は、入力デジタル画像ｆ₀（ｘ，ｙ）が絞りに関
して修正されたことを認識する。

【００２２】図３は、画像変換２０₁，２０₂，．．．，
２０_Nの一つ（例えば３番目の画像変換２０₃）が、デジ
タル画像ｆ₂（ｘ，ｙ）に関連した１つ以上のメタデー
タ要素を利用する画像処理チェーン１０を示す。１番目
および２番目のメタデータ変換３０₁および３０₂は、１
番目および２番目の画像変換２０₁および２０₂に対応し
て生成される。こうして、１番目のメタデータ変換２０
₁をメタデータＭ₀に適用することによってＭ₁が生成さ
れる。同様に、Ｍ₂は２番目のメタデータ変換３０₂をＭ
₁に適用することによって生成される。メタデータＭ
₂は、２番目の画像変換２０₂から出力される画像ｆ
₂（ｘ，ｙ）の、個々の画素では説明されない属性を記
載する。こうして、入力デジタル画像に関連したあるメ
タデータ要素の入力を必要とする３番目の画像変換２０
₃は、画像ｆ₂（ｘ，ｙ）と、３番目の画像変換２０₃に
入力されるデジタル画像を正確に説明する関連メタデー
タＭ₂とを入力する。

【００２３】図４は、本発明を（ｉ＋１）番目の画像変
換２０_i+1に関して示したものである。（ｉ＋１）番目
の画像変換２０_i+1はメタデータ変換生成器４０_i+1に入
力されて、ｉ＋１番目の画像変換に対応するｉ＋１番目
のメタデータ変換を生成する。その後、メタデータＭ_i
はｉ＋１番目のメタデータ変換４０_i+1によって修正さ
れて、画像ｆ_i+1（ｘ，ｙ）の特徴を正確に説明するメ
タデータＭ_i+1を生成する。また、ｉ＋１番目の画像変
換２０_i+1はｆ_i（ｘ，ｙ）に適用されてｆ_i+1（ｘ，
ｙ）を生成する。

【００２４】次に、本発明の残りの部分をある一つのメ
タデータ要素である画像ノイズ特性に関して説明する。
考慮するメタデータ要素としてノイズ特性をとりあげて
本発明を説明するが、同業者であれば同様のメタデータ
変換を生成して他のメタデータ要素を修正できることを
理解するであろう。以下の説明では、画像変換ごとにノ
イズデータ修正用の適切なメタデータ変換を生成するメ
タデータ変換生成器の動作について述べる。

【００２５】図４に示す実施形態では、メタデータＭ₁
はｉ番目の画像ｆ_i（ｘ，ｙ）のノイズ統計を説明する
データである。ノイズ統計は、関連した（カラー）信号
中のノイズ間の共分散を含むノイズ表によって記載され
る。以下、記号σ_rは確率変数または確率過程ｒについ
てのｒｍｓ値（標準偏差）をさす。分散および共分散の
項は、例えばσ_rr、σ_rgなどと記す。記号Σ_iおよびΣ
_i+1は、それぞれ画像ｆ_i（ｘ，ｙ）およびｆ_i+1（ｘ，
ｙ）に存在するノイズに対応する信号レベルの関数とし
ての共分散行列を示す。記述の便宜上、以下の議論では
画像ｆ_i（ｘ，ｙ）をｆ_iと称する。３つのカラーレコー
ド（ｒ，ｇ，ｂ）画像について、画像データｆ_iでは共
分散行列は次の６つの量σ_rr，σ_gg，σ_bb，σ_rg，
σ_rb，σ_gbを含む。

【００２６】

【数３】 このような画像変換２０_i+1の各々について、ｉ番目の
メタデータ変換３０_i+1で示す対応する画像ノイズ統計
の変換が求められる。

【００２７】行列 図４に関して、画像変換２０_i+1が線形行列Ａならば、

【数４】ｆ_i+1＝Ａｆ_i 式（２） となり、対応する（メタデータ）ノイズ共分散変換は

【数５】 となり、上付き文字^Tは転置を示す。

【００２８】一次元連続変換 図４に関して、画像変換２０_i+1が一次元関数ならば、
各画像チャネルについて連続関数ｇ_iによって定義され
る。これをＧとすると、

【数６】ｆ_i+1＝Ｇｆ_i 式（４） となり、Ｇは三色系について展開することができるの
で、入力信号と出力信号の組をそれぞれ｛ｐ，ｑ，ｒ｝
および｛ｓ，ｔ，ｕ｝とすると、式（４）は

【数７】 となる。これに対応する共分散行列変換については、Pe
ter D. BurnsおよびRoyS. Bernsによる文献 "Error Pro
pagation Analysis in Color Measuremenet andImagin
g"には次のように記載されている。

【００２９】

【数８】 ここで、

【数９】 であり、Ｊ_Gは平均入力信号レベルμ_Gにおいて評価され
る。

【００３０】一次元ルックアップテーブル 図４に関して、画像変換２０_i+1が一次元ＬＵＴなら
ば、上記の一次元関数の離散型と考えることができる。
もしそうならば、Ｊ_Gの偏導関数要素は

【数１０】 あるいは

【数１１】 またはその他の同様のデジタルフィルターによって概算
することができ、離散信号は整数値｛０，１，
２，．．．｝をとる。

【００３１】図５は、一般的なフィルムセンシトメトリ
ー補正ＬＵＴである。これは入力信号レベルと出力信号
レベルとの関係を示し、トーンスケール変換とみなすこ
とができる。出力信号レベルは入力信号レベルの線形関
数とはならない。スキャンしたフィルムについての元信
号依存型ノイズ表を図６に示す。考慮する画像変換とし
て図５のセンシトメトリー補正ＬＵＴを用いた場合、ノ
イズ特性についてのメタデータ変換は上記の式（８）で
表される。このメタデータ変換を元のノイズデータに適
用すると、図７に示すノイズ表が得られる。表７の表
は、センシトメトリー補正ＬＵＴを補償するための修正
ノイズ表であり、赤、緑、および青の各色についてノイ
ズの標準偏差を示す。この修正ノイズ表（図７）は、セ
ンシトメトリー補正ＬＵＴ後に画像に適用されるアルゴ
リズムへの入力に適している。図７では入力信号レベル
が低い場合はノイズが非常に高いことを示す。これは図
５の低入力信号レベルでの急傾斜から生じるノイズ増幅
の直接的な結果である。

【００３２】多次元連続変換 図４に関して、画像変換２０_i+1が三次元関数ならば、
各画像レコードについての連続関数によって定義でき
る。これをＧとすると、入力信号と出力信号の組をそれ
ぞれ｛ｐ，ｑ，ｒ｝および｛ｓ，ｔ，ｕ｝とした場合に

【数１２】 ここで、

【数１３】 となる。これに対応する共分散行列変換は、Peter D. B
urnsおよびRoy S. Bernsによる文献Color Research and
Application, 22:280-289, 1997では次のように記載さ
れている。

【００３３】

【数１４】 ここで、

【数１５】 であり、Ｊ_Gは平均入力信号レベルμ_Gにおいて評価され
る。

【００３４】多次元ルックアップテーブル 図４に関して、画像変換２０_i+1が多次元ＬＵＴなら
ば、これは上記の連続関数の離散形と考えることができ
る。もしそうならば、Ｊ_Gの偏導関数要素はそれぞれの
差、例えば

【数１６】 あるいは

【数１７】 または同様のデジタルフィルターによって概算すること
ができる。

【００３５】ノイズの伝搬は、行列の６つのそれぞれの
要素を推定することによって達成されうる。これにより
画像のノイズ統計に関するメタデータＭ_i+1の要素を求
めることができる。

【００３６】空間フィルター 固定係数核または局所適応型核によるデジタルフィルタ
リングは、通常、離散型コンボリューションによって達
成される。ｋ＝１，２，．．．ｎかつｌ＝１，
２，．．．ｍである係数ｈ_k,lをもつ一般的な（ｎｘ
ｍ）フィルターでは、ｐカラーレコードをフィルタする
場合の分散変換は

【数１８】 空間フィルタリングが行われない場合は、フィルター動
作はカラーレコードについて恒等式となることに注意さ
れたい。必要に応じて、上記の式を拡張して画素間およ
びレコード間の共分散を含むようにすることも可能であ
る。

【００３７】局所化メタデータマップ いくつかの画像変換は、その特性が画像の局所化領域の
特徴に基づいて適用されるように働く。この意味で、こ
のようなアルゴリズムを適応型アルゴリズムと称する。
これにより所与の領域内の元の画素値に基づいてメタデ
ータを変更することになる。一例として、ある適応型ノ
イズ低減アルゴリズムは画像を横切って走る核からな
り、テクスチャまたはエッジを含まないと検知する領域
は積極的にぶれさせ、同時にテクスチャまたはエッジが
存在する領域中のノイズは堅実に取り除く。同様に、適
応型シャープ化アルゴリズムは画像の混雑した領域また
はエッジ領域では周波数を高くする一方で、均一な背景
中ではノイズの増幅を避けるため高くしない。

【００３８】適応型アルゴリズムを用いて処理された画
像に対応するメタデータは、全体ではなく局所化された
領域中で影響を受ける。つまり、適応型ノイズ低減アル
ゴリズム適用後は、異なる画像領域は異なるノイズ統計
を示す。また適応型シャープ化アルゴリズムの適用後
は、異なる画像領域は異なる有効シャープネスを示す。
局所化操作の他の例は、レンズフォールオフの補償であ
る。画像撮影装置におけるレンズフォールオフは、画像
の中心から隅部へ向かって異なるシャープネスおよび露
出特性を示させる。レンズの光フォールオフは、画像マ
スキング変換を用いて補償されうるが、マスキング変換
適用後のノイズ特性は位置によって異なる。図８は本実
施形態の局所化メタデータの伝搬を処理する好ましい方
法の概略図である。図８を参照すると、１番目の画像変
換２０₁が元の画像ｆ₀に適用される。その後、２番目の
画像変換２０₂が適用されるが、この変換は上記で定義
したような適応型すなわち局所化型である。元の画像に
対応するメタデータＭ₀は、まず全体的なメタデータ変
換によって変換されてメタデータＭ₁を生成する。２番
目の画像変換２０₂は適応型であるため、局所化メタデ
ータ変換３０₂によって二次元マップＬ₂（ｘ，ｙ）が作
成される。このマップは画像の局所メタデータ情報を画
素ごとにもつ。この意味で、マップＬ_i（ｘ，ｙ）は一
般には「局所化メタデータマップ」、またはメタデータ
の要素が画像ノイズである場合は「局所化ノイズデータ
マップ」と称する。局所化マップは、画像変換２０₂，
２０₃，．．．，２０_Nに対応する各メタデータ変換３０
₂，３０₃，．．．，３０_N後に変換される。局所化メタ
データマップには、上述したようなノイズ変換（ＬＵ
Ｔ、行列、空間フィルタ等）が適用される。次の例で
は、適応型ノイズ低減アルゴリズムをデジタル画像に適
用することに関して、この方法をより詳細に説明する。

【００３９】ここでは、普及した適応型ノイズ低減アル
ゴリズムであるリーのシグマフィルタ（Lee, J著の Dig
ital Image Smoothing and the Sigmma Filter. Comput
er Vision, Graphics, and Image Processing 24, 255-
269, 1983参照）について検討する。この特定のアルゴ
リズムをクレームするのが目的ではなく、実証用として
用いる。シグマフィルターは、デジタル画像とともに畳
み込まれる矩形のサンプリング窓からなる。スライドす
る窓が画像を横切るように動かされ、各中心画素位置で
は、中心画素強度から一定範囲内の強度をもつ近隣画素
だけを平均することによって、画像ノイズが平滑化され
る。その結果、画像エッジ部は保存され、画像のエッジ
部が残され、微妙なディテールが保たれる。

【００４０】予想されるノイズは信号レベルに対する関
数として、米国特許第５，６４１，５９６号に記載され
るようなノイズ表で

【数１９】σ＝Ｎ〔ｆ（ｘ，ｙ）〕 として与えられ、ここでσはノイズの標準偏差、Ｎはノ
イズ表をさす。

【００４１】図６はスキャンしたネガフィルムについて
のノイズ表の例を示す。シグマフィルターは、局所ウィ
ンドウ中で、その中心画素強度からの強度平均偏差が、
予め規定されたある数値内に入る画素を選択する。その
後、中心画素は選択された画素の平均と交換される。つ
まり、仮にｆ_i（ｋ，ｌ）が、デジタル画像ｆ_iのサイズ
ｍｘｎの矩形のウィンドウ中でｋ行ｌ列の画素群を指定
し、ｆ_i+1（ｘ，ｙ）はデジタル画像ｆ_i+1中のｘ行ｙ列
での中心画素値とすると、サイズｍｘｎの局所フィルタ
による変換は

【数２０】 と表すことができ、ここでΔはノイズ表によって与えら
れる予想ノイズ標準偏差に基づく強度範囲（例えばΔ＝
２σ）をさす。従って

【数２１】 となる。適応型ノイズ低減アルゴリズムを画像に適用し
た後は、前に取得したメタデータ要素のうちノイズ表で
与えられたノイズ特性に対応する要素はもはや有効では
なくなる。従って、メタデータ変換はメタデータ中のノ
イズ要素を修正するように求められなければならない。
式１４において画像ｆ_iに対応する信号レベルｄの関数
としてのノイズ分散をσ_pp（ｄ）、式１４においてｎｘ
ｍシグマフィルター適用後の画像ｆ_i+1に対応する位置
（ｘ，ｙ）および信号レベルｄの関数としてのノイズ分
散をσ_ss（ｘ，ｙ，ｄ）とすると、新しい分散σ_ssは適
応型の性質をもつため、やはり位置の関数となり、

【数２２】 σ_ss（ｘ，ｙ，ｄ）＝α（ｘ，ｙ）・σ_pp（ｄ） 式（１５） として与えられる。ここで位置に依存する係数αは式１
２から導かれ、

【数２３】 ここで、

【数２４】 となり、δは式１３によって与えられる。

【００４２】従って、各画像面におけるノイズは、各位
置（ｘ，ｙ）がデジタル画像ｆ_i+1（ｘ，ｙ）の位置
（ｘ，ｙ）に対応するとすれば、二次元関数α（ｘ，
ｙ）によって伝搬されうる。本質的には、α（ｘ，ｙ）
は元のノイズ分散統計σ_pp（ｄ）とともに、局所化メタ
データまたはノイズデータマップＬ（ｘ，ｙ）となる。
Ｌ（ｘ，ｙ）中の各（ｘ，ｙ）位置におけるエントリー
を元のノイズ分散統計σ_pp（ｄ）で乗じたものは、信号
レベルに対する関数である、ノイズ表として与えられる
新たなノイズ分散統計に対応する。またマップＬ（ｘ，
ｙ）は、必要なメモリ格納領域を広げず、かつシステム
の処理量を上げるために、大幅に削除したり対処可能な
大きさに圧縮されうる。その後のノイズ感作型変換はこ
のマップを読み、補間または伸張を行って、各画像位置
（ｘ，ｙ）における予想ノイズを計算する。この方法
は、ノイズパワースペクトル、共分散、ＭＴＦ等の、局
所ベースの任意のメタデータ情報の提供に簡単に応用す
ることができる。

【００４３】生成したターゲットを用いる他の実施形態 図９は本発明の他の実施形態を示し、ここではメタデー
タＭ₀の特徴を示すターゲット画像ｇ₀（ｘ，ｙ）が生成
される。このため、メタデータＭ₀はターゲット画像生
成器５０に入力される。好ましい実施形態では、メタデ
ータＭ₀はノイズデータを含む。このノイズデータは密
度によって異なり、ノイズ表に記載されてもよい。かか
る表は、平均強度および対応する共分散のリストからな
る。表１は、平均強度に対する関数としてのノイズ標準
偏差を示す表の一例である。

【００４４】

【表１】 その後、ターゲット画像生成器５０は、Ｍ₀によって説
明されるノイズ特性を用いてターゲット画像ｇ₀（ｘ，
ｙ）を生成する。好ましい実施形態では、ターゲット画
像ｇ₀（ｘ，ｙ）は信号領域に広がる複数のパッチから
なり、各パッチの寸法はＡ画素ｘＢ行で、その統計は実
際の影像と同じである。ＡｘＢ画素からなる各パッチ
は、以下の式（１８）で示すような確率分布をもつ確率
変数をｘとすると、各画素値に値ｘをランダムに割り当
てることによって生成される。

【００４５】

【数２５】 ターゲット画像ｇ₀（ｘ，ｙ）の所与のパッチｎについ
てのμの値は、表１のノイズ表の行ｎについてのμ値と
して選択されうる。例えば、ターゲット画像ｇ ₀（ｘ，
ｙ）の最初の行については、μ＝５００かつσ＝２０で
ある。

【００４６】図９を再び参照すると、図９には画像ｆ₀
（ｘ，ｙ）用の画像処理チェーン１０と、対応するター
ゲット画像ｇ₀（ｘ，ｙ）用のターゲット画像処理チェ
ーン５２が示される。好ましい実施形態では、ターゲッ
ト画像処理チェーン５２の各画像変換５２₁，５
２₂，．．．，５２_Nは、画像処理チェーン１０中の画像
変換２０₁，２０₂，．．．，２０_Nと同一である。こう
して、画像ｆ₀（ｘ，ｙ）に１番目と２番目の画像変換
２０₁と２０₂が連続して適用される。３番目の画像変換
２０₃はメタデータ感作型画像変換である。この３番目
の画像変換２０₃に必要な入力は、画像ｆ₂（ｘ，ｙ）と
メタデータＭ₂である。メタデータＭ₂は、ターゲット画
像ｇ₀（ｘ，ｙ）に、ターゲット画像処理チェーン５２
の最初の２つの画像変換５２₁および５２₂を適用して求
められる。２番目のターゲット画像変換５２₂から出力
されるターゲット画像ｇ₂（ｘ，ｙ）は、ターゲット画
像評価器５４に与えられてメタデータＭ₂を生成する。
ターゲット画像評価器５４は、ターゲット画像ｇ
₂（ｘ，ｙ）の各行の平均μと共分散要素とを計算し
て、メタデータＭ₂のノイズ表に必要な情報を生成す
る。その後、メタデータＭ₂は画像ｆ₂（ｘ，ｙ）ととも
に３番目の画像変換２０₃に与えられて、画像ｆ₃（ｘ，
ｙ）を生成する。当業者であれば、この方法はいかなる
長さの画像処理チェーンについても継続されうることを
理解するであろう。

【００４７】以上、本発明を特に好ましい実施形態を用
いて説明したが、本発明の精神および範囲から逸脱する
ことなく変更および修正が実行可能であることを理解さ
れたい。

【図面の簡単な説明】

【図１】 画像取得およびレンダリングシステムの概略
図である。

【図２】 画像処理チェーンの概略説明図である。

【図３】 画像変換の１つがデジタル画像に関連したメ
タデータの１つ以上の要素を利用する画像処理チェーン
を示す図である。

【図４】 メタデータ変換が生成されるプロセスを示す
図である。

【図５】 一般的なセンシトメトリ補正ルックアップテ
ーブルを示す図である。

【図６】 スキャン後のフィルムについての一般的な信
号依存型ノイズ表であって、赤、緑、および青のノイズ
レベルを示す図である。

【図７】 センシトメトリ補正ルックアップテーブルを
補償するための修正されたノイズ表であって、赤、緑、
および青のノイズの標準偏差を示す図である。

【図８】 適応型アルゴリズム用の局所化マップ伝搬の
概略説明図である。

【図９】 評価済みのターゲット画像変換を画像処理チ
ェーンが利用する本発明の他の実施形態を示す図であ
る。

【符号の説明】

８ 画像取得システム、１０ 画像処理チェーン、１２
画像レンダリングシステム、２０₁，２０₂，．．．，
２０_i，．．．，２０_N 画像変換、３０₁，３
０₂，．．．，３０_N メタデータ変換、４０_i+1 メタ
データ変換生成器ｉ＋１、５０ ターゲット画像生成
器、５２ ターゲット画像処理チェーン、５２₁，５
２₂，５２₃，．．．，５２_N ターゲット画像変換、５
４ ターゲット画像評価器、ｆ₀（ｘ，ｙ） 入力デジ
タル画像データ、ｆ₁（ｘ，ｙ） 最初の変換後の画
像、ｆ_N（ｘ，ｙ） 最終画像、Ｍ_i メタデータｉの要
素の組、ｆ_i-1（ｘ，ｙ） 画像変換ｉへの入力、Ｌｉ
（ｘ，ｙ） 局所化メタデータマップｉ、ｇ ₀（ｘ，
ｙ） ターゲット画像。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アレックス ロペス エストラーダ アメリカ合衆国 ニューヨーク州 マセド ン イーグルス ロースト レーン 3301

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像処理チェーンにおいてメタデータを
   修正する方法であって、 ａ）特定のデジタル画像の特徴に対応するメタデータを
   提供するステップと、 ｂ）最低１つの特定の画像変換に関連したメタデータ変
   換を生成するステップと、 ｃ）ステップｂで実行された変換に従ってメタデータを
   修正するステップと、を含む方法。
2. 【請求項２】 請求項１に記載の方法において、 前記メタデータは、システム変調伝達関数（ＭＴＦ）、
   システムスペクトル応答性、撮影装置の口径、システム
   有効口径、被写界深度、または局所化メタデータマップ
   のうちの少なくともいずれかを含むことを特徴とする方
   法。
3. 【請求項３】 請求項１に記載の方法において、 前記メタデータ変換は、単変量変換、多次元変換、行
   列、一次元ルックアップテーブル、多次元ルックアップ
   テーブル、線形空間フィルタリング操作、適応型フィル
   タリング操作、またはマスキング操作のうちの少なくと
   もいずれかを含むことを特徴とする方法。