JP4046969B2

JP4046969B2 - 画像処理装置、及びその方法、並びにプログラム、記憶媒体

Info

Publication number: JP4046969B2
Application number: JP2001328064A
Authority: JP
Inventors: 友彦松浦
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-11-09
Filing date: 2001-10-25
Publication date: 2008-02-13
Anticipated expiration: 2021-10-25
Also published as: US7245776B2; JP2002216126A; US20020054713A1; US20050036707A1; US6823090B2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を変更し、特に周波数変換の際の変換係数を変更する画像処理装置、及びその方法、並びにプログラム、記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のデジタル技術の進歩により、放射線画像をデジタル画像信号に変換し、該デジタル画像信号に対して画像処理を施し、ＣＲＴ等に表示、あるいはプリント出力することが行われている。ところで、放射線画像の撮影においては、患者に与える影響などから撮影時のＸ線量は少ないことが望ましい。しかし、Ｘ線量を少なくして撮影された画像には量子ノイズが多く含まれることが知られており、このような量子ノイズは診断を行う際の妨害となる可能性がある。
【０００３】
そのため、従来からこのようなノイズを除去する処理が検討されており、例えば、単純なメディアンフィルタによるノイズ除去処理や、平滑化画像を用いて高周波成分を抽出し、ノイズを除去する方法（いわゆるフィルタ処理）などが行われてきた。また近年、入力画像を複数の周波数帯域に分割し、各周波数帯域ごとに独立した処理を施すことによりノイズの除去を行う多重周波数処理が検討されている。
【０００４】
【発明が解決しようとする課題】
平滑化画像を用いて高周波成分を抽出し、ノイズの除去を行うフィルタ処理では、単一の周波数帯域を扱うため、ノイズ成分が広い周波数帯域に分布している場合には効果的にノイズ除去を行えないという問題がある。これを避けるために、大きさの異なる（つまり周波数の異なる）複数のフィルタを同時に利用することも行われている。しかし、処理に必要な計算コストが大幅に増加する問題がある。また、ノイズ除去のためにフィルタの周波数特性を最適に保つためには、被写体に応じたフィルタサイズの調整が必須となり、汎用性に乏しいという問題がある。
【０００５】
また、ノイズ除去において離散ウェーブレット変換などに代表される多重周波数処理を用いることにより上記の問題は大きく軽減されるが、一般に多重周波数処理では空間的にすべての方向についての一律の周波数処理を行うため、例えば方向成分を持つエッジと持たない孤立点ノイズを区別することができず、エッジを保存しながらノイズを除去することは困難であった。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、効率的にノイズ除去を行うことを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像に対して周波数変換を施すことで複数のサブバンドを得る周波数変換手段と、
前記周波数変換手段による前記複数のサブバンドのうち少なくとも２つ以上のサブバンドを用いて変更対象のサブバンド内の変換係数を決定する決定手段と、
前記決定手段により決定した変換係数に対して変換を施す係数変換手段とを備え、
更に前記周波数変換手段は、前記係数変換手段により変換された変換係数を含む全てのサブバンドの変換係数を用いて画像を復元し、
前記決定手段は更に、
前記周波数変換手段による前記複数のサブバンドのうち少なくとも２つ以上のサブバンドに対して閾値を設定する閾値設定手段と、
前記閾値設定手段により閾値を設定したサブバンド内の変換係数に対して当該閾値を用いて閾値処理を施す閾値処理手段とを備え、
前記閾値処理手段による閾値処理結果を用いて変更対象のサブバンド内の変換係数を決定し、
前記閾値処理は２値化処理であることを特徴とする。
【０００９】
【発明の実施の形態】
以下添付図面に従って、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
［第１の実施形態］
図１は本実施形態におけるＸ線撮影装置１００の基本構成とＸ線により撮影する被写体を示す。Ｘ線撮影装置１００はＸ線により被写体を撮影し、撮影された画像のノイズ除去を行う機能を有する装置であり、前処理回路１０６、ＣＰＵ１０８、メインメモリ１０９、操作パネル１１０、画像表示器１１１、画像処理回路１１２を備える。なお画像処理回路１１２は離散ウェーブレット（ＤＷＴ）回路１１６、係数変換回路１１７、特徴抽出回路１１８、階調変換回路１１９、閾値処理回路１２０、処理判定回路１２１を備えており、ＣＰＵバス１０７を介して互いにデータ授受されるようになされている。
【００１１】
またＸ線撮影装置１００は、前処理回路１０６に接続されたデータ収集回路１０５と、データ収集回路１０５に接続された２次元Ｘ線センサ１０４及びＸ線発生回路１０１とを備えており、これらの各回路はＣＰＵバス１０７にも接続されている。
【００１２】
図２は上述の構成を備える本実施形態におけるＸ線撮影装置が行う大まかな処理のフローチャートである。なおメインメモリ１０９はＣＰＵ１０８での処理に必要な各種のデータなどが記憶されるものであると共に、ＣＰＵ１０８の作業用のワークメモリを含む。ＣＰＵ１０８はメインメモリ１０９を用いて操作パネル１１０からの操作に従った装置全体の動作制御等を行う。これによりＸ線撮影装置１００は、以下のように動作する。
【００１３】
先ずＸ線発生回路１０１は、被写体１０３に対してＸ線ビーム１０２を放射する。Ｘ線発生回路１０１から放射されたＸ線ビーム１０２は、被写体１０３を減衰しながら透過して、２次元Ｘ線センサ１０４に到達し、２次元Ｘ線センサ１０４によりＸ線画像として出力される（ステップＳ２０１）。ここでは、２次元Ｘ線センサ１０４から出力されるＸ線画像を、以下の説明では人体画像とするが、これに限定されるものではない。
【００１４】
データ収集回路１０５は２次元Ｘ線センサ１０４から出力されたＸ線画像を電気信号に変換して前処理回路１０６に供給する。前処理回路１０６はデータ収集回路１０５からの信号（Ｘ線画像信号）に対して、オフセット補正処理やゲイン補正処理等の前処理を行う（ステップＳ２０２）。この前処理回路１０６で前処理が行われたＸ線画像信号は原画像として、ＣＰＵ１０８の制御により、ＣＰＵバス１０７を介してメインメモリ１０９、画像処理回路１１２に転送され、後述のノイズ除去処理（ステップＳ２０３）が行われる。
【００１５】
画像処理回路１１２において離散ウェーブレット変換回路１１６は入力画像に対して離散ウェーブレット変換を施し、サブバンドごとにウェーブレット係数を出力する。閾値処理回路１２０は離散ウェーブレット係数に対してサブバンドごとに適当な閾値を設定し、設定した閾値で閾値処理する。処理判定回路１２１は各サブバンドの閾値処理結果に基づき各画素の離散ウェーブレット係数を処理するかどうか判定する。係数変換回路１１７は離散ウェーブレット係数を後述の規則に従い変換する。また画像処理回路１１２は、階調変換に必要な特徴量を抽出する特徴量抽出回路１１８と、得られた特徴量に応じて階調変換を行う階調変換回路１１９を備える。
【００１６】
図３は画像処理回路１１２においてノイズ除去に関する部分についての処理の流れを示すフローチャートであり、図４は同処理の様子を示す図である。これらの図を用いてノイズ除去処理の流れを説明する。
【００１７】
前処理回路１０６で前処理された原画像（図４（ａ）に示す画像４０１）はＣＰＵバス１０７を介して画像処理装置１１２に転送される。画像処理装置１１２では、まず離散ウェーブレット変換回路１１６が入力画像に対して離散ウェーブレット変換を施し、各サブバンドの離散ウェーブレット係数を出力する（ステップＳ３０１）。上述の通り図４（ａ）において４０１は入力された画像であり、（ｂ）において４０２は１レベルの離散ウェーブレット変換が施された画像である。また画像４０２において４０３から４０６の領域は、一般にそれぞれＬＬ，ＨＬ，ＬＨ，ＨＨと呼ばれるサブバンドである。離散ウェーブレット変換の詳細については後述する。
【００１８】
次に、ステップＳ３０１で得られたサブバンドのうち高周波成分を示すＨＬ，ＬＨ，ＨＨの３つのサブバンドに対して、それぞれのサブバンドごとに適当な閾値を設定する(ステップＳ３０２ａ，Ｓ３０２ｂ，Ｓ３０２ｃ)。閾値の設定方法は特に限定しないが、離散ウェーブレット変換の分解レベルに応じて経験的に求めたある定数を設定しても良いし、各サブバンドにおける係数値の平均値や分散値などの統計量をもとに決めても良い。
【００１９】
次にステップＳ３０２ａ，Ｓ３０２ｂ，Ｓ３０２ｃの夫々で設定した各サブバンドの閾値を用いて、ＨＬ，ＬＨ，ＨＨのウェーブレット係数に対して閾値処理を行う(ステップＳ３０３ａ，Ｓ３０３ｂ，Ｓ３０３ｃ)。図４（ｃ）において４０７はステップＳ３０１で得られた離散ウェーブレット変換後の画像であり、４０８はステップＳ３０２の閾値処理を施した画像である。このとき画像４０７と画像４０８は別のメモリ空間に保持するものとする。閾値処理の方法としては、例えば符号付２値化処理が考えられ、以下のように実現できる。
if (-THHL ＜ HL(x,y) ＜ THHL) then ２値化画像HL(x,y) = 1;
else ２値化画像HL(x,y) = 0;
if (-THLH ＜ LH(x,y) ＜ THLH) then ２値化画像LH(x,y) = 1;
else ２値化画像LH(x,y) = 0;
if (-THHH ＜ HH(x,y) ＜ THHH) then ２値化画像HH(x,y) = 1;
else ２値化画像HH(x,y) = 0;
ここで、THHL,THLH,THHHは夫々ステップＳ３０２ａ，Ｓ３０２ｂ，Ｓ３０２ｃで設定された各サブバンドの閾値であり、HL(x,y),LH(x,y),HH(x,y)は、各サブバンド内の位置（x,y）における画素値、すなわちウェーブレット係数値を表す。
【００２０】
次に、ステップＳ３０３ａ，Ｓ３０３ｂ，Ｓ３０３ｃによる各サブバンドの閾値処理結果に基づき、後段の係数変換処理の処理対象とする画素を決定する（ステップＳ３０４）。処理対象画素の決定方法はいくつか考えられるが、本実施形態ではステップＳ３０３ａ，Ｓ３０３ｂ，Ｓ３０３ｃによる各サブバンドの２値化画像の論理積を採用する。即ち以下のように実現される。

図４（ｄ）において４０９はステップＳ３０１で得られた離散ウェーブレット変換後の画像であり、４１０はステップＳ３０４の処理対象画素を示す画像である。このとき画像４１０は同図（ｃ）に示す画像４０８が格納されるメモリと同じメモリ空間に保持しても構わない。また、処理対象画素の決定方法は前記の他にも、各サブバンドの閾値処理結果を多数決する方法なども考えられる。
【００２１】
次に係数変換回路１１７がステップＳ３０４で決定された処理対象画素に応じた各サブバンドのウェーブレット係数に対して係数変換を施す（ステップＳ３０５）。ここでステップＳ３０５の処理の一例として、一般によく知られるウェーブレット縮退とよばれるノイズ除去処理などが考えられる。ウェーブレット縮退とは、各サブバンドの係数をある条件に基づいて抑制するものであり、最も簡単な例としては、係数値の絶対値がある範囲に存在する場合、下記に示すようにその係数を０で置き換える処理が行われる。
if (TH1 ≦ |HH(x,y)| ≦ TH2) then HH(x,y) = 0;
else DO NOTHING;
if (TH3 ≦ |HL(x,y)| ≦ TH4) then HL(x,y) = 0;
else DO NOTHING;
if (TH5 ≦ |LH(x,y)| ≦ TH6) then LH(x,y) = 0;
else DO NOTHING;
ここで、TH1〜6は別に定める閾値であり、
0 ≦ TH1 ≦ TH2
0 ≦ TH3 ≦ TH4
0 ≦ TH5 ≦ TH6
の条件を満たす処理パラメータである。
【００２２】
最後に、ステップＳ３０５で係数変換回路１１７によって変換された各サブバンドのウェーブレット係数を用いて、離散ウェーブレット変換回路１１６が逆離散ウェーブレット変換を施し、ノイズの除去された画像を復元し、出力する(ステップＳ３０６)。
【００２３】
以上図３及び図４を用いて説明した本実施形態におけるノイズ除去処理では１レベルの離散ウェーブレット変換を扱ったが、これに限定されるものではなく、さらに高レベルのウェーブレット係数に対して同様の処理を行うことも可能であり、また複数のレベルのウェーブレット係数に対して同様の処理を行うことももちろん可能である。
【００２４】
離散ウェーブレット変換回路１１６による離散ウェーブレット変換及び逆離散ウェーブレット変換は一般によく知られる変換処理であり以下のように動作する。
【００２５】
離散ウェーブレット変換回路１１６は入力した画像信号に対して２次元の離散ウェーブレット変換処理を行い、変換係数を計算して出力するものである。メインメモリ１０９に記憶された画像データは、離散ウェーブレット変換回路１１６により順次読み出されて変換処理が行われ、再びメインメモリ１０９に書きこまれる。本実施形態における離散ウェーブレット変換回路１１６の処理の構成は図５（ａ）に示すものとする。同図において、入力された画像信号は遅延素子およびダウンサンプラの組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、２つのフィルタｐおよびuによりフィルタ処理が施される。同図sおよびdは、各々1次元の画像信号に対して１レベルの分解を行った際のローパス係数およびハイパス係数を表しており、次式により計算されるものとする。
d(n) = x(2n+1) - floor((x(2n) + x(2n+2))/2) （式1）
s(n) = x(2n) + floor((d(n-1) + d(n))/4) （式2）
ただし、x(n)は変換対象となる画像信号である。以上の処理により、画像信号に対する１次元の離散ウェーブレット変換処理が行われる。２次元の離散ウェーブレット変換は、１次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。図５（ｂ）は２次元の変換処理により得られる２レベルの変換係数群の構成例であり、画像信号は異なる周波数帯域の係数列ＨＨ１，ＨＬ１，ＬＨ１，．．．，ＨＨ２，ＨＬ２，ＬＨ２，ＬＬに分解される。
【００２６】
同様に逆離散ウェーブレット変換については次のように行われる。メインメモリ１０９に記憶された変換係数は離散ウェーブレット変換回路１１６により順次読み出されて変換処理が行われ、再びメインメモリ１０９に書きこまれる。本実施形態における離散ウェーブレット変換回路１１６による逆離散ウェーブレット変換処理の構成は図５（ｃ）に示すものとする。入力された変換係数はuおよびpの２つのフィルタを用いたフィルタ処理が施され、アップサンプリングされた後に重ね合わされて画像信号x'が出力される。これらの処理は次式により行われる。
x'(2n) = s'(n) - floor ((d'(n-1) + d'(n))/4) （式3）
x'(2n+1) = d'(n) + floor ((x'(2n) + x'(2n+2))/2) （式4）
以上の処理により、変換係数に対する１次元の逆離散ウェーブレット変換処理が行われる。２次元の逆離散ウェーブレット変換は、１次元の逆変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。
【００２７】
以上説明したように本実施形態によれば、離散ウェーブレット変換による多重周波数処理を行うため、単一の周波数帯域を扱ういわゆるフィルタ処理と比べて、ノイズ成分が広い周波数帯域に分布している場合にも効果的にノイズ除去を行える効果がある。また、大きさの異なる（つまり周波数の異なる）複数のフィルタを同時に利用する処理に比べて、処理に必要な計算コストを大幅に低減する効果が有り、フィルタサイズの調整など煩雑な作業を行わずに汎用性の高い処理が行える効果がある。また多重周波数処理において高周波成分の空間的な方向を考慮した処理を行っているため、例えば方向成分を持つエッジと持たない孤立点ノイズを区別することが可能となる効果があり、結果として従来手法に比べて高性能にノイズ除去された画像を得ることが可能となる効果がある。
【００２８】
［第２の実施形態］
なお、第１の実施形態におけるステップＳ３０２〜Ｓ３０４では、ステップＳ３０５における処理対象画素を決定するために閾値処理を行っているものとして説明したが、これに限定されるものではなく、本実施形態では３つのサブバンドの大小関係を比較して、その大小のパターンに応じて、ステップＳ３０５における処理対象画素を決定する。即ち例えば、ランダムノイズがＨＨサブバンドにより多く現れるという傾向を利用して、ステップＳ３０２〜Ｓ３０４の処理を以下のようにしても良い。
if ( (HL(x,y) ＜ HH(x,y)) AND (LH(x,y) ＜ HH(x,y)) )
then ２値化画像HL(x,y) = ２値化画像LH(x,y) = ２値化画像HH(x,y) = 1;
else ２値化画像HL(x,y) = ２値化画像LH(x,y) = ２値化画像HH(x,y) = 0;
また、閾値処理と大小比較を組み合わせて、ステップＳ３０２〜Ｓ３０４の処理を以下のようにしても上述したものと同様の目的を達成できる。

さらにステップＳ３０２〜Ｓ３０４の処理において、閾値からの距離による重み付け評価を導入したり、各サブバンドの平均値を閾値処理する方法なども考えられるが、各サブバンドの係数を相互に参照する方法については特に限定しない。
【００２９】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図２，及び／又は図３に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００３３】
【発明の効果】
以上の説明により本発明によれば効率的にノイズ除去を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるＸ線撮影装置の基本構成と、Ｘ線により撮影する被写体を示す図である。
【図２】本発明の第１の実施形態におけるＸ線撮影装置が行う大まかな処理のフローチャートである。
【図３】画像処理回路１１２においてノイズ除去に関する部分についての処理の流れを示すフローチャートである。
【図４】図３に示すフローチャートに従った処理の様子を示す図である。
【図５】（ａ）は離散ウェーブレット変換回路１１６の処理の構成を示す図であり、（ｂ）は２次元の変換処理により得られる２レベルの変換係数群の構成例を示す図であり、（ｃ）は離散ウェーブレット変換回路１１６による逆離散ウェーブレット変換処理の構成を示す図である。

Claims

画像に対して周波数変換を施すことで複数のサブバンドを得る周波数変換手段と、
前記周波数変換手段による前記複数のサブバンドのうち少なくとも２つ以上のサブバンドを用いて変更対象のサブバンド内の変換係数を決定する決定手段と、
前記決定手段により決定した変換係数に対して変換を施す係数変換手段とを備え、
更に前記周波数変換手段は、前記係数変換手段により変換された変換係数を含む全てのサブバンドの変換係数を用いて画像を復元し、
前記決定手段は更に、
前記周波数変換手段による前記複数のサブバンドのうち少なくとも２つ以上のサブバンドに対して閾値を設定する閾値設定手段と、
前記閾値設定手段により閾値を設定したサブバンド内の変換係数に対して当該閾値を用いて閾値処理を施す閾値処理手段とを備え、
前記閾値処理手段による閾値処理結果を用いて変更対象のサブバンド内の変換係数を決定し、
前記閾値処理は２値化処理であることを特徴とする画像処理装置。
前記閾値設定手段は前記閾値を、各サブバンドにおける変換係数値の平均値や分散値を含む統計量を元に設定することを特徴とする請求項１に記載の画像処理装置。
前記閾値設定手段は所定のサブバンド内の変換係数を閾値として設定し、
前記閾値処理手段は前記閾値を設定したサブバンド内の変換係数に対して、当該変換係数に空間的に対応する前記所定のサブバンド内の変換係数を用いて閾値処理を施すことを特徴とする請求項１に記載の画像処理装置。
前記所定のサブバンド内の変換係数は所定の閾値により閾値処理されたものであることを特徴とする請求項３に記載の画像処理装置。
前記係数変換手段はウェーブレット縮退によりノイズ除去を行うことを特徴とする請求項１に記載の画像処理装置。
前記周波数変換手段は離散ウェーブレット変換、もしくは逆離散ウェーブレット変換のいずれかを実行することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
画像に対して周波数変換を施すことで複数のサブバンドを得る周波数変換工程と、
前記周波数変換工程による前記複数のサブバンドのうち少なくとも２つ以上のサブバンドを用いて変更対象のサブバンド内の変換係数を決定する決定工程と、
前記決定工程で決定した変換係数に対して変換を施す係数変換工程とを備え、
更に前記周波数変換工程では、前記係数変換工程で変換された変換係数を含む全てのサブバンドの変換係数を用いて画像を復元し、
前記決定工程は更に、
前記周波数変換工程による前記複数のサブバンドのうち少なくとも２つ以上のサブバンドに対して閾値を設定する閾値設定工程と、
前記閾値設定工程により閾値を設定したサブバンド内の変換係数に対して当該閾値を用いて閾値処理を施す閾値処理工程とを備え、
前記閾値処理工程による閾値処理結果を用いて変更対象のサブバンド内の変換係数を決定し、
前記閾値処理は２値化処理であることを特徴とする画像処理方法。
前記閾値設定工程では所定のサブバンド内の変換係数を閾値として設定し、
前記閾値処理工程では前記閾値を設定したサブバンド内の変換係数に対して、当該変換係数に空間的に対応する前記所定のサブバンド内の変換係数を用いて閾値処理を施すことを特徴とする請求項７に記載の画像処理方法。
コンピュータに請求項７又は８に記載の画像処理方法を実行させることを特徴とするプログラム。
請求項９に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。