JP3731760B2

JP3731760B2 - Image processing method

Info

Publication number: JP3731760B2
Application number: JP07177495A
Authority: JP
Inventors: 英哉武尾; 雅彦山田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1995-03-29
Filing date: 1995-03-29
Publication date: 2006-01-05
Anticipated expiration: 2021-01-05
Also published as: JPH08272961A

Description

【０００１】
【産業上の利用分野】
本発明は画像処理方法に関し、詳細には画像のうち、異常陰影等の特定の画像部分だけを強調処理する画像処理方法に関するものである。
【０００２】
【従来の技術】
従来より、種々の画像取得方法により得られた画像を表す画像信号に対して、階調処理や周波数処理等の画像処理を施し、画像の観察読影性能を向上させることが行われている。特に人体を被写体とした放射線画像のような医用画像の分野においては、医師等の専門家が、得られた画像に基づいて患者の疾病や傷害の有無を的確に診断する必要があり、その画像の読影性能を向上させる画像処理は不可欠なものとなっている。
【０００３】
この画像処理のうち、いわゆる周波数強調処理としては、例えば特開昭61-169971 号に示されるように、原画像の濃度値等の画像信号（オリジナル画像信号という）Ｄorg を、
Ｄproc＝Ｄorg ＋β×（Ｄorg −Ｄus）（９）
なる画像信号Ｄprocに変換するものが知られている。ここでβは周波数強調係数、Ｄusは非鮮鋭マスク（いわゆるボケマスク）信号である。このボケマスク信号Ｄusは、２次元に配置された画素に対してオリジナル画像信号Ｄorg を中心画素とするＮ列×Ｎ行（Ｎは奇数）の画素マトリクスからなるマスク、すなわちボケマスクを設定し、
Ｄus＝（ΣＤorg ）／Ｎ² （10）
（ただし、ΣＤorg はボケマスク内各画素の画像信号の和）
等として求められる超低空間周波数成分である。
【０００４】
式（９）の第２項括弧内の値（Ｄorg −Ｄus）は、オリジナル画像信号から超低空間周波数成分であるボケマスク信号を減算したものであるから、オリジナル画像信号のうちの、超低空間周波数成分を除去した比較的高い周波数成分を選択的に抽出することができる。この比較的高い周波数成分に周波数強調係数βを乗じたうえで、オリジナル画像信号を加算することにより、この比較的高い周波数成分を強調することができる。
【０００５】
一方、画像のうち異常な陰影等の特定の画像部分だけを選択的に抽出する、モーフォロジー（Morphology；モフォロジーまたはモルフォロジーとも称する）のアルゴリズムに基づく処理（以下、モーフォロジー演算またはモーフォロジー処理という）が知られている。このモーフォロジー処理は、特に乳癌における特徴的形態である微小石灰化像を検出するのに有効な手法として研究されているが、対象画像としては、このようなマンモグラムにおける微小石灰化像に限るものではなく、検出しようとする特定の画像部分（異常陰影等）の大きさや形状が予め分かっているものについては、いかなる画像に対しても適用することができる。
【０００６】
以下、このモーフォロジー処理を、マンモグラムにおける微小石灰化像の検出に適用した例により、モーフォロジー処理の概要について説明する。
【０００７】
（モーフォロジーの基本演算）
モーフォロジー処理は一般的にはＮ次元空間における集合論として展開されるが、直感的な理解のために２次元の濃淡画像を対象として説明する。
【０００８】
濃淡画像を座標（ｘ，ｙ）の点が濃度値ｆ（ｘ，ｙ）に相当する高さをもつ空間とみなす。ここで、濃度値ｆ（ｘ，ｙ）は、ＣＲＴに表示するための信号のように、輝度の高いもの程大きな値となる高輝度高信号レベルの信号とする。
【０００９】
まず、簡単のために、その断面に相当する１次元の関数ｆ（ｘ）を考える。モーフォロジー演算に用いる構造要素ｇは次式（11）に示すように、原点について対称な対称関数
【００１０】
【数９】

【００１１】
であり、定義域内で値が０で、その定義域Ｇが下記式（12）であるとする。
【００１２】
【数１０】

【００１３】
このとき、モーフォロジー演算の基本形は式（13）〜（16）に示すように、非常に簡単な演算となる。
【００１４】
【数１１】

【００１５】
すなわち、dilation（ダイレーション）処理は、注目画素を中心とした、±ｍ（構造要素Ｂに応じて決定される値）の幅の中の最大値を探索する処理であり（図４（Ａ）参照）、一方、erosion （エロージョン）処理は、注目画素を中心とした、±ｍの幅の中の最小値を探索する処理である（図４（Ｂ）参照）。また、opening （またはclosing ）処理は最小値（または最大値）の探索の後に、最大値（または最小値）を探索することに相当する。すなわちopening （オープニング）処理は、低輝度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより小さい凸状の濃度変動部分（周囲部分よりも輝度が高い部分）を取り除くことに相当する（図４（Ｃ）参照）。一方、closing （クロージング）処理は、高輝度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより小さい凹状の濃度変動部分（周囲部分よりも輝度が低い部分）を取り除くことに相当する（図４（Ｄ）参照）。
【００１６】
なお、構造要素ｇが原点に対して対称ではない場合の、式（13）に示すダイレーション演算をMinkowski （ミンコフスキー）和、式（14）に示すエロージョン演算をMinkowski 差という。
【００１７】
ここで、濃度値ｆ（ｘ）が、ネガフイルムに記録するための信号のように、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、輝度と濃度との関係が逆転するため、高濃度高信号レベルの信号におけるダイレーション処理は、高輝度高信号レベルにおけるエロージョン処理（図４（Ｂ））と一致し、高濃度高信号レベルの信号におけるエロージョン処理は、高輝度高信号レベルにおけるダイレーション処理（図４（Ａ））と一致し、高濃度高信号レベルの信号におけるオープニング処理は、高輝度高信号レベルにおけるクロージング処理（図４（Ｄ））と一致し、高濃度高信号レベルの信号におけるクロージング処理は、高輝度高信号レベルにおけるオープニング処理（図４（Ｃ））と一致する。
【００１８】
なお、本項では高輝度高信号レベルの画像信号（輝度値）の場合について説明する。
【００１９】
（石灰化陰影検出への応用）
石灰化陰影の検出には、原画像から平滑化した画像を引き去る差分法が考えられる。単純な平滑化法では石灰化陰影と細長い形状の非石灰化陰影（乳腺、血管および乳腺支持組織等）との識別が困難であるため、東京農工大の小畑らは、多重構造要素を用いたオープニング演算に基づく下記式（17）で表されるモーフォロジーフィルターを提案している（「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」電子情報通信学会論文誌 D-II Vol.J75-D-II No.7 P1170 〜1176 1992年７月等）。
【００２０】
【数１２】

【００２１】
ここでＢi （ｉ＝１，２，…，Ｍ）は、例えば図５に示す直線状の４つ（この場合Ｍ＝４）の構造要素（これら４つの構造要素の全体をもって多重構造要素という）である。構造要素Ｂi を検出対象である石灰化陰影よりも大きく設定すれば、上記オープニング演算による処理で、構造要素Ｂi よりも細かな凸状の信号変化部分である石灰化陰影は取り除かれる。一方、細長い形状の非石灰化陰影はその長さが構造要素Ｂi よりも長く、その傾きが４つの構造要素Ｂi のいずれかに一致すればオープニング処理（式（17）の第２項の演算）をしてもそのまま残る。したがってオープニング処理によって得られた平滑化画像（石灰化陰影のみが取り除かれた画像）を原画像ｆから引き去ることで、小さな石灰化陰影のみが含まれる画像が得られる。これが式（17）の考え方である。
【００２２】
なお、前述したように、高濃度高信号レベルの信号の場合においては、石灰化陰影は周囲の画像部分よりも濃度値が低くなり、石灰化陰影は周囲部分に対して凹状の信号変化部分となるため、オープニング処理に代えてクロージング処理を適用し、式（17）に代えて式（18）を適用する。
【００２３】
【数１３】

【００２４】
このように、モーフォロジー処理は、
（１）石灰化陰影そのものの抽出に有効であること
（２）複雑なバックグラウンド情報に影響されにくいこと
（３）抽出した石灰化陰影がひずまないこと
などの特徴がある。すなわち、この手法は一般の微分処理に比べて、石灰化陰影のサイズ・形状・濃度分布などの幾何学的情報をより良く保った検出が可能である。
【００２５】
【発明が解決しようとする課題】
ところで上述したように、画像の読影性能を向上させるには、対象となる画像に対して画像処理を行うことが不可欠となっているが、特開平２−1078号に開示されているように、単に濃度依存による強調処理では、例えばマンモグラムにおける放射線ノイズ成分のような、画像読影の障害となる成分まで強調されるため、読影性能をむしろ低下させることになる。
【００２６】
また特公昭60−192482号、特開平２−120985号、特表平３−502975号等に開示されているように、画像信号の分散値に依存した強調処理では、局所的に濃度変化の大きい画像部分が強く強調されるため、その付近でアンダーシュート、オーバーシュートが相対的に目立ち、特にＸ線画像に関しては高濃度側でアーチファクトが発生しやすいという問題がある。
【００２７】
本発明は上記事情に鑑みなされたものであって、ノイズ成分等の画像読影に不要な成分を強調することなく、注目する特定の画像部分だけを効率よく強調処理し、アーチファクトの発生を抑制した画像処理方法を提供することを目的とするものである。
【００２８】
【課題を解決するための手段】
本発明の画像処理方法は、画像を表すオリジナルの画像信号Ｄorg に対して、多重構造要素Ｂi およびスケール係数λを用いたモーフォロジー演算を施すことにより、前記画像信号が空間的に前記多重構造要素Ｂi より小さく変動する画像部分の画像信号値の変動量を表すモーフォロジー信号Ｄmor を抽出し、
前記オリジナルの画像信号Ｄorg の、超低空間周波数に対応する非鮮鋭マスク信号Ｄusを求め、
前記モーフォロジー信号Ｄmor に基づく関数β（Ｄmor ）および前記オリジナルの画像信号Ｄorg と前記非鮮鋭マスク信号Ｄusとの差信号（Ｄorg −Ｄus）に基づく関数ｆ（Ｄorg −Ｄus）を用いて、前記オリジナルの画像信号Ｄorg に対して、
【００２９】
【数１】

【００３０】
なる演算を行って、前記画像部分のオリジナルの画像信号Ｄorgに、前記モーフォロジー信号Ｄmorの大きさに応じた強調処理を施す画像処理方法であって、前記関数β（Ｄ mor ）が、単調増加関数であり、かつ、前記モーフォロジー信号Ｄ mor の値が小さい領域Ｃ 1 および前記モーフォロジー信号Ｄ mor の値が大きい領域Ｃ３における関数β（Ｄ mor ）の増加率が、前記モーフォロジー信号Ｄ mor の値が中間の領域Ｃ２における関数β（Ｄ mor ）の増加率より小さい関数であることを特徴とするものである。なお、関数β（Ｄmor ）は、図３（ａ）、（ｂ）に示すように、｜Ｄmor ｜に対する関数である。
【００３１】
また、構造要素Ｂとしては、例えば、正方形、長方形、円形、楕円形、または菱形等の上下左右対称の要素が望ましい。
【００３２】
さらに、モーフォロジー演算としては、下記式（２）〜（８）で示される種々のものを適用することができる。
【００３３】
【数２】

【００３４】
【数３】

【００３５】
【数４】

【００３６】
【数５】

【００３７】
【数６】

【００３８】
【数７】

【００３９】
【数８】

【００４０】
すなわち、式（２）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｄmor として、オリジナルの画像信号Ｄorg の値が周囲の画像部分よりも大きく、かつ前記多重構造要素Ｂi より小さく変動する画像部分（例えば、高輝度高信号レベルの画像信号における石灰化陰影）を構成する画素の信号を抽出することができ、この画像部分を効果的に強調処理することができる。
【００４１】
なお、上記式（２）〜（８）において、
【００４２】
【数１４】

【００４３】
また、式（３）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｄmor として、オリジナルの画像信号Ｄorg の値が周囲の画像部分よりも小さく、かつ前記多重構造要素Ｂi より小さく変動する画像部分（例えば、高濃度高信号レベルの画像信号における石灰化陰影）を構成する画素の信号を抽出することができ、この画像部分を効果的に強調処理することができる。
【００４４】
式（４）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｄmor として、オリジナルの画像信号Ｄorg の値が周囲の画像部分よりも大きくかつ前記多重構造要素Ｂi より小さく変動する画像部分や、輝度（濃度）が急激に変化するエッジ部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００４５】
式（５）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｄmor として、オリジナルの画像信号Ｄorg の値が周囲の画像部分よりも小さくかつ前記多重構造要素Ｂi より小さく変動する画像部分や、輝度（濃度）が急激に変化するエッジ部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００４６】
式（６）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｄmor として、オリジナルの画像信号Ｄorg の値が周囲の画像部分よりも大きくかつ前記多重構造要素Ｂi より小さく変動する、濃度（輝度）変化の大きい画像部分（例えばオリジナルの画像信号Ｄorg が表す画像の骨格部分）を構成する画素の信号を抽出することができ、このような画像部分（骨格部分）を効果的に強調処理することができる。式（６）を具体的に適用した例を図６に示す。原画像Ｘに対する構造要素Ｂ（半径ｒの円形構造とする）での、エロージョン処理した画像と、エロージョン処理した画像に対するオープニング処理した画像との差信号のλ（λ＝１，２，…，Ｎ）回までの和集合は、骨格部分ａおよびｂとなる。
【００４７】
式（７）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｄmor として、オリジナルの画像信号Ｄorg の値が周囲の画像部分よりも小さくかつ前記多重構造要素Ｂi より小さく変動する、濃度（輝度）変化の大きい画像部分（例えばオリジナルの画像信号Ｄorg が表す画像の骨格部分）を構成する画素の信号を抽出することができ、このような画像部分（骨格部分）を効果的に強調処理することができる。
【００４８】
式（６）、（７）で表されるモーフォロジー演算を一般にスケルトン処理と称し、このスケルトン処理によれば、特に骨りょう部分の画像信号に適用した場合、骨格要素だけを選択的に、効果的に強調処理することができる。
【００４９】
なお、モーフォロジー演算として式（２）〜（７）を適用する場合は、関数ｆ（Ｄorg −Ｄus）としては、ｆ（Ｄorg −Ｄus）＝Ｄorg −Ｄusとしてもよい。
【００５０】
式（８）で表されるモーフォロジー演算を適用することにより、局所的に輝度（濃度）変化の大きい画像部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００５１】
なお、モーフォロジー演算として式（８）を適用する場合はオーバーシュート、アンダーシュートを抑制するため、関数ｆ（Ｄorg −Ｄus）は、Ｄorg が所定の大きさ以下の範囲、あるいは所定の大きさ以上の範囲において、例えば図７に示すように、出力を抑制する関数とすることが必要である。
【００５２】
【作用および発明の効果】
本発明の画像処理方法は、画像を表すオリジナル画像信号Ｄorg に対して、多重構造要素Ｂi およびスケール係数λを用いたモーフォロジー演算を施すことにより、画像信号が空間的に多重構造要素Ｂi より小さく変動する画像部分の画像信号値の変動量を表すモーフォロジー信号Ｄmorを抽出する。
【００５３】
一方、式（１）第２項の計算処理により、オリジナル画像信号Ｄorg から、その超低空間周波数成分Ｄusを減算することにより、オリジナル画像信号Ｄorg のうちの比較的高い周波数成分（超低空間周波数成分を除いたものをいう）だけを抽出することができる。この抽出された比較的高い周波数成分には、いわゆる高周波成分である放射線ノイズも含まれる。
【００５４】
ここで、式（１）に示すように、全体画像の各画素がモーフォロジー演算で得られた石灰化陰影等の、空間的に多重構造要素Ｂi より小さく変動する特定の画像部分、を構成する画素か否かに応じた信号Ｄmor に基づく強調係数β（Ｄmor ）で高周波成分（Ｄorg −Ｄus）を強調するため、この高周波成分（Ｄorg −Ｄus）に例えば量子ノイズ等の不要な成分が含まれていても、その画素が石灰化陰影等の画像部分を構成するものでない場合は、その画素についてのβ（Ｄmor ）の値は小さいため、その画素に対する強調度合は小さいものとなる。
【００５５】
一方、画素が石灰化陰影等の画像部分を構成するものである場合は、その画素についてのβ（Ｄmor ）の値は大きいため、その画素に対する強調度合は大きいものとなる。
【００５６】
したがって、画像の高周波成分（Ｄorg −Ｄus）に放射線ノイズが含まれているか否かに拘らず、石灰化陰影等の特定の画像部分であるか否かに応じた関数β（Ｄmor ）により、特定の画像部分のオリジナルの画像信号Ｄ org に、前記モーフォロジー信号Ｄ mor の大きさに応じた強調処理を施すことができる。
【００５７】
また、モーフォロジー信号Ｄ mor の大きさに応じて特定の画像部分が強く強調されるため、アンダーシュート、オーバーシュートを抑制することができアーチファクトの発生を低減することができる。さらに、画像信号の分散値を計算する処理に代えて最大値または最小値を計算する処理を行うため、計算処理に掛かる演算時間を短縮することができる。
【００５８】
以下、モーフォロジー演算の一例である式（３）を具体的に説明する。
【００５９】
すなわち、高濃度高信号レベルの画像信号である濃度値Ｄorg についてのモーフォロジー演算によれば、例えば図８（１）の実線に示すような濃度値Ｄorg の分布を有する画像データに対して、同図（２）に示すような直線状の３画素の構造要素Ｂで、Ｄorg ［＋］Ｂの演算（ミンコフスキー和）を行うことにより、ある注目画素の濃度値Ｄ_iは、その注目画素を中心として互いに隣接する３画素（構造要素Ｂにより決定される）の中の最大値Ｄ_i+1を採用したＤ_i′に変換される。この演算を全画素について行うことにより、濃度値Ｄorg ′の分布を有する同図（１）の破線で示す画像データに変換される。
【００６０】
次に、このミンコフスキー和の演算で得られた濃度値（Ｄorg ［＋］Ｂ）の構造要素Ｂによるミンコフスキー差（Ｄorg ［＋］Ｂ）［−］Ｂを考えると、同図（１）の破線で示された注目画素の濃度値Ｄ_i′は、その注目画素を中心として互いに隣接する３画素の中の最小値Ｄ_i-1′を採用したＤ_i″（＝Ｄ_i）に変換される。この演算を全画素について行うことにより、濃度値Ｄorg ″の分布を有する同図（１）の一点鎖線で示す画像データに変換される。この一点鎖線で示された画像データは、もとの実線のオリジナルの画像データに対して、構造要素Ｂよりも細かい信号値の変化の画像部分が消え、構造要素Ｂよりも大きい信号値の変化の画像部分は演算前の元の状態を保持することを示している。すなわち、以上の処理（クロージング処理）は、画像濃度の分布を高濃度側から平滑化する処理である。
【００６１】
このようにクロージング処理で得られた値（Ｄorg ［＋］Ｂ）［−］Ｂを元の画像信号Ｄorg から差し引くことにより得られた値Ｄmor は、上記クロージング処理で消された細かい信号値の変化の画像部分を表す。
【００６２】
ここで、本来、画像信号は２次元の要素である位置（ｘ，ｙ）と、３次元目の要素である信号値ｆ（ｘ，ｙ）を有するが、上記説明においては、理解の容易化のために、この２次元上に展開された画像の所定の断面に現れた、１次元状の画像信号分布曲線について説明した。
【００６３】
したがって、本発明の画像処理方法は、以上の説明を２次元画像に拡大適用したものであり、式（１）に示した多重構造要素Ｂi は、このような断面におけるモーフォロジー演算を２次元面に拡大適用する場合に、この２次元面内での向きが互いに異なる構造要素Ｂとして準備されたｉ個の構造要素Ｂの集合を意味するものである。
【００６４】
またこれらすべての多重構造要素Ｂi についてクロージング処理を行った結果、多重構造要素Ｂi のうちのいずれかと、その延びる方向が一致し、かつその大きさよりも大きく変化する画像部分については、式（３）の第２項ｍｉｎ｛（Ｄorg ［＋］λＢi ）［−］λＢi ｝の値がＤorg そのものとなるため、Ｄmor の値はゼロとなり、その部分については強調処理されない。
【００６５】
なお、スケール係数λは上記ミンコフスキー和の演算およびミンコフスキー差の演算を行う回数を意味し、回数を増加するに応じて平滑化の程度が進む。
【００６６】
このような本発明のモーフォロジー演算を利用した強調処理と、従来のボケマスク処理による強調処理との比較を、図９に示す。
【００６７】
【実施例】
以下、本発明の画像処理方法を用いた計算機支援画像診断装置について図面を用いて説明する。
【００６８】
図１は本実施例の計算機支援画像診断装置の概略構成を示すブロック図、図２はこの計算機支援画像診断装置により画像診断に供される***の放射線画像（マンモグラム）を示す図である。図示の計算機支援画像診断装置は、マンモグラムの全体の放射線画像（全体画像）Ｐを表す、各画素の濃度値Ｄorg の集合である画像データ（全体画像データ）Ｓを記憶する全体画像メモリ10、全体画像データＳに基づいて、もしくは一旦全体画像メモリ10に記憶された全体画像データＳに基づいて全体画像Ｐを表示するＣＲＴ等の全体画像表示手段30、全体画像メモリ10に記憶された全体画像データＳに基づいて、全体画像Ｐのうち異常陰影Ｐ₁を検出する異常陰影検出手段40、異常陰影検出手段40により異常陰影Ｐ₁が検出されたか否かを判定する判定手段50、異常陰影Ｐ₁が検出されたと判定手段50により判定された場合に、全体画像メモリ10に記憶された全体画像データＳのうち、異常陰影Ｐ₁を含む局所領域の画像Ｐ₂を表す画像データ（局所画像データ）Ｓ₂を抽出する局所領域抽出手段60、局所領域抽出手段60により抽出された局所画像データＳ₂に基づいた局所領域の画像Ｐ₂のうち異常陰影Ｐ₁が、全体画像表示手段30に表示される全体画像Ｐよりも読影性能が向上するように、異常陰影を示す画像データ（異常陰影画像データ）Ｓ₁に対して画像強調処理を行う局所画像強調手段70、およびこの画像強調処理のなされた局所画像データＳ₂に基づいて局所領域の画像Ｐ₂を表示するＣＲＴ等の局所画像表示手段90、を備えた構成である。
【００６９】
なお、異常陰影は石灰化陰影、異常陰影検出手段40はモーフォロジー演算を行うモーフォロジーフィルターであって、石灰化陰影を示す画素について、その画素についての式（３）で示した、石灰化陰影を構成する画素であるか否かを示す信号Ｄmor として出力する。
【００７０】
ただし、対象画像は、本実施例のような医用画像に限るものではなく、工業製品の検査用画像等であってもよい。例えば、内部に巣のある鋳物製品のＸ線画像について、異常陰影が当該巣の陰影であってもよい。
【００７１】
また上記局所領域とは、異常陰影である石灰化陰影を含むこの石灰化陰影近傍の領域をいうものとする。
【００７２】
なお、実施例記載中において、画像を構成する各画素の画像データを濃度信号値Ｄorg と表記し、これら画素の集合により構成される領域の画像データを画像データＳと表記するものとする。また、濃度値Ｄorg は高濃度高信号レベルの信号値である。
【００７３】
ここでモーフォロジーフィルター40は、前述した特定の画像部分の検出処理のアルゴリズムをいうが、本実施例におけるモーフォロジーフィルター40は、このアルゴリズム自体を指すのではなく、このアルゴリズムによる石灰化陰影の検出処理（式（３）で表す処理）をなす手段を意味する。
【００７４】
また、局所画像強調手段70は詳しくは、局所画像データＳ₂を構成する各画素（濃度値Ｄorg ）について、その画素を中心としたＮ列×Ｎ行（Ｎは例えば「５」などの奇数）の画素マトリクスからなるマスク（以下、単にボケマスクという）信号Ｄusを下記式（10）により算出し、その後に、濃度値Ｄorg からボケマスク信号値Ｄusを減算（Ｄorg −Ｄus）して高周波成分を算出する手段71と、
Ｄus＝（ΣＤorg ）／Ｎ² （10）
（ただし、ΣＤorg はボケマスク内各画素の画像信号の和）
モーフォロジーフィルター40により抽出された石灰化陰影を示す画素についての出力Ｄmor を、図３（ａ）で表される単調に増加するβ（Ｄmor ）に変換して出力する変換テーブル72と、
この出力β（Ｄmor ）と前述の高周波成分（Ｄorg −Ｄus）とを乗じて、周囲に比べて濃度値の低い石灰化陰影に対して、より強い周波数強調を施す石灰化陰影強調手段73とを備えた構成である。
【００７５】
以下、本実施例の計算機支援画像診断装置の作用について説明する。
【００７６】
全体画像メモリ10に光磁気ディスクや画像読取装置等から、内部に石灰化部を有する***を含む全体画像Ｐを表す全体画像データＳが入力される。また、この全体画像データＳは直接、全体画像表示手段30にも入力され（図１のＡの経路）、もしくは一旦全体画像メモリ10に記憶されたものとして全体画像表示手段30に入力されて（図１のＢの経路）、全体画像表示手段30は、この全体画像データＳに基づいて全体画像Ｐを表示する。
【００７７】
一方、全体画像メモリ10に記憶された全体画像データＳはモーフォロジーフィルター40にも入力される。モーフォロジーフィルター40は、式（３）にしたがって、石灰化陰影Ｐ₁を示す画像データ（以下、石灰化画像データという）Ｓ₁を検出する。
【００７８】
すなわち、図２（１）に示したマンモグラムのI-I 線断面における濃度値Ｄorg の分布は同図（２）に示すものとなるが、微小石灰化陰影Ｐ₁は、その周辺の濃度値の分布が多重構造要素Ｂi の大きさに比べて細かく変化するため、式（３）のＤmor の値はゼロ以外の所定の値を有し、クロージング処理により平滑化される。一方、構造要素Ｂよりも大きい変動である血管や乳腺の画像Ｐ₃は、その濃度値の分布が多重構造要素Ｂi の大きさに比べて大きいため、Ｄmor の値がゼロとなり、クロージング処理で平滑化されない。
【００７９】
これにより、モーフォロジーフィルター40により微小石灰化陰影Ｐ₁を示す画像データＳ₁の画素（位置）が特定される。判定手段50は、モーフォロジーフィルター40によりこの微小石灰化陰影Ｐ₁を示す微小石灰化像データＳ₁が検出されたことを判定するとともに、微小石灰化像データＳ₁の画素位置を特定する位置データ（以下、石灰化画素位置データという）Ｄ₁、およびモーフォロジーフィルター40により抽出された微小石灰化陰影の濃度値の変動Ｄmor を、局所領域抽出手段60に入力する。
【００８０】
判定手段50は、モーフォロジーフィルター40によりこの石灰化陰影Ｐ₁を示す石灰化画像データが検出されなかったと判定した場合には、石灰化画像データＳ₁の画素位置を特定する石灰化画素位置データＤ₁を出力せずに処理は終了する。
【００８１】
一方、石灰化画像データが検出されたと判定した場合は、局所領域抽出手段60には全体画像メモリ10に記憶された全体画像データＳも入力され、局所領域抽出手段60は入力された全体画像データＳのうち、石灰化画素位置データＤ₁に基づいて石灰化画像データＳ₁の画素を含む近傍の画素（これらの画素の集合としての局所領域）を、予め設定された処理手順にしたがって特定したうえで、この局所領域の画像Ｐ₂を表す局所画像データＳ₂を抽出する。
【００８２】
抽出された局所画像データＳ₂および信号Ｄmor は局所画像強調手段70に入力される。
【００８３】
局所画像強調手段70に入力された局所画像データＳ₂を構成する各画素（濃度値Ｄorg ）について、まず高周波成分を算出する手段71により、ボケマスク信号Ｄusが算出されたうえで、高周波成分（Ｄorg −Ｄus）が算出される。次に、モーフォロジーフィルター40からの入力Ｄmor が変換テーブル72によりβ（Ｄmor ）に変換される。この変換テーブル72は、図３（ａ）に示すように単調増加関数である。すなわち、信号Ｄmor が大きな値を採る場合は、その画素が石灰化陰影に対応した画素であることを示す。したがって、変換テーブル72の出力β（Ｄmor ）が大きな値を出力するのは、その画素が石灰化陰影を構成する画素の場合である。
【００８４】
また、この変換テーブル72によれば、Ｄmor の小さい領域Ｃ１においてその出力β（Ｄmor ）は低く抑制されるため、Ｄmor の小さい領域Ｃ１において検出される高周波の放射線ノイズを低減させることができる。すなわち、図２（２）に示した濃度値の分布曲線上には実際には、同図（３）の拡大図に示すように、放射線ノイズが重畳しているが、式（３）の第２項のクロージング処理により、この放射線ノイズは同図（３）の破線で示すように平滑化される。したがってＤmor の値を非常に細かく変動させることとなるが、微小石灰化陰影による変動Ｄmor に比べてその変動量自体は小さいため、領域Ｃ１とＣ２との境界値を予め適当に設定することにより、この高周波ノイズが強調されるのを防止することができる。
【００８５】
一方、領域Ｃ３においては、その出力β（Ｄmor ）の変化がＤmor の変化に対して抑制されるが、これは、既にある程度のコントラストを有する画像部分について過度の強調処理がなされるのを防止するためである。過度の強調処理がなされると、その画像部分以外の画像部分のコントラストが相対的に低下するため、反って読影性能が低下するからである。
【００８６】
石灰化陰影強調手段73は、変換テーブル72からの出力β（Ｄmor ）と高周波成分を算出する手段71からの出力である高周波成分（Ｄorg −Ｄus）との積β（Ｄmor ）×（Ｄorg −Ｄus）を算出し、その積に原画像の濃度値Ｄorg を加算した式（１）で示す周波数強調処理を施す（本実施例において、式（１）のｆ（Ｄorg −Ｄus）をｆ（Ｄorg −Ｄus）＝Ｄorg −Ｄus、とする）。
【００８７】
この周波数強調処理によれば、モーフォロジーフィルター40により得られた石灰化陰影を構成する画素か否かに応じた信号Ｄmor に基づく強調係数β（Ｄmor ）で、高周波成分（Ｄorg −Ｄus）を強調するため、この高周波成分（Ｄorg −Ｄus）に例えば量子ノイズ等が含まれていても、その画素が石灰化陰影等の画像部分を構成するものでない場合（例えば、血管等の陰影の場合）は、その画素についてのβ（Ｄmor ）の値は小さいため、強調度合は小さいものとなる。一方、画素が石灰化陰影等の画像部分を構成するものである場合は、その画素についてのβ（Ｄmor ）の値は大きいため、その強調度合は大きいものとなる。
【００８８】
したがって、画像の高周波成分（Ｄorg −Ｄus）に放射線ノイズが含まれているか否かに拘らず、石灰化陰影等の特定の画像部分であるか否かに応じた関数β（Ｄmor ）により、特定の画像部分を選択的に強調処理することができる。
【００８９】
局所画像表示手段90は、この局所画像強調手段70により局所領域の画像Ｐ₂のうち石灰化陰影Ｐ₁が強調処理された画像を表示する。
【００９０】
このように全体画像のうち、石灰化陰影Ｐ₁の画像だけが別個に局所画像表示手段90に表示されるため、読影者はその表示された局所領域の画像に観察意識、診断意識を集中することができ、診断性能を向上させることができる。
【００９１】
また、全体画像表示手段30が局所画像表示手段90を兼ねる構成であってもよく、その場合であっても、表示された全体画像Ｐのうち石灰化陰影Ｐ₁の画像だけが選択的に強調されるため、オーバーシュートやアンダーシュートが抑制され、これによるアーチファクトが低減されて診断性能の向上した再生画像を得ることができる。
【００９２】
なお本実施例の画像処理方法は、式（３）で示したモーフォロジー演算についての例について説明したが、本発明の画像処理方法はこれに限らず、式（２）、（４）〜（８）に示したうちのいずれのモーフォロジー演算を用いた強調処理であってもよい。
【００９３】
ところで、モーフォロジーフィルター40の式（２）〜（８）による微小石灰化陰影の検出処理でだけでは、微小石灰化陰影と類似の陰影も検出される場合がある。すなわち、式（２）〜（８）のＤmor の値はゼロにならないような、石灰化陰影とほぼ同一の大きさの、石灰化陰影ではない画像（以下、非石灰化陰影という）も検出される場合がある。このような非石灰化陰影について強調処理をしたのでは、適切な診断に支障をきたす虞がある。
【００９４】
そこでこのような非石灰化陰影が石灰化陰影とともに検出されるのを防止して、より正確に石灰化陰影だけを検出するために、モーフォロジーフィルター40に以下に示す判定機能を付加してもよい。
【００９５】
すなわち、式（19）に示すモーフォロジー演算に基づく微分演算を行い、Ｍgradの値が大きいほど石灰化陰影である可能性が大きいため、その後に、式（２）〜（８）に代えて、式（20）に示す論理演算を行う。
【００９６】
【数１５】

【００９７】
この式（20）で得られたＤmor の値がゼロの場合は、その画素は非石灰化陰影であるから、式（１）による強調処理はなされず、Ｄmor の値がゼロ以外の場合は、その画素は石灰化陰影であるから、式（１）による強調処理がなされる。なお、式（20）中のＴ１，Ｔ２は実験的に設定された閾値である。
【００９８】
また、この式（19）および（20）による判定の他に、マルチスケールのオープニング処理とクローシング処理との組合せによって、石灰化陰影と非石灰化陰影との判別の判定をすることもできる。
【００９９】
具体的には、下式（21）〜（23）によってＤmor の値を設定すればよい。
【０１００】
【数１６】

【０１０１】
なお、式（23）中のＴは実験的に設定された閾値である。
【図面の簡単な説明】
【図１】計算機支援画像診断装置の概略構成を示すブロック図
【図２】図１に示した計算機支援画像診断装置により画像診断に供される***の放射線画像（マンモグラム）を示す図
【図３】変換テーブルを表す関数のグラフ
【図４】モーフォロジー演算の基本的な作用を説明する図
【図５】モーフォロジーフィルターにおける多重構造要素を示す図
【図６】スケルトン処理を示す説明図
【図７】オーバーシュート、アンダーシュートを抑制する関数ｆ（Ｄorg −Ｄus）を表すグラフ
【図８】モーフォロジー演算による処理を具体的に説明するための濃度分布図
【図９】従来のボケマスク処理と、本発明の画像処理とを比較した図
【符号の説明】
10 全体画像メモリ
30 全体画像表示手段
40 異常陰影検出手段
50 判定手段
60 局所領域抽出手段
70 局所画像強調手段
71 高周波成分算出手段
72 変換テーブル
73 石灰化陰影強調手段
90 局所画像表示手段
Ｄorg オリジナル濃度値[0001]
[Industrial application fields]
The present invention relates to an image processing method, and more particularly to an image processing method for emphasizing only a specific image portion such as an abnormal shadow in an image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, image processing such as gradation processing and frequency processing is performed on image signals representing images obtained by various image acquisition methods to improve image observation and interpretation performance. Particularly in the field of medical images such as radiographic images of human subjects, it is necessary for specialists such as doctors to accurately diagnose the presence or absence of a patient's disease or injury based on the obtained images. Image processing to improve the interpretation performance of the image has become indispensable.
[0003]
Among the image processing, as so-called frequency enhancement processing, as shown in, for example, Japanese Patent Laid-Open No. 61-169971, an image signal (referred to as an original image signal) Dorg such as a density value of an original image is used.
Dproc = Dorg + β × (Dorg−Dus) (9)
What is converted into an image signal Dproc is known. Here, β is a frequency enhancement coefficient, and Dus is an unsharp mask (so-called blur mask) signal. This blur mask signal Dus sets a mask composed of a pixel matrix of N columns × N rows (N is an odd number) having the original image signal Dorg as a central pixel for pixels arranged in two dimensions, that is, a blur mask.
Dus = (ΣDorg) / N² (Ten)
(However, ΣDorg is the sum of the image signals of each pixel in the blur mask)
It is an ultra-low spatial frequency component required as
[0004]
Since the value (Dorg−Dus) in the second term parenthesis of Expression (9) is obtained by subtracting the blur mask signal, which is an ultra-low spatial frequency component, from the original image signal, the ultra-low space of the original image signal. A relatively high frequency component from which the frequency component has been removed can be selectively extracted. The relatively high frequency component can be emphasized by multiplying the relatively high frequency component by the frequency enhancement coefficient β and adding the original image signal.
[0005]
On the other hand, processing based on a morphology (Morphology) algorithm (hereinafter referred to as morphological operation or morphological processing) that selectively extracts only specific image parts such as abnormal shadows from an image is known. ing. This morphological process has been studied as an effective technique for detecting microcalcifications, which is a characteristic feature especially in breast cancer, but the target image is not limited to microcalcifications in such mammograms. However, what is known in advance for the size and shape of a specific image portion (abnormal shadow or the like) to be detected can be applied to any image.
[0006]
Hereinafter, an outline of the morphological process will be described by using an example in which this morphological process is applied to detection of a microcalcification image in a mammogram.
[0007]
(Basic morphological operations)
The morphological processing is generally developed as a set theory in an N-dimensional space, but will be described for a two-dimensional gray image for intuitive understanding.
[0008]
The grayscale image is regarded as a space in which a point at coordinates (x, y) has a height corresponding to the density value f (x, y). Here, the density value f (x, y) is a signal having a high luminance and high signal level that becomes a larger value as the luminance is higher, such as a signal to be displayed on the CRT.
[0009]
First, for the sake of simplicity, a one-dimensional function f (x) corresponding to the cross section is considered. The structural element g used for the morphological operation is a symmetric function symmetric about the origin as shown in the following equation (11).
[0010]
[Equation 9]

[0011]
It is assumed that the value is 0 in the domain and the domain G is the following formula (12).
[0012]
[Expression 10]

[0013]
At this time, the basic form of the morphological operation is a very simple operation as shown in the equations (13) to (16).
[0014]
## EQU11 ##

[0015]
That is, the dilation process is a process of searching for the maximum value in the width of ± m (value determined according to the structural element B) with the target pixel as the center (FIG. 4A). On the other hand, the erosion process is a process of searching for the minimum value in the width of ± m centered on the target pixel (see FIG. 4B). The opening (or closing) process corresponds to searching for the maximum value (or minimum value) after searching for the minimum value (or maximum value). That is, the opening process corresponds to smoothing the density curve f (x) from the low luminance side and removing a convex density fluctuation portion (a portion having higher luminance than the surrounding portion) smaller than the mask size 2 m ( (See FIG. 4C). On the other hand, the closing process is equivalent to smoothing the density curve f (x) from the high luminance side and removing a concave density fluctuation portion (a portion whose luminance is lower than the surrounding portion) smaller than the mask size 2 m ( (See FIG. 4D).
[0016]
When the structural element g is not symmetric with respect to the origin, the dilation operation shown in Equation (13) is called the Minkowski sum, and the erosion operation shown in Equation (14) is called the Minkowski difference.
[0017]
Here, in the case of a signal having a high density and high signal level in which the density value f (x) is a higher value as the density is higher, such as a signal for recording on a negative film, the relationship between luminance and density. Therefore, the dilation processing in the high density high signal level signal coincides with the erosion processing in the high brightness high signal level (FIG. 4B), and the erosion processing in the high density high signal level signal is high. Consistent with dilation processing at high luminance and high signal level (FIG. 4A), the opening processing at high concentration and high signal level is consistent with closing processing at high luminance and high signal level (FIG. 4D), The closing process for a signal having a high density and a high signal level coincides with the opening process (FIG. 4C) for a high luminance and high signal level.
[0018]
In this section, a case of an image signal (brightness value) having a high brightness and a high signal level will be described.
[0019]
(Application to calcified shadow detection)
For the detection of the calcified shadow, a difference method in which a smoothed image is removed from the original image can be considered. Since it is difficult to distinguish between calcified shadows and elongated non-calcified shadows (such as mammary glands, blood vessels, and mammary support tissues) with a simple smoothing method, Obata et al. At Tokyo University of Agriculture and Technology used multiple structural elements. A morphological filter represented by the following formula (17) based on the opening operation is proposed ("Extraction of microcalcifications by morphological filter using multiple structural elements" IEICE Transactions D-II Vol. J75-D-II No.7 P1170-1176 July 1992 etc.).
[0020]
[Expression 12]

[0021]
Here, Bi (i = 1, 2,..., M) is, for example, four linear structural elements (in this case, M = 4) shown in FIG. 5 (all of these four structural elements are referred to as multiple structural elements). It is. If the structural element Bi is set to be larger than the calcified shadow to be detected, the calcified shadow, which is a convex signal change portion finer than the structural element Bi, is removed by the processing by the opening operation. On the other hand, if the length of the elongated non-calcified shadow is longer than the structural element Bi and the inclination coincides with any of the four structural elements Bi, the opening process (the operation of the second term of the equation (17)) It remains as it is. Therefore, by removing the smoothed image (image from which only the calcified shadow has been removed) obtained by the opening process from the original image f, an image including only a small calcified shadow can be obtained. This is the idea of equation (17).
[0022]
As described above, in the case of a signal having a high density and a high signal level, the calcified shadow has a lower density value than the surrounding image portion, and the calcified shadow is a signal change portion that is concave with respect to the surrounding portion. Therefore, the closing process is applied instead of the opening process, and the expression (18) is applied instead of the expression (17).
[0023]
[Formula 13]

[0024]
Thus, morphological processing is
(1) Effective for extracting the calcified shadow itself
(2) Being less susceptible to complex background information
(3) The extracted calcified shadow should not be distorted.
There are features such as. That is, this method can perform detection while maintaining geometric information such as the size, shape, and concentration distribution of the calcified shadow better than general differential processing.
[0025]
[Problems to be solved by the invention]
As described above, in order to improve the image interpretation performance, it is indispensable to perform image processing on the target image. However, as disclosed in JP-A-2-1078, In the enhancement processing based on density only, for example, components that obstruct image interpretation, such as radiation noise components in mammograms, are emphasized, so that the interpretation performance is rather lowered.
[0026]
Further, as disclosed in JP-B-60-192482, JP-A-2-120985, JP-T-3-502975, etc., the enhancement processing depending on the dispersion value of the image signal has a large density change locally. Since the image portion is strongly emphasized, undershoot and overshoot are relatively conspicuous in the vicinity thereof, and there is a problem that artifacts are likely to occur on the high density side particularly with respect to X-ray images.
[0027]
The present invention has been made in view of the above circumstances, and without emphasizing components unnecessary for image interpretation, such as noise components, only a specific image portion of interest is efficiently enhanced to suppress the occurrence of artifacts. The object is to provide an image processing method.
[0028]
[Means for Solving the Problems]
  In the image processing method of the present invention, a morphological operation using the multiple structural element Bi and the scale factor λ is performed on the original image signal Dorg representing the image, so that the image signal is spatially converted into the multiple structural element Bi. Image portion that fluctuates smallerRepresents the fluctuation amount of the image signal value ofExtract the morphological signal Dmor,
  A non-sharp mask signal Dus corresponding to an ultra-low spatial frequency of the original image signal Dorg is obtained;
  Using the function β (Dmor) based on the morphological signal Dmor and the function f (Dorg−Dus) based on the difference signal (Dorg−Dus) between the original image signal Dorg and the unsharp mask signal Dus, For the image signal Dorg,
[0029]
[Expression 1]

[0030]
Is applied to the original image signal Dorg of the image portion in accordance with the magnitude of the morphological signal Dmor.An image processing method, wherein the function β (D mor ) Is a monotonically increasing function and the morphological signal D mor Region C with a small value of 1 And the morphological signal D mor Function β (D mor ) Increase rate is the morphological signal D mor Is the function β (D mor ) Is smaller than the rate of increaseIt is characterized by this. The function β (Dmor) is a function for | Dmor | as shown in FIGS. 3 (a) and 3 (b).
[0031]
In addition, as the structural element B, for example, a vertically, horizontally symmetrical element such as a square, a rectangle, a circle, an ellipse, or a rhombus is desirable.
[0032]
Furthermore, as the morphological operation, various types represented by the following formulas (2) to (8) can be applied.
[0033]
[Expression 2]

[0034]
[Equation 3]

[0035]
[Expression 4]

[0036]
[Equation 5]

[0037]
[Formula 6]

[0038]
[Expression 7]

[0039]
[Equation 8]

[0040]
That is, by applying the morphological operation represented by the expression (2), an image in which the value of the original image signal Dorg is larger than the surrounding image portion and smaller than the multiple structural element Bi as the morphological signal Dmor. It is possible to extract a signal of a pixel constituting a portion (for example, a calcified shadow in an image signal having a high luminance and a high signal level), and to effectively enhance the image portion.
[0041]
In the above formulas (2) to (8),
[0042]
[Expression 14]

[0043]
Further, by applying the morphological operation represented by the expression (3), an image in which the value of the original image signal Dorg is smaller than the surrounding image portion and fluctuates smaller than the multiple structural element Bi as the morphological signal Dmor. It is possible to extract a signal of a pixel constituting a portion (for example, a calcified shadow in an image signal having a high density and a high signal level), and to effectively enhance the image portion.
[0044]
By applying the morphological operation represented by the equation (4), as the morphological signal Dmor, an image portion in which the value of the original image signal Dorg is larger than the surrounding image portion and smaller than the multiple structural element Bi, It is possible to extract a signal of a pixel constituting an edge portion where the luminance (density) changes rapidly, and it is possible to effectively enhance such an image portion.
[0045]
By applying the morphological operation represented by the equation (5), as the morphological signal Dmor, an image portion in which the value of the original image signal Dorg is smaller than the surrounding image portion and fluctuates smaller than the multiple structural element Bi, It is possible to extract a signal of a pixel constituting an edge portion where the luminance (density) changes rapidly, and it is possible to effectively enhance such an image portion.
[0046]
By applying the morphological operation represented by the equation (6), the density (luminance) in which the value of the original image signal Dorg fluctuates larger than the surrounding image portion and smaller than the multiple structural element Bi as the morphological signal Dmor. ) It is possible to extract a signal of a pixel constituting an image part having a large change (for example, a skeleton part of an image represented by the original image signal Dorg), and to effectively enhance such an image part (skeleton part). Can do. An example in which Expression (6) is specifically applied is shown in FIG. Λ (λ = 1, 2,..., N) of the difference signal between the erosion-processed image and the erosion-processed image of the erosion-processed image in the structural element B (with a circular structure of radius r) with respect to the original image X The union up to) times becomes the skeleton parts a and b.
[0047]
By applying the morphological operation represented by the equation (7), the density (luminance) in which the value of the original image signal Dorg fluctuates smaller than the surrounding image portion and smaller than the multiple structural element Bi as the morphological signal Dmor. ) It is possible to extract a signal of a pixel constituting an image part having a large change (for example, a skeleton part of an image represented by the original image signal Dorg), and to effectively enhance such an image part (skeleton part). Can do.
[0048]
The morphological operations represented by the equations (6) and (7) are generally referred to as skeleton processing, and according to this skeleton processing, particularly when applied to the image signal of the bone portion, only the skeleton elements are selectively and effectively used. Can be emphasized.
[0049]
In addition, when Formula (2)-(7) is applied as a morphological operation, it is good also as f (Dorg-Dus) = Dorg-Dus as function f (Dorg-Dus).
[0050]
By applying the morphological operation represented by the equation (8), it is possible to extract a signal of a pixel constituting an image portion having a large change in luminance (density) locally, and to effectively extract such an image portion. Emphasis processing can be performed.
[0051]
In addition, in order to suppress overshoot and undershoot when Equation (8) is applied as the morphological operation, the function f (Dorg−Dus) has a range in which Dorg is equal to or smaller than a predetermined size, or greater than a predetermined size. In the range, for example, as shown in FIG. 7, it is necessary to provide a function for suppressing the output.
[0052]
[Operation and effect of the invention]
  According to the image processing method of the present invention, the morphological operation using the multiple structural element Bi and the scale factor λ is performed on the original image signal Dorg representing the image, so that the image signal varies spatially less than the multiple structural element Bi. Image partRepresents the fluctuation amount of the image signal value ofThe morphological signal Dmor is extracted.
[0053]
On the other hand, by subtracting the very low spatial frequency component Dus from the original image signal Dorg by the calculation process of the second term of the equation (1), a relatively high frequency component (ultra low spatial frequency) of the original image signal Dorg is obtained. Can be extracted). The extracted relatively high frequency component includes radiation noise which is a so-called high frequency component.
[0054]
Here, as shown in Expression (1), each pixel of the entire image constitutes a specific image portion that varies spatially smaller than the multiple structural element Bi, such as a calcified shadow obtained by morphological calculation. Since the high-frequency component (Dorg-Dus) is emphasized by the enhancement coefficient β (Dmor) based on the signal Dmor depending on whether or not it is present, the high-frequency component (Dorg-Dus) includes unnecessary components such as quantum noise. However, when the pixel does not constitute an image portion such as a calcified shadow, the value of β (Dmor) for the pixel is small, and therefore the degree of enhancement for the pixel is small.
[0055]
On the other hand, when a pixel constitutes an image portion such as a calcified shadow, the value of β (Dmor) for the pixel is large, and therefore the degree of enhancement for the pixel is large.
[0056]
  Therefore, regardless of whether radiation noise is included in the high-frequency component (Dorg-Dus) of the image, it is specified by the function β (Dmor) depending on whether it is a specific image portion such as a calcified shadow. ofOriginal image signal D of the image part org And the morphological signal D mor According to the size ofEmphasis processingApplybe able to.
[0057]
  Also,Morphological signal D mor According to the size ofSince a specific image portion is strongly emphasized, undershoot and overshoot can be suppressed, and occurrence of artifacts can be reduced. Furthermore, since the process of calculating the maximum value or the minimum value is performed instead of the process of calculating the variance value of the image signal, the calculation time required for the calculation process can be shortened.
[0058]
Hereinafter, Equation (3), which is an example of the morphological operation, will be specifically described.
[0059]
That is, according to the morphological calculation for the density value Dorg, which is an image signal having a high density and high signal level, for example, image data having a distribution of density values Dorg as shown by the solid line in FIG. The density value D of a certain pixel of interest is obtained by performing an operation (Minkovsky sum) of Dorg [+] B with the linear structural element B of three pixels as shown in (2)._iIs the maximum value D among the three pixels (determined by the structural element B) adjacent to each other with the target pixel as the center_{i + 1}D adopting_iConverted to ′. By performing this calculation for all pixels, the image data is converted into image data indicated by a broken line in FIG.
[0060]
Next, considering the Minkowski difference (Dorg [+] B) [−] B by the structural element B of the density value (Dorg [+] B) obtained by the calculation of the Minkowski sum, the broken line in FIG. The density value D of the target pixel indicated by_i′ Is the minimum value D among the three pixels adjacent to each other with the pixel of interest at the center_i-1D adopting '_i″ (= D_i). By performing this calculation for all the pixels, the image data is converted into the image data indicated by the one-dot chain line having the distribution of the density value Dorg ″. The image data indicated by the one-dot chain line is the original solid line. For the original image data, the image portion of the signal value change finer than that of the structural element B disappears, and the image portion of the signal value change larger than the structural element B retains the original state before the calculation. That is, the above process (closing process) is a process of smoothing the image density distribution from the high density side.
[0061]
Thus, the value Dmor obtained by subtracting the value (Dorg [+] B) [−] B obtained by the closing process from the original image signal Dorg is a change in the fine signal value erased by the closing process. Represents the image part.
[0062]
Here, the image signal originally has a position (x, y) which is a two-dimensional element and a signal value f (x, y) which is a third dimension element. However, in the above description, it is easy to understand. Therefore, the one-dimensional image signal distribution curve that appears in a predetermined section of the image developed two-dimensionally has been described.
[0063]
Therefore, the image processing method of the present invention is an application of the above description to a two-dimensional image, and the multiple structural element Bi shown in the equation (1) can perform a morphological operation on such a cross section on a two-dimensional surface. In the case of enlarging application, this means a set of i structural elements B prepared as structural elements B having different directions in the two-dimensional plane.
[0064]
Further, as a result of performing the closing process on all of these multiple structural elements Bi, an image portion whose extension direction coincides with any of the multiple structural elements Bi and changes more greatly than the size thereof is expressed by Equation (3). Since the value of the second term min {(Dorg [+] λBi) [−] λBi} is Dorg itself, the value of Dmor is zero, and no emphasis processing is performed on that portion.
[0065]
The scale factor λ means the number of times the Minkowski sum calculation and Minkowski difference calculation are performed, and the degree of smoothing increases as the number increases.
[0066]
FIG. 9 shows a comparison between the enhancement process using the morphological operation of the present invention and the enhancement process by the conventional blur mask process.
[0067]
【Example】
Hereinafter, a computer-aided image diagnostic apparatus using an image processing method of the present invention will be described with reference to the drawings.
[0068]
FIG. 1 is a block diagram showing a schematic configuration of a computer-aided image diagnostic apparatus according to the present embodiment, and FIG. 2 is a view showing a breast radiation image (mammogram) used for image diagnosis by this computer-aided image diagnostic apparatus. The computer-aided image diagnosis apparatus shown in FIG. 1 includes an entire image memory 10 that stores image data (entire image data) S that is a set of density values Dorg of each pixel and represents an entire radiation image (overall image) P of a mammogram. The whole image display means 30 such as a CRT for displaying the whole image P based on the image data S or the whole image data S once stored in the whole image memory 10, and the whole image data stored in the whole image memory 10 Based on S, an abnormal shadow P in the entire image P₁The abnormal shadow detecting means 40 for detecting the abnormal shadow P by the abnormal shadow detecting means 40₁Determining means 50 for determining whether or not an abnormal shadow P has been detected.₁Of the entire image data S stored in the entire image memory 10 when it is determined by the determining means 50 that₁Image P of a local region including₂Image data (local image data) S representing₂Local region extracting means 60 for extracting the local image data S extracted by the local region extracting means 60₂Image P of the local region based on₂Abnormal shadow P₁However, image data (abnormal shadow image data) S indicating an abnormal shadow so that the interpretation performance is improved as compared with the entire image P displayed on the entire image display means 30.₁Local image enhancement means 70 for performing image enhancement processing on the image, and local image data S subjected to this image enhancement processing₂Based on the local region image P₂Is provided with local image display means 90 such as a CRT.
[0069]
The abnormal shadow is a calcified shadow, and the abnormal shadow detection means 40 is a morphological filter for performing a morphological operation. For a pixel indicating a calcified shadow, the calcified shadow shown by the expression (3) for the pixel is shown. Is output as a signal Dmor indicating whether or not it is a pixel constituting the.
[0070]
However, the target image is not limited to the medical image as in the present embodiment, and may be an industrial product inspection image or the like. For example, for an X-ray image of a cast product having a nest inside, the abnormal shadow may be a shadow of the nest.
[0071]
Moreover, the said local area shall mean the area | region of this calcification shadow vicinity including the calcification shadow which is an abnormal shadow.
[0072]
In the description of the embodiments, the image data of each pixel constituting the image is expressed as a density signal value Dorg, and the image data of an area formed by a set of these pixels is expressed as image data S. The density value Dorg is a signal value of high density and high signal level.
[0073]
Here, the morphological filter 40 refers to the algorithm for detection processing of the specific image portion described above. However, the morphological filter 40 in the present embodiment does not indicate the algorithm itself, but the calcification shadow by this algorithm. Means for performing the detection process (process represented by the expression (3)).
[0074]
Further, the local image enhancement means 70 is described in detail with respect to the local image data S.₂A mask (hereinafter simply referred to as a blur mask) signal Dus composed of a pixel matrix of N columns × N rows (N is an odd number such as “5”, for example) centering on the pixel (density value Dorg). Means 71 for calculating a high frequency component by subtracting the blur mask signal value Dus from the density value Dorg (Dorg−Dus),
Dus = (ΣDorg) / N²                                (Ten)
(However, ΣDorg is the sum of the image signals of each pixel in the blur mask)
A conversion table 72 for converting the output Dmor for the pixel indicating the calcified shadow extracted by the morphological filter 40 into a monotonically increasing β (Dmor) represented in FIG.
Multiplying this output β (Dmor) and the above-mentioned high frequency component (Dorg-Dus), a calcified shadow emphasizing means 73 for performing stronger frequency emphasis on the calcified shadow having a lower density value than the surroundings. This is a configuration provided.
[0075]
The operation of the computer-aided image diagnostic apparatus according to this embodiment will be described below.
[0076]
Whole image data S representing a whole image P including a breast having a calcified portion therein is input to the whole image memory 10 from a magneto-optical disk, an image reading device or the like. The whole image data S is also directly inputted to the whole image display means 30 (path A in FIG. 1), or inputted to the whole image display means 30 as being temporarily stored in the whole image memory 10 ( The entire image display means 30 displays the entire image P based on the entire image data S (path B in FIG. 1).
[0077]
On the other hand, the entire image data S stored in the entire image memory 10 is also input to the morphological filter 40. The morphological filter 40 has a calcified shadow P according to equation (3).₁Image data (hereinafter referred to as calcified image data) S₁Is detected.
[0078]
That is, the distribution of the concentration value Dorg in the cross section taken along the line II of the mammogram shown in FIG. 2 (1) is as shown in FIG.₁Since the distribution of density values in the surrounding area changes more finely than the size of the multiple structural element Bi, the value of Dmor in equation (3) has a predetermined value other than zero and is smoothed by the closing process. The On the other hand, an image P of a blood vessel or a mammary gland that is larger than the structural element B_ThreeSince the distribution of density values is larger than the size of the multi-structure element Bi, the value of Dmor becomes zero and is not smoothed by the closing process.
[0079]
As a result, the morphological filter 40 causes the microcalcification shadow P₁Image data S indicating₁Pixels (positions) are identified. The determination means 50 uses the morphological filter 40 to make this microcalcification shadow P₁Microcalcification image data S indicating₁Is detected, and the microcalcification image data S₁Position data (hereinafter referred to as calcified pixel position data) D for specifying the pixel position of₁, And the fluctuation value Dmor of the density value of the microcalcification shadow extracted by the morphological filter 40 is input to the local region extraction means 60.
[0080]
The judging means 50 uses the morphological filter 40 to make this calcified shadow P₁When it is determined that the calcified image data indicating is not detected, the calcified image data S₁Calcified pixel position data D for specifying the pixel position of₁The process ends without outputting.
[0081]
On the other hand, if it is determined that the calcified image data has been detected, the local image extracting unit 60 is also input with the entire image data S stored in the entire image memory 10, and the local region extracting unit 60 receives the input entire image data. Among S, calcified pixel position data D₁Calcified image data S based on₁A neighboring pixel including the pixel (local region as a set of these pixels) is specified according to a preset processing procedure, and then the image P of the local region is specified.₂Image data S representing₂To extract.
[0082]
Extracted local image data S₂The signal Dmor is input to the local image enhancement means 70.
[0083]
Local image data S input to the local image enhancement means 70₂For each pixel (density value Dorg) that constitutes, a blur mask signal Dus is first calculated by means 71 for calculating a high-frequency component, and then a high-frequency component (Dorg-Dus) is calculated. Next, the input Dmor from the morphological filter 40 is converted into β (Dmor) by the conversion table 72. This conversion table 72 is a monotonically increasing function as shown in FIG. That is, when the signal Dmor takes a large value, it indicates that the pixel corresponds to the calcified shadow. Therefore, the output β (Dmor) of the conversion table 72 outputs a large value when the pixel constitutes a calcified shadow.
[0084]
Further, according to the conversion table 72, the output β (Dmor) is suppressed to be low in the region C1 having a small Dmor, and therefore high-frequency radiation noise detected in the region C1 having a small Dmor can be reduced. That is, radiation noise is actually superimposed on the density value distribution curve shown in FIG. 2 (2) as shown in the enlarged view of FIG. 2 (3). The radiation noise is smoothed as indicated by the broken line in FIG. Therefore, although the value of Dmor varies very finely, the variation amount itself is small compared to the variation Dmor caused by the microcalcification shadow, and therefore by appropriately setting the boundary value between the regions C1 and C2 in advance, This high frequency noise can be prevented from being emphasized.
[0085]
On the other hand, in the region C3, the change in the output β (Dmor) is suppressed with respect to the change in Dmor, but this prevents an excessive enhancement process from being performed on an image portion that already has a certain degree of contrast. Because. This is because, if excessive emphasis processing is performed, the contrast of the image portion other than the image portion is relatively lowered, so that the interpretation performance is lowered.
[0086]
The calcified shadow enhancement means 73 is a product β (Dmor) × (Dorg−Dus) of the output β (Dmor) from the conversion table 72 and the high frequency component (Dorg−Dus) which is the output from the means 71 for calculating the high frequency component. ) Is calculated, and the frequency emphasis processing shown in Expression (1) is performed by adding the density value Dorg of the original image to the product (in this embodiment, f (Dorg−Dus) in Expression (1) is changed to f (Dorg− Dus) = Dorg−Dus).
[0087]
According to this frequency enhancement process, a high frequency component (Dorg−Dus) is obtained with an enhancement coefficient β (Dmor) based on a signal Dmor corresponding to whether or not the pixel is a calcified shadow obtained by the morphological filter 40. For emphasis, even if this high-frequency component (Dorg-Dus) includes, for example, quantum noise or the like, the pixel does not constitute an image portion such as a calcified shadow (for example, a shadow such as a blood vessel). Since the value of β (Dmor) for the pixel is small, the degree of enhancement is small. On the other hand, when a pixel constitutes an image portion such as a calcified shadow, the value of β (Dmor) for the pixel is large, and therefore the degree of enhancement is large.
[0088]
Therefore, regardless of whether radiation noise is included in the high-frequency component (Dorg-Dus) of the image, it is specified by the function β (Dmor) depending on whether it is a specific image portion such as a calcified shadow. Can be selectively enhanced.
[0089]
The local image display means 90 uses the local image enhancement means 70 to display the local region image P.₂Calcified shadow P₁Is displayed as an enhanced image.
[0090]
Thus, of the entire image, the calcified shadow P₁Therefore, the image interpreter can concentrate the observation consciousness and the diagnostic consciousness on the displayed local region image, and the diagnostic performance can be improved.
[0091]
In addition, the entire image display means 30 may also serve as the local image display means 90. Even in this case, the calcified shadow P of the displayed entire image P may be used.₁Therefore, overshoot and undershoot are suppressed, and artifacts due to this are reduced, so that a reproduced image with improved diagnostic performance can be obtained.
[0092]
Although the image processing method of the present embodiment has been described with respect to the example of the morphological operation shown by the equation (3), the image processing method of the present invention is not limited to this, and the equations (2) and (4) to (8). The emphasis process using any of the morphological operations shown in FIG.
[0093]
By the way, the shadow similar to the micro calcification shadow may be detected only by the detection process of the micro calcification shadow by the expressions (2) to (8) of the morphological filter 40. That is, a non-calcified shadow image (hereinafter referred to as a non-calcified shadow) having the same size as the calcified shadow, in which the value of Dmor in equations (2) to (8) is not zero, is also detected. There is a case. If the enhancement process is performed for such a non-calcified shadow, there is a possibility that an appropriate diagnosis may be hindered.
[0094]
Therefore, in order to prevent such non-calcified shadows from being detected together with the calcified shadows and more accurately detect only the calcified shadows, the following determination function is added to the morphological filter 40. Also good.
[0095]
That is, the differential operation based on the morphological operation shown in Expression (19) is performed, and the greater the value of Mgrad, the greater the possibility of a calcified shadow. Therefore, instead of Expressions (2) to (8), The logical operation shown in (20) is performed.
[0096]
[Expression 15]

[0097]
When the value of Dmor obtained by this equation (20) is zero, the pixel is a non-calcified shadow, so the emphasis processing by equation (1) is not performed, and when the value of Dmor is other than zero, Since the pixel is a calcified shadow, the enhancement processing according to the equation (1) is performed. Note that T1 and T2 in equation (20) are experimentally set threshold values.
[0098]
In addition to the determination based on the equations (19) and (20), it is also possible to determine the discrimination between the calcified shadow and the non-calcified shadow by combining the multiscale opening process and the closing process.
[0099]
Specifically, the value of Dmor may be set by the following expressions (21) to (23).
[0100]
[Expression 16]

[0101]
Note that T in the equation (23) is an experimentally set threshold value.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a computer-aided image diagnostic apparatus.
FIG. 2 is a view showing a radiation image (mammogram) of a breast used for image diagnosis by the computer-aided image diagnosis apparatus shown in FIG.
FIG. 3 is a graph of a function representing a conversion table.
FIG. 4 is a diagram for explaining the basic operation of a morphological operation
FIG. 5 is a diagram showing multiple structural elements in a morphological filter.
FIG. 6 is an explanatory diagram showing skeleton processing.
FIG. 7 is a graph showing a function f (Dorg−Dus) for suppressing overshoot and undershoot.
FIG. 8 is a concentration distribution diagram for specifically explaining processing by morphological calculation.
FIG. 9 is a diagram comparing conventional blur mask processing and image processing of the present invention.
[Explanation of symbols]
10 Whole image memory
30 Whole image display means
40 Abnormal shadow detection means
50 Judgment means
60 Local region extraction means
70 Local image enhancement means
71 High-frequency component calculation means
72 Conversion table
73 Calcified shadow enhancement means
90 Local image display means
Dorg original density value

Claims

画像を表すオリジナルの画像信号Ｄorg に対して、多重構造要素Ｂi およびスケール係数λを用いたモーフォロジー演算を施すことにより、前記画像信号が空間的に前記多重構造要素Ｂi より小さく変動する画像部分の画像信号値の変動量を表すモーフォロジー信号Ｄmor を抽出し、
前記オリジナルの画像信号Ｄorg の、超低空間周波数に対応する非鮮鋭マスク信号Ｄusを求め、
前記モーフォロジー信号Ｄmor に基づく関数β（Ｄmor ）および前記オリジナルの画像信号Ｄorg と前記非鮮鋭マスク信号Ｄusとの差信号（Ｄorg −Ｄus）に基づく関数ｆ（Ｄorg −Ｄus）を用いて、前記オリジナルの画像信号Ｄorg に対して、

なる演算を行って、前記画像部分のオリジナルの画像信号Ｄorgに、前記モーフォロジー信号Ｄmorの大きさに応じた強調処理を施す画像処理方法であって、
前記関数β（Ｄ mor ）が、単調増加関数であり、かつ、前記モーフォロジー信号Ｄ mor の値が小さい領域Ｃ 1 および前記モーフォロジー信号Ｄ mor の値が大きい領域Ｃ３における関数β（Ｄ mor ）の増加率が、前記モーフォロジー信号Ｄ mor の値が中間の領域Ｃ２における関数β（Ｄ mor ）の増加率より小さい関数であることを特徴とする画像処理方法。By applying a morphological operation using the multiple structural element Bi and the scale factor λ to the original image signal Dorg representing the image, an image of an image portion where the image signal spatially varies smaller than the multiple structural element Bi Extract the morphological signal Dmor representing the fluctuation amount of the signal value,
Obtaining an unsharp mask signal Dus corresponding to an ultra-low spatial frequency of the original image signal Dorg;
Using the function β (Dmor) based on the morphological signal Dmor and the function f (Dorg−Dus) based on the difference signal (Dorg−Dus) between the original image signal Dorg and the unsharp mask signal Dus, For the image signal Dorg,

An image processing method for performing an enhancement process according to the magnitude of the morphological signal Dmor on the original image signal Dorg of the image portion ,
Wherein the function beta is (D mor), is a monotonically increasing function, and the increase of the function beta (D mor) in said morphology signal D mor value is less region C 1 and the morphology signal D region C3 value is large mor An image processing method characterized in that the rate is a function in which the value of the morphological signal D mor is smaller than the increase rate of the function β (D mor ) in the intermediate region C2 .

前記モーフォロジー演算が、下記式（２）で示されるものであり、前記画像部分が、該画像部分の周囲の画像部分よりも前記オリジナルの画像信号Ｄorg の値が大きい部分であることを特徴とする請求項１記載の画像処理方法。

The morphological operation is expressed by the following formula (2), and the image portion is a portion where the value of the original image signal Dorg is larger than an image portion around the image portion. The image processing method according to claim 1.

前記モーフォロジー演算が、下記式（３）で示されるものであり、前記画像部分が、該画像部分の周囲の画像部分よりも前記オリジナルの画像信号Ｄorg の値が小さい部分であることを特徴とする請求項１記載の画像処理方法。

The morphological operation is expressed by the following formula (3), and the image portion is a portion where the value of the original image signal Dorg is smaller than an image portion around the image portion. The image processing method according to claim 1.

前記モーフォロジー演算が、下記式（４）で示されるものであり、前記画像部分が、該画像部分の周囲の画像部分よりも前記オリジナルの画像信号Ｄorg の値が大きい部分であることを特徴とする請求項１記載の画像処理方法。

The morphological operation is expressed by the following formula (4), and the image portion is a portion where the value of the original image signal Dorg is larger than the image portion around the image portion. The image processing method according to claim 1.

前記モーフォロジー演算が、下記式（５）で示されるものであり、前記画像部分が、該画像部分の周囲の画像部分よりも前記オリジナルの画像信号Ｄorg の値が小さい部分であることを特徴とする請求項１記載の画像処理方法。

The morphological operation is expressed by the following equation (5), and the image portion is a portion where the value of the original image signal Dorg is smaller than an image portion around the image portion. The image processing method according to claim 1.

前記モーフォロジー演算が、下記式（６）で示されるものであり、前記画像部分が、該画像部分の周囲の画像部分よりも前記オリジナルの画像信号Ｄorg の値が大きい部分であることを特徴とする請求項１記載の画像処理方法。

The morphological operation is expressed by the following formula (6), and the image portion is a portion where the value of the original image signal Dorg is larger than the image portion around the image portion. The image processing method according to claim 1.

前記モーフォロジー演算が、下記式（７）で示されるものであり、前記画像部分が、該画像部分の周囲の画像部分よりも前記オリジナルの画像信号Ｄorg の値が小さい部分であることを特徴とする請求項１記載の画像処理方法。

The morphological operation is expressed by the following equation (7), and the image portion is a portion where the value of the original image signal Dorg is smaller than an image portion around the image portion. The image processing method according to claim 1.

前記モーフォロジー演算が、下記式（８）で示されるものであることを特徴とする請求項１記載の画像処理方法。

The image processing method according to claim 1, wherein the morphological operation is expressed by the following formula (8).