JP2008194239A

JP2008194239A - 画像処理装置及びその方法

Info

Publication number: JP2008194239A
Application number: JP2007032755A
Authority: JP
Inventors: Satoyuki Takeguchi; 智行武口; Masahide Nishiura; 正英西浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-02-13
Filing date: 2007-02-13
Publication date: 2008-08-28
Also published as: US20080192998A1

Abstract

【課題】臓器にある空洞部の境界推定を可能とする画像処理装置を提供する。
【解決手段】空洞部を有する臓器を撮像した断面画像を入力する画像入力部１１０と、断面画像に対して２つ以上のスケールを変えた空間フィルタを用いて２つ以上の出力画像を得るフィルタ処理部１２０と、出力画像を用いて空洞部の中心位置を推定する物体中心推定部１３０と、出力画像と推定した中心位置とを利用して空洞部の壁面位置の初期境界を推定する初期境界推定部１４０と、初期境界を初期値として境界位置を決定する境界決定部１５０とを備える。
【選択図】図１

Description

本発明は、内部に空洞を有する臓器を撮像した画像からその空洞の輪郭を自動的に推定する画像処理装置及びその方法に関する。

従来の画像処理装置には、特許文献１に開示されているように、関心物体の輪郭を得るために、関心物体を含む関心領域（ＲＯＩ）を指定した上で、画像中の関心領域に対して２値化処理を施して輪郭を得る方法があった。しかし、関心領域は手動で指定しなければならないという問題点があった。

また、特許文献２に開示されているように、心筋の内壁境界に基づいて、動的輪郭モデルによって心筋の外壁境界を推定するものがあった。しかし、内壁境界については何らかの方法で求めなくてはならないという問題点があった。

さらに、特許文献３に開示されているように、診断画像の中心点を求め、この中心点に楕円アークモデルをあてはめ、曲線境界を求める方法があった。しかし、診断画像を直接用いて検出するため、その中心点などが検出し難いという問題点があった。
特開平８‐３３６５０３公報特開平１０‐２２９９７９公報特許第３１９４７４１号公報

上述したように、従来技術には、心筋の内外壁面境界を推定するために、何らかの初期値が必要であったり、診断装置の作業従事者になんからの操作を求める必要があったり、診断画像を直接用いるため検出し難いという問題点があった。

そこで本発明は、上記問題点を解決するためになされたものであって、内部に空洞を有する臓器を撮像した画像からその空洞の輪郭を自動的に推定する画像処理装置及びその方法を提供することを目的とする。

本発明は、空洞部を有する臓器を撮像した画像を入力する画像入力部と、前記空洞部に対応する閉領域の画素情報とその閉領域の周囲領域の画素情報を比較して、前記閉領域の中心位置の画素情報を強調して出力する空間フィルタを、前記入力画像に施して出力画像を取得するフィルタ処理部と、前記出力画像を用いて前記空洞部の中心位置を推定する物体中心推定部と、前記出力画像と前記推定した中心位置とを用いて、前記空洞部の壁面位置である境界位置を決定する境界決定部と、を備える画像処理装置である。

本発明によれば、手動入力による初期値が必要ない臓器の空洞部の内外壁面推定ができる。

以下、本発明の実施形態に係わる画像処理装置について図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態に係わる画像処理装置について図１から図５に基づいて説明する。本実施形態では、対象臓器が心臓である場合を例にし、空洞部である左心室を関心物体とした左心室心筋内外の境界を推定する場合について述べる。

（１）画像処理装置の構成
図１は、本実施形態に係わる画像処理装置を示すブロック図である。

画像処理装置は、心臓の断面画像を取得する画像入力部１１０と、断面画像に対して空間フィルタを施して出力画像を得るフィルタ処理部１２０と、出力画像から物体中心を推定する物体中心推定部１３０と、推定された物体中心と出力画像を用いて空洞部の初期境界を推定する初期境界推定部１４０と、得られた初期境界を初期値として最終的な境界を定める境界決定部１５０とを備えている。

（２）画像処理装置の動作
次に図１及び図２を用いて、本実施形態に係わる画像処理装置の動作について説明する。なお、図２は、本実施形態に係わる画像処理装置の動作を示すフローチャートである。

（２−１）画像入力部１１０
画像入力部１１０では、空洞部を含む断面画像を取得する（図２のステップＡ１参照）。

例えばここでは、超音波診断装置を用いて心臓の２次元断面像を取得する。プローブの位置や角度により得られる断面像が異なるが、ここでは、非特許文献４（日本医師会編、"心エコーのABC"、pp.6-7、中山書店、1995）にあるような、被験者を半左側臥位に寝かせ、胸骨左縁第３、４肋間からアプローチした際に得られる乳頭筋レベルでの胸骨左縁短軸断面像を例として説明する。

乳頭筋レベルでの左心室断面像の模式図を図３に示す。断面画像内には空洞部である左心室５１０以外に、右心室５２０、心筋５３０が撮像されている。

（２−２）フィルタ処理部１２０
次に、フィルタ処理部１２０では、断面画像に対して空間フィルタを施す。

図３に示すように、短軸像では左心室領域内部が比較的輝度が低くほぼ円形状として撮像され、心筋部分は比較的輝度が高くなる。そこでフィルタ処理部１２０では、２つの領域の輝度を比較することができる空間フィルタとして、非特許文献１（Tony Lindeberg, "Feature Detection with Automatic Scale Selection", International Journal of Computer Vision, vol.30, no.2, pp.79-116, 1998 ）に記載のラプラシアンガウシアンフィルタ（Laplacian Of Gaussian : LOG）を用いる。ラプラシアンガウシアンフィルタの式を式（１）に示す。

ここでＩ（ｘ，ｙ）は入力断面画像、Ｇ（σ）は２次元ガウシアンフィルタ、Ｌは２次元ラプラシアンフィルタ、＊は畳み込み積分を示す記号、Ｆ（ｘ，ｙ）は出力画像であり、σはガウシアンフィルタのボケ量を表すパラメータである。

２次元のラプラシアンガウシアンフィルタは図４に示すような形状のフィルタであり、対象画素を中心とする領域と、さらにその周辺部の２つの領域の重みつき輝度値の差で計算される。

パラメータσは空間フィルタのスケールを調整するスケールパラメータであり、σによって比較する領域の大きさを調節することができる。そして、ラプラシアンガウシアンフィルタの出力の絶対値が大きくなるのは、２つの領域の差が大きい場合である。すなわち、適切なスケールパラメータσが設定された場合は、左心室中心部と周縁心筋部が比較されて出力が大きくなる。事前知識により、心臓の大きさや心筋の厚さなどが推定可能な場合は、左心室中心を推定するのに最適な大きさであるスケールパラメータσを予め決定する（ステップＡ２参照）。しかし、スケールパラメータσを一意に決めることができない場合は、複数のσを用意してもよい。

定められたスケールパラメータσで入力断面画像に対してラプラシアンガウシアンフィルタにより処理された出力画像を得る（ステップＡ３参照）。複数のスケールパラメータσを設定している場合は、各スケールパラメータによって複数の出力画像をそれぞれ得る。

なお、空間フィルタは２つの領域の輝度の比較結果を出力できるようなものであれば良く、例えば、ラプラシアンガウシアンフィルタの代わりに、非特許文献２（David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol.60, no.2, pp.91-110, 2004）に記載の差分ガウシアンフィルタ（Difference Of Gaussian : DOG）や、特許第３２７９９１３号公報に記載の分離度フィルタなどを用いても、同様の効果が得られる。

（２−３）物体中心推定部１３０
次に、物体中心推定部１３０では、得られた出力画像に基づいて関心物体である空洞部の中心位置を推定する。

左心室の中心付近は輝度が低く、周辺部の心筋部分は輝度が高いため、適切なスケールパラメータσを与えた際のラプラシアンガウシアンフィルタによる出力は左心室領域の中心付近で大きくなる。よってここでは、出力画像の各画素の中から、８近傍を比較して画素値が最大となる位置を空洞部の中心候補として取得する（ステップＡ４参照）。複数の出力画像がある場合は、各出力画像で空洞部の中心候補をそれぞれ取得する。

得られた空洞部の中心候補の中から空洞部の中心を決定する（ステップＡ４参照）。ここでは、得られた空洞部の中心候補における出力画像の値と、出力画像の中心位置からの距離の２つの値の加重和からなる値が最大となる候補点を中心位置とする。加重和の重み係数は事前の実験から適当な値を求めておく。なお、出力画像の中心位置を加重和に用いるのは、医師が心臓の左心室を撮影する場合には、通常、画像の中心と左心室の中心位置を一致させるか。または、一致させようとするからである。これにより画像の端部近傍の中心候補を除外することができる。

（２−４）初期境界推定部１４０
次に、初期境界推定部１４０では、決定された中心位置とフィルタ処理された出力画像を用いて、左心室心筋の内外壁面の境界の初期値を推定する。式（２）に内壁決定時のエネルギー関数を、式（３）に外壁決定時のエネルギー関数を示す。

ここで、ｃは推定された物体中心、ｒはｃを中心とした円の半径、Ｆ_ｍｉｎは出力画像の最小値を示す。

図５に示すように、出力画像を利用して、推定された物体中心を中心とする半径ｒの円形部の線積分から計算されるエネルギーを定義し、定義された内壁、外壁のエネルギーが最小となるｒを決定する（ステップＡ６参照）。

ここで、出力画像が複数ある場合は、全ての出力画像の加重和をとった平均出力画像を用いてエネルギーを計算してもよいし、中心位置が選択された出力画像を代表として用いてもよい。

（２−５）境界決定部１５０
最後に、境界決定部１５０では、初期境界位置を用いて最終的な境界位置を決定する（ステップＡ７参照）。

ここでは、非特許文献３（M. Kass, A. Witkin and D. Terzopoulos, "Snakes : Active Contour Models", International Journal of Computer Vision, 1, pp.321-331, 1988）に記載の動的輪郭モデルを用いる。

動的輪郭モデルによる輪郭抽出結果は初期値に大きく左右されるが、本実施形態で得られる輪郭位置を初期境界として用いることにより、安定した境界抽出が可能となる。また、ここで示した動的輪郭モデル以外にも既存の手法を利用することができ、例えば、特許第３４６８８６９号公報に記載の輪郭抽出方法を適用することもできる。

（３）効果
このように第１の実施形態に係わる画像処理装置によれば、入力画像をフィルタ処理して得られる出力画像から空洞部の中心位置を推定し、中心推定に利用した出力画像を用いて初期輪郭推定に必要なエネルギー関数を定義し、得られた中心位置を中心とした円形状を変形させて初期境界を取得し、得られた初期境界を初期値とした動的輪郭モデルを適用することによって、最終的な境界抽出を自動的に行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係わる画像処理装置について図６と図７に基づいて説明する。

（１）本実施形態の特徴
第１の実施形態では、入力画像をフィルタ処理した１つ以上の出力画像から物体中心候補を取得した。この方法では、フィルタ処理におけるスケールパラメータσが複数設定された場合、出力画像が複数得られ、各出力画像から物体中心候補を取得するため、候補点数が増加する。候補点数が多いほど、正しい中心位置を選択することが難しくなる。また初期境界推定には、適切なスケールパラメータσによる出力画像を用いる方が境界推定を安定に行える。よって、中心位置を決定する前に適切なスケールパラメータσを判断することによって、物体中心推定の失敗を減らし、初期境界推定の精度を向上させることができる。

そこで、図６のブロック図に示すように、本実施形態の画像処理装置は、第１の実施形態における物体中心推定部１３０に代わり、フィルタ処理された出力画像から物体中心候補を取得する物体中心候補取得部１３１と、出力画像と中心候補から中心推定に最適な出力画像を選択するスケール評価部１３２と、スケール評価部１３２で最適とされた出力画像から得られて中心候補から中心を選択する物体中心決定部１３３とを備えることを特徴とする。

（２）画像処理装置の動作
次に、図６及び図７を用いて、本実施形態に係わる画像処理装置の動作について説明する。なお、図７は、本実施形態に係わる画像処理装置の動作を示すフローチャートである。

画像入力部１１０では、空洞部を含む画像を取得する。ここでは第１の実施形態と同様に、乳頭筋レベルでの胸骨左縁短軸断面像を例として説明する（図７のステップＡ１参照）。

次に、フィルタ処理部１２０では、入力画像に対して空間フィルタを施す。空間フィルタとしてラプラシアンガウシアンフィルタを用いる。なお、スケールパラメータσを事前の実験により適当な初期値に定める（ステップＡ２参照）。

次に、初期値、または、変化したスケールパラメータσで入力画像に対してラプラシアンガウシアンフィルタにより処理された出力画像を得る（ステップＡ３参照）。

次に、物体中心候補取得部１３１では、得られた出力画像に基づいて物体の中心位置を推定する。出力画像の各画素の中から、８近傍を比較して画素値が最大となる位置を中心候補として取得する（ステップＡ４参照）。

次に、スケール評価部１３２では、物体中心候補取得部１３１で得られた中心候補の数に基づきスケールパラメータσが適切であるかを判断する。

これは、撮影する空洞部が左心室であって、画像中心付近には低輝度の画素の大きな塊が描写され、左心室の外側に同様の低輝度の塊がごく小数（例えば、左心房や撮影範囲外の画像の端の部分）であることを仮定している。

このような画像の大局的な構造を見るためには、ある程度大きなスケールパラメータσを与えると良いため、ステップＡ２で与えたスケールパラメータσが条件を満たすまで大きくしていく。

具体的には、中心候補の点数が一定数以上であれば、スケールパラメータσが小さすぎると判断し、ステップＢ２に移る。中心候補の点数が一定数以下であれば、大局的な構造が得られたと判断し、ステップＡ５に移る。ここで中心候補数に対する閾値は事前の実験から適当に値に定める（ステップＢ１参照）。

次に、ステップＢ２に移った場合は、スケールパラメータσを一定倍してステップＡ３に戻る。スケール評価部１３２では、スケールパラメータσが適切であると判断されるまで、スケールパラメータの変更と中心候補の抽出を繰り返す（ステップＢ２参照）。

次に、物体中心決定部１３３では、スケール評価部１３２で適切であると判断されたスケールパラメータσによって得られた出力画像より取得された中心候補の中から中心位置を決定する。その方法は、得られた中心候補における出力画像の値と、出力画像の中心からの距離の２つの値の加重和からなる値が最大となる候補点を物体中心とする。加重和の重み係数は事前の実験から適当な値を求めておく（ステップＡ５参照）。

次に、初期境界推定部１４０では、スケール評価部１３２で最適と判断された出力画像と物体中心決定部１３３で得た物体中心から、第１の実施形態と同様に初期境界位置を推定する（ステップＡ６参照）。

最後に、境界決定部１５０では、第１の実施形態と同様に境界位置を決定する（ステップＡ７参照）。

（３）効果
このように第２の実施形態に係わる画像処理装置によれば、入力画像に対するフィルタ処理のスケールパラメータを適切な値に定めることができる。

また、定めたスケールパラメータの空間フィルタより出力画像を取得し、取得した出力画像から空洞部の中心位置を推定し、中心推定に利用した出力画像を用いて初期輪郭推定に必要なエネルギー関数を定義して初期境界を取得し、得られた初期境界を初期値とした動的輪郭モデルを適用することによって、最終的な境界抽出を自動的に行うことができる。

（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

（１）変更例１
第１の実施形態では、心臓の左心室短軸断面像を入力とする場合について述べたが、例えば心尖部四腔断面像において左心室を対象とする場合は、フィルタ処理部１２０や物体中心推定部１３０のパラメータを適宜変更し、初期境界推定部１４０で当てはめたモデル形状を円形から楕円形や、任意の曲線に変更することで本発明を適用できる。

（２）変更例２
第１の実施形態では、２次元画像である断面像を入力画像とする方法について述べたが、入力が３次元画像の場合は、フィルタ処理部１２０で３次元の空間フィルタを用い、物体中心推定部１３０のパラメータを適宜変更し、初期境界推定部１４０で当てはめたモデル形状を３次元曲面とすることで本実施形態に適用できる。

（３）変更例３
上記各実施形態では、臓器として心臓で説明したが、これに限らず空洞部を有する臓器であればよく、例えば、血管、胃、子宮などでもよい。

本発明の第１の実施形態に係わる画像処理装置の構成を示すブロック図である。本発明の第１の実施形態の動作を示すフローチャートである。超音波診断装置で得られる心臓の胸骨左縁短軸断面像の模式図である。ラプラシアンガウシアンフィルタの形状を表す図である。初期輪郭として当てはめるモデル形状を表す図と推定に用いるエネルギー関数である。本発明の第２の実施形態に係わる画像処理装置の構成を示すブロック図である。第２の実施形態の動作を示すフローチャートである。

符号の説明

１１０画像入力部
１２０フィルタ処理部
１３０物体中心推定部
１４０初期境界推定部
１５０境界決定部１５０

Claims

空洞部を有する臓器を撮像した画像を入力する画像入力部と、
前記空洞部に対応する閉領域の画素情報とその閉領域の周囲領域の画素情報を比較して、前記閉領域の中心位置の画素情報を強調して出力する空間フィルタを、前記入力画像に施して出力画像を取得するフィルタ処理部と、
前記出力画像を用いて前記空洞部の中心位置を推定する物体中心推定部と、
前記出力画像と前記推定した中心位置とを用いて、前記空洞部の壁面位置である境界位置を決定する境界決定部と、
を備える画像処理装置。
前記フィルタ処理部は、前記空間フィルタとして、前記閉領域と前記周囲領域のそれぞれの明度の加重和の違いを求める空間フィルタを用いる、
請求項１記載の画像処理装置。
前記フィルタ処理部は、前記空間フィルタとして、ラプラシアンガウシアンフィルタを用いる、
請求項１記載の画像処理装置。
前記フィルタ処理部は、前記空間フィルタとして、差分ガウシアンフィルタを用いる、
請求項１記載の画像処理装置。
前記フィルタ処理部は、前記空間フィルタとして、分離度フィルタを用いる、
請求項１記載の画像処理装置。
前記フィルタ処理部は、前記空間フィルタにおいて前記閉領域の大きさを表す１つのスケールパラメータを用いて、１つの前記出力画像を取得する、
請求項１記載の画像処理装置。
前記フィルタ処理部は、前記空間フィルタにおいて前記閉領域の大きさを表すスケールパラメータを２つ以上用いて、前記出力画像をそれぞれ取得し、
前記物体中心推定部は、それぞれの前記出力画像について中心位置を推定し、
前記境界決定部は、それぞれの前記出力画像とそれぞれの前記中心位置とを用いて、前記境界位置を決定する、
請求項１記載の画像処理装置。
前記フィルタ処理部は、前記空間フィルタにおいて前記閉領域の大きさを表すスケールパラメータを２つ以上用いて、前記出力画像をそれぞれ取得し、
前記物体中心推定部は、
前記複数の出力画像のそれぞれから前記空洞部の中心候補をそれぞれ取得する物体中心候補取得部と、
前記各中心候補の数が閾値より小さい出力画像を選択するスケール評価部と、
前記選択した出力画像の中心候補を用いて前記空洞部の中心位置を選択する物体中心決定部と、
を備える請求項１記載の画像処理装置。
前記初期境界推定部は、前記選択した出力画像と前記中心位置とを用いて、前記境界位置を決定する、
請求項８記載の画像処理装置。
空洞部を有する臓器を撮像した画像を入力する画像入力ステップと、
前記空洞部に対応する閉領域の画素情報とその閉領域の周囲領域の画素情報を比較して、前記閉領域の中心位置の画素情報を強調して出力する空間フィルタを、前記入力画像に施して出力画像を取得するフィルタ処理ステップと、
前記出力画像を用いて前記空洞部の中心位置を推定する物体中心推定ステップと、
前記出力画像と前記推定した中心位置とを用いて、前記空洞部の壁面位置である境界位置を決定する境界決定ステップと、
を備える画像処理方法。
前記フィルタ処理ステップにおいて、前記空間フィルタにおいて前記閉領域の大きさを表す１つのスケールパラメータを用いて、１つの前記出力画像を取得する、
請求項１０記載の画像処理方法。
前記フィルタ処理ステップにおいて、前記空間フィルタにおいて前記閉領域の大きさを表すスケールパラメータを２つ以上用いて、前記出力画像をそれぞれ取得し、
前記物体中心推定ステップにおいて、それぞれの前記出力画像について中心位置を推定し、
前記境界決定ステップにおいて、それぞれの前記出力画像とそれぞれの前記中心位置とを用いて、前記境界位置を決定する、
請求項１０記載の画像処理方法。
前記フィルタ処理ステップにおいて、前記空間フィルタにおいて前記閉領域の大きさを表すスケールパラメータを２つ以上用いて、前記出力画像をそれぞれ取得し、
前記物体中心推定ステップは、
前記複数の出力画像のそれぞれから前記空洞部の中心候補をそれぞれ取得する物体中心候補取得ステップと、
前記各中心候補の数が閾値より小さい出力画像を選択するスケール評価ステップと、
前記選択した出力画像の中心候補を用いて前記空洞部の中心位置を選択する物体中心決定ステップと、
を備える請求項１０記載の画像処理方法。