JP2012125373A

JP2012125373A - 超音波画像処理装置

Info

Publication number: JP2012125373A
Application number: JP2010278769A
Authority: JP
Inventors: Eiji Kasahara; 英司笠原
Original assignee: Hitachi Aloka Medical Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-12-15
Filing date: 2010-12-15
Publication date: 2012-07-05

Abstract

【課題】パターンマッチングにおける弁別処理の閾値を適正化する。
【解決手段】図には、テンプレートＴ内にある複数の画素についての分布状態が示されている。パターンマッチング処理部は、閾値ＴＨ以上の画素値を有する画素の総数ＳＨをカウントする。つまり、閾値ＴＨの右側にある領域（ＳＨ）の面積に相当する値がカウントされる。また、パターンマッチング処理部は、閾値ＴＨより小さい画素値を有する画素の総数ＳＬをカウントする。つまり、図３において閾値ＴＨの左側にある領域（ＳＬ）の面積に相当する値がカウントされる。そして、パターンマッチング処理部は、総数ＳＨと総数ＳＬを比較し、総数ＳＨと総数ＳＬが均等になるように閾値ＴＨを調整する。例えば、総数ＳＨと総数ＳＬが等しくなるように閾値ＴＨが調整される。
【選択図】図３

Description

本発明は、超音波画像処理装置に関し、特に、画像データ間において相関演算を実行する装置に関する。

超音波を送受することにより得られる超音波画像の画像データに対して相関演算を行う超音波画像処理装置や超音波診断装置が知られている。例えば、特許文献１，２には、相関演算に基づいたパターンマッチングにより、複数のフレームに亘って心筋の動きを追跡する旨の画期的な技術が提案されている。また、プローブを移動させつつ得られる複数の画像データをパターンマッチングにより部分的に重ね合わせてパノラマ画像を形成する技術なども知られている。

画像データ間のパターンマッチングにおいては、例えば、一方の画像データ内において注目箇所にテンプレートが設定され、他方の画像データ内でテンプレートを移動させつつテンプレート内の画像データ同士が相関演算される。そして、他方の画像データ内で最も類似度の大きいテンプレートの位置が注目箇所に対応した位置とされる。

上述したパターンマッチングにおいて、例えば二値化処理などの弁別処理を施された画像データ間で相関演算を実行する例もある。例えば二値化処理では、画像データを構成する複数の画素が閾値を基準として２つの画素グループに分別され、画像データが比較的単純化されるため、例えば相関演算処理の負荷が軽減される。

ところが、例えば二値化処理において閾値が適切に設定されていないと、その二値化処理が相関演算の精度に悪影響を及ぼしてしまう可能性がある。例えば、閾値が極端に小さな値に設定されており、画像データ内のほぼ全ての画素が閾値よりも大きい画素と判定されてしまうと、二値化処理の結果として画像データ内のほぼ全ての画素が同一の画素値（例えば白）に対応付けられてしまい、画像データ内における組織形状の特徴などが失われて相関演算の精度を低下させてしまう。

特開２００７−１３００６３号公報特開２００７−１４３６０６号公報

上述した背景技術に鑑み、本願の発明者は、パターンマッチングの精度を向上させる技術について研究開発を重ねてきた。特に、パターンマッチングにおいて、例えば相関演算の前に実行される二値化処理などの弁別処理に注目した。

本発明は、その研究開発の過程において成されたものであり、その目的は、パターンマッチングにおける弁別処理の閾値を適正化することにある。

上記目的にかなう好適な超音波画像処理装置は、複数の超音波画像に対応した複数の画像データを記憶する画像記憶部と、画像データ間において一方の画像データ内に設定されたテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、を有し、前記画像処理部は、一方の画像データに関するテンプレート内の画像データを閾値により複数のデータ群に弁別処理し、各データ群に属する画像データのデータ数に基づいて閾値を調整し、調整された閾値により弁別処理された画像データ間においてパターンマッチングを行う、ことを特徴とする。

上記構成によれば、テンプレート内の画像データが閾値により複数のデータ群に弁別処理され、各データ群に属する画像データのデータ数に基づいて閾値が調整されることにより、閾値が適正化される。例えば、複数のデータ群に関するデータ数の偏り具合などに応じて閾値が調整される。なお、上記構成において、各画像データの好適な例は、２次元的に収集されたエコーデータから得られる２次元データ、または、３次元的に収集されたエコーデータから得られる３次元データなどである。また、弁別処理の代表例は二値化処理であるが、例えば二つ以上の閾値を利用した三値化処理や四値化処理などの多値化処理が利用されてもよい。

望ましい具体例において、前記画像処理部は、一方の画像データに関するテンプレート内の画像データを閾値により二値化処理する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、テンプレート内の画像データを二値化処理して得られる二つのデータ群に関するデータ数の比較結果に基づいて前記閾値を調整する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、テンプレート内の画像データを二値化処理して得られる二つのデータ群のデータ数が均等になるように前記閾値を調整する、ことを特徴とする。

望ましい具体例において、前記画像処理部は、調整された前記閾値により二値化処理された画像データ間においてパターンマッチングを行う、ことを特徴とする。

また、上記目的にかなう好適な超音波診断装置は、超音波を送受するプローブと、プローブを制御することにより受信信号を得る送受信部と、受信信号に基づいて複数の超音波画像に対応した複数の画像データを形成する画像形成部と、画像データ間において一方の画像データ内に設定されたテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、を有し、前記画像処理部は、一方の画像データに関するテンプレート内の画像データを閾値により複数のデータ群に弁別処理し、各データ群に属する画像データのデータ数に基づいて閾値を調整し、調整された閾値により弁別処理された画像データ間においてパターンマッチングを行う、ことを特徴とする。

また、上記目的にかなう好適な超音波画像処理プログラムは、複数の超音波画像に対応した複数の画像データを処理するコンピュータに、画像データ間において一方の画像データ内に設定されたテンプレート内の画像データを閾値により複数のデータ群に弁別処理し、各データ群に属する画像データのデータ数に基づいて閾値を調整する閾値調整機能と、調整された閾値により弁別処理された画像データ間において一方の画像データ内に設定されたテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、を実現させることを特徴とする。

上記超音波画像処理プログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供される。もちろん、インターネットなどの電気通信回線を介して上記超音波画像処理プログラムがコンピュータに提供されてもよい。

本発明により、パターンマッチングにおける弁別処理の閾値を適正化することが可能になる。例えば、本発明の好適な態様によれば、テンプレート内の画像データが閾値により複数のデータ群に弁別処理され、各データ群に属する画像データのデータ数に基づいて閾値が調整されることにより、閾値が適正化される。

本発明の実施において好適な超音波診断装置の全体構成を示す図である。画像データ間のパターンマッチングを説明するための図である。閾値の調整における画素数の比較を説明するための図である。閾値の調整からパターンマッチングまでの処理の具体例を示す図である。

図１は、本発明の実施において好適な超音波診断装置の全体構成を示す図である。図１の超音波診断装置は、本発明に係る超音波画像処理装置の機能を備えている。

プローブ１０は、例えば心臓や筋肉などの対象物を含む領域に対して超音波を送受する超音波探触子である。プローブ１０は、超音波を送受する複数の振動素子を備えており、複数の振動素子が送受信部１２によって送信制御されて送信ビームが形成される。また、複数の振動素子が対象物を含む領域内から得られる超音波を受波し、これにより得られた信号が送受信部１２へ出力され、送受信部１２が受信ビームを形成して受信ビームに沿ってエコーデータが収集される。

プローブ１０は、超音波ビーム（送信ビームと受信ビーム）を二次元平面内において走査してエコーデータを収集する。もちろん、超音波ビームを三次元空間内において立体的に走査する三次元プローブが利用されてもよい。

対象物を含む領域内で超音波ビームが走査され、送受信部１２によりエコーデータが収集されると、画像形成部２０は、収集されたエコーデータに基づいて超音波の画像データを形成する。画像形成部２０は、例えばＢモード画像の画像データを形成する。また、画像形成部２０は、複数の超音波画像に対応した複数の画像データを形成する。例えば、複数の時刻に亘って対象物を映し出した複数の画像データを形成する。なお、プローブ１０を徐々に移動させつつ互いに異なる位置において対象物を映し出した複数の画像データが形成されてもよい。画像形成部２０において形成された複数の画像データは、メモリ等で構成される画像記憶部２２に記憶される。

パターンマッチング処理部３０は、画像データ間のパターンマッチングを行う画像処理部として機能する。パターンマッチング処理部３０は、画像データを二値化処理する二値化処理機能と、二値化処理における閾値を調整する閾値調整機能と、二値化処理された画像データに関するテンプレート内の画像データに基づいて相関演算を実行する相関演算機能を備えている。パターンマッチング処理部３０は、例えばＣＰＵや信号処理プロセッサなどのハードウェアにより実現することができる。そして、パターンマッチング処理部３０は、画像記憶部２２に記憶された複数の画像データを対象として、相関演算に基づいて画像データ間のパターンマッチングを行う。

図２は、画像データ間のパターンマッチングを説明するための図であり、画像データ１と画像データ２との間における処理を示している。画像データ１と画像データ２は、例えば同じ心臓から互いに異なる時刻に得られる画像データである。パターンマッチングにおいては、まず、検査者などのユーザにより画像データ１内に注目点（黒丸）が設定され、その画像データ１内において、注目点を取り囲むようにテンプレートＴが設定される。さらに、画像データ２内において、テンプレートＴに対応した位置にある画像領域を含むように探索領域ＳＡが設定される。探索領域ＳＡの設定には、公知の様々な手法を利用することができる。もちろん、画像データ２の全体を探索領域ＳＡとしてもよい。

テンプレートＴと探索領域ＳＡが設定されると、画像データ２の探索領域ＳＡ内においてテンプレートＴが移動され、各移動位置において、画像データ１のテンプレートＴ内の複数の画素と、画像データ２のテンプレートＴ内の複数の画素とに基づいて、相関値が算出される。例えば、画像データ１内のテンプレートＴに対応した位置を初期位置とし、その初期位置からの変位(dx,dy)ごとに相関値が算出され、探索領域ＳＡ内の全域に亘る複数の変位に対応した相関値が算出される。

こうして、探索領域ＳＡ内の全域に亘る複数の変位に対応した相関値が算出されると、複数の変位の中から最も類似の度合が大きい変位が特定され、画像データ１内のテンプレートＴの移動先、つまり注目点（黒丸）の移動先とされる。

なお、相関値とは画像データ間の相関関係の程度（類似の程度）を示す数値であり、相関値の算出には相関演算の各手法に応じた公知の数式が用いられる。例えば、位相限定相関法や相互相関法では、類似の度合が大きいほど大きな値を示す相関値が利用され、最小和絶対差法では、類似の度合が大きいほど小さな値を示す相関値が利用される。

また、図２においては二次元平面内における平行移動の変位(dx,dy)を示しているが、さらに回転移動の変位を加えて、回転移動の変位も考慮して相関値が算出されてもよい。また、三次元画像の画像データの場合には、三次元的な平行移動や回転移動の各変位ごとに相関値が算出される。

上述した相関演算に基づいたパターンマッチングにおいて、図１のパターンマッチング処理部３０は、二値化処理された画像データを対象として相関演算を行う。また、パターンマッチング処理部３０は、二値化処理に利用される閾値を調整して適正化する機能を備えている。その閾値の調整処理について詳述する。

閾値の調整にあたって、パターンマッチング処理部３０は、まず、図２の画像データ１に設定されたテンプレートＴ内の画像データをある閾値で二値化処理する。つまり、テンプレートＴ内にある複数の画素を、閾値以上の（または閾値より大きい）画素値を有する画素群と、閾値より小さい（または閾値以下の）画素値を有する画素群の、二つの画素群に弁別する。そして、二つの画素群に関する画素数を比較する。

図３は、閾値の調整における画素数の比較を説明するための図である。図３には、図２の画像データ１に設定されたテンプレートＴ内にある複数の画素についての分布状態（ヒストグラム）が図示されている。図３において、横軸は画素値の大きさ（０〜２５５）を示しており、縦軸に各画素値に対応した画素数が示されている。また、図３には閾値ＴＨが破線で示されている。

パターンマッチング処理部３０（図１）は、閾値ＴＨ以上の（または閾値ＴＨより大きい）画素値を有する画素の総数ＳＨをカウントする。つまり、図３において閾値ＴＨの右側にある領域（ＳＨ）の面積に相当する値がカウントされる。また、パターンマッチング処理部３０は、閾値ＴＨより小さい（または閾値ＴＨ以下の）画素値を有する画素の総数ＳＬをカウントする。つまり、図３において閾値ＴＨの左側にある領域（ＳＬ）の面積に相当する値がカウントされる。

そして、パターンマッチング処理部３０は、総数ＳＨと総数ＳＬを比較し、総数ＳＨと総数ＳＬが均等になるように閾値ＴＨを調整する。例えば、総数ＳＨと総数ＳＬが等しくなるように閾値ＴＨが調整される。

総数ＳＨと総数ＳＬが等しい場合、テンプレートＴ内にある複数の画素のうち、閾値ＴＨ以上である例えば「白」に対応する画素の総数と、閾値ＴＨより小さい例えば「黒」に対応する画素の総数とが等しくなり、テンプレートＴ内において「白」と「黒」の画像部分の割合が等しくなる。したがって、例えば「白」または「黒」の割合が大きく偏っている場合に比べて、組織形状の特徴などが失われにくい。そのため、相関演算の精度を維持または向上させるために比較的好適である。なお、総数ＳＨと総数ＳＬが厳密に一致しなくても、ある程度均等であるとみなせる程度にバランスがとれていればよい。

こうして、閾値が調整されると、パターンマッチング処理部３０（図１）は、調整された閾値を利用して画像データを二値化処理し、二値化処理により得られた画像データ間において、相関演算に基づいたパターンマッチングを行う。そこで、パターンマッチング処理部３０（図１）における、閾値の調整からパターンマッチングまでの処理の好適な具体例について説明する。

図４は、閾値の調整からパターンマッチングまでの処理の具体例を示す図（フローチャート）である。まず、ユーザにより画像データ１内に注目点が設定されると、画像データ１内において注目点を取り囲むようにテンプレートＴが設定される（Ｓ４０１：図２参照）。

次に、二値化処理の閾値ＴＨが変更される（Ｓ４０２）。初期状態においては、閾値ＴＨが例えば０（ゼロ）に設定される。そして、設定された閾値ＴＨにより、テンプレートＴ内の画像データが二値化処理され、閾値ＴＨ以上の（または閾値ＴＨより大きい）画素の総数ＳＨと、閾値ＴＨより小さい（または閾値ＴＨ以下の）画素の総数ＳＬがカウントされる（Ｓ４０３：図３参照）。

こうして、総数ＳＨと総数ＳＬがカウントされると、総数ＳＨと総数ＳＬが比較されて均等か否かが判断される（Ｓ４０４）。総数ＳＨと総数ＳＬが均等であれば、Ｓ４０５以降のステップへ進む。例えば、総数ＳＨと総数ＳＬの差が所定数より小さい場合に均等であると判断される。もちろん、総数ＳＨと総数ＳＬが完全に一致した場合に均等であると判断されてもよい。

一方、総数ＳＨと総数ＳＬが均等でなければ、均等と判断されるまで、Ｓ４０２からＳ４０４までの処理が繰り返される。なお、Ｓ４０２の処理が実行されるごとに、閾値ＴＨが初期値０から１ずつつ増加され、最終的に２５５（画素値の最大値）まで変更される。

Ｓ４０２からＳ４０４において総数ＳＨと総数ＳＬの比較により閾値ＴＨが調整され、総数ＳＨと総数ＳＬが均等と判断された場合の閾値ＴＨが決定されると（Ｓ４０５）、その閾値ＴＨにより画像データが二値化処理される（Ｓ４０６）。なお、この二値化処理においては、図２に示す画像データ１内の全域と画像データ２内の全域が二値化処理されてもよいし、画像データ１のテンプレートＴ内の画像データと画像データ２の探索領域ＳＡ内の画像データのみが二値化処理されてもよい。

画像データが二値化処理されると、画像データ２内においてテンプレートＴが移動される（Ｓ４０７：図２参照）。初期状態においては、例えば、画像データ１内のテンプレートＴに対応した位置に、画像データ２内のテンプレートＴが移動される。そして、二値化処理された画像データ１と画像データ２との間において、テンプレートＴ内の画像データ同士を対象として相関演算が行われて相関値が算出される（Ｓ４０８）。

さらに、探索領域ＳＡ内の全域に亘る探索が終了したか否かが確認され（Ｓ４０９）、終了していなければ、Ｓ４０７に戻り、画像データ２内でテンプレートＴが次の位置に移動され、Ｓ４０８において新たな移動位置で相関値が算出される。

Ｓ４０７からＳ４０８までの処理が繰り返し実行されて、探索領域ＳＡ内の全域に亘る探索が終了したことが確認されると（Ｓ４０９）、探索領域ＳＡ内の全ての移動位置の中から、テンプレートＴ内の相関値に基づいて、類似の度合が最大となる移動位置が特定され、その移動位置がマッチング位置とされる（Ｓ４１０）。以上により本フローチャートが終了する。

なお、Ｓ４０２からＳ４０５に示した処理に代えて、画像データ１のテンプレートＴ内の画像データに関するヒストグラム（図３参照）を形成し、このヒストグラムに基づいて総数ＳＨと総数ＳＬが均等となる閾値ＴＨが決定されてもよい。

図４に示したフローチャートにより、画像データ１と画像データ２（図２参照）との間においてマッチングが行われ、画像データ２内において、テンプレートＴの移動先つまり注目点の移動先が決定されると、その移動先を起点として、次に、画像データ２と画像データ３との間においてマッチングが行われる。画像データ３は、画像データ２の次の時相に対応した画像データである。なお、画像データ２と画像データ３との間のマッチングにおいては、閾値の調整を行ってもよいし、閾値の調整を省略してもよい。閾値の調整を省略した場合には、画像データ１と画像データ２との間において調整された閾値が引き続き利用される。

また、図２に示し画像データ１内に複数の注目点（黒丸）が設定されてもよい。この場合には、各注目点ごとにそれを取り囲むようにテンプレートＴが設定される。そして、各注目点ごとに、相関演算に基づいて、画像データ２内において移動先が探索される。このように、複数の注目点が設定される場合には、各注目点ごとに相関演算に基づいたマッチングが実行されることになるが、その際に、各注目点ごとに、閾値の調整を行うようにしてもよい。もちろん、代表となる注目点についてのみ閾値の調整を行い、その調整された閾値を他の注目点において利用してもよい。

図１に戻り、上述したパターンマッチング処理により、例えば、画像データ１内の注目点が、画像データ２内のマッチング位置に移動したと判断され、さらに、複数の時相に亘って画像データ内で注目点が動的に追跡されることにより、例えば表示部４０にその追跡結果を示した表示画像が表示される。

以上、本発明の好適な実施形態である超音波診断装置について説明したが、例えば、上述した閾値調整処理と相関演算処理に対応したプログラムにより、図１に示したパターンマッチング処理部３０の機能をコンピュータで実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。また、上述したパターンマッチング処理を超音波以外の画像データ、例えば、他の医療画像データやコンピュータなどにより処理される一般の映像データなどに適用することも可能である。なお、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。

１０プローブ、２０画像形成部、３０パターンマッチング処理部。

Claims

複数の超音波画像に対応した複数の画像データを記憶する画像記憶部と、
画像データ間において一方の画像データ内に設定されたテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、
を有し、
前記画像処理部は、一方の画像データに関するテンプレート内の画像データを閾値により複数のデータ群に弁別処理し、各データ群に属する画像データのデータ数に基づいて閾値を調整し、調整された閾値により弁別処理された画像データ間においてパターンマッチングを行う、
ことを特徴とする超音波画像処理装置。
請求項１に記載の超音波画像処理装置において、
前記画像処理部は、一方の画像データに関するテンプレート内の画像データを閾値により二値化処理する、
ことを特徴とする超音波画像処理装置。
請求項２に記載の超音波画像処理装置において、
前記画像処理部は、テンプレート内の画像データを二値化処理して得られる二つのデータ群に関するデータ数の比較結果に基づいて前記閾値を調整する、
ことを特徴とする超音波画像処理装置。
請求項３に記載の超音波画像処理装置において、
前記画像処理部は、テンプレート内の画像データを二値化処理して得られる二つのデータ群のデータ数が均等になるように前記閾値を調整する、
ことを特徴とする超音波画像処理装置。
請求項４に記載の超音波画像処理装置において、
前記画像処理部は、調整された前記閾値により二値化処理された画像データ間においてパターンマッチングを行う、
ことを特徴とする超音波画像処理装置。
超音波を送受するプローブと、
プローブを制御することにより受信信号を得る送受信部と、
受信信号に基づいて複数の超音波画像に対応した複数の画像データを形成する画像形成部と、
画像データ間において一方の画像データ内に設定されたテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行することにより画像データ間のパターンマッチングを行う画像処理部と、
を有し、
前記画像処理部は、一方の画像データに関するテンプレート内の画像データを閾値により複数のデータ群に弁別処理し、各データ群に属する画像データのデータ数に基づいて閾値を調整し、調整された閾値により弁別処理された画像データ間においてパターンマッチングを行う、
ことを特徴とする超音波診断装置。
複数の超音波画像に対応した複数の画像データを処理するコンピュータに、
画像データ間において一方の画像データ内に設定されたテンプレート内の画像データを閾値により複数のデータ群に弁別処理し、各データ群に属する画像データのデータ数に基づいて閾値を調整する閾値調整機能と、
調整された閾値により弁別処理された画像データ間において一方の画像データ内に設定されたテンプレートを他方の画像データ内で移動させつつテンプレート内の画像データに基づいて相関演算を実行する相関演算機能と、
を実現させる、
ことを特徴とする超音波画像処理プログラム。