JP7309447B2 - 医用画像診断装置、画像処理装置及び位置合わせ方法 - Google Patents

Description

本発明の実施形態は、医用画像診断装置、画像処理装置及び位置合わせ方法に関する。

ＣＴ、ＭＲ、超音波スキャナなどのデバイスにより走査されてなる一枚の画像について、従来の医用画像診断装置には、血管などの管状組織に対して手動でラベル付けすることにより血管部分全体の画像を取得する技術が存在する。

また一方で、同一の患者に対して、異なるデバイスによる走査が行われた場合（例えば、ＣＴ走査に加えて超音波走査も行われた場合）、同一の血管のような同一の組織に対して、モードの異なる画像（即ち、ＣＴ走査画像および超音波走査画像）における特徴を対比することで、当該血管の病変部位などを探し出すことがある。ところが、画像の中に血管が多いため、ユーザにとって上記２枚の走査画像の中で対応する同一の血管を探し出すのが難しくて、迅速かつ正確な診断が不可能になることがある。

特開２００７－２６０３９６号公報 特開２０１５－９３１３１号公報 特開２０１５－９６１９６号公報 国際公開第２０１４／１９６０６９号 特開２０１４－１３４５１７号公報

本発明が解決しようとする課題は、異なる医用画像データ間で同一の部位を容易に探し出すことである。

実施形態に係る医用画像診断装置は、生成部と、ラベル付与部と、位置合わせ部とを備える。生成部は、複数の医用画像データのそれぞれについて複数の小区画を特定し、当該複数の小区画に対応する複数のスーパーピクセルを生成する。ラベル付与部は、前記複数の医用画像データのうち少なくとも１つの医用画像データに対してラベルを付与する。位置合わせ部は、前記複数のスーパーピクセル及び前記ラベルを用いて、前記複数の医用画像データ間の位置合わせを行なう。

図１は、第１の実施形態に係る医用画像診断装置の構造のブロック図である。 図２は、医用画像に対してスーパーピクセル分割を行うための模式図である。 図３は、スーパーピクセル計算部の構造図である。 図４は、医用画像データ間の位置合わせ処理を説明するための図である。 図５は、医用画像データ間の位置合わせ処理を説明するためのフローチャートである。 図６は、どのようにフローティング画像の中で対応するスーパーピクセルを探し出すかを説明するためのフローチャートである。 図７は、医用画像データに対して位置合わせを行った状態を示す模式図である。 図８は、第２の実施形態に係る医用画像診断装置の構造のブロック図である。 図９は、フローティング画像において計算されたスーパーピクセルが誤った場合に修正を行う説明図である。 図１０は、第２の実施形態に係る医用画像データの位置合わせ処理のフローチャートである。 図１１は、第３の実施形態に係る医用画像診断装置の構造のブロック図である。 図１２は、第３の実施形態に係る医用画像データの位置合わせ処理のフローチャートである。 図１３は、第４の実施形態に係る医用画像診断システムの構成例を示すブロック図である。

以下、図面を参照しながら医用画像診断装置、画像処理装置及び位置合わせ方法の実施形態を説明する。

（第１の実施形態）
以下、図１～図７に基づいて、第１の実施形態に係る医用画像診断装置を説明する。

図１は、医用画像診断装置１００の構造のブロック図である。

図１に示されているように、医用画像診断装置１００は、特徴抽出部１０１と、画像分割部１０２と、ラベル付与部１０３と、スーパーピクセル計算部１０４とを具備する。なお、画像分割部１０２は、生成部の一例である。また、ラベル付与部１０３は、ラベル付与部の一例である。また、スーパーピクセル計算部１０４は、位置合わせ部の一例である。

特徴抽出部１０１は、医者などのユーザに選択された医用画像に対して、輝度値、勾配、形状、位置、およびヘッセ行列などの画像特徴を抽出する。

画像分割部１０２は、ユーザに選択された各医用画像に対してスーパーピクセル分割を行うためのものである。

スーパーピクセル分割は、画像中の物体および境界などを位置決めするために、画像を複数の画像サブエリア、即ちスーパーピクセルに細かく分割する過程である。スーパーピクセルは、位置が隣り合い、且つ色、輝度、テクスチャなどの特徴が類似している一群の画素点からなる小領域である。

図２には、同一の患者に対して撮像した２枚の画像が示されている。そのうち、（ａ）の左側の画像が超音波画像Ｐ１であり、（ｂ）の左側の画像がＣＴ画像Ｐ２であり、この２枚の画像の中で、同一の血管がそれぞれ示されており、超音波画像Ｐ１において、血管ｖｓ１が示され、ＣＴ画像Ｐ２において、血管ｖｓ１と同一の血管ｖｓ２が示されている。なお、血管は、管状構造物の一例である。

図２において、（ａ）の右側の図は、超音波画像Ｐ１に対してスーパーピクセル分割を行った後の、図中の枠部分を拡大して示した血管ｖｓ１を含むスーパーピクセル分割図Ｓ１である。（ｂ）の右側の図は、ＣＴ画像Ｐ２に対してスーパーピクセル分割を行った後の、図中の枠部分を拡大して示した血管ｖｓ２を含むスーパーピクセル分割図Ｓ２である。スーパーピクセル分割図Ｓ１およびスーパーピクセル分割図Ｓ２はそれぞれ、複数のスーパーピクセルｓｐからなる。

図２の（ａ）では、血管ｖｓ１を含むＹ字状の血管のみが明確に示されており、図２の（ｂ）では、血管ｖｓ２を含むＹ字状の血管が明確に示されているが、それは説明の便宜上に選択した図面であり、通常、各画像の中に複数本の血管が同時に存在しており、仮に、超音波画像Ｐ１の中に血管ｖｓ１が位置決めされた場合、ＣＴ画像Ｐ２の中からそれに対応する同一の血管ｖｓ２を肉眼で探し出すことは難しい。

また、本実施形態では、超音波画像Ｐ１を用いて参照画像を表し、ＣＴ画像Ｐ２を用いてフローティング画像を表すこととする。超音波画像Ｐ１を代表とした参照画像に血管を構成するスーパーピクセルを連続してラベル付けすることにより、ＣＴ画像Ｐ２を代表としたフローティング画像に、対応する血管のスーパーピクセルを自動的に表示することで、対応する血管を表示することができる。

ラベル付与部１０３は、ユーザが指またはコンデンサペンを用いてタッチパネルの上に表示されたスーパーピクセル分割図に対するマーキング、即ちラベル付けを受け付け、ラベル付けされたポイントがあるスーパーピクセルまたはラベル付けされたラインが通すスーパーピクセルを強調して表示することができ、つまり、付与されたラベルに基づいて、各医用画像データ内で特定された複数の小区画に対応する複数のスーパーピクセルを生成することが可能になる。この強調して表示することは、例えば、スーパーピクセルの色などの変更により他のスーパーピクセルと区別することであってもよい。

スーパーピクセル計算部１０４は、参照画像およびフローティング画像の同一の構成部分、例えば、血管に対して、参照画像の上に連続的に線を引いてラベル付けすることで強調し表示した複数のスーパーピクセルおよびフローティング画像の上にラベル付けした初期のスーパーピクセルに基づいて、フローティング画像で参照画像上のスーパーピクセルに対応するスーパーピクセルを計算し、強調し表示することにより、参照画像とフローティング画像のデータ間の位置合わせを行う。

図３は、スーパーピクセル計算部１０４の構造を示した構造図である。スーパーピクセル計算部１０４は中心点計算部１０４１と、マトリックス生成部１０４２と、座標転換部１０４３と、選択部１０４４と、特徴取得部１０４５と、類似度計算部１０４６と、判断部１０４７と、決定部１０４８と、を具備する。

中心点計算部１０４１は、ラベル付与部１０３により強調し表示されたスーパーピクセルに対して、このスーパーピクセルの重心を当該スーパーピクセルの中心点として計算することができる。

図４は、医用画像データ間の位置合わせ処理を説明するための図である。そのうち、（ａ）が図２（ａ）中のスーパーピクセル分割図Ｓ１に対応しており、（ｂ）が図２（ｂ）中のスーパーピクセル分割図Ｓ２に対応している。図４の中で、各マークをより明確にするために、スーパーピクセル分割図Ｓ１およびＳ２中の輝度を除去することにした。

図４に示されているように、スーパーピクセル分割図Ｓ１において、中心点計算部１０４１は、ラベル付けすることにより取得したスーパーピクセルｓｐ１およびスーパーピクセルｓｐ２の中心点を計算することができる。当該中心点は、それぞれ座標ｘ１およびｘ２で表される。スーパーピクセル分割図Ｓ２において、中心点計算部１０４１は、ラベル付けすることにより取得したスーパーピクセルｓｐ１’の中心点を計算し、当該中心点を座標ｙ１で表すことができる。

マトリックス生成部１０４２は、スーパーピクセル分割図Ｓ１の血管ｖｓ１の複数のスーパーピクセル（少なくとも２つのスーパーピクセル）の中心点座標およびスーパーピクセル分割図Ｓ２の血管ｖｓ２の、血管ｖｓ１の前記複数のスーパーピクセルに対応するスーパーピクセルの中心点の座標に基づいて、スーパーピクセル分割図Ｓ１の血管ｖｓ１とスーパーピクセル分割図Ｓ２の血管ｖｓ２との間の変換マトリックスＴを生成する。当該変換マトリックスＴは、例えば、最小二乗法により計算できるアフィン変換マトリックスである。

座標転換部１０４３は座標ｘ２と変換マトリックスＴを乗算することで、スーパーピクセル分割図Ｓ２のスーパーピクセルｓｐ２’の推測座標Ｃ（ｘ２）を取得する。

選択部１０４４は、座標Ｃ（ｘ２）を中心とした半径ｒの範囲内で、全部または一部が当該範囲内にあるスーパーピクセルをそれぞれ選択し、図４に示されているように、スーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′、ｓｐ２′をそれぞれ選択する。勿論、当該半径ｒの大きさを必要に応じて設定しても良い。

特徴取得部１０４５は、それらスーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′、ｓｐ２′のそれぞれに対して、特徴抽出部１０１により抽出した特徴の中から、それぞれの特徴、例えば、輝度値、勾配、形状、位置、およびヘッセ行列などを取得する。

例えば、スーパーピクセルの１～ｄ個特徴を取得する。スーパーピクセルｓｐｘ′の特徴を取得する時、その特徴をセットａｊ＝（ａｊ１，ａｊ２，…，ａｊｄ）で表すことにする。同時に、特徴取得部１０４５がスーパーピクセル分割図Ｓ１におけるスーパーピクセルｓｐ２に対してその特徴ａ２＝（ａ２１，ａ２２，…，ａ２ｄ）を取得する。

類似度計算部１０４６は、スーパーピクセル分割図Ｓ１におけるスーパーピクセルｓｐ２とスーパーピクセル分割図Ｓ２におけるスーパーピクセルｓｐｘ′との特徴の類似度を計算し、具体的に、特徴ａｊとａ２とを１つのセットに入れ、即ち、セットａｋ＝（ａ２，ａｊ）＝（ａ２１，ａ２２，…，ａ２ｄ，ａｊ１，ａｊ２，…，ａｊｄ）を形成し、各特徴を対比することで、特徴ａｊとａ２との全体的類似度ｓ２ｊを計算することになる。

判断部１０４７は、ＣＴ画像Ｐ２のスーパーピクセル分割図Ｓ２において、座標Ｃ（ｘ２）を中心とした半径ｒの範囲内で全てのスーパーピクセルが選択されたかを判断する。

決定部１０４８は、スーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′、ｓｐ２′のそれぞれの特徴とスーパーピクセルｓｐ２の特徴との類似度を比較することにより、もっとも類似する類似度を有する（類似度がもっとも高い）スーパーピクセルをＣＴ画像Ｐ２におけるスーパーピクセルｓｐ２に対応するスーパーピクセルとして決定する。

以下、図２、図４および図５に基づいて医用画像データの位置合わせ処理について説明する。そのうち、図５は医用画像データの位置合わせ処理を説明するためのフローチャートである。

まず、ユーザが同一の患者に対して撮影した２枚の画像、即ち、超音波画像Ｐ１（参照画像）およびＣＴ画像Ｐ２（フローティング画像）を探し出し、この２枚の画像の中で、ユーザが画像のスライス位置に対して対比することなどにより、同一の血管、即ち、超音波画像Ｐ１における血管ｖｓ１およびＣＴ画像Ｐ２における血管ｖｓ２が存在しているはずであると判断する。つまり、ユーザが同一の血管が存在している参照画像およびフローティング画像を取得する（ステップＳ１１）。

そして、特徴抽出部１０１は超音波画像Ｐ１およびＣＴ画像Ｐ２に対して、輝度値、勾配、形状、位置、およびヘッセ行列などの画像特徴を抽出する（ステップＳ１２）。

その後、図２の右側部分のスーパーピクセル分割図Ｓ１およびスーパーピクセル分割図Ｓ２に示されているように、画像分割部１０２はユーザにより選択された超音波画像Ｐ１およびＣＴ画像Ｐ２に対してスーパーピクセル分割を行う（ステップＳ１３）。

そして、図４（ｂ）に示されているように、スーパーピクセル分割図Ｓ２、即ち、ＣＴ画像Ｐ２の中では、ユーザが指またはコンデンサペンなどを用いてスーパーピクセルｓｐ１′がある位置にタッチすることにより、手動的にラベル付けして、ラベル付与部１０３はユーザによるラベル付け、即ち、ラベルの付与を受け付けることで、ラベル付けされたポイントがあるスーパーピクセルｓｐ１′を強調して表示し、即ち、スーパーピクセルｓｐ１′を生成する（ステップＳ１４）。

その後、図４（ａ）に示されているように、スーパーピクセル分割図Ｓ１、即ち、超音波画像P１の中で、ユーザが指またはコンデンサペンなどを用いて、血管ｖｓ１の延出方向にそって、スーパーピクセルｓｐ１′に対応するスーパーピクセルｓｐ１がある位置を起点として線を連続的に引くことにより、血管ｖｓ１に対して手動的にラベル付けして、ラベル付与部１０３はユーザによるラベル付け、即ち、ラベルの付与を受け付けることで、ラベル付けされた引き線があるスーパーピクセルｓｐ１、ｓｐ２などを強調して表示し、血管ｖｓ１を徐々に表示する（ステップＳ１５）。

そして、スーパーピクセル計算部１０４は、スーパーピクセル分割図Ｓ１、即ち、超音波画像Ｐ１の上に連続的に線を引いてラベル付けすることで強調し表示された複数のスーパーピクセルおよびスーパーピクセル分割図Ｓ２、即ち、ＣＴ画像Ｐ２の上にラベル付けされた初期の画素に基づいて、スーパーピクセル分割図Ｓ２、即ちＣＴ画像Ｐ２の中で、超音波画像Ｐ１の複数のスーパーピクセルに対応するスーパーピクセルを計算し、強調して表示することにより、自動的にラベル付けする（ステップＳ１６）。

以下、図４、図６に基づいて、ＣＴ画像Ｐ２の中で対応するスーパーピクセルを計算する方法について説明する。そのうち、図６は、どのようにフローティング画像の中で対応するスーパーピクセルを探し出すかを説明するためのフローチャートである。

まず、図４（ａ）に示されているように、スーパーピクセル分割図Ｓ１に対して、中心点計算部１０４１が、連続的に線を引いてラベル付けされたスーパーピクセルｓｐ１およびスーパーピクセルｓｐ２の中心点座標ｘ１およびｘ２を計算する一方、スーパーピクセル分割図Ｓ２に対して、中心点計算部１０４１が、ラベル付けすることにより取得されたスーパーピクセルｓｐ１′の中心点座標ｙ１を計算し、マトリックス生成部１０４２が、中心点座標ｘ１、ｘ２およびｙ１に基づいて、スーパーピクセル分割図Ｓ１の血管ｖｓ１とスーパーピクセル分割図Ｓ２の血管ｖｓ２との間の変換マトリックスＴを生成する（ステップＳ１６１）。

その後、図４（ｂ）に示されているように、スーパーピクセル分割図Ｓ２、即ち、ＣＴ画像Ｐ２の中では、座標転換部１０４３は座標ｘ２と変換マトリックスＴを乗算することで、スーパーピクセル分割図Ｓ２のスーパーピクセルｓｐ２’の推測座標Ｃ（ｘ２）を取得する（ステップＳ１６２）。

そして、図４（ａ）に示されているように、スーパーピクセル分割図Ｓ１、即ち、超音波画像Ｐ１において、特徴取得部１０４５は、線引きラベル付けの中で後にラベル付けされた、即ち、最も新しくラベル付けされたスーパーピクセルｓｐ２の特徴ａ２＝（ａ２１，ａ２２，…，ａ２ｄ）を取得する（ステップＳ１６３）。

その後、図４（ｂ）に示されているように、スーパーピクセル分割図Ｓ２、即ち、ＣＴ画像Ｐ２において、選択部１０４４が、座標Ｃ（ｘ２）を中心とした半径ｒの範囲内で、一部が当該範囲内にあるスーパーピクセルｓｐｘ′を選択し、特徴取得部１０４５が、このスーパーピクセルｓｐｘ′に対して、特徴抽出部１０１により抽出された特徴の中から、その特徴ａｊ＝（ａｊ１，ａｊ２，…，ａｊｄ）を取得する（ステップＳ１６４）。

そして、類似度計算部１０４６は特徴ａｊとａ２とを同一のセットに入れ、即ち、セットａｋ＝（ａ２，ａｊ）＝（ａ２１，ａ２２，…，ａ２ｄ，ａｊ１，ａｊ２，…，ａｊｄ）を形成し、各特徴を対比することにより、特徴ａ２とａｊとの全体的な類似度ｓ２ｊを計算する。よって、スーパーピクセル分割図Ｓ１におけるスーパーピクセルｓｐ２とスーパーピクセル分割図Ｓ２におけるスーパーピクセルｓｐｘ′の特徴の類似度を計算する（ステップＳ１６５）。

その後、判断部１０４７は、座標Ｃ（ｘ２）を中心とした半径ｒの範囲内で全てのスーパーピクセルが選択されたかを判断する（ステップＳ１６６）。全てが選択されていないと判断した場合（ステップＳ１６６の「ＮＯ」）、ステップＳ１６４に戻り、図４（ｂ）に示されているように、スーパーピクセル分割図Ｓ２の中で、スーパーピクセルｓｐｙ′、ｓｐｚ′またはｓｐ２′を選択しその特徴を取得した後、ステップＳ１６５へ移行する。スーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′、ｓｐ２′が全て選択されたと判断した場合（ステップＳ１６６の「ＹＥＳ」）、決定部１０４８は、スーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′、ｓｐ２′のそれぞれの特徴とスーパーピクセルｓｐ２の特徴との類似度を比較することにより、もっとも類似する類似度を有するスーパーピクセルをＣＴ画像Ｐ２における対応するスーパーピクセルとして決定する（ステップＳ１６７）。ここで、スーパーピクセルｓｐ２′とスーパーピクセルｓｐ２の輝度値が最も類似しており、いずれも血管であり、かつ、形状も類似しているなどの理由で、ＣＴ画像Ｐ２において、スーパーピクセルｓｐ２′を超音波画像Ｐ１におけるスーパーピクセルｓｐ２に対応するスーパーピクセルとして決定することになる。

図７は、医用画像データに対して位置合わせを行った状態を示す図である。図７（ｂ）では、ＣＴ画像Ｐ２におけるスーパーピクセル分割図Ｓ２において、スーパーピクセルｓｐ１′（初期のスーパーピクセル）があるエリアのあるポイントがラベル付けされた場合、図７（ａ）では、超音波画像Ｐ１におけるスーパーピクセル分割図Ｓ１において、スーパーピクセルｓｐ１（初期のスーパーピクセル）があるエリアのあるポイントからスーパーピクセルｓｐ６があるエリアのあるポイントまでに、血管ｖｓ１の方向に沿って連続的に線を引くと、図７（ｂ）に示されているように、ＣＴ画像Ｐ２におけるスーパーピクセル分割図Ｓ２において、スーパーピクセルｓｐ６′までに自動的にラベル付けすることで、血管ｖｓ１に対応する血管ｖｓ２を自動的に探し出すことが可能になる。そのため、ユーザは超音波画像Ｐ１およびＣＴ画像Ｐ２の２枚の画像において同一の血管を簡単に探し出すことにより、迅速かつ正確な診断を行うことができる。

なお、スーパーピクセル計算部１０４の中に、特徴取得部１０４５および判断部１０４７を具備しなくても良く、特徴取得部１０４５を備えていない場合、特徴抽出部１０１によりスーパーピクセルの特徴を提供し、判断部１０４７を備えていない場合、図６におけるステップＳ１６６を省略することになる。この場合、ステップＳ１６４では、図４（ｂ）に示されているように、スーパーピクセル分割図Ｓ２、即ち、ＣＴ画像Ｐ２において、選択部１０４４が座標Ｃ（ｘ２）を中心とした半径ｒの範囲内で、一部が当該範囲内にある全てのスーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′およびｓｐ２′を選択し、特徴抽出部１０１により各スーパーピクセルの特徴を提供して、その後、ステップＳ１６５では、類似度計算部１０４６がスーパーピクセル分割図Ｓ１におけるスーパーピクセルｓｐ２とスーパーピクセル分割図Ｓ２におけるスーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′およびｓｐ２′それぞれとの特徴の類似度を計算した後、ステップＳ１６７では、決定部１０４８がスーパーピクセルｓｐｘ′、ｓｐｙ′、ｓｐｚ′、ｓｐ２′のうち、スーパーピクセルｓｐ２と特徴が最も類似しているスーパーピクセルをＣＴ画像Ｐ２における対応するスーパーピクセルとして決定する。

また、上述のように、図４を例にして対応するスーパーピクセルを計算する方法について説明した一方、図７では、スーパーピクセルｓｐ６′を計算する場合、スーパーピクセル分割図Ｓ１における血管ｖｓ１の各スーパーピクセルの中心点座標ｘ１、ｘ２、ｘ３、ｘ４、ｘ５およびスーパーピクセル分割図Ｓ２における血管ｖｓ２の前記各スーパーピクセルの中心点座標に対応するスーパーピクセルの中心点座標ｙ１、ｙ２、ｙ３、ｙ４、ｙ５に基づいて、血管ｖｓ１と血管ｖｓ２との間の変換マトリックスＴを計算し、スーパーピクセルｓｐ６の中心点座標ｘ６と変換マトリックスＴとを乗算することでスーパーピクセルｓｐ６′の中心点の推測座標を算出し、その後のスーパーピクセルｓｐ６′の計算方法について、図６におけるステップＳ１６３～ステップＳ１６７を参照する。

（第２の実施形態）
以下、図８～図１０に基づいて、第２の実施形態に係る医用画像診断装置２００を説明する。

また、第１の実施形態と異なる相違点のみについて説明し、第１の実施形態と同一の部分に対して対応する符号を付与し、重複な説明を省略し、または、説明を簡単化する。

図８は、医用画像診断装置２００の構造のブロック図であり、図９は、ＣＴ画像のスーパーピクセル分割図Ｓ２において計算されたスーパーピクセルが誤った場合に修正を行う説明図であり、図１０は、医用画像データの位置合わせ処理のフローチャートである。

図８に示されているように、医用画像診断装置２００は、特徴抽出部２０１と、画像分割部２０２と、ラベル付与部２０３と、スーパーピクセル計算部２０４と、修正入力部２０５とを具備する。

そのうち、特徴抽出部２０１、画像分割部２０２、ラベル付与部２０３およびスーパーピクセル計算部２０４の機能が、第１の実施形態における特徴抽出部１０１、画像分割部１０２、ラベル付与部１０３およびスーパーピクセル計算部１０４の機能と同一であるため、これらの説明は簡単化することとする。

特徴抽出部２０１は、医者などのユーザに選択された医用画像に対して、輝度値、勾配、形状、位置、およびヘッセ行列などの画像特徴を抽出する。

画像分割部２０２は、ユーザに選択された各医用画像に対してスーパーピクセル分割を行う。

ラベル付与部２０３は、ユーザが指またはコンデンサペンなどを用いてタッチパネルの上に表示されたスーパーピクセル分割図に対するラベル付け、即ちラベルの付与を受け付け、ラベル付けされたポイントがあるスーパーピクセルまたはラベル付けされたラインが通すスーパーピクセルを強調して表示することができる。

スーパーピクセル計算部２０４は、参照画像の上に連続的に線を引いてラベル付けすることで強調し表示した複数のスーパーピクセルに基づいて、フローティング画像に対応するスーパーピクセルを計算し、強調し表示する。

修正入力部２０５は、スーパーピクセル計算部２０４の計算結果（位置合わせ結果）に対して、ユーザ（操作者）によって当該計算結果が正当か否かを判断され、不正と判断された場合、ユーザがラベルの付与により行った修正の指示を受け付ける。

以下、図９に基づいて、修正入力部２０５の機能について説明する。

図９（ｂ）では、ＣＴ画像におけるスーパーピクセル分割図Ｓ２において、スーパーピクセルｓｐ１′（初期のスーパーピクセル）があるエリアのあるポイントでラベル付けされた場合、ラベル付与部２０３によりスーパーピクセルｓｐ１′を生成し、図９（ａ）では、超音波画像におけるスーパーピクセル分割図Ｓ１において、スーパーピクセルｓｐ１（初期のスーパーピクセル）があるエリアのあるポイントからスーパーピクセルｓｐ２、ｓｐ３を経由してスーパーピクセルｓｐ４があるエリアのあるポイントまでに、血管ｖｓ１の方向に沿って連続的に線を引くと、スーパーピクセルｓｐ２、ｓｐ３に対して、スーパーピクセル計算部２０４がスーパーピクセル分割図Ｓ２の血管ｖｓ２において、その対応するスーパーピクセルをｓｐ２′、ｓｐ３′として計算する一方、スーパーピクセルｓｐ４に対して、スーパーピクセル計算部２０４が、その対応するスーパーピクセルをｓｐ０′として計算する。この場合、ユーザが当該計算結果が不正、即ち、誤ったものであると意識し、指またはコンデンサペンなどで表示パネルをタッチして、スーパーピクセルｓｐ０′を正確なスーパーピクセルｓｐ４′までにドラッグする方式、または、先にスーパーピクセルｓｐ０′をクリックして、その後スーパーピクセルｓｐ４′をクリックするなどの方式によりラベルを付与することで修正の指示を行い、修正入力部２０５がユーザによる当該修正の指示を受け付ける。

以下、図９、図１０に基づいて、医用画像データの位置合わせ処理を説明する。

そのうち、ステップＳ２１～ステップＳ２６は第１の実施形態におけるステップＳ１１～ステップＳ１６と同一であるため、重複な説明を省略することになる。

ステップＳ２７では、ユーザによりスーパーピクセル計算部２０４の計算結果が正確であると判断された場合（ステップＳ２７の「ＹＥＳ」）、ステップＳ２５に戻し、超音波画像、即ち参照画像において血管を連続的かつ手動的にラベル付けする動作を継続する一方、ユーザによりスーパーピクセル計算部２０４の計算結果が不正であり、即ち誤ったと判断された場合（ステップＳ２７の「ＮＯ」）、ユーザがラベルを付与することで修正の指示を行い、修正入力部２０５がユーザによる当該修正の指示を受け付け、ラベル付与部２０３が当該修正の指示後のラベルに基づいて、当該ラベルがあるスーパーピクセルを強調して表示する方式により当該スーパーピクセルを生成し、図９（ｂ）に示されているように、誤ったスーパーピクセルｓｐ０′を正確なスーパーピクセルｓｐ４′に修正し、即ち、対応する正確なスーパーピクセルを手動で選択する（ステップＳ２８）。その後、ステップＳ２５に戻し、超音波画像、即ち参照画像の中で血管を連続的かつ手動的にラベル付けする動作を継続する。

そのため、スーパーピクセル計算部２０４の計算結果が誤った場合、誤ったスーパーピクセルを正確なスーパーピクセルに手動で修正することにより、ユーザがＣＴ画像、即ち、フローティング画像の中から超音波画像、即ち参照画像における血管ｖｓ１と同一の血管ｖｓ２を簡単に探し出すことができ、迅速かつ正確な診断を行うことが可能になる。

（第３の実施形態）
以下、図１１～図１２に基づいて、第３の実施形態に係る医用画像診断装置について説明する。

また、第２の実施形態と異なる相違点のみについて説明し、第２の実施形態と同一の部分に対して対応する記号を付与し、重複な説明を省略する。

図１１は、第３の実施形態に係る医用画像診断装置３００の構造のブロック図であり、図１２は、医用画像データの位置合わせ処理のフローチャートである。

医用画像診断装置３００は、特徴抽出部３０１と、画像分割部３０２と、ラベル付与部３０３と、スーパーピクセル計算部３０４と、修正入力部３０５と、トレーニング部３０６とを具備する。

そのうち、特徴抽出部３０１、画像分割部３０２、ラベル付与部３０３、スーパーピクセル計算部３０４および修正入力部３０５の機能が、第２の実施形態における特徴抽出部２０１、画像分割部２０２、ラベル付与部２０３、スーパーピクセル計算部２０４および修正入力部２０５の機能と同一であるため、これらの説明は簡単化することとする。

トレーニング部３０６は、以下の方式でスーパーピクセル計算部３０４をトレーニングする。即ち、修正入力部３０５により受け付けた修正の指示およびスーパーピクセル計算部３０４により計算されたスーパーピクセルの計算結果を記憶し、スーパーピクセルの正確な計算結果に大きな重みを付与し、修正の指示を行われた誤った計算結果に小さな重みを付与し、トレーニング過程のイテレーションに伴い、その後、正確なスーパーピクセルが選択される確率がますます高くなる。

以下、図１２に基づいて、医用画像データの位置合わせ処理を説明する。

そのうち、ステップＳ３１～ステップＳ３５、ステップＳ３７、ステップＳ３８は第２の実施形態におけるステップＳ２１～ステップＳ２５、ステップＳ２７、ステップＳ２８と同一であるため、重複な説明を省略することになる。

ステップＳ３９では、トレーニング部３０６が修正入力部３０５により受け付けた修正の指示およびスーパーピクセル計算部３０４により計算された正確なスーパーピクセルの計算結果に基づいてスーパーピクセル計算部３０４をトレーニングし、以後のスーパーピクセルの生成において正確なスーパーピクセルを生成するように、当該トレーニングの結果を以後のスーパーピクセルの生成に反映する。

ステップＳ３６では、スーパーピクセル計算部３０４が、トレーニング部３０６が当該スーパーピクセル計算部３０４に対してトレーニングを行うことで得られた以前のトレーニング結果を参考して、ＣＴ画像、即ちフローティング画像において超音波画像、即ち参照画像におけるスーパーピクセルに対応するスーパーピクセルを計算し、当該スーパーピクセルに対して自動的にラベル付けする。

上述の実施形態では、トレーニング部３０６がスーパーピクセル計算部３０４に対して行ったトレーニングにより、スーパーピクセル計算部３０４によるスーパーピクセルの計算結果をより正確にすることができ、ユーザがより迅速かつ正確な診断を行うことが可能になる。

また、上述の実施形態では、スーパーピクセル計算部３０４が、修正入力部３０５により受け付けた修正の指示を学習し、当該学習の結果を医用画像診断装置３００のスーパーピクセル計算部３０４による以後のスーパーピクセルの生成に反映する学習部、を有するように構成しても良い。

上述の実施形態では、超音波画像およびＣＴ画像を例として挙げられており、それらのデータ間の位置合わせが行われているが、他の撮像方法で撮像してえた画像であっても良い。また、説明の便宜上に、参照画像およびフローティング画像のような名称を用いているが、同一の患者に対して撮像した様々な画像であれば、他の名称を用いても良い。

（第４の実施形態）
さて、これまで第１～第３の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。

例えば、上述の実施形態では、２つの画像間での位置合わせについて説明したが、３つ以上の画像間での位置合わせにも適用できるものである。以下、超音波画像、ＣＴ画像及びＭＲ画像の位置合わせを例として説明する。

例えばまず、特徴抽出部１０１、特徴抽出部２０１又は特徴抽出部３０１（以下、単に特徴抽出部と記載する）は、超音波画像、ＣＴ画像及びＭＲ画像のそれぞれから、画像特徴を抽出する。次に、画像分割部１０２、画像分割部２０２又は画像分割部３０２（以下、単に画像分割部と記載する）は、抽出された画像特徴に基づいて、超音波画像、ＣＴ画像及びＭＲ画像のそれぞれについて複数の小区画を特定し、特定した複数の小区画に対応する複数のスーパーピクセルを生成する。

次に、ラベル付与部１０３、ラベル付与部２０３又はラベル付与部３０３（以下、単にラベル付与部と記載する）は、超音波画像、ＣＴ画像及びＭＲ画像のうち少なくとも１つの医用画像データに対してラベルを付与する。例えば、ラベル付与部は、操作者からの入力操作を受け付けることにより、超音波画像に対してラベルを付与する。

次に、スーパーピクセル計算部１０４、スーパーピクセル計算部２０４又はスーパーピクセル計算部３０４（以下、単にスーパーピクセル計算部と記載する）は、画像分割部により生成された複数のスーパーピクセルと、超音波画像に対して付与されたラベルとに基づいて、超音波画像、ＣＴ画像及びＭＲ画像の間での位置合わせを行なう。例えば、スーパーピクセル計算部は、まず、超音波画像においてラベルが付与されたスーパーピクセルに対応するスーパーピクセルを、ＣＴ画像において決定する。そして、スーパーピクセル計算部は、超音波画像においてラベルが付与されたスーパーピクセルと、ＣＴ画像において決定したスーパーピクセルとに基づいて、超音波画像とＣＴ画像との間の位置合わせを行なう。また、スーパーピクセル計算部は、超音波画像においてラベルが付与されたスーパーピクセルに対応するスーパーピクセルを、ＭＲ画像において決定する。そして、スーパーピクセル計算部は、超音波画像においてラベルが付与されたスーパーピクセルと、ＭＲ画像において決定したスーパーピクセルとに基づいて、超音波画像とＭＲ画像との間の位置合わせを行なう。なお、超音波画像とＣＴ画像との間の位置合わせ、及び、超音波画像とＭＲ画像との間の位置合わせが行われることにより、ＣＴ画像とＭＲ画像との間でも位置合わせされることとなる。

また、上述の実施形態では、ラベル付与部は、操作者からの入力操作を受け付けることにより、少なくとも１つの医用画像データに含まれる被検体の管状構造物に対してラベルを付与するものとして説明した。しかしながら、実施形態はこれに限定されるものではなく、ラベル付与部は、ラベルの付与を自動で実行することとしてもよい。

例えば、超音波画像とＣＴ画像との位置合わせにおいて、ラベル付与部は、超音波画像に対してラベルを付与する。ここで、ラベル付与部は、操作者からの入力操作を受け付けることによりラベルを付与してもよいし、自動でラベルを付与してもよい。一例を挙げると、ラベル付与部は、超音波画像に対するパターンマッチングを実行することで超音波画像に描出された血管の端部を抽出し、抽出した端部に位置するスーパーピクセルに対して、ラベルを付与する。そして、スーパーピクセル計算部は、超音波画像に対して自動で付与されたラベルに基づいて、超音波画像とＣＴ画像との間での位置合わせを行なう。

また、上述の実施形態では、スーパーピクセルを生成した後、スーパーピクセルに対してラベルを付与するものとして説明した。しかしながら、スーパーピクセルの生成、及び、ラベルの付与を行なう順序は任意である。例えば、スーパーピクセルの生成と、ラベルの付与とは並行して行なわれてもよい。また、医用画像データに対してラベルを付与した後、スーパーピクセルを生成することとしてもよい。

また、ラベルの付与を先に行なう場合、スーパーピクセルの生成は、付与されたラベルに基づいて行われてもよい。例えば、超音波画像とＣＴ画像との位置合わせにおいて、まず、ラベル付与部は、操作者からの入力操作を受け付けることにより又は自動で、超音波画像に対してラベルを付与する。即ち、ラベル付与部は、スーパーピクセル分割前の超音波画像に対してラベルを付与する。例えば、ラベル付与部は、ラベルとして、超音波画像上に引かれた線を付与する。

次に、画像分割部は、付与されたラベルに基づいて、超音波画像のスーパーピクセル分割を行なう。例えば、画像分割部は、まず、超音波画像上に引かれた線上に重心を有する小領域であって、隣接し且つ画像特徴が類似する一群の画素点からなる小領域を、スーパーピクセルとして生成する。次に、画像分割部は、生成したスーパーピクセルに隣接する小領域であって、隣接し且つ画像特徴が類似する一群の画素点からなる小領域をスーパーピクセルとして順次生成することで、超音波画像の全体をスーパーピクセル分割する。また、画像分割部は、画像特徴に基づいてＣＴ画像について複数の小区画を特定し、特定した複数の小区画に対応する複数のスーパーピクセルを生成する。そして、スーパーピクセル計算部は、超音波画像及びＣＴ画像について生成された複数のスーパーピクセルと、超音波画像に対して付与されたラベルとを用いて、超音波画像とＣＴ画像との間での位置合わせを行なう。

また、上述した実施形態では、医用画像診断装置１００や医用画像診断装置２００、医用画像診断装置３００等の医用画像診断装置が位置合わせを実行するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。

例えば、医用画像診断装置１００は図１３に示す医用画像診断システム１に含まれ、医用画像診断装置１００とネットワークＮＷを介して接続された画像処理装置４００が、位置合わせを実行してもよい。なお、図１３は、第４の実施形態に係る医用画像診断システム１の構成例を示すブロック図である。画像処理装置４００は、例えば、ワークステーション等のコンピュータ機器によって実現される。

図１３においては、画像処理装置４００が医用画像診断装置１００と接続される場合を示すが、画像処理装置４００は、医用画像診断装置１００に代えて、医用画像診断装置２００や医用画像診断装置３００と接続されてもよい。また、図１３においては、医用画像診断装置を１つ示すが、医用画像診断システム１は、複数の医用画像診断装置を含んでもよい。

例えば、画像処理装置４００は、上述した特徴抽出部、画像分割部、ラベル付与部及びスーパーピクセル計算部に相当する機能を有し、複数の医用画像データ間の位置合わせを行なう。一例を挙げると、画像処理装置４００は、ネットワークＮＷを介して、ＣＴスキャナである医用画像診断装置からＣＴ画像を取得し、超音波スキャナである医用画像診断装置から超音波画像を取得する。

或いは、画像処理装置４００は、ネットワークＮＷを介して、画像保管装置５００から医用画像データを取得することとしても構わない、例えば、画像保管装置５００は、ＣＴスキャナである医用画像診断装置から取得したＣＴ画像を、装置内又は装置外に設けられたメモリに記憶させる。また、画像保管装置５００は、超音波スキャナである医用画像診断装置から取得した超音波画像を、装置内又は装置外に設けられたメモリに記憶させる。そして、画像処理装置４００は、ネットワークＮＷを介して、画像保管装置５００からＣＴ画像及び超音波画像を取得する。画像保管装置２０は、例えば、サーバ装置等のコンピュータ機器によって実現される。

次に、画像処理装置４００は、超音波画像及びＣＴ画像のそれぞれについて複数の小区画を特定し、特定した複数の小区画に対応する複数のスーパーピクセルを生成する。また、画像処理装置４００は、超音波画像及びＣＴ画像のうち少なくとも一方に対してラベルを付与する。次に、画像処理装置４００は、生成した複数のスーパーピクセルと、超音波画像及びＣＴ画像のうち少なくとも一方に対して付与されたラベルとに基づいて、超音波画像とＣＴ画像との間での位置合わせを行なう。

また、上述の実施形態では、複数の医用画像データにおいて血管等の管状構造物を探し出すことにより位置合わせを行なうものとして説明したが、位置合わせに用いる部位は、管状構造物に限定されるものではない。即ち、上述の実施形態は、被検体の骨や軟組織といった他の部位を探し出すことで位置合わせを行なう場合についても同様に適用が可能である。

また、第１～第４の実施形態で説明した位置合わせ方法は、予め用意された処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上説明した少なくとも一つの実施形態によれば、同一の患者に対して様々な撮影方法により撮影した複数の画像の中で対応する同一の構造物を容易に探し出すことができ、モードの異なる画像間の位置合わせを実現することで、迅速かつ正確な診断を行うことができる。

以上、本発明の複数の実施形態を説明したが、これらの実施形態は、例として提示されたものであり、発明の範囲を限定することは意図していない。これら新たな実施形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲にも含まれる。

１００ 医用画像診断装置
１０１ 特徴抽出部
１０２ 画像分割部
１０３ ラベル付与部
１０４ スーパーピクセル計算部

Claims (12)

1. 複数の医用画像データのそれぞれについて複数の小区画を特定し、当該複数の小区画に対応する複数のスーパーピクセルを生成する生成部と、
   前記複数の医用画像データのうち少なくとも１つの医用画像データに対してラベルを付与するラベル付与部と、
   前記複数のスーパーピクセル及び前記ラベルを用いて、前記複数の医用画像データ間の位置合わせを行なう位置合わせ部と
   を備え、
   前記複数の医用画像データは、第１の画像データと第２の画像データとを含んでおり、
   前記生成部は、前記第１の画像データ及び前記第２の画像データのそれぞれについて複数のスーパーピクセルを生成し、
   前記位置合わせ部は、前記第１の画像データの第１画像の上に連続的に線を引いてマーキングすることで生成した前記ラベルが付与された第１のスーパーピクセルに対応する第２のスーパーピクセルを前記第２の画像データにおいて決定し、前記第１のスーパーピクセルと前記第２のスーパーピクセルとに基づいて、第１の画像データと第２の画像データとの間の位置合わせを行なう、医用画像診断装置。
2. 前記ラベル付与部は、前記複数の医用画像データのうち少なくとも１つの医用画像データにおける少なくとも１つのスーパーピクセルに対して、前記ラベルを付与する、請求項１に記載の医用画像診断装置。
3. 前記生成部は、前記複数の医用画像データのうち前記ラベルが付与された医用画像データについて、当該ラベルに基づいて複数の小区画を特定することで、当該複数の小区画に対応する複数のスーパーピクセルを生成する、請求項１に記載の医用画像診断装置。
4. 前記ラベル付与部は、操作者からの入力操作を受け付けることにより、前記複数の医用画像データのうち少なくとも１つの医用画像データに対して前記ラベルを付与する、請求項１～３のいずれか一項に記載の医用画像診断装置。
5. 前記位置合わせ部における位置合わせ結果に対し、操作者による前記ラベルの付与による修正指示を受け付ける修正入力部をさらに備え、
   前記生成部は、修正指示されたラベルに基づくスーパーピクセルを再生成する、請求項１～４のいずれか１項に記載の医用画像診断装置。
6. 前記修正入力部が受け付けた修正指示を学習し、当該学習の結果を以降のスーパーピクセルの生成に反映させる学習部をさらに備える、請求項５に記載の医用画像診断装置。
7. 前記ラベル付与部は、前記複数の医用画像データのうち少なくとも１つの医用画像データに含まれる被検体の部位に対して前記ラベルを付与する、請求項１～６のいずれか一項に記載の医用画像診断装置。
8. 前記部位は管状構造物である、請求項７に記載の医用画像診断装置。
9. 前記管状構造物は血管である、請求項８に記載の医用画像診断装置。
10. 前記位置合わせ部は、
    スーパーピクセルの重心を当該スーパーピクセルの中心点として計算する中心点計算部と、
    第１の画像データにおける第１の部位の少なくとも２つのスーパーピクセルの中心点の座標及び第２の画像データにおける第２の部位の、前記少なくとも２つのスーパーピクセルに対応するスーパーピクセルの中心点の座標によって、前記第１の部位と前記第２の部位との間の変換マトリックスを生成するマトリックス生成部と、
    前記第１の部位の第１のスーパーピクセルの中心点の座標と前記変換マトリックスによって、前記第２の部位の、前記第１のスーパーピクセルに対応する第２のスーパーピクセルの中心点の推測座標を生成する座標転換部と、
    前記推測座標を中心とする規定の半径の範囲で、複数のスーパーピクセルを選択する選択部と、
    前記第１の部位の前記第１のスーパーピクセルの特徴と前記選択部が選択した前記複数のスーパーピクセルのそれぞれの特徴との類似度を計算する類似度計算部と、
    前記第２の部位の、前記選択部が選択した前記複数のスーパーピクセルにおける特徴の類似度が最も高いスーパーピクセルを、前記第２のスーパーピクセルとして決定する決定部とを含む、請求項７～９のいずれか１項に記載の医用画像診断装置。
11. 複数の医用画像データのそれぞれについて複数の小区画を特定し、当該複数の小区画に対応する複数のスーパーピクセルを生成する生成部と、
    前記複数の医用画像データのうち少なくとも１つの医用画像データに対してラベルを付与するラベル付与部と、
    前記複数のスーパーピクセル及び前記ラベルを用いて、前記複数の医用画像データ間の位置合わせを行なう位置合わせ部と
    を備え、
    前記複数の医用画像データは、第１の画像データと第２の画像データとを含んでおり、
    前記生成部は、前記第１の画像データ及び前記第２の画像データのそれぞれについて複数のスーパーピクセルを生成し、
    前記位置合わせ部は、前記第１の画像データの第１画像の上に連続的に線を引いてマーキングすることで生成した前記ラベルが付与された第１のスーパーピクセルに対応する第２のスーパーピクセルを前記第２の画像データにおいて決定し、前記第１のスーパーピクセルと前記第２のスーパーピクセルとに基づいて、第１の画像データと第２の画像データとの間の位置合わせを行なう、画像処理装置。
12. 複数の医用画像データのそれぞれについて複数の小区画を特定し、当該複数の小区画に対応する複数のスーパーピクセルを生成し、
    前記複数の医用画像データのうち少なくとも１つの医用画像データに対してラベルを付与し、
    前記複数のスーパーピクセル及び前記ラベルを用いて、前記複数の医用画像データ間の位置合わせを行なうことを含む、位置合わせ方法であって、
    前記複数の医用画像データは、第１の画像データと第２の画像データとを含んでおり、
    前記複数のスーパーピクセルを生成するステップでは、前記第１の画像データ及び前記第２の画像データのそれぞれについて複数のスーパーピクセルを生成し、
    前記複数の医用画像データ間の位置合わせを行なうステップでは、前記第１の画像データの第１画像の上に連続的に線を引いてマーキングすることで生成した前記ラベルが付与された第１のスーパーピクセルに対応する第２のスーパーピクセルを前記第２の画像データにおいて決定し、前記第１のスーパーピクセルと前記第２のスーパーピクセルとに基づいて、第１の画像データと第２の画像データとの間の位置合わせを行なう、位置合わせ方法。