JP6502070B2 - 超音波診断装置、医用画像処理装置及び医用画像処理方法 - Google Patents

超音波診断装置、医用画像処理装置及び医用画像処理方法 Download PDF

Info

Publication number
JP6502070B2
JP6502070B2 JP2014238275A JP2014238275A JP6502070B2 JP 6502070 B2 JP6502070 B2 JP 6502070B2 JP 2014238275 A JP2014238275 A JP 2014238275A JP 2014238275 A JP2014238275 A JP 2014238275A JP 6502070 B2 JP6502070 B2 JP 6502070B2
Authority
JP
Japan
Prior art keywords
image
types
knowledge base
predetermined area
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014238275A
Other languages
English (en)
Other versions
JP2016097197A5 (ja
JP2016097197A (ja
Inventor
阿部 康彦
康彦 阿部
哲也 川岸
哲也 川岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2014238275A priority Critical patent/JP6502070B2/ja
Priority to US14/945,786 priority patent/US20160147794A1/en
Publication of JP2016097197A publication Critical patent/JP2016097197A/ja
Publication of JP2016097197A5 publication Critical patent/JP2016097197A5/ja
Application granted granted Critical
Publication of JP6502070B2 publication Critical patent/JP6502070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20128Atlas-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)

Description

本発明の実施形態は、例えば心臓内腔等の検査部位の輪郭を自動検出するためにナレッジベース辞書を用いる超音波診断装置、医用画像処理装置及び医用画像処理方法に関する。
超音波を被検体に照射し、その反射波を用いて被走査領域を画像化することで、医師等の検者が適切な診断を行う超音波画像診断が広く普及している。そして、当該超音波画像診断に用いられる診断画像(例えば、Bモード画像、ボリュームデータから得られたMPR画像、Mモード画像、ドプラ画像等)より、例えば心臓内腔の輪郭(又は境界位置)等を取得し、更に医師が当該輪郭を用いて、所定の計測値(例えば心臓内腔容積等)を得ようとする場面は、往々にして存在する。
近年では、当該輪郭の取得に、ナレッジベース辞書(認識型データベース又は形状辞書)を用いた自動検出手段(ACT:Automated Contour Trace)が知られている。本明細書において、ナレッジベース辞書とは、データベース作成用の画像を入力として用いて、正解の輪郭(境界位置)を教示者(ヒト)が与えるという学習過程を経て作成されるデータベースを指すものとする。ACTには、使用者(医師等の検者)の補助的操作を全く必要としない全自動型の手段もあれば、使用者に生体構造の所定の位置を数点指定させてから、当該指定された点に基づいて適当な輪郭を検出する手段もある。いずれの手段であれ、ナレッジベース辞書は、医師等の検者による輪郭の教示に基づき、それを学習ソースとすることで、生成、更新される。
ところで、超音波診断装置によって得られた超音波画像(エコー画像)は、磁気共鳴イメージング装置より得られた磁気共鳴イメージング画像(MRI画像)やX線コンピュータ断層撮影装置より得られたX線コンピュータ断層画像(CT画像)に比して、解像度が低い。このため、同一解剖学的部位に関する断層画像(例えば心臓内腔の断層画像)であっても、解像度の差異により、ヒト(検者)が認識する輪郭が異なる。図6に示すように、エコー画像を用いた輪郭定義(エコー定義)は、境界部位の鮮鋭度が低い(境界部位にボケが発生する)ために、当該輪郭を、MRI画像を用いた輪郭定義(MRI定義)や高解像なCT画像を用いた輪郭定義に比して、内側に認識する傾向がある。また、同一の輪郭定義であっても、検者の経験等により、輪郭の認識にバラツキ(分散)が生じることが往々にしてある。
ナレッジベース辞書の生成、更新時において、学習ソースに、上述の解像度に基づく輪郭の差異や検者毎の輪郭のバラツキが含まれてしまうと、ACTより検出された輪郭に対する信頼性や客観性が損なわれてしまうという問題が生じる。
特許第5072625号公報 WO2008/044441号公報
目的は、ナレッジベース辞書を複数種別持ち、使用者が所望の種別の辞書を選択可能な超音波診断装置、医用画像処理装置及び医用画像処理方法を提供することにある。
実施形態に係る超音波診断装置は、被検体の所定領域において、異なる種別に応じた輪郭位置を検出するために、それぞれが学習過程を経て作成されるナレッジベースの複数の種別のデータベースと、前記複数の種別のデータベースの中から、使用者に所望されたデータベースを選択するための入力部と、前記選択されたデータベースを使用することで、入力画像としての超音波画像上において、前記選択されたデータベースの種別に応じた前記輪郭位置を検出する検出部と、を具備することを特徴とする。
図1は、実施形態に係る超音波診断装置の構成を示すブロック図である。 図2は、実施形態に係る超音波診断装置において、心尖4腔像のエコー画像に対して、エコー定義とMRI定義とを適用し、ACTにて輪郭を検出した結果を示す図である。 図3は、実施形態に係る超音波診断装置の動作例を示すフローチャートである。 図4は、実施形態に係る超音波診断装置において、Mモード画像と、拡張末期時相及び収縮末期時相における前壁中隔側の内外膜位置と、後壁側の内外膜位置とを示す図である。 図5は、実施形態に係る超音波診断装置において、ドプラ画像と、CWドプラ波形における拡張期の大動脈弁逆流のエンベロープ位置のトレースラインとを示す図である。 図6は、従来技術一例として、エコー画像を用いた輪郭定義(エコー定義)と、MRI画像を用いた輪郭定義(MRI定義)との差異を示す図である。
以下、図面を参照しながら本実施形態を説明する。なお、以下の説明において、略同一の構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、実施形態に係る超音波診断装置1の構成を示すブロック図である。超音波診断装置1は、超音波プローブ2と、装置本体3と、入出力ユニット4とを有する。加えて超音波診断装置1には、外部と通信可能なネットワーク6が、装置本体3の有するインターフェースユニット50を介して、接続されてもよい。
超音波プローブ2は、複数の圧電振動子と、整合層と、複数の圧電振動子の背面側に設けられるバッキング材とを有する。複数の圧電振動子は、圧電セラミックス等の音響/電気可逆的変換素子である。複数の圧電振動子は並列され、超音波プローブ2の先端に設けられる。圧電振動子は、送受信ユニット20における送信回路から送信及び供給される駆動パルスに応答して、超音波を発生させる。
超音波プローブ2を介して被検体に超音波が照射されると、照射された超音波は、被検体内の生体組織における音響インピーダンスの不連続面で反射される。圧電振動子は、反射された超音波を受信し、エコー信号を発生させる。送受信ユニット20における受信回路(後述)は、当該エコー信号を受信するとともに、エコー信号に基づく受信信号を、後述のエコー画像生成ユニット30に送信する。
エコー信号の振幅は、超音波の反射に関する不連続面を境界とする音響インピーダンスの差に依存する。超音波発生のための(送信用)圧電振動子と、エコー信号発生のための(受信用)圧電振動子とは、例えば、離散的な超音波(パルス波)を照射する場合、送信のタイミングと受信のタイミングとを決めることで、同一の圧電振動子を使い分けてもよい。或いは、例えば、連続的な超音波(連続波)を照射する場合、送信用の圧電振動子と受信用の圧電振動子とを別個に搭載してもよい。送信超音波が移動している血流、及び心臓壁等の表面で反射された場合のエコー信号の周波数は、ドプラ効果により、移動体(血流及び心臓壁の表面)の超音波送信方向の速度成分に依存して偏移する。
装置本体3は、CPU10(Central Processing Unit)、送受信ユニット20、エコー画像生成ユニット30、記憶ユニット40、及びインターフェースユニット50を有する。
CPU10は、主として超音波診断装置1の動作全般に係る制御を担う。なお、CPU10による具体的な制御の例については、他の部分の説明の際に関連させて後述する。
送受信ユニット20は、例えば、送信回路、受信回路、シーケンスコントローラ等を有する。
送信回路は、前述の通り、駆動パルスを、超音波プローブ2における複数の圧電振動子各々に送信する。
受信回路は、前述の通り、各圧電振動子によって発生されたエコー信号に基づく受信信号を発生させ、当該受信信号をエコー画像生成ユニット30に送信する。
シーケンスコントローラは、超音波発生のための駆動パルスの送信シーケンスを、高い時間分解能(例えば数百ミリ秒オーダ)にて制御する。
エコー画像生成ユニット30は、例えば、Bモード処理器、ドプラ処理器、画像生成器等を有する。
Bモード処理器は、包絡線検波回路、対数変換回路等を有する。包絡線検波回路は、受信回路から出力された受信信号に対して包絡線検波を実行する。包絡線検波回路は、包絡線検波された信号を、対数変換回路に出力する。対数変換回路は、包絡線検波された信号に対して、対数変換して弱い信号を相対的に強調する。Bモード処理器は、対数変換回路により強調された信号に基づいて、各走査線及び各超音波送受信における深さ毎の信号値を発生させる。なお、Bモード処理器は、各走査線及び各超音波送受信における深さ毎の信号値の代わりに、ボリュームデータを発生させてもよい。以下、Bモード処理器で発生されるデータをまとめて、Bモードデータ呼ぶ。
ドプラ処理器は、ミキサー、低域通過フィルタ(Low Pass Filter:LPF)、速度/分散/Power演算回路等を有する。ミキサーは、受信回路から出力された受信信号に、送信周波数と同じ周波数fを有する基準信号を掛け合わせる。この掛け合わせにより、ドプラ偏移周波数fの成分の信号と(2f+f)の周波数成分を有する信号とが得られる。LPFは、ミキサーからの2種の周波数成分を有する信号のうち、高い周波数成分(2f+f)の信号を取り除く。高い周波数成分(2f+f)の信号を取り除くことにより、ドプラ偏移周波数fの成分を有するドプラ信号を発生させる。
なお、ドプラ処理器は、ドプラ信号を発生させるために、直交検波方式を用いてもよい。このとき、受信信号は、直交検波されIQ信号に変換される。ドプラ処理器は、IQ信号を複素フーリエ変換することにより、ドプラ偏移周波数fの成分を有するドプラ信号を発生させる。ドプラ信号は、例えば、血流、組織、造影剤によるドプラ成分である。速度/分散/Power演算回路は、MTI(Moving Target Indicator)フィルタ、LPF、自己相関演算回路等を有する。なお、自己相関演算回路の代わりに相互相関演算回路を有していてもよい。MTIフィルタは、発生されたドプラ信号に対して、臓器の呼吸性移動や拍動性移動等に起因するドプラ成分(クラッタ成分)を除去する。MTIフィルタは、ドプラ信号から血流に関するドプラ成分を抽出するために用いられる。LPFは、ドプラ信号から組織の移動に関するドプラ成分を抽出するために用いられる。
画像生成器は、ディジタルスキャンコンバータ(Digital Scan Converter:DSC)と画像メモリとを有する。画像生成器は、DSCに対して、座標変換処理(リサンプリング)を実行する。座標変換処理とは、例えば、Bモードデータ、ドプラデータ及び伝搬時間データからなる超音波スキャンの走査線信号列を、テレビ等に代表される一般的なビデオフォーマットの走査線信号列に変換する処理である。画像生成器は、座標変換処理により、表示画像としてのエコー画像を生成する。具体的には、画像生成器は、Bモードデータに基づいて、Bモード画像を発生させる。画像生成器は、ドプラデータに基づいて、平均速度画像、分散画像、パワー画像等のドプラ画像を発生させる。また、エコー画像に、種々のパラメータの文字情報(アノテーション)及び目盛等を合成した重畳画像を生成してもよい。
記憶ユニット40(記憶部)は、超音波診断装置1の制御プログラム、診断プロトコル、送受信条件等の各種データ群、診断情報(患者ID、医師の所見等)、受信回路より発生された受信信号、Bモード処理器より発生されたBモードデータ、ドプラ処理器より発生されたドプラデータ、及び複数種別のナレッジベース辞書を記憶する。
記憶ユニット40は、図示しないメモリを備えており、生成されたエコー画像(Bモード画像、平均速度画像、分散画像、パワー画像等)に対応するデータ(画像データ)を記憶する。当該メモリに記憶された画像データは、後述する入出力ユニット4の入力器4aを介した操作者の指示により、読み出される。当該メモリは、例えば、フリーズする直前の複数のフレームに対応するエコー画像を保存するメモリである。このシネメモリに記憶されている画像を連続表示(シネ表示)することで、エコー画像を入出力ユニット4のモニタ4bに表示することも可能である。CPU10は、例えば、記憶ユニット40に記憶されたプログラムを実行する。CPU10は、複数種別のナレッジベース辞書のうち、使用者が所望する種別のナレッジベース辞書の選択指示に応答して、記憶ユニット40に記憶された当該ナレッジベース辞書を読み出し、ACTを実行する。
インターフェースユニット50は、入出力ユニット4及びネットワーク6に関するインターフェースである。装置本体3によって得られたエコー画像等のデータ及び解析結果等は、インターフェースユニット50とネットワーク6とを介して、他の装置に転送可能である。なお、インターフェースユニット50は、ネットワーク6を介して、他の医用画像診断装置で取得された被検体に関する医用画像を、ダウンロードすることも可能である。
入出力ユニット4は、トラックボール、スイッチボタン、マウス、キーボード等の入力器4aと、CRTや液晶ディスプレイ等のモニタ4bとを有する。
入力器4aは、インターフェースユニット50に接続され、使用者からの各種指示・命令・情報・選択・設定を装置本体3に取り込む。特に使用者は、複数種別のナレッジベース辞書から適当な種別のナレッジベース辞書を、入力器4aを介して選択することができる(選択手段)。
モニタ4bは、主として、画像生成器で生成されたエコー画像や、ACTにより検出された輪郭の提示情報を含むエコー画像(重畳画像)等を、表示する。
(ナレッジベース辞書の種別)
超音波診断装置1が有する複数種別のナレッジベース辞書(軸a、b及びc)について、説明する。
[軸a(第1の種別)]モダリティによる「定義」位置の違い
「肉柱や鍵索を内膜と誤解しにくいMRI画像を用いた診断従事者が想定する内膜境界位置(MRI定義)から得られたナレッジベース辞書」及び「エコー画像を用いた標準的な診断従事者が想定する内膜境界位置定義(エコー定義)から得られたナレッジベース辞書」という異なる定義の選択について、使用者に自由度を与える。図2に、両者の定義位置の違いの一例を示す。心尖4腔像によるエコー画像に対して、実線でエコー定義による左心室心筋の内外膜の輪郭位置を示し、破線でMRI定義による内膜の輪郭位置を示す。MRI定義の方が、エコー定義に比して、心尖部や側壁側で心腔側より外側となっている。このように両者の定義位置は同じではなく、差異は構造物の位置に依存していて一様ではないことが分かる。
[軸b(第2の種別)]検者間「認識」位置の違い
(b−1)
「エキスパート(超音波診断専門家)のXX先生が教示した位置に基づくナレッジベース辞書」と「多数の超音波診断従事者が教示した平均的位置に基づくナレッジベース辞書」というナレッジベース辞書作成時における、認識のバラツキ(分散)軽減手段コンセプトの選択の自由度を、使用者に与える。教示者に依存する認識位置の違いがあっても、実際の境界位置(仮想的な真の位置)に近づけるための辞書作りには、大きくこの二つの手段があるためである。なお、後者のコンセプトのナレッジベース辞書は、複数のエキスパートによる平均的位置を用いて得ても構わない。
CT画像であればCT値により、心筋組織と血液とを区別するのが相対的に容易となるのに対して、エコー画像の輝度信号は明確な物理的単位を持たないので、心筋と心腔内(血液)との境界を明確に区別することは困難であり、その位置認識にはヒトによる判断が介入する。それ故に、超音波診断による輪郭位置は、心筋と心腔との仮想的な境界位置として推定される。
このような状況において、個人の認識のバラツキの影響を軽減するための上記二つのコンセプトは、一般的に研究が広く行われている。前者は、エキスパートの認識バイアスの存在を逆に利用することで、平均的な認識バイアスを有するエキスパートを上手に選ぶことによりバラツキを軽減する。後者は、個々人の認識バイアスの程度を平均処理によって減少することでバラツキを軽減する。
(b−2)
変形例として、PCや携帯電話で広く用いられている学習型の漢字変換辞書のように、ナレッジベース辞書を学習し、辞書データを更新する構成(学習手段)を持ち、「病院施設A、B又はC」や「検者x、y又はz」のように、異なる施設や異なる検者で個別に作成されたナレッジベース辞書について、使用者が作成元の属性を把握して選択する自由度を与える。これは(b−1)と異なり、施設や検者毎の好みやルールを個別のナレッジベース辞書として学習して選択可能とする構成である。ここで、(b−1)によるナレッジベース辞書と(b−2)によるナレッジベース辞書とを種別として選べるようにしても良い。
また、(b−2)の構成を用いて、(b−1)で示したエキスパートのYY先生、ZZ先生として学習されたナレッジベース辞書を複数作成し、これを種別として選べるようにしても良い。
このようにすれば、ナレッジベース辞書を作成する事業者が提供した際の辞書の中身が動的に変更されていくような場合であっても、ナレッジベース辞書の作成元となった施設や検者を特定することで客観性が確保される。
更に、事業者がナレッジベース辞書を作成する際に、所定の施設や検者に対して、装置上における日常的な検査時に使用者による輪郭情報の入力適用が一定数に至るまで自動的に輪郭位置を学習させることが可能となり、ナレッジベース辞書作成の手間が軽減する。
ここで、使用者が要手的手段で輪郭設定を行うか、ACTのような自動的手段で輪郭設定を行い、計測作業を行った場合には自動的に入力適用とみなす。あるいは専用のユーザインターフェースを設けて、使用者が現在設定されている状態を妥当な設定として明示的に入力適用を行う。この入力適用に応じて、ナレッジベース辞書の学習と辞書データの更新が行われる。
[軸c(第3の種別)]参照画像の「解像度」の違い
ナレッジベース辞書作成に用いる画像(参照画像)として、「輪郭検出に用いるエコー画像群と同等の解像度を有するエコー画像群(同等エコー画像)」と「輪郭検出に用いるエコー画像群より解像度の高いMRI画像群やCTの画像群(異なるモダリティ画像)」という異なる画像の選択について自由度を与える。軸a及びbでは、辞書作成に用いる画像と、実際の輪郭検出に用いる画像は同じ種別によるエコー画像であることを想定していた。これは、ナレッジベース辞書作成に用いる画像(参照画像)の種別と、ナレッジベース辞書と照合される輪郭検出用の入力画像の種別が同一であると、輝度情報のパターンが似ていることから一般に照合時の精度を高めやすいためである。この場合には、ナレッジベース辞書は輪郭から得られる形状空間のベクトル情報と輝度情報との両者を用いて構成されるのが好適である。
しかしながら、軸aのようにエコー定義とは異なる定義によるナレッジベース辞書を作成する場合には、例えばMRI画像を用いて境界位置を判断し、MRI画像を用いてナレッジベース辞書を作成する方が自然である。というのも、エコー画像を用いて軸aのように異なる定義による輪郭位置を教示するためには、仮にMRIであったなら境界位置はこの辺となるという高度な経験と判断とを教示者に強いるためである。
この場合には、輪郭から得られる形状空間のベクトル情報のみを用いたナレッジベース辞書を構成し、照合時には入力となるエコー画像から輝度情報に基づく輪郭位置Cbを推定して、ナレッジベース辞書による輪郭位置Cdと比較・照合することで、所定の基準に基づく制約下でCdに最寄りの位置としてCbを変形することで最終的な輪郭位置Cb’を検出する。所定の基準としては、例えばSnakesアルゴリズムとして知られている輪郭形状エネルギー最小化法等を用いる。
なお、後者の画像としては、異なるモダリティ画像以外にも、中心周波数の高いプローブを用いて得られた、より解像度の高いエコー画像群(高周波エコー画像)を用いても良い。例えば、輪郭検出に用いるエコー画像は、主に成人用に用いられる中心周波数3MHz帯域のプローブで得られる画像を用い、ナレッジベース辞書作成には、主に小児用に用いられる中心周波数5MHz帯域のプローブで得られる画像を用いるのが好適である。
この例では、ナレッジベース辞書作成時にも輪郭検出時にもエコー画像が用いられるので、ナレッジベース辞書作成時の教示者の制約を軽減しつつ、ナレッジベース辞書に輝度情報を付加することも可能となる。そして、より解像度の高い超音波の画像を用いることで、ボケによる内腔の境界位置の認識誤差を減らすという作用も得られる。
これらのようにすれば、使用者が用途に応じたナレッジベース辞書を選択することで、ACTで異なる種別による輪郭位置が得られる。具体的な用途として、内腔容積の測定においてエコー定義位置も用いつつ、必要に応じてMRI定義位置が選べることで、対MRIにおける内腔容積の過小評価の程度が減らせる。更に、各位置定義に対して、ナレッジベース辞書作成時における検者間の認識位置の違いを、どのようなコンセプトで軽減するかが選べる。
或いは、検者間の認識位置の違いについては、権威のサイトや特定可能なエキスパート検者に倣うように選ぶこともできる。これとは別に、ナレッジベース辞書を作成するのに用いられた画像がどのようなモダリティの画像であるかを明示的に選択することも可能である。
(変形例1)
上記、三の種別の軸は互いに独立である。従って、軸a、b及びcの種別から異なる二つの種別の軸を組み合わせて、新たな種別を得ることが可能である。組み合わせで得られる種別には、上記個別の種別に関する効果や作用が複合的に含まれるので、各々の種別に固有の意味が発生する。
使用者はこれらの固有の意味を勘案して、用途に応じて最適なナレッジベース辞書を選択することが可能となる。この場合には、使用者が把握し易いように、選択肢として存在する各ナレッジベース辞書がもたらす特徴(上記固有の意味)を、ナレッジベース辞書の選択時に補足説明として表示しておくのが好適である。
なお、Bモードの2D断層像だけでなく、ボリュームデータから得られるMPR像といった断面画像を入力画像として、ナレッジベース辞書を用いた輪郭認識を適用しても構わない。対象とする臓器(所定部位)は心臓に限らず、頸動脈等の動脈血管であっても良い。検出された内外膜の輪郭を、Speckle−Tracking(ST)法でストレイン(Strain)等の心機能指標値を得る際の心筋の関心領域として、追跡を開始する初期輪郭として用いてもよい。
(動作例)
図3は、実施形態に係る超音波診断装置の動作例を示すフローチャートである。ここでは、2D断層像(Bモード画像)を扱うものとする。以下、図3記載の各ステップに沿って説明する。
(ステップS1)
使用者は、超音波プローブ2を手に持ちながら、被検体に超音波を送受信することで得られた超音波画像を用いて診断を行う。当該診断結果は、エコー画像生成ユニット30より生成されたエコー画像(所定期間に亘る動画像であるBモード画像)として得られる。
(ステップS2)
使用者は、入出力ユニット4を介して、エコー画像生成ユニット30より生成された、所定期間に亘るエコー画像のうち、所定時相のエコー画像を、入力画像とするように、指示を入力する。CPU10は、当該指示に応答して、記憶ユニット40に記憶されている所定のプログラムを実行することで、エコー画像生成ユニット30より生成されたエコー画像を、入力画像に設定する。
(ステップS3)
使用者は、入出力ユニット4を介して、少なくとも一つの所望の種別のナレッジベース辞書を選択する(指示を入力する)。なお、この所望の種別は、実行された所定のプログラムにプリセット設定として予め登録しておくのが好適である。このようにすれば、使用者は明示的にナレッジベース辞書の種別を入力しなくても、デフォルトの設定として種別の選択が行われる。CPU10は、当該指示に応答して、記憶ユニット40に記憶されている所定のプログラムを実行することで、選択されたナレッジベース辞書を、輪郭検出に用いるナレッジベース辞書に設定する。
(ステップS4)
使用者は、入出力ユニット4を介して、輪郭検出に用いる所定数の点を指定する(指示を入力する)。CPU10は、当該指示に応答して、記憶ユニット40に記憶されている所定のプログラムを実行することで、指定された所定数の点を設定する。
なお、本ステップは、全自動型のACTを使用する場合には、省略される。
(ステップS5)
ステップS3で設定された少なくとも一つの所望のナレッジベース辞書と、ステップS4で設定された所定数の点とに基づいて、CPU10は、記憶ユニット40に記憶されている所定のプログラムを実行することで、内膜輪郭及び外膜輪郭を検出する。
(ステップS6)
ステップS5で検出された内膜輪郭及び外膜輪郭に基づいて、CPU10は、記憶ユニット40に記憶されている所定のプログラムを実行することで、所定時相、例えば、拡張末期(ED)及び収縮末期(ES)、の時相における内腔容積(EDV及びESV)をそれぞれ計測する。
(ステップS7)
ステップS6で計測された拡張末期及び収縮末期、の時相における内腔容積に基づいて、CPU10は、記憶ユニット40に記憶されている所定のプログラムを実行することで、心筋容積を計測する。
(変形例2)
超音波画像診断では、Bモード画像を用いる以外に、Mモード画像やドプラ画像等が用いられており、またそれらを用いた所定の計測が行われている。
実施形態に係る超音波診断装置1では、当該複数種別のナレッジベース辞書に基づくACTを、2D像(Bモード画像)以外に、Mモード画像やドプラ画像へ適用してもよい。
図4にMモード画像と、計測の例としてED時相およびES時相における前壁中隔側の内外膜位置および後壁側の内外膜位置を示す。Mモード画像中の心筋の境界位置は単純な輝度情報のエッジとして検出するのは困難である。図中でも特に後壁側には沢山の境界位置の候補が見て取れる。このような画像から心筋の所定の境界位置を自動的に得るために、ナレッジベース辞書に基づいて自動検出するのが好適である。
また、図5にドプラ画像と、計測の例としてCWドプラ波形における拡張期の大動脈弁逆流のエンベロープ位置をトレースラインとして示す。図5では収縮期に本来の左室流出血流と僧帽弁逆流波形が混在しており、所定のエンベロープのみを検出するのが単純な状況ではない。また、エンベロープの境界位置は、ドプラのゲイン設定によって認識位置に違いが生ずる。このような画像から心筋の所定の境界位置を自動的に得るために、ナレッジベース辞書に基づいて自動検出するのが好適である。
このような画像に対して、境界位置のナレッジベース辞書に基づいて自動検出する際に、複数種別のナレッジベース辞書の中から、使用者が用途に応じて所定の種別のナレッジベース辞書を選択することができる。
種別の軸としては、軸b(b−1及びb−2)がMモード画像やドプラ画像の両者に適用可能である。
更に、Mモード画像の場合には、軸cについて、中心周波数の高いプローブを用いて得られた、より解像度の高いエコー画像群(高周波エコー画像)を用いる場合が、適用可能である。
(効果)
実施形態に係る超音波診断装置1によれば、次のような効果を得ることができる。
実施形態に係る超音波診断装置1は、モダリティによる「定義」位置の違い(第1の種別)、検者間「認識」位置の違い(第2の種別)、及びナレッジベース辞書作成に用いる画像「解像度」の違い(第3の種別)、という複数種別のナレッジベース辞書を有する。
これにより、第1の種別のナレッジベース辞書を選択した場合には、基本的にはエコー定義を用いつつ、必要に応じてMRI定義を選ぶことで、対MRIにおける内腔容積の過小評価の程度を軽減することができる。
第2の種別のナレッジベース辞書を選択した場合には、各位置定義に対して、ナレッジベース辞書作成時における検者間の認識位置の違いを、どのようなコンセプトで軽減するかの選択の自由度を、使用者に提供することができる。また、検者間の認識位置の違いについては、権威のサイトや特定可能なエキスパート検者に倣うように選択することが可能となる。
第3の種別のナレッジベース辞書を選択した場合には、入力画像に用いるエコー画像と同等の解像度を有するエコー画像群、及びより高解像度の異なるモダリティ画像、という選択の自由度を、使用者に提供することができる。
そして、上記三の種別のナレッジベース辞書にとどまらず、当該三の種別のナレッジベース辞書の少なくとも二を組み合わせることで、上記各種別による効果を複合的に実現しつつ、新たな種別のナレッジベース辞書を作成することができる。
上記実施形態では、超音波診断装置において、ナレッジベース辞書を用いた輪郭の自動検出を実行する場合を例示した。しかしながら当該例に拘泥されず、例えば、超音波診断装置で得られた心臓画像データを、PCやワークステーションなどコンピュータに転送し、ナレッジベース辞書を用いた輪郭の自動検出機能を有する医用画像処理装置として実施してもよい。係る場合、超音波診断装置に限らず、例えばX線コンピュータ断層撮影装置や磁気共鳴イメージング装置によって得られる画像を入力画像として用いても良い。或いは、ナレッジベース辞書を用いた輪郭の自動検出機能を実行させる専用の医用画像処理プログラムを、従来の医用画像処理装置や超音波診断装置にインストールし、これを起動することで、当該輪郭の自動検出を実現するようにしてもよい。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1…超音波診断装置、2…超音波プローブ、3…装置本体、4…入出力ユニット、4a…入力器、4b…モニタ、6…ネットワーク、10…CPU、20…送受信ユニット、30…エコー画像生成ユニット、40…記憶ユニット、50…インターフェースユニット

Claims (12)

  1. 被検体の所定領域において、異なる種別に応じた輪郭位置を検出するために、それぞれが学習過程を経て作成されるナレッジベースの複数の種別のデータベースと、
    前記複数の種別のデータベースの中から、使用者に所望されたデータベースを選択するための入力部と、
    前記選択されたデータベースを使用することで、入力画像としての超音波画像上において、前記選択されたデータベースの種別に応じた前記輪郭位置を検出する検出部と、
    を具備する超音波診断装置。
  2. 前記複数の種別のデータベースは、
    標準的な超音波診断従事者により決定された前記所定の領域の輪郭位置の定義、および超音波画像とは異なる画像に基づいて決定された前記所定の領域の輪郭位置の定義を含む請求項1記載の超音波診断装置。
  3. 前記複数の種別のデータベースは、
    特定の超音波診断専門家により認識された前記所定の領域の輪郭位置、および複数の標準的な超音波専門家により認識された前記所定の領域の輪郭位置の平均的位置を含む請求項1記載の超音波診断装置。
  4. 前記複数の種別のデータベースは、前記入力画像の解像度とは異なる解像度を有する参照画像から取得された前記所定の領域の輪郭位置を含む請求項1記載の超音波診断装置。
  5. 前記参照画像は、磁気共鳴撮像画像、X線コンピュータ断層撮影画像、または前記入力画像よりも高い空間周波数を有する超音波画像を具備する請求項4記載の超音波診断装置。
  6. 教示者による操作を学習することで、前記複数の種別のデータベースの少なくとも一つを更新するための学習部を更に具備し、
    前記複数の種別のデータベースは、前記学習を実行した各病院施設について、または前記各教示者について構築される請求項1記載の超音波診断装置。
  7. 前記入力部は、前記複数の種別のデータベースの少なくとも二つを選択し、
    前記検出部は、前記選択された少なくとも二つのデータベースを使用することで、前記所定の領域の輪郭位置を検出する請求項1記載の超音波診断装置。
  8. 前記入力画像は、前記所定の領域の、スライス画像、Mモード画像、ドプラ波形画像を具備する請求項1記載の超音波診断装置。
  9. 被検体の所定の領域を含む入力画像、および前記被検体の前記所定の領域の輪郭位置を検出するために、それぞれが学習過程を経て作成されるナレッジベースの複数の種別のデータベースを格納するための格納部と、
    前記複数の種別のデータベースの、使用者に所望されたデータベースを含むナレッジベースの辞書を選択するための入力部と、
    前記選択されたナレッジベースの辞書を使用することで、所定の入力画像について、前記使用者に所望されたデータベースの種別に応じた前記所定の領域の輪郭位置を検出するための検出部と、
    を具備する医用画像処理装置。
  10. 前記入力画像は、超音波画像、磁気共鳴撮像画像、またはX線コンピュータ断層撮像画像を具備する請求項9記載の医用画像処理装置。
  11. 被検体の所定の領域の輪郭位置を検出するために、それぞれが学習過程を経て作成されるナレッジベースの複数の種別の要素から作成された複数の辞書の中から、前記複数の種別の要素の、使用者により所望された要素を含む、ナレッジベースの辞書についての選択を受信すること、
    前記選択された辞書を使用することで、入力画像について、前記使用者により所望された要素の種別に応じた前記所定の領域の輪郭位置を検出すること、
    を具備する医用画像処理方法。
  12. 前記入力画像は、超音波画像、磁気共鳴撮像画像、またはX線コンピュータ断層撮影画像を具備する請求項11記載の医用画像処理方法。
JP2014238275A 2014-11-25 2014-11-25 超音波診断装置、医用画像処理装置及び医用画像処理方法 Active JP6502070B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014238275A JP6502070B2 (ja) 2014-11-25 2014-11-25 超音波診断装置、医用画像処理装置及び医用画像処理方法
US14/945,786 US20160147794A1 (en) 2014-11-25 2015-11-19 Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014238275A JP6502070B2 (ja) 2014-11-25 2014-11-25 超音波診断装置、医用画像処理装置及び医用画像処理方法

Publications (3)

Publication Number Publication Date
JP2016097197A JP2016097197A (ja) 2016-05-30
JP2016097197A5 JP2016097197A5 (ja) 2018-01-25
JP6502070B2 true JP6502070B2 (ja) 2019-04-17

Family

ID=56010412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014238275A Active JP6502070B2 (ja) 2014-11-25 2014-11-25 超音波診断装置、医用画像処理装置及び医用画像処理方法

Country Status (2)

Country Link
US (1) US20160147794A1 (ja)
JP (1) JP6502070B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823256B2 (ja) * 1989-08-29 1998-11-11 株式会社東芝 超音波診断装置
JP2005218796A (ja) * 2004-02-09 2005-08-18 Matsushita Electric Ind Co Ltd 医用画像処理装置および医用画像処理方法
US8265355B2 (en) * 2004-11-19 2012-09-11 Koninklijke Philips Electronics N.V. System and method for automated detection and segmentation of tumor boundaries within medical imaging data
US8090166B2 (en) * 2006-09-21 2012-01-03 Surgix Ltd. Medical image analysis
JP2009172186A (ja) * 2008-01-25 2009-08-06 Toshiba Corp 超音波診断装置及びプログラム
US8693744B2 (en) * 2010-05-03 2014-04-08 Mim Software, Inc. Systems and methods for generating a contour for a medical image

Also Published As

Publication number Publication date
US20160147794A1 (en) 2016-05-26
JP2016097197A (ja) 2016-05-30

Similar Documents

Publication Publication Date Title
JP5624258B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US9855024B2 (en) Medical diagnostic imaging apparatus, medical image processing apparatus, and control method for processing motion information
JP6382036B2 (ja) 超音波診断装置及び画像処理装置
JP5624314B2 (ja) 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
JP5897674B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2011139896A (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP2010155073A (ja) 超音波診断装置、ドプラ計測装置及びドプラ計測方法
JP7375140B2 (ja) 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP2022103422A (ja) 医用処理装置および医用処理方法
JP6815259B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP2008073423A (ja) 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法
JP2007222533A (ja) 超音波診断装置及び超音波画像処理方法
JP7258483B2 (ja) 医用情報処理システム、医用情報処理装置及び超音波診断装置
JP6863774B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP7258538B2 (ja) 超音波診断装置、医用情報処理装置、医用情報処理プログラム
JP5299961B2 (ja) 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
JP2017143969A (ja) 超音波画像処理装置
US20210085285A1 (en) Medical processing apparatus, ultrasound diagnostic apparatus, and medical processing method
JP2013236973A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6502070B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理方法
JP5943234B2 (ja) 超音波診断装置および超音波診断装置制御プログラム
JP5847237B2 (ja) 超音波診断装置及び超音波画像処理装置
US20240032896A1 (en) Ultrasonic diagnosis apparatus, medical image processing apparatus, and non-transitory computer readable medium
JP2012130789A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP7023704B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190320

R150 Certificate of patent or registration of utility model

Ref document number: 6502070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150