JP7225345B1 - 超音波診断装置および表示方法 - Google Patents

超音波診断装置および表示方法 Download PDF

Info

Publication number
JP7225345B1
JP7225345B1 JP2021170554A JP2021170554A JP7225345B1 JP 7225345 B1 JP7225345 B1 JP 7225345B1 JP 2021170554 A JP2021170554 A JP 2021170554A JP 2021170554 A JP2021170554 A JP 2021170554A JP 7225345 B1 JP7225345 B1 JP 7225345B1
Authority
JP
Japan
Prior art keywords
image
ultrasonic
ultrasound
difficulty level
diagnostic apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021170554A
Other languages
English (en)
Other versions
JP2023060768A (ja
Inventor
直久 神山
雅世 小沼
Original Assignee
ジーイー・プレシジョン・ヘルスケア・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー・プレシジョン・ヘルスケア・エルエルシー filed Critical ジーイー・プレシジョン・ヘルスケア・エルエルシー
Priority to JP2021170554A priority Critical patent/JP7225345B1/ja
Application granted granted Critical
Publication of JP7225345B1 publication Critical patent/JP7225345B1/ja
Publication of JP2023060768A publication Critical patent/JP2023060768A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】どの程度の画質の超音波画像が得られそうかを検査者に早期に知らせることが可能な技術を提供する。【解決手段】超音波プローブと、超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、超音波プローブおよび表示部と通信する1つ又は複数のプロセッサとを含む超音波診断装置であって、1つまたは複数のプロセッサが、超音波プローブに、被検体の所定の部位の走査を実行させること、走査により得られたエコーデータおよび/又は超音波画像に基づいて、被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、被検体の皮下脂肪厚、前記腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求め、表示部が難度を表示する。【選択図】図2

Description

本発明は、超音波画像を表示する超音波診断装置、および超音波画像の表示方法に関する。
超音波は、腹部臓器、心臓、乳腺、前立腺などの様々な部位のスクリーニング検査に利用されている。スクリーニング検査では、検査者は、しばしば、被検体の異常の有無に関わらず、予め決められたプロトコルに沿って複数臓器の断層像を記録することがある(例えば、肝臓右⇒肝臓左⇒腎臓右⇒腎臓左⇒脾臓⇒膵臓長軸⇒膵臓短軸)。医師は、記録された断層像の読影を行い、患者の診断を行う。プロトコルに沿って断層像を記録していく場合、検査者には、読影診断に耐えうるレベルの画質を有する画像を記録することが望まれている。
プロトコルに沿って順番に診断画像を記録する方法としては、Scan Assistant (GE)や、25断面表示による検査プロトコル(日本大学)などの技術が知られており、既に臨床でも使用されている。また、次に撮像すべき断層像の模範画像(reference image)をモニタ上に並列表示するという手法も提案されている。さらに、模範画像と走査により取得された画像との一致度を求め、一致度があるレベル以上になった場合操作者に通知する、又はその画像を自動的に記録するという方法も提案されている。
また、撮像された画像を分析することで、より画質が向上する方向に画質パラメータを自動調整するアルゴリズムが臨床で利用されている。例えば、特許文献1には、超音波診断装置の画質を向上させるための技術が開示されている。
また近年では、深層学習(Deep learning)などの機械学習を利用して、診断画像の画質向上を図る技術も提案されている。この場合、学習させる画像は高SN比の画像(いわゆる模範画像)であり、学習後の入力は低SN比の画像(いわゆる低品質の画像)とするのが通例である。
特開2021-115211号公報
画像の質は検査者の熟練度のみならず、被検体(患者)の体型、体格などにも依存する。また、体内での臓器の相対的な位置関係には個人差があり、臓器の描出が困難であるケースが起こる場合がある。検査者は、例えば「90点以上の画質で描画できたら、それを記録する」など、検査者自身が持つルールに沿って検査を行っているが、臓器の描出が困難である被検体に遭遇した場合、検査者がどんなに努力しても90点とはならない走査断面が生じることがある。この場合、検査者が取り得る行動は、検査者が熟練者であるか非熟練者で以下のように異なる。
熟練者 :90点以上の画質にはならないことを早期に察知し、現在の状況で得られそうだと思われる最善の画質(例:70点の画質)の画像を取得する。
非熟練者:90点以上の画質にはならないことを察知できないため、必要以上の時間をかけて画像走査を試みる。結局、90点の画像を得られないため、多大な時間の損失となる。
したがって、どの程度の画質の超音波画像が得られそうかを検査者に早期に知らせることが可能な技術を開発することが望まれている。
本発明の第1の観点は、超音波プローブと、
前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
を含む超音波診断装置であって、
前記1つまたは複数のプロセッサが、
前記超音波プローブに、前記被検体の所定の部位の走査を実行させること、
前記走査により得られたエコーデータおよび/又は超音波画像に基づいて、前記被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、および
前記被検体の皮下脂肪厚、前記腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
を含む動作を実行し、
前記表示部が前記難度を表示する、超音波診断装置である。
本発明の第2の観点は、超音波プローブと、
前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
を含む超音波診断装置であって、
前記1つまたは複数のプロセッサが、
前記超音波プローブに、前記被検体の所定の部位の走査を実行させること、
前記走査により取得されたエコーデータに基づいて、超音波画像を生成すること、
前記超音波画像に基づいて、学習済みモデルに入力される入力画像を生成すること、および
前記入力画像を前記学習済みモデルに入力し、前記学習済みモデルを用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を推論すること、
を含む動作を実行し、
前記表示部が前記難度を表示する、超音波診断装置である。
本発明の第3の観点は、超音波プローブと、
前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
を含む超音波診断装置であって、
前記1つまたは複数のプロセッサが、
超音波診断装置とは別のモダリティの画像に基づいて、ガスを含むガス領域と検査対象物とを特定すること、
前記別のモダリティの画像に基づいて肋間の位置を特定すること、
前記肋間と前記検査対象物との間に前記ガス領域が存在しているか否かを判定すること、
前記肋間から前記検査対象物に向けて送信される超音波の体表面に対する入射角を求めること、および
前記ガス領域が存在しているか否かの判定結果と前記入射角とに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
を含む動作を実行し、
前記表示部が前記難度を表示する、超音波診断装置である。
本発明の第4の観点は、超音波プローブと、
前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
を含む超音波診断装置であって、
前記1つまたは複数のプロセッサが、
超音波診断装置とは別のモダリティの画像に基づいて、学習済みモデルに入力される入力画像を生成すること、および
前記入力画像を前記学習済みモデルに入力し、前記学習済みモデルを用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を推論すること、
を含む動作を実行し、
前記表示部が前記難度を表示する、超音波診断装置である。
本発明の第5の観点は、超音波プローブで被検体を走査することにより得られたエコーデータおよび/又は超音波画像に基づいて、前記被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、
前記被検体の皮下脂肪厚、前記腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、および
前記難度を表示部に表示すること、
を含む表示方法である。
本発明の第6の観点は、超音波診断装置とは別のモダリティの画像に基づいて、ガスを含むガス領域と検査対象物とを特定すること、
前記別のモダリティの画像に基づいて肋間の位置を特定すること、
前記肋間と前記検査対象物との間に前記ガス領域が存在しているか否かを判定すること、
前記肋間から前記検査対象物に向けて送信される超音波の体表面に対する入射角を求めること、
前記ガス領域が存在しているか否かの判定結果と前記入射角とに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、および
前記難度を表示部に表示すること、
を含む表示方法である。
本発明では、超音波画像に基づいて、又は超音波診断装置とは別のモダリティにより取得された画像に基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めることができる。したがって、検査者は、現実的に得られそうな画質の超音波画像を念頭に置いて被検体を走査することができるので、最高品質の超音波画像を得ようと必要以上に走査時間を掛けて被検体を走査しようと試みることが防止され、限られた時間の中で最善と思われる画質の超音波画像を得ることが可能となる。
本発明の第1の実施形態の超音波診断装置1のブロック図である。 第1の実施形態における検査時のフローチャートである。 難度を計算するための計算式を事前に求めておく方法の説明図である。 難度の表示方法の一例を示す図である。 図4とは別の方法で難度を表示した例を示す図である。 超音波画像Ajと数値との対応関係を表すテーブルの一例を示す図である。 原画像の概略図である。 前処理を示す図である。 ラベリングの説明図である。 学習済みモデルの作成方法の説明図である。 第2の実施形態における検査時のフローチャートの一例を示す図である。 入力画像の生成方法の説明図である。 推論フェーズの説明図である。 第3の実施形態における検査時のフローチャートである。 ステップST22の説明図である。 ステップST23において難度を求めるフローの一例を示す図である。 画像BC1のパターン認識の結果の説明図である。 画像BC1において特定された肋間を示す図である。 ステップST233の説明図である。 原画像の概略図である。 前処理の説明図である。 ラベリングの説明図である。 学習済みモデルの作成方法の説明図である。 ステップST23のフローの一例を示す図である。 推論フェーズの説明図である。 自動記録機能の手順を示したフローチャートである。 第5の実施形態における検査時のフローチャートである。 ルックアップテーブルの一例を示す図である。
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
(1)第1の実施形態
図1は、本発明の第1の実施形態の超音波診断装置1のブロック図である。
超音波診断装置1は、超音波プローブ2、送信ビームフォーマ3、送信器4、受信器5、受信ビームフォーマ6、プロセッサ7、表示部8、メモリ9、およびユーザインタフェース10を有している。
超音波プローブ2は、アレイ状に配置された複数の振動素子2aを有している。送信ビームフォーマ3および送信器4は、超音波プローブ2内に配列された複数の振動素子2aをドライブし、振動素子2aから超音波が送信される。振動素子2aから送信された超音波は被検体(図1参照)内において反射し、反射エコーが振動素子2aで受信される。振動素子2aは、受信したエコーを電気信号に変換し、この電気信号をエコー信号として受信器5に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。
受信ビームフォーマ6は、ハードウェアビームフォーマであってもよいし、ソフトウェアビームフォーマであってもよい。受信ビームフォーマ6がソフトウェアビームフォーマである場合、受信ビームフォーマ6は、i)グラフィックス処理ユニット(GPU)、ii)マイクロプロセッサ、iii)中央処理装置(CPU)、iv)デジタル信号プロセッサ(DSP)、v)論理演算を実行することができる他の種類のプロセッサ、のうちの1つまたは複数を含む1つまたは複数のプロセッサを備えることができる。受信ビームフォーマ6を構成するプロセッサは、プロセッサ7とは別のプロセッサで構成されていてもよいし、プロセッサ7で構成されていてもよい。
超音波プローブ2は、送信ビームフォーミングおよび/または受信ビームフォーミングの全部または一部を行うための電気回路を含むことができる。例えば、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6の全部または一部は、超音波プローブ2内に設けることができる。
プロセッサ7は、送信ビームフォーマ3、送信器4、受信器5、および受信ビームフォーマ6を制御する。また、プロセッサ7は、超音波プローブ2と電子通信している。プロセッサ7は、振動素子2aのどれがアクティブであるか、および超音波プローブ2から送信される超音波ビームの形状を制御する。プロセッサ7は表示部8とも電子通信している。プロセッサ7は、エコーデータを処理して超音波画像を生成することができる。「電子通信」という用語は、有線通信と無線通信の両方を含むように定義することができる。プロセッサ7は、一実施形態によれば中央処理装置(CPU)を含むことができる。他の実施形態によれば、プロセッサ7は、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックスプロセッシングユニット(GPU)、または他のタイプのプロセッサなど、処理機能を実行することができる他の電子構成要素を含むことができる。他の実施形態によれば、プロセッサ7は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えばプロセッサ7は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、およびグラフィックスプロセッシングユニットを含む電子構成要素のリストから選択された2つ以上の電子構成要素を含むことができる。
プロセッサ7は、RFデータを復調する複合復調器(図示せず)を含むこともできる。別の実施形態では、処理チェーン(processing chain)の早い段階で復調を実行することができる。
また、プロセッサ7は、受信ビームフォーマ6による処理によって得られたデータに基づいて、様々な超音波画像(例えば、Bモード画像、カラードップラ画像、Mモード画像、カラーMモード画像、スペクトルドップラ画像、エラストグラフィ画像、TVI画像、歪み画像、歪み速度画像、など)を生成することができる。また、1つまたは複数のモジュールが、これらの超音波画像を生成することができる。
画像ビームおよび/または画像フレームは保存され、データがメモリに取得された時を示すタイミング情報を記録することができる。前記モジュールは、例えば、画像フレームを座標ビーム空間から表示空間座標に変換するために走査変換演算を実行する走査変換モジュールを含むことができる。被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールを設けることもできる。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られ表示部8に表示される。
本明細書において、「画像」という用語は、可視画像と可視画像を表すデータの両方を広く指すものとすることができる。また、「データ」という用語は、走査変換演算前の超音波データであるローデータ(raw data)と、走査変換演算後のデータである画像データを含み得る。
尚、プロセッサ7が担当する上述の処理タスクを、複数のプロセッサで実行するようにしてもよい。
また、受信ビームフォーマ6がソフトウェアビームフォーマである場合、ビームフォーマが実行する処理を、単一のプロセッサで実行させてもよいし、複数のプロセッサで実行させてもよい。
第1の実施形態では、プロセッサ7は、主な動作として、以下の動作(1a)-(1c)を実行する。
(1a) 超音波プローブ2に、被検体の所定の部位の走査を実行させること、
(1b) (1a)の走査により得られたエコーデータおよび/又は超音波画像に基づいて、被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、
(1c) 被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
尚、上記の動作(1a)-(1c)については、後述するフローチャートの説明の中で詳細に説明する。
表示部8は、例えば、LED(Light Emitting Diode)表示部、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)表示部である。表示部8は、超音波画像を表示する。
メモリ9は、任意の既知のデータ記憶媒体であり、非一過性の記憶媒体および一過性の記憶媒体を含む。非一過性の記憶媒体は、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、ROM(Read Only Memory)などの不揮発性の記憶媒体である。非一過性の記憶媒体は、CD(Compact Disk)やDVD(Digital Versatile Disk)などの可搬性の記憶媒体を含むことができる。プロセッサ7によって実行されるプログラムは、非一過性の記憶媒体に記憶されている。一過性の記憶媒体は、RAM(Random Access Memory)などの揮発性の記憶媒体である。
また、メモリ9には、プロセッサ7による実行が可能な1つ以上の命令が格納されている。この1つ又は複数の命令は、プロセッサ7に、以下の動作(1a’)-(1c’)を実行させる。
(1a’) 超音波プローブ2に、被検体の所定の部位の走査を実行させること、
(1b’) (1a’)の走査により得られたエコーデータおよび/又は超音波画像に基づいて、被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、
(1c’) 被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
尚、プロセッサ7は、外部記憶装置15に有線接続又は無線接続することができるように構成することもできる。この場合、プロセッサ7に実行させる命令を、メモリ9と外部記憶装置15との両方に分散させて記憶させることも可能である。
ユーザインタフェース10は、検査者の入力を受け付けることができる。例えば、ユーザインタフェース10は、検査者からの指示や情報の入力を受け付ける。ユーザインタフェース10は、キーボード(keyboard)、ハードキー(hard key)、トラックボール(trackball)、ロータリーコントロール(rotary control)およびソフトキー等を含んでいる。ユーザインタフェース10は、ソフトキー等を表示するタッチスクリーンを含んでいてもよい。
超音波診断装置1は上記のように構成されている。
ユーザは、超音波診断装置1を用いて、診断に有益な超音波画像が得られるように、超音波プローブ2を操作して被検体を走査する。
超音波診断装置は、様々な医用施設で、腹部臓器、心臓、乳腺、前立腺など、様々な領域に対する健診・スクリーニングに利用されている。近年、人間ドックなどの健康診断でも、超音波検査が積極的に取り入れられており、検査を受診する人口も増えている。一方で、医用施設では、1日で超音波検査することが可能な患者数は限られているので、限られた時間の中で、診断に必要な品質の超音波画像を取得することが重要である。また、超音波画像の画質は、検査者の熟練度だけでなく、被検体(患者)の体型、体格などにも依存し、臓器の描出が困難である被検体に遭遇することもある。この場合、熟練者は、所望の画質の取得は困難であることを早期に察知し、現在の状況で得られそうだと思われる最善の画質の画像を取得するので、走査時間の延長を最小限に抑えることができる。しかし、非熟練者の場合、所望の画質の取得は困難であることを察知できないため、必要以上の時間をかけて画像走査を試み、走査時間が大きく延長してしまうという問題がある。
この問題に対して、本願発明者は、所望の画質の超音波画像を取得することがどの程度困難であるのかを、検査者に早期に知らせることができれば、検査者は、所望の画質の超音波画像を取得することができそうか否かを早期に察知することができるので、走査時間の延長を回避できるのではないかと考えた。
そこで、本願発明者は、鋭意研究し、所望の画質の超音波画像を取得することがどの程度困難であるのかを検査者に早期に知らせる方法を考えた。以下に、この方法の基本的な概念について説明する。
被検体の走査により得られたエコーデータおよび/又は超音波画像を分析すると、画質に影響を与える可能性の高い特徴量を求めることができる。例えば、検査対象が肝臓の場合、画質に影響を与える可能性が高い特徴量として、以下の特徴量が考えられる。
a)被検体の皮下脂肪厚、b)腸管ガスの量、c)筋組織における超音波の減衰係数、d)肝臓の深部減衰による超音波の減衰係数
被検体の皮下脂肪厚が厚いほど高品質な画質の超音波画像を取得することは困難になる。また、腸管ガスの量が多いとアーチファクトが現れやすい原因となるので、腸管ガスの量が多いほど高品質な画質の超音波画像を取得することは困難になる。さらに、筋組織および肝臓における超音波の減衰係数が大きいほど、高品質な画質の超音波画像を取得することは困難になる。したがって、上記の特徴量は、画質に影響を与える可能性が高いものであると考えることができる。本願発明者は、この点に着目し、この特徴量に基づいて、所望の画質を有する画像を取得することがどの程度困難であるかを表す難度を求めることを考えた。検査者にこの難度を提示することにより、検査者は、所望の画質を有する画像を取得することがどの程度困難であるかを、事前に認識することができるので、走査時間の延長を回避することが可能となる。そこで、第1の実施形態では、上記の特徴量を求めるのに適した走査を行い、その走査により得られたエコーデータおよび/又は超音波画像に基づいて、上記の特徴量を求めている。上記の特徴量を求めるのに適した走査の一例として、肋間から肝臓端部を描出する肋間煽り走査が考えられる。肋間煽り走査では、肋間に超音波プローブを押し当てて被検体を走査するので、肋間の周囲の部位における皮下脂肪厚を求めることができる。また、腸管ガスは肝臓端部の近傍に見られることがあるので、肋間煽り走査で肝臓端部を描出することにより、腸管ガスの量を求めることが可能である。また、肋間と肝臓端部とを含む部位の断面が走査されるので、肋間又は肝臓端部の近傍にある筋組織における超音波の減衰係数、および肝臓の深部減衰による超音波の減衰係数を求めることもできる。したがって、肋間煽り走査により得られたエコーデータおよび/又は超音波画像に基づいて、被検体の皮下脂肪厚、腸管ガスの量、超音波の減衰係数のうちの少なくとも1つを求めることができる。
被検体に対して肋間煽り走査を実行し、エコーデータおよび/又は超音波画像を取得したら、エコーデータおよび/又は超音波画像に基づいて、上記の特徴量を求める。そして、上記の特徴量に基づいて難度を求め、この難度をユーザに提示する。検査者は、提示された難度を確認することにより、所望の画質を有する画像を取得することがどの程度困難であるかを理解し、どの程度の画質の超音波画像なら取得できそうかを判断することができる。したがって、ユーザは、現実的に得られそうな画質の超音波画像を念頭に置いて被検体を走査することができるので、理想的な画質の超音波画像を得ようと必要以上に時間を掛けて被検体を走査しようと試みることが防止され、走査時間の延長を最小限に抑えることができる。
次に、上記の説明に従って実際に被検体を検査するときの検査フローの一例について説明する。
図2は、第1の実施形態における検査時のフローチャートである。
ステップST1では、検査者は事前走査を行う。この事前走査は、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めるために実行される走査である。
第1の実施形態では、検査対象は肝臓である。検査対象が肝臓である場合、画質に影響を与える特徴量として、以下の特徴量が考えられる。
a)被検体の皮下脂肪厚、b)腸管ガスの量、c)筋組織における超音波の減衰係数、d)肝臓の深部減衰による超音波の減衰係数
そこで、ステップST1では、上記の特徴量を表すデータを取得するのに適した事前走査として、先に説明したように、肋間から肝臓端部を描出する肋間煽り走査を実行する。プロセッサ7は、超音波プローブ2の振動素子2aから超音波が送信されるように、超音波プローブ2を制御する。超音波プローブ2の振動素子2aから送信された超音波は被検体内において反射し、反射エコーが振動素子2aで受信される。振動素子2aは、受信したエコーを電気信号に変換し、この電気信号をエコー信号として受信器5に出力する。受信器5はエコー信号に対して所定の処理を実行し、受信ビームフォーマ6に出力する。受信ビームフォーマ6は、受信器5から受け取った信号に受信ビームフォーミングを実行し、エコーデータを出力する。プロセッサ7は、受信ビームフォーマ6からのエコーデータに基づいて超音波画像を生成する。
ステップST2では、プロセッサ7は、ステップST1の肋間煽り走査で得られたエコーデータおよび/又は超音波画像に基づいて、画質に影響する特徴量(被検体の皮下脂肪厚、腸管ガスの量、筋組織における超音波の減衰係数、肝臓の深部減衰による超音波の減衰係数)を求める。これらの特徴量は、既知の方法で求めることができる。腸管ガスの量は、例えば、超音波画像内において腸管ガスが描出される領域の面積とすることができる。
ステップST3では、プロセッサが、ステップST2で求められた特徴量に基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求める。この難度は、例えば、難度を計算するための計算式を事前に求めておき、この計算式を用いて計算することができる(図3参照)。
図3は、難度を計算するための計算式を事前に求めておく方法の説明図である。
先ず、医療機関で実際に患者に肋間煽り走査を実行することにより得られたn枚の超音波画像Aj(j=1~n)を用意する。この肋間煽り走査は、できるだけ多くの患者に対して実行され、多数の患者から、肋間煽り走査により超音波画像を取得することが望ましい。超音波画像Ajは、診断画像でもよいし、診断画像に対して所定の前処理を実行することにより生成された画像でもよい。
次に、超音波画像Ajごとに、特徴量(被検体の皮下脂肪厚、腸管ガスの量、筋組織における超音波の減衰係数、肝臓の深部減衰による超音波の減衰係数)を求める。
そして、超音波画像Ajごとに求めた特徴量と難度との関係に基づいて、難度を計算するための計算式を求める。この計算式は、例えば、以下の式で表すことができる。
Y=a + b1x1 + b2x2 + b3x3 + b4x4 ・・・(1)
ここで、Y:難度、a:定数、b1、b2、b3、b4:係数、x1:皮下脂肪厚、x2:腸管ガスの量、x3:筋組織における超音波の減衰係数、x4:肝臓の深部減衰による超音波の減衰係数
難度Yはx1、x2、x3、x4の関数であるので、x1、x2、x3、x4を式(1)に代入することにより、難度Yの値を求めることが可能となる。難度Yの計算式(1)はメモリ9(又は、超音波診断装置がアクセス可能な外部記憶装置)に記憶される。
したがって、プロセッサ7は、メモリ9から難度Yの計算式(1)を読み出し、難度Yの計算式(1)のx1、x2、x3、x4に、ステップST2で求めた特徴量を代入することにより、難度Yを計算することができる。
図2に戻って説明を続ける。
ステップST3では、プロセッサ7は、式(1)を用いて、ステップST2で求めた特徴量に対応する難度Yを計算する。難度Yを計算した後、ステップST4に進む。
ステップST4では、ステップST3で求めた難度Yを表示部8に表示する(図4参照)。
図4は、難度Yの表示方法の一例を示す図である。
表示部8には、難度Yが数字で表されている。第1の実施形態では、難度Yを1~5の数字で表している。難度Yが5に近いほど、所望の画質を有する超音波画像を取得することが困難であり、難度Yが1に近いほど、所望の画質を有する超音波画像を取得することが容易であることを表している。図4では、難度Yは4であるので、所望の画質を有する超音波画像を取得することは比較的困難であることが表されている。難度Yを表示した後、ステップST5に進む。
ステップST5では、検査者は、難度Yが表す数字を参考にして、被検体の検査部位を走査し、フローを終了する。
第1の実施形態では、図4に示すように、難度Yは「4」であるので、検査者は、高画質の超音波画像を取得することは比較的困難であることを察知することができる。したがって、検査者は、現実的に得られそうな画質の超音波画像を念頭に置いて被検体を走査することができるので、最高品質の超音波画像を得ようと必要以上に走査時間を掛けて被検体を走査しようと試みることが防止され、限られた時間の中で最善と思われる画質の超音波画像を得ることが可能となる。
尚、図4では、難度Yを数字で表している。しかし、検査者が難度Yを認識することができるのであれば、難度Yは数字に限定されることはなく、別の提示方法を使用することができる(図5参照)。
図5は、図4とは別の方法で難度Yを表示した例を示す図である。
難度Yは5つの星を用いて表される。難度Yは、黒で塗りつぶされた星の数が多いほど、高画質の超音波画像を取得することが困難であり(難度Yが高い)、一方、黒で塗りつぶされた星の数が少ないほど、高画質の超音波画像を取得することが容易である(難度Yが低い)ことを表している。図5では、黒で塗りつぶされた星の数は4つであるので、高品質の超音波画像を取得することが比較的困難であることを表している。このように、難度Yは、検査者に認識させることができる任意の方法で表示させることが可能である。
第1の実施形態では、肝臓を検査する場合に式(1)を使用して難度Yを計算する例について説明したが、本発明は、肝臓とは別の部位を検査する場合にも適用することができる。例えば、式(1)の(a、b1、b2、b3、b4)の値の組合わせを検査部位ごとに求めておき、検査部位と(a、b1、b2、b3、b4)とを対応付けてメモリに記憶しておいてもよい。このように、検査部位と(a、b1、b2、b3、b4)とを対応付けておくことにより、式(1)の(a、b1、b2、b3、b4)を検査部位に対応した値に設定して難度Yを計算することができるので、難度Yの信頼性を高めることができる。
また、検査部位によっては式(1)の定数aはa=0に設定することができる。また、検査部位によっては、(b1、b2、b3、b4)のうちのいずれかの係数をゼロに設定することもできる。例えば、腸管ガスの量x2が実質的に無視できる検査部位(例えば、下肢)では、係数b2を、b2=0に設定することができる。このように、係数(b1、b2、b3、b4)のうちのいずれかの係数をゼロに設定することにより、検査部位の特性に適した計算式で難度Yを計算することが可能となる。
尚、第1の実施形態では、難度Yを求めるための専用の走査(ステップST1)を実行している。しかし、診断画像を取得するための走査で取得された超音波画像に基づいて難度Yを求めてもよい。
また、第1の実施形態では、ステップST3において、式(1)を用いて難度Yを求めている。しかし、式(1)を用いる方法の代わりに、テーブルを用いた別の方法で難度Yを求めることもできる。例えば、以下のような方法で難度Yを求めるためのテーブルを作成することができる。
超音波検査の熟練者に、肋間煽り走査により取得された超音波画像Aj(図3参照)を参考にして、患者ごとに、所望の画質の超音波画像Ajを得ることがどの程度困難であるかを予測してもらう。熟練者は、患者から取得した超音波画像の画質などから、「この患者を走査した場合、所望の画質の超音波画像を取得することは難しい」、「この患者を走査した場合、所望の画質の超音波画像を得ることは比較的容易である」等をある程度予測することができる。そこで、熟練者に、肋間煽り走査により取得された超音波画像Ajを参考にして、画像ごとに、所望の画質の超音波画像を得ることがどの程度困難であるのかを予測してもらい、その予測結果を数値化してもらう。予測結果は、例えば、5段階で表すことができる。一例として、以下のように数値化することができる。
(2-1)熟練者が、所望の画質を得ることは非常に容易である判断した場合には、超音波画像Ajに「1」を対応付ける。
(2-2)熟練者が、所望の画質を得ることは比較的容易である判断した場合には、超音波画像Ajに「2」を対応付ける。
(2-3)熟練者が、所望の画質を得ることは容易でないが困難でもないと判断した場合には、超音波画像Ajに「3」を対応付ける。
(2-4)熟練者が、所望の画質を得ることは比較的困難である判断した場合には、超音波画像Ajに「4」を対応付ける。
(2-5)熟練者が、所望の画質を得ることは非常に困難である判断した場合には、超音波画像Ajに「5」を対応付ける。
そして、超音波画像Ajと数値との対応関係を表すテーブルを用意する。図6に、超音波画像Ajと数値との対応関係を表すテーブルの一例を示す。各超音波画像Ajには、5段階の数値のうちの、熟練者によって予測された数値が対応付けられる。この5段階の数値が、所望の画像を得ることがどの程度困難であるかを表す難度Yとして使用される。したがって、難度Yは、5つの数値(1、2、3、4、および5)から選択される任意の数値で表すことができる。
このようにして、超音波画像Ajと数値との対応関係を表すテーブルを作成することができる。このテーブルはメモリ9(又は、超音波診断装置がアクセス可能な外部記憶装置)に記憶される。
プロセッサ7は、ステップST3において、このテーブルを使用して難度Yを求めることができる。具体的には、プロセッサ7は、テーブルに含まれる超音波画像A1~Anの中から、ステップST1で得られた超音波画像に最も類似している超音波画像Ajを求め、最も類似している超音波画像Ajに対応付けられた数値を、難度Yとして求めることができる。例えば、超音波画像A1~Anのうち、ステップST1で得られた超音波画像に最も類似している超音波画像がA3である場合、最も類似している超音波画像A3に対応付けられた数値2を、難度Y(=2)として求めることができる。
(2)第2の実施形態
第1の実施形態では、超音波画像に基づいて計算した上記の特徴量を利用して、難度Yを計算している。しかし、深層学習を利用して難度Yを求めてもよい。以下に、深層学習を利用して難度Yを求める方法について説明する。
尚、第2の実施形態における超音波診断装置は、第1の実施形態の超音波診断装置と比較すると、ハードウェア構成は同じであり、プロセッサ7の動作が異なるだけである。したがって、第2の実施形態における超音波診断装置のハードウェアの説明は省略し、プロセッサ7の動作について主に説明する。
第2の実施形態では、プロセッサ7は、以下の動作(2a)-(2d)を実行する。
(2a) 超音波プローブに、被検体の所定の部位の走査を実行させること、
(2b) (2a)の走査により取得されたエコーデータに基づいて、超音波画像を生成すること、
(2c) 超音波画像に基づいて、後述する学習済みモデル71(図13参照)に入力される入力画像を生成すること、
(2d) 入力画像を学習済みモデル71に入力し、学習済みモデル71を用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を推論すること、
尚、プロセッサ7の具体的な動作については、後述するフローチャート(図11参照)の中で説明する。
深層学習を利用して難度Yを求める場合、学習済みモデルを使用して難度Yを推論する。したがって、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、難度Yを推論する方法について説明する。
図7~図13は、学習フェーズの説明図である。
学習フェーズでは、先ず、トレーニングデータを作成するための元になる原画像を用意する。
図7は、原画像の概略図である。
第2の実施形態では、原画像として、病院などの医療施設で取得された超音波画像Ei(i=1~n)を用意する。
次に、これらの原画像Eiに対して、図8に示すように、前処理を実行する。
前処理には、例えば、画像を切り出しする処理、標準化処理、正規化処理、画像反転処理、画像回転処理、拡大率変更処理、画質変更処理などがある。このようにして、原画像Eiから、前処理された原画像Fiを得ることができる。前処理された原画像Fiが、学習済みモデルを生成するためのトレーニングデータFiとして使用される。
次に、これらのトレーニングデータに、正解データをラベリングする(図9参照)。
図9は、ラベリングの説明図である。
トレーニングデータには、正解データとして、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yがラベリングされている。難度Yは、第1の実施形態で説明された難度Yと同じである。第2の実施形態では、第1の実施形態で説明した5段階の難度Y(1~5)を複数の正解データ61として用意し、各トレーニングデータに、複数の正解データ61のうちの対応する正解データ(難度Y)をラベリングする。そして、正解データがラベリングされたトレーニングデータを用いて学習済みモデルを作成する(図10参照)。
図10は、学習済みモデルの作成方法の説明図である。
学習済みモデルを生成する場合、正解データ61(難度Y)がラベリングされたトレーニングデータFiをニューラルネットワーク70に学習させる。このようにして、学習済みモデル71を作成することができる。学習済みモデル71は、後で説明する図13に示すように、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論するものである。
この学習済みモデル71は、超音波診断装置1のメモリ9に記憶される。尚、学習済みモデル71を、超音波診断装置1がアクセス可能な外部記憶装置15に記憶してもよい。
第2の実施形態では、被検体の検査時に、学習済みモデル71を使用して、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論する。検査者は、その推論された難度Yを参考にして被検体の検査を行う。以下に、第2の実施形態において、被検体の検査フローの一例を説明する。
図11は、第2の実施形態における検査時のフローチャートの一例を示す図である。
ステップST11は、プロセッサ7が、超音波プローブ2に、肋間から肝臓端部を描出する肋間煽り走査を実行させる。プロセッサ7は、肋間煽り走査により取得されたエコーデータに基づいて、超音波画像を生成する。超音波画像を生成した後、ステップST12に進む。
ステップST12では、プロセッサ7が、肋間煽り走査により取得された超音波画像に基づいて、学習済みモデル71に入力される入力画像を生成する(図12参照)。
図12は、入力画像の生成方法の説明図である。
プロセッサ7は、肋間煽り走査により取得された超音波画像80を前処理する。この前処理は、トレーニングデータFiを生成するときに実行した前処理(図8参照)と同じである。超音波画像80を前処理することにより、入力画像81を生成することができる。入力画像81を生成した後、ステップST13に進む。
ステップST13では、学習済みモデル71を使用して、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論する。
図13は、推論フェーズの説明図である。
プロセッサ7は、入力画像81を学習済みモデル71に入力し、学習済みモデル71を用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論する。難度Yを推論した後、ステップST14に進む。
ステップST14では、表示部8が、図4に示すように、難度Yを表示する。したがって、検査者は、表示部8に表示された難度Yから、現実的に得られそうな画質の超音波画像を事前に察知することができる。ステップST15では、検査者は、現実的に得られそうな画質の超音波画像を念頭に置いて被検体を走査し、フローを終了する。
第2の実施形態では、学習済みモデルを使用して難度Yを表示させているので、特徴量を求めなくても難度Yを求めることができる。
(3)第3の実施形態
第1および第2の実施形態では、超音波診断装置により取得された超音波画像に基づいて難度Yを求めているが、第3の実施形態では、超音波診断装置とは別のモダリティにより取得された画像に基づいて、難度Yを求める例について説明する。
尚、第3の実施形態における超音波診断装置は、第1の実施形態の超音波診断装置と比較すると、ハードウェア構成は同じであり、プロセッサ7の動作が異なるだけである。したがって、第3の実施形態における超音波診断装置のハードウェアの説明は省略し、プロセッサ7の動作について主に説明する。
第3の実施形態では、プロセッサ7は、以下の動作(3a)-(3f)を実行する。
(3a) 超音波診断装置とは別のモダリティの画像に基づいて、ガスを含むガス領域と検査対象物とを特定すること、
(3b) 別のモダリティの画像に基づいて肋間の位置を特定すること、
(3c) 別のモダリティの画像に基づいて、肋間の位置から超音波プローブで走査可能な走査範囲を決定すること、
(3d) 肋間と検査対象物との間にガス領域が存在しているか否かを判定すること、
(3e) 肋間から検査対象物に向けて送信される超音波の体表面に対する入射角を求めること、
(3f) ガス領域が存在しているか否かの判定結果と入射角とに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
尚、プロセッサ7の具体的な動作については、後述するフローチャート(図14参照)の中で説明する。
図14は、第3の実施形態における検査時のフローチャートである。
ステップST21では、プロセッサ7は、超音波検査を開始する前に、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、PET(Positron Emission Tomography)、PET-CT、PET-MRなど別のモダリティにより取得された画像があるか否かを判定する。この判定は、例えば、放射線科情報システム(RIS:Radiology Information System)に保存されている検査情報などから確認することができる。別のモダリティにより取得された画像が無い場合は、ステップST26に進み、第1の実施形態で説明されたステップST1~ST5(図2参照)又は第2の実施形態で説明されたステップST11~ST15(図11参照)が実行され、フローが終了する。
別のモダリティにより取得された画像がある場合、ステップST22に進む。
図15は、ステップST22の説明図である。
ステップST22では、プロセッサ7は、別のモダリティにより取得された画像Bi(i=1~m)の中に、今回の超音波検査の検査対象である検査部位と同じ部位の画像BCj(j=1~n)が含まれているか否かを判定する。この判定は、例えば、RISに保存されている検査情報などから確認することができる。別のモダリティにより取得された画像Biの中に、今回の超音波検査の検査対象である検査部位と同じ部位の画像BCjが含まれていない場合は、ステップST26に進み、第1又は第2の実施形態の各ステップが実行される。
一方、別のモダリティにより取得された画像Biの中に、今回の超音波検査の検査対象である検査部位と同じ部位の画像BCjが含まれている場合、プロセッサ7は、別のモダリティにより取得された画像Biの中から、今回の超音波検査の検査対象である検査部位と同じ部位の画像BCjを選択する。
選択された別のモダリティの画像BCjは、例えば、MR画像、CT画像、PET画像、PET-CT画像、およびPET-MR画像などである。ここでは、選択された画像BCjはCT画像であるとする。画像BCjを選択した後、ステップST23に進む。
ステップST23では、ステップST22で選択された画像BCjに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを求める。この難度Yは、以下のようにして求められる。
図16はステップST23において難度Yを求めるフローの一例を示す図である。
ステップST231では、プロセッサ7が、画像BCjに描出されている被検体の体内領域を複数の領域に分割する画像処理(セグメンテーション)を実行する。この処理では、各画像BCjに表されている、臓器(例えば、肝臓、腎臓、脾臓)、骨(例えば、肋骨、背骨)、ガスを含む領域、検査対象物(癌、病変など)等をパターン認識により特定する。
ここでは、先ず、j=1、すなわち、画像BC1に対して上記の画像処理を行うことを考える。したがって、プロセッサ7は、画像BC1に対して画像処理を行う。これにより、画像BC1に対して検査対象物などを特定することができる。図17は、画像BC1のパターン認識の結果の説明図である。画像BC1において、被検体の体内領域から、検査対象物41、ガスを含むガス領域42、肝臓43、および肋骨44、45、46、および47が特定されている(尚、図17では、肋骨については、身体の右側の肋骨44、45、46、および47のみを図示し、身体の左側の肋骨は図示省略してある)。画像BC1の画像処理を実行した後、ステップST232に進む。
ステップST232では、プロセッサ7は、画像BCjについて肋間の位置を特定する。ここでは、j=1であるので、画像BC1について肋間を特定する。肋間は、ステップST231のパターン認識から得られた肋骨44、45、46、および47の位置に基づいて特定することができる。図18は、画像BC1において特定された肋間を示す図である。図18では、特定された肋間を、符号31、32、および33で示してある。肋間31、32、および33を特定した後、ステップST233に進む。
ステップST233では、検査対象物41を所望の画質で描出することがどの程度困難であるかを表す指標Tを求める。
図19は、ステップST233の説明図である。
ステップST233では、プロセッサ7が各肋間31、32、および33から超音波プローブで走査可能な走査範囲を求める。更に、プロセッサ7は、以下の処理(f1)および(f2)を実行する。
(f1)各肋間31、32、および33と検査対象物41との間にガス領域42が存在しているか否かを判定する処理。
(f2)各肋間31、32、および33から検査対象物41に向けて送信される超音波の体表面48に対する入射角θ1、θ2、およびθ3を計算する処理。
肋間と検査対象物41との間にガス領域42が存在している場合、超音波で検査対象物41にアプローチすることは困難となる。また、超音波を体表面48に対して垂直に入射させることができなければ、検査対象物41を走査することは難しくなる。そこで、プロセッサ7は、各肋間31、32、および33と検査対象物41との間にガス領域42が存在しているか否かを判定し、更に、超音波の体表面48に対する入射角θ1、θ2、およびθ3を計算する。そして、プロセッサ7は、各肋間31、32、および33と検査対象物41との間にガス領域42が存在しているか否かの判定結果と、超音波の入射角θ1、θ2、およびθ3の値に基づいて、検査対象物41を所望の画質で描出することがどの程度困難であるかを表す指標Tを求める。この指標Tは、難度Yと同様に、例えば、5段階の数値で評価することができる。プロセッサ7は、肋間31、32、および33ごとに指標Tを求める。図19では、肋間31、32,および33から超音波を送信した場合の指標Tを、それぞれ、T1、T2、およびT3で示してある。指標Tはメモリ9に記憶される。指標Tをメモリ9に記憶した後、ステップST234に進む。
ステップST234では、全ての画像BCjに対して、指標Tを求めたか否かを判断する。全ての画像BCjに対して指標Tを求めた場合は、ステップST236に進む。一方、指標Tを求めていない画像BCjがまだ残っている場合は、ステップST235に進み、jをインクリメントする。
ここでは、画像BC1に対して指標Tが求められたが、他の画像BCj(すなわち、BC2~BCn)に対してはまだ指標Tは求められていない。したがって、ステップST235に進み、jをj=1からj=2にインクリメントする。そして、jをインクリメントした後、ステップST231に戻り、画像BC2に対して、ステップST231、ST232、およびST233が実行される。
以下同様に、ステップST234で、全ての画像BCj(BC1~BCn)に対して指標Tが求められたと判定されるまで、ステップST231~ST235のループが繰り返し実行される。ステップST234において、全ての画像BCj(BC1~BCn)に対して指標Tが求められたと判定されたら、ステップST236に進む。
ステップST236では、各画像BCjに対して求められた指標Tに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを計算する。難度Yは、例えば、全ての画像BC1~BCnに対して求められた全ての指標Tの平均値や、全ての指標Tの加重平均値とすることができる。難度Yを計算したら、ステップST23が終了し、ステップST24(図14参照)に進む。
ステップST24では、表示部8に難度Yが表示される。検査者は、表示部8に表示された難度Yを参考にして被検体の検査を行い(ステップST25)、図14に示すフローが終了する。
第3の実施形態では、別のモダリティの画像BCjが保存されている場合、事前走査をしなくても難度Yが表示される。したがって、事前走査が必要な第1および第2の実施形態よりも、超音波検査の検査時間を短くすることが可能となる。
(4)第4の実施形態
第3の実施形態では、別のモダリティの画像のパターン認識を行い、難度Yを計算している。しかし、別のモダリティの画像に対して深層学習を利用して難度Yを求めることも可能である。以下に、別のモダリティの画像に対して深層学習を利用して難度Yを求める方法について説明する。
尚、第4の実施形態における超音波診断装置は、第1の実施形態の超音波診断装置と比較すると、ハードウェア構成は同じであり、プロセッサ7の動作が異なるだけである。したがって、第4の実施形態における超音波診断装置のハードウェアの説明は省略し、プロセッサ7の動作について主に説明する。
第4の実施形態では、プロセッサ7は、以下の動作(4a)-(4b)を実行する。
(4a) 超音波診断装置とは別のモダリティの画像に基づいて、学習済みモデルに入力される入力画像を生成すること、
(4b) 入力画像を学習済みモデルに入力し、学習済みモデルを用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論すること、
尚、プロセッサ7の具体的な動作については、後述するフローチャート(図24参照)の中で説明する。
深層学習を利用して難度Yを求める場合、学習済みモデルを使用して難度Yを推論する。したがって、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、難度Yを推論する方法について説明する。
図20~図22は、学習フェーズの説明図である。
学習フェーズでは、先ず、トレーニングデータを生成するための元になる原画像を用意する(図20参照)。
図20は、原画像の概略図である。
第1の実施形態では、原画像として、超音波診断装置とは別のモダリティで取得された画像Gi(i=1~n)を用意する。原画像Giは、例えば、MR画像、CT画像、PET画像、PET-CT画像、PET-MR画像を含むことができる。
次に、これらの原画像Giに対して、図21に示すように、前処理を実行する。
前処理には、例えば、画像を切り出しする処理、標準化処理、正規化処理、画像反転処理、画像回転処理、拡大率変更処理、画質変更処理などがある。このようにして、原画像Giから、前処理された原画像Hi(i=1~n)を得ることができる。前処理された原画像Hiが、学習済みモデルを作成するためのトレーニングデータHiとして使用される。
次に、これらのトレーニングデータHiに、正解データをラベリングする(図22参照)。
図22は、ラベリングの説明図である。
第4の実施形態では、トレーニングデータHiに複数の正解データ62をラベリングする。複数の正解データ62には、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す数値が含まれる。数値は、トレーニングデータHiの元になる原画像Gi(図20参照)の画質などを参考にして、例えば、超音波検査の熟練者が決定することができる。数値は、例えば、1~5の整数値とすることができる。数値が5に近いほど、所望の画質を有する超音波画像を取得することが困難であり、数値が1に近いほど、所望の画質を有する超音波画像を取得することが容易であることを表している。尚、正解データには、肋骨の位置を表す位置データ、ガス領域の位置を表す位置データ、検査対象物(例えば、病変、腫瘍)の位置を表す位置データを含めてもよい。
トレーニングデータに正解データをラベリングさせた後、学習済みモデルを作成する(図23参照).
図23は、学習済みモデルの作成方法の説明図である。
学習済みモデルを生成する場合、正解データ62(難度Y)がラベリングされたトレーニングデータHiをニューラルネットワーク70に学習させる。このようにして、学習済みモデル72を作成することができる。学習済みモデル72は、後で説明する図25に示すように、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論するものである。尚、好適には、セグメンテーションによって各臓器が識別されているトレーニングデータを使用して学習済みモデル72を生成することが望ましい。これにより、学習済みモデル72の推論精度を向上させることが可能である。ただし、画像に含まれる複数の臓器をセグメンテーションする画像解析も行うように、学習済みモデル72を作成してもよい。
この学習済みモデル72は、超音波診断装置1のメモリ9に記憶される。尚、学習済みモデル72を、超音波診断装置1がアクセス可能な外部記憶装置15に記憶してもよい。
次に、第4の実施形態における検査フローについて説明する。尚、第4の実施形態における検査フローは、第3の実施形態と同様に、図14のフローを参照しながら説明する。
ステップST21およびST22は、第3の実施形態と同じであるので、詳細な説明は省略する。ステップST22において、図15に示すように、プロセッサ7が、別のモダリティにより取得された画像Biの中から、今回の超音波検査の検査対象である検査部位と同じ部位の画像BCjを選択した後、ステップST23に進む。
ステップST23では、ステップST22で選択された画像BCjに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを求める。以下、ステップST23のフローについて説明する。
図24は、ステップST23のフローの一例を示す図である。
ステップST231では、プロセッサ7が、ステップST22で選択された画像BCjから、学習済みモデル72に入力される入力画像を生成する。ここでは、k(≧1)枚の画像BCjが選択されたとする。したがって、プロセッサ7は、選択されたk枚の画像BCjごとに入力画像を生成する。入力画像を生成した後、ステップST232に進む。
ステップST232では、プロセッサ7は、図25に示すように、ステップST231で生成した入力画像を学習済みモデル72に入力し、学習済みモデル72を使用して、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度Yを推論する。このようにして、ステップST23が終了する。ステップST23が終了したら、ステップST24(図14参照)に進む。
ステップST24では、表示部8に難度(図4参照)が表示される。検査者は、表示部8に表示された難度を参考にして被検体の検査を行い(ステップS25)、図14に示すフローが終了する。
第4の実施形態では、超音波検査の前に既に取得されていた別のモダリティの画像BCj(図15参照)に基づいて難度を推論するので、超音波診断装置による事前走査が不要であり、超音波検査の検査時間を短くすることが可能となる。
尚、第4の実施形態では、
尚、第4の実施形態では、超音波とは別のモダリティの画像からトレーニングデータHiを用意し(図21参照)、このトレーニングデータHiを用いて学習済みモデル72を作成している(図23参照)。しかし、原画像として、別のモダリティの画像の他に、超音波画像も用意し、別のモダリティの画像から生成したトレーニングデータと、超音波画像から生成したトレーニングデータとに基づいて、学習済みモデルを作成し、上記の難度を求めてもよい。また、原画像として超音波画のみを用意し、超音波画像から生成したトレーニングデータとに基づいて、学習済みモデルを作成し、上記の難度を求めてもよい。
(5)第5の実施形態
超音波診断装置には、走査により取得された超音波画像と模範画像とを比較し、超音波画像と模範画像との類似度が閾値以上の場合、超音波画像は所望の画像であると判定して、その超音波画像を自動的に画像記録する自動記録機能を備えたものがある。第5の実施形態では、難度Yに基づいて、自動記録機能で使用する閾値を決定する例について説明する。
尚、第5の実施形態における超音波診断装置は、第1の実施形態の超音波診断装置と比較すると、ハードウェア構成は同じであり、プロセッサ7の動作が異なるだけである。したがって、第5の実施形態における超音波診断装置のハードウェアの説明は省略し、プロセッサ7の動作について主に説明する。
第5の実施形態では、プロセッサ7は、以下の動作(5a)-(5b)を実行する。
(5a) 被検体の断面を走査することにより得られた超音波画像と、前記断面における模範画像との類似度を求めること、
(5b) 類似度と、超音波画像が所望の画像であるか否かを判定するための基準となる閾値とを比較し、その比較結果に基づいて、超音波画像が所望の画像であるか否かを判定すること。尚、閾値は難度Yに基づいて決定されるものである。
プロセッサ7の具体的な動作については、後述するフローチャート(図24参照)の中で説明する。
第5の実施形態の説明に当たっては、先ず、第5の実施形態の基本的な機能である超音波画像を自動的に画像記録する自動記録機能について簡単に説明する。自動記録機能を説明した後で、自動記録機能で使用する閾値と難度Yについて説明する。
図26は、自動記録機能の手順を示したフローチャートである。
ステップST81では、検査者が被検体の所定の断面を走査し、所定の断面の超音波画像50を取得する。
ステップST82では、超音波画像50と、所定の断面の模範画像RIとの類似度DSを求める。類似度DSは、例えば、0~1の範囲内の値として計算することができる。ここでは、DS=0.6であるとする。
ステップST83では、類似度DSと閾値THとを比較し、超音波画像50が所望の画像であるか否かを判定する。閾値THは、実際に走査された超音波画像50が所望の画像であるか否かを判定するための基準となる値である。DS≧THの場合、超音波画像50は所望の画像であると判定され、DS<THの場合、超音波画像50は所望の画像ではないと判定される。例えば、DS=0.9であり、TH=0.8の場合、DS≧THであるので、超音波画像50は所望の画像であると判定される。この場合、ステップST84に進み、画像は自動的にメモリ9に記録される。
一方、DS=0.6であり、TH=0.8の場合、DS<THであるので、超音波画像50は所望の画像ではないと判定される。この場合、超音波画像50は記録されない(ステップST85)。
ここでは、DS=0.6であるので、DS<THである。したがって、ステップST85に進み、超音波画像50は記録されない。
検査者は、超音波画像50が記録されていない場合は、この超音波画像50は所望の画質を有していないと認識し、ステップST81に戻って、プローブの操作方法などを工夫して、超音波画像を取り直し、超音波画像が記録されるまで、断面の走査を行う。
しかし、超音波画像の画質は、検査者の熟練度だけでなく、被検体(患者)の体型、体格などにも依存し、臓器の描出が困難である被検体に遭遇することもある。この場合、走査方法を工夫しても、閾値TH以上の類似度を有する超音波画像を取得することは困難となり、検査時間が大きく延長してしまうという問題がある。
そこで、第5の実施形態では、検査時間の延長を最小限に抑えるため、以下のようなフローで検査を行う。
図27は、第5の実施形態における検査時のフローチャートである。
ステップST71では、難度Yを求める。この難度Yは、第1~第4の実施形態のいずれかの方法を使用することができる。ここでは、難度Yは5であるとする。難度Yを求めた後、ステップST72に進む。
ステップST72では、プロセッサ7が、難度Yに基づいて、閾値THを決定する。例えば、難度Yが「1」~「5」の間の整数で表される場合、難度Yが大きいほど閾値THが低くなり、難度Yが低いほど閾値THが高くなるように閾値THを変更する。閾値THは、難度Yと閾値THとの間の関係を規定するルックアップテーブルを用いて決定することができる。図28はルックアップテーブルの一例を示す図である。例えば、難度Yが5の場合、閾値TH=0.5と決定されるが、難度Y=1の場合、閾値TH=0.9と決定される。したがって、難度Yが高い場合は、閾値THが低くなるので、現実的に得られそうな画質の超音波画像が得られた時点で、画像が自動記録されるようにすることができ、検査時間の延長を抑えることが可能となる。ここでは、難度Y=5であるので、閾値TH=0.5と決定される。
閾値THを決定したら、ステップST81に進む。
ステップST81では、検査者が被検体の所定の断面を走査し、所定の断面の超音波画像50を取得する。
ステップST82では、超音波画像50と、所定の断面の模範画像RIとの類似度DSを求める。ここでは、DS=0.6であるとする。
ステップST83では、類似度DSと、ステップST72で決定した閾値THとを比較し、その比較結果に基づいて、超音波画像50が所望の画像であるか否かを判定する。ここでは、DS=0.6であり、TH=0.5である。したがって、DS>THであるので、ステップST84に進み、超音波画像50が記録される。
以下同様に、他の断面の超音波画像においても、図27に示すフローが実行される。
以上説明したように、第5の実施形態では、プロセッサ7が、難度Yに基づいて閾値THを決定する。したがって、難度Yが高い場合は、閾値THを低くすることにより、現実的に得られそうな画質の超音波画像が得られた時点で、画像が記録されるようにすることができるので、検査時間の延長を抑えることが可能となる。
尚、第1~第5の実施形態では、肝臓を検査する例について説明されている。しかし、本発明は、肝臓以外の部位を検査する場合にも適用することができる。
1 超音波診断装置
2 超音波プローブ
2a 振動素子
3 送信ビームフォーマ
4 送信器
5 受信器
6 受信ビームフォーマ
7 プロセッサ
8 表示部
9 メモリ
10 ユーザインタフェース
15 外部記憶装置
31 肋間
41 検査対象物
42 ガス領域
43 肝臓
44 肋骨
48 体表面
50、80 超音波画像
61、62 正解データ
70 ニューラルネットワーク
71、72 学習済みモデル
81 入力画像

Claims (15)

  1. 超音波プローブと、
    前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
    前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
    を含む超音波診断装置であって、
    前記1つまたは複数のプロセッサが、
    前記超音波プローブに、前記被検体の所定の部位の走査を実行させること、
    前記走査により得られたエコーデータおよび/又は超音波画像に基づいて、前記被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、および
    前記被検体の皮下脂肪厚、前記腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
    を含む動作を実行し、
    前記表示部が前記難度を表示する、超音波診断装置。
  2. 前記減衰係数が、超音波の筋組織における減衰係数と、深部減衰による減衰係数とのうちの少なくとも一方の減衰係数を含む、請求項1に記載の超音波診断装置。
  3. 前記難度を求めることが、
    以下の式を用いて前記難度を計算する、請求項2に記載の超音波診断装置。
    Y=a + b1x1 + b2x2 + b3x3 + b4x4
    ここで、Y:難度、a:定数、b1、b2、b3、b4:係数、x1:皮下脂肪厚、x2:腸管ガスの量、x3:筋組織における超音波の減衰係数、x4:肝臓の深部減衰による超音波の減衰係数
  4. 複数の超音波画像の各々に、所望の画質の超音波画像を得ることがどの程度困難であるのかを表す数値が対応付けられており、
    前記難度を求めることが、
    前記複数の超音波画像の中から、前記被検体を走査することにより得られた超音波画像に最も類似する超音波画像を求め、前記最も類似する超音波画像に対応付けられた数値を、前記難度として求めることを含む、請求項1に記載の超音波診断装置。
  5. 前記所定の部位の走査が肋間煽り走査である、請求項1に記載の超音波診断装置。
  6. 超音波プローブと、
    前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
    前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
    を含む超音波診断装置であって、
    前記1つまたは複数のプロセッサが、
    前記超音波プローブに、前記被検体の所定の部位の走査を実行させること、
    前記走査により取得されたエコーデータに基づいて、超音波画像を生成すること、
    前記超音波画像に基づいて、学習済みモデルに入力される入力画像を生成すること、および
    前記入力画像を前記学習済みモデルに入力し、前記学習済みモデルを用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を推論すること、
    を含む動作を実行し、
    前記表示部が前記難度を表示する、超音波診断装置。
  7. 前記学習済みモデルは、
    ニューラルネットワークが、超音波画像を用いて作成されたトレーニングデータであって、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度がラベリングされたトレーニングデータを学習することにより作成されたものである、請求項6に記載の超音波診断装置。
  8. 前記所定の部位の走査が肋間煽り走査である、請求項6に記載の超音波診断装置。
  9. 超音波プローブと、
    前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
    前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
    を含む超音波診断装置であって、
    前記1つまたは複数のプロセッサが、
    超音波診断装置とは別のモダリティの画像に基づいて、ガスを含むガス領域と検査対象物とを特定すること、
    前記別のモダリティの画像に基づいて肋間の位置を特定すること、
    前記肋間と前記検査対象物との間に前記ガス領域が存在しているか否かを判定すること、
    前記肋間から前記検査対象物に向けて送信される超音波の体表面に対する入射角を求めること、および
    前記ガス領域が存在しているか否かの判定結果と前記入射角とに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、
    を含む動作を実行し、
    前記表示部が前記難度を表示する、超音波診断装置。
  10. 前記難度を求めることが、
    前記前記ガス領域が存在しているか否かの判定結果と前記入射角とに基づいて、前記肋間ごとに、前記検査対象物を所望の画質で描出することがどの程度困難であるかを表す指標を求めること、および
    前記指標に基づいて、前記難度を求めること、
    を含む、請求項9に記載の超音波診断装置。
  11. 超音波プローブと、
    前記超音波プローブで被検体を走査することにより得られた超音波画像を表示する表示部と、
    前記超音波プローブおよび前記表示部と通信する1つ又は複数のプロセッサと
    を含む超音波診断装置であって、
    前記1つまたは複数のプロセッサが、
    超音波診断装置とは別のモダリティの画像に基づいて、学習済みモデルに入力される入力画像を生成すること、および
    前記入力画像を前記学習済みモデルに入力し、前記学習済みモデルを用いて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を推論すること、
    を含む動作を実行し、
    前記表示部が前記難度を表示する、超音波診断装置。
  12. 前記学習済みモデルは、
    ニューラルネットワークが、超音波診断装置とは別のモダリティの画像に基づいて作成されたトレーニングデータであって、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す数値を含む正解データがラベリングされたトレーニングデータを学習することにより作成されたものである、請求項11に記載の超音波診断装置。
  13. 前記正解データは、
    検査対象物の位置データ、ガス領域の位置データ、および肋骨の位置データを含む、請求項12に記載の超音波診断装置。
  14. 前記1つまたは複数のプロセッサが、
    前記被検体の断面を走査することにより得られた超音波画像と、前記断面における模範画像との類似度を求めること、および
    前記類似度と、前記超音波画像が前記所望の画像であるか否かを判定するための基準となる閾値とを比較し、その比較結果に基づいて、前記超音波画像が前記所望の画像であるか否かを判定すること、
    を含む動作を実行し、
    前記閾値は前記難度に基づいて決定されるものである、請求項に記載1~13のうちのいずれか一項に記載の超音波診断装置。
  15. 超音波プローブで被検体を走査することにより得られたエコーデータおよび/又は超音波画像に基づいて、前記被検体の皮下脂肪厚、腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つを求めること、
    前記被検体の皮下脂肪厚、前記腸管ガスの量、および超音波の減衰特性を表す減衰係数のうちの少なくとも一つに基づいて、所望の画質を有する超音波画像を取得することがどの程度困難であるかを表す難度を求めること、および
    前記難度を表示部に表示すること、
    を含む表示方法。
JP2021170554A 2021-10-18 2021-10-18 超音波診断装置および表示方法 Active JP7225345B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021170554A JP7225345B1 (ja) 2021-10-18 2021-10-18 超音波診断装置および表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021170554A JP7225345B1 (ja) 2021-10-18 2021-10-18 超音波診断装置および表示方法

Publications (2)

Publication Number Publication Date
JP7225345B1 true JP7225345B1 (ja) 2023-02-20
JP2023060768A JP2023060768A (ja) 2023-04-28

Family

ID=85238724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021170554A Active JP7225345B1 (ja) 2021-10-18 2021-10-18 超音波診断装置および表示方法

Country Status (1)

Country Link
JP (1) JP7225345B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011102401A1 (ja) 2010-02-17 2011-08-25 株式会社 日立メディコ 弾性画像の画質評価方法及び超音波診断装置
JP2013176409A (ja) 2012-02-28 2013-09-09 Hitachi Ltd 超音波撮像装置の画質評価方法および装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121722A (ja) * 1993-06-23 1995-05-12 Toshiba Corp 画像評価装置
JP5750668B2 (ja) * 2013-02-26 2015-07-22 オリンパス株式会社 カメラ、再生装置、および再生方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011102401A1 (ja) 2010-02-17 2011-08-25 株式会社 日立メディコ 弾性画像の画質評価方法及び超音波診断装置
JP2013176409A (ja) 2012-02-28 2013-09-09 Hitachi Ltd 超音波撮像装置の画質評価方法および装置

Also Published As

Publication number Publication date
JP2023060768A (ja) 2023-04-28

Similar Documents

Publication Publication Date Title
JP7407790B2 (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
JP4919972B2 (ja) 弾性画像表示方法及び弾性画像表示装置
RU2653274C2 (ru) Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях
CN107464231B (zh) 用于确定医学成像的最佳操作参数的***和方法
CN114903522A (zh) 超声成像中的机器辅助工作流
JP2008073305A (ja) 超音波***診断システム
US10470744B2 (en) Ultrasound diagnosis apparatus, ultrasound diagnosis method performed by the ultrasound diagnosis apparatus, and computer-readable storage medium having the ultrasound diagnosis method recorded thereon
US20120157834A1 (en) Path Parametric Visualization in Medical Diagnostic Ultrasound
JP2008073304A (ja) 超音波***診断システム
JP2013542046A (ja) 超音波画像処理のシステムおよび方法
US11278259B2 (en) Thrombus detection during scanning
JPWO2020027228A1 (ja) 診断支援システム及び診断支援方法
KR20170086311A (ko) 의료 영상 장치 및 그 동작방법
JP2023521738A (ja) 前立腺自動解析システム
JP2010094181A (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
JP2021041029A (ja) 診断支援装置、診断支援システム、及び診断支援方法
US11250564B2 (en) Methods and systems for automatic measurement of strains and strain-ratio calculation for sonoelastography
JP2020103883A (ja) 超音波撮像システムおよび対象物体品質レベルを表示するための方法
CA3054483A1 (en) Ultrasound guidance dynamic mode switching
CN111317508B (zh) 超声波诊断装置、医用信息处理装置、计算机程序产品
JP7225345B1 (ja) 超音波診断装置および表示方法
JP5468759B2 (ja) 位置情報に基づいて関心対象ボリュームを収集するための方法及びシステム
JP2019162314A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6293429B2 (ja) データ解析装置、データ解析装置のプログラム及び超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7225345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150