JP2021115211A - 超音波診断装置、画像処理方法、学習装置及びプログラム - Google Patents

Abstract

【課題】フレームレート低下の影響を少なくしつつ画質の良い画像を生得るとのできる超音波診断装置を提供する。【解決手段】被検体に対して超音波を送受信する超音波探触子と、１つの送信波形の超音波の送受信によって得られる受信信号に基づく第１のデータと、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による１つの送信波形の超音波の送受信によって得られる受信信号に基づく第３のデータから、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づくデータを推定する推定演算部と、を有することを特徴とする超音波診断装置。【選択図】図２

Description

本発明は超音波診断装置、画像処理方法、学習装置及びプログラムに関し、特に超音波診断装置の画質を向上させるための技術に関する。

超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。一般的な超音波画像生成の手法は、送信ビームの形成と受信信号の整相加算処理を含む。送信ビームの形成は、複数の変換素子に対して時間遅延を与えた電圧波形を入力し、生体内で超音波を収束させることで実施する。受信信号の整相加算は、生体内の構造により反射された超音波を複数の変換素子で受信し、得られた受信信号に対して、注目点に対する経路長を考慮した時間遅延を与え、さらに加算することで実施する。この送信ビームの形成と整相加算処理とにより、注目点からの反射信号を選択的に抽出し、画像化を行う。この送信ビームが画像化領域の中を走査するように制御することで観察したい領域の画像を得ることができる。

このような超音波診断装置において、送信信号の基本波成分に対する高調波成分の画像化（ハーモニックイメージング）が広く行われている。超音波が被検体内を伝搬する過程で生じる高調波成分を画像化する手法は、組織ハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）と呼ばれている。Tissue Harmonic Imagingは、被検体（生体組織）のもつ固有の非線形に起因して発生する高調波成分を受信信号から抽出して被検体内部を画像化する。非線形効果によって生じる高調波成分を利用していることから、分解能の向上とアーチファクトの低減の効果が得られる。Tissue Harmonic Imagingでの高調波成
分の抽出方法の１つにPulse Inversion法がある。Pulse Inversion法では、第１の送信波形とその位相を反転した第２の送信波形を送受信して得られる受信信号を加算することで、基本波成分を打ち消し、高調波成分を強調する。

特許文献１には、高調波成分に加えて差音成分も用いることで分解能を維持しつつペネトレーションを向上させたPulse Inversion法について開示されている。特許文献２には
ニューラルネットワークで構成された復元器を用いた医用撮像装置が開示されている。

特開２００２−３０１０６８号公報 特開２０１９−２５０４４号公報

Pulse Inversion法によるTissue Harmonic Imagingを行うためには、被検体の同一箇所に対して複数回の超音波パルスを送受信しなければならない。それゆえ、フレームレートが低下するという課題がある（単純に言うと、１回の送受信で画像を生成するのに比べ、Ｎ回の送受信を行えばフレームレートは１／Ｎとなる）。また、Ｎ回の送受信を行うあいだに被検体や超音波プローブが動く場合、分解能やコントラストなどの画質が低下するという課題もある。

本発明は上述した課題に鑑みてなされたものであり、フレームレート低下の影響を少なくしつつ画質の良い画像を得ることのできる超音波診断装置を提供することを目的とする。

本発明の第一の態様は、被検体に対して超音波を送受信する超音波探触子と、１つの送信波形の超音波の送受信によって得られる受信信号に基づく第１のデータと、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による１つの送信波形の超音波の送受信によって得られる受信信号に基づく第３のデータから、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づくデータを推定する推定演算部と、を有することを特徴とする超音波診断装置である。

本発明の第二の態様は、上記第一態様の超音波診断装置の推定演算部で用いられる学習モデルの機械学習を行う学習装置であって、１つの送信波形の超音波の送受信によって得られる第１のデータを入力データ、複数の異なる送信波形の超音波の送受信によって得られる第２のデータを正解データ、として含む学習データを用いて、前記学習モデルの機械学習を行う学習部を有する、ことを特徴とする学習装置である。

本発明の第三の態様は、被検体に対して超音波を送受信する送受信ステップと、１つの送信波形の超音波の送受信によって得られる第１のデータと、複数の異なる送信波形の超音波の送受信によって得られる第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記送受信ステップにおける１つの送信波形の超音波の送受信によって得られる第３のデータから、複数の異なる送信波形の超音波の送受信によって得られるデータを推定する推定演算ステップと、を含むことを特徴とする画像処理方法である。

本発明によれば、フレームレート低下の影響を少なくしつつ画質の良い画像を得ることのできる超音波診断装置を提供することができる。

超音波診断装置の構成の一例を示すブロック図 第１実施形態の受信信号処理ブロックが有する機能の一例を示すブロック図 Tissue Harmonic Imagingにおける高周波成分の抽出を説明する図 学習モデルを学習する学習装置の一例を示す図 学習データを説明する図 学習データを作成するＧＵＩの一例を示す図 表示装置での超音波画像の表示の一例を示す図 第２実施形態の受信信号処理ブロックが有する機能の一例を示すブロック図

＜第１実施形態＞
本発明の第１実施形態について説明する。図１は超音波診断装置のハードウェア構成の一例を示すブロック図である。

超音波診断装置１は、概略、超音波プローブ（超音波探触子）１０２、プローブ接続部１０３、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８、システム制御ブロック１０９を有する。超音波診断装置１は、超音波プローブ１０２から超音波パルスを被検体１００に送信し、被検体１００の内部で反射された反射超音波を受信して、被検体１００の内部の画像情報（超音波画像）を生成するためのシステムである。超音波診断装置１で得られる超音波画像は各種の臨床検査で利用される。

超音波プローブ１０２は、電子スキャン方式のプローブであり、その先端に１次元又は２次元に配列された複数の振動子１０１を有する。振動子１０１は、電気信号（電圧パルス信号）と超音波（音響波）のあいだの相互変換を行う電気機械変換素子である。超音波プローブ１０２は、被検体１００に対して複数の振動子１０１から超音波を送信し、被検体１００からの反射超音波を複数の振動子１０１により受信する。反射音響波は、被検体１００内の音響インピーダンスの差を反映している。

送信電気回路１０４は、複数の振動子１０１に対してパルス信号（駆動信号）を出力する送信部である。複数の振動子１０１に対して時間差をつけてパルス信号を印加することで、複数の振動子１０１から遅延時間の異なる超音波が送信されることで送信超音波ビームが形成される。パルス信号を印加する振動子１０１（つまり駆動する振動子１０１）を選択的に変えたり、パルス信号の遅延時間（印加タイミング）を変えたりすることで、送信超音波ビームの方向やフォーカスを制御できる。この送信超音波ビームの方向及びフォーカスを順次変更することで、被検体１００内部の観察領域が走査（スキャン）される。送信電気回路１０４は、所定の駆動波形のパルス信号を振動子１０１に送信することで、振動子１０１において所定の送信波形を有する送信超音波を発生させる。受信電気回路１０５は、反射超音波を受信した振動子１０１から出力される電気信号を、受信信号として入力する受信部である。受信信号は受信信号処理ブロック１０６に入力される。送信電気回路１０４及び受信電気回路１０５の動作、すなわち、超音波の送受信は、システム制御ブロック１０９によって制御される。なお、本明細書では、振動子１０１から出力されるアナログ信号も、それをサンプリング（デジタル変換）したデジタルデータも、特に区別することなく受信信号と呼ぶ。ただし、文脈によってデジタルデータであることを明示する目的で、受信信号を受信データと記す場合もある。

受信信号処理ブロック１０６は、超音波プローブ１０２から得られた受信信号に基づいて画像データを生成する画像生成部である。画像処理ブロック１０７は、受信信号処理ブロック１０６で生成された画像データに対し、輝度調整、補間、フィルタ処理などの画像処理を施す。表示装置１０８は、画像データ及び各種情報を表示するための表示部であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどで構成される。システム制御ブロック１０９は、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８などを統括制御する制御部である。

（受信信号処理ブロックの構成）
図２は受信信号処理ブロック１０６が有する機能の一例を示すブロック図である。受信信号処理ブロック１０６は、整相加算処理ブロック２０１、信号記憶ブロック２０２、演算処理ブロック２０３、Ｂモード処理ブロック２０４、推定演算ブロック２０５を有する。

整相加算処理ブロック２０１は、受信電気回路１０５から得られた受信信号に対して整相加算を行い、加算された受信信号を信号記憶ブロック２０２に保存する。整相加算処理とは、振動子１０１ごとに遅延時間を変えて複数の振動子１０１の受信信号を足し合わせることで受信超音波ビームを形成する処理であり、Ｄｅｌａｙ ａｎｄ Ｓｕｍ（ＤＡＳ）ビームフォーミングとも呼ばれる。整相加算処理は、システム制御ブロック１０９から与えられる素子配置や画像生成の各種条件（開口制御、信号フィルタ）に基づいて行われる。

演算処理ブロック２０３は、従来のTissue Harmonic Imaging（ＴＨＩ）の手法によっ
て、高調波成分に基づく超音波信号を生成する。信号記憶ブロック２０２に保存された受信信号とＴＨＩ用の超音波信号はＢモード処理ブロック２０４へと送信される。演算処理ブロック２０３は、本発明の演算処理部に相当する。

Ｂモード処理ブロック２０４は、信号記憶ブロック２０２および演算処理ブロック２０３からの受信信号とＴＨＩ用の超音波信号に包絡線検波処理および対数圧縮処理を行い、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。

推定演算ブロック２０５（推定演算部）は、モデルを用いて、超音波探触子による１つの送信波形の超音波の送受信によって得られる第３のデータから、複数の異なる送信波形の超音波の送受信によって得られるデータを推定する。本実施形態では、推定演算ブロック２０５は、受信信号から得られる機械学習により得られた学習済みモデルを用いて、信号記憶ブロック２０２に保存された受信信号に基づくＢモード画像から、擬似ＴＨＩ相当画像を推定（生成）する。推定演算ブロック２０５は、本発明の推定演算部に相当する。

本明細書では、「ＴＨＩ画像」は、ＴＨＩ用の超音波信号から生成される画像を意味する。ＴＨＩ画像は、従来のＴＨＩイメージング手法によって生成される画像であるともいえる。また、「擬似ＴＨＩ画像」は、受信信号に基づくＢモード画像に画像処理（推定演算処理）を施すことによって得られる、ＴＨＩ画像に相当する画像を意味する。推定演算ブロック２０５による擬似ＴＨＩ画像の生成を、ＴＨＩ画像推定処理と呼ぶことができる。また、擬似ＴＨＩ画像との区別を明確にするために、従来の手法によって得られるＴＨＩ画像を通常ＴＨＩ画像と呼ぶこともある。

受信信号処理ブロック１０６は、通常のＢモード画像、通常のＴＨＩ画像、および擬似ＴＨＩ画像を、画像処理ブロック１０７に出力する。なお、受信信号処理ブロック１０６は、常にこれらの画像を出力するとは限らず、これらのいずれかの画像のみを出力することもある。受信信号処理ブロック１０６から出力される画像は、画像処理ブロック１０７で所定の処理が施されたのち、表示装置１０８で表示される。

受信信号処理ブロック１０６は、１つ以上のプロセッサとメモリにより構成してもよい。その場合、図２に示す各ブロック２０１〜２０５の機能はコンピュータ・プログラムによって実現される。例えば、メモリに記憶されているプログラムをＣＰＵが読み込み実行することにより、各ブロック２０１〜２０５の機能を提供することができる。受信信号処理ブロック１０６は、ＣＰＵの他に、演算処理ブロック２０３の演算や推定演算ブロック２０５の演算を担当するプロセッサ（ＧＰＵ、ＦＰＧＡなど）を備えていてもよい。特に同時に多くのデータが入力される演算処理ブロック２０３にはＦＰＧＡを、推定演算ブロック２０５のような演算を効率よく実行するにはＧＰＵを用いることが有効である。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、ＣＰＵが利用するワーキングメモリなどを含むとよい。

（ＴＨＩイメージング：Pulse Inversion法）
ここで、ＴＨＩイメージングによる画像生成方法であるPulse Inversion（ＰＩ）法に
ついて説明する。ＴＨＩイメージングは、異なる送信波形を有する超音波の送受信によって得られる複数の受信信号から送信超音波の基本周波数成分を低減させて、高調波成分に基づく画像を生成する手法である。

基本波成分ｆ１を持つ超音波を被検体に送信すると、図３Ａに示すように、基本波成分ｆ１と高調波成分２ｆ１を含む反射超音波を表す第１の受信信号３１が受信される。基本波成分ｆ１と高調波成分２ｆ１を超音波プローブ１０２の有効周波数帯域に含まれるよう調整することで、基本波成分ｆ１と高調波成分２ｆ１の両方を受信することができる。基本波の周波数は、超音波プローブ１０２の中心周波数よりも低いのが一般的である。第１の受信信号３１は受信信号処理ブロック１０６内で整相加算され、信号記憶ブロック２０２に保存される。

次に、図３Ｂに示すよう、第１の送信波形と位相が反転した周波数スペクトルを持つ超音波を被検体に送信すると、基本波成分ｆ１と高調波成分２ｆ１を含む反射超音波を表す第２の受信信号３２が受信される。第２の受信信号３２は受信信号処理ブロック１０６内で整相加算され、信号記憶ブロック２０２に保存される。

第２高調波の位相変化は基本波の位相変化の２倍である。したがって、基本波の位相を１８０度変化させる（反転させる）と、第２高調波の位相は３６０度変化する。すなわち、第１の受信信号３１と第２の受信信号３２に含まれる高調波成分２ｆ１は同位相である。

整相加算された受信信号３１，３２は演算処理ブロック２０３で加算される。その結果、図３Ｃに示すように、基本波成分ｆ１は打ち消され高調波成分２ｆ１が強調された周波数スペクトルを持つ超音波信号３３が生成される。この超音波信号３３が、上述したＴＨＩ用の超音波信号に相当する。

Ｂモード処理ブロック２０４は、演算処理ブロック２０３で生成された超音波信号３３に対して、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表した画像データを生成する。これにより、高調波成分のみを画像化しているため、基本波成分を画像化する通常のＢモードに比べて分解能やコントラストが優れた画像が得られる。

ここでは、超音波信号を送受信する回数が２回である例を説明したが、送受信回数は、２回に限定されず、加算して基本波成分を打ち消すように送信波形の位相が調整されていれば送受信回数は２回以上の任意の回数であってよい。なお、基本波成分は完全に打ち消されることが理想であるが、加算により基本波成分が低減されれば完全に打ち消されなくてもよい。

上記の第１の受信信号３１および第２の受信信号３２から、それぞれＢモード画像を生成することもできる。このようにして生成されるＢモード画像は、送信超音波の基本波に基づくので、本明細書では「基本波画像」とも称する。また、第１の受信信号３１に基づくＢモード画像をＴＨＩ正パルスモードの基本波画像あるいは第１の基本波画像とも称し、受信信号３２に基づくＢモード画像をＴＨＩ負パルスモードの基本波画像あるいは第２の基本波画像とも称する。

第１の受信信号３１および第２の受信信号３２のそれぞれは、１つの送信波形の超音波の送受信によって得られる受信信号であると呼ぶことができる。第１のおよび第２の基本波画像は、それぞれ１つの送信波形の超音波の送受信によって得られる受信信号に基づくデータであると呼ぶことができる。また、第１の受信信号３１および第２の受信信号３２は全体として、送信波形の位相を異ならせた複数回の超音波の送信によって生成される反射超音波をそれぞれ表す複数の受信信号と呼ぶこともできる。ＴＨＩ用の超音波信号３３は、当該複数の受信信号から送信超音波の基本周波数成分を低減し、高調波成分を強調した信号であると呼ぶこともできる。また、超音波信号３３に基づく超音波画像（ＴＨＩ画像）は、当該複数の受信信号に含まれる、送信超音波の基本周波数成分に基づく高調波画像データであると呼ぶこともできる。

（推定演算ブロック）
推定演算ブロック２０５について説明する。推定演算ブロック２０５は学習済みモデルを用いて擬似ＴＨＩ画像を生成（推定）する処理を行う。

モデルは、１つの送信波形の超音波の送受信により得られる受信信号に基づく第１のデータ（入力データ）と、複数の異なる送信波形の超音波の送受信により得られる受信信号に基づく第２のデータ（正解データ）とを含む学習データを用いて機械学習される。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図４は、モデルの機械学習を行う学習装置４０の一例を示している。学習装置４０は、複数の学習データ４０１を用いてモデルの機械学習を実施する学習部（学習器）４０４を有している。学習部４０４は先に例示した機械学習アルゴリズムのうちいずれを利用してもよいし、他の機械学習アルゴリズムを利用してもよい。学習データ４０１は、入力データと正解データ（教師データ）の組で構成されている。本実施形態では、入力データとして基本波画像４０２（１つの送信波形の超音波の送受信による受信信号に基づく画像）を、正解データとしてＴＨＩ画像４０３（複数の異なる送信波形の超音波の送受信による複数の受信信号に基づく画像）を用いる。学習部４０４は、与えられた複数の学習データ４０１を基に、基本波画像４０２とＴＨＩ画像４０３のあいだの相関を学習して、学習済みモデル４０５を作成する。これにより、学習済みモデル４０５は、基本波画像を入力データとして与えると、擬似ＴＨＩ画像を出力データとして生成する機能（能力）を獲得することができる。言い換えると、学習済みモデル４０５は、１つの送信波形の超音波の送受信によって得られる受信信号に基づくデータから、当該受信信号に含まれる送信超音波の高調波成分に基づくデータを推定する機能を獲得する。学習済みモデル４０５は、超音波診断装置１の推定演算ブロック２０５で実行されるプログラムに実装される。モデルの学習（学習済みモデル４０５の生成処理）は、超音波診断装置１に組み込まれる前に実施されるのが望ましい。ただし、超音波診断装置１が学習機能を有する場合には超音波診断装置１で得られた画像データを用いて学習（新規の学習又は追加学習）を行ってもよい。

学習データは、演算処理ブロック２０３およびＢモード処理ブロック２０４で説明した処理を用いて、ＴＨＩ画像を生成することにより用意されうる。具体的には、位相を異ならせた複数回の超音波送信を行って複数の受信信号を取得し、これら複数の受信信号から抽出された高調波成分に基づくＴＨＩ画像を生成する。また、複数の受信信号のそれぞれからＢモード画像（基本波画像）を生成する。このようにして生成される、基本波画像および送信超音波の波形（位相）モードが入力データ、ＴＨＩ画像が正解データとして用いられる。したがって、１回のＴＨＩイメージングの結果、複数組の学習データが得られる。なお、学習データの生成は、学習モデルが搭載される超音波診断装置以外の装置で行われてもよいし、学習モデルが搭載される超音波診断装置で行われてもよい。

図５を参照して、学習データについてより具体的に説明する。学習データに含まれる正解データは、ＴＨＩモードを用いて撮像したＴＨＩ画像である。学習データに含まれる入力データのうち、送信波形モードは、入力データである基本波画像を生成した際に用いた送信超音波が、ＰＩ法における反転なしの波形を送信するモードと反転ありの波形を送信するモードのいずれを有するかを表す。反転なしの送信モードをＴＨＩ正パルスモード（あるいは単に正パルスモード）と称し、反転ありの送信モードをＴＨＩ負パルスモード（あるいは単に負パルスモード）と称する。学習データに含まれる入力データのうち、基本波画像は、上記のＴＨＩモード撮像（ＰＩ法）における各送信波形に対応する受信信号を画像化したデータ（正パルスモードの基本波画像または負パルスモードの基本波画像）である。

図５には、学習データＩＤ１〜４の４つの学習データが例示されている。学習データＩ
Ｄ１の入力データとして、第１のＴＨＩイメージングにおける正パルスモードの基本波画像Ｂ１−１およびそのときの送信波形モードである正パルスモードを用いる。また学習データＩＤ１の正解データとして第１のＴＨＩイメージングの結果として得られるＴＨＩ画像を用いる。学習データＩＤ２の入力データとして、第１のＴＨＩイメージングにおける負パルスモードの基本波画像Ｂ１−２およびそのときの送信波形モードである負パルスモードを用いる。また学習データＩＤ２の正解データとして第１のＴＨＩイメージングの結果として得られるＴＨＩ画像を用いる。

同様に、学習データＩＤ３の入力データは、第２のＴＨＩイメージングにおける正パルスモードの基本波画像Ｂ２−１および正パルスモードであり、正解データは第２のＴＨＩイメージングの結果として得られるＴＨＩ画像である。学習データＩＤ４の入力データは、第２のＴＨＩイメージングにおける負パルスモードの基本波画像Ｂ２−２および負パルスモードであり、正解データは第２のＴＨＩイメージングの結果として得られるＴＨＩ画像である。

様々な条件で取得された学習データを用いて学習することで、様々なパターンの入力に対する学習が行われ、実際に使用されたときも安定して画質の良い画像を推定することが期待できる。したがって、同じ被検体に対して、異なる条件でＴＨＩイメージングを行って学習データを得ることが好ましい。なお、被検体として、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いてもよく、さらには実際のファントム、またさらに実際の生体を用いても構わない。

また学習データの前処理を行ってもよい。例えば、超音波の減衰による輝度値のムラを補正することにより、学習効率の改善を図ってもよい。また、超音波が被検体内を伝搬する過程で生じる高調波成分は、伝搬距離が長いほど増加する。一方で高調波成分は基本波成分と比較して周波数が高いため、伝搬時に減衰の影響が大きくなる。つまり、ＴＨＩイメージングの効果が得られる程度の高調波成分が蓄積される深さ、かつ高調波成分のＳＮが十分に得られる深さは、ある程度の範囲に限られる。したがって、ＴＨＩイメージングで得られるＴＨＩ画像および基本波画像のうち、上記範囲の深さの画像のみを抜き出して前処理を行うとよい。これにより、ＴＨＩイメージングの効果が小さい浅部やペネトレーションが良くない深部でも、基本波画像からＴＨＩ画像を推定することができ、分解能やコントラストが向上する効果が得られる。

学習においては図６に示したようなＧＵＩを用いて入力データおよび正解データの前処理を行っても良い。表示画面内に入力データ６０と正解候補データ６１とを示し、それぞれを複数の領域に分割するインジケータ６２を表示する。図６の例では画像を４×４の１６個の領域に分割している。採択指定ボックス６３は、領域ごとの採否を使用者に指定させるためのユーザインタフェースである。使用者は入力データ６０と正解候補データ６１を見比べながら、学習データとして採択する領域に「〇」を、除外する領域に「×」を入力する。これにより、正解候補データ６１の中で予期せぬ画像劣化が起きているところなどを除外することができる。例えば、前述したようなＴＨＩイメージングの効果が小さいと判断されるような浅部やペネトレーションが良くない深部を除外することができる。また、複数回の超音波パルスの送受信間の被検体の動きにより基本波成分を打ち消しが不十分となり画質が低下していると判断される箇所を除外することもできる。図５では、画像全体を１つの学習データとして用いる想定で説明をしているが、図６のように画像を複数の領域に分割した場合には、個々の領域の画像（部分画像）が１つの学習データとして用いられる。この場合、学習モデルは、入力データ６０と同じサイズ（分解能）の画像を入力として受け付け、正解候補データ６１と同じサイズの画像を出力する。図６の例では、採択される領域が７個あるため、７組の学習データが生成されることとなる。

本実施形態では、学習データの入力データとして、ＴＨＩイメージングにおける基本波画像を用いているが、通常のＢモード画像を入力データに用いてもよい。ここでの通常のＢモード画像とは、超音波プローブ１０２の中心周波数の超音波を送信して得られる基本波画像である。これにより、学習モデルは、通常のＢモード画像からＴＨＩ画像を推定できるようになる。

また、本実施形態では入力データとして基本波画像および送信波形モードを例示しているが、基本波画像だけを入力データとしても効果が得られる。また、基本波画像を取得した際の送信周波数やバンドパスフィルタの帯域を入力データにすることでも入力データの状況に合わせて精度よく推定できる。また、被検体が生体のどの部分なのか、体軸に対してどの向きに超音波プローブを接触しているのかも合わせて入力データとすることで、部位ごとの特徴に応じた学習が行え、推定精度が向上する。部位毎の特徴として、例えば脂肪層が表面にある、筋膜の構造による高輝度領域がある、太い血管による低輝度値領域が存在するなどが挙げられる。またさらに、診療科や性別、ＢＭＩ、年齢、病態などの情報を入力データに付加することで、部位ごとの特徴にさらに詳細に対応した学習モデルが得られ、より推定精度が高まることが期待できる。

また、超音波診断装置１に搭載される推定演算ブロック２０５の学習済みモデル４０５は、全診療科の画像データを学習させたモデルでもよいし、診療科ごとの画像データを学習させたモデルでもよい。診療科ごとの画像データを学習させたモデルが搭載されている場合は、システム制御ブロック１０９が、超音波診断装置１の使用者に診療科情報を入力ないし選択させ、診療科に合わせて用いる学習済みモデルを変更するとよい。撮像部位がある程度限定される診療科ごとにモデルを使い分けることで、より推定精度が高まることが期待できる。

このような各種撮像条件と基本波画像とを入力データとし、その正解データにＴＨＩ画像を用いた学習を行うことで得られた学習済みモデル４０５が推定演算ブロック２０５上で動作する。結果として推定演算ブロック２０５は入力される基本波画像に対して分解能やコントラストの高いＴＨＩ画像に相当する画像を推定し、出力することが期待できる。

（画像生成方法）
次に本実施形態における画像生成のための処理の詳細を図１を用いて述べる。図示していないＧＵＩを利用して使用者から撮像の指示が入力されると、ＧＵＩからの指示を受けたシステム制御ブロック１０９が送信電気回路１０４に超音波の送信指示を入力する。送信指示は、遅延時間を計算するためのパラメータや音速情報を含むと良い。送信電気回路１０４はシステム制御ブロック１０９からの送信指示に基づいて、複数のパルス信号（電圧波形）をプローブ接続部１０３を通じて超音波プローブ１０２の複数の振動子１０１へと出力する。ここでは、図３Ａに示すような基本波成分ｆ１を持つ超音波を正パルスモードの送信波形とする。

複数の振動子１０１から送信された送信超音波は被検体内を伝播し、被検体内の音響インピーダンスの差を反映した反射超音波を生じさせる。反射超音波は、複数の振動子１０１によって受信され、電圧波形（電圧信号）に変換される。この電圧波形はプローブ接続部１０３を通して受信電気回路１０５へと入力される。受信電気回路１０５は必要に応じて電圧波形を増幅、デジタルサンプリングし、受信信号処理ブロック１０６へ受信信号として出力する。受信信号処理ブロック１０６内では受信電気回路１０５で得られた受信信号に対して、システム制御ブロック１０９から入力される素子配置や画像生成の各種条件（開口制御、信号フィルタ）を元に、整相加算処理ブロック２０１が整相加算を行う。さらに、整相加算された信号は信号記憶ブロック２０２に保存される。これにより、正パルスモードの送信波形に対応する受信データが信号記憶ブロック２０２に保存される。同様
の処理を行うことで、図３Ｂに示すような正パルスモードの送信波形と位相が反転した周波数スペクトル（負パルスモードの送信波形）に対応する受信データが信号記憶ブロック２０２に保存される。

演算処理ブロック２０３は、正パルスモードおよび負パルスモードの送信波形に対応する複数の受信データから、ＰＩ法を用いて、基本波成分が打ち消して高調波成分を抽出し、高調波成分が強調された高調波画像を生成する。これら画像はＢモード処理ブロック２０４へと送信される。Ｂモード処理ブロック２０４は、包絡線検波処理、対数圧縮処理などを行い、観察領域内の各点での信号強度を輝度強度で表したＴＨＩ画像データ（高調波画像データ）を生成する。

また、Ｂモード処理ブロック２０４は、正パルスモードの受信データおよび負パルスモードの受信データに対しても、包絡線検波処理、対数圧縮処理などを行う。正パルスモードおよび負パルスモードの受信データから第１および第２の基本波画像データが生成される。

推定演算ブロック２０５は、Ｂモード処理ブロック２０４からの第１および第２の基本波画像データと、システム制御ブロック２０９からの基本波に関する撮像条件（入力される送信波形モードなど）とを入力として推定演算を実行し、画像データを出力する。推定演算ブロック２０５は、上述した学習済みモデルを用いて、第１の基本波画像データから第１の擬似ＴＨＩ画像データを推定し、第２の基本波画像データから第２の擬似ＴＨＩ画像データを推定する。

このように推定演算ブロック２０５は、通常ＴＨＩ画像（高調波画像）を生成するために用いた受信データから得られる基本波画像データを学習済みモデルに複数入力して、通常ＴＨＩ画像に相当する擬似ＴＨＩ画像（推定画像）を複数推定する。なお、それぞれの基本波画像データから擬似ＴＨＩ画像を推定しているが、一部の基本波画像データのみから擬似ＴＨＩ画像を推定してもよい。この画像生成処理における正パルスモードおよび負パルスモードの受信データが、それぞれ本発明における「１つの送信波形の超音波の送受信によって得られる受信信号」に相当する。また、本実施形態では、第１および第２の基本波画像データがそれぞれ「第３のデータ」に相当する。また、第１および第２の基本波画像データから推定される第１および第２の擬似ＴＨＩ画像がそれぞれ推定演算部によって推定されるデータに相当する。

ＴＨＩ画像データおよび第１および第２の擬似ＴＨＩ画像データは、画像処理ブロック１０７へ入力され、輝度調整や補間、その他のフィルタが適用された後、システム制御ブロック１０９の指示に従って表示装置１０８にて表示される。これら３個の画像データを連続的に表示することで、ＴＨＩ相当の画質での表示を通常のＴＨＩモードよりも早いフレームレートで実現することができる。

また、通常ＴＨＩ画像の画質が低いと判断される場合には、通常ＴＨＩ画像データは表示せずに、第１および第２の擬似ＴＨＩ画像データのみを表示してもよい。第１の受信データと第２の受信データを得る間に被検体の動きがあると、ＰＩ法における基本波成分の打ち消しが不十分となって通常ＴＨＩ画像データの画質が低下する。このような場合に、第１および第２の擬似ＴＨＩ画像データのみを表示することで、画質の低下を防ぎつつ通常のＴＨＩモードよりも早いフレームレートを実現することが可能である。被検体の動きが大きい部位などを撮像する際はこのような表示を用いることが望ましい。

超音波診断装置１は、通常ＴＨＩ画像データの表示のオンオフと擬似ＴＨＩ画像のオンオフの少なくともいずれかが異なる複数の表示モードを有する。例えば、超音波診断装置
１は、通常ＴＨＩ画像データおよび擬似ＴＨＩ画像データを表示する第１モードと、擬似ＴＨＩ画像データのみを表示する第２のモードとを、有する。表示モードに、擬似ＴＨＩ画像データを表示せずに通常ＴＨＩ画像データのみを表示する第３のモードが含まれてもよい。表示モードに基づく画像の表示制御は、システム制御ブロック１０９によって行われる。

表示モードは、例えば、使用者が表示装置１０８のＧＵＩ（入力手段）から指定可能としてもよいし、画像処理ブロック１０７が判断してもよい。例えば、表示装置１０８に、通常ＴＨＩ画像および擬似ＴＨＩ画像の表示のオンオフをユーザが個別に指定可能なＧＵＩを表示させて、当該ＧＵＩを介して通常ＴＨＩ画像および擬似ＴＨＩ画像の表示オンオフの指定を使用者から受け付けてもよい。

モード選択の判断は、画像処理ブロック１０７あるいはシステム制御ブロック１０９が行ってもよい。例えば、画像処理ブロック１０７は、通常ＴＨＩ画像の画質が閾値より高いか否かを判断し、判断結果に基づいて表示モードを選択してもよい。具体的には、通常ＴＨＩ画像の画質が閾値よりも高い場合には、通常ＴＨＩ画像と擬似ＴＨＩ画像の両方を表示するモードを選択し、画質が閾値よりも低い場合には通常ＴＨＩ画像を表示せずに擬似ＴＨＩ画像を表示するモードを選択する。通常ＴＨＩ画像の画質は、被検体の動き量に基づいて判断可能である。例えば、画像処理ブロック１０７は、第１および第２の基本波画像データ、あるいは第１および第２の擬似ＴＨＩ画像データに基づいて求められる被検体の動きが所定量以上であるか否かに応じて、通常ＴＨＩ画像の画質が閾値よりも高いか否かを判断してもよい。あるいは、画像処理ブロック１０７は、第１および第２の受信データを合計した信号に含まれる基本波成分が所定量以上であるか否かに基づいて、通常ＴＨＩ画像の画質を判断してもよい。

図７Ａ〜図７Ｄは表示装置１０８における画像の表示例を模式的に示したものである。表示画面７０は、画像表示領域７１、フレームレート表示領域７２、通常ＴＨＩ画像の表示オンオフのインジケータ７３、擬似ＴＨＩ画像の表示オンオフのインジケータ７４を含む。なお、インジケータ７３，７４が、通常ＴＨＩ画像と擬似ＴＨＩ画像の表示オンオフの切り替えボタン（ＧＵＩ）を兼ねてもよい。

図７Ａは通常のＴＨＩモードの表示、すなわち、通常ＴＨＩ画像を表示し、擬似ＴＨＩ画像（ＡＩ−ＴＨＩ画像）を表示しないモードにおける表示例を示す。フレームレート（ＦＲ）は５０ｆｐｓとなっている。通常ＴＨＩ画像が表示されているのでインジケータ７３には「通常ＴＨＩ：ＯＮ」と表示され、擬似ＴＨＩ画像は表示されていないのでインジケータ７４には「ＡＩ−ＴＨＩ：ＯＦＦ」と表示される。

図７Ｂは通常ＴＨＩ画像と擬似ＴＨＩ画像の両方を表示するモードの表示例を示す。この表示モードでは、通常ＴＨＩ画像と擬似ＴＨＩ画像が画像表示領域７１に連続して表示される。第１および第２の受信データに基づく基本波画像のそれぞれから擬似ＴＨＩ画像データが推定できるので、本モードでは図７Ａと比較してフレームレートが３倍の１５０ｆｐｓとなる。本実施形態では、インジケータ７４に「ＡＩ−ＴＨＩ：ＯＮ」と表示される。これにより、表示画像に、推定演算ブロック２０５によって推定された推定画像が含まれることを使用者に明示できる。本実施形態のインジケータ７４は、文字表示により推定画像が表示されることを通知しているが、その他の方式により推定画像の表示を通知してもよい。例えば、表示画像や表示領域の外縁の色を変える、点滅させる、背景の色、彩度、模様を変化させるなどの手法を採用してもよい。

図７Ｃは、擬似ＴＨＩ画像を表示し、通常ＴＨＩ画像は表示しないモードにおける表示例を示す。本モードのフレームレートは、図７Ａの２倍の１００ｆｐｓとなる。インジケ
ータ７３には通常ＴＨＩ画像の表示がオフ（通常ＴＨＩ：ＯＦＦ）であることが表示され、インジケータ７４には擬似ＴＨＩ画像の表示がオン（ＡＩ−ＴＨＩ：ＯＮ）であることが表示される。

図７Ｄは、通常ＴＨＩ画像７５と擬似ＴＨＩ画像７６を並べた表示した例である。画面の左側には通常ＴＨＩ画像のみがフレームレート５０ｆｐｓで表示され、画面の右側に擬似ＴＨＩ画像のみがフレームレート１００ｆｐｓで表示されている。この表示画面を用いれば、推定画像だけでなく、正解画像である通常ＴＨＩ画像も同時に確認できる。このような表示画面は、推定演算ブロック２０５の精度や信頼性の評価やチェックに有用である。

＜第２実施形態＞
次に本発明の別の実施形態について述べる。第１実施形態ではＴＨＩモードで得られる基本波画像を推定演算ブロック２０５に入力して、擬似ＴＨＩ画像を推定した。本実施形態では通常のＢモードで撮像した画像データを推定演算ブロック２０５に入力して、擬似ＴＨＩ画像を推定する。本実施形態においても、ＰＩ法によるフレームレートの低下を生じることなく、ＴＨＩ相当の画質の画像を得ることができる。

超音波診断装置１の全体構成は第１実施形態（図１）と同様である。被検体１００に対して超音波を送信して受信信号を受信信号処理ブロック１０６に入力するまでのフローは第１実施形態と同様である。ただし、第１実施形態では、基本波成分ｆ１と高調波成分２ｆ１の両方が超音波プローブ１０２の有効周波数帯域に含まれるように調整したが、本実施形態では、高調波成分２ｆ１は超音波プローブ１０２の有効周波数帯域の外でも構わない。すなわち、本実施形態では、基本波成分ｆ１が超音波プローブ１０２の有効周波数帯域と一致するような帯域幅を持った送信波形を使用できる。さらには、基本波成分ｆ１は超音波プローブの有効周波数帯域に含まれるが、高調波成分２ｆ１は超音波プローブの有効周波数帯域に含まれない送信波形、すなわち第１実施形態の場合よりも基本波成分ｆ１が高い周波数となる送信波形でもよい。

図８は第２実施形態における受信信号処理ブロック１１６の詳細を表す図である。受信信号処理ブロック１１６は、整相加算処理ブロック２０１、信号記憶ブロック２０２、Ｂモード処理ブロック２０４、推定演算ブロック２０５を有している。各ブロックの機能および処理は、基本的に、第１実施形態の同じ名称のブロックと同じである。すなわち、受信電気回路１０５から取り込まれた受信信号は、整相加算処理ブロック２０１によって整相加算され、信号記憶ブロック２０２に保存される。そしてＢモード処理ブロック２０４が通常Ｂモード画像を生成し、推定演算ブロック２０５に入力する。推定演算ブロック２０５は、学習済みモデルに通常Ｂモード画像を入力し、推定結果として、擬似ＴＨＩ画像（推定画像）を得る。本実施形態ではこの推定画像が表示装置１０８での表示に利用される。

本実施形態によれば、超音波プローブ１０２が高調波成分２ｆ１を受信できなくても、擬似ＴＨＩ画像を取得できる。言い換えると、高調波成分を受信するために、送信超音波の周波数を下げる必要がない。超音波の周波数が高いほど高精細な画像が得られるので、本実施形態によれば、推定演算ブロック２０５における擬似ＴＨＩ画像の推定精度も向上する。

本実施形態の推定演算ブロック２０５が有する学習済みモデルは、第１実施形態と同様の処理により生成される。本実施形態においては、学習データ中に含まれる入力データは、超音波プローブ１０２の中心周波数の超音波を送受信して得られる通常Ｂモード画像とするとよい。ただし、第１実施形態と同じ学習データに基づく学習を行った学習済みモデ
ルを用いても構わない。

＜その他の実施形態＞
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。

例えば、第１実施形態および第２実施形態においては、Ｂモード画像を入力データ、推定画像を出力データとする学習モデルを利用したが、モデル入出力は画像である必要はなく、画像生成の元となるデータであればよい。例えば、基本波送信により得られる受信データそのものを入力データとして用いてもよいし、整相加算処理後の受信データを入力データとして用いてもよい。その場合は、正解データとして、高調波成分のみを抽出した受信データそのもの、もしくは高調波成分のみを抽出した受信したデータに整相加算処理を行った受信データを用いるとよい。このようなモデルを用いても上述した実施形態と同様の作用効果を得ることができる。なお、モデルの出力が画像ではない場合には、受信信号処理ブロック１０６は推定演算ブロック２０５から出力されるデータに基づいて画像を生成する画像生成部をさらに備えるとよい。この画像生成部は、推定演算ブロック２０５（推定演算部）で推定されたデータから高調波画像に相当する推定画像を生成するように構成される。

また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１：超音波診断装置 １０２：超音波プローブ １０６：受信信号処理ブロック
２０５：推定演算ブロック ４０５：学習済みモデル

Claims (15)

1. 被検体に対して超音波を送受信する超音波探触子と、
   １つの送信波形の超音波の送受信によって得られる受信信号に基づく第１のデータと、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づく第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記超音波探触子による１つの送信波形の超音波の送受信によって得られる受信信号に基づく第３のデータから、複数の異なる送信波形の超音波の送受信によって得られる受信信号に基づくデータを推定する推定演算部と、
   を有することを特徴とする超音波診断装置。
2. 前記モデルは、複数の異なる送信波形の超音波の送受信によって得られる複数の受信信号から基本周波数成分を低減した信号に基づくデータを正解データとする学習データを用いて学習される、
   請求項１に記載の超音波診断装置。
3. 前記推定演算部で推定されたデータから、複数の異なる送信波形の超音波の送受信によって得られる高調波画像に相当する推定画像を生成する画像生成部をさらに有する、
   請求項１または２に記載の超音波診断装置。
4. 送信波形の位相を異ならせた複数回の超音波の送信によって生成される反射超音波に基づく複数の受信信号から高調波成分を抽出し、当該高調波成分に基づく高調波画像を生成する演算処理部をさらに有し、
   前記推定演算部は、前記モデルを用いて、前記超音波探触子による１つの送信波形の超音波の送受信によって得られる受信信号に基づく第３のデータから、前記高調波画像に相当する推定画像を推定する、
   請求項１から３のいずれか１項に記載の超音波診断装置。
5. 前記推定演算部は、前記超音波探触子による１つの送信波形の超音波の送受信によって得られる受信信号に基づく第３のデータを前記モデルに複数入力して、前記高調波画像に相当する推定画像を複数推定し、
   前記高調波画像、および、複数の前記推定画像を表示装置に表示する、
   請求項３または４に記載の超音波診断装置。
6. 表示装置に出力する表示画像の制御を行う制御部をさらに有し、
   前記制御部は、前記推定画像の表示のオンオフ、および、前記高調波画像の表示のオンオフの少なくともいずれかが異なる複数の表示モードを有する、
   請求項４または５に記載の超音波診断装置。
7. 前記推定画像の表示のオンオフ、および、前記高調波画像の表示のオンオフを、使用者がそれぞれ個別に指定可能な入力手段を更に有する、
   請求項６に記載の超音波診断装置。
8. 前記制御部は、前記高調波画像の画質が閾値より高い場合には、前記推定画像および前記高調波画像をともに表示し、前記高調波画像の画質が前記閾値よりも低い場合には、前記高調波画像を表示せずに前記推定画像を表示する、
   請求項６または７に記載の超音波診断装置。
9. 前記制御部は、前記推定画像と前記高調波画像を並べて表示する、
   請求項６から８のいずれか１項に記載の超音波診断装置。
10. 前記超音波探触子が送信する超音波の基本周波数は、前記超音波探触子の中心周波数よりも低い、
    請求項３から９のいずれか１項に記載の超音波診断装置。
11. 前記第１のデータは、前記超音波探触子の中心周波数を基本周波数とする超音波の送信によって生成される反射超音波を受信した受信信号に基づくデータである、
    請求項１または２に記載の超音波診断装置。
12. 前記超音波探触子の中心周波数の高調波は、前記超音波探触子の有効周波数帯に含まれない、
    請求項１１に記載の超音波診断装置。
13. 請求項１から１２のいずれか１項に記載の超音波診断装置の推定演算部で用いられるモデルの機械学習を行う学習装置であって、
    １つの送信波形の超音波の送受信によって得られる第１のデータを入力データ、複数の異なる送信波形の超音波の送受信によって得られる第２のデータを正解データ、として含む学習データを用いて、前記モデルの機械学習を行う学習部を有する、
    ことを特徴とする学習装置。
14. 被検体に対して超音波を送受信する送受信ステップと、
    １つの送信波形の超音波の送受信によって得られる第１のデータと、複数の異なる送信波形の超音波の送受信によって得られる第２のデータとを含む学習データを用いて機械学習されたモデルを用いて、前記送受信ステップにおける１つの送信波形の超音波の送受信によって得られる第３のデータから、複数の異なる送信波形の超音波の送受信によって得られるデータを推定する推定演算ステップと、
    を含むことを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。

Images