JP7233792B2 - 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法 - Google Patents

Description

本発明は、画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法に関する。

Ｘ線ＣＴ（Computer Tomography）、超音波エコー等の撮像手段を用いて画像診断を行う場合に、被検者の体動等に起因して撮像画像がぼやけるアーチファクトが発生する場合がある。この問題に対処するため、種々の手法が提案されている。

例えば特許文献１では、***のＸ線断層画像を撮像する装置であって、画像撮像時の***の動きを検出し、検出した動きに基づいてＸ線断層画像を補正する***断層画像撮影装置が開示されている。

特開２０１０－５１３３７号公報

しかしながら、特許文献１に係る発明は物理的なセンサを用いて***の動きを検出しており、画像自体から体動等に起因するぼやけを検出して画像を補正するに至っていない。

一つの側面では、超音波画像診断を好適に支援することができる画像診断装置等を提供することを目的とする。

一つの側面に係る画像診断装置は、超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得する取得部と、前記複数の第１画像を再構成した第２画像を生成する生成部と、前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出する検出部と、前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出する算出部とを備え、前記生成部は、前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する。

一つの側面では、超音波画像診断を好適に支援することができる。

画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像処理装置の構成例を示すブロック図である。 超音波断層像の撮像処理に関する説明図である。 超音波撮像における計測時間と体動の関係を示す説明図である。 送信開口の位置と点応答関数との関係を示す説明図である。 ３次元画像の生成処理に関する説明図である。 ぼやけ検出処理に関する説明図である。 画像診断装置の表示画面例を示す説明図である。 空間上隣り合う１５０個のファン画像同士の不一致度を比較した例である。 第１モデルの生成処理の手順を示すフローチャートである。 画像撮像処理の手順を示すフローチャートである。 実施の形態２に係る画像処理装置の構成例を示すブロック図である。 第２モデルの生成処理の手順を示すフローチャートである。 実施の形態２に係る画像撮像処理の手順を示すフローチャートである。 画像撮像処理の手順の他の例を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、被検者の***を対象とした超音波画像診断を行う画像診断システムについて説明する。画像診断システムは、サーバ１及び画像診断装置２を含む。サーバ１及び画像診断装置２は、ネットワークＮを介して通信接続されている。

なお、本実施の形態では画像診断の対象とする生体部位の一例として***を挙げるが、他の生体部位であってもよい。

サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置はサーバコンピュータに限定されず、例えばパーソナルコンピュータ等であってもよい。本実施の形態においてサーバ１は、所定の訓練データを学習する機械学習を行い、画像診断装置２で撮像された超音波画像（例えば断層像）を入力した場合に、被検者の体動等に起因する画像のぼやけを検出する第１モデル５１（図８参照）を生成する生成装置として機能する。サーバ１が生成した第１モデル５１のデータは画像診断装置２にインストールされており、画像診断装置２は、第１モデル５１を用いて撮像画像からぼやけを検出し、補正を行う。

画像診断装置２は、超音波エコー検査のための画像診断装置であり、画像処理装置２０及び撮像装置３０を備える。画像処理装置２０は、画像診断装置２のコンソールとして機能するコンピュータであり、***の超音波断層像を生成（再構成）して表示するほか、***の複数位置において撮像された複数の断層像を元に３次元画像を生成し、表示する。なお、画像処理装置２０は超音波画像診断用のコンピュータ（コンソール）に限定されず、パーソナルコンピュータ等の汎用コンピュータであってもよい。

撮像装置３０は、超音波信号の送受信を行う撮像装置である。図１に示すように、撮像装置３０は、被検者がうつ伏せになった状態で***を撮像可能に構成されている。具体的には、撮像装置３０はベッド状の形状を有し、天板３１に***を挿入するための孔３２が設けられている。孔３２の下方には水槽３３が設けられ、被検者は孔３２から水槽３３に***を挿入する。

水槽３３には、リングアレイ３４が設けられている。リングアレイ３４は、複数の超音波素子３４１（トランスデューサ）を備えるリング状の振動子アレイである（図４参照）。リングアレイ３４には複数の超音波素子３４１が等間隔で配置され、各超音波素子３４１は超音波信号を送信すると共に、反射波を受信する。画像処理装置２０は、各超音波素子３４１から得た複数方向の反射波データを再構成し、超音波断層像を生成する。また、リングアレイ３４は上下方向に移動可能に構成されており、画像診断装置２はリングアレイ３４を上下に移動させて垂下した***の各位置（高さ）における断層像を撮像し、複数位置の断層像を再構成して３次元画像を生成する。

本実施の形態に係る画像診断装置２として、国際公開第２０１７／０５１９０３号に記載の超音波診断システムを採用することができる。

なお、画像診断装置２は上記の構成に限定されない。例えばベッド型の撮像装置３０に代えて、ハンディスキャナを用いた画像診断装置としてもよい。

上述の如く、画像診断装置２は***の超音波断層像を撮像する。本実施の形態において画像診断装置２は、上述の第１モデル５１を用いて、超音波断層像から体動等に起因するぼやけを検出する。ぼやけを検出した場合、画像診断装置２は断層像を補正し、補正後の断層像を用いて３次元画像を生成する。

なお、本実施の形態ではサーバ１が第１モデル５１の生成（学習）を行うものとするが、ローカルの画像診断装置２が第１モデル５１を生成するようにしてもよい。また、本実施の形態では画像診断装置２が第１モデル５１に基づくぼやけの検出を行うものとするが、クラウド上のサーバ１が第１モデル５１を用いてぼやけを検出するようにしてもよい。すなわち、両者の区別は便宜的なものであり、単一のコンピュータが一連の処理を行うようにしてもよい。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。

図３は、画像処理装置２０の構成例を示すブロック図である。画像処理装置２０は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、送受信部２６、画像処理部２７、及び補助記憶部２８を備える。
制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２８に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。送受信部２６は、リングアレイ３４の超音波素子３４１を制御し、超音波信号を送受信する。画像処理部２７は、画像処理（再構成）を行うモジュールであり、好適には、ＧＰＵのように計算処理能力が高いプロセッサを含む。

補助記憶部２８は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２８は、第１モデル５１を記憶している。第１モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、超音波断層像を入力した場合に画像のぼやけを検出するモデルである。第１モデル５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

なお、画像処理装置２０は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは画像処理装置２０は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。

図４は、超音波断層像の撮像処理に関する説明図である。図４では、画像診断装置２がリングアレイ３４を介して超音波信号を送受信し、***の超音波断層像（第２画像）を生成（撮像）する様子を概念的に図示している。以下では画像診断装置２の概要を説明する。

上述の如く、画像診断装置２の撮像装置３０は、複数（例えば１５０個）の超音波素子３４１を等間隔で設けたリングアレイ３４を有し、各超音波素子３４１を介して超音波信号を送受信する。具体的には、画像診断装置２は、図１においてハッチングで図示するように、超音波素子３４１から一定距離内の扇状領域を撮像領域として、超音波信号を送信する。

超音波素子３４１は、上記の撮像領域からの反射波を受信する。なお、超音波信号を送信する素子と、反射波を受信する素子とは異なっていてもよい。画像診断装置２は、超音波素子３４１が反射波を受信して得た反射波データを、超音波断層像を生成（再構成）するための原画像データ（第１画像）として取得する。本実施の形態では便宜上、超音波素子３４１が反射波を受信して得た反射波データに基づいて再構成された画像を「ファン画像」と呼ぶ。ここで画像とは二次元の整数或いは実数の行列を指す。

画像診断装置２は、リングアレイ３４の円周に沿って並ぶ各超音波素子３４１から超音波信号を順次送信することで、複数の方向それぞれから生体部位に送信した超音波信号を送信して得た複数のファン画像を取得する。そして、画像診断装置２（画像処理装置２０）の画像処理部２７は、開口合成法により当該複数のファン画像を再構成し、２次元の超音波断層像を生成する。

具体的には、画像診断装置２は、一の断層像を生成するに当たり、任意の超音波素子３４１を始点として、当該超音波素子３４１の隣に位置する終点の超音波素子３４１に至るまで、例えば時計回りに超音波信号を送信する超音波素子３４１を順次変えていき、全方位のファン画像（例えば１５０のファン画像）を取得する。図４に示すように、各ファン画像は扇状の空間をカバーし、隣接する超音波素子３４１で取得したファン画像同士は撮像領域が互いに重複する。画像診断装置２は、各方向のファン画像を重ね合わせ、一の断層像を生成する。なお、開口合成に用いられるファン画像は、送信開口の位置にかかわらず、同一送信条件下で取得される受信信号に基づき、同一の音速推定値の条件下で再構成されている。

なお、画像診断装置２は、超音波信号を複数の異なる送信開口（超音波素子３４１）から同時に送信する事もできる。例えば、一の断層像当たり１５０のファン画像を取得する場合、上記のようにある方向を始点にして１５０回の送信を行ってもよいが、１２０度ずつ方向（角度）が異なる３か所の超音波素子３４１から同時に送信を行い、当該３か所の超音波素子３４１をリングアレイ３４に沿って順次変えることで、５０回の送信でファン画像の撮像を完了させてもよい。また、本実施の形態では超音波素子３４１が***の周囲に円環状に配置されているものとして説明するが、その配置形状は円環状に限定されず、他の形状で配置されていてもよい。すなわち、画像診断装置２は、***（生体部位）の周囲を取り囲むように配置した複数の超音波素子３４１から複数回に分けて超音波信号を順次送信することで複数のファン画像を取得可能であればよく、超音波信号の送信回数や超音波素子３４１の配置形状は特に限定されない。

また、上記ではファン画像の形状（撮像領域）が扇状であるものとして説明したが、ファン画像の形状は扇状に限定されない。すなわち、複数のファン画像は、各々が略同一平面上の断層画像撮像領域の少なくとも一部を含み、異なるファン画像の少なくとも１枚と撮像領域の一部が重複している画像の集合となる。

図５は、超音波撮像における計測時間と体動の関係を示す説明図である。音波断層像撮像において、撮像の律速時間となっているのは、生体内及び水中を伝搬する音速である。組織や温度に依存するが、およそ１５００ｍ／ｓ程度である。図４に示したようなファン画像の撮像を行う場合、リング直径が２０ｃｍ、ファンを構成する扇型の辺の長さが、直径の７５％であるとすると、辺の長さは１５ｃｍとなり、往復の伝搬時間が０．２ミリ秒である。受信素子ｃｈを２０４８、電気回路のｃｈ数を２５６とすると、一つのファン画像を撮像するのに、２０４８／２５６＝８回の送受信を行う必要があるので、１．６ミリ秒で１つのファン画像が撮像できる。ファン画像２５６枚で構成される１断面の撮像には、約０．４秒掛かる（図５の一つの長方形の幅に相当）。処理のオーバーヘッドが、全体の５０％程度とすると、約１秒で撮像が行われることになる（図５の一つ目の長方形の左端から、最後つまり４つ目の長方形の右端までの時間）。つまり、本実施の形態の処理では、１．６ミリ秒の逆数である０．６ｋＨｚ程度より早い体動に対しては対処できない。一方、１秒程度の体動による影響を除去するための技術となる。心拍や呼吸動きが、このオーダーに相当する。撮像時間だけを考えると、図の縦軸方向には重なりが無い方が撮像速度は早くなる。しかし空間解像度を考えると、１つの画素あたりに、沢山の異なる送信条件の音波からの散乱波を取得した方が有利となるので、重なりがあるほうが、空間解像度の観点から有利である。体動補正の観点では、図５で、隣接する二つの長方形間での体動が大きい部分の補正が、補正上の意味が大きい。一周で第２画像を撮像していることを考慮すると、１断面の撮像開始時と終了時の間も隣接する第１画像の撮像に対応している。

図６は、送信開口の位置と点応答関数との関係を示す説明図である。超音波撮像により得られる反射波データに基づく超音波散乱画像は、撮像の基本性能を示す点応答関数と、撮像対象中の散乱体分布の畳み込み積分で表される。点応答関数ＰＳＦは、音速の不均質などを考慮しない理想的な条件においては、開口からの距離、並びにリングアレイ３４の中心及び送信開口の中心を結ぶ線分が基準線との間になす角度の関数となる。つまり厳密には、点応答関数は、点応答関数の出力値が最大値を取る点を中心とした回転対称となる形状ではない。よって、隣り合うファン画像間で、同一の点応答関数の形状とはならない。それでも発明者による検証では、相対的な位置ずれの検出が可能であることを確認しており、これは検討の結果初めて確認できたことである。云い方を変えると、隣接するファン画像の開口の移動に伴う、点応答関数の回転量が位置ずれの検出に影響を与えない程度に細かな開口移動である条件において、本実施の形態は成立しているといえる。

なお、散乱画像は、複数の受信素子で得られた信号を加算して画像を出力する手法であるが、受信素子数の信号から１つの画素信号を出力する際に、必ずしも加算する以外の方法で、散乱強度以外の情報を提示する手法もある。例えば、受信素子位置に依存する信号強度の変化を特徴量として、散乱指向性を可視化する手法などが知られている。また、経時的な散乱信号の変化から血流や造影剤などの動的な情報を抽出し、血流の空間分布に関する情報を可視化する手法などについても、本実施の形態を適用することが可能である。

図７は、３次元画像の生成処理に関する説明図である。図７では、複数のファン画像（図７左）から断層像（図７中央）を生成し、さらに複数の断層像から３次元画像（図７右）を生成する様子を概念的に図示している。

上述の如く、画像診断装置２は、***を各方向から撮像した複数のファン画像を再構成し、２次元の超音波断層像を生成する。画像診断装置２は、リングアレイ３４を上下に移動させ、一方向（上下方向）に沿って***の互いに異なる位置（高さ）における断層像を生成する。そして画像診断装置２の画像処理部２７は、一方向に沿って並ぶ複数の断層像（フレーム）を再構成し、***の３次元画像を生成する。

図８は、ぼやけ検出処理に関する説明図である。図８では、***の超音波断層像を第１モデル５１に入力し、体動等に起因する画像のぼやけを検出する様子を概念的に図示している。

上述の如く、画像診断装置２は、複数のファン画像から超音波断層像を生成する。この場合に、上述の如く、断層像にぼやけが生じる場合がある。このぼやけの原因には、被検者の体動（いわゆるモーションアーチファクト）、あるいは装置（リングアレイ３４）の位置ずれ等に起因して生じるものが挙げられる。また、画像診断装置２は超音波の音速を推定して画像を生成するため、音速推定の誤差に依って被写体の位置推定がずれることで、ぼやけが生じる場合もある。これらのぼやけは、開口合成の過程で、時間的に同時に取得されると想定されている平面又は立体の撮像領域において、実際には複数の時間的に異なるタイミングで取得される複数の取得データを合成するため、ぼやけが生じる。本実施の形態では、ファン画像同士の位置ずれを検出することで、開口合成時に起こる、ファン画像間、或いは、ファン画像と撮像空間座標との位置ずれに起因するぼやけを低減することが可能である。

画像診断装置２は、第１モデル５１を用いて断層像のぼやけを検出する。第１モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、超音波断層像を入力した場合に、断層像のぼやけを検出するモデルである。本実施の形態では第１モデル５１として、ＳＶＭ（Support Vector Machine）を備えたＢＲＩＳＱＵＥ（Blind/Referenceless Image Spatial Quality Evaluator）モデルを用いる。

ＢＲＩＳＱＵＥは、リファレンス画像を不要として画像の品質を評価するアルゴリズムである。第１モデル５１は、特徴量抽出器５１１と、検出器５１２とを備える。特徴量抽出器５１１は、入力画像の特徴量を抽出する抽出器である。当該特徴量は、輝度の平均、輝度の分散、輝度の歪度、輝度の尖度、エントロピー等であるが、そのパラメータは特に限定されない。特徴量抽出器５１１は、入力された断層像から特徴量ベクトルを生成し、検出器５１２に入力する。

検出器５１２は、断層像の特徴量に基づいてぼやけを検出するＳＶＭである。検出器５１２は、断層像の特徴量を特徴量空間にマッピングした場合に、ぼやけが有るものと判定する空間領域と、ぼやけが無いものと判定する空間領域とを識別する決定境界を学習済みのモデルであり、特徴量抽出器５１１から入力された特徴量に基づいてぼやけを検出する。本実施の形態に係る検出器５１２は、ぼやけの程度を表すスコアを算出する回帰モデルとして構成され、断層像の特徴量に基づいて当該スコアを算出し、算出したスコアに基づいてぼやけの有無を判定する。

なお、本実施の形態では、検出器５１２がぼやけの程度を表すスコアを算出する回帰モデルであるものとして説明するが、ぼやけが有るか否かの二値分類を行う分類モデルとしてもよい。

なお、本実施の形態では第１モデル５１の一例としてＢＲＩＳＱＵＥモデルを挙げるが、第１モデル５１は、ニューラルネットワーク、決定木、ランダムフォレストなど、他の学習アルゴリズムに基づくモデルであってもよい。

サーバ１は、過去に撮像された被検者の超音波断層像を訓練データとして学習し、第１モデル５１を生成して画像診断装置２にインストールしてある。サーバ１は、実際にぼやけが観測された断層像を訓練データとして用いてもよいが、本実施の形態では、ぼやけが無い断層像に人工的にぼやけを加え、訓練データとして用いる。例えばサーバ１は、ぼやけが無い断層像を構成する複数のファン画像に対し、体動を模擬した所定の座標変換（Ｘ方向及びＹ方向への微動、微回転など）を施す。なお、サーバ１は、一の断層像を構成する全てのファン画像に対して座標変換を施してもよく、又は一部のファン画像のみに座標変換を施してもよい。サーバ１は、座標変換後の複数のファン画像を再構成することで、人工的にぼやけを加えた断層像を生成する。サーバ１は、ぼやけを加える前の断層像と、ぼやけを加えた後の断層像とを訓練データとして用い、第１モデル５１を生成する。

サーバ１はまず、訓練用の各断層像に対してセグメンテーションを行い、***に対応する画像領域を抽出する。図８では便宜上、***に対応する画像領域を白抜きで、***以外の画像領域を黒塗りで図示してある。なお、セグメンテーションは、パターンマッチングで***の輪郭を検出することで行うようにしてもよく、あるいはＣＮＮ（Convolution Neural Network）等の機械学習モデルを用いて行うようにしてもよい。また、セグメンテーションは行わず、元の断層像をそのまま用いてもよい。

サーバ１は、ぼやけが無い元の断層像と、ぼやけを加えた断層像とからそれぞれ抽出した画像領域を特徴量抽出器５１１に入力し、当該画像領域の特徴量を抽出する。そしてサーバ１は、ぼやけの有無を表すクラスラベルが付された各断層像（画像領域）の特徴量に基づき、検出器５１２を生成する。すなわち、サーバ１は、断層像を特徴量に応じて特徴量空間にマッピングした場合に、断層像にぼやけが有ると判定する空間領域と、断層像にぼやけが無いと判定する空間領域とを識別する決定境界を導出する。以上より、サーバ１は第１モデル５１を生成する。

画像診断装置２は、上述の第１モデル５１を用いて、被検者の***の断層像からぼやけを検出する。すなわち、画像診断装置２は、断層像のセグメンテーションを行って***に対応する画像領域を抽出し、特徴量抽出器５１１に入力して特徴量を抽出する。そして画像診断装置２は、抽出した特徴量を検出器５１２に入力し、ぼやけの程度を表すスコアを算出して、ぼやけの有無を判定する。例えば画像診断装置２は、算出したスコアが所定の閾値以上であるか否かを判定する。

なお、画像診断装置２は、スコアと比較する閾値を設定（変更）する設定入力をユーザ（医療従事者）から受け付けるようにしてもよい。これにより、補正対象とするぼやけの程度をユーザが任意に決めることができる。

続いて、ぼやけを検出した断層像の補正処理について説明する。第１モデル５１を用いて断層像のぼやけを検出した場合、画像診断装置２は、ぼやけを検出した断層像の補正を行う。具体的には、画像診断装置２は、断層像を構成する複数のファン画像同士の位置合わせを行う。

なお、本発明の被検体としての***は非剛体である。したがって、剛体レジストレーション手法が使えない。また、非剛体レジストレーションのためにはランドマークを指定する必要がある。しかしながら、診断において、人（医師）が画像毎にランドマークを選択し、それらの位置を指定することは時間を要する作業である。したがって、本発明では、画像の明るさが不連続に変化している箇所（エッジ）を抽出したエッジ画像によってプログラムが自動抽出した***内の構造をランドマークとして利用する。

例えば、画像診断装置２はまず、各ファン画像のエッジを検出し、各ファン画像からエッジを抽出した複数のエッジ画像を生成する。本実施形態の一例として、結合組織及びクーパー靭帯を***のランドマークとして用いる例を説明する。結合組織及びクーパー靭帯は線状の構造をしているため、エッジ検出フィルタを適用することで結合組織及びクーパー靭帯を取り出すことができる。

エッジ画像の生成方法としては例えば、ガボールフィルタを使用する。まず、画像診断装置２において、制御部２１は、ファン画像に対して***領域マスクをかける。例えば、***外領域の輝度をゼロにしたファン画像を生成する。制御部２１はさらに、得られたファン画像に対してそれぞれガボールフィルタをかけ、マグニチュード画像を生成する。制御部２１は、得られたマグニチュード画像の輝度の平均輝度を算出し、エッジ画像を生成する。なお、ガボールフィルタのパラメータは例えば角度θを０，４５，９０，・・・，３１５とする。また、以下に示すガボールフィルタを用いる場合、ガボールフィルタのパラメータσ_ｘ，σ_ｙ，ｆを設定するためのパラメータｌ，ｆをそれぞれｌ＝３、ｆ＝０．２５とする。なお、パラメータｆはｆ＝０．４、又はｆ＝０．１５としてもよい。

エッジ画像の生成方法の別の一例としては、ソベルフィルタ（Sobel Filter）を使用することができる。この場合、まず制御部２１は、ファン画像に対して***領域マスクをかけ、***外領域の輝度をゼロにしたファン画像を生成する。次に、制御部２１は、得られたファン画像に対してそれぞれ２Ｄソベルフィルタをかけ、エッジ画像を生成する。なお、エッジ画像の生成方法としては、上記に挙げた手法に限定されるものではなく、線状の構造を選択的に抽出できるフィルタであればよい。このようにして得られたエッジ画像を用いて位置合わせを行うことで、結合組織の位置が２つの画像で一致するような位置合わせを行うことができる。

次に画像診断装置２は、隣り合う２つのエッジ画像の間におけるエッジの動きベクトル（エッジの移動量及び移動方向を表すベクトル値）を算出し、算出した動きベクトルに基づき、ファン画像同士の位置合わせを行うための位置合せ関数を算出する。なお、「隣り合う２つのエッジ画像」とは、リングアレイ３４において隣り合う２つの超音波素子３４１が取得した２つのファン画像に対応する２つのエッジ画像を指す。画像診断装置２は、例えばTV-L1オプティカルフロー等を用いて、２つのエッジ画像の一致度を表す評価値が最大化するように、２つのファン画像の位置合わせ関数を算出する。

画像診断装置２は、全てのエッジ画像について、隣り合うエッジ画像同士の一致度を順次評価し、ファン画像の位置合わせ関数を算出する。画像診断装置２は、算出した位置合わせ関数に基づいて各ファン画像の位置合わせを行いながら複数のファン画像を再構成し、断層像を再生成する。

なお、「ファン画像同士の位置合わせを行う」とは、断層像の生成（再構成）前に各ファン画像の位置合わせする場合のほか、断層像の生成過程において各ファン画像の相対座標をずらしながら重ね合わせていくことで、断層像の生成中に位置合わせをする場合も含み得る。

図９は、画像診断装置２の表示画面例を示す説明図である。図９では、画像診断装置２（画像処理装置２０）が表示部２４に表示する画面例であって、位置合わせ関数を適用する前（補正前）の断層像と、位置合わせ関数を適用した後（補正後）の断層像とを表示する画面例を図示している。断層像からぼやけを検出した場合、画像診断装置２は上記の補正を行い、補正前後の断層像を表示する。

当該画面は、補正前画像７１、補正後画像７２、再撮像ボタン７３、補正前画像選択ボタン７４、補正後画像選択ボタン７５を含む。補正前画像７１は補正前の断層像（ぼやけが検出された断層像）であり、補正後画像７２は補正後の断層像である。画像診断装置２は補正前画像７１及び補正後画像７２を表示し、ユーザに補正前後の様子を提示する。

再撮像ボタン７３は、再撮像の要否を選択するためのボタンである。例えばユーザは、補正しても診断に使えないほど断層像がぼやけている場合、再撮像ボタン７３を操作して再撮像を実施する。再撮像ボタン７３への操作入力を受け付けた場合、画像診断装置２は再撮像を行い、ファン画像を取得して断層像を生成する。なお、再撮像は、全ての位置（高さ）における***断面について行ってもよく、又はぼやけが検出された位置（高さ）における***断面についてのみ行ってもよい。

なお、上記ではユーザが再撮像の要否を選択するものとしたが、再撮像の要否を画像診断装置２が自動的に判定してもよい。例えば画像診断装置２は、断層像を第１モデル５１に入力して得たスコアを所定の閾値と比較することで、スコアが極端に高いか否かを判定する。これにより画像診断装置２は、ぼやけが酷く、再撮像が必要であるか否かを判定する。再撮像が必要であると判定した場合、画像診断装置２は、例えば再撮像が必要である旨を図９の画面に表示し、再撮像をユーザに促す。あるいは画像診断装置２は、再撮像が必要であると判定した場合、自動的に再撮像を開始してもよい。

また、画像診断装置２は、断層像からぼやけ以外のアーチファクトを検出し、ぼやけ以外のアーチファクトを検出した場合は再撮像が必要であると判定してもよい。当該アーチファクトとしては、例えば被検者が大きく動き、被写体（***）が写っていない状態などが考えられる。なお、上記のアーチファクトは一例であって、他のアーチファクトを検出してもよい。例えば画像診断装置２は、ぼやけ以外のアーチファクトが有る断層像を第１モデル５１に学習させておいてもよく、又は第１モデル５１以外の検出アルゴリズム（画像のパターンマッチング等）によってぼやけ以外のアーチファクトを検出可能としてもよい。このように、画像診断装置２は、ぼやけ以外のアーチファクトを断層像から検出し、再撮像の要否を判定可能としてもよい。

補正前画像選択ボタン７４及び補正後画像選択ボタン７５は、補正前後の断層像のうち、３次元画像（第３画像）の生成に用いる断層像を選択するためのボタンである。画像診断装置２は、いずれかのボタンへの操作入力を受け付けることで、３次元画像の生成に用いる断層像の選択入力を受け付ける。画像診断装置２は、ユーザが選択した断層像、及びぼやけが検出されなかった他の断層像を再構成し、３次元画像を生成する。画像診断装置２は、生成した３次元画像を表示する。

以上より、本実施の形態によれば、断層像から体動等に起因するぼやけを検出し、ぼやけを検出した場合、断層像を構成する複数のファン画像同士の位置合わせを行って断層像を再生成する。これにより、体動等の影響を除去又は低減し、超音波画像診断を好適に支援することができる。特に本実施の形態では、ぼやけを検出するための第１モデル５１としてＢＲＩＳＱＵＥモデルを採用し、画像の補正手段としてオプティカルフロー等の動きベクトルに基づく位置合わせを採用する。ぼやけの検出及び補正に係る処理は、汎用的なプロセッサである制御部２１（ＣＰＵ等）で処理可能であるため、画像処理部２７（ＧＰＵ等）は画像の再構成（生成）のみに用いることができ、画像処理に要する時間を抑制することができる。

また、本実施の形態では、一平面の断層像を生成するために、複数のファン画像を取得する間に生じ得る被検体と超音波素子３４１との相対的な位置ずれを検出する事が出来る。特に、円環状に配置された超音波素子３４１から一方向に向かって超音波信号を順次送信して複数のファン画像を取得する場合、連続的な体動も蓄積されるし、突発的な体動が生じる確率も向上することから、各ファン画像の撮像時点が時間的に離れていればいるほど体動の影響は大きくなる。そのため、時間的に離れた画像同士の不一致度は大きくなる傾向がある。この点は、リングアレイ３４の始点位置のファン画像、すなわち初回のファン画像と、終点位置のファン画像、すなわち最終回のファン画像との間で顕著になる。

図１０は、空間上隣り合う１５０個のファン画像同士の不一致度を比較した例である。図１０のグラフは、１５０の方向から撮像されたファン画像のうち、隣り合うファン画像同士の不一致度（輝度のＭＳＥ（Mean squared error）の平均値）を計算した計算結果を示している。図１０のグラフにおいて、横軸はi番目のファン画像とｉ＋１番目のファン画像とのペアを表すデータ点を、縦軸はファン画像同士の不一致度を表している。

最後のデータ点は、１４９目のファン画像と０番目のファン画像、すなわち最終回及び初回のファン画像を比較したものである。この２つのファン画像は、空間的には隣り合う位置にあり、撮像領域が互いに重複している。しかし、２つのファン画像は撮像時点が時間的に離れているため、その間に体動が生じやすく、ファン画像同士の不一致度を確認するとこのペアの不一致度が最も大きい場合が多い。そのためこの２つのファン画像同士に位置合わせを行うことで画質が大きく向上する。

このように、撮像領域が重複しているが撮像時点が離れている画像同士の位置合わせを行うことで、体動の影響を好適に除去又は低減することができる。

図１１は、第１モデル５１の生成処理の手順を示すフローチャートである。図１１に基づき、機械学習により第１モデル５１を生成する際の処理内容について説明する。
サーバ１の制御部１１は、過去に撮像（生成）された被検者の***（生体部位）の超音波断層像であって、画像にぼやけがない複数の断層像を取得する（ステップＳ１１）。制御部１１は、各断層像に対してぼやけを加えた訓練用の断層像を生成する（ステップＳ１２）。具体的には、制御部１１は、ぼやけがない断層像の各々を構成する複数のファン画像に対し、体動を模擬した所定の座標変換を施す。制御部１１は、座標変換後の複数のファン画像を再構成することで、人工的にぼやけを加えた断層像を生成する。

制御部１１は、ステップＳ１１で取得したぼやけが無い断層像と、ステップＳ１２でぼやけを加えた断層像とに対してセグメンテーションを実施し、各断層像から***に対応する画像領域を抽出する（ステップＳ１３）。そして制御部１１は、抽出した各断層像の画像領域に基づき、第１モデル５１を生成する（ステップＳ１４）。具体的には上述の如く、制御部１１は、特徴量抽出器５１１及び検出器５１２（ＳＶＭ）を備えたＢＲＩＳＱＵＥモデルを第１モデル５１として生成する。制御部１１は、訓練用の各断層像から抽出した画像領域を特徴量抽出器５１１に入力し、特徴量を抽出する。制御部１１は、ぼやけの有無を表すクラスラベルが付された各断層像（画像領域）の特徴量に基づき、検出器５１２を生成する。すなわち、制御部１１は、各断層像を特徴量に応じて特徴量空間にマッピングした場合に、ぼやけが有るものと判定する空間領域と、ぼやけが無いものと判定する空間領域とを識別する決定境界を導出する。制御部１１は、一連の処理を終了する。

図１２は、画像撮像処理の手順を示すフローチャートである。図１２に基づき、画像診断装置２が実行する処理内容について説明する。
画像診断装置２（画像処理装置２０）の制御部２１は、リングアレイ３４の各超音波素子３４１から超音波信号を送信し、各超音波素子３４１から送信した超音波信号の反射波を受信して得た複数のファン画像（反射波データ、第１画像）を取得する（ステップＳ３１）。制御部２１は、リングアレイ３４を上下方向に移動させながら超音波信号を送受信し、***の互いに異なる位置（高さ）において各方向から***を撮像したファン画像を取得する。

画像処理部２７は、取得した複数のファン画像を再構成した超音波断層像（第２画像）を生成する（ステップＳ３２）。具体的には、画像処理部２７は、一方向（上下方向）に沿う***の互いに異なる位置（高さ）における複数の断層像を生成する。

制御部２１は、各断層像に対してセグメンテーションを実施し、***に対応する画像領域を抽出する（ステップＳ３３）。そして制御部２１は、各断層像から抽出した画像領域を第１モデル５１に入力し、各断層像のぼやけを検出する（ステップＳ３４）。具体的には、制御部２１は、各断層像の画像領域を特徴量抽出器５１１に入力して特徴量を抽出し、抽出した特徴量を検出器５１２に入力してぼやけの程度を表すスコアを算出し、算出したスコアに応じてぼやけの有無を判定する。

制御部２１は、ステップＳ３４の処理の結果、各断層像からぼやけが検出されたか否かを判定する（ステップＳ３５）。ぼやけが検出されなかったと判定した場合（Ｓ３５：ＮＯ）、制御部２１は処理をステップＳ４２に移行する。

ぼやけが検出されたと判定した場合（Ｓ３５：ＹＥＳ）、制御部２１は、ぼやけが検出された断層像を構成する複数のファン画像それぞれについて、ファン画像のエッジを抽出したエッジ画像を生成する（ステップＳ３６）。制御部２１は、隣り合うエッジ画像の間におけるエッジの動きベクトルを算出し、算出した動きベクトルに基づいて、ファン画像同士の位置合わせを行うための位置合わせ関数を算出する（ステップＳ３７）。画像処理部２７は、算出した位置合わせ関数に基づいてファン画像同士の位置合わせを行いながら、断層像を生成する（ステップＳ３８）。

制御部２１は、補正前後の断層像を表示部２４に表示する（ステップＳ３９）。すなわち、制御部２１は、ステップＳ３２で生成した断層像と、ステップ３８で生成した断層像とを表示する。制御部２１は、再撮像の要否を選択する選択入力をユーザから受け付けることで、再撮像を行うか否かを判定する（ステップＳ４０）。なお、上述の如く、制御部２１は、上記で算出したぼやけの程度を表すスコアの高低、又はぼやけ以外のアーチファクトを検出する等して、再撮像の要否を自動的に判定してもよい。再撮像を行うと判定した場合（Ｓ４０：ＹＥＳ）、制御部２１は処理をステップＳ３１に戻す。

再撮像を行わないと判定した場合（Ｓ４０：ＮＯ）、制御部２１は、ステップＳ３９で表示した補正前後の断層像のうち、３次元画像（第３画像）の生成に用いる断層像を選択する選択入力を受け付ける（ステップＳ４１）。画像処理部２７は、選択された断層像、及びぼやけが検出されなかった他の断層像に基づき、***の３次元画像を生成して表示部２４に表示する（ステップＳ４２）。制御部２１は一連の処理を終了する。

なお、上記ではファン画像を再構成した超音波断層像（第２画像）からぼやけを検出するものとしたが、本実施の形態はこれに限定されるものではなく、断層像の元となるファン画像（第１画像）からぼやけを検出してもよい。

以上より、本実施の形態１によれば、第１モデル５１を用いることで画像のぼやけを好適に検出し、ぼやけを除去又は低減した画像に補正することで、超音波画像診断を好適に支援することができる。

なお、本実施の形態１において、図１２中のステップＳ３４で行うぼやけ検出の精度を向上させるために、ぼやけの程度を表すスコアに加えて、隣接する隣接断層像との不一致度を算出し、評価（ぼやけの有無の判定）に利用してもよい。図１６は、画像撮像処理の手順の他の例を示すフローチャートである。図１６に示す処理は、図１２に示す処理において、ステップＳ３４の代わりにステップＳ３４１～Ｓ３４４を追加したものである。図１２と同じステップについては説明を省略する。なお、図１６では、図１２中のステップＳ３６～Ｓ４２の図示を省略している。

図１６に示す処理では、画像診断装置２の制御部２１は、ステップＳ３３の処理を実行後、以下の処理を実行する。具体的には、制御部２１は、各断層像の画像領域を特徴量抽出器５１１に入力して特徴量を抽出し、抽出した特徴量を検出器５１２に入力してぼやけの程度を表すスコアを算出する（ステップＳ３４１）。次に、制御部２１は、各断層像について、各断層像に隣接する断層像を取得する（ステップＳ３４２）。例えば制御部２１は、１つの断層像（注目している断層像）に対して、撮像位置（高さ）が上方向又は下方向に隣り合う１つの隣接断層像、あるいは、両方向に隣り合う２つの隣接断層像を取得する。そして制御部２１は、各断層像と、各断層像の隣接断層像との不一致度を算出する（ステップＳ３４３）。例えば制御部２１は、各断層像と、その隣接断層像とにおいて、対応する各画素の画素値の差分の累積値を算出し、算出した累積値を不一致度とする。なお、ステップＳ３４２で１つの隣接断層像を取得する場合、制御部２１は、各断層像と、各断層像の直上の隣接断層像との不一致度、又は、直下の隣接断層像との不一致度を算出する。またステップＳ３４２で２つの隣接断層像を取得する場合、制御部２１は、各断層像と、各断層像の直上の隣接断層像との不一致度、及び、直下の隣接断層像との不一致度を算出する。

そして、制御部２１は、ステップＳ３４１で算出したぼやけの程度を表すスコアと、ステップＳ３４３で算出した隣接断層像との不一致度とに基づいて、各断層像のぼやけの有無を検出する（Ｓ３４４）。例えば制御部２１は、算出したスコアが所定の閾値以上であるか否かを判定すると共に、算出した不一致度が所定の閾値以上であるか否かを判定し、スコアが所定の閾値以上であり、かつ、不一致度が所定の閾値以上であると判定した場合、断層像にぼやけが有ると判定する。なお、制御部２１は、スコアが所定の閾値以上であると判定した場合、又は、不一致度が所定の閾値以上であると判定した場合に、断層像にぼやけが有ると判定してもよい。画像診断装置２は、不一致度と比較する閾値についても、設定入力（設定変更）をユーザ（医療従事者）から受け付けるように構成されていてもよい。これにより、補正対象とする不一致度の程度をユーザが任意に決めることができる。

（実施の形態２）
実施の形態１では、ファン画像を断層像に再構成する際にぼやけの検出及び補正を行う形態について説明した。本実施の形態では、断層像（第１画像）を３次元画像（第２画像）に再構成する際にぼやけの検出及び補正を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

図１３は、実施の形態２に係る画像処理装置２０の構成例を示すブロック図である。本実施の形態に係る画像処理装置２０の補助記憶部２８は、第２モデル５２を記憶している。第２モデル５２は第１モデル５１と同様に、所定の訓練データを学習済みの機械学習モデルであり、***の３次元画像を入力した場合に、３次元画像のぼやけを検出するモデルである。第２モデル５２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

第２モデル５２は第１モデル５１と同様の構成を有する。なお、本実施の形態では、断層像からぼやけを検出する第１モデル５１と、３次元画像からぼやけを検出する第２モデル５２とが別々のモデルであるものとして説明するが、両者は同一のモデルであってもよい。

本実施の形態の概要を説明する。実施の形態１ではファン画像を断層像に再構成する際にぼやけの検出及び補正を行う旨を説明したが、実施の形態１に係る処理は、断層像を３次元画像に再構成する際にも応用可能である。本実施の形態に係る画像診断装置２は、複数の断層像を再構成した３次元画像からぼやけを検出し、３次元画像を構成する断層像の位置合わせを行う。

図１４は、第２モデル５２の生成処理の手順を示すフローチャートである。図１４に基づき、機械学習により第２モデル５２を生成する際の処理内容について説明する。
サーバ１の制御部１１は、過去に生成（撮像）された被検者の***の３次元画像であって、画像にぼやけがない複数の３次元画像を取得する（ステップＳ２０１）。制御部１１は、各３次元画像に対してぼやけを加えた訓練用の３次元画像を生成する（ステップＳ２０２）。具体的には、制御部１１は、ぼやけがない３次元画像を構成する複数の断層像に対して体動を模擬した所定の座標変換を施し、座標変換後の複数の断層像を再構成して、ぼやけを加えた３次元画像を生成する。

制御部１１は、ぼやけが無い３次元画像と、ぼやけを加えた３次元画像とからそれぞれ、***に対応する画像領域を抽出する（ステップＳ２０３）。制御部１１は、抽出した画像領域に基づき、３次元画像を入力した場合に、３次元画像のぼやけを検出する第２モデル５２を生成する（ステップＳ２０４）。制御部１１は、一連の処理を終了する。

図１５は、実施の形態２に係る画像撮像処理の手順を示すフローチャートである。ステップＳ４１の処理を実行後、又はステップＳ３５でＮＯの場合、画像診断装置２は以下の処理を実行する。
画像診断装置２（画像処理装置２０）の画像処理部２７は、***の互いに異なる位置において撮像された複数の断層像（第１画像）を再構成した３次元画像を生成する（ステップＳ２２１）。制御部２１は、生成した３次元画像から、***に対応する画像領域を抽出する（ステップＳ２２２）。制御部２１は、抽出した画像領域を第２モデル５２に入力し、３次元画像のぼやけを検出する（ステップＳ２２３）。

制御部２１は、ステップＳ２２３の処理の結果、ぼやけが検出されたか否かを判定する（ステップＳ２２４）。ぼやけが検出されなかったと判定した場合（Ｓ２２４：ＮＯ）、制御部２１は処理をステップＳ２２８に移行する。

ぼやけが検出されたと判定した場合（Ｓ２２４：ＹＥＳ）、制御部２１は、３次元画像を構成する複数の断層像それぞれについて、断層像のエッジを抽出したエッジ画像を生成する（ステップＳ２２５）。制御部２１は、隣り合うエッジ画像の間におけるエッジの動きベクトルを算出し、算出した動きベクトルに基づいて複数の断層像同士の位置合わせ関数を算出する（ステップＳ２２６）。制御部２１は、算出した位置合わせ関数に基づいて断層像同士の位置合わせを行いながら、３次元画像を生成する（ステップＳ２２７）。制御部２１は、ステップＳ２２１又はＳ２２７で生成した３次元画像を表示部２４に表示し（ステップＳ２２８）、一連の処理を終了する。

なお、実施の形態１と同様に、画像診断装置２は補正前後の３次元画像を表示し、再撮像の要否、及び補正の要否を選択可能としてもよい。

また、画像診断装置２は、再構成後の３次元画像（第２画像）ではなく、再構成前の断層像（第１画像）からぼやけを検出し、断層像の位置合わせを行うようにしてもよい。

以上より、本実施の形態２によれば、３次元画像生成時にもぼやけの検出及び補正を行うことができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 画像診断装置
２０ 画像処理装置
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 送受信部
２７ 画像処理部
２８ 補助記憶部
Ｐ２ プログラム
５１ 第１モデル
５１１ 特徴量抽出器
５１２ 検出器
５２ 第２モデル
３０ 撮像装置
３１ 天板
３２ 孔
３３ 水槽
３４ リングアレイ
３４１ 超音波素子

Claims (16)

1. 超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得する取得部と、
   前記複数の第１画像を再構成した第２画像を生成する生成部と、
   前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出する検出部と、
   前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出する算出部とを備え、
   前記生成部は、前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する
   画像診断装置。
2. 前記取得部は、複数の方向それぞれから前記生体部位に送信した前記超音波信号を受信して得た複数の反射波データを前記複数の第１画像として取得し、
   前記生成部は、前記複数の反射波データを再構成した超音波断層像を前記第２画像として生成する
   請求項１に記載の画像診断装置。
3. 前記複数の第１画像は、前記生体部位の周囲を取り囲むように配置した複数の超音波素子から前記超音波信号を順次送信して得た複数の反射波データであり、
   一の前記超音波断層像の生成に用いる前記複数の反射波データのうち、初回に送信した前記超音波信号に対応する反射波データの撮像領域と、最終回に送信した前記超音波信号に対応する反射波データの撮像領域とは、少なくとも一部が互いに重複する
   請求項２に記載の画像診断装置。
4. 前記取得部は、前記生体部位の互いに異なる位置において撮像された複数の超音波断層像を前記複数の第１画像として取得し、
   前記生成部は、前記複数の超音波断層像を再構成した３次元画像を前記第２画像として生成する
   請求項１～３のいずれか１項に記載の画像診断装置。
5. 前記モデルは、前記第１画像又は第２画像の特徴量を抽出する特徴量抽出器と、前記特徴量を入力した場合に前記ぼやけの程度を表すスコアを算出するよう学習済みの検出器とを備え、
   前記検出部は、
   前記第１画像又は第２画像を前記特徴量抽出器に入力して前記特徴量を抽出し、
   抽出した前記特徴量を前記検出器に入力して前記スコアを算出し、算出した該スコアに応じて前記ぼやけを検出する
   請求項１～４のいずれか１項に記載の画像診断装置。
6. 前記スコアに基づき、前記第１画像の再撮像の要否を判定する判定部を備える
   請求項５に記載の画像診断装置。
7. 前記検出部は、
   前記複数の第１画像から、各第１画像に対して撮像位置が隣り合う隣接画像を取得し、
   各第１画像と、取得した隣接画像との不一致度を算出し、
   各第１画像を前記特徴量抽出器に入力して抽出した前記特徴量を前記検出器に入力して算出した前記スコアと、算出した隣接画像との不一致度とに応じて前記ぼやけを検出する
   請求項５又は６に記載の画像診断装置。
8. 前記第１画像又は第２画像から、前記生体部位に対応する画像領域を抽出する抽出部を備え、
   前記検出部は、前記画像領域を前記モデルに入力して前記ぼやけを検出する
   請求項１～７のいずれか１項に記載の画像診断装置。
9. 前記算出部は、
   前記複数の第１画像に対してエッジ検出を行い、前記第１画像内のエッジを抽出した複数のエッジ画像を生成し、
   前記複数のエッジ画像の間における前記エッジの動きベクトルを算出し、
   算出した前記動きベクトルに基づき、前記位置合せ関数を算出する
   請求項１～８のいずれか１項に記載の画像診断装置。
10. 前記ぼやけを検出した場合、前記位置合わせ関数を適用せずに前記複数の第１画像から生成した前記第２画像と、前記位置合わせ関数を適用して前記複数の第１画像から生成した前記第２画像とを表示する表示部を備える
    請求項１～９のいずれか１項に記載の画像診断装置。
11. 前記第１画像の補正の要否を選択する選択入力を受け付ける受付部と、
    複数の前記第２画像を再構成した第３画像を生成する第２生成部とを備え、
    前記第２生成部は、前記補正の要否の選択結果に応じて、表示した２つの前記第２画像のいずれかを用いて前記第３画像を生成する
    請求項１０に記載の画像診断装置。
12. 前記第１画像の再撮像の要否を選択する選択入力を受け付ける第２受付部を備え、
    再撮像が必要である旨の選択入力を受け付けた場合、前記取得部は、前記生体部位を再撮像した前記複数の第１画像を取得し、
    前記生成部は、前記再撮像した複数の第１画像を再構成した前記第２画像を生成する
    請求項１０又は１１に記載の画像診断装置。
13. 前記検出部は、前記第１画像又は第２画像から前記ぼやけ以外のアーチファクトを検出し、
    前記アーチファクトを検出した場合、前記取得部は、前記生体部位を再撮像した前記複数の第１画像を取得し、
    前記生成部は、前記再撮像した複数の第１画像を再構成した前記第２画像を生成する
    請求項１～１１のいずれか１項に記載の画像診断装置。
14. 超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得し、
    前記複数の第１画像を再構成した第２画像を生成し、
    前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出し、
    前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出し、
    前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する
    処理をコンピュータが実行する画像診断方法。
15. 超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得し、
    前記複数の第１画像を再構成した第２画像を生成し、
    前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出し、
    前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出し、
    前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する
    処理をコンピュータに実行させるプログラム。
16. 超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得し、
    取得した前記複数の第１画像に対して生体の体動を模した所定の座標変換を施し、
    座標変換後の前記複数の第１画像を再構成した第２画像を生成する
    処理をコンピュータに実行させる機械学習用訓練データの生成方法。

Images