JP2024070359A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】３次元画像を対象とした基準断面の推定精度を向上させる技術を提供する。【解決手段】本開示の画像処理装置は、被検体の３次元画像を取得する画像取得部と、前記３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータの推定を行う初期パラメータ推定部と、前記初期パラメータに基づいて、前記３次元画像から少なくとも１枚の断面画像を取得する断面画像取得部と、前記断面画像ごとに、前記初期パラメータの補正に寄与する指標の推定を行う指標推定部とを備える。【選択図】図１

Description

本開示の技術は、画像処理装置、画像処理方法、およびプログラムに関する。

医用画像を用いた診断では、３次元画像（ボリュームデータ）を所定の基準に基づいて切断し、その切断面である２次元断面（基準断面）をディスプレイ等に表示をして診断を行うことがある。しかしながら、基準断面の手動設定においては、３次元空間において手掛かりとなる解剖学的ランドマーク（特徴点）等を見つけ出す作業が伴うため、医師等にとって負担が大きいという課題がある。

この課題を解決するため、基準断面を自動推定する種々の技術が提案されている。特許文献１では、心臓領域を撮像した複数時相からなる３次元動画像の基準断面推定の方法が開示されている。特許文献１では、複数時相の中の特定の基準時相において基準断面を推定し、時相間トラッキングによって基準断面を移動、回転させることで、基準時相以外の時相の基準断面を得る。また、特許文献２では、心臓領域を撮像した画像を対象に、基準断面の候補（候補断面）を求め、候補断面を並進、回転させて得られる複数の断面からそれぞれ特徴点座標を算出する。そして、それら特徴点を総合して、候補断面が補正される。

特開２０１１－１６１２１３号公報 国際公開第２０１６／１９５１１０号

しかしながら、これら先行技術に記載の方法を用いた基準断面推定では、十分な精度の推論結果が得られない場合があった。

本開示の技術は、上記に鑑みてなされたものであり、３次元画像を対象とした基準断面の推定精度を向上させる技術を提供することを目的とする。

上記目的を達成するために、本開示に係る画像処理装置は、
被検体の３次元画像を取得する画像取得部と、
前記３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータの推定を行う初期パラメータ推定部と、
前記初期パラメータに基づいて、前記３次元画像から少なくとも１枚の断面画像を取得する断面画像取得部と、
前記断面画像ごとに、前記初期パラメータの補正に寄与する指標の推定を行う指標推定部と
を備えることを特徴とする画像処理装置を含む。

さらに、本開示の技術は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて実施することがで
きる。

本開示の技術によれば、３次元画像を対象とした基準断面の推定精度を向上させることができる。

一実施形態に係る画像処理装置の概略構成を示す図。 一実施形態に係る画像処理装置が実行する処理のフロー図。 一実施形態における基準断面の臨床的な定義を示す図。 一実施形態に係る画像処理装置が算出する基準断面を模式的に示す図。 一実施形態に係る画像処理装置の補正パラメータの推定処理を模式的に示す図。 一実施形態に係る画像処理装置が実行する処理のフロー図。 一実施形態に係る画像処理装置が実行する処理の別のフロー図。

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略または簡潔にすることもある。

以下に説明する実施形態に係る画像処理装置は、入力３次元画像を医師等が観察（診断）するための所定の基準断面を推定する機能を提供する。処理対象となる入力画像は、医用画像、すなわち、医学的な診断、検査、研究などの目的で撮影ないし生成された被検体（人体など）の画像であり、典型的には、モダリティと呼ばれる撮像システムによって取得された画像である。入力画像としては、例えば、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ装置によって得られるＸ線ＣＴ画像、ＭＲＩ装置によって得られるＭＲＩ画像などが挙げられる。

以下の説明では、心臓の僧帽弁領域を撮像した経食道３次元超音波画像を入力３次元画像として、観察対象である僧帽弁領域の解剖学的ランドマークの位置を推定する場合を例に挙げて、画像処理装置の具体例を詳しく説明する。なお、僧帽弁を観察対象とするのは一例に過ぎず、他の部位が観察対象であってもよい。

＜第１実施形態＞
第１実施形態に係る画像処理装置は、３次元画像を入力画像として、２次元の基準断面の位置・姿勢を表すパラメータ（基準断面パラメータ）を推定する。推定処理では、まず入力画像に基づいて基準断面パラメータを推定する。以下、この段階で推定されるパラメータを、基準断面を得るためのパラメータの初期値として「基準断面パラメータの初期値」（初期パラメータ）と呼ぶ。次に、この初期パラメータに基づき、入力画像からＡ面・Ｂ面・Ｃ面という３枚の断面画像を切り出す。そして、各断面画像から、基準断面パラメータにおけるそれぞれ異なる成分の補正量を推定する。以下の説明では、これを「基準断面パラメータの補正量」（あるいは単に補正量）と呼ぶ。最終的に、初期パラメータに断面画像ごとに推定された補正量を適用して、最終的な基準断面パラメータを得る。以降、このように最終的に得られるパラメータを「基準断面パラメータの最終値」（最終パラメータ）と呼ぶ。

ここで、基準断面パラメータは、前述したように、基準断面の位置と姿勢を表すパラメータである。また、本実施例における基準断面パラメータとは、観察対象（本実施例では
僧帽弁）を表す座標系（観察対象座標系）の、入力３次元画像中における位置と姿勢を表すパラメータと同義である。本実施例において、その位置は、後述する僧帽弁の基準位置（以下、中心位置とも呼ぶ）の３次元座標（ｃｘ，ｃｙ，ｃｚ）を表す３パラメータで表現されるものとする。また、その姿勢は、後述するように僧帽弁に対して定義される長軸ベクトル（ｌｘ，ｌｙ，ｌｚ）を表す３パラメータと、短軸ベクトル（ｓｘ，ｓｙ，ｓｚ）を表す３パラメータの合計６パラメータで表現されるものとする。なお、上述の基準断面パラメータは本開示の技術の一実施形態として例示するにすぎず、基準断面の位置・姿勢を表す情報であれば、いかなる表現形態であってもよい。基準断面の初期パラメータ推定処理の詳細は、ステップＳ２０３の説明で行う。本実施形態において、観察対象座標系におけるＡ面・Ｂ面・Ｃ面の各断面の位置と姿勢は既知であるとする。したがって、Ａ面・Ｂ面・Ｃ面の各断面画像の入力３次元画像における位置・姿勢は、上記９個のパラメータで表現される基準断面パラメータから一意に算出される。したがって、断面画像取得部４３が取得する断面画像は、画像間の位置および姿勢が所定の関係となる複数の画像により構成されている。

図３Ａ～図３Ｃに、各断面の臨床的な定義を模式的に示す。図３ＡはＡ面の一例を示し、大動脈弁（３０１）、僧帽弁の前尖（３０２）、後尖（３０３）を同時に観察可能な断面を示す。図３ＢはＢ面の一例を示し、Ａ面に対しては前尖と後尖の境界（３０４）で交差し、この境界を中心に僧帽弁輪（３０５および３０６）が写る断面を示す。図３ＣはＣ面の一例を示し、僧帽弁（３０７）と大動脈弁（３０８）を輪切りにする断面を示す。

図３Ａ～図３Ｃで示した臨床的な定義に基づいて、図４Ａ～図４Ｅに本実施形態における各断面の定義を示す。図４Ａ～図４Ｃでは、入力３次元画像（４０１）に対するＡ面（４０２）、Ｂ面（４０３）、Ｃ面（４０４）の位置および姿勢の関係を示している。Ａ面・Ｂ面・Ｃ面は中心位置（４０７）の１点で交わり、互いに直交する。長軸（４０５）は、図４Ｄに示す通り、僧帽弁を上下に貫く軸であり、Ａ面における面内ベクトルをなす。長軸と直交する短軸（４０６）は、前尖・後尖の高さにおいて僧帽弁を輪切りにする軸であり、軸４０５と軸４０６は点４０７で交わる。Ｂ面は、Ａ面を長軸（４０５）周りに９０度回転させた断面である。Ｃ面は、Ａ面・Ｂ面の両方に直交する断面であり、Ｃ面の面内ベクトルを示す軸４０６および軸４０８は、Ａ面とＢ面をそれぞれ左右に貫く面内ベクトルと一致する。

上記の通り、基準断面パラメータの補正量の算出は、断面画像ごとに基準断面パラメータの異なる成分の補正量を算出することで行われる。Ａ面では、中心位置（ｃｘ，ｃｙ，ｃｚ）のＡ面の面内成分、すなわち、Ａ面の面内で中心位置をどの程度平行移動させるべきかを算出する。Ｂ面では、長軸ベクトルの面内成分、すなわち、初期パラメータではＢ面を上下に貫いている軸を、Ｂ面内でどの程度回転させるべきかを算出する。そしてＣ面では、短軸ベクトルの面内成分、すなわち、初期パラメータではＣ面を上下に貫く軸を、Ｃ面内でどの程度回転させるべきかを算出する。補正量の算出処理の詳細については、ステップＳ２０５の説明で行う。また、補正量を初期パラメータに反映させて最終パラメータを得る処理の詳細については、ステップＳ２０６の説明で行う。

なお、３次元空間において互いに直交する３つの断面の位置および姿勢を表現可能であれば、基準断面パラメータの表現形式は、上記以外の形式を用いてもよい。例えば、公知技術であるロドリゲスの回転公式を用いて姿勢を４パラメータ（回転軸ベクトルの３パラメータと回転角度の１パラメータ）で表現してもよい。この場合、中心位置の３パラメータと合わせて、基準断面パラメータは全７パラメータとなる。あるいは、位置と姿勢は、４×４の剛体変換行列で表現することも可能である。これらの表現形式は、互いに変換可能であるため、いずれの場合であっても、本実施形態の処理を実行可能である。

以下、本実施形態の画像処理装置の構成および処理について説明する。図１は、本実施形態の画像処理装置を含む画像処理システム（医用画像処理システムともいう）の構成例を示すブロック図である。画像処理システム１は、画像処理装置１０およびデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能な状態で接続されている。ネットワーク２１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。

データベース２２は、複数の画像や以下に説明する処理に使用される情報を保持し、管理する。データベース２２で管理される情報には、画像処理装置１０による基準断面推定処理の対象となる入力３次元画像と各推定処理で用いる学習モデルの情報が含まれる。画像処理装置１０は、ネットワーク２１を介してデータベース２２で保持されているデータを取得することが可能である。なお、学習モデルの情報は、データベース２２の代わりに、画像処理装置１０の内部記憶（ＲＯＭ３２または記憶部３４）に記憶されていてもよい。

画像処理装置１０は、通信ＩＦ（Iｎｔｅｒｆａｃｅ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎ
ｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、および制御部３７を備える。

通信ＩＦ３１は、ＬＡＮカードなどにより構成され、外部装置（例えば、データベース２２など）と画像処理装置１０との通信を実現する通信部である。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムや各種データを記憶する。ＲＡＭ３３は、揮発性のメモリなどにより構成され、実行中のプログラムやデータを一時的に記憶するワークメモリとして用いられる。記憶部３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、各種プログラムや各種データを記憶する。操作部３５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ（例えば、医師や検査技師）からの指示を各種装置に入力する。表示部３６は、ディスプレイなどにより構成され、各種情報をユーザに表示する。

制御部３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などにより構成され、画像処理装置１０における処理を統括制御する。制御部３７は、その機能的な構成として、画像取得部４１、初期パラメータ推定部４２、断面画像取得部４３、学習モデル取得部４４、補正パラメータ推定部４５、補正部４６、表示処理部５１を備える。制御部３７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを備えてもよい。

画像取得部４１は、画像処理装置１０に入力される被検体の３次元画像である入力３次元画像を、データベース２２から取得する。入力３次元画像は、モダリティから直接取得されてもよい。その場合、画像処理装置１０はモダリティ（撮像システム）のコンソール内に実装されていてもよい。処理の詳細はステップＳ２０１の説明で詳述する。

初期パラメータ推定部４２は、画像取得部４１で取得された入力３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータを推定する。処理の詳細は、ステップＳ２０３の説明で詳述する。

学習モデル取得部４４は、初期パラメータ推定部４２および補正パラメータ推定部４５が用いる学習モデルをデータベース２２から取得する。処理の詳細は、ステップＳ２０２の説明で詳述する。

断面画像取得部４３は、画像取得部４１が取得した入力３次元画像と初期パラメータ推定部４２が推定した基準断面の初期パラメータを用いて、３次元画像から少なくとも１枚の２次元断面画像を取得する。また、断面画像取得部４３は、補正部４６によって補正された最終パラメータを用いて、３次元画像から少なくとも１枚の２次元断面画像を取得する。処理の詳細は、ステップＳ２０４およびＳ２０７の説明で詳述する。

補正パラメータ推定部４５は、断面画像取得部４３が取得した各断面画像をそれぞれ用いて、断面画像ごとに基準断面パラメータの補正量を推定する指標推定部である。ここで、基準断面パラメータの補正量は、初期パラメータの補正に寄与する指標の一例である。Ａ面からは中心位置、Ｂ面・Ｃ面からは各断面を上下に貫く軸（それぞれ長軸・短軸と呼ぶ）の向きの補正量を推定する。処理の詳細は、ステップＳ２０５の説明で詳述する。

補正部４６は、補正パラメータ推定部４５で推定された基準断面パラメータの補正量を、初期パラメータ推定部４２が推定した初期パラメータに反映して、最終パラメータを算出する。処理の詳細は、ステップＳ２０６の説明で詳述する。

表示処理部５１は、入力３次元画像を補正部４６が算出した基準断面パラメータで切断した断面画像を、画像処理装置１０のユーザが容易に視認できるような表示形態で、表示部３６の画像表示領域に表示する。処理の詳細は、ステップＳ２０８の説明で詳述する。

上記の画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）がＲＡＭ３３をワーク領域としてＲＯＭ３２または記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部またはすべての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。例えば、画像処理装置１０とは異なる場所にある演算装置がネットワーク２１を介して画像処理装置１０に通信可能に接続されてよい。そして、画像処理装置１０が演算装置とデータの送受信を行うことで、画像処理装置１０または制御部３７の構成要素の機能が実現されてもよい。

次に、図２のフローチャートを用いて、図１の画像処理装置１０の処理の例を説明する。

（ステップＳ２０１：入力画像の取得）
ステップＳ２０１において、画像処理装置１０は操作部３５を介してユーザからの画像取得の指示を取得する。そして、画像取得部４１は、ユーザが指定した入力３次元画像をデータベース２２から取得し、ＲＡＭ３３に格納する。なお、入力３次元画像をデータベース２２から取得する以外にも、超音波診断装置が時々刻々と撮像する超音波画像の中から入力画像を取得してもよい。

（ステップＳ２０２：学習モデルの取得）
ステップＳ２０２において、学習モデル取得部４４は、初期パラメータ推定部４２と補正パラメータ推定部４５がそれぞれ推定を行うために用いる２種類の学習モデルをデータベース２２から取得し、ＲＡＭ３３に格納する。

初期パラメータ推定部４２が用いる学習モデルは、入力３次元画像と出力値である基準断面パラメータとの関係の統計的傾向を表現するものである。したがって、初期パラメータ推定部４２が取得する学習モデルは、学習用３次元画像と学習用３次元画像における基準断面を得るためのパラメータとの組を含む情報を用いた学習処理により作成された初期パラメータ推定用学習モデルである。

一方、補正パラメータ推定部４５が用いる学習モデルは、各断面画像（Ａ面・Ｂ面・Ｃ面）で異なり、入力断面画像と、該断面における基準断面パラメータの補正量との統計的傾向を表現する。すなわち、Ａ面画像から中心位置の面内成分の補正量を推定する学習モデル、Ｂ面画像から長軸ベクトル面内角度の補正量を推定する学習モデル、Ｃ面画像から短軸ベクトル面内角度の補正量を推定する学習モデル、という３つの学習モデルを取得する。したがって、補正パラメータ推定部４５が取得する学習モデルは、学習用断面画像と学習用断面画像における基準断面パラメータの補正に寄与する指標との組を含む情報を用いた学習処理により作成された補正パラメータ推定用学習モデルである。なお、各断面画像における補正パラメータ推定処理の詳細については、ステップＳ２０５で説明する。

本実施形態において、学習モデルは畳み込みニューラルネットワーク（ＣＮＮ）を用いる。この場合、入力と出力を組にした多数の症例データを学習データとして学習を行うことで、それぞれの推定を行う学習モデルをあらかじめ構築しておく。本処理ステップでは、このようにして構築した学習モデルを取得する。なお、あらかじめ構築した学習モデルをデータベース２２から取得する以外にも、上で述べた学習処理を行う処理部を画像処理装置１０の制御部において構成し、当該処理部により本ステップの学習を行ってもよい。

（ステップＳ２０３：初期パラメータの推定）
ステップＳ２０３において、初期パラメータ推定部４２は、入力３次元画像のボリュームデータを入力し、中心位置・長軸ベクトル・短軸ベクトルからなる基準断面の初期パラメータを出力する。

ステップＳ２０２で説明した通り、本実施形態において、初期パラメータの推定は、入力３次元画像から初期パラメータを推定する畳み込みニューラルネットワーク（ＣＮＮ）を用いることで行う。すなわち、ＣＮＮに３次元画像を入力し、ＣＮＮの出力として得られる９パラメータからなる基準断面パラメータを初期パラメータとして取得する。

ここで、ＣＮＮに入力される３次元画像は、ステップＳ２０１で取得される入力３次元画像と同一ではなく、解像度を低減させた「粗い」画像である。例えば、入力３次元画像が１ボクセルあたりの長さが０．６ｍｍで２５６×２５６×２５６ボクセル、すなわち各辺１５３．６ｍｍの範囲が表現されたボリューム画像だとする。本ステップでは、入力３次元画像の各辺のボクセル数を１／８に縮小し、３２×３２×３２ボクセルとする。すなわち、表現される範囲は各辺１５３．６ｍｍで変わらないまま１ボクセルあたりの長さは４．８ｍｍの画像へと変換される。このようにすることで、入力３次元画像をそのまま用いる場合と比較して、ＣＮＮを用いた推論に要する計算時間や使用メモリ量を削減することができる。また、入力３次元画像の画素値平均・分散を用いた画素値正規化やコントラスト補正など、公知の画像処理をさらに適用してもよい。なお、上述した解像度変換処理は、公知の任意の手法を用いてよい。例えば、縮小幅に応じたステップでボクセル値をサンプリングしたり、縮小幅に応じた範囲のボクセルの画素値の平均値を用いたりすることができる。また、上述した解像度変換処理と画素値正規化といった画像処理は、任意の順番で実行することが可能である。

なお、本実施形態では基準断面を９個のパラメータで表現するものとし、本ステップの処理では上記の９個の値をＣＮＮによる推定の出力として直接的に推定する場合を例に説明しているが、ＣＮＮによる推定の出力としては他の表現形式を用いてもよい。例えば、基準断面パラメータを７パラメータ（中心位置３パラメータ、回転軸ベクトル３パラメータ、回転角度１パラメータ）で表現し、ＣＮＮによる推定の出力はこれら７パラメータを出力するものであってもよい。この場合、ＣＮＮによる推定後に上記９パラメータの表現形式に変換してもよい。同様に、ＣＮＮによる推定の出力は４×４の剛体変換行列を出力
するものであってもよい。

本実施形態ではＡ面・Ｂ面・Ｃ面が互いに直交する場合を例として説明するが、各断面間の位置・姿勢の関係があらかじめ定義されていれば、必ずしもＡ面・Ｂ面・Ｃ面が互いに直交でなくてもよい。例えば、Ｂ面はＡ面に対して直交ではなく、長軸周りに８０度回転させた断面として定義してもよい。この場合であっても、３つの断面が直交する場合と同様に、本ステップの処理を実施することが可能である。また、観察対象座標系における各断面の位置と姿勢が既知であるなら、３つの断面の交差位置は、必ずしも基準断面パラメータの中心位置（＝観察対象の基準位置）と一致しなくてもよい。同様に、３つの断面は、必ずしも面内軸をそれぞれ共有する構成でなくてもよく、各基準断面画像の画像中心は、基準断面パラメータの中心位置や３つの断面の交差位置と必ずしも一致しなくてもよい。

（ステップＳ２０４：断面画像の取得）
ステップＳ２０４において、断面画像取得部４３は、入力３次元画像とステップＳ２０３で推定された初期パラメータを用いて、２次元断面画像を切り出す。なお、本実施形態では、各２次元断面画像を取得する際には、基準断面の初期パラメータの中心位置が断面画像の中心になるように切り出されるものとする。すなわち、図４Ａ～図４Ｃのように中心位置（４０７）が入力３次元画像（４０１）の中心ではない場合であっても、図４Ｄ～図４Ｆで示す通り、Ａ面（４０２１）・Ｂ面（４０３１）・Ｃ面（４０４１）の各断面画像の中心は、中心位置（４０７）となる。

ここで、２次元断面画像の空間的な解像度は、ステップＳ２０３で用いられる解像度を低減した後の３次元画像の解像度よりも高いものとする。例えば、２次元断面画像は１ピクセル当たりの長さ（ピクセルサイズ）は１．２ｍｍで１２８×１２８ピクセルの画像を用いるものとする。この場合、ステップＳ２０３で用いた１ボクセルあたりの長さが４．８ｍｍの画像に比べて、１辺あたり４倍の解像度を持つ画像となる。このようにすることで、計算量や使用メモリ量を大幅に増大させることなく、解像度が細かい画像を基準断面パラメータ推定に用いることができる。

ここで図４Ａ～図４Ｆを用いて、断面画像取得処理についてより具体的に説明する。Ａ面断面画像（４０２１）を取得する場合、まず、中心位置を４０７、上下方向ベクトルを軸４０５、左右方向ベクトルを軸４０６として入力３次元画像（４０１）をサンプリングする。ここで、１ピクセルあたりの長さは入力３次元画像と同じ（０．６ｍｍ）とし、２５６×２５６ピクセル（１５３．６ｍｍ×１５３．６ｍｍ）の範囲をサンプリングするものとする。このとき、サンプリング位置が入力３次元画像の定義範囲を超える場合はその位置の画素値は０とする。次に、そのようにして得られた２５６×２５６ピクセルの２次元画像の解像度を１／２に低減し、１２８×１２８ピクセルの２次元画像を生成する。すなわち、定義範囲は１５３．６ｍｍ×１５３．６ｍｍで変わらないまま、１ピクセル当たりの長さが１．２ｍｍの２次元画像が得られる。このようにして、Ａ面断面画像を取得することができる。Ｂ面断面画像（４０３１）は、上下方向ベクトルを軸４０５、左右方向ベクトルを軸４０８として、Ａ面断面画像と同じ手順で算出される。Ｃ面断面画像（４０４１）についても、上下方向ベクトルを軸４０６、左右方向ベクトルを軸４０８とする以外は、Ａ面・Ｂ面断面画像の算出手順と同じである。

（ステップＳ２０５：補正パラメータの推定）
ステップＳ２０５において、補正パラメータ推定部４５は、ステップＳ２０４で算出された各断面画像を入力とし、学習モデルを用いて断面の種類のそれぞれに対応付いた基準断面パラメータの成分の補正量を算出する。これにより、補正パラメータ推定部４５は、初期パラメータの断面画像の画像面内における補正に寄与する指標を推定する。ここで、
Ａ面断面画像・Ｂ面断面画像・Ｃ面断面画像に対する補正量推定は、それぞれ独立に実行される。いずれの断面画像に対する推定も、断面画像を入力とするＣＮＮを用いて行われる。

ここで、初期パラメータによって得られる基準断面を変移させるための補正量である補正パラメータの推定処理について具体的に説明する。図５Ａを用いて、Ａ面断面画像を用いた補正パラメータの推定処理を説明する。初期パラメータに基づいて取得したＡ面断面画像（５０１）において、基準断面の中心位置（５０７ａ）は、Ａ面断面画像の中心に位置している。このとき、本ステップでは、この中心位置を「Ａ面面内でどの程度移動させるべきか」という、初期パラメータによって得られる基準断面の位置を基準断面の目標位置へと移動させるための変位量が推定される。すなわち、ステップＳ２０３で初期パラメータとして推定された中心位置が、所定の基準（例えば、解剖学的な意味や臨床的ガイドライン）によって定まる基準断面の目標位置となる中心位置に対して、どれだけずれているかが推定される。なお、中心位置の移動量を推定するのではなく、補正後の中心位置（Ａ面内における２次元座標値）を推定してもよい。この場合、例えば、図５Ａにおける点５１７のように、もともとの中心位置とは異なる位置が補正後の中心位置として推定される。

図５Ｂを用いて、Ｂ面断面画像を用いた補正パラメータの推定処理を説明する。初期パラメータでは、長軸ベクトル（５０５ｂ）は、Ｂ面断面画像を上下に貫く軸である。このとき、本ステップでは、この長軸ベクトルを「Ｂ面面内でどの程度回転させるべきか」という、初期パラメータによって得られる基準断面の姿勢を基準断面の目標姿勢へと回転させるための回転量が推定される。すなわち、ステップＳ２０３で初期パラメータとして推定された長軸ベクトルが、所定の基準（解剖学的な意味や臨床的ガイドライン）によって定まる基準断面の目標となる長軸ベクトルに対して、どれだけずれているかが推定される。なお、長軸ベクトルの回転量を推定するのではなく、補正後の長軸ベクトルの向き（Ｂ面内における２次元ベクトル）を推定してもよい。この場合、例えば、図５Ｂにおけるベクトル５１５のように、もともとの長軸ベクトルとは異なる向きのベクトルが補正後の長軸ベクトルとして推定される。

あるいは、補正後の長軸ベクトルを直接推定するのではなく、他の指標の推定結果から間接的に補正後の長軸ベクトルを算出してもよい。例えば、Ｂ面が僧帽弁輪と交差する２点（図５Ｂの点５１０、５１１）の座標値を推定し、２点を結んだベクトルと直交するベクトルを補正後の長軸ベクトルとして算出してもよい。あるいはこれら２点とは異なる長軸が通過すべき不図示の２点の座標値を推定し、推定した２点を結んだベクトルを補正後の長軸ベクトルとして算出してもよい。

図５Ｃを用いて、Ｃ面断面画像を用いた補正パラメータの推定処理を説明する。初期パラメータでは、短軸ベクトル（５０６ｃ）は、Ｃ面断面画像を上下に貫く軸である。このとき、本ステップでは、この短軸ベクトルを「Ｃ面面内でどの程度回転させるべきか」という、初期パラメータによって得られる基準断面の姿勢を基準断面の目標姿勢へと回転させるための回転量が推定される。すなわち、ステップＳ２０３で初期パラメータとして推定された短軸ベクトルが、所定の基準（解剖学的な意味や臨床的ガイドライン）によって定まる基準断面の目標の短軸ベクトルに対して、どれだけずれているかが推定される。

なお、Ｂ面の場合と同様に、短軸ベクトルの回転量を推定するのではなく、補正後の短軸ベクトルの向き（Ｃ面内における２次元ベクトル）を推定してもよい。この場合、例えば、図５Ｃにおけるベクトル５１６のように、もともとの短軸ベクトルとは異なる向きのベクトルが補正後の短軸ベクトルとして推定される。

あるいは、補正後の短軸ベクトルを直接推定するのではなく、他の指標の推定結果から間接的に補正後の短軸ベクトルを算出してもよい。例えば、Ｂ面が僧帽弁輪と交差する２点（図５Ｃの点５１２、５１３）の座標値を推定し、２点を結んだベクトルと直交するベクトルを補正後の短軸ベクトルとして算出してもよい。あるいはこれら２点とは異なる短軸が通過すべき不図示の２点の座標値を推定し、推定した２点を結んだベクトルを補正後の短軸ベクトルとして算出してもよい。

また、学習モデルを用いず画像処理によって補正後の短軸ベクトルを算出してもよい。例えば、Ｃ面断面画像に描出される弁輪の最大径の方向となるベクトルを算出し、そのベクトルと直交するベクトルを短軸ベクトルとしてもよい。同様に、Ａ面断面画像やＢ面断面画像を用いた補正パラメータの推定処理においても、テンプレートマッチング等の画像処理によって補正に必要な特徴点位置を推定し、それを用いて補正を行う構成でもよい。

なお、本実施形態ではＡ面・Ｂ面・Ｃ面という３断面すべてを補正量の算出対象とし、断面画像取得部４３が２枚以上の断面画像を取得する場合は、補正パラメータ推定部４５が推定する指標は断面画像ごとに異なる。しかし、必ずしも３断面のすべてを補正量の算出対象としなくてもよい。例えば１断面のみを対象にしたり、あるいはＡ面・Ｂ面の２断面を対象にしたりしてもよい。この場合、基準断面パラメータのうち補正量が算出されなかった成分については、初期パラメータとしての推定値を最終パラメータとして使用することができる。あるいは、Ａ面断面画像を用いて中心位置と長軸ベクトル両方の補正量を算出するなど、１つの断面画像から２種類以上の成分の補正量を算出してもよい。

また、本実施形態では、ステップＳ２０５の補正パラメータの推定において、２次元断面画像を用いる場合を例として説明したが、少数スライスからなる３次元画像を用いてもよい。この場合、断面画像取得部４３は、初期パラメータに基づいて、３次元画像における所定の厚みに対応する複数のスライス数を含む断面画像を３次元画像から取得する。例えば、ＣＮＮの入力は少数スライス（例：出力断面画像を中心に前後２スライス）の３次元画像とし、出力は上で述べた処理と同様に面内成分補正量としてもよい。このようにすることで、近傍の３次元空間の画像特徴を考慮した補正量推定を行うことができる。あるいは、出力を面内成分に限定せず、３次元空間における補正量を推定してもよい。すなわち、例えばＡ面断面画像周辺のスライスからなる３次元画像から、中心位置の３次元座標の補正量を算出する。このようにすることで、より精度の高い補正量算出を行うことが可能になる。

（ステップＳ２０６：初期パラメータの補正）
ステップＳ２０６において、補正部４６は、ステップＳ２０３で推定された初期パラメータとステップＳ２０５で推定された補正量とを用いて初期パラメータを補正し、最終パラメータを算出する。

初期パラメータの補正は以下の手順で行われる。まず、各断面の２次元空間上で定義されている補正量（移動量や回転量）を、３次元空間における移動量や回転量に変換する。次に、変換された移動量や回転量を用いて基準断面の初期パラメータを補正して、最終パラメータを算出する。すなわち、前段のステップＳ２０５において、断面画像ごとに各成分独立に推定された補正量を、本ステップにおいて同時に反映させる。なお、ステップＳ２０５において補正量ではなく補正後の中心位置や軸ベクトルを推定した場合は、当該推定値を入力画像の座標系である３次元空間座標系へと変換した中心位置や軸ベクトルを、最終パラメータの値とする。

なお、ステップＳ２０５においてパラメータの同一成分に関する補正量を複数の断面で算出する場合、本ステップにおいて、補正量の選択や組み合わせを行う。具体的には、例
えば、Ａ面断面から中心位置のＡ面内移動量が推定され、Ｂ面断面から中心位置のＢ面内移動量と長軸ベクトルのＢ面内回転量が推定された場合は、中心位置に関して、Ａ面内移動量とＢ面内移動量という２種類の補正量が存在することになる。このとき、２つの移動量において共通する成分である上下方向の移動量については、両者を統合した値（例えば単純平均値や加重平均値）を用いる。このようにすることで、２種類の補正量をバランスよく反映することができる。他にも、補正パラメータ算出処理の信頼性を評価し、それに基づいて採用する補正量を選択するようにしてもよい。例えば、補正量が所定の値（例えば中心位置の移動量が１０ｍｍ）以上に大きい場合、補正量の推定に失敗したとみなすという意図に基づき、移動量の絶対値が所定の値以下の補正結果のみを採用して補正するようにしてもよい。このようにすることで、初期パラメータからかけ離れた信頼性の低い補正結果が出力されるリスクを低減することができる。あるいは、一定の基準に基づいて、補正量に重み付けをしてもよい。例えば、断面画像のコントラストに基づき、コントラストの高い断面画像による補正量がより重視されるように重み付けをしてもよい。これによれば、より信頼度の高い補正量を重視した補正量が算出できる。

（ステップＳ２０７：断面画像の取得）
ステップＳ２０７において、断面画像取得部４３は、入力３次元画像とステップＳ２０６で推定された補正後の基準断面パラメータを用いて、２次元断面画像を切り出す。これにより取得される２次元断面画像は、基準断面の中心位置や各軸ベクトルが上記のように補正された断面画像となる。

（ステップＳ２０８：推定結果の表示）
ステップＳ２０８において表示処理部５１は、ステップＳ２０７において最終パラメータを用いて入力３次元画像を切断した断面画像を、容易に視認できるような表示形態で、表示部３６の画像表示領域内に表示させる。

なお、最終パラメータに基づいて表示を行うのではなく、ステップＳ２０４で取得した「初期パラメータに基づく断面画像」とステップＳ２０５で算出した「補正量」とを組み合わせた表示形態で表示を行ってもよい。例えば、断面画像は基準断面の初期パラメータに基づいて生成する。そして、これら断面画像上に中心位置の移動量やベクトルの回転量を矢印等で可視化した情報を重畳表示する。この場合、ステップＳ２０６の補正処理を省略することが可能となる。また、基準断面に基づく解析や計測を目的とする場合、ステップＳ２０８の表示処理は必須ではなく、ステップＳ２０６で得た最終パラメータを用いて入力３次元画像からそれぞれの断面画像を生成しこれを記憶装置に保存する構成や外部に出力する構成でもよい。また、ステップＳ２０６で得た最終パラメータを記憶部３４や外部に出力する構成であってもよい。

本実施形態によれば、３次元画像から基準断面パラメータを算出する処理において、解像度の低い３次元画像から推定された初期パラメータを、２次元断面画像に基づいて補正する。これにより、計算量を増大させることなく高精度な推定を行うことが可能となる。

＜第１実施形態の変形例１＞
以下、上記の第１実施形態の変形例について説明する。第１実施形態では、処理対象が心臓僧帽弁領域を撮像した３次元超音波画像である例を示したが、本開示の技術は、僧帽弁以外の心臓の領域や、心臓以外の他の臓器を撮像した画像、他のモダリティによる画像を用いる場合でも実施可能である。

心臓僧帽弁領域以外の領域を超音波画像以外のモダリティで撮影した画像に対して本発明を適用する例としては、脳ＭＲＩ画像から間脳や脳梁といった所定の構造を検出する場合が挙げられる。これらの構造を検出する場合、例えば当該構造を視認できる位置を通る
アキシャル断面を基準断面するようにできる。この場合まず、この基準断面（アキシャル断面）の初期値をＣＮＮで算出する。そして、アキシャル断面やアキシャル断面と直交するコロナル、サジタルの各断面の画像を取得する。さらに当該画像上において脳の構造を表す所定の解剖学的ランドマークの位置を示す点座標を推定する。最終的に、これらランドマークの点座標の推定値を用いて、アキシャル断面を表すパラメータを補正する。

このように、本変形例によれば、３次元超音波画像以外のモダリティの画像に対しても、また心臓僧帽弁以外の領域を対象としても、本開示の技術を適用することができる。

＜第１実施形態の変形例２＞
次に、第１実施形態の別の変形例について説明する。第１実施形態では、ステップＳ２０３で基準断面パラメータの初期値を推定する際、ＣＮＮを用いて「画像とパラメータ値との関係」を学習していたが、このように画像とパラメータとの関係を学習する以外の手法でも本開示の技術は実施可能である。

一例としては、「入力画像が基準断面として適切であるか否か」を、Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓといった公知の識別器を用いて識別する方法が挙げられる。この場合、学習段階ではまず、学習用３次元画像を多数のランダムな断面パラメータで切り出す。このとき、基準断面として適切（基準断面に近い）なパラメータで切り出した画像を「基準断面である」、基準断面として不適切（基準断面に対して遠い）なパラメータで切り出した画像を「基準断面ではない」とラベル付けする。ここで、基準断面に対して近いもしくは遠いとは、基準断面との位置・姿勢の差異が所定の値（例えば５．０ｍｍ・５．０度）未満もしくは以上である場合を指す。そして、これらラベル付けされた画像をＲａｎｄｏｍ Ｆｏｒｅｓｔｓに入力して、識別器を学習する。推定段階では、ランダムな断面パラメータを多数生成し、それらのパラメータを用いて入力３次元画像から多数の断面画像を切り出し、各断面画像について識別器を用いて「基準断面か否か」を識別する。そして、「基準断面である」と判定された断面画像を生成する際に用いたパラメータの平均値を、基準断面パラメータの推定結果として出力する。

あるいは、学習データに基づかないアルゴリズムを適用して初期パラメータを推定することも可能である。例えば、基準断面の各断面画像（Ａ面、Ｂ面、Ｃ面）について、それぞれ典型的な態様を表す２次元テンプレートを用意し、入力３次元画像の中で当該テンプレートがよく当てはまる位置・姿勢を探索するテンプレートマッチングを行ってもよい。さらに、画像処理装置１０が自動的に初期パラメータを推定するのではなく、操作部３５を介してユーザによる基準断面パラメータの初期値の入力を受け付けてもよい。

このように、本変形例によれば、ＣＮＮに限らず、多様な方法に基づいて基準断面パラメータの初期値を決定することが可能である。

＜第１実施形態の変形例３＞
第１実施形態では、観察対象座標系における３枚（Ａ面・Ｂ面・Ｃ面）の断面の位置と姿勢が既知であり、共通の基準断面パラメータから各基準断面の位置と姿勢が一意に算出される場合を例に説明した。しかし、それぞれの基準断面が独立して定義される場合でもあっても、本開示の技術を適用可能である。

一例として、Ａ面・Ｂ面・Ｃ面の３断面が中心位置を共有しておらず、かつ非直交の場合を例に挙げて説明する。第１実施形態では、９個のパラメータ（位置３パラメータ、長軸ベクトル３パラメータ、短軸ベクトル３パラメータ）を用いて３断面を表現していたが、３断面が互いに独立の場合、各断面を表現するためにそれぞれ９個のパラメータが必要となる。すなわち、本変形例における基準断面パラメータは、観察対象の位置と姿勢を表
すパラメータではなく、それぞれの基準断面の位置と姿勢を直接表すパラメータとなる。したがって、ステップＳ２０３では、基準断面の初期パラメータとして、全部で２７個のパラメータを推定する。また、ステップＳ２０５では第１実施形態と同様に、各断面において断面の面内成分の補正量を算出するが、各断面が互いに独立している場合には、ある断面を用いて算出された補正量は他の断面には影響を及ぼさない。すなわち断面ごとに推定した補正量は、断面毎に独立して適用される。

なお、各断面は、上記のようにそれぞれが完全に独立であってもよいし、ある断面とある断面に関しては、中心位置と長軸を共有するが面同士が交わる角度だけが不定であるなど、一部のパラメータを共有し一部のパラメータのみが独立する構成であってもよい。このような場合には、不定となるパラメータのみを初期パラメータとして推定する。この場合、ある断面を用いて算出された補正量は、その補正量が他の断面と共有するパラメータに影響を及ぼす場合にのみ、当該断面のパラメータの補正が行われる。

あるいは、Ａ面・Ｂ面・Ｃ面という３つの基準断面を用いる場合に限らず、基準断面の数が１面乃至２面、あるいは４面以上の場合であっても、所定の数のパラメータで基準断面を表現できれば、本開示の技術を第１実施形態と同様に適用することが可能である。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、以下の説明において第１実施形態と同様の構成や処理については同一の符号を付し、詳細な説明は省略する。本実施形態に係る画像処理装置１０の構成は図１に示す構成である。

第２実施形態に係る画像処理装置１０は、第１実施形態と同様に、心臓領域を撮像した３次元超音波画像を入力し、観察用の基準断面を推定する装置である。第１実施形態では、ステップＳ２０５で推定される補正量は、無条件に最終的な推定結果に反映される。しかし、本実施形態のように、一定の基準に基づいて、推定された補正量を最終結果に反映させるかどうかの判定を行ってもよい。これにより、補正パラメータ推定部４５が推定する指標が複数存在する場合、補正部４６は指標に基づく初期パラメータの補正を行うか否かを指標ごとに判定することができる。

以下に説明するように、本実施形態における画像処理装置１０では、補正部４６と表示処理部５１の処理が第１実施形態における処理と異なる。

補正部４６は、補正パラメータ推定部４５で推定された基準断面パラメータの補正量を、初期パラメータ推定部４２が推定した初期パラメータに適用して、最終パラメータを算出する。この際、補正結果を受け入れるか否かに対するユーザの判断結果を、操作部３５を通して取得して、基準断面パラメータの補正量を適用するかどうかを決定する。そして、適用すると決定された場合に、基準断面パラメータの補正量を初期パラメータに適用する。

表示処理部５１は、第１実施形態で述べた表示処理部５１の機能に加えて、ユーザが基準断面パラメータの補正結果を受け入れるか否かを判断できるような表示形態で、基準断面パラメータに基づく断面画像を表示する機能を有する。補正部４６および表示処理部５１による処理の詳細は、ステップＳ４０６の説明で後述する。

次に、図６のフローチャートを用いて、第２実施形態における画像処理装置１０の処理の例を説明する。ここで、ステップＳ６０１からＳ６０５、そしてＳ６０８、Ｓ６０９の処理は、第１実施形態のフローチャート（図２）におけるステップＳ２０１からＳ２０５、そしてＳ２０７、Ｓ２０８の処理と同一である。以下、第１実施形態と異なる処理ステ
ップについてのみ、説明を行う。

（ステップＳ６０６：補正パラメータの判定）
ステップ６０６において、補正部４６は、操作部３５と表示処理部５１を制御することで、ステップＳ６０５で推定された基準断面パラメータの補正量を採用するか否かを、基準断面パラメータの成分ごとに判定する。以下、処理手順を具体的に示す。

第１に、表示処理部５１が、ユーザが判定結果を判断するために必要な画像表示を行う。例えば、補正前の基準断面パラメータ（初期パラメータ）に基づき生成された断面画像と、補正量を反映した基準断面パラメータに基づき生成された断面画像とを並べて表示する。ユーザは、初期パラメータに基づいて生成された断面画像と補正量を反映したパラメータで生成された断面画像とを見比べることで、補正量が適切であるか否かを判断することができる。

なお、ユーザが補正量の適切さを判断できれば、上記とは別の表示方法を用いてもよい。例えば、補正前の初期パラメータに基づいて生成した断面画像上に、中心位置の補正量（移動量）や軸ベクトルの補正量（回転量）を示す矢印等を重畳表示してもよい。あるいは、図５Ａ～図５Ｃに示すように、補正前と補正後の中心位置や軸ベクトルを、点や直線で示してもよい。

第２に、補正部４６が、操作部３５を通じて、ユーザによる「補正結果を受け入れるか否か」の選択結果を取得する。このとき、補正部４６は、補正結果を受け入れるか否かの選択結果を、基準断面パラメータの成分ごとに受け付ける。すなわち、補正部４６は、中心位置・長軸ベクトル・短軸ベクトルの３種類の成分それぞれに対して、補正結果を受け入れるか否かの判定を行う。

なお、補正部４６は、補正結果を受け入れるか受け入れないかのいずれかの選択結果だけでなく、ユーザによる補正結果の入力を受け付け、受け付けた補正結果を基に初期パラメータを補正してもよい。例えば、ユーザが、補正後の断面画像を確認しながら、操作部３５を操作して、断面画像上で対話的に中心位置や姿勢（具体的には軸ベクトルの値）を補正してもよい。この場合、補正部４６は、ユーザからの補正指示を新たな補正量として採用する。また、このようにして得られた補正結果を受け入れるか否かの指示は、補正量とともにＲＡＭ３３に格納される。あるいは、補正結果を受け入れるか否かの選択を行わず、初期パラメータをもとに、ユーザが常に手動で補正を行うようにしてもよい。

なお、ユーザが手動で補正結果を受け入れるか否かを判断するのではなく、所定の基準に基づいて自動的に判定してもよい。例えば、補正部４６は、ステップＳ６０５によって算出された補正量（すなわち中心位置の移動量や軸ベクトルの回転量）が所定の値よりも大きかった場合、補正量の推定に失敗したと判定し、補正結果を受け入れないという判断を行ってもよい。あるいは、補正部４６は、「各断面画像の適切さ（尤もらしさ）」を定量的に評価する識別器を断面画像ごとに取得し、補正後の断面画像を識別器で識別させた結果の尤度が所定の値を下回った場合に、補正量の推定に失敗したと判定してもよい。また、例えば、補正部４６は、これら自動的な判定結果によって補正量の推定に失敗したと判定した場合に、ユーザに対して補正量の修正を促すメッセージを表示部３６に表示してもよい。

（ステップＳ６０７：初期パラメータの補正）
ステップＳ６０７において、補正部４６は、ステップＳ６０３で推定された初期パラメータとステップＳ６０５で推定された補正量とを用いて初期パラメータを補正し、最終パラメータを算出する。本ステップの処理は、ステップＳ６０６における補正量の判定結果
を用いること以外は、第１実施形態におけるステップＳ２０６の処理と同じである。すなわち、補正部４６は、ステップＳ６０６によって「補正結果を受け入れる」と判定された成分のパラメータのみ、初期パラメータに対する補正に反映させる。

以上のように、本実施形態によれば、初期パラメータの補正にユーザによる判断を用いることで、より柔軟で質の高い基準断面パラメータ推定を行うことができる。

＜第３実施形態＞
次に、第３実施形態について説明する。なお、以下の説明において、第１実施形態および第２実施形態と同様の構成や処理については同一の符号を付し、詳細な説明を省略する。

第３実施形態に係る画像処理装置は、第１実施形態および第２実施形態と同様に、入力３次元画像の基準断面を推定する装置である。本実施形態に係る画像処理装置１０の構成は図１に示す構成である。

また、本実施形態の画像処理装置１０は、第１実施形態および第２実施形態と同様に、基準断面の初期パラメータを算出し、初期パラメータに基づいて生成された断面画像を用いて補正量を算出する。ただし、第１実施形態および第２実施形態では、中心位置・長軸ベクトル・短軸ベクトルという３種類の成分の補正量が独立（並列）に推定され、またそれら補正量が同時に最終パラメータに反映される。しかし、本実施形態では、各成分の補正量の推定と補正量の基準断面パラメータへの反映とが順次行われる。すなわち、本実施形態に係る画像処理装置１０では、補正する成分の順番があらかじめ決められている。補正する成分の順番に関する情報は、記憶部３４などに格納されてよい。

そして、まず補正パラメータ推定部４５が１番目の成分に対する補正量の推定を行い、断面画像取得部４３が、推定された１番目の成分に基づいて補正された基準断面パラメータによって切り出される断面画像（補正後断面画像）を取得する。そして、補正パラメータ推定部４５は、補正後断面画像に基づいて、２番目の成分に対する補正量の推定を行う。同様に、断面画像取得部４３は、推定結果に基づいて補正された補正後断面画像を取得し、補正パラメータ推定部４５は、補正後断面画像に基づいて、３番目の成分に対する補正量の推定を行う。

断面画像取得部４３は、第１実施形態と同様に、画像取得部６１が取得した入力３次元画像を、基準断面パラメータに基づいてすることで２次元断面画像を生成する。また、断面画像取得部４３は、初期パラメータ推定部４２によって推定された基準断面の初期パラメータに基づいて断面画像を生成するだけでなく、補正部４６によって補正された基準断面パラメータに基づく断面画像生成も行う。

補正パラメータ推定部４５は、第１実施形態と同様に、断面画像取得部４３によって生成された２次元断面画像に基づいて、各断面画像の種類と対応付いた成分の補正量を算出する。ただし、第１実施形態と異なり、補正パラメータ推定部４５は、Ａ面・Ｂ面・Ｃ面すべての補正量算出を同時に、独立に行うのではなく、あらかじめ定められた順番に基づいて、現在対象とする断面の補正量推定のみを行う。例えば、「Ａ面、Ｂ面、Ｃ面の順番で補正する」と定められている場合、補正パラメータ推定部４５は、Ａ面の補正量の推定と当該補正量の基準断面パラメータへの反映の完了後に、Ｂ面の断面画像を用いた補正量の推定を行う。さらに、補正パラメータ推定部４５は、Ｂ面の補正量の推定と当該補正量の基準断面パラメータへの反映の完了後に、Ｃ面の断面画像を用いた補正量の推定を行う。具体的な処理の順番については後述する。

補正部４６は、第１実施形態と同様に、補正パラメータ推定部４５で推定された補正量を用いて基準断面パラメータの補正を行う。第１実施形態では、補正部４６は、Ａ面・Ｂ面・Ｃ面のすべての補正量を用いて基準断面パラメータを補正する。一方、本実施形態では、補正部４６は、補正パラメータ推定部４５で推定対象とした成分の補正量のみを用いて基準断面パラメータを補正する。

次に、図７のフローチャートを用いて、本実施形態に係る画像処理装置１０における処理の一例について説明する。なお、Ｓ７０１からＳ７０３、そしてＳ７０８、Ｓ７０９の処理は、図２のフローチャートにおけるＳ２０１からＳ２０３、そしてＳ２０７、Ｓ２０８の処理とそれぞれ同じであるため、ここでは詳細な説明を省略する。

（ステップＳ７０４：断面画像の取得）
ステップＳ７０４において、断面画像取得部４３は、画像取得部４１が取得した入力３次元画像を、基準断面パラメータに基づいて切断した２次元断面画像を生成する。

第１実施形態におけるステップＳ２０４では、常に、ステップＳ２０３で推定された初期パラメータに基づいて２次元断面画像が算出される。しかし、本実施形態では、処理が後段のステップＳ７０５～Ｓ７０７を経てからステップＳ７０４に戻る場合、ステップＳ７０４では、ステップＳ７０６において補正された基準断面パラメータに基づいて２次元断面画像を取得する。

例えば、ステップＳ７０６においてＡ面を用いた基準断面パラメータの補正が行われた後にステップＳ７０４に処理が戻る場合、Ｓ７０４において取得される断面画像は、Ａ面に対応する成分、すなわち中心位置のみが補正された状態の断面画像である。この場合、ステップＳ７０４では、中心位置は補正後の中心位置が採用され、それ以外の成分（長軸ベクトル・短軸ベクトル）は初期パラメータが採用されて、断面画像取得部４３によって断面画像が取得される。

（ステップＳ７０５：補正パラメータの推定）
ステップＳ７０５において、補正パラメータ推定部４５は、ステップＳ７０４で取得された断面画像を用いて、断面の種類に対応する基準断面パラメータの成分の補正量を推定する。

ステップＳ７０５では、第１実施形態におけるステップＳ２０５とは異なり、あらかじめ定められた順番に従って、ある１種類の断面画像に対する補正パラメータの推定を行う。例えば、補正の順番がＡ面、Ｂ面、Ｃ面の順と定められていて、Ａ面の補正が完了した状態でステップＳ７０５を行う場合は、ステップＳ７０５ではＢ面断面画像を対象にパラメータ補正量の推定を行う。なお、各断面画像に対する補正量の推定処理は、第１実施形態におけるステップＳ２０５の処理と同じである。

（ステップＳ７０６：パラメータの補正）
ステップＳ７０６において補正部４６は、ステップＳ７０５で推定されたパラメータの補正量を用いて補正後の基準断面パラメータを算出する。

第１実施形態におけるステップＳ２０６では、初期パラメータを入力として、中心位置・長軸ベクトル・短軸ベクトルすべての補正量を同時に初期パラメータに反映していた。一方、本実施形態のステップＳ７０５の処理は、ステップＳ７０４～Ｓ７０７の処理によって得られるパラメータの補正量が推定された成分について、初期パラメータを補正する。すなわち、基準断面パラメータの一部の成分について更新が行われる。なお、推定された補正量を用いて基準断面パラメータを補正する処理自体は、第１実施形態の処理と同じ
である。

（ステップＳ７０７：全パラメータの補正が完了したか否かの判定）
ステップＳ７０７において補正部４６は、補正対象となる基準断面パラメータのすべての成分の補正が完了したか否かを判定する。例えば、補正の順番がＡ面・Ｂ面・Ｃ面と定められている場合に、補正部４６は、各断面の補正が完了している場合に初期パラメータの補正が完了したとみなし（Ｓ７０７：ＹＥＳ）、ステップＳ７０８へと処理を進める。一方、補正が完了していない断面がある、すなわち初期パラメータの一部の成分が基準断面パラメータとして残っている場合は、補正部４６は、補正は未完了であるとみなし（Ｓ７０７：ＮＯ）、処理をステップＳ７０４へと戻す。

本実施形態によれば、基準断面パラメータのある成分（例えば中心位置）の補正が反映された断面画像に基づいて、残りの成分（例えば長軸ベクトル）の補正量を推定する。すなわち、本実施形態に係る画像処理装置１０は、基準断面パラメータの補正を逐次的に実行する。そのため、本実施形態によれば、基準断面パラメータの各成分の補正量を独立に推定して同時に反映する場合に比べ、基準断面パラメータの各成分の補正結果間で不適合や矛盾が生じる可能性を小さくすることができる。これにより、より質の高い基準断面パラメータを算出できる。

なお、本実施形態ではＡ面・Ｂ面・Ｃ面の順番で補正量の反映を行う場合を例に挙げて説明したが、異なる順番であってもよい。また、いずれか１つの断面に対する補正を行わなくてもよい。あるいは、第２実施形態で説明した処理と組み合わせて、補正量を反映するか否かを断面ごとに判定してもよい。このように、補正パラメータ推定部４５は、断面画像を構成する複数の画像の一部に基づいて指標を推定し、複数の画像のいずれの画像に基づいて指標を推定するかを所定の順番で順次切り替えることができる。

以上が本実施形態に関する説明であるが、上記の電子機器の構成や処理は、上記の実施形態に限定されるものではなく、本発明の技術的思想と同一性を失わない範囲内において種々の変更が可能である。例えば、上記の各実施形態の処理は適宜組み合わされて実施することで、基準断面パラメータの推定精度を高めることができる。

＜その他の実施形態＞
本開示の技術は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、上記の実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体はいうまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

本実施形態の開示は、以下の構成を含む。
（構成１）
被検体の３次元画像を取得する画像取得部と、
前記３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータの推定を行う初期パラメータ推定部と、
前記初期パラメータに基づいて、前記３次元画像から少なくとも１枚の断面画像を取得する断面画像取得部と、
前記断面画像ごとに、前記初期パラメータの補正に寄与する指標の推定を行う指標推定部と
を備えることを特徴とする画像処理装置。
（構成２）
前記断面画像取得部は、前記初期パラメータに基づいて、前記３次元画像における所定の厚みに対応する複数のスライスを含む断面画像を前記３次元画像から取得することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記断面画像取得部が取得する前記断面画像の解像度は、解像度を低減した後の前記３次元画像の解像度よりも高いことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記断面画像取得部が２枚以上の前記断面画像を取得する場合は、前記指標推定部が推定する前記指標は断面画像ごとに異なることを特徴とする構成１から３のいずれか１項に記載の画像処理装置。
（構成５）
前記初期パラメータ推定部は、前記３次元画像の解像度を低減させた画像に基づいて、前記初期パラメータを推定することを特徴とする構成１から４のいずれか１項に記載の画像処理装置。
（構成６）
学習モデルを取得する学習モデル取得部をさらに備え、
前記学習モデルは、学習用３次元画像と該学習用３次元画像における前記基準断面を得るためのパラメータとの組を含む情報を用いた学習処理により作成された初期パラメータ推定用学習モデルと、学習用断面画像と該学習用断面画像における基準断面パラメータの補正に寄与する指標との組を含む情報を用いた学習処理により作成された指標推定用学習モデルのうちの少なくとも１つであり、
前記初期パラメータ推定部および前記指標推定部の少なくとも一方は、前記学習モデルに基づいて前記推定を行う
ことを特徴とする構成１から５のいずれか１項に記載の画像処理装置。
（構成７）
前記初期パラメータは前記３次元画像における前記基準断面の位置または姿勢に関する情報であることを特徴とする構成１から６のいずれか１項に記載の画像処理装置。
（構成８）
前記指標推定部が推定する前記指標は、前記初期パラメータの前記断面画像の画像面内における補正に寄与する指標であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
（構成９）
前記指標推定部が推定する前記指標は、前記初期パラメータによって得られる基準断面を変移させるための補正量であることを特徴とする構成１から８のいずれか１項に記載の画像処理装置。
（構成１０）
前記補正量は、前記初期パラメータによって得られる基準断面の位置を前記基準断面の目標位置へと移動させるための変位量、および、前記初期パラメータによって得られる基準断面の姿勢を前記基準断面の目標姿勢へと回転させるための回転量、のうちの少なくとも１つであることを特徴とする構成９に記載の画像処理装置。
（構成１１）
前記指標推定部が推定する前記指標は、前記基準断面を得るためのパラメータであり、
前記指標推定部は前記基準断面を得るためのパラメータを前記初期パラメータに基づいて推定する
ことを特徴とする構成１から８のいずれか１項に記載の画像処理装置。
（構成１２）
前記基準断面を得るための前記パラメータは、前記基準断面の目標位置の推定値、および、前記基準断面の目標となる軸ベクトルの推定値のうちの少なくとも１つであることを特徴とする構成１１に記載の画像処理装置。
（構成１３）
前記指標推定部は、断面画像上の複数の所定のランドマークの位置の推定を行い、前記位置の推定の結果に基づいて前記基準断面を得るためのパラメータを推定することを特徴とする構成１１または１２に記載の画像処理装置。
（構成１４）
前記指標推定部が推定する前記指標に基づいて、前記初期パラメータを補正する補正部をさらに備えることを特徴とする構成１から１２のいずれか１項に記載の画像処理装置。（構成１５）
前記補正部は、前記指標推定部が推定する前記指標に基づく前記初期パラメータの補正を行うか否かを判定し、該判定の結果に基づいて前記初期パラメータの補正を行うことを特徴とする構成１４に記載の画像処理装置。
（構成１６）
前記指標推定部が推定する前記指標が複数存在する場合、前記補正部は前記指標に基づく前記初期パラメータの補正を行うか否かを指標ごとに判定することを特徴とする構成１５に記載の画像処理装置。
（構成１７）
前記３次元画像、前記断面画像、および前記指標推定部が推定する前記指標を表示する処理を行う表示処理部をさらに備え、
前記補正部は、前記指標推定部が推定する前記指標のうちどの指標に基づいて前記初期パラメータの補正を行うかに関するユーザの選択結果を取得し、前記選択結果に基づいて前記初期パラメータの補正を行う
ことを特徴とする構成１４から１６のいずれか１項に記載の画像処理装置。
（構成１８）
前記３次元画像、前記断面画像、および前記指標推定部が推定する前記指標を表示する処理を行う表示処理部をさらに備え、
前記補正部は、ユーザからの指示に基づいて、前記指標推定部が推定する前記指標を修正し、修正された前記指標に基づいて前記初期パラメータの補正を行うことを特徴とする構成１６に記載の画像処理装置。
（構成１９）
前記断面画像は画像間の位置および姿勢が所定の関係となる複数の画像により構成され、
前記断面画像取得部は、前記補正部により補正された断面パラメータに基づいて、前記３次元画像から補正後断面画像を取得し、
前記指標推定部は、前記補正後断面画像に基づいて前記指標の推定をさらに行う
ことを特徴とする構成１４に記載の画像処理装置。
（構成２０）
前記指標推定部は、前記断面画像を構成する複数の画像の一部に基づいて前記指標を推定し、
前記指標推定部は、前記複数の画像のいずれの画像に基づいて前記指標を推定するかを所定の順番で順次切り替える
ことを特徴とする構成１９に記載の画像処理装置。
（方法１）
被検体の３次元画像を取得する画像取得ステップと、
前記３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータの推定を行う推定ステップと、
前記初期パラメータに基づいて、前記３次元画像から少なくとも１枚の断面画像を取得する断面画像取得ステップと、
前記断面画像ごとに、前記初期パラメータの補正に寄与する指標の推定を行う指標推定ステップと
を含むことを特徴とする画像処理方法。
（プログラム１）
コンピュータに方法１に記載の画像処理方法を実行させるプログラム。

１０ 画像処理装置、４１ 画像取得部、４２ 初期パラメータ推定部、４３ 断面画像取得部、４５ 補正パラメータ推定部

Claims (22)

1. 被検体の３次元画像を取得する画像取得部と、
   前記３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータの推定を行う初期パラメータ推定部と、
   前記初期パラメータに基づいて、前記３次元画像から少なくとも１枚の断面画像を取得する断面画像取得部と、
   前記断面画像ごとに、前記初期パラメータの補正に寄与する指標の推定を行う指標推定部と
   を備えることを特徴とする画像処理装置。
2. 前記断面画像取得部は、前記初期パラメータに基づいて、前記３次元画像における所定の厚みに対応する複数のスライスを含む断面画像を前記３次元画像から取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記断面画像取得部が取得する前記断面画像の解像度は、解像度を低減した後の前記３次元画像の解像度よりも高いことを特徴とする請求項１に記載の画像処理装置。
4. 前記断面画像取得部が２枚以上の前記断面画像を取得する場合は、前記指標推定部が推定する前記指標は断面画像ごとに異なることを特徴とする請求項１に記載の画像処理装置。
5. 前記初期パラメータ推定部は、前記３次元画像の解像度を低減させた画像に基づいて、前記初期パラメータを推定することを特徴とする請求項１に記載の画像処理装置。
6. 学習モデルを取得する学習モデル取得部をさらに備え、
   前記学習モデルは、学習用３次元画像と該学習用３次元画像における前記基準断面を得るためのパラメータとの組を含む情報を用いた学習処理により作成された初期パラメータ推定用学習モデルと、学習用断面画像と該学習用断面画像における基準断面パラメータの補正に寄与する指標との組を含む情報を用いた学習処理により作成された指標推定用学習モデルのうちの少なくとも１つであり、
   前記初期パラメータ推定部および前記指標推定部の少なくとも一方は、前記学習モデルに基づいて前記推定を行う
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記初期パラメータは前記３次元画像における前記基準断面の位置または姿勢に関する情報であることを特徴とする請求項１に記載の画像処理装置。
8. 前記指標推定部が推定する前記指標は、前記初期パラメータの前記断面画像の画像面内における補正に寄与する指標であることを特徴とする請求項７に記載の画像処理装置。
9. 前記指標推定部が推定する前記指標は、前記初期パラメータによって得られる基準断面を変移させるための補正量であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記補正量は、前記初期パラメータによって得られる基準断面の位置を前記基準断面の目標位置へと移動させるための変位量、および、前記初期パラメータによって得られる基準断面の姿勢を前記基準断面の目標姿勢へと回転させるための回転量、のうちの少なくとも１つであることを特徴とする請求項９に記載の画像処理装置。
11. 前記指標推定部が推定する前記指標は、前記基準断面を得るためのパラメータであり、
    前記指標推定部は前記基準断面を得るためのパラメータを前記初期パラメータに基づいて推定する
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
12. 前記基準断面を得るための前記パラメータは、前記基準断面の目標位置の推定値、および、前記基準断面の目標となる軸ベクトルの推定値のうちの少なくとも１つであることを特徴とする請求項１１に記載の画像処理装置。
13. 前記指標推定部は、断面画像上の複数の所定のランドマークの位置の推定を行い、前記位置の推定の結果に基づいて前記基準断面を得るためのパラメータを推定することを特徴とする請求項１１に記載の画像処理装置。
14. 前記指標推定部が推定する前記指標に基づいて、前記初期パラメータを補正する補正部をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
15. 前記補正部は、前記指標推定部が推定する前記指標に基づく前記初期パラメータの補正を行うか否かを判定し、該判定の結果に基づいて前記初期パラメータの補正を行うことを特徴とする請求項１４に記載の画像処理装置。
16. 前記指標推定部が推定する前記指標が複数存在する場合、前記補正部は前記指標に基づく前記初期パラメータの補正を行うか否かを指標ごとに判定することを特徴とする請求項１５に記載の画像処理装置。
17. 前記３次元画像、前記断面画像、および前記指標推定部が推定する前記指標を表示する処理を行う表示処理部をさらに備え、
    前記補正部は、前記指標推定部が推定する前記指標のうちどの指標に基づいて前記初期パラメータの補正を行うかに関するユーザの選択結果を取得し、前記選択結果に基づいて前記初期パラメータの補正を行う
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記３次元画像、前記断面画像、および前記指標推定部が推定する前記指標を表示する処理を行う表示処理部をさらに備え、
    前記補正部は、ユーザからの指示に基づいて、前記指標推定部が推定する前記指標を修正し、修正された前記指標に基づいて前記初期パラメータの補正を行うことを特徴とする請求項１６に記載の画像処理装置。
19. 前記断面画像は画像間の位置および姿勢が所定の関係となる複数の画像により構成され、
    前記断面画像取得部は、前記補正部により補正された断面パラメータに基づいて、前記３次元画像から補正後断面画像を取得し、
    前記指標推定部は、前記補正後断面画像に基づいて前記指標の推定をさらに行う
    ことを特徴とする請求項１４に記載の画像処理装置。
20. 前記指標推定部は、前記断面画像を構成する複数の画像の一部に基づいて前記指標を推定し、
    前記指標推定部は、前記複数の画像のいずれの画像に基づいて前記指標を推定するかを所定の順番で順次切り替える
    ことを特徴とする請求項１９に記載の画像処理装置。
21. 被検体の３次元画像を取得する画像取得ステップと、
    前記３次元画像の解像度を低減して、基準断面を得るためのパラメータの初期値である初期パラメータの推定を行う推定ステップと、
    前記初期パラメータに基づいて、前記３次元画像から少なくとも１枚の断面画像を取得する断面画像取得ステップと、
    前記断面画像ごとに、前記初期パラメータの補正に寄与する指標の推定を行う指標推定ステップと
    を含むことを特徴とする画像処理方法。
22. コンピュータに請求項２１に記載の画像処理方法を実行させるプログラム。

Images