JP2022517769A - 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム - Google Patents

Abstract

本願は、三次元ターゲット検出方法及びそのモデルの訓練方法及び装置、機器、記憶媒体を開示する。三次元ターゲットモデルの訓練方法は、サンプル三次元画像を取得することであって、サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている、ことと、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得ることであって、各予測領域情報は、予測領域の予測位置情報及び予測信頼度を含む、ことと、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することと、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年１２月２７日に提出された出願番号２０１９１１３７９６３９．４の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、人工知能技術分野に関し、特に三次元ターゲット検出方法及びそのモデルの訓練方法及び装置、機器、記憶媒体に関する。

ニューラルネットワーク、深層学習などの人工知能技術の成長に伴い、ニューラルネットワークモデルを訓練し、訓練したニューラルネットワークモデルを利用してターゲット検出等のタスクを行うという方式は、ますます注目されている。

しかしながら、従来のニューラルネットワークモデルは、一般的には、二次元画像を検出対象として設計されたものである。ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：磁気共鳴イメージング）画像などの三次元画像について、一般的には、二次元平面画像に分割した後に処理する必要がある。これにより、三次元画像における一部の空間情報及び構造情報は失われた。従って、三次元画像における三次元ターゲットを直接的に検出することが困難である。

本願は、三次元ターゲットを直接的に検出でき、その検出難度を低減させることができる三次元ターゲット検出方法及びそのモデルの訓練方法及び装置、機器、記憶媒体を提供することが望ましい。

本願の実施例は、三次元ターゲットモデルの訓練方法を提供する。前記方法は、サンプル三次元画像を取得することであって、サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている、ことと、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得ることであって、各予測領域情報は、予測領域の予測位置情報及び予測信頼度を含む、ことと、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することと、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整することと、を含む。従って、三次元画像に対して三次元ターゲット検出を行うためのモデルを訓練により得ることができる。三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出できる。三次元ターゲット検出モデルがターゲット検出を行う時、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることができるため、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができ、三次元ターゲット検出の難度の低減に寄与する。

幾つかの実施例において、予測領域情報の数は、所定の数であり、所定の数は、三次元ターゲット検出モデルの出力寸法とマッチングし、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することは、実際位置情報を利用して、所定の数のサブ画像にそれぞれ対応する所定の数の実際領域情報を生成することであって、各実際領域情報は、実際位置情報及び実際信頼度を含み、実際領域の所定点の所在するサブ画像に対応する実際信頼度は、第１値であり、他のサブ画像に対応する実際信頼度は、第１値未満である第２値である、ことと、所定の数のサブ画像に対応する実際位置情報及び予測位置情報を利用して、位置損失値を得ることと、所定の数のサブ画像に対応する実際信頼度及び予測信頼度を利用して、信頼度損失値を得ることと、位置損失値及び信頼度損失値に基づいて、三次元ターゲット検出モデルの損失値を得ることと、を含む。従って、実際位置情報により、所定の数のサブ画像に対応する所定の数の実際領域情報を生成することで、所定の数の実際領域情報及びそれに対応する予測領域情報に基づいて損失演算を行うことができ、更に、損失演算の複雑さを低減させることができる。

幾つかの実施例において、実際位置情報は、実際領域の実際所定点位置及び実際領域寸法を含み、予測位置情報は、予測領域の予測所定点位置及び予測領域寸法を含み、所定の数のサブ画像に対応する実際位置情報及び予測位置情報を利用して位置損失値を得ることは、バイナリクロスエントロピーを利用して、所定の数のサブ画像に対応する実際所定点位置及び予測所定点位置に対して演算を行い、第１位置損失値を得ることと、平均二乗誤差関数を利用して、所定の数のサブ画像に対応する実際領域寸法及び予測領域寸法に対して演算を行い、第２位置損失値を得ることと、を含み、所定の数のサブ画像に対応する実際信頼度及び予測信頼度を利用して、信頼度損失値を得ることは、バイナリクロスエントロピーを利用して、所定の数のサブ画像に対応する実際信頼度及び予測信頼度に対して演算を行い、信頼度損失値を得ることを含み、位置損失値及び信頼度損失値に基づいて、三次元ターゲット検出モデルの損失値を得ることは、第１位置損失値、第２位置損失値及び信頼度損失値に対して加重処理を行い、三次元ターゲット検出モデルの損失値を得ることを含む。従って、実際所定点位置と予測所定点位置との第１位置損失値、実際領域寸法と予測領域寸法との第２位置損失値、及び実際信頼度と予測信頼度との信頼度損失値をそれぞれ演算し、最終的に上記損失値を加重処理することで、三次元ターゲット検出モデルの損失値を正確かつ全局的に得ることができる。モデルパラメータの正確な調整に寄与し、更に、モデル訓練の加速に寄与し、三次元ターゲット検出モデルの正確度を向上させる。

幾つかの実施例において、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定する前に、前記方法は、実際位置情報の値、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲内に制約することを更に含み、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することは、制約された実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することを含む。従って、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定する前に、実際位置情報の値、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲内に制約し、制約された実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することで、訓練プロセスで発生可能なネットワークショックを効果的に避け、収束速度を速くすることができる。

幾つかの実施例において、実際位置情報は、実際領域の実際所定点位置及び実際領域寸法を含み、予測位置情報は、予測領域の予測所定点位置及び予測領域寸法を含み、実際位置情報の値をいずれも所定の数値範囲内に制約することは、実際領域寸法と所定寸法との第１比を得て、第１比の対数値を、制約された実際領域寸法とすることと、実際所定点位置とサブ画像の画像寸法との第２比を得て、第２比の小数部分を、制約された実際所定点位置とすることと、を含み、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲内に制約することは、所定のマッピング関数を利用して、１つ又は複数の予測所定点位置及び予測信頼度をそれぞれ所定の数値範囲内にマッピングすることを含む。従って、実際領域寸法と所定寸法との第１比を得て、第１比の対数値を、制約された実際領域寸法とし、実際所定点位置とサブ画像の画像寸法との第２比を得て、第２比の小数部分を、制約された実際所定点位置とする。なお、所定のマッピング関数を利用して、１つ又は複数の予測所定点位置及び予測信頼度をそれぞれ所定の数値範囲内にマッピングする。これにより、数学的演算又は関数マッピングにより制約処理を行うことができ、更に、制約処理の複雑さを低減させることができる。

幾つかの実施例において、実際所定点位置とサブ画像の画像寸法との第２比を得ることは、サンプル三次元画像の画像寸法とサブ画像の数との第３比を算出し、実際所定点位置と第３比との第２比を得ることを含む。従って、サンプル三次元画像の画像寸法とサブ画像の数との第３比を算出することで、サブ画像の画像寸法を得ることができ、第２比の演算の複雑さを低減させることができる。

幾つかの実施例において、所定の数値範囲は、０から１までの範囲であり、及び／又は、所定の寸法は、複数のサンプル三次元画像における実際領域の領域寸法の平均値である。従って、所定の数値範囲を１から１に設定することで、モデルの収束速度を速くすることができる。所定の寸法を複数のサンプル三次元画像における実際領域の領域寸法の平均値とすることで、制約された実際領域寸法は、大きすぎるか又は小さすぎることがない。これにより、訓練の初期段階でショックが発生して、ひいては収束できないことを避けることができ、モデル品質の向上に寄与する。

幾つかの実施例において、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、１つ又は複数の予測領域情報を得る前に、方法は、サンプル三次元画像を三原色チャネル画像に変換するという前処理工程、サンプル三次元画像の寸法を所定の画像寸法にスケーリングするという前処理工程、サンプル三次元画像に対して正規化及び標準化処理を行うという前処理工程のうちの少なくとも１つを更に含む。従って、サンプル三次元画像を三原色チャネル画像に変換することで、ターゲット検出の視覚的効果を向上させることができる。サンプル三次元画像の寸法を所定の画像寸法にスケーリングすることで、三次元画像をモデルの入力寸法と可能な限りマッチングさせることができ、モデル訓練効果を向上させることができる。サンプル三次元画像に対して正規化及び標準化処理を行うことで、訓練過程におけるモデルの収束速度の向上に寄与する。

本願の実施例は、三次元ターゲット検出方法を提供する。前記方法は、被検三次元画像を取得し、三次元ターゲット検出モデルを利用して、被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得ることであって、三次元ターゲット検出モデルは、上記三次元ターゲット検出モデルの訓練方法によって得られたものである、ことを含む。従って、三次元ターゲット検出モデルの訓練方法により得られた三次元ターゲット検出モデルは、三次元画像における三次元ターゲット検出を実現させ、三次元ターゲット検出の難度を低減させる。

本願の実施例は、三次元ターゲット検出モデル訓練装置を提供する。前記装置は、画像取得モジュールと、ターゲット検出モジュールと、損失決定モジュールと、パラメータ調整モジュールと、を備え、画像取得モジュールは、サンプル三次元画像を取得するように構成され、サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されており、ターゲット検出モジュールは、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得るように構成され、各予測領域情報は、予測領域の予測位置情報及び予測信頼度を含み、損失決定モジュールは、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定するように構成され、パラメータ調整モジュールは、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整するように構成される。

本願の実施例は、三次元ターゲット検出装置を提供する。前記装置は、画像取得モジュールと、ターゲット検出モジュールと、を備え、画像取得モジュールは、被検三次元画像を取得するように構成され、ターゲット検出モジュールは、三次元ターゲット検出モデルを利用して、被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得るように構成され、三次元ターゲット検出モデルは、上記三次元ターゲット検出モデル訓練装置で得られたものである。

本願の実施例は、電子機器を提供する。前記電子機器は、互いに結合されたメモリ及びプロセッサを備え、プロセッサは、メモリに記憶されたプログラム命令を実行し、上記三次元ターゲット検出モデルの訓練方法又は上記三次元ターゲット検出方法を実現するように構成される。

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記記憶媒体にプログラム命令が記憶されており、プログラム命令がプロセッサにより実行されるときに、前記プロセッサに上記三次元ターゲット検出モデルの訓練方法又は上記三次元ターゲット検出方法を実現させる。

本願の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供する。前記コンピュータ可読コードは、電子機器で実行されるときに、前記電子機器におけるプロセッサに、上記１つ又は複数の実施例におけるサーバにより実行された三次元ターゲット検出モデルの訓練方法、又は上記１つ又は複数の実施例におけるサーバにより実行された三次元ターゲット検出方法を実現させる。

本願の実施例は、三次元ターゲット検出方法及びそのモデルの訓練方法及び装置、機器、記憶媒体を提供する。本願の実施例では、取得されたサンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されており、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得、各予測領域情報は、サンプル三次元画像の１つのサブ画像に対応する予測領域の予測位置情報及び予測信頼度を含む。これにより、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定し、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整する。更に、三次元画像に対して三次元ターゲット検出を行うためのモデルを訓練により得ることができる。また、三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出して得ることができる。三次元ターゲット検出モデルがターゲット検出を行う時、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることができるため、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができ、三次元ターゲット検出の難度の低減に寄与する。

本願の実施例による三次元ターゲット検出及びモデルの訓練方法のシステムアーキテクチャを示す概略図である。 本願による三次元ターゲット検出モデルの訓練方法の一実施例を示すフローチャートである。 図１ＢにおけるステップＳ１３の一実施例を示すフローチャートである。 実際位置情報の値を所定の数値範囲内に制約する実施例を示すフローチャートである。 本願による三次元ターゲット検出方法の一実施例を示すフローチャートである。 本願による三次元ターゲット検出モデル訓練装置の一実施例を示すブロック図である。 本願による三次元ターゲット検出装置の一実施例を示すブロック図である。 本願による電子機器の一実施例を示すブロック図である。 本願によるコンピュータ可読記憶媒体の一実施例を示すブロック図である。

ニューラルネットワーク、深層学習などの技術の台頭に伴い、ニューラルネットワークに基づいた画像処理方法もそれに伴って生じる。

ここで、第１方法は、ニューラルネットワークを利用して二次元画像に対して検出領域の分割を行うことである。例えば、病巣領域に対して分割を行う。しかしながら、二次元画像を分割する方法を三次元画像処理シーンに直接的に適用すると、三次元画像における一部の空間情報及び構造情報が失われる。

ここで、第２方法は、ニューラルネットワークを利用して三次元画像に対して検出領域の分割を行うことである。例えば、検出領域は、乳腺腫瘍領域である。まず、深層学習により、三次元画像における乳腺腫瘍に対して位置決めを行う。続いて、乳腺腫瘍領域の領域成長を利用して、腫瘍境界に対して分割を行う。又は、まず、三次元Ｕ－Ｎｅｔネットワークを利用して脳部核磁気共鳴画像特徴を抽出する。続いて、高次元ベクトル非局所的平均値アテンションモデルを利用して、画像特徴に対して再配置を行う。最後に、脳部組織分割結果を得る。このような方法によれば、画像品質が低い場合、画像におけるボケ領域に対して正確な分割を行うことが困難であり、分割結果の正確性に影響を与えてしまう。

ここで、第３方法は、ニューラルネットワークを利用して二次元画像に対して検出領域認識を行うことである。前記方法は、二次元画像に対して操作を行うか又は三次元ニューラルネットワークを利用して検出領域に対してターゲット検出を行う。しかしながら、このような方法は、直接的にニューラルネットワークにより検出領域を生成する。ニューラルネットワーク訓練段階における収束速度が遅く、正確度が低い。

上記３つの方法から分かるように、関連技術において、三次元画像処理技術は、未成熟であり、特徴抽出効果が低く適用可能性が低いなどの問題がある。なお、関連技術におけるターゲット検出方法は、二次元平面画像の処理に適用される。三次元画像処理に適用される場合、一部の画像空間情報及び構造情報等が失われる等の問題がある。

図１Ａは、本願の実施例による三次元ターゲット検出及びモデルの訓練方法のシステムアーキテクチャを示す概略図である。図１Ａに示すように、該システムアーキテクチャにＣＴ装置１００、サーバ２００、ネットワーク３００及び端末装置４００が含まれる。例示的な適用を実現させるために、ＣＴ装置１００は、ネットワーク３００を経由して端末装置４００に接続される。端末装置４００は、ネットワーク３００を経由してサーバ２００に接続される。ＣＴ装置１００は、ＣＴ画像の収集に用いられる。例えば、Ｘ線ＣＴ装置又はγ線ＣＴ装置などのような人体部位の一定の厚さの層面に対して走査を行うことができる端末であってもよい。端末装置４００は、ノートパソコン、タブレット、デスクトップコンピュータ、専用メッセージング装置などのような画面表示機能を有する装置であってもよい。ネットワーク３００は、広域ネットワーク又はローカルエリアネットワークであってもよく、又は両者の組み合わせであってもよい。これは、無線リンクを利用してデータ伝送を実現させる。

サーバ２００は、本願の実施例で提供される三次元ターゲット検出及びモデルの訓練方法を利用してサンプル三次元画像を取得し、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、前記サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得て、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定し、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整することができる。また、三次元ターゲット検出モデルを利用して被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得ることができる。ここで、前記サンプル三次元画像は、病院、健康診断センタなどの機構におけるＣＴ装置１００により収集された患者又は被検者の肺部ＣＴ画像であってもよい。サーバ２００は、端末装置４００から、ＣＴ装置１００により収集されたサンプル三次元画像を取得してサンプル三次元画像とすることができ、ＣＴ装置から、サンプル三次元画像を取得することができ、ネットワークから、サンプル三次元画像を取得することもできる。

サーバ２００は、独立した物理的サーバであってもよく、複数の物理的サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウド技術に基づいたクラウドサーバであってもよい。クラウド技術は、広域ネットワーク又はローカルエリアネットワークにおいて、ハードウェア、ソフトウェア、ネットワーク等の一連のリソースを集積し、データの演算、記憶、処理及び共有を実現させるホスティング技術である。一例として、サーバ２００は、被検三次元画像（例えば、肺部ＣＴ画像）を取得した後、訓練された三次元ターゲット検出モデルにより、被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得る。続いて、サーバ２００は、検出されたターゲット領域情報を端末装置４００に返送して表示する。これにより、医者は、調べることができる。

以下、明細書の図面を参照しながら、本願の実施例の技術的解決手段を詳しく説明する。

下記説明において、本発明の実施例を深く理解するために、特定システム構造、インタフェース、技術等の具体的な細部を提出し、これは、本発明を解釈するためのものに過ぎず、本発明を限定するためのものではない。

本明細書において、「システム」と「ネットワーク」は相互交換可能に用いられる。本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、ａ１及び／又はｂ１は、ａ１のみが存在すること、ａ１とｂ１が同時に存在すること、ｂ１のみが存在するという３つの場合を表す。なお、本明細書において、文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。また、本明細書における「複数」は、２つ又は２つより多いことを表す。図１Ｂは、本願による三次元ターゲット検出モデルの訓練方法の一実施例を示すフローチャートである。図１Ｂに示すように、該方法は、下記ステップを含んでもよい。

ステップＳ１１において、サンプル三次元画像を取得し、サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている。

一つの実施シーンにおいて、人体部位などの三次元ターゲットの検出を実現させるために、サンプル三次元画像は、核磁気共鳴画像であってもよい。なお、サンプル三次元画像は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮像）画像、Ｂモード（Ｔｙｐｅ Ｂ Ｕｌｔｒａｓｏｎｉｃ：Ｂモード超音波）画像を利用して三次元再構築を行うことで得られた三次元画像であってもよく、ここで、これを限定するものではない。前記人体部位は、前十字靭帯、脳下垂体等を含んでもよいが、これらに限定されない。病変組織などのような他のタイプの三次元ターゲットは、このように類推してもよく、ここでは逐一説明しない。

一つの実施シーンにおいて、訓練された三次元ターゲット検出モデルの正確性を向上させるために、サンプル三次元画像の数は、複数であってもよく、例えば、２００、３００、４００個などであってもよい。ここで、これを限定するものではない。

一つの実施シーンにおいて、サンプル三次元画像を三次元ターゲット検出モデルの入力とマッチングさせるために、サンプル三次元画像を得た後、これに対して前処理を行うことができる。前記前処理は、サンプル三次元画像の寸法を所定の画像寸法にスケーリングすることであってもよい。所定の画像寸法は、三次元ターゲット検出モデルの入力寸法と一致してもよい。例えば、サンプル三次元画像の元寸法は、１６０＊３８４＊３８４であってもよい。三次元ターゲット検出モデルの入力寸法が１６０＊１６０＊１６０であると、サンプル三次元画像の寸法を１６０＊１６０＊１６０にスケーリングすることができる。なお、訓練過程におけるモデルの収束速度を向上させるために、サンプル三次元画像に対して正規化処理及び標準化処理を行うこともできる。又は、ターゲット検出効果を向上させるために、サンプル三次元画像を三原色（つまり、赤、緑、青）チャネル画像に変換することもできる。

ステップＳ１２において、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得る。

本実施例において、各予測領域情報は、サンプル三次元画像の１つのサブ画像の予測領域に対応する予測位置情報及び予測信頼度を含む、ここで、予測信頼度は、予測結果が三次元ターゲットである信頼度を表す。予測信頼度が高いほど、予測結果の信頼度が高くなることを表す。

なお、本実施例における予測領域は、三次元空間領域である。例えば、長方体で囲まれた領域、又は正方体で囲まれた領域等であってもよい。

一つの実施シーンにおいて、実際の適用上の需要を満たすために、三次元ターゲット検出モデルに対してパラメータ設定を予め行うことができる。これにより、三次元ターゲット検出モデルは、サンプル三次元画像の所定の数のサブ画像に対応する予測領域の予測位置情報及び予測信頼度を出力することができる。つまり、本実施例における予測領域情報の数は、所定の数と設定されてもよい。該所定の数は、１以上の整数である。所定の数は、三次元ターゲットモデルの出力寸法とマッチングする。例えば、三次元ターゲット検出モデルに入力された三次元画像の画像寸法が１６０＊１６０＊１６０であることを例として、ネットワークパラメータを予め設定することで、三次元ターゲット検出モデルから、１０＊１０＊１０個の画像寸法１６＊１６＊１６のサブ画像に対応する予測領域の予測位置情報及び予測信頼度を出力することができる。なお、実際の需要に応じて、所定の数は、２０＊２０＊２０、４０＊４０＊４０等と設定されてもよい。ここで、これを限定するものではない。

一つの実施シーンにおいて、三次元でのターゲット検出を実現させるために、三次元ターゲット検出モデルは、三次元畳み込みニューラルネットワークモデルであってもよく、離間して接続された複数の畳み込み層及び複数のプーリング層を含んでもよい。また、畳み込み層における畳み込みカーネルは、所定の寸法の三次元畳み込みカーネルである。所定の数が１０＊１０＊１０であることを例として、下記表１を参照されたい。表１は、三次元ターゲット検出モデルの一実施例のパラメータ設定テーブルである。

表１に示すように、三次元畳み込みカーネルのサイズは、３＊３＊３であってもよい。所定の数が１０＊１０＊１０である場合、三次元ターゲット検出モデルは、８層の畳み込み層を含んでもよい。表１に示すように、三次元ターゲット検出モデルは、順次接続された第１層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ１＋ｒｅｌｕ）、第１層のプーリング層（つまり、表１におけるｐｏｏｌ１）、第２層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ２＋ｒｅｌｕ）、第２層のプーリング層（つまり、表１におけるｐｏｏｌ２）、第３層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ３ａ＋ｒｅｌｕ）、第４層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ３ｂ＋ｒｅｌｕ）、第３層のプーリング層（つまり、表１におけるｐｏｏｌ３）、第５層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ４ａ＋ｒｅｌｕ）、第６層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ４ｂ＋ｒｅｌｕ）、第４層のプーリング層（つまり、表１におけるｐｏｏｌ４）、第７層の畳み込み層及び活性化層（つまり、表１におけるｃｏｎｖ５ａ＋ｒｅｌｕ）、第８層の畳み込み層（つまり、表１におけるｃｏｎｖ５ｂ）を含んでもよい。上記設定により、最終的にサンプル三次元画像の１０＊１０＊１０個のサブ画像において三次元ターゲットの予測を行うことができる。従って、三次元ターゲットの予測領域の予測所定点（例えば、予測領域の中心点）がサブ画像の所在する領域にある場合、該サブ画像の所在する領域は、三次元ターゲットの予測領域情報の予測を担う。

ステップＳ１３において、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定する。

ここで、バイナリクロスエントロピー、平均二乗誤差関数（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ：ＭＳＥ）のうちの少なくとも１つにより、実際位置情報及び予測領域情報を演算し、三次元ターゲット検出モデルの損失値を得ることができる。本実施例は、ここで詳細な説明を省略する。

ステップＳ１４において、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整する。

実際位置情報及び予測領域情報を利用して得られた三次元ターゲット検出モデルの損失値は、三次元ターゲット検出モデルの現在パラメータを利用して三次元ターゲットの予測を行うことで得られた予測結果と付記された実際位置との偏差を表す。なお、損失値が大きいほど、両者間の偏差が大きくなることを表す。つまり、現在パラメータとターゲットパラメータとの偏差が大きくなることを表す。従って、損失値により、三次元ターゲット検出モデルのパラメータを調整することができる。

一つの実施シーンにおいて、安定した利用可能な三次元ターゲット検出モデルを訓練により得るために、三次元ターゲット検出モデルのパラメータを調整した後、上記ステップＳ１２及び後続のステップを再実行することで、サンプル三次元画像に対する検出、三次元ターゲット検出モデルの損失値の演算及びそのパラメータ調整プロセスを絶え間なく実行して、所定の訓練終了要件を満たすまで継続する。一つの実施シーンにおいて、所定の訓練終了要件は、損失値が１つの所定の損失閾値未満であり、且つ損失が減少しないことを含んでもよい。

上記技術的解決手段において、取得されたサンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている。三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得る。各予測領域情報は、サンプル三次元画像の１つのサブ画像に対応する予測領域の予測位置情報及び予測信頼度を含む。これにより、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定し、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整する。更に、三次元画像に対して三次元ターゲット検出を行うためのモデルを訓練により得ることができる。三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元画像の画像情報を十分にマイニングでき、三次元ターゲットを直接的に検出できる。三次元ターゲット検出モデルがターゲット検出を行う時、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることができるため、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができ、三次元ターゲット検出の難度の低減に寄与する。

図２は、図１ＢにおけるステップＳ１３の一実施例を示すフローチャートである。本実施例において、予測領域情報の数は、所定の数であり、所定の数は、三次元ターゲット検出モデルの出力寸法とマッチングする。図２に示すように、下記ステップを含んでもよい。

ステップＳ１３１において、実際位置情報を利用して、所定の数のサブ画像にそれぞれ対応する所定の数の実際領域情報を生成する。

また、三次元ターゲット検出モデルから１０＊１０＊１０個のサブ画像の予測領域の予測位置情報及び予測信頼度を出力することを例とする。表１を参照すると、三次元ターゲット検出モデルから出力された予測領域情報は、７＊１０＊１０＊１０のベクトルと認められてもよい。ここで、１０＊１０＊１０は、所定の数のサブ画像を表す。７は、各サブ画像で予測された三次元ターゲットの予測位置情報（例えば、ｘ、ｙ、ｚ方向での、予測領域の中心点位置の座標、及び長手方向、幅方向、高さ方向での予測領域の寸法）及び予測信頼度を表す。従って、予め付記された実際位置情報と所定の数のサブ画像に対応する予測領域情報を一対一に対応させ、後続の損失値の演算を容易にするために、本実施例において、実際位置情報を拡張し、所定の数のサブ画像に対応する所定の数の実際領域情報を生成する。各前記実際領域情報は、実際位置情報（例えば、ｘ、ｙ、ｚ方向での、実際領域の中心点位置の座標、及び長手方向、幅方向、高さ方向での実際領域の寸法）及び実際信頼度を含む。実際領域の所定点（例えば、中心点）が所在するサブ画像に対応する実際信頼度は、第１値（例えば、１）である。他のサブ画像に対応する実際信頼度は、第１未満である第２値（例えば、０）である。これにより、生成された実際領域情報は、予測領域情報寸法と一致するベクトルと認められてもよい。

なお、三次元ターゲットに対して一意的に標識するために、予測位置情報は、予測所定点位置（例えば、予測領域の中心点位置）及び予測領域寸法を含んでもよい。予測位置情報に対応するように、実際位置情報は、実際所定点位置（例えば、予測所定点位置に対応するように、実際所定点位置は、実際領域の中心点位置であってもよい）及び実際領域寸法を含んでもよい。

ステップＳ１３２において、所定の数のサブ画像に対応する実際位置情報及び予測位置情報を利用して、位置損失値を得る。

本実施例において、バイナリクロスエントロピーを利用して、所定の数のサブ画像に対応する実際所定点位置及び予測所定点位置に対して演算を行い、第１位置損失値を得ることができる。ここで、第１損失値を得るための式は、式（１）に示すとおりである。

（１）

式中、ｎは、所定の数を表す。

はそれぞれ、ｉ番目のサブ画像に対応する予測所定点位置を表す。

はそれぞれ、ｉ番目のサブ画像に対応する予測所定点位置を表す。

はそれぞれ、ｘ、ｙ、ｚ方向での、第１位置損失値のサブ損失値を表す。

なお、平均二乗誤差関数を利用して、所定の数のサブ画像に対応する実際領域寸法及び予測領域寸法に対して演算を行い、第２位置損失値を得ることもできる。ここで、第２位置損失値を得るための式は、式（２）に示すとおりである。

（２）

式中、ｎは、所定の数を表す。

はそれぞれ、ｉ番目のサブ画像に対応する予測領域寸法を表す。

はそれぞれ、ｉ番目のサブ画像に対応する実際領域寸法を表す。

はそれぞれ、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での、第２位置損失値のサブ損失値を表す。

ステップＳ１３３において、所定の数のサブ画像に対応する実際信頼度及び予測信頼度を利用して、信頼度損失値を得る。

ここで、バイナリクロスエントロピーを利用して、所定の数のサブ画像に対応する実際信頼度及び予測信頼度に対して演算を行い、信頼度損失値を得ることができる。ここで、信頼度損失値を得るための式は、式（３）に示すとおりである。

（３）

式中、ｎは、所定の数を表す。

は、ｉ番目のサブ画像に対応する予測信頼度を表す。

は、ｉ番目のサブ画像に対応する実際信頼度を表す。

は、信頼度損失値を表す。

本実施例において、上記ステップＳ１３２及びステップＳ１３３は、優先順位に応じて実行されてもよい。例えば、ステップＳ１３２を実行した後、ステップＳ１３３を実行する。又は、ステップＳ１３３を実行した後、ステップＳ１３２を実行する。上記ステップＳ１３２及びステップＳ１３３は、同時に実行されてもよい。ここで、これを限定するものではない。

ステップＳ１３４において、位置損失値及び信頼度損失値に基づいて、三次元ターゲット検出モデルの損失値を得る。

ここで、上記第１位置損失値、第２位置損失値及び信頼度損失値に対して加重処理を行い、三次元ターゲット検出モデルの損失値を得ることができる。ここで、三次元ターゲット検出モデルの損失値

を得るための式は、式（４）に示すとおりである。

（４）

式中、

は、ｘ，ｙ，ｚ方向での第１損失値のサブ損失値にそれぞれ対応する重みを表す。

は、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での第２位置損失値のサブ損失値にそれぞれ対応する重みを表す。

は、信頼度損失値に対応する重みを表す。

一つの実施シーンにおいて、式中の

の和は、１である。もう１つの実施シーンにおいて、式中の

の和は、１ではない。損失値を標準化処理するために、上記式で得られた損失値を式中の

の和で割ることができる。

前記実施例と異なっており、実際位置情報により、所定の数のサブ画像に対応する所定の数の実際領域情報を生成することで、所定の数の実際領域情報及び対応する予測領域情報に基づいて、損失演算を行うことができる。これにより損失演算の複雑さを低減させることができる。

一実施形態において、予測領域情報と実際領域情報の基準値が一致しない可能性がある。例えば、予測所定点位置は、予測領域の中心点位置とその所在するサブ画像領域の中心点位置とのオフセット値であってもよい。予測領域寸法は、予測領域の実際寸法と所定の寸法（例えば、アンカーボックスサイズ）との相対値であってもよい。実際所定点位置は、サンプル三次元画像における、実際領域の中心点の位置であってもよい。実際領域寸法は、実際領域の長さ、幅、高さ寸法であってもよい。従って、収束速度を速くするために、損失値を演算する前に、実際位置情報の値、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲（例えば、０～１）内に制約することもできる。続いて、制約された実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定する。前記損失値演算プロセスは、上記実施例における関連工程を参照されたい。ここで、詳細な説明を省略する。

ここで、所定のマッピング関数を利用して、１つ又は複数の予測所定点位置及び予測信頼度をそれぞれ所定の数値範囲内にマッピングすることができる。本実施例において、所定のマッピング関数は、ｓｉｇｍｏｉｄ関数であってもよい。これにより、予測位置情報及び予測信頼度を０～１の範囲内にマッピングする。ここで、ｓｉｇｍｏｉｄ関数を利用して、予測位置情報及び予測信頼度を０～１の範囲内にマッピングするための式は、式（５）に示すとおりである。

（５）

式中において、

は、予測位置情報における予測所定点位置を表す。

は、制約された予測位置情報における予測所定点位置を表す。

は、予測信頼度を表す。

は、制約された予測信頼度を表す。

なお、図３を参照されたい。図３は、実際位置情報の値を所定の数値範囲内に制約する実施例を示すフローチャートである。図３に示すように、該方法は、下記ステップを含んでもよい。

ステップＳ３１において、実際領域寸法と所定寸法との第１比を得て、第１比の対数値を、制約された実際領域寸法とする。

本実施例において、所定の寸法は、ユーザにより実際の状況に応じて予め設定されたものであってもよく、複数のサンプル三次元画像における実際領域の領域寸法の平均値であってもよい。例えば、Ｎ個のサンプル三次元画像について言えば、ｊ番目のサンプル三次元画像の実際領域の領域寸法は、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向において、それぞれ

で表されてもよい。ここで、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での所定寸法の表現式は、式（６）に示すとおりである。

（６）

式中、

はそれぞれ、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での所定寸法の値を表す。

これに基づいて、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での制約された実際領域寸法を算出するための式は、式（７）に示すとおりである。

（７）

式中、

、

、

はそれぞれ、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での第１比を表す。

はそれぞれ、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向での制約された実際寸法の寸法を表す。

上記による処理により、実際領域寸法から、全ての実際領域寸法の平均値に対する実際領域寸法の相対値を得ることができる。

ステップＳ３２において、実際所定点位置とサブ画像の画像寸法との第２比を得て、第２比の小数部分を、制約された実際所定点位置とする。

本実施例において、三次元サンプル画像の画像寸法とサブ画像の数との第３比をサブ画像の画像寸法とすることができる。これにより、実際所定点位置と第３比との第２比を取得することができる。一つの実施シーンにおいて、サブ画像の数は、三次元ターゲット検出モデルの出力寸法とマッチングした所定の数であってもよい。所定の数が１０＊１０＊１０であり、三次元サンプル画像の画像寸法が１６０＊１６０＊１６０であることを例として、サブ画像の画像寸法は、ｌ（長さ）、ｗ（幅）、ｈ（高さ）方向で、それぞれ１６、１６、１６である。所定の数及び三次元サンプル画像の画像寸法が他の数値である場合、これにより類推することができる。ここで、逐一説明しない。

ここで、第２比の小数部分を取る操作は、第２比と、端数を切り捨てた第２比との差分値により実現することができる。小数部分を得るための式は、式（８）に示すとおりである。

（８）

式中、

はそれぞれ、ｘ、ｙ、ｚ方向での、制約された実際所定点位置の数値を表す。

はそれぞれ、（長さ）、ｗ（幅）、ｈ（高さ）方向での、所定寸法の寸法を表す。

はそれぞれ、ｘ、ｙ、ｚ方向での、実際所定点位置の数値を表す。

は、端数切り捨て処理を表す。

所定寸法がサブ画像の画像寸法である場合、上記処理により、上記所定点位置を制約処理してサブ画像における実際所定点の相対的位置を得ることができる。

本実施例において、上記ステップＳ３１及びステップＳ３２は、優先順位に応じて実行されてもよい。例えば、ステップＳ３１を実行した後、ステップＳ３２を実行する。又は、ステップＳ３２を実行した後、ステップＳ３１を実行する。上記ステップＳ３１及びステップＳ３２は、同時に実行されてもよい。ここで、これを限定するものではない。

前記実施例と異なっており、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定する前に、実際位置情報の値、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲内に制約し、制約された実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定することで、訓練プロセスで発生可能なネットワークショックを効果的に避け、収束速度を速くすることができる。

幾つかの実施例において、訓練の自動化程度を向上させるために、スクリプトプログラムを利用して、上記いずれか１つの実施例における工程を実行することができる。ここで、Ｐｙｔｈｏｎ言語及びＰｙｔｏｒｃｈフレームワークにより、上記いずれか１つの実施例における工程を実行することができる。これにより、Ａｄａｍオプティマイザ（Ａｄａｍ ｏｐｔｉｍｉｚｅｒ）を利用して、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）を０．０００１と設定し、ネットワークのバッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を２と設定し、反復回数（ｅｐｏｃｈ）を５０と設定することができる。上記学習率、バッチサイズ、反復回数の値は例だけであり、本実施例で列挙した数値に加えて、実際の状況に応じて設定することもできる。ここで、これを限定するものではない。

幾つかの実施例において、訓練結果を直観的に反映するために、実際位置情報を利用して、所定の数のサブ画像にそれぞれ対応する所定の数の実際領域情報を生成する。ここで、各実際領域情報は、実際位置情報を含む。上記実施例における関連工程を参照することができる。これにより、所定の数のサブ画像に対応する実際領域情報及び予測領域情報を利用して、所定の数のサブ画像に対応する実際領域と予測領域のユニオン交差（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ：ＩｏＵ）を算出する。続いて、所定の数のユニオン交差の平均値を算出し、一回の訓練過程におけるユニオン交差平均値（Ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ：ＭＩｏＵ）とする。ユニオン交差平均値が大きいほど、予測領域と実際領域との重合度が高くなり、モデルが正確になることを表す。ここで、演算難度を低減させるために、冠状面、矢状面、横断面でそれぞれユニオン交差を算出することもできる。ここで、逐一説明しない。

図４を参照されたい。図４は、三次元ターゲット検出方法の一実施例を示すフローチャートである。図４は、上記いずれか１つの三次元ターゲット検出モデルの訓練方法実施例における工程により訓練された三次元ターゲット検出モデルを利用してターゲット検出を行う実施例を示すフローチャートである。図４に示すように、該方法は、下記ステップを含む。

ステップＳ４１において、被検三次元画像を取得する。

サンプル三次元画像と同様に、被検三次元画像は、核磁気共鳴画像であってもよく、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影）画像、Ｂモード画像を利用して再構築された三次元画像であってもよく、ここで、これを限定するものではない。

ステップＳ４２において、三次元ターゲット検出モデルを利用して、被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得る。

本実施例において、三次元ターゲット検出モデルは、上記いずれか１つの三次元ターゲット検出モデルの訓練方法によって得られたものである。これは、上記いずれか１つの三次元ターゲット検出モデルの訓練方法実施例における工程を参照されたい。ここで、詳細な説明を省略する。

ここで、三次元ターゲット検出モデルを利用して被検三次元画像に対してターゲット検出を行う時、被検三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得ることができる。ここで、各予測領域情報は、予測領域の予測位置情報及び予測信頼度を含む。一つの実施シーンにおいて、１つ又は複数の予測領域情報の数は、所定の数であってもよい。所定の数は、三次元ターゲット検出モデルの出力寸法とマッチングする。これは、前記実施例における関連工程を参照することができる。被検三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得た後、最も高い予測信頼度を統計し、最も高い予測信頼度に対応する予測位置に基づいて、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を決定することができる。最も高い予測信頼度に対応する予測位置情報は、最も確実な信頼度を有する。従って、最も高い予測信頼度に対応する予測位置情報に基づいて、三次元ターゲットに対応するターゲット領域情報を決定することができる。ここで、ターゲット領域情報は、最も高い予測信頼度に対応する予測位置情報であってもよい。これは、予測所定位置点（例えば、予測領域の中心点位置）及び予測領域寸法を含んでもよい。被検三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことで、三次元ターゲット検出の難度の低減に寄与する。

一つの実施シーンにおいて、被検三次元画像を三次元ターゲット検出モデルに入力してターゲット検出を行う前に、三次元ターゲット検出モデルの入力とマッチングするために、所定の画像寸法（所定の画像寸法は、三次元ターゲット検出モデルの入力と一致してもよい）にスケーリングしてもよい。上記方式で、スケーリング処理された被検三次元画像におけるターゲット領域情報を得た後、得られたターゲット領域に対して逆スケーリング処理を行うことで、被検三次元画像におけるターゲット領域を得ることができる。

上記技術的解決手段において、三次元ターゲット検出モデルを利用して被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得る。また、三次元ターゲット検出モデルは、上記いずれか１つの三次元ターゲット検出モデルの訓練方法によって得られたものである。三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出できる。

本願の実施例は、三次元ターゲット検出方法を提供する。三次元畳み込みに基づいた膝関節ＭＲＩ画像における前十字靭帯領域の検出を例として、前記検出は、医用画像演算による診断支援技術分野に適用される。前記方法は、以下を含む。

ステップ４１０において、前十字靭帯領域を含む三次元膝関節ＭＲＩ画像を取得し、前記画像に対して前処理を行う。

例を挙げると、４２４組の三次元膝関節ＭＲＩ画像を取得する。前記画像のフォーマットは．ｎｉｉであってもよい。各枚の画像の寸法は、１６０＊３８４＊３８４である。

ここで、例を挙げて前記画像に対する前処理を説明する。まず、関数パケットにより、ＭＲＩ画像を行列データに変換する。続いて、前記行列データをシングルチャネルデータから３チャンネルデータに拡張し、前記３チャンネルデータの寸法を３＊１６０＊１６０＊１６０に縮小する。ここで、３は、ＲＧＢチャネル数である。最後に、寸法が縮小された前記３チャネルデータに対して正規化及び標準化処理を行い、前記画像の前処理を完了する。

ここで、３：１：１の割合に応じて、前処理した画像データを訓練集合、検証集合及び試験集合に分ける。

ステップ４２０において、前記前処理した画像に対して手動でアノテーションを行い、前十字靭帯領域の三次元位置の真実の枠を得る。これは、その中心点座標及び縦横高さを含む。

例を挙げると、ソフトウェアにより、前記前処理した画像の冠状面、矢状面、横断面の３つのビューを調べて、前十字靭帯領域に対して手動でアノテーションを行い、前十字靭帯領域の三次元位置枠を得る。前記領域の中心点座標及び縦横高さは、

と記される。全てのアノテーション枠の縦横高さの平均値を算出して所定の寸法とし、

と記す。

ステップ４３０において、三次元畳み込みに基づいた前十字靭帯領域検出ネットワークを構築し、膝関節ＭＲＩ画像に対して特徴抽出を行い、前十字靭帯領域の三次元位置枠の予測値を得る。

一つの実施シーンにおいて、三次元ターゲット検出モデルに入力された三次元膝関節ＭＲＩ画像の画像寸法が１６０＊１６０＊１６０であることを例として、ステップ４３０は、下記ステップを含んでもよい。

ステップ４３１において、前記三次元膝関節ＭＲＩ画像を１０＊１０＊１０個の画像寸法１６＊１６＊１６のサブ画像に分ける。前十字靭帯領域の中心がいずれか１つのサブ画像にあれば、前記サブ画像を前十字靭帯の予測に用いる。

ステップ４３２において、３＊１６０＊１６０＊１６０の訓練集合データを表１の検出ネットワーク構造に入力し、７＊１０＊１０＊１０の画像特徴

を出力する。

ここで、各前記サブ画像は、７個の予測値を含む。前記予測値は、三次元位置枠の６個の予測値

及び１つの前記位置枠の信頼度予測値

を含む。

ステップ４３３において、各サブ画像の７個の予測値

に対して、所定のマッピング関数を利用して所定の数値範囲内に制約する。

ここで、前記予測値を所定の数値範囲内に制約することで、検出ネットワークの収束速度を向上させ、損失関数の演算に寄与する。ここで、前記所定のマッピング関数は、ｓｉｇｍｏｉｄ関数であってもよい。各サブ画像の予測枠の中心点をいずれも前記サブ画像内に位置させて、収束速度を速くするために、枠の中心点座標の３個の予測値

をｓｉｇｍｏｉｄ関数により区間［０，１］にマッピングし、該サブ画像内での相対的位置とする。具体的には、式（５）に示すとおりである。ここで、枠の信頼度予測値

をｓｉｇｍｏｉｄ関数により、区間［０，１］にマッピングする。前記

は、サブ画像の予測枠が該ＭＲＩ画像における前十字靭帯の実際位置情報である確率値を表す。具体的には、式（５）に示すとおりである。

ステップ４４０において、実際領域寸法及び所定寸法に基づいて、損失関数を最適化してネットワークを訓練し、収束するまで継続し、前十字靭帯領域を正確に検出できるネットワークを得る。

一つの実施シーンにおいて、ステップ４４０は、下記ステップを含んでもよい。

ステップ４４１において、前記手動でアノテーションされた前十字靭帯領域の枠の市中心点座標及び縦横高さ

を寸法７＊１０＊１０＊１０のベクトルに拡張して１０＊１０＊１０個のサブ画像に対応させる。

ここで、前記各サブ画像の枠中心点及び縦横高さ

、前記前十字靭帯領域の中心点が所在するサブ画像に対応する信頼度の真値

は、１である。他のサブ画像信頼度の真値

は０である。

ステップ４４２において、前記サブ画像の実際値

を算出する。前記算出ステップは以下を含む。

ステップ４４２１において：枠中心点座標の真値

について、各サブ画像の辺長を単位１とし、式（８）により、サブ画像内部における、中心点の相対値を算出する。

ステップ４４２２において、枠の縦横高さの真値

について、式（７）により、前記真値と前記所定の寸法

との比の対数値を算出し、処理された寸法７×１０×１０×１０の真値ベクトル

を得る。

ステップ４４３において、処理された予測ベクトル

及び真値ベクトル

について、バイナリクロスエントロピー及び分散関数を利用して損失関数を演算する。式は、式（１）から（４）である。ここで、

はそれぞれ、寸法Ｓ×Ｓ×Ｓの中心点座標、縦横高さ及び信頼度の予測ベクトルである。

はそれぞれ、寸法Ｓ×Ｓ×Ｓの中心点座標、縦横高さ及び信頼度の真値ベクトルであり、

はそれぞれ、損失関数の各構成部の重み値である。

ステップ４４４において、Ｐｙｔｈｏｎ言語及びＰｙｔｏｒｃｈフレームワークに基づいて試験を行う。ネットワーク訓練プロセスにおいて、オプティマイザを選択し、学習率を０．０００１と設定し、ネットワークのバッチサイズを２と設定し、反復回数を５０と設定する。

ステップ４５０において、膝関節ＭＲＩ試験データを訓練された前十字靭帯領域検出ネットワークに入力し、前十字靭帯領域検出結果を得る。

ステップ４６０において、ＭＩｏＵを検出ネットワークの実験結果のための評価指標として用いる。

ここで、ＭＩｏＵは、２つの集合の交差と和集合の比を算出することで、検出ネットワークを評価する。三次元ターゲット検出方法において、前記２つの集合は、実際領域と予測領域である。ＭＩｏＵを得るための式は、式（９）に示すとおりである。

（９）

ただし、

は、予測領域面積であり、

は、実際領域面積である。

ここで、ＭＩｏＵを利用して検出ネットワークの実験結果を評価することは、表２に示すとおりである。表２は、冠状面、矢状面及び横断面のユニオン交差を示す。

上記技術的解決手段において、膝関節ＭＲＩ試験データを訓練された前十字靭帯領域検出ネットワークに入力することで、前十字靭帯区域検出結果を得る。これにより、三次元膝関節ＭＲＩ画像に対する直接処理及び前十字靭帯領域に対する直接検出を実現させることができる。前記三次元膝関節ＭＲＩ画像を複数のサブ画像に分け、各サブ画像の７個の予測値を、所定のマッピング関数により所定の数値範囲内に制約する。従って、検出プロセスにおいて、前十字靭帯領域検出の難度を低減させ、ネットワーク収束速度を速くし、検出の正確度を向上させる。三次元膝関節ＭＲＩ画像を複数のサブ画像に分けて、所定のマッピング関数を利用してネットワークから出力した予測枠の中心点座標、縦横高さ及び信頼度を制約する。これにより、予測枠の中心点を予測用サブ画像内に位置させる。縦横高さの数値は所定の寸法に対して大きすぎるか又は小さすぎることがない。ネットワークの初期訓練段階においてショックが発生し、延いては収束できないという問題を避ける。検出ネットワークを利用して膝関節ＭＲＩ画像に対して特徴抽出を行う。従って、画像における前十字靭帯領域検出を正確に行い、前十字靭帯疾患の診断の効率及び正確率の向上に根拠を与える。これにより、二次元医用画像による診断支援の制限を突破することができる。三次元ＭＲＩ画像を利用して医用画像を処理するため、より多くのデータ数及びより豊かなデータ情報を持つ。

図５は、本願による三次元ターゲット検出モデル訓練装置５０の一実施例を示すブロック図である。三次元ターゲット検出モデル訓練装置５０は、画像取得モジュール５１と、ターゲット検出モジュール５２と、損失決定モジュール５３と、パラメータ調整モジュール５４と、を備え、画像取得モジュール５１は、サンプル三次元画像を取得するように構成され、サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されており、ターゲット検出モジュール５２は、三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得るように構成され、各予測領域情報は、予測領域の予測位置情報及び予測信頼度を含み、損失決定モジュール５３は、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定するように構成され、パラメータ調整モジュール５４は、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整するように構成される。一つの実施シーンにおいて、三次元ターゲット検出モデルは、三次元畳み込みニューラルネットワークモデルである。一つの実施シーンにおいて、サンプル三次元画像は、核磁気共鳴画像であり、三次元ターゲットは、人体部位である。

上記技術的解決手段において、取得されたサンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている。三次元ターゲット検出モデルを利用してサンプル三次元画像に対してターゲット検出を行い、サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得る。各予測領域情報は、サンプル三次元画像の１つのサブ画像に対応する予測領域の予測位置情報及び予測信頼度を含む。これにより、実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定し、損失値を利用して、三次元ターゲット検出モデルのパラメータを調整する。更に、三次元画像に対して三次元ターゲット検出を行うためのモデルを訓練により得ることができる。三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出できる。三次元ターゲット検出モデルがターゲット検出を行う時、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることができるため、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができ、三次元ターゲット検出の難度の低減に寄与する。

幾つかの実施例において、予測領域情報の数は、所定の数であり、所定の数は、三次元ターゲット検出モデルの出力寸法とマッチングし、損失決定モジュール５３は、実際位置情報を利用して、所定の数のサブ画像にそれぞれ対応する所定の数の実際領域情報を生成するように構成される実際領域情報生成サブモジュールであって、各実際領域情報は、実際位置情報及び実際信頼度を含み、実際領域の所定点の所在するサブ画像に対応する実際信頼度は、第１値であり、他のサブ画像に対応する実際信頼度は、第１値未満である第２値である、実際領域情報生成サブモジュールを備え、損失決定モジュール５３は、所定の数のサブ画像に対応する実際位置情報及び予測位置情報を利用して、位置損失値を得るように構成される位置損失演算サブモジュールを備え、損失決定モジュール５３は、所定の数のサブ画像に対応する実際信頼度及び予測信頼度を利用して、信頼度損失値を得るように構成される信頼度損失演算サブモジュールを備え、損失決定モジュール５３は、位置損失値及び信頼度損失値に基づいて、三次元ターゲット検出モデルの損失値を得るように構成されるモデル損失演算サブモジュールを備える。

前記実施例と異なっており、実際位置情報により、所定の数のサブ画像に対応する所定の数の実際領域情報を生成することで、所定の数の実際領域情報及びそれに対応する予測領域情報に基づいて損失演算を行うことができ、更に、損失演算の複雑さを低減させることができる。

幾つかの実施例において、実際位置情報は、実際領域の実際所定点位置及び実際領域寸法を含み、予測位置情報は、予測領域の予測所定点位置及び予測領域寸法を含み、位置損失演算サブモジュールは、バイナリクロスエントロピーを利用して、所定の数のサブ画像に対応する実際所定点位置及び予測所定点位置に対して演算を行い、第１位置損失値を得るように構成され第１位置損失値演算部を備え、位置損失演算サブモジュールは、平均二乗誤差関数を利用して、所定の数のサブ画像に対応する実際領域寸法及び予測領域寸法に対して演算を行い、第２位置損失値を得るように構成される第２位置損失演算部を備え、信頼度損失演算サブモジュールは、バイナリクロスエントロピーを利用して、所定の数のサブ画像に対応する実際信頼度及び予測信頼度に対して演算を行い、信頼度損失値を得るように構成され、モデル損失演算サブモジュールは、第１位置損失値、第２位置損失値及び信頼度損失値に対して加重処理を行い、三次元ターゲット検出モデルの損失値を得るように構成される。

幾つかの実施例において、三次元ターゲット検出モデル訓練装置５０は、実際位置情報の値、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲内に制約するように構成される数値制約モジュールを更に備え、損失演算モジュール５３は、制約された実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定するように構成される。一つの実施シーンにおいて、所定の数値範囲は、０から１までの範囲である。

前記実施例と異なっており、訓練装置５０は、実際位置情報の値、１つ又は複数の予測位置情報及び予測信頼度をいずれも所定の数値範囲内に制約するように構成される制約モジュールを更に備え、損失決定モジュール５３は更に、制約された実際位置情報及び１つ又は複数の予測領域情報を利用して、三次元ターゲット検出モデルの損失値を決定する。これにより、訓練プロセスで発生可能なネットワークショックを効果的に避け、収束速度を速くすることができる。

幾つかの実施例において、実際位置情報は、実際領域の実際所定点位置及び実際領域寸法を含み、予測位置情報は、予測領域の予測所定点位置及び予測領域寸法を含み、数値制約モジュールは、実際領域寸法と所定寸法との第１比を得て、第１比の対数値を、制約された実際領域寸法とするように構成される第１制約サブモジュールを備え、数値制約モジュールは、実際所定点位置とサブ画像の画像寸法との第２比を得て、第２比の小数部分を、制約された実際所定点位置とするように構成される第２制約サブモジュールを備え、数値制約モジュールは、所定のマッピング関数を利用して、１つ又は複数の予測所定点位置及び予測信頼度をそれぞれ所定の数値範囲内にマッピングするように構成される第３制約サブモジュールを備える。一つの実施シーンにおいて、所定の寸法は、複数のサンプル三次元画像における実際領域の領域寸法の平均値である。

幾つかの実施例において、第２制約サブモジュールは更に、サンプル三次元画像の画像寸法とサブ画像の数との第３比を算出し、実際所定点位置と第３比との第２比を得るように構成される。

幾つかの実施例において、所定の数値範囲は、０から１までの範囲であり、及び／又は、所定の寸法は、複数のサンプル三次元画像における実際領域の領域寸法の平均値である。三次元ターゲット検出モデル訓練装置５０は、サンプル三次元画像を三原色チャネル画像に変換し、サンプル三次元画像の寸法を所定の画像寸法にスケーリングし、サンプル三次元画像に対して正規化及び標準化処理を行うように構成される前処理モジュールを更に備える。

図６を参照されたい。図６は、本願による三次元ターゲット検出装置６０の一実施例を示すブロック図である。三次元ターゲット検出装置６０は、画像取得モジュール６１と、ターゲット検出モジュール６２と、を備え、画像取得モジュール６１は、被検三次元画像を取得するように構成され、ターゲット検出モジュール６２は、三次元ターゲット検出モデルを利用して、被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得るように構成され、三次元ターゲット検出モデルは、上記いずれか１つの三次元ターゲット検出モデルの訓練方法によって得られたものである。

上記技術的解決手段において、三次元ターゲット検出モデルを利用して被検三次元画像に対してターゲット検出を行い、被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得る。また、三次元ターゲット検出モデルは、上記いずれか１つの三次元ターゲット検出モデル訓練装置の実施例における三次元ターゲット検出モデル訓練装置により訓練されたものである。従って、三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出できる。

図７を参照されたい。図７は、本願の電子機器７０の一実施例を示すブロック図である。電子機器７０は、互いに結合されたメモリ７１及びプロセッサ７２を備え、プロセッサ７２は、メモリ７１に記憶されたプログラム命令を実行し、上記いずれか１つの三次元ターゲット検出モデルの訓練方法の工程又は上記いずれか１つの三次元ターゲット検出方法を実現するように構成される。一つの実施シーンにおいて、電子機器７０は、マイクロコンピュータ、サーバを含んでもよいが、これらに限定されない。なお、電子機器７０は、ノートパソコン、タブレットなどの携帯機器を含んでもよく、ここで、これを限定するものではない。

ここで、プロセッサ７２は、その自体及びメモリ７１を制御して、上記いずれか１つの三次元ターゲット検出モデルの訓練方法の工程又は上記いずれか１つの三次元ターゲット検出方法を実現するように構成される。プロセッサ７２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算装置）と呼ばれてもよい。プロセッサ７２は、信号処理能力を持つ集積回路チップであってもよい。プロセッサ７２は、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）又は他のプログラマブルゲートアレイ、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、如何なる従来のプロセッサなどであってもよい。なお、プロセッサ７２は、集積回路チップにより共同で実現してもよい。

上記技術的解決手段において、三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出できる。三次元ターゲット検出モデルがターゲット検出を行う時、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることができるため、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができ、三次元ターゲット検出の難度の低減に寄与する。

図８を参照されたい。図８は、本願によるコンピュータ可読記憶媒体８０の一実施例を示すブロック図である。コンピュータ可読記憶媒体８０に、プロセッサにより実行可能なプログラム命令８０１が記憶されており、プログラム命令８０１は、プロセッサに上記いずれか１つの三次元ターゲット検出モデルの訓練方法の工程又は上記いずれか１つの三次元ターゲット検出方法を実現させるように構成される。

上記技術的解決手段において、三次元画像を処理して二次元平面画像を得た後にターゲット検出を行う必要がない。従って、三次元ターゲットの空間情報及び構造情報を効果的に保留することができ、三次元ターゲットを直接的に検出できる。三次元ターゲット検出モデルがターゲット検出を行う時、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることができるため、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができ、三次元ターゲット検出の難度の低減に寄与する。

本願で提供される幾つかの実施例において、開示される方法及び装置は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施形態はただ例示的なもので、例えば、前記モジュール又はコンポーネントの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のコンポーネント又はユニットを組み合わせてもよく、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよく、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はコンポーネントによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明したコンポーネントは、物理的に別個のものであってもよく、そうでなくてもよい。コンポーネントとして示された部材は、物理的コンポーネントであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークコンポーネントに分布してもよい。実際の需要に応じてそのうちの一部又は全てのコンポーネントにより本実施例の方策の目的を実現することができる。また、本願の各実施例における各機能コンポーネントは一つの処理コンポーネントに集積されてもよく、各コンポーネントが物理的に別個のものとして存在してもよく、２つ以上のコンポーネントが一つのユニットに集積されてもよい。上記集積したコンポーネントはハードウェアとして実現してもよく、ソフトウェア機能コンポーネントとして実現してもよい。

集積したものは、ソフトウェア機能コンポーネントの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ設備（パソコン、サーバ、又はネットワーク装置など）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。

なお、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記記憶媒体にプログラム命令が記憶されており、プログラム命令がプロセッサにより実行されるときに、前記プロセッサに上記三次元ターゲット検出モデルの訓練方法又は上記三次元ターゲット検出方法を実現させる。

なお、本願の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供する。前記コンピュータ可読コードは、電子機器で実行されるときに、前記電子機器におけるプロセッサに、本願の実施例で提供されるいずれか１つの三次元ターゲット検出モデルの訓練方法、又は上記三次元ターゲット検出方法を実現させる。

本実施例において、電子機器は、三次元ターゲット検出モデルに対するターゲット検出を行い、三次元画像の１つ又は複数のサブ画像の予測領域情報を得ることで、三次元画像の１つ又は複数のサブ画像において三次元ターゲット検出を行うことができる。これにより、三次元ターゲット検出の難度の低減に寄与する。

本願は、人工知能技術分野に関し、特に三次元ターゲット検出方法及びそのモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラムに関する。

Claims (20)

1. サンプル三次元画像を取得することであって、前記サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている、ことと、
   三次元ターゲット検出モデルを利用して前記サンプル三次元画像に対してターゲット検出を行い、前記サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得ることであって、各前記予測領域情報は、予測領域の予測位置情報及び予測信頼度を含む、ことと、
   前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定することと、
   前記損失値を利用して、前記三次元ターゲット検出モデルのパラメータを調整することと、を含む、三次元ターゲットモデルの訓練方法。
2. 前記予測領域情報の数は、所定の数であり、前記所定の数は、前記三次元ターゲット検出モデルの出力寸法とマッチングし、
   前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定することは、
   前記実際位置情報を利用して、前記所定の数のサブ画像にそれぞれ対応する所定の数の実際領域情報を生成することであって、各前記実際領域情報は、前記実際位置情報及び実際信頼度を含み、前記実際領域の所定点の所在するサブ画像に対応する実際信頼度は、第１値であり、残りの前記サブ画像に対応する実際信頼度は、第１値未満である第２値である、ことと、
   前記所定の数のサブ画像に対応する前記実際位置情報及び前記予測位置情報を利用して、位置損失値を得ることと、
   前記所定の数のサブ画像に対応する前記実際信頼度及び前記予測信頼度を利用して、信頼度損失値を得ることと、
   前記位置損失値及び前記信頼度損失値に基づいて、前記三次元ターゲット検出モデルの損失値を得ることと、を含むことを特徴とする
   請求項１に記載の訓練方法。
3. 前記実際位置情報は、前記実際領域の実際所定点位置及び実際領域寸法を含み、前記予測位置情報は、前記予測領域の予測所定点位置及び予測領域寸法を含み、
   前記所定の数のサブ画像に対応する前記実際位置情報及び前記予測位置情報を利用して位置損失値を得ることは、
   バイナリクロスエントロピーを利用して、前記所定の数のサブ画像に対応する前記実際所定点位置及び前記予測所定点位置に対して演算を行い、第１位置損失値を得ることと、
   平均二乗誤差関数を利用して、前記所定の数のサブ画像に対応する前記実際領域寸法及び前記予測領域寸法に対して演算を行い、第２位置損失値を得ることと、を含み、
   前記所定の数のサブ画像に対応する前記実際信頼度及び前記予測信頼度を利用して、信頼度損失値を得ることは、
   バイナリクロスエントロピーを利用して、前記所定の数のサブ画像に対応する前記実際信頼度及び前記予測信頼度に対して演算を行い、信頼度損失値を得ることを含み、
   前記位置損失値及び前記信頼度損失値に基づいて、前記三次元ターゲット検出モデルの損失値を得ることは、
   前記第１位置損失値、前記第２位置損失値及び前記信頼度損失値に対して加重処理を行い、前記三次元ターゲット検出モデルの損失値を得ることを含むことを特徴とする
   請求項２に記載の訓練方法。
4. 前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定する前に、
   前記実際位置情報の値、前記１つ又は複数の予測位置情報及び前記予測信頼度をいずれも所定の数値範囲内に制約することを更に含み、
   前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定することは、
   制約された前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定することを含むことを特徴とする
   請求項１～３のうちいずれか一項に記載の訓練方法。
5. 前記実際位置情報は、前記実際領域の実際所定点位置及び実際領域寸法を含み、前記予測位置情報は、前記予測領域の予測所定点位置及び予測領域寸法を含み、
   前記実際位置情報の値をいずれも所定の数値範囲内に制約することは、
   前記実際領域寸法と所定寸法との第１比を得て、前記第１比の対数値を、制約された実際領域寸法とすることと、
   前記実際所定点位置と前記サブ画像の画像寸法との第２比を得て、前記第２比の小数部分を、制約された前記実際所定点位置とすることと、を含み、
   前記１つ又は複数の予測位置情報及び前記予測信頼度をいずれも所定の数値範囲内に制約することは、
   所定のマッピング関数を利用して、前記１つ又は複数の予測所定点位置及び予測信頼度をそれぞれ前記所定の数値範囲内にマッピングすることを含むことを特徴とする
   請求項４に記載の訓練方法。
6. 前記実際所定点位置と前記サブ画像の画像寸法との第２比を得ることは、
   前記サンプル三次元画像の画像寸法と前記サブ画像の数との第３比を算出し、前記実際所定点位置と前記第３比との第２比を得ることを含むことを特徴とする
   請求項５に記載の訓練方法。
7. 前記所定の数値範囲は、０から１までの範囲であり、及び／又は、前記所定の寸法は、複数のサンプル三次元画像における実際領域の領域寸法の平均値であることを特徴とする
   請求項５に記載の訓練方法。
8. 三次元ターゲット検出モデルを利用して前記サンプル三次元画像に対してターゲット検出を行い、１つ又は複数の予測領域情報を得る前に、
   前記サンプル三次元画像を三原色チャネル画像に変換するという前処理工程、
   前記サンプル三次元画像の寸法を所定の画像寸法にスケーリングするという前処理工程、及び
   前記サンプル三次元画像に対して正規化及び標準化処理を行うという前処理工程のうちの少なくとも１つを更に含むことを特徴とする
   請求項１に記載の訓練方法。
9. 被検三次元画像を取得することと、
   三次元ターゲット検出モデルを利用して、前記被検三次元画像に対してターゲット検出を行い、前記被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得ることであって、前記三次元ターゲット検出モデルは、請求項１から８のうちいずれか一項に記載の三次元ターゲット検出モデルの訓練方法によって得られたものである、ことと、を含む、三次元ターゲット検出方法。
10. サンプル三次元画像を取得するように構成される画像取得モジュールであって、前記サンプル三次元画像に、三次元ターゲットの実際領域の実際位置情報が付記されている、画像取得モジュールと、
    三次元ターゲット検出モデルを利用して前記サンプル三次元画像に対してターゲット検出を行い、前記サンプル三次元画像の１つ又は複数のサブ画像に対応する１つ又は複数の予測領域情報を得るように構成されるターゲット検出モジュールであって、各前記予測領域情報は、予測領域の予測位置情報及び予測信頼度を含む、ターゲット検出モジュールと、
    前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定するように構成される損失決定モジュールと、
    前記損失値を利用して、前記三次元ターゲット検出モデルのパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、三次元ターゲット検出モデル訓練装置。
11. 前記予測領域情報の数は、所定の数であり、前記所定の数は、前記三次元ターゲット検出モデルの出力寸法とマッチングし、前記損失決定モジュールは、
    前記実際位置情報を利用して、前記所定の数のサブ画像にそれぞれ対応する所定の数の実際領域情報を生成するように構成される実際領域情報生成サブモジュールであって、各前記実際領域情報は、前記実際位置情報及び実際信頼度を含み、前記実際領域の所定点の所在するサブ画像に対応する実際信頼度は、第１値であり、残りの前記サブ画像に対応する実際信頼度は、第１値未満である第２値である、実際領域情報生成サブモジュールと、
    前記所定の数のサブ画像に対応する前記実際位置情報及び前記予測位置情報を利用して、位置損失値を得るように構成される位置損失演算サブモジュールと、
    前記所定の数のサブ画像に対応する前記実際信頼度及び前記予測信頼度を利用して、信頼度損失値を得るように構成される信頼度損失演算サブモジュールと、
    前記位置損失値及び前記信頼度損失値に基づいて、前記三次元ターゲット検出モデルの損失値を得るように構成されるモデル損失演算サブモジュールと、を備えることを特徴とする
    請求項１０に記載の装置。
12. 前記実際位置情報は、前記実際領域の実際所定点位置及び実際領域寸法を含み、前記予測位置情報は、前記予測領域の予測所定点位置及び予測領域寸法を含み、前記位置損失演算サブモジュールは、
    バイナリクロスエントロピーを利用して、前記所定の数のサブ画像に対応する前記実際所定点位置及び前記予測所定点位置に対して演算を行い、第１位置損失値を得るように構成される第１位置損失演算部と、
    平均二乗誤差関数を利用して、前記所定の数のサブ画像に対応する前記実際領域寸法及び前記予測領域寸法に対して演算を行い、第２位置損失値を得るように構成される第２位置損失演算部と、を備え、
    前記信頼度損失演算サブモジュールは更に、バイナリクロスエントロピーを利用して、前記所定の数のサブ画像に対応する前記実際信頼度及び前記予測信頼度に対して演算を行い、信頼度損失値を得るように構成され、
    前記モデル損失演算サブモジュールは更に、前記第１位置損失値、前記第２位置損失値及び前記信頼度損失値に対して加重処理を行い、前記三次元ターゲット検出モデルの損失値を得るように構成されることを特徴とする
    請求項１１に記載の装置。
13. 前記実際位置情報の値、前記１つ又は複数の予測位置情報及び前記予測信頼度をいずれも所定の数値範囲内に制約するように構成される制約モジュールを更に備え、
    前記損失決定モジュールは更に、制約された前記実際位置情報及び前記１つ又は複数の予測領域情報を利用して、前記三次元ターゲット検出モデルの損失値を決定するように構成されることを特徴とする
    請求項１０～１２のうちいずれか一項に記載の装置。
14. 前記実際位置情報は、前記実際領域の実際所定点位置及び実際領域寸法を含み、前記予測位置情報は、前記予測領域の予測所定点位置及び予測領域寸法を含み、前記数値制約モジュールは、
    前記実際領域寸法と所定寸法との第１比を得て、前記第１比の対数値を、制約された実際領域寸法とするように構成される第１制約サブモジュールと、
    前記実際所定点位置と前記サブ画像の画像寸法との第２比を得て、前記第２比の小数部分を、制約された前記実際所定点位置とするように構成される第２制約サブモジュールと、
    所定のマッピング関数を利用して、前記１つ又は複数の予測所定点位置及び予測信頼度をそれぞれ前記所定の数値範囲内にマッピングするように構成される第３制約サブモジュールと、を備えることを特徴とする
    請求項１３に記載の装置。
15. 前記第２制約サブモジュールは更に、前記サンプル三次元画像の画像寸法と前記サブ画像の数との第３比を算出し、前記実際所定点位置と前記第３比との第２比を得るように構成されることを特徴とする
    請求項１４に記載の装置。
16. 前記サンプル三次元画像を三原色チャネル画像に変換し、前記サンプル三次元画像の寸法を所定の画像寸法にスケーリングし、前記サンプル三次元画像に対して正規化及び標準化処理を行うように構成される前処理モジュールを更に備えることを特徴とする
    請求項１０に記載の装置。
17. 被検三次元画像を取得するように構成される画像取得モジュールと、
    三次元ターゲット検出モデルを利用して、前記被検三次元画像に対してターゲット検出を行い、前記被検三次元画像における三次元ターゲットに対応するターゲット領域情報を得るように構成されるターゲット検出モジュールであって、前記三次元ターゲット検出モデルは、請求項１０に記載の三次元ターゲット検出モデル訓練装置で得られたものである、ターゲット検出モジュールと、を備える、三次元ターゲット検出装置。
18. 互いに結合されたメモリ及びプロセッサを備える電子機器であって、前記プロセッサは、メモリに記憶されたプログラム命令を実行して、請求項１～８のうちいずれか一項に記載の三次元ターゲット検出モデルの訓練方法又は請求項９に記載の三次元ターゲット検出方法を実現するように構成される、電子機器。
19. プロセッサにより実行されるときに、前記プロセッサに請求項１～８のうちいずれか一項に記載の三次元ターゲット検出モデルの訓練方法、又は請求項９に記載の三次元ターゲット検出方法を実現させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
20. 電子機器で実行されるときに、前記電子機器におけるプロセッサに、請求項１～８のうちいずれか一項に記載の三次元ターゲット検出モデルの訓練方法、又は請求項９に記載の三次元ターゲット検出方法を実現させるためのコンピュータ可読コードを含む、コンピュータプログラム。

Images