JP7112519B2 - 画像処理方法、装置、コンピュータプログラム、並びにコンピュータ機器 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１８年０８月２３日に中国特許庁に提出された、出願番号が２０１８１０９６７５５９．Ｘであり、発明の名称が「画像処理方法、装置、コンピュータ可読記憶媒体並びにコンピュータ機器」である中国特許出願の優先権を主張するものであり、その内容の全てが引用により本願に組み込まれている。

本願は、コンピュータ技術分野に関し、特に、画像処理方法、装置、コンピュータプログラム、並びにコンピュータ機器に関するものである。

目標対象を含む画像に対しては、画像を処理することにより、目標対象の関連イベントの状態属性を決定できる。例えば、マンモグラフィ画像を処理することにより、乳癌であるか否かを判別できる。

現在、主に人間が目標対象を含む画像を観察し、その後、人の経験に基づいて当該目標対象に対応する分類結果を判断する。当該分類結果は、目標対象の関連イベントの状態属性を表すために使用できる。例えば、医師は、マンモグラフィ画像を肉眼で観察し、その後、医療経験に基づいて***に対応する分類結果を判断することができ、当該分類結果は、乳癌であるか否かを表すために使用できる。ただし、人間による観察と判断は非常に主観的であるため、画像処理の効率と精度が比較的に低い。

本願実施例は、画像処理の効率と精度が比較的に低いという課題を解決する、画像処理方法、装置、コンピュータプログラム、並びにコンピュータ機器を開示する。

一態様によれば、コンピュータ機器が実行する画像処理方法を開示し、前記方法は、
少なくとも２枚の被処理画像を取得するステップであって、前記被処理画像は、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成される、ステップと、
画像処理モデルにおける、前記被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、前記特徴抽出ネットワークに対応する前記被処理画像のターゲット特徴をそれぞれ抽出するステップであって、前記特徴抽出ネットワークは、各撮像角度に対応する画像の特徴を抽出するために使用される、ステップと、
前記ターゲット特徴に従って、前記目標対象に対応する分類結果を決定するステップと、を含む。

別の態様によれば、コンピュータ機器に設置される画像処理装置を開示し、前記装置は、
少なくとも２枚の被処理画像を取得するように構成される被処理画像取得モジュールであって、前記被処理画像は、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成される、被処理画像取得モジュールと、
画像処理モデルにおける、前記被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、前記特徴抽出ネットワークに対応する前記被処理画像のターゲット特徴をそれぞれ抽出するように構成されるターゲット特徴取得モジュールであって、前記特徴抽出ネットワークは、各撮像角度に対応する画像の特徴を抽出するために使用される、ターゲット特徴取得モジュールと、
前記ターゲット特徴に従って、前記目標対象に対応する分類結果を決定するように構成される分類結果決定モジュールと、を備える。

別の態様によれば、コンピュータ機器が実行するモデルトレーニング方法を開示し、前記方法は、
少なくとも２つのグループの全体画像サンプルを取得するステップであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される、ステップと、
各グループの全体画像サンプルに従って、第１トレーニングされるべきニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップと、
前記中間特徴抽出ネットワークに従って、第２トレーニングされるべきニューラルネットワークを構築するステップと、
各グループの全体画像サンプルに従って、前記第２トレーニングされるべきニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するステップと、を含む。

別の態様によれば、コンピュータ機器に設置されるモデルトレーニング装置を開示し、前記装置は、
少なくとも２つのグループの全体画像サンプルを取得するように構成される全体サンプル取得モジュールであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される、全体サンプル取得モジュールと、
各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するように構成される中間ネットワークトレーニングモジュールと、
前記中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するように構成されるニューラルネットワーク構築モジュールと、
各グループの全体画像サンプルに従って、前記第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するように構成される画像処理モデルトレーニングモジュールと、を備える。

別の態様によれば、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を開示し、前記コンピュータプログラムがプロセッサによって実行されると、上述の画像処理方法および／またはモデルトレーニング方法のステップを実現する。

別の態様によれば、メモリと、プロセッサとを備えるコンピュータ機器を開示し、コンピュータプログラムが前記メモリに記憶され、前記プロセッサが前記コンピュータプログラムを実行すると、上述の画像処理方法および／またはモデルトレーニング方法のステップを実現する。

本願の各実施例で開示される技術的解決策によれば、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成される少なくとも２枚の被処理画像を取得し、画像処理モデルにおける、被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、各特徴抽出ネットワークにそれぞれ対応する被処理画像のターゲット特徴をそれぞれ抽出し、さらに、各ターゲット特徴に従って目標対象に対応する分類結果を決定する。一方では、機械学習モデルによって被処理画像の特徴を自動的に学習することにより、人の関与を必要とせずに分類結果を取得できるため、処理効率と精度が向上する。他方では、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成される被処理画像を組み合わせて分類結果を共同で決定することにより、分類精度を効果的に向上させることができる。

本願実施例における技術的解決策をより明確にするために、下記において、本願実施例の説明に必要な図面を簡単に説明する。勿論、下記の図面は本願の一部の実施例に過ぎず、当業者は、創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。
本願実施例に係る画像処理方法および／またはモデルトレーニング方法の応用環境を示す図である。 本願実施例に係る画像処理方法のフローチャートである。 本願実施例に係る画像処理モデルの構造ブロック図である。 本願実施例に係る画像処理モデルの構造ブロック図である。 本願実施例に係る画像処理モデルの構造ブロック図である。 本願実施例に係る第２被トレーニングニューラルネットワークを構築する原理の概略図である。 本願実施例に係る第１被トレーニングニューラルネットワークを構築する原理の概略図である。 本願実施例に係るモデルトレーニング方法のフローチャートである。 本願実施例に係る画像処理方法のフローチャートである。 本願実施例に係る画像処理装置の構造ブロック図である。 本願実施例に係る別のモデルトレーニング装置の構造ブロック図である。 本願実施例に係るコンピュータ機器の構造ブロック図である。 本願実施例に係る別のコンピュータ機器の構造ブロック図である。

本願の目的、技術的解決策および利点をより明確に説明するために、以下、添付の図面を参照してから、本願の実施例を詳細に説明する。ここで説明される特定の実施例は、本願を説明するためにのみ使用され、本願実施例を限定するものではないことを理解されたい。

本願実施例で使用される「第１」、「第２」などの用語は、命名により類似する対象を区別するために使用されるか、これらの対象自体は、これらの用語に限定されない。これらの用語は、適切な状況下で、本願実施例の範囲を逸脱せずに交換できることを理解されたい。例えば、「第１被トレーニングニューラルネットワーク」を「第２被トレーニングニューラルネットワーク」と表現でき、同様に「第２被トレーニングニューラルネットワーク」を「第１被トレーニングニューラルネットワーク」と表現できる。

また、本願実施例で使用される「含む」、「備える」、「有する」及びこれらの任意の変形の用語は、非排他的包含を網羅することを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、これらステップ又はユニットに必ずしも限定されず、明確に列挙されない他のステップ又はユニット、又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを包含することができる。本願実施例で使用される「および／または」という用語は、１つまたは複数の関連する列挙されたアイテムの任意の、およびすべての組み合わせを含み得る。

本願の各実施例で開示される画像処理方法は、図１に示される応用環境に適用されることができる。当該応用環境は、端末１１０およびサーバ１２０を含むことができ、端末１１０とサーバ１２０は、有線ネットワークまたは無線ネットワークを介して接続されてもよい。

具体的には、本願実施例では、サーバ１２０でモデルトレーニングタスクを完了して、画像処理モデルを取得できる。端末１１０は、少なくとも２枚の被処理画像（被処理画像は、同一の目標対象を異なる撮像角度で収集することによって形成される）を取得した後、被処理画像をサーバ１２０に送信できる。その後、サーバ１２０は、画像処理モデルの被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、各特徴抽出ネットワークにそれぞれ対応する被処理画像のターゲット特徴をそれぞれ抽出し、次に、各ターゲット特徴に従って目標対象に対応する分類結果（以下、画像検出タスクと略称する）を決定できる。

また、端末１１０でモデルトレーニングタスクを完了して、画像処理モデルを取得することもできる。例えば、端末１１０は、サーバ１２０の関与を必要とせずに、モデルトレーニングタスクおよび画像検出タスクを単独で完了できる。

また、本願実施例では、画像処理モデルを端末１１０に搭載することもできる。この場合、端末１１０は、少なくとも２枚の被処理画像を取得した後、被処理画像各画像をサーバ１２０に送信することなく、ローカルに記憶された画像処理モデルを介して画像検出タスクを直接完了できる。

ここで、端末１１０は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、携帯情報端末、ウェアラブルデバイス、および医用画像機器なとであってもよいが、これらに限定されるものではない。サーバ１２０は、独立した物理サーバであってもよいし、複数の物理サーバから構成されるサーバクラスタであってもよい。

本願の一実施例において、図２に示されるように、画像処理方法を開示する。一例として、当該方法がコンピュータ機器（上記の図１における端末１１０またはサーバ１２０など）に適用される場合について説明する。当該方法は、以下のステップＳ２０２～Ｓ２０６を含み得る。

ステップＳ２０２において、少なくとも２枚の被処理画像を取得する。

ここで、被処理画像は、それに含まれる目標対象に対応する分類結果を決定する必要がある画像である。本願実施例において、分類結果を一度決定するために少なくとも２枚の被処理画像を取得する必要がある。つまり、分類結果は、少なくとも２枚の被処理画像に従って共同で決定され、被処理画像は、同一の目標対象を異なる撮像角度で収集することによって形成される。これから、被処理画像が各撮像角度にそれぞれ対応することが分かる。例えば、２枚の被処理画像（それぞれ第１被処理画像と第２被処理画像と命名する）共同で分類結果を決定し、ここで、第１被処理画像は、第１撮像角度で目標対象を収集することによって形成され、第２被処理画像は、当該第１撮像角度とは異なる第２撮像角度で当該目標対象を収集することによって形成される。これから、第１被処理画像が第１撮像角度に対応し、第２被処理画像が第２撮像角度に対応することが分かる。被処理画像の具体的な枚数は、２枚以上であるという前提で、実際の需要に基づいて決定されてもよく、本願実施例では特にそれを限定しないことが理解できる。例えば、３枚の被処理画像に基づいて共同で分類結果を決定することもでき、この３枚の被処理画像は、それぞれ、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成されたものである。

撮像角度は、撮像機器の位置および撮像される対象の位置の変化に応じて変化できる。異なる撮像角度で同一の目標対象を収集することにより、複数枚の収集画像を形成でき、各収集画像は、異なる撮像角度下での当該目標対象を含み、つまり、異なる表示角度で表示された当該目標対象を含む。また、医用撮像分野では、撮像角度は、投影方向を指し得、例えば、マンモグラフィ画像を形成する場合、投影方向は、頭尾方向（ＣＣ：Ｃｒａｎｉｏｃａｕｄａｌ）および内外斜位方向（ＭＬＯ：Ｍｅｄｉｏｌａｔｅｒａｌ Ｏｂｌｉｑｕｅ）、外内方向（ＬＭ）、外内斜位方向（ＬＭＯ）、腋尾方向（ＡＴ）などを含み得る。

その後、目標対象に対応する分類結果を決定する必要がある場合、先ず、収集画像に従って被処理画像を取得することができ、取得された被処理画像は、異なる撮像角度下での目標対象を含む。一実施例では、異なる撮像角度で同一の目標対象を収集することによって形成される少なくとも２枚の収集画像を取得してもよく、取得された各収集画像は被処理画像である。別の実施例では、異なる撮像角度で同一の目標対象を収集することによって形成される少なくとも２枚の収集画像を取得した後、各収集画像をそれぞれ前処理して、各収集画像にそれぞれ対応する被処理画像を取得してもよい。

ここで、収集画像の撮像プロセスでは、外部環境要因や撮像機器自体の動作中に発生するノイズの影響を受けることにより、生成された収集画像にノイズが含まれる可能性があり、ノイズを含む収集画像を被処理画像として直接使用すると、分類の精度が低下するため、前処理はノイズ除去処理を含み得る。また、収集画像の元の画像サイズが所定のサイズ条件を満たさない可能性があるため、前処理は、画像サイズ調整処理を含み得る。これにより、収集画像を所定のサイズ条件を満たすように調整して、被処理画像を取得することができる。前処理は、ノイズ除去処理と画像サイズ調整処理を同時に含んでもよいことが理解できる。

一実施例では、被処理画像は医用画像であってもよく、それに応じて、目標対象は、生物体または生物体の身体部位であってもよい。ここで、医用画像は、医療や医療研究のために、非侵襲的な方法で得られた、生物体または生物体の特定の身体部位の内部組織画像である。画像の撮像方式に応じて区別すると、医用画像は、超音波ビーム走査による反射信号を受信して処理することによって得られる超音波画像、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）によって得られるＣＴ画像、または磁気共鳴（ＭＲ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）撮像によって得られるＭＲ画像を含み得る。

被処理画像が医用画像である場合、画像に含まれる目標対象に応じて区別すると、被処理画像は、目標対象である***を含むマンモグラフィ画像であってもよく、この場合、目標対象に対応する分類結果は、乳癌の状態属性を反映できる。一実施例では、マンモグラフィ画像の撮像角度は、ＣＣ角度およびＭＬＯ角度を含んでもよく、それに応じて、取得された少なくとも２枚の被処理画像は、ＣＣ角度で***を撮影することによって形成されたマンモグラフィ画像、およびＭＬＯ角度で当該***を撮影することによって形成されたマンモグラフィ画像を含み得る。

実際の応用では、被処理画像はまた、目標対象である副鼻腔を含む副鼻腔画像であってもよく、この場合、目標対象に対応する分類結果は、副鼻腔炎の状態属性を反映できる。一実施例では、副鼻腔画像の撮像角度は、コールドウェル法（Ｃａｌｄｗｅｌｌ角度）およびウォーターズ法を含んでもよく、それに応じて、取得された少なくとも２枚の被処理画像は、コールドウェル法で副鼻腔を撮影することによって得られた副鼻腔画像、およびウォーターズ法で副鼻腔を撮影することによって得られた副鼻腔画像を含むことができる。

他の実施例では、被処理画像また、人物の画像、動物の画像、植物の画像、および建物の画像など、様々な他のタイプの画像を含むことができる。

ステップＳ２０４において、画像処理モデルの被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、各特徴抽出ネットワークに対応する被処理画像のターゲット特徴をそれぞれ抽出する。

画像処理モデルは、画像認識機能を備えた機械学習モデルであってもよい。画像認識とは、画像内の特徴を抽出して、それに応じて画像分類を実行することであってもよい。機械学習モデルは、サンプルデータに基づくモデルトレーニングによって得られたものであってもよい。モデルトレーニングによって得られた画像処理モデルは、画像サンプルから、画像特徴と分類結果との間のマッピングルールを学習し、それに応じて、新しい画像の対応する分類結果を取得できる。一実施例では、画像処理モデルは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含んでもよい。

特徴抽出ネットワークは、画像処理モデルの構成要素であり、被処理画像に対して特徴抽出を実行して、被処理画像のターゲット特徴を取得できる。ターゲット特徴は、被処理画像に対応する特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）であってもよく、そのデータ形式はベクトルであってよい。

画像処理モデルは、取得された被処理画像にそれぞれ対応する特徴抽出ネットワークを含み、各特徴抽出ネットワークは、互いに独立しており、各撮像角度に対応する被処理画像のターゲット特徴を抽出できる。被処理画像は、各撮像角度にそれぞれ対応でき、各特徴抽出ネットワークも、各撮像角度にそれぞれ対応できるため、被処理画像が各特徴抽出ネットワークにそれぞれ対応できることが理解できる。例えば、撮像角度ＰＯ１で目標対象を収集することによって形成された被処理画像ＤＰ１、および撮像角度ＰＯ２で目標対象を収集することによって形成された被処理画像ＤＰ２を取得し、且つ画像処理モデルが、撮像角度ＰＯ１に対応する特徴抽出ネットワークＦＥＮ１、および撮像角度ＰＯ２に対応する特徴抽出ネットワークＦＥＮ２を含む場合、特徴抽出ネットワークＦＥＮ１は被処理画像ＤＰ１に対応し、特徴抽出ネットワークＦＥＮ２は被処理画像ＤＰ２に対応する。

特徴抽出ネットワークのネットワークフレームワークは、実際の需要に応じて自分でゼロから構築することも、特徴抽出機能を備えた既存のネットワークフレームワークを改造することによって取得することもできる。例えば、既存の畳み込みニューラルネットワークフレームワークは、通常、畳み込み層およびプーリング層を含む、特徴抽出を実行するために使用される特徴抽出部分と、全結合層およびＳｏｆｔｍａｘ層を含む分類出力部分とを備え、当該既存の畳み込みニューラルネットワークフレームワークを改造するときに、その分類出力部分を削除でき、削除後の残りの特徴抽出部分を、特徴抽出ネットワークのネットワークフレームワークとして使用できる。

本実施例では、被処理画像を取得した後、被処理画像を画像処理モデルに入力し、画像処理モデル内で、互いに独立した特徴抽出ネットワークを介して、対応する被処理画像に対してぞれぞれ特徴抽出を実行して、被処理画像にそれぞれ対応するターゲット特徴を取得できる。

ステップＳ２０６において、各ターゲット特徴に従って、目標対象に対応する分類結果を決定する。

分類結果は、目標対象の関連イベントの状態属性を反映するために使用できる。一実施例では、分類結果は、目標対象が所定の分類クラスに属する確率を含んでもよい。ここで、所定の分類クラスのコンテンツは、関連イベントの状態属性に関連し、所定の分類クラスの数およびコンテンツは、実際の状況に従って事前設定できる。

被処理画像として医用画像を例にとると、当該分類結果は、病気と正常（即ち、疾患を患っていない）の２つの所定の分類クラスを含み得る。具体的には、被処理画像がマンモグラフィ画像である場合、目標対象に対応する分類結果は、乳癌を患っている確率および乳癌を患っていない確率を含み得る。また、異なる疾患状態を細分することにより、分類結果は、各細分枝にそれぞれ対応する所定の分類クラスを含み得る。依然として、被処理画像としてマンモグラフィ画像を例にとると、目標対象に対応する分類結果は、***が良性の腫瘤である確率、良性の石灰化である確率、悪性の腫瘤である確率、悪性の石灰化である確率、および正常な腺である確率を含み得る。

一実施例では、画像処理モデルを介して各ターゲット特徴を取得した後、続けて画像処理モデルを介して、各ターゲット特徴に従って目標対象に対応する分類結果を決定するステップを実装してもよい。一実施例では、画像処理モデルは、分類出力ネットワークを含んでもよく、当該分類出力ネットワークを介して、各ターゲット特徴に従って目標対象に対応する分類結果を決定するステップを実装してもよい。この場合、画像処理モデルは、本質的に深層ニューラルネットワークモデルであり、エンドツーエンドの処理を実現し、つまり、モデルの入力特徴を人工的に設計することなく、被処理画像をモデルに直接入力して、画像をモデルによって分類結果を直接出力することができる。

本願の各実施例で開示される画像処理方法を使用するソフトウェアプロダクトの場合、当該ソフトウェアプロダクトは、ソフトウェアインターフェース方式でサービスを提供することができる。マンモグラフィ画像を例にとると、当該ソフトウェアプロダクトの入力はそれぞれ、ＣＣ角度で撮影された***のマンモグラフィ画像と、ＭＬＯ角度で撮影された***のマンモグラフィ画像であってもよく、当該ソフトウェアプロダクトの出力は、***が乳癌を有する確率であってもよい。

他の実施形態において、単一の撮像角度下での目標対象の被処理画像を取得し、当該単一の被処理画像を機械学習モデルに入力し、当該機械学習モデルを介して目標対象に対応する分類結果を出力してもよい。これに対して、当該機械学習モデルは、単一の撮像角度下での目標対象の画像サンプルに基づくモデルトレーニングによって得られたものであってもよい。

マンモグラフィ画像を例にとると、ＣＣ角度での***を含むマンモグラフィ画像を取得し、当該マンモグラフィ画像を機械学習モデルに入力し、当該機械学習モデルよって対応する分類結果を出力でき、これに対して、当該機械学習モデルは、ＣＣ角度での***を含むマンモグラフィ画像サンプルに基づくモデルトレーニングによって得られたものであってもよい。

しかしながら、単一の撮像角度の方式によれば、一方では、完全な目標対象を含む画像を直接使用してモデルトレーニングを実行することにより、モデルが、画像全体から異なる分類結果（乳癌の有無など）を区別する特徴を見つけることを学習するのが望まれる。この場合、モデルトレーニングには非常に多くの画像サンプルが必要であり、トレーニングはランダムであるため、モデルは、異なる分類結果を最も適切に区別できる主な特徴を学習できない可能性がある。他方では、単一の撮像角度下での目標対象を含む被処理画像により得られた分類結果は、分類根拠が単一であるため、分類結果の精度が比較的に低い。

本実施例で開示された画像処理方法によれば、異なる撮像角度で同じ目標対象を撮ることによってそれぞれ形成される少なくとも２枚の被処理画像を取得し、画像処理モデルの被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、各特徴抽出ネットワークにそれぞれ対応する被処理画像のターゲット特徴を抽出し、さらに、各ターゲット特徴に従って目標対象に対応する分類結果を決定する。一方では、機械学習モデルによって被処理画像の特徴を自動的に学習することにより、人の関与を必要とせずに分類結果を取得できるため、処理効率と精度が向上する。他方では、同一の目標対象を異なる撮像角度で収集することによって形成される被処理画像を組み合わせて分類結果を共同で決定することにより、分類精度を効果的に向上させることができる。

一実施例では、図３に示されるように、少なくとも２枚の被処理画像は、第１撮像角度で目標対象を収集することによって形成された第１被処理画像、および第１撮像角度とは異なる第２撮像角度で当該目標対象を収集することによって形成された第２被処理画像を含んでもよく、画像処理モデルの各特徴抽出ネットワークは、第１被処理画像に対応する第１特徴抽出ネットワーク、第２被処理画像に対応する第２特徴抽出ネットワークを含んでもよく。

これにより、画像処理モデルの被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、各特徴抽出ネットワークにそれぞれ対応する被処理画像のターゲット特徴を抽出するステップは、画像処理モデルの第１特徴抽出ネットワークを介して、第１被処理画像に対応する第１ターゲット特徴を抽出し、画像処理モデルの第２特徴抽出ネットワークを介して、第２被処理画像に対応する第２ターゲット特徴を抽出するステップを含んでもよい。また、各ターゲット特徴に従って目標対象に対応する分類結果を決定するステップは、第１ターゲット特徴および第２ターゲット特徴に従って、目標対象に対応する分類結果を決定するステップを含んでもよい。

本願実施例において、２枚の被処理画像に従って分類結果を決定する。被処理画像としてマンモグラフィ画像を例にとると、ＣＣ角度で***を撮影することによって形成された第１マンモグラフィ画像、およびＭＬＯ角度で***を撮影することによって形成された第２マンモグラフィ画像を取得し、第１マンモグラフィ画像および第２マンモグラフィ画像を画像処理モデルに入力し、画像処理モデルの第１マンモグラフィ画像に対応する第１特徴抽出ネットワークを介して、第１被処理画像に対応する第１ターゲット特徴を抽出し、画像処理モデルの第２マンモグラフィ画像に対応する第２特徴抽出ネットワークを介して、第２被処理画像に対応する第２ターゲット特徴を抽出できる。ここで、第１特徴抽出ネットワークおよび第２特徴抽出ネットワークは、互いに独立した特徴抽出ネットワークである。

一実施例では、各ターゲット特徴に従って、目標対象に対応する分類結果を決定するステップ、即ちステップＳ２０６は、画像処理モデルの全結合層を介して、各ターゲット特徴に従って分類して、目標対象に対応する分類結果を決定するステップを含んでもよい。

全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）は、特徴に従って分類するために使用できる。具体的には、全結合層は、分散特徴をサンプルラベルスペースにマッピングするために使用でき、理解しやすいように言えば、特徴マップを数値に統合するために使用できる。

本実施例において、画像処理モデルは、全結合層を含み、画像処理モデルの各特徴抽出ネットワークを介して被処理画像のターゲット特徴を抽出した後、画像処理モデルの全結合層を介して、各ターゲット特徴に従って続けて分類して、目標対象に対応する分類結果を決定できる。一実施例では、各特徴抽出ネットワークによって出力されたターゲット特徴を、全結合層に直接入力して分類してもよい。

一実施例では、画像処理モデルの全結合層を介して分類した後、全結合層の出力結果を目標対象に対応する分類結果として直接使用してもよい。別の実施例において、図４に示されるように（２つの特徴抽出ネットワークを例として図４に示す）、画像処理モデルは、全結合層の後に構成されるＳｏｆｔｍａｘ層を含んでもよく、Ｓｏｆｔｍａｘ層は、全結合層の出力結果を（０，１）間隔である値にマッピングし、正規化処理を実行するために使用されてもよい。この場合、画像処理モデルの全結合層を介して分類した後、続けて画像処理モデルのＳｏｆｔｍａｘ層を介して、全結合層の出力結果を（０，１）間隔である値にマッピングし、正規化処理を実行することもでき、その後、Ｓｏｆｔｍａｘ層の出力結果を目標対象に対応する分類結果として使用する。

一実施例では、画像処理モデルの全結合層を介して、各ターゲット特徴に従って分類して、目標対象に対応する分類結果を決定するステップの前に、前記画像処理方法は、各ターゲット特徴を、順次に、画像処理モデルの畳み込み層で畳み込んで、画像処理モデルのプーリング層でプーリングして、中間特徴を取得するステップをさらに含んでもよい。これにより、画像処理モデルの全結合層を介して、各ターゲット特徴に従って分類して、目標対象に対応する分類結果を決定するステップは、画像処理モデルの全結合層を介して、中間特徴に従って分類して、目標対象に対応する分類結果を決定するステップを含んでもよい。

本願実施例において、図５に示されるように、画像処理モデルは、全結合層の前に構成される畳み込み層とプーリング層を含んでもよい。畳み込み層は、畳み込みカーネルを介して特徴抽出を実行するために使用できる。プーリング層は、プーリングにより、畳み込み層によって出力される特徴の次元を低減するために使用でき、プーリングは、通常、平均プーリング（Ｍｅａｎ Ｐｏｏｌｉｎｇ）および最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）の２つの形式を含む。

本願実施例において、画像処理モデル内では、各特徴抽出ネットワークを介して被処理画像のターゲット特徴を抽出した後、先ず、各ターゲット特徴を畳み込み層に入力して畳み込みを実行して、さらなる特徴を抽出し、次に、当該畳み込み層の出力結果をプーリング層に入力してプーリングして、特徴の次元を低減し、その後、プーリング層の出力結果（即ち、中間特徴）を全結合層に入力して分類する。ここで、実際の需要に応じて、全結合層の前に、複数の畳み込み処理と複数のプーリング処理を実行してもよい。

一実施例では、画像処理モデルを決定する方法は、少なくとも２つのグループの全体画像サンプルを取得するステップであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成されるステップと、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップと、各中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するステップと、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するステップとを含んでもよい。

全体画像サンプルは、完全なサンプル対象を含む画像サンプルである。一グループの全体画像サンプルは、同一の撮像角度で異なるサンプル対象を収集することによって形成される複数枚の全体画像サンプルを含む。マンモグラフィ画像サンプルを例にとると、一グループの全体画像サンプルは、３枚のマンモグラフィ画像サンプルを含み得、この３枚のマンモグラフィ画像サンプルは、ＣＣ角度で完全な***ＢＲ１を撮影すること、ＣＣ角度で完全な***ＢＲ２を撮影すること、およびＣＣ角度で完全な***ＢＲ３を撮影することによってそれぞれ形成されたものである。

各グループの全体画像サンプルは、異なる撮像角度でサンプル対象を収集することによってそれぞれ形成され、各グループの全体画像サンプルは、一撮像角度に一意に対応する。例えば、３つのグループの全体画像サンプル（それぞれ全体画像サンプルグループＧ１、全体画像サンプルグループＧ２、および全体画像サンプルグループＧ３と命名する）が取得され、全体画像サンプルグループＧ１は撮像角度ＩＡ１に対応し、全体画像サンプルグループＧ２は撮像角度ＩＡ２に対応し、全体画像サンプルグループＧ３は撮像角度ＩＡ３に対応でき、ここで、撮像角度ＩＡ１、ＩＡ２、ＩＡ３は互いに異なる。

画像サンプルは、実際の分類結果が既知の画像であることが理解できる。具体的には、画像サンプルは、クラスラベルを有してもよい。クラスラベルは、画像サンプルの実際の分類結果を表す。マンモグラフィ画像サンプルを例にとると、マンモグラフィ画像サンプルＭＧＳ１は、当該マンモグラフィ画像サンプルＭＧＳ１における***が乳癌を有することを表すクラスラベルを有し、マンモグラフィ画像サンプルＭＧＳ２は、当該マンモグラフィ画像サンプルＭＧＳ２における***が乳癌を有しないことを表すクラスラベルを有することができる。一実施例では、クラスラベルで表される実際の分類結果は、人間による分析によって決定されてもよく、例えば、関連技術分野の専門家による分析によって決定されてもよい。

第１被トレーニングニューラルネットワークは、モデルトレーニングを必要とするニューラルネットワークであり、当該第１被トレーニングニューラルネットワークは、中間特徴抽出ネットワークのプロトタイプである。具体的には、第１被トレーニングニューラルネットワークは、事前トレーニングされていない初期ニューラルネットワークであってもよいし、初期ニューラルネットワークに対して事前トレーニングした後に得られた事前トレーニングニューラルネットワークであってもよい。第１被トレーニングニューラルネットワークは、本質的に畳み込みニューラルネットワークであってもよい。

モデルトレーニングは、モデルの各層のモデルパラメータを調整するプロセスである。具体的には、全体画像サンプルの任意のグループについて、第１被トレーニングニューラルネットワークを介して自分で、全体画像サンプルの当該グループ内の各全体画像サンプルの予測された分類結果を取得し、各全体画像サンプルの予測された分類結果とそのクラスラベルを比較して、損失パラメータ（即ち、Ｌｏｓｓ）を計算し、その後、損失パラメータに従って逆伝播を実行することにより、第１被トレーニングニューラルネットワークのモデルパラメータを調整して、全体画像サンプルの当該グループに対応する中間特徴抽出ネットワークを取得できる。

モデルトレーニングは、反復処理プロセスであり、トレーニング停止条件を満たすときにトレーニングを停止する。ここで、トレーニング停止条件は、モデルトレーニングの停止をトリガする条件である。トレーニング停止条件は、プリセットされた反復回数に達することであってもよいし、計算によって得られた損失パラメータがプリセット条件を満たすことであってもよい。当該プリセット条件は、例えば、損失パラメータがプリセットされた損失閾値未満であることであってもよいし、計算によって得られた損失パラメータがこれ以上低減されないことであってもよい。

中間特徴抽出ネットワークは、画像処理モデルの特徴抽出ネットワークのプロトタイプである。各中間特徴抽出ネットワークは、画像処理モデルの各特徴抽出ネットワークにそれぞれ対応し、さらに、各中間特徴抽出ネットワークは、各グループの全体画像サンプルにそれぞれ対応する。つまり、一グループの全体画像サンプルに従って第１トレーニングされるモデルに対してモデルトレーニングを実行して、全体画像サンプルの当該グループに対応する中間特徴抽出ネットワークを取得する。

例えば、全体画像サンプルは、２つのグループのマンモグラフィ画像サンプル（それぞれマンモグラフィ画像サンプルグループＧ－ＢＲ１と、マンモグラフィ画像サンプルグループＧ－ＢＲ２と命名する）を含み、マンモグラフィ画像サンプルグループＧ－ＢＲ１は、ＣＣ角度で異なる完全な***を撮影することによって形成された複数枚のマンモグラフィ画像サンプルを含み、マンモグラフィ画像サンプルグループＧ－ＢＲ２は、ＭＬＯ角度で異なる完全な***を撮影することによって形成されたマンモグラフィ画像サンプルを含む（例Ｅ－１）。この場合、マンモグラフィ画像サンプルグループＧ－ＢＲ１内の各マンモグラフィ画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、マンモグラフィ画像サンプルグループＧ－ＢＲ１に対応する中間特徴抽出ネットワークＩＮ１を取得し、当該中間特徴抽出ネットワークＩＮ１はＣＣ角度に対応し、マンモグラフィ画像サンプルグループＧ－ＢＲ２内の各マンモグラフィ画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、マンモグラフィ画像サンプルグループＧ－ＢＲ２に対応する中間特徴抽出ネットワークＩＮ２を取得し、当該中間特徴抽出ネットワークＩＮ２はＭＬＯ角度に対応する。

各中間特徴抽出ネットワークを取得した後、各中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを共同で構築できる。具体的には、中間特徴抽出ネットワークの分類出力部分をそれぞれ削除し（例えば、全結合層を削除し、Ｓｏｆｔｍａｘ層が完全接続の後に接続されている場合、全結合層とＳｏｆｔｍａｘ層を一緒に削除できる）、削除後の各中間特徴抽出ネットワーク（以下、残りのネットワークと略称する）は並列状態であり、各残りのネットワークの後に、トレーニングされていない畳み込み層、トレーニングされていないプーリング層、およびトレーニングされていない全結合層を順次に接続して、第２被トレーニングニューラルネットワークを取得できる。また、上述した例Ｅ－１について、第２被トレーニングニューラルネットワークを取得する原理の概略図は、図６に示される通りであってもよい。

第２被トレーニングニューラルネットワークは、画像処理モデルのプロトタイプであり。第２被トレーニングニューラルネットワークは、２つ以上のグループの全体画像サンプルを入力として同時に受信できる。

一実施例では、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行するプロセスにおいて、先ず、すべての残りのネットワークをフリーズし（つまり、残りの各ネットワークのモデルパラメータを変更しないままにする）、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークのフリーズされていない部分（トレーニングされていない畳み込み層、プーリング層、全結合層など）のモデルパラメータを調整し、第１トレーニング停止条件を満たす場合、すべての残りのネットワークに対するフリーズを解除し、各グループの全体画像サンプルに従って、第２トレーニング停止条件を満たすまで、第２被トレーニングニューラルネットワークのすべてのモデルパラメータを調整してもよく、トレーニング終了時の対応するモデルパラメータは、画像処理モデルのモデルパラメータであってもよい。

別の実施例において、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行するプロセスにおいて、部分的に残りのネットワークの一部のみをフリーズしてもよく、この場合、フリーズされていない部分は、フリーズされていない残りのネットワーク、トレーニングされていない畳み込み層、トレーニングされていないプーリング層、およびトレーニングされていない全結合層を含む。

各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行する具体的な方式は、上記のすべての残りのネットワークをフリーズするトレーニング方式や残りのネットワークの一部をフリーズするトレーニング方式に限定されず、任意の可能なモデルトレーニング方式によって実現できることを留意されたい。

一実施例では、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップの前に、前記画像処理方法は、第１初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第１初期パラメータを取得するステップと、第１初期パラメータに従って、第１被トレーニングニューラルネットワークを決定するステップとをさらに含んでもよい。

初期ニューラルネットワークは、モデルパラメータのないネットワークフレームワークである。初期ニューラルネットワークに対してパラメータ初期化処理を実行することは、具体的に、ランダムに決定されたパラメータ、または人間により設定されたパラメータを初期ニューラルネットワークの各層に割り当てることであってもよい。

本願実施例において、各グループの全体画像サンプルで、各中間特徴抽出ネットワークをゼロからトレーニングする。具体的には、第１初期ニューラルネットワークのモデルパラメータに対してランダム初期化を実行して、第１初期パラメータを取得し、第１初期パラメータを第１初期ニューラルネットワークに読み込んで、第１被トレーニングニューラルネットワークを取得でき、さらに、各グループの全体画像サンプルに従って、当該第１被トレーニングニューラルネットワークに対してそれぞれモデルトレーニングを実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを取得できる。

一実施例では、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップの前に、前記画像処理方法は、サンプル対象を含む目標領域の局部画像サンプルを取得するステップと、第２初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第２初期パラメータを取得するステップと、局部画像サンプルおよび第２初期パラメータに従って、第２初期ニューラルネットワークに対してモデルトレーニングを実行して、第１被トレーニングニューラルネットワークを取得するステップとをさらに含んでもよい。

局部画像サンプルは、サンプル対象の目標領域の一部のみを含む画像サンプルである。局部画像サンプルは、全体画像サンプルの局部と見なしてもよく、具体的には、全体画像サンプルから目標領域を切り取って、局部画像サンプルを形成してもよい。画像サンプルとして医用画像を例にとると、目標領域は病変領域を含んでもよく、全体画像サンプルは、完全な生物体を含む画像サンプルであってもよく、局部画像サンプルは、当該生物体の病変領域を含む画像サンプルであってもよい。更に具体的には、画像サンプルとしてマンモグラフィ画像を例にとると、全体画像サンプルは、完全な***を含む画像サンプルであってもよく、局部画像サンプルは、***の腫瘍領域を含む画像サンプルであってもよい。

全体画像サンプルと同様に、局部画像サンプルもクラスラベルを有する。画像サンプルとしてマンモグラフィ画像を例にとると、取得された各局部画像サンプルは、***が良性の腫瘤であること、良性の石灰化であること、悪性の腫瘤であること、悪性の石灰化であること、および正常な腺であることを表すクラスラベルなどの５種類のクラスラベルを含んでもよい。

本願実施例において、先ず、局部画像サンプルに従って第２初期ニューラルネットワークに対してモデルトレーニングを実行して、第１被トレーニングニューラルネットワークを取得してもよく、当該第１被トレーニングニューラルネットワークは、初期ニューラルネットワークではなく、事前トレーニング済みのニューラルネットワークであり。次に、事前トレーニング済みの第１被トレーニングニューラルネットワークに基づいて転移学習を実行することにより、各グループの全体画像サンプルで各中間特徴抽出ネットワークをゼロからトレーニングすることなく、各中間特徴抽出ネットワークを取得できる。

具体的には、局部画像サンプルおよび第２初期パラメータに従って、第２初期ニューラルネットワークに対してモデルトレーニングを実行し、トレーニングが停止するときに、トレーニング済みの第２初期ニューラルネットワーク（以下、局部処理モデルと略称する）を取得し、さらに、局部処理モデルの後に、トレーニングされていない畳み込み層、トレーニングされていないプーリング層、およびトレーニングされていない全結合層を順次に接続して、再構築されたニューラルネットワークを取得し、当該再構築されたニューラルネットワークのトレーニングされていない畳み込み層、トレーニングされていないプーリング層、およびトレーニングされていない全結合層のパラメータに対してランダム初期化処理を実行して、第１被トレーニングニューラルネットワークを決定してもよい。また、局部画像サンプルとして局部病変画像サンプルを例にとると、第１被トレーニングニューラルネットワークを取得する原理の概略図は、図７に示される通りであってもよい。

本願実施例において、局部から全体へのトレーニング方式によって、モデルが先に局部領域の特徴を学習するようにガイドし、その後、局部領域の特徴および全体画像に基づいて、画像処理モデルをトレーニングすることにより、画像処理モデルは、異なる分類結果を区別する主な特徴をより効果的に学習でき、トレーニングに必要なサンプルの数を低減できる。

前記トレーニング方式を医用画像に適用する場合、対応する疾患があるか否かは、目標対象に悪性病変があるが否かによって決定され、先ず、病変領域を含む局部画像サンプルを利用してトレーニングして、第１トレーニングされるモデルを取得し、第１トレーニングされるモデルが先に局部病変の特徴を学習するようにガイドし、その後、第１トレーニングされるモデルに従ってさらにトレーニングして、完全な目標対象を含む被処理画像に従って分類結果を決定する画像処理モデルを取得することにより、画像処理モデルは、目標対象に対応する疾患があるか否かを決定する特徴をより効果的に学習できる。

一実施例では、図８に示されるように、モデルトレーニング方法を開示する。当該方法は、コンピュータ機器（図１に示す端末１１０またはサーバ１２０など）に適用されることができ、以下のステップＳ８０２～Ｓ８０８を含み得る。

ステップＳ８０２において、少なくとも２つのグループの全体画像サンプルを取得し、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される。

ステップＳ８０４において、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定する。

ステップＳ８０６において、各中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築する。

ステップＳ８０８において、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定する。

一実施例では、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップ、即ちステップＳ８０４の前に、前記モデルトレーニング方法は、第１初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第１初期パラメータを取得するステップと、第１初期パラメータに従って、第１被トレーニングニューラルネットワークを決定するステップとをさらに含んでもよい。

一実施例では、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップ、即ちステップＳ８０４の前に、前記モデルトレーニング方法は、サンプル対象を含む目標領域の局部画像サンプルを取得するステップと、第２初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第２初期パラメータを取得するステップと、局部画像サンプルおよび第２初期パラメータに従って、第２初期ニューラルネットワークに対してモデルトレーニングを実行して、第１被トレーニングニューラルネットワークを取得するステップとをさらに含んでもよい。

一実施例では、局部画像サンプルは医用画像サンプルを含んでもよく、目標領域は病変領域を含んでもよい。

本願の各実施例で開示されるモデルトレーニング方法を使用して得られた画像処理モデルは、画像分類を実行するために使用できることを留意されたい。具体的には、画像処理モデルは、画像に含まれる目標対象に対応する分類結果を決定するために使用できる。例えば、当該画像処理モデルは、医用画像に適用する場合、医用画像における生物体の部位に対応する疾患分類結果を決定できる。更に具体的には、当該画像処理モデルは、マンモグラフィ画像に適用される場合、マンモグラフィ画像における***に乳癌があるか否か、または***に対応する乳癌のタイプ（良性の腫瘤、良性の石灰化、悪性の腫瘤、悪性の石灰化、正常な腺）を決定できる。

本実施例における各技術的特徴に対する具体的な限定は、前述の対応する技術的特徴に対する限定と同じであってもよく、ここでは繰り返して説明しないことに留意されたい。

一実施例では、図９に示されるように、画像処理方法を開示する。一例として、当該方法がマンモグラフィ画像に適用される場合について説明する。当該方法は、以下のステップＳ９０２ａ～Ｓ９１０ａ、およびステップＳ９０２ｂ～Ｓ９０８ｂを含み得る。

ステップＳ９０２ａにおいて、サンプル***の目標領域を含む局部病変画像サンプルを取得し、初期ニューラルネットワークのモデルパラメータに対してランダム初期化処理を実行して、初期パラメータを決定し、その後、局部病変画像サンプルおよび初期パラメータに従って、初期ニューラルネットワークに対してモデルトレーニングを実行して、第１被トレーニングニューラルネットワークを決定する。

ステップＳ９０４ａにおいて、２つのグループのマンモグラフィ画像サンプルを取得し、その一グループのマンモグラフィ画像サンプルは、ＣＣ角度でサンプル***を撮影することによって形成された複数枚のマンモグラフィ画像サンプルを含み、別のグループのマンモグラフィ画像サンプルは、ＭＬＯ角度でサンプル***を撮影することによって形成されたマンモグラフィ画像サンプルを含む。

ステップＳ９０６ａにおいて、２つのグループのマンモグラフィ画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、２つのグループのマンモグラフィ画像サンプルにそれぞれ対応する２つの中間特徴抽出ネットワークを決定する。

ステップＳ９０８ａにおいて、２つの中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築する。

ステップＳ９１０ａにおいて、２つのグループのマンモグラフィ画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定する。

ステップＳ９０２ｂにおいて、ＣＣ角度で検査されるべき***を撮影することによって形成される第１被処理マンモグラフィ画像、およびＭＬＯ角度で当該検査されるべき***を撮影することによって形成される第２被処理マンモグラフィ画像を取得する。

ステップＳ９０４ｂにおいて、画像処理モデルの第１被処理マンモグラフィ画像に対応する第１特徴抽出ネットワークを介して、第１被処理マンモグラフィ画像の第１ターゲット特徴を抽出し、画像処理モデルの第２被処理マンモグラフィ画像に対応する第２特徴抽出ネットワークを介して、第２被処理マンモグラフィ画像の第２ターゲット特徴を抽出する。

ステップＳ９０６ｂにおいて、第１ターゲット特徴および第２ターゲット特徴を、順次に、画像処理モデルの畳み込み層で畳み込んで、画像処理モデルのプーリング層でプーリングして、中間特徴を取得する。

ステップＳ９０８ｂにおいて、画像処理モデルの全結合層を介して中間特徴を分類して、検査されるべき***に対応する分類結果を決定する。

本実施例における各技術的特徴に対する具体的な限定は、前述の対応する技術的特徴に対する限定と同じであってもよく、ここでは繰り返して説明しないことを留意されたい。

前述した各実施例に関するフローチャートにおける各ステップが、矢印で示されるように順番に表示されているが、合理的な条件下では、これらのステップは、必ずしも矢印で示される順序で実行されるわけではないことを理解されたい。本明細書で明記されていない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行できる。また、各フローチャートにおけるステップの少なくとも一部は、複数のサブステップまたは複数の段階を含むことができる。これらのサブステップまたは段階は、必ずしも同時に実行される必要はなく、異なる時間に実行されてもよい。これらのサブステップまたは段階の実行順序も、必ずしも順次に実行される必要はなく、他のステップ、または他のステップのサブステップまたは段階の少なくとも一部と、順番にまたは交互に実行できる。

一実施例では、図１０に示されるように、画像処理装置１０００を開示する。当該装置は、コンピュータ機器に搭載され、以下のモジュール１００２～１００６を備えることができる。

被処理画像取得モジュール１００２は、少なくとも２枚の被処理画像を取得するように構成され、被処理画像は、同一の目標対象を異なる撮像角度で収集することによって形成される。

ターゲット特徴取得モジュール１００４は、画像処理モデルにおける、被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、各特徴抽出ネットワークにそれぞれ対応する被処理画像のターゲット特徴を抽出するように構成され、各特徴抽出ネットワークは、各撮像角度に対応する画像の特徴を抽出する。

分類結果決定モジュール１００６は、各ターゲット特徴に従って、目標対象に対応する分類結果を決定するように構成される。

上記の画像処理装置１０００は、異なる撮像角度で同じ目標対象を撮ることによってそれぞれ形成される少なくとも２枚の被処理画像を取得し、画像処理モデルにおける、被処理画像にそれぞれ対応する特徴抽出ネットワークによって、各特徴抽出ネットワークに対応する被処理画像のターゲット特徴をそれぞれ抽出し、さらに、各ターゲット特徴に従って目標対象に対応する分類結果を決定する。一方では、機械学習モデルによって被処理画像の特徴を自動的に学習することにより、人の関与を必要とせずに分類結果を取得できるため、処理効率と精度が向上する。他方では、同一の目標対象を異なる撮像角度で収集することによって形成される被処理画像を組み合わせて分類結果を共同で決定することにより、分類精度を効果的に向上させることができる。

一実施例では、分類結果決定モジュール１００６は、画像処理モデルの全結合層を介して、各ターゲット特徴を分類して、目標対象に対応する分類結果を決定するように構成されてもよい。

一実施例では、画像処理装置１０００は、中間特徴取得モジュールをさらに備えてもよく、前記中間特徴取得モジュールは、各ターゲット特徴を、順次に、画像処理モデルの畳み込み層で畳み込んで、画像処理モデルのプーリング層でプーリングして、中間特徴を取得するように構成される。それに応じて、分類結果決定モジュール１００６は、画像処理モデルの全結合層を介して、中間特徴に従って分類して、目標対象に対応する分類結果を取得するように構成されてもよい。

一実施例では、画像処理装置１０００は、モデルトレーニングモジュールをさらに備えてもよく、当該モデルトレーニングモジュールは、少なくとも２つのグループの全体画像サンプルを取得するように構成される全体サンプル取得ユニットであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される全体サンプル取得ユニットと、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するように構成される中間ネットワークトレーニングユニットと、各中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するように構成されるニューラルネットワーク構築ユニットと、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するように構成される画像処理モデルトレニンーグユニットとを備えてもよい。

一実施例では、モデルトレーニングモジュールは、第１初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第１初期パラメータを取得するように構成される第１初期パラメータ取得ユニットと、第１初期パラメータに従って、第１被トレーニングニューラルネットワークを決定するように構成される第１トレーニングされるネットワーク決定ユニットとをさらに備えてもよい。

一実施例では、モデルトレーニングモジュールは、サンプル対象を含む目標領域の局部画像サンプルを取得するように構成される局部サンプル取得ユニットと、第２初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第２初期パラメータを取得するように構成される第２初期パラメータ取得ユニットと、局部画像サンプルおよび第２初期パラメータに従って、第２初期ニューラルネットワーク対してモデルトレーニングを実行して、第１被トレーニングニューラルネットワークを決定するように構成される第２トレーニングされるネットワーク決定ユニットとをさらに備えてもよい。

一実施例では、局部画像サンプルは医用画像サンプルを含んでもよく、目標領域は病変領域を含んでもよい。

一実施例では、被処理画像は医用画像を含んでもよい。

一実施例では、少なくとも２枚の被処理画像は、頭尾方向で***を撮ることによって形成されるマンモグラフィ画像、および中外側斜位方向で***を撮ることによって形成されるマンモグラフィ画像を含んでもよい。

画像処理装置の具体的な限定については、上記の画像処理方法の限定を参照でき、ここでは繰り返して説明しないことを留意されたい。上記の画像処理装置における各モジュールは、全体的または部分的に、ソフトウェア、ハードウェア、およびそれらの組み合わせによって実現できる。上記の各モジュールは、ハードウェアの形で、コンピュータ機器のプロセッサに集積されるか、またはコンピュータ機器内のプロセッサから独立していてもよく、プロセッサが上記の各モジュールに対応する操作を呼び出して実行できるようにするために、ソフトウェアの形でコンピュータ機器のメモリに記憶されてもよい。

一実施例では、図１１に示されるように、モデルトレーニング装置１１００を開示する。当該装置はコンピュータ機器に搭載され、以下のモジュール１１０２～１１０８を備えることができる。

全体サンプル取得モジュール１１０２は、少なくとも２つのグループの全体画像サンプルを取得するように構成され、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される。

中間ネットワークトレーニングモジュール１１０４は、各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するように構成される。

ニューラルネットワーク構築モジュール１１０６は、各中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するように構成される。

画像処理モデルトレーニングモジュール１１０８は、各グループの全体画像サンプルに従って、第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するように構成される。

一実施例では、モデルトレーニング装置１１００は、第１初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第１初期パラメータを決定するように構成される第１初期パラメータ取得モジュールと、第１初期パラメータに従って、第１被トレーニングニューラルネットワークを決定するように構成される第１トレーニングされるネットワーク決定モジュールとをさらに備えてもよい。

一実施例では、モデルトレーニング装置１１００は、サンプル対象を含む目標領域の局部画像サンプルを取得するように構成される局部サンプル取得モジュールと、第２初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第２初期パラメータを決定するように構成される第２初期パラメータ取得モジュールと、局部画像サンプルおよび第２初期パラメータに従って、第２初期ニューラルネットワークに対してモデルトレーニングを実行して、第１被トレーニングニューラルネットワークを決定するように構成される第２トレーニングされるネットワーク決定モジュールとをさらに備えてもよい。

一実施例では、局部画像サンプルは医用画像サンプルを含んでもよく、目標領域は病変領域を含んでもよい。

モデルトレーニング装置の具体的な限定については、上記のモデルトレーニング方法の限定を参照でき、ここでは繰り返して説明しないことを留意されたい。上記のモデルトレーニング装置における各モジュールは、全体的または部分的に、ソフトウェア、ハードウェア、およびそれらの組み合わせによって実現できる。上記の各モジュールは、ハードウェアの形で、コンピュータ機器のプロセッサに集積されるか、またはコンピュータ機器内のプロセッサから独立していてもよく、プロセッサが上記の各モジュールに対応する操作を呼び出して実行できるようにするために、ソフトウェアの形でコンピュータ機器のメモリに記憶されてもよい。

一実施例では、メモリと、プロセッサとを備えるコンピュータ機器を開示し、コンピュータプログラムが当該メモリに記憶され、当該プロセッサがコンピュータプログラムを実行すると、本願の任意の実施例で開示された画像処理方法および／またはモデルトレーニング方法におけるステップを実現する。

一実施例では、当該コンピュータ機器は、図１に示される端末１１０であってもよく、その内部構造図は、図１２に示される通りであってもよい。当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、表示画面および入力装置を含んでもよい。ここで、当該プロセッサは、計算機能と制御機能を提供するために使用される。当該メモリは、不揮発性記憶媒体および内部メモリを含んでもよく、オペレーティングシステムおよびコンピュータプログラムが当該不揮発性記憶媒体に記憶され、当該内部メモリは、不揮発性記憶媒体に記憶されたオペレーティングシステムおよびコンピュータプログラムの動作のための環境を提供し、当該コンピュータプログラムがプロセッサによって実行されると、画像処理方法および／またはモデルトレーニング方法を実現する。当該ネットワークインターフェースは、ネットワーク接続を介して外部端末と通信するために使用される。当該表示画面は、液晶表示画面であってもよいし、電子インク表示画面であってもよい。当該コンピュータ機器の入力装置は、表示画面に覆われたタッチ層であってもよいし、コンピュータ機器のハウジングに設けられたボタン、トラックボールまたはタッチパッドであってもよいし、外部接続されたキーボード、タッチパッドまたはマウスなどであってもよい。

一実施例では、当該コンピュータ機器は、図１に示されるサーバ１２０であってもよく、その内部構造図は、図１２に示される通りであってもよい。当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、およびデータベースを含んでもよい。ここで、当該プロセッサは、計算機能と制御機能を提供するために使用される。当該メモリは、不揮発性記憶媒体および内部メモリを含んでもよく、オペレーティングシステム、コンピュータプログラム、およびデータベースが当該不揮発性記憶媒体に記憶され、当該内部メモリは、不揮発性記憶媒体に記憶されたオペレーティングシステムおよびコンピュータプログラムの動作のための環境を提供する。当該データベースは、画像サンプルを記憶するために使用される。当該ネットワークインターフェースは、ネットワーク接続を介して外部端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、画像処理方法および／またはモデルトレーニング方法を実現する。

当業者なら自明であるが、図１２および図１３に示される構造は、本願の解決策に関連する構造の一部のブロック図にすぎず、本願の解決策が適用されるコンピュータ機器に対する限定を構成しない。具体的なコンピュータ機器は、図に示されるよりも多いまたは少ないコンポーネントを含んでもよいか、または特定のコンポーネントを組み合わせてもよいか、または異なるコンポーネント配置を有してもよい。

一実施例では、本願で開示された画像処理装置は、コンピュータプログラムの形で実現されてもよく、コンピュータプログラムは、図１２または図１３に示されるコンピュータ機器で実行されてもよい。コンピュータ機器のメモリは、当該画像処理装置を構成する各プログラムモジュール、例えば、図１０に示される被処理画像のために画像取得モジュール１００２、ターゲット特徴取得モジュール１００４、および分類結果決定モジュール１００６を記憶できる。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書で説明される本願の各実施例の画像処理方法におけるステップを実行させる。例えば、図１２または図１３に示されるコンピュータ機器は、図１０に示される画像処理装置の被処理画像取得モジュール１００２を介してステップＳ２０２を実行したり、ターゲット特徴取得モジュール１００４を介してステップＳ２０４を実行したり、分類結果決定モジュール１００６を介してステップＳ２０６を実行したりすることができる。

一実施例では、本願で開示されたモデルトレーニング装置は、コンピュータプログラムの形で実現されてもよく、コンピュータプログラムは、図１２または図１３に示されるコンピュータ機器で実行されてもよい。コンピュータ機器のメモリは、当該モデルトレーニング装置を構成する各プログラムモジュール、例えば、図１１に示される全体サンプル取得モジュール１１０２、中間ネットワークトレーニングモジュール１１０４、ニューラルネットワーク構築モジュール１１０６、および画像処理モデルトレーニングモジュール１１０８を記憶できる。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書で説明される本願の各実施例のモデルトレーニング方法におけるステップを実行させる。例えば、図１２または図１３に示されるコンピュータ機器は、図１１に示されるモデルトレーニング装置の全体サンプル取得モジュール１１０２を介してステップＳ８０２を実行したり、中間ネットワークトレーニングモジュール１１０４を介してステップＳ８０４を実行したり、ニューラルネットワーク構築モジュール１１０６を介してステップＳ８０６を実行したり、画像処理モデルトレーニングモジュール１１０８を介してステップＳ８０８を実行したりすることができる。

当業者なら自明であるが、上述の実施例における各方法において、その全部又は一部のプロセスが、関連のハードウェアに、コンピュータプログラムによる命令で、実行されることができる。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されるときに、上述した各方法の実施例におけるプロセスを実行することができる。ここで、本願の各実施例で任意に引用するメモリ、ストレージ、データベースまたは他の媒体は、すべて不揮発性および／または揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、電気的なプログラムが可能なＲＯＭ（ＥＰＲＯＭ）、電気的な消去／プログラムが可能なＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含んでもよい。限定的ではない例として、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期接続（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバス（Ｒａｍｂｕｓ）ダイナミックＲＡＭ（ＲＤＲＡＭ）など、様々な形のＲＡＭが利用可能であり得る。

したがって、一実施例では、コンピュータ可読記憶媒体を提供し、コンピュータプログラムが前記コンピュータ可読記憶媒体に記憶され、前記コンピュータプログラムがプロセッサによって実行されるときに、本願の任意の実施例による画像処理方法および／またはモデルトレーニング方法を実現する。

上記の実施例における技術的特徴を任意に組み合わせることができる。説明を簡潔にするために、前述の実施例における様々な技術的特徴のすべての可能な組み合わせについては説明されていないが、これらの技術的特徴の組み合わせに矛盾がない限り、すべて本明細書の範囲に含まれると見なすべきである。

以上に述べた実施例は、本願のいくつかの実施形態のみを表し、それらについて、より具体的かつ詳細に説明したが、本願の保護範囲を限定するものとして解釈されるべきではない。当業者なら本願の技術的な発想を逸脱せずに改良又は改善を加えることもできる。これらの改良及び改善も本願の保護範囲に含まれる。したがって、本願の保護範囲は、添付の特許請求の範囲を基準とすべきである。

Claims (14)

1. コンピュータ機器が実行する、画像処理方法であって、
   少なくとも２枚の被処理画像を取得するステップであって、前記被処理画像は、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成される、ステップと、
   画像処理モデルにおける、前記被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、前記特徴抽出ネットワークに対応する前記被処理画像のターゲット特徴をそれぞれ抽出するステップであって、前記特徴抽出ネットワークは、各撮像角度に対応する画像の特徴を抽出するために使用される、ステップと、
   前記ターゲット特徴に従って、前記目標対象に対応する分類結果を決定するステップと、
   を含み、
   前記画像処理モデルを決定する方式は、
   少なくとも２つのグループの全体画像サンプルを取得するステップであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される、ステップと、
   各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップと、
   前記中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するステップと、
   各グループの全体画像サンプルに従って、前記第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、前記画像処理モデルを決定するステップと、
   を含むことを特徴とする、画像処理方法。
2. 前記ターゲット特徴に従って、前記目標対象に対応する分類結果を決定する前記ステップは、
   前記ターゲット特徴を、順次に、前記画像処理モデルの畳み込み層で畳み込んで、前記画像処理モデルのプーリング層でプーリングして、中間特徴を取得するステップと、
   前記画像処理モデルの全結合層を介して、前記中間特徴に従って、前記目標対象に対応する分類結果を決定するステップと、
   を含むことを特徴とする、請求項１に記載の画像処理方法。
3. 前記各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定する前に、前記方法は、
   第１初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第１初期パラメータを取得するステップと、
   前記第１初期パラメータに従って、第１被トレーニングニューラルネットワークを決定するステップと、
   を更に含むことを特徴とする、請求項１又は２に記載の画像処理方法。
4. 前記各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定する前に、前記方法は、
   サンプル対象を含む目標領域の局部画像サンプルを取得するステップと、
   第２初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第２初期パラメータを取得するステップと、
   前記局部画像サンプルおよび前記第２初期パラメータに従って、前記第２初期ニューラルネットワークに対してモデルトレーニングを実行して、前記第１被トレーニングニューラルネットワークを取得するステップと、
   を更に含むことを特徴とする、請求項１又は２に記載の画像処理方法。
5. 前記局部画像サンプルは医用画像サンプルを含み、前記目標領域は病変領域を含む
   ことを特徴とする、請求項４に記載の画像処理方法。
6. 前記被処理画像は医用画像を含み、
   前記少なくとも２枚の被処理画像は、頭尾方向で***を撮ることによって形成されるマンモグラフィ画像、および内外斜位方向で前記***を撮ることによって形成されるマンモグラフィ画像を含む
   ことを特徴とする、請求項１ないし５のいずれか一項に記載の画像処理方法。
7. コンピュータ機器が実行する、モデルトレーニング方法であって、
   少なくとも２つのグループの全体画像サンプルを取得するステップであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される、ステップと、
   各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するステップと、
   前記中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するステップと、
   各グループの全体画像サンプルに従って、前記第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するステップと、
   を含むことを特徴とする、モデルトレーニング方法。
8. 前記各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定する前に、前記方法は、
   第１初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第１初期パラメータを取得し、前記第１初期パラメータに従って、第１被トレーニングニューラルネットワークを決定するステップ、または、
   サンプル対象を含む目標領域の局部画像サンプルを取得し、第２初期ニューラルネットワークに対してパラメータ初期化処理を実行して、第２初期パラメータを取得し、前記局部画像サンプルおよび前記第２初期パラメータに従って、前記第２初期ニューラルネットワークに対してモデルトレーニングを実行して、前記第１被トレーニングニューラルネットワークを決定するステップ
   を更に含むことを特徴とする、請求項７に記載のモデルトレーニング方法。
9. 前記局部画像サンプルは医用画像サンプルを含み、前記目標領域は病変領域を含む
   ことを特徴とする、請求項８に記載のモデルトレーニング方法。
10. コンピュータ機器に設置される、画像処理装置であって、
    少なくとも２枚の被処理画像を取得するように構成される被処理画像取得モジュールであって、前記被処理画像は、同一の目標対象を異なる撮像角度で収集することによってそれぞれ形成される、被処理画像取得モジュールと、
    画像処理モデルにおける、前記被処理画像にそれぞれ対応する特徴抽出ネットワークを介して、前記特徴抽出ネットワークに対応する前記被処理画像のターゲット特徴をそれぞれ抽出するように構成されるターゲット特徴取得モジュールであって、前記特徴抽出ネットワークは、各撮像角度に対応する画像の特徴を抽出するために使用される、ターゲット特徴取得モジュールと、
    前記ターゲット特徴に従って、前記目標対象に対応する分類結果を決定するように構成される分類結果決定モジュールと、
    を備え、
    モデルトレーニングモジュールであって、
    少なくとも２つのグループの全体画像サンプルを取得し、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成され、
    各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定し、
    前記中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築し、
    各グループの全体画像サンプルに従って、前記第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、前記画像処理モデルを決定する、モデルトレーニングモジュールと、
    を含むことを特徴とする、画像処理装置。
11. コンピュータ機器に設置される、モデルトレーニング装置であって、
    少なくとも２つのグループの全体画像サンプルを取得するように構成される全体サンプル取得モジュールであって、各グループの全体画像サンプルは、サンプル対象を異なる撮像角度で収集することによってそれぞれ形成される、全体サンプル取得モジュールと、
    各グループの全体画像サンプルに従って、第１被トレーニングニューラルネットワークに対してモデルトレーニングをそれぞれ実行して、各グループの全体画像サンプルにそれぞれ対応する中間特徴抽出ネットワークを決定するように構成される中間ネットワークトレーニングモジュールと、
    前記中間特徴抽出ネットワークに従って、第２被トレーニングニューラルネットワークを構築するように構成されるニューラルネットワーク構築モジュールと、
    各グループの全体画像サンプルに従って、前記第２被トレーニングニューラルネットワークに対してモデルトレーニングを実行して、画像処理モデルを決定するように構成される画像処理モデルトレーニングモジュールと、
    を備えることを特徴とする、モデルトレーニング装置。
12. コンピュータプログラムであって、
    コンピュータに、請求項１ないし６のいずれか１項に記載の画像処理方法を実行させる、コンピュータプログラム。
13. コンピュータプログラムであって、
    コンピュータに、請求項７ないし９のいずれか１項に記載のモデルトレーニング方法を実行させる、コンピュータプログラム。
14. コンピュータプログラムが記憶されたメモリと、プロセッサとを備える、コンピュータ機器であって、
    前記コンピュータプログラムは、前記プロセッサにより実行されると、前記コンピュータ機器に請求項１ないし９のいずれか１項に記載の方法を実行させる
    ことを特徴とする、コンピュータ機器。

Images