JP2023502813A - モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体 - Google Patents

モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体 Download PDF

Info

Publication number
JP2023502813A
JP2023502813A JP2021576590A JP2021576590A JP2023502813A JP 2023502813 A JP2023502813 A JP 2023502813A JP 2021576590 A JP2021576590 A JP 2021576590A JP 2021576590 A JP2021576590 A JP 2021576590A JP 2023502813 A JP2023502813 A JP 2023502813A
Authority
JP
Japan
Prior art keywords
image
feature data
training
domain
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021576590A
Other languages
English (en)
Inventor
宋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202011193221.7A external-priority patent/CN112348819A/zh
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2023502813A publication Critical patent/JP2023502813A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本開示の実施例は、モデル訓練方法、画像処理及びレジストレーション方法、ならびに関連する装置、デバイス、記憶媒体及びプログラム製品を提供する。ここで、モデル訓練方法は、ラベリング情報を有する少なくとも１つのサンプル画像を取得するステップと、解きほぐしモデルを利用し、少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、少なくとも１つのサンプル画像の内容特徴データを得るステップと、少なくとも１つのサンプル画像の内容特徴データ及びラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るステップと、を含み、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の訓練画像とサンプル画像は、第１ドメインに属し、他方の種類の訓練画像と目標画像は、第２ドメインに属する。

Description

（関連出願への相互参照）
本開示は、出願番号が２０２０１１１９３２２１．７であり、出願日が２０２０年１０月３０日である中国特許に基づいて提案され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。
本開示は、人工知能技術分野に関し、特にモデル訓練方法、画像処理及びレジストレーション方法、ならびに関連する装置、デバイス、記憶媒体及びプログラム製品に関する。
ニューラルネットワーク、ディープラーニングなどの人工知能技術の発展に伴い、ネットワークモデルを訓練し、訓練されたネットワークモデルを使用し、画像分割、画像分類、目標検出、画像レジストレーションなどの画像処理タスクを遂行するという方式は、徐々に人気を集めている。
実際の応用中、医用画像を例とすると、ＣＴ（コンピュータ断層撮影：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像とＭＲ（核磁気共鳴：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）画像が異なるドメインに属しているため、ＣＴ画像で訓練されたネットワークモデルを使用してＭＲ画像に対して関連処理を行う場合、精度低下の問題が発生することが多く、ＭＲ画像を改めてラベリングするとしたら、経験豊富な医療従事者に頼る必要があり、莫大なコストがかかる。
本開示は、モデル訓練方法、画像処理及びレジストレーション方法、ならびに関連する装置、デバイス、記憶媒体及びプログラム製品を提供する。
本開示の第１態様によるモデル訓練方法は、ラベリング情報を有する少なくとも１つのサンプル画像を取得するステップと、解きほぐしモデルを利用し、少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、少なくとも１つのサンプル画像の内容特徴データを得るステップと、少なくとも１つのサンプル画像の内容特徴データ及びラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るステップと、を含み、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の訓練画像とサンプル画像は、第１ドメインに属し、他方の種類の訓練画像と目標画像は、第２ドメインに属する。
したがって、サンプル画像と同一の第１ドメインに属する１種類の訓練画像、及び目標画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、ラベリング情報を有するサンプル画像と目標画像とをマッピングして同一のドメインに属する内容特徴データを得ることができ、それによって訓練画像の内容特徴データ及びラベリング情報を利用して訓練されたネットワークモデルは、同様に目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減し、後の処理の精度を向上させることができる。
ここで、サンプル画像と目標画像は、医用画像であり、ラベリング情報は、生体器官のラベリング情報であり、及び／又は、サンプル画像と目標画像は、３次元画像であり、ラベリング情報は、３次元目標のラベルリング情報である。
したがって、サンプル画像及び目標画像を医用画像とし、ラベリング情報を生体器官のラベリング情報とすることにより、医用画像分野に適用することができ、サンプル画像及び目標画像を３次元画像とし、ラベリング情報を３次元目標のラベリング情報とすることにより、３次元画像の処理に適用することができる。
ここで、予め設定されたネットワークモデルには、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれかが含まれている。
したがって、予め設定されたネットワークモデルを画像分割ネットワークモデル、画像分類ネットワーク、目標検出ネットワークモデルのいずれかとすることにより、異なる種類の予め設定されたネットワークモデルに基づいて、異なる画像処理タスクに適用するネットワークモデルを訓練して得ることができ、それによって異なるドメインの画像に対する異なる処理タスクを遂行することができる。
ここで、解きほぐしモデルを訓練するステップは、第１ドメインに属する第１種類の訓練画像と第２ドメインに属する第２種類の訓練画像を取得するステップと、オリジナルの解きほぐしモデルを利用して第１種類の訓練画像と第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データを得るステップと、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データとを利用して再構成して再構成画像を得るステップと、再構成画像に基づいて、解きほぐしモデルの損失値を得るステップと、損失値に基づいて、解きほぐしモデルのパラメータを調整するステップと、を含む。
したがって、オリジナルの解きほぐしモデルを利用し、第１ドメインに属する第１種類の訓練画像及び第２ドメインに属する第２種類の訓練画像に対して特徴抽出を行い、抽出された内容特徴データ及びスタイル特徴データに基づいて再構成することができ、これにより、再構成された再構成画像に基づいて、解きほぐしモデルの損失値を得、さらに損失値に基づいて解きほぐしモデルのパラメータを調整し、それによって解きほぐしモデルを訓練して得ることができる。
ここで、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データとを利用して再構成して再構成画像を得るステップは、第１種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第１ドメイン内の再構成画像を得、第２種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第２ドメイン内の再構成画像を得るステップと、第１種類の訓練画像のスタイル特徴データ及び第２種類の訓練画像の内容特徴データを利用して再構成することによって、第１クロスドメインの再構成画像を得、第２種類の訓練画像のスタイル特徴データ及び第１種類の訓練画像の内容特徴データを利用して再構成し、第２クロスドメインの再構成画像を得るステップと、を含み、再構成画像に基づいて、解きほぐしモデルの損失値を得るステップは、第１種類の訓練画像と第１ドメイン内の再構成画像との差異に基づいて、第１ドメイン内損失値を得、第２種類の訓練画像と第２ドメイン内の再構成画像との差異に基づいて、第２ドメイン内損失値を得るステップと、第１種類の訓練画像と第２クロスドメインの再構成画像の両者の内容特徴データ間の差異に基づいて、第１内容損失値を得、第１種類の訓練画像と第１クロスドメインの再構成画像の両者のスタイル特徴データ間の差異に基づいて、第１スタイル損失値を得、第２種類の訓練画像と第１クロスドメインの再構成画像の両者の内容特徴データ間の差異に基づいて、第２内容損失値を得、第２種類の訓練画像と第２クロスドメインの再構成画像の両者のスタイル特徴データ間の差異に基づいて、第２スタイル損失値を得るステップと、第１種類の訓練画像と第１クロスドメインの再構成画像との差異に基づいて、第１クロスドメイン損失値を得、第２種類の訓練画像と第２クロスドメインの再構成画像との差異に基づいて、第２クロスドメイン損失値を得るステップと、上記で得られた損失値に対して重み付け処理を行い、解きほぐしモデルの損失値を得るステップと、を含む。
したがって、ドメイン内損失値とクロスドメイン損失値、及び画像再構成後の対応する内容特徴データとスタイル特徴データの損失値に基づいて重み付け処理を行うことにより、解きほぐしモデルの損失値を得ることができ、さらにトータル的な損失値に基づいてパラメータ調整を行うことができ、解きほぐしモデルによって抽出された異なるドメインの画像の内容特徴データを、同一のドメインに属させることができる。
本開示の第２態様による画像処理方法は、解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、目標画像の内容特徴データを得るステップと、処理ネットワークモデルを使用し、目標画像の内容特徴データを処理し、目標画像の処理結果を得るステップと、を含み、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、１種類の訓練画像と目標画像は、同一のドメインに属し、処理ネットワークモデルは、上記の第１態様におけるモデル訓練方法を利用して得られたものである。
したがって、上記の第１態様におけるモデルレーニング方法により訓練された処理ネットワークモデルは、当該処理ネットワークモデルを訓練するためのサンプル画像に適用できるだけでなく、目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減することができ、画像の処理精度を向上させることができる。
本開示の第３態様による画像レジストレーション方法は、第１レジストレーション対象画像と第２レジストレーション対象画像を取得するステップと、解きほぐしモデルを利用して第１レジストレーション対象画像、第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データとを得るステップと、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するステップと、レジストレーションパラメータを利用して第１レジストレーション対象画像と第２レジストレーション対象画像とをレジストレーションするステップと、を含み、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、１種類の訓練画像と第１レジストレーション対象画像は、第１ドメインに属し、他の種類の訓練画像と第２レジストレーション対象画像は、第２ドメインに属する。
したがって、第１レジストレーション対象画像と同一の第１ドメインに属する１種類の訓練画像、及び第２レジストレーション対象画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、抽出された第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データは、同一のドメインに属することができ、これにより、両者の内容特徴データに基づいて両者のレジストレーションパラメータを直接得てレジストレーションすることができ、異なるドメインの画像間で教師なしレジストレーションを実現することができ、さらに異なるドメインの画像レジストレーションのコストを削減し、その精度を向上させることができる。
ここで、第１レジストレーション対象画像と第２レジストレーション対象画像は、医用画像であり、及び／又は、第１レジストレーション対象画像と第２レジストレーション対象画像は、３次元画像であり、及び／又は、レジストレーションパラメータは、剛性変化パラメータ、変形変化パラメータの少なくとも１つを含む。
したがって、第１レジストレーション対象画像と第２レジストレーション対象画像を医用画像とすることにより、画像レジストレーションを医用画像のレジストレーションに適用させることができ、第１レジストレーション対象画像と第２レジストレーション対象画像を３次元画像とすることにより、画像レジストレーションを３次元画像のレジストレーションに適用させることができるが、レジストレーションパラメータは、剛性変化パラメータと変形変化パラメータの少なくとも１つを含むことができ、これにより、第１レジストレーション対象画像と第２レジストレーション対象画像は、両者の実際の状況に基づいて対応して変化した後、レジストレーションを実現することができ、それによって画像レジストレーションの精度を向上することに有利である。
ここで、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するステップは、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、第１レジストレーション対象画像に対応するレジストレーションパラメータを決定するステップを含み、レジストレーションパラメータを利用して第１レジストレーション対象画像と第２レジストレーション対象画像とをレジストレーションするステップは、レジストレーションパラメータを利用して変化処理を行い、第１レジストレーション対象画像に対応する変化画像を得るステップと、変化画像の画素点を第２レジストレーション対象画像の対応する画素点に重ね合わせるステップとを含む。
したがって、第１レジストレーション対象画像に対応するレジストレーションパラメータを利用し、第１レジストレーション対象画像に対して変化処理を行って、第１レジストレーション対象画像に対応する変化画像を得ることができ、さらに変化画像の画素点を第２レジストレーション対象画像の対応する画素点に重ね合わせ、それによって異なるドメインの画像間の教師なしレジストレーションを実現することができる。
ここで、解きほぐしモデルを訓練するステップは、第１ドメインに属する第１種類の訓練画像と第２ドメインに属する第２種類の訓練画像とを取得するステップと、オリジナルの解きほぐしモデルを利用して第１種類の訓練画像と第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データを得るステップと、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データとを利用して再構成して再構成画像を得るステップと、再構成画像に基づいて、解きほぐしモデルの損失値を得るステップと、損失値に基づいて、解きほぐしモデルのパラメータを調整するステップと、を含む。
したがって、オリジナルの解きほぐしモデルを利用し、第１ドメインに属する第１種類の訓練画像及び第２ドメインに属する第２種類の訓練画像に対して特徴抽出を行い、抽出された内容特徴データ及びスタイル特徴データに基づいて再構成することができ、これにより、再構成された再構成画像に基づいて、解きほぐしモデルの損失値を得、さらに損失値に基づいて解きほぐしモデルに対してパラメータを調整し、それによって解きほぐしモデルを訓練して得ることができる。
本開示の第４態様によるモデル訓練装置は、画像取得モジュール、内容抽出モジュール及びモデル訓練モジュールを備え、画像取得モジュールは、ラベリング情報を有する少なくとも１つのサンプル画像を取得するように構成され、内容抽出モジュールは、解きほぐしモデルを利用し、少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、少なくとも１つのサンプル画像の内容特徴データを得るように構成され、モデル訓練モジュールは、少なくとも１つのサンプル画像の内容特徴データ及びラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るように構成され、ここで、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の訓練画像とサンプル画像は、第１ドメインに属し、他方の種類の訓練画像と目標画像は、第２ドメインに属する。
本開示の第５態様による画像処理装置は、内容抽出モジュールとネットワーク処理モジュールとを備え、内容抽出モジュールは、解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、目標画像の内容特徴データを得るように構成され、ネットワーク処理モジュールは、処理ネットワークモデルを使用し、目標画像の内容特徴データを処理し、目標画像の処理結果を得るように構成され、ここで、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、１種類の訓練画像と目標画像は、同一のドメインに属し、処理ネットワークモデルは、上記第４態様におけるモデル訓練方法を利用して得られたものである。
本開示の第６態様による画像レジストレーション装置は、画像取得モジュール、内容抽出モジュール、パラメータ決定モジュール及び画像レジストレーションモジュールを備え、画像取得モジュールは、第１レジストレーション対象画像と第２レジストレーション対象画像を取得するように構成され、内容抽出モジュールは、解きほぐしモデルを利用して第１レジストレーション対象画像、第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データとを得るように構成され、パラメータ決定モジュールは、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するように構成され、画像レジストレーションモジュールは、レジストレーションパラメータを利用して第１レジストレーション対象画像と第２レジストレーション対象画像とをレジストレーションするように構成され、ここで、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、１種類の訓練画像と第１レジストレーション対象画像は、第１ドメインに属し、他の種類の訓練画像と第２レジストレーション対象画像は、第２ドメインに属する。
本開示の第７態様による電子デバイスは、互いに接続されるメモリ及びプロセッサを備え、プロセッサは、メモリに記憶されたプログラム命令を実行して、上記第１態様におけるモデル訓練方法、又は上記第２態様における画像処理方法、又は上記第３態様における画像レジストレーション方法を実行するように構成される。
本開示の第８態様によるコンピュータ可読記憶媒体は、プログラム命令が記憶されており、プログラム命令がプロセッサに実行される場合、上記第１態様におけるモデル訓練方法、又は上記第２態様における画像処理方法、又は上記第３態様における画像レジストレーション方法を実行する。
本開示の第９態様によるコンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサに実行されるときに上記第１態様におけるモデル訓練方法、又は上記第２態様における画像処理方法、又は上記第３態様における画像レジストレーション方法を実行することに適している。
上記解決策では、サンプル画像と同一の第１ドメインに属する１種類の訓練画像、及び目標画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、ラベリング情報を有するサンプル画像と目標画像とをマッピングして同一のドメインに属する内容特徴データを得ることができ、それによって訓練画像の内容特徴データ及びラベリング情報を利用して訓練されたネットワークモデルは、同様に目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減し、画像の処理精度を向上させることができる。
本開示によるモデル訓練方法の一実施例のフローチャートである。 本開示による解きほぐしモデル訓練方法の一実施例の概略図である。 本開示による解きほぐしモデル訓練方法の別の実施例の概略図である。 本開示による画像処理方法の一実施例のフローチャートである。 本開示による画像レジストレーション方法の一実施例のフローチャートである。 本開示による画像レジストレーションの一実施例のプロセスの概略図である。 本開示によるモデル訓練装置の一実施例のフレームワーク概略図である。 本開示による画像処理装置の一実施例のフレームワーク概略図である。 本開示による画像レジストレーション装置の一実施例のフレームワーク概略図である。 本開示による電子デバイスの一実施例のフレームワーク概略図である。 本開示による記憶装置の一実施例のフレームワーク概略図である。
以下に本明細書の添付の図面と併せて、本開示の実施例の解決策を詳細に説明する。
以下の説明では、限定ではなく説明のために、特定のシステム構造、インターフェース、技術などの詳細は、本開示の実施例を完全に理解するために提案される。
本明細書で用語「システム」及び「ネットワーク」は、本明細書で常に交換可能に使用される。本明細書では「及び／又は」という用語は、関連付けられたオブジェクトの関連関係を説明するためのものであってもよく、３種類の関係が存在できることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書では文字「／」は、一般的に前後にある関連オブジェクトが「又は」の関係であることを示す。また、本明細書での「複数」とは、２つ又は２つ以上を意味している。
図１を参照すると、図１は本開示によるモデル訓練方法の一実施例のフローチャートである。以下のステップを含むことができる。
ステップＳ１１において、少なくとも１つのサンプル画像を取得する。
本実施例では、サンプル画像は、ラベリング情報を有している。例えば、画像分割ネットワークモデルを訓練する場合、ラベリング情報は、訓練画像内の目標対象の輪郭情報であってもよく、又は、画像分類ネットワークモデルを訓練する場合、ラベリング情報は、訓練画像内の目標対象に対応するカテゴリ情報であってもよく、又は、目標検出ネットワークモデルを訓練する場合、ラベリング情報は、訓練画像内の目標対象の位置情報であってもよく、応用場面に応じて設定されてもよく、ここでは限定しない。
１つの実施場面では、訓練されたネットワークモデルの精度を向上させるために、サンプル画像は、例えば５００個、７００個、９００個などの複数であってもよく、ここでは限定しない。
１つの実施場面では、訓練されたネットワークモデルが医用画像分野に適用され得るために、サンプル画像は、例えばＣＴ画像、ＭＲ画像などの医用画像であってもよく、また、ラベリング情報は、例えば膵臓、腎臓などの器官のラベリング情報であってもよいし、例えば靭帯、軟骨組織のラベリング情報などの器官組織のラベリング情報などであってもよく、又は、例えば血腫領域、潰瘍領域などの器官病変組織のラベリング情報であってもよく、ここでは例を一つずつ挙げない。
１つの実施場面において、訓練されたネットワークモデルが３次元画像に対して対応する処理を行うことができるために、サンプル画像は、３次元画像、例えば３次元核磁気共鳴画像であってもよく、又は、３次元画像は、ＣＴ画像、Ｂ超音波画像が再構成された３次元画像であってもよく、ここでは限定しない。
ステップＳ１２において、解きほぐし（Ｄｉｓｅｎｔａｎｇｌｅｄ）モデルを使用し、少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、少なくとも１つのサンプル画像の内容特徴データを得る。
本実施例では、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像で訓練されたものであり、そのうちの一方の種類の訓練画像とサンプル画像は、第１ドメインに属し、他方の種類の訓練画像と目標画像は、第２ドメインに属する。異なるドメインの画像の画像データは、異なるデータ分布に従う。例えば、異なる種類の医用画像検出装置によって収集されたＣＴ画像とＭＲ画像は、異なるドメインに属し、又は、昼間に撮影された画像と夜間に撮影された画像は、異なるドメインに属し、又は、カメラで撮影された画像と手動で描いた画像は、異なるドメインに属し、又は、夏に撮影された風景と冬に撮影された風景は、異なるドメインに属し、ここでは例を一つずつ挙げない。
図２を参照すると、図２は本開示による解きほぐしモデル訓練方法の一実施例の概略図である。図２に示すように、同じ分布の再構成プロセスにより、異なるドメインの画像
Figure 2023502813000002
に対して内容特徴及びスタイル特徴を抽出した後、それらを再構成して画像
Figure 2023502813000003
を得る。具体的には、第１ドメインに属する第１種類の訓練画像を画像
Figure 2023502813000004
として得、第２ドメインに属する第２種類の訓練画像を画像
Figure 2023502813000005
として得、オリジナルの解きほぐしモデルを利用し、第１種類の訓練画像
Figure 2023502813000006
と第２種類の訓練画像
Figure 2023502813000007
に対して内容及びスタイル抽出をそれぞれ行い、第１種類の訓練画像
Figure 2023502813000008
の内容特徴データ
Figure 2023502813000009
とスタイル特徴データ
Figure 2023502813000010
、及び第２種類の訓練画像
Figure 2023502813000011
の内容特徴データ
Figure 2023502813000012
とスタイル特徴データ
Figure 2023502813000013
を得る。また、第１種類の訓練画像
Figure 2023502813000014
の内容特徴データ
Figure 2023502813000015
とスタイル特徴データ
Figure 2023502813000016
、及び第２種類の訓練画像
Figure 2023502813000017
の内容特徴データ
Figure 2023502813000018
とスタイル特徴データ
Figure 2023502813000019
を利用して再構成して再構成画像を得る。再構成プロセスでは、図２及び図３を参照すると、図３は、本開示による解きほぐしモデル訓練方法の別の実施例の概略図である。図２に示すように、第１種類の訓練画像
Figure 2023502813000020
の内容特徴データ
Figure 2023502813000021
とスタイル特徴データ
Figure 2023502813000022
を利用して再構成し、第１ドメイン内の再構成画像
Figure 2023502813000023
を得、第２種類の訓練画像
Figure 2023502813000024
の内容特徴データ
Figure 2023502813000025
とスタイル特徴データ
Figure 2023502813000026
を利用して再構成し、第２ドメイン内の再構成画像
Figure 2023502813000027
を得、図３に示すように、第１種類の訓練画像
Figure 2023502813000028
のスタイル特徴データ
Figure 2023502813000029
と第２種類の訓練画像
Figure 2023502813000030
の内容特徴データ
Figure 2023502813000031
を利用して再構成して第１クロスドメインの再構成画像
Figure 2023502813000032
を得、第２種類の訓練画像
Figure 2023502813000033
のスタイル特徴データ
Figure 2023502813000034
と第１種類の訓練画像
Figure 2023502813000035
の内容特徴データ
Figure 2023502813000036
を利用して再構成して第２クロスドメインの再構成画像
Figure 2023502813000037
を得る。上記のドメイン内の再構成及びクロスドメインの再構成により、第１ドメイン内の再構成画像
Figure 2023502813000038
、第２ドメイン内の再構成画像
Figure 2023502813000039
、第１クロスドメインの再構成画像
Figure 2023502813000040
及び第２クロスドメインの再構成画像
Figure 2023502813000041
をそれぞれ得ることができる。その上で、再構成画像に基づいて、解きほぐしモデルの損失値を得、それによって、損失値に基づいて解きほぐしモデルのパラメータを調整することができる。
具体的には、図２及び図３を参照し、第１種類の訓練画像
Figure 2023502813000042
と第１ドメイン内の再構成画像
Figure 2023502813000043
との差異に基づいて、第１ドメイン内損失値を得ることができ、第２種類の訓練画像
Figure 2023502813000044
と第２ドメイン内の再構成画像
Figure 2023502813000045
との差異に基づいて、第２ドメイン内損失値を得ることができ、第１種類の訓練画像
Figure 2023502813000046
の内容特徴データ
Figure 2023502813000047
と第２クロスドメインの再構成画像
Figure 2023502813000048
との内容特徴データ
Figure 2023502813000049
との差異に基づいて、第１内容損失値を得ることができ、ここで、内容特徴データ
Figure 2023502813000050
は、第２クロスドメインの再構成画像
Figure 2023502813000051
を復号して得られるものであり、第１種類の訓練画像
Figure 2023502813000052
のスタイル特徴データ
Figure 2023502813000053
と第１クロスドメインの再構成画像
Figure 2023502813000054
のスタイル特徴データ
Figure 2023502813000055
との差異に基づいて、第１スタイル損失値を得ることができ、ここで、スタイル特徴データ
Figure 2023502813000056
は、第１クロスドメインの再構成画像
Figure 2023502813000057
を復号して得られるものであり、第２種類の訓練画像
Figure 2023502813000058
の内容特徴データ
Figure 2023502813000059
と第１クロスドメインの再構成画像
Figure 2023502813000060
の内容特徴データ
Figure 2023502813000061
との差異に基づいて、第２内容損失値を得ることができ、ここで、内容特徴データ
Figure 2023502813000062
は、第１クロスドメインの再構成画像
Figure 2023502813000063
を復号して得られるものであり、第２種類の訓練画像
Figure 2023502813000064
のスタイル特徴データ
Figure 2023502813000065
と第２クロスドメインの再構成画像
Figure 2023502813000066
のスタイル特徴データ
Figure 2023502813000067
との差異に基づいて、第２スタイル損失値を得ることができ、ここで、スタイル特徴データ
Figure 2023502813000068
は、第２クロスドメインの再構成画像
Figure 2023502813000069
を復号して得られるものであり、第１種類の訓練画像
Figure 2023502813000070
と第１クロスドメインの再構成画像
Figure 2023502813000071
との差異に基づいて、第１クロスドメイン損失値を得ることができ、第２種類の訓練画像
Figure 2023502813000072
と第２クロスドメインの再構成画像
Figure 2023502813000073
との差異に基づいて、第２クロスドメイン損失値を得ることができ、上記の得られた損失値に対して重み付け処理を行い、解きほぐしモデルの損失値を得る。具体的には、第１ドメイン内損失値と第２ドメイン内損失値の重みは同じであってもよく（例えば、両方が
Figure 2023502813000074
である）、第１スタイル損失値と第２スタイル損失値の重みも同じであってもよく（例えば、両方が
Figure 2023502813000075
である）、第１内容損失値と第２内容損失値の重みも同じであってもよく（例えば、両方が
Figure 2023502813000076
である）、第１クロスドメイン損失値と第２クロスドメイン損失値の重みも同じであってもよく（例えば、両方が１である）、１つの実施場面では、上記の
Figure 2023502813000077
は、実際の状況に応じて設定されてもよく、ここでは限定しない。
纏めて説明すると、図２に示すように、同じ分布の再構成プロセスにより、異なるドメインの画像
Figure 2023502813000078
に対して内容特徴及びスタイル特徴を抽出した後、再構成によって画像
Figure 2023502813000079
を得る。図３に示すクロスモーダル生成プロセスでは、画像
Figure 2023502813000080
と画像
Figure 2023502813000081
から抽出された内容特徴を互換した後に、スタイル特徴がそのまま維持され、再構成によって
Figure 2023502813000082
を得る。この方法で解きほぐしモデルを継続的に訓練する。当該解きほぐしモデルを利用し、異なるドメインの少なくとも２つの画像から、対応する少なくとも２組の内容特徴データを抽出し、これにより、２組の内容特徴データに、同一の分布を有させ、そして、少なくとも２組の内容特徴データ又は訓練画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルなどのモデルに基づいて、上記の予め設定されたネットワークモデルを訓練することにより、画像を分割するためのネットワークモデル、画像分類のためのネットワークモデル、及び目標検出のためのネットワークモデルをそれぞれ得ることができ、これにより、訓練されたネットワークモデルは、第１ドメイン及び第２ドメインに属する目標画像に同時に適用することができる。
実際の訓練プロセスでは、得られた損失値に基づいて解きほぐしモデルのパラメータを調整し、上記プロセスを繰り返して特徴抽出、画像再構成、及び損失値計算のステップを行うことができ、これにより、解きほぐしモデルのパラメータを継続的に調整し、複数回の繰り返し及びパラメータ調整により、解きほぐしモデルによって得られる第１種類の訓練画像
Figure 2023502813000083
の内容特徴データ
Figure 2023502813000084
と第２種類の訓練画像
Figure 2023502813000085
の内容特徴データ
Figure 2023502813000086
を、最終的に同一のデータ分布に従わせることができ、このとき、解きほぐしモデルへの訓練が完了したと考えられてもよい。
１つの実施場面では、解きほぐしモデルは、内容エンコーダ（ｃｏｎｔｅｎｔ ｅｎｃｏｄｅｒ）及びスタイルエンコーダ（ｓｔｙｌｅ ｅｎｃｏｄｅｒ）を含み、それぞれが、画像を符号化して内容特徴データ及びスタイル特徴データを得るように構成されることができ、ここで、内容エンコーダには、入力画像をダウンサンプリングするように構成された複数のストライド畳み込み層（ｓｔｒｉｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）と、さらに処理するための複数の残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋｓ）とを含むことができ、しかも全ての畳み込み層は、インスタンス正則化処理（ｎｓｔａｎｃｅ Ｎｏｒｍａｌｉｚａｔｉｏｎ）済みのものである。それに対して、スタイルエンコーダは、入力画像をダウンサンプリングするように構成された複数のストライド畳み込み層（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）、１つのグローバル平均プーリング層（ｇｌｏｂａｌ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）、及び１つの全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含むことができ、インスタンス正則化処理によりオリジナルの特徴の平均値及び分散が除去され、しかも、その中に多くのスタイル特徴情報が含まれているため、スタイルエンコーダではインスタンス正則化プロセスが使用されない。また、解きほぐしモデルは、内容特徴データとスタイル特徴データに基づいて画像を再構成するように構成されたデコーダも含み、具体的には、デコーダは、１組の残差ブロックにより内容特徴データを処理し、最終的に複数のアップサンプリングによって再構成画像を利用し、ここで、残差ブロックには自己適応のインスタンス標準化も導入されてもよく、自己適応のインスタンス標準化は、多層パーセプトロンを使用してスタイル特徴データ上で動的に生成されてもよい。
本実施例では、内容特徴データは、画像の内容を表すデータを含むことができ、例えば、画像内の人物、建物、山水などの輪郭を表すためのデータを含むことができる。スタイル特徴データには、画像の色、スタイルなどを表すためのデータを含むことができ、例えば、画像内の人物、建物、山水などの色系（例えば、ウォーム色系、クール色系など）を表すためのデータを含むことができ、又は、画像内の人物、建物、山水などのスタイル（例えばリアルスタイル、印象スタイルなど）を表すためのデータを含むことができ、ここでは例を一つずつ挙げない。
ステップＳ１３において、少なくとも１つのサンプル画像の内容特徴データ及びラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得る。
１つの実施場面では、訓練されたネットワークモデルを医用画像分野に適用させることができるように、サンプル画像と目標画像は、例えばＣＴ画像、ＭＲ画像などの医用画像であってもよい。また、ラベリング情報は、生体器官のラベリング情報であってもよい。
１つの実施場面では、訓練されたネットワークモデルに、３次元画像に対して対応する処理を行わせることができるように、サンプル画像と目標画像は、３次元画像であり、ラベリング情報は、３次元目標のラベリング情報である。３次元画像は、３次元の核磁気共鳴画像であってもよく、又は、３次元画像は、ＣＴ画像、Ｂ超音波画像を再構成することによって得られる３次元画像であってもよく、ここでは限定しない。
１つの実施場面では、異なる適用場面に適応するために、予め設定されたネットワークモデルは、実際の状況に応じて、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれかに設定されてもよい。例えば、画像分割の場合、画像分割モデルは、完全畳み込みネットワーク（ＦＣＮ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、Ｓｅｇｎｅｔ、Ｅｎｅｔなどを含むことができるが、これらに限定されず、又は、画像分類の場合、画像分類ネットワークモデルは、ＶＧＧネットワーク、Ｉｎｃｅｐｔｉｏｎネットワーク、Ｒｅｓｎｅｔネットワークなどを含むことができるがこれらに限定されず、又は、目標検出の場合、目標検出ネットワークモデルは、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）ネットワーク、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）ネットワークなどを含むことができるがこれらに限定されず、ここでは限定しない。上記の予め設定されたネットワークモデルを訓練することにより、画像を分割するためのネットワークモデル、画像分類のためのネットワークモデル、及び目標検出のためのネットワークモデルをそれぞれ得ることができ、これにより、訓練されたネットワークモデルは、第１ドメイン及び第２ドメインに属する目標画像に同時に適用することができる。
１つの実施場面では、サンプル画像は、頭部ＣＴ画像であり、目標画像は、頭部ＭＲ画像であり、サンプル画像と同一の第１ドメインに属する第１種類の訓練画像及び目標画像と同一の第２ドメインに属する第２種類の訓練画像で訓練して解きほぐしモデルを得、解きほぐしモデルを利用して頭部ＣＴ画像の内容特徴データを抽出し、さらに頭部ＣＴ画像の内容特徴データ及びラベリング情報を利用して、予め設定されたネットワークモデルを訓練することにより、頭部ＭＲ画像を処理するためのネットワークモデルを得ることができる。他の応用場面において、このように類推することができ、ここでは例を一つずつ挙げない。
上記解決策では、サンプル画像と同一の第１ドメインに属する１種類の訓練画像、及び目標画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、ラベリング情報を有するサンプル画像と目標画像とをマッピングして同一のドメインに属する内容特徴データを得ることができ、それによって訓練画像の内容特徴データ及びラベリング情報を利用して訓練されたネットワークモデルは、同様に目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減し、画像の処理精度を向上させることができる。
図４を参照すると、図４は本開示による画像処理方法の一実施例のフローチャートである。当該方法は、以下のステップを含むことができる。
ステップＳ４１において、解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、目標画像の内容特徴データを得る。
本実施例では、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像で訓練されたものであり、１種類の訓練画像は、目標画像と同一のドメインに属する。解きほぐしモデルの訓練プロセスについては、上記実施例における関連するステップを参照することができるため、ここでは説明を省略する。
１つの実施場面では、目標画像は、頭部ＭＲ画像であってもよく、解きほぐしモデルを利用してＭＲ画像に対して内容抽出を行うことによって、頭部ＭＲ画像の内容特徴データを得ることができる。他の応用場面において、このように類推することができ、ここでは例を一つずつ挙げない。
ステップＳ４２において、処理ネットワークモデルを使用して目標画像の内容特徴データを処理し、目標画像の処理結果を得る。
本実施例では、処理ネットワークモデルは、上記のいずれかのモデル訓練方法の実施例におけるステップにより得られたものであり、上記実施例における関連ステップを参照することができるため、ここでは説明を省略する。
１つの実施場面では、依然として目標画像が頭部ＭＲ画像であることを例とすると、処理ネットワークモデルは、画像分割ネットワークモデルであってもよく、画像分割ネットワークモデルは、頭部ＣＴ画像の内容特徴データ及びそのラベリング情報（例えば、ラクナ梗塞輪郭情報）を利用して訓練されたものであり、頭部ＣＴ画像の内容特徴データは、解きほぐしモデルを利用して抽出されたものであり、解きほぐしモデルは、頭部ＭＲ画像と同一のドメインに属する訓練画像及び頭部ＣＴ画像と同一のドメインに属する訓練画像で訓練されたものであり、訓練プロセスについては、上記の実施例における関連ステップを参照することができ、これにより、訓練された画像分割ネットワークモデルを使用して頭部ＭＲ画像の内容特徴データを処理し、頭部ＭＲ画像内のラクナ梗塞を分割して得る。
他の実施場面では、依然として目標画像が頭部ＭＲ画像であることを例とすると、処理ネットワークモデルは、画像分類ネットワークモデルであってもよく、画像分類ネットワークモデルは、頭部ＣＴ画像の内容特徴データ及びそのカテゴリに対応するラベリング情報（例えば、ラクナ梗塞、出血、大脳白質病変、脳萎縮など）を使用して訓練されたものであり、頭部ＣＴ画像の内容特徴データは、解きほぐしモデルを利用して抽出されたものであり、解きほぐしモデルは、頭部ＭＲ画像と同一のドメインに属する訓練画像及び頭部ＣＴ画像と同一のドメインに属する訓練画像で訓練されたものであり、訓練プロセスについては、上記の実施例における関連ステップを参照することができ、これにより、訓練された画像分類ネットワークモデルを使用して頭部ＭＲ画像の内容特徴データを処理し、頭部ＭＲ画像の属するカテゴリ（例えば、ラクナ梗塞、出血、大脳白質病変、脳萎縮のいずれか）を決定する。
別の実施場面では、依然として目標画像が頭部ＭＲ画像であることを例とすると、処理ネットワークモデルは、目標検出ネットワークモデルであってもよく、目標検出ネットワークモデルは、頭部ＣＴ画像の内容特徴データ、及び目標対象（例えば、ラクナ梗塞、出血など）を含む目標エリアのラベリング情報（例えば位置情報）を利用して訓練されたものであり、頭部ＣＴ画像の内容特徴データは、解きほぐしモデルを利用して抽出されたものであり、解きほぐしモデルは、頭部ＭＲ画像と同一のドメインに属する訓練画像及び頭部ＣＴ画像と同一のドメインに属する訓練画像で訓練されたものであり、訓練プロセスについては、上記の実施例における関連ステップを参照することができ、これにより、訓練された目標検出ネットワークモデルを使用して頭部ＭＲ画像の内容特徴データを処理し、頭部ＭＲ画像内の目標対象（ラクナ梗塞、出血など）の目標エリアを得る。
他の応用場面において、このように類推することができ、ここでは例を一つずつ挙げない。
上記の解決策では、上記の第１態様におけるモデルレーニング方法により訓練された処理ネットワークモデルは、当該処理ネットワークモデルを訓練するためのサンプル画像に適用できるだけでなく、目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減することができ、かつ画像の処理精度を向上させることができる。
図５を参照すると、図５は本開示による画像レジストレーション方法の一実施例のフローチャートである。当該方法は、以下のステップを含むことができる。
ステップＳ５１において、第１レジストレーション対象画像と第２レジストレーション対象画像を取得する。
本実施例では、第１レジストレーション対象画像と第２レジストレーション対象画像は、異なるドメインに属することができる。例えば、第１レジストレーション対象画像は、ＣＴ画像であってもよく、第２レジストレーション対象画像は、ＭＲ画像であってもよく、又は、第１レジストレーション対象画像は、レーザレーダで走査された奥行き画像であってもよく、第２レジストレーション対象画像は、カメラで撮影された可視光画像であってもよく、ここでは限定しない。
ステップＳ５２において、解きほぐしモデルを利用し、第１レジストレーション対象画像、第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、第１レジストレーション対象画像の内容特徴データ及び第２レジストレーション対象画像の内容特徴データを得る。
本実施例では、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像で訓練されたものであり、１種類の訓練画像は、第１レジストレーション対象画像と第１ドメインに属し、他の種類の訓練画像は、第２レジストレーション対象画像と第２ドメインに属する。解きほぐしモデルの訓練プロセスは、第１ドメインに属する第１種類の訓練画像と第２ドメインに属する第２種類の訓練画像を取得し、オリジナルの解きほぐしモデルを利用して第１種類の訓練画像と第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データを得、それによって第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データとを利用して再構成して再構成画像を得、再構成画像に基づいて、解きほぐしモデルの損失値を得、さらに損失値に基づいて、解きほぐしモデルのパラメータを調整することを含むことができる。具体的には、上記の実施例における関連するステップを参照することができ、ここでは説明を省略する。
訓練された解きほぐしモデルによって第１レジストレーション対象画像と第２レジストレーション対象画像に対して内容抽出をそれぞれ行うことにより、抽出された第１レジストレーション対象画像の内容特徴データ及び第２レジストレーション対象画像の内容特徴データは、同一のデータ分布に従うことができ、それによって後の処理が容易になる。
図６を参照すると、図６は本開示による画像レジストレーションの一実施例のプロセスの概略図である。図６に示すように、第１レジストレーション対象画像６０１は、頭部ＣＴ画像であり、第２レジストレーション対象画像６０２は、頭部ＭＲ画像であり、頭部ＣＴ画像と同一の第１ドメインに属する訓練画像と、頭部ＭＲ画像と同一の第２ドメインに属する訓練画像とを使用すると、解きほぐしモデルを訓練して得ることができ、これにより、訓練された解きほぐしモデルを利用し、頭部ＣＴ画像及び頭部ＭＲ画像に対して内容抽出を行う（解きほぐし６０９）と、第１レジストレーション対象画像６０１の内容特徴データ６０５及びスタイル特徴データ６０６、第２レジストレーション対象画像６０２の内容特徴データ６０３及びスタイル特徴データ６０４を得ることができる。
ステップＳ５３において、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定する。
１つの実施場面では、第１レジストレーション対象画像及び第２レジストレーション対象画像の実際の状況に基づいてレジストレーションパラメータを決定することができるために、レジストレーションパラメータは、剛性変化パラメータ、変形変化パラメータのうちの少なくとも１つを含むことができる。レジストレーションパラメータが剛性変化パラメータを含む場合、画像は、回転変化及び／又は平行移動変化のみを行って、形状が変化しない。レジストレーションパラメータが変形変化パラメータである場合、画像の形状が変化する。
図６を引き続き参照すると、第１レジストレーション対象画像６０１の内容特徴データ６０５及び第２レジストレーション対象画像６０２の内容特徴データ６０３に基づいて、第１レジストレーション対象画像６０１及び第２レジストレーション対象画像６０２のレジストレーションパラメータ６０７を得る。
１つの実施場面では、画像レジストレーションプロセスにおいて、第１レジストレーション対象画像と第２レジストレーション対象画像のうちの一方を動き画像とし、他方を固定画像とすることができる。例えば、第１レジストレーション対象画像を動き画像とする場合、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、第１レジストレーション対象画像に対応するレジストレーションパラメータを決定することができる。
ステップＳ５４において、レジストレーションパラメータを利用し、第１レジストレーション対象画像と第２レジストレーション対象画像とをレジストレーションする。
１つの実施場面では、画像レジストレーションプロセスにおいて、第１レジストレーション対象画像と第２レジストレーション対象画像のうちの一方を動き画像とし、他方を固定画像とすることができる。例えば、第１レジストレーション対象画像を動き画像とし、第１レジストレーション対象画像及び第２レジストレーション対象画像に基づいて、第１レジストレーション対象画像のレジストレーションパラメータを決定すると、レジストレーションパラメータを利用し、第１レジストレーション対象画像に対して変化処理（例えば、剛性変化パラメータ、変形変化）を行い、第１レジストレーション対象画像に対応する変化画像を得、変化画像の画素点を第２レジストレーション対象画像の対応する画素点に重ね合わせ、それによって画像合わせを実現することができる。
図６から分かるように、第２レジストレーション対象画像６０２と第１レジストレーション対象画像６０１のそれぞれに対応する内容特徴データ６０３及び内容特徴データ６０５を同じモーダル（同じ分布）として教師なし画像レジストレーションを直接行う。図６を引き続き参照すると、第１レジストレーション対象画像６０１を動き画像とし、第２レジストレーション対象画像６０２を固定画像として使用するため、第２レジストレーション対象画像６０２の内容特徴データ６０３及び第１レジストレーション対象画像６０１の内容特徴データ６０５に基づいて、第２レジストレーション対象画像６０２のレジストレーションパラメータ６０７を決定し、それによってレジストレーションパラメータ６０７を使用して第１レジストレーション対象画像６０１に対して剛性変化処理などの変化処理を行い、変化画像６０８を得、それによって得られた変化画像６０８の画素点を第２レジストレーション対象画像６０２の対応する画素点に重ね合わせ、さらに画像レジストレーションを遂行する。
１つの実施場面では、画像レジストレーションの精度をさらに向上させるために、第１レジストレーション対象画像及び第２レジストレーション対象画像のレジストレーションパラメータを決定し、レジストレーションパラメータを利用して第１レジストレーション対象画像に対して変化処理を行い、対応する変化画像を得た後、変化画像と第２レジストレーション対象画像との差異を統計し、統計された差異に基づいて、レジストレーションパラメータを微調整し、微調整されたレジストレーションパラメータを利用して第１レジストレーション対象画像に対して変化処理を継続し、対応する変化画像を得、変化画像と第２レジストレーション対象画像との差異を統計し、統計された差異に基づいて、上記の微調整されたレジストレーションパラメータを再度微調整し、得られた変化画像と第２レジストレーション対象画像との差異が許容範囲内になるまで、上述した、微調整されたレジストレーションパラメータを利用して第１レジストレーション対象画像に対して変化処理を行うステップを繰り返すことができる。
上記解決策では、第１レジストレーション対象画像と同一の第１ドメインに属する１種類の訓練画像、及び第２レジストレーション対象画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、抽出された第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データを、同一のドメインに属させることができ、これにより、両者の内容特徴データに基づいて両者のレジストレーションパラメータを直接得てレジストレーションすることができ、異なるドメインの画像間で教師なしレジストレーションを実現することができ、さらに異なるドメインの画像レジストレーションのコストを削減し、その精度を向上させることができる。
本開示の実施例は、画像解きほぐしモデルに基づく教師なしドメイン適応方法を提案する。このようにデータラベリングコストを大幅に削減するとともに、異なるモーダル間の教師なしレジストレーションを解決することもできる。しかしながら、関連技術では、別のデータ分布でのラベリングにはラベリングするために多くの人件費を費やす必要があり、又は敵対的生成ネットワークの方式で別のデータ分布が生成され、全体的な精度は、本開示の実施例によって提案される解きほぐし方法ほど高くない。
本開示の実施例では、潜在的な変数を同一の符号化スペースの内容特徴及び異なる符号化スペースのスタイル特徴に変更させることにより、異なるデータ分布の画像は、内容特徴上で同一の分布に従うことができる。関連技術は、通常、共有潜在的な変数が使用されるため、解きほぐしの効果が低い。
本開示の実施例は、異なるデータ分布のモデルを配置又は訓練するために使用されてもよく、ラベリングコストを節約し、製品の精度を向上させ、スマート医療支援診断、クラウドプラットフォーム支援スマート診断、遠隔診断システムなどの製品に適している。
図７を参照すると、図７は本開示によるモデル訓練装置７０の一実施例のフレームワーク概略図である。モデル訓練装置７０は、画像取得モジュール７１、内容抽出モジュール７２及びモデル訓練モジュール７３を備え、画像取得モジュール７１は、ラベリング情報を有する少なくとも１つのサンプル画像を取得するように構成され、内容抽出モジュール７２は、解きほぐしモデルを利用し、少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、少なくとも１つのサンプル画像の内容特徴データを得るように構成され、モデル訓練モジュール７３は、少なくとも１つのサンプル画像の内容特徴データ及びラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するように構成されたネットワークモデルを得るように構成され、ここで、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の訓練画像とサンプル画像は、第１ドメインに属し、他方の種類の訓練画像と目標画像は、第２ドメインに属する。
上記解決策では、サンプル画像と同一の第１ドメインに属する１種類の訓練画像、及び目標画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、ラベリング情報を有するサンプル画像と目標画像とをマッピングして同一のドメインに属する内容特徴データを得ることができ、それによって訓練画像の内容特徴データ及びラベリング情報を利用して訓練されたネットワークモデルは、同様に目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減し、後の処理精度を向上させることができる。
いくつかの実施例では、サンプル画像と目標画像は、医用画像であり、ラベリング情報は、生体器官のラベリング情報であり、及び／又は、サンプル画像と目標画像は、３次元画像であり、ラベリング情報は、３次元目標のラベルリング情報である。
上記実施例とは異なり、サンプル画像と目標画像を医用画像とし、ラベリング情報を生体器官のラベリング情報とすることにより、医用画像分野に適用することができるが、サンプル画像と目標画像を３次元画像とし、ラベリング情報を３次元目標のラベリング情報とすることにより、３次元画像の処理に適用することができる。
いくつかの実施例では、予め設定されたネットワークモデルは、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれか１つを含む。
上記実施例とは異なり、予め設定されたネットワークモデルを画像分割ネットワークモデル、画像分類ネットワーク、目標検出ネットワークモデルのいずれかとすることにより、異なる種類の予め設定されたネットワークモデルに基づいて、異なる画像処理タスクに適用するネットワークモデルを訓練して得ることができ、それによって異なるドメインの画像に対する異なる処理タスクを遂行することができる。
いくつかの実施例では、モデル訓練装置７０は、第１ドメインに属する第１種類の訓練画像と第２ドメインに属する第２種類の訓練画像とを取得するように構成される訓練画像取得モジュールをさらに備え、モデル訓練装置７０は、オリジナルの解きほぐしモデルを利用して第１種類の訓練画像と第２種類の訓練画像に対して内容及びスタイルの抽出をそれぞれ行い、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データを得るように構成される画像抽出モジュールを備え、モデル訓練装置７０は、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データとを利用して再構成して再構成画像を得るように構成される画像再構成モジュールをさらに備え、モデル訓練装置７０は、再構成画像に基づいて、解きほぐしモデルの損失値を得るように構成される損失計算モジュールをさらに備え、モデル訓練装置７０は、損失値に基づいて、解きほぐしモデルのパラメータを調整するように構成されるパラメータ調整モジュールをさらに備える。
上記実施例とは異なり、解きほぐしモデルを利用し、第１ドメインに属する第１種類の訓練画像及び第２ドメインに属する第２種類の訓練画像に対して特徴抽出を行い、抽出された内容特徴データ及びスタイル特徴データに基づいて再構成することができ、これにより、再構成された再構成画像に基づいて、解きほぐしモデルの損失値を得、さらに損失値に基づいて解きほぐしモデルに対してパラメータを調整し、それによって解きほぐしモデルを訓練して得ることができる。
いくつかの実施例では、画像再構成モジュールは、第１種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第１ドメイン内の再構成画像を得、第２種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第２ドメイン内の再構成画像を得るように構成されるドメイン内の再構成サブモジュールを含み、画像再構成モジュールは、第１種類の訓練画像のスタイル特徴データ及び第２種類の訓練画像の内容特徴データを利用して再構成することによって、第１クロスドメインの再構成画像を得、第２種類の訓練画像のスタイル特徴データ及び第１種類の訓練画像の内容特徴データを利用して再構成し、第２クロスドメインの再構成画像を得るように構成されるクロスドメインの再構成サブモジュールをさらに含む。損失計算モジュールは、第１種類の訓練画像と第１ドメイン内の再構成画像との差異に基づいて、第１ドメイン内損失値を得、第２種類の訓練画像と第２ドメイン内の再構成画像との差異に基づいて、第２ドメイン内損失値を得るように構成される損失計算サブモジュールを含み、損失計算モジュールは、第１種類の訓練画像及び第２クロスドメインの再構成画像の両者の内容特徴データ間の差異に基づいて、第１内容損失値を得、第２種類の訓練画像及び第１クロスドメインの再構成画像の両者の内容特徴データ間の差異に基づいて、第２内容損失値を得るように構成される内容損失計算サブモジュールをさらに含み、損失計算モジュールは、第１種類の訓練画像と第１クロスドメインの再構成画像の両者のスタイル特徴データ間の差異に基づいて、第１スタイル損失値を得、第２種類の訓練画像と第２クロスドメインの再構成画像の両者のスタイル特徴データ間の差異に基づいて、第２スタイル損失値を得るように構成されるスタイル損失計算サブモジュールをさらに含み、損失計算モジュールは、第１種類の訓練画像と第１クロスドメインの再構成画像との差異に基づいて、第１クロスドメイン損失値を得、第２種類の訓練画像と第２クロスドメインの再構成画像との差異に基づいて、第２クロスドメイン損失値を得るように構成されるクロスドメイン損失計算サブモジュールをさらに含み、損失計算モジュールは、上記で得られた損失値に対して重み付け処理を行い、解きほぐしモデルの損失値を得るように構成される損失重み付けサブモジュールをさらに含む。
上記実施例とは異なり、ドメイン内損失値とクロスドメイン損失値、及び画像再構成後の対応する内容特徴データとスタイル特徴データの損失値に基づいて重み付け処理を行うことにより、解きほぐしモデルの損失値を得ることができ、さらにトータル的な損失値に基づいてパラメータを調整することができ、解きほぐしモデルによって抽出された異なるドメインの画像の内容特徴データを、同一のドメインに属させることができる。
図８を参照すると、図８は本開示による画像処理装置８０の一実施例のフレームワーク概略図である。画像処理装置８０は、内容抽出モジュール８１とネットワーク処理モジュール８２とを備え、内容抽出モジュール８１は、解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、目標画像の内容特徴データを得るように構成され、ネットワーク処理モジュール８２は、処理ネットワークモデルを使用し、目標画像の内容特徴データを処理し、目標画像の処理結果を得るように構成され、ここで、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、１種類の訓練画像と目標画像は、同一のドメインに属し、処理ネットワークモデルは、上記のいずれかのモデル訓練装置の実施例におけるモデル訓練装置を使用して得られたものである。
上記の解決策では、上記のいずれかのモデル訓練装置の実施例におけるモデルレーニング装置によって訓練された処理ネットワークモデルは、当該処理ネットワークモデルのサンプル画像に適用できるだけでなく、目標画像にも適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減することができ、かつ画像の処理精度を向上させることができる。
図９を参照すると、図９は本開示による画像レジストレーション装置９０の一実施例のフレームワーク概略図である。画像レジストレーション装置９０は、画像取得モジュール９１、内容抽出モジュール９２、パラメータ決定モジュール９３及び画像レジストレーションモジュール９４を備え、画像取得モジュール９１は、第１レジストレーション対象画像と第２レジストレーション対象画像を取得するように構成され、内容抽出モジュール９２は、解きほぐしモデルを利用して第１レジストレーション対象画像、第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データとを得るように構成され、パラメータ決定モジュール９３は、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するように構成され、画像レジストレーションモジュール９４は、レジストレーションパラメータを利用して第１レジストレーション対象画像と第２レジストレーション対象画像とをレジストレーションするように構成され、ここで、解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、１種類の訓練画像と第１レジストレーション対象画像は、第１ドメインに属し、他の種類の訓練画像と第２レジストレーション対象画像は、第２ドメインに属する。
上記解決策では、第１レジストレーション対象画像と同一の第１ドメインに属する１種類の訓練画像、及び第２レジストレーション対象画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、抽出された第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データは、同一のドメインに属することができ、これにより、両者の内容特徴データに基づいて両者のレジストレーションパラメータを直接得てレジストレーションすることができ、異なるドメインの画像間で教師なしレジストレーションを実現することができ、さらに異なるドメインの画像レジストレーションのコストを削減し、その精度を向上させることができる。
いくつかの実施例では、第１レジストレーション対象画像と第２レジストレーション対象画像は、医用画像であり、及び／又は、第１レジストレーション対象画像と第２レジストレーション対象画像は、３次元画像であり、及び／又は、レジストレーションパラメータは、剛性変化パラメータ、変形変化パラメータの少なくとも１つを含む。
上記実施例とは異なり、第１レジストレーション対象画像と第２レジストレーション対象画像を医用画像とすることにより、画像レジストレーションを医用画像のレジストレーションに適用させることができ、第１レジストレーション対象画像と第２レジストレーション対象画像を３次元画像とすることにより、画像レジストレーションを３次元画像のレジストレーションに適用させることができるが、レジストレーションパラメータは、剛性変化パラメータと変形変化パラメータの少なくとも１つを含むことができ、これにより、第１レジストレーション対象画像と第２レジストレーション対象画像は、両者の実際の状況に基づいて対応して変化した後、レジストレーションを実現することができ、それによって画像レジストレーションの精度を向上することに有利である。
いくつかの実施例では、パラメータ決定モジュール９３は、第１レジストレーション対象画像の内容特徴データと第２レジストレーション対象画像の内容特徴データに基づいて、第１レジストレーション対象画像に対応するレジストレーションパラメータを決定するように構成され、画像レジストレーションモジュール９４は、レジストレーションパラメータを利用して第１レジストレーション対象画像に対して変化処理を行い、第１レジストレーション対象画像に対応する変化画像を得るように構成される変化処理サブモジュールを含み、画像レジストレーションモジュール９４は、変化画像の画素点を第２レジストレーション対象画像の対応する画素点に重ね合わせるように構成される画素重ね合わせモジュールをさらに含む。
上記実施例とは異なり、第１レジストレーション対象画像に対応するレジストレーションパラメータを利用し、第１レジストレーション対象画像に対して変化処理を行って、第１レジストレーション対象画像に対応する変化画像を得ることができ、さらに変化画像の画素点を第２レジストレーション対象画像の対応する画素点に重ね合わせ、それによって異なるドメインの画像間の教師なしレジストレーションを実現することができる。
いくつかの実施例では、画像レジストレーション装置９０は、第１ドメインに属する第１種類の訓練画像と第２ドメインに属する第２種類の訓練画像とを取得するように構成される訓練画像取得モジュールをさらに備え、モデル訓練装置９０は、オリジナルの解きほぐしモデルを利用して第１種類の訓練画像と第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データを得るように構成される画像抽出モジュールをさらに備え、モデル訓練装置９０は、第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び第２種類の訓練画像の内容特徴データとスタイル特徴データとを利用して再構成して再構成画像を得るように構成される画像再構成モジュールをさらに備え、モデル訓練装置９０は、再構成画像に基づいて、解きほぐしモデルの損失値を得るように構成される損失計算モジュールをさらに備え、モデル訓練装置９０は、損失値に基づいて、解きほぐしモデルのパラメータを調整するように構成されるパラメータ調整モジュールをさらに備える。
上記実施例とは異なり、オリジナルの解きほぐしモデルを利用し、第１ドメインに属する第１種類の訓練画像及び第２ドメインに属する第２種類の訓練画像に対して特徴抽出を行い、抽出された内容特徴データ及びスタイル特徴データに基づいて再構成することができ、これにより、再構成された再構成画像に基づいて、解きほぐしモデルの損失値を得、さらに損失値に基づいて解きほぐしモデルのパラメータを調整し、それによって解きほぐしモデルを訓練して得ることができる。
図１０を参照すると、図１０は本開示による電子デバイス１００の一実施例のフレームワーク概略図である。電子デバイス１００は、互いに接続されるメモリ１０１及びプロセッサ１０２を備え、プロセッサ１０２は、上記のいずれかのモデル訓練方法の実施例におけるステップ、又は上記のいずれかの画像処理方法の実施例におけるステップ、又は上記のいずれかの画像レジストレーション方法の実施例におけるステップを実現するために、メモリ１０１に記憶されたプログラム命令を実行するように構成される。本実施例では、電子デバイス１００は、ノートブック、タブレットコンピュータ、スマートフォンなどのモバイルデバイスを含むことができ、マイクロコンピュータ、サーバーなどの端末デバイスも含むことができ、ここでは限定しない。
プロセッサ１０２は、上記のいずれかのモデル訓練方法の実施例におけるステップ、又は上記のいずれかの画像処理方法の実施例におけるステップ、又は上記のいずれかの画像レジストレーション方法の実施例におけるステップを実現するために自体及びメモリ１１０を制御するように構成される。プロセッサ１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理ユニット）とも呼ばれてもよい。プロセッサ１０２は信号処理機能を有する集積回路チップであってもよい。プロセッサ１０２は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、いずれかの従来のプロセッサなどであってもよい。また、プロセッサ１０２は、集積回路チップによって共同で実現されてもよい。
上記解決策により、異なるドメインの画像のラベリングコストを削減し、画像の処理精度を向上させることができる。
図１１を参照すると、図１１は本開示によるコンピュータ可読記憶媒体１１０の一実施例のフレームワーク概略図である。コンピュータ可読記憶媒体１１０は、プロセッサで実行可能なプログラム命令１１１が記憶されており、プログラム命令１１１は、上記のいずれかのモデル訓練方法の実施例におけるステップ、上記のいずれかの画像処理方法の実施例におけるステップ、又は上記のいずれかの画像レジストレーション方法の実施例におけるステップを実現するように構成される。
本開示の実施例は、コンピュータプログラム製品をさらに提供し、前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、上記のいずれかのモデル訓練方法の実施例におけるステップ、又は上記のいずれかの画像処理方法の実施例におけるステップ、又は上記のいずれかの画像レジストレーション方法の実施例におけるステップを実現することに適している。
上記解決策により、異なるドメインの画像のラベリングコストを削減し、画像の処理精度を向上させることができる。
本開示によって提供されるいくつかの実施例では、開示される方法及び装置が他の方式により実現されてもよいことを理解すべきである。例えば、上記の装置の実施形態は例示的なものであってもよく、例えば、モジュール又はユニットの区分は、論理機能的区分であってもよく、実際に実施するときに他の区分モードもあり得て、例えばユニット又はコンポーネントは、組み合わせられてもよく又は別のシステムに統合されてもよく、又はいくつかの特徴は、無視されてもよく、又は実行されなくてもよい。また、示されるか、又は議論される相互結合又は直接結合又は通信接続は、いくつかのインターフェース、デバイス又はユニットを介す間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
分離部材として説明されるユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち一つの箇所に位置してもよく、又はネットワークユニットに分布してもよい。実際のニーズに応じてその中の一部又は全てのユニットを選択して本実施形態の解決策の目的を達成することができる。
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、個々のユニットは、単独で物理的に存在してもよく、２つ又は２つ以上のユニットは、１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ブロックの形態で実現されてもよい。
統合されたユニットは、ソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の実施例における技術的解決策は、本質的に又は従来技術に寄与する部分又は当該技術的解決策の全て又は部分がソフトウェア製品の形で体現されてもよく、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、又はネットワークデバイス等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本開示の各実施形態の方法のステップの全て又は一部を実行させるためのいくつかの命令を含む。前記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。
本実施例では、サンプル画像と同一の第１ドメインに属する１種類の訓練画像、及び目標画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、ラベリング情報を有するサンプル画像と目標画像とをマッピングして同一のドメインに属する内容特徴データを得ることができ、それによって訓練画像の内容特徴データ及びラベリング情報を利用して訓練されたネットワークモデルは、同様に目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減し、画像の処理精度を向上させることができる。
上記解決策では、サンプル画像と同一の第１ドメインに属する１種類の訓練画像、及び目標画像と同一の第２ドメインに属する他の種類の訓練画像で訓練された解きほぐしモデルにより、ラベリング情報を有するサンプル画像と目標画像とをマッピングして同一のドメインに属する内容特徴データを得ることができ、それによって訓練画像の内容特徴データ及びラベリング情報を利用して訓練されたネットワークモデルは、同様に目標画像に適用できるため、更にラベリングする必要がなく、それによって異なるドメインの画像のラベリングコストを削減し、画像の処理精度を向上させることができる。
例えば、本願は以下の項目を提供する。
（項目１）
モデル訓練方法であって、
ラベリング情報を有する少なくとも１つのサンプル画像を取得するステップと、
解きほぐしモデルを利用し、前記少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、前記少なくとも１つのサンプル画像の内容特徴データを得るステップと、
前記少なくとも１つのサンプル画像の内容特徴データ及び前記ラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るステップと、を含み、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記サンプル画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記目標画像は、第２ドメインに属する、
モデル訓練方法。
（項目２）
前記サンプル画像と前記目標画像は、医用画像であり、前記ラベリング情報は、生体器官のラベリング情報であり、
及び／又は、前記サンプル画像と前記目標画像は、３次元画像であり、前記ラベリング情報は、３次元目標のラベルリング情報であることを特徴とする、
項目１に記載のモデル訓練方法。
（項目３）
前記予め設定されたネットワークモデルは、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれか１つを含むことを特徴とする
項目１に記載のモデル訓練方法。
（項目４）
前記方法は、前記解きほぐしモデルを訓練して得るために、
前記第１ドメインに属する第１種類の訓練画像及び前記第２ドメインに属する第２種類の訓練画像を取得するステップと、
オリジナルの解きほぐしモデルを利用し、前記第１種類の訓練画像及び第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを得るステップと、
前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るステップと、
前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るステップと、
前記損失値に基づいて、前記解きほぐしモデルのパラメータを調整するステップと、をさらに含むことを特徴とする
項目１に記載のモデル訓練方法。
（項目５）
前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るステップは、
前記第１種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第１ドメイン内の再構成画像を得、前記第２種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第２ドメイン内の再構成画像を得るステップと、
前記第１種類の訓練画像のスタイル特徴データ及び前記第２種類の訓練画像の内容特徴データを利用して再構成することによって、第１クロスドメインの再構成画像を得、前記第２種類の訓練画像のスタイル特徴データ及び前記第１種類の訓練画像の内容特徴データを利用して再構成することによって、第２クロスドメインの再構成画像を得るステップと、を含み、
前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るステップは、
前記第１種類の訓練画像と前記第１ドメイン内の再構成画像との差異に基づいて、第１ドメイン内損失値を得、前記第２種類の訓練画像と前記第２ドメイン内の再構成画像との差異に基づいて、第２ドメイン内損失値を得るステップと、
前記第１種類の訓練画像と前記第２クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第１内容損失値を得、前記第１種類の訓練画像と前記第１クロスドメインの再構成画像とのスタイル特徴データの間の差異に基づいて、第１スタイル損失値を得、前記第２種類の訓練画像と前記第１クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第２内容損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像とのスタイル特徴データの間の差異に基づいて、第２スタイル損失値を得るステップと、
前記第１種類の訓練画像と前記第１クロスドメインの再構成画像との差異に基づいて、第１クロスドメイン損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像との差異に基づいて、第２クロスドメイン損失値を得るステップと、
上記で得られた損失値に対して重み付け処理を行い、前記解きほぐしモデルの損失値を得るステップと、を含むことを特徴とする項目４に記載のモデル訓練方法。
（項目６）
画像処理方法であって、
解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、前記目標画像の内容特徴データを得るステップと、
処理ネットワークモデルを使用して前記目標画像の内容特徴データを処理し、前記目標画像の処理結果を得るステップと、を含み、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの１種類の前記訓練画像と前記目標画像は、第１ドメインに属し、前記処理ネットワークモデルは、項目１－５のいずれか一項に記載の方法を使用して訓練されたものである、
画像処理方法。
（項目７）
画像レジストレーション方法であって、
第１レジストレーション対象画像と第２レジストレーション対象画像を取得するステップと、
解きほぐしモデルを利用し、前記第１レジストレーション対象画像、前記第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、前記第１レジストレーション対象画像の内容特徴データ及び前記第２レジストレーション対象画像の内容特徴データを得るステップと、
前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するステップと、
前記レジストレーションパラメータを利用して前記第１レジストレーション対象画像と前記第２レジストレーション対象画像とをレジストレーションするステップと、を含み、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記第１レジストレーション対象画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記第２レジストレーション対象画像は、第２ドメインに属する、
画像レジストレーション方法。
（項目８）
前記第１レジストレーション対象画像と前記第２レジストレーション対象画像は、医用画像であり、
及び／又は、前記第１レジストレーション対象画像と前記第２レジストレーション対象画像は、３次元画像であり、
及び／又は、前記レジストレーションパラメータは、剛性変化パラメータ、変形変化パラメータの少なくとも１つを含むことを特徴とする
項目７に記載の画像レジストレーション方法。
（項目９）
前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するステップは、
前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、前記第１レジストレーション対象画像に対応する前記レジストレーションパラメータを決定するステップを含み、
前記レジストレーションパラメータを利用し、前記第１レジストレーション対象画像と前記第２レジストレーション対象画像とをレジストレーションするステップは、
前記レジストレーションパラメータを利用し、前記第１レジストレーション対象画像に対して変化処理を行い、前記第１レジストレーション対象画像に対応する変化画像を得るステップと、
前記変化画像の画素点を前記第２レジストレーション対象画像に対応する画素点に重ね合わせるステップと、を含むことを特徴とする
項目７に記載の画像レジストレーション方法。
（項目１０）
前記方法は、前記解きほぐしモデルを訓練して得るために、
前記第１ドメインに属する第１種類の訓練画像及び前記第２ドメインに属する第２種類の訓練画像を取得するステップと、
オリジナルの解きほぐしモデルを利用し、前記第１種類の訓練画像及び第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを得るステップと、
前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るステップと、
前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るステップと、
前記損失値に基づいて、前記解きほぐしモデルのパラメータを調整するステップと、をさらに含むことを特徴とする
項目７に記載の画像レジストレーション方法。
（項目１１）
モデル訓練装置であって、
ラベリング情報を有する少なくとも１つのサンプル画像を取得するように構成される画像取得モジュールと、
解きほぐしモデルを利用し、前記少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、前記少なくとも１つのサンプル画像の内容特徴データを得るように構成される内容抽出モジュールと、
前記少なくとも１つのサンプル画像の内容特徴データ及び前記ラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るように構成されるモデル訓練モジュールと、を備え、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記サンプル画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記目標画像は、第２ドメインに属する、
モデル訓練装置。
（項目１２）
前記サンプル画像と前記目標画像は、医用画像であり、前記ラベリング情報は、生体器官のラベリング情報であり、
及び／又は、前記サンプル画像と前記目標画像は、３次元画像であり、前記ラベリング情報は、３次元目標のラベルリング情報であることを特徴とする
項目１１に記載の装置。
（項目１３）
前記予め設定されたネットワークモデルは、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれか１つを含むことを特徴とする
項目１１に記載の装置。
（項目１４）
前記装置は、
前記第１ドメインに属する第１種類の訓練画像及び前記第２ドメインに属する第２種類の訓練画像を取得するように構成される訓練画像取得モジュールと、
オリジナルの解きほぐしモデルを利用し、前記第１種類の訓練画像及び第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを得るように構成される画像抽出モジュールと、
前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るように構成される画像再構成モジュールと、
前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るように損失計算モジュールと、
前記損失値に基づいて、前記解きほぐしモデルのパラメータを調整するように構成されるパラメータ調整モジュールと、をさらに備えることを特徴とする
項目１１に記載の装置。
（項目１５）
前記画像再構成モジュールは、
前記第１種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第１ドメイン内の再構成画像を得、前記第２種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第２ドメイン内の再構成画像を得るように構成されるドメイン内の再構成サブモジュールと、
前記第１種類の訓練画像のスタイル特徴データ及び前記第２種類の訓練画像の内容特徴データを利用して再構成することによって、第１クロスドメインの再構成画像を得、前記第２種類の訓練画像のスタイル特徴データ及び前記第１種類の訓練画像の内容特徴データを利用して再構成することによって、第２クロスドメインの再構成画像を得るように構成されるクロスドメインの再構成サブモジュールと、を含み、
前記損失計算モジュールは、
前記第１種類の訓練画像と前記第１ドメイン内の再構成画像との差異に基づいて、第１ドメイン内損失値を得、前記第２種類の訓練画像と前記第２ドメイン内の再構成画像との差異に基づいて、第２ドメイン内損失値を得るように構成されるドメイン内損失計算サブモジュールと、
前記第１種類の訓練画像と前記第２クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第１内容損失値を得、前記第２種類の訓練画像と前記第１クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第２内容損失値を取得するように構成される内容損失計算サブモジュールと、
前記第１種類の訓練画像と前記第１クロスドメインの再構成画像の両者のスタイル特徴データ間の差異に基づいて、第１スタイル損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像とのスタイル特徴データの間の差異に基づいて、第２スタイル損失値を得るように構成されるスタイル損失計算サブモジュールと、
前記第１種類の訓練画像と前記第１クロスドメインの再構成画像との差異に基づいて、第１クロスドメイン損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像との差異に基づいて、第２クロスドメイン損失値を得るように構成されるクロスドメイン損失計算サブモジュールと、
上記で得られた損失値に対して重み付け処理を行い、前記解きほぐしモデルの損失値を得るように構成される損失重み付けサブモジュールと、を含むことを特徴とする
項目１４に記載の装置。
（項目１６）
画像処理装置であって、
解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、前記目標画像の内容特徴データを得るように構成される内容抽出モジュールと、
処理ネットワークモデルを使用して前記目標画像の内容特徴データを処理し、前記目標画像の処理結果を得るように構成されるネットワーク処理モジュールと、を備え、
ここで、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの１種類の前記訓練画像と前記目標画像は、第１ドメインに属し、前記処理ネットワークモデルは、項目１１に記載のモデル訓練装置を利用して得られたものである、
画像処理装置。
（項目１７）
画像レジストレーション装置であって、
第１レジストレーション対象画像と第２レジストレーション対象画像を取得するように構成される画像取得モジュールと、
解きほぐしモデルを利用し、前記第１レジストレーション対象画像、前記第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、前記第１レジストレーション対象画像の内容特徴データ及び前記第２レジストレーション対象画像の内容特徴データを得るように構成される内容抽出モジュールと、
前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するように構成されるパラメータ決定モジュールと、
前記レジストレーションパラメータを利用し、前記第１レジストレーション対象画像と前記第２レジストレーション対象画像とをレジストレーションするように構成される画像レジストレーションモジュールと、を備え、
ここで、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像で訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記第１レジストレーション対象画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記第２レジストレーション対象画像は、第２ドメインに属する、
画像レジストレーション装置。
（項目１８）
電子デバイスであって、互いに接続されるメモリ及びプロセッサを備え、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、項目１－５のいずれか一項に記載のモデル訓練方法、項目６に記載の画像処理方法、項目７－１０のいずれか一項に記載の画像レジストレーション方法を実行するように構成される、
電子デバイス。
（項目１９）
プログラム命令を記憶するコンピュータ可読記憶媒体であって、前記プログラム命令がプロセッサに実行されるときに、項目１－５のいずれか一項に記載のモデル訓練方法、又は項目６に記載の画像処理方法、又は項目７－１０のいずれか一項に記載の画像レジストレーション方法を実行する、
コンピュータ可読記憶媒体。
（項目２０）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサによってロードされて項目１－５のいずれか一項に記載のモデル訓練方法を実行し、又は、項目６に記載の画像処理方法、又は項目７－１０のいずれか一項に記載の画像レジストレーション方法を実行する、
コンピュータプログラム製品。

Claims (20)

  1. モデル訓練方法であって、
    ラベリング情報を有する少なくとも１つのサンプル画像を取得するステップと、
    解きほぐしモデルを利用し、前記少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、前記少なくとも１つのサンプル画像の内容特徴データを得るステップと、
    前記少なくとも１つのサンプル画像の内容特徴データ及び前記ラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るステップと、を含み、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記サンプル画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記目標画像は、第２ドメインに属する、
    モデル訓練方法。
  2. 前記サンプル画像と前記目標画像は、医用画像であり、前記ラベリング情報は、生体器官のラベリング情報であり、
    及び／又は、前記サンプル画像と前記目標画像は、３次元画像であり、前記ラベリング情報は、３次元目標のラベルリング情報であることを特徴とする、
    請求項１に記載のモデル訓練方法。
  3. 前記予め設定されたネットワークモデルは、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれか１つを含むことを特徴とする
    請求項１に記載のモデル訓練方法。
  4. 前記方法は、前記解きほぐしモデルを訓練して得るために、
    前記第１ドメインに属する第１種類の訓練画像及び前記第２ドメインに属する第２種類の訓練画像を取得するステップと、
    オリジナルの解きほぐしモデルを利用し、前記第１種類の訓練画像及び第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを得るステップと、
    前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るステップと、
    前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るステップと、
    前記損失値に基づいて、前記解きほぐしモデルのパラメータを調整するステップと、をさらに含むことを特徴とする
    請求項１に記載のモデル訓練方法。
  5. 前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るステップは、
    前記第１種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第１ドメイン内の再構成画像を得、前記第２種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第２ドメイン内の再構成画像を得るステップと、
    前記第１種類の訓練画像のスタイル特徴データ及び前記第２種類の訓練画像の内容特徴データを利用して再構成することによって、第１クロスドメインの再構成画像を得、前記第２種類の訓練画像のスタイル特徴データ及び前記第１種類の訓練画像の内容特徴データを利用して再構成することによって、第２クロスドメインの再構成画像を得るステップと、を含み、
    前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るステップは、
    前記第１種類の訓練画像と前記第１ドメイン内の再構成画像との差異に基づいて、第１ドメイン内損失値を得、前記第２種類の訓練画像と前記第２ドメイン内の再構成画像との差異に基づいて、第２ドメイン内損失値を得るステップと、
    前記第１種類の訓練画像と前記第２クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第１内容損失値を得、前記第１種類の訓練画像と前記第１クロスドメインの再構成画像とのスタイル特徴データの間の差異に基づいて、第１スタイル損失値を得、前記第２種類の訓練画像と前記第１クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第２内容損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像とのスタイル特徴データの間の差異に基づいて、第２スタイル損失値を得るステップと、
    前記第１種類の訓練画像と前記第１クロスドメインの再構成画像との差異に基づいて、第１クロスドメイン損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像との差異に基づいて、第２クロスドメイン損失値を得るステップと、
    上記で得られた損失値に対して重み付け処理を行い、前記解きほぐしモデルの損失値を得るステップと、を含むことを特徴とする請求項４に記載のモデル訓練方法。
  6. 画像処理方法であって、
    解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、前記目標画像の内容特徴データを得るステップと、
    処理ネットワークモデルを使用して前記目標画像の内容特徴データを処理し、前記目標画像の処理結果を得るステップと、を含み、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの１種類の前記訓練画像と前記目標画像は、第１ドメインに属し、前記処理ネットワークモデルは、請求項１－５のいずれか一項に記載の方法を使用して訓練されたものである、
    画像処理方法。
  7. 画像レジストレーション方法であって、
    第１レジストレーション対象画像と第２レジストレーション対象画像を取得するステップと、
    解きほぐしモデルを利用し、前記第１レジストレーション対象画像、前記第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、前記第１レジストレーション対象画像の内容特徴データ及び前記第２レジストレーション対象画像の内容特徴データを得るステップと、
    前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するステップと、
    前記レジストレーションパラメータを利用して前記第１レジストレーション対象画像と前記第２レジストレーション対象画像とをレジストレーションするステップと、を含み、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記第１レジストレーション対象画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記第２レジストレーション対象画像は、第２ドメインに属する、
    画像レジストレーション方法。
  8. 前記第１レジストレーション対象画像と前記第２レジストレーション対象画像は、医用画像であり、
    及び／又は、前記第１レジストレーション対象画像と前記第２レジストレーション対象画像は、３次元画像であり、
    及び／又は、前記レジストレーションパラメータは、剛性変化パラメータ、変形変化パラメータの少なくとも１つを含むことを特徴とする
    請求項７に記載の画像レジストレーション方法。
  9. 前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するステップは、
    前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、前記第１レジストレーション対象画像に対応する前記レジストレーションパラメータを決定するステップを含み、
    前記レジストレーションパラメータを利用し、前記第１レジストレーション対象画像と前記第２レジストレーション対象画像とをレジストレーションするステップは、
    前記レジストレーションパラメータを利用し、前記第１レジストレーション対象画像に対して変化処理を行い、前記第１レジストレーション対象画像に対応する変化画像を得るステップと、
    前記変化画像の画素点を前記第２レジストレーション対象画像に対応する画素点に重ね合わせるステップと、を含むことを特徴とする
    請求項７に記載の画像レジストレーション方法。
  10. 前記方法は、前記解きほぐしモデルを訓練して得るために、
    前記第１ドメインに属する第１種類の訓練画像及び前記第２ドメインに属する第２種類の訓練画像を取得するステップと、
    オリジナルの解きほぐしモデルを利用し、前記第１種類の訓練画像及び第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを得るステップと、
    前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るステップと、
    前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るステップと、
    前記損失値に基づいて、前記解きほぐしモデルのパラメータを調整するステップと、をさらに含むことを特徴とする
    請求項７に記載の画像レジストレーション方法。
  11. モデル訓練装置であって、
    ラベリング情報を有する少なくとも１つのサンプル画像を取得するように構成される画像取得モジュールと、
    解きほぐしモデルを利用し、前記少なくとも１つのサンプル画像に対して内容抽出をそれぞれ行い、前記少なくとも１つのサンプル画像の内容特徴データを得るように構成される内容抽出モジュールと、
    前記少なくとも１つのサンプル画像の内容特徴データ及び前記ラベリング情報を利用して、予め設定されたネットワークモデルを訓練し、目標画像を処理するためのネットワークモデルを得るように構成されるモデル訓練モジュールと、を備え、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記サンプル画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記目標画像は、第２ドメインに属する、
    モデル訓練装置。
  12. 前記サンプル画像と前記目標画像は、医用画像であり、前記ラベリング情報は、生体器官のラベリング情報であり、
    及び／又は、前記サンプル画像と前記目標画像は、３次元画像であり、前記ラベリング情報は、３次元目標のラベルリング情報であることを特徴とする
    請求項１１に記載の装置。
  13. 前記予め設定されたネットワークモデルは、画像分割ネットワークモデル、画像分類ネットワークモデル、目標検出ネットワークモデルのいずれか１つを含むことを特徴とする
    請求項１１に記載の装置。
  14. 前記装置は、
    前記第１ドメインに属する第１種類の訓練画像及び前記第２ドメインに属する第２種類の訓練画像を取得するように構成される訓練画像取得モジュールと、
    オリジナルの解きほぐしモデルを利用し、前記第１種類の訓練画像及び第２種類の訓練画像に対して内容及びスタイル抽出をそれぞれ行い、前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを得るように構成される画像抽出モジュールと、
    前記第１種類の訓練画像の内容特徴データとスタイル特徴データ、及び前記第２種類の訓練画像の内容特徴データとスタイル特徴データを利用して再構成して再構成画像を得るように構成される画像再構成モジュールと、
    前記再構成画像に基づいて、前記解きほぐしモデルの損失値を得るように損失計算モジュールと、
    前記損失値に基づいて、前記解きほぐしモデルのパラメータを調整するように構成されるパラメータ調整モジュールと、をさらに備えることを特徴とする
    請求項１１に記載の装置。
  15. 前記画像再構成モジュールは、
    前記第１種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第１ドメイン内の再構成画像を得、前記第２種類の訓練画像の内容特徴データ及びスタイル特徴データを利用して再構成することによって、第２ドメイン内の再構成画像を得るように構成されるドメイン内の再構成サブモジュールと、
    前記第１種類の訓練画像のスタイル特徴データ及び前記第２種類の訓練画像の内容特徴データを利用して再構成することによって、第１クロスドメインの再構成画像を得、前記第２種類の訓練画像のスタイル特徴データ及び前記第１種類の訓練画像の内容特徴データを利用して再構成することによって、第２クロスドメインの再構成画像を得るように構成されるクロスドメインの再構成サブモジュールと、を含み、
    前記損失計算モジュールは、
    前記第１種類の訓練画像と前記第１ドメイン内の再構成画像との差異に基づいて、第１ドメイン内損失値を得、前記第２種類の訓練画像と前記第２ドメイン内の再構成画像との差異に基づいて、第２ドメイン内損失値を得るように構成されるドメイン内損失計算サブモジュールと、
    前記第１種類の訓練画像と前記第２クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第１内容損失値を得、前記第２種類の訓練画像と前記第１クロスドメインの再構成画像との内容特徴データの間の差異に基づいて、第２内容損失値を取得するように構成される内容損失計算サブモジュールと、
    前記第１種類の訓練画像と前記第１クロスドメインの再構成画像の両者のスタイル特徴データ間の差異に基づいて、第１スタイル損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像とのスタイル特徴データの間の差異に基づいて、第２スタイル損失値を得るように構成されるスタイル損失計算サブモジュールと、
    前記第１種類の訓練画像と前記第１クロスドメインの再構成画像との差異に基づいて、第１クロスドメイン損失値を得、前記第２種類の訓練画像と前記第２クロスドメインの再構成画像との差異に基づいて、第２クロスドメイン損失値を得るように構成されるクロスドメイン損失計算サブモジュールと、
    上記で得られた損失値に対して重み付け処理を行い、前記解きほぐしモデルの損失値を得るように構成される損失重み付けサブモジュールと、を含むことを特徴とする
    請求項１４に記載の装置。
  16. 画像処理装置であって、
    解きほぐしモデルを利用し、目標画像に対して内容抽出を行い、前記目標画像の内容特徴データを得るように構成される内容抽出モジュールと、
    処理ネットワークモデルを使用して前記目標画像の内容特徴データを処理し、前記目標画像の処理結果を得るように構成されるネットワーク処理モジュールと、を備え、
    ここで、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像を利用して訓練されたものであり、そのうちの１種類の前記訓練画像と前記目標画像は、第１ドメインに属し、前記処理ネットワークモデルは、請求項１１に記載のモデル訓練装置を利用して得られたものである、
    画像処理装置。
  17. 画像レジストレーション装置であって、
    第１レジストレーション対象画像と第２レジストレーション対象画像を取得するように構成される画像取得モジュールと、
    解きほぐしモデルを利用し、前記第１レジストレーション対象画像、前記第２レジストレーション対象画像に対して内容抽出をそれぞれ行い、前記第１レジストレーション対象画像の内容特徴データ及び前記第２レジストレーション対象画像の内容特徴データを得るように構成される内容抽出モジュールと、
    前記第１レジストレーション対象画像の内容特徴データと前記第２レジストレーション対象画像の内容特徴データに基づいて、レジストレーションパラメータを決定するように構成されるパラメータ決定モジュールと、
    前記レジストレーションパラメータを利用し、前記第１レジストレーション対象画像と前記第２レジストレーション対象画像とをレジストレーションするように構成される画像レジストレーションモジュールと、を備え、
    ここで、前記解きほぐしモデルは、異なるドメインに属する２種類の訓練画像で訓練されたものであり、そのうちの一方の種類の前記訓練画像と前記第１レジストレーション対象画像は、第１ドメインに属し、他方の種類の前記訓練画像と前記第２レジストレーション対象画像は、第２ドメインに属する、
    画像レジストレーション装置。
  18. 電子デバイスであって、互いに接続されるメモリ及びプロセッサを備え、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、請求項１－５のいずれか一項に記載のモデル訓練方法、請求項６に記載の画像処理方法、請求項７－１０のいずれか一項に記載の画像レジストレーション方法を実行するように構成される、
    電子デバイス。
  19. プログラム命令を記憶するコンピュータ可読記憶媒体であって、前記プログラム命令がプロセッサに実行されるときに、請求項１－５のいずれか一項に記載のモデル訓練方法、又は請求項６に記載の画像処理方法、又は請求項７－１０のいずれか一項に記載の画像レジストレーション方法を実行する、
    コンピュータ可読記憶媒体。
  20. コンピュータプログラム製品であって、前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサによってロードされて請求項１－５のいずれか一項に記載のモデル訓練方法を実行し、又は、請求項６に記載の画像処理方法、又は請求項７－１０のいずれか一項に記載の画像レジストレーション方法を実行する、
    コンピュータプログラム製品。
JP2021576590A 2020-10-30 2021-03-04 モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体 Withdrawn JP2023502813A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011193221.7A CN112348819A (zh) 2020-10-30 2020-10-30 模型训练方法、图像处理及配准方法以及相关装置、设备
CN202011193221.7 2020-10-30
PCT/CN2021/079154 WO2022088572A1 (zh) 2020-10-30 2021-03-04 模型训练方法、图像处理及配准方法、装置、设备、介质

Publications (1)

Publication Number Publication Date
JP2023502813A true JP2023502813A (ja) 2023-01-26

Family

ID=80268932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021576590A Withdrawn JP2023502813A (ja) 2020-10-30 2021-03-04 モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体

Country Status (2)

Country Link
JP (1) JP2023502813A (ja)
KR (1) KR20220012406A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437459A (zh) * 2023-10-08 2024-01-23 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437459A (zh) * 2023-10-08 2024-01-23 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Also Published As

Publication number Publication date
KR20220012406A (ko) 2022-02-03

Similar Documents

Publication Publication Date Title
CN109583576B (zh) 一种医学图像处理装置及方法
Liang et al. MCFNet: Multi-layer concatenation fusion network for medical images fusion
CN109754394B (zh) 三维医学图像处理装置及方法
WO2022088572A1 (zh) 模型训练方法、图像处理及配准方法、装置、设备、介质
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN106898044B (zh) 一种基于医学影像并利用vr技术的器官拆分和操作方法及***
DE112013003214T5 (de) Verfahren zum Registrieren von Daten
Liu et al. A unified conditional disentanglement framework for multimodal brain mr image translation
CN111311705B (zh) 基于webgl的高适应性医学影像多平面重建方法及***
AU2019430369B2 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
KR20190042429A (ko) 이미지 처리 방법
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN106897564B (zh) 一种基于医学影像的病案图像建模***
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
Li et al. Multi-scale residual denoising GAN model for producing super-resolution CTA images
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
JP2023502813A (ja) モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN112308764A (zh) 图像配准方法及装置
Iddrisu et al. 3D reconstructions of brain from MRI scans using neural radiance fields
Michel et al. Image transport regression using mixture of experts and discrete Markov random fields
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230113