JP2022533404A - 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents
画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP2022533404A JP2022533404A JP2021568935A JP2021568935A JP2022533404A JP 2022533404 A JP2022533404 A JP 2022533404A JP 2021568935 A JP2021568935 A JP 2021568935A JP 2021568935 A JP2021568935 A JP 2021568935A JP 2022533404 A JP2022533404 A JP 2022533404A
- Authority
- JP
- Japan
- Prior art keywords
- image
- segmentation
- target
- feature map
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本願は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関し、前記方法は、処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することと、前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することと、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することとを含む。【選択図】図1
Description
本願は、2019年09月20日に中国特許局に提出された、出願番号がCN201910895227.Xである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願実施例は、コンピュータ技術分野に関し、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関するが、これらに限定されない。
画像処理の技術分野では、関心領域または目標領域に対する分割が、画像分析及び目標識別の基礎となる。例えば、医用画像では分割することにより、1つまたは複数の臓器または組織間の境界を明確に識別することができる。医用画像の正確な分割は、多くの臨床アプリケーションにとって不可欠である。
本願実施例は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提供する。
本願実施例は画像処理方法を提供し、前記方法は、処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することと、前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することと、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することとを含む。
本願実施例において、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第1分割結果を決定するために目標画像領域を再分割し、処理される画像の第2分割結果を決定するために第1分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することは、各第1分割結果を融合して、融合結果を取得することと、前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得することとを含む。
このように、各目標画像領域内の目標の第1分割結果を取得した後、各第1分割結果に対して融合処理を実行して、融合結果を取得することができ、融合結果及び元の処理される画像を融合分割ネットワークに入力してさらに分割処理を実行し、それにより、完全な画像で分割効果を完成させることができるため、分割精度を向上させることができる。
本願のいくつかの実施例において、処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することは、前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定することとを含む。
本願実施例は、処理される画像の特徴を抽出することができ、その後、特徴マップの分割により、特徴マップ内の複数の目標のバウンディングボックスを取得することができ、それにより、処理される画像内の目標画像領域を決定することができ、目標画像領域を決定することにより、処理される画像の目標のおおよその位置領域を決定することができ、即ち、処理される画像の大まかな分割を実現することができることを分かることができる。
本願のいくつかの実施例において、前記少なくとも1つの目標画像領域に対して第2分割処理をそれぞれ実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することは、少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得することと、前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得することと、第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することと、第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得することとを含む。
このように、目標画像領域の解像を低下させ、処理のデータ量を低減させるために、任意の目標画像領域に対して、畳み込み及びダウンサンプリング処理を実行することにより目標画像領域の特徴を取得する、さらに、各目標画像領域の基で処理することができるため、各目標画像領域の第1分割結果を取得することができ、即ち、各目標画像領域の細かい分割を実現することができる。
本願のいくつかの実施例において、第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することは、i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得することを含み、Nはダウンサンプリング及びアップサンプリングのレベル数である。
このように、アテンションメカニズムを使用することにより、特徴マップ間のスキップ接続を拡張することができ、特徴マップ間の情報転送をよりよく実現する。
本願のいくつかの実施例において、前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む。
本願実施例において、膝画像内の大腿骨軟骨画像領域、脛骨軟骨画像領域または膝蓋骨軟骨画像領域を決定するために3次元膝画像を分割し、その後、第1分割結果を決定するために、大腿骨軟骨画像領域、脛骨軟骨画像領域及び膝蓋骨軟骨画像領域を再分割し、膝画像の第2分割結果を決定するために第1分割結果を融合して分割することができ、それにより、それにより、複数回の分割を介して、膝画像内の大腿骨軟骨、脛骨軟骨または膝蓋骨軟骨の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記方法はニューラルネットワークによって実現され、前記方法は、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
本願実施例がサンプル画像及びサンプル画像の注釈分割結果に従って画像分割用のニューラルネットワークをトレーニングすることができることを分かることができる。
本願のいくつかの実施例において、前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力することと、各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力することと、複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することとを含む。
このように、第1分割ネットワーク、第2分割ネットワーク及び融合分割ネットワークのトレーニングプロセスを実現して、高精度のニューラルネットワークを取得することができる。
本願実施例は、さらに画像処理装置を提供し、前記装置は、処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定するように構成される第1分割モジュールと、前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定するように構成される第2分割モジュールと、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定するように構成される融合及び分割モジュールとを備える。
本願実施例において、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第1分割結果を決定するために目標画像領域を再分割し、処理される画像の第2分割結果を決定するために第1分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記融合及び分割モジュールは、各第1分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得するように構成される分割サブモジュールとを備える。
このように、各目標画像領域内の目標の第1分割結果を取得した後、各第1分割結果に対して融合処理を実行して、融合結果を取得し、融合結果及び元の処理される画像を融合分割ネットワークに入力してさらに分割処理を実行することができ、それにより、完全な画像で分割効果を完成させることができるため、分割精度を向上させることができる。
本願のいくつかの実施例において、前記第1分割モジュールは、前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第1抽出サブモジュールと、前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第1分割サブモジュールと、特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定するように構成される決定サブモジュールとを備える。
本願実施例は、処理される画像の特徴を抽出することができ、その後、特徴マップの分割により、特徴マップ内の複数の目標のバウンディングボックスを取得することができ、それにより、処理される画像内の目標画像領域を決定することができ、目標画像領域を決定することにより、処理される画像の目標のおおよその位置領域を決定することができ、即ち、処理される画像の大まかな分割を実現することができることを分かることができる。
本願のいくつかの実施例において、前記第2分割モジュールは、少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得するように構成される第2抽出サブモジュールと、前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得するように構成されるアップサンプリングサブモジュールと、第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得するように構成される分類サブモジュールとを備える。
このように、目標画像領域の解像を低下させ、処理のデータ量を低減させるために、任意の目標画像領域に対して、畳み込み及びダウンサンプリング処理を実行することにより目標画像領域の特徴を取得する、さらに、各目標画像領域の基で処理することができるため、各目標画像領域の第1分割結果を取得することができ、即ち、各目標画像領域の細かい分割を実現することができる。
本願のいくつかの実施例において、前記アップサンプリングサブモジュールは、i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得するように構成される接続サブモジュールを備え、Nはダウンサンプリング及びアップサンプリングのレベル数である。
このように、アテンションメカニズムを使用することにより、特徴マップ間のスキップ接続を拡張することができ、特徴マップ間の情報転送をよりよく実現する。
本願のいくつかの実施例において、前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む。
本願実施例において、膝画像内の大腿骨軟骨画像領域、脛骨軟骨画像領域または膝蓋骨軟骨画像領域を決定するために3次元膝画像を分割し、その後、第1分割結果を決定するために、大腿骨軟骨画像領域、脛骨軟骨画像領域及び膝蓋骨軟骨画像領域を再分割し、膝画像の第2分割結果を決定するために第1分割結果を融合して分割することができ、それにより、それにより、複数回の分割を介して、膝画像内の大腿骨軟骨、脛骨軟骨または膝蓋骨軟骨の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記装置はニューラルネットワークによって実現され、前記装置は、さらに、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
本願実施例がサンプル画像及びサンプル画像の注釈分割結果に従って画像分割用のニューラルネットワークをトレーニングすることができることを分かることができる。
本願のいくつかの実施例において、前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力するように構成される第2分割サブモジュールと、各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力するように構成される第3分割サブモジュールと、複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールとを備える。
このように、第1分割ネットワーク、第2分割ネットワーク及び融合分割ネットワークのトレーニングプロセスを実現して、高精度のニューラルネットワークを取得することができる。
本願実施例は、さらに電子機器を提供し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリによって記憶された命令を呼び出して、上記のいずれか1つの画像処理方法を実行するように構成される。
本願実施例は、さらにコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記のいずれか1つの画像処理方法が実現される。
本願実施例は、さらにコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記のいずれか1つの画像処理方法を実行する。
本願実施例において、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第1分割結果を決定するために目標画像領域を再分割し、処理される画像の第2分割結果を決定するために第1分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させる。
上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本願を限定するものではないことを理解されたい。以下、図面を参照した例示的な実施例にに対する詳細な説明によれば、本願の他の特徴および態様は明らかになる。
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願と一致する実施例を示し、明細書とともに本願実施例の技術的解決策を説明するために使用される。
本願実施例で提供する画像処理方法の例示的なフローチャートである。
本願実施例で提供する3次元核磁気共鳴膝関節データの矢状スライスの概略図である。
本願実施例で提供する3次元核磁気共鳴膝関節データの冠状スライスの概略図である。
本願実施例で提供する3次元核磁気共鳴膝関節画像の軟骨形状の概略図である。
本願実施例で提供する、画像処理方法を実現するためのネットワークのアーキテクチャの概略図である。
本願実施例で提供する第1分割処理の概略図である。
本願実施例における、第1分割処理後の後続の分割プロセスの概略図である。
本願実施例で提供する特徴マップ接続の概略図である。
本願実施例で提供する特徴マップ接続の別の概略図である。
本願実施例で提供する画像処理装置の概略的な構造図である。
本願実施例で提供する電子機器の概略的な構造図である。
本願実施例で提供する別の電子機器の概略的な構造図である。
以下、本願の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
ここで、排他的に使用される「例示的」は、「例、実施例または説明として使用される」ことを意図する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より適切または優れると解釈する必要はない。
本明細書における「および/または」という用語は、関連付けられたオブジェクトを説明する単なる関連付けであり、3種類の関係が存在することができることを示し、例えば、Aおよび/またはBは、Aが独立で存在する場合、AとBが同時に存在する場合、Bが独立で存在する場合など3つの場合を表す。さらに、本明細書における「少なくとも1つ」という用語は、複数のうちの1つまたは複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、BおよびCで構成されたセットから選択された任意の1つまたは複数の要素を含むことを示す。
さらに、本願をよりよく説明するために、以下の具体的な実施形態において多くの特定の詳細が与えられる。当業者は、特定のいくつかの詳細なしに、本願を同様に実施することができることを理解するはずである。いくつかの具現例において、当業者に周知の方法、手段、要素および回路は、本願の要旨を強調するために、詳細に説明しない。
関節炎は変形性関節症であり、手関節、股関節及び膝関節に発生しやすく、膝関節が発生する可能性が最も高い。したがって、関節炎に対する臨床分析と診断を行う必要があり、膝関節領域は、関節骨、軟骨及び半月板などの重要な組織で構成される。これらの組織は複雑な構造を持っており、これらの組織の画像のコントラストは高くない場合がある。しかしながら、膝関節軟骨は非常に複雑な組織構造及び不明確な組織境界を持っているため、膝関節軟骨の正確な分割をどのように実現するかが、緊急に解決する必要がある技術的な問題である。
関連技術では、様々な方法を使用して膝関節構造を評価することができ、最初の例において、膝関節の磁気共鳴検査(MR:Magnetic Resonance)データを取得することができ、膝関節のMRデータに基づいて軟骨形態学的結果(軟骨の厚さ、軟骨の表面積など)を取得し、軟骨形態学的結果は膝関節炎の症状及び構造的重症度を決定するのに役たつ。2番目の例において、軟骨マスク間の幾何学的関係の進化に基づく半定量的評点方法によって、磁気共鳴骨関節炎の膝関節評点(MOAKS:MRI Osteoarthritis Knee Score)を研究することができる。3番目の例において、3次元軟骨タグは膝関節の広範な定量的測定の潜在的な標準でもであり、膝関節軟骨マーカは、関節腔が狭くなった幅及び導出された距離マップを計算するのに役たつため、膝関節炎の構造変化を評価するための参照と見なされる。
上記に記載の適用シナリオに基づき、本願実施例は画像処理方法を提案し、図1は、本願実施例で提供する画像処理方法の例示的なフローチャートであり、図1に示されたように、前記画像処理方法は、次のステップを含む。
ステップS11において、処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定する。
ステップS12において、前記少なくとも1つの目標画像領域に対して第2分割処理をそれぞれ実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定する。
ステップS13において、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定する。
本願のいくつかの実施例において、前記画像処理方法は画像処理装置によって実行され、画像処理装置は、ユーザ機器(UE:User Equipment)、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末(PDA:Personal Digital Assistant)、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよく、前記方法は、プロセッサがメモリに記憶されたコンピュータ読み取り可能な命令を呼び出す方式により実現されることができる。または、サーバを介して当該方法を実行することができる。
本願のいくつかの実施例において、処理される画像は、3次元膝画像などの3次元画像データであってもよく、3次元膝画像は、膝断面方向の複数のスライス画像を含み得る。処理される画像内の目標は膝軟骨を含み得、膝軟骨は、大腿骨軟骨(FC:Femoral Cartilage)、脛骨軟骨(TC:Tibial Cartilage)及び膝蓋骨軟骨(PC:Patellar Cartilage)のうちの少なくとも1つを含み得る。画像収集機器を介して、測定対象(患者など)の膝領域をスキャンして、処理される画像を取得し、画像収集機器は、電子コンピュータ断層スキャン(CT:Computed Tomography)機器、MR機器などであってもよい。処理される画像は、他の領域または他のタイプの画像であってもよいことを理解されたい。本願は、処理される画像領域、タイプ及び具体的な取得方式に対して限定しない。
図2aは、本願実施例で提供する3次元核磁気共鳴膝関節データの矢状スライスの概略図であり、図2bは、本願実施例で提供する3次元核磁気共鳴膝関節データの冠状スライスの概略図であり、図2cは、本願実施例で提供する3次元核磁気共鳴膝関節画像の軟骨形状の概略図である。図2a、図2b及び図2cに示されたように、膝領域は、大腿骨((FB:Femoral Bone)、脛骨(TB:Tibial Bone)及び膝蓋骨(PB:Patellar Bone)を含み、FC、TC及びPCは、FB、TB及びPBを覆い、膝関節に接続する。
本願のいくつかの実施例において、幅の範囲及び薄い軟骨構造をキャプチャするために、膝関節炎をさらに評価し、通常、ビックサイズ(数百万のボクセル)及び高解像度で磁気共鳴データをスキャンし、例えば、図2a、図2b及び図2cのそれぞれは、共有骨関節炎イニシアティブ(OAI:Osteoarthritis Initiative)データベースの3次元磁気共鳴膝関節データであり、解像度は0.365mm×0.365mm×0.7mmであり、ピクセルサイズは384×384×160である。上記の図2a、図2b及図2cに示された高ピクセル解像度を有する3次元磁気共鳴データは、臓器の形状、構造及び強度に関する情報を詳細に表示する、ピクセルサイズの大きい3次元磁気共鳴膝関節データは、膝関節領域内の全ての主要な軟骨及び半月板組織をキャプチャするのに役たち、3次元の処理及び臨床測定分析に便利である。
本願のいくつかの実施例において、処理される画像内の目標(膝領域の各軟骨など)の位置を決めるように、処理される画像に対して第1分割処理を実行することができる。処理される画像に対して第1分割処理を実行する前に、処理される画像の物理的空間(Spacing)の解像度及びピクセル値の値の範囲などを融合させるなど、処理される画像に対して前処理することができる。当該方式により、画像サイズの均一化、ネットワーク収束の加速などの効果を実現することができる。本願は、前処理の具体的な内容及び処理方式に対して限定しない。
本願のいくつかの実施例において、ステップS11において、3次元の処理される画像に対して第1分割(即ち、大まかな分割)処理を実行して、処理される画像における、3次元バウンディングボックスによって限定された関心領域(ROI)の位置を決定することができるため、3次元バウンディングボックスに従って、処理される画像から少なくとも1つの目標画像領域をインターセプトする。処理される画像から複数の目標画像領域を切り取った場合に応答して、各目標画像領域は異なるタイプの目標に応答することができ、例えば、目標が膝軟骨である場合、各目標画像領域は、それぞれ大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨の画像領域に対応することができる。本願は、目標の具体的なタイプに対して限定しない。
本願のいくつかの実施例において、第1分割ネットワークを介して、処理される画像に対して第1分割を実行することができ、第1分割ネットワークは、例えば、VNetのエンコーディング-デコーディング構造(即ち、マルチレベルのダウンサンプリング+マルチレベルのアップサンプリング)、または高速の領域畳み込みニューラルネットワーク(Fast RCNN:Fast Region-based Convolutional Neural Network)などを使用して、3次元バウンディングボックスを検出することができ、本願は第1分割ネットワークのネットワーク構造に対して限定しない。
本願のいくつかの実施例において、処理される画像内の少なくとも1つの目標画像領域を取得した後、ステップS12において、少なくとも1つの目標画像領域に対して第2分割(即ち、細かい分割)処理を実行して、少なくとも1つの目標画像領域内の目標の第1分割結果を取得することができる。各目標に対応する第2分割ネットワークを介して各目標画像領域をそれぞれ分割することにより、各目標画像領域の第1分割結果を取得することができる。例えば、目標が膝軟骨(大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨を含む)である場合、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨にそれぞれ対応する3つの第2分割ネットワークを設定することができる。各第2分割ネットワークは、例えば、VNetのエンコーディング-デコーディング構造を使用することができ、本願は各第2分割ネットワークの具体的なネットワーク構造に対して限定しない。
本願のいくつかの実施例において、複数の第1分割結果を決定した場合、ステップS13において、各目標画像領域の第1分割結果を融合して、融合結果を取得し、また、処理される画像に基づき、融合結果に対して第3分割処理を実行して、処理される画像内の目標の第2分割結果を取得することができる。このように、複数の目標融合の全体的な結果に基づいて更なる分割処理を実行することができるため、分割精度を向上させることができる。
本願実施例の画像処理方法に基づき、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第1分割結果を決定するために目標画像領域を再分割し、処理される画像の第2分割結果を決定するために第1分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させる。
図3は、本願実施例で提供する、画像処理方法を実現するためのネットワークのアーキテクチャの概略図であり、図3に示されたように、処理される画像が3D膝画像31であることを例に挙げて本発明の適用シナリオを説明する。3D膝画像31は上記の処理される画像であり、3D膝画像31を画像処理装置30に入力することができ、画像処理装置30は、上記の実施例に記載の画像処理方法に基づき3D膝画像31を処理して、膝軟骨分割結果35を生成して出力することができる。
本願のいくつかの実施例において、3D膝画像31を第1分割ネットワーク32に入力して大まかな軟骨分割を実行して、各膝軟骨の関心領域(ROI)の3次元バウンディングボックスを取得し、3D膝画像31から各膝軟骨の画像領域をインターセプトすることができ、前記各膝軟骨の画像領域は、FC、TC及びPCの画像領域を含む。
本願のいくつかの実施例では、各膝軟骨の画像領域を対応する第2分割ネットワーク33にそれぞれ入力して細かい軟骨分割を実行して、各膝軟骨の細かい分割結果、即ち、各膝軟骨の正確な位置を取得することができる。その後、各膝軟骨の細かい分割結果を融合して重ね合わせ、融合結果及び膝画像を両方とも融合分割ネットワーク34に入力して処理して、最終的な膝軟骨分割結果35を取得し、ここで、融合分割ネットワーク34は、3D膝画像に従って融合結果に対して第3分割処理を実行するために使用される。大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨の分割結果の融合に基づき、膝画像に基づいて更なる分割処理を実行することができるため、膝軟骨の正確な分割を実現することができることを分かることができる。
本願のいくつかの実施例において、ステップS11において、処理される画像に対して大まかな分割を実行することができる。ステップS11は、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定することとを含み得る。
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定することとを含み得る。
例えば、処理される画像は、高解像度の3次元画像データであってもよい。降低処理される画像の解像度を低下させ、処理するデータ量を低減させるために、第1分割ネットワークの畳み込み層またはダウンサンプリング層を介して処理される画像の特徴を抽出することができる。その後、第1分割ネットワークの第1分割サブネットワークを介して、取得した特徴マップを分割して、特徴マップ内の複数の目標のバウンディングボックスを取得することができ、当該第1分割サブネットワークは、複数のダウンサンプリング層及び複数のアップサンプリング層(または複数の畳み込み層-逆畳み込み層)、複数の残差層、活性層、正規化層などを含み得る。本願は、第1分割サブネットワークの具体的な構造に対して限定しない。
本願のいくつかの実施例において、各目標のバウンディングボックスに従って、元の処理される画像から、処理される画像における各目標の画像領域を分割して、少なくとも1つの目標画像領域を取得することができる。
図4は、本願実施例で提供する第1分割処理の概略図であり、図4に示されたように、第1分割ネットワークの畳み込み層またはダウンサンプリング層(未図示)を介して、高解像度の処理される画像41に対して特徴抽出を実行して、特徴マップ42を取得することができる。例えば、処理される画像41の解像度は0.365mm×0.365mm×0.7mmであり、ピクセルサイズは384×384×160であり、処理された後、特徴マップ42の解像度は0.73mm×0.73mm×0.7mmであり、ピクセルサイズは192×192×160である。このように、処理するデータ量を低減することができる。
本願のいくつかの実施例において、第1分割サブネットワーク43を介して特徴マップを分割することができ、当該第1分割サブネットワーク43はエンコーディング-デコーディング構造であり、異なる規模の特徴マップを取得するために、エンコーディング部分は、3つの残差ブロック及びダウンサンプリング層を含み、例えば、取得した各特徴マップのチャネル数は8、16、32であり、チャネル数が4である特徴マップに復元するなど、特徴マップの規模を元の入力のサイズに復元するために、デコーディング部分は、3つの残差ブロック及びアップサンプリング層を含む。ここで、残差ブロックは、複数の畳み込み層、全結合層などを含み得、残差ブロック内の畳み込み層のフィルタ(filter)サイズは3であり、ステップサイズは1であり、ゼロパディングする。ダウンサンプリング層は、フィルタフィルタサイズが2であり、ステップサイズが2である畳み込み層を含み、アップサンプリング層は、フィルタサイズが2であり、ステップサイズが2である逆畳み込み層を含む。本願は、残差ブロックの構造、アップサンプリング層及びダウンサンプリング層の数及びフィルタパラメータに対して限定しない。
本願のいくつかの実施例において、チャネル数が4である特徴マップ42をエンコーディング部分の最初の残差ブロックに入力し、出力した残差結果をダウンサンプリング層に入力して、チャネル数が8である特徴マップを取得することができ、また、当該チャネル数が8である特徴マップを次の残差ブロックに入力し、出力した残差結果を次のダウンサンプリング層に入力して、チャネル数が16である特徴マップを取得し、これによって類推すれば、チャネル数が32である特徴マップを取得することができる。その後、チャネル数が32である特徴マップをデコーディング部分の最初の残差ブロックに入力し、出力された残差結果をアップサンプリング層に入力して、チャネル数が16である特徴マップを取得し、これによって類推すれば、チャネル数が4である特徴マップを取得することができる。
本願のいくつかの実施例において、第1分割サブネットワーク43の活性層(PReLU)及びバッチ正規化層を介して、当該チャネル数が4である特徴マップを活性化及びバッチ正規化し、正規化後の特徴マップ44を出力することができ、特徴マップ44内の複数の目標のバウンディングボックスを決定することができ、図4の3つの点線ボックスを参照されたい。これらのバウンディングボックスによって限定された領域は、即ち目標のROIである。
本願のいくつかの実施例において、複数の目標のバウンディングボックスに基づき、処理される画像41をインターセプトして、バウンディングボックスによって限定された目標画像領域(図4のFC画像領域451、TC画像領域452及びPC画像領域453を参照)を取得することができる。各目標画像領域の解像度と処理される画像41の解像度が同じであり、それにより、画像内の情報の損失を防ぐ。
図4に示された画像分割方式を通じて、処理される画像内の目標画像領域を決定することができ、処理される画像の大まかな分割を実現することを分かることができる。
本願のいくつかの実施例において、ステップS12において、処理される画像の各目標画像領域のそれぞれに対して細かい分割を実行することができる。ここで、ステップS12は、
少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得することと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得することと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得することと、を含み得る。
少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得することと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得することと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得することと、を含み得る。
例えば、複数の目標画像領域がある場合、各目標画像領域に対応する目標のタイプに基づき、対応する各第2分割ネットワークを介して各目標画像領域に対して細かい分割を実行することができる。例えば、目標が膝軟骨である場合、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨にそれぞれ対応する3つの第2分割ネットワークを設定することができる。
目標画像領域の解像度を低下させ、処理するデータ量を低減させるために、このように、任意の目標画像領域に対して、対応する第2分割ネットワークの畳み込み層またはダウンサンプリング層を介して目標画像領域の特徴を抽出することができる。処理後、チャネル数が4である特徴マップなど、当該目標画像領域の第1特徴マップを取得する。
本願のいくつかの実施例において、対応する第2分割ネットワークのN个ダウンサンプリング層(Nは1より大きいか等しい整数である)を介して、第1特徴マップに対してNレベルダウンサンプリングを実行して、特徴マップの規模を順次に低下させて、チャネル数が8、16、32である3つのレベルの第2特徴マップなど、各レベルの第2特徴マップを取得することができ、N個のアップサンプリング層を介して、第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、特徴マップの規模を順次に復元して、チャネル数が16、8、4である3つのレベルの第3特徴マップなど、各レベルの第3特徴マップを取得することができる。
本願のいくつかの実施例において、第2分割ネットワークのsigmoid層を介して第Nレベルの第3特徴マップを活性化させ、第Nレベルの第3特徴マップをシングルチャネルに縮小することができ、それによって、当該第Nレベルの第3特徴マップにおける目標に属する位置(例えば、前景領域と呼ばれる)と目標に属しない位置(例えば、背景領域と呼ばれる)の分類を実現する。例えば、前景領域内の特徴点の値は1に近く、背景領域内の特徴点の値は0に近い。このように、当該目標画像領域内の目標の第1分割結果を取得することができる。
当該方式を通じて、各目標画像領域をそれぞれ処理して、各目標画像領域の第1分割結果を取得することができ、各目標画像領域の細かい分割を実現する。
図5は、本願実施例における、第1分割処理後の後続の分割プロセスの概略図であり、図5に示されたように、FCの第2分割ネットワーク511、TCの第2分割ネットワーク512及びPCの第2分割ネットワーク513が設定されることができる。各第2分割ネットワークの畳み込み層またはダウンサンプリング層(未図示)を介して、高解像度の各目標画像領域(即ち、図5のFC画像領域451、TC画像領域452及びPC画像領域453)に対して特徴抽出を実行して、各第1特徴マップ、即ち、FC、TC及PCの第1特徴マップを取得する。その後、各第1特徴マップを対応する第2分割ネットワークのエンコーディング-デコーディング構造に入力して分割する。
本願実施例において、取得した各第2特徴マップのチャネル数が8、16であるなど、異なる規模の第2特徴マップを取得するために、各第2分割ネットワークのエンコーディング部分は、2つの残差ブロック及びダウンサンプリング層を含み、チャネル数が4である第3特徴マップに復元するなど、特徴マップの規模を元の入力のサイズに復元するために、各第2分割ネットワークのデコーディング部分は、2つの残差ブロック及びアップサンプリング層を含む。ここで、残差ブロックは、複数の畳み込み層、全結合層などを含み得、残差ブロック内の畳み込み層のフィルタ(filter)サイズは3であり、ステップサイズは1であり、ゼロパディングする。ダウンサンプリング層は、フィルタフィルタサイズが2であり、ステップサイズが2である畳み込み層を含み、アップサンプリング層は、フィルタサイズが2であり、ステップサイズが2である逆畳み込み層を含む。このように、の受容野のバランスをとることができ、グラフィックプロセッサ(GPU:Graphics Processing Unit)のメモリ消費を減らすことができ、例えば、メモリリソースが限られた(例えば、12GBである)GPUに基づいて本願実施例の画像処理方法を実現することができる。
当業者は、実際の状況に応じて、第2分割ネットワークのエンコーディング-デコーディング構造を設定することができることを理解されたい。本願は、第2分割ネットワークの残差ブロックの構造、アップサンプリング層及びダウンサンプリング層の数及びフィルタパラメータに対して限定しない。
本願のいくつかの実施例において、チャネル数が4である第1特徴マップをエンコーディング部分の最初の残差ブロックに入力し、出力した残差結果をダウンサンプリング層に入力して、チャネル数が8である最初のレベルの第2特徴マップを取得することができ、また、当該チャネル数が8である特徴マップを次の残差ブロックに入力し、出力した残差結果を次のダウンサンプリング層に入力して、チャネル数が16である第2レベルの第2特徴マップを取得することができる。そして、チャネル数が16である第2レベルの第2特徴マップをデコーディング部分の最初の残差ブロックに入力し、出力した残差結果をアップサンプリング層に入力して、チャネル数が8である最初のレベルの第3特徴マップを取得することができ、また、当該チャネル数が8である特徴マップを次の残差ブロックに入力し、出力した残差結果を次のアップサンプリング層に入力して、チャネル数が4である第2レベルの第3特徴マップを取得することができる。
本願のいくつかの実施例において、各第2分割ネットワークのsigmoid層は、チャネル数が4である第2レベルの第3特徴マップをシングルチャネルに縮小し、それにより、各目標画像領域内の目標の第1分割結果、即ち、図5のFC分割結果521、TC分割結果522及びPC分割結果523を取得することができる。
本願のいくつかの実施例において、第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得するステップは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して(即ち、スキップ接続する)、第iレベルの第3特徴マップを取得することを含み得、Nはダウンサンプリング及びアップサンプリングのレベル数である。
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して(即ち、スキップ接続する)、第iレベルの第3特徴マップを取得することを含み得、Nはダウンサンプリング及びアップサンプリングのレベル数である。
例えば、分割処理の効果を向上させるために、アテンションメカニズムを使用して特徴マップ間のスキップ接続を拡張することができ、それによって、特徴マップ間の情報転送をよりよく実現する。第iレベルのアップサンプリングによって取得された第3特徴マップ(1≦i≦N)にとって、それ自体を対応する第N-iレベルの第2特徴マップに接続して、接続結果を第iレベルの第3特徴マップとして使用することができ、i=Nである場合、第Nレベルのアップサンプリングすることによって取得された特徴マップを第1特徴マップ接続に接続することができる。本願は、Nの値に対して限定しない。
図6は、本願実施例で提供する特徴マップ接続の概略図であり、図6に示されたように、ダウンサンプリング及びアップサンプリングのレベル数N=5である場合に、第1特徴マップ61(チャネル数は4である)をダウンサンプリングして、第1レベルの第2特徴マップ621(チャネル数は8である)を取得することができ、各レベルのダウンサンプリングを介して、第5レベルの第2特徴マップ622(チャネル数は128である)を取得することができる。
本願のいくつかの実施例において、第2特徴マップ622に対して5レベルのアップサンプリングを実行して、各第3特徴マップを取得することができる。アップサンプリングのレベル数i=1である場合、第1レベルのアップサンプリングによって取得された第3特徴マップは第4レベルの第2特徴マップ(チャネル数は64である)に接続して、第1レベルの第3特徴マップ631(チャネル数は64である)を取得することができ、同様に、i=2である場合、第2レベルのアップサンプリングによって取得された第3特徴マップは第3レベルの第2特徴マップ(チャネル数は32である)に接続することができ、i=3である場合、第3レベルのアップサンプリングによって取得された第3特徴マップは第2レベルの第2特徴マップ(チャネル数は16)に接続することができ、i=4である場合、第4レベルのアップサンプリングによって取得された第3特徴マップは第1レベルの第2特徴マップ(チャネル数は8である)に接続することができ、i=5である場合、第5レベルのアップサンプリングによって取得された第3特徴マップは第1特徴マップ(チャネル数は4である)に接続して、第5レベルの第3特徴マップ632を取得することができる。
図5に示されたように、ダウンサンプリング及びアップサンプリングのレベル数N=2である場合、第1レベルのアップサンプリングによって取得された第3特徴マップ(チャネル数は8である)は、チャネル数が8である第1レベルの第2特徴マップに接続することができ、第2レベルのアップサンプリングによって取得された第3特徴マップ(チャネル数は4である)は、チャネル数が4である第1特徴マップに接続することができる。
図7は、本願実施例で提供する特徴マップ接続の別の概略図であり、図7に示されたように、任意の第2分割ネットワークにおいて、当該第2分割ネットワークの第2レベルの第2特徴マップ(チャネル数は16である)は
として示され、当該第2特徴マップに対して第1レベルのアップサンプリングを実行することによって取得された第3特徴マップ(チャネル数は8である)は
として示され、第1レベルの第2特徴マップ(チャネル数は8である)は
として示され、アテンションメカニズムに基づいて、
により、第1レベルのアップサンプリングによって取得された第3特徴マップ
と第1レベルの第2特徴マップ
を接続(図7の点線の円の部分に対応する)して、接続後の第1レベルの第3特徴マップを取得することができる。ここで、
はチャネル次元に沿った接続を示し、
は第1レベルの第2特徴マップ
の注意力の重みを示し、
は要素ごとの乗算を示す。ここで、
は式(1)で示すことができる。
式(1)として、
である。
式(1)において、
は、それぞれ、
を畳み込むことを示し、例えば、畳み込みのフィルタサイズは1であり、ステップサイズは1である。
は、畳み込み後の足し算結果を活性化することを示し、活性化関数は、例えば、ReLU活性化関数である。mは活性化結果を畳み込むことを示し、例えば、畳み込みのフィルタサイズは1であり、ステップサイズは1である。
このように、本願実施例によれば、アテンションメカニズムを使用することにより、特徴マップ間の情報転送をよりよく実現し、目標画像領域の分割効果を改善し、多重解像度コンテキストを使用して細部をキャプチャすることができる。
本願のいくつかの実施例において、ステップS13は、各第1分割結果を融合して、融合結果を取得することと、前記処理される画像に従って、前記融合結果に対して第3分割を実行して、前記処理される画像の第2分割結果を取得することとを含み得る。
例えば、各目標画像領域内の目標の第1分割結果を取得した後、各第1分割結果に対して融合処理を実行して、融合結果を取得し、融合結果及び元の処理される画像を融合分割ネットワークに入力してさらに分割処理を実行するすることができ、それにより、完全な画像で分割効果を完成させることができる。
図5に示されたように、大腿骨軟骨FC分割結果521、脛骨軟骨TC分割結果522及膝蓋骨軟骨PC分割結果523を融合して、融合結果53を取得することができる。当該融合結果53は背景チャネルを除外して、3種類の軟骨のチャネルのみを保留する。
図5に示されたように、融合分割ネットワーク54が設けられ、当該融合分割ネットワーク54は、エンコーディング-デコーディング構造のニューラルネットワークである。融合結果53(3つの軟骨チャネルを含む)及び元の処理される画像41(1つのチャネルを含む)を4つのチャネルの画像データとして使用し、それらを融合分割ネットワーク54に入力して処理することができる。
本願のいくつかの実施例において、融合分割ネットワーク54のエンコーディング部分は、1つの残差ブロック及ダウンサンプリング層を含み、デコーディング部分は1つの残差ブロック及びアップサンプリング層を含む。ここで、残差ブロックは、複数の畳み込み層、全結合層などを含み得、残差ブロック内の畳み込み層のフィルタ(filter)サイズは3であり、ステップサイズは1であり、ゼロパディングする。ダウンサンプリング層は、フィルタフィルタサイズが2であり、ステップサイズが2である畳み込み層を含み、アップサンプリング層は、フィルタサイズが2であり、ステップサイズが2である逆畳み込み層を含む。本願は、残差ブロックの構造、アップサンプリング層及びダウンサンプリング層のフィルタパラメータ、及び残差ブロック、アップサンプリング層及びダウンサンプリング層の数の全てに対して限定しない。
本願のいくつかの実施例において、4つのチャネルの画像データをエンコーディング部分の残差ブロックに入力して、出力された残差結果をダウンサンプリング層に入力して、チャネル数が8である特徴マップを取得し、チャネル数が8である特徴マップをデコーディング部分の残差ブロックに入力して、出力された残差結果をアップサンプリング層に入力して、チャネル数が4である特徴マップを取得し、その後、チャネル数が4である特徴マップを活性化して、シングルチャネルの特徴マップを取得することができ、最終的な第2分割結果55として使用する。
当該方式により、完全な軟骨構造から分割効果をさらに改善することができる。
本願のいくつかの実施例において、本願実施例の画像処理方法はニューラルネットワークによって実現されることができ、ニューラルネットワークは、少なくとも、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含む。当該ニューラルネットワークを適用する前に、当該ニューラルネットワークをトレーニングすることができる。
ここで、当該ニューラルネットワークをトレーニングする方法は、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることを含み得、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
例えば、トレーニングセットを事前に設定して、本願実施例に係るニューラルネットワークをトレーニングすることができる。当該トレーニングセットは、複数のサンプル画像(即ち、3次元膝画像)を含み得、サンプル画像内の各膝軟骨(即ち、FC、TC及びPC)の位置を注釈して、各サンプル画像の注釈分割結果として使用する。
トレーニングプロセスにおいて、サンプル画像をニューラルネットワークに入力して処理して、サンプル画像の第2分割結果を出力し、サンプル画像の第2分割結果及び注釈分割結果に従ってニューラルネットワークのネットワーク損失を決定し、ネットワーク損失に従ってニューラルネットワークのネットワークパラメータを調整することができる。複数回の調整後、プリセット条件(例えば、ネットワーク収束)を満たす場合、トレーニング後のニューラルネットワークを取得することができる。
本願実施例がサンプル画像及びサンプル画像の注釈分割結果に従って画像分割用のニューラルネットワークをトレーニングすることができることを分かることができる。
本願のいくつかの実施例において、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするステップは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力することと、
各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力することと、
複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することとを含み得る。
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力することと、
各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力することと、
複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することとを含み得る。
例えば、サンプル画像を第1分割ネットワークに入力して大まかな分割を実行して、サンプル画像内の目標のサンプル画像領域、即ち、FC、TC及PCの画像領域を取得し、各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して細かい分割を実行して、各サンプル画像領域内の目標の第1分割結果を取得し、また、各第1分割結果を融合し、取得された融合結果及びサンプル画像を融合分割ネットワークに同時に入力して、完全な軟骨構造から分割効果をさらに改善して、サンプル画像内の目標の第2分割結果を取得することができる。
本願のいくつかの実施例において、複数のサンプル画像をそれぞれニューラルネットワークに入力して処理して、複数のサンプル画像の第2分割結果を取得することができる。複数のサンプル画像の第2分割結果及び注釈分割結果に従って、第1分割ネットワーク、第2分割ネットワーク及び融合分割ネットワークのネットワーク損失を決定することができる。ニューラルネットワークの総損失は、式(2)で示すことができる。
式(2)として、
である。
式(2)では、
は、j番目のサンプル画像を示すことができ、
は、j番目のサンプル画像タグを示すことができ、
は、j番目のサンプル画像の画像領域を示し、
は、j番目のサンプル画像の領域タグを示し、cは、それぞれf、t及びpのうちの1つであり、f、t及びpは、それぞれFC、TC及びPCを示し、
は、第1分割ネットワークのネットワーク損失を示し、
は、各第2分割ネットワークのネットワーク損失を示し、
は、融合分割ネットワークのネットワーク損失を示すことができる。ここで、各ネットワークの損失は、実際の適用シナリオによって設定されることができ、一例において、各ネットワークのネットワーク損失は、例えば、マルチレベルのクロスエントロピー損失関数であってもよい。別の例において、上記のニューラルネットワークをトレーニングする場合、弁別器を設置することができ、弁別器はサンプル画像内の目標の第2分割結果を弁別するために使用され、弁別器及び融合分割ネットワークは敵対的なネットワークを構成し、それに対応して、融合分割ネットワークのネットワーク損失は敵対的損失を含み得、敵対的損失は、第2分割結果に対する弁別器の弁別結果に基づいて取得されることができ、本発明の実施例では、敵対的損失に基づいてニューラルネットワークの損失を取得することができ、形状及び空間で制約された共同学習を実現するために、敵対的なネットワークからのトレーニング誤差(敵対的損失で具現され)を各目標に対応する第2分割ネットワークに逆伝播することができ、それにより、ニューラルネットワークの損失に基づきニューラルネットワークをトレーニングして、トレーニング後のニューラルネットワークが、異なる軟骨間の形状及び空間的関係に基づいて、異なる軟骨画像の分割を正確に実現するようにすることができる。
上記の内容は、各レベルニューラルネットワークの損失関数に対する説明の例に過ぎず、本願はこれらに対して限定しないことを留意されたい。
本願のいくつかの実施例において、ニューラルネットワークの総損失を取得した後、ネットワーク損失に従ってニューラルネットワークのネットワークパラメータを調整することができる。複数回の調整後、プリセット条件(例えば、ネットワーク収束)を満たす場合、トレーニング後のニューラルネットワークを取得することができる。
このように、第1分割ネットワーク、第2分割ネットワーク及び融合分割ネットワークのトレーニングプロセスを実現して、高精度のニューラルネットワークを取得することができる。
本願のいくつかの実施例において、表1は、5つの異なる方法に対応する膝軟骨分割の指標を示す。ここで、P2は、敵対的なネットワークに基づいてニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークを使用して、図3ないし図7に示されたネットワークフレームワークで画像処理を実行する方法を示す。P1は、ニューラルネットワークをトレーニング時に敵対的なネットワークを使用しないが、トレーニングされたニューラルネットワークを使用して図3ないし図7に示されたネットワークフレームワークで画像処理を実行する方法を示す。D1は、P2に対応する方法に基づき、DenseASPPネットワーク構造を使用して、残差ブロック、及びアテンションメカニズムベースのスキップ接続するネットワーク構造を切り替えることによって取得された画像処理方法を示す。D2は、P2に対応する方法に基づき、DenseASPPネットワーク構造を使用して、図6に示された、アテンションメカニズムベースのスキップ接続するネットワーク構造における最深層のネットワーク構造を切り替えることによって取得された画像処理方法を示し、最深層のネットワーク構造は、第1レベルのアップサンプリングによって取得された第3特徴マップ及び第4レベルの第2特徴マップ(チャネル数は64である)が接続するネットワーク構造の実現を示す。C0は、図4に示された第1分割サブネットワーク43を介して画像に対して分割処理を実行する方法を示し、C0によって取得された分割結果は大まかな分割結果である。
表1にはFC、TC及びPC分割の評価指標が示され、表1には、全ての軟骨分割の評価指標が示され、ここで、全ての軟骨の分割処理とは、FC、TC及びPCを全体として均一に分割し、背景部分と差別をつける分割方法を示す。
表1では、3つの画像分割評価指標を使用していくつかの画像処理方法の効果を比較することができ、当該3つの画像分割評価指標は、それぞれ、ダイス類似度係数(DSC:Dice Similarity Coefficient)、体積要素重複誤差(VOE:Volumetric Overlap Error)及び平均表面距離(ASD:Average surface distance)である。DSC指標は、ニューラルネットワークによって取得された画像分割結果と画像から分割された標記結果(実際の分割結果)の類似度を反映し、VOE及びASDは、ニューラルネットワークによって取得された画像分割結果と画像分割の標記結果の違いを反映し、DSCが高いほど、ニューラルネットワークによって取得された画像分割結果は実際の状況に近くなり、VOEまたはASDが低いほど、ニューラルネットワークによって取得された画像分割結果と実際の状況の違いは低くなる。
表1において、指標値が位置するセルが2つの行に分割され、ここで、第1行は、表示複数のサンプリング点の指標の平均値を示し、第2行は、複数のサンプリング点の指標の標準偏差を示す。例えば、D1の方法を使用して分割する場合、FCのDSCの指標は2つの行に分割され、それぞれ0.862及び0.024であり、ここで、0.862は平均値を示し、0.024は標準偏差を示す。
表1から分かることができるように、P2をP1、D1、D2及びC0と比較すると、DSCが最も高く、VOE及びASDが最も低いため、P1、D1、D2及びC0と比べて、P2を使用して取得された画像分割結果は実際の状況により一致する。
本願実施例の画像処理方法によれば、大まかな分割により、処理される画像内の目標(例えば、膝関節軟骨)のROIを決定し、複数の並行する分割主体を適用してそれらのそれぞれの関心領域内の軟骨を正確に表記し、その後、融合層を介して3つの軟骨を融合して、複雑な後続の処理ステップを実行する必要なく、融合学習により、端から端への分割を実行して、元の高解像度で関心領域に対して細かい分割を実行することを保証し、サンプルの不均衡の問題が軽減され、それにより、処理される画像内の複数の目標の正確な分割が実現される。
関連技術では、膝関節炎の診断手順において、放射線科医は、関節変性の手がかりを検出し、対応する定量的パラメータを手動で測定するために、3次元医用画像を1つずつ調べる必要がある。しかしながら、膝関節炎の症状を視覚的に判断することは難しく、異なる個人の放射線写真表現は大きく異なる可能性があるため、膝関節炎の研究において、関連技術では、膝関節軟骨及び半月板の分割の自動化実現方法が提案されていて、最初の例において、多平面の二次元の深層畳み込みニューラルネットワーク(DCNN:Deep Convolution Neural Network)から共同目的関数を学習することができるため、脛骨軟骨分類器が提案されるが、脛骨軟骨分類器を提案するために使用される2.5次元の特徴学習戦略は、臓器/組織分割の3次元空間中の包括的な情報の表現には不十分である。2番目の例において、骨骼と軟骨上のマルチイメージ登録よって生成された空間的演繹的知識を使用して、軟骨分類の包括的な決定を確立することができる。3番目の例において、3次元の可変な片面メッシュベースの軟骨の再構築を駆動するために、二次元の完全畳み込みネットワーク(FCN)を使用して組織確立予測器をトレーニングすることもできる。これらの方法は良好な精度を有するが、結果が形状及び空間パラメータの設定に対して多少敏感になる可能性がある。
本願実施例の画像処理方法によれば、融合合層は、複数の主体からの各軟骨を融合することだけでなく、融合ネットワークから各主体へのトレーニング損失を逆伝播することにより、当該多主体学習フレームワークは、各関心領域で細かい粒度の分割を取得し、異なる軟骨間の空間的制約を確保することができ、それにより、形状及び空間的制約の共同学習を実現し、即ち、形状及び空間パラメータの設定に敏感ではない。当該方法は、GPUリソースの限定を満たすことができ、困難なデータに対してスムーズなトレーニングを実行することができる。さらに、当該方法は、アテンションメカニズムを使用してスキップ接続を最適化し、多重解像度コンテキスト機能をより有効に活用して、細部をキャプチャし、精度をさらに向上させることができる。
本願実施例の画像処理方法は、人工知能ベースの膝関節炎の診断、評価及び手術計画システムなどの適用シナリオに適用されることができる。例えば、医師は、当該方法を使用して正確な軟骨分割を効果的に取得して、膝関節疾患を分析することができ、研究者は、骨関節炎に対する大規模な分析のために、当該方法を使用して大量のデータを処理することができ、膝手術計画に役立つ。本願は、特定の適用シナリオに対して限定しない。
本願で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、ページの制限により、本願を繰り返して説明しないことを理解されたい。当業者は、具体的な実施形態の上記の方法において、各ステップの具体的な実行順序はそれらの機能と可能な内部ロジックによって決定されることを理解することができる。
なお、本願は、さらに、本願で提供する任意の画像処理方法を実現するために使用されることができる、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、対応する技術的解決策及び説明は、方法部分の対応する説明を参照することができ、ここでは繰り返して説明しない。
図8は、本願実施例で提供する画像処理装置の概略的な構造図であり、図8に示されたように、前記画像処理装置は、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定するように構成される第1分割モジュール71と、前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定するように構成される第2分割モジュール72と、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定するように構成される融合及び分割モジュール73とを備える。
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定するように構成される第1分割モジュール71と、前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定するように構成される第2分割モジュール72と、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定するように構成される融合及び分割モジュール73とを備える。
本願のいくつかの実施例において、前記融合及び分割モジュールは、各第1分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得するように構成される分割サブモジュールとを備える。
本願のいくつかの実施例において、前記第1分割モジュールは、前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第1抽出サブモジュールと、前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第1分割サブモジュールと、特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定するように構成される決定サブモジュールとを備える。
本願のいくつかの実施例において、前記第2分割モジュールは、少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得するように構成される第2抽出サブモジュールと、前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得するように構成されるアップサンプリングサブモジュールと、第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得するように構成される分類サブモジュールとを備える。
本願のいくつかの実施例において、前記アップサンプリングサブモジュールは、i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得するように構成される接続サブモジュールを備え、Nはダウンサンプリング及びアップサンプリングのレベル数である。
本願のいくつかの実施例において、前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む。
本願のいくつかの実施例において、前記装置はニューラルネットワークによって実現され、前記装置は、さらに、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
本願のいくつかの実施例において、前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力するように構成される第2分割サブモジュールと、各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力するように構成される第3分割サブモジュールと、複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールとを備える。
いくつかの実施例において、本願実施例で提供される装置が有する機能または含まれたモジュールは、上文の方法の実施例で説明された方法を実行するように構成されることができ、その具体的な具現は、上文の方法の実施例の描述を参照することができ、簡潔にするために、ここでは繰り返して説明しない。
本願実施例は、さらにコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提案し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記のいずれか1つの画像処理方法が実現される。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体または揮発性コンピュータ可読記憶媒体であってもよい。
本願実施例は、さらに電子機器を提案し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリによって記憶された命令を呼び出して、上記のいずれか1つの画像処理方法を実行するように構成される。
電子機器は、端末、サーバまたは他の形の機器であってもよい。
本願実施例は、さらにコンピュータプログラムを提案し、前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記のいずれか1つの画像処理方法を実行する。
図9は、本願実施例の電子機器の概略的な構造図であり、図9に示されたように、電子機器800は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
図9を参照すると、電子機器800は、第1処理コンポーネント802、第1メモリ804、第1電力コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、第1入力/出力(I/O:Input Output)インターフェース812、センサコンポーネント814、及び通信コンポーネント816のうちの1つまたは複数のコンポーネットを備えることができる。
第1処理コンポーネント802は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような電子機器800の全般的な操作を制御する。第1処理コンポーネント802は、上記の方法のステップのすべてまたは一部を完了するために、1つまたは複数のプロセッサ820を備えて命令を実行することができる。加えて、第1処理コンポーネント802は、第1処理コンポーネント802と他のコンポーネントの間の相互作用を容易にするために、1つまたは複数のモジュールを備えることができる。例えば、第1処理コンポーネント802は、マルチメディアコンポーネント808と第1処理コンポーネント802との間の相互作用を容易にするために、マルチメディアモジュールを備えることができる。
第1メモリ804は、機器800での操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器800で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。第1メモリ804は、スタティックランダムアクセスメモリ(SRAM:Static Random-Access Memory)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM:Electrically Erasable Programmable Read Only Memory)、消去可能なプログラム可能な読み取り専用メモリ(EPROM:Electrical Programmable Read Only Memory)、プログラム可能な読み取り専用メモリ(PROM:Programmable Read-Only Memory)、読み取り専用メモリ(ROM:Read-Only Memory)、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。
第1電力コンポーネント806は、電子機器800の様々なコンポーネントに電力を提供する。第1電力コンポーネント806は、電力管理システム、1つまたは複数の電源、及び電子機器800の電力の生成、管理および分配に関する他のコンポーネントを備えることができる。
マルチメディアコンポーネント808は、前記電子機器800とユーザとの間の、出力インターフェースを提供するスクリーンを備える。いくつかの実施例において、スクリーンは、液晶ディスプレイ(LCD:Liquid Crystal Display)及びタッチパネル(TP:Touch Pad)を備えることができる。スクリーンがタッチパネルを備える場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャーを検知するための1つまたは複数のタッチセンサを備える。前記タッチセンサは、タッチまたはスライドの操作の境界を感知するだけでなく、前記タッチまたはスライド動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント808は、1つのフロントカメラおよび/またはリアカメラを備える。電子機器800が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび/またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定された光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。
オーディオコンポーネント810は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオコンポーネント810は、1つのマイクロフォン(MIC)を備え、電子機器800が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、第1メモリ804にさらに記憶されてもよく、または通信コンポーネント816を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント810は、さらに、オーディオ信号を出力するためのスピーカを備える。
第1入力/出力インターフェース812は、第1処理コンポーネント802と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えることができるが、これらに限定されない。
センサコンポーネント814は、電子機器800に各態様の状態の評価を提供するための1つまたは複数のセンサを備える。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態と、電子機器800のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント814は、電子機器800または電子機器800のコンポーネントの位置の変化、ユーザとの電子機器800の接触の有無、電子機器800の向きまたは加速/減速、及び電子機器800の温度の変化も検出することができる。センサコンポ―ネット814は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサコンポーネント814は、さらに、撮像用途で使用するための光センサ、相補型金属酸化膜半導体(CMOS:Complementary Metal Oxide Semiconductor)または電荷結合素子(CCD:Charge Coupled Device)画像センサなどの光センサを備えることができる。いくつかの実施例において、当該センサコンポーネント814は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。
通信コンポーネント816は、電子機器800と他の装置の間の有線または無線通信を容易にするように構成される。電子機器800は、WiFi、2Gまたは3G、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント816は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント816は、さらに、短距離通信を促進するために、近距離通信(NFC)モジュールを備える。例えば、NFCモジュールでは、無線周波数識別(RFID:Radio Frequency Identification)技術、赤外線データ協会(IrDA:Infrared Data Association)技術、超広帯域(UWB:Ultra Wide Band)技術、ブルートゥース(BT:Bluetooth(登録商標))技術及び他の技術に基づいて具現されることができる。
例示的な実施例において、電子機器800は、上記のいずれか1つの方法を実行するように構成される、1つまたは複数の特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号プロセッサ(DSP;Digital Signal Processor)、デジタル信号処理装置(DSPD:Digital Signal Process)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができる。
例示的に、コンピュータプログラム命令を含む第1メモリ804などの、不揮発性コンピュータ可読記憶媒体をさらに提供し、上記のコンピュータプログラム命令は、電子機器800のプロセッサ820によって実行されて上記のいずれか1つの画像処理方法を完了することができる。
例示的に、コンピュータプログラム命令を含む第1メモリ804などの、不揮発性コンピュータ可読記憶媒体をさらに提供し、上記のコンピュータプログラム命令は、電子機器800のプロセッサ820によって実行されて上記のいずれか1つの画像処理方法を完了することができる。
図10は、本願実施例の別の電子機器の概略的な構造図であり、図10に示されたように、電子機器1900は、サーバとして提供されることができる。図10を参照すると、電子機器1900は、第2処理コンポーネント1922を含み、1つまたは複数のプロセッサと、アプリケーションプログラムなど、第2処理コンポーネント1922によって実行可能な命令を記憶するように構成される第2メモリ1932によって表されるメモリリソースとさらにを含む。第2メモリ1932に記憶されたアプリケーションプログラムは、1つまたは1つ以上の1セットの命令に対応する各モジュールを備えることができる。さらに、第2処理コンポーネント1922は、上記のいずれか1つの方法を実行するための命令を実行するように構成される。
電子機器1900は、さらに、電子装置1900の電源管理を実行するように構成される1つの第2電力コンポーネント1926、電子装置1900をネットワークに接続するように構成される1つの有線または無線ネットワークインターフェース1950、および第2入力/出力(I/O)インターフェース1958を備えることができる。電子機器1900は、第2メモリ1932に記憶されたWindows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTMまたは類似したものなどの操作システムに基づいて操作されることができる。
例示的な実施例において、コンピュータプログラム命令を含む第2メモリ1932などの、不揮発性コンピュータ可読記憶媒体をさらに提供し、上述のコンピュータプログラム命令は、電子機器1900の第2処理コンポーネント1922によって実行されて上記の方法を完了することができる。
本願実施例は、システム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサが本願の様々な態様を実現するようにするためのコンピュータ可読プログラム命令がロードだれたコンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保留および記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器または前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的リスト)は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD:Digital Video Disc)、メモリスティック、フロッピーディスク、命令が記憶されたパンチカードまたは溝の凸構造、および前述の任意の適切な組み合わせなどの機械的符号化機器を含む。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波(光ファイバーケーブルを介した光パルスなど)、またはワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保留および記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器または前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的リスト)は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD:Digital Video Disc)、メモリスティック、フロッピーディスク、命令が記憶されたパンチカードまたは溝の凸構造、および前述の任意の適切な組み合わせなどの機械的符号化機器を含む。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波(光ファイバーケーブルを介した光パルスなど)、またはワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング/処理機器にダウンロードするか、インターネット、メトロポリタンエリアネットワーク、ワイドエリアネットワークおよび/またはワイヤレスネットワークなどのネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび/またはエッジサーバなどを含み得る。各コンピューティング/処理機器におけるネットワークアダプターカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング/処理機器におけるコンピュータ可読記憶媒体に記憶するために、当該コンピュータ可読プログラム命令を転送する。
本願実施例の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または以1つまたは複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコードまたは目標コードであってもよく、前記プログラミング言語は、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、ユーザのコンピュータで完全に実行され、またはユーザのコンピュータで部分的に実行されることができ、1つの独立したソフトウェアパッケージとして実行され、部分的にユーザのコンピュータで、部分的にリモートコンピュータで実行されることができ、または完全にリモートコンピュータまたはサーバで実行されることができる。リモートコンピュータに関する場合において、リモートコンピュータは、ローカルエリアネットワーク(LAN:Local Area Network)またはワイドエリアネットワーク(WAN:Wide Area Network)を含む任意のタイプのネットワークは、ユーザのコンピュータに接続することができ、または、外部のコンピュータに接続することができる(例えば、インターネットサービスプロバイダを使用してインターネットにアクセスすることができる)。いくつかの実施例において、コンピュータ可読命令の状態情報を使用することにより、プログラマブルロジック回路、FPGAまたはプログラマブルロジックアレイ(PLA:Programmable Logic Array)などの、電子回路をカスタマイズし、当該電子回路は、コンピュータ可読プログラム命令を実行し、それにより、本願実施例の各態様を実現することができる。
ここで、本願の実施例に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロックを参照して本願実施例の各態様を説明する。フローチャートおよび/またはブロック図の各ブロックおよびフローチャートおよび/またはブロック図における各ブロックの組み合わせのすべては、コンピュータ可読プログラム命令によって実行されることができることを理解されたい。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供することができ、それにより、マシンを作成して、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されるときに、フローチャートおよび/またはブロック図における1つのまたは複数のブロックで規定した機能/動作を実現する装置を作成するようにする。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよく、これらの命令は、コンピュータ、プログラム可能データ処理装置および/または他の機器が特定方式で動作するようにし、それにより、命令が記憶されたコンピュータ可読媒体は、フローチャートおよび/またはブロック図における1つまたは複数のブロックで規定した機能功能/実現する各態様の命令を含む、製品を含む。
コンピュータ可読プログラム命令をコンピュータ、他のプログラム可能な数据処理装置、または他の機器にローディングして、一連の操作ステップをコンピュータ、プログラム可能な数据処理装置または他の機器で実行することができるようにし、コンピュータによって実現されるプロセスを作成し、それにより、コンピュータ、他のプログラム可能な数据処理装置、または他の機器で実行される命令がフローチャートおよび/またはブロック図における1つまたは複数のブロックで規定した機能/動作を実現することができるようにする。
図面におけるフローチャートおよびブロック図は、本願の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能な実装アーキテクチャ、機能および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、1つのモジュール、プログラムセグメントまたは命令の一部を表すことができ、前記モジュール、プログラムセグメントまたは命令の一部は、規定された論理機能を実現するために使用される1つまたは複数の実行可能な命令を含む。いくつかの代替的な実現では、ブロックで表示された機能は、図面で表示された順序と異なる順序で発生することができる。例えば、連続して示された2つのブロックは、実際には、並行して実行される場合や、逆の順序で実行される場合があり、これは、関連する機能によって決定される。ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、規定された機能または動作を実行する専用のハードウェアに基づくシステムによって実現することができ、またはハードウェアとコンピュータ命令の組み合わせによって実現されることができることにも留意されたい。
以上、本願の各実施例を説明したが、以上の説明は網羅的ではなく、例示的なものに過ぎず、開示された各実施例に限定されない。当業者にとって、説明された各実施例の範囲および思想から逸脱することなく、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用または市場における技術の技術的改善を最もよく説明するか、当業者が本明細書で開示された各実施例を理解することができるようにすることを意図する。
本願は、画像処理方法及び装置、電子機器並びに記憶媒体に関し、前記方法は、処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することと、前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することと、前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することとを含む。本願実施例は、画像における目標分割の精度を向上させることができる。
本願実施例は、さらにコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記のいずれか1つの画像処理方法を実行する。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
画像処理方法であって、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することと、
前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することと、
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することと、を含む、前記画像処理方法。
(項目2)
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することは、
各第1分割結果を融合して、融合結果を取得することと、
前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得することと、を含む、
項目1に記載の画像処理方法。
(項目3)
前記処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定することと、を含む、
項目1または2に記載の画像処理方法。
(項目4)
前記少なくとも1つの目標画像領域に対して第2分割処理をそれぞれ実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することは、
前記少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得することと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得することと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得することと、を含む、
項目1ないし3のいずれか一項に記載の画像処理方法。
(項目5)
前記第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得することを含み、Nはダウンサンプリング及びアップサンプリングのレベル数である、
項目4に記載の画像処理方法。
(項目6)
前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む、
項目1ないし5のいずれか一項に記載の画像処理方法。
(項目7)
前記画像処理方法はニューラルネットワークによって実現され、前記画像処理方法は、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
項目1ないし6のいずれか一項に記載の画像処理方法。
(項目8)
前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、
前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第2分割ネットワークに前記各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力することと、
前記各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力することと、
前記複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することと、を含む、
項目7に記載の画像処理方法。
(項目9)
画像処理装置であって、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定するように構成される第1分割モジュールと、
前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定するように構成される第2分割モジュールと、
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定するように構成される融合及び分割モジュールと、を備える、前記画像処理装置。
(項目10)
前記融合及び分割モジュールは、
各第1分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、
前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得するように構成される分割サブモジュールと、を備える、
項目9に記載の画像処理装置。
(項目11)
前記第1分割モジュールは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第1抽出サブモジュールと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第1分割サブモジュールと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定するように構成される決定サブモジュールと、を備える、
項目9または10に記載の画像処理装置。
(項目12)
前記第2分割モジュールは、
前記少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得するように構成される第2抽出サブモジュールと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得するように構成されるアップサンプリングサブモジュールと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得するように構成される分類サブモジュールと、を備える、
項目9ないし11のいずれか一項に記載の画像処理装置。
(項目13)
前記アップサンプリングサブモジュールは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得するように構成される接続サブモジュールを備え、Nはダウンサンプリング及びアップサンプリングのレベル数である、
項目12に記載の画像処理装置。
(項目14)
前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む、
項目9ないし13のいずれか一項に記載の画像処理装置。
(項目15)
前記画像処理装置は、ニューラルネットワークによって実現され、前記画像処理装置は、さらに、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
項目9ないし14のいずれか一項に記載の画像処理装置。
(項目16)
前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、
各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力するように構成される第2分割サブモジュールと、
各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力するように構成される第3分割サブモジュールと、
複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールと、を備える、
項目15に記載の画像処理装置。
(項目17)
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、項目1ないし8のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
(項目18)
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、項目1ないし8のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。
(項目19)
コンピュータプログラムであって、
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器内で実行すると、前記電子機器におけるプロセッサは、項目1ないし8のいずれか一項に記載の方法を実現するために実行される、前記コンピュータプログラム。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
画像処理方法であって、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することと、
前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することと、
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することと、を含む、前記画像処理方法。
(項目2)
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することは、
各第1分割結果を融合して、融合結果を取得することと、
前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得することと、を含む、
項目1に記載の画像処理方法。
(項目3)
前記処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定することと、を含む、
項目1または2に記載の画像処理方法。
(項目4)
前記少なくとも1つの目標画像領域に対して第2分割処理をそれぞれ実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することは、
前記少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得することと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得することと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得することと、を含む、
項目1ないし3のいずれか一項に記載の画像処理方法。
(項目5)
前記第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得することを含み、Nはダウンサンプリング及びアップサンプリングのレベル数である、
項目4に記載の画像処理方法。
(項目6)
前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む、
項目1ないし5のいずれか一項に記載の画像処理方法。
(項目7)
前記画像処理方法はニューラルネットワークによって実現され、前記画像処理方法は、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
項目1ないし6のいずれか一項に記載の画像処理方法。
(項目8)
前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、
前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第2分割ネットワークに前記各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力することと、
前記各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力することと、
前記複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することと、を含む、
項目7に記載の画像処理方法。
(項目9)
画像処理装置であって、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定するように構成される第1分割モジュールと、
前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定するように構成される第2分割モジュールと、
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定するように構成される融合及び分割モジュールと、を備える、前記画像処理装置。
(項目10)
前記融合及び分割モジュールは、
各第1分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、
前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得するように構成される分割サブモジュールと、を備える、
項目9に記載の画像処理装置。
(項目11)
前記第1分割モジュールは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第1抽出サブモジュールと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第1分割サブモジュールと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定するように構成される決定サブモジュールと、を備える、
項目9または10に記載の画像処理装置。
(項目12)
前記第2分割モジュールは、
前記少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得するように構成される第2抽出サブモジュールと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得するように構成されるアップサンプリングサブモジュールと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得するように構成される分類サブモジュールと、を備える、
項目9ないし11のいずれか一項に記載の画像処理装置。
(項目13)
前記アップサンプリングサブモジュールは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得するように構成される接続サブモジュールを備え、Nはダウンサンプリング及びアップサンプリングのレベル数である、
項目12に記載の画像処理装置。
(項目14)
前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む、
項目9ないし13のいずれか一項に記載の画像処理装置。
(項目15)
前記画像処理装置は、ニューラルネットワークによって実現され、前記画像処理装置は、さらに、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
項目9ないし14のいずれか一項に記載の画像処理装置。
(項目16)
前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、
各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力するように構成される第2分割サブモジュールと、
各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力するように構成される第3分割サブモジュールと、
複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールと、を備える、
項目15に記載の画像処理装置。
(項目17)
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、項目1ないし8のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
(項目18)
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、項目1ないし8のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。
(項目19)
コンピュータプログラムであって、
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器内で実行すると、前記電子機器におけるプロセッサは、項目1ないし8のいずれか一項に記載の方法を実現するために実行される、前記コンピュータプログラム。
Claims (19)
- 画像処理方法であって、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することと、
前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することと、
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することと、を含む、前記画像処理方法。 - 前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定することは、
各第1分割結果を融合して、融合結果を取得することと、
前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得することと、を含む、
請求項1に記載の画像処理方法。 - 前記処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定することは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定することと、を含む、
請求項1または2に記載の画像処理方法。 - 前記少なくとも1つの目標画像領域に対して第2分割処理をそれぞれ実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定することは、
前記少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得することと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得することと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得することと、を含む、
請求項1ないし3のいずれか一項に記載の画像処理方法。 - 前記第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得することは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得することを含み、Nはダウンサンプリング及びアップサンプリングのレベル数である、
請求項4に記載の画像処理方法。 - 前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む、
請求項1ないし5のいずれか一項に記載の画像処理方法。 - 前記画像処理方法はニューラルネットワークによって実現され、前記画像処理方法は、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
請求項1ないし6のいずれか一項に記載の画像処理方法。 - 前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、
前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第2分割ネットワークに前記各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力することと、
前記各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力することと、
前記複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することと、を含む、
請求項7に記載の画像処理方法。 - 画像処理装置であって、
処理される画像に対して第1分割処理を実行して、前記処理される画像内の少なくとも1つの目標画像領域を決定するように構成される第1分割モジュールと、
前記少なくとも1つの目標画像領域に対して第2分割処理を実行して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を決定するように構成される第2分割モジュールと、
前記第1分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第2分割結果を決定するように構成される融合及び分割モジュールと、を備える、前記画像処理装置。 - 前記融合及び分割モジュールは、
各第1分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、
前記処理される画像に基づき、前記融合結果に対して第3分割処理を実行して、前記処理される画像の第2分割結果を取得するように構成される分割サブモジュールと、を備える、
請求項9に記載の画像処理装置。 - 前記第1分割モジュールは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第1抽出サブモジュールと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第1分割サブモジュールと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも1つの目標画像領域を決定するように構成される決定サブモジュールと、を備える、
請求項9または10に記載の画像処理装置。 - 前記第2分割モジュールは、
前記少なくとも1つの目標画像領域に対して特徴抽出を実行して、前記少なくとも1つの目標画像領域の第1特徴マップを取得するように構成される第2抽出サブモジュールと、
前記第1特徴マップに対してN(Nは1より大きいか等しい整数である)レベルのダウンサンプリングを実行して、Nレベルの第2特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、
第Nレベルの第2特徴マップに対してNレベルのアップサンプリングを実行して、Nレベルの第3特徴マップを取得するように構成されるアップサンプリングサブモジュールと、
第Nレベルの第3特徴マップを分類して、前記少なくとも1つの目標画像領域内の目標の第1分割結果を取得するように構成される分類サブモジュールと、を備える、
請求項9ないし11のいずれか一項に記載の画像処理装置。 - 前記アップサンプリングサブモジュールは、
i(iは整数である)が1からNを順次に取るものである場合、アテンションメカニズムに基づいて、第iレベルのアップサンプリングを実行して取得した第3特徴マップを第N-iレベルの第2特徴マップに接続して、第iレベルの第3特徴マップを取得するように構成される接続サブモジュールを備え、Nはダウンサンプリング及びアップサンプリングのレベル数である、
請求項12に記載の画像処理装置。 - 前記処理される画像は3次元膝画像を含み、前記第2分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも1つを含む、
請求項9ないし13のいずれか一項に記載の画像処理装置。 - 前記画像処理装置は、ニューラルネットワークによって実現され、前記画像処理装置は、さらに、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
請求項9ないし14のいずれか一項に記載の画像処理装置。 - 前記ニューラルネットワークは、第1分割ネットワーク、少なくとも1つの第2分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、
サンプル画像を前記第1分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、
各目標に対応する第2分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第1分割結果を出力するように構成される第2分割サブモジュールと、
各サンプル画像領域内の目標の第1分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第2分割結果を出力するように構成される第3分割サブモジュールと、
複数のサンプル画像の第2分割結果及び注釈分割結果に従って、前記第1分割ネットワーク、前記第2分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールと、を備える、
請求項15に記載の画像処理装置。 - 電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項1ないし8のいずれか一項に記載の方法を実行するように構成される、前記電子機器。 - コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項1ないし8のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。 - コンピュータプログラムであって、
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器内で実行すると、前記電子機器におけるプロセッサは、請求項1ないし8のいずれか一項に記載の方法を実現するために実行される、前記コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910895227.X | 2019-09-20 | ||
CN201910895227.XA CN110675409A (zh) | 2019-09-20 | 2019-09-20 | 图像处理方法及装置、电子设备和存储介质 |
PCT/CN2020/100728 WO2021051965A1 (zh) | 2019-09-20 | 2020-07-07 | 图像处理方法及装置、电子设备、存储介质和计算机程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022533404A true JP2022533404A (ja) | 2022-07-22 |
Family
ID=69077288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021568935A Pending JP2022533404A (ja) | 2019-09-20 | 2020-07-07 | 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220198775A1 (ja) |
JP (1) | JP2022533404A (ja) |
CN (1) | CN110675409A (ja) |
TW (1) | TWI755853B (ja) |
WO (1) | WO2021051965A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675409A (zh) * | 2019-09-20 | 2020-01-10 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111311609B (zh) * | 2020-02-14 | 2021-07-02 | 推想医疗科技股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN111275721B (zh) * | 2020-02-14 | 2021-06-08 | 推想医疗科技股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN111414963B (zh) * | 2020-03-19 | 2024-05-17 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备和存储介质 |
CN111445493B (zh) * | 2020-03-27 | 2024-04-12 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111583264B (zh) * | 2020-05-06 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 图像分割网络的训练方法、图像分割方法和存储介质 |
CN111739025B (zh) * | 2020-05-08 | 2024-03-19 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、终端及存储介质 |
CN111583283B (zh) * | 2020-05-20 | 2023-06-20 | 抖音视界有限公司 | 图像分割方法、装置、电子设备及介质 |
CN113515981A (zh) | 2020-05-22 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 识别方法、装置、设备和存储介质 |
CN112184635A (zh) * | 2020-09-10 | 2021-01-05 | 上海商汤智能科技有限公司 | 目标检测方法、装置、存储介质及设备 |
CN115439797A (zh) * | 2020-10-29 | 2022-12-06 | 上海高仙自动化科技发展有限公司 | 机器人的巡检清洁方法、装置、机器人和存储介质 |
CN112561868B (zh) * | 2020-12-09 | 2021-12-07 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
CN113255762B (zh) * | 2021-05-20 | 2022-01-11 | 推想医疗科技股份有限公司 | 图像处理的方法及装置 |
KR20220161839A (ko) * | 2021-05-31 | 2022-12-07 | 한국전자기술연구원 | Gan 구조를 활용한 영상 영역 분할 방법 및 시스템 |
CN113538394B (zh) * | 2021-07-26 | 2023-08-08 | 泰康保险集团股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN113642233B (zh) * | 2021-07-29 | 2023-12-29 | 太原理工大学 | 一种通信机制优化的群体智能协同方法 |
CN115934306A (zh) * | 2021-08-08 | 2023-04-07 | 联发科技股份有限公司 | 一种电子设备、生成输出数据的方法及机器可读存储介质 |
CN113837980A (zh) * | 2021-10-12 | 2021-12-24 | Oppo广东移动通信有限公司 | 分辨率的调整方法、装置、电子设备及存储介质 |
CN113910269B (zh) * | 2021-10-27 | 2022-12-20 | 因格(苏州)智能技术有限公司 | 一种机器人总控*** |
CN117115458A (zh) * | 2023-04-24 | 2023-11-24 | 苏州梅曼智能科技有限公司 | 一种基于对抗互补UNet的工业图像特征提取方法 |
CN116934708A (zh) * | 2023-07-20 | 2023-10-24 | 北京长木谷医疗科技股份有限公司 | 胫骨平台内外侧低点计算方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
CN109829920A (zh) * | 2019-02-25 | 2019-05-31 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110033005A (zh) * | 2019-04-08 | 2019-07-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110197491A (zh) * | 2019-05-17 | 2019-09-03 | 上海联影智能医疗科技有限公司 | 图像分割方法、装置、设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1792265A1 (en) * | 2004-08-18 | 2007-06-06 | Virtualscopics, LLC. | Use of multiple pulse sequences for 3d discrimination of sub-structures of the knee |
US8345976B2 (en) * | 2010-08-06 | 2013-01-01 | Sony Corporation | Systems and methods for segmenting digital images |
TWI494083B (zh) * | 2012-05-31 | 2015-08-01 | Univ Nat Yunlin Sci & Tech | Magnetic resonance measurement of knee cartilage with ICP and KD-TREE alignment algorithm |
US9858675B2 (en) * | 2016-02-11 | 2018-01-02 | Adobe Systems Incorporated | Object segmentation, including sky segmentation |
CN106934397B (zh) * | 2017-03-13 | 2020-09-01 | 北京市商汤科技开发有限公司 | 图像处理方法、装置及电子设备 |
CN108109170B (zh) * | 2017-12-18 | 2022-11-08 | 上海联影医疗科技股份有限公司 | 医学图像扫描方法及医学影像设备 |
CN109993726B (zh) * | 2019-02-21 | 2021-02-19 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
CN110135428B (zh) * | 2019-04-11 | 2021-06-04 | 北京航空航天大学 | 图像分割处理方法和装置 |
CN110675409A (zh) * | 2019-09-20 | 2020-01-10 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-09-20 CN CN201910895227.XA patent/CN110675409A/zh active Pending
-
2020
- 2020-07-07 WO PCT/CN2020/100728 patent/WO2021051965A1/zh active Application Filing
- 2020-07-07 JP JP2021568935A patent/JP2022533404A/ja active Pending
- 2020-09-11 TW TW109131394A patent/TWI755853B/zh active
-
2022
- 2022-03-14 US US17/693,809 patent/US20220198775A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
CN109829920A (zh) * | 2019-02-25 | 2019-05-31 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110033005A (zh) * | 2019-04-08 | 2019-07-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110197491A (zh) * | 2019-05-17 | 2019-09-03 | 上海联影智能医疗科技有限公司 | 图像分割方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TWI755853B (zh) | 2022-02-21 |
US20220198775A1 (en) | 2022-06-23 |
CN110675409A (zh) | 2020-01-10 |
TW202112299A (zh) | 2021-04-01 |
WO2021051965A1 (zh) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022533404A (ja) | 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
TWI770754B (zh) | 神經網路訓練方法及電子設備和儲存介質 | |
WO2022151755A1 (zh) | 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序 | |
CN109829920B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
US20210158533A1 (en) | Image processing method and apparatus, and storage medium | |
CN112767329B (zh) | 图像处理方法及装置、电子设备 | |
TWI754375B (zh) | 圖像處理方法、電子設備、電腦可讀儲存介質 | |
EP3992851A1 (en) | Image classification method, apparatus and device, storage medium, and medical electronic device | |
WO2020211293A1 (zh) | 一种图像分割方法及装置、电子设备和存储介质 | |
Kou et al. | Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network | |
TW202131281A (zh) | 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介 | |
CN113222038B (zh) | 基于核磁图像的乳腺病灶分类和定位方法及装置 | |
EP3998579A1 (en) | Medical image processing method, apparatus and device, medium and endoscope | |
CN114820584B (zh) | 肺部病灶定位装置 | |
Mercan et al. | From patch-level to ROI-level deep feature representations for breast histopathology classification | |
WO2021259390A2 (zh) | 一种冠脉钙化斑块检测方法及装置 | |
Huang et al. | Mask RCNN algorithm for nuclei detection on breast cancer histopathological images | |
Yang et al. | AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis | |
Krishna et al. | An interpretable decision-support model for breast cancer diagnosis using histopathology images | |
Bahadir et al. | Artificial intelligence applications in histopathology | |
Senaras et al. | Segmentation of follicles from CD8-stained slides of follicular lymphoma using deep learning | |
TW202346826A (zh) | 影像處理方法 | |
CN111598025B (zh) | 图像识别模型的训练方法和装置 | |
Zaman et al. | Patch-wise 3D segmentation quality assessment combining reconstruction and regression networks | |
Liu et al. | An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230623 |