JP7386370B1 - Multi-task hybrid supervised medical image segmentation method and system based on federated learning - Google Patents
Multi-task hybrid supervised medical image segmentation method and system based on federated learning Download PDFInfo
- Publication number
- JP7386370B1 JP7386370B1 JP2023095887A JP2023095887A JP7386370B1 JP 7386370 B1 JP7386370 B1 JP 7386370B1 JP 2023095887 A JP2023095887 A JP 2023095887A JP 2023095887 A JP2023095887 A JP 2023095887A JP 7386370 B1 JP7386370 B1 JP 7386370B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- model
- training data
- parameters
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003709 image segmentation Methods 0.000 title claims abstract description 40
- 238000013480 data collection Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 255
- 238000001514 detection method Methods 0.000 claims description 44
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000010187 selection method Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 238000012804 iterative process Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000011423 initialization method Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000002372 labelling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 208000003174 Brain Neoplasms Diseases 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
【課題】単一のラベルタイプの制限を打破し、連合学習に基づくマルチタスクハイブリッドモデルアーキテクチャを提案し、各関与者のデータサイロを打破し、多機関データの潜在能力と深層価値を十分にマイニングするだけでなく、タスク間の関係を十分に利用してさらに効果的な文脈特徴をマイニングし、異なる階層特徴間の情報の相補性を実現し、さらにモデルの精度及びロバスト性を向上させる。【解決手段】連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムは、各種の弱教師ありデータ、完全教師ありデータ及びラベルなしデータに基づくデータ収集モジュールと、連合学習に基づく第１段階でのマルチタスクネットワークモデルモジュールと、第２段階に基づく疑似ラベル生成モジュールと、第２段階に基づく動的サンプル選択モジュールと、異なる段階に基づく連合モデル動的更新モジュールとを含む。【選択図】図１[Problem] Break the limitations of a single label type, propose a multi-task hybrid model architecture based on federated learning, break down the data silos of each participant, and fully mine the potential and deep value of multi-institutional data. In addition, the relationship between tasks is fully utilized to mine more effective context features, realizing information complementarity between different hierarchical features, and further improving the accuracy and robustness of the model. A multi-task hybrid supervised medical image segmentation method and system based on federated learning includes data collection modules based on various weakly supervised data, fully supervised data and unlabeled data, and a first stage based on federated learning. , a pseudo label generation module based on the second stage, a dynamic sample selection module based on the second stage, and a federated model dynamic update module based on different stages. [Selection diagram] Figure 1
Description
本発明は画像分割の技術分野に関し、特に連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムに関する。 The present invention relates to the technical field of image segmentation, and more particularly to a multi-task hybrid supervised medical image segmentation method and system based on federated learning.
医用画像分割はコンピュータ支援診断の画像内容分析をサポートする代表的なタスクであり、病変カテゴリを認識できるだけでなく、特定の領域を位置特定でき、臨床診断において重要な役割を果たす。コンピュータのハードウェア性能の向上に伴って、深層学習に基づく画像分割技術は医用画像を処理する有力なツールになる。医用画像分割用の深層学習モデルの最適化は通常、様々なソースからの大量の注釈付きのピクセルレベルの訓練データに依存する。しかし、ピクセルレベルの注釈コストが非常に高く、医用画像のラベル付けには非常に高度な専門知識が必要であるため、各医療機関のピクセルレベルのラベル付き画像は非常に限られており、且つ利用可能な画像のほとんどはラベルなし又は弱ラベル付きのものである。一方、医療機関間の敏感な患者情報の厳密な共有契約によってデータの共有が非常に困難であるため、膨大なピクセルレベルの症例注釈データを収集することは非常に困難な作業であることが多く、これらの規模が小さく、データ分布が不均衡で、情報含有量が少ないピクセルレベルデータを利用するだけではロバスト性及び汎化能力が満足できるモデルを訓練するのに十分ではない。連合学習（ＦＬ）は分散型学習フレームワークとして、複数の顧客が生データを共有することなくすべての利用可能なデータを十分に利用して機関間の協力を行うことを目的とし、データのプライバシーのセキュリティを確保した上で、ユーザが共同モデリングを実現することを支援し、それによってモデルの性能を向上させることができ、この技術の応用は医療分野でますます重要な役割を果たしている。 Medical image segmentation is a typical task that supports image content analysis in computer-aided diagnosis, which can not only recognize lesion categories but also localize specific regions, which plays an important role in clinical diagnosis. With the improvement of computer hardware performance, image segmentation technology based on deep learning will become a powerful tool for processing medical images. Optimization of deep learning models for medical image segmentation typically relies on large amounts of annotated pixel-level training data from various sources. However, since the pixel-level annotation cost is very high and labeling medical images requires very high level of expertise, each medical institution has very limited pixel-level labeled images and Most of the available images are unlabeled or weakly labeled. On the other hand, collecting vast amounts of pixel-level case annotation data is often a very difficult task, as strict sharing agreements for sensitive patient information between healthcare institutions make data sharing extremely difficult. However, using pixel-level data with small size, unbalanced data distribution, and low information content is not sufficient to train a model with satisfactory robustness and generalization ability. Federated Learning (FL) is a distributed learning framework that aims to enable inter-institutional cooperation by fully utilizing all available data without multiple customers sharing raw data, and with the aim of ensuring data privacy. The application of this technology is playing an increasingly important role in the medical field, which can help users realize collaborative modeling while ensuring the security of the data, thereby improving the performance of the model.
公開番号ＣＮ１１３５７１２０３Ａの特許文献には、連合学習に基づくマルチセンターの脳腫瘍生命予後の予測方法及びシステムが開示されており、前記方法は、Ｃ－Ｓアーキテクチャに基づいてマルチセンターの連合学習モデルを構築し、各センターに分散的に記憶された患者の電子カルテ情報とラジオミクス特徴及び深層学習特徴を組み合わせて全面的な脳腫瘍生命予後分類モデルを確立し、該脳腫瘍生命予後の予測方法及びシステムが提案したアクティブ学習は、連合学習において訓練サンプルが自動的にラベル付けされた各ローカル機器上で利用可能なラベルなしデータを利用したグローバルモデルの構築を検討したが、該技術は画像レベルのカテゴリラベル及びバウンディングボックスラベルなどの弱ラベル付き画像を使用していない。多くの場合、これらの弱ラベル付き画像はラベル無し画像よりも利用価値が高く、ピクセルレベルのラベルと比べて、弱ラベルは広く利用可能であり、取得コストが低い。 The patent document with publication number CN113571203A discloses a multicenter brain tumor prognosis prediction method and system based on federated learning, and the method constructs a multicenter federated learning model based on the CS architecture. , established a comprehensive brain tumor prognosis classification model by combining patient electronic medical record information stored in a distributed manner at each center, radiomics features, and deep learning features, and proposed a method and system for predicting the brain tumor prognosis. Active learning considers building a global model using unlabeled data available on each local device where training samples are automatically labeled in federated learning; Not using weakly labeled images such as box labels. These weakly labeled images are often more useful than unlabeled images, and compared to pixel-level labels, weak labels are widely available and cost less to acquire.
現在、従来技術には以下の欠陥が存在する。 At present, the following deficiencies exist in the prior art:
臨床実践において、異なる機関はデータの品質、数量及び教師の可用性に大きな違いが存在する可能性がある。これらのデータを不適切に使用すると、異なるクライアント間の医用画像分割性能が大幅に低下する可能性がある。標準的なＦＬモデルの訓練過程で、各ローカルクライアントは、先ずサーバから連合モデルをダウンロードし、ローカルでモデルを更新し、次に、各クライアントがローカルで訓練したモデルパラメータをサーバに返送し、最後に、すべてのクライアントのモデルパラメータを集約してグローバル連合モデルを更新する。既存のＦＬフレームワークのほとんどは、各ローカルクライアントが訓練に用いるデータが同じレベルのラベルに従う必要があることを要求するため、モデルの学習能力が大幅に制限されている。 In clinical practice, different institutions can have significant differences in data quality, quantity, and teacher availability. Improper use of these data can significantly degrade medical image segmentation performance between different clients. In the standard FL model training process, each local client first downloads the federated model from the server, updates the model locally, then each client sends the locally trained model parameters back to the server, and finally , updates the global federated model by aggregating the model parameters of all clients. Most existing FL frameworks require that the data used for training by each local client must follow the same level of labels, which severely limits the ability of the model to learn.
いくつかの半教師あり連合学習方法は、訓練中にピクセルレベルのラベル付き画像を除いたラベルなしデータを利用しようとするが、教師ありの可用性の変化を考慮しておらず、すなわち異なるクライアントは異なるレベルの画像ラベルを有する。異なるラベル強度レベルを有するこれらの弱ラベル付きデータ及びラベルなしデータからの情報を効果的に利用し、特にピクセルレベルのラベル付きデータがないクライアントについては、連合モデルのロバスト性を向上させることに非常に有利であるとともに、訓練の不安定性を防止する。 Some semi-supervised federated learning methods try to utilize unlabeled data excluding pixel-level labeled images during training, but do not take into account changes in the availability of supervision, i.e. different clients With different levels of image labels. It is very useful to effectively utilize the information from these weakly labeled and unlabeled data with different label strength levels to improve the robustness of federated models, especially for clients without pixel-level labeled data. This is advantageous and prevents instability in training.
このため、連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムが提案されている。 To this end, multi-task hybrid supervised medical image segmentation methods and systems based on federated learning have been proposed.
本発明は上記技術的課題を解決するために、連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムを提案する。 In order to solve the above technical problems, the present invention proposes a multi-task hybrid supervised medical image segmentation method and system based on federated learning.
本発明が採用する技術的解決手段は以下のとおりである。 The technical solutions adopted by the present invention are as follows.
連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法は、
各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集するステップＳ１であって、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられるステップＳ１と、
第１段階では、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得するステップＳ２と、
第２段階では、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成するステップＳ３と、
第２段階では、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択するステップＳ４と、
第１段階及び第２段階に基づき、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うステップＳ５と、を含む。
A multi-task hybrid supervised medical image segmentation method based on federated learning
Step S1 of collecting weakly supervised data, fully supervised data, and unlabeled data necessary for medical image segmentation in each medical institution, the weakly supervised data being bounding box labeled training data and image level , the fully supervised data is pixel-level labeled training data, and the weakly supervised data, the fully supervised data, and the unlabeled training data are a corresponding medical institution source dataset. Step S1 used as
In the first stage, based on the federated learning multi-task network model, pre-training is performed using the bounding box labeled training data and the pixel-level labeled training data, and two different global pre-trained federated models are used. Step S2 of acquiring
In the second step, the unlabeled training data, the image-level labeled training data, the bounding box labeled training data and the pixel-level labeled training data are used to create two different global pre-trained federated models. step S3 of generating a pseudo label by an iterative pseudo label generator based on the
the second step is step S4 of selecting high quality training data and pseudo labels using a dynamic sample selection method;
Based on the first and second stages, for the parameters of the local training model generated in the iterative process by each client received, the central server side will train the global federated model through a self-adaptive weight allocation program between clients. Step S5 of updating parameters.
さらに、前記ステップＳ２は具体的には、
ＣＳＰ－ＲｅｓＮｅＸｔ構造を採用したバックボーンネットワーク、ＡＳＰＰ及びＦＰＮを採用したｎｅｃｋ、ＰＡＮで融合されたマルチスケール情報特徴マップを採用した境界検出タスクブランチ、及び２回のアップサンプリング操作を採用したグローバルマスク分割タスクブランチを含むマルチタスクネットワークモデルを構築するサブステップＳ２１と、
中央サーバ側は前記マルチタスクネットワークモデルに対してＸａｖｉｅｒ初期化及びＫａｉｍｉｎｇ初期化の２種の異なるネットワークモデル重み初期化方法をそれぞれ採用し、処理して２つの異なるグローバルネットワークモデルを取得するサブステップＳ２２と、
各クライアントは前記ピクセルレベルのラベル付き訓練データ及び前記バウンディングボックスのラベル付き訓練データに対して前処理操作を行い、それぞれの第１段階の前処理画像データを取得するサブステップＳ２３と、
中央サーバ側は２つの異なるグローバルネットワークモデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第１段階の前処理画像データに基づいて特徴抽出を行い、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習し、対応するタスクブランチの対応する出力を取得するサブステップＳ２４と、
各クライアントは所定回数の反復を行った後にいずれも２つの異なる局所訓練モデルを取得し、前記２つの異なる局所訓練モデルを中央サーバ側に返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルを集約して新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、第１段階で設定された所定の予備訓練の回数に達するまで前記訓練、統合ステップを繰り返し、２つの異なるグローバル予備訓練連合モデルを取得するサブステップＳ２５と、を含む。
Furthermore, the step S2 specifically includes:
The backbone network adopts CSP-ResNeXt structure, neck adopts ASPP and FPN, boundary detection task branch adopts multi-scale information feature map fused with PAN, and global mask segmentation task adopts two upsampling operations. a substep S21 of constructing a multitask network model including branches;
Sub-step S22: the central server side adopts two different network model weight initialization methods, Xavier initialization and Kaiming initialization, for the multi-task network model and processes them to obtain two different global network models. and,
each client performs a preprocessing operation on the pixel-level labeled training data and the bounding box labeled training data to obtain respective first-stage preprocessed image data;
The central server side sends two different global network models to each client, and each client performs feature extraction based on the local first-stage preprocessed image data, and the sent first-stage preprocessed image data. a sub-step S24 of selecting the corresponding task branch based on the type of the task branch, learning both uniqueness and commonality information by adaptive supervision, and obtaining the corresponding output of the corresponding task branch;
After each client performs a predetermined number of iterations, each client obtains two different local training models, and sends the two different local training models back to the central server side, and the central server side receives two different local training models returned by each client. Aggregating different locally trained models to obtain a new global federated model, send the global federated model to each client for retraining, and repeat the training until a predetermined number of pre-trainings set in the first stage is reached. , a substep S25 of repeating the integration step to obtain two different global pre-trained federated models.
さらに、前記サブステップＳ２４では、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習することは具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練することと、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、グローバルマスク分割タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及び境界検出タスクブランチのパラメータのみを訓練することと、に分けられる。
Furthermore, in the sub-step S24, a corresponding task branch is selected based on the type of the sent first-stage preprocessed image data, and information on both individuality and commonality is learned through adaptive supervision. Specifically,
When the client receives pixel-level labeled training data, it freezes the parameters of the boundary detection task branch and trains only the parameters of the backbone network, neck and global mask segmentation task branches of two different local training models. ,
When the client receives bounding box labeled training data, it freezes the parameters of the global mask splitting task branch and only trains the parameters of the backbone network, neck and boundary detection task branches of two different local training models. It is divided into .
さらに、前記ステップＳ３は具体的には、
各クライアントはピクセルレベルのラベル付き訓練データ、バウンディングボックスのラベル付き訓練データ、画像レベルのラベル付き訓練データ及びラベルなし訓練データに対してそれぞれ前処理操作を行い、第２段階の前処理画像データを取得するサブステップＳ３１と、
中央サーバ側は第１段階で生成された２つの異なるグローバル予備訓練連合モデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択し、第２段階のネットワークモデルの訓練を行うサブステップＳ３２と、を含む。
Furthermore, the step S3 specifically includes:
Each client performs preprocessing operations on pixel-level labeled training data, bounding box labeled training data, image-level labeled training data, and unlabeled training data, respectively, and processes the second-stage preprocessed image data. a sub-step S31 of acquiring;
The central server side sends two different global pre-trained federated models generated in the first stage to each client, respectively, and each client receives a supervised type model based on the local second stage pre-processed image data and its data type. and a substep S32 of self-adaptively selecting the network model and training a second-stage network model.
さらに、前記サブステップＳ３２では、各クライアントがローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択することは具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練することと、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、２つの異なる局所訓練モデルの境界検出タスクブランチ及びグローバルマスク分割タスクブランチのパラメータを同時に訓練し、検出タスクが分割タスクを支援する方式を利用して教師あり学習を行い、対応するバウンディングボックスのラベル付き訓練データのラベルを介してグローバルマスク分割タスクブランチの疑似ラベルに対して修正操作を行うことと、
クライアントが画像レベルのラベル付き訓練データ及びラベルなし訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、前記２つの異なる局所訓練モデルを利用してクロス疑似ラベル教師ありを行うことと、に分けられる。
Furthermore, in the sub-step S32, each client self-adaptively selects the supervised type based on the local second-stage preprocessed image data and its data type, specifically,
When the client receives pixel-level labeled training data, it freezes the parameters of the boundary detection task branch and trains only the parameters of the backbone network, neck and global mask segmentation task branches of two different local training models. ,
When the client receives bounding box labeled training data, the parameters of the boundary detection task branch and global mask segmentation task branch of two different local training models are simultaneously trained, and the detection task supports the segmentation task. perform supervised learning on the pseudo-labels of the global mask segmentation task branch through the labels of the labeled training data of the corresponding bounding boxes;
When the client receives image-level labeled training data and unlabeled training data, it freezes the parameters of the boundary detection task branch and only the parameters of the backbone network, neck and global mask segmentation task branches of two different local training models. training, and performing cross-pseudo-label supervised training using the two different local training models.
さらに、前記ステップＳ４は具体的には、動的サンプル選択方法を採用し、現在訓練された２つの異なる局所訓練モデルによって生成された疑似ラベル間の予測一致性を利用し、マスクを生成することによって、高品質の訓練データ及び疑似ラベルを選択することである。 Furthermore, the step S4 specifically includes generating a mask by employing a dynamic sample selection method and using the predictive consistency between the pseudo labels generated by two different currently trained local training models. By selecting high quality training data and pseudo labels.
さらに、前記ステップＳ５は具体的には、
毎回の訓練過程で、各クライアントは中央サーバ側から反復過程で生成されたグローバル連合モデルパラメータを受信するサブステップＳ５１と、
各クライアントはローカルの訓練データを使用してローカル訓練を行い、ローカルの局所訓練モデルのパラメータ更新を完了するサブステップＳ５２と、
各クライアントはそれぞれの局所訓練モデルパラメータの勾配更新を中央サーバ側に送信するサブステップＳ５３と、
中央サーバ側は各クライアントによってアップロードされた局所訓練モデルパラメータの勾配をまとめ、グローバル連合モデルパラメータに対する更新を完了するサブステップＳ５４と、を含む。
Furthermore, the step S5 specifically includes:
In each training process, each client receives global federated model parameters generated in the iterative process from the central server side;
each client performs local training using local training data and completes parameter updates of the local locally trained model;
a sub-step S53 in which each client sends gradient updates of its respective local training model parameters to the central server side;
The central server side compiles the gradients of the local training model parameters uploaded by each client and completes the update to the global federated model parameters.
さらに、前記ステップＳ２の段階におけるグローバル連合モデルのパラメータ更新に対して、前記サブステップＳ５４では局所訓練モデルパラメータをまとめる方式は、
第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新する方式であって、各クライアントが第１段階で使用した訓練データ量が第１段階で使用された総データ量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの共有ネットワーク部分のパラメータをグローバル連合モデルの共有ネットワーク部分のパラメータに集める方式と、
グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新する方式であって、各クライアントが第１段階で使用したピクセルレベルのラベル付き訓練データ量が第１段階で使用されたピクセルレベルの訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所モデルのグローバルマスク分割ブランチ部分のパラメータをグローバル連合モデルのグローバルマスク分割ブランチ部分のパラメータに集める方式と、
第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新する方式であって、各クライアントが第１段階で使用したバウンディングボックスのラベル付き訓練データ量が第１段階で使用されたバウンディングボックス訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの検出タスクブランチ部分のパラメータをグローバル連合モデルの検出タスクブランチ部分のパラメータに集める方式と、を含む。
Furthermore, with respect to updating the parameters of the global federated model in step S2, the method of summarizing the local training model parameters in sub-step S54 is as follows:
A method for updating the parameters of the shared network part of the global federated model in the first stage, based on the proportion of the amount of training data used by each client in the first stage to the total amount of data used in the first stage. a method in which parameters of a shared network part of a local training model of each client are collected into parameters of a shared network part of a global federated model by weighting parameters;
A method for updating model parameters of a global mask segmentation task branch of a global federated model, wherein the amount of pixel-level labeled training data used by each client in the first stage is the pixel-level training data used in the first stage. A method of weighting parameters based on the proportion of the total amount and collecting parameters of the global mask division branch part of the local model of each client into parameters of the global mask division branch part of the global federated model;
A method of updating the parameters of the detection task branch part of the global federated model in the first stage, in which the amount of labeled training data of the bounding box used in the first stage by each client is the bounding box training used in the first stage. The method includes a method of weighting parameters based on a proportion of the total amount of data, and collecting parameters of a detection task branch part of a local training model of each client into parameters of a detection task branch part of a global federated model.
さらに、前記ステップＳ３の段階におけるグローバル連合モデルのパラメータ更新に対して、前記サブステップＳ５４では局所訓練モデルパラメータをまとめる方式は、
第２段階でグローバル連合モデルを集約する過程で、各クライアントのデータ分布及び各クライアントが現在の訓練スケジュールで選択した高品質の訓練データ量に基づき、適応集約関数を定義することによって集約重みを動的に調整する方式を含む。
Furthermore, with respect to updating the parameters of the global federated model in step S3, the method of summarizing the local training model parameters in sub-step S54 is as follows:
In the process of aggregating the global federated model in the second stage, the aggregation weights are controlled by defining an adaptive aggregation function based on the data distribution of each client and the amount of high-quality training data each client chooses in the current training schedule. This includes a method for adjusting the
本発明は連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムをさらに提供し、
各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集するためのデータ収集モジュールであって、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられるデータ収集モジュールと、
連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得するための第１段階での連合学習に基づくマルチタスクネットワークモデルモジュールと、
前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成するための第２段階での疑似ラベル生成モジュールと、
動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択するための第２段階での動的サンプル選択モジュールと、
受信された、各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うための連合モデル動的更新モジュールと、を含む。
The present invention further provides a multi-task hybrid supervised medical image segmentation system based on federated learning,
A data collection module for collecting weakly supervised data, fully supervised data, and unlabeled data necessary for medical image segmentation in each medical institution, the weakly supervised data being bounding box labeled training data. and image-level labeled training data, the fully supervised data is pixel-level labeled training data, and the weakly supervised data, the fully supervised data, and the unlabeled training data are pixel-level labeled training data, and the weakly supervised data, the fully supervised data, and the unlabeled training data are pixel-level labeled training data. a data collection module used as a source dataset;
Based on the federated learning multi-task network model, the bounding box labeled training data and the pixel level labeled training data are used to perform pre-training to obtain two different global pre-trained federated models. a multi-task network model module based on federated learning in the first stage;
Iterative pseudo-labeling is based on two different global pre-trained federated models using the unlabeled training data, the image-level labeled training data, the bounding box labeled training data and the pixel-level labeled training data. a pseudo label generation module in a second stage for generating pseudo labels by a generator;
a dynamic sample selection module in a second stage for selecting high quality training data and pseudo labels using a dynamic sample selection method;
For the received parameters of the local training model generated in the iterative process by each client, the central server side performs federated model operation to update the parameters of the global federated model through a self-adaptive weight allocation program between clients. and an update module.
本発明は以下の有益な効果を有する。 The present invention has the following beneficial effects.
１、本発明は連合学習に基づくマルチタスクネットワークモデルを構築し、検出タスクが医用画像分割タスクを支援することによって各関与者のデータと組み合わせて協調モデリングを行い、患者のプライバシーを確保した上で、各関与者のデータサイロを打破し、多機関データの潜在能力と深層価値を十分にマイニングし、各協力者が他の関与者の異なるラベル付け形式のデータセットの空間分布及びモデル特徴表現能力から利益を取得することができるだけでなく、タスク間の関係及び効果的な文脈特徴を十分にマイニングし、さらなる有用な情報を取得し、異なる階層の特徴間の情報の相補性を実現し、さらにモデルの精度を向上させる。 1. The present invention constructs a multi-task network model based on federated learning, in which the detection task supports the medical image segmentation task, and performs collaborative modeling in combination with the data of each participant, ensuring patient privacy. , break down the data silos of each participant, fully mine the potential and deep value of multi-institutional data, and each collaborator has the ability to express the spatial distribution and model features of other participants' datasets with different labeling formats. It can not only fully mine the relationship between tasks and effective context features, obtain further useful information, realize the information complementarity between features of different layers, and also Improve model accuracy.
２、本発明は各クライアントの利用可能な各種の弱教師ありデータ、完全教師あり及びラベルなしデータを利用してグローバルネットワークモデルを構築し、疑似ラベル修正及び動的サンプル選択の訓練ポリシーによって、モデルに対してより価値のあるサンプルを選択し、多くの弱ラベルデータを十分に利用してモデルの性能及び汎化能力を向上させる。 2. The present invention constructs a global network model using various types of weakly supervised data, fully supervised data, and unlabeled data available for each client, and uses a training policy of pseudo label correction and dynamic sample selection to improve the model. Select more valuable samples for the model and make full use of the large amount of weakly labeled data to improve the model's performance and generalization ability.
３、本発明は連合グローバルモデルを動的に更新するポリシーによって、各クライアントのデータ分布及びモデルの現在の訓練スケジュールに基づいて集約重みを動的に調整することができるデータ駆動方法を設計し、各クライアントの教師の可用性を十分に考慮し、各クライアントがマルチタスクハイブリッド連合最適化期間の重要性を客観的に評価し、連合グローバルモデルが過適合されたクライアントに依存することを防止し、モデルを実際のタスクに近づける。 3. The present invention designs a data-driven method that can dynamically adjust the aggregation weights based on each client's data distribution and the model's current training schedule by a policy of dynamically updating the federated global model; We fully consider the teacher availability of each client, each client objectively evaluates the importance of the multi-task hybrid federated optimization period, prevents the federated global model from relying on overfitted clients, and allows the model closer to the actual task.
以下、少なくとも１つの例示的な実施例についての説明は、実際には単なる例示であり、本発明及びその応用又は使用を何ら制限するものではない。本発明の実施例に基づき、当業者が創造的な労働を必要とせずに取得したすべての他の実施例は、いずれも本発明の保護範囲に属する。 The following description of at least one exemplary embodiment is merely an example in nature and is not intended to limit the invention and its application or use in any way. Based on the embodiments of the present invention, all other embodiments obtained by those skilled in the art without the need for creative efforts fall within the protection scope of the present invention.
用語の解釈について
Ｇｒｏｕｎｄ Ｔｒｕｔｈ：ラベル付きデータ。
About the interpretation of terms Ground Truth: Labeled data.
ｎｅｃｋ：中国語訳文は頸部であり、マルチタスク医用画像分割ネットワークアーキテクチャにおける上を受けて下を起こす重要な一環であり、主にバックボーンネットワークｂａｃｋｂｏｎｅによって抽出された特徴を融合し、ネットワークによって学習された特徴をより多様化し、それによりネットワークの性能を向上させる。 neck: The Chinese translation is neck, which is an important part of the multi-task medical image segmentation network architecture, which mainly fuses the features extracted by the backbone network and is learned by the network. This improves the performance of the network by making the features more diverse.
Ｋａｉｍｉｎｇ初期化：何恺明によって提案された初期化方法である。業界ではＨｅ初期化又はＫａｉｍｉｎｇ初期化と呼ばれる。平均値が０、分散が２⁄Ｎのガウス分布が採用され、Ｎは入力ニューロンの数である。 Kaiming initialization: This is an initialization method proposed by Ming He. This is called He initialization or Kaiming initialization in the industry. A Gaussian distribution with a mean of 0 and a variance of 2⁄N is adopted, where N is the number of input neurons.
Ｘａｖｉｅｒ初期化：
本願が提案した連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムの機能フローチャートは、図１に示される。該プロセスは２つの段階に分けられ、第１段階ではバウンディングボックスのラベル付き訓練データ及びピクセルレベルのラベル付き訓練データを利用して連合学習に基づくマルチタスクネットワークの予備訓練を行い、複数のタスク共有情報によってバックボーンネットワークの性能を向上させ、第２段階では、ピクセルレベルのラベルがない場合に、先ず段階１の予備訓練により得られた２つの異なるグローバルネットワークモデルに基づき、ラベル無し画像及び弱ラベル付き画像に含まれる有用な情報（すなわち画像レベルのラベル付き訓練データ及びバウンディングボックスのラベル付き訓練データ）を効果的に利用し、反復疑似ラベル生成器によって疑似ラベルを生成し、次にラベルの修正操作を行い、弱ラベル付きデータから取得された情報に基づき、高品質の疑似ラベルで訓練し、クライアント間の自己適応重み割り当てプログラムで医用画像分割グローバルモデルのパラメータ更新を行う。 The functional flowchart of the multi-task hybrid supervised medical image segmentation system based on federated learning proposed by this application is shown in FIG. 1. The process is divided into two stages, the first stage is to pre-train a multi-task network based on federated learning using bounding box labeled training data and pixel-level labeled training data, and to perform multiple task sharing. information to improve the performance of the backbone network, and in the second stage, in the absence of pixel-level labels, firstly based on two different global network models obtained by pre-training in stage 1, unlabeled images and weakly labeled images. Effectively utilize the useful information contained in images (i.e., image-level labeled training data and bounding box labeled training data) to generate pseudo-labels by an iterative pseudo-label generator, and then perform label modification operations. Based on the information obtained from weakly labeled data, we train with high-quality pseudo-labels and update the parameters of the medical image segmentation global model with a self-adaptive weight assignment program between clients.
連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法は、以下のステップを含む。 A multi-task hybrid supervised medical image segmentation method based on federated learning includes the following steps.
ステップＳ１では、各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集し、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データを対応する医療機関のソースデータセットとして用いる。 In step S1, weakly supervised data, fully supervised data, and unlabeled data necessary for medical image segmentation are collected at each medical institution, and the weakly supervised data are bounding box labeled training data and image-level labeled training data. comprising labeled training data, the fully supervised data being pixel-level labeled training data, and the weakly supervised data, the fully supervised data and the unlabeled training data as a corresponding medical institution source dataset; use
［Ｄ１，…，ＤＮ］がＮ個のクライアントのソースデータセットを表すと仮定する。クライアントｉが与えられ、
ステップＳ２では、第１段階では、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得する。 In step S2, in the first stage, based on the federated learning multi-task network model, preliminary training is performed using the bounding box labeled training data and the pixel level labeled training data, and two different global Obtain a preliminary training federated model.
ステップＳ２１では、ＣＳＰ－ＲｅｓＮｅＸｔ構造を採用したバックボーンネットワーク、ＡＳＰＰ及びＦＰＮを採用したｎｅｃｋ、ＰＡＮで融合されたマルチスケール情報特徴マップを採用した境界検出タスクブランチ、及び２回のアップサンプリング操作を採用したグローバルマスク分割タスクブランチを含むマルチタスクネットワークモデルを構築する。 In step S21, a backbone network employing a CSP-ResNeXt structure, a neck employing ASPP and FPN, a boundary detection task branch employing a multi-scale information feature map fused with PAN, and two upsampling operations were employed. Build a multitasking network model that includes global mask split task branches.
図２に示されるマルチタスクネットワークモデルを構築し、前記マルチタスクネットワークモデルは、バックボーンネットワーク部分、ｎｅｃｋ部分、境界検出タスクブランチ部分及びグローバルマスク分割タスクブランチ部分の４つの主要な部分を含む。バックボーンネットワークはＮ個のクライアントのソースデータセットの特徴を抽出することに用いられ、ここでＣＳＰ－ＲｅｓＮｅＸｔ構造をバックボーンとして選択し、最適化過程の勾配冗長性の問題を効果的に解決する。ｎｅｃｋは空間特徴ピラミッド畳み込みモジュールＡＳＰＰと符号化情報を融合した特徴ピラミッドＦＰＮとで構成される。ＡＳＰＰは異なるスケールの特徴を生成して融合し、ＦＰＮは異なるセマンティクスレベルの特徴を融合し、それにより生成された特徴にはマルチスケール及び複数のセマンティクスレベルの特徴が含まれる。境界検出タスクブランチ部分については、アンカーボックスａｎｃｈｏｒに基づくマルチスケール検出ポリシーが採用され、パス集約ネットワークＰＡＮで融合されたマルチスケール情報特徴マップを使用して検出を行い、各マルチスケール特徴マップのグリッドｇｒｉｄはいずれも３つの異なる比率の事前ボックスをラベル付けし、次に検出ヘッドは各グリッドに対して３つの境界（境界の位置を含み、各境界はオブジェクトの信頼度及び各境界領域のカテゴリである）を予測し、次に閾値に基づいて可能性の低い予測境界を除去し、最後に非極大値抑制処理を行って冗長な境界を除去して検出されたオブジェクトを取得する。グローバルマスク分割タスクブランチ部分については、２回のステップが２の転置畳み込みアップサンプリング操作によって元のサイズに回復した後、画像における各ピクセルが属するカテゴリを予測し、医用画像分割の予測結果を取得する。 The multi-task network model shown in FIG. 2 is constructed, and the multi-task network model includes four main parts: a backbone network part, a neck part, a boundary detection task branch part and a global mask division task branch part. The backbone network is used to extract the features of the source dataset of N clients, where the CSP-ResNeXt structure is selected as the backbone to effectively solve the problem of gradient redundancy in the optimization process. neck is composed of a spatial feature pyramid convolution module ASPP and a feature pyramid FPN that fuses encoded information. ASPP generates and fuses features at different scales, and FPN fuses features at different semantic levels, so that the generated features include features at multiple scales and multiple semantic levels. For the boundary detection task branch part, a multi-scale detection policy based on anchor box anchor is adopted, and the multi-scale information feature maps fused in the path aggregation network PAN are used to perform the detection, and the grid of each multi-scale feature map is all label a priori boxes with three different ratios, and then the detection head labels three boundaries for each grid (including the location of the boundaries, each boundary is the confidence level of the object and the category of each bounded area). ), then remove unlikely prediction boundaries based on a threshold, and finally perform non-local maximum suppression processing to remove redundant boundaries to obtain detected objects. For the global mask segmentation task branch part, two steps predict the category to which each pixel in the image belongs after being restored to the original size by two transpose-convolution upsampling operations and obtain the prediction result of medical image segmentation. .
ステップＳ２２では、中央サーバ側は前記マルチタスクネットワークモデルに対してＸａｖｉｅｒ初期化及びＫａｉｍｉｎｇ初期化の２種の異なるネットワークモデル重み初期化方法をそれぞれ採用し、処理して２つの異なるグローバルネットワークモデルＦ１（∙）及びＦ２（∙）を取得する。 In step S22, the central server adopts two different network model weight initialization methods, Xavier initialization and Kaiming initialization, for the multi-task network model and processes them to create two different global network models F1 . (∙) and F 2 (∙) are obtained.
ステップＳ２３では、各クライアントは前記ピクセルレベルのラベル付き訓練データ及び前記バウンディングボックスのラベル付き訓練データに対して前処理操作を行い、それぞれの第１段階の前処理画像データを取得する。 In step S23, each client performs a preprocessing operation on the pixel level labeled training data and the bounding box labeled training data to obtain respective first stage preprocessed image data.
具体的な前処理操作は、画像をサイズ２５６ｘ２５６にリサンプリングすることと、ランダムに反転してサイズ２２４ｘ２２４にランダムに切り取ることと、階調値を［－２００，２００］にし、次にＺ－Ｓｃｏｒｅ正規化処理を行うことと、を含む。 The specific preprocessing operations are to resample the image to size 256x256, randomly invert it and randomly crop it to size 224x224, set the tone value to [-200, 200], and then Z-Score This includes performing normalization processing.
ステップＳ２４では、中央サーバ側は２つの異なるグローバルネットワークモデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第１段階の前処理画像データに基づいて特徴抽出を行い、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習し、対応するタスクブランチの対応する出力を取得する。 In step S24, the central server side sends two different global network models to each client, and each client performs feature extraction based on the local first-stage preprocessed image data, and Based on the type of preprocessing image data, select the corresponding task branch, learn both uniqueness and commonality information by adaptive supervision, and obtain the corresponding output of the corresponding task branch.
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練する。 When the client receives pixel-level labeled training data, it freezes the parameters of the boundary detection task branch and only trains the parameters of the backbone network, neck and global mask segmentation task branches of two different local training models.
訓練過程において以下の損失関数を最小化することによって教師ありを行う。
式中、ＬｄｉｃｅはＤｉｃｅ損失関数であり、Ｙｇｔはピクセルレベルの利用可能なラベルを表し、ＹＰ
Ｌは予測された分割画像の結果を表し、｜Ｙｇｔ｜及び｜ＹＰ
Ｌ｜はそれぞれＹｇｔの要素数及びＹＰ
Ｌの要素数である。
The training process is supervised by minimizing the following loss function:
where L dice is the Dice loss function, Y gt represents the pixel-level available labels, Y P L represents the predicted segmented image result, and |Y gt | and |Y P L | These are the number of elements of Y gt and the number of elements of Y P L , respectively.
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、グローバルマスク分割タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及び境界検出タスクブランチのパラメータのみを訓練する。 When the client receives bounding box labeled training data, it freezes the parameters of the global mask splitting task branch and only trains the parameters of the backbone network, neck and boundary detection task branches of two different local training models.
以下の損失関数を最小化することによって教師ありを行う。
Ｌｃｌａｓｓは分類損失であり、バイナリクロスエントロピー損失（ＢＣＥ ｌｏｓｓ）を採用し、式は以下の通りであり、
式中、ｐｉ（ｃ）はカテゴリがｃ（ラベルが０又は１であるなどの分類ラベルを一般的に指す）の予測確率値を表し、Ｓはネットワークから最後に出力された特徴マップのサイズがＳ×Ｓ，であることを表し、Ｂは各格子に対応するアンカーボックス（ａｎｃｈｏｒ）の数を表し、
Ｌｏｂｊは信頼度損失であり、バイナリクロスエントロピー損失関数を採用して計算し、式は以下の通りであり、
式中、Ｃｉはオブジェクトの予測信頼度を表し、
ＩＯＵはバウンディングボックス回帰損失で最も一般的に使用される重なり度合いであり、予測ボックスと実際のボックスとの間の距離を取得でき、それにより検出の効果を反映し、計算式は以下の通りである。
ｖはアスペクト比の一致性を評価するパラメータであり、以下のように定義される。
式中、ＹＰは境界の予測結果であり、Ｙｂｂｏｘはバウンディングボックスレベルの利用可能なラベルを表し、ｗｇｔはラベルボックスの幅であり、ｈｇｔはラベルボックスの高さであり、ｗｐは予測ボックスの幅であり、ｈｐは予測ボックスの高さであり、Ｄｉｓｔａｎｃｅ２は２つの中心点のユークリッド距離であり、Ｄｉｓｔａｎｃｅｃはラベルボックスと予測ボックスとの最小外接矩形の対角線距離である。
Perform supervised by minimizing the following loss function:
L class is the classification loss, which adopts binary cross entropy loss (BCE loss), and the formula is as follows,
where p i (c) represents the predicted probability value for category c (generally refers to a classification label such as label 0 or 1), and S is the size of the feature map last output from the network. represents that S×S, B represents the number of anchor boxes corresponding to each grid,
L obj is the reliability loss, which is calculated by adopting a binary cross entropy loss function, and the formula is as follows,
In the formula, C i represents the prediction reliability of the object,
IOU is the most commonly used overlap degree in bounding box regression loss, which can obtain the distance between the predicted box and the actual box, thereby reflecting the effect of detection, and the calculation formula is as follows: be.
v is a parameter for evaluating the consistency of aspect ratios, and is defined as follows.
where Y P is the boundary prediction result, Y bbox represents the available labels at the bounding box level, w gt is the width of the label box, h gt is the height of the label box, and w p is the width of the prediction box, h p is the height of the prediction box, Distance 2 is the Euclidean distance of the two center points, and Distance c is the diagonal distance of the minimum circumscribed rectangle between the label box and the prediction box. .
ステップＳ２５では、各クライアントは所定回数の反復を行った後にいずれも２つの異なる局所訓練モデルを取得し、前記２つの異なる局所訓練モデルを中央サーバ側に返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルを集約して新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、第１段階で設定された所定の予備訓練の回数に達するまで前記訓練、統合ステップを繰り返し、２つの異なるグローバル予備訓練連合モデルを取得する。 In step S25, each client obtains two different local training models after performing a predetermined number of iterations, and sends the two different local training models back to the central server side, and the central server side returns the two different local training models by each client. A new global federated model is obtained by aggregating the two different locally trained models that have been trained, and the global federated model is sent to each client for retraining to a predetermined number of pre-trainings set in the first stage. Repeat the training and integration steps until reaching two different global pre-trained federated models.
ステップＳ３では、第２段階では、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成する。 In step S3, in a second step, the unlabeled training data, the image-level labeled training data, the bounding box labeled training data and the pixel-level labeled training data are used to generate two different global reserves. Based on the training federated model, pseudo-labels are generated by an iterative pseudo-label generator.
ステップ３１では、各クライアントはピクセルレベルのラベル付き訓練データ、バウンディングボックスのラベル付き訓練データ、画像レベルのラベル付き訓練データ及びラベルなし訓練データに対してそれぞれ前処理操作を行い、第２段階の前処理画像データを取得する。 In step 31, each client performs preprocessing operations on the pixel-level labeled training data, the bounding box labeled training data, the image-level labeled training data, and the unlabeled training data, respectively, before the second stage. Obtain processed image data.
具体的な前処理操作は、画像をサイズ２５６ｘ２５６にリサンプリングすることと、ランダムに反転してサイズ２２４ｘ２２４にランダムに切り取ることと、階調値を［－２００，２００］にし、次にＺ－Ｓｃｏｒｅ正規化処理を行い、第２段階の前処理画像データを取得することと、を含む。 The specific preprocessing operations are to resample the image to size 256x256, randomly invert it and randomly crop it to size 224x224, set the tone value to [-200, 200], and then Z-Score The method includes performing normalization processing and obtaining second-stage preprocessed image data.
各種のレベルの画像ラベルを統合するために、バウンディングボックスレベルの利用可能なラベルをピクセルレベルの利用可能なラベルに変更する。具体的には、バウンディングボックスレベルの利用可能なラベルはＹｂｂｏｘがピクセルレベルのラベルＹＬ
ｂｂｏｘに変換されることを表し、前景クラスはバウンディングボックス内にあり、背景クラスはバウンディングボックス外にある。従って、ＹｇｔとＹＬ
ｂｂｏｘは同じ次元を有し、例えば、
ステップＳ３２では、中央サーバ側は第１段階で生成された２つの異なるグローバル予備訓練連合モデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択し、第２段階のネットワークモデルの訓練を行う。 In step S32, the central server side sends the two different global pre-training federated models generated in the first stage to each client, and each client receives the model based on the local second stage pre-processing image data and its data type. , the supervised type is selected self-adaptively, and the second stage network model is trained.
図３に示すように、ローカルクライアントに利用可能なピクセルレベルのラベルがない場合に、２つの異なるグローバル予備訓練モデルパラメータを更新したネットワークＦ１（∙）及びＦ２（∙）を使用してクロス疑似ラベル教師ありを行う。訓練画像Ｘの前処理操作後に２つの異なるネットワークモデルＦ１及びＦ２に送られ、該画像データのタイプは教師付けのタイプを決める。 As shown in Fig. 3, two different global pre-trained model parameters updated networks F 1 (∙) and F 2 (∙ ) to perform cross-pseudo-label supervised. After preprocessing operations on the training images X are sent to two different network models F 1 and F 2 , the type of image data determines the type of supervision.
図３の（Ａ）に示すように、クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、損失関数の式（１）を利用して自己適応教師ありを行う。 As shown in Figure 3(A), when the client receives pixel-level labeled training data, it freezes the parameters of the boundary detection task branch and uses the backbone network, neck and global mask of two different locally trained models. Only the parameters of the split task branches are trained, and self-adaptive supervised training is performed using the loss function equation (1).
図３の（Ｂ）に示すように、クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、２つの異なる局所訓練モデルの境界検出タスクブランチ及びグローバルマスク分割タスクブランチのパラメータを同時に訓練し、検出タスクが分割タスクを支援する方式を利用して教師あり学習を行い、対応するバウンディングボックスのラベル付き訓練データのラベルを介してグローバルマスク分割タスクブランチの疑似ラベルに対して修正操作を行い、検出タスクが分割タスクを支援する方式を利用して以下の損失関数を最小化することによって教師ありを行う。
式中、Ｙ１＝Ｆ１（Ｘ１）及びＹ２＝Ｆ２（Ｘ２）は境界検出タスクブランチによって予測された疑似ラベルであり、この教師付けの場合に、疑似ラベルの品質を向上させるために、対応するバウンディングボックスレベルの利用可能なラベルに基づいて疑似ラベルの修正操作を行い、修正ポリシーは以下の式に示される。
式中、＊は小数点乗算操作を表す。
As shown in FIG. 3B, when the client receives bounding box labeled training data, the parameters of the boundary detection task branch and global mask segmentation task branch of two different local training models are trained simultaneously; Supervised learning is performed using a method in which the detection task supports the segmentation task, and correction operations are performed on the pseudo labels of the global mask segmentation task branch through the labels of the labeled training data of the corresponding bounding boxes, and the detection The task is supervised by minimizing the following loss function using a method that supports split tasks.
where Y 1 = F 1 (X 1 ) and Y 2 = F 2 (X 2 ) are the pseudo labels predicted by the boundary detection task branch, and in this supervised case improve the quality of the pseudo labels. To do this, we perform a pseudo label modification operation based on the available labels at the corresponding bounding box level, and the modification policy is shown in the following equation.
In the formula, * represents a decimal point multiplication operation.
図３の（Ｃ）に示すように、クライアントが画像レベルのラベル付き訓練データ及びラベルなし訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルＦ１（∙）及びＦ２（∙）のバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、前記２つの異なる局所訓練モデルを利用してクロス疑似ラベル教師ありを行う。
ステップＳ４では、第２段階では、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択する。 In step S4, the second stage utilizes a dynamic sample selection method to select high quality training data and pseudo labels.
動的サンプル選択方法を採用し、現在訓練された２つの異なる局所訓練モデルによって生成された疑似ラベル間の予測一致性を利用し、マスクを生成することによって、高品質の訓練データ及び疑似ラベルを選択する。 By adopting a dynamic sample selection method and generating a mask by exploiting the predictive consistency between the pseudo labels generated by two different locally trained models currently trained, we can generate high quality training data and pseudo labels. select.
上記疑似ラベルの生成及び修正過程の有効性にもかかわらず、疑似ラベルは正確ではない可能性がある。従って、高品質のデータ及び疑似ラベルを選択するための動的サンプル選択方法が提案される。具体的には、クライアントｉが与えられ、該クライアントの訓練データＤｉに対して、等式（１２）に基づいて１つのマスク
式中、
During the ceremony,
各クライアントはローカルの訓練データに基づいて２つの異なる局所訓練モデルの訓練を完了した後、訓練された２つの異なる局所訓練モデルを中央サーバ側にそれぞれ返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルに対して適応集約を行って新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、最終的なグローバル連合モデルが収束するまで前記訓練、統合ステップを繰り返す。 After each client completes the training of two different locally trained models based on local training data, each client sends the trained two different locally trained models back to the central server side, and the central server side is sent back by each client. Perform adaptive aggregation on two different locally trained models to obtain a new global federated model, send said global federated model to each client for retraining, and repeat the steps until the final global federated model converges. Repeat the training and integration steps.
ステップＳ５では、第１段階及び第２段階に基づき、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行う。 In step S5, based on the first and second steps, the central server side uses a self-adaptive weight allocation program between clients for the received parameters of the local training model generated in the iterative process by each client. Update the parameters of the global federation model.
ステップＳ５１では、毎回の訓練過程で、各クライアントは中央サーバ側から反復過程で生成されたグローバル連合モデルパラメータを受信する。 In step S51, in each training process, each client receives global federated model parameters generated in an iterative process from the central server side.
ステップＳ５２では、各クライアントはローカルの訓練データを使用してローカル訓練を行い、ローカルの局所訓練モデルのパラメータ更新を完了する。 In step S52, each client performs local training using local training data and completes parameter updating of the local locally trained model.
ステップＳ５３では、各クライアントはそれぞれの局所訓練モデルパラメータの勾配更新を中央サーバ側に送信する。 In step S53, each client sends the gradient update of its respective local training model parameters to the central server side.
ステップＳ５４では、中央サーバ側は各クライアントによってアップロードされた局所訓練モデルパラメータの勾配をまとめ、グローバル連合モデルパラメータに対する更新を完了する。 In step S54, the central server side compiles the gradients of the local training model parameters uploaded by each client and completes the update to the global federated model parameters.
図４に示すように、毎回の訓練中に、各ローカルクライアントｉは先ず中央サーバ側からｔ回目の反復過程で生成されたグローバル連合モデル（すなわち中央サーバ側が各クライアントによって返送された訓練モデルを集約して得たグローバルモデル）のパラメータθα
ｔを受信する。次に、各クライアントはローカルの訓練データＤｉを使用して、ローカル訓練によってグローバル連合モデルパラメータの更新を行う。最後に、各ローカルクライアントモデルパラメータからの勾配
第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新し、各クライアントが第１段階で使用した訓練データ量が第１段階で使用された総データ量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの共有ネットワーク部分のパラメータをグローバル連合モデルの共有ネットワーク部分のパラメータに集める。 Update the parameters of the shared network part of the global federated model in the first stage, and weight the parameters based on the proportion of the amount of training data used by each client in the first stage to the total amount of data used in the first stage. and collect the parameters of the shared network part of each client's local training model into the parameters of the shared network part of the global federated model.
第１段階の訓練に対して、マルチブランチタスクモデルはネットワーク部分を共有し、各クライアントの集約重みは以下の式１４に示され、
グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新し、各クライアントが第１段階で使用したピクセルレベルのラベル付き訓練データ量が第１段階で使用されたピクセルレベルの訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所モデルのグローバルマスク分割ブランチ部分のパラメータをグローバル連合モデルのグローバルマスク分割ブランチ部分のパラメータに集める。 Update the model parameters of the global mask splitting task branch of the global federated model so that the amount of pixel-level labeled training data used by each client in the first stage accounts for the total amount of pixel-level training data used in the first stage. The parameters of the global mask splitting branch part of the local model of each client are collected into the parameters of the global mask splitting branch part of the global federated model.
グローバルマスク分割タスクブランチの集約重みは以下の式１５に示され、
式中、｜Ｄｉ
Ｌ｜はピクセルレベルのラベル付き訓練データの数を表す。
The aggregation weight of the global mask split task branch is shown in Equation 15 below,
where |D i L | represents the number of pixel-level labeled training data.
第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新し、各クライアントが第１段階で使用したバウンディングボックスのラベル付き訓練データ量が第１段階で使用されたバウンディングボックス訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの検出タスクブランチ部分のパラメータをグローバル連合モデルの検出タスクブランチ部分のパラメータに集める。 Update the parameters of the detection task branch part of the global federated model in the first stage so that the amount of bounding box labeled training data used by each client in the first stage is equal to the total amount of bounding box training data used in the first stage. Parameter weighting is performed based on the occupied proportion, and the parameters of the detection task branch part of the local training model of each client are collected into the parameters of the detection task branch part of the global federated model.
検出タスクブランチ部分の集約重みは以下の式１６に示され、
式中、
During the ceremony,
第２段階でグローバル連合モデルを集約する過程で、各クライアントのデータ分布及び各クライアントが現在の訓練スケジュールで選択した高品質の訓練データ量に基づき、適応集約関数を定義することによって集約重みを動的に調整し、このために提案された適応集約関数は以下のように定義される。
式中、μ及びβは最適化されたハイパーパラメータであり、それぞれ１０及び３に設定され、異なるクライアントに対する依存度に影響を与える。
In the process of aggregating the global federated model in the second stage, the aggregation weights are controlled by defining an adaptive aggregation function based on the data distribution of each client and the amount of high-quality training data each client chooses in the current training schedule. The adaptive aggregation function proposed for this purpose is defined as follows.
where μ and β are optimized hyperparameters, set to 10 and 3, respectively, which affect the dependence on different clients.
図５に示すように、連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムは、
各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集するためのデータ収集モジュールであって、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データを対応する医療機関のソースデータセットとして用いるデータ収集モジュールと、
連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得するための第１段階での連合学習に基づくマルチタスクネットワークモデルモジュールと、
前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成するための第２段階での疑似ラベル生成モジュールと、
動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択するための第２段階での動的サンプル選択モジュールと、
受信された、各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うための連合モデル動的更新モジュールと、を含む。
As shown in Fig. 5, the multi-task hybrid supervised medical image segmentation system based on federated learning
A data collection module for collecting weakly supervised data, fully supervised data, and unlabeled data necessary for medical image segmentation in each medical institution, the weakly supervised data being bounding box labeled training data. and image-level labeled training data, the fully supervised data is pixel-level labeled training data, and the weakly supervised data, the fully supervised data, and the unlabeled training data are combined with a corresponding medical institution's labeled training data. a data collection module used as a source data set;
Based on the federated learning multi-task network model, the bounding box labeled training data and the pixel level labeled training data are used to perform pre-training to obtain two different global pre-trained federated models. a multi-task network model module based on federated learning in the first stage;
Iterative pseudo-labeling is based on two different global pre-trained federated models using the unlabeled training data, the image-level labeled training data, the bounding box labeled training data and the pixel-level labeled training data. a pseudo label generation module in a second stage for generating pseudo labels by a generator;
a dynamic sample selection module in a second stage for selecting high quality training data and pseudo labels using a dynamic sample selection method;
For the received parameters of the local training model generated in the iterative process by each client, the central server side performs federated model operation to update the parameters of the global federated model through a self-adaptive weight allocation program between clients. and an update module.
以上より、本発明は、ピクセルレベルのラベル付きデータを利用して基本的な医用画像分割システムを確立するだけでなく、バウンディングボックスのラベル付きデータを利用して医用画像分割システムの精度を向上させることを支援し、クロス疑似教師付け方式を採用して画像レベルのラベル付きデータ及びラベルなしデータを十分に利用して医用画像分割システムの汎化能力を向上させる。該システムは異なるクライアントの間に同じタイプのラベル付きデータがあることを要求せず、異なるクライアントが異なるレベルのラベルであり得るという汎用性の特徴を有する。本発明の課題は、医用画像分割分野のピクセルレベルのラベル付きデータの規模が小さく、分布が不均衡で、患者のプライバシー保護により制限されるため多機関間のデータ共有が困難であるという問題点を解決することであり、既存の連合学習に基づく医用画像分割方法のほとんどは限られたピクセルレベルの症例注釈データのみを考慮する。本発明は、単一のラベルタイプの制限を打破し、マルチタスクハイブリッドモデルアーキテクチャを提案し、連合学習に基づくマルチタスクハイブリッド訓練方式により、各クライアントの境界レベルのラベル付きデータを利用して医用画像分割を支援し、次に連合学習に基づくクロス疑似教師付けと高品質サンプルの動的選択方式を組み合わせ、いかなる形式のラベル付きデータを十分に利用して医用画像分割を行う。また、本発明は、関与者がプライバシーデータを共有することなく各ローカルクライアントに最適化された集約重みを動的に割り当ててグローバル連合モデルを更新することを提案し、さらにモデルのロバスト性を向上させ、医療業界のデータセキュリティ及びプライバシー保護の難題、及び医療資源の不均衡の問題を大幅に緩和する。要するに、本発明は、各臨床機関に分散した異なるレベルのラベルに基づき、データがローカル機関から出ないことを確保することを前提に、患者のプライバシーを漏洩しなかった上で、各臨床機関の協調モデリングを実現し、多機関データの潜在能力と深層価値を十分にマイニングし、各協力者が他の関与者の異なるラベル付け形式のデータセットの空間分布及びモデル特徴表現能力から利益を取得することができ、汎化能力の高い良質な医用画像分割モデルを学習し、大規模なデータセットを有するモデル訓練効果を達成することができ、それにより医師の診断過程で積極的な支援役割を果たし、重要な臨床意味を有する。 From the above, the present invention not only utilizes pixel-level labeled data to establish a basic medical image segmentation system, but also utilizes bounding box labeled data to improve the accuracy of the medical image segmentation system. The cross-pseudo-supervised method is adopted to fully utilize image-level labeled and unlabeled data to improve the generalization ability of the medical image segmentation system. The system does not require that there be the same type of labeled data between different clients, and has the feature of versatility in that different clients can have different levels of labels. The problem to be solved by the present invention is that pixel-level labeled data in the field of medical image segmentation is small in scale, unbalanced in distribution, and difficult to share among multiple institutions due to limitations imposed by patient privacy protection. Most of the existing medical image segmentation methods based on federated learning only consider limited pixel-level case annotation data. The present invention breaks the limitation of a single label type, proposes a multi-task hybrid model architecture, and utilizes boundary-level labeled data of each client to improve medical image quality through a multi-task hybrid training method based on federated learning. It supports segmentation and then combines cross-pseudo-supervised training based on federated learning with a dynamic selection method of high-quality samples to fully utilize labeled data in any format for medical image segmentation. The present invention also proposes to update the global federated model by dynamically assigning optimized aggregate weights to each local client without participants sharing privacy data, further improving the robustness of the model. and significantly alleviate data security and privacy protection challenges in the medical industry, as well as the problem of medical resource imbalance. In short, the present invention is based on different levels of labels distributed in each clinical institution, and provides a method for each clinical institution to ensure that data does not leave the local institution, without compromising patient privacy. Realize collaborative modeling, fully mine the potential and deep value of multi-institutional data, and each collaborator can benefit from the spatial distribution of datasets with different labeling formats and model feature representation ability of other participants. It is possible to learn a high-quality medical image segmentation model with high generalization ability and achieve the model training effect with large datasets, thereby playing an active supporting role in the diagnosis process of doctors. , has important clinical implications.
以上は本発明の好適な実施例に過ぎず、本発明を制限するためのものではなく、当業者であれば、本発明に対して各種の変更及び変化を行うことができる。本発明の精神及び原則内で行われたいかなる修正、同等置換、改良などは、いずれも本発明の保護範囲内に含まれるべきである。 The above are only preferred embodiments of the present invention, and are not intended to limit the present invention, and those skilled in the art can make various modifications and changes to the present invention. Any modifications, equivalent substitutions, improvements, etc. made within the spirit and principles of the present invention should be included within the protection scope of the present invention.
Claims (5)
前記ステップＳ１では、各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集し、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられ、
前記ステップＳ２では、第１段階では、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得し、
前記ステップＳ２は具体的に、サブステップＳ２１～サブステップＳ２５を含み、
前記サブステップＳ２１では、ＣＳＰ－ＲｅｓＮｅＸｔ構造を採用したバックボーンネットワーク、ＡＳＰＰ及びＦＰＮを採用したｎｅｃｋ、ＰＡＮで融合されたマルチスケール情報特徴マップを採用した境界検出タスクブランチ、及び２回のアップサンプリング操作を採用したグローバルマスク分割タスクブランチを含むマルチタスクネットワークモデルを構築し、
前記サブステップＳ２２では、中央サーバ側は前記マルチタスクネットワークモデルに対してＸａｖｉｅｒ初期化及びＫａｉｍｉｎｇ初期化の２種の異なるネットワークモデル重み初期化方法をそれぞれ採用し、処理して２つの異なるグローバルネットワークモデルを取得し、
前記サブステップＳ２３では、各クライアントは前記ピクセルレベルのラベル付き訓練データ及び前記バウンディングボックスのラベル付き訓練データに対して前処理操作を行い、それぞれの第１段階の前処理画像データを取得し、
前記サブステップＳ２４では、中央サーバ側は２つの異なるグローバルネットワークモデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第１段階の前処理画像データに基づいて特徴抽出を行い、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習し、対応するタスクブランチの対応する出力を取得し、
前記サブステップＳ２４では、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習することは具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、訓練過程で以下の損失関数を最小化することによって教師あり学習を行い、
ここで、ＬｄｉｃｅはＤｉｃｅ損失関数であり、Ｙｇｔはピクセルレベルの利用可能なラベルを表し、ＹＰ Ｌは予測された分割画像の結果を表し、｜Ｙｇｔ｜及び｜ＹＰ Ｌ｜はそれぞれＹｇｔの要素数及びＹＰ Ｌの要素数であり、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、グローバルマスク分割タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及び境界検出タスクブランチのパラメータのみを訓練し、以下の損失関数を最小化することによって教師あり学習を行い、
ここで、α１、α２及びα３は最適化されたハイパーパラメータであり、
Ｌｃｌａｓｓは分類損失であり、バイナリクロスエントロピー損失（ＢＣＥ ｌｏｓｓ）を採用し、式は以下の通りであり、
ここで、ｐｉ（ｃ）はカテゴリがｃの予測確率値を表し、ｃは分類ラベルを表し、Ｓはネットワークから最後に出力された特徴マップのサイズがＳ×Ｓであることを表し、Ｂは各格子に対応するアンカーボックス（ａｎｃｈｏｒ）の数を表し、
Ｌｏｂｊは信頼度損失であり、バイナリクロスエントロピー損失関数を採用して計算し、式は以下の通りであり、
ここで、Ｃｉはオブジェクトの予測信頼度を表し、
ＩＯＵはバウンディングボックス回帰損失で最も一般的に使用される重なり度合いであり、予測ボックスと実際のボックスとの間の距離を取得でき、それにより検出の効果を反映し、計算式は以下の通りであり、
ｖはアスペクト比の一致性を評価するパラメータであり、以下のように定義され、
ここで、ＹＰは境界の予測結果であり、Ｙｂｂｏｘはバウンディングボックスレベルの利用可能なラベルを表し、ｗｇｔはラベルボックスの幅であり、ｈｇｔはラベルボックスの高さであり、ｗｐは予測ボックスの幅であり、ｈｐは予測ボックスの高さであり、Ｄｉｓｔａｎｃｅ２は２つの中心点のユークリッド距離であり、Ｄｉｓｔａｎｃｅｃはラベルボックスと予測ボックスとの最小外接矩形の対角線距離であり、
前記サブステップＳ２５では、各クライアントは所定回数の反復を行った後にいずれも２つの異なる局所訓練モデルを取得し、前記２つの異なる局所訓練モデルを中央サーバ側に返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルを集約して新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、第１段階で設定された所定の予備訓練の回数に達するまで前記訓練、統合のステップを繰り返し、２つの異なるグローバル予備訓練連合モデルを取得し、
前記ステップＳ３では、第２段階では、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用し、２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成し、
前記ステップＳ３は具体的に、サブステップＳ３１～サブステップＳ３２を含み、
前記サブステップＳ３１では、各クライアントはピクセルレベルのラベル付き訓練データ、バウンディングボックスのラベル付き訓練データ、画像レベルのラベル付き訓練データ及びラベルなし訓練データに対してそれぞれ前処理操作を行い、第２段階の前処理画像データを取得し、
前記サブステップＳ３２では、中央サーバ側は第１段階で生成された２つの異なるグローバル予備訓練連合モデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択し、第２段階のネットワークモデルの訓練を行い、
前記サブステップＳ３２では、各クライアントがローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択することは、具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、損失関数の式（１）を利用して自己適応教師あり学習を行い、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、２つの異なる局所訓練モデルの境界検出タスクブランチ及びグローバルマスク分割タスクブランチのパラメータを同時に訓練し、検出タスクが分割タスクを支援する方式を利用して教師あり学習を行い、対応するバウンディングボックスのラベル付き訓練データのラベルを介してグローバルマスク分割タスクブランチの疑似ラベルに対して修正操作を行い、
検出タスクが分割タスクを支援する方式を利用して以下の損失関数を最小化することによって教師あり学習を行い、
ここで、Ｙ１＝Ｆ１（Ｘ１）及びＹ２＝Ｆ２（Ｘ２）は境界検出タスクブランチによって予測された疑似ラベルであり、
ここで、＊は小数点乗算操作を表し、ＹＬ ｂｂｏｘはバウンディングボックスレベルの利用可能なラベルが変換された後のピクセルレベルのラベルを表し、
クライアントが画像レベルのラベル付き訓練データ及びラベルなし訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、前記２つの異なる局所訓練モデルを利用してクロス疑似ラベル教師あり学習を行い、
前記ステップＳ４では、第２段階では、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択し、現在訓練された２つの異なる局所訓練モデルによって生成された疑似ラベル間の予測一致性を利用し、マスクを生成することによって、高品質の訓練データ及び疑似ラベルを選択し、
前記ステップＳ５では、第１段階及び第２段階に基づき、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行う
ことを特徴とする連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。 A multi-task hybrid supervised medical image segmentation method based on federated learning, comprising steps S1 to S5,
In step S1, each medical institution collects weakly supervised data, fully supervised data, and unlabeled data necessary for medical image segmentation, and the weakly supervised data is labeled training data for bounding boxes and image level data. , the fully supervised data is pixel-level labeled training data, and the weakly supervised data, the fully supervised data, and the unlabeled training data are a corresponding medical institution source dataset. It is used as
In step S2, in the first stage, preliminary training is performed using the bounding box labeled training data and the pixel level labeled training data based on the federated learning multi-task network model, and two different Obtain a global preliminary training federation model,
Specifically, the step S2 includes sub-steps S21 to S25,
In the sub-step S21, a backbone network employing a CSP-ResNeXt structure, a neck employing ASPP and FPN, a boundary detection task branch employing a multi-scale information feature map fused with PAN, and two upsampling operations are performed. Build a multi-task network model including the adopted global mask split task branch,
In the sub-step S22, the central server adopts two different network model weight initialization methods, Xavier initialization and Kaiming initialization, for the multi-task network model and processes them to create two different global network models. and
In the sub-step S23, each client performs a preprocessing operation on the pixel level labeled training data and the bounding box labeled training data to obtain respective first stage preprocessed image data;
In the sub-step S24, the central server side sends two different global network models to each client, and each client performs feature extraction based on the local first-stage preprocessed image data and uses the sent first Preprocessing stage Based on the type of image data, select the corresponding task branch, learn both individuality and commonality information by adaptive supervision, and obtain the corresponding output of the corresponding task branch,
Specifically, in the sub-step S24, a corresponding task branch is selected based on the type of the sent first-stage preprocessed image data, and information on both individuality and commonality is learned through adaptive supervision. teeth,
When the client receives pixel-level labeled training data, it freezes the parameters of the boundary detection task branch and trains only the parameters of the backbone network, neck and global mask segmentation task branches of two different local training models, and Perform supervised learning by minimizing the following loss function in the process,
where L dice is the Dice loss function, Y gt represents the pixel-level available labels, Y P L represents the predicted segmented image result, and |Y gt | and |Y P L | are the number of elements of Y gt and the number of elements of Y P L , respectively,
If the client receives bounding box labeled training data, freeze the parameters of the global mask splitting task branch, train only the parameters of the backbone network, neck and boundary detection task branch of two different local training models, and do the following: Perform supervised learning by minimizing the loss function of
Here, α 1 , α 2 and α 3 are optimized hyperparameters,
L class is the classification loss, which adopts binary cross entropy loss (BCE loss), and the formula is as follows,
Here, p i (c) represents the predicted probability value of category c, c represents the classification label, S represents that the size of the feature map finally output from the network is S×S, and B represents the number of anchor boxes corresponding to each grid,
L obj is the reliability loss, which is calculated by adopting a binary cross entropy loss function, and the formula is as follows,
Here, C i represents the prediction reliability of the object,
IOU is the most commonly used overlap degree in bounding box regression loss, which can obtain the distance between the predicted box and the actual box, thereby reflecting the effect of detection, and the calculation formula is as follows: can be,
v is a parameter for evaluating the consistency of aspect ratios, and is defined as follows,
Here, Y P is the boundary prediction result, Y bbox represents the available labels at the bounding box level, w gt is the width of the label box, h gt is the height of the label box, and w p is the width of the prediction box, h p is the height of the prediction box, Distance 2 is the Euclidean distance of the two center points, and Distance c is the diagonal distance of the minimum circumscribed rectangle between the label box and the prediction box. ,
In the sub-step S25, each client obtains two different local training models after performing a predetermined number of iterations, and sends the two different local training models back to the central server, and the central server A new global federated model is obtained by aggregating the two different locally trained models returned by repeating the training and integration steps until reaching a number of times to obtain two different global pre-trained federated models;
In step S3, the second step utilizes the unlabeled training data, the image-level labeled training data, the bounding box labeled training data, and the pixel-level labeled training data, and generates two different global Generate pseudo-labels by an iterative pseudo-label generator based on the pre-trained federated model,
Specifically, the step S3 includes sub-steps S31 and S32,
In the sub-step S31, each client performs preprocessing operations on the pixel-level labeled training data, the bounding box labeled training data, the image-level labeled training data, and the unlabeled training data, respectively, and performs the second step. Obtain preprocessed image data of
In the sub-step S32, the central server side sends the two different global pre-trained federated models generated in the first stage to each client, and each client receives the local second stage pre-processed image data and its data type. Based on this, the supervised type is selected self-adaptively, and the second stage network model is trained.
Specifically, in the sub-step S32, each client self-adaptively selects the supervised type based on the local second-stage preprocessed image data and its data type.
When the client receives pixel-level labeled training data, it freezes the parameters of the boundary detection task branch and trains only the parameters of the backbone network, neck and global mask segmentation task branches of two different locally trained models, and the loss Self-adaptive supervised learning is performed using the function formula (1),
When the client receives bounding box labeled training data, the parameters of the boundary detection task branch and global mask segmentation task branch of two different local training models are simultaneously trained, and the detection task supports the segmentation task. perform supervised learning and perform correction operations on the pseudo labels of the global mask segmentation task branch via the labels of the labeled training data of the corresponding bounding boxes,
Perform supervised learning by minimizing the following loss function using a method in which the detection task assists the partitioning task,
Here, Y 1 =F 1 (X 1 ) and Y 2 =F 2 (X 2 ) are pseudo labels predicted by the boundary detection task branch,
where * represents the decimal point multiplication operation, Y L bbox represents the pixel-level label after the bounding box-level available labels are transformed,
When the client receives image-level labeled training data and unlabeled training data, it freezes the parameters of the boundary detection task branch and only the parameters of the backbone network, neck and global mask segmentation task branches of two different local training models. , and perform cross pseudo-label supervised learning using the two different local training models,
In step S4, the second step is to select high-quality training data and pseudo-labels using a dynamic sample selection method, and calculate the prediction between pseudo-labels generated by two different currently trained local training models. Select high-quality training data and pseudo-labels by using matching and generating masks;
In step S5, based on the first and second steps, the central server side uses a self-adaptive weight allocation program between clients for the received parameters of the local training model generated in the iterative process by each client. A multi-task hybrid supervised medical image segmentation method based on federated learning, which is characterized by updating parameters of a global federated model.
前記サブステップＳ５１では、毎回の訓練過程で、各クライアントは中央サーバ側から反復過程で生成されたグローバル連合モデルパラメータを受信し、
前記サブステップＳ５２では、各クライアントはローカルの訓練データを使用してローカル訓練を行い、ローカルの局所訓練モデルのパラメータ更新を完了し、
前記サブステップＳ５３では、各クライアントはそれぞれの局所訓練モデルパラメータの勾配更新を中央サーバ側に送信し、
前記サブステップＳ５４では、中央サーバ側は各クライアントによってアップロードされた局所訓練モデルパラメータの勾配をまとめ、グローバル連合モデルパラメータに対する更新を完了する
ことを特徴とする請求項１に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。 Specifically, the step S5 includes sub-steps S51 to S54,
In the sub-step S51, in each training process, each client receives global federated model parameters generated in an iterative process from the central server side;
In the sub-step S52, each client performs local training using local training data and completes parameter updating of the local locally trained model;
In said sub-step S53, each client sends the gradient update of its respective local training model parameters to the central server side;
In the sub-step S54, the central server compiles the gradients of the local training model parameters uploaded by each client and completes the update to the global federated model parameters. A task-hybrid supervised medical image segmentation method.
第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新する方式では、各クライアントが第１段階で使用した訓練データ量が第１段階で使用された総データ量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの共有ネットワーク部分のパラメータをグローバル連合モデルの共有ネットワーク部分のパラメータに集め、
グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新する方式では、各クライアントが第１段階で使用したピクセルレベルのラベル付き訓練データ量が第１段階で使用されたピクセルレベルの訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所モデルのグローバルマスク分割ブランチ部分のパラメータをグローバル連合モデルのグローバルマスク分割ブランチ部分のパラメータに集め、
第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新する方式では、各クライアントが第１段階で使用したバウンディングボックスのラベル付き訓練データ量が第１段階で使用されたバウンディングボックス訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの検出タスクブランチ部分のパラメータをグローバル連合モデルの検出タスクブランチ部分のパラメータに集める
ことを特徴とする請求項２に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。 In contrast to updating the parameters of the global federated model in the step S2, in the sub-step S54, the method of summarizing the local training model parameters is the method of updating the parameters of the shared network part of the global federated model in the first step, and the global federated model. A method of updating model parameters of a global mask division task branch of the model, and a method of updating parameters of a detection task branch part of a first-stage global federated model,
In the method of updating the parameters of the shared network part of the global federated model in the first stage, the parameters are updated based on the proportion of the training data amount used by each client in the first stage to the total data volume used in the first stage. Weighting is performed to collect the parameters of the shared network part of each client's local training model into the parameters of the shared network part of the global federated model,
In the method of updating the model parameters of the global mask division task branch of the global federated model, the amount of pixel-level labeled training data used by each client in the first stage is the total amount of pixel-level training data used in the first stage. The parameters of the global mask split branch part of the local model of each client are collected into the parameters of the global mask split branch part of the global federated model, and
In the method of updating the parameters of the detection task branch part of the global federated model in the first stage, the amount of bounding box labeled training data used by each client in the first stage is equal to the amount of bounding box training data used in the first stage. 3. Parameter weighting is performed based on the proportion of the total amount, and the parameters of the detection task branch part of the local training model of each client are collected into the parameters of the detection task branch part of the global federated model. A multi-task hybrid supervised medical image segmentation method based on federated learning.
第２段階でグローバル連合モデルを集約して得る過程で、各クライアントのデータ分布及び各クライアントが現在の訓練スケジュールで選択した高品質の訓練データ量に基づき、適応集約関数を定義することによって集約重みを動的に調整することを含む
ことを特徴とする請求項２に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。 In response to updating the parameters of the global federated model in step S3, in sub-step S54, the method of summarizing the local training model parameters is as follows:
In the process of aggregating and obtaining the global federated model in the second stage, the aggregation weights are calculated by defining an adaptive aggregation function based on the data distribution of each client and the amount of high-quality training data selected by each client in the current training schedule. 3. The multi-task hybrid supervised medical image segmentation method based on federated learning as claimed in claim 2, comprising dynamically adjusting.
前記データ収集モジュールは、各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集することに用いられ、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられ、
前記第１段階での連合学習に基づくマルチタスクネットワークモデルモジュールは、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得することに用いられ、
前記第２段階での疑似ラベル生成モジュールは、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成することに用いられ、
前記第２段階での動的サンプル選択モジュールは、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択することに用いられ、
前記連合モデル動的更新モジュールは、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うことに用いられる
ことを特徴とする連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システム。 A system for realizing a multi-task hybrid supervised medical image segmentation method based on federated learning according to any one of claims 1 to 4, comprising: a data acquisition module; comprising a task network model module, a second stage pseudo label generation module, a second stage dynamic sample selection module, and a federated model dynamic update module;
The data collection module is used in each medical institution to collect weakly supervised data, fully supervised data, and unlabeled data necessary for segmenting medical images, and the weakly supervised data is labeled with a bounding box. training data and image-level labeled training data, the fully supervised data being pixel-level labeled training data, and the weakly supervised data, the fully supervised data, and the unlabeled training data being pixel-level labeled training data; Used as an institutional source dataset,
The multi-task network model module based on federated learning in the first stage uses the bounding box labeled training data and the pixel-level labeled training data to perform preliminary training based on the federated learning multi-task network model. used to train and obtain two different global preliminary training federated models,
The pseudo label generation module in the second stage uses the unlabeled training data, the image level labeled training data, the bounding box labeled training data, and the pixel level labeled training data to generate two used to generate pseudo labels by an iterative pseudo label generator based on different global pre-trained federated models;
The dynamic sample selection module in the second stage is used to select high quality training data and pseudo labels using a dynamic sample selection method;
The federated model dynamic update module updates the parameters of the global federated model through a self-adaptive weight allocation program between the clients, based on the parameters of the local training model generated in the iterative process by each client. A multi-task hybrid supervised medical image segmentation system based on federated learning characterized by being used for updating.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211099106.2 | 2022-09-09 | ||
| CN202211099106.2A CN115187783B (en) | 2022-09-09 | 2022-09-09 | Multi-task hybrid supervision medical image segmentation method and system based on federal learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7386370B1 true JP7386370B1 (en) | 2023-11-24 |
| JP2024039598A JP2024039598A (en) | 2024-03-22 |
Family
ID=83524546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023095887A Active JP7386370B1 (en) | 2022-09-09 | 2023-06-09 | Multi-task hybrid supervised medical image segmentation method and system based on federated learning |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7386370B1 (en) |
| CN (1) | CN115187783B (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351293A (en) * | 2023-12-04 | 2024-01-05 | 天津医科大学口腔医院 | Combined learning periodontal disease image classification method and device |
| CN117952993A (en) * | 2024-03-27 | 2024-04-30 | 中国海洋大学 | Semi-supervised medical image segmentation method based on image text cooperative constraint |
| CN118052979A (en) * | 2024-04-11 | 2024-05-17 | 成都理工大学 | Remote sensing image target detection method based on cross correction network |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935136B (en) * | 2023-08-02 | 2024-07-02 | 深圳大学 | Federal learning method for processing classification problem of class imbalance medical image |
| CN116883669A (en) * | 2023-08-03 | 2023-10-13 | 深圳扬奇医芯智能科技有限公司 | Multi-target segmentation technology based on dynamic attention federal framework |
| CN117036701B (en) * | 2023-08-04 | 2024-04-30 | 北京透彻未来科技有限公司 | Processing system based on client-side cutting digital pathological image |
| CN116823810B (en) * | 2023-08-25 | 2023-11-17 | 之江实验室 | Abdominal multi-organ dynamic enhancement segmentation method and system based on federal learning |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340819A (en) | 2020-02-10 | 2020-06-26 | 腾讯科技（深圳）有限公司 | Image segmentation method, device and storage medium |
| JP2021120852A (en) | 2020-01-30 | 2021-08-19 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, medical information processing model training method, and medical information processing program |
| CN114418954A (en) | 2021-12-24 | 2022-04-29 | 中国科学院深圳先进技术研究院 | Mutual learning-based semi-supervised medical image segmentation method and system |
| JP2022066963A (en) | 2020-10-19 | 2022-05-02 | 学校法人 聖マリアンナ医科大学 | Medical image processing device and medical image processing method |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087130B2 (en) * | 2017-12-29 | 2021-08-10 | RetailNext, Inc. | Simultaneous object localization and attribute classification using multitask deep neural networks |
| CN108399406B (en) * | 2018-01-15 | 2022-02-01 | 中山大学 | Method and system for detecting weakly supervised salient object based on deep learning |
| US10775977B2 (en) * | 2019-01-25 | 2020-09-15 | Google Llc | Image display with selective depiction of motion |
| CN111275207B (en) * | 2020-02-10 | 2024-04-30 | 深圳前海微众银行股份有限公司 | Semi-supervision-based transverse federal learning optimization method, equipment and storage medium |
| WO2022019885A1 (en) * | 2020-07-20 | 2022-01-27 | Google Llc | Unsupervised federated learning of machine learning model layers |
| CN112116612A (en) * | 2020-09-15 | 2020-12-22 | 南京林业大学 | Pavement tree image example segmentation method based on Mask R-CNN |
| CN112633086B (en) * | 2020-12-09 | 2024-01-26 | 西安电子科技大学 | Near-infrared pedestrian monitoring method, system, medium and equipment based on multitasking EfficientDet |
| CN112818975A (en) * | 2021-01-27 | 2021-05-18 | 北京金山数字娱乐科技有限公司 | Text detection model training method and device and text detection method and device |
| CN112966684B (en) * | 2021-03-15 | 2022-11-04 | 北湾科技(武汉)有限公司 | Cooperative learning character recognition method under attention mechanism |
| CN112950645B (en) * | 2021-03-24 | 2023-05-12 | 中国人民解放军国防科技大学 | Image semantic segmentation method based on multitask deep learning |
| CN113571203B (en) * | 2021-07-19 | 2024-01-26 | 复旦大学附属华山医院 | Multi-center federal learning-based brain tumor prognosis survival prediction method and system |
| CN113781397B (en) * | 2021-08-11 | 2023-11-21 | 中国科学院信息工程研究所 | Medical image focus detection modeling method, device and system based on federal learning |
| CN113705712B (en) * | 2021-09-02 | 2024-01-05 | 广州大学 | Network traffic classification method and system based on federal semi-supervised learning |
| CN114187268A (en) * | 2021-12-04 | 2022-03-15 | 北京工业大学 | Obstacle detection method based on target detection and semantic segmentation fusion |
| CN114494151A (en) * | 2021-12-30 | 2022-05-13 | 山东师范大学 | Fruit detection method and system under complex orchard environment |
| CN114064967B (en) * | 2022-01-18 | 2022-05-06 | 之江实验室 | Cross-modal time sequence behavior positioning method and device of multi-granularity cascade interactive network |
-
2022
- 2022-09-09 CN CN202211099106.2A patent/CN115187783B/en active Active
-
2023
- 2023-06-09 JP JP2023095887A patent/JP7386370B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021120852A (en) | 2020-01-30 | 2021-08-19 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, medical information processing model training method, and medical information processing program |
| CN111340819A (en) | 2020-02-10 | 2020-06-26 | 腾讯科技（深圳）有限公司 | Image segmentation method, device and storage medium |
| JP2022066963A (en) | 2020-10-19 | 2022-05-02 | 学校法人 聖マリアンナ医科大学 | Medical image processing device and medical image processing method |
| CN114418954A (en) | 2021-12-24 | 2022-04-29 | 中国科学院深圳先进技术研究院 | Mutual learning-based semi-supervised medical image segmentation method and system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351293A (en) * | 2023-12-04 | 2024-01-05 | 天津医科大学口腔医院 | Combined learning periodontal disease image classification method and device |
| CN117351293B (en) * | 2023-12-04 | 2024-02-06 | 天津医科大学口腔医院 | Combined learning periodontal disease image classification method and device |
| CN117952993A (en) * | 2024-03-27 | 2024-04-30 | 中国海洋大学 | Semi-supervised medical image segmentation method based on image text cooperative constraint |
| CN118052979A (en) * | 2024-04-11 | 2024-05-17 | 成都理工大学 | Remote sensing image target detection method based on cross correction network |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115187783A (en) | 2022-10-14 |
| CN115187783B (en) | 2022-12-27 |
| JP2024039598A (en) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7386370B1 (en) | Multi-task hybrid supervised medical image segmentation method and system based on federated learning | |
| CN110689038B (en) | Training method and device for neural network model and medical image processing system | |
| Wells et al. | Artificial intelligence in dermatopathology: Diagnosis, education, and research | |
| JP6887055B2 (en) | Machine learning methods and devices, programs, trained models, and discriminators | |
| CN109993102B (en) | Similar face retrieval method, device and storage medium | |
| CN111898696A (en) | Method, device, medium and equipment for generating pseudo label and label prediction model | |
| CN110490239B (en) | Training method, quality classification method, device and equipment of image quality control network | |
| CN112541508A (en) | Fruit segmentation and recognition method and system and fruit picking robot | |
| Selvan et al. | Uncertainty quantification in medical image segmentation with normalizing flows | |
| CN112884758B (en) | Defect insulator sample generation method and system based on style migration method | |
| US11816185B1 (en) | Multi-view image analysis using neural networks | |
| CN113821668A (en) | Data classification identification method, device, equipment and readable storage medium | |
| CN111986105A (en) | Video time sequence consistency enhancing method based on time domain denoising mask | |
| Zhu et al. | Big data image classification based on distributed deep representation learning model | |
| CN114723950A (en) | Cross-modal medical image segmentation method based on symmetric adaptive network | |
| CN116502129A (en) | Unbalanced clinical data classification system driven by knowledge and data in cooperation | |
| CN117316409A (en) | Hospital information management method and system based on big data | |
| CN111681204A (en) | CT rib fracture focus relation modeling method and device based on graph neural network | |
| CN112836755B (en) | Sample image generation method and system based on deep learning | |
| Al-Karawi et al. | A deep learning framework with edge computing for severity level detection of diabetic retinopathy | |
| CN113989574A (en) | Image interpretation method, image interpretation apparatus, electronic device, and storage medium | |
| US20210110287A1 (en) | Causal Reasoning and Counterfactual Probabilistic Programming Framework Using Approximate Inference | |
| CN116051699B (en) | Dynamic capture data processing method, device, equipment and storage medium | |
| Jia et al. | A multi-style interior floor plan design approach based on generative adversarial networks | |
| Thilagavathy et al. | Digital transformation in healthcare using eagle perching optimizer with deep learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230609 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7386370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |