JP7244974B1 - Pathological image feature extractor training method, training device, electronic device, storage medium, and pathological image classification system based on feature separation - Google Patents

Abstract

本発明は、特徴分離に基づく病理画像特徴抽出器の訓練方法及び装置を開示し、当該訓練方法は、複数の生成対抗ネットワークを含む特徴分離ネットワークを構築するとともに、６つのサブ損失関数を設定してネットワークに対して制約訓練を行うことにより、病理画像を色情報特徴及び組織構造情報特徴に分離分解し、純粋で不純物のない組織構造情報を保持するとともに、人為的な染色差異によるネットワーク性能への悪影響をなくすことができる。設定された損失関数は、色エンコーダ及び組織構造エンコーダの特徴抽出の標的性を最大限に保証する。訓練して得られた特徴抽出器は、異なる病理画像の複数の色ドメインをカバーし、異なるドメインの色変化を導入し、異なるセンターからの病理画像に適応することができ、より高い汎化性能を有する。【選択図】図１The present invention discloses a training method and apparatus for a pathological image feature extractor based on feature separation, the training method constructs a feature separation network including multiple generative opposition networks, and sets six sub-loss functions. By performing constraint training on the network, the pathological image is separated and decomposed into color information features and tissue structure information features. can eliminate the adverse effects of The set loss function guarantees maximum targetability of feature extraction for color and texture encoders. The trained and obtained feature extractor can cover multiple color domains of different pathological images, introduce color changes in different domains, and adapt to pathological images from different centers, resulting in higher generalization performance. have [Selection drawing] Fig. 1

Description

本発明は、医療画像処理技術の分野及び人工知能の分野に関し、より具体的には、特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システムに関する。 The present invention relates to the field of medical image processing technology and the field of artificial intelligence, and more specifically to a training method, training device, electronic device, storage medium, and pathological image classification system for a pathological image feature extractor based on feature separation. .

正常組織細胞は、様々な要因の刺激で遺伝子構造が変化し、不可逆的な細胞形態や機能の異常を引き起こし、癌細胞となる。癌細胞は、無限増殖、形質転換可能で、容易に転移という３つの特徴を有し、正常細胞が癌細胞になった後に制御不可能な無限***増殖が始まり、周囲の正常組織に侵入し、ひいては体内循環系又はリンパ系を経由して身体の他の部位に拡散する。早期癌は、抗癌剤又は外科手術による腫瘍切除の方式で治療することができ、このとき、治癒率が高く、身体への負担が少ない。しかしながら、癌が中・末期に進行したまま、ひいては転移後に診断された場合、治療手段が非常に限られてしまい、放射線治療や化学療法などの体毒性副作用の強い治療方法で治療するしかない。したがって、癌の早期診断は、人間が癌に対処するための最も効果的な武器となる。 Normal tissue cells are stimulated by various factors to change their gene structure, causing irreversible abnormalities in cell morphology and function, and become cancer cells. Cancer cells have three characteristics: unlimited proliferation, ability to transform, and easy metastasis. It then spreads to other parts of the body via the body's circulatory or lymphatic system. Early cancer can be treated by tumor resection with anticancer drugs or surgery, which has a high cure rate and less burden on the body. However, when cancer is diagnosed in the middle or terminal stages, or after metastasis, treatment options are extremely limited, and treatment methods such as radiation therapy and chemotherapy, which have strong side effects on the body, are the only options. Therefore, early diagnosis of cancer is the most effective weapon for humans to deal with cancer.

現在、医師は、通常、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＣＴ）及び病理診断の方法を採用して癌の診断を行っている。しかし、コンピュータ断層撮影は、初歩的な診断しか提供できず、組織の病理診断こそ臨床診断のゴールドスタンダードとなっている。病理専門家は、腫瘍と疑われる部位から切り出した組織をスライスに作成した後、デジタル顕微鏡及びコンピュータ技術により、全スライド病理画像（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ、ＷＳＩ）を作成し、次いで、コンピュータ上で全スライド病理画像の細胞及び細胞間の形態を観察して病巣領域を探し、診断意見を下す。しかし、現在中国国内に資質を持つ病理医は、一万人余りしかおらず、分布も偏在し、一般的に、経済が先進した省に集中し、中西部などの後進地域と省において病理医の深刻な不足に直面し、患者の実際の要求を満たすことができず、これにより、中国数十億人の健康に直接的又は間接的に影響を与える。また、病理医による全スライド病理画像の人工診断は、医師の専門知識の蓄積や業務経験に強く依存しており、しかも医師の診断結果は、主観性による影響を受け、時間がかかるだけでなく、疲労による診断結論への影響も存在する。国際的な最新の研究成果によると、ヘマトキシリン・エオシン（ｈｅｍａｔｏｘｙｌｉｎ－ｅｏｓｉｎ、Ｈ＆Ｅ）染色の腫瘍細胞核の人工的な統計分析が誤差を生じやすく、例えば、腫瘍細胞核の人工的な百分率統計は実のデータより４５％上回っていることもある。同一の腫瘍に対して、異なる病理医の診断の相違は、１０％～９５％の動的範囲で変化し、偽陰性の診断結果や癌サブタイプの誤判定を引き起こし、この誤診、見落としは、臨床的治療手段に直接影響し、患者の生命の安全を脅かす。 At present, doctors usually adopt the methods of computed tomography (CT) and pathological diagnosis to diagnose cancer. However, computed tomography can only provide rudimentary diagnosis, and tissue pathological diagnosis has become the gold standard for clinical diagnosis. A pathologist cuts out a tissue from a site suspected of being a tumor into slices, uses a digital microscope and computer technology to create whole slide pathological images (Whole Slide Imaging, WSI), and then scans the entire slide on a computer. Observing the cell and intercellular morphology of the pathological image to search for the lesion area and make a diagnosis opinion. However, there are currently only about 10,000 qualified pathologists in China, and their distribution is unevenly distributed. Faced with a severe shortage of medical supplies, unable to meet the actual needs of patients, this directly or indirectly affects the health of billions of people in China. In addition, the artificial diagnosis of pathological images of all slides by a pathologist strongly depends on the doctor's accumulation of specialized knowledge and work experience. , there is also an effect on diagnostic conclusions due to fatigue. According to the latest international research results, artificial statistical analysis of hematoxylin-eosin (H&E) staining of tumor cell nuclei is prone to error, for example, artificial percentage statistics of tumor cell nuclei are not real data. sometimes 45% higher than Differences in diagnosis between different pathologists for the same tumor vary over a dynamic range of 10% to 95%, leading to false-negative diagnoses and misidentification of cancer subtypes. It directly affects clinical therapeutic measures and threatens the patient's life safety.

ビッグデータ時代において、計算力の継続的な高まりやオープンソース医療データベースの確立は、医療分野における人工知能技術の適用の障害をすっかり取り除く。深層学習により、コンピュータ支援診断システムを確立し、エンドツーエンドの全スライド病理画像の診断を実現し、医師が診断の効率及び正確率を向上させることを支援することができる。訓練済み深層学習モデルは、全スライド病理画像を同じ基準で検出し、主観性による影響を回避し、病理医の診断の分岐を低減する。 In the big data era, the continuous increase in computing power and the establishment of open source medical databases have completely removed the obstacles to the application of artificial intelligence technology in the medical field. Deep learning can establish a computer-aided diagnosis system, realize end-to-end full-slide pathological image diagnosis, and help doctors improve diagnosis efficiency and accuracy rate. A trained deep learning model detects all slide pathology images on the same basis, avoiding the effects of subjectivity and reducing the pathologist's diagnosis divergence.

全スライド病理画像を作成する時には、ヘマトキシリン－エオシン（Ｈ＆Ｅ）で染色を行う必要がある。しかしながら、組織固定時間、染色剤の配合比、及びスキャナなどの差異の影響により、異なる腫瘍センターにより作成された全スライド病理画像間には、大きな色の差異があり、データ量が不十分である場合、ネットワークは、学習の過程で色の差異にも過度に注目し、実に注目必要な組織のテクスチャ構造情報を無視する状況がある。現在、ほとんどの学者は、色正規化方法を採用して全ての画像の色分布をテンプレート画像と一致させる。しかし、この方法は２段階（ｔｗｏ－ｓｔａｇｅ）であり、実際に適用される過程に、まず色正規化アルゴリズムにより新たな画像を生成してからネットワーク学習を行う必要があり、色正規化の過程に余分な情報損失を導入し、不可避的に原画像の組織構造情報を破壊し、分類正確度の低下を招く。また、現在開示されている医療画像データベースにおける医療画像は、病巣領域のラベルが含まれておらず、深層学習モデルの訓練に用いる病巣ラベル付けの病理画像データを十分に得ることは困難である。したがって、余分な色正規化操作を必要とせず、かつ、組織構造情報を保持するとともに、色差がモデルに影響を与えることを回避できる病理画像特徴抽出器が必要とされる。 Hematoxylin-eosin (H&E) staining should be performed when whole-slide pathology imaging is performed. However, due to differences in tissue fixation time, staining ratio, and scanner, there is a large color difference between whole-slide pathological images produced by different tumor centers, and the amount of data is insufficient. In some cases, the network may also pay too much attention to color differences in the course of learning, ignoring the texture structure information of tissues that really need attention. Currently, most scholars employ color normalization methods to match the color distribution of all images with the template image. However, this method is a two-stage process, and in the actual application process, it is necessary to first generate a new image using a color normalization algorithm and then perform network learning. introduces extra information loss into the image, and inevitably destroys the texture information of the original image, resulting in a decrease in classification accuracy. In addition, the medical images in the currently disclosed medical image database do not contain lesion region labels, and it is difficult to obtain sufficient lesion-labeled pathological image data for training a deep learning model. Therefore, there is a need for a pathological image feature extractor that does not require an extra color normalization operation and that preserves tissue structure information while avoiding color differences affecting the model.

本発明は、従来の深層学習に基づく全スライド病理画像分類方法のいずれも、余分な色正規化フローを必要とすることによる組織構造情報損失という問題を解決することを目的とし、特徴分離に基づく病理画像特徴抽出器の訓練方法及び訓練装置を提供し、訓練して得られた病理画像特徴抽出器は、余分な色正規化フローを必要とせず、完全な組織構造情報を保持するとともに、色差のモデルへの影響を回避する。 The present invention aims to solve the problem of tissue structure information loss due to the need for an extra color normalization flow in any of the conventional deep learning-based whole-slide pathological image classification methods. A method and apparatus for training a pathological image feature extractor is provided, and the trained pathological image feature extractor does not require an extra color normalization flow, retains complete tissue structure information, and has color difference. to avoid affecting the model of

上記技術的問題を解決するために、本発明は、以下の技術的解決手段を採用し、
特徴分離に基づく病理画像特徴抽出器の訓練方法であって、当該方法は、具体的には、
訓練データセットを構築するステップであって、前記訓練データセットの各サンプルが病理画像の分割に基づいて取得された２つの画像ブロックを含むステップと、
特徴抽出器の訓練のための特徴分離ネットワークを構築するステップであって、前記特徴分離ネットワークは、
入力された画像ブロックをエンコードして組織構造情報特徴を得るための組織構造エンコーダＥ_ｓと、
入力された画像ブロックをエンコードして色情報特徴を得るための色エンコーダＥ_ｃと、
入力された組織構造情報特徴が同一のドメインにあるか否かを判別するための組織構造判別器Ｄ_ｓと、
入力された組織構造情報特徴及び色情報特徴を画像ブロックに再生成するための生成器Ｇと、
実画像ブロックと生成された画像ブロックが同一のドメインにあるか否かを区別するためのドメイン判別器Ｄと、を含むステップと、
訓練データセットに基づき、各サンプルを特徴分離ネットワークの入力として、損失関数を最小化することを目標として訓練して特徴分離ネットワークのパラメータを最適化し、訓練済みの組織構造エンコーダを、病理画像特徴抽出器とするステップであって、前記損失関数Ｌ_{ｔｏｔａｌ}は、以下のように表され、
Ｌ_{ｔｏｔａｌ}＝－λ_{ａｄｖ，ｓ}Ｌ_{ａｄｖ，ｓ}－λ_{ａｄｖ，ｄｏｍａｉｎ}Ｌ_{ａｄｖ，ｄｏｍａｉｎ}＋λ_{ｒｅｃｏｎ} Ｌ_{ｒｅｃｏｎ}＋λ_{ｌａｔｅｎｔ，ｓ} Ｌ_{ｌａｔｅｎｔ，ｓ}＋λ_{ｌａｔｅｎｔ，ｃ} Ｌ_{ｌａｔｅｎｔ，ｃ}＋λ_ｃｃＬ_ｃｃ
ここで、Ｌ_{ａｄｖ，ｓ}は、元のサンプルの２つの画像ブロックｘ及びｙが属するドメインと組織構造判別器Ｄ_ｓにより判別されたドメインとの間の損失を含む、組織構造の敵対的損失を表し、
Ｌ_{ａｄｖ，ｄｏｍａｉｎ}は、元のサンプルの２つの画像ブロックｘ及びｙに対応するＸドメインのドメイン敵対的損失及びＹドメインのドメイン敵対的損失を含む、ドメイン敵対的損失を表し、
Ｌ_{ｒｅｃｏｎ}は、各元のサンプルの２つの画像ブロックの自己再構築損失を表し、
Ｌ_{ｌａｔｅｎｔ，ｓ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの組織構造情報特徴の組織構造情報整合性損失を表し、Ｌ_{ｌａｔｅｎｔ，ｃ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの色情報特徴の色情報整合性損失を表し、
前記変換画像ブロックは、サンプルにおける２つの画像ブロックの色情報特徴を交換した後、生成器Ｇに基づいて再生成されたものであり、
Ｌ_ｃｃは、変換画像ブロックが組織構造エンコーダＥ_ｓ、色エンコーダＥ_ｃによりエンコードされ、生成器Ｇにより再生成された画像ブロックと元のサンプルの画像ブロックの循環整合性損失を表し、
λ_{ａｄｖ，ｓ}、λ_{ａｄｖ，ｄｏｍａｉｎ}、λ_{ｒｅｃｏｎ}、λ_{ｌａｔｅｎｔ，ｓ}、λ_{ｌａｔｅｎｔ，ｃ}及びλ_ｃｃは、それぞれ対応する損失の重みを表す、ステップと、を含む。 In order to solve the above technical problems, the present invention adopts the following technical solutions,
A method for training a pathological image feature extractor based on feature separation, the method specifically comprising:
constructing a training data set, each sample of said training data set comprising two image blocks acquired based on pathological image segmentation;
building a feature separation network for training a feature extractor, said feature separation network comprising:
a texture encoder E _s for encoding input image blocks to obtain texture information features;
a color encoder E _c for encoding input image blocks to obtain color information features;
a tissue structure discriminator _Ds for discriminating whether or not the input tissue structure information features are in the same domain;
a generator G for regenerating input tissue structure information features and color information features into image blocks;
a domain discriminator D for discriminating whether the real image block and the generated image block are in the same domain;
Based on the training data set, each sample as an input to a feature separation network, trained with the goal of minimizing the loss function to optimize the parameters of the feature separation network, and the trained tissue structure encoder is applied to pathological image feature extraction. and the loss function L _total is expressed as:
L _total =−λ _adv,s L _adv,s −λ _adv,domain L _adv,domain +λ _recon L _recon +λ _latent,s L _latent,s +λ _latent,c L _latent,c +λ _cc L _cc
where L _adv,s is the adversarial loss of tissue structure, including the loss between the domain to which the two image blocks x and y of the original sample belong and the domain discriminated by the tissue classifier D _s represent,
L _adv,domain represents the domain adversarial loss, including the domain adversarial loss of the X domain and the domain adversarial loss of the Y domain corresponding to the two image blocks x and y of the original sample;
L _recon represents the self-reconstruction loss of the two image blocks of each original sample,
L _latent,s represents the histology information consistency loss of the histology information features of the transformed image block and the corresponding original sample image block, and L _latent,c is the transformed image block and the corresponding original sample image. represents the color information consistency loss of the color information feature of the block,
the transformed image block is regenerated based on a generator G after exchanging the color information features of the two image blocks in samples;
L _cc represents the circular consistency loss between the transformed image block encoded by texture encoder E _s , color encoder E _c and regenerated by generator G and the original sample image block;
λ _adv,s , λ _adv,domain , λ _recon , λ _latent,s , λ _latent,c and λ _cc each represent the weight of the corresponding loss.

前記特徴分離ネットワークの訓練は、いかなる画像レベル、ピクセルレベル、又はＲＯＩレベルの注釈を必要としない。前記小さな画像ブロックの特徴抽出器は、即ち特徴分離ネットワークにおける組織構造エンコーダＥ_ｓであり、色情報を回避する状況で小さな画像ブロックにおける組織構造情報を抽出することができる。 The training of the feature separation network does not require any image-level, pixel-level, or ROI-level annotations. The small image block feature extractor, ie the texture encoder E _s in the feature separation network, can extract texture information in small image blocks in the context of avoiding color information.

さらに、前記組織構造の敵対的損失は、以下のように表され、
Ｌ_{ａｄｖ，ｓ}（Ｅ_ｓ，Ｄ_ｓ）＝Ｅｘ［１／２ｌｏｇ Ｄ_ｓ（Ｅ_ｓ（ｘ））＋１／２ｌｏｇ（１－Ｄ_ｓ（Ｅ_ｓ（ｘ）））］＋Ｅ_ｙ［１／２ｌｏｇ Ｄ_ｓ（Ｅ_ｓ（ｙ））＋１／２ｌｏｇ（１－Ｄ_ｓ（Ｅ_ｓ（ｙ）））］
ここで、Ｅ_ｓ（・）は、組織構造エンコーダＥ_ｓの出力を表し、Ｄ_ｓ（・）は、組織構造判別器Ｄ_ｓの出力を表し、ｘ及びｙは、各サンプルの２つの画像ブロックを表し、Ｅ［・］は、数学的期待である。 Further, the adversarial loss of said organizational structure is expressed as:
L _adv,s (E _s , D _s )=Ex[½log D _s (E _s (x))+½log(1−D _s (E _s (x)))]+E _y [½log D _s (E _s (y))+1/2log(1−D _s (E _s (y)))]
where E _s (·) represents the output of the histology encoder E _s , D _s (·) represents the output of the histology discriminator D _s , and x and y are the two image blocks of each sample. and E[·] is the mathematical expectation.

さらに、自己再構築損失Ｌ_{ｒｅｃｏｎ}、ドメイン敵対的損失Ｌ_{ａｄｖ，ｄｏｍａｉｎ}、色情報整合性損失Ｌ_{ｌａｔｅｎｔ，ｃ}及び組織構造情報整合性損失Ｌ_{ｌａｔｅｎｔ，ｓ}は、ＢＣＥ損失関数又はＭＳＥ損失関数を採用する。 Furthermore, the self-reconstruction loss L _recon , the domain adversarial loss L _adv,domain , the color information integrity loss L _latent,c and the texture information integrity loss L _latent,s adopt the BCE loss function or the MSE loss function .

さらに、前記循環整合性損失Ｌ_ｃｃは、以下のように表され、
Ｌ_ｃｃ（Ｅ_ｃ，Ｅ_ｓ，Ｇ）＝Ｅ_ｘ，ｙ［｜｜Ｇ（Ｅ_ｓ（ｖ），Ｅ_ｃ（ｕ））－ｘ｜｜_１＋｜｜Ｇ（Ｅ_ｓ（ｕ），Ｅ_ｃ（ｖ））－ｙ｜｜_１］
ここで、Ｅ_ｓ（・）は、組織構造エンコーダＥ_ｓの出力を表し、ｘ及びｙは、各サンプルの２つの画像ブロックを表し、Ｅ［・］は、数学的期待であり、｜｜・｜｜_１は、Ｌ１ノルムの算出を表し、Ｇ（・）は、生成器Ｇの出力を表し、Ｅ_ｃ（・）は、色エンコーダＥ_ｃの出力を表し、ｕ及びｖは、変換画像ブロックを表し、以下に表され、
ｕ＝Ｇ（Ｅ_ｓ（ｙ），Ｅ_ｃ（ｘ）），ｖ＝Ｇ（Ｅ_ｓ（ｘ），Ｅ_ｃ（ｙ））。 Further, the cyclic consistency loss _Lcc can be expressed as:
L _cc (E _c ,E _s ,G)=E _x,y [||G(E _s (v),E _c (u))−x|| ₁ +||G(E _s (u),E _c (v))−y|| ₁ ]
where E _s (·) represents the output of the tissue structure encoder E _s , x and y represent the two image blocks of each sample, E[·] is the mathematical expectation, || || ₁ represents the computation of the L1 norm, G(·) represents the output of the generator G, E _c (·) represents the output of the color encoder E _c , u and v are the transform image blocks , which is represented by
u=G( _Es (y), _Ec (x)), v=G( _Es (x), _Ec (y)).

特徴分離に基づく病理画像特徴抽出器の訓練装置であって、
訓練データセットを構築するためのデータ取得モジュールであって、前記訓練データセットの各サンプルが病理画像の分割に基づいて取得された２つの画像ブロックを含むデータ取得モジュールと、
特徴抽出器の訓練のための特徴分離ネットワークを構築するための特徴分離ネットワーク構築モジュールであって、前記特徴分離ネットワークは、
入力された画像ブロックをエンコードして組織構造情報特徴を得るための組織構造エンコーダＥ_ｓと、
入力された画像ブロックをエンコードして色情報特徴を得るための色エンコーダＥ_ｃと、
入力された組織構造情報特徴が同一のドメインにあるか否かを判別するための組織構造判別器Ｄ_ｓと、
入力された組織構造情報特徴及び色情報特徴を画像ブロックに再生成するための生成器Ｇと、
実画像ブロックと生成された画像ブロックが同一のドメインにあるか否かを区別するためのドメイン判別器Ｄと、を含む特徴分離ネットワーク構築モジュールと、
訓練データセットに基づき、各サンプルを特徴分離ネットワークの入力として、損失関数を最小化することを目標として訓練して特徴分離ネットワークのパラメータを最適化し、訓練済みの組織構造エンコーダを、病理画像特徴抽出器とする訓練モジュールであって、前記損失関数Ｌ_{ｔｏｔａｌ}は、以下のように表され、
Ｌ_{ｔｏｔａｌ}＝λ_{ａｄｖ，ｓ}Ｌ_{ａｄｖ，ｓ}－λ_{ａｄｖ，ｄｏｍａｉｎ}Ｌ_{ａｄｖ，ｄｏｍａｉｎ}＋λ_{ｒｅｃｏｎ} Ｌ_{ｒｅｃｏｎ}＋λ_{ｌａｔｅｎｔ，ｓ} Ｌ_{ｌａｔｅｎｔ，ｓ}＋λ_{ｌａｔｅｎｔ，ｃ} Ｌ_{ｌａｔｅｎｔ，ｃ}＋λ_ｃｃＬ_ｃｃ
ここで、Ｌ_{ａｄｖ，ｓ}は、元のサンプルの２つの画像ブロックｘ及びｙが属するドメインと組織構造判別器Ｄ_ｓにより判別されたドメインとの間の損失を含む、組織構造の敵対的損失を表し、
Ｌ_{ａｄｖ，ｄｏｍａｉｎ}は、元のサンプルの２つの画像ブロックｘ及びｙに対応するＸドメインのドメイン敵対的損失及びＹドメインのドメイン敵対的損失を含む、ドメイン敵対的損失を表し、
Ｌ_{ｒｅｃｏｎ}は、各元のサンプルの２つの画像ブロックの自己再構築損失を表し、
Ｌ_{ｌａｔｅｎｔ，ｓ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの組織構造情報特徴の組織構造情報整合性損失を表し、Ｌ_{ｌａｔｅｎｔ，ｃ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの色情報特徴の色情報整合性損失を表し、
前記変換画像ブロックは、サンプルにおける２つの画像ブロックの色情報特徴を交換した後、生成器Ｇに基づいて再生成されたものであり、
Ｌ_ｃｃは、変換画像ブロックが組織構造エンコーダＥ_ｓ、色エンコーダＥ_ｃによりエンコードされ、生成器Ｇにより再生成された画像ブロックと元のサンプルの画像ブロックの循環整合性損失を表し、
λ_{ａｄｖ，ｓ}、λ_{ａｄｖ，ｄｏｍａｉｎ}、λ_{ｒｅｃｏｎ}、λ_{ｌａｔｅｎｔ，ｓ}、λ_{ｌａｔｅｎｔ，ｃ}及びλ_ｃｃは、それぞれ対応する損失の重みを表す、訓練モジュールと、を含む。 An apparatus for training a pathological image feature extractor based on feature separation, comprising:
a data acquisition module for building a training dataset, wherein each sample of the training dataset includes two image blocks acquired based on pathological image segmentation;
A feature separation network building module for building a feature separation network for training a feature extractor, the feature separation network comprising:
a texture encoder E _s for encoding input image blocks to obtain texture information features;
a color encoder E _c for encoding input image blocks to obtain color information features;
a tissue structure discriminator _Ds for discriminating whether or not the input tissue structure information features are in the same domain;
a generator G for regenerating input tissue structure information features and color information features into image blocks;
a feature separation network construction module including a domain discriminator D for discriminating whether the real image block and the generated image block are in the same domain;
Based on the training data set, each sample as an input to a feature separation network, trained with the goal of minimizing the loss function to optimize the parameters of the feature separation network, and the trained tissue structure encoder is applied to pathological image feature extraction. A training module as an instrument, wherein the loss function L _total is expressed as:
L _total = λ _{adv, s} L _{adv, s} − λ _{adv, domain} L _{adv, domain} + λ _recon L _recon + λ _{latent, s} L _{latent, s} + λ _{latent, c} L _{latent, c} + λ _cc L _cc
where L _adv,s is the adversarial loss of tissue structure, including the loss between the domain to which the two image blocks x and y of the original sample belong and the domain discriminated by the tissue classifier D _s represent,
L _adv,domain represents the domain adversarial loss, including the domain adversarial loss of the X domain and the domain adversarial loss of the Y domain corresponding to the two image blocks x and y of the original sample;
L _recon represents the self-reconstruction loss of the two image blocks of each original sample,
L _latent,s represents the histology information consistency loss of the histology information features of the transformed image block and the corresponding original sample image block, and L _latent,c is the transformed image block and the corresponding original sample image. represents the color information consistency loss of the color information feature of the block,
the transformed image block is regenerated based on a generator G after exchanging the color information features of the two image blocks in samples;
L _cc represents the circular consistency loss between the transformed image block encoded by texture encoder E _s , color encoder E _c and regenerated by generator G and the original sample image block;
and λ _adv,s , λ _adv,domain , λ _recon , λ _latent,s , λ _latent,c and λ _cc each represent the corresponding loss weight.

電子機器であって、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行する時、上述したような特徴分離に基づく病理画像特徴抽出器の訓練方法を実現する。 An electronic device comprising a memory, a processor, and a computer program stored in the memory and executable by the processor, the processor, when executing the computer program, extracting pathological images based on feature separation as described above. A training method for the feature extractor is implemented.

コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令は、コンピュータプロセッサにより実行される時、上述したような特徴分離に基づく病理画像特徴抽出器の訓練方法が実施される。 A storage medium containing computer-executable instructions which, when executed by a computer processor, implements a feature separation-based pathological image feature extractor training method as described above.

病理画像分類システムであって、
分類すべき病理画像を複数の画像ブロックに分割するためのデータ前処理ユニットと、
上記特徴分離に基づく病理画像特徴抽出器の訓練方法により訓練して得られた特徴抽出器であって、各画像ブロックに対して組織構造情報特徴を抽出するための特徴抽出器と、
特徴抽出器により抽出された各画像ブロックの組織構造情報特徴に基づいて分類を行い、分類すべき病理画像の分類結果を得るための分類ユニットと、を含む。 A pathological image classification system,
a data preprocessing unit for dividing a pathological image to be classified into a plurality of image blocks;
A feature extractor obtained by training according to the pathological image feature extractor training method based on feature separation, the feature extractor for extracting a tissue structure information feature for each image block;
a classification unit for performing classification based on tissue structure information features of each image block extracted by the feature extractor to obtain a classification result of the pathological image to be classified.

さらに、分類ユニットは、訓練済みのマルチインスタンス学習ネットワークであり、前記マルチインスタンス学習ネットワークは、各小さな画像ブロックに応じて分類結果の重要度に対応する注意スコアを付けるための注意モジュールと、同一の全スライド病理画像の小さな画像ブロックからの組織構造情報ベクトルをｓｌｉｄｅレベルの特徴ベクトルに集合するための集合層と、ｓｌｉｄｅレベルの特徴ベクトルを分類するための分類層とから構成することができる。 Further, the classification unit is a trained multi-instance learning network, and said multi-instance learning network is identical with an attention module for giving an attention score corresponding to the importance of the classification result according to each small image block. It can consist of an aggregation layer for assembling tissue structure information vectors from small image blocks of all slide pathological images into slide level feature vectors and a classification layer for classifying the slide level feature vectors.

さらに、前記マルチインスタンス学習ネットワークは、ピクセルレベル又はＲＯＩレベルの注釈を必要とせず、全スライド病理画像のタイプラベルのみを必要とする。 Furthermore, the multi-instance learning network does not require pixel-level or ROI-level annotations, only type labels of whole-slide pathological images.

さらに、前記全スライド病理画像は、医療用全スライド病理画像である。 Further, the all-slide pathological image is a medical all-slide pathological image.

従来技術と比較して、本発明の有益な結果は、以下のとおりである。
（１）本発明は、複数の敵対的生成ネットワークを含む特徴分離ネットワークを提供し、当該特徴分離ネットワークは、いかなるペアデータを使用せずに訓練し、全スライド病理画像を色情報特徴及び組織構造情報特徴に分離分解し、染色剤の配合比、組織固定時間、スキャナなどの人為的要因による色差異情報を除去し、画像中のより深い階層の細胞と細胞間の構造、形態学的特徴などの診断に関連する不純物のない組織構造情報のみを保持することができる。また、訓練の過程に異なる病理画像の複数のドメインをカバーし、異なるドメインの変化を導入し、異なるセンターからの全スライド病理画像に適応することができ、より強い汎化性能及びより高いロバスト性を有する。 Beneficial results of the present invention compared to the prior art are as follows.
(1) The present invention provides a feature separation network comprising multiple adversarial generative networks, which is trained without using any paired data to convert whole slide pathological images into color information features and tissue structures. Separate and decompose into information features, remove color difference information due to artificial factors such as staining agent mixture ratio, tissue fixation time, scanner, etc., and morphological features such as structure between cells and cells in deeper layers in the image only histological information without impurities relevant to the diagnosis of It can also cover multiple domains of different pathological images in the training process, introduce changes in different domains, and adapt to whole slide pathological images from different centers, resulting in stronger generalization performance and higher robustness. have

（２）本発明により提供される特徴分離ネットワークは、いかなる色正規化過程を必要とせず、従来の色正規化に基づくコンピュータ支援診断方法による組織構造情報損失を回避し、診断に関連する組織構造情報を最大限に保持することができ、より完全な組織構造情報特徴に基づく全スライド病理画像の分類は、より高い正確度を有する。１段階（ｏｎｅ－ｓｔａｇｅ）モデルフレームワークの支援診断は、よりよい利便性を有する。 (2) The feature separation network provided by the present invention does not require any color normalization process, avoids the tissue structure information loss caused by conventional computer-aided diagnosis methods based on color normalization, and provides tissue structure relevant to diagnosis. The full slide pathological image classification based on the more complete histology information features, which can retain the maximum information, has higher accuracy. A one-stage model framework assisted diagnosis has better usability.

（３）本発明により提供される特徴分離ネットワークの損失関数は、組織構造の敵対的損失、自己再構築損失、ドメイン敵対的損失、潜在空間の色情報整合性損失、潜在空間の組織構造情報整合性損失、及び循環整合性損失という６つの損失関数を含んで、ネットワークを制約し、ネットワークにおける色エンコーダが全スライド病理画像の色情報特徴のみをエンコードし、組織構造エンコーダが診断に関連する組織構造情報特徴のみをエンコードすることを最大限に保証し、異なるエンコーダ特徴抽出の標的性を保証し、不純物情報がエンコードされることによるモデルへの悪影響を低減し、モデルの分類性能を向上させる。 (3) The loss functions of the feature separation network provided by the present invention are organizational structure adversarial loss, self-reconstruction loss, domain adversarial loss, latent space color information consistency loss, latent space organizational structure information consistency The network is constrained by including six loss functions, chrominance loss and cyclic consistency loss, where the color encoder in the network encodes only the color information features of the whole-slide pathological image, and the histology encoder determines the tissue structure relevant to the diagnosis. It maximizes the encoding of information features only, ensures the targetability of different encoder feature extraction, reduces the adverse effect on the model due to the impurity information being encoded, and improves the classification performance of the model.

（４）本発明の特徴抽出器により抽出された情報特徴に基づいて分類するためのマルチインスタンス分類ネットワークは、ブロックレベル又はピクセルレベルのラベルを必要とせず、画像レベルの病変ラベルのみを必要とし、必要なデータは、特定の病変に制限されず、いかなる器官からの全スライド病理画像はいずれも訓練に参加することができ、データセットの制限を大幅に緩和し、データ収集及びラベル付けの作業量を軽減し、一定の臨床的価値を有する。 (4) a multi-instance classification network for classification based on information features extracted by the feature extractor of the present invention does not require block-level or pixel-level labels, only image-level lesion labels; The data required is not restricted to specific lesions and any whole slide pathological image from any organ can participate in training, greatly relaxing the dataset limitations and reducing the amount of data collection and labeling work. and has some clinical value.

本発明の特徴分離ネットワークのネットワーク構造及び訓練のフローチャートである。Fig. 3 is a flow chart of the network structure and training of the feature separation network of the present invention; 本発明の特徴分離に基づく病理画像特徴抽出器の訓練装置の構造図である。1 is a structural diagram of a training device for pathological image feature extractor based on feature separation of the present invention; FIG. 本発明の電子機器のハードウェア構造図である。It is a hardware structure diagram of the electronic device of the present invention. 本発明の病理画像分類システムの構造図である。1 is a structural diagram of a pathological image classification system of the present invention; FIG. 本発明の病理画像分類システムの分類のフローチャートである。4 is a flow chart of classification of the pathological image classification system of the present invention;

以下、本発明の実施例における図面と組み合わせて、本発明の実施例における技術的解決手段を明確且つ完全に記述するが、明らかに、記述された実施例は、本発明の一部の実施例に過ぎず、全ての実施例ではない。本発明における実施例に基づき、当業者であれば、創造的な労力を行わずに得られた他の全ての実施例は、いずれも本発明の保護範囲に属する。 The following clearly and completely describes the technical solutions in the embodiments of the present invention in conjunction with the drawings in the embodiments of the present invention. Obviously, the described embodiments are only some embodiments of the present invention. and not all examples. Based on the embodiments in the present invention, all other embodiments obtained by those skilled in the art without creative efforts shall fall within the protection scope of the present invention.

本発明は、特徴分離（ｆｅａｔｕｒｅ ｄｅｃｏｕｐｌｉｎｇ）に基づく病理画像特徴抽出器の訓練方法を提供し、当該特徴分離に基づく病理画像特徴抽出器の訓練方法により、本発明の実施例により提供される新規な病理画像特徴抽出器を訓練して得ることができ、当該病理画像特徴抽出器により、異なるセンター、異なる処理条件から得られた病理画像から、より高い信頼性を有する組織構造情報特徴を直接抽出することができ、具体的には、本発明の特徴分離に基づく病理画像特徴抽出器の訓練方法は、以下のステップを含み、
ステップＳ１において、訓練データセットを構築し、前記訓練データセットの各サンプルは病理画像を分割することで取得された２つの画像ブロックを含む。 The present invention provides a pathological image feature extractor training method based on feature decoupling, and by the feature decoupling-based pathological image feature extractor training method, the novel It can be obtained by training a pathological image feature extractor, and the pathological image feature extractor directly extracts tissue structure information features with higher reliability from pathological images obtained from different centers and different processing conditions. Specifically, the feature separation-based pathological image feature extractor training method of the present invention includes the following steps:
In step S1, a training data set is constructed, each sample of said training data set comprising two image blocks obtained by segmenting a pathological image.

ここで、画像ブロックを分割して取得する時、空白背景領域及び天然空洞領域をフィルタリングし、病理組織領域のみを保持すべきであり、スライディングウィンドウを用いて、病理組織領域を均一なサイズの小さな画像ブロックに分割し、画像ブロックデータは、いかなるピクセル、パッチ、又はＲＯＩレベルのラベルを含まず、色正規化操作を行う必要もない。 Here, when the image block is divided and acquired, the blank background region and the natural cavity region should be filtered, and only the pathological tissue region should be retained. Divided into image blocks, the image block data does not contain any pixel, patch, or ROI level labels, nor does it need to perform a color normalization operation.

ステップＳ２において、特徴抽出器用の特徴分離ネットワークを構築し、図１に示すように、前記特徴分離ネットワークは、主に、
入力された画像ブロックをエンコードして組織構造情報特徴を得るための組織構造エンコーダＥ_ｓと、
入力された画像ブロックをエンコードして色情報特徴を得るための色エンコーダＥ_ｃと、
入力された組織構造情報特徴が同一のドメインにあるか否かを判別するための組織構造判別器Ｄ_ｓと、
入力された組織構造情報特徴及び色情報特徴を画像ブロックに再生成するための生成器Ｇと、
実画像ブロックと生成された画像ブロックが同一のドメインにあるか否かを区別するためのドメイン判別器Ｄと、を含む。 In step S2, build a feature separation network for the feature extractor, as shown in FIG. 1, the feature separation network mainly consists of:
a texture encoder E _s for encoding input image blocks to obtain texture information features;
a color encoder E _c for encoding input image blocks to obtain color information features;
a tissue structure discriminator _Ds for discriminating whether or not the input tissue structure information features are in the same domain;
a generator G for regenerating input tissue structure information features and color information features into image blocks;
and a domain discriminator D for discriminating whether the real image block and the generated image block are in the same domain.

ステップＳ３において、訓練データセットに基づき、各サンプルを特徴分離ネットワークの入力として、損失関数を最小化することを目標として訓練し、具体的には、図１に示すように、以下のサブステップを含み、
ステップＳ３．１において、各サンプルの２つの小さな画像ブロックをｘ、ｙと表記し、ここで、画像ブロックｘは、Ｘドメインに属し、画像ブロックｙは、Ｙドメインに属する。組織構造エンコーダＥ_ｓ及び色エンコーダＥ_ｃにそれぞれ送信して特徴分離を行い、対応する組織構造情報特徴ｈ_ｓ，ｘ、ｈ_ｓ，ｙ及び色情報特徴ｈ_ｃ，ｘ、ｈ_ｃ，ｙを得る。ここで、組織構造エンコーダＥ_ｓ及び色エンコーダＥ_ｃは、いずれも従来のエンコーダであり、主に畳み込み層、残差ブロック、及び全結合層などから構成され、例示的に、組織構造エンコーダＥ_ｓは、３つの畳み込み層と４つの残差ブロックから構成され、色エンコーダＥ_ｃは、４つの畳み込み層と１つの全結合層から構成されてもよい。組織構造エンコーダＥ_ｓは、画像を共有の組織構造ドメインＳにマッピングし、色エンコーダＥ_ｃは、画像を異なる色ドメインにマッピングし、以下の式であり、
ｈ_ｓ，ｘ＝Ｅ_ｓ（ｘ），ｈ_ｃ，ｘ＝Ｅ_ｃ（ｘ），ｈ_ｓ，ｙ＝Ｅ_ｓ（ｙ），ｈ_ｃ，ｙ＝Ｅ_ｃ（ｙ）
式において、Ｅ_ｓ（・）、Ｅ_ｃ（・）は、それぞれ組織構造エンコーダＥ_ｓ及び色エンコーダＥ_ｃの出力を表す。 In step S3, based on the training data set, with each sample as the input of the feature separation network, training with the goal of minimizing the loss function, specifically, as shown in FIG. 1, the following substeps: including
In step S3.1, the two small image blocks of each sample are denoted x, y, where image block x belongs to the X domain and image block y belongs to the Y domain. are sent to the texture encoder E _s and the color encoder E _c respectively for feature separation to obtain the corresponding texture information features h _s,x , h _s,y and color information features h _c,x , h _c,y . Here, the texture encoder E _{s and} the color encoder E _c are both conventional encoders, which mainly consist of a convolutional layer, a residual block, a fully connected layer, and so on. may be composed of 3 convolutional layers and 4 residual blocks, and the color encoder E _c may be composed of 4 convolutional layers and 1 fully connected layer. The texture encoder E _s maps the image to a shared texture domain S, and the color encoder E _c maps the image to different color domains, where:
hs _,x = _Es (x), hc _,x = _Ec (x), hs _,y = _Es (y), hc _,y = _Ec (y)
In the equations, E _s (·), E _c (·) represent the outputs of texture encoder E _s and color encoder E _c , respectively.

ステップＳ３．２において、画像ブロックｘと画像ブロックｙの組織構造情報特徴ｈ_ｓ，ｘ、ｈ_ｓ，ｙが同一の共有の組織構造ドメインＳ内にあるという仮定に基づき、組織構造判別器Ｄ_ｓを用いてｈ_ｓ，ｘ、ｈ_ｓ，ｙが同一の組織構造ドメインＳ内にあることを判別する。組織構造の敵対的損失Ｌ_{ａｄｖ，ｓ}を算出し、例示的には、組織構造の敵対的損失Ｌ_{ａｄｖ，ｓ}は、以下のように表され、
Ｌ_{ａｄｖ，ｓ}（Ｅ_ｓ，Ｄ_ｓ）＝Ｅｘ［１／２ｌｏｇ Ｄ_ｓ（Ｅ_ｓ（ｘ））＋１／２ｌｏｇ（１－Ｄ_ｓ（Ｅ_ｓ（ｘ）））］＋Ｅ_ｙ［１／２ｌｏｇ Ｄ_ｓ（Ｅ_ｓ（ｙ））＋１／２ｌｏｇ（１－Ｄ_ｓ（Ｅ_ｓ（ｙ）））］
ここで、Ｅ［・］は、数学的期待であり、Ｄ_ｓ（・）は、組織構造判別器Ｄ_ｓの出力を表す。 In step S3.2 _, the histology discriminator _{D s} is used to determine that h _s,x and h _s,y are within the same tissue structure domain S. Calculate the tissue structure adversarial loss L _adv,s , illustratively, the tissue structure adversarial loss L _adv,s is expressed as:
L _adv,s (E _s , D _s )=Ex[½log D _s (E _s (x))+½log(1−D _s (E _s (x)))]+E _y [½log D _s (E _s (y))+1/2log(1−D _s (E _s (y)))]
where E[·] is the mathematical expectation and D _s (·) represents the output of the tissue structure classifier D _s .

ステップＳ３．３において、生成器Ｇを用いて、画像ブロックｘに基づいて抽出して得られた組織構造情報特徴ｈ_ｓ，ｘ及び色情報特徴ｈ_ｃ，ｘを画像ブロックｘ_ｒに再生成し、画像ブロックｙに基づいて抽出して得られた組織構造情報特徴ｈ_ｓ，ｙ及び色情報特徴ｈ_ｃ，ｙを画像ブロックｙ_ｒに再生成する。生成器Ｇは、任意の通常の生成器であってもよく、例示的に、生成器は、４つの残差ブロックと３つの小さなストライドの畳み込み層とから構成される。ｈ_ｓ，ｘ及びｈ_ｃ，ｘは、同一の画像ブロックｘに由来し、ｈ_ｓ，ｙ及びｈ_ｃ，ｙは、同一の画像ブロックｙに由来するので、理論上、再生成された画像ブロックｘ_ｒは、原画像ブロックｘと同じであるべきであり、画像ブロックｙ_ｒは、原画像ブロックｙと同じであるべきである。この仮定に基づき、各元のサンプルの２つの画像ブロックの自己再構築損失（ｓｅｌｆ－ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）Ｌ_{ｒｅｃｏｎ}を算出し、自己再構築損失は、ＢＣＥ損失、ＭＳＥ損失などを当該損失関数として選択することができる。 In step S3.3, the generator G is used to regenerate the tissue structure information feature h _s,x and the color information feature h _c,x extracted based on the image block x into the image block x _r . , the tissue structure information feature _hs,y and the color information feature _{hc,y obtained by extracting based on the image block y} are regenerated into the image block _yr . The generator G may be any ordinary generator, illustratively the generator consists of 4 residual blocks and 3 small-stride convolutional layers. Since h _s,x and h _c,x come from the same image block x, and h _s,y and h _c,y come from the same image block y, in theory the regenerated image block x _r should be the same as the original image block x and image block y _r should be the same as the original image block y. Based on this assumption, the self-reconstruction loss L _recon of the two image blocks of each original sample is calculated, and the self-reconstruction loss selects the BCE loss, MSE loss, etc. as the loss function. be able to.

ステップＳ３．４において、サンプルにおける２つの画像ブロックの色情報特徴を交換し、さらに生成器Ｇを用いることにより、Ｘドメインの画像ブロックｕ及びＹドメインの画像ブロックｖを含む新たな変換画像ブロックを生成し、以下の式であり、
ｕ＝Ｇ（Ｅ_ｓ（ｙ），Ｅ_ｃ（ｘ））＝Ｇ（ｈ_ｓ，ｙ，ｈ_ｃ，ｘ），ｖ＝Ｇ（Ｅ_ｓ（ｘ），Ｅ_ｃ（ｙ））＝Ｇ（ｈ_ｓ，ｘ，ｈ_ｃ，ｙ）
ここで、Ｇ（・）は、生成器Ｇの出力を表す。 At step S3.4, by exchanging the color information features of the two image blocks in the sample and using the generator G, a new transformed image block comprising the image block u in the X domain and the image block v in the Y domain is generated. produces the following formula,
u=G( _Es (y), _Ec (x))=G(hs _,y , _hc,x ), v=G( _Es (x), _Ec (y))=G(h _s,x ,hc _,y )
where G(·) represents the output of generator G.

ステップＳ３．５において、ドメイン判別器Ｄは、Ｘドメイン及びＹドメインにおける実画像ブロック（画像ブロックｘ及び画像ブロックｙ）と、生成された変換画像ブロック（画像ブロックｕ及び画像ブロックｖ）とを区別するものであり、生成器Ｇは、ドメイン判別器Ｄを「騙す」ように、実画像ブロックをできるだけ生成するものである。ドメイン敵対的損失Ｌ_{ａｄｖ，ｄｏｍａｉｎ}を算出することは、ＢＣＥ損失、ＭＳＥ損失などを当該損失関数として選択することができる。 At step S3.5, the domain classifier D distinguishes between the real image blocks (image block x and image block y) in the X and Y domains and the generated transformed image blocks (image block u and image block v). and the generator G generates real image blocks as much as possible so as to "fool" the domain classifier D. Calculating the domain adversarial loss La _adv,domain can choose BCE loss, MSE loss, etc. as the loss function.

ステップＳ３．６において、画像ブロックｕ及び画像ブロックｖを組織構造エンコーダＥ_ｓ及び色エンコーダＥ_ｃにそれぞれ送信して特徴分離を行い、対応する組織構造情報特徴ｈ_ｓ，ｕ、ｈ_ｓ，ｖ及び色情報特徴ｈ_ｃ，ｕ、ｈ_ｃ，ｖを得る。同様に、組織構造エンコーダＥ_ｓは、画像を共有の組織構造ドメインＳにマッピングし、色エンコーダは、画像を異なる色ドメインにマッピングし、以下の式であり、
ｈ_ｓ，ｕ＝Ｅ_ｓ（ｕ），ｈ_ｃ，ｕ＝Ｅ_ｃ（ｕ），ｈ_ｓ，ｖ＝Ｅ_ｓ（ｖ），ｈ_ｃ，ｖ＝Ｅ_ｃ（ｖ）
画像ブロックｕ及び画像ブロックｖの組織構造情報特徴ｈ_ｓ，ｕ、ｈ_ｓ，ｖは、それぞれ画像ブロックｙ及び画像ブロックｘが２回の組織構造エンコーダＥ_ｓ及び１回の生成器Ｇを介することで得られ、画像ブロックｕ及び画像ブロックｖの色情報特徴ｈ_ｃ，ｕ、ｈ_ｃ，ｖは、それぞれ画像ブロックｘ及び画像ブロックｙが２回の色エンコーダＥ_ｃ及び１回の生成器Ｇを介することで得られる。理論上、ｈ_ｃ，ｕ、ｈ_ｃ，ｖは、それぞれｈ_ｃ，ｘ及びｈ_ｃ，ｙと同じであるべきであり、ｈ_ｓ，ｕ、ｈ_ｓ，ｖは、それぞれｈ_ｓ，ｙ及びｈ_ｓ，ｘと同じであるべきである。この仮定に基づき、ｈ_ｃ，ｕ、ｈ_ｃ，ｖ及びｈ_ｃ，ｘ、ｈ_ｃ，ｙにより潜在空間の色情報整合性損失（ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ）Ｌ_{ｌａｔｅｎｔ，ｃ}を算出することができ、ｈ_ｓ，ｕ、ｈ_ｓ，ｖ及びｈ_ｓ，ｙ、ｈ_ｓ，ｘにより潜在空間の組織構造情報整合性損失Ｌ_{ｌａｔｅｎｔ，ｃ}を算出することができ、ＢＣＥ損失を潜在空間の色情報整合性損失関数及び組織構造情報整合性損失関数として選択することができる。 At step S3.6, image block u and image block v are sent to the texture encoder E _s and color encoder E _c respectively for feature separation, and the corresponding texture information features h _s,u , h _s,v and Obtain color information features h _c,u , h _c,v . Similarly, the texture encoder E _s maps the image to a shared texture domain S, and the color encoder maps the image to different color domains, where
h _s,u =E _s (u),h _c,u =E _c (u),h _s,v =E _s (v),h _c,v =E _c (v)
The tissue structure information features h _s,u , h _s,v of image block u and image block v are obtained by passing the image block y and image block x through the tissue structure encoder E _s twice and the generator G once. , and the color information features h _c,u , h _c,v of image block u and image block v are obtained by using the color encoder E _c twice and the generator G once for image block x and image block y, respectively. obtained by intervening. In theory, h _c,u , h _c,v should be the same as h _c,x and h _c,y respectively, and h _s,u , h _s,v should be h _s,y and h should be the same as _{s, x} . Based on this assumption, the color information consistency loss L _latent,c in the latent space can be calculated by h _c,u , h _c,v and h _c,x , h _c,y , and h _{s , u} , h _s,v and h _s,y , h _s,x can be used to calculate the tissue structure information consistency loss L _latent,c in the latent space, and the BCE loss is the color information consistency loss function in the latent space and organizational structure information consistency loss function.

ステップＳ３．７において、２つの変換画像ブロックの色情報特徴を交換し、生成器Ｇを用いて新たなＸドメインの画像ブロックｘ_ｃｃ及びＹドメインの画像ブロックｙ_ｃｃを生成し、以下の式であり、
ｘ_ｃｃ＝Ｇ（ｈ_ｓ，ｖ，ｈ_ｃ，ｕ），ｙ_ｃｃ＝Ｇ（ｈ_ｓ，ｕ，ｈ_ｃ，ｖ）
２つのＩ２Ｉ変換後に生成された画像ブロックｘ_ｃｃ及びｙ_ｃｃは、元の画像ブロックｘ及びｙと同じであるべきであり、この制約を強制実行するために、循環整合性損失Ｌ_ｃｃを構築し、例示的に、以下のように表され、
Ｌ_ｃｃ（Ｅ_ｃ，Ｅ_ｓ，Ｇ）＝Ｅ_ｘ，ｙ［｜｜Ｇ（Ｅ_ｓ（ｖ），Ｅ_ｃ（ｕ））－ｘ｜｜_１＋｜｜Ｇ（Ｅ_ｓ（ｕ），Ｅ_ｃ（ｖ））－ｙ｜｜_１］
ここで、｜｜・｜｜_１は、Ｌ１ノルムの算出を表す。 In step S3.7, exchange the color information features of the two transformed image blocks and generate a new X-domain image block x _cc and Y-domain image block y _cc using the generator G, with can be,
_xcc =G(hs _,v ,hc _,u ), _ycc =G(hs _,u ,hc _,v )
The image blocks x _cc and y _cc generated after the two I2I transformations should be the same as the original image blocks x and y, and to enforce this constraint we construct a circular consistency loss L _cc . , illustratively represented as
L _cc (E _c ,E _s ,G)=E _x,y [||G(E _s (v),E _c (u))−x|| ₁ +||G(E _s (u),E _c (v))−y|| ₁ ]
Here, ||·|| ₁ represents the calculation of the L1 norm.

以上をまとめると、総損失関数Ｌ_{ｔｏｔａｌ}を算出し、具体的には、以下の式であり、
Ｌ_{ｔｏｔａｌ}＝－λ_{ａｄｖ，ｓ}Ｌ_{ａｄｖ，ｓ}－λ_{ａｄｖ，ｄｏｍａｉｎ}Ｌ_{ａｄｖ，ｄｏｍａｉｎ}＋λ_{ｒｅｃｏｎ}Ｌ_{ｒｅｃｏｎ}＋λ_{ｌａｔｅｎｔ，ｓ}Ｌ_{ｌａｔｅｎｔ，ｓ}＋λ_{ｌａｔｅｎｔ，ｃ}Ｌ_{ｌａｔｅｎｔ，ｃ}＋λ_ｃｃＬ_ｃｃ
ここで、λ_{ａｄｖ，ｓ}、λ_{ａｄｖ，ｄｏｍａｉｎ}、λ_{ｒｅｃｏｎ}、λ_{ｌａｔｅｎｔ，ｓ}、λ_{ｌａｔｅｎｔ，ｃ}及びλ_ｃｃは、それぞれ対応する損失の重みを表し、例示的に、λ_{ａｄｖ，ｓ}＝１、λ_{ａｄｖ，ｄｏｍａｉｎ}＝１、λ_{ｒｅｃｏｎ}＝１０、λ_{ｌａｔｅｎｔ，ｓ}＝１０、λ_{ｌａｔｅｎｔ，ｃ}＝１０、λ_ｃｃ＝１０と設定することができる。 Summarizing the above, the total loss function L _total is calculated, specifically, the following formula,
L _total =−λ _adv,s L _adv,s −λ _adv,domain L _adv,domain +λ _recon L _recon +λ _latent,s L _latent,s +λ _latent,c L _latent,c +λ _cc L _cc
where λ _adv,s , λ _adv,domain , λ _recon , λ _latent,s , λ _latent,c and λ _cc represent the corresponding loss weights, respectively, exemplarily λ _adv,s =1, We can set λ _adv,domain =1, λ _recon =10, λ _latent,s =10, λ _latent,c =10, λ _cc =10.

確率的勾配降下アルゴリズムを用いて、総損失関数を最小化することを目標としてネットワークパラメータを最適化し、学習率（例えば、０．０００１）を設定し、Ａｄａｍを最適化器として用いて、連続するｎ回（例えば、３０回）の反復の損失が減少しなくなった時点で訓練を停止し、訓練済みの特徴分解ネットワークを得、訓練済みの組織構造エンコーダは、即ち病理画像特徴抽出器である。 Using a stochastic gradient descent algorithm to optimize the network parameters with the goal of minimizing the total loss function, setting a learning rate (e.g., 0.0001), and using Adam as the optimizer, successive The training is stopped when the loss of n (eg, 30) iterations does not decrease, and a trained feature decomposition network is obtained, and the trained tissue structure encoder is a pathological image feature extractor.

訓練済みの病理画像特徴抽出器は、染色剤の配合比、組織固定時間、スキャナなどの人為的要因による色差異情報を除去し、画像中のより深い階層の細胞と細胞間構造、形態学的特徴などの診断に関連する不純物のない組織構造情報のみを保持し、十分に学習することができ、
前述特徴分離に基づく病理画像特徴抽出器の訓練方法の実施例に対応して、本発明は、さらに、特徴分離に基づく病理画像特徴抽出器の訓練装置の実施例を提供する。 The pre-trained pathological image feature extractor removes color difference information due to artificial factors such as dye mixture ratio, tissue fixation time, scanner, etc. Retains only clean histological information relevant to diagnosis, such as features, and can be fully learned,
Corresponding to the embodiment of the feature separation-based pathological image feature extractor training method, the present invention further provides a feature separation-based pathological image feature extractor training device embodiment.

図２に示すように、本発明の実施例にて提供される特徴分離に基づく病理画像特徴抽出器の訓練装置は、
訓練データセットを構築するためのデータ取得モジュールであって、前記訓練データセットの各サンプルが病理画像の分割に基づいて取得された２つの画像ブロックを含む取得モジュールと、
特徴抽出器の訓練のための特徴分離ネットワークを構築するための特徴分離ネットワーク構築モジュールであって、前記特徴分離ネットワークは、
入力された画像ブロックをエンコードして組織構造情報特徴を得るための組織構造エンコーダＥ_ｓと、
入力された画像ブロックをエンコードして色情報特徴を得るための色エンコーダＥ_ｃと、
入力された組織構造情報特徴が同一のドメインにあるか否かを判別するための組織構造判別器Ｄ_ｓと、
入力された組織構造情報特徴及び色情報特徴を画像ブロックに再生成するための生成器Ｇと、
実画像ブロックと生成された画像ブロックが同一のドメインにあるか否かを区別するためのドメイン判別器Ｄと、を含む特徴分離ネットワーク構築モジュールと、
訓練データセットに基づき、各サンプルを特徴分離ネットワークの入力として、損失関数を最小化することを目標として訓練して特徴分離ネットワークのパラメータを最適化し、訓練済みの組織構造エンコーダを、病理画像特徴抽出器とするための訓練モジュールであって、前記損失関数Ｌ_{ｔｏｔａｌ}は、以下のように表され、
Ｌ_{ｔｏｔａｌ}＝λ_{ａｄｖ，ｓ}Ｌ_{ａｄｖ，ｓ}－λ_{ａｄｖ，ｄｏｍａｉｎ}Ｌ_{ａｄｖ，ｄｏｍａｉｎ}＋λ_{ｒｅｃｏｎ}Ｌ_{ｒｅｃｏｎ}＋λ_{ｌａｔｅｎｔ，ｓ}Ｌ_{ｌａｔｅｎｔ，ｓ}＋λ_{ｌａｔｅｎｔ，ｃ}Ｌ_{ｌａｔｅｎｔ，ｃ}＋λ_ｃｃＬ_ｃｃ
ここで、Ｌ_{ａｄｖ，ｓ}は、元のサンプルの２つの画像ブロックｘ及びｙが属するドメインと組織構造判別器Ｄ_ｓにより判別されたドメインとの間の損失を含む、組織構造の敵対的損失を表し、
Ｌ_{ａｄｖ，ｄｏｍａｉｎ}は、元のサンプルの２つの画像ブロックｘ及びｙに対応するＸドメインのドメイン敵対的損失及びＹドメインのドメイン敵対的損失を含む、ドメイン敵対的損失を表し、
Ｌ_{ｒｅｃｏｎ}は、各元のサンプルの２つの画像ブロックの自己再構築損失を表し、
Ｌ_{ｌａｔｅｎｔ，ｓ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの組織構造情報特徴の組織構造情報整合性損失を表し、Ｌ_{ｌａｔｅｎｔ，ｃ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの色情報特徴の色情報整合性損失を表し、
前記変換画像ブロックは、サンプルにおける２つの画像ブロックの色情報特徴を交換した後、生成器Ｇに基づいて再生成されたものであり、
Ｌ_ｃｃは、変換画像ブロックが組織構造エンコーダＥ_ｓ、色エンコーダＥ_ｃによりエンコードされ、生成器Ｇにより再生成された画像ブロックと元のサンプルの画像ブロックとの循環整合性損失を表し、
λ_{ａｄｖ，ｓ}、λ_{ａｄｖ，ｄｏｍａｉｎ}、λ_{ｒｅｃｏｎ}、λ_{ｌａｔｅｎｔ，ｓ}、λ_{ｌａｔｅｎｔ，ｃ}及びλ_ｃｃは、それぞれ対応する損失の重みを表す、訓練モジュールと、を含む。 As shown in FIG. 2, the pathological image feature extractor training device based on feature separation provided in the embodiment of the present invention includes:
a data acquisition module for building a training dataset, each sample of the training dataset comprising two image blocks acquired based on segmentation of pathology images;
A feature separation network building module for building a feature separation network for training a feature extractor, the feature separation network comprising:
a texture encoder E _s for encoding input image blocks to obtain texture information features;
a color encoder E _c for encoding input image blocks to obtain color information features;
a tissue structure discriminator _Ds for discriminating whether or not the input tissue structure information features are in the same domain;
a generator G for regenerating input tissue structure information features and color information features into image blocks;
a feature separation network construction module including a domain discriminator D for discriminating whether the real image block and the generated image block are in the same domain;
Based on the training data set, each sample as an input to a feature separation network, trained with the goal of minimizing the loss function to optimize the parameters of the feature separation network, and the trained tissue structure encoder is applied to pathological image feature extraction. a training module for a container, wherein the loss function L _total is expressed as:
L _total = λ _{adv, s} L _{adv, s} − λ _{adv, domain} L _{adv, domain} + λ _recon L _recon + λ _{latent, s} L _{latent, s} + λ _{latent, c} L _{latent, c} + λ _cc L _cc
where L _adv,s is the adversarial loss of tissue structure, including the loss between the domain to which the two image blocks x and y of the original sample belong and the domain discriminated by the tissue classifier D _s represent,
L _adv,domain represents the domain adversarial loss, including the domain adversarial loss of the X domain and the domain adversarial loss of the Y domain corresponding to the two image blocks x and y of the original sample;
L _recon represents the self-reconstruction loss of the two image blocks of each original sample,
L _latent,s represents the histology information consistency loss of the histology information features of the transformed image block and the corresponding original sample image block, and L _latent,c is the transformed image block and the corresponding original sample image. represents the color information consistency loss of the color information feature of the block,
the transformed image block is regenerated based on a generator G after exchanging the color information features of the two image blocks in samples;
L _cc represents the circular consistency loss between the transformed image block encoded by texture encoder E _s , color encoder E _c and regenerated by generator G and the original sample image block;
and λ _adv,s , λ _adv,domain , λ _recon , λ _latent,s , λ _latent,c and λ _cc each represent the corresponding loss weight.

装置の実施例については、基本的に方法の実施例に対応するので、関連する内容は、方法の実施例の一部の説明を参照すればよい。上述の装置の実施例は、単に例示的なものであり、前記別個部材として説明されたユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもよく、又は物理的なユニットでなくてもよく、即ち、１つの箇所に位置してもよく、又は複数のネットワークユニットに分散されてもよい。本発明の手段の目的を達成するために、実際の要求に応じて、その一部又は全部のモジュールを選択して実現することができる。当業者であれば創造的な労力を費やさずに、理解して実施することができる。 Since the apparatus embodiment basically corresponds to the method embodiment, the relevant contents can be referred to the partial description of the method embodiment. The above-described apparatus embodiments are merely exemplary, and units described as separate members may or may not be physically separated and displayed as units. The members may or may not be physical units, i.e., may be located at one location, or may be distributed over multiple network units. In order to achieve the purpose of the means of the present invention, some or all of the modules can be selected and implemented according to actual requirements. A person skilled in the art can understand and implement it without creative effort.

実施例は、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含む電子機器をさらに提供し、前記プロセッサは、前記コンピュータプログラムを実行する時、上述したような特徴分離に基づく病理画像特徴抽出器の訓練方法を実施する。図３に示すように、本発明の電子機器のハードウェア構造図であり、図３に示すプロセッサ、メモリ、ネットワークインタフェース、及び不揮発性メモリに加えて、実施例において、電子機器は、通常、当該データ処理能力を備える任意の機器の実際の機能に応じて、他のハードウェアをさらに含んでもよく、これについて繰り返して説明しない。 Embodiments further provide an electronic apparatus comprising a memory, a processor, and a computer program stored in the memory and executable by the processor, wherein the processor, when executing the computer program, performs the feature separation as described above. implement a pathological image feature extractor training method based on As shown in FIG. 3, which is a hardware structure diagram of the electronic device of the present invention, in addition to the processor, memory, network interface, and non-volatile memory shown in FIG. Other hardware may be further included according to the actual function of any device with data processing capability, which will not be described repeatedly.

上記電子機器における各ユニットの機能及び作用の実現過程は、具体的に、上記方法における対応するステップの実現過程を詳しく参照し、ここでは繰り返して説明しない。 For the implementation process of the functions and actions of each unit in the electronic device, specific reference is made to the implementation process of the corresponding steps in the above method, which will not be repeated here.

本発明の実施例は、プロセッサにより実行される時、上記実施例における特徴分離に基づく病理画像特徴抽出器の訓練方法が実施されるプログラムを記憶したコンピュータ可読記憶媒体をさらに提供する。 An embodiment of the present invention further provides a computer readable storage medium storing a program that, when executed by a processor, implements the feature separation-based pathological image feature extractor training method in the above embodiments.

前記コンピュータ可読記憶媒体は、ハードディスク又はメモリなど、前述いずれかの実施例に記載のデータ処理能力を備える任意の機器の内部記憶ユニットであってもよい。前記コンピュータ可読記憶媒体は、データ処理能力を備える任意の機器、例えば、前記機器に備えられたプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、ＳＤカード、フラッシュメモリカード（Ｆｌａｓｈ Ｃａｒｄ）などであってもよい。さらに、前記コンピュータ可読記憶媒体は、データ処理能力を有する任意の機器の内部記憶ユニットと外部記憶機器の両方を含んでもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラム及び前記データ処理能力を備える任意の機器に必要な他のプログラムとデータを記憶するために用いられ、また既に出力され又は出力しようとするデータを一時的に記憶するために用いられる。 Said computer readable storage medium may be an internal storage unit of any device with data processing capabilities as described in any of the previous embodiments, such as a hard disk or memory. The computer-readable storage medium can be any device with data processing capability, such as a plug-in hard disk, a smart memory card (Smart Media® Card, SMC), an SD card, a flash memory card ( Flash Card) or the like. Further, the computer-readable storage medium may include both internal storage units and external storage devices of any device having data processing capabilities. The computer-readable storage medium is used to store the computer program and other programs and data necessary for any device having the data processing capability, and temporarily stores data that has already been output or is to be output. Used for memorization.

さらに、訓練済みの特徴抽出器により抽出された組織構造情報特徴に基づき、より強い汎化性能を有する病理画像分類システムを得ることができ、本実施例にて提供される病理画像分類システムは、図４に示すように、
分類すべき病理画像を複数の画像ブロックに分割するためのデータ前処理ユニットと、
前述の実施例に記載の特徴分離に基づく病理画像特徴抽出器の訓練方法により訓練して得られた特徴抽出器であって、各画像ブロックに対して組織構造情報特徴を抽出するための特徴抽出器と、
特徴抽出器により抽出された各画像ブロックの組織構造情報特徴に基づいて分類を行い、分類すべき病理画像の分類結果を得るための分類ユニットと、を含む。 Furthermore, based on tissue structure information features extracted by a trained feature extractor, a pathological image classification system with stronger generalization performance can be obtained, and the pathological image classification system provided in this embodiment is As shown in Figure 4,
a data preprocessing unit for dividing a pathological image to be classified into a plurality of image blocks;
A feature extractor obtained by training according to the feature separation-based pathological image feature extractor training method described in the previous embodiment, wherein the feature extractor is for extracting tissue structure information features for each image block. vessel and
a classification unit for performing classification based on tissue structure information features of each image block extracted by the feature extractor to obtain a classification result of the pathological image to be classified.

例示的に、以下、肺癌サブタイプ診断（肺腺癌、肺扁平上皮癌の診断）を目的とする全病理画像分類と病巣検出を例にとって、具体的な実施方法と組み合わせて、本発明の病理画像分類システムの構築及び応用をさらに詳細に説明するが、ここで、分類ユニットは、マルチインスタンス分類ネットワークを採用し、取得された訓練データセットに基づいて訓練して得られる。具体的には、本発明の病理画像分類システムの構築は、主にマルチインスタンス分類ネットワークの訓練であり、以下のステップを含む。
ステップＳ１において、肺癌の全スライド病理画像データセットを構築し、オープンソースデータセットＴＣＧＡ（Ｔｈｅ Ｃａｎｃｅｒ Ｇｅｎｏｍｅ Ａｔｌａｓ）及びＴＣＩＡ（Ｔｈｅ Ｃａｎｃｅｒ Ｉｍｍｕｎｏｍｅ Ａｔｌａｓ）から、肺腺癌１５２４枚及び肺扁平上皮癌１４７６枚の合計３０００枚の肺癌の全スライド病理画像を、２つの分類のデータ量分布を均一に保つように収集する。画像に対してラベル付けし、肺腺癌のＷＳＩを０と、肺扁平上皮癌のＷＳＩを１とラベル付けし、全てのデータは、いかなるピクセル、パッチ、又はＲＯＩレベルのラベルを含まない。 By way of illustration, hereinafter, taking the whole pathological image classification and focus detection for the purpose of diagnosing lung cancer subtypes (diagnosis of lung adenocarcinoma, lung squamous cell carcinoma) as an example, in combination with a specific implementation method, the pathology of the present invention The construction and application of the image classification system will be described in more detail, where the classification unit is obtained by employing a multi-instance classification network and training on the obtained training data set. Specifically, the construction of the pathological image classification system of the present invention is mainly the training of a multi-instance classification network, and includes the following steps.
In step S1, a full-slide pathological image data set of lung cancer is constructed, and 1524 lung adenocarcinoma and 1476 lung squamous cell carcinoma are extracted from the open source data sets TCGA (The Cancer Genome Atlas) and TCIA (The Cancer Immunome Atlas). A total of 3000 whole-slide pathological images of lung cancer are collected so as to keep the data volume distribution of the two classifications uniform. Images were labeled with WSI for lung adenocarcinoma as 0 and WSI for lung squamous cell carcinoma as 1, and all data did not include any pixel, patch, or ROI level labeling.

ステップＳ２において、全ての全スライド病理画像に対して前処理を行い、病理組織領域を抽出し、スライディングウィンドウを用いて病理組織領域を２５６×２５６のサイズの小さな画像ブロックに分割し、各小さな画像ブロックが属する病理画像番号を記録し、各小さな画像ブロックの座標を保存することを含む。 In step S2, all slide pathological images are preprocessed to extract pathological tissue regions, and a sliding window is used to divide the pathological tissue regions into small image blocks with a size of 256×256, and each small image is Including recording the pathology image number to which the block belongs and storing the coordinates of each small image block.

ステップＳ３において、訓練済みの特徴分離ネットワークにおける組織構造エンコーダＥ_ｓを小さな画像ブロックの特徴抽出器として、全ての小さな画像ブロックの組織構造情報特徴ｈ_ｓ，ｋ，ｋ＝１，…，Ｋを抽出し、Ｋは、１つの全スライド病理画像を分割して得られた小さな画像ブロックの数を表す。 In step S3, using the texture encoder E _s in the trained feature separation network as a feature extractor for small image blocks, extract texture information features h _s,k , k=1, . . . , K for all small image blocks and K represents the number of small image blocks obtained by dividing one whole slide pathological image.

ステップＳ４において、ゲーテッド注意（ｇａｔｅｄ ａｔｔｅｎｔｉｏｎ）モジュール、集合層、及び分類層を含むゲーテッド注意に基づくマルチインスタンス分類ネットワークを訓練し、具体的には、
ステップＳ４．１において、全ての小さな画像ブロックの組織構造情報特徴ｈ_ｓ，ｋをゲーテッド注意モジュールに送信し、各小さな画像ブロックの注意スコアａ_ｋを得、

ここで、Ｗ_ａ，１，…，Ｗ_ａ，４、Ｐａは、全結合層の調整可能なパラメータであり、σ（・）は、ｓｉｇｍｏｉｄ活性化関数を表し、ｔａｎｈ（・）は、双曲線正接活性化関数であり、

は、要素ごとに２つの行列を乗算することを表す。 In step S4, train a multi-instance classification network based on gated attention, including a gated attention module, an aggregation layer and a classification layer, specifically:
in step S4.1, sending the histology information features h _s,k of all small image blocks to a gated attention module to obtain an attention score a _k for each small image block;

where W _a,1 , _. is the activation function,

represents the element-wise multiplication of two matrices.

ステップＳ４．２において、組織構造情報特徴ｈ_ｓ，ｋを集合層（Ａｇｇｒｅｇａｔｉｏｎ Ｌａｙｅｒ）に入力し、注意スコアを対応する重みとして、全ての組織構造情報特徴ｈ_ｓ，ｋの加重和を算出し、ｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}を集合して生成し、

ステップＳ４．３において、ｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}を分類層に送信し、予測分類結果ｐｒｏｂを得、分類層から出力された予測分類結果と実ラベルとの２値化クロスエントロピー損失関数は、以下のとおりであり、
Ｌ＝－ｆｌｏｇ（ｐｒｏｂ）－（１－ｆ）ｌｏｇ（１－ｐｒｏｂ）
ここで、ｆ∈｛０，１｝は、病理画像の実ラベルを表し、本実施例では、０が肺腺癌、１が肺扁平上皮癌を表す。 In step S4.2, input the tissue structure information features h _s,k into the Aggregation Layer, calculate the weighted sum of all the tissue structure information features h _s,k with the attention score as the corresponding weight, Aggregating and generating slide-level features _{g_slide} ,

In step S4.3, the slide-level feature g _slide is sent to the classification layer to obtain the predicted classification result prob, and the binarized cross-entropy loss function between the predicted classification result output from the classification layer and the real label is as follows: and
L=-flog(prob)-(1-f)log(1-prob)
Here, fε{0,1} represents the actual label of the pathological image, and in this embodiment, 0 represents lung adenocarcinoma and 1 represents lung squamous cell carcinoma.

ステップＳ４．４において、確率的勾配降下アルゴリズムを用いて勾配の逆伝播を行い、損失関数を最小化にすることを目標としてネットワークパラメータを最適化し、本実施例では、Ａｄａｍ最適化器を用い、初期学習率を０．０００１に設定するとともに、早期停止法（ｅａｒｌｙ ｓｔｏｐｐｉｎｇ）を用いてパラメータを適時に更新及び保存し、十分割交差検証（１０－ｆｏｌｄ ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ）を用いて最適モデルを決定し、訓練済みのマルチインスタンス分類ネットワークを得る。 In step S4.4, gradient backpropagation is performed using a stochastic gradient descent algorithm to optimize the network parameters with the goal of minimizing the loss function, in this example using an Adam optimizer, With an initial learning rate of 0.0001, early stopping was used to update and save the parameters in time, and 10-fold cross validation was used to determine the optimal model. , to obtain a trained multi-instance classification network.

本発明の病理画像分類システムによる病理画像分類のフローは、図５に示すように、具体的には、以下のステップを含み、
ステップＳ１において、患者の肺の全スライド病理画像を取得し、
ステップＳ２において、データ前処理ユニットを用いて、訓練する時に各全スライド病理画像に対して前処理を行う方法で前処理を行い、Ｋ枚の小さな画像ブロックを得、
ステップＳ３において、訓練済みの特徴抽出器を用いて、全ての小さな画像ブロックの組織構造情報特徴ｈ_ｓ，ｋを抽出し、
ステップＳ４において、訓練済みのマルチインスタンス分類ネットワークに入力して分類結果を得る。 The flow of pathological image classification by the pathological image classification system of the present invention specifically includes the following steps, as shown in FIG.
In step S1, acquiring a whole-slide pathological image of the patient's lungs;
in step S2, using a data preprocessing unit to preprocess in a manner that each whole slide pathological image is preprocessed when training to obtain K small image blocks;
in step S3, using a trained feature extractor to extract tissue structure information features h _s,k for all small image blocks;
In step S4, input to a trained multi-instance classification network to obtain a classification result.

明らかに、本発明の上記実施例は、本発明を明確に説明するための例示に過ぎず、本発明の実施形態を限定するものではない。当業者であれば、上記説明に基づいて他の異なる形態の変化又は変更を行うことができる。本明細書では全ての実施形態を網羅する必要がなく、また全ての実施形態を網羅することができない。本発明の精神と原則内で行われたいかなる修正、均等置換及び改良などは、いずれも本発明の特許請求の保護範囲内に含まれるべきである。本願の要求の保護範囲は、その特許請求の内容に準じるべきであり、説明書における具体的な実施形態などの記載は、特許請求の内容を解釈するために用いられる。このようにして導出された明らかな変化又は変更は、依然として本発明の保護範囲にある。 Apparently, the above examples of the present invention are merely examples for clearly describing the present invention, and are not intended to limit the embodiments of the present invention. Persons skilled in the art can make other different changes or modifications based on the above description. This specification need not and cannot cover all embodiments. Any modifications, equivalent substitutions and improvements made within the spirit and principle of the present invention shall all fall within the protection scope of the claims of the present invention. The protection scope of the claims of the present application should be according to the content of the claims, and the descriptions such as specific embodiments in the description are used to interpret the content of the claims. Obvious changes or modifications thus derived are still within the protection scope of the present invention.

Claims (8)

訓練データセットを構築するステップであって、前記訓練データセットの各サンプルが病理画像の分割に基づいて取得された２つの画像ブロックを含むステップと、
特徴抽出器の訓練のための特徴分離ネットワークを構築するステップであって、前記特徴分離ネットワークは、
入力された画像ブロックをエンコードして組織構造情報特徴を得るための組織構造エンコーダＥ_ｓと、
入力された画像ブロックをエンコードして色情報特徴を得るための色エンコーダＥ_ｃと、
入力された組織構造情報特徴が同一のドメインにあるか否かを判別するための組織構造判別器Ｄ_ｓと、
入力された組織構造情報特徴及び色情報特徴を画像ブロックに新たに生成するための生成器Ｇと、
実画像ブロックと生成された画像ブロックが同一のドメインにあるか否かを区別するためのドメイン判別器Ｄと、を含むステップと、
訓練データセットに基づき、各サンプルを特徴分離ネットワークの入力として、損失関数を最小化することを目標として訓練して特徴分離ネットワークのパラメータを最適化し、訓練済みの組織構造エンコーダを、病理画像特徴抽出器とするステップであって、前記損失関数Ｌ_{ｔｏｔａｌ}は、以下のように表され、
Ｌ_{ｔｏｔａｌ}＝－λ_{ａｄｖ，ｓ}Ｌ_{ａｄｖ，ｓ}－λ_{ａｄｖ，ｄｏｍａｉｎ}Ｌ_{ａｄｖ，ｄｏｍａｉｎ}＋λ_{ｒｅｃｏｎ}Ｌ_{ｒｅｃｏｎ}＋λ_{ｌａｔｅｎｔ，ｓ}Ｌ_{ｌａｔｅｎｔ，ｓ}＋λ_{ｌａｔｅｎｔ，ｃ}Ｌ_{ｌａｔｅｎｔ，ｃ}＋λ_ｃｃＬ_ｃｃ
ここで、Ｌ_{ａｄｖ，ｓ}は組織構造の敵対的損失を表し、組織構造エンコーダＥ_ｓと組織構造判別器Ｄ_ｓの敵対的損失を含み、
Ｌ_{ａｄｖ，ｄｏｍａｉｎ}は、元のサンプルの２つの画像ブロックｘ及びｙに対応するＸドメインのドメイン敵対的損失及びＹドメインのドメイン敵対的損失を含む、ドメイン敵対的損失を表し、
Ｌ_{ｒｅｃｏｎ}は、各元のサンプルの２つの画像ブロックの自己再構築損失を表し、
Ｌ_{ｌａｔｅｎｔ，ｓ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの組織構造情報特徴の組織構造情報整合性損失を表し、
Ｌ_{ｌａｔｅｎｔ，ｃ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの色情報特徴の色情報整合性損失を表し、
前記変換画像ブロックは、サンプルにおける２つの画像ブロックの色情報特徴を交換した後、生成器Ｇに基づいて再生成されたものであり、
Ｌ_ｃｃは、変換画像ブロックが組織構造エンコーダＥ_ｓ、色エンコーダＥ_ｃによりエンコードされ、生成器Ｇにより再生成された画像ブロックと元のサンプルの画像ブロックの循環整合性損失を表し、
λ_{ａｄｖ，ｓ}、λ_{ａｄｖ，ｄｏｍａｉｎ}、λ_{ｒｅｃｏｎ}、λ_{ｌａｔｅｎｔ，ｓ}、λ_{ｌａｔｅｎｔ，ｃ}及びλ_ｃｃは、それぞれ対応する損失の重みを表す、ステップと、を含む、
ことを特徴とする特徴分離に基づく病理画像特徴抽出器の訓練方法。 constructing a training data set, each sample of said training data set comprising two image blocks acquired based on pathological image segmentation;
building a feature separation network for training a feature extractor, said feature separation network comprising:
a texture encoder E _s for encoding input image blocks to obtain texture information features;
a color encoder E _c for encoding input image blocks to obtain color information features;
a tissue structure discriminator _Ds for discriminating whether or not the input tissue structure information features are in the same domain;
a generator G for newly generating input tissue structure information features and color information features in an image block;
a domain discriminator D for discriminating whether the real image block and the generated image block are in the same domain;
Based on the training data set, each sample as an input to a feature separation network, trained with the goal of minimizing the loss function to optimize the parameters of the feature separation network, and the trained tissue structure encoder is applied to pathological image feature extraction. and the loss function L _total is expressed as:
L _total =−λ _adv,s L _adv,s −λ _adv,domain L _adv,domain +λ _recon L _recon +λ _latent,s L _latent,s +λ _latent,c L _latent,c +λ _cc L _cc
where L _adv,s represents the adversarial loss of the tissue structure, including the adversarial loss of the tissue structure encoder E _s and the structure discriminator D _s ,
L _adv,domain represents the domain adversarial loss, including the domain adversarial loss of the X domain and the domain adversarial loss of the Y domain corresponding to the two image blocks x and y of the original sample;
L _recon represents the self-reconstruction loss of the two image blocks of each original sample,
L _latent,s represents the texture information consistency loss of the texture information features of the transformed image block and the corresponding original sample image block;
L _latent,c represents the color information consistency loss of the color information features of the transformed image block and the corresponding original sample image block;
the transformed image block is regenerated based on a generator G after exchanging the color information features of the two image blocks in samples;
L _cc represents the circular consistency loss between the transformed image block encoded by texture encoder E _s , color encoder E _c and regenerated by generator G and the original sample image block;
λ _adv,s , λ _adv,domain , λ _recon , λ _latent,s , λ _latent,c and λ _cc each represent a corresponding loss weight;
A training method for a pathological image feature extractor based on feature separation, characterized by: 前記組織構造の敵対的損失は、以下のように表され、
Ｌ_{ａｄｖ，ｓ}（Ｅ_ｓ，Ｄ_ｓ）＝Ｅｘ［１／２ｌｏｇ Ｄ_ｓ（Ｅ_ｓ（ｘ））＋１／２ｌｏｇ（１－Ｄ_ｓ（Ｅ_ｓ（ｘ）））］＋Ｅ_ｙ［１／２ｌｏｇ Ｄ_ｓ（Ｅ_ｓ（ｙ））＋１／２ｌｏｇ（１－Ｄ_ｓ（Ｅ_ｓ（ｙ）））］
ここで、Ｅ_ｓ（・）は、組織構造エンコーダＥ_ｓの出力を表し、Ｄ_ｓ（・）は、組織構造判別器Ｄ_ｓの出力を表し、ｘ及びｙは、各サンプルの２つの画像ブロックを表し、Ｅ［・］は、数学的期待である、
ことを特徴とする請求項１に記載の方法。 The adversarial loss of said organizational structure is expressed as:
L _adv,s (E _s , D _s )=Ex[½log D _s (E _s (x))+½log(1−D _s (E _s (x)))]+E _y [½log D _s (E _s (y))+1/2log(1−D _s (E _s (y)))]
where E _s (·) represents the output of the histology encoder E _s , D _s (·) represents the output of the histology discriminator D _s , and x and y are the two image blocks of each sample. and E[.] is the mathematical expectation,
2. The method of claim 1, wherein: 自己再構築損失Ｌ_{ｒｅｃｏｎ}、ドメイン敵対的損失Ｌ_{ａｄｖ，ｄｏｍａｉｎ}、色情報整合性損失Ｌ_{ｌａｔｅｎｔ，ｃ}及び組織構造情報整合性損失Ｌ_{ｌａｔｅｎｔ，ｓ}は、ＢＣＥ損失関数又はＭＳＥ損失関数を採用する、
ことを特徴とする請求項１に記載の方法。 The self-reconstruction loss L _recon , the domain adversarial loss L _adv,domain , the color information integrity loss L _latent,c and the texture information integrity loss L _latent,s employ the BCE loss function or the MSE loss function,
2. The method of claim 1, wherein: 前記循環整合性損失Ｌ_ｃｃは、以下のように表され、
Ｌ_ｃｃ（Ｅ_ｃ，Ｅ_ｓ，Ｇ）＝Ｅ_ｘ，ｙ［｜｜Ｇ（Ｅ_ｓ（ｖ），Ｅ_ｃ（ｕ））－ｘ｜｜_１＋｜｜Ｇ（Ｅ_ｓ（ｕ），Ｅ_ｃ（ｖ））－ｙ｜｜_１］
ここで、Ｅ_ｓ（・）は、組織構造エンコーダＥ_ｓの出力を表し、ｘ及びｙは、各サンプルの２つの画像ブロックを表し、Ｅ［・］は、数学的期待であり、｜｜・｜｜_１は、Ｌ１ノルムの算出を表し、Ｇ（・）は、生成器Ｇの出力を表し、Ｅ_ｃ（・）は、色エンコーダＥ_ｃの出力を表し、ｕ及びｖは、変換画像ブロックを表し、以下の式、
ｕ＝Ｇ（Ｅ_ｓ（ｙ），Ｅ_ｃ（ｘ）），ｖ＝Ｇ（Ｅ_ｓ（ｘ），Ｅ_ｃ（ｙ））、で表される、
ことを特徴とする請求項１に記載の方法。 The cyclic consistency loss L _cc is expressed as:
L _cc (E _c ,E _s ,G)=E _x,y [||G(E _s (v),E _c (u))−x|| ₁ +||G(E _s (u),E _c (v))−y|| ₁ ]
where E _s (·) represents the output of the tissue structure encoder E _s , x and y represent the two image blocks of each sample, E[·] is the mathematical expectation, || || ₁ represents the computation of the L1 norm, G(·) represents the output of the generator G, E _c (·) represents the output of the color encoder E _c , u and v are the transform image blocks represents the following formula,
u = G (E _s (y), E _c (x)), v = G (E _s (x), E _c (y)),
2. The method of claim 1, wherein: 訓練データセットを構築するためのデータ取得モジュールであって、前記訓練データセットの各サンプルが病理画像の分割に基づいて取得された２つの画像ブロックを含む取得モジュールと、
特徴抽出器の訓練のための特徴分離ネットワークを構築するための特徴分離ネットワーク構築モジュールであって、前記特徴分離ネットワークは、
入力された画像ブロックをエンコードして組織構造情報特徴を得るための組織構造エンコーダＥ_ｓと、
入力された画像ブロックをエンコードして色情報特徴を得るための色エンコーダＥ_ｃと、
入力された組織構造情報特徴が同一のドメインにあるか否かを判別するための組織構造判別器Ｄ_ｓと、
入力された組織構造情報特徴及び色情報特徴を画像ブロックに再生成するための生成器Ｇと、
実画像ブロックと生成された画像ブロックが同一のドメインにあるか否かを区別するためのドメイン判別器Ｄと、を含む特徴分離ネットワーク構築モジュールと、
訓練データセットに基づき、各サンプルを特徴分離ネットワークの入力として、損失関数を最小化することを目標として訓練して特徴分離ネットワークのパラメータを最適化し、訓練済みの組織構造エンコーダを、病理画像特徴抽出器とするための訓練モジュールであって、前記損失関数Ｌ_{ｔｏｔａｌ}は、以下のように表され、
Ｌ_{ｔｏｔａｌ}＝－λ_{ａｄｖ，ｓ}Ｌ_{ａｄｖ，ｓ}－λ_{ａｄｖ，ｄｏｍａｉｎ}Ｌ_{ａｄｖ，ｄｏｍａｉｎ}＋λ_{ｒｅｃｏｎ}Ｌ_{ｒｅｃｏｎ}＋λ_{ｌａｔｅｎｔ，ｓ}Ｌ_{ｌａｔｅｎｔ，ｓ}＋λ_{ｌａｔｅｎｔ，ｃ}Ｌ_{ｌａｔｅｎｔ，ｃ}＋λ_ｃｃＬ_ｃｃ
ここで、Ｌ_{ａｄｖ，ｓ}は、元のサンプルの２つの画像ブロックｘ及びｙが属するドメインと組織構造判別器Ｄ_ｓにより判別されたドメインとの間の損失を含む、組織構造の敵対的損失を表し、
Ｌ_{ａｄｖ，ｄｏｍａｉｎ}は、元のサンプルの２つの画像ブロックｘ及びｙに対応するＸドメインのドメイン敵対的損失及びＹドメインのドメイン敵対的損失を含む、ドメイン敵対的損失を表し、
Ｌ_{ｒｅｃｏｎ}は、各元のサンプルの２つの画像ブロックの自己再構築損失を表し、
Ｌ_{ｌａｔｅｎｔ，ｓ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの組織構造情報特徴の組織構造情報整合性損失を表し、Ｌ_{ｌａｔｅｎｔ，ｃ}は、変換画像ブロックと対応する元のサンプルの画像ブロックの色情報特徴の色情報整合性損失を表し、
前記変換画像ブロックは、サンプルにおける２つの画像ブロックの色情報特徴を交換した後、生成器Ｇに基づいて再生成されたものであり、
Ｌ_ｃｃは、変換画像ブロックが組織構造エンコーダＥ_ｓ、色エンコーダＥ_ｃによりエンコードされ、生成器Ｇにより再生成された画像ブロックと元のサンプルの画像ブロックの循環整合性損失を表し、
λ_{ａｄｖ，ｓ}、λ_{ａｄｖ，ｄｏｍａｉｎ}、λ_{ｒｅｃｏｎ}、λ_{ｌａｔｅｎｔ，ｓ}、λ_{ｌａｔｅｎｔ，ｃ}及びλ_ｃｃは、それぞれ対応する損失の重みを表す、訓練モジュールと、を含む、
ことを特徴とする特徴分離に基づく病理画像特徴抽出器の訓練装置。 a data acquisition module for building a training dataset, each sample of the training dataset comprising two image blocks acquired based on segmentation of pathology images;
A feature separation network building module for building a feature separation network for training a feature extractor, the feature separation network comprising:
a texture encoder E _s for encoding input image blocks to obtain texture information features;
a color encoder E _c for encoding input image blocks to obtain color information features;
a tissue structure discriminator _Ds for discriminating whether or not the input tissue structure information features are in the same domain;
a generator G for regenerating the input tissue structure information features and color information features into image blocks;
a feature separation network construction module including a domain discriminator D for discriminating whether the real image block and the generated image block are in the same domain;
Based on the training data set, each sample as an input to a feature separation network, trained with the goal of minimizing the loss function to optimize the parameters of the feature separation network, and the trained tissue structure encoder is applied to pathological image feature extraction. a training module for a container, wherein the loss function L _total is expressed as:
L _total =−λ _adv,s L _adv,s −λ _adv,domain L _adv,domain +λ _recon L _recon +λ _latent,s L _latent,s +λ _latent,c L _latent,c +λ _cc L _cc
where L _adv,s is the adversarial loss of tissue structure, including the loss between the domain to which the two image blocks x and y of the original sample belong and the domain discriminated by the tissue classifier D _s represent,
L _adv,domain represents the domain adversarial loss, including the domain adversarial loss of the X domain and the domain adversarial loss of the Y domain corresponding to the two image blocks x and y of the original sample;
L _recon represents the self-reconstruction loss of the two image blocks of each original sample,
L _latent,s represents the histology information consistency loss of the histology information features of the transformed image block and the corresponding original sample image block, and L _latent,c is the transformed image block and the corresponding original sample image. represents the color information consistency loss of the color information feature of the block,
the transformed image block is regenerated based on a generator G after exchanging the color information features of the two image blocks in samples;
L _cc represents the circular consistency loss between the transformed image block encoded by texture encoder E _s , color encoder E _c and regenerated by generator G and the original sample image block;
λ _adv,s , λ _adv,domain , λ _recon , λ _latent,s , λ _latent,c and λ _cc each represent a corresponding loss weight,
A training device for a pathological image feature extractor based on feature separation, characterized by: メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行する時、請求項１～４のいずれか１項に記載の特徴分離に基づく病理画像特徴抽出器の訓練方法を実施する、
ことを特徴とする電子機器。 An electronic device comprising a memory, a processor, and a computer program stored in the memory and executable by the processor, the processor, when executing the computer program, the electronic device according to any one of claims 1 to 4. performing the described feature separation-based pathology image feature extractor training method;
An electronic device characterized by: コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令は、コンピュータプロセッサにより実行される時、請求項１～４のいずれか１項に記載の特徴分離に基づく病理画像特徴抽出器の訓練方法が実施される、
ことを特徴とするコンピュータ実行可能命令を含む記憶媒体。 A storage medium containing computer-executable instructions, said computer-executable instructions, when executed by a computer processor, for the feature separation-based pathological image feature extractor of any one of claims 1-4. a training method is implemented,
A storage medium containing computer-executable instructions characterized by: 分類すべき病理画像を複数の画像ブロックに分割するためのデータ前処理ユニットと、
請求項１～４のいずれか１項に記載の特徴分離に基づく病理画像特徴抽出器の訓練方法により訓練して得られた特徴抽出器であって、各画像ブロックに対して組織構造情報特徴を抽出するための特徴抽出器と、
特徴抽出器により抽出された各画像ブロックの組織構造情報特徴に基づいて分類を行い、分類すべき病理画像の分類結果を得るための分類ユニットと、を含む、
ことを特徴とする病理画像分類システム。 a data preprocessing unit for dividing a pathological image to be classified into a plurality of image blocks;
A feature extractor obtained by training according to the method for training a pathological image feature extractor based on feature separation according to any one of claims 1 to 4, wherein a tissue structure information feature is obtained for each image block. a feature extractor for extracting;
a classification unit for performing classification based on the tissue structure information feature of each image block extracted by the feature extractor to obtain a classification result of the pathological image to be classified;
A pathological image classification system characterized by:

Images