JP7329041B2 - 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器 - Google Patents

条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器 Download PDF

Info

Publication number
JP7329041B2
JP7329041B2 JP2021506747A JP2021506747A JP7329041B2 JP 7329041 B2 JP7329041 B2 JP 7329041B2 JP 2021506747 A JP2021506747 A JP 2021506747A JP 2021506747 A JP2021506747 A JP 2021506747A JP 7329041 B2 JP7329041 B2 JP 7329041B2
Authority
JP
Japan
Prior art keywords
red blood
blood cell
image
data set
clinical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506747A
Other languages
English (en)
Other versions
JPWO2021027152A5 (ja
JP2022500728A (ja
Inventor
義文 王
健宗 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2022500728A publication Critical patent/JP2022500728A/ja
Publication of JPWO2021027152A5 publication Critical patent/JPWO2021027152A5/ja
Application granted granted Critical
Publication of JP7329041B2 publication Critical patent/JP7329041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)

Description

本願は、２０１９年８月１２日に中国特許局に提出された中国特許出願第２０１９１０７４１０２０.７号「条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器」の優先権を主張し、その内容の全体は参照により本願に組み込まれる。
本願は、ニューラルネットワークの分野に関連し、特に、条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器に関する。
医学の分野では、大量の臨床データを収集し、臨床データを個別にラベリングし、ラベリングされた臨床データに対して深層学習を行うことが求められている。データをラベリングするには専門的な医学的知識を必要としているため、操作の制限が高い。本発明者は、臨床データを利用・共有するためには、患者、医師、病院等の複数の関係者からの承認が必要であり、実施が困難であることに気付いた。また、臨床データの深層学習の前には、異なる医療機関の臨床データに対して互換性処理やデータ変換を実行する必要があり、操作が煩雑で時間もかかってしまう。
本願は、条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器を提供し、従来技術において異なる医療機関の臨床データの処理が煩雑であるという問題を解決することができる。
第１の態様では、本願は、条件付き敵対的生成ネットワークに基づいて画像を合成する方法を提供し、前記方法は、
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成することと、
前記赤血球形状データセット中の各赤血球の分布データを収集することと、
前記赤血球形状データセットを複数の赤血球画像に合成することと、を含む。
第２の態様では、本願は、画像を合成するための装置を提供し、上記の第１の態様で提供された条件付き敵対的生成ネットワークに基づいて画像を合成する方法を実現する機能を備える。前記機能は、ハードウェア自体によって実装されてもよいし、ハードウェアが対応するソフトウェアを実行することによって実装されてもよい。ハードウェアまたはソフトウェアは、上記機能に対応する１つ以上のモジュールを含み、前記モジュールは、ソフトウェアおよび／またはハードウェアであってもよい。
可能な設計では、前記装置は、
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するための入出力モジュールと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
前記入出力モジュールを介して複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成時に赤血球の形状データを提供するための赤血球形状データセットを作成し、前記入出力モジュールを介して前記赤血球形状データセット中の各赤血球の分布データを収集し、前記赤血球形状データセットを複数の赤血球画像に合成するための処理モジュールと、を含む。
本願の第３の態様は、コンピュータ機器を提供し、少なくとも１つの接続されたプロセッサと、メモリと、トランシーバとを含み、ここで、前記メモリは、プログラムコードを記憶するために使用され、前記プロセッサは、前記メモリ中のプログラムコードを呼び出して上記第１の態様に記載の方法を実行させるために使用される。
本願の第４の態様は、コンピュータ記憶媒体を提供し、前記記憶媒体には、コンピュータ上で実行されると、コンピュータに上記第１の態様に記載の方法を実行させるコンピュータ命令が記憶されている。
従来技術と比較して、本願によって提供される解決手段では、複数の臨床赤血球画像を取得し、各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得し、かつ、複数のマスクから複数の赤血球形状データを収集して訓練データセットを取得し、訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成し、また、赤血球形状データセット中の各赤血球の分布データを収集し、なお、赤血球形状データセットを複数の赤血球画像に合成する。本解決手段により、大量の実臨床データが不足している場合に、既存の臨床データに対してシミュレーションおよび拡張を行うことができる。
本願の実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法の流れを示す図である。 本願の実施例における画像を合成するための装置２０の構造を示す図である。 本願の実施例におけるコンピュータ機器の構造を示す図である。
ここで説明される具体的な実施例は本願を解釈するためのものに過ぎず、本願を限定するためのものではないことが理解されるべきである。本願の明細書、特許請求の範囲および上記図面における「第１」、「第２」などの用語は、類似の対象物を区別するために使用されており、特定の順序や順番を説明するために使用される必要はない。このように使用されるデータは、本明細書に記載された実施例が、本明細書に図示または記載されたものとは異なる順序で実施され得るように、適切な場合には、交換可能であることが理解されるべきである。さらに、「含む」および「備える」という用語、およびその変形は、非排他的な包含をカバーすることを意図しており、例えば、一連のステップまたはモジュールを含むプロセス、方法、システム、製品または機器は、明確に記載されたステップまたはモジュールに限定される必要はなく、明確に記載されていない他のステップまたはモジュール、またはそれらのプロセス、方法、製品または装置に固有のステップまたはモジュールを含んでもよい。本願に現れるモジュールの分割は論理的な分割に過ぎず、実際の応用では他の分割で実現することができ、例えば、複数のモジュールを別のシステムに結合したり、別のシステムに統合したり、あるいは、いくつかの特徴を無視したり、実行しなかったりすることができる。
本願は、条件付き敵対的生成ネットワークに基づいて画像を合成する方法、装置、機器および記憶媒体を提供し、特徴エンコーダネットワークに応用され得る。
上記技術的課題を解決するために、本願は主に以下の技術的解決手段を提供する。
条件付き敵対的生成アルゴリズム（Ｃｏｎｄｉｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ、ＣＧＡＭ）に基づいて新たな赤血球画像を合成し、深層学習のニーズに対応したデータ拡張を実現し、新たな赤血球画像を合成するときに、合成してマスクを生成してから、生成されたマスクをリアルな画像に変換する。
図１を参照し、以下では本願の実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法を説明し、前記方法は以下を含む。
１０１、複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得する。
ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよい。
いくつかの実施形態では、上述した前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することは、
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Ｓｉを反復的に選択することと、ここで、１≦ｉ≦ｎ、かつ、ｉは正整数であり、
選択された赤血球形状Sｉをサブマスクに配置して前記マスクを取得することとを含む。
具体的には、形状が異なり、且つ異なる位置にある赤血球を生成してインスタンスセグメンテーションマスク、すなわち前記マスクを合成すると、赤血球形状および赤血球画像における赤血球の位置を取得し、合成後に得られたマスクの１つの表現式は次のとおりである。
Figure 0007329041000001
ここで、S1、S2、…Snはいずれも赤血球の形状であり、inは１枚の赤血球画像における赤血球の位置であり、(Sn,in)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップである。
ここで、赤血球の形状、１枚の赤血球画像における赤血球総数、および１枚の赤血球画像における赤血球の位置は正規分布しており、正規分布の１つの表現はn～Norm（μn,σn）であり、μnとσnは訓練セットによって決定される。
任意選択的に、Sｉを選択するときに、確率密度関数を用いてSｉを選択し、確率密度関数によって確率の集合を算出することができ、この確率の集合は、回転、スケーリング、水平／垂直反転などを含む赤血球の外観を豊かにするなど、赤血球形状Sｉの外観特徴を向上させるために使用される。
１０２、複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成する。
ここで、前記赤血球形状データセットは、赤血球画像を合成するときに赤血球の形状データを提供するために使用される。
いくつかの実施形態では、上述した複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成することは、
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界（輪郭とも呼ばれる）を取得することと、を含む。
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得する。
Figure 0007329041000002
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表す。赤血球画像を分割するときに、赤血球領域の画素点の場合は、g(i,j)=1、背景領域の画素点の場合は、g(i,j)=0。
任意選択的に、全赤血球の分割境界を抽出して大きさを判定してもよく、分割境界が所定の閾値未満である場合には、分割境界が所定の閾値未満である赤血球を赤血球ではないと判定する。
このように、中間赤血球の内部を塗りつぶすことで、内部赤血球の二重エッジの出現を回避することができ、前記２値化画像における各赤血球の内部を塗りつぶすことで、内部赤血球の二重エッジの出現を回避することができる。
１０３、前記赤血球形状データセット中の各赤血球の分布データを収集する。
いくつかの実施形態では、分布推定アルゴリズムを用いて、それぞれ２次元離散空間の確率密度関数で、キャンバス中の各赤血球の位置を収集することもできる。
具体的には、上述した前記赤血球形状データセット中の各赤血球の分布データを収集することは、
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
前記尤度画像集合P(i)から、iの取り得る値が大きい順に事前確率を選択し、iの各値における実赤血球結合状態をシミュレーションすることと、
i の各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、を含む。
任意選択的に、確率密度関数は尤度画像集合P(i)で表され、尤度画像集合P(i)からｉ番目の赤血球の位置ｌｉを収集する式は次のとおりである。
Figure 0007329041000003
ここで、P(i)中の各画素の値は、ステップiで赤血球中心として選択される事前確率である。P(i)では最初のｎｉｎｉｔ細胞が抽出された時は統一であるが、iが大きくなるにつれ、P(i)の形態が変化し、式（２）によりiの取り得る値の小さい順に、P(i)から形態の異なる赤血球の位置ｌｉを一度抽出することで、P(i)から赤血球を抽出する全過程は、実赤血球結合状態をシミュレーションすることができる。いくつかの実施形態では、マルコフ確率過程を用いてP(i)の自然進化をシミュレーションしてもよく、１つの表現式は次のとおりである。
Figure 0007329041000004
ここで、励起関数ｚ（ｌｉ）は、採集された細胞中心ｌｉを中心に、２次元ガウス関数（σ＝σｘ＝σｙ）に従って計算される。このステップの目的は、既に赤血球が割り当てられている境界の可能性を低減することにより、赤血球の重複を防止することである。増分の量は、標準係数ａｉ （ａｉ＝１／ｉ）に依存する。任意の時点で、P(i)の和は１である。
実際には、合成マスクで赤血球の位置を特定するときに、赤細胞は常に合成マスクのキャンバス上にあるので、接触している赤細胞の色が異なるように色を与えることができ、この条件を満たすことができない場合には、座標収集処理を繰り返すことになる。接触している各赤血球の色が異なっているので、生成された合成マスクは、各赤血球を抽出する尤度を有するインスタンスセグメンテーションマスクと見なしてもよい。
１０４、前記赤血球形状データセットを複数の赤血球画像に合成する。
本願では、前記特徴エンコーダネットワークEに、赤血球画像を生成するための生成器Ｇと、２つのマルチスケール区別器（Ｄ１およびＤ２と略される）とが設けられている。
いくつかの実施形態では、上述した前記赤血球形状データセットを複数の赤血球画像に合成することは、
前記赤血球形状データセットを前記生成器Ｇに入力することと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、
前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力することと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、を含み、
ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタ、例えば１０のクラスタに生成することによって得られ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる前記複数のクラスタの特徴のランダム収集によって決定される。
いくつかの実施形態では、完全なネットワーク訓練目標は次のとおりである。
Figure 0007329041000005
ここで、ｘは前記赤血球形状データセットであり、ＬＧＡＮ（Ｇ, Ｄｋ）は敵対的損失であり、敵対的損失の１つの表現式は次のとおりである。
Figure 0007329041000006
ＬＦＭ（Ｇ;Ｄｋ）は、訓練結果を安定させ、マルチスケールでより良い視覚的結果を生成するための特徴一致損失である。特徴一致損失の１つの表現式は次のとおりである。
Figure 0007329041000007
ＬＰＲ（Ｇ（ｘ）; ｙ）は、合成画像品質の表現をさらに向上させるための知覚再構成損失である。知覚再構成損失の１つの表現式は次のとおりである。
Figure 0007329041000008
既存の技術と比較して、本願の実施例では、大量の実臨床データが不足している場合にも、既存の臨床データをシミュレーションおよび拡張することによって、リアルな臨床データを生成し、さらにシミュレーションおよび拡張した後の臨床データに基づいて深層学習を行い、それによって、異なるデータソースのフォーマット互換性の制限を破り、深層学習のニーズを満たすことができる。
上記図１に対応する実施例または実施形態で言及された技術的特徴は、本願の図２および図３に対応する実施例にも同様に適用可能であり、その後の類似点は省略される。
以上は、本願に係る条件付き敵対的生成ネットワークに基づいて画像を合成する方法を説明したが、以下は、上記条件付き敵対的生成ネットワークに基づいて画像を合成する方法の実行について説明する。
図２は、画像を合成するための装置２０の構造を示す図であり、赤血球画像を認識するために応用され得る。本願の実施例における装置２０は、上記図１に対応する実施例で実行された、条件付き敵対的生成ネットワークに基づいて画像を合成する方法のステップを実現することができる。装置２０の機能は、ハードウェア自体によって実装されてもよいし、ハードウェアが対応するソフトウェアを実行することによって実装されてもよい。ハードウェアまたはソフトウェアは、上記機能に対応する１つ以上のモジュールを含み、前記モジュールは、ソフトウェアおよび／またはハードウェアであってもよい。前記装置２０は、入出力モジュール２０１および処理モジュール２０２を含んでもよく、前記処理モジュール２０２および入出力モジュール２０１の機能実現は、図１に対応する実施例で実行される操作を参照してよく、ここでは繰り返して説明しない。前記処理モジュール２０２は、前記入出力モジュール２０１の入出力または送受信操作を制御するために使用されてもよい。
いくつかの実施形態では、前記入出力モジュール２０１は、複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得するために使用されてもよいが、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよい。
前記処理モジュール２０２は、前記入出力モジュールを介して複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成に赤血球の形状データを提供するための赤血球形状データセットを作成し、前記入出力モジュールを介して前記赤血球形状データセット中の各赤血球の分布データを収集し、前記赤血球形状データセットを複数の赤血球画像に合成するために使用されてもよい。
いくつかの実施形態では、前記処理モジュールは、具体的には、
前記赤血球形状サンプラーを呼び出して前記赤血球データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、Siとは形状が異なり、且つ異なる位置にある赤血球を指し、
選択された赤血球形状Siをサブマスクに配置して、赤血球形状および赤血球画像における赤血球の位置を取得し、取得した赤血球形状および赤血球画像における赤血球の位置を前記マスクとすることと、に使用され、
ここで、前記マスクの１つの表現式は次のとおりである。
{(s1,l1),(s2,l2),．．．,(sn,ln),background}
ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは赤血球画像の背景画素マップである。
いくつかの実施形態では、前記処理モジュールは、具体的には、
画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
前記分割閾値と画素点の階調値とを比較し、前記分割閾値に従って赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得することと、に使用され、
ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
Figure 0007329041000009
ここで、Tは分割閾値であり、f(i,j)は入力された赤血球画像を表し、g(i,j)は出力された赤血球画像を表す。
いくつかの実施形態では、前記処理モジュールは、具体的には、
分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
前記尤度画像集合P(i)から、ｉの取り得る値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションすることと、
i の各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、に使用される。
いくつかの実施形態では、前記処理モジュールは、具体的には、
前記赤血球形状データセットを前記生成器Ｇに入力することと、
前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を前記２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされたリアルな赤血球の画像であり、
前記２つのマルチスケール区別器Ｄは、前記ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
前記特徴エンコーダネットワークEは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルはエンコーダEによる複数のクラスタの特徴のランダム収集によって決定され、
前記赤血球画像の合成中に、前記入出力モジュールを介して前記生成器に前記複数のマスクを入力することと、
前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、に使用される。
図２に示す入出力モジュール２０１に対応する物理的機器は、図３に示す入出力ユニットであり、当該入出力ユニットは、取得モジュール１の機能の一部または全部を実現でき、または入出力モジュール２０１と同一または類似の機能を実現できる。
図２に示す処理モジュール２０２に対する物理的機器は、図３に示すプロセッサであり、当該プロセッサは、処理モジュール２０２の機能の一部または全部を実現でき、または処理モジュール２０２と同一または類似の機能を実現できる。
以上は、モジュール化した機能実体の観点から本願の実施例における装置２０をそれぞれ説明したが、以下は、ハードウェアの観点からコンピュータ機器を説明し、図３に示すように、前記コンピュータ機器は、プロセッサと、メモリと、トランシーバ（つまり、入出力ユニットであってもよく、図３で図示せず）と、前記メモリに記憶され、前記プロセッサで実行され得るコンピュータプログラムと、を含む。例えば、当該コンピュータプログラムは、図１に対応する実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法に対応するプログラムであってもよい。例えば、コンピュータ機器が図２に示す装置２０の機能を実現する場合、前記コンピュータプログラムを実行するときの前記プロセッサは、上記図２に対応する実施例において装置２０によって実行される、条件付き敵対的生成ネットワークに基づいて画像を合成する方法中の各ステップを実現し、または、前記コンピュータプログラムを実行するときの前記プロセッサは、上記図２に対応する実施例の装置２０における各モジュールの機能を実現する。または、例えば、当該コンピュータプログラムは、図１に対応する実施例における条件付き敵対的生成ネットワークに基づいて画像を合成する方法に対応するプログラムであってもよい。
本願はさらに、コンピュータ読み取り可能な記憶媒体を提供し、このコンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよく、揮発性のコンピュータ読み取り可能な記憶媒体であってもい。コンピュータ読み取り可能な記憶媒体にはコンピュータ命令が記憶されており、前記コンピュータ命令がコンピュータ上で実行されると、コンピュータに以下のステップ、すなわち
複数の臨床赤血球画像を取得し、前記各赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各赤血球画像に対応する複数のサブマスクを合成してマスクを生成し、複数の赤血球画像に対応する複数のマスクを取得することと、ここで、前記各赤血球画像は複数の赤血球を含み、同一の赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて、赤血球画像の合成に赤血球の形状データを提供するための赤血球形状データセットを作成するステップと、
前記赤血球形状データセット中の各赤血球の分布データを収集するステップと、
前記赤血球形状データセットを複数の赤血球画像に合成するステップと、を実行させる。
以上の実施形態の説明から、上記実施形態の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームによって実現されてもよく、またはもちろんハードウェア自体によって実現されてもよいが、多くの場合、前者の方がより好ましい実施形態であることは、当業者にとって明らかであろう。この理解に基づいて、本質的にまたはむしろ先行技術に貢献する本願の技術的解決手段は、記憶媒体（例えばＲＯＭ／ＲＡＭ）に格納されたソフトウェア製品の形態で具現化されてもよく、当該ソフトウェア製品は、端末（携帯電話、コンピュータ、サーバまたはネットワーク装置などであってよい）に本願の様々な実施例に記載された方法を実行させるための複数の命令を含んでいる。
図面と組み合わせて本願の実施例について説明したが、本願は、上記の具体的な実施形態に限定されるものではなく、上記の具体的な実施形態は、例示にすぎず、限定するものではない。本願の目的および特許請求の範囲によって保護される範囲から逸脱することなく、本願の示唆の上で、当業者によって多くの形態を作ることができ、本願の明細書および図面の内容を使用して作られた、または他の関連する技術分野に直接または間接的に適用された、任意の同等の構造または同等のプロセス変換、これらのすべてが本願の保護の範囲内に属すべきである。

Claims (15)

  1. 複数の臨床赤血球画像を取得し、前記各臨床赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各臨床赤血球画像に対応する複数のサブマスクを合成して１つのマスクを生成し、前記複数の臨床赤血球画像に対応する複数のマスクを取得することと、ここで、前記各臨床赤血球画像は複数の赤血球を含み、同一の臨床赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
    複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成することと、
    前記赤血球形状データセット中の各赤血球の分布データを収集することと、
    前記赤血球形状データセットを複数の臨床赤血球画像にラベリングすることと、を含む、条件付き敵対的生成ネットワークに基づいて画像を合成する方法であって、
    上述した複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成することは、
    画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
    エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
    前記分割閾値と前記単一画素点の階調値とを比較し、前記分割閾値に従って臨床赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
    前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
    塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得することと、
    ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
    Figure 0007329041000010
    ここで、Tは分割閾値であり、f(i,j)は入力された臨床赤血球画像を表し、g(i,j)は出力された臨床赤血球画像を表すこと、を含む、方法。
  2. 上述した前記各臨床赤血球画像に対応する複数のサブマスクを合成して１つのマスクを生成し、前記複数の臨床赤血球画像に対応する複数のマスクを取得することは、
    前記赤血球形状データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、
    選択された赤血球形状Siをサブマスクに配置して、赤血球形状および臨床赤血球画像における赤血球の位置を取得し、取得した赤血球形状および臨床赤血球画像における赤血球の位置に基づいて前記マスクを生成することと、
    ここで、前記マスクの１つの表現式は次のとおりであり、
    {(s1,l1),(s2,l2),．．．,(sn,ln),background}
    ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の臨床赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の臨床赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは臨床赤血球画像の背景画素マップであること、を含む、請求項１に記載の方法。
  3. 上述した前記赤血球形状データセット中の各赤血球の分布データを収集することは、
    分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
    確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
    各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
    前記尤度画像集合P(i)からiの値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションすることと、
    iの各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、を含む、請求項１または２に記載の方法。
  4. 上述した前記赤血球形状データセットを複数の臨床赤血球画像にラベリングすることは、
    前記赤血球形状データセットを生成器Ｇに入力することと、
    前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされた赤血球の画像であり、
    前記２つのマルチスケール区別器Ｄは、ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
    特徴エンコーダネットワークＥは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルは前記特徴エンコーダネットワークＥによる複数のクラスタの特徴のランダム収集によって決定され、
    前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力することと、
    前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、を含む、請求項３に記載の方法。
  5. 完全なネットワーク訓練目標は以下のとおりであり、
    Figure 0007329041000011
    ここで、xは前記赤血球形状データセットであり、LGAN(G,Dk)は敵対的損失であり、敵対的損失の１つの表現式は次のとおりであり、
    Figure 0007329041000012
    LFM(G,Dk)は、訓練結果を安定させ、マルチスケールで視覚的結果を補償するための特徴一致損失であり、特徴一致損失の１つの表現式は以下のとおりであり、
    Figure 0007329041000013
    LPR(G(x,E(x)),y)は知覚的再構成損失であり、知覚的再構成損失の１つの表現方法は以下のとおりである、請求項４に記載の方法。
    Figure 0007329041000014
  6. 複数の臨床赤血球画像を取得し、前記各臨床赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各臨床赤血球画像に対応する複数のサブマスクを合成して１つのマスクを生成し、前記複数の臨床赤血球画像に対応する複数のマスクを取得するための入出力モジュールと、ここで、前記各臨床赤血球画像は複数の赤血球を含み、同一の臨床赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
    前記入出力モジュールを介して複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成し、前記入出力モジュールを介して前記赤血球形状データセット中の各赤血球の分布データを収集し、前記赤血球形状データセットを複数の臨床赤血球画像にラベリングするための処理モジュールと、を含む、画像を合成するための装置であって、
    前記処理モジュールはまた、具体的には、
    画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定することと、
    エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うことと、
    前記分割閾値と前記単一画素点の階調値とを比較し、前記分割閾値に従って臨床赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得することと、
    前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行することと、
    塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得することと、
    ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
    Figure 0007329041000015
    ここで、Tは分割閾値であり、f(i,j)は入力された臨床赤血球画像を表し、g(i,j)は出力された臨床赤血球画像を表すこと、に使用される、装置。
  7. 前記処理モジュールは具体的には、
    前記赤血球形状データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、
    選択された赤血球形状Siをサブマスクに配置して、赤血球形状および臨床赤血球画像における赤血球の位置を取得し、取得した赤血球形状および臨床赤血球画像における赤血球の位置に基づいて前記マスクを生成することと、
    ここで、前記マスクの１つの表現式は次のとおりであり、
    {(s1,l1),(s2,l2),．．．,(sn,ln),background}
    ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の臨床赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の臨床赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは臨床赤血球画像の背景画素マップであること、に使用される、請求項６に記載の画像を合成するための装置。
  8. 前記処理モジュールはまた、具体的には、
    分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定することと、
    確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算することと、
    各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成することと、
    前記尤度画像集合P(i)からiの値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションすることと、
    iの各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出することと、に使用される、請求項６または７に記載の画像を合成するための装置。
  9. 前記処理モジュールはまた、具体的には、
    前記赤血球形状データセットを生成器Ｇに入力することと、
    前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を２つのマルチスケール区別器Ｄに入力することと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされた赤血球の画像であり、
    前記２つのマルチスケール区別器Ｄは、ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別することと、
    前記２つのマルチスケール区別器Ｄは、訓練結果を出力することと、
    特徴エンコーダネットワークＥは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得ることと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルは前記特徴エンコーダネットワークＥによる複数のクラスタの特徴のランダム収集によって決定され、
    前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力することと、
    前記生成器は、前記複数のマスクを前記赤血球画像に合成することと、に使用される、請求項８に記載の画像を合成するための装置。
  10. 前記処理モジュールはまた、具体的には、以下のように使用され、
    完全なネットワーク訓練目標は以下のとおりであり、
    Figure 0007329041000016
    ここで、xは前記赤血球形状データセットであり、LGAN(G,Dk)は敵対的損失であり、敵対的損失の１つの表現式は次のとおりであり、
    Figure 0007329041000017
    LFM(G,Dk)は、訓練結果を安定させ、マルチスケールで視覚的結果を補償するための特徴一致損失であり、特徴一致損失の１つの表現式は以下のとおりであり、
    Figure 0007329041000018
    LPR(G(x,E(x)),y)は知覚的再構成損失であり、知覚的再構成損失の１つの表現方法は以下のとおりである、請求項９に記載の画像を合成するための装置。
    Figure 0007329041000019
  11. メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行され得るコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行するときに、以下のステップ、すなわち
    複数の臨床赤血球画像を取得し、前記各臨床赤血球画像中の形状が異なり、且つ異なる位置にある赤血球を複数のサブマスクに分割し、前記各臨床赤血球画像に対応する複数のサブマスクを合成して１つのマスクを生成し、前記複数の臨床赤血球画像に対応する複数のマスクを取得するステップと、ここで、前記各臨床赤血球画像は複数の赤血球を含み、同一の臨床赤血球画像上の赤血球の形状および位置は同一であっても異なっていてもよく、
    複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成するステップと、
    前記赤血球形状データセット中の各赤血球の分布データを収集するステップと、
    前記赤血球形状データセットを複数の臨床赤血球画像にラベリングするステップと、を実行させるコンピュータ機器であって、
    上述した複数の前記マスクから複数の赤血球形状データを収集して訓練データセットを取得し、前記訓練データセット中の各赤血球の分割境界を計算し、各赤血球の分割境界に基づいて赤血球形状データセットを作成するときに、以下のステップ、すなわち
    画像分割方法を用いて背景画像中の不連続な背景領域を認識し、不連続な背景領域をラベリングして分割閾値を決定するステップと、
    エッジ検出方法を用いて、各赤血球画像領域における赤血球の細胞膜に対して、各赤血球画像領域中の単一画素点の８方向連結エッジまでのエッジ検出を行うステップと、
    前記分割閾値と前記単一画素点の階調値とを比較し、前記分割閾値に従って臨床赤血球画像を画素分割して複数の赤血球画像領域を取得し、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張して、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像を取得するステップと、
    前記２値化画像に対して、前記２値化画像中の各赤血球の内部を塗りつぶす塗りつぶし操作を実行するステップと、
    塗りつぶされた前記２値化画像に対して、キャニーエッジ検出を行い、各赤血球の分割境界を取得するステップと、
    ここで、各赤血球画像領域中の単一画素点の８方向連結エッジの階調を伸張するときに、
    以下の変換式を用いて、赤血球画像背景の階調値と単一画素点の８方向連結エッジの階調値を分割し、２値化画像ｇ（ｉ,ｊ）を取得し、
    Figure 0007329041000020
    ここで、Tは分割閾値であり、f(i,j)は入力された臨床赤血球画像を表し、g(i,j)は出力された臨床赤血球画像を表すこと、を含む、機器。
  12. 前記プロセッサは、前記コンピュータプログラムを実行することにより、上述した前記各臨床赤血球画像に対応する複数のサブマスクを合成して１つのマスクを生成し、前記複数の臨床赤血球画像に対応する複数のマスクを取得することを実現するときに、以下のステップ、すなわち
    前記赤血球形状データセットから赤血球形状Siを反復的に選択することと、ここで、1≦i≦n、iは正整数であり、
    選択された赤血球形状Siをサブマスクに配置して、赤血球形状および臨床赤血球画像における赤血球の位置を取得し、取得した赤血球形状および臨床赤血球画像における赤血球の位置に基づいて前記マスクを生成するステップと、
    ここで、前記マスクの１つの表現式は次のとおりであり、
    {(s1,l1),(s2,l2),．．．,(sn,ln),background}
    ここで、s1、s2、…snはいずれも赤血球の形状であり、lnは１枚の臨床赤血球画像における赤血球の位置であり、(sn,ln)は１つのサブマスクであり、nは１枚の臨床赤血球画像における赤血球の総数であり、nは正整数であり、backgroundは臨床赤血球画像の背景画素マップであること、を含む、請求項１１に記載のコンピュータ機器。
  13. 前記プロセッサは、前記コンピュータプログラムを実行することにより、上述した前記赤血球形状データセット中の各赤血球の分布データを収集することを実現するときに、以下のステップ、すなわち
    分布推定アルゴリズムを用いて、前記赤血球形状データセット中の各赤血球の位置および各赤血球中の各画素点の位置を特定するステップと、
    確率密度関数、各赤血球の位置および各画素点の位置に基づいて、各画素点が赤血球中心として選択される事前確率をそれぞれ計算するステップと、
    各画素点が赤血球中心として選択される事前確率と各赤血球を各赤血球に対応する尤度画像集合P(i)として生成するステップと、
    前記尤度画像集合P(i)からiの値が大きい順に事前確率を選択し、ｉの各値における実赤血球結合状態をシミュレーションするステップと、
    iの各値における実赤血球結合状態をシミュレーションする時の、各赤血球の位置および各画素点の位置に基づいて、前記赤血球形状データセット中の各赤血球の分布データを算出するステップと、を含む、請求項１１または１２に記載のコンピュータ機器。
  14. 上述した前記赤血球形状データセットを複数の臨床赤血球画像にラベリングするときに、以下のステップ、すなわち
    前記赤血球形状データセットを生成器Ｇに入力するステップと、
    前記生成器Ｇは、前記赤血球形状データセット中の分割マスクを複数の赤血球画像に変換して、得られた複数の赤血球画像を２つのマルチスケール区別器Ｄに入力するステップと、ここで、変換して得られた前記複数の赤血球画像は、すべてシミュレーションされた赤血球の画像であり、
    前記２つのマルチスケール区別器Ｄは、ニューラルネットワークモデルを訓練するために、所定の時間内に実赤血球画像と合成した赤血球画像を少なくとも一回区別するステップと、前記２つのマルチスケール区別器Ｄは、訓練結果を出力するステップと、
    特徴エンコーダネットワークＥは、前記訓練結果と前記赤血球形状データセットｘを組み合わせて、前記赤血球画像の合成スタイルを制御するための組み合わせ結果を得るステップと、ここで、前記組み合わせ結果は、Ｋ平均クラスタリングアルゴリズムを用いて、前記訓練結果と前記赤血球形状データセットを複数のクラスタに生成することによって得ることができ、合成して得られた前記赤血球画像のスタイルは前記特徴エンコーダネットワークＥによる複数のクラスタの特徴のランダム収集によって決定され、
    前記赤血球画像の合成中に、前記生成器に前記複数のマスクを入力するステップと、
    前記生成器は、前記複数のマスクを前記赤血球画像に合成するステップと、を含む、請求項１３に記載のコンピュータ機器。
  15. 前記プロセッサは、前記コンピュータプログラムを実行することにより、前記完全なネットワーク訓練目標を実現するときに、以下のステップを含み、
    Figure 0007329041000021
    ここで、xは前記赤血球形状データセットであり、LGAN(G,Dk)は敵対的損失であり、敵対的損失の１つの表現式は次のとおりであり、
    Figure 0007329041000022
    LFM(G,Dk)は、訓練結果を安定させ、マルチスケールで視覚的結果を補償するための特徴一致損失であり、特徴一致損失の１つの表現式は以下のとおりであり、
    Figure 0007329041000023
    LPR(G(x,E(x)),y)は知覚的再構成損失であり、知覚的再構成損失の１つの表現式は以下のとおりである、請求項１４に記載のコンピュータ機器。
    Figure 0007329041000024
JP2021506747A 2019-08-12 2019-11-13 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器 Active JP7329041B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910741020.7 2019-08-12
CN201910741020.7A CN110648309B (zh) 2019-08-12 2019-08-12 基于条件生成对抗网络合成红细胞图像的方法及相关设备
PCT/CN2019/117988 WO2021027152A1 (zh) 2019-08-12 2019-11-13 基于条件生成对抗网络合成图像的方法及相关设备

Publications (3)

Publication Number Publication Date
JP2022500728A JP2022500728A (ja) 2022-01-04
JPWO2021027152A5 JPWO2021027152A5 (ja) 2022-07-15
JP7329041B2 true JP7329041B2 (ja) 2023-08-17

Family

ID=69009447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506747A Active JP7329041B2 (ja) 2019-08-12 2019-11-13 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器

Country Status (5)

Country Link
US (1) US11636695B2 (ja)
JP (1) JP7329041B2 (ja)
CN (1) CN110648309B (ja)
SG (1) SG11202100136SA (ja)
WO (1) WO2021027152A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833238B (zh) * 2020-06-01 2023-07-25 北京百度网讯科技有限公司 图像的翻译方法和装置、图像翻译模型的训练方法和装置
CN112102323B (zh) * 2020-09-17 2023-07-07 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
CN112435259B (zh) * 2021-01-27 2021-04-02 核工业四一六医院 一种基于单样本学习的细胞分布模型构建及细胞计数方法
CN114999447B (zh) * 2022-07-20 2022-10-25 南京硅基智能科技有限公司 一种基于对抗生成网络的语音合成模型及语音合成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519985A (ja) 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
WO2019060141A1 (en) 2017-09-19 2019-03-28 Siemens Healthcare Diagnostics Inc. VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11096602B2 (en) 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
CN107492084B (zh) * 2017-07-06 2021-06-25 哈尔滨理工大学 基于随机性的典型成团细胞核图像合成方法
CN107564018A (zh) * 2017-08-30 2018-01-09 北京航空航天大学 一种利用改进迭代算法提取目标图像的方法
US11621058B2 (en) * 2018-02-08 2023-04-04 Ohio State Innovation Foundation Synthetic IHC-stained digital sides generated using artificial neural networks
CN108388925A (zh) 2018-03-06 2018-08-10 天津工业大学 基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法
CN109493330A (zh) 2018-11-06 2019-03-19 电子科技大学 一种基于多任务学习的细胞核实例分割方法
CN109726644A (zh) * 2018-12-14 2019-05-07 重庆邮电大学 一种基于生成对抗网络的细胞核分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519985A (ja) 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
WO2019060141A1 (en) 2017-09-19 2019-03-28 Siemens Healthcare Diagnostics Inc. VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAILO, Oleksandr、他２名，Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks，Computer Vision and Pattern Recognition，ARXIV.ORG, CORNELL UNIVERSITY LIBRARY［オンライン］，2019年03月08日，p.1-9，https://doi.org/10.48550/arXiv.1901.06219

Also Published As

Publication number Publication date
CN110648309B (zh) 2024-05-28
CN110648309A (zh) 2020-01-03
US20210312243A1 (en) 2021-10-07
WO2021027152A1 (zh) 2021-02-18
SG11202100136SA (en) 2021-03-30
JP2022500728A (ja) 2022-01-04
US11636695B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
JP7329041B2 (ja) 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器
US11861829B2 (en) Deep learning based medical image detection method and related device
US10410353B2 (en) Multi-label semantic boundary detection system
RU2530220C1 (ru) Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
EP3252671A1 (en) Method of training a deep neural network
CN109754403A (zh) 一种ct图像内的肿瘤自动分割方法及***
CN107944443A (zh) 一种基于端到端深度学习进行对象一致性检测方法
CN110197716B (zh) 医学影像的处理方法、装置及计算机可读存储介质
CN106778807A (zh) 基于公共字典对和类依赖字典对的细粒度图像分类方法
CN104281856B (zh) 用于脑部医学图像分类的图像预处理方法和***
CN109034218B (zh) 模型训练方法、装置、设备及存储介质
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
CN112150569A (zh) 将cbct图像生成为ct图像的方法、装置及终端设备
Hynes et al. Human part segmentation in depth images with annotated part positions
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN113743389A (zh) 一种面部表情识别的方法、装置和电子设备
Syam et al. Efficient similarity measure via Genetic algorithm for content based medical image retrieval with extensive features
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
Patil et al. Brain Tumor Levels Detection in Three Dimensional MRI using Machine Learning and MapReduce.
CN113393445B (zh) 乳腺癌影像确定方法及***
EP4242962A1 (en) Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method
CN110706209B (zh) 一种网格网络的大脑磁共振图像肿瘤定位方法
DE102016013630A1 (de) Einbettungsraum für Bilder mit mehreren Textetiketten
CN117058405B (zh) 一种基于图像的情绪识别方法、***、存储介质及终端
CN113222100A (zh) 神经网络模型的训练方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220620

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7329041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150