JP7381003B2 - 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム - Google Patents

疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム Download PDF

Info

Publication number
JP7381003B2
JP7381003B2 JP2019086363A JP2019086363A JP7381003B2 JP 7381003 B2 JP7381003 B2 JP 7381003B2 JP 2019086363 A JP2019086363 A JP 2019086363A JP 2019086363 A JP2019086363 A JP 2019086363A JP 7381003 B2 JP7381003 B2 JP 7381003B2
Authority
JP
Japan
Prior art keywords
cell
disease
analysis
type
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019086363A
Other languages
English (en)
Other versions
JP2020180954A (ja
Inventor
顯通 大坂
陽子 田部
考伸 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
Juntendo University
Original Assignee
Sysmex Corp
Juntendo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sysmex Corp, Juntendo University filed Critical Sysmex Corp
Priority to JP2019086363A priority Critical patent/JP7381003B2/ja
Priority to EP20171050.6A priority patent/EP3731140A1/en
Priority to US16/857,495 priority patent/US11978198B2/en
Priority to CN202010330384.9A priority patent/CN111861975A/zh
Publication of JP2020180954A publication Critical patent/JP2020180954A/ja
Priority to JP2023183746A priority patent/JP2024010110A/ja
Application granted granted Critical
Publication of JP7381003B2 publication Critical patent/JP7381003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/1023Microstructural devices for non-optical measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/011Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells with lysing, e.g. of erythrocytes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/018Platelets
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1029Particle size
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、疾患解析を支援する方法、装置、及びコンピュータプログラム、並びに疾患解析を支援するためのコンピュータアルゴリズムを訓練する方法、装置、及びプログラムに関する。
特許文献1には、組織画像から抽出した、核領域の数、面積、形状、円形度、色、色度、腔隙領域の数、面積、形状、円形度、間質領域の数、面積、形状、円形度、色、色度、管腔領域の数、面積、形状、円形度、画像のテクスチャ、ウエーブレット変換値を用いて算出される特徴量、上皮細胞が筋上皮細胞を伴う2層構造を示す程度、線維化の程度、乳頭状パターンの有無、ふるい状パターンの有無、壊死物質の有無、充実性パターンの有無、画像の色或いは色度を用いて算出される特徴量をニューラルネットワークに入力し、「硬癌パターン」及び「管内性線維腫瘍パターン」の病理組織の鑑別を行う方法が記載されている。
特開平10-197522号
しかし、特許文献1には、組織の画像に基づいて疾患を識別していることは開示されているが、個々の細胞画像に基づいた疾患の識別については開示されていない。
本発明は、個々の細胞画像から精度良く疾患を識別することを一課題とする。
本発明は、疾患解析を支援するための方法に関する。前記方法は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する。これらの構成によれば、個々の細胞画像に基づいて、疾患を識別することができる。
好ましくは、前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞の種類を識別する。より好ましくは、前記細胞形態分類に関する情報は、細胞の種類毎の細胞数に関する情報(64)である。これらの構成によれば、個々の細胞の種類に基づいて、疾患を識別することができる。
好ましくは、前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞における異常所見の種類を識別する。より好ましくは、前記細胞形態分類に関する情報は、異常所見の種類毎の細胞数に関する情報(63)である。これらの構成によれば、個々の細胞における異常所見の種類に基づいて、疾患を識別することができる。
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞の種類毎に異常所見の種類を識別する。これらの構成によれば、個々の細胞画像に基づいて、より精度よく、疾患を識別することができる。
前記各解析対象の細胞の形態を分類する工程では、各解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク構造を有する深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって、各解析対象の細胞の形態を分類する。これらの構成によれば、より精度よく、疾患を識別することができる。
前記コンピュータアルゴリズムが、機械学習アルゴリズムであり、前記被検体が保有する疾患の解析は、前記細胞形態分類に関する情報を特徴量として機械学習アルゴリズム(67)に入力することにより行われる。これらの構成によれば、より精度よく、疾患を識別することができる。
機械学習アルゴリズム(67)は、好ましくは、木、回帰、ニューラルネットワーク、ベイズ、クラスタリング、又はアンサンブル学習から選択される。より好ましくは、前記機械学習アルゴリズムが、勾配ブースティング木である。これらの機械学習アルゴリズムを使用することにより、より正確に疾患を識別することができる。
前記細胞形態分類に関する情報を取得する工程では、各解析対象の細胞が複数の細胞の形態分類のそれぞれに属する確率を求め、前記細胞の形態分類の種類毎の前記確率の総和を算出し、前記総和を前記細胞形態分類に関する情報として取得する。これらの構成によれば、より精度の高い疾患の識別が可能である。
好ましくは、前記試料は、血液試料である。血液中の細胞は、様々な疾患の病態を反映するため、より精度の高い疾患の識別が可能である。
好ましくは、前記疾患は、造血系疾患である。本発明によれば、造血系疾患を精度よく識別することができる。
前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群である。本発明によれば、造血系疾患を精度よく識別することができる。
好ましくは、前記異常所見は、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、N/C比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種である。これらの細胞においてこれらの異常所見を評価することにより、より精度の高い疾患の識別が可能である。
好ましくは、前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核***及び核小体異常から選択される少なくとも一種を含む。前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Chediak-Higashi顆粒様顆粒から選択される少なくとも一種を含む。前記細胞の大きさ異常が、巨大血小板を含む。これらの異常所見を評価することにより、より精度の高い疾患の識別が可能である。
好ましくは、前記細胞の種類は、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む。これらの細胞の種類を評価することにより、より精度の高い疾患の識別が可能である。
より好ましくは、前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む。これらの細胞においてこれらの細胞の種類を評価することにより、より精度の高い疾患の識別が可能である。
本発明は、疾患解析を支援するための装置(200)に関する。装置(200)は、処理部(20)を備え、処理部(20)は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する。
本発明は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、前記細胞形態分類に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析するステップと、をコンピュータに実行させる、疾患解析を支援するためのプログラムに関する。
疾患解析を支援するための装置又はプログラムによれば、精度の高い疾患の識別が可能である。
本発明は、疾患解析を支援するためのコンピュータアルゴリズムの訓練方法に関する。前記訓練方法は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、取得した前記細胞形態分類に関する情報を第1の訓練データとし、前記被検体の疾患情報を第2の訓練データとして、前記コンピュータアルゴリズムに入力することを含む。
本発明は、疾患解析を支援するためのコンピュータアルゴリズムの訓練装置(100)に関する。訓練装置(100)は、処理部(10)を備え、処理部(10)は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得し、取得した前記細胞形態分類に関する情報を第1の訓練データとし、前記被検体の疾患情報(55)を第2の訓練データとして、前記コンピュータアルゴリズムに入力する。
本発明は、疾患解析を支援するためのコンピュータアルゴリズムの訓練プログラムに関する。被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得するステップと、前記細胞形態分類に関する情報を第1の訓練データとし、前記被検体の疾患情報(55)を第2の訓練データとして、コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる。
訓練方法、訓練装置(100)又は訓練プログラムによれば、精度の高い疾患の識別が可能である。
本発明によれば、個々の細胞画像から精度良く疾患を識別することができる。
識別器を用いた支援方法の概要を示す図である。 深層学習用訓練データの生成手順と、第1の深層学習アルゴリズム、第2の深層学習アルゴリズム及び機械学習アルゴリズムの訓練手順の例を示す模式図である。 ラベル値の例を示す。 機械学習用訓練データの例を示す。 解析データの生成手順と、コンピュータアルゴリズムを用いた疾患解析の手順の例を示す模式図である。 疾患解析システム1の構成例の概略を示す図である。 ベンダ側装置100のハードウェア構成の例を示すブロック図である。 ユーザ側装置200のハードウェア構成の例を示すブロック図である。 訓練装置100Aの機能の例を説明するためのブロック図である。 深層学習処理の流れの例を示すフローチャートである。 ニューラルネットワークを説明するための模式図である。 機械学習装置100Aの機能の例を説明するためのブロック図である。 第1情報を用いた機械学習処理の流れの例を示すフローチャートである。 第1情報と第2情報を用いた機械学習処理の流れの例を示すフローチャートである。 疾患解析装置200Aの機能の例を説明するためのブロック図である。 第1情報を用いた疾患解析処理の流れの例を示すフローチャートである。 第1情報と第2情報を用いた疾患解析処理の流れの例を示すフローチャートである。 疾患解析システム2の構成例の概略を示す図である。 統合型の疾患解析装置200Bの機能の例を説明するためのブロック図である。 疾患解析システム3の構成例の概略を示す図である。 統合型の画像解析装置100Bの機能の例を説明するためのブロック図である。 実施例で使用した識別器の構造を示す図である。 深層学習アルゴリズムの訓練データとして使用した細胞の数と、訓練された深層学習アルゴリズムの性能を評価するためのバリデーションに用いた細胞の数を示す表である。 訓練された第2の深層学習アルゴリズムの性能を評価した結果を示す表である。 訓練された第1の深層学習アルゴリズムの性能を評価した結果を示す表である。 疾患解析に貢献する異常所見のヒートマップである。 疾患解析結果のROC曲線を示す図である。
以下、発明を実施するための形態を、添付の図面を参照して詳細に説明する。なお、以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よって、同じ又は類似の構成要素に関する説明を省略する。
被検体が保有する疾患解析を支援する方法(以下、単に「支援方法」とする場合がある)について説明する。支援方法は、各解析対象の細胞の形態を分類し、その分類結果に基づき、前記被検体が保有する疾患を解析することを含む。被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の形態を分類し、その分類結果に基づいて、前記試料に対応する細胞形態分類に関する情報を取得する。支援方法は、細胞形態分類に関する情報として異常所見の種類に関する情報(以下、「第1情報」と呼ぶことがある)に基づき、前記被検体が保有する疾患を解析することを含む。第1情報は、試料に含まれる複数の解析対象の細胞のそれぞれから検出された異常所見の種類に基づいて取得された、前記試料に対応する前記異常所見の種類に関する情報である。異常所見は、解析対象の細胞を撮像した画像から識別される。また、支援方法は、細胞形態分類に関する情報として細胞の種類に関する情報(以下、「第2情報」と呼ぶことがある)に基づき、前記被検体が保有する疾患を解析することを含む。第2情報は、試料に含まれる複数の解析対象の細胞の種類に基づいて取得された、前記試料に対応する前記細胞の種類に関する情報である。細胞の種類は、解析対象の細胞を撮像した画像から識別される。
被検体は、疾患解析の対象となる動物である限り制限されない。動物としては、ヒト、イヌ、ネコ、ウサギ、サル等を挙げることができる。好ましくは、ヒトである。
疾患は、上記動物が罹患する疾患で限り制限されない。例えば、疾患は、造血器系以外の組織の腫瘍、造血器系疾患、代謝性疾患、腎疾患、感染症、アレルギー性疾患、自己免疫疾患、外傷等を含み得る。
造血器系以外の組織の腫瘍は、良性上皮性腫瘍、良性非上皮性腫瘍、悪性上皮性腫瘍、悪性非上皮性腫瘍を含み得る。造血器系以外の組織の腫瘍として、好ましくは悪性上皮性腫瘍、悪性非上皮性腫瘍を挙げることができる。
造血器系疾患として、腫瘍、貧血、多血症、血小板異常、骨髄線維症等を挙げることができる。造血系腫瘍として、好ましくは、骨髄異型性症候群、白血病(急性骨髄芽球性白血病、急性骨髄芽球性白血病(好中球分化を伴う)、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等)、悪性リンパ腫(ホジキンリンパ腫及び非ホジキンリンパ腫等)、多発性骨髄腫、肉芽腫等を挙げることができる。造血系の悪性腫瘍として、好ましくは骨髄異型性症候群、白血病、及び多発性骨髄腫であり、より好ましくは骨髄異形成症候群である。
貧血として、再生不良性貧血、鉄欠乏性貧血、巨赤芽球性貧血(ビタミンB12欠乏症、葉酸欠乏症等を含む)、出血性貧血、腎性貧血、溶血性貧血、サラセミア、鉄芽球性貧血、無トランスフェリン血症等を挙げることができる。貧血として、好ましくは再生不良性貧血、悪性貧血、鉄欠乏性貧血、及び鉄芽球性貧血であり、より好ましくは再生不良性貧血である。
多血症は、真性多血症、二次性多血症を含み得る。多血症として、好ましくは真性多血症である。
血小板異常は、血小板減少症、血小板増加症、巨核球異常を含み得る。血小板減少症は、播種性血管内凝固症候群、特発性血小板減少性紫斑病、MYH9異常症、ベルナール・スーリエ症候群等を含み得る。血小板増加症は、本態性血小板血症を含み得る。巨核球異常は、小型巨核球、多核分離巨核球、血小板形成不全等を含み得る。
骨髄線維症は、原発性骨髄線維症、及び二次性骨髄線維症を含み得る。
代謝性疾患は、糖質代謝異常、脂質代謝異常、電解質異常、金属代謝異常等を含み得る。糖代謝異常は、ムコ多糖症、糖尿病、糖原病を含み得る。糖代謝異常として、好ましくはムコ多糖症、及び糖尿病である。脂質代謝異常は、ゴーシェ病、ニーマン・ピック病、高脂血症、及び動脈硬化性疾患を含み得る。動脈硬化性疾患には、動脈硬化症、粥状硬化症、血栓症、塞栓症等を含み得る。電解質異常には、高カリウム血症、低カリウム血症、高ナトリウム血症、低ナトリウム血症等を含み得る。金属代謝異常には、鉄代謝異常、銅代謝異常、カルシウム代謝異常、無機リン代謝異常を含み得る。
腎障害には、ネフローゼ症候群、腎機能低下、急性腎不全、慢性腎疾患、腎不全等を含み得る。
感染症は、細菌感染症、ウイルス感染症、リケッチア感染症、クラミジア感染症、真菌感染症、原虫感染症、寄生虫感染症を含み得る。
細菌感染症の原因菌は、特に制限されない。原因菌として、例えば大腸菌群、ブドウ球菌、連鎖球菌、ヘモフィルス属菌、ナイセリア属菌、モラキセラ属菌、リステリア属菌、ジフテリア菌、クトストリジウム菌等、ヘリコバクター菌、結核菌群等を挙げることができる。
ウイルス感染症の原因ウイルスは制限されない。原因ウイルスとして、インフルエンザウイルス、麻疹ウイルス、風疹ウイルス、水痘ウイルス、デング熱ウイルス、サイトメガロウイルス、EBウイルス、エンテロウイルス、ヒト免疫不全ウイルス、HTLV-1(human T-lymphotropic virus type-I)、狂犬病ウイルス等を挙げることができる。
真菌感染症の原因真菌は特に制限されない。原因真菌は、酵母様真菌、糸状菌等を含み得る。酵母様真菌は、クリプトコッカス属菌、カンジダ属菌等を含み得る。糸状菌は、アスペルギルス属菌等を含み得る。
原虫感染症の原因虫は、特に制限されない。原因虫は、マラリア、カラアザール等を含み得る。
寄生虫感染症の原因虫は、回虫、線虫、鉤虫等を含み得る。
感染症として、好ましくは細菌感染症、ウイルス感染症、原虫感染症、寄生虫感染症を挙げることができ、より好ましくは細菌感染症を挙げることができる。また、感染症の病態として、肺炎、敗血症、髄膜炎、***症を含み得る。
アレルギー性疾患は、I型、II型、III型、IV型、又はV型に属するアレルギー疾患を含み得る。I型に属するアレルギー性疾患は、花粉症、アナフィラキシーショック、アレルギー性鼻炎、結膜炎、気管支喘息、蕁麻疹、アトピー性皮膚炎等を含み得る。II型に属するアレルギー性疾患は、免疫不適合輸血、自己免疫性溶血性貧血、自己免疫性血小板減少症、自己免疫性顆粒球減少症、橋本病、グッドバスチャー症候群等を含み得る。III型に属するアレルギー性疾患は、免疫複合体腎炎、アルサス反応、血清病等を含み得る。IV型に属するアレルギー疾患は、結核、接触性皮膚炎等を含み得る。V型に属するアレルギー疾患は、バセドウ病等を含み得る。アレルギー性疾患として、好ましくはI型、II型、III型、及びIV型であり、より好ましくは、I型、II型、及びIII型であり、さらに好ましくはI型である。II型、III型、及びV型に属するアレルギー疾患は、一部後述する自己免疫疾患と重複する。
自己免疫疾患は、全身性エリテマトーデス、関節リウマチ、多発性硬化症、シェーグレン症候群、強皮症、皮膚筋炎、原発性胆汁性肝硬変、原発性硬化性胆管炎、潰瘍性大腸炎、クローン病、乾癬、尋常性白斑、水疱性類天疱瘡、円形脱毛症、突発性拡張型心筋症、1型糖尿病、バセドウ病、橋本病、重症筋無力症、IgA腎症、膜性腎症、巨赤芽球性貧血等を含み得る。自己免疫疾患として、好ましくは、全身性エリテマトーデス、関節リウマチ、多発性硬化症、シェーグレン症候群、強皮症、及び皮膚筋炎である。また、自己免疫疾患として、好ましくは抗核抗体が検出される自己免疫疾患である。
外傷には、骨折、熱傷等を含み得る。
試料は、被検体から採取できるものである限り制限されない。試料として好ましくは、血液、骨髄、尿、及び体液である。血液として、末梢血、静脈血、動脈血等を挙げることができる。血液は、末梢血であることが好ましい。血液は、エチレンジアミン四酢酸塩ナトリウム塩又はカリウム塩)、ヘパリンナトリウム等の抗凝固剤を使用して採血された末梢血を挙げることができる。体液は、血液及び尿以外である。このような体液として、腹水、胸水、髄液等を挙げることができる。
試料は、解析する疾患に応じて選択してもよい。血液中の細胞は、特に、上述した疾患において、後述する細胞の種類の数的な分布及び/又は異常所見の種類に正常とは異なる特徴を有することが多い。したがって、様々な疾患について、血液試料を用いて解析を行うことが可能である。また、骨髄は、特に造血器系疾患の解析が可能である。腹水、胸水、髄液等に含まれる細胞は、特に造血器系以外の組織の腫瘍、造血器系疾患、感染症等の診断に有効である。尿は、特に造血器系以外の組織の腫瘍、感染症等の解析が可能である。
解析対象の細胞は、試料に含まれる限り制限されない。解析対象の細胞は、疾患を解析するために使用される細胞を意図する。解析対象の細胞は、複数の細胞を含み得る。ここで複数とは、1種類の細胞の数が複数である場合、細胞種が複数である場合を含み得る。試料には、正常の場合、組織学的な顕微鏡観察や細胞学的な顕微鏡観察により形態学的に分類される複数の細胞の種類が含まれ得る。細胞の形態学的な分類(「細胞形態分類」ともいう)は、細胞の種類の分類と細胞の異常所見の種類の分類を含む。好ましくは、解析対象の細胞は、所定の細胞系統に属する細胞群である。所定の細胞系統とは、ある一種の組織幹細胞から分化した同じ系統に属する細胞群である。所定の細胞系統として好ましくは、造血系であり、より好ましくは血液中の細胞(「血中細胞」ともいう)である。
造血系細胞は、従来法では、明視野用の染色を施した標本を顕微鏡の明視野でヒトが観察することにより、形態学的に分類される。前記染色は、ライト染色、ギムザ染色、ライトギムザ染色及びメイギムザ染色から選択されることが好ましい。より好ましくはメイギムザ染色である。標本は、所定の細胞群に属する各細胞の形態を個々に観察できる限り制限されない。例えば、塗抹標本、及び捺印標本等を挙げることができる。好ましくは、末梢血又は骨髄を試料とした塗抹標本であり、より好ましくは、末梢血の塗抹標本である。
形態学的な分類では、血中細胞は、分葉核好中球及び桿状核好中球を含む好中球、後骨髄球、骨髄球、前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好塩基球、赤芽球(有核赤血球であり、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性赤芽球、前巨赤芽球、好塩基性巨赤芽球、多染性巨赤芽球、及び正染性巨赤芽球を含む)、血小板、血小板凝集塊、及び巨核球(有核巨核球であり、ミクロメガカリオサイトを含む)等の細胞の種類を含む。
また、前記所定の細胞群には、正常細胞の他、形態学的な異常所見を呈する異常細胞が含まれていてもよい。異常は、形態学的に分類される細胞の特徴として現れる。異常細胞の例は、所定の疾患に罹患した際に出現する細胞であり、例えば腫瘍細胞等である。造血系の場合、所定の疾患は、骨髄異型性症候群、白血病(急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病(好中球分化を伴う)、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等を含む、悪性リンパ腫(ホジキンリンパ腫及び非ホジキンリンパ腫等)、及び多発性骨髄腫よりなる群から選択される疾患である。また、造血系の場合、異常所見は、核形態異常、空胞の存在、顆粒形態異常、顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少なくとも一種の形態学的特徴を有する細胞である。
核形態異常には、核が小さくなるもの、核が大きくなるもの、核が過分葉になるもの、正常であれば分葉するべき核が分葉していないもの(偽ペルゲルの核異常等を含む)、空胞があるもの、核小体が肥大しているもの、核に切れ込みがあるもの、及び本来であれば1細胞に1つの核を有するべきところ1細胞に2核異常が存在するもの等を挙げることができる。
細胞全体の形態の異常として、細胞質に空胞を有するもの(空胞変性とも呼ぶ)、巨大血小板、アズール顆粒、好中性顆粒、好酸性顆粒、好塩基性顆粒等の顆粒に形態的な異常を有するもの、前記顆粒の分布の異常(過剰、又は減少若しくは消失)を有するもの、異常顆粒(例えば、中毒性顆粒等)を有するもの、細胞の大きさ異常(正常よりも大きい、又は小さい)、封入体(デーレー小体、及びアウエル小体等)を有するもの、及び裸核のもの等を挙げることができる。
好ましくは、前記異常所見は、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、N/C比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種よりなる群から選択される少なくとも一種である。
好ましくは、前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核***及び核小体異常から選択される少なくとも一種を含む。前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Chediak-Higashi顆粒様顆粒から選択される少なくとも一種を含む。好酸球及び好塩基球における顆粒異常には、異常顆粒として細胞内での顆粒の分布が偏る等の現象が含まれる。前記細胞の大きさ異常が、巨大血小板を含む。
好ましくは、前記細胞の種類は、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む。
より好ましくは、前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む。
より好ましくは、前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群であり、前記細胞の種類が、好中球であるとき、前記異常所見が、顆粒異常及び過分葉から選択される少なくとも一種であるか、前記細胞の種類が、好酸球であるとき、前記異常所見が、異常顆粒である。また、細胞の異常所見として、巨大血小板が含まれる。これらの所見を評価することにより、再生不良性貧血と骨髄異形成症候群を識別することができる。
<支援方法の概要>
支援方法において、異常所見を識別すること、及び/又は細胞の種類を識別することは、画像から異常所見を識別すること、及び/又は細胞の種類を識別できる限り制限されない。識別は、検査者が行ってもよく、以下に述べる識別器を用いて行ってもよい。
図1を用いて、識別器を用いた支援方法の概要を説明する。支援方法において使用される識別器は、コンピュータアルゴリズムを含む。好ましくは、コンピュータアルゴリズムは、第1のコンピュータアルゴリズムと、第2のコンピュータアルゴリズムを含む。より好ましくは、第1のコンピュータアルゴリズムは、ニューラルネットワーク構造を有する複数の深層学習アルゴリズムを含む。第2のコンピュータアルゴリズムは、機械学習アルゴリズムを含む。好ましくは、深層学習アルゴリズムは、細胞の形態学的な特徴を定量的に表した特徴量を抽出するための第1のニューラルネットワーク50と、細胞における異常所見の種類を識別するための第2のニューラルネットワーク51、及び/又は細胞の種類を識別する第2のニューラルネットワーク52含む。第1ニューラルネットワーク50は細胞の特徴量を抽出し、第2のニューラルネットワーク51,52は、第1のニューラルネットワークの下流にあり、第1のニューラルネットワーク50が抽出した特徴量に基づいて、細胞における異常所見、又は細胞の種類を識別する。より好ましくは、第2のニューラルネットワーク51,52は、細胞の種類の識別を目的として訓練されたニューラルネットワーク、細胞における異常所見毎に訓練された各異常所見に対応した複数種のニューラルネットワークを含んでいてもよい。例えば、図1において、第1の深層学習アルゴリズムは、第1の異常所見(例えば顆粒異常)を識別するための深層学習アルゴリズムであり、第1のニューラルネットワーク50と、第1の異常所見を識別するために訓練された第2のニューラルネットワーク51を含む。第1’の深層学習アルゴリズムは、第2の異常所見(例えば、過分葉)を検出するための深層学習アルゴリズムであり、第1のニューラルネットワーク50と、第2の異常所見を識別するために訓練された第2のニューラルネットワーク51を含む。第2の深層学習アルゴリズムは、細胞の種類を識別するための深層学習アルゴリズムであり、第1のニューラルネットワーク50と、細胞の種類を識別するために訓練された第2のニューラルネットワーク52を含む。
機械学習アルゴリズムは、各試料について、深層学習アルゴリズムから出力された特徴量に基づいて、試料を採取した被検体が保有する疾患を解析し、疾患名又は疾患名を示すラベルを解析結果として出力する。
次に、図2~図4に示す例を用いて深層学習用訓練データ75、機械学習用訓練データの生成方法及び疾患の解析方法を説明する。以下では、説明の便宜上第1のニューラルネットワークと、第2のニューラルネットワークと、機械学習アルゴリズムである勾配ブースティング木を用いて説明する。
<深層学習用訓練データの生成>
深層学習アルゴリズムを訓練するために使用される訓練用画像70は、既に疾患名がつけられている被検体から採取した試料に含まれる解析対象の細胞を撮像した画像である。訓練用画像70は、1試料について複数枚撮像される。各画像に含まれる解析対象の細胞は、形態学的な分類に基づく細胞の種類や異常所見を検査者が識別した結果と紐付けられている。訓練用画像70を撮像するための標本は、解析対象の細胞と同種の細胞を含む試料から、解析対象の細胞を含む標本と同様の標本作成方法と染色方法で作成されることが好ましい。また、訓練用画像70は、解析対象の細胞の撮像条件と同様の条件で撮像されることが好ましい。
訓練用画像70は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、細胞毎に予め取得することができる。図2に示す例では、血液像自動分析装置 DI-60(シスメックス株式会社製)を用いて360画素×365画素で撮像された生画像を、255画素×255画素に縮小することで訓練用画像70を生成しているが、この縮小は必須ではない。訓練用画像70の画素数は、解析ができる限り制限されないが、一辺が100画素を超えていることが好ましい。また、図2に示す例では、好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、1枚の画像の中に、訓練しようとする細胞を1細胞含み(赤血球、及び正常サイズの血小板は含まれていてもよい)、訓練しようとする細胞に該当する画素が画像全体画素の1/9程度以上存在していれば訓練用画像70として使用することができる。
例示的には、撮像装置における撮像は、RGBカラー及びCMYカラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、イエロー等の各原色の濃淡又は輝度を、24ビットの値(8ビット×3色)で表すことが好ましい。訓練用画像70は、少なくとも1つの色相と、その色相の濃淡又は輝度とを含んでいればよいが、少なくとも2つの色相と、それぞれ色相の濃淡又は輝度とを含むことがより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
次に、各画素における色調の情報を、例えば、RGBカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして、YUV(YCbCr、YPbPr、YIQ等)等を挙げることができる。ここでは、YCbCrフォーマットへの変換を例として説明する。ここでは、訓練用画像がRGBカラーであるため、輝度72Yと、第1の色相(例えば青色系)72Cbと、第2の色相(例えば、赤色系)72Crとに変換する。RGBから、YCbCrへの変換は公知の方法により行うことができる。例えば、RGBから、YCbCrへは、国際規格ITU-R BT.601にしたがって変換できる。変換した輝度72Y、第1の色相72Cb及び第2の色相72Crはそれぞれ図2に示すように階調値の行列として表すことができる(以下、色調行列72y,72cb,72crともいう)。輝度72Y、第1の色相72Cb、第2の色相72Crは、それぞれ0から255階調までの256階調で表される。ここで、輝度72Y、第1の色相72Cb、第2の色相72Crに換えて、赤R、緑G、青Bの3原色や、シアンC、マゼンタM、イエローYの色の3原色で訓練用画像を変換してもよい。
次に、色調行列72y,72cb,72crに基づいて、画素毎に、輝度72y、第1の色相72cb、及び第2の色相72crの3つの階調値を組み合わせた色調ベクトルデータ74を生成する。
次に、例えば、図2の訓練用画像70は分葉核好中球であるため、図2の訓練用画像70から生成される各色調ベクトルデータ74には、分葉核好中球であることを示すラベル値77として「1」が付与され、深層学習用訓練データ75となる。図2では、便宜上深層学習用訓練データ75を3画素×3画素で表しているが、実際は訓練用画像70を撮像した際の画素の分だけ色調ベクトルデータが存在する。
図3にラベル値77の例を示す。ラベル値は、細胞の種類及び各細胞の異常所見の有無に応じて異なるラベル値77が付与される。
<識別器の生成の概要>
図2を例として、識別器の生成方法の概要を説明する。識別器の生成には深層学習アルゴリズムの訓練と、機械学習アルゴリズムの訓練を含み得る。
・深層学習アルゴリズムの訓練
第1の深層学習アルゴリズムは、異常所見の種類に関する情報である第1情報53を生成するため、第1のニューラルネットワーク50及び第2のニューラルネットワーク51を備える。第2の深層学習アルゴリズムは、細胞の種類に関する情報である第2情報54を生成するため、第1のニューラルネットワーク50及び第2のニューラルネットワーク52を備える。
第1のニューラルネットワーク50における入力層50aのノード数は、入力される深層学習用訓練データ75の画素数と画像に含まれる輝度と色相の数(例えば上記例では、輝度72y、第1の色相72cb、及び第2の色相72crの3つ)との積に対応している。色調ベクトルデータ74はその集合76として第1のニューラルネットワーク50の入力層50aに入力される。深層学習用訓練データ75の各画素のラベル値77を、第1のニューラルネットワークの出力層50bに入力して、第1のニューラルネットワーク50を訓練する。
第1のニューラルネットワーク50は、深層学習用訓練データ75に基づいて、上述した形態学的な細胞の種類や異常所見を反映する細胞の特徴について、特徴量を抽出する。第1のニューラルネットワークの出力層50bは、これらの特徴量を反映する結果を出力する。第2のニューラルネットワーク51の入力層51a及び第2のニューラルネットワーク52の入力層52aには、第1のニューラルネットワーク50の出力層50bのソフトマックス関数から出力された各結果が入力される。また、所定の細胞系統に属する細胞は、細胞の形態が似ているため、第2のニューラルネットワーク51,52をさらに形態学的な特定の細胞の種類や特定の異常所見を反映する細胞の特徴の識別に特化するようを訓練する。したがって、第2のニューラルネットワークの出力層51b,52bにも、深層学習用訓練データ75のラベル値77が入力される。図2の符号50c、51c及び52cは、中間層を示す。また、1つの異常所見に対して、1つの第2のニューラルネットワーク51が訓練され得る。換言すると解析すべき異常所見の種類の数に対応した第2のニューラルネットワーク51が訓練され得る。細胞の種類を識別するための第2のニューラルネットワーク52は1種である。
好ましくは、第1のニューラルネットワーク50は、コンボリューションコネクトのニューラルネットワークであり、第2のニューラルネットワーク51,52は、フルコネクトのニューラルネットワークである。
斯くして訓練された第1のニューラルネットワーク60及び第2のニューラルネットワーク61を有する第1の深層学習アルゴリズムと、第1のニューラルネットワーク61及び第2のニューラルネットワーク62を有する第2の深層学習アルゴリズムが生成される(図5参照)。
例えば、異常所見を識別するための第2のニューラルネットワーク61は、異常所見の識別結果として、異常所見があるかないかの確率を出力する。前記確率は、異常所見名又は異常所見に対応するラベル値であってもよい。細胞の種類を識別するための第2のニューラルネットワーク62は、各解析対象の細胞が、訓練データとして入力された複数の細胞の種類のそれぞれに属する確率を識別結果として出力する。前記確率は、細胞の種類名又は細胞の種類に対応するラベル値であってもよい。
・機械学習アルゴリズムの訓練
機械学習アルゴリズム57を訓練するための訓練データとして、図4に示す機械学習用訓練データ90が用いられる。機械学習用訓練データ90は、特徴量と疾患情報55を含む。各試料について、深層学習アルゴリズムから出力された異常所見、及び/又は細胞の種類の確率又は前記確率を細胞数に換算した値を、学習対象の特徴量とすることができる。機械学習用訓練データ90では、特徴量が、各試料を採取した被検体が保有する疾患名、疾患のラベル値等で表される疾患情報と紐付けられている。
機械学習アルゴリズム57に入力される特徴量は、少なくとも異常所見の種類に関する情報及び細胞の種類に関する情報の少なくとも1つである。特徴量として、異常所見の種類に関する情報と細胞に関する情報とを使用することが好ましいである。特徴量として使用される異常所見は1種であってもよいし、複数種であってもよい。また、特徴量として使用される細胞の種類は1種であってもよいし、複数種であってもよい。
深層学習アルゴリズムを訓練するために使用された各試料から撮像された訓練用画像70を、訓練された第1の深層学習アルゴリズム及び/又は第2の深層学習アルゴリズムを用いて解析し、各訓練用画像70の細胞について異常所見及び/又は細胞の種類を識別する。第2のニューラルネットワーク61から各細胞について各異常所見を保有する確率と異常所見を示すラベル値を出力する。各異常所見を保有する確率と異常所見を示すラベル値が異常所見の種類の識別結果となる。第2のニューラルネットワーク62から、各細胞の種類に該当する確率と細胞の種類を示すラベル値を出力する。各細胞の種類に該当する確率と細胞の種類を示すラベル値が細胞の種類の識別結果となる。これらの情報に基づいて機械学習アルゴリズム57に入力される特徴量を生成する。
機械学習用訓練データ90の例を図4に示す。図4では説明の便宜上細胞数を3個(細胞No.1から3)、異常所見を脱顆粒、アウエル小体、球状核、過分葉、及び巨大血小板の5所見、細胞の種類を分葉核好中球、桿状核好中球、リンパ球、単球、好酸球、好塩基球、芽球、及び血小板の8種類として示している。図4において表上部に付されたAからFは、表の各列の番号を示す。表左部に付された1から19は、行番号を示す。
試料毎に、各解析対象の細胞について各異常所見を保有する確率を第1のニューラルネットワーク50と第2のニューラルネットワーク51が算出し、第2のニューラルネットワーク51は算出した確率を出力する。図4では、異常所見を保有する確率は、0から1までの数字で表される。例えば異常所見を保有する場合には「1」に近い値で表され、異常所見を保有しない場合には「0」に近いで表され得る。図4では、列AからEの行1から5のセルに記載されている値が、第2のニューラルネットワーク51が出力した値となる。次に、各試料について、解析された異常所見の種類毎の確率の合計を算出する。図4では、列Fの行1から5のセルに記載されている値が、各異常所見の合計となる。1試料について、異常所見名を示すラベルとそれぞれの異常所見を保有する確率の1試料あたりの合計を紐付けたデータの群を、「異常所見の種類に関する情報」と呼ぶ。異常所見の種類に関する情報は、図2において第1情報53である。図4では、セルB1とF1、セルB2とF2、セルB3とF3、セルB4とF4、セルB5とF5をそれぞれ紐付けたデータの群が、「異常所見の種類に関する情報」であり、第1情報53となる。第1情報53は、疾患名又は疾患名を示すラベル値で表される疾患情報55と紐付けられて、機械学習用訓練データ90となる。図4において、行19は疾患情報55を示す。
また、図4に示すように、1つの異常所見の種類について、「1」に満たない確率が示される場合がある。この場合には、例えば、所定のカットオフ値を定めてカットオフ値より低い値を示す異常所見の種類を全て確率「0」と見なしてもよい。また、所定のカットオフ値を定めてカットオフ値より高い値を示す異常所見の種類を全て確率「1」と見なしてもよい。
ここで、異常所見の種類毎の確率は、異常所見の種類毎の細胞数として表されていてもよい。
また、細胞の種類についても、各解析対象の細胞について各細胞の種類に該当する確率を第1のニューラルネットワーク50と第2のニューラルネットワーク52が算出し、第2のニューラルネットワーク52は算出した確率を出力する。各細胞の種類に該当する確率は、第1のニューラルネットワーク50と第2のニューラルネットワーク52が解析対象としている細胞の種類全てについて、算出される。図4の例では、1つの解析対象の細胞について、分葉核好中球、桿状核好中球、リンパ球、単球、好酸球、好塩基球、芽球及び血小板の全ての項目について各種の細胞に該当する確率が算出される。列AからEの行6から13のセルに記載されている値が、第2のニューラルネットワーク52が出力した値となる。次に、各試料について、解析された細胞の種類毎の確率の合計を算出する。図4では、列Fの行6から13のセルに記載されている値が、各細胞の種類の合計となる。細胞種名を示すラベルとそれぞれの細胞種に該当する確率の1試料あたりの合計を紐付けたデータの群を、「細胞の種類に関する情報」と呼ぶ。細胞の種類に関する情報は、図2において第2情報54である。図4では、セルB6とF6、セルB7とF7、セルB8とF8、セルB9とF9、セルB10とF10、セルB11とF11、セルB12とF12、セルB13とF13をそれぞれ紐付けたデータの群が、「細胞の種類に関する情報」であり、第2情報54となる。第2情報54は、疾患名又は疾患名を示すラベル値で表される疾患情報55と紐付けられて、機械学習用訓練データ90となる。図4において、行19は疾患情報55を示す。
ここで、細胞の種類毎の確率は、細胞の種類毎の細胞数で表されていてもよい。また、図4に示すように、1つの解析対象の細胞について、複数の細胞の種類の項目について0より高い確率が示される場合がある。この場合には、例えば、所定のカットオフ値を定めてカットオフ値より低い値を示す細胞の種類を全て確率「0」と見なしてもよい。また、所定のカットオフ値を定めてカットオフ値より高い値を示す細胞の種類を全て確率「1」と見なしてもよい。
さらに、好ましい特徴量は、細胞の種類毎に取得された異常所見の種類に関する情報である。図4を用いて説明すると、行14から行18に示されるように、例えば好中球の脱顆粒(セルB14)、芽球のアウエル小体(セルB15)、好中球の球状核(セルB16)、好中球の過分葉(セルB17)、巨大血小板(セルB18)のように、深層学習用訓練データ75を生成する際に特定の細胞の種類と特定の異常所見の種類を紐付けて訓練する。特徴量の生成は、細胞の種類と結びつけていない異常所見の種類を使用する場合と同様である。細胞の種類毎に取得された異常所見の種類に関する情報を第3情報と呼ぶ。第3情報は、疾患名又は疾患名を示すラベル値で表される疾患情報55と紐付けられて、機械学習用訓練データ90となる。
機械学習用訓練データ90を、機械学習アルゴリズム57に入力することにより機械学習アルゴリズム57を訓練し、訓練された機械学習アルゴリズム67(図5参照)を生成する。
機械学習用アルゴリズム57の訓練方法として、好ましくは、第1情報と疾患情報55とが紐付けられた機械学習用訓練データ90、第2情報と疾患情報55とが紐付けられた機械学習用訓練データ90、及び第3情報と疾患情報55とが紐付けられた機械学習用訓練データ90の少なくとも1つを使用する方法である。より好ましくは、第1情報と疾患情報55とが紐付けられた機械学習用訓練データ90、及び第2情報と疾患情報55とが紐付けられた機械学習用訓練データ90を使用するか、第3情報と疾患情報55とが紐付けられた機械学習用訓練データ90、及び第2情報と疾患情報55とが紐付けられた機械学習用訓練データ90を使用して、機械学習用アルゴリズム57の訓練方法する方法である。最も好ましくは、第2情報54と疾患名又は疾患名を示すラベル値で表される疾患情報55とが紐付けられた機械学習用訓練データ90と、第3情報と疾患名又は疾患名を示すラベル値で表される疾患情報55とが紐付けられた機械学習用訓練データ90との両方を訓練データとして機械学習用アルゴリズム57に入力する方法である。この場合、第2情報54の細胞の種類と第3情報とに紐付いている細胞の種類は同じであっても異なっていてもよい。
機械学習アルゴリズムは、上述した特徴量に基づいて疾患を解析できる限り制限されない。例えば、回帰、木、ニューラルネットワーク、ベイズ、時系列モデル、クラスタリング、及びアンサンブル学習から選択され得る。
回帰は、線形回帰、ロジスティック回帰、サポートベクターマシーン等を含み得る。木は、勾配ブースティング木、決定木、回帰木、ランダムフォレスト等を含み得る。ニューラルネットワーク、パーセプトロン、畳み込みニューラルネットワーク、再起型ニューラルネットワーク、残差ネットワーク等を含み得る。時系列モデルは、移動平均、自己回帰、自己回帰移動平均、自己回帰和分移動平均等を含み得る。クラスタリングは、k近傍法を含み得る。アンサンブル学習は、ブースティング、バギング等を含み得る。好ましくは、勾配ブースティング木である。
<疾患解析の支援方法>
図5に疾患解析の支援方法の例を示す。支援方法では、解析対象の細胞を撮像した解析用画像78から解析データ81を生成する。解析用画像78は、被検体から採取された試料に含まれる解析対象の細胞を撮像した画像である。解析用画像78は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、取得することができる。図5に示す例では、血液像自動分析装置 DI-60(シスメックス株式会社製)を用いて、訓練用画像70と同様に、360画素×365画素で撮像された生画像を、255画素×255画素に縮小することで解析用画像78を生成しているが、この縮小は必須ではない。解析用画像78の画素数は、解析ができる限り制限されないが、一辺が100画素を超えていることが好ましい。また、図5に示す例では、分葉核好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、1枚の画像の中に、解析しようとする細胞を1細胞含み(赤血球、及び正常サイズの血小板は含まれていてもよい)、解析しようとする細胞に該当する画素が画像全体画素の1/9程度以上存在していれば解析用画像78として使用することができる。
例示的には、撮像装置における撮像は、RGBカラー及びCMYカラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、イエロー等の各原色の濃淡又は輝度を、24ビットの値(8ビット×3色)で表すことが好ましい。解析用画像78は、少なくとも1つの色相と、その色相の濃淡又は輝度とを含んでいればよいが、少なくとも2つの色相と、それぞれ色相の濃淡又は輝度とを含むことがより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。
例えば、RGBカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして、YUV(YCbCr、YPbPr、YIQ等)等を挙げることができる。ここでは、YCbCrフォーマットへの変換を例として説明する。ここでは、解析用画像がRGBカラーであるため、輝度79Yと、第1の色相(例えば青色系)79Cbと、第2の色相(例えば、赤色系)79Crとに変換する。RGBから、YCbCrへの変換は公知の方法により行うことができる。例えば、RGBから、YCbCrへは、国際規格ITU-R BT.601にしたがって変換できる。変換した輝度79Y、第1の色相79Cb及び第2の色相79Crはそれぞれ図5に示すように階調値の行列として表すことができる(以下、色調行列79y,79cb,79crともいう)。輝度72Y、第1の色相72Cb、第2の色相72Crは、それぞれ0から255階調までの256階調で表される。ここで、輝度79Y、第1の色相79Cb、第2の色相79Crに換えて、赤R、緑G、青Bの3原色や、シアンC、マゼンタM、イエローYの色の3原色で訓練用画像を変換してもよい。
次に、色調行列79y,79cb,79crに基づいて、画素毎に、輝度79y、第1の色相79cb、及び第2の色相79crの3つの階調値を組み合わせた色調ベクトルデータ80を生成する。1枚の解析用画像78から生成された色調ベクトルデータ80の集合を解析データ81として生成する。
解析データ81の生成と深層学習用訓練データ75の生成は、少なくとも撮像条件や、各画像からニューラルネットワークに入力するベクトルデータの生成条件を同じにすることが好ましい。
第1の深層学習アルゴリズムは、異常所見の種類に関する情報である第1情報63を生成するため、第1のニューラルネットワーク60及び第2のニューラルネットワーク62を備える。第2の深層学習アルゴリズムは、細胞の種類に関する情報である第2情報64を生成するため、第1のニューラルネットワーク60及び第2のニューラルネットワーク62を備える。
解析データ81を訓練済みの第1のニューラルネットワーク60の入力層60aに入力する。第1のニューラルネットワーク60は、解析データ81から細胞の特徴量を抽出し、その結果を第1のニューラルネットワーク60の出力層60bから出力する。第2のニューラルネットワーク61の入力層61a及び第2のニューラルネットワーク62の入力層62aには、第1のニューラルネットワーク60の出力層60bのソフトマックス関数から出力された各結果が入力される。
次に、出力層60bから出力された結果を、訓練済みの第2のニューラルネットワーク61の入力層61aに入力する。例えば、異常所見を識別するための第2のニューラルネットワーク61は、入力された特徴量に基づいて、出力層61bから異常所見の識別結果として、異常所見があるかないかの確率を出力する。
また、出力層60bから出力された結果を、訓練済みの第2のニューラルネットワーク62の入力層62aに入力する。第2のニューラルネットワーク62は、入力された特徴量に基づいて、出力層62bから、訓練データとして入力された細胞の種類のそれぞれに、解析用画像に含まれる解析対象の細胞が属する確率を出力する。図5において、符号60c、61c及び62cは、中間層を示す。
次に、異常所見の識別結果に基づいて、試料毎に、試料に対応する異常所見の種類に関する情報(図5において第1情報63)を取得する。第1情報63は、例えば、第2のニューラルネットワーク61の出力層61bから出力される解析された異常所見の種類毎の確率の合計である。第1情報63の生成方法は、機械学習用訓練データの生成方法と同様である。
また、細胞の種類の識別結果に基づいて、試料毎に、試料に対応する細胞の種類に関する情報(図5において第2情報64)を取得する。第2情報64は、例えば、第2のニューラルネットワーク62の出力層62bから出力される解析された細胞の種類毎の確率の合計である。第2情報64の生成方法は、機械学習用訓練データ90の生成方法と同様である。
生成された第1情報63及び第2情報64を訓練された機械学習アルゴリズム67に入力すると解析結果83が機械学習アルゴリズム67により生成される。解析結果83は、疾患名又は疾患名を表すラベル値であり得る。
機械学習用アルゴリズム67に入力されるデータとして、好ましくは、第1情報63、第2情報64、及び第3情報の少なくとも1つを使用することができる。より好ましくは、第1情報63、及び第2情報64を使用するか、第3情報、及び第2情報64を使用することができる。最も好ましくは、第2情報64と第3情報との両方を解析データ81として使用する方法である。この場合、第2情報64の細胞の種類と第3情報に紐付いている細胞の種類は同じであっても異なっていてもよい。第3情報は、解析データ81を生成する際に、特定の細胞の種類と特定の異常所見の種類とを紐付けて生成された情報であり、その生成方法は、機械学習用訓練データ90の生成方法で記載した方法と同様である。
[疾患解析の支援システム1]
<疾患解析の支援システム1の構成>
疾患解析の支援システム1について説明する。図6を参照すると、疾患解析の支援システム1は、訓練装置100Aと、疾患解析装置200Aとを備える。ベンダ側装置100は訓練装置100Aとして動作し、ユーザ側装置200は疾患解析装置200Aとして動作する。訓練装置100Aは、深層学習用訓練データ75と機械学習用訓練データ90を使って識別器を生成しユーザに提供する。識別器は、記録媒体98又はネットワーク99を通じて、訓練装置100Aから疾患解析装置200Aに提供される。疾患解析装置200Aは、訓練装置100Aから提供された識別器を用いて解析対象の細胞の画像の解析を行う。
訓練装置100Aは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、深層学習処理を行う。疾患解析装置200Aは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、疾患解析処理を行う。記録媒体98は、例えばDVD-ROMやUSBメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体である。
訓練装置100Aは撮像装置300に接続されている。撮像装置300は、撮像素子301と、蛍光顕微鏡302とを備え、ステージ309上にセットされた学習用の標本308の明視野画像を撮像する。訓練用の標本308は、上述の染色が施されている。訓練装置100Aは、撮像装置300によって撮像された訓練用画像70を取得する。
疾患解析装置200Aは撮像装置400に接続されている。撮像装置400は、撮像素子401と、蛍光顕微鏡402とを備え、ステージ409上にセットされた解析対象の標本408の明視野画像を撮像する。解析対象の標本408は、上述の通り予め染色されている。疾患解析装置200Aは、撮像装置400によって撮像された解析対象画像78を取得する。
撮像装置300,400には、標本を撮像する機能を有する、公知の光学顕微鏡又はバーチャルスライドスキャナ等を用いることができる。
<訓練装置のハードウェア構成>
図7を参照すると、ベンダ側装置100(訓練装置100A)は、処理部10(10A)と、入力部16と、出力部17とを備える。
処理部10は、後述するデータ処理を行うCPU(Central Processing Unit)11と、データ処理の作業領域に使用するメモリ12と、後述するプログラム及び処理データを記録する記憶部13と、各部の間でデータを伝送するバス14と、外部機器とのデータの入出力を行うインタフェース部15と、GPU(Graphics Processing Unit)19とを備えている。入力部16及び出力部17は、処理部10に接続されている。例示的には、入力部16はキーボード又はマウス等の入力装置であり、出力部17は液晶ディスプレイ等の表示装置である。GPU19は、CPU11が行う演算処理(例えば、並列演算処理)を補助するアクセラレータとして機能する。すなわち以下の説明においてCPU11が行う処理とは、CPU11がGPU19をアクセラレータとして用いて行う処理も含むことを意味する。
また、処理部10は、以下の図10、図13及び図14で説明する各ステップの処理を行うために、本発明に係るプログラム及び識別器を、例えば実行形式で記憶部13に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部10は、記憶部13に記録したプログラムを使用して、第1のニューラルネットワーク50、第2のニューラルネットワーク51、第2のニューラルネットワーク52、機械学習アルゴリズム57の訓練処理を行う。
以下の説明においては、特に断らない限り、処理部10が行う処理は、記憶部13又はメモリ12に格納されたプログラム、並びに第1のニューラルネットワーク50、第2のニューラルネットワーク51、第2のニューラルネットワーク52、機械学習アルゴリズム57に基づいて、CPU11が行う処理を意味する。CPU11はメモリ12を作業領域として必要なデータ(処理途中の中間データ等)を揮発性に一時記憶し、記憶部13に演算結果等の長期保存するデータを不揮発性に適宜記憶する。
<疾患解析装置のハードウェア構成>
図8を参照すると、ユーザ側装置200(疾患解析装置200A,疾患解析装置200B,疾患解析装置200C)は、処理部20(20A,20B,20C)と、入力部26と、出力部27とを備える。
処理部20は、後述するデータ処理を行うCPU(Central Processing Unit)21と、データ処理の作業領域に使用するメモリ22と、後述するプログラム及び処理データを記憶する記憶部23と、各部の間でデータを伝送するバス24と、外部機器とのデータの入出力を行うインタフェース部25と、GPU(Graphics Processing Unit)29とを備えている。入力部26及び出力部27は、処理部20に接続されている。例示的には、入力部26はキーボード又はマウス等の入力装置であり、出力部27は液晶ディスプレイ等の表示装置である。GPU29は、CPU21が行う演算処理(例えば、並列演算処理)を補助するアクセラレータとして機能する。すなわち以下の説明においてCPU21が行う処理とは、CPU21がGPU29をアクセラレータとして用いて行う処理も含むことを意味する。
また、処理部20は、以下の疾患解析処理で説明する各ステップの処理を行うために、本発明に係るプログラム及び識別器を、例えば実行形式で記憶部23に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部20は、記憶部23に記録したプログラム及び識別器を使用して処理を行う。
以下の説明においては、特に断らない限り、処理部20が行う処理は、記憶部23又はメモリ22に格納されたプログラム及び深層学習アルゴリズム60に基づいて、実際には処理部20のCPU21が行う処理を意味する。CPU21はメモリ22を作業領域として必要なデータ(処理途中の中間データ等)を揮発性に一時記憶し、記憶部23に演算結果等の長期保存するデータを不揮発性に適宜記録する。
<機能ブロック及び処理手順>
(深層学習処理)
図9を参照すると、訓練装置100Aの処理部10Aは、深層学習用訓練データ生成部101と、深層学習用訓練データ入力部102と、深層学習用アルゴリズム更新部103とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部10Aの記憶部13又はメモリ12にインストールし、このプログラムをCPU11が実行することにより実現される。深層学習用訓練データデータベース(DB)104と、深層学習用アルゴリズムデータベース(DB)105とは、処理部10Aの記憶部13又はメモリ12に記録される。
訓練用画像70は、撮像装置300によって予め撮像され、例えば解析対象の細胞が属する形態学的な細胞の種類や異常所見と対応付けられて、処理部10Aの記憶部13又はメモリ12に予め記憶されている。未訓練の第1のニューラルネットワーク50並びに第2のニューラルネットワーク52及び第2のニューラルネットワーク52は、深層学習用アルゴリズムデータベース105に予め格納されている。一度訓練され、更新を受け付ける第1のニューラルネットワーク50並びに第2のニューラルネットワーク52及び第2のニューラルネットワーク52は、深層学習用アルゴリズムアルゴリズムデータベース105に予め格納されている。
訓練装置100Aの処理部10Aは、図10に示す処理を行う。図9に示す各機能ブロックを用いて説明すると、ステップS11、S12、S16及びS17の処理は、深層学習用訓練データ生成部101が行う。ステップS13の処理は、深層学習用訓練データ入力部102が行う。ステップS14の処理は、深層学習用アルゴリズム更新部103が行う。
図10を用いて、処理部10Aが行う深層学習処理の例について説明する。はじめに、処理部10Aは、訓練用画像70を取得する。訓練用画像70の取得は、オペレータの操作によって、撮像装置300から取り込まれるか、記録媒体98から取り込まれるか、ネットワーク経由でI/F部15を介して行われる。訓練用画像70を取得する際に、その訓練用画像70が、形態学的に分類される細胞の種類及び/又は異常所見のいずれを示すものであるかの情報も取得される。形態学的に分類される細胞の種類及び/又は異常所見のいずれを示すものであるかの情報は、訓練用画像70に紐付けられていてもよく、またオペレータが入力部16から入力してもよい。
ステップS11において、処理部10Aは、取得された訓練用画像70を輝度Y、第1の色相Cb及び
第2の色相Crに変換し、上記訓練データの生成方法で説明した手順に従い色調ベクトルデータ74を生成する。
ステップS12において、処理部10Aは、訓練用画像70に紐付けられている、形態学的に分類される細胞の種類及び/又は異常所見のいずれを示すものであるかの情報と、メモリ12又は記憶部13に記憶されている形態学的に分類される細胞の種類又は異常所見に紐図けられたラベル値とに基づいて色調ベクトルデータ74に対応するラベル値を付与する。斯くして、処理部10Aは、深層学習用訓練データ75を生成する。
図10に示すステップS13において、処理部10Aは、深層学習用訓練データ75を用いて、第1のニューラルネットワーク50及び第2のニューラルネットワーク51を訓練する。第1のニューラルネットワーク50及び第2のニューラルネットワーク51の訓練結果は複数の深層学習用訓練データ75を用いて訓練する度に蓄積される。
次に、ステップS14において、処理部10Aは、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合(YES)、処理部10AはステップS15の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合(NO)、処理部10AはステップS16の処理に進む。
次に、訓練結果が所定の試行回数分蓄積されている場合、ステップS15において、処理部10Aは、ステップS13において蓄積しておいた訓練結果を用いて、第1のニューラルネットワーク50及び第2のニューラルネットワーク51、又は1のニューラルネットワーク50及び第2のニューラルネットワーク52の結合重みwを更新する。疾患解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、第1のニューラルネットワーク50及び第2のニューラルネットワーク51、又は1のニューラルネットワーク50及び第2のニューラルネットワーク52の結合重みwを更新する。結合重みwを更新する処理は、具体的には、後述の(式11)及び(式12)に示される、勾配降下法による計算を実施する処理である。
ステップS16において、処理部10Aは、第1のニューラルネットワーク50及び第2のニューラルネットワーク51、又は1のニューラルネットワーク50及び第2のニューラルネットワーク52を規定数の訓練用データ75で訓練したか否かを判断する。規定数の訓練用データ75で訓練した場合(YES)には、深層学習処理を終了する。
第1のニューラルネットワーク50及び第2のニューラルネットワーク51、又は1のニューラルネットワーク50及び第2のニューラルネットワーク52を規定数の訓練用データ75で訓練していない場合(NO)には、処理部10Aは、ステップS16からステップS17に進み、次の訓練用画像70についてステップS11からステップS16までの処理を行う。
以上説明した処理にしたがって、第1のニューラルネットワーク50及び第2のニューラルネットワーク51、又は1のニューラルネットワーク50及び第2のニューラルネットワーク52を訓練し第2の深層学習アルゴリズム及び第2の深層学習アルゴリズムを得る。
(ニューラルネットワークの構造)
図11(a)に第1のニューラルネットワーク50と第2のニューラルネットワーク51,52の構造を例示する。第1のニューラルネットワーク50と第2のニューラルネットワーク51は、入力層50a,51a,52aと、出力層50b,51b,52bと、入力層50a,51a,52a及び出力層50b,51b,52bの間の中間層50c,51c,52cとを備え、中間層50c,51c,52cが複数の層で構成されている。中間層50c,51c,52cを構成する層の数は、例えば5層以上とすることができる。
第1のニューラルネットワーク50と第2のニューラルネットワーク51、又は第1のニューラルネットワーク50と第2のニューラルネットワーク52では、層状に配置された複数のノード89が、層間において結合されている。これにより、情報が入力側の層50a,51a,52aから出力側の層50b,51b,52bに、図中矢印Dに示す一方向のみに伝播する。
(各ノードにおける演算)
図11(b)は、各ノードにおける演算を示す模式図である。各ノード89では、複数の入力を受け取り、1つの出力(z)を計算する。図11(b)に示す例の場合、ノード89は4つの入力を受け取る。ノード89が受け取る総入力(u)は、以下の(式1)で表される。
Figure 0007381003000001
各入力には、それぞれ異なる重みが掛けられる。(式1)中、bはバイアスと呼ばれる値である。ノードの出力(z)は、(式1)で表される総入力(u)に対する所定の関数fの出力となり、以下の(式2)で表される。関数fは活性化関数と呼ばれる。
Figure 0007381003000002
図11(c)は、ノード間の演算を示す模式図である。第1のニューラルネットワーク50、第2のニューラルネットワーク51,52では、(式1)で表される総入力(u)に対して、(式2)で表される結果(z)を出力するノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる。図11(c)に示す例では、図中左側の層のノード89aの出力が、図中右側の層のノード89bの入力となる。右側の層の各ノード89bは、それぞれ、左側の層のノード89aからの出力を受け取る。左側の層の各ノード89aと右側の層の各ノード89bとの間の各結合には、異なる重みが掛けられる。左側の層の複数のノード89aのそれぞれの出力をx~xとすると、右側の層の3つのノード89bのそれぞれに対する入力は、以下の(式3-1)~(式3-3)で表される。
Figure 0007381003000003
これら(式3-1)~(式3-3)を一般化すると、(式3-4)となる。ここで、i=1,・・・I、j=1,・・・Jである。
Figure 0007381003000004
(式3-4)を活性化関数に適用すると出力が得られる。出力は以下の(式4)で表される。
Figure 0007381003000005
(活性化関数)
疾患解析方法では、活性化関数として、正規化線形関数(rectified linear unit function)を用いる。正規化線形関数は以下の(式5)で表される。
Figure 0007381003000006
(式5)は、z=uの線形関数のうち、u<0の部分をu=0とする関数である。図9(c)に示す例では、j=1のノードの出力は、(式5)により、以下の式で表される。
Figure 0007381003000007
(ニューラルネットワークの学習)
ニューラルネットワークを用いて表現される関数をy(x:w)とおくと、関数y(x:w)は、ニューラルネットワークのパラメータwを変化させると変化する。入力xに対してニューラルネットワークがより好適なパラメータwを選択するように、関数y(x:w)を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力xに対する望ましい出力をdとすると、入出力の組は、{(x,d),(x,d),・・・,(x,d)}と与えられる。(x,d)で表される各組の集合を、訓練データと呼ぶ。具体的には、図2(b)に示す、Y、Cb、Cr各色の単一色画像における画素ごとの色濃度値と真値像のラベルとの組、の集合が、図2(a)に示す訓練データである。
ニューラルネットワークの学習とは、どのような入出力の組(x,d)に対しても、入力xを与えたときのニューラルネットワークの出力y(x:w)が、出力dになるべく近づくように重みwを調整することを意味する。誤差関数(error function)とは、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
Figure 0007381003000008
を測る尺度である。誤差関数は損失関数(loss function)とも呼ばれる。疾患解析方法において用いる誤差関数E(w)は、以下の(式6)で表される。(式6)は交差エントロピー(cross entropy)と呼ばれる。
Figure 0007381003000009
(式6)の交差エントロピーの算出方法を説明する。疾患解析方法において用いるニューラルネットワーク50の出力層50bでは、すなわちニューラルネットワークの最終層では、入力xを内容に応じて有限個のクラスに分類するための活性化関数を用いる。活性化関数はソフトマックス関数(softmax function)と呼ばれ、以下の(式7)で表される。なお、出力層50bには、クラス数kと同数のノードが並べられているとする。出力層Lの各ノードk(k=1,・・・K)の総入力uは、前層L-1の出力から、u (L)で与えられるとする。これにより、出力層のk番目のノードの出力は以下の(式7)で表される。
Figure 0007381003000010
(式7)がソフトマックス関数である。(式7)で決まる出力y,・・・,yの総和は常に1となる。
各クラスをC,・・・,Cと表すと、出力層Lのノードkの出力y(すなわちu (L))は、与えられた入力xがクラスCに属する確率を表す。以下の(式8)を参照されたい。入力xは、(式8)で表される確率が最大になるクラスに分類される。
Figure 0007381003000011
ニューラルネットワークの学習では、ニューラルネットワークで表される関数を、各クラスの事後確率(posterior probability)のモデルとみなし、そのような確率モデルの下で、訓練データに対する重みwの尤度(likelihood)を評価し、尤度を最大化するような重みwを選択する。
(式7)のソフトマックス関数による目標出力dを、出力が正解のクラスである場合のみ1とし、出力がそれ以外の場合は0になるとする。目標出力をd=[dn1,・・・,dnK]というベクトル形式で表すと、例えば入力xの正解クラスがCである場合、目標出力dn3のみが1となり、それ以外の目標出力は0となる。このように符号化すると、事後分布(posterior)は以下の(式9)で表される。
Figure 0007381003000012
訓練データ{(x,d)}(n=1,・・・,N)に対する重みwの尤度L(w)は、以下の(式10)で表される。尤度L(w)の対数をとり符号を反転すると、(式6)の誤差関数が導出される。
Figure 0007381003000013
学習は、訓練データを基に計算される誤差関数E(w)を、ニューラルネットワークのパラメータwについて最小化することを意味する。疾患解析方法では、誤差関数E(w)は(式6)で表される。
誤差関数E(w)をパラメータwについて最小化することは、関数E(w)の局所的な極小点を求めることと同じ意味である。パラメータwはノード間の結合の重みである。重みwの極小点は、任意の初期値を出発点として、パラメータwを繰り返し更新する反復計算によって求められる。このような計算の一例には、勾配降下法(gradient descent method)がある。
勾配降下法では、次の(式11)で表されるベクトルを用いる。
Figure 0007381003000014
勾配降下法では、現在のパラメータwの値を負の勾配方向(すなわち-∇E)に移動させる処理を何度も繰り返す。現在の重みをw(t)とし、移動後の重みをw(t+1)とすると、勾配降下法による演算は、以下の(式12)で表される。値tは、パラメータwを移動させた回数を意味する。
Figure 0007381003000015
記号
Figure 0007381003000016
は、パラメータwの更新量の大きさを決める定数であり、学習係数と呼ばれる。(式12)で表される演算を繰り返すことにより、値tの増加に伴って誤差関数E(w(t))が減少し、パラメータwは極小点に到達する。
なお、(式12)による演算は、全ての訓練データ(n=1,・・・,N)に対して実施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに対して行う勾配降下法は、確率的勾配降下法(stochastic gradient descent)と呼ばれる。疾患解析方法では、確率的勾配降下法を用いる。
(機械学習処理1)
第1の機械学習処理は、第1情報又は第2情報から機械学習アルゴリズム57を訓練する。
図12を参照すると、訓練装置100Aの処理部10Aは、第1情報53と疾患情報55に基づいて機械学習アルゴリズム57を訓練する。処理部10Aは、機械学習用訓練データ生成部101aと、機械学習用訓練データ入力部102aと、機械学習用アルゴリズム更新部103aとを備える。これらの機能ブロックは、コンピュータに機械学習処理を実行させるプログラムを、処理部10Aの記憶部13又はメモリ12にインストールし、このプログラムをCPU11が実行することにより実現される。機械学習用訓練データデータベース(DB)104aと、機械学習用アルゴリズムデータベース(DB)105aとは、処理部10Aの記憶部13又はメモリ12に記録される。
第1情報又は第2情報は、処理部10Aにより生成されており、例えば解析対象の細胞が属する形態学的な細胞の種類や異常所見と対応付けられて、処理部10Aの記憶部13又はメモリ12に予め記憶されている。未訓練の第1のニューラルネットワーク50並びに第2のニューラルネットワーク51及び第2のニューラルネットワーク52は、機械学習用アルゴリズムデータベース105に予め格納されている。一度訓練され、更新を受け付ける第1のニューラルネットワーク50並びに第2のニューラルネットワーク51及び第2のニューラルネットワーク52は、機械学習用アルゴリズムアルゴリズムデータベース105aに予め格納されている。
訓練装置100Aの処理部10Aは、図13に示す処理を行う。図12に示す各機能ブロックを用いて説明すると、ステップS111、S112、S114及びS115の処理は、機械学習用訓練データ生成部101aが行う。ステップS113の処理は、機械学習用訓練データ入力部102aが行う。
図13を用いて、処理部10Aが行う第1機械学習処理の例について説明する。
訓練装置100Aの処理部10Aは、ステップS111において、上記機械学習アルゴリズムの訓練の項で述べた方法に従い第1情報又は第2情報を生成する。具体的には、処理部10Aは、ステップS11からステップS16によって訓練された第1の深層学習アルゴリズム又は第2の深層学習アルゴリズムから、各訓練用画像70の細胞について異常所見の種類を識別し、識別結果を得る。第2のニューラルネットワーク61から各細胞について異常所見の種類の識別結果を出力する。ステップS111において、処理部10Aは、異常所見の種類の識別結果に基づいて、訓練用画像70を取得した試料毎に第1情報を生成する。また、処理部10Aは、第2のニューラルネットワーク62から、各訓練用画像70の細胞について細胞の種類を識別し、識別結果を得る。処理部10Aは、細胞の種類の識別結果に基づいて、訓練用画像70を取得した試料毎に第2情報を生成する。
次に、ステップS112において、処理部10Aは、第1情報と訓練用画像75に紐付けられている疾患情報55とから機械学習用訓練データ90を生成する。或いは、処理部10Aは、第2情報と訓練用画像75に紐付けられている疾患情報55とから機械学習用訓練データ90を生成する。
次に、ステップS113において、処理部10Aは、機械学習用訓練データ90を機械学習アルゴリズムに入力し、機械学習アルゴリズムを訓練する。
次に、ステップS114において、処理部10Aは、全ての訓練用の試料について処理を実行したかを判断する。全ての訓練用の試料について処理を実行した場合には処理を終了する。全ての訓練用の試料について処理を実行していない場合には、ステップS115に進み、別の試料の異常所見の種類の識別結果、又は細胞の種類の識別結果を取得し、ステップS111に戻って機械学習アルゴリズムの訓練を繰り返す。
(機械学習処理2)
第2の機械学習処理は、第1情報及び第2情報から機械学習アルゴリズム57を訓練する。
図12を参照すると、訓練装置100Aの処理部10Aは、第1情報53と疾患情報55に基づいて機械学習アルゴリズム57を訓練する。処理部10Aは、機械学習用訓練データ生成部101bと、機械学習用訓練データ入力部102bと、機械学習用アルゴリズム更新部103bとを備える。これらの機能ブロックは、コンピュータに機械学習処理を実行させるプログラムを、処理部10Aの記憶部13又はメモリ12にインストールし、このプログラムをCPU11が実行することにより実現される。機械学習用訓練データデータベース(DB)104bと、機械学習用アルゴリズムデータベース(DB)105bとは、処理部10Aの記憶部13又はメモリ12に記録される。
第1情報又は第2情報は、処理部10Aにより生成されており、例えば解析対象の細胞が属する形態学的な細胞の種類や異常所見と対応付けられて、処理部10Aの記憶部13又はメモリ12に予め記憶されている。未訓練の第1のニューラルネットワーク50並びに第2のニューラルネットワーク51及び第2のニューラルネットワーク52は、機械学習用アルゴリズムデータベース105に予め格納されている。一度訓練され、更新を受け付ける第1のニューラルネットワーク50並びに第2のニューラルネットワーク51及び第2のニューラルネットワーク52は、機械学習用アルゴリズムアルゴリズムデータベース105bに予め格納されている。
訓練装置100Aの処理部10Aは、図14に示す処理を行う。図12に示す各機能ブロックを用いて説明すると、ステップS1111、S1112、S1114及びS1115の処理は、機械学習用訓練データ生成部101bが行う。ステップS1113の処理は、機械学習用訓練データ入力部102が行う。
図14を用いて、処理部10Aが行う第2の機械学習処理の例について説明する。訓練装置100Aの処理部10Aは、ステップS1111において、上記機械学習アルゴリズムの訓練の項で述べた方法に従い第1情報及び第2情報を生成する。具体的には、処理部10Aは、ステップS11からステップS16によって訓練された第1の深層学習アルゴリズム及び第2の深層学習アルゴリズムから、各訓練用画像70の細胞について異常所見の種類を識別し、識別結果を得る。第2のニューラルネットワーク61から各細胞について異常所見の種類の識別結果を出力する。ステップS1111において、処理部10Aは、異常所見の種類の識別結果に基づいて、訓練用画像70を取得した試料毎に第1情報を生成する。また、処理部10Aは、第2のニューラルネットワーク62から、各訓練用画像70の細胞について細胞の種類を識別し、識別結果を得る。処理部10Aは、細胞の種類の識別結果に基づいて、訓練用画像70を取得した試料毎に第2情報を生成する。
次に、ステップS1112において、処理部10Aは、第1情報と第2情報と訓練用画像75に紐付けられている疾患情報55とから機械学習用訓練データ90を生成する。
次に、ステップS1113において、処理部10Aは、機械学習用訓練データ90を機械学習アルゴリズムに入力し、機械学習アルゴリズムを訓練する。
次に、ステップS1114において、処理部10Aは、全ての訓練用の試料について処理を実行したかを判断する。全ての訓練用の試料について処理を実行した場合には処理を終了する。全ての訓練用の試料について処理を実行していない場合には、ステップS1115に進み、別の試料の異常所見の種類の識別結果、又は細胞の種類の識別結果を取得し、ステップS1111に戻って機械学習アルゴリズムの訓練を繰り返す。
ステップS113及びS1113において使用される機械学習アルゴリズムの概要は以下の通りである。
機械学習アルゴリズムとして、Gradient Boosting(勾配ブースティング)等のアンサンブル学習(複数の分類器を集めて構成される分類器)を使用することができる。アンサンブル学習としてはExtreme Gradient Boosting(EGB)、Stochastic Gradient Boostingを挙げることができる。Gradient Boostingは、ブースティングアルゴリズムの一種であり、複数の弱学習器を構成する手法である。弱学習器として、例えば、回帰木を用いることができる。
例えば、回帰木は、入力ベクトルをx、ラベルをyとして、全体の学習器
Figure 0007381003000017
を損失関数L(y、F(x))が最少となるように弱学習器 fm(x)、m=1,2,・・・Mを逐次的に学習、統合する。すなわち、学習開始時に関数F(x)=f(x)が与えられるとし、mステップ目の学習ではm個の弱学習器からなる学習器
Figure 0007381003000018
を損失関数L(y、F(x))が最小になるように弱学習器fm(x)を決定する。アンサンブル学習では、弱学習器を最適化する際に訓練集合中の全てのデータを使わず、ランダムに一定にするデータをサンプリングして用いる。
Figure 0007381003000019
具体的には、以下のアルゴリズムにより学習器F(x)を得る。
shrinkageパラメータvは1とし、F(x)は定数関数から変更してもよい。
(疾患解析処理)
図15に、解析対象画像78から、解析結果83を生成するまでの疾患解析処理を行う疾患解析装置200Aの機能ブロック図を示す。疾患解析装置200Aの処理部20Aは、解析用データ生成部201と、解析用データ入力部202と、解析部203とを備える。これらの機能ブロックは、本発明に係るコンピュータに疾患解析処理を実行させるプログラムを、処理部20Aの記憶部23又はメモリ22にインストールし、このプログラムをCPU21が実行することにより実現される。深層学習用訓練データデータベース(DB)104と、深層学習用アルゴリズムデータベース(DB)105とは、記録媒体98又はネットワーク99を通じて訓練装置100Aから提供され、処理部20Aの記憶部23又はメモリ22に記録される。機械学習用訓練データデータベース(DB)104a,bと、深層学習用アルゴリズムデータベース(DB)105a,bとは、記録媒体98又はネットワーク99を通じて訓練装置100Aから提供され、処理部20Aの記憶部23又はメモリ22に記録される。
解析対象画像78は、撮像装置400によって撮像され、処理部20Aの記憶部23又はメモリ22に記憶される。訓練済みの結合重みwを含む第1のニューラルネットワーク60及び第2のニューラルネットワーク61,62は、例えば解析対象の細胞が属する形態学的な分類に基づく細胞の種類や異常所見の種類と対応付けられて、深層学習用アルゴリズムデータベース105に格納されており、コンピュータに疾患解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、第1のニューラルネットワーク60及び第2のニューラルネットワーク61,62は、CPU及びメモリを備えるコンピュータにて用いられ、異常所見の種類の判結果又は細胞の種類の識別結果を出力する。処理部20AのCPU21は、使用目的に応じた特有の情報の演算又は加工を実行するよう、コンピュータを機能させる。また、訓練済みの機械学習アルゴリズム67は、機械学習用アルゴリズムデータベース105a,bに格納されており、コンピュータに疾患解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、機械学習アルゴリズム67は、CPU及びメモリを備えるコンピュータにて用いられ、疾患の解析結果を出力する。
具体的には、処理部20AのCPU21は、記憶部23又はメモリ22に記憶された第1の深層学習アルゴリズムを用いて、解析データ生成部201において、異常所見の種類の識別結果を生成する。処理部20Aは、解析データ生成部201において、異常所見の種類の識別結果に基づいて第1情報63を生成する。生成された第1情報63は解析データ入力部202に入力されると共に、機械学習用訓練データDB104aに記憶される。処理部20Aは、解析部203において、疾患の解析を行い、解析結果83を出力部27に出力する。或いは、処理部20AのCPU21は、記憶部23又はメモリ22に記憶された第2の深層学習アルゴリズムを用いて、解析データ生成部201において、異常所見の種類の識別結果を生成する。処理部20Aは、解析データ生成部201において、異常所見の種類の識別結果に基づいて第2情報64を生成する。生成された第2情報64は解析データ入力部202に入力されると共に、機械学習用訓練データDB104bに記憶される。処理部20Aは、解析部203において疾患の解析を行い、解析結果83を出力部27に出力する。
図16に示す各機能ブロックを用いて説明すると、ステップS21及びS22の処理は、解析用データ生成部201が行う。ステップS23、S24、S25及びS27の処理は、解析用データ入力部202が行う。ステップS26の処理は、解析部203が行う。
(疾患解析処理1)
図16を用いて、処理部20Aが行う解析対象画像78から、解析結果83を出力するまでの第1の疾患解析処理の例を説明する。第1の疾患解析処理は、第1情報又は第2情報から解析結果83を出力する。
はじめに、処理部20Aは、解析用画像78を取得する。解析用画像78の取得は、ユーザの操作によって、撮像装置400から取り込まれるか、記録媒体98から取り込まれるか、ネットワーク経由でI/F部25を介して行われる。
ステップS21において、図10に示すステップS11と同様に、取得された解析用画像78を輝度Y、第1の色相Cb及び第2の色相Crに変換し、上記解析データの生成方法で説明した手順に従い色調ベクトルデータ80を生成する。
次に、ステップS22において、処理部20Aは、色調ベクトルデータ80から、上記解析データの生成方法で説明した手順に従い解析データ81を生成する。
次に、ステップS23において、処理部20Aは、アルゴリズムデータベース105に格納されている第1の深層学習アルゴリズム又は第2の深層学習アルゴリズムを取得する。
次に、ステップS24において、処理部20Aは、解析データ81を第1の深層学習アルゴリズムを構成する第1のニューラルネットワーク60に入力する。処理部20Aは、上記疾患の解析方法で述べた手順に従い、第1のニューラルネットワーク60から、出力された特徴量を第2のニューラルネットワーク61に入力し、第2のニューラルネットワーク61から、異常所見の種類の識別結果を出力する。処理部20Aは、この識別結果をメモリ22又は記憶部23に記憶する。或いは、ステップS24において、処理部20Aは、解析データ81を第2の深層学習アルゴリズムを構成する第1のニューラルネットワーク60に入力する。処理部20Aは、上記疾患の解析方法で述べた手順に従い、第1のニューラルネットワーク60から、出力された特徴量を第2のニューラルネットワーク62に入力し、第2のニューラルネットワーク62から、細胞の種類の識別結果を出力する。処理部20Aは、この識別結果をメモリ22又は記憶部23に記憶する。
ステップS25において、処理部20Aは、はじめに取得した解析用画像78を全て識別したかを判断する。全ての解析用画像78の識別が終わっている(YES)の場合には、ステップS26へ進み、細胞の種類の識別結果から第1情報63を生成するか又は細胞の種類の識別結果から第2情報を生成する。全ての解析用画像78の識別が終わっていない(NO)の場合には、ステップS27に進み、まだ識別を行っていない解析用画像78に対して、ステップS21からステップS25の処理を行う。
次に、ステップS28において、処理部20Aは、機械学習アルゴリズム67を取得する。続いてステップS29において、処理部20Aは、機械学習アルゴリズム67に第1情報又は第2情報を入力する。
最後に、ステップS30において、処理部20Aは、解析結果83を疾患名又は疾患名に紐付けられたラベル値として出力部27に出力する。
(疾患解析処理2)
図17を用いて、処理部20Aが行う解析対象画像78から、解析結果83を出力するまでの第2の疾患解析処理の例を説明する。第2の疾患解析処理は、第1情報及び第2情報から解析結果83を出力する。
はじめに、処理部20Aは、解析用画像78を取得する。解析用画像78の取得は、ユーザの操作によって、撮像装置400から取り込まれるか、記録媒体98から取り込まれるか、ネットワーク経由でI/F部25を介して行われる。
ステップS121において、図10に示すステップS11と同様に、取得された解析用画像78を輝度Y、第1の色相Cb及び第2の色相Crに変換し、上記解析データの生成方法で説明した手順に従い色調ベクトルデータ80を生成する。
次に、ステップS122において、処理部20Aは、色調ベクトルデータ80から、上記解析データの生成方法で説明した手順に従い解析データ81を生成する。
次に、ステップS123において、処理部20Aは、アルゴリズムデータベース105に格納されている第1の深層学習アルゴリズム及び第2の深層学習アルゴリズムを取得する。
次に、ステップS124において、処理部20Aは、解析データ81を第1の深層学習アルゴリズムを構成する第1のニューラルネットワーク60に入力する。処理部20Aは、上記疾患の解析方法で述べた手順に従い、第1のニューラルネットワーク60から、出力された特徴量を第2のニューラルネットワーク61に入力し、第2のニューラルネットワーク61から、異常所見の種類の識別結果を出力する。処理部20Aは、この識別結果をメモリ22又は記憶部23に記憶する。また、ステップS124において、処理部20Aは、解析データ81を第2の深層学習アルゴリズムを構成する第1のニューラルネットワーク60に入力する。処理部20Aは、上記疾患の解析方法で述べた手順に従い、第1のニューラルネットワーク60から、出力された特徴量を第2のニューラルネットワーク62に入力し、第2のニューラルネットワーク62から、細胞の種類の識別結果を出力する。処理部20Aは、この識別結果をメモリ22又は記憶部23に記憶する。
ステップS125において、処理部20Aは、はじめに取得した解析用画像78を全て識別したかを判断する。全ての解析用画像78の識別が終わっている(YES)の場合には、ステップS126へ進み、細胞の種類の識別結果から第1情報63を生成し、かつ細胞の種類の識別結果から第2情報を生成する。全ての解析用画像78の識別が終わっていない(NO)の場合には、ステップS127に進み、まだ識別を行っていない解析用画像78に対して、ステップS121からステップS125の処理を行う。
次に、ステップS128において、処理部20Aは、機械学習アルゴリズム67を取得する。続いてステップS129において、処理部20Aは、機械学習アルゴリズム67に第1情報及び第2情報を入力する。
最後に、ステップS130において、処理部20Aは、解析結果83を疾患名又は疾患名に紐付けられたラベル値として出力部27に出力する。
<コンピュータプログラム>
ステップS21~S30又はステップS121~S130の処理をコンピュータに実行させる、疾患解析を補助するためのコンピュータプログラムについて説明する。コンピュータプログラムは、ステップS11からS17及びステップS111からS115の処理をコンピュータに実行させる、機械学習アルゴリズムの訓練するためのプログラム、又はステップS11からS17及びステップS1111からS1115の処理をコンピュータに実行させる、機械学習アルゴリズムの訓練するためのプログラムを含んでいてもよい。
さらに、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品について説明する。前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に記憶される。前記記憶媒体へのプログラムの記憶形式は、前記処理部が前記プログラムを読み取り可能である限り制限されない。前記記憶媒体への記憶は、不揮発性であることが好ましい。
[疾患解析システム2]
<疾患解析システム2の構成>
疾患解析システムの別の態様について説明する。図18に第2の疾患解析システム2の構成例を示す。疾患解析システム2は、ユーザ側装置200を備え、ユーザ側装置200が、統合型の疾患解析装置200Bとして動作する。疾患解析装置200Bは、例えば汎用コンピュータで構成されており、上記疾患解析システム1で説明した深層学習処理及び疾患解析処理の両方の処理を行う。つまり、疾患解析システム2は、ユーザ側で深層学習及び疾患解析を行う、スタンドアロン型のシステムである。第2の疾患解析システムは、ユーザ側に設置された統合型の疾患解析装置200Bが、訓練装置100A及び疾患解析装置200Aの両方の機能を担う。
図18において、疾患解析装置200Bは撮像装置400に接続されている。撮像装置400は、深層学習処理時には、訓練用画像70を撮像し、疾患解析処理時には、解析対象画像78を撮像する。
<ハードウェア構成>
疾患解析装置200Bのハードウェア構成は、図9に示すユーザ側装置200のハードウェア構成と同様である。
<機能ブロック及び処理手順>
図19に、疾患解析装置200Bの機能ブロック図を示す。疾患解析装置200Bの処理部20Bは、深層学習用訓練データ生成部101と、深層学習用訓練データ入力部102と、深層学習用アルゴリズム更新部103と、機械学習用訓練データ生成部101a,bと、機械学習用訓練データ入力部102a,bと、機械学習用アルゴリズム更新部103a,bと、解析用データ生成部201と、解析用データ入力部202と、解析部203とを備える。
疾患解析装置200Bの処理部20Bは、深層学習処理時には、図9に示す処理を行い、機械学習時には、図13又は図14の処理を行い、疾患解析処理時には、図16又は図17に示す処理を行う。図19に示す各機能ブロックを用いて説明すると、深層学習処理時には、図9のステップS11、S12、S16及びS17の処理を、深層学習用訓練データ生成部101が行う。図9のステップS13の処理は、深層学習用訓練データ入力部102が行う。図9のステップS14の処理は、深層学習用アルゴリズム更新部103が行う。機械学習処理時には、図13のステップS111、S112、S114及びS115の処理は、機械学習用訓練データ生成部101aが行う。ステップS113の処理は、機械学習用訓練データ入力部102aが行う。或いは、機械学習時には、図14のステップS1111、S1112、S1114及びS1115の処理は、機械学習用訓練データ生成部101bが行う。図14のステップS1113の処理は、機械学習用訓練データ入力部102が行う。疾患解析処理時には、図16のステップS21及びS22の処理は、解析用データ生成部201が行う。図16のステップS21及びS22の処理は、解析用データ生成部201が行う。図16のステップS23、S24、S25及びS27の処理は、解析用データ入力部202が行う。図16のステップS26の処理は、解析部203が行う。或いは、図17のステップS121及びS122の処理は、解析用データ生成部201が行う。図17のステップS123、S124、S125及びS127の処理は、解析用データ入力部202が行う。図16のステップS126の処理は、解析部203が行う。
疾患解析装置200Bが行う深層学習処理の手順及び疾患解析処理の手順は、訓練装置100A及び疾患解析装置200Aがそれぞれ行う手順と同様である。但し、疾患解析装置200Bは、訓練画像70を撮像装置400から取得する。
疾患解析装置200Bでは、ユーザが、識別器の識別精度を確認することができる。万が一識別器の識別結果がユーザの画像観察による識別結果と異なる場合には、解析データ81を訓練データ78として、ユーザの画像観察による識別結果をラベル値77として、第1の深層学習アルゴリズムと第2の深層学習アルゴリズムを訓練し治すことができる。このようにすることにより、第1のニューラルネットワーク50及び第1のニューラルネットワーク51の訓練効率をより向上することができる。
[疾患解析システム3]
<疾患解析システム3の構成>
疾患解析システムの別の態様について説明する。図20に第3の疾患解析システム3の構成例を示す。疾患解析システム3は、ベンダ側装置100と、ユーザ側装置200とを備える。ベンダ側装置100は、処理部10(10B)と、入力部16と、出力部17とを備える。ベンダ側装置100は統合型の疾患解析装置100Bとして動作し、ユーザ側装置200は端末装置200Cとして動作する。疾患解析装置100Bは、例えば汎用コンピュータで構成されており、上記疾患解析システム1で説明した深層学習処理及び疾患解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置200Cは、例えば汎用コンピュータで構成されており、ネットワーク99を通じて、解析対象の画像を疾患解析装置100Bに送信し、ネットワーク99を通じて、解析結果の画像を疾患解析装置100Bから受信する。
疾患解析システム3は、ベンダ側に設置された統合型の疾患解析装置100Bが、訓練装置100A及び疾患解析装置200Aの両方の機能を担う。一方、第3の疾患解析システムは、端末装置200Cを備え、解析用画像78の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置200Cに提供する。つまり、第3の疾患解析システムは、深層学習処理及び疾患解析処理を行うベンダ側が、解析用画像78をユーザ側に提供する入力インタフェースと、解析結果83をユーザ側に提供する出力インタフェースを、クラウドサービス型のシステムである。入力インタフェースと出力インタフェースは一体化されていてもよい。
疾患解析装置100Bは撮像装置300に接続されており、撮像装置300によって撮像される、訓練用画像70を取得する。
端末装置200Cは撮像装置400に接続されており、撮像装置400によって撮像される、解析対象画像78を取得する。
<ハードウェア構成>
疾患解析装置100Bのハードウェア構成は、図7に示すベンダ側装置100のハードウェア構成と同様である。端末装置200Cのハードウェア構成は、図8に示すユーザ側装置200のハードウェア構成と同様である。
<機能ブロック及び処理手順>
図21に、疾患解析装置100Bの機能ブロック図を示す。疾患解析装置100Bの処理部10Bは、深層学習用訓練データ生成部101と、深層学習用訓練データ入力部102と、深層学習用アルゴリズム更新部103と、機械学習用訓練データ生成部101a,bと、機械学習用訓練データ入力部102a,bと、機械学習用アルゴリズム更新部103a,bと、解析用データ生成部201と、解析用データ入力部202と、解析部203とを備える。
疾患解析装置200Bの処理部20Bは、深層学習処理時には、図9に示す処理を行い、機械学習時には、図13又は図14の処理を行い、疾患解析処理時には、図16又は図17に示す処理を行う。図19に示す各機能ブロックを用いて説明すると、深層学習処理時には、図9のステップS11、S12、S16及びS17の処理を、深層学習用訓練データ生成部101が行う。図9のステップS13の処理は、深層学習用訓練データ入力部102が行う。図9のステップS14の処理は、深層学習用アルゴリズム更新部103が行う。機械学習処理時には、図13のステップS111、S112、S114及びS115の処理は、機械学習用訓練データ生成部101aが行う。ステップS113の処理は、機械学習用訓練データ入力部102aが行う。或いは、機械学習時には、図14のステップS1111、S1112、S1114及びS1115の処理は、機械学習用訓練データ生成部101bが行う。図14のステップS1113の処理は、機械学習用訓練データ入力部102が行う。疾患解析処理時には、図16のステップS21及びS22の処理は、解析用データ生成部201が行う。図16のステップS21及びS22の処理は、解析用データ生成部201が行う。図16のステップS23、S24、S25及びS27の処理は、解析用データ入力部202が行う。図16のステップS26の処理は、解析部203が行う。或いは、図17のステップS121及びS122の処理は、解析用データ生成部201が行う。図17のステップS123、S124、S125及びS127の処理は、解析用データ入力部202が行う。図16のステップS126の処理は、解析部203が行う。
疾患解析装置100Bが行う深層学習処理の手順及び疾患解析処理の手順は、訓練装置100A及び疾患解析装置200Aがそれぞれ行う手順と同様である。
処理部10Bは、解析対象画像78を、ユーザ側の端末装置200Cから受信し、図9に示すステップS11からS17にしたがって深層学習用訓練データ75を生成する。
図12に示すステップS26において、処理部10Bは、解析結果83を含む解析結果を、ユーザ側の端末装置200Cに送信する。ユーザ側の端末装置200Cでは、処理部20Cが、受信した解析結果を出力部27に出力する。
以上、端末装置200Cのユーザは、解析対象画像78を疾患解析装置100Bに送信することにより、解析結果83を取得することができる。
疾患解析装置100Bによると、ユーザは、訓練データデータベース104及びアルゴリズムデータベース105を訓練装置100Aから取得することなく、識別器を使用することができる。これにより、形態学的な分類に基づく細胞の種類及び細胞の特徴を識別するサービスを、クラウドサービスとして提供することができる。
[その他の形態]
本発明は上記形態に限定されるものではない。
上記形態では、色調を輝度Yと、第1の色相Cbと、第2の色相Crとに変換して深層学習用訓練データ75を生成する方法を例示しているが、色調の変換はこれに限定されない。色調を変換せずに、例えば、赤(R),緑(G),青(B)の3原色まま使用してもよい。或いは、前記原色からいずれか1つの色相を減らした2原色としてもよい。或いは、赤(R),緑(G),青(B)の3原色のいずれか1つ(例えば緑(G))のみの1原色としてもよい。シアン(C)、マゼンタ(M)、イエロー(Y)の3原色に変換してもよい。原色を例えば解析対象画像78も、赤(R),緑(G),青(B)の3原色のカラー画像に限定されず、2原色のカラー画像であってもよく、1以上の原色を含む画像であればよい。
上記訓練データの生成方法及び解析データの生成方法では、ステップS11において、処理部10A,20B,10Bは、訓練用画像70から色調行列72y,72cb,72crを生成しているが、訓練用画像70は輝度Yと、第1の色相Cbと、第2の色相Crとに変換された画像方法であってもよい。すなわち、処理部10A,20B,10Bは、輝度Yと、第1の色相Cbと、第2の色相Crとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。同様に、ステップS21において、処理部20A,20B,10Bは、解析対象画像78から色調行列72y,72cb,72crを生成しているが、処理部20A,20B,10Bは、輝度Yと、第1の色相Cbと、第2の色相Crとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。
RGB、CMY以外にも、YUV、及びCIE L等の種々のカラースペースを画像の取得及び色調の変換に用いることができる。
色調ベクトルデータ74及び色調ベクトルデータ80において、各画素について輝度Y、第1の色相Cb、第2の色相Crの順番で色調の情報が格納されているが、色調の情報の格納する順番及び取り扱う順番はこれに限定されない。但し色調ベクトルデータ74における色調の情報の並び順と、色調ベクトルデータ80における色調の情報の並び順とは同じであることが好ましい。
各場像解析システムにおいて、処理部10A,10Bは一体の装置として実現されているが、処理部10A,10Bは一体の装置である必要はなく、CPU11、メモリ12、記憶部13、GPU19等が別所に配置され、これらがネットワークで接続されていてもよい。処理部10A,10Bと、入力部16と、出力部17とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部20A,20B,20Cについても処理部10A,10Bと同様である。
上記疾患解析支援システムでは、深層学習用訓練データ生成部101、機械学習用訓練データ生成部101a,101b、深層学習用訓練データ入力部102、機械学習用訓練データ入力部102a,102b、深層学習用アルゴリズム更新部103、機械学習用アルゴリズム更新部103a,103b、解析用データ生成部201、解析用データ入力部202、及び解析部203の各機能ブロックは、単一のCPU11又は単一のCPU21において実行されているが、これら各機能ブロックは単一のCPUにおいて実行される必要は必ずしもなく、複数のCPUで分散して実行されてもよい。また、これら各機能ブロックは、複数のGPUで分散して実行されてもよいし、複数のCPUと複数のGPUとで分散して実行されてもよい。
上記疾患解析支援システムでは、図9及び図12で説明する各ステップの処理を行うためのプログラムを記憶部13,23に予め記録している。これに代えて、プログラムは、例えばDVD-ROMやUSBメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体98から処理部10B,20Bにインストールしてもよい。又は、処理部10B,20Bをネットワーク99と接続し、ネットワーク99を介して例えば外部のサーバ(図示せず)からプログラムをダウンロードしてインストールしてもよい。
各疾患解析システムにおいて、入力部16,26はキーボード又はマウス等の入力装置であり、出力部17,27は液晶ディスプレイ等の表示装置として実現されている。これに代えて、入力部16,26と出力部17,27とを一体化してタッチパネル式の表示装置として実現してもよい。又は、出力部17,27をプリンター等で構成してもよい。
上記各疾患解析システムでは、撮像装置300は、訓練装置100A又は疾患解析装置100Bと直接接続されているが、撮像装置300は、ネットワーク99を介して訓練装置100A又は疾患解析装置100Bと接続されていてもよい。撮像装置400についても同様に、撮像装置400は、疾患解析装置200A又は疾患解析装置200Bと直接接続されているが、撮像装置400は、ネットワーク99を介して疾患解析装置200A又は疾患解析装置200Bと接続されていてもよい。
[識別器の効果]
<深層学習アルゴリズム及び機械学習アルゴリズムの訓練>
2017年から2018年の間に、順天堂大学病院において取得された、血液疾患を保有する被検者に由来する1,165の末梢血(PB)塗抹標本(骨髄異形成症候群(n = 94)、骨髄増殖性腫瘍(n = 127)、急性骨髄性白血病(n = 38)、急性リンパ芽球性白血病(n = 27)、悪性リンパ腫(n = 324)、多発性骨髄腫(n = 82)、非腫瘍性の血液疾患(n = 473))を含む合計3,261の末梢血(PB)塗抹標本を評価に用いた。PB塗抹標本スライドは、塗抹標本作製装置SP-10(シスメックス株式会社製)を用いMay Grunwald-Giemsaで染色して作成した。PB塗抹標本スライドを、血液像自動分析装置 DI-60(シスメックス株式会社製)を用い、合計703,970個のデジタル化細胞画像を取得した。画像から、上記深層学習用の訓練データの生成方法に従って深層学習用の訓練データ75を生成した。
第1のコンピュータアルゴリズムとして深層学習アルゴリズムを使用した。深層学習アルゴリズムは、第1のニューラルネットワークとしてConvolutional Neural Network(CNN)を使用し、第2のニューラルネットワークとしてFully Connected Neural Network(FCNN)を使用し、細胞の種類及び異常所見の種類の識別を行った。
第2のコンピュータアルゴリズムとして、機械学習アルゴリズムであるExtreme Gradient Boosting(EGB)を使用し、疾患の自動解析支援システムを構築した。
図22に実施例で使用した識別器の構成を示す。細胞の種類と異常所見の種類を同時に検出するために、深層学習アルゴリズムを体系化した。
この深層学習アルゴリズムは「CNNモジュール」と「FCNNモジュール」の2つの主要モジュールから構成される。CNNモジュールは、DI-60で撮影された画像から色調ベクトルデータで表された特徴を抽出する。FCNNモジュールは、CNNモジュールから抽出された特徴を分析し、細胞や核の大きさや形、細胞質の画像パターンなどの97種の異常所見の特徴と共に17種の細胞の種類に細胞画像を分類する。
「CNNモジュール」は、2つのサブモジュールから構成されている。最初の(上流の)サブモジュールは3つの合同ブロックを持ち、各ブロックはいくつかの畳み込みネットワーク層からなる2つの並列経路を持つ。これらの層の積み重ねは、入力画像データ及び出力パラメータから次のブロックへの特徴の抽出を最適化する。2番目(下流)のサブモジュールには8つの連続ブロックがある。各ブロックには、1系列のたたみ込み層と、たたみ込み成分を含まない1つの経路からなる2つのパラレル経路がある。これをResidual Network(ResNet)と呼ぶ。このResNetはシステムの飽和を防ぐためのバッファとして機能する。
分離可能畳み込み、例外ベースの畳み込み層(Conv 2D)、バッチ正規化層(BN)、及びアクティブ化層(ACT)の各層には異なる役割がある。分離可能畳み込みは、Xceptionと呼ばれる変形型の畳み込みである。Conv 2Dは、特徴を抽出し、画像を処理して「特徴マップ」を形成する際にパラメータを最適化するニューラルネットワークの主要構成要素である。Conv 2D及びBNの2つの層に続くACTは整流型リニアユニット(ReLU)である。第1のサブモジュールは、特徴マップを作成するために8つの連続した類似のブロックからなる第2のサブモジュールに接続される。逆伝播による重量の効果的な計算につながる、深層の予期せぬ飽和を回避するために、Conv 2Dが2番目のモジュールでバイパスする。上記のディープコンボリューションニューラルネットワークアーキテクチャはKerasとTensorflowとのバックエンドで実装した。
第1のコンピュータアルゴリズムにより識別された17種の細胞の種類の識別結果と、97種の細胞の種類毎の異常所見の種類の識別結果を機械学習アルゴリズムの訓練のために使用した。細胞の種類毎の異常所見の種類の識別の際、好中球は、分葉核好中球と桿状核好中球は区別せずに異常所見と結びつけた。また、図3に示す異常所見のうち、「その他の異常」、「偽Chediak-Higashi顆粒様」、血小板の「その他異常(凝集含む)」の項目は解析からは除外した。XGBoostには、細胞の種類毎の異常所見の種類の識別結果から第1情報を生成し、細胞の種類の識別結果から第2情報を生成し、入力した。
深層学習アルゴリズムをトレーニングするために、703,970個のデジタル化された細胞画像をトレーニングデータセット用の695,030画像と検証データセット用の8,940画像に分割した。
システムの構築のため89例の骨髄異形成症候群(MDS)症例と43例の再生不良性貧血(AA)症例の末梢血の細胞をトレーニングに使用した。次に、26人のMDS患者と11人のAA患者から得られたPB塗抹標本画像を使用し、EGBベースの疾患の自動解析支援システムを検証した。
訓練に用いる細胞の識別は、臨床検査基準協会(CLSI)H20-A2ガイドラインの形態学的基準及び2016年に改訂されたWHOの骨髄性腫瘍と急性白血病の分類に従って、2人の委員会認定血液検査技師及び1人の上級血液病理学者によって行った。訓練データセットを17の細胞型及び97の異常所見の種類に分類した。
図23に、訓練及び試験用の細胞画像の種類及び数を示す。
訓練後、評価データセットを使用して第1のコンピュータアルゴリズムのパフォーマンスを評価した。図24に、訓練された第1のコンピュータアルゴリズムによる細胞の種類の識別結果の精度を示す。ROC曲線によって計算した感度(Sensitivity)及び特異度(Specificity)は良好であった。
図25に、訓練された第1のコンピュータアルゴリズムによる異常所見の種類の識別結果の精度を示す。ROC曲線によって計算した、感度(Sensitivity)、特異度(Specificity)及びAUCは良好であった。
したがって、訓練された第1のコンピュータアルゴリズムの識別精度は良好であることが示された。
次に、識別器を使用して、MDSとAAの鑑別を行った。図26は、細胞の種類毎の異常所見の種類の寄与度をSHAP値のヒートマップとして表した図である。図26に示すヒートマップの列はそれぞれ一人の患者の試料に対応し、行は細胞の種類毎の異常所見に対応する。左端の1列目から26列目までの患者がMDS患者に対応し、27列目から右端の37列目までの患者がAA患者に対応する。検出率の高低がヒートマップの濃淡で表現されている。図26から、MDS患者の好中球における異常な脱顆粒及び好酸球の異常顆粒の検出率、並びに巨大血小板の検出率はAA患者より有意に高いことが分かる。
図27に、MDSとAAの鑑別診断における識別器の精度を評価した結果を示す。評価は、ROC曲線によって計算した、感度、特異度及びAUCにより行った。識別器の感度(Sensitivity)と特異度(Specificity)はそれぞれ96.2%と100%で、ROC曲線のAUCは0.990であり、MDSとAAの鑑別診断における高い精度が示された。
上述した識別器が、疾患の解析の支援に有用であることが示された。
200 疾患解析の支援装置
20 処理部
60 第1のニューラルネットワーク
61 第2のニューラルネットワーク
62 第2のニューラルネットワーク
67 機械学習アルゴリズム
55 疾患情報
53 異常所見の種類に関する情報
54 細胞の種類に関する情報
81 解析データ

Claims (19)

  1. 被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の種類と異常所見を識別し、識別結果に基づいて、前記試料に対応する細胞の種類毎の異常所見に関する情報を取得し、
    前記細胞の種類毎の異常所見に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、
    ことを含む、疾患解析を支援するための方法。
  2. 前記細胞の種類毎の異常所見に関する情報は、細胞の種類毎の細胞数に関する情報と、異常所見の種類毎の細胞数に関する情報とを含む、請求項に記載の方法。
  3. 前記各解析対象の細胞の種類と異常所見を識別する工程では、各解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク構造を有する深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって、各解析対象の細胞の種類と異常所見を識別する、
    請求項1又は2に記載の方法。
  4. 前記コンピュータアルゴリズムが、機械学習アルゴリズムであり、
    前記被検体が保有する疾患の解析は、前記細胞の種類毎の異常所見に関する情報を特徴量として前記機械学習アルゴリズムに入力することにより行われる、請求項1からのいずれか一項に記載の方法。
  5. 前記機械学習アルゴリズムが、木、回帰、ニューラルネットワーク、ベイズ、クラスタリング、又はアンサンブル学習から選択される、請求項に記載の方法。
  6. 前記機械学習アルゴリズムが、勾配ブースティング木である、請求項に記載の方法。
  7. 前記細胞の種類毎の異常所見に関する情報を取得する工程では、各解析対象の細胞が複数の細胞の種類毎の異常所見のそれぞれに属する確率を求め、前記細胞の種類毎の異常所見の前記確率の総和を算出し、前記総和を前記細胞の種類毎の異常所見に関する情報として取得する、請求項1からのいずれか一項に記載の方法。
  8. 前記試料が、血液試料である、請求項1からのいずれか一項に記載の方法。
  9. 前記疾患が、造血系疾患である、請求項1からのいずれか一項に記載の方法。
  10. 前記造血系疾患が、再生不良性貧血又は骨髄異形成症候群である、
    請求項に記載の方法。
  11. 前記異常所見が、核形態異常、顆粒異常、細胞の大きさ異常、細胞奇形、細胞破壊、空砲、幼若細胞、封入体の存在、デーレ小体、衛星現象、核網異常、花弁様核、N/C比大、ブレッブ様、スマッジ及びヘアリー細胞様形態よりなる群から選択される少なくとも一種を含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記核形態異常が、過分葉、低分葉、偽ペルゲル核異常、輪状核、球形核、楕円形核、アポトーシス、多核、核崩壊、脱核、裸核、核辺縁不整、核断片化、核間橋、複数核、切れ込み核、核***及び核小体異常から選択される少なくとも一種を含み、
    前記顆粒異常が、脱顆粒、顆粒分布異常、中毒性顆粒、アウエル小体、ファゴット細胞、及び偽Chediak-Higashi顆粒様顆粒から選択される少なくとも一種を含み、
    前記細胞の大きさ異常が、巨大血小板を含む、
    請求項11に記載の方法。
  13. 前記細胞の種類が、好中球、好酸球、血小板、リンパ球、単球、及び好塩基球から選択される少なくとも一種を含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記細胞の種類が、さらに、後骨髄球、骨髄球、前骨髄球、芽球、形質細胞、異型リンパ球、幼若好酸球、幼若好塩基球、赤芽球、及び巨核球から選択される少なくとも一種を含む、請求項13に記載の方法。
  15. 疾患解析を支援するための装置であって、
    処理部を備え、
    前記処理部は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の種類と異常所見を識別し、識別結果に基づいて、前記試料に対応する細胞の種類毎の異常所見に関する情報を取得し、
    前記細胞の種類毎の異常所見に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析する、
    装置。
  16. 被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の種類と異常所見を識別し、識別結果に基づいて、前記試料に対応する細胞の種類毎の異常所見に関する情報を取得するステップと、
    前記細胞の種類毎の異常所見に関する情報に基づき、コンピュータアルゴリズムによって、前記被検体が保有する疾患を解析するステップと、
    をコンピュータに実行させる、疾患解析を支援するためのプログラム。
  17. 疾患解析を支援するためのコンピュータアルゴリズムの訓練方法であって、
    被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の種類と異常所見を識別し、識別結果に基づいて、前記試料に対応する細胞の種類毎の異常所見に関する情報を取得し、
    取得した前記細胞の種類毎の異常所見に関する情報を第1の訓練データとし、前記被検体の疾患情報を第2の訓練データとして、前記コンピュータアルゴリズムに入力することを含む、訓練方法。
  18. 疾患解析を支援するためのコンピュータアルゴリズムの訓練装置であって、
    処理部を備え、
    前記処理部は、被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の種類と異常所見を識別し、識別結果に基づいて、前記試料に対応する細胞の種類毎の異常所見に関する情報を取得し、取得した前記細胞の種類毎の異常所見に関する情報を第1の訓練データとし、前記被検体の疾患情報を第2の訓練データとして、前記コンピュータアルゴリズムに入力する、訓練装置。
  19. 疾患解析を支援するためのコンピュータアルゴリズムの訓練プログラムであって、
    被検体から採取した試料に含まれる複数の解析対象の細胞より取得された画像から、各解析対象の細胞の種類と異常所見を識別し、識別結果に基づいて、前記試料に対応する細胞の種類毎の異常所見に関する情報を取得するステップと、
    前記細胞の種類毎の異常所見に関する情報を第1の訓練データとし、前記被検体の疾患情報を第2の訓練データとして、コンピュータアルゴリズムに入力するステップと、をコンピュータに実行させる、訓練プログラム。
JP2019086363A 2019-04-26 2019-04-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム Active JP7381003B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019086363A JP7381003B2 (ja) 2019-04-26 2019-04-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
EP20171050.6A EP3731140A1 (en) 2019-04-26 2020-04-23 Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm
US16/857,495 US11978198B2 (en) 2019-04-26 2020-04-24 Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm
CN202010330384.9A CN111861975A (zh) 2019-04-26 2020-04-24 辅助疾病分析的方法、装置及计算机程序、以及训练计算机算法的方法、装置及程序
JP2023183746A JP2024010110A (ja) 2019-04-26 2023-10-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019086363A JP7381003B2 (ja) 2019-04-26 2019-04-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023183746A Division JP2024010110A (ja) 2019-04-26 2023-10-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020180954A JP2020180954A (ja) 2020-11-05
JP7381003B2 true JP7381003B2 (ja) 2023-11-15

Family

ID=70417433

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019086363A Active JP7381003B2 (ja) 2019-04-26 2019-04-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
JP2023183746A Pending JP2024010110A (ja) 2019-04-26 2023-10-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023183746A Pending JP2024010110A (ja) 2019-04-26 2023-10-26 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム

Country Status (4)

Country Link
US (1) US11978198B2 (ja)
EP (1) EP3731140A1 (ja)
JP (2) JP7381003B2 (ja)
CN (1) CN111861975A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11621058B2 (en) * 2018-02-08 2023-04-04 Ohio State Innovation Foundation Synthetic IHC-stained digital sides generated using artificial neural networks
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
US11126890B2 (en) * 2019-04-18 2021-09-21 Adobe Inc. Robust training of large-scale object detectors with a noisy dataset
JP7381003B2 (ja) 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
CN112491854B (zh) * 2020-11-19 2022-12-09 郑州迪维勒普科技有限公司 一种基于fcnn的多方位安全入侵检测方法及***
CN112432948A (zh) * 2020-12-03 2021-03-02 中国人民解放军陆军军医大学第二附属医院 一种外周血细胞形态学自动检测方法
AU2021404160A1 (en) * 2020-12-14 2023-08-10 Sicong TAN Intelligent multi-data fusion disease-identifying method
CN112749277B (zh) * 2020-12-30 2023-08-04 杭州依图医疗技术有限公司 医学数据的处理方法、装置及存储介质
EP4060318A1 (en) * 2021-03-12 2022-09-21 Sysmex Corporation Analysis method and analyzer
CN113113132A (zh) * 2021-03-25 2021-07-13 华南理工大学 一种基于深度卷积神经网络的先天性巨结肠及同源病的诊断方法
CN113034479B (zh) * 2021-03-31 2022-06-03 武汉智博见微医疗科技有限公司 Aa、mds、ma的分类方法、设备及可读存储介质
CN113408480B (zh) * 2021-07-13 2022-09-30 上海交通大学医学院附属瑞金医院 基于骨髓细胞形态学的血液疾病人工智能辅助诊断***
WO2023017843A1 (ja) * 2021-08-12 2023-02-16 学校法人 久留米大学 診断装置、情報取得方法及びプログラム
WO2023147177A1 (en) * 2022-01-31 2023-08-03 Bostongene Corporation Machine learning techniques for cytometry
CN114678121B (zh) * 2022-05-30 2022-09-09 上海芯超生物科技有限公司 一种hp球形变诊断模型的构建方法及***
WO2024083853A1 (en) * 2022-10-19 2024-04-25 F. Hoffmann-La Roche Ag Detection of abnormality in specimen image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008533440A (ja) 2005-02-01 2008-08-21 アムニス コーポレイション イメージングフローサイトメータを使用した血液及び細胞の分析
US20180211380A1 (en) 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
WO2019039595A1 (ja) 2017-08-25 2019-02-28 学校法人東京医科大学 子宮頸部の細胞診カテゴリーの推定装置および推定方法

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69630935T2 (de) * 1995-09-29 2004-11-04 Koninklijke Philips Electronics N.V. Bilverarbeitungsverfahren und -vorrichtung zur automatischen Erfassung von Bereichen eines vorbestimmten Krebstyps in einem Intensitätsbild
JPH10197522A (ja) 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
US7432051B2 (en) * 2000-11-30 2008-10-07 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Erythropoietin and erythropoietin receptor expression in human cancer
ES2372007T3 (es) * 2001-02-20 2012-01-12 Vysis, Inc. Métodos y sondas para la detección del cáncer.
US20020177574A1 (en) * 2001-04-20 2002-11-28 Taylor Hugh S. Endometrial gene therapy
US20080033253A1 (en) * 2005-10-13 2008-02-07 Neville Thomas B Computer-implemented integrated health systems and methods
EP1780651A1 (en) 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
US7805183B2 (en) * 2006-06-22 2010-09-28 Wisconsin Alumni Research Foundation Stromal collagen in the diagnosis and characterization of breast cancer
US7776827B2 (en) * 2007-07-27 2010-08-17 Immuneregen Biosciences, Inc. Method of using substance P analogs for treatment amelioration of myelodysplastic syndrome
JP5181385B2 (ja) 2007-08-16 2013-04-10 国立大学法人名古屋大学 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
JP5816416B2 (ja) 2010-04-23 2015-11-18 国立大学法人名古屋大学 細胞評価装置、インキュベータ、プログラム、および、培養方法
US8628972B2 (en) 2011-01-11 2014-01-14 The Regents Of The University Of California Microfluidic devices and methods for malaria detection
US9589099B2 (en) * 2011-07-21 2017-03-07 The Chinese University Of Hong Kong Determination of gene expression levels of a cell type
CN102952854B (zh) * 2011-08-25 2015-01-14 深圳华大基因科技有限公司 单细胞分类和筛选方法及其装置
EP2570970A1 (en) * 2011-09-16 2013-03-20 Technische Universität Berlin Method and system for the automatic analysis of an image of a biological sample
BR112013032938B1 (pt) 2011-09-16 2021-06-29 Ave Science & Technology Co., Ltd Dispositivo e métodos para realizar análise morfológica para eritrócitos
IN2014DN07019A (ja) * 2012-01-24 2015-04-10 Pfizer
US20140017717A1 (en) 2012-05-31 2014-01-16 Auxogyn, Inc. In vitro embryo blastocyst prediction methods
EP2895995A4 (en) * 2012-09-13 2016-06-08 Univ Toronto SYSTEM AND METHOD FOR COUNTING FETALS AND MATERNAL ERYTHROCYTES
US9830502B2 (en) 2013-10-28 2017-11-28 Dh Technologies Development Pte. Ltd. Method and system for classifying and identifying individual cells in a microscopy image
CN103745210B (zh) 2014-01-28 2018-02-06 爱威科技股份有限公司 一种白细胞分类方法及装置
AU2015261891A1 (en) 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
JP6503382B2 (ja) 2014-06-16 2019-04-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 血液学用デジタルホログラフィ顕微鏡検査データ分析
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
WO2016049291A1 (en) 2014-09-25 2016-03-31 Epic Sciences, Inc. Circulating tumor cell diagnostics for identification of resistance to androgen receptor targeted therapies
WO2016050755A2 (en) * 2014-09-29 2016-04-07 Biosurfit S.A. Cell counting
CN104732524B (zh) 2015-02-07 2018-12-14 迈克医疗电子有限公司 血液白细胞显微图像的随机权网络分割方法
US10304188B1 (en) * 2015-03-27 2019-05-28 Caleb J. Kumar Apparatus and method for automated cell analysis
WO2016189469A1 (en) * 2015-05-25 2016-12-01 Adarsh Natarajan A method for medical screening and a system therefor
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
CA3220119A1 (en) 2016-03-07 2017-09-14 X-Zell Inc. Compositions and methods for identifying rare cells
JP7075126B2 (ja) * 2016-06-10 2022-05-25 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 画像ベースの細胞分取システムおよび方法
WO2018005820A1 (en) * 2016-06-29 2018-01-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder
CN106127255B (zh) * 2016-06-29 2020-01-10 深圳先进技术研究院 一种癌症数字病理细胞图像的分类***
TWI733927B (zh) * 2016-11-01 2021-07-21 日商倉敷紡績股份有限公司 細胞測定方法
US20180157972A1 (en) * 2016-12-02 2018-06-07 Apple Inc. Partially shared neural networks for multiple tasks
DE112017006136T5 (de) * 2016-12-05 2019-08-22 Avigilon Corporation System und Verfahren zur CNN-Schichtenteilung
US10438096B2 (en) * 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US10134131B1 (en) 2017-02-15 2018-11-20 Google Llc Phenotype analysis of cellular image data using a deep metric network
CN110337644A (zh) * 2017-02-23 2019-10-15 谷歌有限责任公司 用于辅助病理学家标识放大的组织图像中的肿瘤细胞的方法和***
US10360499B2 (en) * 2017-02-28 2019-07-23 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
JP6979278B2 (ja) * 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
EP3616160A4 (en) * 2017-04-25 2021-04-21 The University of Chicago CELL ANALYSIS
JP7030423B2 (ja) 2017-04-27 2022-03-07 シスメックス株式会社 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
US10650520B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
JP6729516B2 (ja) * 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
US10935773B2 (en) * 2017-08-09 2021-03-02 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
US20190050534A1 (en) * 2017-08-14 2019-02-14 uBiome, Inc. Disease-associated microbiome characterization process
US10546387B2 (en) * 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
KR20190055610A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 뉴럴 네트워크 모델들의 공용 연산 그룹을 단일 처리하는 뉴럴 네트워크 시스템, 이를 포함하는 애플리케이션 프로세서 및 뉴럴 네트워크 시스템의 동작방법
US11861475B2 (en) * 2017-11-17 2024-01-02 Mayo Foundation For Medical Education And Research Methods for using machine learning and mechanistic models for biological feature mapping with multiparametric MRI
WO2019136253A1 (en) * 2018-01-05 2019-07-11 Visiongate, Inc. Morphometric genotyping of cells using optical tomography for detecting tumor mutational burden
WO2019139591A1 (en) * 2018-01-11 2019-07-18 Google Llc Method for creating histopathological ground truth masks using slide restaining
US11138737B2 (en) 2018-02-13 2021-10-05 Chung Yuan Christian University Method and apparatus for predicting cell reprogramming
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
AU2019244115A1 (en) * 2018-03-30 2020-11-19 Juno Diagnostics, Inc. Deep learning-based methods, devices, and systems for prenatal testing
WO2019208703A1 (ja) * 2018-04-26 2019-10-31 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
US10657420B2 (en) * 2018-07-17 2020-05-19 International Business Machines Corporation Modeling post-lithography stochastic critical dimension variation with multi-task neural networks
US20200152326A1 (en) * 2018-11-09 2020-05-14 International Business Machines Corporation Blood pathology image analysis and diagnosis using machine learning and data analytics
US10769784B2 (en) * 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
JP7381003B2 (ja) 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
US11195060B2 (en) * 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008533440A (ja) 2005-02-01 2008-08-21 アムニス コーポレイション イメージングフローサイトメータを使用した血液及び細胞の分析
US20180211380A1 (en) 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
WO2019039595A1 (ja) 2017-08-25 2019-02-28 学校法人東京医科大学 子宮頸部の細胞診カテゴリーの推定装置および推定方法

Also Published As

Publication number Publication date
JP2024010110A (ja) 2024-01-23
US20200340909A1 (en) 2020-10-29
JP2020180954A (ja) 2020-11-05
CN111861975A (zh) 2020-10-30
US11978198B2 (en) 2024-05-07
EP3731140A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
JP7381003B2 (ja) 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
VerMilyea et al. Development of an artificial intelligence-based assessment model for prediction of embryo viability using static images captured by optical light microscopy during IVF
Yan et al. Deep-learning-based prediction of late age-related macular degeneration progression
JP2023061956A (ja) 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
Haloi Improved microaneurysm detection using deep neural networks
CN109313724A (zh) 针对半导体应用并入神经网络及前向物理模型的***及方法
Meedeniya et al. Chest X-ray analysis empowered with deep learning: A systematic review
Chowdhury et al. Automated complete blood cell count and malaria pathogen detection using convolution neural network
JP2016528506A (ja) 分類を支援するための分析法
Ferlaino et al. Towards deep cellular phenotyping in placental histology
Davidson et al. Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks
Memeu A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images
CN112543934A (zh) 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析***
CN113449743A (zh) 一种煤尘颗粒特征提取方法
Acevedo et al. A new convolutional neural network predictive model for the automatic recognition of hypogranulated neutrophils in myelodysplastic syndromes
KR102500220B1 (ko) 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치
JP2023513022A (ja) 生体試料中のオブジェクトの体系的特性評価
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其***
Irmak A novel implementation of deep-learning approach on malaria parasite detection from thin blood cell images
Kakkar et al. Artificial intelligence-based approaches for detection and classification of different classes of malaria parasites using microscopic images: a systematic review
Ouchicha et al. A novel deep convolutional neural network model for Alzheimer’s disease classification using brain MRI
Khosla et al. Phase classification of chronic myeloid leukemia using convolution neural networks
US10235495B2 (en) Method for analysis and interpretation of flow cytometry data
Dave et al. A disector-based framework for the automatic optical fractionator
Semerjian et al. White blood cells classification using built-in customizable trained convolutional neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7381003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150