JP7383939B2 - Learning device, learning method, cell discrimination device, cell discrimination method, cell discrimination learning program, and cell discrimination program - Google Patents
Learning device, learning method, cell discrimination device, cell discrimination method, cell discrimination learning program, and cell discrimination program Download PDFInfo
- Publication number
- JP7383939B2 JP7383939B2 JP2019160467A JP2019160467A JP7383939B2 JP 7383939 B2 JP7383939 B2 JP 7383939B2 JP 2019160467 A JP2019160467 A JP 2019160467A JP 2019160467 A JP2019160467 A JP 2019160467A JP 7383939 B2 JP7383939 B2 JP 7383939B2
- Authority
- JP
- Japan
- Prior art keywords
- cell
- discrimination
- data
- cells
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000012850 discrimination method Methods 0.000 title claims description 9
- 210000004027 cell Anatomy 0.000 claims description 288
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 22
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000012503 blood component Substances 0.000 claims description 3
- 210000000265 leukocyte Anatomy 0.000 description 15
- 239000002609 medium Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 102000011782 Keratins Human genes 0.000 description 6
- 108010076876 Keratins Proteins 0.000 description 6
- 239000000306 component Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002073 fluorescence micrograph Methods 0.000 description 4
- 101000738771 Homo sapiens Receptor-type tyrosine-protein phosphatase C Proteins 0.000 description 3
- 102100037422 Receptor-type tyrosine-protein phosphatase C Human genes 0.000 description 3
- 210000005266 circulating tumour cell Anatomy 0.000 description 3
- 210000003743 erythrocyte Anatomy 0.000 description 3
- 238000012758 nuclear staining Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 102000007469 Actins Human genes 0.000 description 1
- 108010085238 Actins Proteins 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002612 dispersion medium Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 238000003125 immunofluorescent labeling Methods 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、学習済モデルを構築する学習装置および学習方法、学習済モデルを利用する細胞判別装置および細胞判別方法、ならびに細胞判別学習プログラムおよび細胞判別プログラムに関する。 The present invention relates to a learning device and a learning method for constructing a learned model, a cell discriminating device and a cell discriminating method that use the learned model, and a cell discriminating learning program and a cell discriminating program.
従来、細胞種の判別は、各種顕微鏡下で撮影した明視野像、位相差像、微分干渉像および免疫蛍光染色像等を目視することにより行われている。近年、目視によって判別を行うのみならず、例えば、非特許文献1に開示されているように、深層学習などの機械学習により判別モデルを構築し、これを用いた判別も行われてきている。
Conventionally, cell types have been determined by visually observing bright field images, phase contrast images, differential interference images, immunofluorescence staining images, etc. taken under various microscopes. In recent years, in addition to visual discrimination, a discrimination model has been constructed by machine learning such as deep learning, and discrimination has been performed using this model, as disclosed in Non-Patent
より精度の高い判別モデルの構築にあたっては、学習させるデータの数が多いほど有利とされている。一方で、例えば、学習用データにおいて分類ごとにデータ数が異なると、構築される判別モデルに偏りが生じるため、判別精度が低下する虞がある。そのため、通常は、もっともデータ数が少ない分類に数量を合せた学習用データを生成した上で学習を行う。したがって、機械学習ではすべての分類項目において、データ数を多く取得することが望まれる。 When building a discriminant model with higher accuracy, it is considered advantageous to have a larger amount of training data. On the other hand, for example, if the number of data differs for each classification in the learning data, the discriminant model that is constructed will be biased, so there is a risk that the discrimination accuracy will decrease. Therefore, learning is usually performed after generating training data whose quantity is matched to the classification with the least amount of data. Therefore, in machine learning, it is desirable to acquire a large amount of data for all classification items.
しかし、試料によっては、細胞の存在比に大きな偏りがあり、数多くデータを取得することが難しい場合がある。例えば、血中の細胞を分類するにあたっては、血中循環腫瘍細胞(以下、CTC)をはじめ、データの取得が難しい細胞種がある。血中にはCTC以外に、赤血球および白血球などの細胞、さらには細胞以外の成分が存在する。これらを機械学習によって分類しようとした場合、データ数は、最もデータ数が少ないCTCに合せることになる。その結果、少ないデータ量で機械学習を行うため、判別モデルの精度が低下するといった問題がある。 However, depending on the sample, there may be large deviations in the abundance ratio of cells, making it difficult to obtain a large amount of data. For example, when classifying cells in the blood, there are cell types for which it is difficult to obtain data, including circulating tumor cells (hereinafter referred to as CTCs). In addition to CTCs, blood contains cells such as red blood cells and white blood cells, as well as components other than cells. When attempting to classify these by machine learning, the number of data will be adjusted to the CTC with the smallest number of data. As a result, since machine learning is performed with a small amount of data, there is a problem that the accuracy of the discriminant model decreases.
そこで、本発明は上記の問題点に鑑みてなされたものであり、その目的は、細胞の種類を精度よく判別できる細胞判別装置および細胞判別方法、ならびにこれに用いられる学習済モデルを構築する学習装置および学習方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and its purpose is to provide a cell discrimination device and a cell discrimination method capable of accurately discriminating cell types, and a learning method for constructing a trained model used therein. The objective is to provide devices and learning methods.
本発明に係る学習装置は、上記課題を解決するために、細胞判別に用いられる学習済モデルを構築する学習装置であって、細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第1の学習済モデルを構築する第1学習部と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第2の教師データを用いた機械学習により、上記第1の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第1の学習済モデルとは異なる第2の学習済モデルを構築する第2学習部と、を備えている。 In order to solve the above-mentioned problems, a learning device according to the present invention is a learning device that constructs a trained model used for cell discrimination, and includes first training data including data indicating cells and data indicating non-cells. a first learning unit that constructs a first trained model for determining whether cells are cells or non-cells by machine learning using the method; and a plurality of types of data indicating mutually different types of cells; and the first learning for determining the type of cell of the data determined as a cell by the first trained model by machine learning using second training data that does not include data indicating non-cells. and a second learning section that constructs a second trained model different from the trained model.
本発明に係る細胞判別装置は、上記課題を解決するために、入力されたデータにおける細胞の種類を判別する細胞判別装置であって、上述の学習装置が構築した第1の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第1判別部と、上記第1判別部による判別結果が細胞を示す場合に、上記学習装置が構築した第2の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第2判別部と、上記第1判別部による判別結果が非細胞を示す場合には該判別結果を出力し、上記第1判別部による判別結果が細胞を示す場合には上記第2判別部による判別結果を出力する判別結果出力部とを備えている。 In order to solve the above problems, a cell discrimination device according to the present invention is a cell discrimination device that discriminates the type of cell in input data, and uses a first trained model constructed by the above learning device. a first discrimination section that discriminates whether the input data indicates cells or non-cells; a second discriminator that discriminates which type of cell the input data indicates using the trained model of No. 2, and a second discriminator that discriminates which type of cell the input data indicates; is equipped with a discrimination result output section that outputs the discrimination result, and outputs the discrimination result of the second discrimination section when the discrimination result by the first discrimination section indicates a cell.
また、本発明に係る学習方法は、上記課題を解決するために、細胞判別に用いられる学習済モデルを構築する学習方法であって、細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第1の学習済モデルを構築する第1学習工程と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第2の教師データを用いた機械学習により、第1の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第1の学習済モデルとは異なる第2の学習済モデルを構築する第2学習工程と、を含む。 Moreover, in order to solve the above-mentioned problem, the learning method according to the present invention is a learning method for constructing a trained model used for cell discrimination, and includes a first model including data indicating cells and data indicating non-cells. A first learning step in which a first trained model is constructed to determine whether cells are cells or non-cells by machine learning using training data, and multiple types of data indicating different types of cells are combined. The above-mentioned first method for determining the cell type of data that is determined to be a cell by the first trained model by machine learning using the second training data that includes the data and does not include data indicating non-cells. and a second learning step of constructing a second trained model different from the trained model.
また、本発明に係る細胞判別方法は、上記課題を解決するために、入力されたデータにおける細胞の種類を判別する細胞判別方法であって、データを入力するデータ入力工程と、上述の学習装置が構築した第1の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第1判別工程と、上記第1判別工程による判別結果が細胞を示す場合に、上記学習装置が構築した第2の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第2判別工程と、上記第1判別工程による判別結果が非細胞を示す場合には該判別結果を出力し、上記第1判別工程による判別結果が細胞を示す場合には上記第2判別工程による判別結果を出力する判別結果出力工程と、を含む構成である。 In addition, in order to solve the above problems, the cell discrimination method according to the present invention is a cell discrimination method that discriminates the type of cell in input data, and includes a data input step of inputting data, and the above-mentioned learning device. A first discrimination step in which the input data is determined to indicate cells or non-cells using the first trained model constructed by a second discrimination step of determining which type of cell the input data indicates using a second trained model constructed by the learning device; and a second discrimination step of determining which type of cell the input data indicates; a discrimination result output step of outputting the discrimination result when the discrimination result in the step indicates non-cells, and outputting the discrimination result in the second discrimination step when the discrimination result in the first discrimination step indicates cells; The configuration includes .
本発明によれば、画像中の細胞の種類を精度よく判別することができる判別モデルを生成することができる。 According to the present invention, it is possible to generate a discrimination model that can accurately discriminate the type of cells in an image.
〔細胞判別装置〕
以下、本発明の一実施形態について詳細に説明する。図1は、本実施形態に係る細胞判別装置1の概略構成の一例を示す機能ブロック図である。細胞判別装置1は、入力部10、主制御部20および表示部30を備えている。主制御部20には、判別部40、学習モデル50、学習部60および判別結果出力部70を備えている。判別部40は、第1判別部41および第2判別部42を備えている。また、学習部60は、細胞判別に用いられる学習済モデルを構築する学習装置として機能し、第1学習部61、第2学習部62および教師データ生成部63を備えている。学習モデル50には、第1学習済モデル51および第2学習済モデル52が含まれている。
[Cell discrimination device]
Hereinafter, one embodiment of the present invention will be described in detail. FIG. 1 is a functional block diagram showing an example of a schematic configuration of a
細胞判別装置1は、入力されたデータにおける細胞の種類を判別する装置である。以下の説明では、データとして画像データ(以下、単に画像という場合もある)を用いる場合を例にして説明する。
The
(入力部)
入力部10は、判別対象となる画像の入力を受け付けるものである。入力部10は、記憶媒体に記憶されたデータファイルを読み込むこと、または、有線または無線のネットワークを介して他の装置から画像を受信することによって、上述した画像の入力を受け付ける。入力部10は、受け付けた画像データを、主制御部20に送信する。
(input section)
The
(画像データ)
画像データは、分析試料中の細胞を撮像して得られた画像である。なお、細胞の撮像は、個々の細胞を一つずつ撮像したものに限らず、多数の細胞をアレイ上に整列させてアレイ全体またはその一部を撮像し、撮像後に画像を分割したものであってもよい。とりわけ、網羅的に処理して後で分割して個々の細胞画像を取得する場合には、細胞が含まれていない区画またはウェルを撮像した画像の比率が高くなる。以上から、画像としては、細胞の画像と、細胞以外の画像とに大別される。
(image data)
The image data is an image obtained by imaging cells in an analysis sample. Note that cell imaging is not limited to imaging individual cells one by one; it can also involve arranging a large number of cells on an array, imaging the entire array or a portion of it, and dividing the image after imaging. You can. Particularly, when performing comprehensive processing and later dividing to obtain individual cell images, the proportion of images taken of compartments or wells that do not contain cells increases. From the above, images can be broadly classified into images of cells and images of non-cells.
細胞の画像としては、分析試料中に存在し得る複数種類の細胞のうちの何れかの種類の細胞の画像である。非限定的な例示として、分析試料として血液に所定の処理を施した試料を使用する場合、これに存在し得る細胞として、白血球、サイトケラチン陽性血中循環腫瘍細胞およびサイトケラチン陰性血中循環腫瘍細胞等の血中成分が挙げられる。したがって、細胞の画像としては、白血球、サイトケラチン陽性血中循環腫瘍細胞およびサイトケラチン陰性血中循環腫瘍細胞の何れかの画像であり得る。 The image of the cell is an image of any type of cell among multiple types of cells that may exist in the analysis sample. As a non-limiting example, when a blood sample subjected to a certain treatment is used as an analysis sample, cells that may be present in the sample include leukocytes, cytokeratin-positive circulating tumor cells, and cytokeratin-negative circulating tumor cells. Examples include blood components such as cells. Therefore, the cell image may be an image of any of leukocytes, cytokeratin-positive circulating tumor cells, and cytokeratin-negative circulating tumor cells.
一方で、細胞以外の画像としては、ごみなどの細胞以外の物質が撮像された画像と、細胞および細胞以外の物質の何れも撮像されていない画像とに分けられる。ここで、細胞以外の物質の何れも撮像されていない画像とは、細胞を捕捉する微細孔またはウェルなどに細胞もごみも捕捉されず、培地、細胞を分散させていた分散媒体のみが含まれる微細孔またはウェルなどを撮像した画像が意図される。 On the other hand, images other than cells are classified into images in which substances other than cells such as garbage are captured, and images in which neither cells nor substances other than cells are captured. Here, an image in which no substances other than cells are captured means that neither cells nor dirt are captured in the micropores or wells that capture cells, and only the culture medium and dispersion medium used to disperse the cells are included. An image of a micropore or well is intended.
画像は、特定の一つの撮像手法により得られた画像に限られず、複数の撮像手法により得られた画像を組み合わせて用いるものであってもよい。例えば、明視野観察像、暗視野観察像、位相差観察像および蛍光観察像の中から選択される2以上の観察像を組み合わせて用いることができる。また、蛍光観察像として、各種抗体による蛍光観察像およびDAPIによる核染色像などを組み合わせて用いることができる。また、複数の画像を組み合わせて用いる場合、複数の画像を合成して一つの画像とすることができる。例えば、重ねあわせ処理を行って一つの画像に合成したものであってもよく、重ねることなくそれぞれを並べて結合し、一つの画像とするものであってもよい。 The image is not limited to an image obtained by one specific imaging method, but may be a combination of images obtained by a plurality of imaging methods. For example, two or more observation images selected from bright field observation images, dark field observation images, phase contrast observation images, and fluorescence observation images can be used in combination. Further, as the fluorescence observation image, a combination of fluorescence observation images using various antibodies, nuclear staining images using DAPI, etc. can be used. Moreover, when using a plurality of images in combination, the plurality of images can be combined into one image. For example, the images may be combined into one image by performing an overlapping process, or they may be arranged and combined without overlapping to form a single image.
また、各画像に対しは、前処理として、コントラスト調整、および特定のチャネルに基づいて、別のチャネルを調整することなどを行ってもよい。例えば、特定のチャネル(例えば、後述するようなDAPIによる蛍光観察像)の輝度値を基に、他のチャネルの輝度値を規格化する処理などをおこなってもよい。 Further, each image may be subjected to pre-processing such as contrast adjustment and adjustment of another channel based on a particular channel. For example, processing may be performed to normalize the brightness values of other channels based on the brightness values of a specific channel (for example, a fluorescent observation image by DAPI as described later).
上述の通り、本実施形態では、入力されるデータとして画像データを用いた例について説明しているが、入力されるデータは画像データに限定されない。例えば、画像および当該画像から抽出し得る特定の指標に基づき数値化またはパラメータ化したような数値データを用いてもよい。 As described above, in this embodiment, an example in which image data is used as input data is described, but input data is not limited to image data. For example, numerical data digitized or parameterized based on an image and a specific index that can be extracted from the image may be used.
(学習モデル)
第1判別部41において用いられる第1学習済モデル51は、細胞判別装置1に入力された画像を入力とし、当該画像が細胞を示すものであるか、非細胞を示すものであるかのそれぞれの確率値を出力とする学習済モデルである。後述する通り、第1学習済モデル51は、第1の教師データを用いた機械学習により第1学習部61において構築される。
(learning model)
The first trained
第1学習済モデル51の出力においては、非細胞成分の画像および細胞も非細胞成分も撮像されていない画像を区別せずに非細胞を示すものとして出力するものであってもよいし、非細胞成分を示すものと、細胞も非細胞成分も撮像されていないものとを区別して出力するものであってもよい。すなわち、前者の場合には、例えば、「細胞」および「非細胞」の確率値を出力とする学習モデルとすることができ、後者の場合には、例えば、「細胞」、「非細胞」および「空(empty)」の確率値を出力とする学習モデルとすることができる。
In the output of the first trained
一方、第2判別部42において用いられる第2学習済モデル52は、第1学習済モデル51と異なる学習済モデルであり、細胞判別装置1に入力された画像を入力とし、複数ある細胞の種類それぞれにおいて、その細胞である確率値を出力とする学習済モデルである。後述する通り、第2学習済モデル52は、第2の教師データを用いた機械学習により第2学習部62において構築される。
On the other hand, the second trained
本実施形態においては、第1学習済モデル51および第2学習済モデル52は、それぞれ第1の教師データおよび第2の教師データを用いて、複数の畳み込み層を有する畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)に学習させて構築されたモデルである。CNNとしては、Chainer(Preferred Networks社)等の公知のソフトウェア内の機能を利用することができる。しかしながら、学習に用いるニューラルネットワークはCNNに限定されず、他の公知のニューラルネットワークを用いてもよい。
In the present embodiment, the first trained
(教師データ生成部)
教師データ生成部63は、教師データ生成用に入力された画像データから、第1の教師データおよび第2の教師データを生成する。詳細には、教師データ生成用に入力される画像データは、予め、その画像データが、複数種類の細胞のうちの何れのものであるか、または非細胞であるかの情報と関連付けがなされている。教師データ生成部63は、画像データに関連付けされた当該情報を参照して、第1の教師データおよび第2の教師データを生成する。画像データと当該情報との関連付けは、画像データと当該情報との対応関係を示すテーブルである第1のテーブルを作成しておき、画像データとともに当該第1のテーブルを入力し、それを参照するものである。しかしながら画像データと当該情報との関連付けはテーブルを用いる場合に限らず、例えば、画像データのメタデータとして当該情報を含ませるものであってもよい。第1のテーブルの一例を図2に示す。図2に示すテーブルでは、各画像データに対して、後述する「CK+」、「CK-」、「WBC」、「DST」および「EMP」の何れかの情報が関連付けされている。
(Teacher data generation section)
The teacher
画像データが、複数種類の細胞のうちの何れのものであるか、または非細胞のものであるかの情報は、予め人間によって判断されたものである。教師データ生成用に入力される画像データに含まれる細胞の画像としては、判別対象となる細胞が含まれていた試料中に存在し得る種類の細胞の画像が含まれている。一方、非細胞の画像としては、ごみなどの細胞以外の物質が撮像された画像と、細胞および細胞以外の物質の何れも撮像されていない画像が含まれている。 Information as to whether the image data is of a plurality of types of cells or non-cells is determined in advance by humans. The images of cells included in the image data input for generating teacher data include images of types of cells that may exist in the sample that contained the cells to be determined. On the other hand, non-cellular images include images in which substances other than cells such as garbage are captured, and images in which neither cells nor substances other than cells are captured.
まず、教師データ生成部63における第1の教師データの生成について説明する。
First, the generation of first teacher data in the teacher
教師データ生成部63は、入力された画像データに関連付けされている情報が非細胞であることを示す情報、すなわち非細胞の種類を示す情報の場合には、「非細胞」のラベルを付す。一方、入力された画像データに関連付けされている情報が複数種類の細胞のうちの何れであるかを示す情報、すなわち細胞の種類を示す情報である場合には、「細胞」のラベルを付す。なお、ラベルを付すとは、(i)画像データのメタデータとしてラベル情報を付与する、(ii)各画像データ付されたラベルを示すデータファイルを更新する、または(iii)画像データを、ラベルに対応するディレクトリに保存するなどの方法によって実現することができる。また、入力された画像データに関連付けされている情報が、「非細胞」および「細胞」の何れのラベルを付すべき情報に対応するものであるかは、細胞の種類を示す情報および非細胞の種類を示す情報と、付されるべきラベルとの対応関係を示す第2のテーブルを参照することで決定する。第2のテーブルは、予め作成しておき、画像データとともに入力すればよい。あるいは、第2のテーブルは予め入力される場合に限らず、「CK+」、「CK-」、「WBC」、「DST」および「EMP」などの情報に対して、ユーザがラベルとの対応関係を指示することで、画像データ入力後に別途作成されるものであってもよい。第2のテーブルの一例を図3に示す。図3に示すテーブルでは、「CK+」、「CK-」、「WBC」、「DST」および「EMP」で示される情報と、付されるべきラベルとの対応関係が示されている。
If the information associated with the input image data is information indicating that it is non-cell, that is, information indicating the type of non-cell, the teacher
これにより、教師データ生成部63は、複数種類の細胞のうちの何れであるか、または非細胞であるかの情報が関連付けされている画像データから、細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを生成する。また、入力された画像データそのものに細胞であるか非細胞であるかの情報が付されていなくても、細胞であるか非細胞であるかを判別するための第1の学習済モデルを構築するための第1の教師データを作成することができる。
As a result, the teacher
なお、本実施形態においては、複数種類の細胞のうちの何れであるかを示す情報が関連付けされている画像データを選別し、これに「細胞」のラベルを付している。しかしながら、入力する画像データに、予め、複数種類の細胞のうちの何れであるかを示す情報とともに、細胞であることを示す情報も関連付けしておいてもよい。これにより、入力された画像データに関連付けされている情報が細胞であることを示すものである場合には、その画像データには「細胞」のラベルが付されているとみなせばよい。 Note that in this embodiment, image data associated with information indicating which of a plurality of types of cells is associated is selected and labeled as "cell." However, the input image data may be associated in advance with information indicating which of a plurality of types of cells it is, as well as information indicating that it is a cell. Accordingly, if the information associated with the input image data indicates that it is a cell, the image data may be considered to be labeled with "cell".
次いで、教師データ生成部63における第2の教師データの生成について説明する。
Next, generation of second teacher data in the teacher
教師データ生成部63は、入力された画像データの中から、複数種類の細胞のうちの何れであるかの情報が関連付けされているデータのみを抽出する。そして、入力された画像データに対し、関連付けされた情報が示す細胞の種類を示すラベルを付すことで、互いに異なる種類の細胞を示す複数種類のデータを含む第2の教師データを生成する。教師データ生成部63は、複数種類の細胞のうちの何れであるかの情報が関連付けされているデータのみを抽出して第2の教師データを生成する。そのため、第2の教師データには、非細胞を示すデータが含まれなくなる。また、第1の教師データの生成に用いた、非細胞を示す画像データを含む入力データを用いても、非細胞を示す画像データが含まれない第2の教師データを生成することができる。
The teacher
本実施形態における教師データ生成部63では、第2の教師データを生成する際に、複数ある細胞種類のうち、入力されたデータ中に存在する数が最も少ない細胞種類のデータ数に合わせて、各細胞種類のデータを抽出している。細胞種類ごとのデータ数に大きなばらつきがある場合には、入力されたデータ中に存在する数が最も少ない細胞種類のデータ数にあわせることにより、判別精度の高い学習済モデルを構築することができる。例えば、入力されたデータ中に存在する数が最も少ない細胞種類のデータ数が、数が最も多い細胞種類のデータ数の90%未満である場合に、最も少ない細胞種類のデータ数に合わせて、データの抽出を行う構成とすればよい。しかしながら、第2教師データに含める各細胞種類のデータ数を合わせることは必須ではない。
In the teacher
教師データ生成部63は、第1の教師データおよび第2の教師データを生成する際に、画像の回転および反転など、公知の手法によるデータ拡張を行ってもよい。
When generating the first teacher data and the second teacher data, the teacher
(第1学習部および第2学習部)
第1学習部61は、教師データ生成部63が生成した第1の教師データを用いて、公知の機械学習の方法により、第1学習済モデル51を構築する。一方、第2学習部62は、教師データ生成部63が生成した第2の教師データを用いて、公知の機械学習の方法により、第2学習済モデル52を構築する。本実施形態では、第1学習部61および第2学習部62は、上述の通り、入力される画像とそれらの情報(細胞であるか、細胞種は何か)であるラベルとの対応をCNNに学習させている。
(1st study part and 2nd study part)
The
なお、本実施形態では、第1学習部61と、第2学習部62と、教師データ生成部63とを含む学習部60を備えている細胞判別装置1について説明している。しかしながら、細胞判別装置に学習部60を設ける構成でなくてもよい。すなわち、細胞判別装置1とは独立に存在する、第1学習部61と第2学習部62と教師データ生成部63とを含む別の学習装置により、第1学習済モデル51および第2学習済モデル52を構築するものであってもよい。学習装置が細胞判別装置1とは独立に存在する場合には、細胞判別装置1は、記憶媒体に記憶された各学習済モデルを読み込むこと、または、有線または無線のネットワークを介して他の装置から各学習済モデルを受信することで、細胞判別装置1において各学習済モデルが利用可能となる。
In addition, in this embodiment, the
(第1判別部)
第1判別部41は、第1学習済モデル51に画像を入力し、第1学習済モデル51の出力結果から、細胞判別装置1に入力された画像が細胞を示すものであるか、非細胞を示すものであるかを判別する。具体的には、最も確率が高かったものを判別結果として採用する。第1判別部41は、その判別結果を判別結果出力部70に送信する。なお、第1判別部41は、判別結果が非細胞を示すものであった場合のみ、判別結果を判別結果出力部70に送信するものであってもよい。
(First discrimination part)
The
(第2判別部)
第2判別部42は、第1判別部41において細胞を示す画像との判別結果が得られた場合にのみ、第2学習済モデル52に画像を入力し、第2学習済モデル52の出力結果から、細胞判別装置1に入力された画像における細胞の種類を判別する。具体的には、最も確率が高かったものを判別結果として採用する。第2判別部42は、その判別結果を判別結果出力部70に送信する。
(Second discrimination part)
The
(判別結果出力部)
判別結果出力部70は、第1判別部41または第2判別部42から送信される判別結果を表示部30に対して出力する。第1判別部41より送られてくる判別結果が非細胞を示している場合には、判別結果出力部70は、第1判別部41から送られてくる当該判別結果を出力する。一方、第1判別部41より送られてくる判別結果が細胞を示している場合、あるいは第1判別部41からは判別結果が送信されず、第2判別部42から判別結果が送られてくる場合には、判別結果出力部70は、第2判別部42から送られてくる判別結果を出力する。これにより、判別結果出力部70は、表示部30を介して、最終的な判別結果をユーザに知らせる。
(Discrimination result output section)
The determination
(表示部)
表示部30は、判別結果出力部70から出力される最終的な判別結果を表示する装置である。一態様として、表示部30は、最終的な判別結果を画像データまたは文字データとして表示する表示装置である。なお、表示部は、細胞判別装置1に備えられる場合に限らず、細胞判別装置1と接続可能な外部装置として設けられても構わない。
(Display)
The
(細胞判別装置の動作)
次に、細胞判別装置1を用いて判別処理を行う場合の流れの一例を、図4を参照して説明する。図4は、細胞判別装置1の動作の流れの一例を説明するフローチャートである。
(Operation of cell discrimination device)
Next, an example of the flow when performing a discrimination process using the
まず、判別部40が、入力部10を介して、ユーザの入力操作により入力された画像を取得する(ステップS11;データ入力工程)。ここで、判別の対象となる画像は、第1学習済モデル51および第2学習済モデルの構築に用いられた第1の教師データおよび第2の教師データに含まれる画像と同様の処理操作によって取得されたものである。次に、第1判別部41が、第1学習済モデル51に対して、画像を入力し、第1学習済モデル51からの出力を取得する。そして、その出力結果から、画像が細胞を示すものであるか、非細胞を示すものであるかを判別する(ステップS12;第1判別工程)。画像が細胞を示すとの判別結果となった場合(ステップS13のyes)、今度は第2判別部42が、第2学習済モデル52に対して、第1学習済モデル51に入力された画像と同じ画像を入力し、第2学習済モデル52からの出力を取得する。そして、その出力結果から、画像が何れの種類の細胞を示すものであるかを判別し(第2判別工程)、その判別結果を判別結果出力部70に送信する(ステップS14)。一方、第1判別部41における判別で画像が非細胞を示すとの判別結果となった場合(ステップS13のno)、その判別結果を判別結果出力部70に送信する。判別結果出力部70は、第2判別部42から判別結果が送られてきた場合には、第2判別部42からの判別結果を表示部30に出力し、第1判別部41から画像が非細胞であるとの判別結果が送られてきた場合には、第1判別部41からの判別結果を、表示部30に出力する(ステップS15;判別結果出力工程)。
First, the
上記の通り、細胞判別装置1を用いた判別処理では、2段階の判別ステップによって、画像中の細胞の判別を行っている。これにより、細胞であるか非細胞であるか、細胞である場合にはどの種類の細胞であるかの判別を一度に行うように構築された学習済モデルを用いて判別を行う場合に比して、画像中の細胞が何れの種類の細胞であるかを精度よく判別することができる。
As described above, in the discrimination process using the
〔ソフトウェアによる実現例〕
細胞判別装置1の制御ブロック(主制御部20、特に判別部40、学習部60および判別結果出力部70)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of implementation using software]
The control blocks of the cell discriminating device 1 (
後者の場合、細胞判別装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様1に係る学習装置は、細胞判別に用いられる学習済モデルを構築する学習装置であって、細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第1の学習済モデルを構築する第1学習部と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第2の教師データを用いた機械学習により、第1の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第1の学習済モデルとは異なる第2の学習済モデルを構築する第2学習部と、を備えている。
〔summary〕
A learning device according to
本発明の態様2に係る学習装置は、上記態様1において、入力されたデータに関連付けされた情報を参照して、上記第1の教師データおよび上記第2の教師データを生成する教師データ生成部をさらに備えている。
In the learning device according to
本発明の態様3に係る学習装置は、上記態様2において、上記教師データ生成部は、細胞の種類を示す情報および非細胞の種類を示す情報と、細胞であるか非細胞であるかの情報との対応関係が示されたテーブルを参照して、上記第1の教師データを生成する。
In the learning device according to
本発明の態様4に係る学習装置は、上記態様1~3の何れかにおいて、上記入力されたデータは画像データである。
In the learning device according to
本発明の態様5に係る細胞判別装置は、入力されたデータにおける細胞の種類を判別する細胞判別装置であって、上記態様1~4の何れかに記載の学習装置が構築した第1の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第1判別部と、上記第1判別部による判別結果が細胞を示す場合に、上記学習装置が構築した第2の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第2判別部と、上記第1判別部による判別結果が非細胞を示す場合には該判別結果を出力し、上記第1判別部による判別結果が細胞を示す場合には上記第2判別部による判別結果を出力する判別結果出力部とを備えている。
A cell discriminating device according to
本発明の態様6に係る細胞判別装置は、上記学習装置を備えている。 A cell discrimination device according to aspect 6 of the present invention includes the learning device described above.
本発明の態様7に係る学習方法は、細胞判別に用いられる学習済モデルを構築する学習方法であって、細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第1の学習済モデルを構築する第1学習工程と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第2の教師データを用いた機械学習により、第1の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第1の学習済モデルとは異なる第2の学習済モデルを構築する第2学習工程と、を含む。 A learning method according to aspect 7 of the present invention is a learning method for constructing a trained model used for cell discrimination, and includes machine learning using first training data including data indicating cells and data indicating non-cells. a first learning step of constructing a first trained model for determining whether the cell is a cell or a non-cell; By machine learning using second training data that does not include data, a second trained model different from the first trained model is used to determine the cell type of data that has been determined as a cell by the first trained model. and a second learning step of constructing a second trained model.
本発明の態様8に係る学習方法は、上記態様7において、細胞または非細胞を示す上記データは、血中成分を撮像して得られた画像データであり、上記細胞の種類として、少なくとも血中循環腫瘍細胞を含む構成である。 In the learning method according to aspect 8 of the present invention, in aspect 7, the data indicating cells or non-cells is image data obtained by imaging blood components, and as the type of cells, at least blood A composition containing circulating tumor cells.
本発明の態様9に係る細胞判別方法は、入力されたデータにおける細胞の種類を判別する細胞判別方法であって、データを入力するデータ入力工程と、上記態様1~4の何れかに記載の学習装置が構築した第1の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第1判別工程と、上記第1判別工程による判別結果が細胞を示す場合に、上記学習装置が構築した第2の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第2判別工程と、上記第1判別工程による判別結果が非細胞を示す場合には該判別結果を出力し、上記第1判別工程による判別結果が細胞を示す場合には上記第2判別工程による判別結果を出力する判別結果出力工程と、を含む。
A cell discrimination method according to aspect 9 of the present invention is a cell discrimination method that discriminates the type of cell in input data, and includes a data input step of inputting data, and a cell discrimination method according to any one of
本発明の各態様に係る学習装置および細胞判別装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記学習装置または上記細胞判別装置が備える各部(ソフトウェア要素)として動作させることにより上記学習装置または上記細胞判別装置をコンピュータにて実現させる学習プログラムまたは細胞判別プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。 The learning device and the cell discrimination device according to each aspect of the present invention may be realized by a computer, and in this case, by operating the computer as each part (software element) included in the learning device or the cell discrimination device. The scope of the present invention also includes a learning program or a cell discrimination program for realizing the above learning device or the above cell discrimination device on a computer, and a computer-readable recording medium on which the program is recorded.
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.
以下のように本発明の一態様を実施した。機械学習の学習フェーズおよび判別モデルの性能評価には、杏林大学から提供を受けた血液検体を前処理し、抽出した細胞を微細孔アレイの各微細孔に捕捉してアレイ上に細胞を整列し、顕微鏡およびデジタルカメラを用いて取得した画像を用いた。前処理とは、主に赤血球および白血球を取り除き、蛍光免疫染色を行う処理である。なお、前処理によって多くの赤血球および白血球は除去できるが、一定数は残存する。微細孔アレイは非特許文献:東ソー研究・技術報告、第58巻、p3-12、2014年に記載の微細孔アレイであり、分割された微細孔内に細胞を捕捉し、アレイ上で細胞を整列することができる構造体である。なお、試料の前処理および微細孔アレイへの細胞の整列は、当該非特許文献に記載の方法に従って実施した。 One embodiment of the invention was implemented as follows. For the learning phase of machine learning and the performance evaluation of the discriminant model, we preprocessed the blood sample provided by Kyorin University, captured the extracted cells in each micropore of a micropore array, and arranged the cells on the array. , using images acquired using a microscope and a digital camera. Pretreatment is a process that mainly removes red blood cells and white blood cells and performs fluorescent immunostaining. Note that although many red blood cells and white blood cells can be removed by pretreatment, a certain number remain. The micropore array is a micropore array described in a non-patent document: Tosoh Research and Technical Report, Vol. It is a structure that can be aligned. Note that sample pretreatment and cell alignment into the micropore array were performed according to the method described in the non-patent document.
顕微鏡は、オリンパス株式会社製IX83を用い、対物レンズは10倍とした。デジタルカメラは、浜松ホトニクス株式会社製ORCA-FLASH4.0を用いた。この顕微鏡およびデジタルカメラを用いて、明視野像、サイトケラチン抗体による蛍光像、CD45抗体による蛍光像およびDAPIによる核染色像を取得した。取得した画像を微細孔ごとに分割した。微細孔1つあたりの画像は、62×62ピクセルであった。微細孔ごとに、取得した各画像を横に並べて結合し、学習および判別に用いる画像データとした。画像データの一例を図5に示す。図5には、白血球(WBC)、サイトケラチン陽性血中循環腫瘍細胞(CK+)、サイトケラチン陰性血中循環腫瘍細胞(CK-)、非細胞成分(DST)および空の微細孔(EMP)の画像データの一例を示している。また、図5に示される通り、各画像データは、明視野像(図中、「明視野」の列に示される像)、DAPIによる核染色像(図中、「蛍光1 DAPI」の列に示される像)、サイトケラチン抗体による蛍光像(図中、「蛍光2 CK」の列に示される像)およびCD45抗体による蛍光像(図中、「蛍光3 CD45」の列に示される像)がこの順で隙間なく並べられ、一つの画像に合成されている。なお、正解ラベルは、人間による判別を指定した。
The microscope used was IX83 manufactured by Olympus Corporation, and the objective lens was set to 10 times. The digital camera used was ORCA-FLASH 4.0 manufactured by Hamamatsu Photonics Co., Ltd. Using this microscope and digital camera, a bright field image, a fluorescence image using a cytokeratin antibody, a fluorescence image using a CD45 antibody, and a nuclear staining image using DAPI were obtained. The acquired images were divided into micropores. The image per micropore was 62 x 62 pixels. For each micropore, the acquired images were arranged side by side and combined to form image data used for learning and discrimination. An example of image data is shown in FIG. Figure 5 shows white blood cells (WBC), cytokeratin-positive circulating tumor cells (CK+), cytokeratin-negative circulating tumor cells (CK-), noncellular components (DST), and empty micropores (EMP). An example of image data is shown. In addition, as shown in Figure 5, each image data includes a bright field image (the image shown in the "Bright field" column in the figure), a nuclear staining image by DAPI (the image shown in the "
データ数は、WBCが500、CK+が151、CK-が500、DSTが500、EMPが481である。このデータからランダム抽出で8割を学習データとし、2割を検証データとした。 The number of data is 500 for WBC, 151 for CK+, 500 for CK-, 500 for DST, and 481 for EMP. From this data, 80% was randomly extracted as training data and 20% was used as verification data.
コンピュータ上で、学習部を実装したプログラムを実行し、2段階の判別モデル(第1学習済モデル、第2学習済モデル)を構築した。プログラムの実装にあたっては、株式会社Preferred NetworksのChainerを用いた。以下に記載の処理は、Chainerに含まれる関数、クラスを用いている。なお、第2学習済モデルの構築にあたっては、データ数が最も少ないサイトケラチン陽性血中循環腫瘍細胞(CK+)にデータ数を合わせた。 A program equipped with a learning section was executed on a computer to construct a two-stage discrimination model (a first trained model and a second trained model). Chainer from Preferred Networks, Inc. was used to implement the program. The processing described below uses functions and classes included in Chainer. In constructing the second trained model, the number of data was adjusted to cytokeratin-positive circulating tumor cells (CK+), which had the least amount of data.
機械学習の方法として、畳み込み層および全結合層からなるニューラルネットワークを用いて、最適化アルゴリズムは、Adaptive Moment Estimation(Adam)を用いた。ニューラルネットワークは、第1層、第2層および第3層に畳み込み層を配置し、これらのハイパーパラメータとして、チャネル数64、ストライド3およびゼロパディングを指定した。そして畳み込み層の活性化関数にReLUを用いた。続く層に全結合層を配置し、活性化関数にソフトマックス関数を用いた。また、学習時には、画像の回転または反転によるデータ拡張を行った。学習は150 epoch行い、ミニバッチサイズは64とした。なお、「CK+」、「CK-」または「WBC」とラベルされたデータについては、「Cell」のラベルでもって第1段階の学習を行うよう指定した。
A neural network consisting of convolutional layers and fully connected layers was used as the machine learning method, and Adaptive Moment Estimation (Adam) was used as the optimization algorithm. In the neural network, convolutional layers were arranged in the first layer, second layer, and third layer, and the number of channels 64,
以上により、「Cell」、「DST」および「EPM」の3分類の判別を行う第1学習済モデル、ならびに「CK+」、「CK-」および「WBC」の3分類の判別を行う第2学習済モデルの2段階の判別モデルを構築した。 As described above, the first trained model that discriminates between the three classifications of "Cell", "DST", and "EPM", and the second trained model that discriminates between the three classifications of "CK+", "CK-", and "WBC" are created. A two-stage discriminant model was constructed.
2段階の判別モデルを利用して細胞判別の検証を行った結果、検証データに対する正答率は96.7%であった。 As a result of verifying cell discrimination using a two-stage discrimination model, the correct answer rate for the validation data was 96.7%.
一方で、同じデータセットにおいて、「CK+」、「CK-」、「WBC」、「DST」または「EMP」とラベルされたデータを用いて、「CK+」、「CK-」、「WBC」、「DST」および「EMP」の5分類の判別を一度に行う1段階の判別モデルを構築した。 On the other hand, in the same data set, using data labeled "CK+", "CK-", "WBC", "DST", or "EMP", "CK+", "CK-", "WBC", We constructed a one-stage discrimination model that discriminates between the five categories of "DST" and "EMP" at once.
この1段階の判別モデルを利用して細胞判別の検証を行った結果、検証データに対する正答率は93.7%であった。 As a result of verifying cell discrimination using this one-stage discrimination model, the correct answer rate for the validation data was 93.7%.
本発明は、細胞の分類を行う技術に利用することができる。 INDUSTRIAL APPLICATION This invention can be utilized for the technique of classifying a cell.
1 細胞判別装置
10 入力部
20 主制御部
30 表示部
40 判別部
41 第1判別部
42 第2判別部
50 学習モデル
51 第1学習済モデル
52 第2学習済モデル
60 学習部(学習装置)
61 第1学習部
62 第2学習部
63 教師データ生成部
70 判別結果出力部
1
61
Claims (11)
細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第1の学習済モデルを構築する第1学習部と、
互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第2の教師データを用いた機械学習により、上記第1の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第1の学習済モデルとは異なる第2の学習済モデルを構築する第2学習部と、を備えていることを特徴とする学習装置。 A learning device that constructs a trained model used for cell discrimination,
First learning to construct a first trained model for determining whether it is a cell or a non-cell by machine learning using first training data including data indicating cells and data indicating non-cells. Department and
By machine learning using second training data that includes multiple types of data indicating different types of cells and not including data indicating non-cells, data that has been determined to be cells by the first trained model is determined. A learning device comprising: a second learning unit that constructs a second trained model different from the first trained model for determining cell types.
請求項1~4の何れか1項に記載の学習装置が構築した上記第1の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第1判別部と、
上記第1判別部による判別結果が細胞を示す場合に、上記学習装置が構築した第2の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第2判別部と、
上記第1判別部による判別結果が非細胞を示す場合には該判別結果を出力し、上記第1判別部による判別結果が細胞を示す場合には上記第2判別部による判別結果を出力する判別結果出力部と、を備えていることを特徴とする細胞判別装置。 A cell discrimination device that discriminates the type of cell in input data,
A step of determining whether the input data indicates cells or non-cells using the first learned model constructed by the learning device according to any one of claims 1 to 4. 1 discrimination section;
When the discrimination result by the first discrimination unit indicates a cell, the second learned model constructed by the learning device is used to discriminate which type of cell the input data indicates. a second determining unit that
Discrimination that outputs the discrimination result when the discrimination result by the first discrimination section indicates non-cell, and outputs the discrimination result by the second discrimination section when the discrimination result by the first discrimination section indicates cell. A cell discrimination device comprising: a result output unit.
細胞を示すデータおよび非細胞を示すデータを含む第1の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第1の学習済モデルを構築する第1学習工程と、
互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第2の教師データを用いた機械学習により、第1の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第1の学習済モデルとは異なる第2の学習済モデルを構築する第2学習工程と、を含むことを特徴とする学習方法。 A learning method for constructing a trained model executed by at least one processor and used for cell discrimination, the method comprising:
First learning to construct a first trained model for determining whether it is a cell or a non-cell by machine learning using first training data including data indicating cells and data indicating non-cells. process and
Through machine learning using second training data that includes multiple types of data that indicate different types of cells and does not include data that indicates non-cells, cells in the data that are determined to be cells by the first trained model are A learning method comprising: a second learning step of constructing a second trained model different from the first trained model for determining the type of the first trained model.
データを入力するデータ入力工程と、
請求項1~4の何れか1項に記載の学習装置が構築した第1の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第1判別工程と、
上記第1判別工程による判別結果が細胞を示す場合に、上記学習装置が構築した第2の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第2判別工程と、
上記第1判別工程による判別結果が非細胞を示す場合には該判別結果を出力し、上記第1判別工程による判別結果が細胞を示す場合には上記第2判別工程による判別結果を出力する判別結果出力工程と、を含むことを特徴とする細胞判別方法。 A cell discrimination method executed by at least one processor to discriminate the type of cell in input data, the method comprising:
a data input step of inputting data;
A first method for determining whether the input data indicates cells or non-cells using the first trained model constructed by the learning device according to any one of claims 1 to 4. Discrimination process;
When the discrimination result in the first discrimination step indicates a cell, the second trained model constructed by the learning device is used to discriminate which type of cell the input data indicates. a second discrimination step of
If the discrimination result in the first discrimination step indicates non-cells, the discrimination result is output, and if the discrimination result in the first discrimination step indicates cells, the discrimination result in the second discrimination step is output. A cell discrimination method comprising: a result output step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160467A JP7383939B2 (en) | 2019-09-03 | 2019-09-03 | Learning device, learning method, cell discrimination device, cell discrimination method, cell discrimination learning program, and cell discrimination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160467A JP7383939B2 (en) | 2019-09-03 | 2019-09-03 | Learning device, learning method, cell discrimination device, cell discrimination method, cell discrimination learning program, and cell discrimination program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039544A JP2021039544A (en) | 2021-03-11 |
JP7383939B2 true JP7383939B2 (en) | 2023-11-21 |
Family
ID=74848634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019160467A Active JP7383939B2 (en) | 2019-09-03 | 2019-09-03 | Learning device, learning method, cell discrimination device, cell discrimination method, cell discrimination learning program, and cell discrimination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7383939B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527056A (en) | 2008-07-03 | 2011-10-20 | エヌイーシー ラボラトリーズ アメリカ インク | Signet ring cell detector and related methods |
JP2012026982A (en) | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | Inspection device |
JP2014529158A (en) | 2011-10-05 | 2014-10-30 | シレカ セラノスティクス エルエルシー | Methods and systems for analyzing biological samples with spectral images. |
JP2018060296A (en) | 2016-10-03 | 2018-04-12 | グローリー株式会社 | Image processing apparatus, image processing system, and image processing method |
JP2018165718A (en) | 2012-09-06 | 2018-10-25 | ソニー株式会社 | Information processing device, information processing method, and microscope system |
WO2018236895A1 (en) | 2017-06-22 | 2018-12-27 | Waymo Llc | Rare instance classifiers |
WO2019117177A1 (en) | 2017-12-13 | 2019-06-20 | 株式会社堀場製作所 | Distinguishing method, learning method, distinguishing device and computer program |
JP2019128842A (en) | 2018-01-25 | 2019-08-01 | 国立大学法人京都大学 | Computer program, identification device, and identification method |
-
2019
- 2019-09-03 JP JP2019160467A patent/JP7383939B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527056A (en) | 2008-07-03 | 2011-10-20 | エヌイーシー ラボラトリーズ アメリカ インク | Signet ring cell detector and related methods |
JP2012026982A (en) | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | Inspection device |
JP2014529158A (en) | 2011-10-05 | 2014-10-30 | シレカ セラノスティクス エルエルシー | Methods and systems for analyzing biological samples with spectral images. |
JP2018165718A (en) | 2012-09-06 | 2018-10-25 | ソニー株式会社 | Information processing device, information processing method, and microscope system |
JP2018060296A (en) | 2016-10-03 | 2018-04-12 | グローリー株式会社 | Image processing apparatus, image processing system, and image processing method |
WO2018236895A1 (en) | 2017-06-22 | 2018-12-27 | Waymo Llc | Rare instance classifiers |
WO2019117177A1 (en) | 2017-12-13 | 2019-06-20 | 株式会社堀場製作所 | Distinguishing method, learning method, distinguishing device and computer program |
JP2019128842A (en) | 2018-01-25 | 2019-08-01 | 国立大学法人京都大学 | Computer program, identification device, and identification method |
Non-Patent Citations (1)
Title |
---|
前田 啄斗 ほか,"DLD法による血液細胞の自動分類計測法",電子情報通信学会技術研究報告,一般社団法人電子情報通信学会,2016年,第116巻, 第38号,pp. 135-138,ISSN 0913-5685 |
Also Published As
Publication number | Publication date |
---|---|
JP2021039544A (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sahlol et al. | Efficient classification of white blood cell leukemia with improved swarm optimization of deep features | |
Bychkov et al. | Deep learning based tissue analysis predicts outcome in colorectal cancer | |
US10929708B2 (en) | Deep learning network for salient region identification in images | |
CN103544506B (en) | A kind of image classification method and device based on convolutional neural networks | |
CN111524106B (en) | Skull fracture detection and model training method, device, equipment and storage medium | |
JP2020535529A (en) | Biological detection methods and devices, electronic devices, and computer-readable storage media | |
JP2015087903A (en) | Apparatus and method for information processing | |
JPWO2016017533A1 (en) | Identification device and identification method | |
CN106295502A (en) | A kind of method for detecting human face and device | |
US9582869B2 (en) | Dynamic binning for diversification and defect discovery | |
JP7236292B2 (en) | Evaluation device, evaluation method, evaluation program, and inspection device | |
AU2018369869B2 (en) | Classification of a population of objects by convolutional dictionary learning with class proportion data | |
CN111259823A (en) | Pornographic image identification method based on convolutional neural network | |
Shoohi et al. | DCGAN for Handling Imbalanced Malaria Dataset based on Over-Sampling Technique and using CNN. | |
CN111680575B (en) | Human epithelial cell staining classification device, equipment and storage medium | |
Tran et al. | Automated curation of CNMF-E-extracted ROI spatial footprints and calcium traces using open-source AutoML tools | |
Kozodoi et al. | Shallow self-learning for reject inference in credit scoring | |
EP4367675A1 (en) | Stain-free detection of embryo polarization using deep learning | |
Zhao et al. | A Semi‐supervised Deep Learning Method for Cervical Cell Classification | |
Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
Abir et al. | Detecting deepfake images using deep learning techniques and explainable AI methods | |
JP7383939B2 (en) | Learning device, learning method, cell discrimination device, cell discrimination method, cell discrimination learning program, and cell discrimination program | |
CN114943675A (en) | Defect sample data augmentation method, electronic device, and storage medium | |
Gui et al. | Accelerating multi-emitter localization in super-resolution localization microscopy with FPGA-GPU cooperative computation | |
CN106530199B (en) | Multimedia integration steganalysis method based on window type hypothesis testing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231023 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7383939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |