JP2021078356A - Cell analysis apparatus - Google Patents
Cell analysis apparatus Download PDFInfo
- Publication number
- JP2021078356A JP2021078356A JP2019205905A JP2019205905A JP2021078356A JP 2021078356 A JP2021078356 A JP 2021078356A JP 2019205905 A JP2019205905 A JP 2019205905A JP 2019205905 A JP2019205905 A JP 2019205905A JP 2021078356 A JP2021078356 A JP 2021078356A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- cell
- foreign matter
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、培養中の細胞の数、細胞の面積、細胞の形状など、細胞に関する各種情報を取得する細胞解析装置に関する。 The present invention relates to a cell analyzer that acquires various information about cells such as the number of cells in culture, the area of cells, and the shape of cells.
再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞、或いは間葉系幹細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。再生医療分野では観察後の細胞を引き続き培養するため、非破壊的及び非侵襲的に細胞状態の観察や確認を行うことが重要である。こうした非破壊的・非侵襲的な細胞状態の評価は、細胞観察装置で得られる細胞画像を利用した形態学的な評価が一般的である。 In the field of regenerative medicine, research using pluripotent stem cells such as iPS cells, ES cells, and mesenchymal stem cells has been actively conducted in recent years. In research and development of regenerative medicine using such pluripotent stem cells, it is necessary to culture a large amount of undifferentiated cells in a state of maintaining pluripotency. Therefore, it is necessary to select an appropriate culture environment and stably control the environment, and it is necessary to confirm the state of cells during culture at a high frequency. In the field of regenerative medicine, it is important to observe and confirm the cell state non-destructively and non-invasively because the cells after observation are continuously cultured. The evaluation of such a non-destructive and non-invasive cell state is generally a morphological evaluation using a cell image obtained by a cell observation device.
一般に細胞などの薄く透明な観察対象物は光の吸収が少ないため、光学的な強度像では対象物の形態を認識することは難しい。そのため、従来一般に、細胞の観察には位相差顕微鏡が広く利用されている。位相差顕微鏡では光が対象物を通過する際に変化する位相の変化量を画像化するため、透明である細胞の形態も可視化した位相差画像を得ることができる。しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に時間が掛かりすぎるという問題がある。これを解決するため、近年、デジタルホログラフィ技術を用いたデジタルホログラフィック顕微鏡が開発され実用に供されている（特許文献１、２等参照）。 In general, thin and transparent observation objects such as cells absorb less light, so it is difficult to recognize the morphology of the object from an optical intensity image. Therefore, conventionally, a phase-contrast microscope is widely used for observing cells. Since the phase-contrast microscope images the amount of phase change that changes when light passes through an object, it is possible to obtain a phase-contrast image that also visualizes the morphology of transparent cells. However, since it is necessary to focus when taking a microscopic image with a phase-contrast microscope, it takes time to measure when acquiring a microscopic image for each small area in which a wide observation target area is finely divided. There is a problem that it is too much. In order to solve this problem, in recent years, a digital holographic microscope using digital holography technology has been developed and put into practical use (see Patent Documents 1 and 2 and the like).
デジタルホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得し、そのホログラムデータに基づいた光波の逆伝播演算処理等を実施することで位相情報や振幅（強度）情報を取得し、再構成画像として位相画像を作成する。こうしたデジタルホログラフィック顕微鏡では、ホログラムを取得したあとの演算処理の段階で任意の距離における位相情報等を得ることができるため、撮影時にいちいち焦点合わせを行う必要がないという利点がある。 In a digital holographic microscope, an interference fringe (hologram) formed by an object light reflected or transmitted on the surface of an object and a reference light directly arriving from the same light source on a detection surface such as an image sensor is acquired. , Acquire phase information and amplitude (intensity) information by performing back propagation arithmetic processing of light waves based on the hologram data, and create a phase image as a reconstructed image. Such a digital holographic microscope has an advantage that it is not necessary to focus each time at the time of shooting because it is possible to obtain phase information or the like at an arbitrary distance at the stage of arithmetic processing after acquiring the hologram.
上述したようにホログラムデータに基づいて作成される位相画像では、透明である細胞を比較的明瞭に観察することができる。したがって、位相画像に基づいて細胞数を計数する等の解析が可能である。しかしながら、ウェル等の容器内で培養中である細胞をホログラフィック顕微鏡で撮影する際に、培地上や撮像部のセンサ等にゴミ等の異物が付着していると、これが細胞の観察画像に映り込んでしまう。この異物の像を細胞であると誤認識すると、細胞数の計数などの目的とする細胞解析の精度が低下してしまうという問題がある。 In the phase image created based on the hologram data as described above, transparent cells can be observed relatively clearly. Therefore, it is possible to perform analysis such as counting the number of cells based on the phase image. However, when a cell being cultured in a container such as a well is photographed with a holographic microscope, if foreign matter such as dust adheres to the medium or the sensor of the imaging unit, this is reflected in the observation image of the cell. It gets crowded. If the image of this foreign substance is erroneously recognized as a cell, there is a problem that the accuracy of the target cell analysis such as counting the number of cells is lowered.
本発明は上記課題を解決するためになされたものであり、その目的とするところは、撮影の際におけるゴミ等の異物の付着の影響を軽減し、細胞解析の精度を向上させることができる細胞解析装置を提供することである。 The present invention has been made to solve the above problems, and an object of the present invention is a cell capable of reducing the influence of foreign matter such as dust at the time of photographing and improving the accuracy of cell analysis. It is to provide an analyzer.
上記課題を解決するためになされた本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部と、
前記強度画像内において異物が存在する異物領域を識別する異物領域識別部と、
前記位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部と、
を備えるものである。
One aspect of the cell analyzer according to the present invention made to solve the above problems is
With a holographic microscope
An image creation unit that creates a phase image and an intensity image corresponding to the same imaging range based on the hologram data acquired by observing the cells with the holographic microscope.
A foreign matter region identification unit that identifies a foreign matter region in which a foreign matter exists in the intensity image,
A cell information acquisition unit that acquires information related to cells existing in a region excluding the foreign matter region identified by the foreign matter region identification unit in the phase image, and a cell information acquisition unit.
Is provided.
上記ホログラフィック顕微鏡は典型的にはデジタルホログラフィック顕微鏡であり、上記位相画像は例えば、デジタルホログラフィック顕微鏡により得られるホログラムデータに基づく計算処理により求められた位相情報に基づいて再構成される画像である。 The holographic microscope is typically a digital holographic microscope, and the phase image is, for example, an image reconstructed based on phase information obtained by calculation processing based on hologram data obtained by the digital holographic microscope. is there.
一般に細胞は透明であるため、ホログラムデータに基づいて得られる強度画像では明瞭に観察できないものの、位相画像では明瞭に観察可能である。これに対し、透明でない繊維片などの異物が培地上に存在していたりホログラフィック顕微鏡の撮像部（センサ等）に付着していたりすると、該異物の像は強度画像上に明瞭に現れる。即ち、強度画像は細胞の観察には不向きであるが、異物が存在する領域を把握するには適している。そこで本発明の上記態様の細胞解析装置において、異物領域識別部は、画像作成部で作成された強度画像内で異物が存在する異物領域を識別し、例えば異物領域をマスクするマスク画像を作成する。 Since cells are generally transparent, they cannot be clearly observed in an intensity image obtained based on hologram data, but can be clearly observed in a phase image. On the other hand, if a foreign substance such as a non-transparent fiber piece is present on the medium or adheres to an imaging unit (sensor or the like) of a holographic microscope, the image of the foreign substance appears clearly on the intensity image. That is, the intensity image is not suitable for observing cells, but it is suitable for grasping the region where a foreign substance exists. Therefore, in the cell analysis apparatus of the above aspect of the present invention, the foreign matter region identification unit identifies the foreign matter region in which the foreign matter exists in the intensity image created by the image creation unit, and creates, for example, a mask image that masks the foreign matter region. ..
細胞情報取得部は、画像作成部で作成された位相画像内で異物領域を除外した領域、つまりは上記マスク画像を用いてマスク処理された画像内に存在する細胞に関連する情報を取得する。具体的には例えば、機械学習により作成された学習モデルを用い、位相画像に基づいて細胞の核の領域を抽出した核位置推定画像を取得し、該画像に対しマスク処理を実施して求めた画像において細胞核を計数することで細胞数を算出することができる。また、細胞に関連する情報は細胞数に限らず、細胞の密度、細胞の形状や形態、細胞の面積、細胞の周囲長などでもよい。 The cell information acquisition unit acquires information related to cells existing in a region excluding a foreign substance region in the phase image created by the image creation unit, that is, a masked image using the mask image. Specifically, for example, using a learning model created by machine learning, a nuclear position estimation image obtained by extracting a nuclear region of a cell based on a phase image was acquired, and the image was masked to obtain the image. The number of cells can be calculated by counting the cell nuclei in the image. Further, the information related to cells is not limited to the number of cells, but may be cell density, cell shape and morphology, cell area, cell perimeter, and the like.
このようにして本発明の上記態様による細胞解析装置によれば、位相画像上に映り込んでいる異物の像の影響を受けることなく、細胞数等の解析結果の精度を向上させることができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。 In this way, according to the cell analysis apparatus according to the above aspect of the present invention, the accuracy of the analysis result such as the number of cells can be improved without being affected by the image of the foreign substance reflected on the phase image. In addition, since the cells to be analyzed can be photographed (measured) non-invasively, the cells can be continuously cultured or used for analysis or observation for another purpose.
以下、本発明に係る細胞解析装置の一実施形態について、添付図面を参照して説明する。
図１は、本実施形態の細胞解析装置の要部のブロック構成図である。この実施形態の細胞解析装置は、培養中の細胞を撮影して得られた細胞画像から細胞核の領域を検出し、細胞核を計数することで細胞の数を推定する機能を有している。
Hereinafter, an embodiment of the cell analyzer according to the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block configuration diagram of a main part of the cell analyzer of the present embodiment. The cell analyzer of this embodiment has a function of detecting a region of a cell nucleus from a cell image obtained by photographing a cell in culture and estimating the number of cells by counting the cell nucleus.
本実施形態の細胞解析装置１は、顕微観察部１０、制御・処理部２０、ユーザインターフェイスである入力部３０及び表示部４０、を備える。また、この細胞解析装置１にはＦＣＮモデル作成部５０が付設されている。
The cell analysis device 1 of the present embodiment includes a
顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞１４を含む培養プレート１３が配置される。
The
制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相／強度情報算出部２３と、画像作成部２４と、マスク画像作成処理部２５と、核位置推定部２６と、解析処理部２７と、表示処理部２８と、を機能ブロックとして備える。また、核位置推定部２６は核位置学習モデル記憶部２６１を含む。
The control / processing unit 20 controls the operation of the
ＦＣＮモデル作成部５０は、学習画像データ入力部５１と、画像位置合わせ処理部５２と、染色画像前処理部５３と、染色画像二値化部５４と、学習実行部５５と、モデル構築部５６と、を機能ブロックとして含む。このＦＣＮモデル作成部５０において作成される学習済みの学習モデルが、制御・処理部２０における記憶部に格納され核位置学習モデル記憶部２６１として機能する。
The FCN
通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。 Usually, the entity of the control / processing unit 20 is a personal computer in which predetermined software is installed, a higher-performance workstation, or a computer system including a high-performance computer connected to such a computer via a communication line. is there. That is, the function of each block included in the control / processing unit 20 is stored in the computer or computer system, which is executed by executing software installed in a computer system including a single computer or a plurality of computers. It can be embodied by processing using various types of data.
また、ＦＣＮモデル作成部５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常、このコンピュータは制御・処理部２０と異なるコンピュータであるが、同じコンピュータであってもよい。つまり、ＦＣＮモデル作成部５０の機能を制御・処理部２０に持たせることもできる。
Further, the entity of the FCN
まず、本実施形態の細胞解析装置１において、細胞の観察画像であるＩＨＭ位相像及びＩＨＭ強度像を作成するまでの作業及び処理について説明する。
オペレータが細胞１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行うと、撮影制御部２１は顕微観察部１０を制御し、以下のような手順でホログラムデータを取得する。
First, in the cell analysis device 1 of the present embodiment, the work and processing until the IHM phase image and the IHM intensity image, which are observation images of cells, are created will be described.
When the operator sets the
即ち、光源部１１は１０°程度の角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞１４を透過しないので細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像つまりホログラムが形成される。
That is, the
光源部１１及びイメージセンサ１２は、図示しない移動機構によって、連動してＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。
The
上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相／強度情報算出部２３は、ホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献１、２等に開示されている周知のアルゴリズムを用いることができる。
図５（ａ）はＩＨＭ位相像の一例である。透明である細胞は一般的な光学顕微鏡では視認しにくいが、ＩＨＭ位相像では個々の細胞をかなり明瞭に観察することができる。
As described above, the hologram data obtained by the
FIG. 5A is an example of an IHM phase image. Transparent cells are difficult to see with a general light microscope, but individual cells can be observed fairly clearly with an IHM phase image.
但し、ＩＨＭ位相像上で細胞を観察することは可能であるものの、ＩＨＭ位相像から各細胞核の領域を正確に検出することは容易ではない。そこで、本実施形態の細胞解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワーク（ＦＣＮ：Fully Convolutional Neural network）を利用して、各細胞において細胞核が存在する推定位置（推定領域）を示す核位置推定画像を得る。 However, although it is possible to observe cells on the IHM phase image, it is not easy to accurately detect the region of each cell nucleus from the IHM phase image. Therefore, in the cell analysis device 1 of the present embodiment, the estimated position (estimated region) in which the cell nucleus exists in each cell is used by using a full-layer convolutional neural network (FCN) which is one of the machine learning methods. ) Is obtained.
よく知られているように、ＦＣＮは一般に、畳み込み層とプーリング層との繰り返しが多層化された多層ネットワークと、畳み込みニューラルネットワーク（ＣＮＮ）における全結合層に相当する最終段の畳み込み層と、を含む。多層ネットワークでは、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。また、最終段の畳み込み層では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。本実施形態の細胞解析装置では、ＩＨＭ位相像における画素単位でラベル化を行うようにＦＣＮの多層ネットワーク及び畳み込み層を設計する。これにより、入力画像であるＩＨＭ位相像に対してセマンティックセグメンテーションを行い、細胞核の領域を画素単位でラベル付けしたセグメンテーション画像（ラベル画像）を出力することができる。 As is well known, FCN generally consists of a multi-layer network in which the repetition of a convolutional layer and a pooling layer is multi-layered, and a final convolutional layer corresponding to a fully connected layer in a convolutional neural network (CNN). Including. In a multi-layer network, a convolution process using a filter (kernel) of a predetermined size and a pooling process in which the convolution result is two-dimensionally reduced and an effective value is extracted are repeated. Further, in the final convolution layer, local convolution and deconvolution are performed while sliding a filter of a predetermined size in the input image. In the cell analysis apparatus of this embodiment, the FCN multilayer network and convolution layer are designed so as to label each pixel in the IHM phase image. As a result, it is possible to perform semantic segmentation on the IHM phase image which is an input image and output a segmentation image (label image) in which the region of the cell nucleus is labeled on a pixel-by-pixel basis.
ＦＣＮにおいて上記のようなセマンティックセグメンテーションを行うには、予め多数の学習用の画像データを用い、多層ネットワークに含まれる複数の畳み込み層や最終段の畳み込み層それぞれにおけるフィルタの係数（重み）を学習させて学習モデルを構築しておく必要がある。
図２に示すフローチャートに従って、ＦＣＮモデル作成部５０において学習処理を行う際の動作を説明する。なお、学習の際には、例えば、一般的に機械学習でしばしば用いられている確率的勾配降下法を利用した学習を行うことができる。
In order to perform the above-mentioned semantic segmentation in FCN, a large number of image data for learning are used in advance to learn the coefficient (weight) of the filter in each of the plurality of convolution layers included in the multilayer network and the final convolution layer. It is necessary to build a learning model.
The operation when the learning process is performed in the FCN
ＦＣＮモデル作成部５０の学習画像データ入力部５１は、画像作成部２４で作成されたＩＨＭ位相像とそれに対応する正解画像とを一組とする学習データ（教師データ、訓練データとも呼ばれるが、ここでは学習データという）を予め多数組読み込む（ステップＳ１０）。ＩＨＭ位相像は、上述したように細胞解析装置１で実際に細胞を撮影したデータに基づいて作成されるものであるが、必ずしも特定の細胞解析装置に限らず、同様の構成の他の細胞解析装置で得られたものでよい。一方、正解画像は、ＩＨＭ位相像を作成したときの細胞の核のみを染色し、それを適宜の顕微鏡で撮影した蛍光画像（核染色蛍光画像）である。染色の手法は細胞核を染色可能であれば特に問わないが、例えば、ＤＡＰＩ（4',6-diamidino-2-phenylindole）、ヨウ化プロピジウム、ＳＹＴＯＸ（登録商標）、ＴＯ−ＰＲＯ（登録商標）−３などを用いることができる。
The learning image
一組であるＩＨＭ位相像と核染色蛍光画像とでは細胞の位置や方向、大きさなどが全く同じであることが望ましいが、一般には、デジタルホログラフィック顕微鏡での撮影と並行して蛍光画像を取得することはできないため、得られるＩＨＭ位相像と核染色蛍光画像とで細胞の位置や方向、大きさなどが異なることは避けられない。そこで、画像位置合わせ処理部５２は、いずれか一方の画像の平行移動、回転、拡大・縮小などの画像処理を行うことで、両画像の位置合わせを実施する（ステップＳ１１）。
It is desirable that the position, direction, and size of cells are exactly the same between the IHM phase image and the nuclear-stained fluorescence image, which are a set, but in general, the fluorescence image is taken in parallel with the imaging with a digital holographic microscope. Since it cannot be obtained, it is inevitable that the position, direction, size, etc. of the cells will differ between the obtained IHM phase image and the nuclear-stained fluorescence image. Therefore, the image
この位置合わせの作業は、例えば、核染色蛍光画像と同時に撮影したアクチンフィラメント染色蛍光画像を利用して行うことができる。アクチンフィラメントは細胞骨格の一種であり、細胞の内部全体に繊維形状に存在する。通常の明視野画像では細胞領域を視認することが難しいが、アクチンフィラメントは概ね細胞全体に存在しているため、アクチンフィラメントが分布している範囲は細胞領域であるとみなすことができる。そこで、アクチンフィラメント染色蛍光画像とＩＨＭ位相像とを比較して、位置合わせのための座標移動量、拡大率、回転角度などの位置合わせのパラメータを求める。但し、顕微鏡のステージ精度の影響によって、核染色蛍光画像とアクチンフィラメント染色蛍光画像とでは若干位置ずれが生じる場合がある。そのため、上記のように求めたパラメータを参考にして、ＩＨＭ位相像の細胞内に核染色蛍光画像上の細胞核が的確に入るかどうかをオペレータが確認しながら位置合わせを行うとよい。 This alignment work can be performed using, for example, an actin filament-stained fluorescence image taken at the same time as the nuclear-stained fluorescence image. Actin filaments are a type of cytoskeleton and are present in the form of fibers throughout the inside of cells. Although it is difficult to visually recognize the cell region in a normal bright-field image, since actin filaments are present almost throughout the cell, the range in which the actin filaments are distributed can be regarded as the cell region. Therefore, the actin filament-stained fluorescence image is compared with the IHM phase image to obtain alignment parameters such as the amount of coordinate movement for alignment, the magnification, and the rotation angle. However, due to the influence of the stage accuracy of the microscope, there may be a slight misalignment between the nuclear-stained fluorescent image and the actin filament-stained fluorescent image. Therefore, with reference to the parameters obtained as described above, it is advisable for the operator to perform the alignment while confirming whether or not the cell nuclei on the nuclear-stained fluorescence image are accurately inserted into the cells of the IHM phase image.
次に、染色画像前処理部５３は核染色蛍光画像において細胞核の領域がより明確になるように、ノイズ除去処理、及び背景除去処理を実施する（ステップＳ１２、Ｓ１３）。ノイズ除去処理は各種のノイズを除去することを目的としており、例えば、線形フィルタ、メディアンフィルタなどの各種のフィルタを用いることができる。また、背景除去処理は、細胞核以外の背景部分にある強度ムラを除去することを主な目的としたものであり、背景減算処理として、平均値フィルタを利用した方法などが知られている。ノイズ除去処理、及び背景除去処理の手法自体は従来の画像処理で利用されている様々な手法を利用することができる。また、ノイズの状況は顕微鏡の特性や対象サンプルの特性にも依存するので、場合によってはノイズ除去処理を省略することができる。
Next, the stained
染色画像二値化部５４は上記のように前処理がなされた画像を二値化処理して、細胞核の領域とそれ以外の領域とを明確化した二値化画像を作成する（ステップＳ１４）。さらに染色画像二値化部５４は、二値化後の画像に対し、モルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたクロージング処理を実施する（ステップＳ１５）。
The stained
一般的に核染色蛍光画像では、背景部分における強度ムラが大きいので、背景除去処理を実施しないと核領域を抽出することが可能な二値化が行えない。それに対し、背景除去処理を事前に行うことで、核領域が的確に抽出されている二値化画像を得ることができる。この二値化画像は、それに対応するＩＨＭ位相像上で細胞核領域とそれ以外の領域とをセマンティックセグメンテーションしラベル化した画像である。また、上述したように二値化後にクロージング処理を行うことで、主として輝点ノイズ等の染色画像上の小さなノイズを除去することができる。但し、ノイズの状況やステップＳ１２でのノイズ除去処理の性能によっては、クロージング処理は省略することもできる。 Generally, in a nuclear-stained fluorescent image, the intensity unevenness in the background portion is large, so that binarization capable of extracting the nuclear region cannot be performed unless the background removal treatment is performed. On the other hand, by performing the background removal process in advance, it is possible to obtain a binarized image in which the nuclear region is accurately extracted. This binarized image is an image in which the cell nucleus region and the other regions are semantically segmented and labeled on the corresponding IHM phase image. Further, as described above, by performing the closing process after binarization, it is possible to remove mainly small noise on the stained image such as bright spot noise. However, the closing process may be omitted depending on the noise situation and the performance of the noise removal process in step S12.
全ての学習データについてステップＳ１１〜Ｓ１５の処理を行うことで、ＩＨＭ位相像と核染色蛍光画像の二値化画像とを組とする多数の学習データが揃ったならば、学習実行部５５は、その多数の学習データを用いてＦＣＮの学習を実行する（ステップＳ１６）。即ち、ＦＣＮによるセマンティックセグメンテーションの結果が正解画像にできるだけ近くなるように、そのネットワークにおける複数の畳み込み層でのフィルタ係数を学習する。モデル構築部５６は、その学習の繰り返しの過程でモデルを構築し、所定の学習が終了すると、モデル構築部５６はその学習結果に基づく学習モデルを保存する（ステップＳ１７）。
このようにして作成された学習モデルを構成するデータが、核位置学習モデル記憶部２６１に格納される。
By performing the processes of steps S11 to S15 for all the training data, if a large number of training data including the binarized image of the IHM phase image and the nuclear-stained fluorescent image are prepared, the learning
The data constituting the learning model created in this way is stored in the nuclear position learning
次に、上述したように学習モデルが核位置学習モデル記憶部２６１に格納されている状態で、細胞解析装置１で行われる解析対象である細胞の解析処理について、図３に示すフローチャートを参照して説明する。
Next, with reference to the flowchart shown in FIG. 3, regarding the analysis process of the cell to be analyzed performed by the cell analyzer 1 in the state where the learning model is stored in the nuclear position learning
オペレータは解析対象の細胞１４を含む培養プレート１３を顕微観察部１０の所定位置にセットし、入力部３０で所定の操作を行う。これにより、撮影制御部２１の制御の下で顕微観察部１０は、試料（培養プレート１３中の細胞１４）の撮影を実施する（ステップＳ２０）。位相／強度情報算出部２３は、その撮影により得られたホログラムデータに基づいて所定の演算を実行して位相情報と強度情報とを取得し、画像作成部２４は同じ観察領域についてのＩＨＭ位相像とＩＨＭ強度像を作成する（ステップＳ２１）。
The operator sets the
核位置推定部２６は、ステップＳ２１で得られたＩＨＭ位相像を入力画像として読み込み、核位置学習モデル記憶部２６１に格納されている核位置学習モデルを用いたＦＣＮによる処理を実施し、入力画像に対応したセグメンテーション画像を出力する。このときのセグメンテーション画像は、入力画像であるＩＨＭ位相像と同じ観察範囲について、細胞核の領域とそれ以外の領域とを区別して示す核位置推定画像である（ステップＳ２２）。
The nuclear
核位置学習モデルの精度は高いので、ステップＳ２２で得られる核位置推定画像は細胞核の領域を的確に示しているものの、培養プレートの培地上に異物が載っていたりイメージセンサ１２や撮影光学系に異物が付着していたりすると、それが細胞として誤認識されてしまい細胞数等の解析結果の精度低下をもたらす。上述したように、解析対象である細胞は透明であり図５（ｂ）に示したＩＨＭ強度像では不鮮明にしか観察できないが、図５（ａ）に示したＩＨＭ位相像では明瞭に観察可能である。これに対し、ゴミ等の異物は通常不透明であるので、図５（ａ）に示したＩＨＭ位相像だけでなく図５（ｂ）に示したＩＨＭ強度像でも明瞭に観察可能である。そこで、本実施形態の細胞解析装置では、細胞観察には通常使用しないＩＨＭ強度像を利用して異物が存在する領域を識別し、その異物領域を除外して細胞数の計数等の解析処理を実行する。
Since the accuracy of the nuclear position learning model is high, the nuclear position estimation image obtained in step S22 accurately shows the region of the cell nucleus, but foreign matter is placed on the medium of the culture plate or on the
即ち、マスク画像作成処理部２５はステップＳ２１で作成されたＩＨＭ強度像に基づいて、異物領域をマスクするためのマスク画像を作成する（ステップＳ２３）。マスク画像作成処理の詳しい手順を図４のフローチャートに示す。また、図６〜図９に、マスク画像作成処理の各工程における画像の一例を示す。
That is, the mask image
マスク画像作成処理部２５は、例えば図６（ａ）に示したような処理対象のＩＨＭ強度像を読み込むと（ステップＳ３０）、画像処理の負荷を軽減するために、ＩＨＭ強度像の画像サイズを減らす縮小処理を行う（ステップＳ３１）。画像サイズを小さくするほど処理の負荷は小さくなるものの、縮小し過ぎると細部が潰れてしまって異物領域のマスキングの精度が下がる。したがって、コンピュータ等の処理装置の性能と元の画像のサイズ、所望のマスキングの精度などを考慮して、予め縮小度合いを決めておくとよい。具体的には画像サイズを１／８程度に縮小するとよい。また、例えば１回の縮小処理における縮小率を１／８とし、パラメータとして設定された回数だけ縮小処理を繰り返すようにしてもよい。
When the mask image
次にマスク画像作成処理部２５は、縮小後のＩＨＭ強度像について画素毎に強度値を所定の閾値と比較することで二値化処理を行う（ステップＳ３２）。図６（ａ）に示すように、透明でない異物はＩＨＭ強度像上で暗くなるから、強度値が閾値以下である画素に「１」の値、強度値が閾値を超える画素に「０」の値を与えて二値化する。これにより、値が「１」及び｛０」である領域をそれぞれ白及び黒とすれば、異物が存在する異物領域は白、それ以外の領域は黒である二値画像が得られる。上記二値化の際の閾値は、例えば実験的に決めておくようにするとよい。図６（ｂ）は二値化後の画像である。
Next, the mask image
なお、多数の画像処理機能が搭載されているOpenCV（Open Source Computer Vision Library）を利用して二値化処理を行う場合、各画素のビット数をOpenCVに適合するビット数に変換する必要がある。具体的には、元のＩＨＭ強度像における１画素のビット数が１６である場合、OpenCVの標準的なビット数である３２ビットに変換する必要がある。そこで、二値化処理の前に１６→３２のビット数拡張処理を行い、二値化処理の後に３２→１６のビット数縮小処理を行うとよい。また、以降の演算処理の負荷を減らすために、ビット数を縮小する際に元のビット数よりも少ないビット数（例えば８ビット）まで縮小してもよい。 When binarizing using OpenCV (Open Source Computer Vision Library) equipped with many image processing functions, it is necessary to convert the number of bits of each pixel to the number of bits compatible with OpenCV. .. Specifically, when the number of bits of one pixel in the original IHM intensity image is 16, it is necessary to convert it to 32 bits, which is the standard number of bits of OpenCV. Therefore, it is preferable to perform the bit number expansion process of 16 → 32 before the binarization process, and perform the bit number reduction process of 32 → 16 after the binarization process. Further, in order to reduce the load of the subsequent arithmetic processing, when the number of bits is reduced, the number of bits may be reduced to a number smaller than the original number of bits (for example, 8 bits).
次いでマスク画像作成処理部２５は、二値化後の画像に対しモルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたクロージング処理を実施する（ステップＳ３３）。よく知られているように、画像に対してクロージング処理を行うことで、途切れている部位を結合したり、欠落している部位を穴埋めしたりすることができる。図６（ａ）から分かるように、ＩＨＭ強度像上の異物の像はその全体が均等に暗くなっているわけではなく、異物が存在する領域の内部の一部や細い部分が白っぽくなっていたりすることがある。そのため、二値化処理の際の閾値が適切であっても、異物領域の全体が「１」である値の像とはならず、一部が途切れたり欠落したりすることが避けられない。図７（ａ）に示すように、クロージング処理によって、こうした本来は異物である部分でありながら欠損している部分を補うことができる。
Next, the mask image
さらにマスク画像作成処理部２５は、クロージング処理後の画像に対しモルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたオープニング処理を実施する（ステップＳ３４）。図７（ｂ）に示すように、クロージング処理後の画像に対しオープニング処理を行うことで、クロージング処理において周囲の画素又は領域と繋がらなかった孤立点であるノイズを除去することができる。
Further, the mask image
次いでマスク画像作成処理部２５は、二値画像上でその面積が所定の面積以下である領域を除去する処理を実行する（ステップＳ３５）。即ち、図８（ａ）に示すように、ステップＳ３４のオープニング処理では除去できない、或る程度大きな面積の領域をここで除去する。
Next, the mask image
上記オープニング処理の繰り返し回数を増やせば或る程度大きな面積の領域も除去することが可能であるものの、そうすると処理に要する時間が長くなる。逆に、オープニング処理を省略してステップＳ３５の処理を実施しても孤立点を除去することができる（孤立点の面積は小さいので）が、そうすると除去すべき領域の数が非常に多くなるためにやはり処理に要する時間が長くなる。これに対し、ステップＳ３４の処理とステップＳ３５の処理とを組み合わせることで、その面積が所定の面積以下である不所望の領域を効率的に、つまりは短い処理時間で除去することができる。なお、除去対象の領域を選択するパラメータである上記所定の面積は、想定される異物の大きさ等に基づいて予め実験的に設定しておくことができる。 Although it is possible to remove an area having a certain large area by increasing the number of repetitions of the opening process, the time required for the process becomes long. On the contrary, even if the opening process is omitted and the process of step S35 is performed, the isolated points can be removed (because the area of the isolated points is small), but then the number of areas to be removed becomes very large. After all, the time required for processing becomes long. On the other hand, by combining the process of step S34 and the process of step S35, an undesired area whose area is equal to or less than a predetermined area can be efficiently removed, that is, in a short processing time. The predetermined area, which is a parameter for selecting the area to be removed, can be experimentally set in advance based on the assumed size of the foreign matter and the like.
そのあとマスク画像作成処理部２５は、二値画像上において白色で示される領域（異物に対応する領域）を膨張させる処理を行う（ステップＳ３６）。デジタルホログラフィック顕微鏡での撮影の原理上、図６（ａ）に示すように、ＩＨＭ強度像上の異物の像では周縁部が暗くならず白っぽくなる。そのため、ＩＨＭ強度像を二値化した二値画像において、異物像は実際の異物の領域よりも小さくなる。これに対し、図８（ｂ）に示すように、二値画像上での異物の像を膨張させることで、実際の異物の領域を十分にカバーするようなマスク画像を形成することができる。
After that, the mask image
さらにマスク画像作成処理部２５は、ステップＳ３６の処理後の二値画像に対し、ステップＳ３１で縮小したときの縮小率と逆の拡大率の、画像サイズの拡大処理を実行する（ステップＳ３７）。図９（ａ）はサイズ拡大後の画像である。上述したようにステップＳ３１で画像サイズを１／８に縮小した場合であれば、ステップＳ３７では画像サイズを８倍に拡大すればよい。画像拡大の手法として周囲の適宜の方法を選択することができる。画像拡大法として最も単純なのは最短距離法（Nearest Neighbor法）であるが、最短距離法では領域の輪郭（境界）のギザギザが目立ち易い。したがって、好ましくは、線形補間法（Bilinear法）などの補間を利用した方法のほうがよい。
Further, the mask image
そして最後にマスク画像作成処理部２５は、再度、二値化処理を実行したあとに画像の白黒を反転する処理を行う（ステップＳ３８）。ここで二値化を行うのはステップＳ３７で線形補間法などによる画像拡大を行うと白黒以外の中間階調が生じてしまうためである。したがって、最短距離法などの、中間階調が生じない画像拡大法を用いる場合にはステップＳ３８における二値化処理は不要である。また、最後に白黒反転を行うのは、異物領域を黒色としたマスク画像を得るためである。
以上のような手順により、図９（ｂ）に示すような、異物領域が黒色でそれ以外の領域が白色であるマスク画像を得ることができる。
Finally, the mask image
By the above procedure, it is possible to obtain a mask image as shown in FIG. 9B, in which the foreign matter region is black and the other regions are white.
なお、ステップＳ３１の縮小処理の縮小率（縮小処理の繰り返し回数）、ステップＳ３２の二値化処理の際の閾値、ステップＳ３３のクロージング処理の繰り返し回数、ステップＳ３４のオープニング処理の繰り返し回数、ステップＳ３５の最小面積以下の領域の除外処理における最小面積、ステップＳ３６の膨張処理の繰り返し回数などのパラメータは予め決めておくことができるが、その全て又は一部をユーザが自由に変更できるようにしてもよい。 The reduction rate of the reduction process in step S31 (the number of times the reduction process is repeated), the threshold value for the binarization process in step S32, the number of times the closing process in step S33 is repeated, the number of times the opening process in step S34 is repeated, and step S35. Parameters such as the minimum area in the exclusion process of the area equal to or less than the minimum area of the above and the number of repetitions of the expansion process in step S36 can be determined in advance, but all or part of them can be freely changed by the user. Good.
次に、解析処理部２７は、ステップＳ２２において得られた核位置推定画像に対し、ステップＳ２３において得られたマスク画像を用いたマスク処理、つまりは解析対象から異物領域を除外する処理を実行し、マスク処理後の核位置推定画像を得る（ステップＳ２４）。そして解析処理部２７は、マスク処理後の核位置推定画像上で核領域の数を計数し細胞数を求める等、の解析処理を実施する（ステップＳ２５）。核位置推定画像において異物領域を除外した領域の面積を算出し、その面積と細胞数とから細胞の密度などを算出するようにしてもよい。表示処理部２８は、算出された細胞数や細胞密度などの解析結果と、マスク処理後の核位置推定画像とを表示部４０に表示する（ステップＳ２６）。
Next, the
このように本実施形態の細胞解析装置では、細胞観察画像上で異物が存在する領域を除いて細胞の数を計数することができる。したがって、細胞観察画像上に異物が存在する場合であっても、細胞数や細胞密度などを高い精度で以て求めることができる。また、本実施形態の細胞解析装置では、生細胞を非侵襲的に撮影したデータに基づいて解析を行うので、その解析に使用した細胞を引き続き培養したり別の目的に使用したりすることが可能である。 As described above, in the cell analyzer of the present embodiment, the number of cells can be counted excluding the region where the foreign substance exists on the cell observation image. Therefore, even when a foreign substance is present on the cell observation image, the number of cells, cell density, and the like can be obtained with high accuracy. Further, in the cell analyzer of the present embodiment, since the analysis is performed based on the data obtained by non-invasively photographing the living cells, the cells used for the analysis can be continuously cultured or used for another purpose. It is possible.
なお、上記説明では、核位置学習モデルを用いたＦＣＮによる処理によって得られた核位置推定画像に対しマスク処理を行い、マスク処理後の核位置推定画像に基づいて細胞数を計数していたが、核位置推定画像における核領域の検出の精度をより高める画像処理を加えてもよい。 In the above description, the nuclear position estimation image obtained by the treatment by FCN using the nuclear position learning model is masked, and the number of cells is counted based on the nuclear position estimated image after the masking. , Image processing may be added to further improve the accuracy of detection of the nuclear region in the nuclear position estimation image.
具体的には、本出願人が先に出願したＰＣＴ／ＪＰ２０１９／０４０２７６号に記載のように、核位置推定画像に対して極大値領域抽出処理及び二値化処理を実行することで、種々のノイズを除去して核領域の中心点を抽出した画像を作成し、この画像に基づいて細胞数を計数してもよい。或いは、本出願人が先に出願したＰＣＴ／ＪＰ２０１９／０４０２７５号に記載のように、細胞核の領域のほかに細胞領域とそれ以外の領域とを識別する学習モデルを用いてＩＨＭ位相像から細胞領域を抽出し、核位置推定画像上の核領域の中で、細胞領域に含まれないものを偽の細胞核として除外する処理を実施してもよい。 Specifically, as described in PCT / JP2019 / 04276, which the applicant filed earlier, various kinds of processing can be performed by executing the maximum value region extraction process and the binarization process on the nuclear position estimation image. An image obtained by removing noise and extracting the central point of the nuclear region may be created, and the number of cells may be counted based on this image. Alternatively, as described in PCT / JP2019 / 0402275 filed earlier by the Applicant, the cell region from the IHM phase image using a learning model that distinguishes the cell region from the other region in addition to the region of the cell nucleus. Is extracted, and among the nuclear regions on the nuclear position estimation image, those not included in the cell region may be excluded as false cell nuclei.
また、細胞数の計数以外にも、培養中の細胞に関する様々な情報を収集するために、上述したように異物領域を除外する処理を実施することができる。例えば、本出願人が先に出願した特願２０１９−１８７８６５号では、細胞領域とそれ以外の領域とを識別する学習モデルを用いてＩＨＭ位相像から細胞領域を抽出したセグメンテーション画像を取得し、そのセグメンテーション画像に基づいて個々の細胞の形状や形態を求めることが行われている。本実施形態の細胞解析装置においても、核位置推定画像の代わりに細胞領域推定画像を用い、異物領域以外の領域に存在する細胞や異物領域と重ならない細胞の形状や形態を観察可能な画像を得るようにすることができる。また、そうした画像に基づいて、細胞全体の面積を算出したり、撮影範囲全体の面積に対する細胞面積の割合を算出したり、さらには個々の細胞の面積や長さ、或いは周囲長などの情報を算出して、個々の細胞の面積、周囲長等の平均値、中央値、分散などの統計情報を算出することもできる。 In addition to counting the number of cells, a process for excluding a foreign substance region can be performed as described above in order to collect various information about the cells being cultured. For example, in Japanese Patent Application No. 2019-187865 filed earlier by the present applicant, a segmentation image obtained by extracting a cell region from an IHM phase image using a learning model that distinguishes a cell region from another region is obtained, and the segmentation image thereof is obtained. The shape and morphology of individual cells are determined based on the segmentation image. Also in the cell analysis device of the present embodiment, a cell region estimation image is used instead of the nuclear position estimation image, and an image capable of observing the shape and morphology of cells existing in a region other than the foreign body region or cells that do not overlap with the foreign body region can be obtained. You can get it. In addition, based on such images, the area of the entire cell can be calculated, the ratio of the cell area to the area of the entire imaging range can be calculated, and information such as the area and length of individual cells or the perimeter can be obtained. It is also possible to calculate and calculate statistical information such as the area of each cell, the average value such as the perimeter, the median value, and the variance.
なお、上記実施形態の細胞解析装置では、細胞核のセマンティックセグメンテーションのための機械学習法としてＦＣＮを用いていたが、通常の畳み込みニューラルネットワークでもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、画像についてのセマンティックセグメンテーションが可能な機械学習法であれば本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン、ランダムフォレスト、アダブーストなどがある。 In the cell analysis apparatus of the above embodiment, FCN is used as a machine learning method for semantic segmentation of cell nuclei, but it is clear that a normal convolutional neural network may be used. Further, it is effective to apply the present invention not only to the machine learning method using a neural network but also to any machine learning method capable of semantic segmentation of an image. Such machine learning methods include, for example, support vector machines, random forests, and AdaBoost.
また、上記実施形態の細胞解析装置では、顕微観察部１０としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス（軸外し）型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。
Further, in the cell analysis apparatus of the above embodiment, an in-line holographic microscope is used as the
また、上記実施形態や各種の変形例はあくまでも本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。 Further, the above-described embodiment and various modifications are merely examples of the present invention, and it is clear that even if modifications, modifications, and additions are made as appropriate within the scope of the present invention, they are included in the claims of the present application. is there.
［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。
[Various aspects]
It will be apparent to those skilled in the art that the exemplary embodiments described above are specific examples of the following embodiments.
（第１項）本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部と、
前記強度画像内において異物が存在する異物領域を識別する異物領域識別部と、
前記位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部と、
を備えるものである。
(Item 1) One aspect of the cell analyzer according to the present invention is
With a holographic microscope
An image creation unit that creates a phase image and an intensity image corresponding to the same imaging range based on the hologram data acquired by observing the cells with the holographic microscope.
A foreign matter region identification unit that identifies a foreign matter region in which a foreign matter exists in the intensity image,
A cell information acquisition unit that acquires information related to cells existing in a region excluding the foreign matter region identified by the foreign matter region identification unit in the phase image, and a cell information acquisition unit.
Is provided.
第１項に記載の細胞解析装置によれば、位相画像上に映り込んでいる異物の像の影響を受けることなく、細胞数等の解析結果の精度を向上させることができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。 According to the cell analysis apparatus according to the first item, the accuracy of the analysis result such as the number of cells can be improved without being affected by the image of the foreign substance reflected on the phase image. In addition, since the cells to be analyzed can be photographed (measured) non-invasively, the cells can be continuously cultured or used for analysis or observation for another purpose.
（第２項）第１項に記載の細胞解析装置において、前記異物領域識別部は、前記強度画像に対して二値化処理を行ったあと、二値画像上で異物領域の欠落部を補填する補填処理、及び小面積の領域を除去するノイズ除去処理を実施するものとすることができる。 (Item 2) In the cell analyzer according to item 1, the foreign matter region identification unit compensates for the missing portion of the foreign matter region on the binary image after performing binarization processing on the intensity image. The compensation process and the noise removal process for removing a small area area can be performed.
強度画像上で観察される異物像はその全体が同じように暗い像になっているとは限らず、多くの場合、明暗にむらがある。また、強度画像でも細胞が全く観察できないわけではないので、二値化処理の結果、細胞の一部や背景領域の一部が異物領域と同じ画素値になることもある。これに対し、第２項に記載の細胞解析装置によれば、補填処理によって明暗のむら等によって欠落した部分を補填することができる。一方、ノイズ除去処理によって、細胞の一部や背景領域の一部などの異物領域と同じ画素値となる部分を除去することができる。それによって、異物領域をより正確に抽出することができる。
なお、補填処理としては例えばクロージング処理、ノイズ除去処理としてはオープニング処理や所定の閾値以下の面積の領域を除去する処理などを用いることができる。
The foreign matter image observed on the intensity image is not always the same dark image as a whole, and in many cases, there is unevenness in brightness. Further, since the cells are not completely unobservable even in the intensity image, as a result of the binarization process, a part of the cells or a part of the background region may have the same pixel value as the foreign matter region. On the other hand, according to the cell analysis apparatus according to the second item, it is possible to make up for the missing portion due to unevenness of light and darkness by the filling process. On the other hand, the noise removal process can remove a portion having the same pixel value as a foreign matter region such as a part of a cell or a part of a background region. Thereby, the foreign matter region can be extracted more accurately.
As the compensation process, for example, a closing process can be used, and as the noise removal process, an opening process, a process of removing an area having an area equal to or less than a predetermined threshold value, or the like can be used.
（第３項）第２項に記載の細胞解析装置において、前記異物領域識別部は、前記補填処理及びノイズ除去処理のあとの二値画像上での異物領域を膨張させる膨張処理を実施するものとすることができる。 (Item 3) In the cell analysis apparatus according to the second item, the foreign matter region identification unit performs an expansion treatment for expanding the foreign matter region on the binary image after the compensation treatment and the noise removal treatment. Can be.
ホログラムデータに基づく強度画像上で観察される異物像では、その周縁部が比較的明るくなることが多い。これに対し、第３項に記載の細胞解析装置によれば、膨張処理によって二値画像上での異物領域を拡大することができるので、実際に異物が存在する領域を十分にカバーし得るような、且つ、実際には異物が存在しない領域をできるだけカバーしないようなマスク画像を作成することができる。それによって、異物領域を的確に除外して細胞に関連する情報を収集することができる。 In a foreign matter image observed on an intensity image based on hologram data, the peripheral portion thereof is often relatively bright. On the other hand, according to the cell analyzer described in the third item, the foreign matter region on the binary image can be enlarged by the expansion treatment, so that the region where the foreign matter actually exists can be sufficiently covered. Moreover, it is possible to create a mask image that does not cover the area where foreign matter does not actually exist as much as possible. Thereby, the foreign substance region can be accurately excluded and the information related to the cell can be collected.
（第４項）第１項〜第３項のいずれか１項に記載の細胞解析装置において、
前記細胞情報取得部は、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、核領域又は細胞領域を染色して得られた画像を正解画像とした学習データを用い、機械学習を行うことで作成された学習モデルが記憶される学習モデル記憶部と、
前記学習モデル記憶部に記憶されている学習モデルを用い、前記位相画像を入力画像として核領域又は細胞領域と他の領域とをセグメンテーションした領域推定画像を出力する領域推定部と、
を含むものとすることができる。
(Item 4) In the cell analyzer according to any one of items 1 to 3,
The cell information acquisition unit
Machine learning is performed using the learning data in which the phase image of the cell created based on the hologram data is used as the input image and the corresponding image obtained by staining the nuclear region or cell region is used as the correct image. A learning model storage unit that stores the learning model created in
Using the learning model stored in the learning model storage unit, a region estimation unit that outputs a region estimation image obtained by segmenting a nuclear region or a cell region and another region using the phase image as an input image, and a region estimation unit.
Can be included.
（第５項）また第４項に記載の細胞解析装置において、前記機械学習は全畳み込みニューラルネットワークを用いたものとすることができる。
(Item 5) Further, in the cell analysis apparatus according to the
第４項及び第５項に記載の細胞解析装置によれば、位相画像に基づいて細胞核が存在する核領域や細胞が存在する細胞領域を正確に抽出することができ、細胞に関連する情報を精度良く求めることができる。 According to the cell analyzers described in the fourth and fifth paragraphs, the nuclear region in which the cell nucleus exists and the cell region in which the cell exists can be accurately extracted based on the phase image, and information related to the cell can be obtained. It can be obtained with high accuracy.
（第６項）第４項又は第５項に記載の細胞解析装置において、前記異物領域識別部は、異物領域をマスクするマスク画像を作成し、前記細胞情報取得部は、前記領域推定画像に対し前記マスク画像を用いたマスク処理を実施し、そのマスク処理後の領域推定画像に基づいて細胞に関連する情報を取得するものとすることができる。 (Section 6) In the cell analyzer according to the fourth or fifth paragraph, the foreign matter region identification unit creates a mask image that masks the foreign matter region, and the cell information acquisition unit uses the region estimation image. On the other hand, mask processing using the mask image can be performed, and information related to cells can be acquired based on the region estimation image after the mask processing.
第６項に記載の細胞解析装置によれば 異物領域以外の領域に存在する細胞核の領域や細胞領域を正確に求めることができる。それによって、異物の映り込みの影響を排除して、細胞数、細胞密度、細胞の形状や形態、細胞面積、細胞の周囲長などの細胞に関連する情報を正確に求めることができる。 According to the cell analyzer described in item 6, it is possible to accurately determine the region of the cell nucleus and the cell region existing in the region other than the foreign body region. As a result, it is possible to eliminate the influence of the reflection of foreign substances and accurately obtain cell-related information such as cell number, cell density, cell shape and morphology, cell area, and cell perimeter.
１…細胞解析装置
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相／強度情報算出部
２４…画像作成部
２５…マスク画像作成処理部
２６…核位置推定部
２６１…核位置学習モデル記憶部
２７…解析処理部
２８…表示処理部
３０…入力部
４０…表示部
５０…ＦＣＮモデル作成部
５１…学習画像データ入力部
５２…画像位置合わせ処理部
５３…染色画像前処理部
５４…染色画像二値化部
５５…学習実行部
５６…モデル構築部
1 ...
Claims (6)
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部と、
前記強度画像内において異物が存在する異物領域を識別する異物領域識別部と、
前記位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部と、
を備える、細胞解析装置。 With a holographic microscope
An image creation unit that creates a phase image and an intensity image corresponding to the same imaging range based on the hologram data acquired by observing the cells with the holographic microscope.
A foreign matter region identification unit that identifies a foreign matter region in which a foreign matter exists in the intensity image,
A cell information acquisition unit that acquires information related to cells existing in a region excluding the foreign matter region identified by the foreign matter region identification unit in the phase image, and a cell information acquisition unit.
A cell analyzer.
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、核領域又は細胞領域を染色して得られた画像を正解画像とした学習データを用い、機械学習を行うことで作成された学習モデルが記憶される学習モデル記憶部と、
前記学習モデル記憶部に記憶されている学習モデルを用い、前記位相画像を入力画像として核領域又は細胞領域と他の領域とをセグメンテーションした領域推定画像を出力する領域推定部と、
を含む、請求項１〜３のいずれか１項に記載の細胞解析装置。 The cell information acquisition unit
Machine learning is performed using the learning data in which the phase image of the cell created based on the hologram data is used as the input image and the corresponding image obtained by staining the nuclear region or cell region is used as the correct image. A learning model storage unit that stores the learning model created in
Using the learning model stored in the learning model storage unit, a region estimation unit that outputs a region estimation image obtained by segmenting a nuclear region or a cell region and another region using the phase image as an input image, and a region estimation unit.
The cell analyzer according to any one of claims 1 to 3.
前記細胞情報取得部は、前記領域推定画像に対し前記マスク画像を用いたマスク処理を実施し、そのマスク処理後の領域推定画像に基づいて細胞に関連する情報を取得する、請求項４又は５に記載の細胞解析装置。 The foreign matter region identification unit creates a mask image that masks the foreign matter region, and creates a mask image.
The cell information acquisition unit performs mask processing using the mask image on the region estimation image, and acquires information related to cells based on the region estimation image after the mask processing, claim 4 or 5. The cell analyzer according to.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019205905A JP2021078356A (en) | 2019-11-14 | 2019-11-14 | Cell analysis apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019205905A JP2021078356A (en) | 2019-11-14 | 2019-11-14 | Cell analysis apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021078356A true JP2021078356A (en) | 2021-05-27 |
Family
ID=75961571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019205905A Pending JP2021078356A (en) | 2019-11-14 | 2019-11-14 | Cell analysis apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021078356A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023037986A1 (en) * | 2021-09-13 | 2023-03-16 | 公益財団法人京都大学ｉＰＳ細胞研究財団 | Method for producing pluripotent stem cells |
| WO2023181129A1 (en) * | 2022-03-22 | 2023-09-28 | 株式会社ニコン | Image processing method and image processing device |
-
2019
- 2019-11-14 JP JP2019205905A patent/JP2021078356A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023037986A1 (en) * | 2021-09-13 | 2023-03-16 | 公益財団法人京都大学ｉＰＳ細胞研究財団 | Method for producing pluripotent stem cells |
| WO2023181129A1 (en) * | 2022-03-22 | 2023-09-28 | 株式会社ニコン | Image processing method and image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11978211B2 (en) | Cellular image analysis method, cellular image analysis device, and learning model creation method | |
| JP6900581B1 (en) | Focus-weighted machine learning classifier error prediction for microscope slide images | |
| JP6981533B2 (en) | Cell image analysis device, cell image analysis system, training data generation method, training model generation method, training data generation program, and training data manufacturing method | |
| JP2021064115A (en) | Cell image analysis method and cell analysis device | |
| JP2023508284A (en) | Method and system for digital staining of microscopic images using deep learning | |
| JP2022513494A (en) | Computational microscope-based systems and methods for automatic imaging and analysis of pathological specimens | |
| Kaczmarek et al. | Techniques of image analysis for quantitative immunohistochemistry | |
| JP6791245B2 (en) | Image processing device, image processing method and image processing program | |
| EP2084668A1 (en) | Reconstruction and visualization of neuronal cell structures with brigh-field mosaic microscopy | |
| JP2022506135A (en) | Segmentation of 3D intercellular structures in microscopic images using iterative deep learning flows that incorporate human contributions | |
| Holmes et al. | Blind deconvolution of 3D transmitted light brightfield micrographs | |
| JP2021078356A (en) | Cell analysis apparatus | |
| JP7070656B2 (en) | Cell image analysis method, cell image analysis device, and learning model creation method | |
| Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
| US20240095910A1 (en) | Plaque detection method for imaging of cells | |
| JPWO2019180833A1 (en) | Cell observation device | |
| Simon et al. | Automated image analysis system for detecting boundaries of live prostate cancer cells | |
| WO2020188813A1 (en) | Cell analysis device | |
| US11854281B2 (en) | System, method, and computer-accessible medium for processing brain images and extracting neuronal structures | |
| US20240185422A1 (en) | Plaque detection method and apparatus for imaging of cells | |
| WO2023278692A1 (en) | Plaque detection method and apparatus for imaging of cells | |
| Yu et al. | Illumination compensation for microscope images based on illumination difference estimation | |
| WO2021070372A1 (en) | Cell image analysis method and cell analysis device | |
| Pitchumani Angayarkanni et al. | A novel architecture for improving tuberculosis detection from microscopic sputum smear images | |
| Gray et al. | Cell identification and sizing using digital image analysis for estimation of cell biomass in High Rate Algal Ponds |