JP6931579B2 - Live cell detection methods, programs and recording media - Google Patents
Live cell detection methods, programs and recording media Download PDFInfo
- Publication number
- JP6931579B2 JP6931579B2 JP2017180014A JP2017180014A JP6931579B2 JP 6931579 B2 JP6931579 B2 JP 6931579B2 JP 2017180014 A JP2017180014 A JP 2017180014A JP 2017180014 A JP2017180014 A JP 2017180014A JP 6931579 B2 JP6931579 B2 JP 6931579B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- cell
- living
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 39
- 238000000034 method Methods 0.000 claims description 78
- 238000001914 filtration Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 17
- 210000004027 cell Anatomy 0.000 description 125
- 210000002220 organoid Anatomy 0.000 description 83
- 238000012545 processing Methods 0.000 description 47
- 230000002093 peripheral effect Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 210000005056 cell body Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007876 drug discovery Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Description
この発明は、画像に含まれる細胞や細胞塊等のうち生きているものを特定するための技術に関するものである。 The present invention relates to a technique for identifying a living cell, cell mass, or the like included in an image.
創薬スクリーニングや生化学実験等の分野においては、培養容器内で培養された細胞や複数の細胞からなる細胞塊（以下、これらを「細胞等」と総称する）を撮像し、得られた画像に適宜の画像処理を施して細胞等の状態を評価することが行われる。特に、無染色の細胞等を可視光照明下で撮像した可視光像は、生きている細胞等にダメージを与えることなく撮像可能であることから、このような画像から種々の情報を取得することが望まれる。その一方、特定の属性を有する細胞等においてのみ発現するような試薬（例えば染色や蛍光ラベリング）を用いて撮像された画像に比べて、画像の評価基準が十分に確立されているとは言い難い。このため、画像評価のための種々の技術が提案されている。 In fields such as drug discovery screening and biochemical experiments, images obtained by imaging cells cultured in a culture vessel or a cell mass consisting of a plurality of cells (hereinafter, these are collectively referred to as "cells, etc."). Is subjected to appropriate image processing to evaluate the state of cells and the like. In particular, since a visible light image obtained by imaging unstained cells or the like under visible light illumination can be imaged without damaging living cells or the like, various information should be obtained from such an image. Is desired. On the other hand, it is hard to say that the evaluation criteria of the image are sufficiently established as compared with the image taken by using a reagent (for example, staining or fluorescence labeling) that is expressed only in cells having a specific attribute. .. Therefore, various techniques for image evaluation have been proposed.
例えば特許文献１に記載の技術では、無染色の細胞を撮像した可視光像において、生細胞が死細胞よりも輝度が高くなるとの知見に基づき、適宜に設定した閾値より高い輝度を有する領域が生細胞に対応する領域、より低い輝度を有する領域が死細胞または背景領域と判定される。このような細胞等の生死を判定する処理は、例えば細胞に対する化学物質の薬効を評価するための有効な手段である。 For example, in the technique described in Patent Document 1, in a visible light image obtained by imaging unstained cells, a region having a brightness higher than an appropriately set threshold value is formed based on the finding that the brightness of living cells is higher than that of dead cells. A region corresponding to a living cell and a region having a lower brightness are determined to be dead cells or a background region. Such a process of determining the life or death of a cell or the like is an effective means for evaluating, for example, the medicinal effect of a chemical substance on a cell.
特許文献１に記載のように、一般的には画像において生細胞が死細胞よりも高い輝度を示す傾向がある。しかしながら、そのような輝度の違いは相対的なものであり、例えば個々の細胞体の色味のばらつきや照明条件の違い等により、画像内における輝度は大きくばらつく。このため、単なる閾値との比較といった絶対的な輝度値のみに基づく判定では生きている細胞等を正確に検出することができない場合がある。 As described in Patent Document 1, in general, living cells tend to show higher brightness than dead cells in images. However, such a difference in brightness is relative, and the brightness in the image varies greatly due to, for example, variations in the color of individual cell bodies and differences in lighting conditions. For this reason, it may not be possible to accurately detect living cells or the like by a determination based only on an absolute brightness value such as a comparison with a mere threshold value.
この発明は上記課題に鑑みなされたものであり、検出対象物としての細胞や細胞塊等を含む画像から、生きているものを従来よりも高い精度で検出することのできる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a technique capable of detecting a living object with higher accuracy than before from an image including a cell, a cell mass, etc. as a detection target. The purpose.
この発明に係る生細胞検出方法の一の態様は、上記目的を達成するため、検出対象物としての細胞または細胞塊の可視光像を含む原画像を取得する工程と、前記原画像を構成する各画素に対し、当該画素および当該画素を中心とする所定の近傍範囲内の近傍画素の輝度値に基づく最小値フィルタ処理を実行する工程と、前記最小値フィルタ処理後の画像を構成する各画素に対し、当該画素および当該画素を中心とする前記最小値フィルタ処理における近傍範囲と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程と、前記原画像と前記最大値フィルタ処理後の画像との差分を求める工程と、前記差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程とを備えている。 One aspect of the live cell detection method according to the present invention comprises a step of acquiring an original image including a visible light image of a cell or a cell mass as a detection target and the original image in order to achieve the above object. For each pixel, a step of executing a minimum value filter process based on the brightness value of the pixel and a nearby pixel within a predetermined neighborhood range centered on the pixel, and each pixel constituting the image after the minimum value filter process. On the other hand, the step of executing the maximum value filtering process based on the brightness value of the pixel and the neighboring pixel in the neighborhood range having the same size as the neighborhood range in the minimum value filtering process centered on the pixel, and the original image and the said It includes a step of obtaining a difference from the image after the maximum value filtering process, and a step of specifying a region occupied by pixels having a brightness value equal to or higher than a predetermined threshold in the difference as a region corresponding to a living cell.
詳しくは後述するが、この発明は以下の知見に基づいている。すなわち、画像内において、細胞または複数の細胞からなる細胞塊（以下、「細胞等」と総称する）はその周縁部分が背景に対し比較的低い輝度を示す。一方、細胞等の中央部については、生きている細胞等が周縁部に対し比較的高い輝度を示すのに対し、死んだ細胞等では周縁部と同様に輝度が低い。 Although details will be described later, the present invention is based on the following findings. That is, in the image, the peripheral portion of a cell or a cell mass composed of a plurality of cells (hereinafter, collectively referred to as "cells and the like") exhibits a relatively low brightness with respect to the background. On the other hand, in the central portion of cells and the like, living cells and the like exhibit relatively high brightness with respect to the peripheral portion, whereas dead cells and the like have low brightness as in the peripheral portion.
本発明では、細胞等を含む原画像に対し最小値フィルタ処理を行う。最小値フィルタ処理では、画像を構成する各画素の輝度値が、当該画素およびその周囲の近傍画素の輝度値の最小値により置き換えられる。これにより、生きている細胞等の像では、比較的輝度の高い中央部の画素の輝度値がより輝度の低い周縁部の画素の輝度値に置き換えられ、輪郭の内部全体が暗く塗りつぶされることとなる。一方、死んだ細胞等の像では、もともと中央部の輝度が低いため、処理による変化は小さい。また、比較的輝度変化の小さい背景部分でも、処理による変化は小さい。 In the present invention, the minimum value filtering process is performed on the original image including cells and the like. In the minimum value filtering process, the brightness value of each pixel constituting the image is replaced by the minimum value of the brightness value of the pixel and its surrounding neighboring pixels. As a result, in the image of a living cell or the like, the brightness value of the pixel in the central portion having a relatively high brightness is replaced with the brightness value of the pixel in the peripheral portion having a lower brightness, and the entire inside of the contour is darkly filled. Become. On the other hand, in the image of dead cells and the like, since the brightness in the central part is originally low, the change due to the treatment is small. Further, even in the background portion where the change in brightness is relatively small, the change due to processing is small.
最小値フィルタ処理を実行することにより、細胞等の周縁部ではその輪郭が膨張するという現象が不可避的に生じる。最小値フィルタ処理に適用された近傍範囲と同サイズの近傍範囲での最大値フィルタ処理を実行することで、膨張した輪郭を原形に近づけることができる。生きている細胞等の像において既に暗く塗りつぶされた中央部は、最大値フィルタ処理によっても元の高い輝度値に戻ることはない。したがって、このときの画像における生きている細胞等の像は、元の輪郭形状を概ね維持しつつ中央部が暗く塗りつぶされたものとなる。一方、死んだ細胞等では、もともと輝度の変化が小さいため処理による変化は少ない。 By executing the minimum value filtering process, a phenomenon that the contour expands in the peripheral portion of a cell or the like inevitably occurs. By executing the maximum value filtering in the neighborhood range of the same size as the neighborhood range applied to the minimum value filtering, the expanded contour can be brought closer to the original shape. The central part, which is already darkly filled in the image of living cells, does not return to the original high brightness value even by the maximum value filtering. Therefore, in the image of living cells and the like in the image at this time, the central portion is darkly filled while maintaining the original contour shape. On the other hand, in dead cells and the like, the change in brightness is originally small, so the change due to treatment is small.
こうして得られた画像を原画像から差し引き差分を求めると、輝度が大きく変化した領域、つまり生きている細胞等の中央部に相当する領域が高い輝度値を示す一方、輝度変化の小さい死んだ細胞等の領域や背景部分は十分に低い輝度を示すことになる。このように、差分画像では、生きている細胞等とそれ以外の部分とが大きな輝度の違いとなって現れる。そのため、差分画像においてある程度以上の輝度値を有する領域が、原画像において生きている細胞等が存在した位置を示していると言える。このことから、差分画像において所定の閾値以上の輝度値を有する画素が占める領域を、生きている細胞等に対応する領域とみなすことができる。 When the difference obtained by subtracting the image obtained in this way from the original image is obtained, the region where the brightness changes significantly, that is, the region corresponding to the central part such as a living cell shows a high brightness value, while the dead cell with a small change in brightness shows a high brightness value. Areas such as and the background portion show sufficiently low brightness. In this way, in the difference image, living cells and the like and other parts appear as a large difference in brightness. Therefore, it can be said that the region having a certain brightness value or more in the difference image indicates the position where the living cells or the like existed in the original image. From this, the region occupied by the pixels having the brightness value equal to or higher than the predetermined threshold value in the difference image can be regarded as the region corresponding to the living cells and the like.
上記のように、本発明によれば、周縁部に対し中央部の輝度が高くなるという生細胞の特徴を利用して、そのような領域を生細胞に対応する領域として特定する。このため、細胞や細胞塊等の細胞体を含む画像から生きているものを従来よりも高い精度で検出することが可能である。 As described above, according to the present invention, such a region is specified as a region corresponding to the living cell by utilizing the characteristic of the living cell that the brightness of the central portion is higher than that of the peripheral portion. Therefore, it is possible to detect a living object from an image including a cell body such as a cell or a cell mass with higher accuracy than before.
以下、本発明に係る生細胞検出方法の原理および具体的な処理内容について説明する。以下において「細胞塊」の語は、複数の細胞が集合してまとまった構造を形成するオルガノイド（細胞組織体）やスフェロイドなどの総称として用いられる。また、細胞塊と単独で存在する細胞とを含む総称として、「細胞等」の語が用いられる。また、「生きている」細胞塊とは、当該細胞塊の主要部が活性を有する細胞により構成されていることを意味する。一方、「死んだ」細胞塊とは、当該細胞塊を構成する細胞の全てまたは大部分が死滅したまたは活性を失った状態を意味する。また、「生細胞」は、単独の生きている細胞および複数の生きている細胞により構成された細胞塊の総称として用いられる。 Hereinafter, the principle and specific processing contents of the living cell detection method according to the present invention will be described. Hereinafter, the term "cell mass" is used as a general term for organoids (cell tissues) and spheroids that form a cohesive structure in which a plurality of cells are aggregated. In addition, the term "cells and the like" is used as a general term including a cell mass and a cell existing alone. In addition, "living" cell mass means that the main part of the cell mass is composed of active cells. On the other hand, a "dead" cell mass means a state in which all or most of the cells constituting the cell mass have died or lost their activity. In addition, "living cell" is used as a general term for a cell mass composed of a single living cell and a plurality of living cells.
本発明に係る生細胞検出方法は、細胞等を撮像した画像を原画像とし、当該原画像に含まれる細胞等を検出対象物として、原画像中の細胞等のうち生きているものを検出するものである。検出対象物としては、例えばウェルプレートやディッシュなどの培養容器に注入された培地中で培養された細胞や細胞塊を用いることができる。また、原画像としては、このような検出対象物を含む培養容器内を例えば可視光照明下で明視野顕微鏡撮像した画像を用いることができる。 The living cell detection method according to the present invention uses an image obtained by imaging a cell or the like as an original image, and detects a living cell or the like in the original image using the cell or the like contained in the original image as a detection target. It is a thing. As the detection target, for example, cells or cell clusters cultured in a medium injected into a culture vessel such as a well plate or a dish can be used. Further, as the original image, an image taken by a bright-field microscope under, for example, visible light illumination in the culture vessel containing such a detection object can be used.
図１は原画像の例を示す模式図である。原画像Ｉｓは、例えば培地中で培養された無染色の細胞等を含む培養容器内を明視野撮像した画像である。原画像Ｉｓでは、培地に対応する略一様な輝度を有する背景ＢＧの中に、少なくとも１つの細胞等の像が含まれている。図１に示す原画像Ｉｓでは、複数の細胞が集合してなるオルガノイド（細胞組織体）の像が複数含まれる。従来から知られているように、生きているオルガノイドの像は比較的明るく、死んだオルガノイドは暗い像として画像内に現れる。なお、ここでは「細胞等」の一例としてオルガノイドを対象とする場合について説明するが、処理の適用対象はオルガノイドに限定されず、細胞等全般である。 FIG. 1 is a schematic diagram showing an example of an original image. The original image Is is an image obtained by bright-field imaging of the inside of a culture vessel containing, for example, unstained cells cultured in a medium. In the original image Is, an image of at least one cell or the like is included in the background BG having substantially uniform brightness corresponding to the medium. The original image Is shown in FIG. 1 includes a plurality of images of organoids (cell tissues) formed by aggregating a plurality of cells. As is traditionally known, images of living organoids are relatively bright, and dead organoids appear in the image as dark images. Here, a case where an organoid is targeted as an example of "cells and the like" will be described, but the application target of the treatment is not limited to the organoids, but the cells and the like in general.
ところで、画像中のオルガノイドをより詳細に観察すると、図１に符号Ｃ１〜Ｃ４を付して示すように、生きているオルガノイドではその中央部において輝度が高く、周縁部では中央部に比べると輝度が低くなっている。一方、死んだオルガノイドは、符号Ｃ５〜Ｃ１０を付して示すように像全体において一様に輝度が低く暗い像となる。また、生きているオルガノイドＣ１〜Ｃ４の間、および死んだオルガノイドＣ５〜Ｃ１０の間でも、それぞれのオルガノイドの輝度は個体ごとに異なる。このような輝度値のばらつきは、例えば照明条件や背景の明るさ等の撮像環境の違いによっても生じる。このため、画像中に現れるオルガノイドを単にその全体の輝度値のみで生死判定する方法では、必ずしも高精度な判定を行うことができない。 By the way, when the organoids in the image are observed in more detail, as shown by the reference numerals C1 to C4 in FIG. 1, the living organoids have higher brightness in the central portion and the peripheral portions have higher brightness than the central portion. Is low. On the other hand, the dead organoids have a uniformly low brightness and a dark image in the entire image as shown by the reference numerals C5 to C10. In addition, the brightness of each organoid also differs from individual to individual between living organoids C1 to C4 and between dead organoids C5 to C10. Such variations in the brightness value also occur due to differences in the imaging environment such as lighting conditions and background brightness. For this reason, it is not always possible to make a highly accurate determination by a method of determining whether an organoid appearing in an image is alive or dead based solely on its overall brightness value.
その一方、上記したように、生きているオルガノイドは、周縁部の輝度が低く中央部では周縁部よりも輝度が高いという性質を有している。この性質を利用すれば、個体および撮像環境によるばらつきに影響されることなく、生きているオルガノイドを精度よく検出することが原理的に可能である。本発明に係る生細胞検出方法は、この知見に基づくものである。 On the other hand, as described above, the living organoid has a property that the brightness of the peripheral portion is low and the brightness of the central portion is higher than that of the peripheral portion. By utilizing this property, it is possible in principle to accurately detect living organoids without being affected by variations depending on the individual and the imaging environment. The living cell detection method according to the present invention is based on this finding.
図２は本発明に係る生細胞検出方法の一実施形態の処理内容を示すフローチャートである。また、図３は処理中において生成される画像データが表す画像の例を示す図である。この処理は、例えばパーソナルコンピュータとして一般的なハードウェア構成を有するコンピュータ装置に、以下に説明する処理手順を記述したプログラムを実行させることによって実現可能である。なお、説明のため、図３は処理の途中で中間的に生成される画像データを可視化したものに対応する画像も含んでいるが、実際の処理においてはこのような中間データに対応する画像が作成されることは必須ではない。 FIG. 2 is a flowchart showing the processing content of one embodiment of the living cell detection method according to the present invention. Further, FIG. 3 is a diagram showing an example of an image represented by image data generated during processing. This processing can be realized, for example, by causing a computer device having a hardware configuration general as a personal computer to execute a program describing the processing procedure described below. For the sake of explanation, FIG. 3 also includes an image corresponding to a visualization of image data intermediately generated in the middle of processing, but in actual processing, an image corresponding to such intermediate data is included. It is not mandatory to be created.
最初に、処理対象となる原画像に対応する画像データ（原画像データ）が取得される（ステップＳ１０１）。ここでは、図３に示すように、中央部が周縁部よりも明るい生きているオルガノイドＣａ，Ｃｂと、中央部と周縁部とがほぼ同程度の輝度である死んだオルガノイドＣｃ，Ｃｄとを含む画像Ｉ０を原画像とする。原画像は、撮像装置を作動させて培養容器内の細胞等を撮像することにより取得可能である。この場合、撮像装置が備えるプロセッサにより本処理が実行されてもよい。その他、例えば予め行われた撮像により作成された画像データを記録した記録媒体から読み取る、あるいは他のコンピュータ装置から通信回線を介して画像データを受信する等によっても画像データを取得することが可能である。 First, image data (original image data) corresponding to the original image to be processed is acquired (step S101). Here, as shown in FIG. 3, the living organoids Ca and Cb whose central portion is brighter than the peripheral portion and the dead organoids Cc and Cd whose central portion and peripheral portion have approximately the same brightness are included. Image I0 is used as the original image. The original image can be obtained by operating the imaging device and imaging the cells and the like in the culture vessel. In this case, this process may be executed by the processor included in the image pickup apparatus. In addition, for example, it is possible to acquire image data by reading the image data created by imaging in advance from a recording medium on which the image data is recorded, or by receiving the image data from another computer device via a communication line. be.
取得された原画像Ｉ０を構成する各画素に対し、最小値フィルタ処理（ステップＳ１０３）および最大値フィルタ処理（ステップＳ１０４）が順次実行されるが、それに先立って、フィルタ処理に適用されるウィンドウのサイズが設定される（ステップＳ１０２）。最小値フィルタ処理および最大値フィルタ処理におけるウィンドウサイズは、処理対象となる中心画素に対する近傍範囲を決めるものであり、そのサイズ設定によりフィルタ処理の効果が異なる。このため、画像の内容に応じて、具体的には原画像Ｉ０に含まれる細胞等のサイズに応じて適切なウィンドウサイズが設定される必要がある。好ましいウィンドウサイズについては後述する。 The minimum value filtering process (step S103) and the maximum value filtering process (step S104) are sequentially executed for each pixel constituting the acquired original image I0, but prior to that, the window applied to the filtering process is displayed. The size is set (step S102). The window size in the minimum value filtering process and the maximum value filtering process determines the neighborhood range with respect to the central pixel to be processed, and the effect of the filtering process differs depending on the size setting. Therefore, it is necessary to set an appropriate window size according to the content of the image, specifically, according to the size of the cells and the like included in the original image I0. The preferred window size will be described later.
細胞等のサイズが予めわかっていれば、ウィンドウサイズについても予め固定的に定めておくことが可能である。観察対象である細胞等（例えばオルガノイド）の種類が決まっていればそのサイズのばらつきの程度も事前に予測可能である。また、原画像Ｉ０の撮像時に、画像中の細胞等を観察に適したサイズとなるように倍率を設定すれば、細胞等の種類によらず画像中におけるサイズと概ね同じとすることが可能である。したがって、このようにウィンドウサイズを予め定めておく態様は十分に実用になる。 If the size of the cell or the like is known in advance, the window size can also be fixedly determined in advance. If the type of cells or the like (for example, organoids) to be observed is determined, the degree of variation in size can be predicted in advance. Further, when the original image I0 is imaged, if the magnification is set so that the cells and the like in the image have a size suitable for observation, the size can be substantially the same as the size in the image regardless of the type of the cells and the like. be. Therefore, such a mode in which the window size is predetermined is sufficiently practical.
一方、より良好な処理結果を得るためにウィンドウサイズを可変とする態様も考えられる。この場合、例えばユーザからの指示入力によって与えられた情報に基づきウィンドウサイズが設定されてもよく、また適宜の画像解析処理により画像中の細胞等に対応するオブジェクトのサイズからウィンドウサイズが決定されてもよい。 On the other hand, it is also conceivable to make the window size variable in order to obtain better processing results. In this case, for example, the window size may be set based on the information given by the instruction input from the user, and the window size is determined from the size of the object corresponding to the cells or the like in the image by an appropriate image analysis process. May be good.
こうして設定されたウィンドウサイズに基づき、原画像Ｉ０に対し最小値フィルタ処理が実行される（ステップＳ１０３）。最小値フィルタ処理は、中心画素、つまりウィンドウの中心に位置する処理対象画素の値（輝度値）を、ウィンドウ内の各画素の輝度値の最小値に置き換える処理である。この処理により、輝度値の高い明るい画素の値はその近傍にあるより暗い画素の輝度値に置き換えられる。 Based on the window size set in this way, the minimum value filtering process is executed for the original image I0 (step S103). The minimum value filter process is a process of replacing the value (luminance value) of the center pixel, that is, the pixel to be processed located at the center of the window, with the minimum value of the brightness value of each pixel in the window. By this process, the value of a bright pixel having a high luminance value is replaced with the luminance value of a darker pixel in the vicinity thereof.
ウィンドウサイズが適切に設定されているとき、処理後の画像データを画像として可視化すると、図３に示す画像Ｉ１のように、オルガノイドＣａ，Ｃｂにおける中央部の明るい部分が周縁部の暗い画素の輝度値に置き換えられる。すなわち、オルガノイドの中央部が周縁部の輝度値によって暗く塗りつぶされる。一方、中央部と周縁部との輝度の差が小さいオルガノイドＣｃ，Ｃｄでは、処理後の輝度値の変化は小さい。また、各オルガノイドの周囲において、背景部分の画素の輝度値がオルガノイド周縁部の暗い画素の輝度値で置き換えられることにより、画像に占めるオルガノイドの大きさが本来より大きくなる。すなわち画像中でオルガノイドが膨張する。 When the processed image data is visualized as an image when the window size is set appropriately, as shown in image I1 shown in FIG. 3, the bright portion in the central portion of the organoids Ca and Cb is the brightness of the dark pixel in the peripheral portion. Replaced by a value. That is, the central portion of the organoid is darkly filled with the brightness value of the peripheral portion. On the other hand, in the organoids Cc and Cd in which the difference in brightness between the central portion and the peripheral portion is small, the change in the brightness value after the treatment is small. Further, around each organoid, the luminance value of the pixel in the background portion is replaced with the luminance value of the dark pixel in the peripheral portion of the organoid, so that the size of the organoid occupying the image becomes larger than the original size. That is, the organoid expands in the image.
次に、最小値フィルタ処理後の画像データに対し最大値フィルタ処理が実行される（ステップＳ１０４）。このときのウィンドウサイズは、最小値フィルタ処理におけるサイズと同じとされる。これにより、図３に示す画像Ｉ２のように、各オルガノイドの周縁部の画素の輝度値がその近傍の背景部分の画素の輝度値に置き換えられる。これにより、最小値フィルタ処理で膨張したオルガノイドがほぼ元の形状およびサイズに戻る。一方、オルガノイドの中央部の各画素では輝度値の変化は小さい。 Next, the maximum value filtering process is executed on the image data after the minimum value filtering process (step S104). The window size at this time is the same as the size in the minimum value filtering process. As a result, as shown in the image I2 shown in FIG. 3, the brightness value of the pixel in the peripheral portion of each organoid is replaced with the brightness value of the pixel in the background portion in the vicinity thereof. This causes the organoids expanded by the minimum filtering process to return to almost their original shape and size. On the other hand, the change in the luminance value is small in each pixel in the central part of the organoid.
つまり、最小値フィルタ処理および最大値フィルタ処理をこの順で実行することによって、画像中のオルガノイドの形状およびサイズを概ね維持したまま、周縁部より中央部が明るい生きているオルガノイドＣａ，Ｃｂの内部が、周縁部の画素の輝度値によって塗りつぶされることになる。中央部と周縁部との輝度の差が小さい死んだオルガノイドＣｃ，Ｃｄではこのような顕著な変化は生じない。 That is, by executing the minimum value filtering process and the maximum value filtering process in this order, the inside of the living organoids Ca and Cb whose central part is brighter than the peripheral part while maintaining the shape and size of the organoids in the image. However, it will be filled with the brightness value of the pixels in the peripheral portion. Such a remarkable change does not occur in the dead organoids Cc and Cd in which the difference in brightness between the central portion and the peripheral portion is small.
続いて、原画像データと最大値フィルタ処理後の画像データとの差分が算出される（ステップＳ１０５）。具体的には、原画像Ｉ０を構成する各画素の輝度値から、画像Ｉ２において対応する位置の画素の輝度値をそれぞれ差し引く。こうして求められる画像データに対応する差分画像Ｉ３では、上記処理によって輝度値が低下したオルガノイドＣａ，Ｃｂの中央部が高輝度となる一方、輝度値の変化の小さいオルガノイドＣａ，Ｃｂの周縁部、オルガノイドＣｃ，Ｃｄの全体および背景部分は低輝度となる。つまり、ここまでの処理によって、生きているオルガノイドＣａ，Ｃｂの中央部分のみが画像において抽出されることになる。 Subsequently, the difference between the original image data and the image data after the maximum value filtering process is calculated (step S105). Specifically, the luminance value of the pixel at the corresponding position in the image I2 is subtracted from the luminance value of each pixel constituting the original image I0. In the difference image I3 corresponding to the image data obtained in this way, the central portion of the organoids Ca and Cb whose brightness value has been lowered by the above processing becomes high brightness, while the peripheral portion and the organoid of the organoids Ca and Cb whose brightness value changes little is small. The entire Cc and Cd and the background portion have low brightness. That is, by the processing up to this point, only the central portion of the living organoids Ca and Cb is extracted in the image.
言い換えれば、このときの画像Ｉ３において所定値以上の輝度値を有する画素が存在する領域が、原画像Ｉ０において生きているオルガノイドが存在している領域である。適宜の閾値を用いて二値化処理を行うことで（ステップＳ１０６）、このような領域を抽出することができる。ここまでの処理により、原画像Ｉ０に含まれるオルガノイドの中から生きているものを特定することができる。閾値については予め実験的に定められてもよく、また差分画像の各画素の輝度値に基づく適宜の閾値決定方法により動的に定められてもよい。閾値決定方法としては、例えば大津の方法、最大エントロピー法（Max Entropy Thresholding）等の公知技術を適用可能である。 In other words, the region in which the pixel having the luminance value equal to or higher than the predetermined value exists in the image I3 at this time is the region in which the living organoid exists in the original image I0. Such a region can be extracted by performing the binarization process using an appropriate threshold value (step S106). By the processing up to this point, living organoids can be identified from the organoids contained in the original image I0. The threshold value may be experimentally determined in advance, or may be dynamically determined by an appropriate threshold value determination method based on the brightness value of each pixel of the difference image. As the threshold value determination method, known techniques such as Otsu's method and Max Entropy Thresholding can be applied.
例えば原画像Ｉ０中において生きているオルガノイドの位置またはその個数を求めるという目的であれば、ここまでの処理の結果で目的は達成される。例えば個々のオルガノイドの面積を求める、あるいは生きているオルガノイドと死んだオルガノイドとを比較観察する等の目的を達成するために、さらなる処理が実行される。 For example, if the purpose is to obtain the position or the number of living organoids in the original image I0, the purpose is achieved by the result of the processing so far. Further processing is performed to achieve the purpose, for example, to determine the area of individual organoids, or to compare live and dead organoids.
差分算出および二値化の過程で生きているオルガノイドＣａ，Ｃｂの中央部分が抽出されることで、二値化画像におけるオルガノイドＣａ，Ｃｂのサイズは本来より小さくなっている。これを復元するために、二値化画像に対し膨張処理が実行される（ステップＳ１０７）。例えば二値化画像において高輝度の領域を予め定められた画素数だけ外側へ膨張させることで、この目的は達成される。これにより、例えば生きているオルガノイドの面積を求めることが可能になる。 By extracting the central portion of the living organoids Ca and Cb in the process of difference calculation and binarization, the size of the organoids Ca and Cb in the binarized image is smaller than the original size. In order to restore this, an expansion process is executed on the binarized image (step S107). For example, in a binarized image, this purpose is achieved by expanding the high-luminance region outward by a predetermined number of pixels. This makes it possible to determine, for example, the area of living organoids.
こうして作成された画像データにより表される二値化画像Ｉ５は、生きているオルガノイドＣａ，Ｃｂが占める領域とそれ以外の領域とを明確に分離したものとなっている。この画像Ｉ５を原画像Ｉ０に対するマスク画像として用いることで、原画像Ｉ０に対し、生きているオルガノイドの位置情報に基づく種々の加工を行うことが可能となる。目的に応じて原画像に各種の加工を施した画像が作成され（ステップＳ１０８）、結果画像が出力画像として出力される（ステップＳ１０９）。出力の態様としては、例えば画面への表示、記録媒体への記録および通信回線を介した外部装置への送信などが可能である。 The binarized image I5 represented by the image data thus created clearly separates the region occupied by the living organoids Ca and Cb from the other regions. By using this image I5 as a mask image for the original image I0, it is possible to perform various processing on the original image I0 based on the position information of the living organoid. An image obtained by subjecting the original image to various processing according to the purpose is created (step S108), and the result image is output as an output image (step S109). As an output mode, for example, display on a screen, recording on a recording medium, transmission to an external device via a communication line, or the like is possible.
画像加工結果の一例として図３に示す出力画像Ｉｆは、原画像Ｉ０にマスク画像Ｉ５を作用させることで抽出される領域の輪郭を太く濃い輪郭線で示したものである。このような画像加工を行うことで、画像に含まれるオルガノイドＣａ，Ｃｂ，Ｃｃ，Ｃｄのうち生きているものと死んだものとを明確に区別してユーザに提示することができる。なお、画像加工の態様はこれに限定されるものでなく任意である。 As an example of the image processing result, the output image If shown in FIG. 3 shows the outline of the region extracted by applying the mask image I5 to the original image I0 with a thick and dark outline. By performing such image processing, it is possible to clearly distinguish between living and dead organoids Ca, Cb, Cc, and Cd contained in the image and present them to the user. The mode of image processing is not limited to this, and is arbitrary.
図４は本実施形態の処理の効果を例示する図である。図４（ａ）左に示すように、原画像Ｉ０において破線上の各位置について求めた輝度値プロファイルの例が同図右に示される。全体が明るいオルガノイドＣａでは、点線で示される背景の輝度に対し、オルガノイドの周縁部で輝度が低くなる一方、中央部では輝度が背景よりも十分に高くなっている。これに対し、全体的に暗いオルガノイドＣｂでは、中央部の輝度は周縁部よりは高いものの、背景の輝度との差は小さい。 FIG. 4 is a diagram illustrating the effect of the processing of the present embodiment. As shown on the left side of FIG. 4A, an example of the luminance value profile obtained for each position on the broken line in the original image I0 is shown on the right side of the same figure. In the organoid Ca, which is bright as a whole, the brightness is lower at the peripheral portion of the organoid than the brightness of the background shown by the dotted line, while the brightness is sufficiently higher than that at the central portion. On the other hand, in the generally dark organoid Cb, the brightness in the central portion is higher than that in the peripheral portion, but the difference from the brightness in the background is small.
このように、生きているオルガノイドの像は周縁部に対し相対的に中央部が明るいという性質を有しているが、中央部における絶対的な輝度値については、画像の他の部分、例えば死んだオルガノイドや背景に対し明確に異なる特徴があるわけではない。その原因としては、オルガノイドの厚さや色味の個体ばらつき、培地の種類や量による背景の輝度の変動、撮像時の照明条件のばらつき等が考えられる。 Thus, the image of a living organoid has the property that the central part is bright relative to the peripheral part, but for the absolute brightness value in the central part, other parts of the image, for example, dead. However, there are no distinctly different characteristics for organoids or backgrounds. Possible causes include individual variations in the thickness and color of organoids, variations in background brightness depending on the type and amount of medium, and variations in lighting conditions during imaging.
したがって、原画像の画素の輝度値に対し直接に閾値を設定して生きているオルガノイドを検出しようとしても、このように比較的暗いオルガノイドを見落とすといった誤検出のおそれがある。これに対し、図４（ｂ）に示すように、本実施形態の処理過程で得られる差分画像Ｉ３では、周囲の画素に対して相対的に高輝度である領域、つまり生きているオルガノイドＣａ，Ｃｂの中央部が強調される一方、それ以外の領域の画素は十分に低い輝度値となる。このため、同図右に点線で示される背景部分の輝度値に対し十分な分離度を有する閾値Ｌｔｈを設定することで、誤検出の確率を低くして、生きているオルガノイドを確実に検出することが可能となる。 Therefore, even if an attempt is made to detect a living organoid by directly setting a threshold value with respect to the brightness value of the pixel of the original image, there is a risk of erroneous detection such as overlooking a relatively dark organoid. On the other hand, as shown in FIG. 4B, in the difference image I3 obtained in the processing process of the present embodiment, the region having relatively high brightness with respect to the surrounding pixels, that is, the living organoid Ca, While the central portion of Cb is emphasized, the pixels in the other regions have sufficiently low luminance values. Therefore, by setting the threshold Lth having a sufficient degree of separation with respect to the brightness value of the background portion shown by the dotted line on the right side of the figure, the probability of false detection is reduced and living organoids are reliably detected. It becomes possible.
図５はフィルタ処理におけるウィンドウサイズを例示する図である。図５（ａ）に示すように、中心画素Ｐｃの近傍に設定されるウィンドウＷのサイズＳｗについては、処理対象であるオルガノイド（より一般的には細胞等）ＣのサイズＳｃと同程度、例えばサイズＳｃの０．５倍ないし１倍程度に設定されることが望ましい。画像において細胞等Ｃが略円形の像であるとき、該円の直径をもってサイズＳｃとみなすことができる。このような設定とすることで、生きている細胞等において周縁部に対し相対的に明るい中心部の画素を、最小値フィルタ処理によって確実に塗りつぶすことができる。その結果、処理後の画像と原画像との差分を求める際に、生きている細胞等の上記特徴を確実に抽出することが可能となる。 FIG. 5 is a diagram illustrating the window size in the filtering process. As shown in FIG. 5A, the size Sw of the window W set in the vicinity of the central pixel Pc is about the same as the size Sc of the organoid (more generally, a cell or the like) C to be processed, for example. It is desirable to set the size to about 0.5 to 1 times the size Sc. When the cell or the like C is a substantially circular image in the image, the diameter of the circle can be regarded as the size Sc. With such a setting, it is possible to reliably fill the pixel in the central portion, which is relatively bright with respect to the peripheral portion in a living cell or the like, by the minimum value filter processing. As a result, when the difference between the processed image and the original image is obtained, it is possible to reliably extract the above-mentioned features such as living cells.
細胞等ＣのサイズＳｃに対しウィンドウＷのサイズＳｗが小さすぎると、この塗りつぶしの効果が細胞等Ｃの中央にまで及ばず、差分を求める際の輝度値の差が小さくなって良好な検出を行うことが困難になる。また、ウィンドウサイズＳｗが大きすぎると、画像中の細胞等Ｃの形状が処理によって大きく崩れ、細胞等の周縁部と背景との境界が不明確になってしまうという問題がある。図５（ａ）の例では画素Ｐｃを中心とする５×５画素分の近傍範囲がウィンドウＷとして設定される。このように、原画像に含まれる情報の消失を抑え適度なフィルタ処理効果を得るためには、ウィンドウサイズＳｗは数画素分程度であることが好ましい。 If the size Sw of the window W is too small with respect to the size Sc of the cells or the like C, the effect of this filling does not reach the center of the cells or the like C, and the difference in the brightness values when calculating the difference becomes small, resulting in good detection. It becomes difficult to do. Further, if the window size Sw is too large, there is a problem that the shape of cells or the like C in the image is greatly deformed by the processing, and the boundary between the peripheral portion of the cells or the like and the background becomes unclear. In the example of FIG. 5A, a neighborhood range of 5 × 5 pixels centered on the pixel Pc is set as the window W. As described above, in order to suppress the loss of information contained in the original image and obtain an appropriate filtering effect, the window size Sw is preferably about several pixels.
なお、図５（ｂ）に示すように、細胞等ＣのサイズＳｃが画素サイズＳｐに対し十分に大きいとき、そのように大きな細胞等に合わせたウィンドウサイズを設定することは、画像情報の保存という観点から望ましくない。そのような場合には、同図に示すように、ウィンドウサイズＳｗを数画素分に設定したフィルタ処理を複数回繰り返して実行することで、画像情報の消失を抑えつつ、上記した塗りつぶしを行うことが可能である。この場合においても、最大値フィルタ処理におけるウィンドウサイズおよびフィルタ処理の実行回数については最小値フィルタ処理と同じにすることが望ましい。 As shown in FIG. 5B, when the size Sc of cells or the like C is sufficiently larger than the pixel size Sp, setting the window size according to such a large cell or the like saves image information. It is not desirable from the viewpoint. In such a case, as shown in the figure, the above-mentioned filling is performed while suppressing the loss of image information by repeatedly executing the filter processing in which the window size Sw is set to several pixels. Is possible. Even in this case, it is desirable that the window size in the maximum value filtering process and the number of times the filtering process is executed are the same as those in the minimum value filtering process.
図６は画像処理の他の例を示す図である。上記した処理では、二値化処理の際に本来より小さくなる領域のサイズを復元するために、所定画素数分の膨張処理を行っている。これに代えて、例えば次のようにすることもできる。図６に示すように、原画像Ｉ０に対し各種の処理を行い二値化画像Ｉ４を求めるところまでは上記と同じである。一方、原画像Ｉ０ではオルガノイドＣａ等の周縁部が背景より暗いことから、例えばエッジ検出のような公知の輪郭抽出処理を施すことで、オルガノイドＣａ等の輪郭部分のみを抽出することが可能である。 FIG. 6 is a diagram showing another example of image processing. In the above-mentioned processing, in order to restore the size of the region smaller than the original size during the binarization processing, expansion processing for a predetermined number of pixels is performed. Alternatively, for example, the following can be done. As shown in FIG. 6, the same is true up to the point where the original image I0 is subjected to various processing to obtain the binarized image I4. On the other hand, in the original image I0, since the peripheral portion of the organoid Ca or the like is darker than the background, it is possible to extract only the contour portion of the organoid Ca or the like by performing a known contour extraction process such as edge detection. ..
このような輪郭画像Ｉ６から、原画像Ｉ０中のオルガノイドＣａ等の輪郭位置に関する情報を得ることができる。この情報と、二値化画像Ｉ４から得られる、生きているオルガノイドの領域を示す情報（図６では「生領域情報」と記述）とを組み合わせることで、生きているオルガノイドの位置と輪郭とを示しマスク画像として利用可能な画像Ｉ５ａを作成することができる。また、輪郭位置情報により特定されるオルガノイドそれぞれの生死を個別に判定することが可能である。このように、差分画像Ｉ３以降の画像の扱いについては、上記したものに限定されず目的に応じ種々の加工処理が可能である。 From such a contour image I6, information regarding the contour position of the organoid Ca or the like in the original image I0 can be obtained. By combining this information with the information indicating the region of the living organoid (described as "live region information" in FIG. 6) obtained from the binarized image I4, the position and contour of the living organoid can be obtained. An image I5a that can be used as a show mask image can be created. In addition, it is possible to individually determine the life or death of each organoid specified by the contour position information. As described above, the handling of the images after the difference image I3 is not limited to the above-mentioned ones, and various processing processes can be performed depending on the purpose.
図７は画像加工の他の例を示す図である。上記の処理例では、最終的な出力画像Ｉｆとして、原画像Ｉ０に含まれるオルガノイドのうち生きているものを太い輪郭で囲んだ画像が作成される。検出結果を提示するための画像の加工についてはこれに限定されず、次に説明するように種々の処理を適用可能である。図７（ａ）に示す例では、原画像Ｉ０から生きているオルガノイドＣａ，Ｃｂが示す領域のみが切り出された画像が出力画像Ｉｆａとされる。一方、図７（ｂ）に示す例では、原画像Ｉ０から検出されるオルガノイドのうち、生きているオルガノイドＣａ，Ｃｂを除外したもの、つまり死んだオルガノイドＣｃ，Ｃｄが占める領域のみが切り出された画像が出力画像Ｉｆｂとされる。 FIG. 7 is a diagram showing another example of image processing. In the above processing example, as the final output image If, an image in which living organoids contained in the original image I0 are surrounded by a thick outline is created. The processing of the image for presenting the detection result is not limited to this, and various processes can be applied as described below. In the example shown in FIG. 7A, the output image Ifa is an image obtained by cutting out only the region indicated by the living organoids Ca and Cb from the original image I0. On the other hand, in the example shown in FIG. 7B, out of the organoids detected from the original image I0, only the regions occupied by the living organoids Ca and Cb, that is, the dead organoids Cc and Cd were cut out. The image is taken as the output image Ifb.
その他、オルガノイドの生死に応じて色分けを行う、生きているオルガノイドと死んだオルガノイドとを区別するためのマーキングを付す、背景輝度に応じた輝度の補正等、種々の画像加工が可能である。このように、原画像Ｉ０中で生きているオルガノイドの領域を特定することができれば、その情報を用いて種々の画像加工を施してユーザに提示することが可能となる。 In addition, various image processing is possible, such as color-coding according to the life or death of the organoid, adding a marking for distinguishing between a living organoid and a dead organoid, and correcting the brightness according to the background brightness. In this way, if the region of the living organoid can be specified in the original image I0, it is possible to perform various image processing using the information and present it to the user.
以上のように、この実施形態では、画像中の生きている細胞等では周縁部が暗く中央部が明るいのに対し、死んだ細胞等は周縁部、中央部とも暗いという特徴的差異を利用して、生きている細胞等を検出する。具体的には、原画像に対し最小値フィルタ処理を行うことで、生きているオルガノイドの像における中央部の明るい領域を、周縁部の暗い領域の輝度値で塗りつぶす。そして、最大値フィルタ処理を実行することで、最小値フィルタ処理により膨張したオルガノイドのサイズを元に戻す。 As described above, in this embodiment, the characteristic difference is that the peripheral portion is dark and the central portion is bright in the living cells and the like in the image, whereas the peripheral portion and the central portion are dark in the dead cells and the like. To detect living cells and the like. Specifically, by performing the minimum value filtering process on the original image, the bright region in the central portion of the image of the living organoid is filled with the brightness value in the dark region in the peripheral portion. Then, by executing the maximum value filtering process, the size of the organoid expanded by the minimum value filtering process is restored.
こうして得られた画像を原画像から差し引くことで、塗りつぶされた生きているオルガノイドの中央部を差分として抽出することができる。すなわち、差分画像において所定値以上の輝度値を有する画素からなる領域を、生きているオルガノイドの領域として他の部分とは区別することができる。このようにして画像から生きているオルガノイドが検出される。種々の理由により、生きているオルガノイドの間でもその絶対的な明るさにはばらつきが生じる。本実施形態では、周縁部が暗く相対的に中央部が明るい領域を抽出することができるので、このようなばらつきに起因する誤検出の発生を抑えて精度よく検出を行うことができる。 By subtracting the image thus obtained from the original image, the central part of the filled living organoid can be extracted as a difference. That is, the region consisting of pixels having a brightness value equal to or higher than a predetermined value in the difference image can be distinguished from other portions as a region of living organoids. In this way, living organoids are detected in the image. For a variety of reasons, the absolute brightness of living organoids varies. In the present embodiment, since the region where the peripheral portion is dark and the central portion is relatively bright can be extracted, it is possible to suppress the occurrence of erroneous detection due to such variation and perform the detection with high accuracy.
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では「細胞等」の例としてオルガノイドを挙げているが、上記方法は、単独で存在する細胞やスフェロイドなど各種の検出対象物に適用可能である。 The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, in the above embodiment, organoids are mentioned as an example of "cells and the like", but the above method can be applied to various detection objects such as cells existing alone and spheroids.
また、上記実施形態は可視光照明下で明視野撮像された原画像に対して本発明の生細胞検出方法を適用したものであるが、原画像を取得する方法はこれに限定されない。すなわち、撮像により得られる画像が「生きている細胞等は明るく、死んだ細胞等は暗く現れる」という特徴を示すものであれば、上記以外の撮像方法により得られた画像も本発明の適用対象となり得る。特に本発明は無染色、非侵襲で細胞等の評価を行うことができるものであるから、細胞等の撮像においても同様に無染色、非侵襲で実行可能な撮像方法が採られることが望ましい。 Further, in the above embodiment, the living cell detection method of the present invention is applied to an original image captured in a bright field under visible light illumination, but the method for acquiring the original image is not limited to this. That is, if the image obtained by imaging shows the characteristic that "living cells and the like appear bright and dead cells and the like appear dark", images obtained by imaging methods other than the above are also applicable to the present invention. Can be. In particular, since the present invention can evaluate cells and the like in a non-staining and non-invasive manner, it is desirable to adopt a non-staining and non-invasive imaging method for imaging cells and the like.
また、上記実施形態では、原画像中のどこに生きているオルガノイドが含まれているかを検出する目的で本発明が利用されているが、これ以外にも、例えば画像中で指定される特定の細胞等の生死判定にも本発明を利用することが可能である。すなわち、上記処理を実行することにより、指定された位置にある細胞等が生きているか否かを判定することが可能である。この場合、二値化処理以降の処理については必ずしも必要ではない。 Further, in the above embodiment, the present invention is used for the purpose of detecting where a living organoid is contained in the original image, but in addition to this, for example, a specific cell specified in the image. It is possible to use the present invention for determining whether or not a person is alive or dead. That is, by executing the above processing, it is possible to determine whether or not the cells or the like at the designated position are alive. In this case, the processing after the binarization processing is not always necessary.
また、上記実施形態では、本発明に係る生細胞検出方法が一般的なハードウェア構成を有するコンピュータ装置によって実行されるが、専用のハードウェア装置により本発明が実現されてもよい。また、本発明の方法が汎用のコンピュータ装置でも実施可能であることから、このようなコンピュータ装置に実行させることで上記処理を行わせるプログラムとして、あるいは該プログラムを記録したコンピュータ読み取り可能な記録媒体の態様で本発明が実用に供されてもよい。 Further, in the above embodiment, the living cell detection method according to the present invention is executed by a computer device having a general hardware configuration, but the present invention may be realized by a dedicated hardware device. Further, since the method of the present invention can be carried out by a general-purpose computer device, it can be used as a program for causing the computer device to perform the above processing, or as a computer-readable recording medium on which the program is recorded. In some embodiments, the present invention may be put into practical use.
以上、具体的な実施形態を例示して説明してきたように、本発明においては、例えば差分において閾値以上の輝度値を有する画素が占める領域を抽出し、当該領域に所定サイズの膨張処理を施して得られる領域を、生細胞が占める領域とすることができる。本発明の検出方法は生きている細胞等において顕著な中央部の明るい部分を抽出するものであるから、検出される領域は実際の細胞等よりも小さくなる傾向がある。膨張処理を実行することで、このように縮小された細胞等のサイズを回復させて本来のサイズに近い領域を検出することが可能である。 As described above, as described by exemplifying a specific embodiment, in the present invention, for example, a region occupied by pixels having a brightness value equal to or higher than a threshold value in the difference is extracted, and the region is subjected to expansion processing of a predetermined size. The obtained region can be the region occupied by living cells. Since the detection method of the present invention extracts a prominent bright portion in the central part of a living cell or the like, the detected region tends to be smaller than that of an actual cell or the like. By executing the expansion treatment, it is possible to recover the size of such reduced cells and the like and detect a region close to the original size.
また例えば、近傍範囲のサイズは、原画像における検出対象物のサイズに応じて設定されてよい。本発明において最小値フィルタ処理は、周縁部に対して相対的に明るい生きている細胞等の中央部を周縁部の輝度値で暗く塗りつぶす目的で適用される。このため、当該フィルタ処理におけるウィンドウサイズ、つまり近傍範囲のサイズを検出対象物である細胞等のサイズに応じたものとすることで、最も良好な結果が得られる。 Further, for example, the size of the neighborhood range may be set according to the size of the detection target object in the original image. In the present invention, the minimum value filtering process is applied for the purpose of darkly painting the central portion of a living cell or the like, which is relatively bright with respect to the peripheral portion, with the brightness value of the peripheral portion. Therefore, the best result can be obtained by setting the window size in the filter processing, that is, the size of the vicinity range according to the size of the cell or the like which is the detection target.
より具体的には、例えば近傍範囲の１辺のサイズが、原画像における検出対象物の直径に相当する値に設定されてよい。このような構成によれば、生きている細胞等の中心部まで確実に塗りつぶすことが可能である。 More specifically, for example, the size of one side of the neighborhood range may be set to a value corresponding to the diameter of the detection object in the original image. With such a configuration, it is possible to reliably fill even the central part of a living cell or the like.
また例えば、近傍範囲のサイズに関するユーザからの設定入力を受け付ける工程がさらに設けられてよい。このような構成によれば、フィルタ処理におけるウィンドウサイズに関してユーザによる調整が可能となり、ユーザの目的に対応する処理を実現することができる。 Further, for example, a step of accepting a setting input from the user regarding the size of the neighborhood range may be further provided. According to such a configuration, the user can adjust the window size in the filter processing, and the processing corresponding to the user's purpose can be realized.
また例えば、最小値フィルタ処理は複数回実行され、最大値フィルタ処理は最小値フィルタ処理と同じ回数実行される構成であってよい。特に画素サイズに対して検出対象物のサイズが大きい場合、検出対象物に応じて広い近傍範囲が設定されると原画像が有する情報の多くが失われ、細胞等の形状も不明瞭となることがある。比較的狭い近傍範囲でのフィルタ処理を多重に実行することで、このような問題を解消することができる。 Further, for example, the minimum value filtering process may be executed a plurality of times, and the maximum value filtering process may be executed the same number of times as the minimum value filtering process. In particular, when the size of the detection target is large relative to the pixel size, much of the information contained in the original image is lost and the shape of cells and the like becomes unclear if a wide neighborhood range is set according to the detection target. There is. Such a problem can be solved by executing multiple filtering processes in a relatively narrow neighborhood range.
また例えば、原画像は無染色の検出対象物を明視野撮像した画像であってよい。このような画像では、生きている細胞等において周縁部が暗く中央部が明るいという特徴が顕著に現れるので、本発明に係る生細胞検出方法を適用することで、生きている細胞等を精度よく検出することが可能となる。 Further, for example, the original image may be an image obtained by bright-field imaging of an unstained detection object. In such an image, the characteristic that the peripheral portion is dark and the central portion is bright appears prominently in living cells and the like. Therefore, by applying the living cell detection method according to the present invention, living cells and the like can be accurately detected. It becomes possible to detect.
この発明は、細胞、細胞塊等を撮像した画像から生きている細胞等を検出するものであり、例えば創薬スクリーニングなど、医学や生化学の分野に特に好適に適用可能なものである。 The present invention detects living cells and the like from images of cells, cell masses and the like, and is particularly suitably applicable to the fields of medicine and biochemistry such as drug discovery screening.
Ｃ１〜Ｃ４、Ｃａ、Ｃｂ 生きているオルガノイド
Ｃ５〜Ｃ１０、Ｃｃ、Ｃｄ 死んだオルガノイド
Ｉ０、Ｉｓ 原画像
Ｉ１ 最小値フィルタ処理後の画像
Ｉ２ 最大値フィルタ処理後の画像
Ｉ３ 差分画像
Ｉ４ 二値化画像
Ｉ５、Ｉ５ａ マスク画像
Ｉｆ、Ｉｆａ、Ｉｆｂ 出力画像
Ｓｗ ウィンドウサイズ
C1-C4, Ca, Cb Living organoids C5-C10, Cc, Cd Dead organoids I0, Is Original image I1 Image after minimum value filtering I2 Image after maximum value filtering I3 Difference image I4 Binarized image I5, I5a Mask image If, Ifa, Ifb Output image Sw Window size
Claims (9)
前記原画像を構成する各画素に対し、当該画素および当該画素を中心とする所定の近傍範囲内の近傍画素の輝度値に基づく最小値フィルタ処理を実行する工程と、
前記最小値フィルタ処理後の画像を構成する各画素に対し、当該画素および当該画素を中心とする前記最小値フィルタ処理における近傍範囲と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程と、
前記原画像と前記最大値フィルタ処理後の画像との差分を求める工程と、
前記差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程と
を備える生細胞検出方法。 The process of acquiring an original image including a visible light image of a cell or cell mass as a detection target, and
A step of executing a minimum value filter process based on the brightness value of the pixel and the neighboring pixels within a predetermined neighborhood range centered on the pixel for each pixel constituting the original image.
For each pixel constituting the image after the minimum value filtering process, the maximum value based on the brightness value of the pixel and the neighboring pixels in the neighborhood range having the same size as the neighborhood range in the minimum value filtering process centered on the pixel. The process of performing filtering and
The step of obtaining the difference between the original image and the image after the maximum value filtering process, and
A method for detecting a living cell, comprising a step of specifying a region occupied by a pixel having a brightness value equal to or higher than a predetermined threshold value as a region corresponding to the living cell in the difference.
前記最小値フィルタ処理後の画像を構成する各画素に対し、当該画素および当該画素を中心とする前記最小値フィルタ処理における近傍範囲と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程と、
前記原画像と前記最大値フィルタ処理後の画像との差分を求める工程と、
前記差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程と
を、コンピュータに実行させるプログラム。 A minimum value filter based on the brightness value of the pixel and neighboring pixels within a predetermined neighborhood range centered on the pixel for each pixel constituting the original image including the visible light image of the cell or cell mass as the detection target. The process of executing the process and
For each pixel constituting the image after the minimum value filtering process, the maximum value based on the brightness value of the pixel and the neighboring pixels in the neighborhood range having the same size as the neighborhood range in the minimum value filtering process centered on the pixel. The process of performing filtering and
The step of obtaining the difference between the original image and the image after the maximum value filtering process, and
A program that causes a computer to execute a step of specifying a region occupied by pixels having a brightness value equal to or higher than a predetermined threshold value as a region corresponding to a living cell in the difference.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017180014A JP6931579B2 (en) | 2017-09-20 | 2017-09-20 | Live cell detection methods, programs and recording media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017180014A JP6931579B2 (en) | 2017-09-20 | 2017-09-20 | Live cell detection methods, programs and recording media |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019054742A JP2019054742A (en) | 2019-04-11 |
| JP6931579B2 true JP6931579B2 (en) | 2021-09-08 |
Family
ID=66105839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017180014A Active JP6931579B2 (en) | 2017-09-20 | 2017-09-20 | Live cell detection methods, programs and recording media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6931579B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539947B (en) * | 2020-04-30 | 2024-03-29 | 上海商汤智能科技有限公司 | Image detection method, related model training method, related device and equipment |
| KR102530717B1 (en) * | 2020-06-19 | 2023-05-09 | 가부시키가이샤 스크린 홀딩스 | Image processing method, program and recording medium |
| EP4389871A1 (en) * | 2021-08-16 | 2024-06-26 | Nikon Corporation | Analysis system, observation container, analysis method and program |
| JP2023137302A (en) * | 2022-03-18 | 2023-09-29 | 株式会社Ｓｃｒｅｅｎホールディングス | Method for standardizing image and observation device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4968595B2 (en) * | 2008-07-23 | 2012-07-04 | 株式会社ニコン | Cell state discrimination method and cell observation image processing apparatus |
| JP6015112B2 (en) * | 2012-05-11 | 2016-10-26 | 株式会社ニコン | Cell evaluation apparatus, cell evaluation method and program |
| JP6015113B2 (en) * | 2012-05-11 | 2016-10-26 | 株式会社ニコン | Cell evaluation apparatus, cell evaluation method and program |
| JP5984559B2 (en) * | 2012-07-31 | 2016-09-06 | オリンパス株式会社 | Necrotic cell region detection apparatus and method, and necrotic cell region detection program |
| JP6196607B2 (en) * | 2014-12-26 | 2017-09-13 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method, control program, and image processing apparatus |
| JP6609967B2 (en) * | 2015-03-31 | 2019-11-27 | 株式会社ニコン | Determination device, determination system, determination program, and cell manufacturing method |
| JP6376196B2 (en) * | 2016-09-29 | 2018-08-22 | 株式会社ニコン | Cell evaluation apparatus, cell evaluation method and program |
-
2017
- 2017-09-20 JP JP2017180014A patent/JP6931579B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019054742A (en) | 2019-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6931579B2 (en) | Live cell detection methods, programs and recording media | |
| EP3785603A1 (en) | Machine learning-based fundus image detection method, apparatus, and system | |
| JP4869843B2 (en) | Cell image processing apparatus and cell image processing method | |
| JP6265588B2 (en) | Image processing apparatus, operation method of image processing apparatus, and image processing program | |
| EP3591612A1 (en) | Defect detection system for aircraft component and defect detection method for aircraft component | |
| EP3635613A1 (en) | Method and apparatus for processing retinal images | |
| US20190204292A1 (en) | Image Processing Device, Image Processing Method, and Recording Medium | |
| US9916658B2 (en) | Disease analysis apparatus, control method, and program | |
| TWI719587B (en) | Pre-processing method and storage device for quantitative analysis of fundus image | |
| CN106846293B (en) | Image processing method and device | |
| WO2015145872A1 (en) | Spheroid evaluation method and spheroid evaluation device | |
| US10591402B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5771513B2 (en) | Pathological diagnosis support apparatus, pathological diagnosis support method, and pathological diagnosis support program | |
| JP2011056068A5 (en) | ||
| JPWO2016151711A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2018181333A5 (en) | ||
| EP3306306A1 (en) | Image processing method and image processing device | |
| US20180040120A1 (en) | Methods for quantitative assessment of mononuclear cells in muscle tissue sections | |
| CN113614529A (en) | Image analysis method, image analysis program, recording medium, image analysis device, and image analysis system | |
| JP2006507579A (en) | Histological evaluation of nuclear polymorphism | |
| JPWO2017061112A1 (en) | Image processing method and image processing apparatus | |
| EP3567546A1 (en) | Image analysis program and image analysis method | |
| US11068695B2 (en) | Image processing device, observation device, and program | |
| EP3677168A1 (en) | Pathology diagnostic apparatus, image processing method, and program | |
| GB2564673A (en) | Method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6931579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |