JP5657910B2 - Automatic image analysis using a bright field microscope - Google Patents
Automatic image analysis using a bright field microscope Download PDFInfo
- Publication number
- JP5657910B2 JP5657910B2 JP2010098539A JP2010098539A JP5657910B2 JP 5657910 B2 JP5657910 B2 JP 5657910B2 JP 2010098539 A JP2010098539 A JP 2010098539A JP 2010098539 A JP2010098539 A JP 2010098539A JP 5657910 B2 JP5657910 B2 JP 5657910B2
- Authority
- JP
- Japan
- Prior art keywords
- cell
- image
- sample
- sensor
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010191 image analysis Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims description 82
- 230000003287 optical effect Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 38
- 238000010186 staining Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 278
- 238000001514 detection method Methods 0.000 description 61
- 239000000523 sample Substances 0.000 description 37
- 238000004458 analytical method Methods 0.000 description 33
- 230000011218 segmentation Effects 0.000 description 28
- 238000013459 approach Methods 0.000 description 19
- 230000032823 cell division Effects 0.000 description 18
- 210000004940 nucleus Anatomy 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 12
- 239000007850 fluorescent dye Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 210000002540 macrophage Anatomy 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 238000002372 labelling Methods 0.000 description 10
- 238000000339 bright-field microscopy Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 238000000386 microscopy Methods 0.000 description 9
- 238000000799 fluorescence microscopy Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000004163 cytometry Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000011002 quantification Methods 0.000 description 6
- 210000003855 cell nucleus Anatomy 0.000 description 5
- 238000004624 confocal microscopy Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000001215 fluorescent labelling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000005056 cell body Anatomy 0.000 description 3
- 239000002771 cell marker Substances 0.000 description 3
- 230000008045 co-localization Effects 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000001093 holography Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 208000007578 phototoxic dermatitis Diseases 0.000 description 3
- 231100000018 phototoxicity Toxicity 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 108091030071 RNAI Proteins 0.000 description 2
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 2
- 241000235343 Saccharomycetales Species 0.000 description 2
- 241000607142 Salmonella Species 0.000 description 2
- 230000001464 adherent effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000002299 complementary DNA Substances 0.000 description 2
- 230000001086 cytosolic effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000000295 emission spectrum Methods 0.000 description 2
- 238000000695 excitation spectrum Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000003234 fluorescent labeling method Methods 0.000 description 2
- 230000009368 gene silencing by RNA Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000002609 medium Substances 0.000 description 2
- 238000002493 microarray Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000026447 protein localization Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- UCSJYZPVAKXKNQ-HZYVHMACSA-N streptomycin Chemical compound CN[C@H]1[C@H](O)[C@@H](O)[C@H](CO)O[C@H]1O[C@@H]1[C@](C=O)(O)[C@H](C)O[C@H]1O[C@@H]1[C@@H](NC(N)=N)[C@H](O)[C@@H](NC(N)=N)[C@H](O)[C@H]1O UCSJYZPVAKXKNQ-HZYVHMACSA-N 0.000 description 2
- 238000002287 time-lapse microscopy Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003612 virological effect Effects 0.000 description 2
- KZDCMKVLEYCGQX-UDPGNSCCSA-N 2-(diethylamino)ethyl 4-aminobenzoate;(2s,5r,6r)-3,3-dimethyl-7-oxo-6-[(2-phenylacetyl)amino]-4-thia-1-azabicyclo[3.2.0]heptane-2-carboxylic acid;hydrate Chemical compound O.CCN(CC)CCOC(=O)C1=CC=C(N)C=C1.N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 KZDCMKVLEYCGQX-UDPGNSCCSA-N 0.000 description 1
- 102000007469 Actins Human genes 0.000 description 1
- 108010085238 Actins Proteins 0.000 description 1
- HJCMDXDYPOUFDY-WHFBIAKZSA-N Ala-Gln Chemical compound C[C@H](N)C(=O)N[C@H](C(O)=O)CCC(N)=O HJCMDXDYPOUFDY-WHFBIAKZSA-N 0.000 description 1
- 108091003079 Bovine Serum Albumin Proteins 0.000 description 1
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 1
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 1
- 241001529936 Murinae Species 0.000 description 1
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- 239000012979 RPMI medium Substances 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000004979 bone marrow derived macrophage Anatomy 0.000 description 1
- 239000006143 cell culture medium Substances 0.000 description 1
- 230000003915 cell function Effects 0.000 description 1
- 230000036755 cellular response Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000003436 cytoskeletal effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000003527 eukaryotic cell Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012894 fetal calf serum Substances 0.000 description 1
- 238000012757 fluorescence staining Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000005090 green fluorescent protein Substances 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 229920002866 paraformaldehyde Polymers 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002135 phase contrast microscopy Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 229960005322 streptomycin Drugs 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000002179 total cell area Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000005253 yeast cell Anatomy 0.000 description 1
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Description
本発明は、一般に光学画像内の細胞を計数することに関するものであり、具体的には、染色または蛍光材料で細胞を処理することを必要としないシステムおよび方法に関するものである。 The present invention relates generally to counting cells in an optical image, and specifically to systems and methods that do not require treatment of cells with staining or fluorescent materials.
細胞検出は、細胞集団の顕微鏡画像が使用される生物医学的研究における基本的な方法である。細胞検出は、個別の細胞を計数するため、または特徴抽出から単一細胞追跡まで、さらに分析を行うための基盤として使用されうる。 Cell detection is a fundamental method in biomedical research where microscopic images of cell populations are used. Cell detection can be used to count individual cells or as a basis for further analysis, from feature extraction to single cell tracking.
この手順は、画像処理のコミュニティにおいて精力的に研究されてきた。 This procedure has been extensively studied in the image processing community.
蛍光顕微鏡法は、細胞現象の検出および分析のための標準的な道具である。しかし、この技術には、顕微鏡内の利用可能な蛍光チャネルの数に制限があること、染色の励起スペクトルと発光スペクトルとが重なり合うこと、および光毒性などの多数の欠点がある。 Fluorescence microscopy is a standard tool for the detection and analysis of cellular phenomena. However, this technique has a number of drawbacks, such as the limited number of available fluorescent channels in the microscope, the overlapping excitation and emission spectra of staining, and phototoxicity.
特異性の高い染色およびプローブ、例えば、緑色蛍光タンパク質およびその誘導体の開発により、蛍光顕微鏡が、細胞機能および細胞現象の視覚化および分析を行うための標準的な道具となった。その一方で、顕微鏡の自動化およびデジタル画像分析の進歩により、高スループット研究で撮像法および細胞に基づく測定を自動化することが可能になった。真核細胞の蛍光顕微鏡検査では、単一の実験で複数の蛍光プローブおよびチャネルを使用して、自動単一細胞定量化を実行できる。第１の蛍光チャネルを使用すると染色された核を検出することができ、結果として、細胞位置に対するマーカが得られる。第２の蛍光チャネルは、Moffat J、Grueneberg DA、Yang X、Kim SY、Kloepfer AMら(2006年) A lentiviral RNAi library for human and mouse genes applied to an arrayed viral high-content screen. Cell 124:1283〜1298頁において説明されているように、全細胞または細胞質によって占有される領域、例えば、細胞骨格アクチン染色によって占有される領域を視覚化する。その代わりに、非特異的細胞下染色を、全細胞検出に使用することができる。全細胞染色のアプローチに関係なく、接触しているか、または部分的に重なり合っている細胞は、Carpenter AE、Jones TR、Lamprecht MR、Clarke C、Kang IHら(2006年) CellProfiler: image analysis software for identifying and quantifying cell phenotypes. Genome Biol 7: R100で説明されているような第1のチャネルの核マーカの助けを借りて自動的に分離できる。最後に、Bolte S、Cordelieres FP (2006年) A guided tour into subcellular colocalization analysis in light microscopy. J Microsc 224:213〜232頁において説明されているように、細胞下現象が、第１および第２のチャネルの異なる特性を測定することによって、または追加のオルガネラおよび分子特異的プローブおよび余分な蛍光チャネルを使用することによって定量化される。 The development of highly specific stains and probes, such as green fluorescent protein and its derivatives, has made fluorescent microscopy the standard tool for visualizing and analyzing cellular functions and phenomena. On the other hand, advances in microscope automation and digital image analysis have made it possible to automate imaging and cell-based measurements in high-throughput studies. In fluorescence microscopy of eukaryotic cells, automated single cell quantification can be performed using multiple fluorescent probes and channels in a single experiment. Using the first fluorescent channel, stained nuclei can be detected, resulting in a marker for cell location. The second fluorescent channel is Moffat J, Grueneberg DA, Yang X, Kim SY, Kloepfer AM et al. (2006) Alentiviral RNAi library for human and mouse genes applied to an arrayed viral high-content screen. Cell 124: 1283- Visualize areas occupied by whole cells or cytoplasm, eg, areas occupied by cytoskeletal actin staining, as described on page 1298. Alternatively, non-specific subcellular staining can be used for whole cell detection. Regardless of the whole-cell staining approach, cells that are in contact or partially overlapping are carpenter AE, Jones TR, Lamprecht MR, Clarke C, Kang IH et al. (2006) CellProfiler: image analysis software for identifying and can be automatically separated with the help of the first channel nuclear marker as described in Genome Biol 7: R100. Finally, Bolte S, Cordelieres FP (2006) A guided tour into subcellular colocalization analysis in light microscopy. As described in J Microsc 224: 213-232, subcellular phenomena are first and second Quantified by measuring different properties of the channel or by using additional organelle and molecular specific probes and extra fluorescent channels.
利用できる蛍光チャネルの数に限りがあるため、またプローブの励起スペクトルおよび発光スペクトルは部分的に重なり合うため、細胞下共局在化を伴う研究が、核または全細胞染色なしで一般に実行される。その結果、細胞毎の測定は不可能である。単一細胞測定も、陰性対照に使用される細胞において困難であるか、または不可能ですらあり、蛍光の欠如が、いくつかの現象の検出に使用される。さらに、蛍光顕微鏡法には、光毒性および撮像のセットアップの複雑さなどの他の制限がある。これらの問題が動機となって、蛍光チャネルの少なくともいくつかを標準透過光顕微鏡法で置き換える代替方法の探索が推進された。 Due to the limited number of fluorescent channels available and because the excitation and emission spectra of the probes partially overlap, studies involving subcellular colocalization are generally performed without nuclear or whole cell staining. As a result, cell-by-cell measurement is not possible. Single cell measurements are also difficult or even impossible in cells used for negative controls, and the lack of fluorescence is used to detect several phenomena. In addition, fluorescence microscopy has other limitations such as phototoxicity and imaging setup complexity. These issues motivated the search for alternative methods to replace at least some of the fluorescent channels with standard transmitted light microscopy.
従来の方法を使用して細胞を計数する際に多くの問題が観察されている。これらの問題は、計数に必要だが、細胞をさらに使用しようとしても実用的でないか、または不可能な状態にする外来化学物質による細胞（および場合によっては細胞が見つかる増殖培地）の汚染を含む。 Many problems have been observed when counting cells using conventional methods. These problems include contamination of the cell (and possibly the growth medium in which the cell is found) by foreign chemicals that are necessary for counting but that make the cell impractical or impossible to use further.
細胞を外来化学物質に曝すことなく細胞を計数する機能を備えるシステムおよび方法が必要である。 There is a need for systems and methods that have the ability to count cells without exposing the cells to foreign chemicals.
本発明は、調査対象の細胞が置かれる表面を有する顕微鏡用スライドを使用して説明されるが、本発明は、プレート、ウェルがその中に画定されている対象物体、培養皿、細胞培養基、およびそれと同等のものなど、細胞を担持するための他の周知の基材を使用して実施されうることを理解されたい。 Although the present invention is described using a microscope slide having a surface on which cells to be investigated are placed, the present invention includes a plate, a target object having wells defined therein, a culture dish, a cell culture medium, It should be understood that it can be implemented using other well-known substrates for supporting cells, such as and the like.
一態様では、本発明は、試料中に存在する細胞の個数を自動的に同定する方法を特徴とする。この方法は、光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、センサはそのセンサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、光を照射して光学顕微鏡を明視野モードで故意に動作させ、光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせ、少なくとも１つの細胞がセンサの視野内に入るようにするステップと、センサを使って１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された、特定の焦点状態に対応する１つの画像を観察するステップと、センサの出力端子から画像を表す出力信号を供給するステップと、画像を表す出力信号を処理して、明るいスポットの個数または暗いスポットの個数を計算するステップと、明るいスポットの個数または暗いスポットの個数を試料中に存在する細胞の個数として報告するステップとを含む。 In one aspect, the invention features a method for automatically identifying the number of cells present in a sample. The method includes forming an optically transparent support surface arranged for observation with an optical microscope having a sensor that senses light irradiation, the sensor outputting as a signal representative of a field of view monitored by the sensor. Providing an output terminal configured to supply, supplying a sample comprising at least one cell disposed on the optically transparent support surface, and irradiating the light with the optical microscope in bright field mode Deliberately operating and focusing on one or more different focal planes arranged along the normal direction of the optically transparent support surface so that at least one cell falls within the field of view of the sensor; One corresponding to a particular focus state selected from a group of images consisting of one or more bright spots and one or more dark spots using a sensor Observing an image, supplying an output signal representing the image from an output terminal of the sensor, processing the output signal representing the image to calculate the number of bright spots or dark spots, and a bright spot Or the number of dark spots is reported as the number of cells present in the sample.
いくつかの実施形態では、少なくとも１つの細胞を含む試料は、染色剤を含まない。いくつかの実施形態では、少なくとも１つの細胞を含む試料は、蛍光剤を含まない。いくつかの実施形態では、試料中に存在する細胞の個数を自動的に同定する方法は、人間のオペレータに、センサによって観察された画像を見せるステップをさらに含む。 In some embodiments, the sample comprising at least one cell does not contain a stain. In some embodiments, the sample comprising at least one cell does not contain a fluorescent agent. In some embodiments, the method for automatically identifying the number of cells present in a sample further comprises the step of showing a human operator an image observed by the sensor.
いくつかの実施形態では、画像を表す出力信号を処理するステップは、コンピュータ・ベースのアナライザで実行される。いくつかの実施形態では、コンピュータ・ベースのアナライザは、少なくとも１つの細胞を含む試料の合成画像を形成し、合成画像は擬似カラーによる少なくとも１つの細胞の外形を含む。いくつかの実施形態では、試料中に存在する細胞の個数を自動的に同定する方法は、少なくとも１つの細胞に焦点を合わせるステップをさらに含み、少なくとも１つの細胞に焦点を合わせるステップは１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された画像をセンサを使って観察するステップの前に実行される。 In some embodiments, the step of processing the output signal representing the image is performed with a computer-based analyzer. In some embodiments, the computer-based analyzer forms a composite image of a sample that includes at least one cell, the composite image including at least one cell outline in a pseudo color. In some embodiments, the method of automatically identifying the number of cells present in a sample further comprises the step of focusing on at least one cell, wherein the step of focusing on at least one cell is one or Performed prior to the step of observing with the sensor an image selected from the group of images consisting of a plurality of bright spots and one or more dark spots.
いくつかの実施形態では、特定の焦点状態は焦点はずれ状態である。 In some embodiments, the particular focus state is an out of focus state.
他の態様では、本発明は、自動画像処理システムに関する。このシステムは、光照射を感知するセンサを有する光学顕微鏡であって、センサはセンサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有し、光学顕微鏡は光照射を使って明視野モードで光学顕微鏡を動作させられるように構成され、また光学顕微鏡での観察のため配置されている光学的透明担持面の法線方向にそって光学顕微鏡の焦点を変化させ光学顕微鏡の視野内に配置されている試料の光学的透明担持面の法線方向にそって少なくとも１つの画像を故意に獲得するように構成されている、光学顕微鏡と、センサからセンサによって監視される視野を表す出力信号を受け取るように構成され、また少なくとも１つの画像から１つまたは複数の画像を同定するように構成され、また少なくとも１つの画像を分析して１つまたは複数の画像から試料の特性を推論するように構成されている、コンピュータ・ベースの画像プロセッサと、コンピュータ・ベースの画像プロセッサと通信する、試料の特性のレポートを作成するように構成された報告装置を備える。 In another aspect, the invention relates to an automatic image processing system. The system is an optical microscope having a sensor that senses light illumination, the sensor having an output terminal configured to provide a signal representing a field of view monitored by the sensor as an output, and the optical microscope is light illuminated. Is used to operate the optical microscope in bright field mode and changes the focus of the optical microscope along the normal direction of the optically transparent support surface arranged for observation with the optical microscope. An optical microscope configured to deliberately acquire at least one image along the normal direction of the optically transparent support surface of the sample placed in the field of view of the microscope and monitored by the sensor from the sensor Configured to receive an output signal representative of a field of view, configured to identify one or more images from at least one image, and at least one A computer-based image processor configured to analyze the image and infer the sample properties from one or more images, and generate a sample property report in communication with the computer-based image processor A reporting device configured to:
いくつかの実施形態では、少なくとも１つの画像が、１つまたは複数の明るいスポットと１つまたは複数の暗いスポットからなる画像の群から選択された１つの画像であり、画像プロセッサは、画像中の明るいスポットの個数または暗いスポットの個数を計算するように構成され、報告装置によって報告される特性は、明るいスポットの個数または暗いスポットの個数であり、このため、報告される特性は、光学顕微鏡の視野内に配置される光学的透明担持面の一部に配置されている試料中に存在する細胞の個数である。いくつかの実施形態では、自動画像処理システムは、光学顕微鏡の焦点状態を変更するように構成されたアクチュエータをさらに備える。いくつかの実施形態では、自動画像処理システムは、アクチュエータを駆動することによって光学顕微鏡の焦点状態を制御するように構成されたコンピュータ・ベースの制御装置をさらに備える。 In some embodiments, the at least one image is an image selected from the group of images consisting of one or more bright spots and one or more dark spots, and the image processor The characteristic reported by the reporting device, which is configured to calculate the number of bright spots or dark spots, is the number of bright spots or dark spots, so the reported characteristics are This is the number of cells present in a sample placed on a part of the optically transparent support surface placed in the field of view. In some embodiments, the automatic image processing system further comprises an actuator configured to change the focus state of the optical microscope. In some embodiments, the automatic image processing system further comprises a computer-based controller configured to control the focus state of the optical microscope by driving an actuator.
いくつかの実施形態では、光学顕微鏡の焦点状態を制御するように構成されたコンピュータ・ベースの制御装置は、視野内の１つまたは複数の細胞上の光学的透明担持面の法線方向にそって配置されている１つまたは複数の異なる焦点面に焦点を合わせる動作をするように構成されている。いくつかの実施形態では、自動画像処理システムは、光学顕微鏡の視野の倍率または寸法を変更するためにレンズを変更するように構成されたアクチュエータをさらに備える。 In some embodiments, the computer-based controller configured to control the focus state of the optical microscope is aligned with the normal direction of the optically transparent support surface on one or more cells in the field of view. Are arranged to focus on one or more different focal planes. In some embodiments, the automatic image processing system further comprises an actuator configured to change the lens to change the magnification or size of the optical microscope field of view.
いくつかの実施形態では、報告装置は、合成画像を形成する。いくつかの実施形態では、合成画像は、擬似カラーを含む。いくつかの実施形態では、報告装置は、後から使用するため記録されるレポートを作成する。いくつかの実施形態では、報告装置は、ユーザに表示されるレポートを作成する。いくつかの実施形態では、光学顕微鏡は、センサおよび人間のオペレータに適した接眼レンズを同時に装着できるように構成される。いくつかの実施形態では、自動画像処理システムは、光学顕微鏡、コンピュータ・ベースの画像プロセッサ、および報告装置を動作させるための１つまたは複数の電源をさらに備える。 In some embodiments, the reporting device forms a composite image. In some embodiments, the composite image includes pseudo colors. In some embodiments, the reporting device creates a report that is recorded for later use. In some embodiments, the reporting device creates a report that is displayed to the user. In some embodiments, the optical microscope is configured to allow simultaneous wearing of a sensor and an eyepiece suitable for a human operator. In some embodiments, the automated image processing system further comprises one or more power supplies for operating the optical microscope, the computer-based image processor, and the reporting device.
いくつかの実施形態では、少なくとも１つの画像は、ｚ次元にそった画像の明視野ｚスタックから選択され、画像プロセッサは、明視野ｚスタックの第１の画像と第２の画像との間のｘ，ｙ平面内の光量値のｚ次元に関する変動を計算し、コントラストを高めた２次元投影画像を形成し、コントラストを高めた２次元投影画像から試料の少なくとも１つの細胞の特徴を推論するように構成され、報告装置は、試料中に存在する少なくとも１つの細胞の特徴を報告するように構成される。いくつかの実施態様では、この特性は、少なくとも１つの細胞の境界である。いくつかの実施形態では、このシステムは、試料内で少なくとも１つの細胞を他の細胞から空間的に区別するように構成される。 In some embodiments, the at least one image is selected from a bright field z stack of images along the z dimension, and the image processor is between the first image and the second image of the bright field z stack. The variation of the light quantity value in the x, y plane with respect to the z dimension is calculated, a two-dimensional projection image with increased contrast is formed, and the characteristics of at least one cell of the sample are inferred from the two-dimensional projection image with increased contrast And the reporting device is configured to report characteristics of at least one cell present in the sample. In some embodiments, this property is at least one cell boundary. In some embodiments, the system is configured to spatially distinguish at least one cell from other cells in the sample.
さらに他の態様では、本発明は、試料中に存在する細胞の特徴を自動的に同定する方法を特徴とする。この方法は、光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、センサはそのセンサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、光を照射して光学顕微鏡を明視野モードで故意に動作させ、光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせてｚ次元にそった画像の明視野ｚスタックを形成し、少なくとも１つの細胞がセンサの視野内に入るようにするステップと、センサを使って、明視野ｚスタックから選択された複数の画像を観察するステップと、センサの出力端子から複数の画像を表す出力信号を供給するステップと、複数の画像のうちの少なくとも２つの画像について、ｘ，ｙ平面内のピクセルの光量値を取得するために複数の画像を表す出力信号を処理するステップと、複数の画像のうちの少なくとも２つの画像のうちの第１の画像と第２の画像との間のｘ，ｙ平面内の光量値のｚ次元に関する変動を測定するステップと、コントラストを高めた２次元投影画像を形成するステップと、コントラストを高めた２次元投影画像から少なくとも１つの細胞の特徴を推論するステップと、試料中に存在する少なくとも１つの細胞の特徴を報告するステップとを含む。 In yet another aspect, the invention features a method for automatically identifying the characteristics of cells present in a sample. The method includes forming an optically transparent support surface arranged for observation with an optical microscope having a sensor that senses light irradiation, the sensor outputting as a signal representative of a field of view monitored by the sensor. Providing an output terminal configured to supply, supplying a sample comprising at least one cell disposed on the optically transparent support surface, and irradiating the light with the optical microscope in bright field mode Deliberately operating to form a bright field z-stack of the image along the z dimension focusing on one or more different focal planes arranged along the normal direction of the optically transparent support surface, Allowing two cells to fall within the field of view of the sensor, using the sensor to view a plurality of images selected from the bright field z-stack, and an output terminal of the sensor Supplying an output signal representing a plurality of images and processing an output signal representing the plurality of images to obtain a light quantity value of a pixel in the x, y plane for at least two of the plurality of images. Measuring a change in the z-dimension of the light amount value in the x, y plane between the first image and the second image of at least two of the plurality of images, and contrast Forming a two-dimensional projection image with increased contrast, inferring at least one cell characteristic from the two-dimensional projection image with increased contrast, and reporting at least one cell characteristic present in the sample; including.
いくつかの実施態様では、この特徴は、少なくとも１つの細胞の観察可能な特性である。いくつかの実施態様では、この観察可能な特性は、少なくとも１つの細胞の境界である。いくつかの実施形態では、少なくとも１つの細胞は、試料内で他の細胞から空間的に区別される。 In some embodiments, this characteristic is an observable property of at least one cell. In some embodiments, the observable property is at least one cell boundary. In some embodiments, at least one cell is spatially distinguished from other cells in the sample.
いくつかの実施形態では、画像が明視野ｚスタックを形成する複数の焦点レベルで取得され、ｚ次元にわたってこのスタックの光量変動を測定することによって、コントラストを高めた新しい２次元投影画像が形成され、分析される。一実施形態では、染色された核などのそれぞれの細胞の配置に対する追加の情報とともにこの明視野投影画像が全細胞蛍光の代わりに使用され、これにより、個別の細胞の境界を特定し、接触している細胞を分離し、単一細胞分析を行うことができる。他の実施形態では、染色は不要である。 In some embodiments, images are acquired at multiple focus levels forming a bright field z-stack, and by measuring the stack light intensity variation across the z-dimension, a new two-dimensional projection image with increased contrast is formed. Analyzed. In one embodiment, this bright field projection image is used in place of whole cell fluorescence along with additional information about the placement of each cell, such as stained nuclei, thereby identifying and contacting individual cell boundaries. Cells can be isolated and single cell analysis can be performed. In other embodiments, no staining is necessary.
本発明の前記および他の目的、態様、特徴、および利点は、以下の説明および特許請求の範囲からより明白になるであろう。 The above and other objects, aspects, features and advantages of the present invention will become more apparent from the following description and appended claims.
本発明の目的および特徴は、後述の図面および特許請求の範囲を参照することでより理解が進みうる。これらの図面は、必ずしも縮尺通りではなく、一般に本発明の原理を説明することに重点を置いている。これらの図面では、類似の番号は、さまざまな図面全体を通して類似の部分を指示するために使用される。 The objects and features of the present invention can be better understood with reference to the following drawings and claims. These drawings are not necessarily to scale, but generally focus on illustrating the principles of the invention. In these drawings, like numerals are used to indicate like parts throughout the various drawings.
物体の平面を超える焦点面および物体の体積内の異なる平面に焦点が合わされている平面を含む、異なる焦点面内で同じ試料が連続的に撮像された、明視野画像のスタックを使用することに依存する方法を含む、明視野画像から直接的に細胞集団外形を自動的に検出する方法を説明する。 To use a stack of bright-field images in which the same sample is imaged sequentially in different focal planes, including a focal plane beyond the plane of the object and a plane that is focused on a different plane within the volume of the object A method for automatically detecting cell population contours directly from brightfield images, including dependent methods, is described.
明視野ｚスタックを形成する複数の焦点レベルで試料を撮像し、ｚ次元にわたってこのスタックの光量変動を測定することによって、コントラストを高めた新しい２次元投影画像を形成する。一実施形態では、染色された核などのそれぞれの細胞の配置に対する追加の情報とともにこの明視野投影画像が全細胞蛍光の代わりに使用され、これにより、個別の細胞の境界を特定し、接触している細胞を分離し、単一細胞分析を行うことができる。他の実施形態では、染色は不要である。蛍光顕微鏡を主にターゲットとするＣｅｌｌＰｒｏｆｉｌｅｒというフリーウェアのポピュラーな細胞画像分析ソフトウェアを使用して、低コントラストの、かなり複雑な形状のネズミ・マクロファージ細胞を自動分割することによってわれわれの方法の有効性を実証する。 A new two-dimensional projection image with increased contrast is formed by imaging the sample at multiple focus levels that form a bright field z-stack and measuring the light intensity variation of this stack over the z-dimension. In one embodiment, this bright field projection image is used in place of whole cell fluorescence along with additional information about the placement of each cell, such as stained nuclei, thereby identifying and contacting individual cell boundaries. Cells can be isolated and single cell analysis can be performed. In other embodiments, no staining is necessary. Effectiveness of our method by automatically dividing low-contrast, fairly complex shaped murine macrophage cells using a freeware popular cell image analysis software called CellProfiler, primarily targeting fluorescence microscopy Demonstrate.
このアプローチでは、細胞下研究に使用可能な、蛍光チャネルを解放する。これは、全細胞蛍光染色が利用可能でないか、または特定の実験条件に依存している実験における細細胞形状の測定も容易にする。そこで、われわれの投影明視野画像を使用して得られる全細胞領域検出結果が、細胞領域が蛍光を使用して特定される標準的アプローチに非常によくマッチしていることを示し、高コントラストの明視野投影画像は、全細胞定量化において１つの蛍光チャネルを直接置き換えることができると結論する。投影を算出するためのＭＡＴＬＡＢコードが付録Ａに掲載されている。 This approach releases a fluorescent channel that can be used for subcellular studies. This also facilitates the measurement of fine cell shape in experiments where whole cell fluorescent staining is not available or is dependent on specific experimental conditions. Thus, the whole cell area detection results obtained using our projected brightfield images show that the cell area is very well matched to the standard approach identified using fluorescence, We conclude that bright field projection images can directly replace one fluorescent channel in whole cell quantification. A MATLAB code for calculating the projection is listed in Appendix A.
明視野チャネルは、すべての顕微鏡において容易に利用可能であるけれども（単眼と双眼の両方の顕微鏡を含む）、細胞集団研究では無視されることが多い。最初に、細胞は、ほぼ透明であり、コントラストが非常に悪くなることが多い。手動視覚的細胞分析を使用する場合であっても、特に細胞が凝集していれば、細胞境界の配置を容易に検出することが不可能であることが多い。さらに、特異的染色が適用されないので、細胞下現象は、検出されえず、核はかすかに見えるにすぎないことが多い。しかし、近年、細胞集団の細胞検出および自動画像分析における明視野チャネルの有用性を示す多数の研究が公表されている。定量位相顕微鏡法では、コントラストを大幅に高める専用ソフトウェアを使用し、Curl CL、Bellair CJ, Harris T、Allman BE、Harris PJら(2005年) Refractive index measurement in viable cells using quantitative phase-amplitude microscopy and confocal microscopy. Cytometry A 65:88〜92頁で説明されているように、異なる焦点レベルの明視野画像から試料の位相マップを推定する。Ali R、Gooding M、Christlieb M、Brady M (2008年) Advanced phase-based segmentation of multiple cells from brightfield microscopy images、Proc. 5th IEEE International Symposium on Biomedical Imaging: From Nano to Macro ISBI 2008、181〜184頁では、類似のアプローチをとっているが、ローパス・デジタル・フィルタリングを使用して位相マップを測定し、その後、計算集約的レベル集合ベースの個別細胞分割を行った。明視野細胞検出に、初期分割の後に細胞輪郭が抽出される、Korzynska A、Strojny W、Hoppe A、Wertheim D、Hoser P (2007) Segmentation of microscope images of living cells、Pattern Anal Appl 10:301〜319頁で提示されている方法などの、テクスチャ解析法も使用されている。酵母などの、かなり良好なコントラストの境界を持つ円形細胞では、複数のアルゴリズムが利用可能である。例えば、Niemisto A、Korpelainen T、Saleem R、Yli-Harja O、Aitchison Jら(2007年) A K-means segmentation method for finding 2-D object areas based on 3-D image stacks obtained by confocal microscopy, Proc. 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society EMBS 2007年、5559〜5562頁、Gordon A、Colman-Lerner A、Chin TE、Benjamin KR、Yu RCら(2007年) Single-cell quantification of molecules and rates using open-source microscope-based cytometry, Nat Methods 4:175〜181頁、およびKvarnstrom M、Logg K、Diez A、Bodvard K、Kall M (2008年) Image analysis algorithms for cell contour recognition in budding yeast、Opt Express 16:12943〜12957頁を参照のこと。 Although brightfield channels are readily available in all microscopes (including both monocular and binocular microscopes), they are often ignored in cell population studies. Initially, the cells are almost transparent and often have very poor contrast. Even when manual visual cell analysis is used, it is often not possible to easily detect cell boundary placement, especially if the cells are aggregated. Furthermore, since no specific staining is applied, subcellular phenomena cannot often be detected and the nuclei often only appear faint. However, a number of studies have recently been published that demonstrate the utility of brightfield channels in cell detection and automated image analysis of cell populations. Quantitative phase microscopy uses specialized software that significantly increases contrast, Curl CL, Bellair CJ, Harris T, Allman BE, Harris PJ et al. (2005) Refractive index measurement in viable cells using quantitative phase-amplitude microscopy and confocal microscopy. Cytometry A 65: Estimate the phase map of the sample from bright field images at different focus levels as described in pages 88-92. Ali R, Gooding M, Christlieb M, Brady M (2008) Advanced phase-based segmentation of multiple cells from brightfield microscopy images, Proc. 5th IEEE International Symposium on Biomedical Imaging: From Nano to Macro ISBI 2008, 181-184 Taking a similar approach, low-phase digital filtering was used to measure the phase map, followed by computationally intensive level set based individual cell division. Korzynska A, Strojny W, Hoppe A, Wertheim D, Hoser P (2007) Segmentation of microscope images of living cells, Pattern Anal Appl 10: 301-319 Texture analysis methods are also used, such as the method presented on the page. For circular cells with fairly good contrast boundaries, such as yeast, multiple algorithms are available. For example, Niemisto A, Korpelainen T, Saleem R, Yli-Harja O, Aitchison J et al. (2007) A K-means segmentation method for finding 2-D object areas based on 3-D image stacks obtained by confocal microscopy, Proc. 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society EMBS 2007, 5559-5562, Gordon A, Colman-Lerner A, Chin TE, Benjamin KR, Yu RC et al. (2007) Single-cell quantification of molecules and rates using open-source microscope-based cytometry, Nat Methods 4: 175-181, and Kvarnstrom M, Logg K, Diez A, Bodvard K, Kall M (2008) Image analysis algorithms for cell contour recognition in budding yeast, Opt Express 16: See 12943-12957.
細胞追跡では、明視野細胞分割は、Zimmer C、Zhang B、Dufour A、Thebaud A、Berlemont Sら(2006年) On the digital trail of mobile cells、IEEE Signal Proc Mag 23:54〜62頁で説明されているように、前処理ステップとその後の実際の追跡アルゴリズムとして提示されることが多い。かなり良好なコントラストを持つ明視野画像を使用した場合、Long X、Cleveland WL、Yao YL (2008年) Multiclass cell detection in bright field images of cell mixtures with ECOC probability estimation、Image Vision Comput 26:578〜591頁において説明されているように、異なる細胞型を分類することが可能であることも示されている。最後であるが、Molder A、Sebesta M、Gustafsson M、Gisselson L、Wingren AGら(2008年) Non-invasive, label-free cell counting and quantitative analysis of adherent cells using digital holography、J Microsc 232: 240-247頁において説明されている、デジタル・ホログラフィなどの特殊な顕微鏡法が、蛍光染色法の代わりに使用されている。 For cell tracking, brightfield cell division is described in Zimmer C, Zhang B, Dufour A, Thebaud A, Berlemont S et al. (2006) On the digital trail of mobile cells, IEEE Signal Proc Mag 23: 54-62. As shown, it is often presented as a preprocessing step followed by an actual tracking algorithm. Long X, Cleveland WL, Yao YL (2008) Multiclass cell detection in bright field images of cell mixture with ECOC probability estimation, Image Vision Comput 26: 578-591 It has also been shown that it is possible to classify different cell types, as described in. Last but not least, Molder A, Sebesta M, Gustafsson M, Gisselson L, Wingren AG et al. (2008) Non-invasive, label-free cell counting and quantitative analysis of adherent cells using digital holography, J Microsc 232: 240-247 Special microscopy methods such as digital holography, described on page, are used instead of fluorescent staining methods.
本発明のアプローチでは、細胞は、ＣｕｒｌおよびＡｌｉにおいて説明されているような複数の異なる焦点面で撮像されるが、われわれは位相マップについて解決する代わりに明視野スタックのｚ次元における光量変動を測定し、新しい２Ｄ画像を分析用に形成する。細胞の内側のピクセル光量は、焦点が変化しているときに変動するが、背景光量は、スタック全体を通して一定のままであり、その結果、細胞の内側において比較的高い変動が生じ、その外側ではほとんどゼロである。したがって、結果として得られる投影において、細胞は、本質的に黒い背景内でより明るい物体として見える、これによりわれわれは全細胞染色の蛍光画像をこの明視野投影で置き換えることができる。他の実施形態では、細胞は、明るい背景上に暗いスポットとして見える。文献において提示されている以前の明視野ベースの細胞分割技術と比較すると、このアプローチは、実装がより簡単であり、その結果得られる明視野投影画像は、蛍光顕微鏡法用に設計されたＣｅｌｌＰｒｏｆｉｌｅｒ分析ソフトウェアを使用して分割に直接適用可能である。さらに、画像フィルタリングを使用する前処理ステップを除き、投影を計算するときにパラメータを設定する必要がない。検証として、われわれは、複雑な形状および非常に低いコントラストを持つマウス骨髄由来のマクロファージ細胞の分割を行う技術を適用する。位相差顕微鏡法および微分干渉コントラスト（ＤＩＣ）顕微鏡法では、特殊な光学系を使用してコントラストを高めるが、われわれの知る限りにおいて文献には、蛍光顕微鏡法用の標準的な細胞分割アルゴリズムが位相またはＤＩＣ画像に適用可能であること、または不規則形状を有する細胞のロバストな分割が画像の大きな集合に対して可能であることを示唆する研究成果はない。 In our approach, cells are imaged at multiple different focal planes as described in Curl and Ali, but we measure light intensity variation in the z-dimension of the brightfield stack instead of solving for a phase map. A new 2D image is formed for analysis. While the amount of pixel light inside the cell fluctuates when the focus changes, the background light amount remains constant throughout the stack, resulting in relatively high fluctuations inside the cell and outside that It is almost zero. Thus, in the resulting projection, the cells appear as a brighter object in an essentially black background, which allows us to replace the fluorescent image of whole cell staining with this bright field projection. In other embodiments, the cells appear as dark spots on a light background. Compared to previous brightfield-based cell segmentation techniques presented in the literature, this approach is simpler to implement and the resulting brightfield projection images are analyzed using CellProfiler analysis designed for fluorescence microscopy. It can be applied directly to segmentation using software. Furthermore, there is no need to set parameters when calculating the projection, except for a pre-processing step that uses image filtering. As a validation, we apply a technique to split mouse bone marrow derived macrophage cells with complex shapes and very low contrast. In phase contrast microscopy and differential interference contrast (DIC) microscopy, special optics are used to increase contrast, but to the best of our knowledge, the literature includes standard cell division algorithms for fluorescence microscopy. There are no research findings that suggest that it can be applied to DIC images, or that robust segmentation of cells with irregular shapes is possible for large collections of images.
その結果得られる投影は、核染色またはそれぞれの細胞の手動細胞マーキングなどの他のマーカのみが利用可能である場合に全細胞分割を実行できることが示されており、全細胞検出に対する追加の蛍光チャネルは必要なくなる。 The resulting projections show that whole cell division can be performed when only other markers such as nuclear staining or manual cell marking of each cell are available, and additional fluorescent channels for whole cell detection Is no longer needed.
方法
投影ベースの方法の性能を評価するために、骨髄マクロファージ（ＢＭＭ）を培養し、撮像することによって試験画像データを得た。ＢＬ６から分離されたマクロファージをＲＰＭＩ培養基内のガラス・カバー・スリップ上で培養し、１０％のウシ胎仔血清、ペニシリン１００μ／ｍｌ、ストレプトマイシン１００ｕｇ／ｍｌ、ＧｌｕｔａＭＡＸ ２ｍＭ、およびｍ−ＣＳＦ５０ｎｇ／ｍｌ（３７Ｃ、５％のＣＯ２）を補った。１、２、４、６、１８、および２４時間かけて、ＬＰＳ １００ｎｇ／ｍｌで細胞を刺激し、２０分間、３％のパラホルムアルデヒドで固定し、脂肪体に対してはＢＯＤＩＰＹ ４９３／５０３（Ｉｎｖｉｔｒｏｇｅｎ）で、核に対してはＳｙｔｏｘ（Ｉｎｖｉｔｒｏｇｅｎ）で染色した。未刺激マクロファージならびに異なる時点における刺激細胞をＬｅｉｃａ ＤＭＩＲＢ共焦点レーザー走査顕微鏡で撮像した。
Methods To evaluate the performance of projection-based methods, test image data was obtained by culturing and imaging bone marrow macrophages (BMM). Macrophages isolated from BL6 were cultured on glass coverslips in RPMI medium, 10% fetal calf serum, penicillin 100 μ / ml, streptomycin 100 ug / ml, GlutaMAX 2 mM, and m-CSF 50 ng / ml (37C, Compensated for 5% CO2). Cells are stimulated with 100 ng / ml LPS for 1, 2, 4, 6, 18, and 24 hours, fixed with 3% paraformaldehyde for 20 minutes, and BODIPY 493/503 (Invitrogen for fat pads) ) And nuclei were stained with Sytox (Invitrogen). Unstimulated macrophages as well as stimulated cells at different time points were imaged with a Leica DMIRB confocal laser scanning microscope.
画像スタックは、異なる細胞形態、つまり未刺激マクロファージ細胞の２つの画像集合および刺激時における異なる時点からのマクロファージ画像の６つの群による時系列実験を用いて、８つの群を形成する。それぞれの群について、５つの画像スタックがあり、それぞれ３つのチャネル、つまり、１．蛍光核、２．細胞質も視覚化する脂肪体に対する蛍光細胞下染色、および３．明視野チャネルからなる。すべてのチャネルに対するスタックのそれぞれは、２個の個別のｚスライスを含む。スタックの代わりに単一のスライスとして誤って撮像されたため、時点１８ｈのそれぞれのチャネルの１つのスタックを除去しなければならなかった。全体で、試験データセットは、ほぼ８００個の細胞を含む。 The image stack forms eight groups using time series experiments with two cell sets of different cell morphology, namely unstimulated macrophage cells and six groups of macrophage images from different time points during stimulation. For each group, there are five image stacks, each with three channels: Fluorescent nucleus, 2. 2. Fluorescent subcellular staining for fat pad that also visualizes cytoplasm, and Consists of bright field channels. Each of the stacks for all channels includes two separate z slices. One stack of each channel at time 18h had to be removed because it was mistakenly imaged as a single slice instead of a stack. In total, the test data set contains approximately 800 cells.
明視野画像から全細胞分割を行えるようにするために、細胞と背景領域との間の光量差を高めることによってコントラストを強調しなければならない。これを、ｚ方向の異なる変動の尺度を計算し、明視野スタックを２次元（２Ｄ）画像内に投影することによって達成する。つまり、結果として得られる２Ｄ投影内のそれぞれのピクセルは、その特定のｘ，ｙピクセル配置内の元のスタック内のｚ方向の光量変動の尺度に対応する。典型的には、細胞内よりも背景内においてｚ光量変動が小さいので、ピクセルのこれら２つのクラスを分離することができる。特に、標準偏差（ＳＴＤ）、四分位範囲（ＩＱＲ）、変動係数（ＣＶ）、および中央値絶対偏差（ＭＡＤ）尺度を使用して投影を行う。 In order to be able to divide whole cells from a bright field image, the contrast must be enhanced by increasing the light quantity difference between the cells and the background region. This is accomplished by calculating different measures of variation in the z direction and projecting the bright field stack into a two-dimensional (2D) image. That is, each pixel in the resulting 2D projection corresponds to a measure of light intensity variation in the z direction in the original stack in that particular x, y pixel arrangement. Typically, the z-light variation in the background is smaller than in the cell, so these two classes of pixels can be separated. In particular, projections are performed using standard deviation (STD), interquartile range (IQR), coefficient of variation (CV), and median absolute deviation (MAD) scale.
ＳＴＤ投影画像は、元のスタックのそれぞれのピクセルについてｚ方向の光量の標準偏差 The STD projection image is the standard deviation of the amount of light in the z direction for each pixel of the original stack.
よりロバストな変動の尺度について、われわれは、ＩＱＲ投影、試料の第７５百分位と第２５百分位との差を計算した。つまり、最低側２５％の値と最高側２５％の値が最初に無視され、ＩＱＲが、ｚスライスのすべての残存光量の最大値と最小値との間の範囲となる。 For a more robust measure of variation, we calculated the IQR projection, the difference between the 75th and 25th percentiles of the sample. That is, the value of the lowest 25% and the value of the highest 25% are first ignored, and IQR is in the range between the maximum and minimum values of all remaining light quantities in the z slice.
ＣＶ投影では、ｚ値の標準偏差を値の平均で除算する。
ＣＶ＝ｓ／μ 式（２）
In CV projection, the standard deviation of the z value is divided by the average of the values.
CV = s / μ formula (2)
ＭＡＤは、「平均した」１つの値がすべての値の中央値からどれだけ偏っているか、つまり、すべてのｘ，ｙピクセル配置に対するすべてのｚスライスの光量の中央値からの中央値偏差の尺度である。
ＭＡＤ＝ｍｅｄｉａｎ（Ｊ） 式（３）
ただし、式中、Ｉ＝｛Ｉｉ｝ｉ＝１．．．Ｎ、Ｔ＝ｍｅｄｉａｎ（Ｉ）、および
MAD is a measure of how much one “averaged” value deviates from the median of all values, ie, the median deviation from the median of all z slice light quantities for all x, y pixel locations. It is.
MAD = median (J) Equation (3)
However, in the formula, I = {I i } i = 1. . . N , T = median (I), and
それぞれのスタックについて撮像されたｚスライスの個数に対する投影の感度を評価するために、ＳＴＤ投影を、３つのスライスのみからなる、２つの異なる種類の縮小スタックに適用した。最初に、これ以降３Ｓｌｉｃｅｓ法と称される、元のスタックのほぼ全ｚ範囲を手作業で表すことによって３つのスライス（スライス２、１０、および１９）を選択した。他の実施形態では、３つのスライスをランダムに選択することによって、３ＳｌｉｃｅｓＲａｎｄｏｍ１から３ＳｌｉｃｅｓＲａｎｄｏｍ５と称される、元のスタックの５つの縮小バージョンを作成した。 In order to evaluate the sensitivity of the projection to the number of z slices imaged for each stack, STD projection was applied to two different types of reduced stacks consisting of only three slices. Initially, three slices (slices 2, 10, and 19) were selected by manually representing almost the entire z-range of the original stack, hereinafter referred to as the 3Slices method. In another embodiment, five reduced versions of the original stack, called 3SlicesRandom1 through 3SlicesRandom5, were created by randomly selecting 3 slices.
さまざまな投影法の評価のために、元々蛍光顕微鏡法用に設計された、オープンソースのＣｅｌｌＰｒｏｆｉｌｅｒソフトウェア・パッケージによって自動画像分析および細胞分割を実行した。一実施形態では、ＩｄｅｎｔｉｆｙＰｒｉｍＡｕｔｏｍａｔｉｃ分析モジュールで蛍光核を検出することによってそれぞれの細胞に対するマーカを取得した。これらの投影から小さな無用の細部を平滑化して取り除くために、ＳｍｏｏｔｈＯｒＥｎｈａｎｃｅモジュールを使用して５ピクセル分のガウス・ローパス・フィルタ半径を適用した。そこで、全細胞領域を検出するためにＩｄｅｎｔｉｆｙＳｅｃｏｎｄａｒｙＡｕｔｏｍａｔｉｃモジュールにおいて、Jones T、Carpenter A、Golland P (2005年) Voronoi-based segmentation of cells on image manifolds、Lect Notes in Comput Sc 3765:535〜543頁で説明されている伝搬アルゴリズムを使用した。グラウンドトゥルースについて、さまざまな２Ｄ投影を使用する細胞領域検出と比較すべき蛍光細胞質画像を使用する同じ手順（ローパス・フィルタを除く）で全細胞領域を分割した。蛍光染色が利用可能でない状況をシミュレートするために、例えば、Schlumberger MC、Kappeli R、Wetter M、Muller AJ、Misselwitz Bら(2007年) Two newly identified SipA domains (F1, F2) steer effector protein localization and contribute to Salmonella host cell manipulation、Mol Microbiol 65:741〜760頁において説明されているように、それぞれの核を囲む半径３０ピクセルの円環によって細胞質領域を推定した。この推定アプローチは、円環法と称される。 For the evaluation of various projections, automatic image analysis and cell splitting were performed with an open source CellProfiler software package originally designed for fluorescence microscopy. In one embodiment, markers for each cell were obtained by detecting fluorescent nuclei with an IdentifyPrimeAutomatic analysis module. To smooth out small unwanted details from these projections, a Gaussian low pass filter radius of 5 pixels was applied using the SmoothOrEnhance module. Therefore, in the Identified Secondary Automatic module to detect the whole cell area, it is explained in Jones T, Carpenter A, Golland P (2005) Voronoi-based segmentation of cells on image manifolds, Lect Notes in Comput Sc 3765: pp. 535-543. Used the propagation algorithm. For ground truth, the whole cell area was divided in the same procedure (except for the low-pass filter) using fluorescent cytoplasm images to be compared with cell area detection using various 2D projections. To simulate the situation where fluorescent staining is not available, for example, Schlumberger MC, Kappeli R, Wetter M, Muller AJ, Misselwitz B et al. (2007) Two newly identified SipA domains (F1, F2) steer effector protein localization and As described in contribute to Salmonella host cell manipulation, Mol Microbiol 65: 741-760, the cytoplasmic region was estimated by a 30 pixel radius circle surrounding each nucleus. This estimation approach is referred to as the torus method.
さらなる検証のため、スタックの第２の蛍光チャネルにおいて見える蛍光スポットも数え上げた。スポットの数え上げは、ガウス・カーネルを使用して、Chen TB、Lu HH、Lee YS、Lan HJ (2008年) Segmentation of cDNA microarray images by kernel density estimation、J Biomed Inform 41:1021〜1027頁で説明されているカーネル密度推定ベースのアルゴリズムを用いて実行した。このスポット数え上げモジュールは、標準のＣｅｌｌＰｒｏｆｉｌｅｒ配布には含まれていないため、われわれは、ＭＡＴＬＡＢ ２００８ａ（ＭＡＴＬＡＢ ７．６）（米国、０１７６０−２０９８マサチューセッツ州、ナティック、アップルヒルドライブ３所在のＴｈｅ Ｍａｔｈ Ｗｏｒｋｓ，Ｉｎｃ．社（ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／）から入手可能）上で実行する、ＣｅｌｌＰｒｏｆｉｌｅｒの開発者バージョンで分析パイプラインを実装した。全細胞分割に対するさまざまなアプローチを表１にまとめた。 For further verification, the fluorescent spots visible in the second fluorescent channel of the stack were also counted. Spot enumeration is described using Gaussian kernels in Chen TB, Lu HH, Lee YS, Lan HJ (2008) Segmentation of cDNA microarray images by kernel density estimation, J Biomed Inform 41: 1021-1027. A kernel density estimation based algorithm has been implemented. Because this spot enumeration module is not included in the standard CellProfiler distribution, we used MATLAB Lab 2008, (MATLAB 7.6) (The Math Works, 3 Applehill Drive, Natick, Apple, USA, 0760-2098, Massachusetts, USA). The analysis pipeline was implemented with a developer version of CellProfiler running on Inc. (available from http://www.mathworks.com/). Various approaches to total cell division are summarized in Table 1.
われわれは、細胞接触画像境界を無視しなかったけれども、これは一部のみ見える細胞によって引き起こされる測定のバイアスを最小限に抑えるために一般に実行される手順である。これらの細胞により、われわれは、非一様な背景によって画質が損なわれることの多い画像境界上でも分割精度を比較することができる。分析の計算複雑度は、比較的低く、オペレーティング・システムとしてＷｉｎｄｏｗｓ（登録商標） Ｖｉｓｔａを使用する２ＧＨｚのパーソナル・コンピュータ（ＰＣ）上で投影を計算し、画像を分割するのに方法毎に４秒程度を要する。 Although we did not ignore cell contact image boundaries, this is a commonly performed procedure to minimize measurement bias caused by partially visible cells. These cells allow us to compare segmentation accuracy even on image boundaries where image quality is often impaired by non-uniform background. The computational complexity of the analysis is relatively low, 4 seconds per method to calculate the projection and split the image on a 2 GHz personal computer (PC) using Windows Vista as the operating system. It takes a degree.
全細胞蛍光染色を置き換えることを目的として、スタックｚ変動のさまざまな尺度で明視野画像のスタックを２Ｄに投影した。この手順は、図１に概要が示されており、それぞれの細胞に対するマーカが、全細胞検出の２つの代替方法、つまり、蛍光および投影を使用して、蛍光から検出されるか、または手でマーキングされる。図２は、投影アプローチ（ＳＴＤ）の１つによるコントラスト改善を示している。図２Ａは、元の明視野画像の１つのスライスを示しているが、蛍光染色、提案されているＳＴＤ投影、および投影の逆は、それぞれ、図２Ｂ、図２Ｃ、および図２Ｄに示されている。図２Ｃに示されている投影と図２Ａに示されている元の明視野データとの間のコントラストの差は、よく目立つ。さらに、背景光量の偏差はすべてのｚスライスにおいて類似しているため、非一様な背景は、投影によって効率的に取り除かれる。 To replace whole cell fluorescent staining, a stack of bright field images was projected in 2D with various measures of stack z variation. This procedure is outlined in FIG. 1, where markers for each cell are detected from fluorescence using two alternative methods of whole cell detection, namely fluorescence and projection, or by hand. Marked. FIG. 2 shows the contrast improvement by one of the projection approaches (STD). FIG. 2A shows one slice of the original bright field image, but the fluorescence staining, the proposed STD projection, and the inverse of the projection are shown in FIGS. 2B, 2C, and 2D, respectively. Yes. The contrast difference between the projection shown in FIG. 2C and the original bright field data shown in FIG. 2A is very noticeable. Furthermore, since the background light intensity deviation is similar in all z slices, the non-uniform background is efficiently removed by projection.
投影方法の性能を評価するため、われわれは、蛍光染色細胞の全細胞領域の自動画像分割と明視野投影と、また細胞質領域が検出された核の周りを囲む円環によって推定された円環法と比較した。明視野画像内の複雑な細胞形状を分割するために文献においてすでに公開されている最良の方法を使用してもわれわれの全データセットの細胞を検出することはできなかった。図３は、ＣｅｌｌＰｒｏｆｉｌｅｒソフトウェアによる画像分析の後の、１つの分割比較を示している。図３Ａは、蛍光（図２Ｂ）を使用する全細胞分割結果を示しており、図３Ｂでは、全細胞領域は、投影明視野スタック（図２Ｃ）から検出された。 In order to evaluate the performance of the projection method, we proposed an annular method estimated by automatic image segmentation and bright field projection of the whole cell region of fluorescently stained cells, and an annulus surrounding the nucleus where the cytoplasmic region was detected. Compared with. Even using the best methods already published in the literature to segment complex cell shapes in bright field images, it was not possible to detect cells in our entire data set. FIG. 3 shows one split comparison after image analysis with CellProfiler software. FIG. 3A shows the whole cell split results using fluorescence (FIG. 2B), where in FIG. 3B the whole cell area was detected from the projected bright field stack (FIG. 2C).
時系列実験のすべての画像スタックに対する分割精度を定量化するために、 To quantify the segmentation accuracy for all image stacks in a time series experiment,
分割精度をよりコンパクトに表現するために、 In order to express the division accuracy more compactly,
図４Ａは、蛍光グラウンドトゥルースに対し、異なるすべての投影法に対するすべての細胞にわたる細胞分割毎のＦスコア中央値を示している。さらに、手で摘んだｚスライスを３つのみ含む３Ｓｌｉｃｅｓ集合のＳＴＤ投影に対する分割結果、さらには円環法に対するＦスコアが与えられる。図４Ｂは、投影に対するスタックからのｚスライスの無作為選択の効果を評価する、３ＳｌｉｃｅｓＲａｎｄｏｍ１から３ＳｌｉｃｅｓＲａｎｄｏｍ５までのＳＴＤ投影の分割結果を示す。 FIG. 4A shows the median F-score per cell division across all cells for all different projections for fluorescent ground truth. Further, the division result for the STD projection of the 3Slices set including only three z slices picked by hand, and the F score for the torus method are given. FIG. 4B shows the segmentation results of the STD projection from 3SlicesRandom1 to 3SlicesRandom5 that evaluates the effect of random selection of z slices from the stack on the projection.
非常に複雑な形態を有するほぼ８００個のマクロファージ細胞からなるわれわれのデータセットでは、投影法の全体的性能は、中央値Ｆスコアが０．８を中心として変動するグラウンドトゥルース蛍光に近かった。予想通り、Ｆスコアは、円環法に対しては一貫して低い。箱ひげ図は、すべての投影法に対する、８つの群のそれぞれの多数の外れ値を示している。全データセットと比較すると、外れ値の個数は制限され、これらの外れ値の効果は、例えば、さらなる分析から対応する細胞を無視することによって低減されうるが、これは、同様に、凝集しすぎる細胞は、自動分割結果から多くの場合に除去される必要があるからである。分割結果画像からわかるように、外れ値は、全細胞領域を大きく見積もりすぎた分割誤差によって引き起こされており、これは、細胞の領域が必要ならばそれらの外れ値を無視するのに適した特徴であることを示唆している。 In our data set consisting of approximately 800 macrophage cells with very complex morphology, the overall performance of the projection approached ground truth fluorescence with a median F score varying around 0.8. As expected, the F score is consistently low for the torus method. The boxplot shows a number of outliers for each of the eight groups for all projections. Compared to the entire data set, the number of outliers is limited and the effects of these outliers can be reduced, for example, by ignoring the corresponding cells from further analysis, but this is also too clumping This is because cells often need to be removed from the automatic segmentation results. As can be seen from the segmentation result image, the outliers are caused by segmentation errors that overestimated the whole cell area, which is a feature suitable for ignoring those outliers if the area of cells is needed. It is suggested that.
細胞分割結果中の外れ値および他の変動がデータから引き出された生物学的結論に影響を及ぼすかどうかを評価するために、単一細胞レベルの細胞下スポットの個数を比較した。脂肪体が明るいスポットとして強調される第２の蛍光チャネルを使用することによって、われわれは、最初に、画像内にスポットを検出した（補助部位において利用可能なすべての画像に対するスポット検出結果）。次いで、すべての投影アプローチによる全細胞分割に基づき、それぞれのスポットが属す細胞を決定した。最後に、検出された細胞の外にあるスポットを無視した。この手順により、実際の生物学的結論（細胞１個あたりのスポット数）に対する異なる全細胞検出方法の効果を推定する作業は、全細胞領域検出が蛍光グラウンドトゥルース細胞領域と非常に異なる場合に、それらの誤って分割された細胞中に検出されたスポットの個数も変わるため、可能になる。スポットの個数に変化がない場合、全細胞検出は、満足のゆく形でなされたと考えられる。 To assess whether outliers and other variations in cell division results affect the biological conclusions drawn from the data, the number of subcellular spots at the single cell level was compared. By using a second fluorescent channel where the fat pad is highlighted as a bright spot, we first detected a spot in the image (spot detection results for all images available at the auxiliary site). The cells to which each spot belongs were then determined based on total cell division by all projection approaches. Finally, spots outside the detected cells were ignored. With this procedure, the task of estimating the effect of different whole cell detection methods on the actual biological conclusion (spots per cell) is that if the whole cell area detection is very different from the fluorescent ground truth cell area, This is possible because the number of spots detected in these misdivided cells also changes. If there is no change in the number of spots, whole cell detection is considered satisfactory.
すべての投影方法において、細胞１個当たりのスポット数は、文献にすでに報告されているように、時間の経過とともに増加する。 In all projection methods, the number of spots per cell increases over time, as already reported in the literature.
それぞれのスポットが特定の細胞に割り当てられたので、われわれは、さらなる検証のため、それぞれの個別細胞について細胞１個当たりのスポット数も比較した。細胞１個当たりのスポット数の分析結果を表２にまとめ、異なる方法に対するスポット数の勾配およびバイアスをグラウンドトゥルースと突き合わせて示す。円環法、および３ＳｌｉｃｅｓＲａｎｄｏｍ３のＳＴＤ投影を除く、すべての回帰結果から、投影および蛍光分割による細胞毎のスポット数の間のほぼ完全なマッチが示される。スポットは、蛍光チャネルから検出されるが、異なる方法に基づく全細胞検出によって個別細胞間に分配される。 Since each spot was assigned to a specific cell, we also compared the number of spots per cell for each individual cell for further verification. The results of analysis of the number of spots per cell are summarized in Table 2 and the slope and bias of the number of spots for the different methods are shown against ground truth. All regression results, except for the torus method and the 3SlicesRandom3 STD projection, show an almost perfect match between the number of spots per cell by projection and fluorescence resolution. Spots are detected from the fluorescent channel, but are distributed between individual cells by whole cell detection based on different methods.
明視野３Ｄスタック投影を使用するコントラスト強調および全細胞検出
図５は、ｚ軸にそった、例えば、視野に垂直な投影を使用する明視野顕微鏡法の使用例を示している。図５Ａは、元の明視野画像である。図５Ｂは、図５Ａに示されている明視野の明視野ｚスタック（蛍光なし）を使用するコントラスト強調投影である。図５Ｃは、自動的な細胞分割の結果である。蛍光核は、それぞれの細胞に対するマーカとして使用され、全細胞領域はコントラスト強調明視野画像を使用して検出される。
Contrast enhancement and whole cell detection using bright field 3D stack projection FIG. 5 shows an example of the use of bright field microscopy using a projection along the z-axis, eg perpendicular to the field of view. FIG. 5A is the original bright field image. FIG. 5B is a contrast-enhanced projection using the bright field z-stack (no fluorescence) of the bright field shown in FIG. 5A. FIG. 5C is the result of automatic cell division. The fluorescent nucleus is used as a marker for each cell, and the whole cell area is detected using a contrast-enhanced bright field image.
図５Ｄは、もう１つの元の明視野画像である。図５Ｅは、図５Ｄに示されている明視野の明視野ｚスタック（蛍光なし）を使用するコントラスト強調投影である。図５Ｆは、自動的な細胞分割の結果である。蛍光核は、それぞれの細胞に対するマーカとして使用され、全細胞領域はコントラスト強調明視野画像を使用して検出される。 FIG. 5D is another original bright field image. FIG. 5E is a contrast-enhanced projection using the bright field z-stack (no fluorescence) of the bright field shown in FIG. 5D. FIG. 5F is the result of automatic cell division. The fluorescent nucleus is used as a marker for each cell, and the whole cell area is detected using a contrast-enhanced bright field image.
われわれは、明視野画像スタック内のコントラスト強調に対する異なるｚ投影法について説明し、投影アプローチがマクロファージ画像のわれわれの集合に対し全細胞蛍光染色を置き換えることができることを示した。単一細胞検出および分割では、われわれの方法は、すでに提示されている明視野ベースの技術に勝るいくつかの利点を有している。第１に、フリーウェアのＣｅｌｌＰｒｏｆｉｌｅｒソフトウェアまたは他のツールで、投影画像を全細胞分割に直接使用することができる。第２に、試験される異なる投影方法のうち、標準偏差投影は、計算の実行が非常に軽く、実装しやすく、パラメータの設定が不要であり、それでも優れた分割性能を示す。第３に、われわれは、全細胞検出法を、さまざまな突起を有し、コントラストが低く形態が非常に複雑な細胞型であるマクロファージに適用することに成功している。第４に、無作為に選択されたｚスライスを使用した分割結果から、正確な焦点合わせは、重要でないことが示唆される。そして最後に、その結果として得られる投影画像に対し、背景光量変動は何ら影響を有しないということである。われわれのアプローチの欠点は、画像を１つではなく３つ撮る必要があり、細胞を移動することなく画像を取得するために生細胞撮像のかなり高速なステージが要求されることであり、今のところ、分割結果は、誤った全細胞検出から結果として生じる外れ値を含む。その一方で、空間に対する要求条件は、分析のため投影画像のみ格納すればよいので増大しない。 We have described a different z-projection method for contrast enhancement in the bright-field image stack and showed that the projection approach can replace whole-cell fluorescent staining for our collection of macrophage images. For single cell detection and segmentation, our method has several advantages over the previously presented bright field based techniques. First, the projection image can be used directly for whole cell division with freeware CellProfiler software or other tools. Second, of the different projection methods tested, the standard deviation projection is very light to perform calculations, easy to implement, does not require parameter settings, and still exhibits excellent segmentation performance. Thirdly, we have successfully applied the whole cell detection method to macrophages, which are cell types with various protrusions, low contrast and very complex morphology. Fourth, segmentation results using randomly selected z-slices suggest that accurate focusing is not important. Finally, the background light quantity fluctuation has no effect on the resulting projection image. The disadvantage of our approach is that three images must be taken instead of one, and a fairly fast stage of live cell imaging is required to acquire images without moving the cells. However, the segmentation results include outliers that result from erroneous whole cell detection. On the other hand, the requirement for space does not increase because only the projection image needs to be stored for analysis.
２００９年１０月２２日にわれわれが公開した資料では、細胞全体にわたってコントラストが低く、細胞境界がはっきりとは見えない、１つの細胞型の画像のみを使用した。他の多くの細胞型、例えば、酵母の明視野画像中に存在する、後光効果は、投影において誤って強調される可能性がある。さらに、さまざまな細胞密度および異なる撮像設定で分割性能を研究すること、また撮像およびその後の分析に最適な状態を探すことは興味深いことであろう。前処理のために、多くの異なるアプローチを試験することもありえ、この作業では、標準ガウス・フィルタが適切であると判明したが、厳密なパラメータ最適化または方法比較については、実行しなかった。 The material we published on October 22, 2009 used only images of one cell type with low contrast across the entire cell and invisible cell boundaries. The afterglow effect present in many other cell types, such as yeast bright-field images, can be erroneously emphasized in the projection. In addition, it may be interesting to study segmentation performance at various cell densities and different imaging settings, and to find the best conditions for imaging and subsequent analysis. Many different approaches could be tested for preprocessing, and in this work a standard Gaussian filter proved appropriate, but no exact parameter optimization or method comparison was performed.
明視野細胞分割を完全自動化するために、それぞれの細胞に対するマーカが、蛍光核なしで特定される必要があるが、われわれが知る限りでは、ロバストな明視野ベースの方法は文献に記載されていない。これらのマーカは、手動で設定することも可能であるが、特に高スループット研究では、手動アプローチは現実的でない。いくつかの研究では、細菌または酵母細胞など、細胞が非常に特徴的な形状を有している場合、物体分離を細胞形状に基づいて実行することが可能であるため、核マーカが不要になり、したがって蛍光もまったく必要なくなる。 To fully automate brightfield cell division, markers for each cell need to be identified without a fluorescent nucleus, but to the best of our knowledge, robust brightfield-based methods are not described in the literature . These markers can also be set manually, but manual approaches are not practical, especially in high throughput studies. In some studies, if a cell has a very characteristic shape, such as a bacterial or yeast cell, object separation can be performed based on the cell shape, thus eliminating the need for nuclear markers. Thus, no fluorescence is required.
明視野画像は、標準偏差または他の投影がより詳細に研究されるべきである唯一のスタックではない。蛍光顕微鏡では、研究される現象は、細胞下スポットとして見えることが多く、光量はｚレベルに応じて変化する。これは、平均および最大投影など、一般に使用される方法と比較して標準偏差投影においてよく見える可能性があることを示唆している。投影アプローチも、細胞対象物に限定されず、ほぼ透明のターゲットは、特別な光学系がなくても、高いコントラストから恩恵を受けるべきである。 Bright field images are not the only stack where standard deviations or other projections should be studied in more detail. In a fluorescence microscope, the phenomenon studied is often seen as a subcellular spot, and the amount of light varies with z level. This suggests that it may look better in standard deviation projections compared to commonly used methods such as mean and maximum projections. The projection approach is also not limited to cellular objects, and nearly transparent targets should benefit from high contrast without special optics.
図６は、蛍光を使用せずに、４つの異なる型の個別細胞を同定するために明視野顕微鏡法をどのように使用できるか、また細胞を自動的にどのように計数できるかを示す追加の例である。 Figure 6 shows how bright field microscopy can be used to identify four different types of individual cells without using fluorescence and how cells can be automatically counted It is an example.
図６は、３つの画像を含む。図６Ａの第１の画像では、良好な焦点の状態の下で撮像された標準明視野光学画像が示されており、これは、細胞間に示される低コントラスト差、および細胞の視野がいかなる方法でも処理されなかったときの背景を示す。図６Ｂの第２の画像では、ピンぼけ画像が提示されており、そこでは、それぞれの細胞は、明るい領域によって識別可能であると観察され、これは背景との感知できるコントラストをもたらす。一実施例を示さなくても、ｚ軸にそって反対方向でピンぼけになった後、細胞は、背景に関して、明るい領域と反対に、暗い領域によって識別されうることを理解されたい。図６Ｃの第３の画像では、細胞が自動閾値化アルゴリズムによって識別され、また擬似カラーで示される画像が示されている。したがって、細胞を計数するのは、適切にプログラムされたコンピュータ・ベースのシステムを使用して実行されうる直接的な自動化タスクとなる。 FIG. 6 includes three images. The first image in FIG. 6A shows a standard bright-field optical image taken under good focus conditions, which shows the low contrast difference shown between cells and how the cell field of view is But it shows the background when it was not processed. In the second image of FIG. 6B, a defocused image is presented, where each cell is observed to be distinguishable by a bright area, which provides a perceptible contrast with the background. It should be understood that even if one example is not shown, after being out of focus along the z-axis, the cells can be identified by dark areas as opposed to bright areas with respect to the background. In the third image of FIG. 6C, an image is shown in which cells are identified by an automatic thresholding algorithm and are shown in pseudo-color. Thus, counting cells becomes a direct automated task that can be performed using a suitably programmed computer-based system.
操作
図７は、本発明の方法および自動システムを使用する際に実行されるステップを示す流れ図である。ステップ７１０で示されているように、光照射に敏感なセンサを有する光学顕微鏡が使用される。光学顕微鏡は、光学顕微鏡の焦点状態を変更するための１つまたは複数のアクチュエータ（電気モータ）を備え、また適宜、レンズ（対物レンズまたは接眼レンズ）の１つまたは複数を変更し視野の倍率または寸法を変更するための１つまたは複数のアクチュエータを備える。明視野モードで光学顕微鏡を操作するための照明源が備えられる。光照射に敏感なセンサは、センサによって監視される視野を表す信号を出力として出すように構成された出力端子を有する。光学顕微鏡で観察するために表面を有する試料スライドを配置する。ステップ７２０で示されているように、少なくとも１つの細胞を含む試料を試料スライドの表面上に配置する。試料は、外来化学物質を含まない。ステップ７３０で示されているように、少なくとも１つの細胞がセンサの視野内に入り、少なくとも１つの細胞が焦点はずれ状態になるように、試料スライドの表面の法線方向にそって焦点が合うように光照射により明視野モードで光学顕微鏡を操作する。ステップ７４０で示されているように、焦点はずれ状態に応じて、１つまたは複数の明るいスポットまたは１つまたは複数の暗いスポットを有する画像を観察することができ、それぞれのスポットは１つの細胞に対応する。焦点はずれ状態は、スライドの表面と対物レンズの表面との間の相対距離を記録しながら、観察された画像が明るいスポットの１つから、スポットなし、暗いスポットへ（またはその逆の順で）変化するようにスライドの表面と対物レンズの表面との間の距離を変化させることによって自動的に決定されうる。次いで、明るいスポットの状態または暗いスポットの状態のいずれかの状態に対応する距離を再現することができる。センサは、ステップ７５０で示されているように、画像を表す出力信号を供給する。次いで、上で説明されているようなコンピュータおよび適当なソフトウェアを使用して画像を表す出力信号を処理し、ステップ７６０で示されているように、明るいスポットの個数または暗いスポットの個数を計算する。次いで、ステップ７７０で示されているように、コンピュータは、明るいスポットの個数または暗いスポットの個数を試料中に存在する細胞の個数として報告する。レポートは、擬似カラーで表示される画像の形式、または数値の形式とすることができる。レポートは、後で使用するために記録されうるか、またはユーザに対し表示されうるか、または都合のよい形式により他の方法で出力として供給されうる。
Operation FIG. 7 is a flow diagram illustrating the steps performed in using the method and automated system of the present invention. As shown in
図８は、例示的な自動画像処理システム内に存在するコンポーネントおよび接続部を示す図である。図８において、顕微鏡８１０は、双方向信号伝送リンク８５０を使ってコンピュータ・ベースの画像プロセッサ８２０に接続されている。いくつかの実施形態では、コンピュータ・ベースの画像プロセッサ８２０は、適宜プログラムされたパーソナル・コンピュータとすることができる。コンピュータ・ベースの画像プロセッサ８２０は、コンピュータ用ディスプレイなどの報告装置８３０と通信する。電源８４０は、リンク８７０を使って顕微鏡８１０に電力を供給し、リンク８６０を使ってコンピュータ・ベースの画像プロセッサ８２０および報告装置８３０に電力を供給する。いくつかの実施形態では、光学顕微鏡、コンピュータ・ベースの画像プロセッサ、および報告装置を動作させるための１つまたは複数の電源が備えられる。
FIG. 8 is a diagram illustrating components and connections present in an exemplary automatic image processing system. In FIG. 8, the microscope 810 is connected to a computer-based image processor 820 using a bidirectional
いくつかの実施形態では、試料は、染色剤を含まず、他の実施形態では、試料は、蛍光剤を含まない。いくつかの実施態様では、人間のオペレータが、分析対象の細胞を見ることができる。いくつかの場合において、光学顕微鏡は、センサおよび人間のオペレータに適した接眼レンズを同時に装着できるように構成される。いくつかの場合において、顕微鏡は、細胞計数法を実行する前に視野内にある１つまたは複数の細胞に焦点を合わせるように操作される。 In some embodiments, the sample does not include a stain, and in other embodiments, the sample does not include a fluorescent agent. In some embodiments, a human operator can view the cells to be analyzed. In some cases, the optical microscope is configured to allow simultaneous wearing of a sensor and an eyepiece suitable for a human operator. In some cases, the microscope is operated to focus on one or more cells that are in the field of view before performing the cell counting method.
明視野画像スタックからの細胞検出のためのフレームワーク
次に、異なる焦点面で撮られた明視野画像のスタックから自動的に細胞を検出するための一般フレームワークについて説明する。明視野画像の自動分析は、蛍光標識された画像の分析よりも難しいと考えられているが、それは、標識しないと、細胞は背景に比べて低いコントラストを持つからである。ここで説明する分析フレームワークは、深度情報に依存しており、これにより、蛍光画像分析と同等の方法で細胞を検出することができる。フレームワークは、フレームワークの実現と考えられる、さまざまな分析パイプラインを記述する直截的な手段である。そこで、そのような分析パイプラインの実施例を提示し、細胞の染色を全く行わずにさまざまな顕微鏡で撮られた画像スタックから細胞検出を効率よく実行できることを示すことにする。
Framework for Cell Detection from Brightfield Image Stack Next, a general framework for automatically detecting cells from a stack of brightfield images taken at different focal planes will be described. Automatic analysis of bright field images is believed to be more difficult than analysis of fluorescently labeled images, because without labeling, cells have a lower contrast than the background. The analysis framework described here relies on depth information, which allows cells to be detected in a manner equivalent to fluorescence image analysis. A framework is a straightforward means of describing various analytical pipelines that are considered realizations of the framework. An example of such an analysis pipeline is presented to show that cell detection can be performed efficiently from image stacks taken with various microscopes without any staining of the cells.
一般に、蛍光標識法を使用すると、細胞検出に使用可能である核標識法が利用できるという主な理由からより効率的な自動分析を実行することができ、またその後、検出された細胞をさらなる分析のための細胞マーカまたはシードとして使用することができる。しかし、蛍光標識するのは有益であるが、標識せずに明視野内で細胞を撮像するのも役立つ。蛍光体を含まないということは、細胞が光毒性の影響を受けたり、蛍光体の光退色がその結果に影響を及ぼしたりしないことを意味する。さらに、細胞検出を信頼性の高い自動的な方法で実行することが可能であるという前提の下で、細胞形状の検出は細胞体内の標識分布に依存しないため、明視野画像から実際の細胞形状がより正確に得られる。 In general, fluorescent labeling methods can be used to perform more efficient automated analyzes mainly because of the availability of nuclear labeling methods that can be used for cell detection, and then the detected cells can be further analyzed. Can be used as a cell marker or seed for. However, while fluorescent labeling is beneficial, it is also useful to image cells in bright field without labeling. The absence of a phosphor means that the cells are not affected by phototoxicity and that the photobleaching of the phosphor does not affect the result. Furthermore, on the premise that cell detection can be performed in a reliable and automatic manner, the detection of cell shape does not depend on the label distribution within the cell body, so the actual cell shape is determined from the bright field image. Can be obtained more accurately.
蛍光標識法は、高特異性染色が発生するけれども、特定の細胞下構造の染色には理想的であり、したがって、細胞応答が細胞下活動の定量化を通じて測定されることが多い高スループット研究における貴重な測定プラットフォームとなる。しかし、特異的染色の開発で、限られた数のチャネルのみを同じ試料から同時に撮像できる。例えば、核および細胞体標識法に蛍光染色液を使用すると、特異的プロセスを研究するために必要な可能な細胞下染色の使用は２倍減らせる。このような場合、明視野画像からの細胞の検出を可能にする技術により、他の用途で使用できるように蛍光チャネルが解放される。 Fluorescence labeling is ideal for staining specific subcellular structures, although high specificity staining occurs, and therefore in high-throughput studies where cellular responses are often measured through quantification of subcellular activity It becomes a valuable measurement platform. However, with the development of specific staining, only a limited number of channels can be imaged simultaneously from the same sample. For example, the use of fluorescent stains for nuclear and cell body labeling methods can reduce the use of possible subcellular staining necessary to study specific processes by a factor of two. In such cases, techniques that allow detection of cells from bright field images free the fluorescent channel for use in other applications.
従来から、明視野画像の完全自動分析は、多くの分割方法が手動で与えるシードに依存する難しい問題として認識されてきている。細胞を空間的にぎっしり配置することは、典型的には細胞境界がくっきり見えないため、分析に対しては特に難題である。われわれは、異なる焦点レベルで同じ試料を連続的に撮像した明視野画像のスタックを使用することに依存する細胞境界検出のための方法を説明した。ｚスタックとも称される、焦点スタックは、ｚ次元で投影を撮ることによって処理された。投影を細胞領域に対するマーカとして使用することで、蛍光標識法と同様の性能を持つ細胞形状および境界決定が可能になった。個別細胞検出の完全自動化は、全細胞領域を決定する際に有用であるが、ユーザ側で、または核蛍光マーカを細胞シードとして使用することによって、シード点を取得する必要があることがネックとなっていた。しかし、焦点スタックの使用は、細胞境界検出に限定されない。個別細胞を検出するための完全明視野アプローチは、細胞シード検出と境界検出とを組み合わせることによって可能である。ここで、われわれは、明視野画像からの完全自動化細胞検出のための一般フレームワークを提示することによってｚスタック・ベースの分析の原理を拡張し、定式化する。焦点が合っているフレーム上に表れる雑音、背景変動、異物、またはほこりなどの小さな粒子は、検出に影響を及ぼさない。 Traditionally, fully automatic analysis of bright field images has been recognized as a difficult problem that depends on the seeds that many segmentation methods provide manually. Placing cells in space is particularly challenging for analysis because cell boundaries are typically invisible. We have described a method for cell boundary detection that relies on using a stack of bright-field images that are taken sequentially of the same sample at different focus levels. The focal stack, also referred to as the z stack, was processed by taking projections in the z dimension. By using the projection as a marker for the cell region, cell shapes and boundaries can be determined with the same performance as the fluorescent labeling method. Full automation of individual cell detection is useful in determining the total cell area, but the bottleneck is that it is necessary to obtain a seed point on the user side or by using a nuclear fluorescent marker as a cell seed. It was. However, the use of the focal stack is not limited to cell boundary detection. A complete bright field approach to detecting individual cells is possible by combining cell seed detection and boundary detection. Here we extend and formulate the principle of z-stack based analysis by presenting a general framework for fully automated cell detection from bright-field images. Small particles such as noise, background fluctuations, foreign objects, or dust that appear on the in-focus frame do not affect detection.
明視野焦点画像スタックの構成および特性
まず、明視野画像のスタックをＩｚ（ｘ，ｙ）として定義しよう。ただし、ｚ∈１、．．．、Ｎは、焦点の上のフレームＩ１から始まり、焦点の下のＩＮで終わるフレームを定義し、ｘ，ｙは、ｎ×ｍ画像内の空間ピクセル座標である。試料を通して焦点を合わせることによって撮像されるスタックは、焦点を完全に外れているフレームを含むが、一部は焦点が合っているか、または部分的に焦点が合っていると言える。通常、明視野画像の分析では、焦点はずれフレームを完全に無視し、それによってスタック内のデータの大半を省く。おそらく、焦点スタックを利用するための最も一般的な方法は、いくつかのデータ駆動型発見的手法を用いて、焦点が合っているフレームを選択し、それのみを使ってその後の分析を行うことである。細胞集団の明視野画像スタックは、分析で利用可能ないくつかの特性を有する。焦点が合っているフレームに来る前に、細胞は、明るい、ぼやけた対象として見える（つまり、明るいスポットであるように見える）。最適な焦点レベルの方へ移動するにつれ、細胞の光量は急激に変化し、ほとんど透明になるが、細胞に焦点が合っているときには細部は見える。さらに、焦点が合っているフレームから離れるにつれ、細胞は再びぼやけてくるが、高い光量で見える代わりに、このときには細胞は低い光量を有する（つまり、暗いスポットのように見える）。
Brightfield Focus Image Stack Configuration and Characteristics First, let us define the brightfield image stack as Iz (x, y). However, zε1,. . . , N define a frame starting at frame I1 above the focus and ending at IN below the focus, and x, y are the spatial pixel coordinates in the n × m image. A stack that is imaged by focusing through a sample includes a frame that is completely out of focus, but can be said to be partially in focus or partially in focus. Typically, bright field image analysis completely ignores defocused frames, thereby omitting most of the data in the stack. Perhaps the most common way to use the focus stack is to use several data-driven heuristics to select a focused frame and use it only for further analysis. It is. A bright field image stack of cell populations has several properties that are available for analysis. Before coming to the in-focus frame, the cell appears as a bright, blurred object (ie, it appears to be a bright spot). As you move towards the optimal focus level, the amount of light in the cells changes rapidly and becomes almost transparent, but details are visible when the cells are in focus. Furthermore, as you move away from the in-focus frame, the cells become blurred again, but instead of appearing at a high light level, at this time the cells have a low light level (ie, look like a dark spot).
われわれの提案しているフレームワークにおける重要な要素の１つは、画像スタックが２つに分けて処理されるという点である。これはフレームＮｌを、上半分（または上側の群）がフレームＩ１（ｘ，ｙ）．．．ＩＮｌ（ｘ，ｙ）からなり、その後下半分（または下側の群）がフレームＩＮｌ＋１（ｘ，ｙ）．．．ＩＮ（ｘ，ｙ）からなるように分割フレームとして定義することによる。したがって、フレームＮｌを定義することは、分析の残り部分にとって重要である。フレームＮｌは、例えば、スタックの真ん中でフレームを選択することによって選択されうるが、ただし、撮像は、ほぼ同じ数のフレームが焦点の上および下で撮られるようになされているものとする。フレームＮｌを選択するための他の選択肢は、J. M. Geusebroek、F. Cornelissen、A. W. Smeulders、およびH. Geerts、「Robust autofocusing in microscopy.」Cytometry、vol.39、no.1、1〜9頁、2000年1月、またはA. G. Valdecasas、D. Marshall、J. M. Becerra、およびJ. J. Terrero、「On the extended depth of focus algorithms for bright field microscopy.」Micron、vol.32、no.6、559〜569頁、2001年8月で説明されているように、当技術分野で知られているロバストなオートフォーカス法などの焦点が合っているフレームを決定するためのいくつかの発見的手法を使用することである。 One important element in our proposed framework is that the image stack is processed in two parts. This means that the frame N1 is the upper half (or the upper group) is the frame I1 (x, y). . . IN1 (x, y), and then the lower half (or lower group) is frame IN1 + 1 (x, y). . . By defining it as a divided frame so as to consist of IN (x, y). Therefore, defining the frame Nl is important for the rest of the analysis. Frame Nl may be selected, for example, by selecting a frame in the middle of the stack, provided that imaging is such that approximately the same number of frames are taken above and below the focus. Other options for selecting frame Nl are described in JM Geusebroek, F. Cornelissen, AW Smeulders, and H. Geerts, “Robust autofocusing in microscopy.” Cytometry, vol. 39, no. 1, pages 1-9, 2000 January, or AG Valdecasas, D. Marshall, JM Becerra, and JJ Terrero, "On the extended depth of focus algorithms for bright field microscopy." Micron, vol. 32, no. 6, pp. 559-569, 2001 Using some heuristics to determine in-focus frames, such as robust autofocus methods known in the art, as described in August.
スタック視差に基づく検出
最初に、いわゆる視差ベースの細胞マーカ検出を定式化する。視差は、ｚスタックの異なるレベルを考えたときの細胞の異なる外観を指す。異なるレベルの細胞の外観における視差は、検出の基盤をなす。特に、焦点上の部分において明るい外観を有する細胞の特性、およびその一方で、焦点の下の暗い外観は、画像内の細胞の配置を特徴付けることが可能である。それに加えて、背景は、スタック全体を通して一般的に変化がないという事実は、視差ベースの検出を裏付けるもう１つの観察結果である。次に、図９で説明されているフレームワークを考えよう。演算ＯＰ１（ＯＰ１ＨとＯＰ１Ｌの両方）をｚ方向における中央値として設定することによって、スタックに基づき２つの投影を形成する。そこで、演算ＯＰ１Ｈは、
ＳＨ（ｘ；ｙ）＝ｍｅｄ｛Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ），．．．，ＩＮｌ（ｘ，ｙ）｝ 式（７）
のように定義され、この式は、ｚ寸法のピクセル毎の中央値であり、Ｎｌは、スタックを分割するフレームを定義する。同様に、ＯＰ１Ｌは、
ＳＬ（ｘ；ｙ）＝ｍｅｄ｛ＩＮｌ＋１（ｘ，ｙ），ＩＮｌ＋２（ｘ，ｙ），．．．，ＩＮ（ｘ，ｙ）｝ 式（８）
のように定義される。
Detection Based on Stacked Parallax First, so-called parallax-based cell marker detection is formulated. Parallax refers to the different appearance of cells when considering different levels of the z-stack. The parallax in the appearance of different levels of cells forms the basis for detection. In particular, the characteristics of cells that have a bright appearance in the part above the focus, while the dark appearance under the focus, can characterize the placement of the cells in the image. In addition, the fact that the background is generally unchanged throughout the stack is another observation that supports parallax-based detection. Next, consider the framework described in FIG. By setting the operation OP1 (both OP1H and OP1L) as the median value in the z direction, two projections are formed based on the stack. Therefore, the operation OP1H is
SH (x; y) = med {I1 (x, y), I2 (x, y),. . . , INl (x, y)} Equation (7)
This equation is the median per pixel of z dimension, and Nl defines the frame that divides the stack. Similarly, OP1L is
SL (x; y) = med {INl + 1 (x, y), INl + 2 (x, y),. . . , IN (x, y)} Equation (8)
Is defined as follows.
式７および式８からの出力は、いわゆるスタック記述子ＳＨおよびＳＬである。とりわけ、スタック内のすべてのフレームは、スタック記述子を構築するときに考えられる。全ｚスタックを利用することによって、異なる焦点レベルで出現する物体を検出することができる。フレームワークは、いっさい演算を制限しないことに留意されたい。例えば、中央値演算は、百分位の特別な場合として見なせ、ＯＰ１Ｈを第Ｐ百分位として、ＯＰ１Ｌを第１−Ｐ百分位として選択することによって、フレームワークの他の修正を行うことができる。さらに、中央値フィルタも、スタック・フィルタのファミリの特別な場合として見なせる(J. AstolaおよびP. Kuosmanen、Fundamentals of nonlinear digital filtering、CRC Press、1997年)。他の実施形態では、スタック・フィルタは、J. Yoo、E. Coyle、およびC. Bowman、「Dual stack filters and the modified difference of estimates approach to edge detection」IEEE Transactions on Image Processing、vol.6、1634〜1645頁、1997年で説明されているように中央値の代わりに検出を可能にするために適用することが可能である。 The outputs from equations 7 and 8 are so-called stack descriptors SH and SL. In particular, all frames in the stack are considered when building the stack descriptor. By utilizing the full z-stack, objects appearing at different focus levels can be detected. Note that the framework does not limit any operations. For example, the median operation can be viewed as a special case of the percentile, making other modifications of the framework by selecting OP1H as the Pth percentile and OP1L as the 1st-Pth percentile. be able to. In addition, median filters can be viewed as a special case of the family of stacked filters (J. Astola and P. Kuosmanen, Fundamentals of nonlinear digital filtering, CRC Press, 1997). In other embodiments, the stack filters are J. Yoo, E. Coyle, and C. Bowman, `` Dual stack filters and the modified difference of estimates approach to edge detection '' IEEE Transactions on Image Processing, vol. 6, 1634. It can be applied to allow detection instead of the median as described in pp. 1645, 1997.
次いで、演算ＯＰ２を使用してスタック記述子を比較する。ここで、ＯＰ２は、記述子のピクセル毎の差分として定義される。したがって、スタック記述子差分として称される、この結果は、
Ｄ（ｘ，ｙ）＝ＳＨ（ｘ，ｙ）−ＳＬ（ｘ，ｙ）
で定義される。
The stack descriptor is then compared using operation OP2. Here, OP2 is defined as a difference for each pixel of the descriptor. Therefore, this result, referred to as the stack descriptor difference, is
D (x, y) = SH (x, y) −SL (x, y)
Defined by
明視野画像スタックの一般的特性−背景はむしろ変化せず、細胞は上半分において明るく、下半分において暗い−を思い出せば、この正反対の特性の差によって、細胞が強調され、背景が抑制される画像が形成されると仮定できる。その結果、細胞の検出は、演算ＯＰ３で差分画像Ｄを分割することによって実行されうる。ここで、自動化された方法で閾値ｔｍｅを決定するために、J. KittlerおよびJ. Illingworth、「Minimum error thresholding」、Pattern Recognition、vol.19、41〜47頁、1986年において説明されている最小誤差閾値化法を使用し、初期細胞検出は、
ＢＷ（ｘ，ｙ）＝１、Ｄ（ｘ；ｙ）＞ｔｍｅの場合、ＢＷ（ｘ，ｙ）＝０、それ以外の場合 式（９）
となる。しかし、原則として、蛍光標識された画像からの細胞核検出において適用可能な方法は、ここではＯＰ３としても使用可能である。
Recalling the general characteristics of bright-field image stacks-the background is rather unchanged, the cells are bright in the upper half and dark in the lower half-this difference in opposite characteristics enhances the cells and suppresses the background It can be assumed that an image is formed. As a result, the cell detection can be executed by dividing the difference image D by the operation OP3. Here, the minimum described in J. Kittler and J. Illingworth, “Minimum error thresholding”, Pattern Recognition, vol. 19, pp. 41-47, 1986, to determine the threshold tme in an automated manner. Using error thresholding, initial cell detection is
When BW (x, y) = 1, D (x; y)> tme, BW (x, y) = 0, otherwise, Formula (9)
It becomes. However, in principle, any applicable method for detecting cell nuclei from fluorescently labeled images can also be used here as OP3.
最適な光量フレームに基づく検出
フレームワークの他の実現は、焦点が合っているレベルの前のスタック内の細胞の明るさが他の方法で利用されるときに得られる。このときに、最初の演算ＯＰ１Ｈは、単純に基準
Another implementation of the detection framework based on optimal light frames is obtained when the brightness of the cells in the previous stack at a focused level is otherwise utilized. At this time, the first operation OP1H is simply a reference.
半分にわけたスタックの両方からの式１０の基準を最大化する最適な光量フレームを選択した後に、第２の演算ＯＰ２は、実現可能な焦点範囲から来るそれら２つからフレームを選択する（この場合、フレームは、明るいスポットとして見える細胞を有するべきであり、したがって、演算は焦点の上のスタックを発生元とするフレームを選ぶべきである）。これは、典型的には、細胞の明るい外観が最初の半分においてピークとなり、したがってＯＰ１によって選択された２つの最大値から、式１０で表される基準に対しより大きな値を持つものが正しいものであると仮定することによって実行されうる。同様に、スタック視差法のように、ここでもまた、核分割において典型的な多数の演算が適用可能である。比較のため、われわれは、前のように同じ最小誤差閾値化を適用する。 After selecting the optimal light intensity frame that maximizes the criterion of Equation 10 from both halved stacks, the second operation OP2 selects a frame from those two coming from a feasible focus range (this If so, the frame should have cells that appear as bright spots, so the operation should pick a frame that originates from the stack above the focus). This is typically the case where the bright appearance of the cell peaks in the first half, so the one with the larger value for the criterion expressed in Equation 10 from the two maximum values selected by OP1 is correct. Can be implemented by assuming that Similarly, as in the stack parallax method, a number of operations typical in kernel splitting are again applicable here. For comparison, we apply the same minimum error thresholding as before.
焦点微分に基づく検出
フレームワークの第３の実現は、視差ベースの方法と同じ原理に依存する、つまり、焦点の上から焦点の下へ移動するときに、細胞領域は、通常、明るいスポットから暗いスポットに変わり、細胞境界の外側または近くにある領域はそれと反対の挙動を示し、背景はむしろ一定に留まる。そのため、導関数の方向を検出の基盤として使用することが可能である。ＯＰ１（ＯＰ１ＨおよびＯＰ１Ｌの両方に対する）を
The third realization of the detection framework based on the focal derivative relies on the same principle as the parallax-based method, ie when moving from the top of the focus to the bottom of the focus, the cell region is usually dark from a bright spot Instead of spots, areas outside or near the cell boundary show the opposite behavior, and the background remains rather constant. Thus, the direction of the derivative can be used as a basis for detection. OP1 (for both OP1H and OP1L)
検出結果
これらの結果は、典型的な細胞画像分析事例において細胞検出フレームワークをどのように使用できるかの例となっている。さらに詳細に、われわれは、このフレームワークで、細胞が密集しているときに明視野画像スタックから細胞定量化をどのように行えるか、また明視野画像のみを使用して細胞検出を細胞追跡の基盤としてどのように使用できるかを示す。
Detection results These results are examples of how the cell detection framework can be used in typical cell image analysis cases. In more detail, we can use this framework to understand how cell quantification can be performed from a bright-field image stack when cells are confluent, and to use only bright-field images for cell detection. Show how it can be used as a base.
画像スタックからの細胞検出
蛍光標識されている細胞集団画像に対する典型的な分析パイプラインは、核が標識されているチャネルからの細胞検出（ときには一次物体検出と称される）で開始し、次いで、他の蛍光チャネルからの細胞境界検出（二次物体検出）へ進む。細胞外形検出は、明視野画像からも可能であるが、細胞核標識が行われないため、細胞が接近して配置されている場合に問題が生じる。ここで、フレームワークを核標識法の代替手段としてどのように使用できるかを示す。投影ベースの細胞外形検出と併せたこの方法は、蛍光標識法と同等の全細胞画像分析の問題を解決する。
Cell Detection from Image Stack A typical analytical pipeline for fluorescently labeled cell population images starts with cell detection from a channel labeled with nuclei (sometimes referred to as primary object detection), then Proceed to cell boundary detection (secondary object detection) from other fluorescent channels. Although cell contour detection is possible from a bright-field image, since cell nucleus labeling is not performed, a problem arises when cells are placed close to each other. Here we show how the framework can be used as an alternative to nuclear labeling. This method in conjunction with projection-based cell shape detection solves the problem of whole cell image analysis equivalent to fluorescence labeling.
われわれは、４０倍の倍率で撮像された細胞の全部で１２個の明視野画像スタックからの細胞検出を試験した。検出精度は、正しく検出された細胞（真陽性、ｔｐ）、偽検出（偽陽性、ｆｐ）、および検出漏れ（偽陰性、ｆｎ）を観察することによって決定した。これらの数字を使って、検出精度を記述する一般に使用される計量、つまり、精度ｐ＝ｔｐ／（ｔｐ＋ｆｐ）、リコールｒ＝ｔｐ／（ｔｐ＋ｆｎ）、およびＦスコア＝２×精度×リコール＝（精度＋リコール）を計算した。これらの結果を、表３に示す。 We tested cell detection from a total of 12 bright field image stacks of cells imaged at 40x magnification. Detection accuracy was determined by observing correctly detected cells (true positives, tp), false detections (false positives, fp), and omissions (false negatives, fn). These numbers are used to describe commonly used metrics that describe detection accuracy: accuracy p = tp / (tp + fp), recall r = tp / (tp + fn), and F-score = 2 × accuracy × recall = (accuracy + Recall) was calculated. These results are shown in Table 3.
フレームワークによって生細胞監視が可能になる
ここで、提案されたフレームワークを使用することによってマクロファージ細胞追跡の一例を示す。試験のため１６時間にわたって５分間隔で撮像した、１９３個の画像スタックの集合を使用した。細胞検出は、「焦点微分に基づく検出」で説明されている演算とともに提案されているフレームワークを使用することによって行い、X. Chen、X. Zhou、およびS. Wong、「Automated segmentation, classification, and tracking of cancer cell nuclei in time-lapse microscopy」、IEEE Transactions on Biomedical Engineering、vol.53、no.4、762〜766頁、2006年の核追跡法を細胞の追跡に使用した。追跡結果は、図１８に示されている。
Framework enables live cell monitoring Here we show an example of macrophage cell tracking by using the proposed framework. A set of 193 image stacks were used that were imaged at 5 minute intervals for 16 hours for testing. Cell detection is performed by using the proposed framework with the operations described in “Detection Based on Focal Derivatives”, X. Chen, X. Zhou, and S. Wong, “Automated segmentation, classification, and tracking of cancer cell nuclei in time-lapse microscopy, IEEE Transactions on Biomedical Engineering, vol. 53, no. 4, pp. 762-766, 2006, the nuclear tracking method was used for cell tracking. The tracking result is shown in FIG.
提案されているフレームワークは、スタックを処理するために使用される操作を修正することによってさまざまな分析パイプライン内にカスタマイズできる。特に、これらの方法は、手動初期化、シード点または標識付けを必要とせず、これらは、細胞核標識法を細胞マーカとして使用するための潜在的代替手段として考えることができる。実際、核標識法の代替手段は、処理されたスタックからの細胞マスク分割に対し標準蛍光分析ソフトウェア（A. Carpenter、T. Jones、M. Lamprecht、C. Clarke、I. Kang、O. Friman、D. Guertin、J. Chang、R. Lindquist、J. Moffat、P. Golland、およびD. Sabatini、「CellProfiler: image analysis software for identifying and quantifying cell phenotypes.」Genome Riot、vol.7、no.10、R100頁、2006年）を使用することによって実証された。このフレームワークは、蛍光標識された画像の典型的な特性を共有するように明視野画像スタックを変換する。これの結果、適切な画像スタックが利用可能である限り、蛍光顕微鏡用に開発された多種多様な分析方法が、明視野画像に対し適用可能になった。また、フレームワークを使用しても、細胞構造および機能を細部をさらに調べるために蛍光標識法を使用する可能性がなくなるわけではないことに留意されたい。実際、このフレームワークを使用することで、細胞核および細胞体標識法に必要なチャネルを置き換えることによって特異的細胞区画を標識するための１つ乃至２つの追加の蛍光チャネルを使用することが可能になる。 The proposed framework can be customized within various analysis pipelines by modifying the operations used to process the stack. In particular, these methods do not require manual initialization, seed points or labeling, which can be considered as potential alternatives for using the nuclear labeling method as a cell marker. In fact, an alternative to nuclear labeling is the use of standard fluorescence analysis software (A. Carpenter, T. Jones, M. Lamprecht, C. Clarke, I. Kang, O. Friman, D. Guertin, J. Chang, R. Lindquist, J. Moffat, P. Golland, and D. Sabatini, “CellProfiler: image analysis software for identifying and quantifying cell phenotypes.” Genome Riot, vol. 7, no. 10, R100, 2006). This framework transforms the bright field image stack to share the typical properties of fluorescently labeled images. As a result, as long as a suitable image stack is available, a wide variety of analysis methods developed for fluorescence microscopy can be applied to bright field images. It should also be noted that the use of a framework does not eliminate the possibility of using fluorescent labeling to further investigate cell structure and function. In fact, this framework makes it possible to use one or two additional fluorescent channels to label specific cell compartments by replacing the channels required for cell nucleus and cell body labeling methods. Become.
定義
例えば、特定の焦点状態で結果を記録することなど、撮像操作または画像取得からの結果を記録することは、本明細書では、記憶素子、機械可読記憶媒体、または記憶装置に出力データを書き込むことを意味すると理解され、またはそのように定義される。本発明で使用されうる機械可読記憶媒体は、磁気フロッピー（登録商標）・ディスクおよびハードディスクなどの電子、磁気、および／または光学記憶媒体、ＤＶＤドライブ、いくつかの実施形態ではＤＶＤディスク、ＣＤ−ＲＯＭディスク（つまり、読み出し専用光学記憶ディスク）、ＣＤ−Ｒディスク（つまり、１回だけ書き込むことができ、何回でも読み出せる光学記憶ディスク）、およびＣＤ−ＲＷディスク（つまり、書き換え可能光学記憶ディスク）のうちのどれかを使用できるＣＤドライブ、およびＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、コンパクト・フラッシュ・カード、ＰＣＭＣＩＡカード、あるいはＳＤまたはＳＤＩＯメモリなどの電子記憶媒体、および記憶媒体を収納し、記憶媒体との間で読み出しおよび／または書き込みを行う電子コンポーネント（例えば、フロッピー（登録商標）・ディスク・ドライブ、ＤＶＤドライブ、ＣＤ／ＣＤ−Ｒ／ＣＤ−ＲＷドライブ、またはコンパクト・フラッシュ／ＰＣＭＣＩＡ／ＳＤアダプタ）を含む。機械可読記憶媒体の技術分野において当業者に知られているように、データ記憶のための新しい媒体およびフォーマットは、絶えず考案されており、将来利用可能になる可能性のある使いやすい市販の記憶媒体および対応する読み出し／書き込みデバイスも、特に記憶容量の増大、アクセス速度の高速化、小型化、および格納される情報のビット当たりのコスト低減のいずれかが実現した場合に、使用するのに適切なものとなる可能性がある。穿孔紙テープまたは穿孔カード、磁気記録テープ、磁気ワイヤ、印刷文字（例えば、ＯＣＲおよび磁気符号化記号）ならびに１次元および２次元のバーコードなどの機械可読記号の光学的または磁気的読み取りなどの、よく知られている旧式の機械可読媒体も、特定の条件の下での使用に利用可能である。後で使用するため画像データを記録すること（例えば、画像をメモリまたはデジタル・メモリに書き込むこと）を実行して、記録されている情報を出力として、ユーザに対して表示するためのデータとして、または後から使用するために利用可能にすべきデータとして使用するようにできる。このようなデジタル・メモリ素子またはチップは、スタンドアロンのメモリ・デバイスであるか、または注目するデバイス内に組み込むことができる。「出力データを書き込むこと」または「画像をメモリに書き込むこと」は、本明細書では、変換されたデータをマイクロコンピュータ内のレジスタに書き込むことを含むものとして定義される。
Definition Recording a result from an imaging operation or image acquisition, such as recording a result at a particular focus state, herein writes output data to a storage element, machine-readable storage medium, or storage device Is understood to mean or defined as such. Machine-readable storage media that can be used in the present invention include electronic, magnetic, and / or optical storage media such as magnetic floppy disks and hard disks, DVD drives, DVD disks in some embodiments, CD-ROMs Discs (ie read-only optical storage discs), CD-R discs (ie optical storage discs that can be written only once and can be read many times), and CD-RW discs (ie rewritable optical storage discs) CD drive that can use any of the above, and electronic storage media such as RAM, ROM, EPROM, compact flash card, PCMCIA card, or SD or SDIO memory, and storage media Read and / or write with Including electronic components (e.g., a floppy disk drive, DVD drive, CD / CD-R / CD-RW drive or compact flash / PCMCIA / SD adapter). As known to those skilled in the art of machine-readable storage media, new media and formats for data storage are constantly being devised and are easy-to-use commercial storage media that may become available in the future. And corresponding read / write devices are also suitable for use, especially when either increased storage capacity, increased access speed, reduced size, and reduced cost per bit of stored information It can be a thing. Often, such as optical or magnetic reading of perforated paper tape or perforated cards, magnetic recording tape, magnetic wires, printed characters (eg, OCR and magnetic encoding symbols) and machine readable symbols such as 1D and 2D barcodes Known older machine-readable media are also available for use under certain conditions. Recording image data for later use (eg, writing the image to memory or digital memory) and outputting the recorded information as data to be displayed to the user, Or it can be used as data that should be made available for later use. Such a digital memory element or chip is a stand-alone memory device or can be incorporated within the device of interest. “Writing output data” or “writing an image to memory” is defined herein as including writing the converted data to a register in the microcomputer.
「マイクロコンピュータ」は、本明細書では、マイクロプロセッサ、マイクロコントローラ、およびデジタル・シグナル・プロセッサ（「ＤＳＰ」）と同義として定義される。例えば、「ファームウェア」としてコーディングされている撮像または画像処理アルゴリズムを格納する、マイクロコンピュータによって使用される記憶域は、マイクロコンピュータ・チップの物理的内部にあるメモリ内に配置されるか、またはマイクロコンピュータの外部のメモリに配置されるか、または内部メモリと外部メモリとの組み合わせのメモリ内に配置されうることは理解される。同様に、アナログ信号は、スタンドアロンのアナログ−デジタル・コンバータ（「ＡＤＣ」）あるいは１つまたは複数のＡＤＣによってデジタル化されうるか、または多重ＡＤＣチャネルをマイクロコンピュータ・パッケージ内に配置することができる。また、フィールド・プログラマブル・アレイ（「ＦＰＧＡ」）チップまたは特定用途向け集積回路（「ＡＳＩＣ」）チップは、ハードウェアの論理回路を使用して、またはマイクロコンピュータのソフトウェア・エミュレーションを使用して、またはこれら２つの組み合わせを使用してマイクロコンピュータ機能を実行できることも理解される。本明細書で説明されている本発明の特徴のどれかを有する装置は、全体が１つのマイクロコンピュータで動作可能であるか、または複数のマイクロコンピュータを備えることができる。 “Microcomputer” is defined herein as synonymous with microprocessor, microcontroller, and digital signal processor (“DSP”). For example, the storage used by the microcomputer, which stores imaging or image processing algorithms coded as “firmware”, is located in a memory that is physically internal to the microcomputer chip, or the microcomputer It is understood that it can be located in a memory external to the memory or in a combination of internal and external memory. Similarly, an analog signal can be digitized by a stand-alone analog-to-digital converter (“ADC”) or one or more ADCs, or multiple ADC channels can be placed in a microcomputer package. Field programmable array ("FPGA") chips or application specific integrated circuit ("ASIC") chips can also be used using hardware logic, or using microcomputer software emulation, or It is also understood that a combination of these two can be used to perform microcomputer functions. An apparatus having any of the features of the invention described herein can be operated entirely by a single microcomputer or can comprise a plurality of microcomputers.
本発明の説明に従って計装の制御、信号の記録、信号またはデータの分析を行うのに有用な汎用プログラム可能コンピュータは、パーソナル・コンピュータ（ＰＣ）、マイクロプロセッサ・ベースのコンピュータ、ポータブル・コンピュータ、または他の種類の処理デバイスのどれかとすることができる。汎用プログラム可能コンピュータは、典型的には、中央演算処理装置、機械可読記憶媒体を使用して情報およびプログラムの記録および読み出しを行うことができる記憶装置またはメモリ・ユニット、有線通信デバイスまたは無線通信デバイスなどの通信端末、ディスプレイ端末などの出力デバイス、およびキーボードなどの入力デバイスを備える。ディスプレイ端末は、タッチ・スクリーン・ディスプレイとすることができ、その場合、これは、表示デバイスと入力デバイスの両方の機能を持つことができる。マウスまたはジョイスティックといったポインティング・デバイスなどの異なる、および／または追加の入力デバイスが存在し、音発生装置、例えば、スピーカー、第２のディスプレイ、またはプリンタなどの異なる、または追加の出力デバイスが存在しうる。コンピュータは、例えば、いくつかのバージョンのＷｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ、またはＵＮＩＸ（登録商標）、またはＬｉｎｕｘのうちのどれか１つなどの、さまざまなオペレーティング・システムのうちのどれか１つの下で動作することができる。汎用コンピュータのオペレーションで得られた計算結果は、後で使用するために格納することができ、および／またはユーザに対して表示することができる。最低限でも、それぞれのマイクロプロセッサ・ベースの汎用コンピュータは、マイクロプロセッサ内のそれぞれの計算ステップの結果を格納するレジスタを有し、そこで、その結果は一般的に、後で使用するためにキャッシュ・メモリ内に格納される。 A general purpose programmable computer useful for controlling instrumentation, recording signals, analyzing signals or data in accordance with the description of the invention is a personal computer (PC), microprocessor-based computer, portable computer, or It can be any other type of processing device. A general-purpose programmable computer is typically a central processing unit, a storage or memory unit capable of recording and reading information and programs using a machine-readable storage medium, a wired communication device or a wireless communication device A communication terminal such as a display terminal, an output device such as a display terminal, and an input device such as a keyboard. The display terminal can be a touch screen display, in which case it can have the functions of both a display device and an input device. There may be different and / or additional input devices such as a pointing device such as a mouse or joystick, and there may be different or additional output devices such as a sound generator, eg, a speaker, a second display, or a printer. . The computer may be under any one of various operating systems, such as any one of several versions of Windows®, MacOS, or UNIX®, or Linux. Can work with. Calculation results obtained from the operation of a general purpose computer can be stored for later use and / or displayed to the user. At a minimum, each microprocessor-based general purpose computer has a register that stores the result of each computational step in the microprocessor, where the result is generally cached for later use. Stored in memory.
電気および電子装置の多くの機能は、ハードウェア（例えば、配線論理回路）、ソフトウェア（例えば、汎用プロセッサ上で動作するプログラム内に符号化された論理回路）、およびファームウェア（例えば、必要に応じてプロセッサ上で動作させるために呼び出される不揮発性メモリ内に符号化された論理回路）で実装することができる。本発明は、ハードウェア、ファームウェア、およびソフトウェアの１つの実装を、ハードウェア、ファームウェア、およびソフトウェアの異なる実装を使用する同等の機能の他の実装の代わりに使用することを企図する。実装が伝達関数によって数学的に表現されうる、つまり、指定された応答が伝達関数を示す「ブラック・ボックス」の入力端に加えられる特定の励起に対して出力端に生成される範囲において、伝達関数の部分またはセグメントのハードウェア、ファームウェア、およびソフトウェア実装の任意の組み合わせを含む、伝達関数の任意の実装は、実装の少なくとも一部がハードウェアで実行される限り本明細書において企図される。 Many functions of electrical and electronic devices include hardware (eg, wiring logic), software (eg, logic encoded in a program running on a general purpose processor), and firmware (eg, as needed) It can be implemented with a logic circuit encoded in a non-volatile memory that is called to run on the processor. The present invention contemplates using one implementation of hardware, firmware, and software in place of another implementation of equivalent functionality that uses different implementations of hardware, firmware, and software. The implementation can be expressed mathematically by a transfer function, i.e., in the range where a specified response is generated at the output for a specific excitation applied to the input of the "black box" representing the transfer function. Any implementation of the transfer function, including any combination of hardware, firmware, and software implementations of the function parts or segments, is contemplated herein as long as at least a portion of the implementation is performed in hardware.
理論的検討
本明細書で述べた理論の説明は、正しいものと考えられるけれども、本明細書で説明され、また特許請求の範囲に記載されているデバイスの動作は、理論の説明の正確さまたは有効性に依存しない。つまり、本明細書で提示されている理論と異なる基礎に基づき観察された結果を説明できる理論の発展が後であっても、本明細書で説明されている発明を損なうことはない。
Theoretical Consideration Although the explanation of the theory described herein is considered correct, the operation of the device described and claimed herein is not accurate or accurate. It does not depend on effectiveness. In other words, the invention described in the present specification is not impaired even if the theory that can explain the results observed on the basis different from the theory presented in the present specification is later developed.
明細書に明記されている特許、特許出願、または公開は、参照により本明細書に組み込まれる。参照により本明細書に組み込まれると言われるが、本明細書において明示的に記載されている既存の定義、陳述、または他の開示資料と食い違う資料、またはその一部は、その組み込まれている資料と本発明の開示資料との間に食い違いが生じない範囲においてのみ組み込まれる。食い違いが生じた場合、その食い違いは、好ましい開示として本発明の開示に有利なように解決されるものとする。 Patents, patent applications, or publications specified in the specification are hereby incorporated by reference. Documents that are said to be incorporated herein by reference, but that incorporate any part of, or part of, an existing definition, statement, or other disclosure material that is explicitly described herein. It is incorporated only to the extent that there is no discrepancy between the material and the disclosed material of the present invention. In the event of a discrepancy, the discrepancy is to be resolved in favor of the present disclosure as a preferred disclosure.
本発明は、図面に例示されているように好ましい様式を参照しつつ具体的に図示され、説明されているが、当業者であれば特許請求の範囲によって定められているとおりに本発明の精神および範囲から逸脱することなく細部のさまざまな変更を加えうることを理解するであろう。 While the invention has been particularly illustrated and described with reference to the preferred embodiments as illustrated in the drawings, those skilled in the art will recognize the spirit of the invention as defined by the claims. It will be understood that various changes in detail may be made without departing from the scope and scope.
付録Ａ
ＭＡＴＬＡＢコード
function proj=projstack(stack)
% 3D画像スタックを2Dに投影するためのPROJSTACK法
%
% IN: スタック x*y*z行列、画像の3Dスタック
%
% このMatlab関数は、以下の論文の補足資料の
% 一部である。
%
% J. Selinummiら、「Bright field microscopy as an alternative to whole cell staining in % automated analysis of macrophage images」
%
% この関数の使用に際しては、著者らにきちんと謝意を表明するよう
% （著者らからの許諾に対する引用または要請）、
% 心よりお願いしたい。
%
% ウェブサイト: http://sites.***.com/site/brightfieldorstaining
%
%
% 著者： Jyrki Selinummi <[email protected]>
stack=double(stack);
% MADは、ある程度の処理時間を必要とする唯一の投影であり、現在は
% forループを使用しただけで実装されている
% 必ずしもこの方法を必要としないのであれば、コメントアウトすると
% 処理が著しく高速化される
proj.mad=zeros(size(stack, l),size(stack,2));
proj.mad_mean=zeros(size(stack, l ),size(stack,2));
for iter=l:size(stack,1)
for iter2=1:size(stack,2)
proj.mad(iter,iter2)=mad(stack(iter,iter2,:),l );
proj.mad_mean(iter,iter2)=mad(stack(iter,iter2,:),0);
end
end
proj. mad=scale_image(proj.mad);
proj.mad_mean=scale_image(proj.mad_mean);
% IQR
proj.iqr=scale_image(iqr(stack,3));
% 平均投影
proj.mean=scale_image(mean(stack,3));
% STD投影
proj.std=scale_image(std(stack,0,3));
% COV投影
proj.cov=scale_image(std(stack,0,3)./mean(stack,3));
% スケーリングされたCOV投影
proj.cov_scaled=imadjust(std(stack,0,3)./mean(stack,3),[0.01 0.99]);
function out=scale_image(in)
% データを0から1までの間でスケーリングする
in=double(in);
in=in-min(in(:));
out=in/max(in(:));
Appendix A
MATLAB code
function proj = projstack (stack)
% PROJSTACK method for projecting 3D image stack to 2D
%
% IN: Stack x * y * z matrix, 3D stack of images
%
% This Matlab function is the supplementary material for the following paper:
% Partial.
%
% J. Selinummi et al., `` Bright field microscopy as an alternative to whole cell staining in% automated analysis of macrophage images ''
%
% Please express our gratitude to the authors when using this function.
% (Quotation or request for permission from authors),
% I really want to ask.
%
% Website: http://sites.***.com/site/brightfieldorstaining
%
%
% Author: Jyrki Selinummi <[email protected]>
stack = double (stack);
% MAD is the only projection that requires some processing time and is currently
Implemented just by using% for loop
% If you don't necessarily need this method, comment out
% Processing is significantly faster
proj.mad = zeros (size (stack, l), size (stack, 2));
proj.mad_mean = zeros (size (stack, l), size (stack, 2));
for iter = l: size (stack, 1)
for iter2 = 1: size (stack, 2)
proj.mad (iter, iter2) = mad (stack (iter, iter2, :), l);
proj.mad_mean (iter, iter2) = mad (stack (iter, iter2, :), 0);
end
end
proj.mad = scale_image (proj.mad);
proj.mad_mean = scale_image (proj.mad_mean);
% IQR
proj.iqr = scale_image (iqr (stack, 3));
% Average projection
proj.mean = scale_image (mean (stack, 3));
% STD projection
proj.std = scale_image (std (stack, 0,3));
% COV projection
proj.cov = scale_image (std (stack, 0,3) ./ mean (stack, 3));
% Scaled COV projection
proj.cov_scaled = imadjust (std (stack, 0,3) ./ mean (stack, 3), [0.01 0.99]);
function out = scale_image (in)
% Scale data between 0 and 1
in = double (in);
in = in-min (in (:));
out = in / max (in (:));
Claims (27)
光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、前記センサは前記センサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、
前記光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、
光を照射して前記光学顕微鏡を明視野モードで故意に動作させ、前記光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせ、前記少なくとも１つの細胞が前記センサの前記視野内に入るようにするステップと、
前記センサを使って１つまたは複数の明るいスポットおよび１つまたは複数の暗いスポットからなる画像の群から選択された、特定の焦点状態に対応する１つの画像を観察するステップと、
前記センサの前記出力端子から前記画像を表す出力信号を供給するステップと、
前記画像を表す前記出力信号を処理して、明るいスポットの個数または暗いスポットの個数を計算するステップと、
明るいスポットの前記個数または暗いスポットの前記個数を前記試料中に存在する細胞の個数として報告するステップとを含む試料中に存在する細胞の個数を自動的に同定する方法。 A method for automatically identifying the number of cells present in a sample,
Forming an optically transparent carrying surface arranged for observation with an optical microscope having a sensor for sensing light irradiation, the sensor providing as an output a signal representative of the field of view monitored by the sensor A step having an output terminal configured to:
Providing a sample comprising at least one cell disposed on the optically transparent support surface;
Illuminating and intentionally operating the optical microscope in bright field mode, focusing on one or more different focal planes arranged along a normal direction of the optically transparent support surface, the at least one Allowing two cells to fall within the field of view of the sensor;
Using the sensor to observe an image corresponding to a particular focus state selected from the group of images consisting of one or more bright spots and one or more dark spots;
Providing an output signal representing the image from the output terminal of the sensor;
Processing the output signal representing the image to calculate the number of bright spots or dark spots;
Reporting the number of bright spots or the number of dark spots as the number of cells present in the sample, and automatically identifying the number of cells present in the sample.
光照射を感知するセンサを有する光学顕微鏡であって、前記センサは前記センサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有し、前記光学顕微鏡は光照射を使って明視野モードで前記光学顕微鏡を動作させられるように構成され、また前記光学顕微鏡での観察のため配置されている光学的透明担持面の法線方向にそって前記光学顕微鏡の焦点を変化させ前記光学顕微鏡の前記視野内に配置されている試料の前記光学的透明担持面の前記法線方向にそって少なくとも１つの画像を故意に獲得するように構成されている、光学顕微鏡と、
前記センサから前記センサによって監視される視野を表す前記出力信号を受け取るように構成され、また前記少なくとも１つの画像から１つまたは複数の画像を同定するように構成され、また前記少なくとも１つの画像を分析して前記１つまたは複数の画像から前記試料の特性を推論するように構成されている、コンピュータ・ベースの画像プロセッサと、
前記コンピュータ・ベースの画像プロセッサと通信する、前記試料の前記特性のレポートを作成するように構成された報告装置とを備える自動画像処理システム。 An automatic image processing system,
An optical microscope having a sensor for sensing light irradiation, the sensor having an output terminal configured to supply a signal representing a visual field monitored by the sensor as an output, and the optical microscope performs light irradiation. Used to operate the optical microscope in bright field mode, and changes the focus of the optical microscope along the normal direction of the optically transparent support surface arranged for observation with the optical microscope. An optical microscope configured to deliberately acquire at least one image along the normal direction of the optically transparent support surface of a sample disposed within the field of view of the optical microscope;
Configured to receive the output signal representative of a field of view monitored by the sensor from the sensor, and configured to identify one or more images from the at least one image, and the at least one image A computer-based image processor configured to analyze and infer characteristics of the sample from the one or more images;
An automatic image processing system comprising: a reporting device configured to generate a report of the characteristic of the sample in communication with the computer-based image processor.
前記画像プロセッサは、前記画像中の明るいスポットの個数または暗いスポットの個数を計算するように構成され、
前記報告装置によって報告される前記特性は、明るいスポットの前記個数または暗いスポットの前記個数であり、このため、前記報告される特性は、前記光学顕微鏡の前記視野内に配置される前記光学的透明担持面の一部に配置されている試料中に存在する細胞の個数である
請求項９に記載の自動画像処理システム。 The at least one image is an image selected from the group of images consisting of one or more bright spots and one or more dark spots;
The image processor is configured to calculate the number of bright spots or dark spots in the image;
The property reported by the reporting device is the number of bright spots or the number of dark spots, so that the reported property is the optical transparency placed in the field of view of the optical microscope. The automatic image processing system according to claim 9, wherein the number of cells present in a sample disposed on a part of the support surface.
請求項９に記載の自動画像処理システム。 The automatic image processing system according to claim 9, further comprising an actuator configured to change a focus state of the optical microscope.
請求項１１に記載の自動画像処理システム。 The automatic image processing system according to claim 11, further comprising a computer-based control device configured to control the focus state of the optical microscope by driving the actuator.
請求項９に記載の自動画像処理システム。 The automatic image processing system according to claim 9, further comprising an actuator configured to change a lens in order to change a magnification or a size of a field of view of the optical microscope.
請求項９に記載の自動画像処理システム。 The automatic image processing system of claim 9, further comprising one or more power supplies for operating the optical microscope, the computer-based image processor, and the reporting device.
前記画像プロセッサは、前記明視野ｚスタックの第１の画像と第２の画像との間の前記ｘ，ｙ平面内の前記光量値の前記ｚ次元に関する変動を計算し、コントラストを高めた２次元投影画像を形成し、コントラストを高めた前記２次元投影画像から前記試料の少なくとも１つの細胞の特徴を推論するように構成され、
前記報告装置は、前記試料中に存在する前記少なくとも１つの細胞の前記特徴を報告するように構成される
請求項９に記載の自動画像処理システム。 The at least one image is selected from a bright field z-stack of images along the z dimension;
The image processor calculates a variation with respect to the z-dimension of the light quantity value in the x, y plane between the first image and the second image of the bright-field z-stack to increase contrast Configured to infer a characteristic of at least one cell of the sample from the two-dimensional projection image having a contrast formed to form a projection image;
The automatic image processing system according to claim 9, wherein the reporting device is configured to report the characteristics of the at least one cell present in the sample.
光照射を感知するセンサを有する光学顕微鏡で観察するために配置される光学的透明担持面を形成するステップであって、前記センサは前記センサによって監視される視野を表す信号を出力として供給するように構成された出力端子を有する、ステップと、
前記光学的透明担持面上に配置される少なくとも１つの細胞を含む試料を供給するステップと、
光を照射して前記光学顕微鏡を明視野モードで故意に動作させ、前記光学的透明担持面の法線方向にそって配置される１つまたは複数の異なる焦点面に焦点を合わせてｚ次元にそった画像の明視野ｚスタックを形成し、前記少なくとも１つの細胞が前記センサの前記視野内に入るようにするステップと、
前記センサを使って、前記明視野ｚスタックから選択された複数の画像を観察するステップと、
前記センサの前記出力端子から前記複数の画像を表す出力信号を供給するステップと、
前記複数の画像のうちの少なくとも２つの画像について、ｘ，ｙ平面内のピクセルの光量値を取得するために前記複数の画像を表す前記出力信号を処理するステップと、
前記複数の画像のうちの前記少なくとも２つの画像のうちの第１の画像と第２の画像との間の前記ｘ，ｙ平面内の前記光量値の前記ｚ次元に関する変動を測定するステップと、
コントラストを高めた２次元投影画像を形成するステップと、
コントラストを高めた前記２次元投影画像から前記少なくとも１つの細胞の特徴を推論するステップと、
前記試料中に存在する前記少なくとも１つの細胞の前記特徴を報告するステップとを含む試料中に存在する細胞の特徴を自動的に同定する方法。 A method for automatically identifying the characteristics of cells present in a sample,
Forming an optically transparent carrying surface arranged for observation with an optical microscope having a sensor for sensing light irradiation, the sensor providing as an output a signal representative of the field of view monitored by the sensor A step having an output terminal configured to:
Providing a sample comprising at least one cell disposed on the optically transparent support surface;
Illuminate the light to intentionally operate the optical microscope in bright field mode and focus on one or more different focal planes arranged along the normal direction of the optically transparent support surface in the z dimension. Forming a bright field z-stack of the warped image so that the at least one cell falls within the field of view of the sensor;
Observing a plurality of images selected from the bright field z-stack using the sensor;
Supplying an output signal representing the plurality of images from the output terminal of the sensor;
Processing the output signal representing the plurality of images to obtain light quantity values of pixels in an x, y plane for at least two of the plurality of images;
Measuring a variation with respect to the z dimension of the light quantity value in the x, y plane between a first image and a second image of the at least two images of the plurality of images;
Forming a two-dimensional projection image with increased contrast;
Inferring the characteristics of the at least one cell from the two-dimensional projection image with enhanced contrast;
Reporting the characteristics of the at least one cell present in the sample automatically identifying a characteristic of cells present in the sample.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010098539A JP5657910B2 (en) | 2010-04-22 | 2010-04-22 | Automatic image analysis using a bright field microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010098539A JP5657910B2 (en) | 2010-04-22 | 2010-04-22 | Automatic image analysis using a bright field microscope |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011226970A JP2011226970A (en) | 2011-11-10 |
| JP5657910B2 true JP5657910B2 (en) | 2015-01-21 |
Family
ID=45042469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010098539A Expired - Fee Related JP5657910B2 (en) | 2010-04-22 | 2010-04-22 | Automatic image analysis using a bright field microscope |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5657910B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9638594B2 (en) | 2014-09-30 | 2017-05-02 | Fanuc Corporation | Displacement detection type six-axis force sensor |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919924B (en) * | 2019-02-28 | 2021-11-02 | 江南大学 | Method suitable for cell digital processing of large-batch HE staining pictures |
| JPWO2023032320A1 (en) | 2021-09-03 | 2023-03-09 | ||
| CN116046647B (en) * | 2023-01-28 | 2023-06-09 | 深圳安侣医学科技有限公司 | Blood imaging analysis system and method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62201332A (en) * | 1985-11-14 | 1987-09-05 | Sumitomo Electric Ind Ltd | Monitoring method for cell culture |
| JP4689171B2 (en) * | 2004-02-06 | 2011-05-25 | オリンパス株式会社 | Method and apparatus for measuring state of cultured cells |
-
2010
- 2010-04-22 JP JP2010098539A patent/JP5657910B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9638594B2 (en) | 2014-09-30 | 2017-05-02 | Fanuc Corporation | Displacement detection type six-axis force sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011226970A (en) | 2011-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8744164B2 (en) | Automated analysis of images using bright field microscopy | |
| US10025271B2 (en) | Method and system for detecting and/or classifying cancerous cells in a cell sample | |
| CA2955156C (en) | Systems and methods for generating fields of view | |
| JP6800152B2 (en) | Classification of nuclei in histological images | |
| Molnar et al. | Accurate morphology preserving segmentation of overlapping cells based on active contours | |
| Selinummi et al. | Bright field microscopy as an alternative to whole cell fluorescence in automated analysis of macrophage images | |
| JP6604960B2 (en) | Medical image analysis to identify biomarker positive tumor cells | |
| JP5602717B2 (en) | Method and system for automatic segmentation of high density cell populations | |
| JP5469070B2 (en) | Method and system using multiple wavelengths for processing biological specimens | |
| JP7176697B2 (en) | Cell evaluation system and method, cell evaluation program | |
| JP5657910B2 (en) | Automatic image analysis using a bright field microscope | |
| WO2022038527A1 (en) | Tissue staining and sequential imaging of biological samples for deep learning image analysis and virtual staining | |
| Puri et al. | Automated computational detection, quantitation, and mapping of mitosis in whole-slide images for clinically actionable surgical pathology decision support | |
| Höfener et al. | Automated density-based counting of FISH amplification signals for HER2 status assessment | |
| Olofsson et al. | Single cell organization and cell cycle characterization of DNA stained multicellular tumor spheroids | |
| Dorval et al. | Contextual automated 3D analysis of subcellular organelles adapted to high-content screening | |
| Niederlein et al. | Image analysis in high content screening | |
| Shimoni et al. | Normalized polarization ratios for the analysis of cell polarity | |
| WO2021178883A1 (en) | Automated fluorescence imaging and single cell segmentation | |
| Monabbati et al. | Automated analysis of computerized morphological features of cell clusters associated with malignancy on bile duct brushing whole slide images | |
| Grimes | Image processing and analysis methods in quantitative endothelial cell biology | |
| Bredfeldt | Collagen Alignment Imaging and Analysis for Breast Cancer Classification | |
| Qureshi et al. | A lightweight segmentation and lineage tracking tool for noisy, low frame rate 4D fluorescence microscopy data | |
| CN118115990A (en) | Intelligent scanning identification method, system, equipment and medium applied to fungus detection | |
| Kim et al. | Cellular imaging-based biological analysis for cancer diagnostics and drug target development |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120710 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140219 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5657910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |