JP3431883B2 - Cell lineage extraction method - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は細胞系譜抽出方法に
係り、詳しくは、観察対象の４次元顕微鏡画像から細胞
系譜を作成する方法に関するものである。また、本発明
は、好適には、ノマルスキー型透過型微分干渉顕微鏡
（以下「ノマルスキー顕微鏡」という）で撮影した線虫
（Ｃ．ｅｌｅｇａｎｓ）の発生過程の４次元画像から、
細胞系譜を作成する方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a cell lineage extraction method, and more particularly to a method for creating a cell lineage from a four-dimensional microscope image of an observation target. In addition, the present invention is preferably a four-dimensional image of a process of developing a nematode (C. elegans) taken with a Nomarski transmission differential interference microscope (hereinafter referred to as “Nomarski microscope”),
It relates to a method of creating a cell lineage.

【０００２】[0002]

【従来の技術】線虫は１９６５年にＳｉｄｎｅｙ Ｂｒ
ｅｎｎｅｒによって見出された実験生物で、現在の分子
生物学で特に詳しく解析されている実験生物（大腸菌、
酵母、線虫、ハエ、アフリカツメガエル、セブラフィッ
シュ、ネズミ等）の一つである。線虫は、これらの実験
生物の中では多細胞生物の最も単純な生物として位置付
けられている。線虫は、受精卵が成虫になるまで、おお
よそ三日間を要する。2. Description of the Related Art Nematodes were used in Sidney Br in 1965.
An experimental organism found by Enner, which has been particularly analyzed in detail in current molecular biology (E. coli,
Yeast, nematodes, flies, Xenopus laevis, zebrafish, mice, etc.). The nematode is positioned as the simplest multicellular organism among these experimental organisms. The nematode requires approximately three days before the fertilized egg becomes an adult.

【０００３】多細胞生物は基本的に一つの受精卵（単細
胞）が秩序正しく***を繰り返して多数の細胞からなる
成虫を形成する。受精卵からの***の秩序を樹形図的に
記述したものを細胞系譜と呼ぶ。線虫は多細胞生物の中
で唯一受精卵から成虫までの細胞系譜が明らかにされて
いる。この細胞系譜は１９８３年にＳｕｌｓｔｏｎ等に
よって決定された。In a multicellular organism, one fertilized egg (single cell) basically repeats orderly division to form an adult composed of a large number of cells. A dendrogram that describes the order of division from a fertilized egg is called a cell lineage. The lineage of the nematode, which is the only multicellular organism, from the fertilized egg to the adult is revealed. This cell lineage was determined by Sulston et al. In 1983.

【０００４】正常な線虫（ｗｉｌｄ ｔｙｐｅ）は全て
の個体でその受精卵から成虫になるまでの細胞系譜が一
定である。特定の遺伝子に突然変異が起きるとその遺伝
子の機能に変化が生じ、細胞***のパターン、すなわち
細胞系譜がｗｉｌｄ ｔｙｐｅのものと比べて変化す
る。この細胞系譜の変化から突然変異した遺伝子の機能
を推定し、その推定を出発点にした研究の進展により大
量の遺伝子が急速に同定され、また、突然変異体動物が
大量生産され始めてきている。これらの資源を有効活用
することを考えると、遺伝子、突然変異体解析の出発点
である細胞系譜解析の自動化は必要不可欠な技術であ
る。[0004] The normal nematode (wild type) has a constant cell lineage from the fertilized egg to the adult in all individuals. When mutation occurs in a specific gene, the function of the gene is changed, and the pattern of cell division, that is, the cell lineage is changed as compared with that of the wild type. Estimating the function of mutated genes from this change in cell lineage, the progress of research starting from that estimation has led to the rapid identification of large numbers of genes and the large-scale production of mutant animals. . Considering effective use of these resources, automation of cell lineage analysis, which is the starting point for gene and mutant analysis, is an indispensable technique.

【０００５】従来の細胞系譜の作成には、いわゆるノマ
ルスキー顕微鏡が用いられる。ノマルスキー顕微鏡は、
偏光版、ノマルスキープリズムのセットにより作成した
２種類の光線（同波形、同位相、光路のみ微妙にズレて
いる）を観察対象に照射し、観察対象を透過させる。観
察対象を透過する光路の長さや、屈折率の差に起因して
透過後の2本の光線の位相はズレている。透過後の２本
の光線を偏向板、ノマルスキープリズムのセットを用い
て同光路に収束させると、この２本の光線の位相のズレ
は干渉作用を引き起こす。この干渉作用による明暗像を
もって、観察するのがノマルスキー顕微鏡である。この
方法によれば、透明な観察対象の内容物の分布や外形状
を明暗像で捉えることができる。生物学で言うと、通常
の光学顕微鏡では透明に見える細胞の内容物（細胞核）
や、外形（細胞膜）を明暗像で捕らえることができる。A so-called Nomarski microscope is used to create a conventional cell lineage. Nomarski microscope
Two kinds of light rays (having the same waveform, the same phase, and a slight deviation in the optical path) created by the set of the polarization plate and the Nomarski prism are irradiated to the observation object and transmitted through the observation object. Due to the length of the optical path passing through the observation target and the difference in the refractive index, the phases of the two light rays after transmission are deviated. When the two transmitted light rays are converged on the same optical path by using a set of a deflection plate and a Nomarski prism, the phase shift between the two light rays causes an interference effect. It is a Nomarski microscope that observes with a bright and dark image due to this interference action. According to this method, it is possible to capture the distribution and outer shape of the transparent contents to be observed with a bright and dark image. In biology, the contents of cells (cell nuclei) that are transparent under normal light microscopy
Alternatively, the outer shape (cell membrane) can be captured by a light and dark image.

【０００６】線虫の細胞系譜を決定したＳｕｌｓｔｏｎ
等はノマルスキー顕微鏡を肉眼で見てスケッチして作成
したと言われており、相当の時間（おそらく１年以上）
を要したものと思われ、また、その労力は多大なもので
ある。Sulston has determined the lineage of the nematode
Is said to have been created by sketching the Nomarski microscope with the naked eye, and it took a considerable amount of time (probably over a year)
It seems that it took a long time, and the labor is enormous.

【０００７】最近では、ノマルスキー顕微鏡を用いた４
Ｄ顕微鏡画像を用いて作成するのが一般的である。特定
の焦点で観察される顕微鏡画像は観察対象を特定の位置
で水平に切断して得られる２次元（ｘ−ｙ軸）断面像と
考えられる。すなわち、焦点を上下に動かす（ｚ軸方向
に動かす）ことで観察対象をｚ軸方向の様々な位置で切
断した断面像が得られる。これらの画像を統合すると観
察対象の３次元の形を捉えることができる（３次元画
像）。さらに、このような３次元画像の撮影を時間を追
って撮影していくことで観察対象の時間変化を捉えるこ
とができる。このようにして撮影したものを４Ｄ（４次
元）顕微鏡画像と呼ぶ。Recently, 4 using a Nomarski microscope
It is generally created using a D microscope image. The microscope image observed at a specific focus is considered to be a two-dimensional (xy axis) cross-sectional image obtained by horizontally cutting the observation target at a specific position. That is, by moving the focus up and down (moving in the z-axis direction), cross-sectional images obtained by cutting the observation target at various positions in the z-axis direction can be obtained. When these images are integrated, the three-dimensional shape of the observation target can be captured (three-dimensional image). Furthermore, by taking such a three-dimensional image over time, it is possible to capture the time change of the observation target. The image thus captured is called a 4D (4D) microscope image.

【０００８】４Ｄ顕微鏡画像を用いる作業はＳｕｌｓｔ
ｏｎ当時と比較して楽になったものと考えられるが、撮
影した画像から細胞核、細胞膜を人間が判断しているた
め、やはりかなりの労力と時間を要する。受精卵から１
６細胞くらいまでの作成であっても、１日以上はかか
る。Work using 4D microscope images is Sult
It seems that it was easier than at that time, but it takes considerable effort and time because humans judge the cell nucleus and cell membrane from the captured images. 1 from fertilized egg
It takes more than a day to make up to 6 cells.

【０００９】[0009]

【発明が解決しようとする課題】本発明は、かかる従来
の細胞系譜の作成を容易に行うべく創案されたものであ
って、細胞系譜を計算機で構築することにより、細胞系
譜を省力でかつ短時間で構築することを目的とするもの
である。さらに、本発明は、特に、細胞系譜を計算機で
構築するにあたり、核認識のプロセスの性能向上を目的
とするものである。SUMMARY OF THE INVENTION The present invention was devised to facilitate the creation of such conventional cell lineages. By constructing the cell lineages by a computer, the cell lineages can be labor-saving and short. It is intended to be built in time. Furthermore, the present invention is particularly aimed at improving the performance of the nuclear recognition process in constructing a cell lineage by a computer.

【００１０】[0010]

【課題を解決するための手段】本発明は、かかる課題を
解決するために本発明が採用した技術手段は、観察対象
の細胞について焦点面を変化させて２次元画像を複数撮
影し、かつ、該２次元画像を時系列に複数撮影すること
で焦点面、時点で異なる複数の２次元画像を得る工程
（４次元顕微鏡画像を得る工程）と、前記夫々の２次元
画像において、画像処理を行うことで細胞核領域を抽出
する工程と、前記夫々の２次元画像において抽出された
細胞核領域から、同一細胞核に由来する細胞核領域を統
合する工程と（４次元統合核領域を得る工程）、統合さ
れた細胞核領域（４次元統合核領域）において、画像中
の細胞核領域が出現、消滅する時点、位置の情報から細
胞系譜を構築する工程とを含み、前記「画像処理を行う
ことで細胞核領域を抽出する工程」は、細胞核の候補と
なる領域を抽出する工程と、細胞系譜作成試行作業によ
る細胞核予想領域の指定と、該予想領域を該細胞核候補
領域にフィードバックさせて細胞核領域を抽出する工程
とを備えていることを特徴とする。According to the present invention, the technical means adopted by the present invention to solve the above problems take a plurality of two-dimensional images by changing the focal plane of cells to be observed, and A step of obtaining a plurality of two-dimensional images which are different in focal plane and time point by taking a plurality of the two-dimensional images in time series (a step of obtaining a four-dimensional microscope image), and image processing is performed on each of the two-dimensional images And a step of integrating cell nucleus regions derived from the same cell nucleus from the cell nucleus regions extracted in the respective two-dimensional images (step of obtaining a four-dimensional integrated nucleus region). In the cell nucleus region (four-dimensional integrated nucleus region), a step of constructing a cell lineage from the information on the time at which the cell nucleus region in the image appears and disappears, and the position is included. The step of "outputting" includes a step of extracting a region serving as a cell nucleus candidate, a step of designating a cell nucleus prediction region by a cell lineage creation trial operation, and a step of feeding back the prediction region to the cell nucleus candidate region to extract a cell nucleus region. It is characterized by having.

【００１１】好ましくは、該細胞系譜作成試行作業は、
同時点、同焦点面に含まれる核領域の統合、４次元的核
領域の統合、細胞系譜の作成の少なくとも一つ以上を含
み、該試行作業による核予想領域の指定をフィードバッ
クさせるものである。複数画像中の同一核を統合する処
理では、時間的、空間的な近傍を見ることで、核認識結
果の妥当性を検証することができる。生成された細胞系
譜から、核のあるべき場所、あってはいけない場所が推
測できる。これらの推測の結果をフィードバックし、核
を認識する際のパラメータを変更する（すなわち、核候
補領域から、核領域を抽出するための核スコアをフィー
ドバックによって変化させる。）。[0011] Preferably, the trial work of preparing the cell lineage is
At the same time, at least one of integration of nuclear regions included in the parfocal plane, integration of four-dimensional nuclear regions, and creation of cell lineage is included, and the designation of the nuclear prediction region by the trial work is fed back. In the process of integrating the same nucleus in multiple images, the validity of the nucleus recognition result can be verified by looking at the temporal and spatial neighborhoods. From the generated cell lineage, one can infer where the nucleus should be and where it should not be. The results of these inferences are fed back to change the parameters for recognizing the nucleus (that is, the nucleus score for extracting the nucleus region from the nucleus candidate region is changed by the feedback).

【００１２】細胞核を抽出する工程は、画像の明暗の細
かい変化が少ない領域を核として検出する手法、あるい
は、光の角度に沿って広い範囲で明暗の変化の大きい部
分を核として抽出する手法を含む。前者の例としては、
Kirschフィルタ、Preｗittフィルタ、エントロピーフィ
ルタ、ＦＦＴフィルタを用いるものが挙げられる。Kirs
chフィルタは好ましくは、Kirschテンプレート型エッジ
検出オペレータと移動平均法を組み合わせたフィルタで
ある。Preｗittフィルタは好ましくは、Prewittテンプ
レート型エッジ検出オペレータの出力を２値化し、さら
に距離変換を適用するフィルタである。後者の例として
は、見た目の光の角度に沿って上下所定ピクセル分の輝
度値の合計の差分を取るフィルタが採用される。該差分
フィルタによる手法は、細胞境界の抽出、胚領域の抽出
を行う工程を含み、該工程の結果に基づいて結果を補正
することが望ましい。The step of extracting cell nuclei includes a method of detecting as a nucleus a region in which a small change in brightness and darkness of an image is small, or a method of extracting as a nucleus a part having a large change in brightness and darkness in a wide range along the angle of light. Including. As an example of the former,
Examples include those that use Kirsch filters, Prewitt filters, entropy filters, and FFT filters. Kirs
The ch filter is preferably a filter combining a Kirsch template type edge detection operator and a moving average method. The Prewitt filter is preferably a filter that binarizes the output of the Prewitt template type edge detection operator and further applies distance conversion. As an example of the latter, a filter that takes the difference of the total of the luminance values of predetermined pixels above and below along the apparent light angle is adopted. It is desirable that the method using the difference filter includes a step of extracting a cell boundary and an embryo region, and correcting the result based on the result of the step.

【００１３】夫々の２次元画像において抽出された細胞
核から、同一細胞核に由来する細胞核領域を統合する工
程は、同焦点面の画像群に含まれる同一の細胞核由来の
核領域を統合する工程と、同時点の画像群に含まれる同
一の細胞核由来の細胞核領域を統合する工程と、前記二
つの工程で得られた細胞核領域をさらに統合する工程を
含む。また、４次元統合された細胞核領域において、画
像中の細胞核領域が出現、消滅する時点、位置の情報か
ら細胞系譜を構築する工程は、複数の細胞核領域の４次
元距離を求めることにより、ある細胞と、その細胞の細
胞***後の細胞とを特定する工程を含むものである。
尚、細胞核領域を統合する工程の前に、誤認された核領
域を人間の判断で除去する工程を含んでいてもよい。The step of integrating the cell nucleus regions derived from the same cell nucleus from the cell nuclei extracted in each two-dimensional image includes the step of integrating the nucleus regions derived from the same cell nucleus included in the image group of the parfocal plane, The method includes a step of integrating cell nucleus regions derived from the same cell nucleus included in the image group at the same time point, and a step of further integrating cell nucleus regions obtained in the two steps. Further, in the four-dimensional integrated cell nucleus region, the step of constructing a cell lineage from the information on the time at which the cell nucleus region in the image appears and disappears, and the position is determined by calculating the four-dimensional distance of a plurality of cell nucleus regions. And a cell after cell division of the cell.
In addition, before the step of integrating the cell nucleus regions, a step of removing a falsely recognized nucleus region by human judgment may be included.

【００１４】[0014]

【発明の実施の形態】本発明に係る細胞系譜抽出方法な
いしシステムの一つの実施形態を、線虫初期胚の細胞系
譜の作成に基づいて説明する。図１はシステムの構成図
であって、［１］線虫初期胚のノマルスキー型顕微鏡４
Ｄ画像を撮影する工程、［２］核認識用画像処理アルゴ
リズムによる核候補領域の指定、［３］フィードバック
機構による核領域選定機構、［４］必要に応じて、誤認
された核領域を人間の判断で除去する工程、［５］複数
の焦点面、複数の時点（時系列）の画像における核情報
を統合する工程（同一核由来の核領域の統合アルゴリズ
ム）、［６］４次元統合核領域の出現、消滅の時点・位
置の情報から細胞系譜を構築する工程とを備えている。BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of a cell lineage extraction method or system according to the present invention will be described based on the creation of a cell lineage of an early nematode embryo. FIG. 1 is a block diagram of the system. [1] Nomarski type microscope 4 of early embryo of nematode
A step of capturing a D image, [2] designation of a nuclear candidate region by an image processing algorithm for nuclear recognition, [3] a nuclear region selection mechanism by a feedback mechanism, [4] if necessary, a falsely recognized nuclear region is detected by a human. Step of removing by judgment, [5] step of integrating nuclear information in images at a plurality of focal planes, a plurality of time points (time series) (integrating algorithm of nuclear area derived from the same nucleus), [6] four-dimensional integrated nuclear area And a step of constructing a cell lineage from the information of the time and position of appearance and disappearance of.

【００１５】［１］線虫初期胚のノマルスキー型顕微鏡
４Ｄ画像を撮影する工程 線虫初期胚のノマルスキー型顕微鏡による４Ｄ画像の撮
影について説明する。４Ｄ画像が意味することころは、
従来技術の欄に記載したとおりであって、焦点を異なら
しめて撮影した複数の２次元画像と、該複数の２次元画
像を時系列に撮影してなる複数の２次元画像を言う。す
なわち、焦点面、時点が異なる複数の２次元画像を統合
した画像を４Ｄ画像と言う。本実施の形態で処理対象と
する線虫の初期胚の画像は、焦点面を上下に変えて３０
〜９０枚の１セットとし、１〜５分毎に撮影する。実験
では、８９の焦点面、２０の時系列点について、合計１
７８０枚の二次元画像を撮影した。細胞の長尺方向の半
径は約６０μｍ、短尺方向の半径は約３０μｍである。
撮影は９０秒毎に行った。処理対象の顕微鏡画像の例を
図２に示す。横軸が時間軸（時点）、縦軸が焦点軸（焦
点面）である。[1] Step of photographing 4D image of early embryo of C. elegans by using Nomarski type microscope of early embryo of C. elegans will be described. What 4D images mean
As described in the section of the prior art, it refers to a plurality of two-dimensional images captured with different focal points and a plurality of two-dimensional images obtained by capturing the plurality of two-dimensional images in time series. That is, an image obtained by integrating a plurality of two-dimensional images having different focal planes and time points is called a 4D image. In the image of the early embryo of the nematode to be processed in the present embodiment, the focal plane is changed up and down to 30
~ 90 sheets as one set, and photograph every 1 to 5 minutes. In the experiment, a total of 1 for 89 focal planes and 20 time series points
780 two-dimensional images were taken. The radius in the long direction of the cell is about 60 μm, and the radius in the short direction is about 30 μm.
The image was taken every 90 seconds. An example of a microscope image to be processed is shown in FIG. The horizontal axis is the time axis (time point), and the vertical axis is the focal axis (focal plane).

【００１６】［２］核認識用画像処理アルゴリズムによ
る核候補領域の指定 核領域認識用画像処理アルゴリズムは、画像処理アルゴ
リズム群、画像処理結果統合アルゴリズム、の２つに分
けられる。画像処理アルゴリズム群には以下に述べるよ
うな複数の異なる画像処理アルゴリズムが採用され得
る。[2] Designation of Nuclear Candidate Region by Image Processing Algorithm for Nucleus Recognition The image processing algorithm for nuclear region recognition is divided into two groups: an image processing algorithm group and an image processing result integration algorithm. A plurality of different image processing algorithms as described below can be adopted as the image processing algorithm group.

【００１７】［核認識（画像処理）アルゴリズムＡ］こ
のアルゴリズムは、顕微鏡画像の明暗の細かい変化が少
ない領域を核として検出する。ノマルスキー型顕微鏡画
像において、細胞質は、細胞内小器官のため明暗の細か
い変化に富んだ領域となるが、細胞核は、明暗の細かい
変化が少ない領域になるという性質を備えている。画像
処理アルゴリズムＡはこの性質を利用するものである。
この特徴を捉えるべく、Ｋｉｒｓｃｈのオペレータで原
画像を変換すると、画像の明暗の少ない部位が輝度の小
さい領域として表される画像が得られる。この画像に、
平滑化処理として移動平均法を採用する。画像処理アル
ゴリズムＡについて詳述すると、Ｋｉｒｓｃｈのエッジ
検出オペレータを使用し、画像の輝度の変化が激しい領
域を抽出するに当り、以下の係数行列のなかで、出力が
最大のものを利用する。[Nuclear Recognition (Image Processing) Algorithm A] This algorithm detects a region of a microscopic image in which a small change in brightness is small as a nucleus. In the Nomarski-type microscopic image, the cytoplasm is a region rich in small changes in brightness and darkness due to the intracellular organelles, while the cell nucleus has a property in which there are few changes in fine brightness and darkness. The image processing algorithm A utilizes this property.
To capture this feature, the Kirsch operator converts the original image to obtain an image in which a portion of the image with less light and dark is represented as a region of low brightness. In this image,
The moving average method is adopted as the smoothing process. The image processing algorithm A will be described in detail. The Kirsch edge detection operator is used to extract the region in which the brightness of the image changes drastically, and the one having the maximum output is used from among the following coefficient matrices.

【数１】 平滑化においては、以下の式を用いる。[Equation 1] The following equation is used for smoothing.

【数２】 [Equation 2]

【００１８】［核認識（画像処理）アルゴリズムＢ］こ
のアルゴリズムも、顕微鏡画像の明暗の細かい変化が少
ない領域を核として検出するものである。Ｐｒｅｗｉｔ
ｔのテンプレート型オペレータで原画像を変換し、２値
化すると、画像の明暗の変化の激しい領域（細胞質）
は、白点がまばらに分布する領域として、画像の明暗の
変化の少ない領域（細胞核）は白点のない黒い領域とし
て表される画像が得られる。この画像から、距離変換処
理で白点のない領域を抽出する。具体的には、Ｐｒｅｗ
ｉｔｔのテンプレート型エッジ検出オペレータを使用
し、画像の輝度の変化が激しい領域を抽出するに当り、
以下の係数行列の中で、出力が最大のものを利用する。[Nuclear Recognition (Image Processing) Algorithm B] This algorithm also detects a region of a microscopic image in which there is little change in light and dark as a nucleus. Prewit
If the original image is converted and binarized by the template operator of t, the area where the contrast of the image changes drastically (cytoplasm)
Is an area in which white spots are sparsely distributed, and an area (cell nucleus) in which there is little change in brightness of the image is represented as a black area without white spots. From this image, a region without white spots is extracted by distance conversion processing. Specifically, Prew
Using the template-type edge detection operator of itt to extract a region where the brightness of the image changes drastically,
Of the following coefficient matrices, the one with the largest output is used.

【数３】 ２値化の後、以下のメディアンフィルタを用いる。[Equation 3] After binarization, the following median filter is used.

【数４】 さらに、以下の距離変換を行う。[Equation 4] Further, the following distance conversion is performed.

【数５】 [Equation 5]

【００１９】［核認識（画像処理）アルゴリズムＣ］こ
のアルゴリズムは、ノマルスキー型顕微鏡像において、
観察対象は特定の位置から斜めに光を当てたような影が
ついて観察されることを利用する。円形である細胞核の
核膜は、画像中で半周分が明るく、残りの半周分が暗く
現れる。この見た目の光の角度に沿って広い範囲で明暗
の変化の大きい部分を、核として抽出する。例えば、見
た目の光の角度に沿って上下３０ピクセル分の輝度値の
合計の差分を取り、この値をその点の変換後の値とす
る。具体的には、核が光の方向に沿って、明るい部分と
暗い部分で囲まれるように見える性質を捉えるため、以
下の式で表されるフィルタをかける。ここに、f（x，
y）は原画像の輝度値、g(x，y)は変換後の画像の輝度
値、θは光の方向、ｍは輝度値を合計する範囲である。[Nuclear Recognition (Image Processing) Algorithm C] This algorithm is used in Nomarski type microscope images.
The object to be observed utilizes the fact that it is observed from a specific position with a shadow as if it was illuminated obliquely. The circular nuclear membrane of the cell nucleus appears bright in the half of the image and dark in the other half of the image. A portion having a large change in brightness and darkness in a wide range along the apparent light angle is extracted as a nucleus. For example, the total difference of the brightness values of 30 pixels above and below is taken along the apparent light angle, and this value is taken as the converted value of that point. Specifically, in order to capture the property that the nucleus appears to be surrounded by a bright portion and a dark portion along the light direction, a filter represented by the following formula is applied. Where f (x,
y) is the luminance value of the original image, g (x, y) is the luminance value of the converted image, θ is the direction of light, and m is the range for summing the luminance values.

【数６】 [Equation 6]

【００２０】細胞境界検出のアルゴリズムについて説明
する。核認識のアルゴリズムＣの補正のため、明らかに
細胞の境界になっている領域を探す。Ｐｒｅｗｉｔｔの
テンプレート型エッジ検出オペレータの結果を２値化す
る。円形率、面積、周の長さを利用して、細長い領域を
抽出する。結果を図６に示す。An algorithm for detecting a cell boundary will be described. In order to correct the algorithm C for nuclear recognition, a region that is clearly the boundary of cells is searched. The result of the template type edge detection operator of Prewitt is binarized. An elongated area is extracted using the circularity, area, and circumference. Results are shown in FIG.

【００２１】胚領域検出のアルゴリズムについて説明す
る。核認識アルゴリズムＣの補正のため、画像中の胚の
領域を探す。Ｋｉｒｓｃｈのテンプレート型エッジ検出
オペレータの結果を２値化する。最大の連結成分を抽出
する。結果を図７に示す。このように、アルゴリズムＣ
の結果は、細胞境界検出のアルゴリズム、胚領域検出の
アルゴリズムによって補正される。The algorithm for detecting the embryo region will be described. For the correction of the nuclear recognition algorithm C, the area of the embryo in the image is searched. The result of the Kirsch template type edge detection operator is binarized. Extract the largest connected component. The results are shown in Fig. 7. Thus, algorithm C
The result is corrected by the cell boundary detection algorithm and the embryo area detection algorithm.

【００２２】［エントロピーフィルタ］特徴を計測した
い画像領域に対して、濃淡ヒストグラムH（ｌ）（濃淡
レベル数がLであれば、ｌ＝０，１，２，・・・，Ｌ−
１である）を求め、頻度の総数（画像領域の画素数N）
で各濃淡レベルの頻度を割って、総画素数が１．０にな
るように正規化する。それをP（ｌ）とする。以下の式
によって求められるEPYの値を基準にして核領域、細胞
質領域の区別を行う。６ｘ６ｐｉｘｃｅｌ〜２０ｘ２０
ｐｉｘｃｅｌ（あるいは画像上の核の直径に相当する大
きさ）の画像領域ウィンドウに対してスキャンすること
により良好な結果を得る。[Entropy filter] Grayscale histogram H (l) (if the number of grayscale levels is L, l = 0, 1, 2, ..., L-
1), and the total number of frequencies (the number of pixels in the image area N)
The frequency of each gray level is divided by and normalized so that the total number of pixels becomes 1.0. Let it be P (l). The EPY value obtained by the following formula is used as a reference to distinguish between the nuclear region and the cytoplasmic region. 6x6pixcel ~ 20x20
Good results are obtained by scanning against an image area window of pixel (or size corresponding to the diameter of the nucleus on the image).

【数７】 [Equation 7]

【００２３】［ＦＦＴフィルタ］特徴を計測したい画像
領域に対して、２次元ＦＦＴパワースペクトル（高速フ
ーリエ変換パワースペクトル）を計算し低周波、高周波
領域の特徴を用いて核領域を検出する。通常のフーリエ
変換も使用することができる。[FFT filter] A two-dimensional FFT power spectrum (fast Fourier transform power spectrum) is calculated for the image region for which the feature is to be measured, and the nuclear region is detected using the features of the low frequency and high frequency regions. Conventional Fourier transforms can also be used.

【００２４】次に、画像処理結果統合アルゴリズムにつ
いて説明する。４次元顕微鏡撮影画像を用いて、核が存
在すると認識された領域（核候補領域）を抽出し、それ
らに核である確からしさのスコア（核スコア）を与え
る。具体的な方法としては現在、(ア)閾値法、(イ)極領
域法、の２法が採用される。Next, the image processing result integration algorithm will be described. Regions (nucleus candidate regions) recognized as having nuclei are extracted using a four-dimensional microscopic image, and a score of nuclear certainty (nucleus score) is given to them. As specific methods, two methods are currently adopted: (a) threshold method and (ii) polar region method.

【００２５】［閾値法］各画像処理アルゴリズムの結果
をそれぞれ特定の閾値を用いて二値化し、核候補領域を
指定する方法。指定された領域にはその面積、円形度に
依存したスコア（核スコア）が与えられる。尚、アルゴ
リズムＣの結果は、補正後作成された領域に面積、円形
度に応じたスコアを与えればよい。[Threshold Method] A method of binarizing the result of each image processing algorithm using a specific threshold value and designating a nucleus candidate region. A score (nucleus score) depending on the area and circularity is given to the designated region. The result of the algorithm C may be given a score according to the area and circularity of the area created after the correction.

【００２６】［極領域法］各画像処理アルゴリズムの結
果（二値化する前）の画像では、核の部分が黒っぽく浮
き出るように、画像の各ピクセルごとに濃淡の値（通常
白黒２５６階調で使用）が与えられる（各部分が白く浮
かび上がるフィルターでも、白黒反転させればこの状態
になる）。この画像の中から、黒色方向極領域をスコア
付で抽出する。黒色方向極領域とは、領域内の各ピク
セルの値は領域の輪郭に隣接する各ピクセルの値より黒
色度が高い、領域はあらかじめ与えておいた円形（そ
の画像における核の大きさとほぼ同等の値を用いるのが
最適）内に納まる、ような領域で、そのスコアは領域内
の各ピクセルの黒色度、面積に依存する。各画像処理ア
ルゴリズムに対して独立にこの作業を行い、その結果を
適切な重み付けを用いて統合する。これら黒色方向極領
域を核候補領域にそのスコアを候補領域の核スコアとす
る。尚、二値化する前の画像とは、Ｋｉｒｓｃｈフィル
タの場合は平滑化の後、Ｐｒｅｗｉｔｔフィルタの場合
は、距離変換の後を意味する。アルゴリズムＣの場合に
は、極領域法の場合には３通りの方法が考えられる。
(i)「輝度値の差分を取る手法」のみを用いて他のアル
ゴリズムと同様の核領域の検出、スコア付けを行う。(i
i)(i)で検出された領域から「胚領域検出アルゴリズ
ム」で胚領域と認められたもののみ核領域として認め
る。(iii)(i)で検出された領域から「胚領域検出アルゴ
リズム」で胚領域と認められ、「細胞境界検出アルゴリ
ズム」で細胞境界ではないと認められたものだけ核領域
として認める。[Polar Region Method] In the image of the result of each image processing algorithm (before binarization), the value of the light and shade (normally black and white 256 gradations is set for each pixel of the image so that the nucleus part appears blackish). (Use) is given (even if the filter appears white in each part, it will be in this state by inverting the black and white). From this image, the black polar regions are extracted with a score. A black-sided polar region is one in which the value of each pixel in the region has a higher degree of blackness than the value of each pixel adjacent to the contour of the region, and the region is a circle given in advance (almost equal to the size of the nucleus in the image). It is best to use a value), and the score depends on the blackness and area of each pixel in the area. Do this work independently for each image processing algorithm and integrate the results with appropriate weighting. These black-sided polar regions are set as nucleus candidate regions, and their scores are set as nucleus scores of the candidate regions. The image before binarization means smoothing in the case of Kirsch filter and distance conversion in the case of Prewitt filter. In the case of the algorithm C, three methods can be considered in the case of the polar region method.
(i) The nuclear region is detected and scored in the same manner as the other algorithms by using only the “method of obtaining the difference in brightness value”. (i
i) From the regions detected in (i), only those recognized as embryonic regions by the "embryo region detection algorithm" are recognized as nuclear regions. (iii) From the regions detected in (i), only those that are recognized as embryonic regions by the "embryo region detection algorithm" and not cell boundaries by the "cell boundary detection algorithm" are recognized as nuclear regions.

【００２７】［３］フィードバック機構による核領域選
定機構 核認識フィードバックについて説明する。このアルゴリ
ズムは前記画像処理結果統合アルゴリズムで作成された
核スコア付の核候補領域を材料に、その後の細胞系譜作
成作業の結果のフィードバックを利用して核領域（核の
存在場所として決定された領域）を抽出する。具体的に
は同時点、同焦点面に含まれる核領域の統合、4次
元的核領域の統合、細胞系譜の作成、の各試行作業か
らのフィードバックをこの順に利用し、最終的に核領域
を抽出する。一部のフィードバックを省略することも可
能である。[3] Nuclear Region Selection Mechanism by Feedback Mechanism Nuclear recognition feedback will be described. This algorithm uses the nuclear candidate region with the nuclear score created by the image processing result integration algorithm as a material, and uses the feedback of the results of the subsequent cell lineage creation work to determine the nuclear region (the region determined as the location of the nucleus). ) Is extracted. Specifically, the feedback from each trial work of simultaneous points, integration of nuclear regions contained in the parfocal plane, integration of four-dimensional nuclear regions, creation of cell lineage, is used in this order, and finally the nuclear regions are identified. Extract. It is possible to omit some feedback.

【００２８】フィードバックデータは、「核スコア（核
である確からしさのスコア）」と「指定値」とを比較す
る際に、核スコアを変更させるための情報として用いら
れる。指定値とは、プログラムを走らす前に、特定の値
を与えるという意味である。指定値は、フィードバック
システムの性能を左右するので、最適な値が選択され
る。現システムでは、数例の４次元顕微鏡画像サンプル
に対して画像アルゴリズムを適用し、誤認識の無い値
（つまり、検出された核領域はすべて本物の核を指し示
しているような値）を使用している。The feedback data is used as information for changing the nuclear score when comparing the "nuclear score (score of probability of being a nucleus)" with the "specified value". The specified value means to give a specific value before running the program. Since the specified value influences the performance of the feedback system, the optimum value is selected. The current system applies the image algorithm to a few 4D microscope image samples and uses values that are not misidentified (that is, the detected nuclei regions are all pointing to a real nucleus). ing.

【００２９】次いで、フィードバック機構の流れについ
て説明する。まず、「同時点、同焦点面に含まれる核
領域の統合作業からのフィードバック」を行い、これに
より核予想領域とされた領域に含まれる核候補領域の核
スコアをこのフィードバック用に指定した値分だけ上昇
させる。その結果、これらの核候補領域の中で、その核
スコアが「画像処理結果統合アルゴリズムの次に作動す
る場合」にある核スコアの指定値を超えたものは核領域
とする。また、この指定値を超えなかったものについて
は、上昇させた分の核スコアを破棄し、元の値の核スコ
アに戻して核候補領域として戻しておく。そしてこのよ
うにして新しく追加された核領域を含む核領域を次のプ
ロセスに与え、「同時点、同焦点面に含まれる核領域の
統合作業」からのフィードバックを繰り返す。このフィ
ードバックを何度か繰り返し、もはや新しい核領域がこ
のフィードバックによって追加されなくなった場合、
「４次元核領域の統合作業」からのフィードバックを
行う。このフィードバックでは、このフィードバック特
有の核スコアが核候補領域に追加され、ここでも同様
に、新しい核領域が追加されなくなるまでこのフィード
バックを行う。その後、「細胞系譜作成作業」からの
フィードバックを、やはりこのフィードバックによって
新しい核領域が追加されなくなるまで行う。各フィード
バックが有効に働くためには、それぞれのフィードバッ
クにおいて核候補領域に追加される核スコアの値が
＜＜のようになっている必要がある。以下に、それ
ぞれのフィードバックについて個々に説明する。Next, the flow of the feedback mechanism will be described. First, "feedback from the integration work of the nuclear regions included in the confocal plane at the same time" is performed, and the nuclear score of the nuclear candidate region included in the region that is the nuclear prediction region is the value specified for this feedback. Increase by only minutes. As a result, among these nuclear candidate regions, those whose nuclear score exceeds the designated value of the nuclear score in "when the algorithm operates next to the image processing result integration algorithm" are treated as nuclear regions. In addition, if the value does not exceed the specified value, the increased nuclear score is discarded, the original nuclear score is restored, and the nuclear score is returned. Then, the nuclear region including the newly added nuclear region is given to the next process, and the feedback from "the simultaneous work of the nuclear regions included in the parfocal plane" is repeated. If this feedback is repeated several times and new nuclear regions are no longer added by this feedback,
Give feedback from "Integration work of 4 dimensional nuclear region". In this feedback, a nuclear score specific to this feedback is added to the nuclear candidate region, and similarly, this feedback is performed until no new nuclear region is added. After that, feedback from the "cell lineage creation work" is performed until no new nuclear region is added by this feedback. In order for each feedback to work effectively, the value of the nuclear score added to the nuclear candidate area in each feedback
It must be like <<. Below, each feedback is demonstrated individually.

【００３０】［同時点、同焦点面に含まれる核領域の統
合作業からのフィードバック］本プロセスには、（ア）
核領域の選出、（イ）同時点、同焦点面での核領域の統
合、（ウ）核予想領域の指定、の３プロセスが含まれ
る。[Simultaneous point, feedback from integration work of nuclear regions included in the parfocal plane] This process includes (a)
It includes three processes: selection of nuclear regions, (a) simultaneous points, integration of nuclear regions on the same focal plane, and (c) designation of nuclear predicted regions.

【００３１】（ア）核領域の選出 （ｉ）画像処理結果統合アルゴリズムの次に作動する場
合 核スコアの値が指定値を超える核候補領域を選択し、核
領域とする。すべての核候補領域、核領域をその核スコ
アと共に保存する。 （ｉｉ）フィードバック後に作動する場合 あらかじめ保存されている核候補領域のなかで、フィー
ドバックにより与えられる核予想領域にその重心が含ま
れるものの核スコアを指定値分だけ上昇させる。その
後、核スコアの値が指定値を超える核候補領域を選択
し、あらかじめ保存されていた核領域と合わせて新たな
核領域とする。核領域の情報はその核スコアと共に更新
する。(A) Selection of nuclear region (i) When the image processing result integration algorithm is operated next, a nuclear candidate region having a nuclear score value exceeding a specified value is selected as a nuclear region. All nuclear candidate regions and nuclear regions are saved together with their nuclear scores. (Ii) When operating after feedback: Among the previously stored nucleus candidate regions, the nucleus score of the nucleus prediction region given by feedback whose center of gravity is included is increased by the designated value. After that, a nucleus candidate region having a nucleus score value exceeding the designated value is selected and combined with the previously stored nucleus region to form a new nucleus region. The information on the nuclear region is updated along with the nuclear score.

【００３２】（イ）同時点、同焦点面での核領域の統合 異なる２次元画像において認識された同一細胞核に由来
する核領域の統合について説明する。２次元画像での認
識の結果から、画像上においてどの核がいつどこで出
現、消滅するか知るため、異なる２次元画像で認識され
た同一の核をまとめる。例を図９に示す。横軸が時間軸
（時点）、縦軸が焦点軸（焦点面）である。 （ｉ）同焦点面の画像群に含まれる同一の細胞核由来の
核領域の統合 同じ焦点面で撮影された（すなわち、ｚ軸の座標の値が
等しい）時系列の画像群に注目し、これらの画像それぞ
れの核領域で、同じ核に由来するもの（すなわち、同じ
核の時間変化を追っていることになるもの）を統合す
る。核領域Ｎ，Ｎ´が座標（ｘ，ｙ），（ｘ´，ｙ´）
で検出されたとき、Ｎ，Ｎ´の二次元的な距離ｄｘｙを
以下のように定義すると共に、同一の核由来と判断され
る条件を定める。(B) Integration of nuclear regions on the same point and parfocal plane The integration of nuclear regions derived from the same cell nucleus recognized in different two-dimensional images will be described. The same nuclei recognized in different two-dimensional images are put together in order to know which nuclei appear and disappear on the image from the result of the two-dimensional image recognition. An example is shown in FIG. The horizontal axis is the time axis (time point), and the vertical axis is the focal axis (focal plane). (I) Integration of nuclear regions derived from the same cell nucleus included in the parfocal image group Focusing on a time-series image group photographed at the same focal plane (that is, z-axis coordinate values are the same), In each nucleus region of the image, those derived from the same nucleus (that is, those that follow the same temporal change of the nucleus) are integrated. Core regions N, N'are coordinates (x, y), (x ', y')
When it is detected by, the two-dimensional distance dxy of N and N ′ is defined as follows, and the condition that the same nucleus is determined is defined.

【数８】 この二次元的距離を用い、それぞれの核を最も早く検出
された時点から順次統合して行く。すなわち、同一の焦
点で、時系列の核の認識結果を一つの集合（セット）に
統合する。以下の手順で行う。 １．出現時間の最も早い核を選ぶ。 ２．次の時点で、最も二次元的距離ｄｘｙが近く、かつ
その距離が予め指定した適切な閾値（現在のシステムで
は２５ピクセル）以下の核を同じ核に由来するもの（ｓ
ｕｃｃｅｓｓｏｒ）として同じ核に統合する。 ３．同じ核に由来するものがいなくなるまで２を繰り返
す。 ４．統合されずに残っている核がなくなるまで、１−３
を繰り返す。 （ｉｉ）同時点の画像群に含まれる同一の細胞核由来の
核領域の統合 前述した方法と同様にして、同時点で焦点面（ｚ座標）
の異なる画像群に含まれる同一の細胞核由来の核領域を
統合する。同一の時点で異なる焦点面の核の認識結果を
一つのセットに統合する。この場合の現在のシステムの
距離の閾値は１０ピクセルである。[Equation 8] Using this two-dimensional distance, each nucleus is sequentially integrated from the time when it was detected earliest. That is, with the same focus, the recognition results of time-series kernels are integrated into one set (set). Follow the procedure below. 1. Select the nucleus with the earliest appearance time. 2. At the next time point, nuclei having the shortest two-dimensional distance dxy and having a distance equal to or less than an appropriate threshold value (25 pixels in the present system) designated in advance are derived from the same nucleus (s
accessor) to the same nucleus. 3. Repeat 2 until nothing else is derived from the same nucleus. 4. 1-3 until there are no remaining unintegrated nuclei
repeat. (Ii) Integration of nuclear regions derived from the same cell nucleus contained in the image group at the simultaneous point Focal plane (z coordinate) at the simultaneous point in the same manner as the above-described method.
The nuclear regions derived from the same cell nucleus included in different image groups are integrated. The recognition results of nuclei with different focal planes at the same time are integrated into one set. The current system distance threshold in this case is 10 pixels.

【００３３】（ウ）核予想領域の指定 ある焦点面に核領域が存在した場合、その同時点の隣接
する上下の焦点面にはその核領域と同じ核由来の核領域
が存在する確率が高いものと考える。具体的にはある核
領域を考えるとき、その核領域の重心の座標（Xc, Yc）
をとり、その同時点、隣接上下の画像の座標（Xc, Yc）
を中心として半径Ｒの領域を核予想領域とする。現在の
システムではＲは標準的な核の半径にしている。同様の
作業を同焦点面の隣接する時点の画像にもおこなう。す
なわち上述の核領域に対して、その同焦点面、隣接時点
の画像の座標（Xc, Yc）を中心として半径Ｒの円領域を
核予想領域とする。(C) Designation of nuclear prediction region When a nuclear region exists on a certain focal plane, there is a high probability that a nuclear region derived from the same nucleus as the nuclear region exists on the adjacent upper and lower focal planes at the same point. Think of things. Specifically, when considering a certain nuclear region, the coordinates (Xc, Yc) of the center of gravity of that nuclear region
And the simultaneous points, and the coordinates of the adjacent upper and lower images (Xc, Yc)
A region with a radius R centered at is the nucleus prediction region. In the current system, R is the standard core radius. The same operation is performed on the images of adjacent points on the parfocal plane. That is, with respect to the above-mentioned core region, a circular region having a radius R centering on the coordinates (Xc, Yc) of the image at the parfocal plane and the adjacent time point is set as the nuclear prediction region.

【００３４】（エ）フィードバック （ウ）の結果得られた核予想領域を（ア）に与えて
（ア）〜（エ）の作業を繰り返す。このフィードバック
作業を数回行ったのち、（イ）で得られる３次元核領域
を次の4次元的核領域の統合のステップに渡す。(D) The nuclear prediction region obtained as a result of the feedback (c) is given to (a), and the steps (a) to (d) are repeated. After performing this feedback work several times, the three-dimensional nuclear region obtained in (a) is passed to the step of integrating the next four-dimensional nuclear region.

【００３５】［４次元核領域の統合作業からのフィード
バック］本プロセスには（ア）３次元核領域の選出、
（イ）核領域の４次元的統合、（ウ）核予想領域の指
定、（エ）フィードバックの４プロセスが含まれる。 （ア）３次元核領域の選出 前記同時点、同焦点面に含まれる核領域の統合作業から
のフィードバックを効果がなくなるまで行う。[Feedback from the integration work of the four-dimensional core region] In this process, (a) selection of the three-dimensional core region,
It includes four processes: (a) four-dimensional integration of nuclear regions, (c) designation of nuclear prediction regions, and (d) feedback. (A) Selection of three-dimensional nucleus region Feedback from the integration work of the nucleus regions included in the simultaneous point and the parfocal plane is performed until the effect is lost.

【００３６】（イ）核領域の４次元的統合 時系列、焦点方向にそれぞれに統合された核領域（統合
核領域）の間で、共有する核領域をもつ統合核領域の組
み合わせが存在する場合、それらは同一の核由来の統合
核領域であるとみなし、それらをさらに統合する（４Ｄ
画像において統合された核領域を４次元統合核領域とい
う）。同焦点の画像群、同時点の画像群において統合さ
れた各セットのうち、同一の核を含むセット同士を一つ
のセットに統合する際に、５つ以下の画像でしか認識さ
れなかったセットは、フラグメントとみなし、系譜には
使用しない。図１０は核領域の統合を説明する図であ
る。白円は所定の細胞核が検出されなかった画像であ
り、黒円は所定の細胞核が検出された画像である。縦方
向実線は同一の核と認識された一セットである。横方向
点線は同一の核と認識された一セットである。(A) In the case where there is a combination of integrated nuclear regions having a shared nuclear region among the four-dimensional integrated time series of nuclear regions and the nuclear regions (integrated nuclear regions) integrated in the focal direction, respectively. , They are regarded as integrated nuclear regions derived from the same nucleus, and they are further integrated (4D
The nuclear region integrated in the image is called a four-dimensional integrated nuclear region). Of the sets combined in the parfocal image group and the simultaneous point image group, when merging the sets including the same nucleus into one set, a set that was recognized by only five images or less was , Fragment, not used for genealogy. FIG. 10 is a diagram for explaining integration of nuclear regions. White circles are images in which predetermined cell nuclei were not detected, and black circles are images in which predetermined cell nuclei were detected. The vertical solid line is a set recognized as the same nucleus. The horizontal dotted lines are a set recognized as the same nucleus.

【００３７】（ウ）核予想領域の指定 隣接焦点面、隣接時間の情報を同時に用いて核予想領域
を指定する。現在のシステムでは具体的には、同一時点
隣接焦点面の二画像、および同一焦点面隣接時点の二画
像、計四画像のうち三画像以上に同一核由来の核領域が
ある領域が存在した場合、それらの核領域の重心を中心
とした半径Ｒの円領域の和集合領域を核予想領域にす
る。(C) Designation of nuclear prediction region A nuclear prediction region is designated by simultaneously using information on the adjacent focal plane and the adjacent time. In the current system, specifically, when there are two or more images of adjacent focal planes at the same time point, two images at the same focal plane adjacent time point, and a total of four images, there is a region having a nuclear region derived from the same nucleus in three or more images , The union region of circular regions having a radius R centered on the center of gravity of these core regions is set as the nuclear prediction region.

【００３８】（エ）フィードバック （ウ）の結果得られた核予想領域を（ア）に与えて
（ア）〜（エ）の作業を繰り替えす。このフィードバッ
ク作業を数回行ったのち、（イ）で得られる統合された
４時元核領域を次の細胞系譜作成作業のステップに渡
す。(D) The nuclear prediction area obtained as a result of the feedback (c) is given to (a), and the steps (a) to (d) are repeated. After performing this feedback work several times, the integrated 4 o'clock nuclear region obtained in (a) is passed to the next step of cell lineage creation work.

【００３９】［細胞系譜作成作業からのフィードバッ
ク］本プロセスは（ア）４次元核領域の選出、（イ）細
胞系譜作成、（ウ）核予想領域の指定、(エ)フィードバ
ック、の４プロセスが含まれる。[Feedback from cell lineage creation work] This process has four processes: (a) selection of four-dimensional nuclear region, (b) cell lineage creation, (c) designation of nuclear prediction region, and (d) feedback. included.

【００４０】（ア）４次元核領域の選出 前記４次元核領域の統合作業からのフィードバック作業
をそれぞれの効果がなくなるまで掛ける。(A) Selection of four-dimensional core region The feedback work from the integration work of the four-dimensional core region is carried out until the respective effects disappear.

【００４１】（イ）細胞系譜作成 本プロセスでは、４次元核領域の３者母娘関係の構
築、４次元核領域の２者母娘関係の構築、の２つのプ
ロセスをこの順に行う。 ４元核領域の３者親子関係の構築 本プロセスでは母核、およびその***後の２つの娘核を
示す３つの４次元核領域を探し出す。N₁, N₂, …N_nを４
次元核領域とする。各４次元核領域(Ni)には以下情報が
含まれる。(A) Creation of cell lineage In this process, two processes of constructing a three-person mother-daughter relationship in a four-dimensional nuclear region and constructing a two- person mother-daughter relationship in a four-dimensional nuclear region are performed in this order. Construction of three-way parent-child relationship of quaternary nuclear region In this process, three four-dimensional nuclear regions showing a mother nucleus and two daughter nuclei after the division are searched. N ₁ , N ₂ , ... N _n is 4
Dimensional nuclear region. The following information is included in each four-dimensional nuclear region (Ni).

【数９】 存在する全ての４次元核領域のなかから可能な全ての組
み合わせて３つの４次元核領域の組を作成する。各組の
４次元核領域の中で、消失時点が最も早いものを母４次
元核領域（N_m）とし、それ以外のものを娘４次元核領域
（N_d1, N_d2）とする。この３つの４次元核領域の組み合
わせが本当の母娘核の組である可能性をあらわすスコア
（３者母娘スコア）を計算する。現在のシステムではそ
のスコアは(i)母４次元核領域の消失時点と２つの娘４
次元核領域の出現時点、(ii)母４次元核領域の消失位置
と２つの娘４次元核領域の出現位置間の距離、(iii)母
４次元核領域の消失位置と２つの娘４次元核領域の出現
位置との位置関係（特に２つの４次元娘細胞の出現位置
の中点に母４次元核領域の消失位置が近いか否か）、を
反映したものになっている。具体的には現在のスコアF₃
(N_m, N_d1, N_d2)は以下のように与える。[Equation 9] A set of three 4-dimensional nuclear regions is created by using all possible combinations from all the existing 4-dimensional nuclear regions. Among the four-dimensional nuclear regions of each set, the one having the earliest disappearance time point is the mother four-dimensional nuclear region (N _m ), and the other ones are the daughter four-dimensional nuclear regions (N _d1 , N _d2 ). A score (three-person mother-daughter score) representing the possibility that the combination of these three four-dimensional nuclear regions is a true mother-daughter nucleus set is calculated. In the current system, the score is (i) the disappearance time of the mother 4D nuclear region and the two daughters 4
At the present time of the three-dimensional core region, (ii) the distance between the disappearance position of the mother four-dimensional core region and the appearance positions of the two daughter four-dimensional core regions, (iii) the disappearance position of the mother four-dimensional core region and the two daughter four-dimensional regions The positional relationship with the appearance position of the nuclear region (in particular, whether or not the disappearance position of the mother 4-dimensional nuclear region is close to the midpoint of the appearance positions of the two 4-dimensional daughter cells) is reflected. Specifically, the current score F ₃
(N _m , N _d1 , N _d2 ) is given as follows.

【数１０】 以上のようにして全ての存在する３つの４次元核領域の
３者母娘スコアを計算し、スコアの成績の良いものから
順に、３者母娘関係として決定していき、閾値となるス
コアより成績が悪い組み合わせになるまでそれを順に繰
り返す。矛盾する母娘関係が生じた場合は、スコアの成
績の良い母娘関係を優先させる。 ４次元核領域の２者親子関係の構築 で自分の母あるいは娘の少なくともいづれかが決定さ
れなかった４次元核領域の中から、母核およびその***
後の２つの娘核のうちのどちらか一つをあらわす、２つ
の４次元核領域の組を求める。で自分の母あるいは娘
の少なくともいづれかが決定されなかった４次元核領域
の中から、可能な全ての２つ組を作成する。それらの各
組の４次元核領域の中で、消失時点の早いものを母４次
元核領域（N_m）とし、残りを娘４次元核領域（N_d,N_d）
とする。この２つの４次元核領域の組み合わせが本当の
母娘核の組である可能性をあらわすスコア（２者母娘ス
コア）を計算する。現在のシステムではそのスコアは
i）母４次元核領域の消失時点と２つの娘４次元核領域
の出現時点、ii)母４次元核領域の消失位置と２つの娘
４次元核領域の出現位置間の距離、を反映したものにな
っている。具体的には現在のスコアF₂(N_m, N_d)は以下の
ように与える。[Equation 10] As described above, the three-person mother-daughter score of all three existing four-dimensional nuclear regions is calculated, and the three-person mother-daughter relationship is determined in order from the one with the best score, Repeat it in order until you get a bad combination. When a contradictory mother-daughter relationship occurs, the mother-daughter relationship with a good score is given priority. One of the mother nucleus and the two daughter nuclei after the division is selected from among the four-dimensional nuclear region in which at least one of one's mother and daughter is not determined by the construction of the two-parent relationship in the four-dimensional nuclear region. Find a set of two 4-dimensional nuclear regions. Create all possible duplicates from the four-dimensional nuclear region for which at least one of your mother or daughter has not been determined. Of the four-dimensional nuclear regions of each set, the one with the earliest disappearance is the mother four-dimensional nuclear region (N _m ), and the rest is the daughter four-dimensional nuclear region (N _d , N _d ).
And A score (two-person mother-daughter score) representing the possibility that the combination of these two four-dimensional nuclear regions is a true mother-daughter nucleus set is calculated. In the current system the score is
i) The disappearance time of the mother 4-dimensional nuclear region and the present time of the two daughter 4-dimensional nuclear regions, ii) The distance between the vanishing position of the mother 4-dimensional nuclear region and the appearance positions of the two daughter 4-dimensional nuclear regions are reflected. It has become a thing. Specifically, the present score F ₂ (N _m , N _d ) is given as follows.

【数１１】 以上のようにして全ての２つの４次元核領域の２者母娘
スコアを計算し、閾値となるスコアより成績が良い組み
合わせを２者母娘関係として決定する。[Equation 11] As described above, the two-person mother-daughter scores of all two four-dimensional nuclear regions are calculated, and a combination having a better result than the threshold score is determined as the two-person mother-daughter relationship.

【００４２】（ウ）核予想領域の指定 ３者母娘関係、２者母娘関係をそれぞれ用いて核予想領
域を指定する。 ３者母娘関係を用いた核予想領域の指定 ３者母娘関係が決定された４次元核領域の組について母
４次元核領域の消失時点および２つの娘４次元核領域の
出現時点をもちいて核予想領域を指定する。母４次元核
領域の消失時点および娘４次元核領域の出現時点におけ
るそれぞれの４次元核領域に含まれる核領域において
は、その同時点の隣接する上下の焦点面、およびその同
焦点面における隣接する前後の時点にはその核領域と同
じ核由来の核領域が存在する確率が高いものと考える。
具体的にはある出現時点、あるいは消失時点の核領域を
考えるとき、その核領域の重心の座標（Xc, Yc）をと
り、その同時点、隣接上下焦点面の画像、および同焦点
面、隣接前後時点の画像、それぞれの座標（Xc, Yc）を
中心として半径Ｒの領域を核予想領域とする。現在のシ
ステムではＲは標準的な核の半径にしている。 ２者母娘関係を用いた核予想領域の指定 ２者母娘関係が決定された４次元核領域の組について母
４次元核領域の消失時点および娘４次元核領域の出現時
点を用いて核予想領域を指定する。母４次元核領域の消
失時点および娘４次元核領域の出現時点におけるそれぞ
れの４次元核領域に含まれる核領域においては、その同
時点の隣接する上下の焦点面、およびその同焦点面にお
ける隣接する前後の時点にはその核領域と同じ核由来の
核領域が存在する確率が高いものと考える。具体的な方
法はと同一である。また、娘４次元核領域の出現時点
において、母４次元核領域の消失位置を中心として娘４
次元核領域の出現位置と点対称の位置周辺に、もう一つ
の娘細胞が出現する確率が高いと考え、核予想領域を指
定する。具体的には娘細胞の出現時点、およびその隣接
前後の時点において、上記の娘細胞の出現位置と点対称
の位置を中心に、半径Ｒの円領域を核予想領域とする。
現在のシステムではＲは標準的な核の半径にしている。(C) Designation of nuclear prediction area The nuclear prediction area is designated by using the three-party mother-daughter relationship and the two-party mother-daughter relationship, respectively. Designation of Nuclear Prediction Region Using Three-Party Mother-Daughter Relationship For the set of four-dimensional nuclear regions in which the three-party mother-daughter relationship is determined, the time of disappearance of the mother four-dimensional nuclear region and the present time of the two daughter four-dimensional nuclear regions are used. Specify the nuclear prediction area. In the nuclear regions included in the respective four-dimensional nuclear regions at the time of disappearance of the mother four-dimensional nuclear region and at the present time of the daughter four-dimensional nuclear region, the adjacent upper and lower focal planes at the same point and the adjacent focal planes thereof It is considered that there is a high probability that there is a nuclear region derived from the same nucleus as the nuclear region before and after.
Specifically, when considering the nuclear region at a certain point in time of emergence or disappearance, the coordinates (Xc, Yc) of the center of gravity of that nuclear region are taken, and their simultaneous points, the images of the adjacent upper and lower focal planes, and the parfocal plane, the adjacent The images of the front and rear time points, and the region of radius R centering on each coordinate (Xc, Yc) are set as the nuclear prediction region. In the current system, R is the standard core radius. Designation of nuclear prediction region using two-person mother-daughter relationship For a set of four-dimensional nuclear regions for which two-person mother-daughter relationship is determined, the nucleus is used by using the disappearance time of the mother four-dimensional nuclear region and the present time of the daughter four-dimensional nuclear region. Specify the prediction area. In the nuclear regions included in the respective four-dimensional nuclear regions at the time of disappearance of the mother four-dimensional nuclear region and at the present time of the daughter four-dimensional nuclear region, the adjacent upper and lower focal planes at the same point and the adjacent focal planes thereof It is considered that there is a high probability that there is a nuclear region derived from the same nucleus as the nuclear region before and after. The specific method is the same as. At the present time of the daughter 4D nuclear region, the daughter 4 is centered around the disappearance position of the mother 4D nuclear region.
It is considered that there is a high probability that another daughter cell will appear around the position that is point-symmetric with the appearance position of the dimensional nuclear region, and the predicted nuclear region is designated. Specifically, at the present time of the daughter cell, and before and after its adjacency, a circular area having a radius R is defined as a nuclear prediction area centered on the point symmetrical with the appearance position of the daughter cell.
In the current system, R is the standard core radius.

【００４３】（エ）フィードバック （ウ）の結果得られた核予想領域を（ア）に与えて
（ア）〜（エ）の作業を繰り替えす。このフィードバッ
ク作業を数回行ったのち、（イ）で得られる統合された
４時元核領域をフィードバック機構による核領域選定機
構の出力として次のステップに出力する。(D) The nuclear prediction region obtained as a result of the feedback (c) is given to (a), and the steps (a) to (d) are repeated. After performing this feedback work several times, the integrated 4 o'clock nuclear region obtained in (a) is output to the next step as the output of the nuclear region selection mechanism by the feedback mechanism.

【００４４】［４］誤認された核領域を人間の判断で除
去する工程 次いで、自動核認識の結果から、誤認された核領域を人
間の判断で除去する。前記の画像処理アルゴリズムは完
全なものではなく、特に細胞の数が増加するに従い誤っ
て核領域と認識された領域（ｆａｌｓｅ ｐｏｓｉｔｉ
ｖｅ）が含まれるが。ｆａｌｓｅ ｐｏｓｉｔｉｖｅが
多いデータからは正しく細胞系譜を構築するのが困難で
あるため、本システムでは、人間の手で、上記画像処理
の結果から、ｆａｌｓｅ ｐｏｓｉｔｉｖｅを除去する
ツールが含まれている。このツールを用いたｆａｌｓｅ
ｐｏｓｉｔｉｖｅの除去作業は容易であり、実際に試
したところ、略１時間で１７８０枚の画像から、ｆａｌ
ｓｅ ｐｏｓｉｔｉｖｅを除去することができた。尚、
言うまでもないが、このマニュアル処理は本発明の技術
思想における必須構成要素ではなく、自動核認識の精度
を向上させることで、この工程を省くことも可能であ
る。ツールを図８に示す。[4] Step of removing falsely recognized nuclear region by human judgment Next, the falsely recognized nuclear region is removed by human judgment from the result of the automatic nuclear recognition. The above-mentioned image processing algorithm is not perfect, and in particular, an area falsely recognized as a nuclear area (false position as the number of cells increases).
ve) is included. Since it is difficult to correctly construct a cell lineage from data with many false positives, this system includes a tool for removing false positives from the result of the above image processing by human hands. False using this tool
Removal of positive is easy, and when I actually tried it, from 1780 images in about 1 hour, the false
The se positive could be removed. still,
Needless to say, this manual processing is not an essential component in the technical idea of the present invention, and this step can be omitted by improving the accuracy of automatic nuclear recognition. The tool is shown in FIG.

【００４５】［５］複数の焦点面、複数の時点（時系
列）の画像における核情報を統合する工程（同一核由来
の核領域の統合アルゴリズム） 異なる２次元画像において認識された同一細胞核に由来
する核領域の統合について説明する。２次元画像での認
識の結果から、画像上においてどの核がいつどこで出
現、消滅するか知るため、異なる２次元画像で認識され
た同一の核をまとめる。例を図９に示す。横軸が時間軸
（時点）、縦軸が焦点軸（焦点面）である。[5] Step of integrating nuclear information in images at a plurality of focal planes and a plurality of time points (time series) (integrating algorithm of nuclear regions derived from the same nucleus) Originated from the same cell nucleus recognized in different two-dimensional images Explain the integration of the nuclear areas that The same nuclei recognized in different two-dimensional images are put together in order to know which nuclei appear and disappear on the image from the result of the two-dimensional image recognition. An example is shown in FIG. The horizontal axis is the time axis (time point), and the vertical axis is the focal axis (focal plane).

【００４６】［同焦点面の画像群に含まれる同一の細胞
核由来の核領域の統合］同じ焦点面で撮影された（すな
わち、ｚ軸の座標の値が等しい）時系列の画像群に注目
し、これらの画像それぞれの核領域で、同じ核に由来す
るもの（すなわち、同じ核の時間変化を追っていること
になるもの）を統合する。核領域Ｎ，Ｎ´が座標（ｘ，
ｙ），（ｘ´，ｙ´）で検出されたとき、Ｎ，Ｎ´の二
次元的な距離ｄｘｙを以下のように定義すると共に、同
一の核由来と判断される条件を定める。[Integration of Nuclear Regions Derived from Identical Cell Nuclei Included in Parfocal Image Group] Focusing on a time-series image group photographed on the same focal plane (that is, z-axis coordinate values are equal). , In each nuclear region of these images, those derived from the same nucleus (that is, those that follow the temporal change of the same nucleus) are integrated. The core regions N and N'are coordinates (x,
y), (x ', y'), the two-dimensional distance dxy of N, N'is defined as follows, and the conditions determined to be derived from the same nucleus are defined.

【数１２】 この二次元的距離を用い、それぞれの核を最も早く検出
された時点から順次統合して行く。すなわち、同一の焦
点で、時系列の核の認識結果を一つの集合（セット）に
統合する。以下の手順で行う。 １．出現時間の最も早い核を選ぶ。 ２．次の時点で、最も二次元的距離ｄｘｙが近く、かつ
その距離が予め指定した適切な閾値（現在のシステムで
は２５ピクセル）以下の核を同じ核に由来するもの（ｓ
ｕｃｃｅｓｓｏｒ）として同じ核に統合する。 ３．同じ核に由来するものがいなくなるまで２を繰り返
す。 ４．統合されずに残っている核がなくなるまで、１−３
を繰り返す。[Equation 12] Using this two-dimensional distance, each nucleus is sequentially integrated from the time when it was detected earliest. That is, with the same focus, the recognition results of time-series kernels are integrated into one set (set). Follow the procedure below. 1. Select the nucleus with the earliest appearance time. 2. At the next time point, nuclei whose two-dimensional distance dxy is the closest and whose distance is equal to or less than a predetermined appropriate threshold value (25 pixels in the present system) are derived from the same nucleus (s
accessor) to the same nucleus. 3. Repeat 2 until nothing else is derived from the same nucleus. 4. 1-3 until there are no remaining unintegrated nuclei
repeat.

【００４７】［同時点の画像群に含まれる同一の細胞核
由来の核領域の統合］前述した方法と同様にして、同時
点で焦点面（ｚ座標）の異なる画像群に含まれる同一の
細胞核由来の核領域を統合する。同一の時点で異なる焦
点面の核の認識結果を一つのセットに統合する。この場
合の現在のシステムでの距離の閾値は１０ピクセルであ
る。[Integration of Nuclear Regions Derived from Identical Cell Nucleus Included in Image Group of Simultaneous Points] Similar to the method described above, the same cell nuclei derived from image groups having different focal planes (z coordinates) at the same point are derived. Integrate the nuclear areas of. The recognition results of nuclei with different focal planes at the same time are integrated into one set. The distance threshold in the current system in this case is 10 pixels.

【００４８】［全４D画像中に現れる同一の細胞核由来
の核領域の統合］時系列、焦点方向にそれぞれに統合さ
れた核領域（統合核領域）の間で、共有する核領域をも
つ統合核領域の組み合わせが存在する場合、それらは同
一の核由来の統合核領域であるとみなし、それらをさら
に統合する（４Ｄ画像において統合された核領域を４次
元統合核領域という）。同焦点の画像群、同時点の画像
群において統合された各セットのうち、同一の核を含む
セット同士を一つのセットに統合する際に、５つ以下の
画像でしか認識されなかったセットは、フラグメントと
みなし、系譜には使用しない。図１０は核領域の統合を
説明する図である。白円は所定の細胞核が検出されなか
った画像であり、黒円は所定の細胞核が検出された画像
である。縦方向実線は同一の核と認識された一セットで
ある。横方向点線は同一の核と認識された一セットであ
る。[Integration of Nuclear Regions Derived from Identical Cell Nuclei Appearing in All 4D Images] An integrated nucleus having a shared nuclear region between the nuclear regions integrated in the time series and the focal direction (integrated nuclear regions). If a combination of regions exists, they are considered to be integrated nuclear regions from the same nucleus and they are further integrated (the integrated nuclear region in the 4D image is called a 4D integrated nuclear region). Of the sets combined in the parfocal image group and the simultaneous point image group, when merging the sets including the same nucleus into one set, a set that was recognized by only five images or less was , Fragment, not used for genealogy. FIG. 10 is a diagram for explaining integration of nuclear regions. White circles are images in which predetermined cell nuclei were not detected, and black circles are images in which predetermined cell nuclei were detected. The vertical solid line is a set recognized as the same nucleus. The horizontal dotted lines are a set recognized as the same nucleus.

【００４９】［６］４次元統合核領域の出現、消滅の時
点・位置の情報から細胞系譜を構築する工程 ４次元統合核領域には画像中の細胞核が出現、消滅する
時点、位置の情報が含まれている。それを基に細胞系譜
を構成する（図１１）。本プロセスでは、４次元核領
域の３者母娘関係の構築、４次元核領域の２者母娘関
係の構築、の２つのプロセスをこの順に行う。 ４元核領域の３者親子関係の構築 本プロセスでは母核、およびその***後の２つの娘核を
示す３つの４次元核領域を探し出す。N₁, N₂, …N_nを４
次元核領域とする。各４次元核領域(Ni)には以下情報が
含まれる。[6] Process of constructing cell lineage from information of time and position of appearance and disappearance of four-dimensional integrated nuclear region Information of time and position of appearance and disappearance of cell nuclei in the image is stored in the four-dimensional integrated nuclear region. include. The cell lineage is constructed based on it (Fig. 11). In this process, two processes of constructing a three-person mother-daughter relationship in a four-dimensional core region and constructing a two- party mother-daughter relationship in a four-dimensional core region are performed in this order. Construction of three-way parent-child relationship of quaternary nuclear region In this process, three four-dimensional nuclear regions showing a mother nucleus and two daughter nuclei after the division are searched. N ₁ , N ₂ , ... N _n is 4
Dimensional nuclear region. The following information is included in each four-dimensional nuclear region (Ni).

【数１３】 存在する全ての４次元核領域のなかから可能な全ての組
み合わせて３つの４次元核領域の組を作成する。各組の
４次元核領域の中で、消失時点が最も早いものを母４次
元核領域（N_m）とし、それ以外のものを娘４次元核領域
（N_d1, N_d2）とする。この３つの４次元核領域の組み合
わせが本当の母娘核の組である可能性をあらわすスコア
（３者母娘スコア）を計算する。現在のシステムではそ
のスコアは(i)母４次元核領域の消失時点と２つの娘４
次元核領域の出現時点、(ii)母４次元核領域の消失位置
と２つの娘４次元核領域の出現位置間の距離、(iii)母
４次元核領域の消失位置と２つの娘４次元核領域の出現
位置との位置関係（特に２つの４次元娘細胞の出現位置
の中点に母４次元核領域の消失位置が近いか否か）、を
反映したものになっている。具体的には現在のスコアF₃
(N_m, N_d1, N_d2)は以下のように与える。[Equation 13] A set of three 4-dimensional nuclear regions is created by using all possible combinations from all the existing 4-dimensional nuclear regions. Among the four-dimensional nuclear regions of each set, the one having the earliest disappearance time point is the mother four-dimensional nuclear region (N _m ), and the other ones are the daughter four-dimensional nuclear regions (N _d1 , N _d2 ). A score (three-person mother-daughter score) representing the possibility that the combination of these three four-dimensional nuclear regions is a true mother-daughter nucleus set is calculated. In the current system, the score is (i) the disappearance time of the mother 4D nuclear region and the two daughters 4
At the present time of the three-dimensional core region, (ii) the distance between the disappearance position of the mother four-dimensional core region and the appearance positions of the two daughter four-dimensional core regions, (iii) the disappearance position of the mother four-dimensional core region and the two daughter four-dimensional regions The positional relationship with the appearance position of the nuclear region (in particular, whether or not the disappearance position of the mother 4-dimensional nuclear region is close to the midpoint of the appearance positions of the two 4-dimensional daughter cells) is reflected. Specifically, the current score F ₃
(N _m , N _d1 , N _d2 ) is given as follows.

【数１４】 以上のようにして全ての存在する３つの４次元核領域の
３者母娘スコアを計算し、スコアの成績の良いものから
順に、３者母娘関係として決定していき、閾値となるス
コアより成績が悪い組み合わせになるまでそれを順に繰
り返す。矛盾する母娘関係が生じた場合は、スコアの成
績の良い母娘関係を優先させる。 ４次元核領域の２者親子関係の構築 で自分の母あるいは娘の少なくともいずれかが決定さ
れなかった４次元核領域の中から、母核およびその***
後の２つの娘核のうちのどちらか一つをあらわす、２つ
の４次元核領域の組を求める。で自分の母あるいは娘
の少なくともいづれかが決定されなかった４次元核領域
の中から、可能な全ての２つ組を作成する。それらの各
組の４次元核領域の中で、消失時点の早いものを母４次
元核領域（N_m）とし、残りを娘４次元核領域（N_d,N_d）
とする。この２つの４次元核領域の組み合わせが本当の
母娘核の組である可能性をあらわすスコア（２者母娘ス
コア）を計算する。現在のシステムではそのスコアは
i）母４次元核領域の消失時点と２つの娘４次元核領域
の出現時点、ii)母４次元核領域の消失位置と２つの娘
４次元核領域の出現位置間の距離、を反映したものにな
っている。具体的には現在のスコアF₂(N_m, N_d)は以下の
ように与える。[Equation 14] As described above, the three-person mother-daughter score of all three existing four-dimensional nuclear regions is calculated, and the three-person mother-daughter relationship is determined in order from the one with the best score, Repeat it in order until you get a bad combination. When a contradictory mother-daughter relationship occurs, the mother-daughter relationship with a good score is given priority. Either of the mother nucleus and the two daughter nuclei after the division from the four-dimensional nuclear region in which at least either one's mother or daughter was not determined by the construction of the two-parent relationship in the four-dimensional nuclear region Find a pair of two 4-dimensional nuclear regions that represent one. Create all possible duplicates from the four-dimensional nuclear region for which at least one of your mother or daughter has not been determined. Of the four-dimensional nuclear regions of each set, the one with the earliest disappearance is the mother four-dimensional nuclear region (N _m ), and the rest is the daughter four-dimensional nuclear region (N _d , N _d ).
And A score (two-person mother-daughter score) representing the possibility that the combination of these two four-dimensional nuclear regions is a true mother-daughter nucleus set is calculated. In the current system the score is
i) The disappearance time of the mother 4-dimensional nuclear region and the present time of the two daughter 4-dimensional nuclear regions, ii) The distance between the vanishing position of the mother 4-dimensional nuclear region and the appearance positions of the two daughter 4-dimensional nuclear regions are reflected. It has become a thing. Specifically, the present score F ₂ (N _m , N _d ) is given as follows.

【数１５】 以上のようにして全ての２つの４次元核領域の２者母娘
スコアを計算し、閾値となるスコアより成績が良い組み
合わせを２者母娘関係として決定する。[Equation 15] As described above, the two-person mother-daughter scores of all two four-dimensional nuclear regions are calculated, and a combination having a better result than the threshold score is determined as the two-person mother-daughter relationship.

【００５０】[0050]

【発明の効果】以上述べてきたように、本発明によれ
ば、細胞系譜を計算機で構築することができ、従来煩雑
かつ多大な労力を必要としていた細胞系譜を省力でかつ
短時間で構築できるという有利な効果を奏するものであ
る。As described above, according to the present invention, the cell lineage can be constructed by a computer, and the cell lineage which was conventionally complicated and requires a lot of labor can be constructed with labor saving and in a short time. That is an advantageous effect.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明に係る細胞系譜抽出方法のフロー図であ
る。FIG. 1 is a flow chart of a cell lineage extraction method according to the present invention.

【図２】処理対象の顕微鏡画像の例を示す図である。FIG. 2 is a diagram showing an example of a microscope image to be processed.

【図３】核認識アルゴリズムＡの処理工程を示す図であ
る。3 is a diagram showing processing steps of a nuclear recognition algorithm A. FIG.

【図４】核認識アルゴリズムＢの処理工程を示す図であ
る。FIG. 4 is a diagram showing a processing step of a nuclear recognition algorithm B.

【図５】核認識アルゴリズムＣの処理工程を示す図であ
る。FIG. 5 is a diagram showing processing steps of a nuclear recognition algorithm C.

【図６】細胞境界検出のアルゴリズムの処理工程を示す
図である。FIG. 6 is a diagram showing processing steps of a cell boundary detection algorithm.

【図７】胚領域検出のアルゴリズムの処理工程を示す図
である。FIG. 7 is a diagram showing processing steps of an algorithm for detecting an embryonic region.

【図８】自動核認識の結果を人の手で修正するためのツ
ールを示す図である。FIG. 8 is a diagram showing a tool for manually correcting the result of automatic nuclear recognition.

【図９】複数画像の同一の核をまとめる工程を説明する
図である。FIG. 9 is a diagram illustrating a step of collecting the same nucleus of a plurality of images.

【図１０】図９と同様に、複数画像の同一の核をまとめ
る工程を説明する図である。FIG. 10 is a diagram illustrating a process of collecting the same cores of a plurality of images, as in FIG. 9.

【図１１】核の情報から細胞系譜を構成する工程を説明
する図である。FIG. 11 is a diagram illustrating a process of constructing a cell lineage from nuclear information.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−164236（ＪＰ，Ａ) 特開 平２−83785（ＪＰ，Ａ) 特開 平９−218950（ＪＰ，Ａ) 特開 平６−96192（ＪＰ，Ａ) 特開 平10−185911（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 7/60 G01N 33/48 C12Q 1/02 - 1/24 ─────────────────────────────────────────────────── --- Continuation of the front page (56) Reference JP-A-60-164236 (JP, A) JP-A-2-83785 (JP, A) JP-A-9-218950 (JP, A) JP-A-6- 96192 (JP, A) JP-A-10-185911 (JP, A) (58) Fields investigated (Int.Cl. ⁷ , DB name) G06T 1/00-7/60 G01N 33/48 C12Q 1/02- 1/24

Claims (9)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】（ａ）観察対象の細胞について焦点面を変
化させて２次元画像を複数撮影し、かつ、該２次元画像
を時系列に複数撮影することで焦点面、時点で異なる複
数の２次元画像を得る工程と、 （ｂ）前記夫々の２次元画像において、画像処理を行う
ことで細胞核領域を抽出する工程であって、 該細胞核領域を抽出する工程は、 （ア）細胞核の候補となる核候補領域を抽出する工程
と、 （イ）該核候補領域を用いた細胞系譜作成試行作業によ
り核予想領域を指定する工程と、 （ウ）該核予想領域の指定の結果を該核候補領域抽出工
程にフィードバックさせて細胞核領域を抽出する工程と
を有し、 （ｃ）前記夫々の２次元画像において抽出された細胞核
領域から、同一細胞核に由来する細胞核領域を統合する
工程と、 （ｄ）統合された細胞核領域において、画像中の細胞核
領域が出現、消滅する時点、位置の情報から細胞系譜を
構築する工程とを含む細胞系譜抽出方法。1. (a) A plurality of two-dimensional images are taken by changing the focal plane of a cell to be observed, and a plurality of the two-dimensional images are taken in time series so that a plurality of different focal planes and time points are obtained. obtaining a 2-dimensional image, in (b) said each of the two-dimensional image, comprising the steps of extracting a cell nucleus region by performing image processing, the step of extracting the cell nucleus region, the (a) cell nucleus candidate Of extracting candidate nuclear regions
If, on the cell lineage create trial work with (i) the nucleic candidate region
A step of designating a Rikaku prediction area, (c) specifying the results nucleic candidate area extraction engineering of the nucleic prediction area
And the process of extracting the nuclear region by
And (c) integrating cell nucleus regions derived from the same cell nucleus from the cell nucleus regions extracted in the respective two-dimensional images, and (d) in the integrated cell nucleus regions, the cell nucleus regions in the image are A cell lineage extraction method including a step of constructing a cell lineage from information of appearance and disappearance times and positions. 【請求項２】請求項１において、該細胞系譜作成試行作
業は、同時点、同焦点面に含まれる核領域の統合、４次
元的核領域の統合、細胞系譜の作成の少なくとも一つ以
上を含み、該試行作業による核予想領域の指定をフィー
ドバックさせるものであることを特徴とする細胞系譜抽
出方法。2. The cell lineage creation trial work according to claim 1, wherein at least one of simultaneous points, integration of nuclear regions included in a parfocal plane, integration of four-dimensional nuclear regions, and creation of a cell lineage is performed. A method for extracting a cell lineage, which includes feedback of designation of a nuclear prediction region by the trial work. 【請求項３】請求項１，２いずれかにおいて、該核候補
領域には核スコアが付与されており、該核スコアと予め
設定された指定値とを比較することで核領域を抽出する
ように構成されており、核予想領域からのフィードバッ
クによって、該核スコアを変更させることを特徴とする
細胞系譜抽出方法。3. The nuclear candidate region according to claim 1, wherein a nuclear score is given to the nuclear candidate region, and the nuclear region is extracted by comparing the nuclear score with a preset designated value. And a method of extracting a cell lineage, characterized in that the nuclear score is changed by feedback from the nuclear prediction region. 【請求項４】請求項１，２、３いずれかにおいて、細胞
核の候補領域を抽出する工程は、細胞核とそれ以外の細
胞部分とにおける画像の明暗の差異を利用して画像処理
を行い、該核候補領域を指定すると共に、該核候補領域
に核スコアを付与するものであることを特徴とする細胞
系譜抽出方法。4. The process of extracting a candidate region of a cell nucleus according to claim 1, wherein image processing is performed by utilizing a difference in brightness of an image between the cell nucleus and other cell portions, A cell lineage extraction method, wherein a nucleus candidate area is designated and a nucleus score is given to the nucleus candidate area. 【請求項５】請求項４において、細胞核の候補領域を抽
出する工程は、画像処理結果を所定の閾値を用いて二値
化することで、核候補領域を指定し、指定された領域に
核スコアを付与するものであることを特徴とする細胞系
譜抽出方法。5. The step of extracting a candidate region of a cell nucleus according to claim 4, wherein the image candidate is binarized by using a predetermined threshold value to designate a nucleus candidate region, and the nucleus is designated in the designated region. A method for extracting a cell lineage, which is characterized by giving a score. 【請求項６】請求項４において、細胞核の候補領域を抽
出する工程は、画像処理結果の画像において、黒色方向
極領域をスコア付きで抽出することで核候補領域をする
ことを特徴とする細胞系譜抽出方法。6. The cell according to claim 4, wherein in the step of extracting the candidate region of the cell nucleus, a black candidate polar region is extracted with a score in the image of the image processing result to form the nucleus candidate region. Genealogy extraction method. 【請求項７】請求項２において、同時点、同焦点面に含
まれる核領域の統合作業からのフィードバックは、核領
域の選出、同時点、同焦点面での核領域の統合、核予想
領域の指定を含み、核予想領域の指定の結果を核領域の
選出工程にフィードバックさせるように構成されている
ことを特徴とする細胞系譜抽出方法。7. The feedback according to claim 2, from the work of integrating the nuclear regions included in the simultaneous points and the parfocal plane, the selection of the nuclear regions, the simultaneous point, the integration of the nuclear regions in the parfocal plane, and the nuclear predicted region. And a method for extracting a cell lineage, wherein the result of the designation of the nuclear prediction region is fed back to the nuclear region selection process. 【請求項８】請求項２，７いずれかにおいて、４次元核
領域の統合作業からのフィードバックは、３次元核領域
の選出、核領域の４次元的統合、核予想領域の指定を含
み、核予想領域の指定の結果を核領域の選出工程にフィ
ードバックさせるように構成されていることを特徴とす
る細胞系譜抽出方法。8. The feedback from integration work of a four-dimensional nuclear region according to claim 2, including selection of a three-dimensional nuclear region, four-dimensional integration of the nuclear region, designation of a nuclear predicted region, A cell lineage extraction method, which is configured to feed back a result of designation of a predicted region to a nuclear region selection process. 【請求項９】請求項２，７，８いずれかにおいて、細胞
系譜作業からのフィードバックは、４次元核領域の選
出、細胞系譜作成、核予想領域の指定を含み、核予想領
域の指定の結果を該核領域の選出工程にフィードバック
させるように構成されていることを特徴とする細胞系譜
抽出方法。9. The feedback from the cell lineage work according to claim 2, including selection of a four-dimensional nuclear region, creation of a cell lineage, designation of a nuclear prediction region, and a result of designation of a nuclear prediction region. Is configured to be fed back to the nuclear region selection step.