DE60026732T2

DE60026732T2 - Zellenreihen-extraktionsverfahren

Info

Publication number: DE60026732T2
Application number: DE60026732T
Authority: DE
Inventors: Hiroaki Kawagoe-shi KITANO; Glace Hill Court Shuichi ONAMI; Shugo Hamahashi; Satoru Nakano-ku MIYANO
Original assignee: Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency
Priority date: 2000-03-23
Filing date: 2000-12-04
Publication date: 2006-08-17
Anticipated expiration: 2020-12-05
Also published as: DE60026732D1; US20030108230A1; WO2001071663A1; EP1267305A4; EP1267305B1; EP1267305A1; US7110584B2

Description

Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Konstruieren eines Zellstammbaums und betrifft insbesondere ein Verfahren zum Herstellen eines Zellstammbaums aus einem 4D-Mikroskopbild eines Untersuchungsobjekts. Darüber hinaus betrifft die Erfindung insbesondere ein Verfahren zum Konstruieren eines Zellstammbaums aus 4D-Mikroskopbildern einer Embryonalentwicklungsstufe des Nematoden Caenorhabditis elegans (nachstehend als C. elegans bezeichnet), wobei die Bilder unter Verwendung eines Nomarski-DIC-Mikroskops (nachstehend als "Nomarski-Mikroskop" bezeichnet) aufgenommen werden.
Hintergrund der Erfindung
Der von Sidney Brenner 1965 entdeckte Nematode C. elegans ist der Versuchsorganismus, der in der modernen Molekularbiologie am ausführlichsten analysiert worden ist. C. elegans ist der einfachste Organismus unter den mehrzelligen Versuchsorganismen. Außerdem dauert es nur ungefähr 3 Tage, bis aus einem befruchteten Ei ein adultes Individuum wird.
Bei mehrzelligen Organismen wird ein aus vielen Zellen bestehendes adultes Individuum grundsätzlich durch wiederholte aufeinanderfolgende Zellteilung eines einzelnen befruchteten Eies (einer einzelnen Zelle) erzeugt. Ein Dendrogramm einer Teilungsfolge, die mit einem befruchteten Ei beginnt, wird "Zellstammbaum" genannt. C. elegans ist der einzige mehrzellige Organismus, bei dem der Zellstammbaum von einem befruchteten Ei bis zur vollen Reife geklärt worden ist. Dieser Zellstammbaum wurde 1983 von Sulston et al. bestimmt.
Alle normalen (Wildtyp) C. elegans-Individuen weisen von der Befruchtung des Eies bis zur vollen Reife den identischen Zellstammbaum auf. Bei einer Mutation spezifischer Gene bewirkt eine Änderung der Funktion mutierter Gene eine Änderung des Musters der Zellteilung, d.h. des Zellstammbaums, gegenüber dem Wildtyp. Eine sehr große Anzahl von Genen ist durch den Fortschritt der Forschung aufgrund einer Annahme der Funktion des mutierten Gens anhand der Änderung des Zellstammbaums schnell erkannt worden. Die Massenproduktion von Mutanten hat jetzt begonnen. Im Hinblick auf die effektive Anwendung von Ressourcen ist die automatisierte Analyse von Zellstammbäumen, die ein Ausgangspunkt bei der Analyse der Genfunktion ist, eine wesentliche Methode.
Zur Herstellung eines herkömmlichen Zellstammbaums wird das sogenannte Nomarski-Mikroskop verwendet. Im Nomarski-Mikroskop werden zwei Lichtstrahlen (mit identischer Wellenform und Phase, aber mit einer sehr kleinen Abweichung im Strahlengang) von einem Gerätesatz erzeugt, der aus einer Polarisationsplatte und einem Nomarski-Prisma besteht. Das Untersuchungsobjekt wird mit diesen Strahlen, die durch das Untersuchungsobjekt hindurchtreten, bestrahlt. Unterschiede im Brechungsindex der Probe und in der optischen Weglänge durch die Probe erzeugen nach der Durchstrahlung verschiedene Phasen in den beiden Lichtstrahlen. Die beiden Strahlen des hindurchgelassenen Lichts konvergieren auf dem gleichen optischen Weg durch die Wirkung des Gerätesatzes, bestehend aus der Polarisationsplatte und den Nomarski-Prismen, aber die Phasendifferenz zwischen den beiden Lichtstrahlen bewirkt eine Interferenz. Wenn das Nomarski-Mikroskop verwendet wird, erleichtert der durch die Wirkung der Interferenz erzeugte erhöhte Kontrast die Betrachtung. Nach diesem Verfahren werden die äußere Form und die Verteilung der Inhalte eines transparenten Objekts als kontrastierende helle und dunkle Bereiche wahrgenommen. Biologisch können Zelleninhalt und äußere Form (Zellmembran), die beide transparent sind, wenn ein übliches Lichtmikroskop verwendet wird, als Hell- und Dunkelbereiche wahrgenommen werden.
Sulston et al. bestimmten den Zellstammbaum von C. elegans durch Herstellung einer Skizze aus Bildern, die unter einem Nomarski-Mikroskop mit dem bloßen Auge wahrgenommen wur den. Dafür wurden viel Zeit (vermutlich 1 Jahr oder länger) und Mühe aufgewendet.
Neuerdings wird ein Zellstammbaum im allgemeinen unter Verwendung eines 4D-Mikroskopbildes dargestellt, das mit dem Nomarski-Mikroskop erzeugt wird. Ein Mikroskopbild, das sich aus Beobachtungen ergibt, die mit spezifischen Fokussen gemacht werden, gilt als 2D-(x-y-Achsen-)Schnittbild, das man erhält, wenn das Untersuchungsobjekt in einer spezifischen Position horizontal geschnitten wird. Das heißt, das Auf- und Abbewegen des Fokus (das Bewegen entlang der z-Achse) ergibt ein Schnittbild, das durch Trennen des Untersuchungsobjekts in verschiedene Scheiben entlang der z-Achse erzeugt wird. Die Vereinigung dieser Bilder ermöglicht die Wiederherstellung der 3D-Form des Untersuchungsobjekts (3D-Bild). Außerdem ermöglicht die Zusammenfassung einer Zeitreihe von 3D-Bildern die Verfolgung von zeitlichen Änderungen des Untersuchungsobjekts. Ein auf diese Weise aufgenommenes Bild wird "4D-(4-dimensionales)Mikroskopbild" bezeichnet.
Unzweifelhaft sind heutige Verfahren zur Herstellung eines 4D-Mikroskopbildes einfach im Vergleich zu jenen, die zur Zeit von Sulstons Untersuchung verwendet wurden. Trotzdem sind noch immer beträchtliche Zeit und Mühe aufzuwenden, da Entscheidungen hinsichtlich der Grenzen des Zellkerns und der Zellmembran im 4D-Bild Eingaben durch den Bediener erfordern. Zum Beispiel benötigt man für einen Herstellungsvorgang vom befruchteten Ei bis 16 Zellen einen Tag oder länger.
DE 49801400A1 offenbart ein Verfahren zur automatischen Analyse und Klassifizierung von Hep-2-Mustern mit dem Schritt: Aufnehmen eines zweidimensionalen Bildes, das zu digitalisieren und zu segmentieren ist, um nach Farben oder Grauwerten klassifiziert und in bezug auf charakteristische Merkmale identifiziert zu werden.
Die vorliegende Erfindung beschreibt, wie die herkömmliche Herstellung des Zellstammbaums einfacher durchgeführt werden kann, und hat die Aufgabe, ein Verfahren zur Konstruktion eines Zellstammbaums bereitzustellen, das durch Verwendung eines Computers weniger arbeitsintensiv ist und weniger Zeit erfordert. Eine weitere Aufgabe der Erfindung besteht darin, die Leistungsfähigkeit eines verwendeten Zellkernerkennungsprozesses zu verbessern, wenn der Zellstammbaums mit mittels Computer konstruiert wird. Diese Aufgabe kann mit den in den Ansprüchen definierten Merkmalen erfüllt werden.
Offenbarung der Erfindung
Die Erfindung weist die Schritte auf: Gewinnen einer Vielzahl von sich in einer Fokalebene und in einem Zeitpunkt unterscheidenden 2D-Bildern durch Aufnehmen einer Vielzahl der 2D-Bilder unter Änderung der Fokalebene für eine Zelle, die das Untersuchungsobjekt darstellt, und durch Aufnehmen einer Vielzahl der 2D-Bildern in einer Zeitreihe (d.h. Gewinnen eines 4D-Mikroskopbildes); Extrahieren eines Zellkernbereichs durch Ausführung einer Bildverarbeitung für einzelne 2D-Bilder; Vereinigen des Zellkernbereichs, der von dem identischen Zellkern abstammt, aus dem Zellkernbereich, der aus den oben beschriebenen einzelnen 2D-Bildern extrahiert ist (Gewinnen eines vereinigten 4D-Zellkernbereichs), und Konstruieren des Zellstammbaums aus einem Zeitpunkt und einer Position, wo der Zellkernbereich im Bild erscheint und verschwindet, in dem vereinigten Zellkernbereich (vereinigter 4D-Zellkernbereich), wobei der oben beschriebene "Schritt des Extrahierens des Zellkernbereichs durch Ausführung einer Bildverarbeitung" die Schritte aufweist: Extrahieren des Bereichs, der ein Kandidat des Zellkerns werden soll, und Festlegen eines mutmaßlichen Zellkernbereichs durch einen Probelauf einer Zellstammbaumherstellung und Extrahieren des Zellkernbereichs durch Rückführung des mutmaßlichen Bereichs zum Zellkernkandidatenbereich.
Vorzugsweise wird das Bild mit einem Nomarski-DIC-Mikroskop aufgenommen. Das verwendete Bild ist jedoch nicht auf das mit diesem Mikroskop aufgenommene Bild beschränkt.
Vorzugsweise weist der Probelauf der Zellstammbaumherstellung mindestens einen der folgenden Schritte auf: Vereinigen von Zellkernbereichen in einem identischen Zeitpunkt und auf einer identischen Fokalebene, Vereinigen von 4D-Zellkernbereichen und/oder Herstellen des Zellstammbaums, wobei eine Rückführung der Festlegung des mutmaßlichen Zellkernbereichs durch den Probelauf ermöglicht wird. Bei einem Prozeß zur Vereinigung identischer Zellkerne in einer Vielzahl von Bildern, wobei eine nahe gelegene Stelle zeitlich und räumlich betrachtet wird, kann die Zuverlässigkeit eines Ergebnisses der Zellkernerkennung geprüft werden. Aus dem erzeugten Zellstammbaum kann die Stelle, an der sich der Zellkern befinden müßte oder nicht befinden dürfte, vermutet werden. Das Ergebnis der Vermutung wird einer Rückführung unterzogen, die einen Parameter zur Zellkernerkennung ändern kann. Das heißt, eine Zellkernbewertungsgröße zum Extrahieren des Zellkernbereichs aus dem Zellkernkandidatenbereich wird durch eine Rückführung geändert.
Der Schritt des Extrahierens des Zellkerns weist auf: einen Lösungsschritt zum Erkennen eines Bereichs, wo die feine Helligkeitsänderung im Bild schwach ist, als den Zellkern oder einen Lösungsschritt zum Extrahieren eines Teils, in dem die Änderung der Intensität in einem großen Bereich entlang des Lichteinfallwinkels groß ist, als den Zellkern. Der erstere wird exemplarisch ausgeführt unter Verwendung eines Kirsch-Filters, Prewitt-Filters oder FFT-Filters. Das Kirsch-Filter ist ein Filter, das vorzugsweise durch eine Kombination eines Kirschmasken-Kantenerkennungsoperators mit gleitender Mittelwertbildung gebildet wird. Das Prewitt-Filter ist ein Filter, das vorzugsweise das Ergebnis eines Prewittmasken-Kantenerkennungsoperators digitalisiert und eine Abstandstransformation anwendet. Bei dem letzteren ist das Filter zum Ermitteln einer Differenz einer Intensitätswertesumme zwischen einem vorbestimmten oberen und unteren Pixel entlang eines scheinbaren Lichteinfallswinkels gebräuchlich. Der Lösungsschritt unter Verwendung des Differentialfilters weist die Schritte auf: Extrahieren einer Zellgrenze und Extrahieren eines Embryobereichs, und es wird empfohlen, das Ergebnis auf der Grundlage des Ergebnisses dieser Schritte zu korrigieren.
Das am meisten bevorzugte Filter zur Extraktion des Zellkernbereichs wird durch ein Entropiefilter veranschaulicht. Das Entropiefilter ist das Filter, das verwendet wird, um einen Anfangspunkt in einem Originalbild zu bestimmen, das Originalbild mittels eines Fensters mit der Größe einer vom Anfangspunkt gemessenen vorbestimmten Breite und Höhe aufzu teilen, eine Entropie des Fensters zu berechnen und diesen Wert in Form von Bildkoordinaten des Ergebnisses aufzubewahren. Die Aufteilung des Bildes mittels eines kleinen Fensters und die Abtastung der Bildberechnungsentropie des Fensters ermöglichen die Extraktion eines kontrastarmen Teils (eine Differenz der Pixelwerte, die den Teil darstellen, ist relativ klein) als den Zellkernbereich.
Kurze Beschreibung der Zeichnungen
1 ist ein Flußdiagramm eines erfindungsgemäßen Verfahrens zur Extraktion des Zellstammbaums;
2 ist eine Ansicht, die ein Beispiel eines Mikroskopbildes eines Verarbeitungsobjekts zeigt;
3 ist eine Ansicht, die Verarbeitungsschritte für einen Zellkernermittlungsalgorithmus A zeigt;
4 ist eine Ansicht, die Verarbeitungsschritte für einen Zellkernerkennungsalgorithmus B zeigt;
5 ist eine Ansicht, die Verarbeitungsschritte für einen Zellkernerkennungsalgorithmus C zeigt;
6 ist eine Ansicht, die Verarbeitungsschritte für einen Zellgrenzenermittlungsalgorithmus zeigt;
7 ist eine Ansicht, die Verarbeitungsschritte für einen Embryobereichermittlungsalgorithmus zeigt;
8 ist eine Ansicht, die ein Werkzeug zur manuellen Korrektur eines Ergebnisses der automatisierten Zellkernerkennnung zeigt;
9 ist eine Ansicht, die das Werkzeug zur manuellen Korrektur des Ergebnisses der automatisierten Zellkernerkennnung zeigt;
10 ist eine Ansicht, die ein Werkzeug zur manuellen Korrektur des Ergebnisses der automatisierten Zellkernerkennnung zeigt;
11 ist eine Ansicht, die einen Schritt des Vereinigens identischer Zellkerne in einer Vielzahl von Bildern darstellt;
12 ist eine Ansicht, die einen Schritt des Vereinigens identischer Zellkerne in einer Vielzahl von Bildern wie in 11 darstellt;
13 ist eine Ansicht, die einen Schritt bei der Konstruktion des Zellstammbaums aus der Zellkerninformation darstellt;
14 ist ein Flußdiagramm eines Verfahrens zur Extraktion des Zellstammbaums, bezogen auf eine andere erfindungsgemäße Ausführungsform;
15 ist eine Ansicht, die ein Entropiefilter darstellt;
16 ist ein Mikroskopbild einer Zelle;
17 ist das Bild nach der Verarbeitung unter Verwendung des Entropiefilters, und
18 ist ein Ergebnis des Einblendens des resultierenden Bildes, das mit dem Entropiefilter mit nachfolgender Schwellwertverarbeitung verarbeitet worden ist, in das Mikroskopbild.
Die beste Ausführungsform der Erfindung
[A] Zellstammbaumkonstruktionssystem
Eine erfindungsgemäße Ausführungsform eines Verfahrens und eines Systems zur Extraktion eines Zellstammbaums wird nachstehend unter Bezugnahme auf die Darstellung des Zellstammbaums eines frühen C. elegans-Embryos beschrieben. Wie in 1 gezeigt, weist das System die Schritte auf: [I] Aufnehmen eines 4D-Nomarski-Mikroskopbildes des frühen C. elegans-Embryos, [II] Extrahieren einer Zellkernposition in einzelne 2D-Bilder, indem Bildverarbeitungstechniken verwendet werden, die mehrere Algorithmen anwenden, und die Ergebnisse der Zellkernerkennnung entsprechend jedes Algorithmus kombiniert werden, [III] bedarfsweises Entfernen eines falsch identifizierten Zellkernbereichs durch manuellen Eingriff, [IV] Vereinigen von Zellkerninformationen des Bildes in einer Vielzahl von Fokalebenen und in einer Vielzahl von Zeitpunkten (Zeitreihe), und [V] Konstruieren des Zellstammbaums auf der Grundlage des Zeitpunkts und der Position des Erscheinens und Verschwindens des vereinigten 4D-Zellkernbereichs.
[I] Aufnehmen von 4D-Bildern
Das Aufnehmen eines 4D-Bildes des frühen C. elegans-Embryos unter Verwendung des Nomarski-Mikroskops wird nachstehend beschrieben. Bei dem 4D-Bild handelt es sich, wie vorhergehend beim Stand der Technik beschrieben, um die Vielzahl der durch Änderung der Fokalebene aufgenommenen 2D-Bilder und die Vielzahl der in einer Zeitreihe aufgenommen 2D-Bilder. Das durch Vereinigung der Vielzahl der 2D-Bilder mit verschiedenen Fokalebenen und verschiedenen Aufnahmezeitpunkten hergestellte Bild wird als ein 4D-Bild bezeichnet. Das Bild des frühen C. elegans-Embryos, das ein Untersuchungsobjekt dieser Ausführungsform ist, wird als eine Menge, die aus 30 bis 90 Bildern besteht, die durch vertikale Änderung der Fokalebene in 1- bis 5-Minutenintervallen gewonnen werden, hergestellt. In einem Experiment wurden insgesamt 1780 2D-Bilder auf 89 Fokalebenen und in 20 Punkten der Zeitreihe aufgenommen. Der Radialdurchmesser betrug ungefähr 60 μm bei der längeren Achse einer Zelle und ungefähr 30 μm bei der kürzeren Achse. Die Bildaufnahme wurde alle 90 Sekunden ausgeführt. 2 zeigt ein Beispiel des Mikroskopbildes des Untersuchungsobjekts. Hier ist die Horizontalachse die Zeitachse (Zeit), und die Vertikalachse ist die Fokalachse (Fokalebene).
[II] Extrahieren einer Position eines Zellkerns unter Verwendung der Zellkernerkennnungs-Bildverarbeitungsalgorithmen
Die Extraktion einer Position eines Zellkerns in einzelnen 2D-Mikroskopbildern wird nachstehend beschrieben. Einzelne 2D-Mikroskopbilder werden unter Verwendung von drei Arten von Bildverarbeitungsalgorithmen bearbeitet. Der Bereich, der durch irgendeinen dieser drei Algorithmen als Zellkern erkannt wird, wird als der Zellkernbereich des Bildverarbeitungssystems als Ganzes bestimmt.
[Zellkernerkennnungs-(Bildverarbeitungs-)Algorithmus A]
Dieser Algorithmus definiert als den Zellkern einen Bereich, der eine schwache Feinänderung der Helligkeit im Mikroskopbild aufweist. In einem Nomarski-Mikroskopbild hat das Zytoplasma aufgrund des Vorhandenseins von Zellorganellen die Eigenschaft, ein Bereich mit starker Feinänderung der Hellig keit zu sein, wogegen der Zellkern die Eigenschaft hat, ein Bereich mit schwacher Feinänderung der Helligkeit zu sein. Der Bildverarbeitungsalgorithmus A nutzt diese Eigenschaften. Wenn zum Erfassen dieser charakteristischen Merkmale ein Originalbild vom Kirsch-Operator umgewandelt wird, wird ein Bild erzeugt, in dem ein Bereich mit niedrigem Bildkontrast als ein Bereich mit geringer Helligkeit dargestellt ist. Das Verfahren der gleitenden Mittelwertbildung wird dann zur Datenglättung auf das sich ergebende Bild angewendet, und eine Digitalisierungsverarbeitung wird verwendet, um den Bereich (Zellkern), der eine kleine Helligkeitsänderung zeigt, vom Zytoplasma zu trennen.
Der Bildverarbeitungsalgorithmus A wird unten ausführlich beschrieben. Wenn der Kirsch-Kantenerkennungsoperator verwendet wird, um den Bereich, der eine große Änderung der Bildhelligkeit zeigt, zu extrahieren, wird eine Matrix, die das größte Ergebnis unter den nachstehend dargestellten Indexmatrizen darstellt, verwendet.
Zum Glätten wird die folgende Formel verwendet:
Nach der Digitalisierung wird eine Verbundkomponente mit einer Form wie der Zellkern extrahiert. 3 zeigt das Beispiel.
[Zellkernerkennnungs-(Bildverarbeitungs-)Algorithmus B]
Dieser Algorithmus definiert ebenfalls den Bereich, der eine schwache Feinänderung der Helligkeit im Mikroskopbild zeigt, als den Zellkern. Wenn das Originalbild vom Prewittmasken-Operator umgewandelt und digitalisiert ist, wird ein Bild erzeugt, das einen Bereich (Zytoplasma), der eine starke Helligkeitsänderung hat als einen Bereich darstellt, wo weiße Punkte spärlich verteilt sind, und einen Bereich (Zellkern), der eine schwache Helligkeitsänderung zeigt, als einen schwarzen Bereich darstellt, wo keine Verteilung weißer Punkte zu finden ist. In diesem Bild wird der Bereich, der keine weißen Punkte aufweist, durch Abstandstransformationsverarbeitung erkannt.
Genauer gesagt, wenn der Prewittmasken-Kantenerkennungsoperator verwendet wird, um den Bereich zu extrahieren, der eine große Änderung der Bildhelligkeit zeigt, wird eine Matrix verwendet, die das größte Ergebnis der nachstehend dargestellten Indexmatrizen zeigt.
Nach der Digitalisierung wird das nachfolgende Medianfilter verwendet. 3 zeigt das Beispiel.
Ein Median:
Außerdem wird der nachfolgende Abstandstransformationsprozeß durchgeführt. g(x, y) = min{d((x1, y1), (x, y)): f(x1, y1) ≠ 0}
Dann werden die Digitalisierung und die Verbundkomponentenverarbeitung ausgeführt. Ein entsprechendes Beispiel ist in 4 dargestellt.
[Zellkernerkennnungs-(Bildverarbeitungs-)Algorithmus C]
Dieser Algorithmus nutzt die Tatsache, daß das Untersuchungsobjekt im Nomarski-Mikroskopbild von einem Schatten begleitet ist, als wenn er durch schrägen Lichteinfall von der bestimmten Position aus erzeugt würde. Die Zellkernmembran eines runden Zellkerns erscheint als ein zur Hälfte heller Rand und ein zur Hälfte dunkler Rand im Bild. Der Bereich, in dem die Intensitätsänderung in einem großen Bereich entlang der scheinbaren Lichteinfallsrichtung groß ist, wird als der Zellkern extrahiert. Beispielsweise wird der Differenz des Gesamtintensitätswerts zwischen den aufwärts und abwärts verlaufenden 30 Bildpunkten entlang des scheinbaren Einfallswinkels nach der Umwandlung des Punktes ein Wert zugewiesen. Die Digi talisierung des Bildes nach der Umwandlung macht die Position des Zellkerns als einen weißen Fleck sichtbar.
Genauer gesagt, ein Filter, das durch die folgende Formel beschrieben ist, wird angewendet, um die Eigenschaft, daß der Zellkern in Richtung des Lichts von dem hellen Teil und dem dunklen Teil umgeben zu sein scheint, sichtbar zu machen. Hier ist f(x, y) der Intensitätswert des Originalbildes, g(x, y) ist der Intensitätswert des umgewandelten Bildes, θ ist die Lichteinfallsrichtung, und m ist ein Summierungsbereich des Intensitätswerts.
Nach der Digitalisierung wird die Verbundkomponentenverarbeitung ausgeführt. Ein entsprechendes Beispiel ist in 5 dargestellt. Wie in 5 gezeigt, kann dieses Filter leicht dazu verwendet werden, ein falschpositives Ergebnis an einer Grenze zwischen den Zellen und der Außenseite eines Embryos zu erzeugen. Dann werden, wie unten erwähnt, eine Zellgrenze und ein Embryobereich zur Korrektur extrahiert.
Der Algorithmus zur Erkennung der Zellgrenze wird nachstehend beschrieben. Der Bereich, der offensichtlich an Zellen angrenzt, wird dann durchsucht, so daß der Zellkernerkennungsalgorithmus C korrigiert werden kann. Das durch den Prewittmasken-Kantenerkennungsoperator erzeugte Ergebnis wird digitalisiert. Ein Rundheitsgrad, Fläche und eine Länge eines Umfangs werden verwendet, um einen schlanken Bereich zu extrahieren. Das Ergebnis ist in 6 dargestellt.
Der Algorithmus zur Erkennung eines Embryobereichs wird nachstehend beschrieben. Im Bild wird dann nach dem Embryobereich gesucht, so daß der Zellkernerkennungsalgorithmus C korrigiert werden kann. Das durch den Kirschmasken-Kantenerkennungsoperator erzeugte Ergebnis wird digitalisiert. Die maximale Verbundkomponente wird extrahiert. Das Ergebnis ist in 7 dargestellt.
Die von den drei oben beschrieben Algorithmusarten erkannte Zellkerninformation wird kombiniert. Wie oben beschrieben, wird der Bereich, der durch irgendeine der drei Algorith musarten als der Zellkern erkannt wird, von dem gesamten Bildverarbeitungssystem als der Zellkernbereich bewertet.
[III] Entfernen eines falsch identifizierten Zellkernbereichs
Als nächstes wird aus dem Ergebnis der automatisierten Zellkernerkennnung jeder falsch identifizierte Zellkernbereich manuell entfernt. Der oben beschriebene Bildverarbeitungsalgorithmus ist unvollständig, da in Übereinstimmung mit einer Zunahme der Zellenanzahl, einige Bereiche (falschpositive) irrtümlich als Zellkernbereich erkannt werden. Es ist schwierig, den Zellstammbaum mit Daten, die viele falschpositive Ergebnisse enthalten, korrekt aufzubauen. Das vorliegende System enthält ein Werkzeug zum manuellen Entfernen der Falschpositiven (wobei es sich um einen Bereich handelt, der vom Zellkernermittlungsalgorithmus falsch identifiziert wird, das heißt, um einen Bereich, der nach dem Algorithmus als eine Stelle erkannt wird, an der ein Zellkern vorhanden ist, obwohl dort kein echter Zellkern ist) aus dem Ergebnis der oben beschriebenen Bildverarbeitung. Dieses GUI-Werkzeug wird anhand der 8 bis 10 beschrieben.
Zunächst werden, wie in 8 gezeigt, die Ergebnisse aller Zellkernerkennungsalgorithmen vereinigt, und der Bereich (von einer weißen Linie umgebener Bereich), der als ein "Zellkernbereich" erkannt ist, wird durch Einblendung auf das Originalbild (Anzeige des Ergebnisses der Zellkernerkennnung) angezeigt. Als nächstes wird, wie in 9 und 10 gezeigt, ein "Zellkernbereich", der falsch identifiziert worden ist, mittels einer Maus ausgefüllt (der falsch identifizierte Zellkernbereich wird durch Drücken einer Taste auf der Maus nachgezeichnet), um den falsch identifizierten Zellkernbereich zu beseitigen ("Entfernen des falsch identifizierten Zellkernbereichs"). Schließlich wird die Zellkernbereichsinformation, die das Ergebnis des Entfernens des falsch identifizierten Zellkernbereichs enthält, in einem Dateiformat gespeichert, das für die nachfolgende Herstellung des Zellstammbaums verwendbar ist. Der Prozeß des Entfernens der Falschpositiven kann durch Anwendung dieses Werkzeugs auf einfache Weise ausgeführt werden. Mit dieser Praxis wurden Falschpositive von 1780 Bildern in etwa einer Stunde entfernt. Es ist offensichtlich, daß eine manuelle Bearbeitung kein grundsätzlich notwendiges Element des technologischen Konzepts dieser Erfindung ist. Allerdings kann dieser Schritt durch Verbesserung der Genauigkeit der automatisierten Zellkernerkennnung wegfallen.
[IV] Vereinigen von Zellkernbereichen
Der Prozeß der Vereinigung von Zellkernbereichen, die von identischen Zellkernen abstammen und die in verschiedenen 2D-Bildern erkannt werden, wird nachstehend beschrieben. Um aus dem Erkennungsergebnis der 2D-Bilder zu erfahren, wann und wo welcher Zellkern im Bild erscheint und verschwindet, werden identische Zellkerne, die in verschiedenen 2D-Bildern erkannt wurden, vereinigt. Dieses Beispiel ist in 11 dargestellt. Hier ist die Horizontalachse die Zeitachse (Zeit), und die Vertikalachse ist die Fokalachse (Fokalebene).
[Vereinigen der Zellkernbereiche, die von identischen Zellkernen abstammen und die in einer Bildgruppe auf einer identischen Fokalebene enthalten sind]
In der Bildgruppe einer Zeitreihe (mit dem gleichen Koordinatenwert auf der z-Achse), die von der identischen Fokalebene stammen, werden spezifische Zellkernbereiche, die von identischen Zellkernen abstammen (nämlich von Zellkernbereichen, die zeitlichen Änderungen identischer Zellkerne entsprechen), vereinigt. Wenn die Zellkernbereiche N, N' mit den Koordinaten (x, y), (x', y') erkannt sind, ist der 2D-Abstand dxy von N, N' wie nachfolgend definiert, und eine Bedingung für die Bestimmung der Abstammung der Zellkernbereiche von dem identischen Zellkern ist gegeben. dxy(N, N') = √|x – x'|² + |y – y'|²
Bei Anwendung dieser Bedingung erfolgt die Vereinigung sequentiell, indem mit dem frühesten Zeitpunkt begonnen wird, in dem einzelne Zellkerne erkannt werden. Das heißt, bei einem identischen Fokus wird das Ergebnis der Zellkernerkennnung in der Zeitreihe zu einer Menge vereinigt. Die Schritte sind wie folgt.

1. Wählen des Zellkerns, der zum frühesten Zeitpunkt erscheint.
2. Als nächstes werden Zellkerne, zwischen denen der 2D-Abstand am kürzesten ist und die für kleiner oder gleich dem vorher zugewiesenen Schwellwert befunden werden (25 Pixel in unserem aktuellen System), als solche (Nachkommen) erkannt, die von dem identischen Zellkern abstammen, und vereinigt.
3. Wiederholen des Vorgangs 2, bis kein vom identischen Zellkern abstammender Zellkern gefunden wird.
4. Wiederholen der Vorgänge 1 bis 3 bis keine Zellkerne mehr übrigbleiben.

[Vereinigen von Zellkernbereichen, die von identischen Zellkernen abstammen und die in einer Bildgruppe mit einem identischen Zeitpunkt enthalten sind]
Wie bei dem oben beschriebenen Verfahren werden Zellkernbereiche, die vom identischen Zellkern abstammen und in der Bildgruppe mit verschiedenen Fokalebenen (Koordinate z) in identischen Zeitpunkten enthalten sind, vereinigt. Die Ergebnisse der Zellkernerkennung auf verschiedenen Fokalebenen im identischen Zeitpunkt werden zu einer Menge vereinigt. Der Abstandsschwellwert beträgt 10 Pixel.
[Vereinigen von Zellkernbereichen, die von identischen Zellkernen abstammen und die in allen 4D-Bildern erscheinen]
Wenn es eine Kombination vereinigter Zellkernbereiche, die einen gemeinsamen Zellkernbereich haben, zwischen den Zellkernbereichen (vereinigter Zellkernbereich) gibt, die sowohl in der Zeitreihe als auch der Fokusrichtung vereinigt sind, gelten diese als ein vereinigter Zellkernbereich, der von einem identischen Zellkern abstammt, und werden weiter vereinigt (ein in einem 4D-Bild vereinigter Zellkernbereich wird als vereinigter 4D-Zellkernbereich bezeichnet). Wenn Mengen, die denselben Zellkern enthalten, von einzelnen Mengen, die in einer Bildgruppe mit denselben Fokuspunkten und in einer Bildgruppe mit denselben Zeitpunkten vereinigt worden sind, zu einer Menge vereinigt werden, gilt eine solche Menge, in der fünf oder weniger Bilder erkannt werden, als ein Frag ment und wird nicht zur Konstruktion des Zellstammbaums verwendet. 12 ist eine Darstellung, die die Vereinigung des Zellkernbereichs zeigt. Ein offener Kreis zeigt ein Bild, auf dem ein vorbestimmter Zellkern nicht wahrgenommen wurde, und ein ausgefüllter Kreis zeigt ein Bild, auf dem der vorbestimmte Zellkern wahrgenommen wurde. Eine ausgezogene Längslinie zeigt eine Menge an, die als der identische Zellkern erkannt ist. Eine punktierte Querlinie zeigt eine Menge an, die als der identische Zellkern erkannt ist.
[V] Konstruieren des Zellstammbaums
Der vereinigte 4D-Zellkernbereich enthält Informationen über den Zeitpunkt und die Position des Erscheinens und Verschwindens des Zellkerns im Bild. Der Zellstammbaum wird auf der Grundlage dieser Information konstruiert (13). Ein Zellkern, der zum ersten Mal erscheint, wird als Mutterzelle ausgewiesen. Wenn zwei Zellen (Tochterzellen), die nach einer Zellteilung einer bestimmten Zelle (Mutterzelle) entstehen, gesucht werden, wird der Zeitpunkt und die Position des Verschwindens eines Mutterzellkerns im Bild aus dem entsprechenden vereinigten 4D-Zellkernbereich ermittelt, und der 4D-Abstand von dem Zeitpunkt und der Position des Erscheinens aller vereinigten 4D-Zellkernbereiche, mit Ausnahme der oben beschriebenen, wird berechnet. Um den Zellstammbaum zu erweitern, werden die beiden am nächsten liegenden vereinigten 4D-Zellkernbereiche als Tochterzellen ausgewiesen. Wenn jedoch der 4D-Abstand größer ist als ein vorgegebener Wert, werden sie nicht als Tochterzellen ausgewiesen.
Im einzelnen werden die folgenden Schritte angewendet.

1. Wählen des Zellkerns (es können mehrere sein), der den frühesten Zeitpunkt des Erscheinens zeigt, um ihn zum Zellstammbaum hinzuzufügen. Dieser wird zur Mutterzelle des Zellstammbaums.
2. Wählen eines Zellkerns, der den frühesten Zeitpunkt des Verschwindens zeigt, aus den Zellkernen, die bereits in dem Zellstammbaum vorhanden sind. Dieser wird als Np ausgewiesen.
3. Wählen von zwei Zellkernen, zwischen denen der 4D-Abstand am kürzesten ist und zwischen denen der Abstand kleiner oder gleich dem Schwellwert (100) ist, aus Np, um sie als Tochterzellen zum Zellstammbaum hinzuzufügen.
4. Wiederholen der Schritte 2 bis 3, bis eine Erweiterung des Zellstammbaums unmöglich wird.

Wobei, wenn zwei Zellkernbereiche in t1, t2 an den Positionen (x1, y1, z1) und (x2, y2, z2) erscheinen, der 4D-Abstand d in jedem dieser beiden Bereiche durch die folgende Gleichung definiert ist. cz und ct sind Wichtungen von Abständen in zeitlichen und räumlichen Richtungen, und spezifische Werte von cz und ct sind 2 bzw. 10.
[B] Zellstammbaum-Konstruktionssystem mit einem Rückführungsmechanismus
Eine weitere erfindungsgemäße Ausführungsform eines Verfahrens und Systems zur Extraktion des Zellstammbaums wird nachstehend unter Bezugnahme auf die Zellstammbaumherstellung des frühen C. elegans-Embryos beschrieben. 14 ist ein Blockdiagramm des Systems, wobei das System aufweist: [I] einen Schritt des Aufnehmens eines 4D-Nomarski-Mikroskopbildes des frühen C. elegans-Embryos, [II] Festlegen eines Zellkernkandidatenbereichs gemäß dem Bildverarbeitungsalgorithmus zur Zellkernerkennnung, [III] einen Mechanismus zum Wählen des Zellkernbereichs unter Verwendung des Rückführungsmechanismus, [IV] bei Bedarf einen Schritt des manuellen Entfernens des falsch identifizierten Bereichs und [V] einen Schritt des Vereinigens der Zellkerninformation, die dem Bild in einer Vielzahl von Fokalebenen und einer Vielzahl von Zeitpunkten (Zeitreihe) entnommen ist, d.h. einen Vereinigungsalgorithmus des Zellkernbereichs, der vom identischen Zellkern abstammt, und [VI] einen Schritt des Konstruierens des Zellstammbaums aus der zeitlichen und räumlichen Information über das Erscheinen und Verschwinden des vereinigten 4D-Zellkernbereichs.
[I] Aufnehmen von 4D-Bildern
Für die Bilderzeugung des 4D-Bildes des frühen C. elegans-Embryos unter Verwendung des Nomarski-Mikroskops kann die Beschreibung der ersten Ausführungsform unverändert übernommen werden.
[II] Zuweisen des Zellkernkandidatenbereichs durch den Zellkernerkennnungs-Bildverarbeitungsalgorithmus
Der Zellkernerkennungs-Bildverarbeitungsalgorithmus ist in zwei Kategorien eingeteilt: eine Bildverarbeitungsalgorithmusgruppe; und einen Algorithmus, der das Ergebnis der Bildverarbeitung vereinigt. Für die Bildverarbeitungsalgorithmusgruppe kann die Beschreibung der ersten Ausführungsform unverändert übernommen werden. Zum Schluß können der Zellkernerkennnungsalgorithmus A, der Zellkernerkennnungsalgorithmus B und der Zellkernerkennungsalgorithmus C angewendet werden.
Als nächstes wird der Algorithmus, der das Ergebnis der Bildverarbeitung vereinigt, nachstehend beschrieben. Mit einem 4D-Mikroskopbild wird der Bereich (Zellkernkandidatenbereich), in dem das Vorhandensein des Zellkerns bestimmt wird, extrahiert, und es wird eine Wahrscheinlichkeitsbewertungsgröße (Zellkernbewertungsgröße) vergeben. Als ein spezifisches aktuelles Verfahren ist (a) das Schwellwertverfahren und (b) das Polarbereichsverfahren gebräuchlich.
[Schwellwertverfahren]
Dieses Verfahren dient zur Digitalisierung des Ergebnisses eines einzelnen Bildverarbeitungsalgorithmus unter Verwendung jedes spezifischen Schwellwerts und zur Festlegung des Zellkernkandidatenbereichs. Der zugewiesene Bereich wird entsprechend seiner Fläche und seiner Rundheit bewertet (Zellkernbewertungsgröße). Was das Ergebnis des Algorithmus C betrifft, so wird der durch die Korrektur hergestellte Bereich nach seiner Fläche und Rundheit bewertet.
[Polarbereichsverfahren]
Was das Ergebnis (vor der Digitalisierung) der einzelnen Bildverarbeitungsalgorithmen betrifft, so werden jedem Pixel des Bildes Graustufen (normalerweise 256 Graustufen) zuge wiesen, um einen Zellkernabschnitt schwärzlich erscheinen zu lassen (auch in einem Filter, das jeden Abschnitt weißlich erscheinen läßt, wird dieser Zustand durch Umkehrung von schwarz und weiß erzeugt). Polarbereiche in einer Richtung zum Schwarz in diesem Bild werden zusammen mit einer Bewertungsgröße extrahiert. Ein Polarbereich in einer Richtung zum Schwarz ist der Bereich, wo (i) jeder Pixelwert in dem Bereich einen höheren Schwärzungsgrad zeigt als jeder Wert der Pixel, die an eine Kontur des Bereichs angrenzen, und (ii) der Bereich eine vorbestimmte runde Form hat (die Verwendung des Wertes, der nahezu einer Größe des Zellkerns im Bild entspricht, ist besonders bevorzugt). Seine Bewertungsgröße hängt von der Dunkelfärbung und der Gesamtfläche jedes Pixels in dem Bereich ab. Dieser Vorgang wird für jeden Algorithmus zur Vereinigung des Bildverarbeitungsergebnisses unabhängig durchgeführt, wobei eine geeignete Gewichtung verwendet wird. Diese Polarbereiche in einer Richtung zum Schwarz und ihre Bewertungsgrößen werden als Zellkernkandidatenbereich bzw. als Zellkernbewertungsgröße des Kandidatenbereichs definiert. Das Bild wurde vor der Digitalisierung im Fall eines Kirschfilters bzw. eines Prewittfilters geglättet und einer Abstandstransformation unterzogen. Im Fall des Algorithmus C gibt es drei Verfahrensarten, die für das Polarbereichsverfahren geeignet sind. (i) Durchführen der Erkennung und Bewertung des Zellkernbereichs, wie es mit den anderen Algorithmen erfolgt, unter Verwendung des "Lösungsschritts zur Verwendung der Intensitätswertdifferenz", (ii) Erkennen des Bereichs, wobei nur das berücksichtigt wird, was als ein Embryobereich in den unter (i) ermittelten Bereichen identifiziert ist, als den Zellkernbereich unter Verwendung des "Embryobereichsermittlungsalgorithmus" und (iii) Erkennen des Bereichs, wobei nur das berücksichtigt wird, was als Embryobereich in unter (i) ermittelten Bereichen identifiziert ist, und nicht die Zellgrenze, wie unter Verwendung des "Zellgrenzenermittlungsalgorithmus" erkannt, als den Zellkernbereich unter Verwendung des "Embryobereichsermittlungsalgorithmus".
[III] Ein Mechanismus zum Wählen des Zellkernbereichs unter Verwendung des Rückführungsmechanismus
Die Rückführung der Zellkernerkennnung wird nachstehend beschrieben. Dieser Algorithmus verwendet den Zellkernkandidatenbereich mit einer Zellkernbewertungsgröße, die durch den oben beschriebenen Algorithmus zur Vereinigung des Bildverarbeitungsergebnisses bereitgestellt wird, als Eingangsgröße und verwendet danach die Rückführung des Ergebnisses der Zellstammbaumkonstruktionsarbeit, um den Zellkernbereich (Bereich, der als die Stelle bestimmt ist, an der sich der Zellkern befindet) zu extrahieren. Insbesondere findet die Rückführung Verwendung bei jedem Probelauf (i) der Vereinigung der Zellkernbereiche, die in einem identischen Zeitpunkt und auf einer identischen Fokalebene vorhanden sind, (ii) der Vereinigung der 4D-Zellkernbereiche und (iii) der Konstruktion des Zellstammbaums, um schließlich in dieser Reihenfolge den Zellkernbereich zu extrahieren. Die Rückführung kann teilweise weggelassen werden.
Rückführungsdaten werden als Information zur Änderung der Zellkernbewertungsgröße verwendet, wobei eine "Zellkernbewertungsgröße (Bewertungsgröße, mit welcher Wahrscheinlichkeit es sich um den Zellkern handelt)" mit "einem vorgegebenen Wert" verglichen wird. Der Begriff "vorgegebener Wert" bezeichnet einen spezifischen Wert, der vor Ausführung des Programms angegeben wird. Der vorgegebene Wert beeinflußt die Leistungsfähigkeit des Rückführungssystems, und es sollte deshalb ein optimaler Wert gewählt werden. Im aktuellen System wird ein Bildalgorithmus auf mehrere Beispiele einer 4D-Mikroskopbildprobe angewendet, und der beim Ausbleiben einer falschen Identifizierung gewonnene Wert (d.h., der Wert, der für alle ermittelten Zellkernbereiche echte Zellkerne anzeigt) wird verwendet.
Der Ablauf des Rückführungsmechanismus wird nachstehend beschrieben. Zunächst erfolgt die "Rückführung (i) von einem Vorgang zur Vereinigung von Zellkernbereichen, die in einem identischen Zeitpunkt und auf der identischen Fokalebene vorhanden sind". Dabei wird die Zellkernbewertungsgröße der Zellkernkandidatenbereiche, die in dem als mutmaßlicher Zellkern bereich bestimmten Bereich enthalten sind, um den dieser Rückführung zugewiesenen Wert erhöht. Dabei werden von diesen Zellkernkandidatenbereichen diejenigen, deren Zellkernbewertungsgröße den vorgegebenen Wert der Zellkernbewertungsgröße "bei Verarbeitung nach den Algorithmen zur Vereinigung der Bildverarbeitungsergebnisse" überschreitet, als Zellkernbereiche bestimmt. Andererseits wird bei denen, die diesen vorgegebenen Wert nicht überschreiten, die Zellkernbewertungsgröße für die Erhöhung verworfen und die Zellkernbewertungsgröße mit dem ursprünglichen Wert zur Wiederherstellung als einen der Zellkernkandidatenbereiche, neu zugewiesen. Als nächstes werden die Zellkernbereiche, die den derartig neu hinzugefügten Zellkernbereich enthalten, in einem nachfolgenden Prozeß eingegeben, um die Rückführung von dem "Vorgang zur Vereinigung der Zellkernbereiche, die in einem identischen Zeitpunkt und auf der identischen Fokalebene vorhanden sind" zu wiederholen. Wenn nach der Wiederholung der Rückführung keine neuen Zellkernbereiche von diesem Rückführungsmechanismus hinzugefügt werden, dann wird "ein Vorgang zur Vereinigung der 4D-Zellkernbereiche (ii)" ausgeführt. Bei dieser Rückführung wird die Zellkernbewertungsgröße, die nur für diese Rückführung einmalig ist, dem Zellkernkandidatenbereich hinzugefügt. Auf gleiche Weise wie oben beschrieben wird diese Rückführung so lange ausgeführt, bis kein neuer Zellkernbereich hinzugefügt wird. Nach dieser Stufe wird die Rückführung vom "Vorgang zur Konstruktion der Zellstammbaum (iii)" so lange ausgeführt, bis der neue Zellkernbereich nicht mehr von diesem Rückführungsmechanismus hinzugefügt wird. Damit die Rückführung effektiv funktioniert, sollte die dem Zellkernkandidatenbereich hinzugesetzte Zellkernbewertungsgröße sich bei jeder Rückführung verhalten wie (i) < (ii) < (iii). Jede Rückführungsart wird nachstehend einzeln beschrieben.
[Rückführung vom Vorgang zur Vereinigung von Zellkernbereichen, die in einem identischen Zeitpunkt und auf einer identischen Fokalebene vorhanden sind]
Dieser Prozeß schließt drei Prozesse ein: (a) Wählen von Zellkernbereichen, (b) Vereinigen von Zellkernbereichen in einem identischen Zeitpunkt und auf der identischen Fokalebene, und (c) Bestimmen des mutmaßlichen Zellkernbereichs.
(a) Wählen von Zellkernbereichen
(i) Verarbeitung nach den Algorithmen zur Vereinigung von Bildverarbeitungsergebnissen
Der Zellkernkandidatenbereich, dessen Zellkernbewertungsgröße den vorgegebenen Wert überschreitet, wird als Zellkernbereich bestimmt. Alle Zellkernkandidatenbereiche und Zellkernbereiche werden zusammen mit deren Zellkernbewertungsgröße gespeichert.
(ii) Verarbeitung nach einer Rückführung
Von den vorher gespeicherten Zellkernkandidatenbereichen wird die Zellkernbewertungsgröße derjenigen, deren Flächenschwerpunkt in dem von der Rückführung übergebenen mutmaßlichen Zellkernbereich enthalten ist, um den vorgegebenen Wert erhöht. Danach wird der Zellkernkandidatenbereich, dessen Zellkernbewertungsgröße den vorgegebenen Wert überschreitet, durch Hinzufügen zu dem vorher gespeicherten Zellkernbereich zum neuen Zellkernbereich bestimmt. Die Zellkernbereichsinformation wird zusammen mit der Zellkernbewertungsgröße aktualisiert.
(b) Vereinigen von Zellkernbereichen in einem identischen Zeitpunkt und auf einer identischen Fokalebene
Die Vereinigung von Zellkernbereichen, die von dem identischen Zellkern abstammen und für verschiedene 2D-Bilder erkannt werden, wird nachstehend beschrieben. Um zu erfahren, wann und wo welcher Zellkern im Bild erscheint und verschwindet, werden aus dem Ergebnis der 2D-Bilderkennung die auf verschiedenen 2D-Bildern erkannten identischen Zellkerne vereinigt (siehe 11).
(i) Vereinigen der vom identischen Zellkern abstammenden Zellkernbereiche, die in der Bildgruppe auf der identischen Fokalebene enthalten sind.
In der Gruppe von Bildern (die im z-Achsenkoordinatenwert übereinstimmen), die auf der identischen Fokalebene in einer Zeitreihe aufgenommen sind, werden diejenigen vereinigt, die von dem identischen Zellkern (Zellkernbereiche, bei denen die zeitliche Änderung des identischen Zellkerns verfolgt wird) in jedem Zellkernbereich dieser Bilder abstammen. Wenn die Zellkernbereiche N und N' mit den Koordinaten (x, y), (x', y') ermittelt werden, ist der 2D-Abstand dxy von N, N' wie folgt definiert, und die Bedingung für die Bestimmung der Abweichung der Zellkernbereiche von dem identischen Zellkern ist gesetzt. dxy(N, N') = √|x – x'|² + |y – y'|²
Mit diesem Abstand wird die Vereinigungsprozedur, ausgehend vom frühesten Zeitpunkt, wo einzelne Zellkerne ermittelt werden, nacheinander abgearbeitet. Mit dem identischen Fokus wird das Ergebnis der Zellkernerkennnung in der Zeitreihe zu einer Menge vereinigt. Die Schritte sind folgende:

1. Wählen des Zellkerns, der zum frühesten Zeitpunkt erscheint.
2. Im nächsten Zeitpunkt werden Zellkerne, zwischen denen der 2D-Abstand am kürzesten ist und die für kleiner oder gleich dem vorher zugewiesenen Schwellwert befunden werden (25 Pixel in unserem aktuellen System), als diejenigen (Nachkommen) identifiziert, die von dem identischen Zellkern abstammen, und vereinigt.
3. Wiederholen des Vorgangs 2, bis kein von dem identischen Zellkern abstammender Zellkern gefunden wird.
4. Wiederholen der Vorgänge 1 bis 3, bis alle Zellkerne vereinigt worden sind.

(ii) Vereinigung der Zellkernbereiche, die von dem identischen Zellkern abstammen, der in der Bildgruppe des identischen Zeitpunkts enthalten ist
Wie bei dem oben beschriebenen Verfahren werden die Zellkernbereiche, die von dem identischen Zellkern abstammen und in der Bildgruppe mit verschiedenen Fokalebenen (Koordinate z) in einem identischen Zeitpunkt enthalten sind, vereinigt. Die Ergebnisse der Zellkernerkennung in verschieden Fokalebenen in dem identischen Zeitpunkt werden zu einer Menge vereinigt. Der Schwellwert des Abstands im aktuellen System beträgt in diesem Fall 10 Pixel.
(c) Festlegen des mutmaßlichen Zellkernbereichs
Wenn der Zellkernbereich in einer bestimmten Fokalebene vorhanden ist, ist der vom Zellkern abstammende Zellkernbereich, der mit dem im Zellkernbereich identisch ist, mit großer Wahrscheinlichkeit auf den angrenzenden oberen und unteren Fokalebenen in dem identischen Zeitpunkt vorhanden. Insbesondere wird im Hinblick auf einen bestimmten Zellkernbereich eine Koordinate (Xc, Yc) eines Flächenschwerpunkts des Zellkernbereichs genommen und der Flächenbereich des Radialdurchmessers R um die Koordinate (Xc, Yc) in den angrenzenden oberen und unteren Bildern in dem identischen Zeitpunkt als mutmaßlicher Zellkernbereich bestimmt. In unserem aktuellen System wird R als Radialdurchmesser eines normalen Zellkerns festgelegt. Das Bild wird ebenso in den angrenzenden Zeitpunkten auf der identischen Fokalebene verarbeitet. Das heißt, für den oben beschriebenen Zellkernbereich wird eine Kreisfläche mit einem Radialdurchmesser R um die Koordinate (Xc, Yc) auf den angrenzenden Bildern auf der identischen Fokalebene und in dem identischen Zeitpunkt als mutmaßlicher Zellkernbereich bestimmt.
(d) Rückführung
Der aus dem Ergebnis von (c) gewonnene mutmaßliche Zellkernbereich wird (a) zugeführt, um die Vorgänge von (a) bis (d) zu wiederholen. Nach einigen Rückführungsvorgängen wird ein aus (b) gewonnener 3D-Zellkernbereich an den nächsten Schritt des Vereinigens der 4D-Zellkernbereiche übergeben.
[Rückführung vom Vorgang des Vereinigens von 4D-Zellkernbereichen]
Dieser Prozeß weist vier Prozesse auf: (a) Wählen von 3D-Zellkernbereichen, (b) 4D-Vereinigen von Zellkernbereichen, (c) Festlegen des mutmaßlichen Zellkernbereichs und (d) Rückführung.
(a) Wählen von 3D-Zellkernbereichen
Die Rückführung vom Vorgang des Vereinigens von Zellkernbereichen, die in dem oben beschriebenen identischen Zeit punkt und in der identischen Fokalebene vorhanden sind, wird fortgesetzt, bis jede Auswirkung ausbleibt.
(b) 4D-Vereinigung von Zellkernbereichen
Wenn eine Kombination von vereinigten Zellkernbereichen vorhanden ist, die einen gemeinsamen Zellkernbereich zwischen den Zellkernbereichen (vereinigter Zellkernbereich), die in der Zeitreihe und in der Fokusrichtung vereinigt sind, haben, gelten diese als ein von einem identischen Zellkern abstammender, vereinigter Zellkernbereich und werden weiter vereinigt (in einem 4D-Bild vereinigter Zellkernbereich wird als vereinigter 4D-Zellkernbereich bezeichnet). Wenn die Mengen, die den identischen Zellkern enthalten, von den einzelnen Mengen, die in der Bildgruppe mit der identischen Fokalebene und der Bildgruppe mit dem identischen Zeitpunkt vereinigt worden sind, zu einer Menge vereinigt werden, gilt die Menge, in der fünf oder weniger Bilder erkannt werden, als Fragment und wird nicht im Zellstammbaum verwendet. 12 ist eine Ansicht, die die Vereinigung eines Zellkernbereichs darstellt. Ein offener Kreis stellt ein Bild dar, auf dem der vorbestimmte Zellkern nicht wahrgenommen wurde, und der ausgefüllte Kreis zeigt ein Bild, auf dem der vorbestimmte Zellkern wahrgenommen wurde. Die durchgezogene Längslinie zeigt eine Menge an, die als derselbe Zellkern erkannt wird. Die quer dazu verlaufende punktierte Linie zeigt eine Menge an, die als derselbe Zellkern erkannt wird.
(c) Zuweisen des mutmaßlichen Zellkernbereichs
Der mutmaßliche Zellkernbereich wird unter Verwendung einer Information über eine angrenzende Fokalebene und eine Information über einen angrenzenden Zeitpunkt zugewiesen. Insbesondere wenn in unserem aktuellen System ein Bereich vorhanden ist, in dem der von dem identischen Zellkern abstammende Zellkernbereich in 3 oder mehr Bildern von 4 Bildern vorhanden ist (2 Bilder in dem identischen Zeitpunkt und auf der angrenzenden Fokalebene und 2 Bilder auf der identischen Fokalebene und im angrenzenden Zeitpunkt), wird ein Vereinigungsbereich einer Kreisfläche mit dem Radialdurchmesser R um den Flächen schwerpunkt dieser Zellkernbereiche dem mutmaßlichen Zellkernbereich zugewiesen.
(d) Rückführung
Der aus dem Ergebnis von (c) gewonnene mutmaßliche Zellkernbereich wird (a) zugeführt, um die Vorgänge von (a) bis (d) zu wiederholen. Nach einigen Rückführungsvorgängen wird ein gemäß (b) gewonnener, vereinigter 4D-Zellkernbereich an den nächsten Zellstammbaum-Herstellungsschritt übergeben.
[Rückführung vom Vorgang der Herstellung des Zellstammbaums]
Dieser Prozeß weist 4 Prozesse auf: (a) Wählen von 4D-Zellkernbereichen, (b) Herstellung der Zellstammbaum, (c) Festlegen des mutmaßlichen Zellkernbereichs und (d) Rückführung.
(a) Wählen von 4D-Zellkernbereichen
Der Vorgang der Rückführung vom Vereinigungsvorgang der oben beschriebenen 4D-Zellkernbereiche wird so lange fortgesetzt, bis jede Wirkung ausbleibt.
(b) Herstellung eines Zellstammbaums
In diesem Prozeß werden die beiden Prozesse (i) der Konstruktion einer Dreier-Mutter-Tochter-Beziehung zwischen 4D-Zellkernbereichen und (ii) der Konstruktion einer Paar-Mutter-Tochter-Beziehung zwischen 4D-Zellkernbereichen in dieser Reihenfolge durchgeführt.
(i) Konstruktion einer Dreier-Mutter-Tochter-Beziehung zwischen 4D-Zellkernbereichen
In diesem Prozeß werden drei 4D-Zellkernbereiche mit einem Mutterzellkern und ihren beiden Tochterzellkernen nach der Zellteilung erkannt.
4D-Zellkernbereiche sind mit N₁, N₂, ... N_n bezeichnet. Jeder 4D-Zellkernbereich (Ni) enthält die folgende Information.
Zeitpunkt des Erscheinens T_ei: der früheste Zeitpunkt, in dem das Bild im 4D-Zellkernbereich erscheint.
Zeitpunkt des Verschwindens T_di: der späteste Zeitpunkt, in dem das Bild im 4D-Zellkernbereich verschwindet.
Position des Erscheinens P_ei = (X_ei, Y_ei, Z_ei): (X, Y, Z)-Koordinaten des Flächenschwerpunkts des 3D-Zellkernbereichs im Zeitpunkt des Erscheinens.
Position des Verschwindens P_di = (X_di, Y_di, Z_di): (X, Y, Z)-Koordinaten des Flächenschwerpunkts des 3D-Zellkernbereichs im Zeitpunkt des Verschwindens.
Von allen vorhandenen 4D-Zellkernbereichen wird eine Menge von drei 4D-Zellkernbereichen in allen möglichen Kombinationen hergestellt. Von den einzelnen Mengen von 4D-Zellkernbereichen werden diejenigen mit dem frühesten Zeitpunkt des Verschwindens den 4D-Mutterzellkernbereichen (N_m) zugewiesen, während der Rest den 4D-Tochterzellkernbereichen (N_d1, N_d2) zugewiesen wird. Die Bewertungsgröße (Dreier-Mutter-Tochter-Bewertungsgröße), die die Möglichkeit ausdrückt, daß diese drei Kombinationen von 4D-Zellkernbereichen echte Mengen von Mutter-Tochter-Zellkernen sind, wird berechnet.
In unserem aktuellen System zeigt die Bewertungsgröße (i) den Zeitpunkt des Verschwindens des 4D-Mutterzellkernbereichs und die Zeitpunkte des Erscheinens der beiden 4D-Tochterzellkernbereiche, (ii) den Abstand zwischen der Position des Verschwindens des 4D-Mutterzellkernbereichs und den Positionen des Erscheinens der beiden 4D-Tochterzellkernbereiche und (iii) die Positionsbeziehung zwischen der Position des Verschwindens des 4D-Mutterzellkernbereichs und den Positionen des Erscheinens der beiden 4D-Tochterzellkernbereiche (insbesondere, ob sich die Position des Verschwindens der 4D-Mutterzellkernbereiche nahe oder nicht nahe an einem Mittelpunkt der Position des Erscheinens der beiden 4D-Tochterzellen befindet). Im einzelnen ist die aktuelle Bewertungsgröße F₃(N_m, N_d1, N_d2) wie folgt:
wobei

T(N₁, N₂): = (Zeitpunkt des Verschwindens von N1) – (Zeitpunkt des Erscheinens von N2)
S(N₁, N₂): = Abstand zwischen (Position des Verschwindens von N1) und (Position des Erscheinens von N2)
V(N₁, N₂): = Vektor von (Position des Verschwindens von N1) bis (Position des Erscheinens von N2) (X_e2 – X_d1, Y_e2 – Y_e1, Z_e2 – Z_e1)
K_3t, K_3s, K_3y, C_3t, C_3s: sind geeignete Konstanten.

Wie oben beschrieben wird die Dreier-Mutter-Tochter-Bewertungsgröße aller vorhandenen drei 4D-Zellkernbereiche berechnet, die Dreier-Mutter-Tochter-Beziehung in absteigender Reihenfolge bezüglich der Höhe des Bewertungsergebnisses bestimmt, und bis eine Kombination mit einer Bewertungsgröße unter dem Schwellwert auftritt, werden diese Vorgänge nacheinander wiederholt. Wenn eine unverträgliche Mutter-Tochter-Beziehung auftritt, erhält die Mutter-Tochter-Beziehung mit einer guten Bewertungsgröße Priorität.
(ii) Konstruktion einer Paar-Mutter-Tochter-Beziehung im 4D-Zellkernbereich.
Zwei Mengen von 4D-Zellkernbereichen, die nach der Zellteilung entweder den Mutterzellkern oder einen von zwei Tochterzellkernen darstellen, werden aus 4D-Zellkernbereichen gesucht, in denen mindestens eine, nämlich eine Mutter und/oder deren Tochter unter (i) nicht bestimmt worden ist.
Alle möglichen Zweiermengen werden aus 4D-Zellkernbereichen hergestellt, in denen mindestens entweder die Mutter oder deren Tochter unter (i) nicht bestimmt worden ist. Von diesen Mengen von 4D-Zellkernbereichen werden diejenigen, die einen früheren Zeitpunkt des Verschwindens aufweisen, den 4D-Mutterzellkernbereichen (Nm) und die verbleibenden den 4D-Tochterzellkernbereichen (Nd, Nd) zugewiesen. Die Bewertungsgröße (Paar-Mutter-Tochter-Bewertungsgröße) der Wahrscheinlichkeit, mit der eine Kombination dieser beiden 4D-Zellkernbereiche die echte Menge von Mutter- und Tochterzellkernen ist, wird berechnet.
In unserem aktuellen System zeigt die Bewertungsgröße (i) den Zeitpunkt des Verschwindens des 4D-Mutterzellkernbereichs und den Zeitpunkt des Erscheinens der beiden 4D- Tochterzellkernbereiche und (ii) den Abstand zwischen der Position des Verschwindens des 4D-Mutterzellkernbereichs und die Positionen des Erscheinens der beiden 4D-Tochterzellkernbereiche. Insbesondere ist die aktuelle Bewertungsgröße F₂(N_m, N_d) wie folgt: F2(Nm, Nd) = –K2t((T(Nm, Nd) – C2t)2) – K2s((S(Nm, Nd) – C2s)2)wobei

K_2t, K_2s, C_2t, C_2s: geeignete Konstanten sind.

Wie oben beschrieben, werden die Paar-Mutter-Tochter-Bewertungsgrößen zweier 4D-Zellkernbereiche berechnet und die Kombination, die ein Ergebnis zeigt, das besser ist als die Bewertungsgröße, die den Schwellwert darstellt, wird so bestimmt, daß sich eine Paar-Mutter-Tochter-Beziehung ergibt.
(c) Zuweisung des mutmaßlichen Zellkernbereichs
Der mutmaßliche Zellkernbereich wird unter Verwendung der Dreier-Mutter-Tochter-Beziehung und der Paar-Mutter- Tochter-Beziehung zugewiesen.
(i) Zuweisung des mutmaßlichen Zellkernbereichs unter Verwendung der Dreizellkernbereich-Mutter-Tochter-Beziehung
In der 4D-Zellkernbereichsmenge, aus der die Dreizellkernbereich-Mutter-Tochter-Beziehung bestimmt worden ist, wird unter Verwendung des Zeitpunkts des Verschwindens des 4D-Mutterzellkernbereichs und des Zeitpunkts des Erscheinens der beiden 4D-Tochterzellkernbereiche der mutmaßliche Zellkernbereich zugewiesen. Man geht davon aus, daß bei dem Zellkernbereich, der in einzelnen 4D-Zellkernbereichen enthalten ist, beim Zeitpunkt des Verschwindens des 4D-Mutterzellkernbereichs und beim Zeitpunkt des Erscheinens zweier 4D-Tochterzellkernbereiche die Wahrscheinlichkeit des Vorhandenseins des Zellkernbereichs, der von dem Zellkern abstammt, der mit seinem Zellkernbereich auf den angrenzenden oberen und unteren Fokalebenen in dem identischen Zeitpunkt und dem Zeitpunkt unmittelbar davor und danach identisch ist, hoch ist. Insbesondere werden im Hinblick auf den Zellkernbereich im Zeitpunkt des Erscheinens oder im Zeitpunkt des Verschwindens die Koordinaten (Xc, Yc) des Flächenschwerpunkts des Zellkernbereichs aufgenommen und der Bereich mit dem Radialdurchmesser R als der mutmaßliche Zellkernbereich bestimmt, und ein gleichzeitiger Punkt von diesem, das Bild auf den angrenzenden oberen und unteren Fokalebenen und der identischen Fokalebene, das Bild unmittelbar vor und nach dem angrenzenden Zeitpunkt, der Bereich mit dem Radialdurchmesser R um jede Koordinate (Xc, Yc), werden dem mutmaßlichen Zellkernbereich zugewiesen. R ist in unserem aktuellen System auf den Radialdurchmesser des normalen Zellkerns festgelegt.
(ii) Festlegung des mutmaßlichen Zellkernbereichs unter Verwendung der Paar-Mutter-Tochter-Beziehung
Es wird angenommen, daß bei Mengen des 4D-Zellkernbereichs, für die die Paar-Mutter-Tochter-Beziehung entschieden worden ist, der mutmaßliche Zellkernbereich unter Verwendung des Zeitpunkts des Verschwindens des 4D-Mutterzellkernbereichs und der Zeitpunkt des Erscheinens des 4D-Tochterzellkernbereichs bestimmt wird. In dem Zellkernbereich, der in einzelnen 4D-Zellkernbereichen im Zeitpunkt des Verschwindens des 4D-Mutterzellkernbereichs und im Zeitpunkt des Erscheinens des 4D-Tochterzellkernbereichs enthalten ist, wird eine größere Wahrscheinlichkeit des Vorhandenseins des von dem identischen Zellkern abstammenden Zellkernbereichs auf den angrenzenden oberen und unteren Fokalebenen in dem identischen Zeitpunkt und in dem Zeitpunkt unmittelbar davor und danach auf den identischen Fokalebenen wahrgenommen. Ein spezifisches Verfahren ist bereits unter (i) beschrieben.
Es wird angenommen, daß im Zeitpunkt des Erscheinens des 4D-Tochterzellkernbereichs, die größere Wahrscheinlichkeit des Erscheinens einer weiteren Tochterzelle um die Position wahrgenommen wird, die symmetrisch in bezug auf die Position beim Erscheinen des 4D-Tochterzellkernbereichs ist, wobei die Position des Verschwindens des 4D-Mutterzellkernbereichs ein Mittelpunkt ist, und dementsprechend wird der mutmaßliche Zellkernbereich zugewiesen. Insbesondere im Zeitpunkt des Erscheinens der Tochterzelle und in den Zeitpunkten unmittelbar davor und danach wird eine Kreisfläche mit dem Radialdurchmesser R um die Position, die symmetrisch in bezug auf die oben beschriebene Position der Tochterzelle ist, als ein mutmaßlicher Zellkernbereich angenommen. Im aktuellen System wird R auf den Radialdurchmesser der normalen Zelle festgelegt.
(d) Rückführung
Der aus dem Ergebnis von (c) gewonnene mutmaßliche Zellkernbereich wird (a) zugeführt, um die Vorgänge von (a) bis (d) zu wiederholen. Nach mehreren Zyklen dieses Rückführungsvorgangs wird der unter (b) gewonnene vereinigte 4D-Zellkernbereich an den nächsten Schritt als Ergebnis eines Zellkernbereich-Wählmechanismus durch einen Rückführungsmechanismus ausgegeben.
[IV] Entfernen von falsch identifizierten Zellkernbereichen
Anschließend werden die falsch identifizierten Zellkernbereiche aus den Ergebnissen der automatischen Zellkernerkennnung manuell entfernt. Zu Einzelheiten nehmen Sie bitte auf die Beschreibung der ersten Ausführungsform und 8 bis 10 Bezug. Dieser Schritt ist nicht wesentlich für die Erfindung.
[V] Vereinigen von Zellkerninformationen
Das Vereinigen von Zellkerninformationen, die von in verschiedenen 2D-Bildern erkannten identischen Zellkernen stammen, wird nachstehend beschrieben. Die in verschiedenen 2D-Bildern erkannten identischen Zellkerne werden vereinigt, um aus dem Erkennungsergebnis der 2D-Bilder zu erfahren, wann und wo jeder Zellkern im Bild erscheint und verschwindet. Für das Vereinigen von Zellkerninformation trifft die Beschreibung der ersten Ausführungsform zu, und 11 kann in Betracht gezogen werden. In 11 ist die Horizontalachse die Zeitachse (Zeit), und die Vertikalachse ist die Fokalachse (Fokalebene).
[Vereinigen von Zellkernbereichen, die von einem identischen Zellkern abstammen und die in der Bildgruppe mit der identischen Fokalebene enthalten sind]
Wenn eine Gruppe von Bildern in der identischen Fokalebene in einer Zeitreihe aufgenommen wird (alle mit dem gleichen Wert der z-Achsenkoordinate), werden die Zellkernbereiche (bei denen die zeitliche Änderung des identischen Zellkerns verfolgt wird), die von dem identischen Zellkern in jedem Zellkernbereich dieser Bilder abstammen, vereinigt. Wenn die Zellkernbereiche N und N' aus den Koordinaten (x, y), (x', y') ermittelt werden, wird der 2D-Abstand dxy von N, N' wie folgt definiert, und die Bedingung für die Bestimmung der Abstammung der Zellkernbereiche von dem identischen Zellkern wird festgelegt. dxy(N, N') = √|x – x'|² + |y – y'|²
Bei Verwendung dieses 2D-Abstands wird der Vereinigungsvorgang nacheinander ausgeführt, beginnend mit dem frühesten Zeitpunkt, in dem einzelne Zellkerne ermittelt werden. Das heißt, in dem identischen Fokus wird das Ergebnis der Zellkernerkennnung in der Zeitreihe zu einer Menge vereinigt. Die Schritte sind folgende:

1. Wählen des Zellkerns, der am frühesten erscheint.
2. Als nächstes werden vereinigte Zellkerne, zwischen denen der kürzeste 2D-Abstand, d.h. der Abstand dxy, gespeichert ist, und bei denen dieser Abstand unter einem vorher zugewiesenen entsprechenden Schwellwert (25 Pixel in unserem aktuellen System) liegt, als diejenigen (Nachkommen) identifiziert, die von dem identischen Zellkern abstammen.
3. Wiederholen des Vorgangs 2, bis kein Zellkern, der von dem identischen Zellkern abstammt, gefunden wird.
4. Wiederholen der Vorgänge 1 bis 3, bis alle Zellkerne vereinigt worden sind.

[Vereinigen von Zellkernbereichen, die von dem identischen Zellkern abstammen und die in der Bildgruppe mit dem identischen Zeitpunkt enthalten sind]
Wie bei dem oben beschriebenen Verfahren wird der Zellkernbereich, der von dem identischen Zellkern stammt und in der Bildgruppe mit verschiedenen Fokalebenen (Koordinate z) in dem identischen Zeitpunkt enthalten ist, vereinigt. Die Ergebnisse der Erkennung von Zellkernen auf verschiedenen Fokalebenen in dem identischen Zeitpunkt werden zu einer Menge vereinigt. Der Schwellwert des Abstands beträgt in unserem aktuellen System in diesem Fall 10 Pixel.
[Vereinigen von Zellkernbereichen, die von dem identischen Zellkern abstammen und die in allen 4D-Bildern auftreten]
Wenn eine Kombination des vereinigten Zellkernbereichs, bei dem der Zellkernbereich gemeinsam von den Zellkernbereichen eingenommen wird, die in jeder Zeitreihe und Fokusrichtung vereinigt sind (vereinigter Zellkernbereich), vorhanden ist, werden diese als der vereinigte Zellkernbereich betrachtet, der von dem identischen Zellkern abstammt, und es wird entschieden, diese weiter zu vereinigen (der im 4D-Bild vereinigte Zellkernbereich wird als vereinigter 4D-Zellkernbereich bezeichnet). Von einzelnen Mengen, die in der Bildgruppe auf dem identischen Fokus und in dem identischen Zeitpunkt vereinigt sind, gilt eine beliebige Menge, die in nur fünf oder weniger Bildern erkannt wird, während Mengen, die den identischen Zellkern enthalten, zu einer Menge vereinigt werden, als Fragment und wird nicht für den Zellstammbaum verwendet. 12 ist die Darstellung, die die Vereinigung von Zellkernbereichen zeigt. Der offene Kreis zeigt das Bild, auf dem ein vorbestimmter Zellkern nicht wahrgenommen wurde, und der ausgefüllte Kreis zeigt das Bild, auf dem der vorbestimmte Zellkern wahrgenommen wurde. Die Längsgerichtete ausgezogene Linie zeigt eine Menge an, die als derselbe Zellkern erkannt ist. Die quer dazu verlaufende punktierte Linie zeigt eine Menge an, die als derselbe Zellkern erkannt ist.
[VI] Konstruieren des Zellstammbaums
Der vereinigte 4D-Zellkernbereich enthält Information über den Zeitpunkt und die Position des Erscheinens und Verschwindens des Zellkerns im Bild. Die Zellstammbaum wird auf dieser Grundlage konstruiert (13). Für die Konstruktion des Zellstammbaums kann der Lösungsschritt der ersten Ausführungsform verwendet werden. Jedoch ist bei der zweiten Ausführungsform ein anderer Lösungsschritt gebräuchlich. In diesem Prozeß werden zwei Unterprozesse, nämlich (i) Konstruktion der Dreier-Mutter-Tochter-Beziehung des 4D-Zellkernbereichs und (ii) Konstruktion der Paar-Mutter-Tochter-Beziehung des 4D-Zellkernbereichs in dieser Reihenfolge durchgeführt.
(i) Konstruktion der Dreier-Mutter-Tochter-Beziehung des 4D-Zellkernbereichs.
In diesem Prozeß werden drei 4D-Zellkernbereiche, die den Mutter-Zellkern und zwei Tochter-Zellkerne nach der Zellteilung darstellen, durchsucht.
Die 4D-Zellkernbereiche werden durch N₁, N₂, ... N_n dargestellt. Jeder 4D-Zellkernbereich (N_i) enthält die folgende Information:
Zeitpunkt des Erscheinens T_ei: der früheste Zeitpunkt, in dem das Bild im 4D-Zellkernbereich erscheint.
Zeitpunkt des Verschwindens T_di: der späteste Zeitpunkt, in dem das Bild im 4D-Zellkernbereich verschwindet.
Position beim Erscheinen P_ei = (X_ei, Y_ei, Z_ei): (X, Y, Z)-Koordinaten des Flächenschwerpunkts des 3D-Zellkernbereichs im Zeitpunkt der Erscheinens.
Position beim Verschwinden P_di = (X_di, Y_di, Z_di): (X, Y, Z)-Koordinaten des Flächenschwerpunkts des 3D-Zellkernbereichs im Zeitpunkt des Verschwindens.
Von allen vorhandenen 4D-Zellkernbereichen, wird die Menge von drei 4D-Zellkernbereichen in allen möglichen Kombinationen gebildet. Von den einzelnen Mengen von 4D-Zellkernbereichen werden diejenigen, die den frühesten Zeitpunkt des Verschwindens zeigen, den 4D-Mutterzellkernbereichen (N_m) zugewiesen, und die verbleibenden werden den 4D-Tochterzellkernbereichen (N_d1, N_d2) zugewiesen. Die Bewertungsgröße (Dreier-Mutter-Tochter-Bewertungsgröße), die die Wahrscheinlichkeit ausdrückt, mit der diese drei Kombinationen von 4D-Zellkernbereichen echte Mengen von Mutter-Tochterzellkernen sind, wird berechnet.
In unserem aktuellen System stellt die Bewertungsgröße dar: (i) den Zeitpunkt des Verschwindens des 4D-Mutterzellkernbereichs und den Zeitpunkt des Erscheinens von zwei 4D-Tochterzellkernbereichen, (ii) den Abstand zwischen der Position beim Verschwinden des 4D-Mutterzellkernbereichs und der Positionen beim Erscheinen von zwei 4D-Tochterzellkernbereichen und (iii) die Beziehung zwischen der Position beim Verschwinden des 4D-Mutterzellkernbereichs und den Positionen beim Erscheinen von zwei 4D-Tochterzellkernbereichen (insbe sondere, ob sich die Position des Verschwindens des 4D-Mutterzellkernbereichs nahe dem Mittenpunkt der Position des Erscheinens der beiden 4D-Tochterzellen befindet oder nicht). Im einzelnen ist die aktuelle Bewertungsgröße F₃(N_m, N_d1, N_d2) wie folgt:
wobei

Wie oben beschrieben, wird die Dreier-Mutter-Tochter-Bewertungsgröße aller vorhandenen drei 4D-Zellkernbereiche berechnet, und die Dreier-Mutter-Tochter-Beziehung wird in absteigender Reihenfolge bezüglich der Höhe der Bewertungsgröße bestimmt, und diese Vorgänge werden nacheinander wiederholt, bis eine Kombination mit einer Bewertungsgröße unter dem festgelegten Schwellwert entsteht. Wenn eine unverträgliche Mutter-Tochter-Beziehung auftritt, hat die Mutter-Tochter-Beziehung mit der höchsten Bewertungsgröße eine höhere Priorität.
(ii) Konstruktion der Paar-Mutter-Tochter-Beziehungen im 4D-Zellkernbereich
Zwei Mengen von 4D-Zellkernbereichen, insbesondere solche, die den Mutterzellkern und einen von zwei Tochterzellkernen nach der Zellteilung darstellen, werden aus 4D-Zellkernbereichen gesucht, in denen mindestens eine, nämlich die Mutter und/oder die Tochter unter (i) nicht bestimmt worden ist.
Alle möglichen Doppelmengen sind aus 4D-Zellkernbereichen gebildet, in denen mindestens eine, nämlich die Mutter und/oder die Tochter unter (i) nicht bestimmt worden ist. Von diesen Mengen von 4D-Zellkernbereichen werden diejenigen, die den früheren Zeitpunkt des Verschwindens zeigen, den 4D-Mutterzellkernbereichen (Nm) zugewiesen, und die verbleibenden werden den 4D-Tochterzellkernbereichen (Nd, Nd) zugewiesen. Die Bewertungsgröße (Paar-Mutter-Tochter-Bewertungsgröße) der Wahrscheinlichkeit, mit der die Kombination dieser beiden 4D-Zellkernbereiche die Menge von echten Mutter- und Tochterzellkernen ist, wird berechnet.
Im aktuellen System enthält die Bewertungsgröße (i) den Zeitpunkt des Verschwindens des 4D-Mutterzellkernbereichs und den Zeitpunkt des Erscheinens von zwei 4D-Tochterzellkernbereichen und (ii) einen Abstand zwischen der Position des Verschwindens des 4D-Mutterzellkernbereichs und den Positionen des Erscheinens von zwei 4D-Tochterzellkernbereichen. Im einzelnen ist die aktuelle Bewertungsgröße F₂(N_m, N_d) wie folgt: F2(Nm, Nd) = –K2t((T(Nm, Nd) – C2t)2) – K2s((S(Nm, Nd) – C2s)2)wobei

K_2t, K_2s, C_2t, C_2s: geeignete Konstanten sind.

Wie oben beschrieben, werden die Paar-Mutter-Tochter-Bewertungsgrößen von zwei 4D-Zellkernbereichen alle berechnet, und es wird bestimmt, daß diejenigen, die Bewertungsgrößen erreichen, die höher sind als der Schwellwert, eine Paar-Mutter-Tochter-Beziehung aufweisen.
[C] Weitere Zellkernbereich-Extraktionsfilter
In den vorstehend beschriebenen beiden Ausführungsformen sind drei Bildverarbeitungsalgorithmen als Zellkernerkennnungsfilter angewendet worden. Das Zellkernerkennnungsfilter, das in der vorliegenden Erfindung verwendet wird, ist jedoch nicht auf diese beschränkt. Andere Ausführungsformen des Zellkernerkennungsfilters werden nachstehend beschrieben.
[Entropiefilter]
16 ist das Mikroskopbild eines frühen C. elegans-Embrios, das mit dem Nomarski-DIC-Mikroskop aufgenommen wurde. Der Zytoplasmaanteil (der grob beschaffen ist) zeigt einen re lativ großen Unterschied in den Graustufen, während der Zellkernanteil (der relativ glatt beschaffen ist) einen relativ kleinen Unterschied in den Graustufen zeigt. Das Entropiefilter dient zur effizienten Extraktion des glatten Anteils aus dem Bild. Dafür wird die Eigenschaft ausgenutzt, daß der Zytoplasmaanteil eine grobe Bildqualität hat, während im Gegensatz dazu der Zellkernanteil eine relativ gleichmäßige Bildqualität hat. Wie in 15 dargestellt, wird im Originalbild ein Anfangspunkt (x, y) bestimmt. Die Koordinate x erstreckt sich von 0 bis (Bildbreite minus Fensterbreite) und y erstreckt sich von 0 bis (Bildhöhe minus Fensterhöhe). Als nächstes wird das Bild durch ein Fenster mit der Größe (Breite, Höhe) = (A, B) vom Anfangspunkt aus abgeteilt. Die Entropie des abgeteilten Fensters wird berechnet, um die Koordinaten (x, y) eines resultierenden Bildes für spätere Verwendung zu speichern.
Die Entropie wird auf der Grundlage der folgenden Gleichung berechnet.
In der Formel ist P(1) ein Graustufenhistogramm, das entsteht, wenn ein Graustufenhistogramm H(1) für den Bildbereich als Maß seiner charakteristischen Merkmale verwendet wird (bei einer Graustufe L, l = 0, 1, 2, ..., L – 1) und die Häufigkeit jeder Graustufe durch die Gesamthäufigkeit (Pixelanzahl N des Bildbereichs) geteilt wird und anschließend so normiert wird, daß die Gesamtpixelanzahl gleich 1,0 ist. Nach der Berechnung eines Referenzentropiewerts und einem Vergleich mit diesem, hebt sich der Zellkernbereich vom Zellplasmabereich ab.
Der Vorgang, der die Berechnung der Entropie eines kleinen Abschnitts einschließt, mit dem das Originalbild abgetastet wird, macht die effiziente Extraktion der Position des Zellkerns möglich. Die Entropiefenstergröße hängt von der Art des Mikroskops und der verwendeten Vergrößerung ab. Ein gutes Ergebnis wurde erzielt durch Abtastung mittels eines Bildbereichfensters von 6 [Pixel] × 6 [Pixel] bis 20 [Pixel] × 20 [Pixel], (vorzugsweise 10 [Pixel] × 10 [Pixel] oder 12 [Pixel] × 12 [Pixel]). In diesem Fall reicht die Pixelanzahl des Zellkernbereichs entsprechend solchen Faktoren wie Zellteilung von ungefähr 1000 Pixel bis 10000 Pixel. 17 zeigt das Bild (Filterungsbild) der Zelle nach der Verarbeitung mit dem Entropiefilter. 18 zeigt das Ergebnis der Einblendung des resultierenden Bildes, das mit dem Entropiefilter mit mitnachfolgender Schwellwertbearbeitung verarbeitet worden ist, in das Mikroskopbild.
Die Aufteilung des Bildes mittels eines kleinen Fensters und die Abtastung der Bildberechnungsentropie vereinfacht die Extraktion gleichmäßiger Abschnitte aus dem Bild. Die Schwellwertbearbeitung des gefilterten Bildes, das durch das Entropiefilter gewonnenen wird, ermöglicht eine gute Extraktion des gleichmäßigen Abschnitts des Bildes. In der vorliegenden Beschreibung ist "gleichmäßig" so definiert, daß die Differenz der Pixelwerte relativ klein ist, das heißt, ein Intensitätswert des Pixels ist relativ gleichmäßig. Im Gegensatz dazu ist "nicht gleichmäßig" so definiert, daß die Differenz des Pixelwerts relativ groß ist, das heißt, ein Intensitätswert des Pixels ist relativ ungleichmäßig. Der Intensitätswert in einem Graustufenbild ist der Wert, der die monochromatische Intensität darstellt. Der Intensitätswert in einem Farbbild ist der Wert, der jede Intensität von R, G und B darstellt. Ob "die Differenz der Pixelwerte klein oder groß ist" im Farbbild, wird nach folgender Bedingung bestimmt: Je gleicher beieinander die Kombination von R, G und B ist, um so kleiner der Unterschied ist, und je ungleicher die Kombination von R, G, und B, um so größer der Unterschied.
[FFT Filter]
Um den Bildbereich in bezug auf seine charakteristischen Merkmale zu messen, wird ein 2D-FFT-Leistungsspektrum (schnelles Fourier-Transformleistungsspektrum) berechnet, und der Zellkernbereich unter Verwendung der charakteristischen Merkmale eines niederfrequenten und eines hochfrequenten Bereichs erkannt. Es kann eine normale Fourier-Transformation angewendet werden. Das Ergebnis eines Ausgangs des Filters wird nach der Digitalisierung verwendet.
Industrielle Anwendbarkeit
Auf dem Gebiet der Pharmazie, des Gesundheitswesens, der Landwirtschaft und der Nahrungsmittel kann die Erfindung auf Produktentwicklung unter Verwendung effektiver genomischer Informationen angewendet werden.

Claims

Verfahren zur Herstellung eines Zellstammbaums mit den Schritten: (a) Gewinnen einer Vielzahl von sich in einer Fokalebene und in einem Zeitpunkt unterscheidenden 2D-Bildern durch Aufnehmen einer Vielzahl der 2D-Bilder unter Änderung der Fokalebene und durch Aufnehmen einer Vielzahl der 2D-Bilder in einer Zeitreihe für eine Zelle, die das Untersuchungsobjekt darstellt; (b) Extrahieren eines Zellkernbereichs durch Ausführung einer Bildverarbeitung für einzelne 2D-Bilder; (c) Vereinigen des Zellkernbereichs, der von dem identischen Zellkern abstammt, aus dem Zellkernbereich, der aus den einzelnen 2D-Bildern extrahiert ist; (d) Konstruieren des Zellstammbaums aus einem Zeitpunkt und einer Position, wo der Zellkernbereich im Bild erscheint und verschwindet, in dem vereinigten Zellkernbereich; und wobei (e) Schritt (b) die Schritte aufweist: Extrahieren des Bereichs, der ein Kandidat für den Zellkern werden soll; Festlegen eines mutmaßlichen Zellkernbereichs durch einen Probelauf einer Zellstammbaumkonstruktion; und Extrahieren des Zellkernbereichs durch Rückführung des mutmaßlichen Bereichs zum Zellkernkandidatenbereich.
Verfahren nach Anspruch 1, wobei der Probelauf der Zellstammbaumherstellung mindestens einen der folgenden Schritte aufweist: Vereinigen von Zellkernbereichen in einem identischen Zeitpunkt und auf einer identischen Fokalebene, Vereinigen von 4D-Zellkernbereichen und Herstellen des Zellstammbaums, wobei eine Rückführung der Festlegung des mutmaßlichen Zellkernbereichs durch den Probelauf möglich ist.
Verfahren nach Anspruch 1 oder 2, wobei der Zellkernkandidatenbereich eine Zellkernbewertungsgröße erhält und der Zellkernbereich durch Vergleichen der Zellkernbewertungsgröße und eines vorbestimmten vorgegebenen Wert extrahiert wird und wobei die Zellkernbewertungsgröße durch die Rückführung des mutmaßlichen Zellkernbereichs zu ändern ist.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der Schritt des Extrahierens des Zellkernkandidatenbereichs die Schritte aufweist: Bildverarbeitung des Bildes unter Verwendung der Helligkeitsdifferenz des Bildes in bezug auf den Zellkern und den verbleibenden Teil der Zelle; Festlegen des Zellkernkandidatenbereichs; und Vergeben der Zellkernbewertungsgröße an den Zellkernkandidatenbereich.
Verfahren nach Anspruch 4, wobei das Extrahieren des Zellkernkandidatenbereichs den Schritt des Festlegens des Zellkernbereichs durch Digitalisierung des durch die Bildverarbeitung gewonnenen Ergebnisses unter Verwendung eines vorbestimmten Schwellwerts aufweist und die Zellkernbewertungsgröße an den festgelegten Bereich vergeben wird.
Verfahren nach Anspruch 4 oder 5, wobei das Extrahieren des Zellkernkandidatenbereichs den Schritt aufweist: Extrahieren von Polarbereichen in einer Richtung zum Schwarz in dem nach der Bildverarbeitung gewonnenen resultierenden Bild zusammen mit einer Bewertungsgröße als der Zellkernkandidatenbereich.
Verfahren nach Anspruch 2, wobei die Rückführung vom Vereinigen von Zellkernbereichen in einem identischen Zeitpunkt und auf einer identischen Fokalebene die Schritte aufweist: Wählen des Zellkernbereichs; Vereinigen der Zellkernbereiche in dem identischen Zeitpunkt und auf der identischen Fokalebene; Festlegen des Zellkernkandidatenbereichs; und Übergeben des Ergebnisses der Festlegung des mutmaßlichen Zellkernbereichs an den Schritt zum Wählen des Zellkernbereichs.
Verfahren nach Anspruch 2, wobei die Rückführung vom Vereinigen von 4D-Zellkernbereichen die Schritte aufweist: Wählen eines 3D-Zellkernbereichs; Vereinigen von 4D-Zellkernbereichen, Festlegen des Zellkernkandidatenbereichs; und Über geben des Ergebnisses der Festlegung des mutmaßlichen Zellkernbereichs an den Schritt zum Wählen des Zellkernbereichs.
Verfahren nach Anspruch 2, wobei die Rückführung vom Herstellen des Zellstammbaums die Schritte aufweist: Wählen eines 4D-Zellkernbereichs; Herstellen des Zellstammbaums; Festlegen des Zellkernkandidatenbereichs; und Übergeben des Ergebnisses der Festlegung des mutmaßlichen Zellkernbereichs an den Schritt zum Wählen des Zellkernbereichs.