-
Die
Erfindung bezieht sich auf ein Bildverarbeitungsverfahren zur automatischen
Erkennung von Bereichen eines vorbestimmten Krebstyps in einem Intensitätsbild eines
Teils des menschlichen oder tierischen Körpers.
-
Die
Erfindung betrifft ferner eine Bildverarbeitungseinrichtung zur
Durchführung
dieses Verfahrens und ein Röntgensystem,
das diese Einrichtung umfasst.
-
Die
Erfindung findet ihre Anwendung im Bereich der Radiologie zur automatischen
Erkennung von speziellen Krebsgeschwüren, genannt „Opazitäten", in Mammographien.
-
Ein
Bildverarbeitungsverfahren zur Erkennung von Tumoren in Mammographiebildern
ist bereits aus der Veröffentlichung
von Seiji YABASHI et al. mit dem Titel „Image processing for recognition
of tumor in mammography" bekannt,
die in den „PRO-CEEDINGS OF THE 1989
INTERNATIONAL SYMPOSIUM ON NOISE AND CLUTTER REJECTION IN RADARS
AND IMAGING SENSORS",
IEICE, im Jahre 1989 erschienen ist. Dieses Verfahren betrifft die
Verarbeitung von Ultraschallbildern zur Erkennung von verdächtigen
Opazitäten, die
Brustkrebs entsprechen können.
Gemäß der zitierten
Veröffentlichung
werden nach der Digitalisierung des Ultraschallbildes Intensitätsprofile
f entsprechend den Zeilen des digitalen Bildes graphisch dargestellt.
Diese Profile f zeigen: eine erste lineare Funktion f1 mit einer
positiven Steigung, die der Zunahme der Dicke des normalen Gewebes
in der Brust mit zunehmender Tiefe entspricht; Schwankungen, die
Opazitäten
entsprechen, die die lineare Funktion f1 modulieren und durch eine
zweite Funktion f2 ausgedrückt
werden; und eine kontinuierliche Horizontalkomponente, die dem Hintergrund
entspricht, ausgedrückt
durch eine Konstante G. Die erste, zum normalen Gewebe gehörige Funktion
f1 wird erst durch einen Medianfilter geglättet, dann wird die zweite,
zu den Opazitäten
gehörige
Funktion f2 erzielt, indem die erste geglättete Funktion f1 und der Hintergrund
G vom Originalprofil f subtrahiert werden. Die zweite Funktion f2
wird anschließend
verschiedenen Verarbeitungen unterzogen, darunter ein Sovel-Operator
und ein Laplace-Operator, die bewirken, dass die Opazitäten in dem
vom Arzt zu Diagnosezwecken untersuchten Bild besser hervorgehoben
werden, indem der Kontrast der Objekte in den Bildern erhöht wird
oder Grauzeilen der gleichen Stufe graphisch dargestellt werden.
-
Ein
Problem besteht darin, dass die durch die zweite Funktion f2 ausgedrückten Intensitätsschwankungen
andere Ursachen haben können
als die verdächtigen
Opazitäten,
die Krebs entsprechen, und somit das sind, was der Fachmann als „falschpositiv" bezeichnet. Das
bekannte Verfahren schlägt
keinerlei Lösung vor,
um die tatsächlich
auf Krebs zurückzuführenden
Opazitäten
von Opazitäten
zu unterscheiden, die auf andere nicht verdächtige Strukturen der Brust
zurückzuführen sind.
Außerdem
ist das vorgeschlagene Verfahren nicht automatisch in dem Sinne,
dass der Arzt noch die aus der Verarbeitung hervorgehenden Bilder
untersuchen und selbst die Entscheidung treffen muss, ob ein bestimmter
Bereich verdächtig
ist oder nicht.
-
In
dem Dokument US-A-5260871 wird ein Tumordiagnosesystem in Mammographiebildern
beschrieben, bei dem ein Klassifizierungsverfahren eingesetzt wird,
das zwischen bösartigen
und gutartigen Tumoren unterscheidet; es nutzt ein Verfahren zur
Erzeugung von Merkmalen vom Typ „run length" oder vom Typ Markov.
Die digitalen Werte von mehreren Merkmalen, die ein Gewebe beschreiben,
ermöglichen
es, dieses als gutartig oder bösartig
einzuordnen. Die Merkmale werden in Abhängigkeit von ihrer relativen
Qualität
als Klassifizierer nach der Häufigkeit
sortiert, mit der sie bei gutartigen Tumoren gefunden werden. Es
ist möglich,
einem neuronalen Netz beizubringen, diese Klassifizierung durchzuführen.
-
Eine
Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren
als Hilfsmittel für
die Diagnostik zu schaffen, das automatisch eine Erkennung der verdächtigen
Bereiche des Mammographiebildes bewirkt.
-
Dieses
Verfahren umfasst für
eine Anzahl von Punkten eines Teils des ge nannten Bildes die Bestimmung
eines Satzes, genannt Vektor, von aus Kennwerten gebildeten Komponenten,
die von der Verteilung der Intensität in dem genannten Bereich
des Bildes um jeden Punkt abgeleitet sind, und den Einsatz eines
Klassifizierungssystem, um die Wahrscheinlichkeit zu bestimmen,
dass der diesem Vektor zugeordnete Punkt zu einem Bereich dieses
Bildteils, der dem vorbestimmten Krebstyp entspricht, oder zu einem
anderen Bereich gehört.
-
Ein
Vorteil des erfindungsgemäßen Verfahrens
besteht in der hohen Genauigkeit der automatischen Erkennung von
Krebs mit einer Quote der wahr-positiven Ergeb nisse, die 100% erreichen
kann, bei einer Quote der falsch-positiven Ergebnisse von kleiner
oder gleich 2%.
-
Eine
Bildverarbeitungseinrichtung zur automatischen Erkennung der Bereiche
eines vorbestimmten Krebstyps in Intensitätsbildern umfasst Mittel zur
Verarbeitung einer Anzahl von Punkten eines Teils des genannten
Bildes, um einen Vektor genannten Satz von aus Kennwerten gebildeten
Komponenten zu bestimmen, wobei die Kennwerte von der Intensitätsverteilung
in dem genannten Teil des Bildes um jeden Punkt abgeleitet sind,
und ein Klassifizierungssystem, um die Wahrscheinlichkeit zu bestimmen,
dass der diesem Vektor zugeordnete Punkt zu einem Bereich dieses
Bildteils, der dem vorbestimmten Krebstyp entspricht, oder zu einem
anderen Bereich gehört.
-
Ein
Vorteil dieser Einrichtung besteht darin, dass sie dem Arzt automatisch
Bilder liefert, auf denen sehr kleine Krebsgeschwüre erkannt
und hervorgehoben werden. Ein weiterer aus dieser Automatisierung
resultierender Vorteil besteht darin, dass die Verarbeitung des
medizinischen Bildes direkt ohne menschliches Eingreifen, eventuell
in Echtzeit, erfolgen kann und somit ein beachtliche Hilfe bei der
Diagnose darstellen kann, da sie dem Arzt schnell wichtige Elemente
für eine
Krebsdiagnose in einem Stadium liefern kann, wo die Krebsgeschwüre sehr
klein und somit extrem schwierig mit herkömmlichen Mitteln zu erkennen
sind.
-
Die
Erfindung ist in den Zeichnungen dargestellt und wird im Folgenden
näher beschrieben.
Es zeigen:
-
1 ein Ablaufdiagramm einer
ersten Phase eines ersten Schrittes eines automatischen Verfahrens zur
Erkennung eines vorbestimmten Krebstyps in einem Mammographiebild;
-
die 2A und 2B jeweils ein Ablaufdiagramm einer zweiten
Phase dieses ersten Schrittes in zwei Ablaufketten;
-
3 ein Ablaufdiagramm einer
dritten Phase dieses ersten Schrittes;
-
4 ein Ablaufdiagramm eines
zweiten Schrittes des automatischen Verfahrens;
-
die 5A bis 5B die Bauteile eines neuronalen Netzes;
-
die 6A bis 6C jeweils ein Originalbild, ein derartiges
in der ersten Phase des ersten Verarbeitungsschrittes geglättetes Bild
und eine vereinfachte Darstellung der verschiedenen Bereiche eines
im Profil gezeigten Brustorgans;
-
die 7A bis 7F die durch das Durchlaufen der ersten
Folge von Filtern aus 1 erhaltenen
Intensitätsbilder;
-
die 8A bis 8C jeweils ein ursprüngliches Mammographiebild,
ein in vier Klassen unterteiltes Bild und das entsprechende endgültige Bild,
das zur automatischen Lokalisierung von Krebsgeschwüren geliefert wird;
-
die 9A bis 9C ein weiteres ursprüngliches Mammographiebild,
das in vier entsprechende Klassen unterteilte Bild und das entsprechende
endgültige
Bild; die 10A, 10B und 10C Impulsantworten, die verwendeten
Filtern entsprechen;
-
11 die Ergebnisse von an
der Einrichtung durchgeführten
Tests anhand von Kurven (automatische Zeichenerkennung), die die
Quote der echten Alarme (taux de vraies alarmes, TA) in Abhängigkeit
von der Quote der falschen Alarme (taux de fausses alarmes, FA)
darstellen;
-
12 eine Einrichtung zur
Erstellung von Röntgenbildern,
die eine Aufnahmeeinrichtung und eine Bildverarbeitungseinrichtung
umfasst, um die Mammogaphiebilder mit einem Verfahren zur automatischen
Erkennung und Hervorhebung der Bereiche eines vorbestimmten Krebstyps
zu verarbeiten.
-
DAS VERFAHREN
-
Die
Erfindung bezieht sich auf ein Verfahren zur automatischen Erkennung
eines vorbestimmten Krebstyps in einem Intensitätsbild eines Teils des menschlichen
oder tierischen Körpers
mit dem Ziel, ein Hilfsmittel für
die Diagnose durch den Arzt zu schaffen. Die Erfindung wird nachfolgend
in ihrer Anwendung bei der Erkennung in einem Mammographiebild von
vorbestimmten Krebstypen, genannt „Opazitäten", mit unscharfen, nicht formbaren Rändern im
Gegensatz zu anderen speziellen Läsionen, die eine klare Form
aufweisen, wie sternförmige
Läsionen
oder Mikroverkalkungen, beschrieben. Das Verfahren ist verknüpft mit
der Erkennung aller Opazitäten
des vorbestimmten Typs ohne Ausnahme, die in einem Bild existieren,
ausgehend von den in diesem einzigen Bild existierenden Elementen.
Das Verfahren ist ebenfalls verknüpft mit der Erkennung der Opazitäten mit
einem Durchmesser von 3 bis 4 mm, die Krebsgeschwüren im Anfangsstadium
entsprechen und weder ertastbar noch mit Ultraschall sichtbar zu
machen sind.
-
Die
Erfassung der Mammographiebilder kann mittels digitaler Röntgentech
nik erfolgen, die Erfindung berücksichtigt
jedoch in allen Fällen
nicht das Verfahren, durch das das Bild erzielt wurde.
-
6A stellt in beispielhafter
Form ein Originalmammographiebild J0 in Form eines Intensitätsbildes dar,
das in einer zweidimensionalen Matrix aus Pixeln mit digitaler Intensität angeordnet
ist. In Bezug auf 6C zeigt
die Brust 1 auf einem Hintergrund 9 zwei hauptsächliche
Bereiche: ein tiefes Brustgewebe 2 mit einer im Wesentlichen
konstanten Dicke und ein peripheres Brustgewebe 3 mit schnell
abnehmender Dicke vom tiefen Brustgewebe 2 zur Haut 4 hin.
-
Bei
der Verarbeitung von Mammographiebildern zur Erkennung von Krebs
müssen
folgende Schwierigkeiten berücksichtigt
werden:
das Brustorgan 1 wird im Profil aufgenommen
und weist keine konstante Dicke auf;
die zu erkennenden Objekte
sind Opazitäten
mit unscharfen Rändern
und werden als weißliche
Bereiche auf einem aus den anderen Objekten der aufgenommenen Brust 1 bestehenden
Feld dargestellt;
die Abmessungen der zu erkennenden Objekte
können
sehr klein sein, 3 bis 4 mm;
das Feld, auf dem diese Opazitäten erkannt
werden sollen, enthält
ebenfalls andere Opazitäten,
die aus der normalen Struktur des Brustgewebes 1 resultieren
und mit Krebsgeschwüren
verwechselt werden können;
diese
zu erkennenden Opazitäten
können
im Wesentlichen an verschiedenen Positionen in der Brust 1 auftreten;
diese
zu erkennenden Opazitäten
haben außerdem
sehr unterschiedliche Formen und Abmessungen von einem Bild zum
anderen;
die der Struktur des normalen Gewebes entsprechenden
Opazitäten
können
leicht die Krebsgeschwüren
entsprechenden Opazitäten
verdunkeln, denn die Röntgenaufnahme
integriert Informationen, die in dem darüber liegenden Gewebe enthalten
sind;
kein mögliches
Krebsgeschwür
darf bei der Verarbeitung eines Mammogra phiebildes übergangen
oder vernachlässigt
werden.
-
Das
Verfahren berücksichtigt
alle diese Schwierigkeiten.
-
Mit
Bezug auf die 1 bis 4 umfasst dieses Verfahren
zwei Hauptschritte: einen ersten Schritt, der für ein Anzahl von Punkten eines
Teils des genannten Bildes die Bestimmung eines Satzes, genannt
Vektor, von Komponenten beinhaltet, die aus von der Intensitätsverteilung
in dem genannten Teil des Bildes um jeden Punkt abgeleiteten Kennwerten
gebildet werden, und einen zweiten Schritt, der die Verwendung eines
Klassifizierungssystems beinhaltet, um die Wahrscheinlichkeit zu
bestimmen, dass der diesem Vektor zugeordnete Punkt zu einem Bereich
dieses Bildteils, der dem vorbestimmten Krebstyp entspricht, oder
zu einem anderen Bereich gehört,
und eine Unterteilung und Hervorhebung der Krebsgeschwüre in einem
endgültigen
Bild beinhaltet.
-
Ein
bedeutendes technisches Problem bei der Verarbeitung von Röntgenbildern
und insbesondere der Verarbeitung von Mammographiebildern besteht
darin, dass das geröntgte
Organ eine willkürliche
Ausrichtung in dem Originalbild haben kann; außerdem hat der Tumor unterschiedliche
Formen, wie weiter oben betont wurde.
-
Die
Analyse des Bildes gemäß dem vorliegenden
Verfahren basiert also auf der unveränderlichen Bestimmung von Merkmalen
durch Rotation. Dieses Problem wird gelöst, indem in dem ersten Schritt
des Verfahrens erste und zweite Filterungsphasen mittels Differentialoperatoren
erster und zweiter Ordnung durchgeführt werden, die unveränderliche
Ergebnisse durch Rotation liefern. Diese Operatoren werden kurz
als „unveränderlich" bezeichnet.
-
Das
Verfahren wird nachfolgend ausführlicher
beschrieben.
-
I) ERSTER SCHRITT: BESTIMMUNG
VON VEKTOREN VON DEN PIXELN DES BILDES ZUGEORDNETEN INTENSITÄTSKENNWERTEN
-
I.1 ERSTE FILTERUNGSPHASE
(1)
-
Vorglättung FP0
-
Mit
Bezug auf die 1 wandelt
eine Vorfilterung das Originalbild J0 mittels einer Glättung mit
der Auflösung
der zu erkennenden Geschwulstbereiche und der lokalen Strukturen
dieses Bildes in ein Bild IC0 um, wie es in 6B dargestellt ist.
-
Diese
Glättung
kann mit Hilfe eines Filters mit Gaußschem Kern erfolgen, dessen
Gaußsche
Funktion mit G5 bezeichnet wird. Die Breite des Kerns dieses Filters,
bezeichnet mit σ,
wird in der Größenordnung
der zu erkennenden Objekte gewählt,
vorzugsweise 5 Pixel. Unter der Breite σ des Kerns eines Filters versteht man
die Breite auf halber Höhe
der Intensitätsimpulsantwort
des Operators, mit dem die Intensität des Bildes gefaltet wird,
um das Filterergebnis zu erzielen. Die Impulsantwort eines derartigen
Gauß- Filters G5 ist als
Beispiel als durchgezogene Linie in 10A dargestellt,
in der die Intensität
auf der Z-Achse in willkürlichen
Einheiten aufgetragen ist.
-
Das
Durchlaufen des Gauß-Filters
G5 läuft
hinaus auf die Ausführung
mit dem durch seine Koordinaten auf der X- und Y-Achse in der zweidimensionalen
Matrix bezeichneten aktuellen Pixel P0 des Faltungsproduktes seiner
Intensität
I0 und der Gaußschen
Funktion G5 gemäß der Beziehung
(1): F0 = I0*G5, wobei das Zeichen * das Faltungsprodukt symbolisiert.
Die Gaußsche
Funktion wird durch eine rekursive Filterung geliefert.
-
Bestimmung von ersten
strukturellen Merkmalen
-
Das
geglättete
Bild IC0 wird nachfolgend einer Filterung durch eine Reihe von Filtern
unterzogen, die unveränderlich
durch Rotation ausgerichtet sind, um Intensitätsschwankungen zu erhöhen und
strukturelle Merkmale in diesem geglätteten Bild mit der Auflösung der
zu erkennenden Objekte hervorzuheben. Die Reaktionen dieser Filter
liefern die Komponenten des gesuchten Kenndatenvektors. Diese Filter
werden beispielsweise aus Differentialoperatoren der ersten und
zweiten Ordnung gebildet, die erfindungsgemäß aus den Folgenden ausgewählt werden:
-
FP1: Modul des Intensitätsgradienten
-
Ein
unveränderlicher
Filter FP1, der das Modul des Intensitätsgradienten in jedem zu verarbeitenden Pixels
P0 berechnet, wird auf das geglättete
Bild IC0 angewendet, um dieses Bild in ein resultierendes Bild IC1 umzuwandeln,
wie es in 7A dargestellt
ist und in dem die Objektränder
hervorgehoben sind.
-
Der
Intensitätsgradient
wird nachfolgend mit GR1 und das Modul des Intensitätsgradienten
wird mit ||GR1|| bezeichnet. Der Intensitätsgradient ergibt sich aus
der Berechnung der Ableitungen erster Ordnung der geglätteten Intensitätsfunktion
F0 auf der X- und
der Y-Achse in jedem zu verarbeitenden Pixel in dem Bild IC0. Der
Intensitätsgradient
kann vom Fachkundigen mittels jedes bekannten Verfahrens ermittelt
werden. Bei einem bevorzugten Ausführungsbeispiel kann der Intensitätsgradient
GR1 erzielt werden aus dem Durchlaufen in parallelen Richtungen
zur X- und zur Y-Achse von unter dem Namen „Sovel" bekannten, ausgerichteten Filtern,
die nachfolgend bezeichnet werden als:
Sovelx auf
der X-Achse; Sovely auf der Y-Achse.
-
Die
Ausführung
von Sovel-Filtern ist beschrieben in einem allgemeinen Lehrbuch
von Dana H. Ballard und Christopher M. Brown mit dem Titel „Computer
Visi on", veröffentlicht
bei PRENTICE-HALL, INC., Englewood, Cliffs, New Jersey 07632, USA,
auf Seite 77, Z. 6–17,
in Bezug auf die 3, 10C.
-
Durch
die Anwendung der Filter Sovelx und Sovely erhält
man die Intensitätsgradienten
GR1x und GR1x in
jedem aktuellen Pixel P0, die sich jeweils ergeben aus den Formeln:
-
-
Das
Modul des Gradienten ergibt sich aus: ||GR1|| = [(GR12 x + (GR12 y)]½ (2d)
-
Durch
das Durchlaufen dieses Filters FP1 wird eine Intensität F1 = ||GR1||
für die
verarbeiteten Pixel P0 des geglätteten
Bildes IC0 berechnet und auf die zweidimensionale Matrix angewendet,
um das neue Intensitätsbild
IC1 aus 7A zu bilden.
-
FP2: Maximalwert der zweiten
ausgerichteten, positiv rektifizierten Ableitungen
-
Ein
unveränderlicher
Filter FP2, der die maximalen positiv rektifizierten, ausgerichteten
Ableitungen zweiter Ordnung berechnet, wird auf das geglättete Bild
IC0 angewendet, um dieses geglättete
Bild in ein resultierendes Bild IC2 umzuwandeln, wie es in 7B dargestellt ist und in
dem dunkle fadenförmige
Objekte auf hellem Hintergrund hervorgehoben werden.
-
Die
Ableitungen zweiter Ordnung der geglätteten Intensitätsfunktion
F0 werden zuerst berechnet. Die Ableitungen zweiter Ordnung nach
x, y und xy werden folgendermaßen
bezeichnet:
-
-
Die
zweite Ableitung, die nach einer Achse ausgerichtet ist, die in
einem Winkel Θ zur
X-Achse des verarbeiteten Bildes steht, wird bezeichnet mit (L1)ΘΘ und
nachfolgend durch die Formel (4) mit Hilfe der vorherigen Ableitungen
zweiter Ordnung berechnet. (L1)ΘΘ = ½(L1)xx +
(L1)yy] + ½[(L1)xx – (L1)yy]cos2Θ +
(L1)xysin2Θ (4)
-
Die
Ableitungen zweiter Ordnung der Intensitätsfunktion F0 können vom
Fachkundigen mittels aller bekannten Verfahren ermittelt werden.
Bei dem bevorzugten Ausführungsbeispiel
können
diese Ableitungen zweiter Ordnung erzielt werden durch die Anwendung
in parallelen Richtungen zur X- und zur Y-Achse von wiederum ausgerichteten
Sovel-Filtern, wie Sovelx und Sovely, auf die Intensitätsgradienten GR1x und
GR1y, die vorher bei der Anwendung des unveränderlichen
Filters FP1 berechnet wurden.
-
Durch
die Anwendung der genannten ausgerichteten Filter Sovelx und Sovely erhält
man die Ableitungen zweiter Ordnung gemäß den Formeln: (L1)xx=
Sovelx(GR1)x (5a) (L1)yy =
Sovely(GR1)y (5b) (L1)xy =
Sovelxy(GR1)xy (5c)die es ermöglichen,
den Wert der durch die Formel (4) gegebenen ausgerichteten Ableitung
zweiter Ordnung (L1)ΘΘ zu berechnen.
-
Anschließend wird
mit dem aktuellen Pixel der Maximalwert der zweiten ausgerichteten
Ableitung, bezeichnet mit MAXΘ[(L1)ΘΘ]
ausgewertet, der einen maximalen Intensitätswert liefert, der dann diesem
aktuellen Pixel zugeordnet wird, jedoch nur, wenn dieser Wert positiv
ist; ist dieser Wert negativ, wird dem genannten aktuellen Pixel
der Wert 0 (Null) als Intensitätswert
als Ersatz für
den berechneten Wert zugeordnet.
-
Dieser
Vorgang der positiven Rektifizierung der Maximalwerte der ausgerichteten
Ableitungen zweiter Ordnung liefert den folgenden Intensitätswert:
F2 = MAXΘ P[(L1)ΘΘ],
der dem entsprechenden Pixel der Matrix zugeordnet wird, um das
neue Intensitätsbild IC2
zu erstellen.
-
FP3: Maximalwert der zweiten
ausgerichteten, negativ rektifizierten Ableitungen
-
Ein
unveränderlicher
Filter FP3, der die ausgerichteten maximalen, negativ rektifizierten
Ableitungen zweiter Ordnung berechnet, wird auf das geglättete Bild
IC0 angewendet, um dieses geglättete
Bild in ein resultierendes Bild IC3 umzuwandeln, wie es in 7C dargestellt ist, in dem
dunkle fadenförmige
Objekte auf hellem Hintergrund hervorgehoben werden.
-
Der
Wert der gegebenen ausgerichteten Ableitung zweiter Ordnung wird
durch die bereits beschriebene Formel (4) berechnet. Anschließend wird
mit dem aktuellen Pixel der Maximalwert der zweiten ausgerichteten
Ableitung, bezeichnet mit MAXΘ[(L1)ΘΘ]
ausgewertet, der einen maximalen Intensitätswert liefert, der dann diesem
laufenden Pixel zugeordnet wird, jedoch nur, wenn dieser Wert negativ
ist; ist dieser Wert positiv, wird dem genannten aktuellen Pixel
der Wert 0 (Null) als Intensitätswert
als Ersatz für
die berechneten Werte zugeordnet.
-
Dieser
Vorgang der negativen Rektifizierung der Maximalwerte der ausgerichteten
Ableitungen zweiter Ordnung liefert den folgenden Intensitätswert:
F3 = MAXΘ N[(L1)ΘΘ],
der dem entsprechenden Pixel der Matrix zugeordnet wird, um das
neue Intensitätsbild IC3
zu erstellen.
-
FP4: Minimalwert der zweiten
ausgerichteten, positiv rektifizierten Ableitungen
-
Ein
unveränderlicher
Filter FP4, der die ausgerichteten minimalen, positiv rektifizierten
Ableitungen zweiter Ordnung berechnet, wird auf das geglättete Bild
IC0 angewendet, um dieses geglättete
Bild in ein resultierendes Bild IC4 umzuwandeln, wie es in 7D dargestellt ist, in dem
helle fadenförmige
Objekte auf dunklem Hintergrund hervorgehoben werden.
-
Der
bereits durch die Formel (4) ausgewertete Wert der zweiten ausgerichteten
Ableitung wird für
den aktuellen Pixel übernommen.
Anschließend
wird mit dem genannten aktuellen Pixel der Minimalwert dieser zweiten
ausgerichteten Ableitung, bezeichnet mit MINΘ[(L1)ΘΘ],
ausgewertet, der einen minimalen Intensitätswert liefert, der dann diesem
aktuellen Pixel zugeordnet wird, jedoch nur, wenn dieser Wert positiv
ist; ist dieser Wert negativ, wird dem genannten aktuellen Pixel
der Wert 0 (Null) als Intensitätswert
als Ersatz für
den berechneten Wert zugeordnet.
-
Dieser
Vorgang der positiven Rektifizierung der Minimalwerte der ausgerichteten
Ableitungen zweiter Ordnung liefert den folgenden Intensitätswert:
F4 = MINΘ P[(L1)ΘΘ],
der dem entsprechenden Pixel der Matrix zugeordnet wird, um das
neue Intensitätsbild
IC4 zu erstellen.
-
FP5: Minimalwert der zweiten
ausgerichteten, negativ rektifizierten Ableitungen
-
Ein
unveränderlicher
Filter FP5, der die ausgerichteten minimalen, negativ rektifizierten
Ableitungen zweiter Ordnung berechnet, wird auf das geglättete Bild
IC0 angewendet, um dieses geglättete
Bild in ein resultierendes Bild IC5 umzuwandeln, wie es in 7E dargestellt ist, in dem
helle fadenförmige
Objekte auf dunklem Hintergrund hervorgehoben werden.
-
Der
bereits durch die Formel (4) ausgewertete Wert der zweiten ausgerichteten
Ableitung wird für
jeden Pixel übernommen.
Anschließend
wird noch mit dem aktuellen Pixel der Minimalwert dieser zweiten
ausgerichteten Ableitung, bezeichnet mit MINΘ[(L1)ΘΘ]
ausgewertet, der einen minimalen Intensitätswert liefert, der dann diesem
aktuel len Pixel zugeordnet wird, jedoch nur, wenn dieser Wert negativ
ist; ist dieser Wert positiv, wird dem genannten aktuellen Pixel
der Wert 0 (Null) als Intensitätswert
als Ersatz für
den berechneten Wert zugeordnet.
-
Dieser
Vorgang der negativen Rektifizierung der Minimalwerte der ausgerichteten
Ableitungen zweiter Ordnung liefert den folgenden Intensitätswert:
F5 = MINΘ N[(L1)ΘΘ],
der dem entsprechenden Pixel der zweidimensionalen Matrix zugeordnet
wird, um das neue Intensitätsbild
IC5 zu erstellen.
-
Durch
das in den unveränderlichen
Filtern FP2, FP3, FP4, FP5 angewendete Rektifizierungsverfahren wird
in die sonst linearen Filter eine Nichtlinearität eingeführt. Dieser Vorgang ist eine „Halbwellenrektifizierung". Dieses Verfahren
ermöglicht
es, die positiven Antworten der Filter von den negativen Antworten
derselben Filter zu trennen und flache Verläufe zu eliminieren, wenn das
zu verarbeitende Bild gestreifte Objekte enthält, und somit feine Einzelheiten
in den Objekten jeweils in einem Bild der positiven Antworten und
in einem Bild der negativen Antworten hervorzuheben.
-
FP6: Produkt der Krümmung eines
Objekts des geglätteten
Bildes IC0 und des Intensitätsgradienten
-
Ein
unveränderlicher
Filter FP6, der eine Intensität
F6 berechnet, die dem Produkt der Krümmung K in der Nachbarschaft
des aktuellen Pixels und dem Modul des Intensitätsgradienten ||GR1|| entspricht,
wird auf das geglättete
Bild IC0 angewendet, um dieses geglättete Bild in ein resultierendes
Bild IC6 umzuwandeln, wie es in 7F dargestellt
ist, in dem plötzliche
Schwankungen der Krümmung,
wie beispielsweise Ecken, hervorgehoben werden.
-
Das
Modul des Intensitätsgradienten
||GR1|| bei dem aktuellen Pixel P0 wird
zuerst wie oben beschrieben berechnet.
-
Die
Krümmung,
bezeichnet mit K, in der Nachbarschaft dieses aktuellen Pixels P0 ergibt sich aus der Formel (7):
-
-
Die
Krümmung
K lässt
sich somit leicht durch die Anwendung der Formeln (3a) und (3b)
in der Formel (7) berechnen, dann wird das Produkt der Krümmung K
und des Moduls des Gradienten (2) berechnet durch die Formel (8),
die einen Intensitätswert
F6 ergibt: F6 = K × ||GR1|| (8)
-
Am
Ende der ersten Folge von Filtern FP1 bis FP6 wird für jeden
Pixel P0 von Interesse mit einer gegebenen
Adresse Folgendes gespeichert:
ein erster Satz mit 6 Intensitätskenndaten,
die aus den Intensitäten
F1 bis F6 bestehen, die an dieser Adresse in den Bildern IC1 bis
IC6 ermittelt wurden, die während
dieser ersten Phase durch die erste Folge von unveränderlichen
Filtern erstellt wurden und feine, sehr lokale Strukturen des Bildes
hervorheben und charakteristische Messwerte dieser feinen, lokalen
Strukturen darstellen.
-
I.2 ZWEITE FILTERUNGSPHASE
(2A, 2B)
-
In
einer zweiten, nachfolgend beschriebenen Phase hebt das Verfahren
globale Strukturen in dem Bild hervor, indem eine Summierung aller
vorher berechneten lokalen Messwerte erfolgt, um charakteristische Messwerte
der globalen Strukturen zu erzielen.
-
Diese
zweite Phase des ersten Schrittes umfasst nicht ausschließlich aber
vorzugsweise den Ablauf von zwei Ketten A bzw. B von parallelen
Teilschritten.
-
Vorglättung FP10A, FP10B
-
In
diesem vorbereitenden Teilschritt wird jedes der 6 vorher erstellten
Bilder IC1 bis IC6 parallel einer Glättung mit einer ersten bzw.
einer zweiten Auflösung
unterzogen. Zu diesem Zweck werden ausgerichtete Filter mit Gaußschem Kern,
bezeichnet mit G5A bzw. G10B in den Ketten A und B, parallel auf
die X- und Y-Achsen jedes der sechs Intensitätsbilder IC1 bis IC6 angewendet.
-
In
der ersten Ablaufkette A ist der Kern des Gauß-Filters auf den Maßstab der
Tumore, beispielsweise σ =
5 Pixel, eingestellt. Die entsprechende Gaußsche Funktion ist bezeichnet
mit G5A.
-
In
der zweiten Ablaufkette B ist der Kern des Gauß-Filters auf den Maßstab des
die Tumore umgebenden Gewebes, beispielsweise σ = 10 Pixel, eingestellt. Die
entsprechende Gaußsche
Funktion ist bezeichnet mit G10B.
-
Am
Ende dieses vorbereitenden Teilschritts wird für jeden aktuellen Pixel P0 mit einer gegebenen Adresse Folgendes gespeichert:
ein
zweiter Satz mit 6 Intensitätskenndaten,
die aus den Intensitätsfunktionen
F11A bis F16A bestehen, die aus dem Faltungsprodukt der ersten Gaußschen Funktion
G5A und der jeweiligen Intensitätsfunktion
F1 bis F6 resultieren, die bei dieser gegebenen Adresse in jedem
der genannten Bilder IC1 bis IC6 ermittelt wurden und durch die
6 Beziehungen
F11A = G5A*F1 zum Erstellen eines Bildes IC11A
bis
F16A = G5A*F6 zum Erstellen eines Bildes IC16A ausgedrückt werden;
ein
dritter Satz von 6 Intensitätskenndaten,
die aus den Intensitätsfunktionen
mit den Bezeichnungen F11B bis F16B bestehen, die aus dem Faltungsprodukt
der zweiten Gaußschen
Funktion G10B und der jeweiligen Intensitätsfunktion F1 bis F6 resultieren,
die bei dieser gegebenen Adresse in jedem der genannten Bilder IC1 bis
IC6 ermittelt wurden und durch die 6 Beziehungen
F11B = G10B*F1
zum Erstellen eines Bildes IC11B bis
F16B = G10B*F6 zum Erstellen
eines Bildes IC16B ausgedrückt
werden.
-
Am
Ende dieses ersten Teilschritts gehören zu jedem zu verarbeitenden
Pixel also 3 × 6
= 18 Intensitätskenndaten,
und diese Verarbeitung ermöglicht
es, aus jedem der in der ersten Phase erstellten 6 Bilder IC1 bis
IC6 jeweils zwei neue entsprechend geglättete Bilder, beispielsweise
IC11A und IC11B bis IC16A und IC16B, zu erstellen, die nicht dargestellt
werden.
-
Bestimmung von zweiten
strukturellen Merkmalen
-
Am
Ende dieses vorbereitenden Teilschritts FP10A, FP10B wird auf jedes
der 12 geglätteten
Bilder, die gerade mit IC11A bis IC16A und IC11B bis IC16B definiert
wurden, eine Folge von zusätzlichen
Filtern angewendet, die aus unveränderlichen Differentialfiltern
durch Rotation ausgewählt
werden.
-
Somit
ermöglicht
das Verfahren in dieser zweiten Phase durch das Durchlaufen dieser
zweiten Folge von Filtern von FP20A bis FP40A und von FP20B bis
FP40B eine Schätzung
der räumlichen
Verteilung der vorher in der ersten Phase hervorgehobenen lokalen
Strukturen und liefert charakteristische Messwerte dieser räumlichen
Verteilung, aus denen charakteristische Messwerte der globalen Strukturen
des verarbeiteten Bildes hervorgehen. Durch die Anwendung der Filter
F30A, F40A und F30B, F40B werden die Extremwerte der Intensität in den
Bildern mit den beiden durch die Gauß-Filter F10A, F10B erzeugten
Maßstäbe hervorgehoben.
-
FP20A und FP20B: Filter
des Moduls des Intensitätsgradienten
-
Durch
die Anwendung der Filter F20A, F20B werden Intensitätsschwankungen
in den Bildern mit zwei durch die vorher angewendeten Gauß-Filter
F10A, F10B erzeugten Maßstäbe hervorgehoben.
-
Der
Intensitätsgradient
wird nachfolgend als GR2A bzw. GR2B für die Ketten A und B bezeichnet,
und das Modul des Intensitätsgradienten
wird bezeichnet mit ||GR2A|| und ||GR2B||. Diese Bezeichnungen erhalten
außerdem
einen Index 1 bis 6 gemäß dem Index
des verarbeiteten Bildes.
-
So
werden 6 neue Intensitätsfunktionen
definiert, indem das auf die Intensitätsfunktionen F11A bis F16A
angewendete Modul des Gradienten gemäß den Formeln ||GR21A|| bis
||GR26A|| berechnet wird.
-
Auf
die gleiche Weise werden 6 zusätzliche
Intensitätsfunktionen
definiert, indem das auf die Intensitätsfunktionen F11B bis F16B
angewendete Modul des Gradienten gemäß den Formeln ||GR21B|| bis ||GR26B||
berechnet wird.
-
Durch
die Anwendung dieser unveränderlichen
Differentialfilter FP20A, FP20B auf die 2 × 6 vorher definierten Intensitätsfunktionen
ergeben sich
ein vierter Satz von 6 unveränderlichen Kenndaten durch
Rotation pro durch eine Adresse in der zweidimensionalen Matrix
gekennzeichnetem Pixel, bezeichnet mit F21A = ||GR21A|| bis F26A
= ||GR26A||, bzw.
ein fünfter
Satz von 6 Kenndaten, bezeichnet mit F21B = ||GR21B|| bis F26B =
||GR26B||, die aus der Anwendung eines Operators zum Berechnen des
Moduls des Gradienten jeweils auf die 12 Intensitätsfunktionen F11A
bis F16A und F11B bis F16B resultieren.
-
FP30A und FP30B: Isotropes
Laplace-Filter
-
Der
isotrope Laplace-Operator, bezeichnet mit LPA und LPB für die Kette
A bzw. B, wird erzielt durch die Zusammensetzung der Ableitungen
zweiter Ordnung gemäß der allgemeinen
Beziehung: LP = ½[(L2)xx + (L2)yy] (30)
-
Die
allgemeine Form der Kennlinie IR für die Intensität eines
Filters, dessen Funktion die allgemeine Formel LP ist, ist in 10B dargestellt, die vergleichbar
mit 10A ist.
-
Die
Ableitungen zweiter Ordnung (L2)xx nach
x und (L2)yy nach y werden jetzt auf die
12 Intensitätsfunktionen
F11A bis F16A bzw. F11B bis F16B angewendet, die in den vorbereitenden
Teilschritten FP10A, FP10B definiert wurden.
-
So
werden einerseits 6 isotrope Laplace-Operatoren berechnet, die auf
die Intensitätsfunktionen
F11A bis F16A angewendet werden, um die Intensitäten mit den Bezeichnungen F31A
= LP1A bis F36A = LP6A gemäß den Beziehungen
LP1A bis LP6A zu liefern, die die Formel (30) ausführen, wobei
die Indices 1 bis 6 den Indices der durch den isotropen Laplace-Operator
verarbeiteten Bilder entsprechen.
-
Für die Intensitätsfunktionen
F11B bis F16B werden die isotropen Laplace-Operatoren analog berechnet und liefern
die Intensitätsfunktionen
mit den Bezeichnungen F31B = LP1B bis F36B = LP6B liefern.
-
Bei
diesen Ausdrücken
sind die Ableitungen zweiter Ordnung gegeben durch Beziehungen analog
zu den oben beschriebenen Formeln (5a) bis (5c).
-
Durch
die Anwendung dieser unveränderlichen
Differentialfilter FP30A, FP30B auf die 12 Intensitätsfunktionen
F11A bis F16A, F11B bis F16B ergeben sich:
ein sechster und
ein siebenter Satz von jeweils 6 Intensitätskenndaten, bezeichnet mit
F31A bis F36A und F31B bis F36B, die unveränderlich sind durch Rotation
pro durch eine Adresse in der zweidimensionalen Matrix aus Pixeln
mit den Achsen X, Y gekennzeichneten Pixel, die aus der Anwendung
eines isotropen Laplace-Rechenoperators auf die 12 Intensitätsfunktionen
resultiert.
-
FP40A und FP40B: Zusammensetzung
von Ableitungen zweiter Ordnung
-
Diese
Filter werden auf jede der 12 Intensitäten F11A bis F16A und F11B
bis F16B angewendet, die in dem vorbereitenden Teilschritt FP10A,
FP10B berechnet wurden.
-
Diese
Zusammensetzung von Ableitungen zweiter Ordnung wird gemäß der folgenden
allgemeinen Beziehung berechnet: D2 = [(Q2)2 + (S2)2]½ (40)
-
Die
allgemeine Form der Kennlinie IR für die Intensität eines
Filters, dessen Funktion die allgemeine Formel D2 ist, ist in 10C dargestellt, die vergleichbar
mit 10A ist.
-
In
dieser Beziehung (40) sind Q2 und S2 Ableitungen zweiter Ordnung,
die durch die folgenden allgemeinen Beziehungen definiert sind: Q2 = ½[(L2)xx + (L2)yy] und
S2 = (L2)xy
-
Es
werden so 6 Ableitungen zweiter Ordnung mit den Bezeichnungen Q21A
bis Q26A und 6 weitere Ableitungen zweiter Ordnung mit den Bezeichnungen
S21A bis S26A berechnet, die auf die Intensitätsfunktionen F11A bis F16A
angewendet werden, gegeben durch: Q21A = ½[(L21A)xx – (L21A)yy] bis Q26A = ½[(L26A)xx – (L26A)yy] und S21A = (L21A)xy bis S26A = (L26A)xy
-
Die
Ableitungen zweiter Ordnung der Intensitätsfunktionen F11A bis F16A
ergeben sich mit Hilfe der bereits beschriebenen Formeln (5a) bis
(5c).
-
Die
Art und Weise, wie die Gradienten (GR21A)x bis
(GR26A)x und die Gradienten (GR21A)y bis (GR26A)y ermittelt
werden, wurde bereits im Zusammenhang mit dem unveränderlichen
Filter FP20A, FP20B beschrieben.
-
Mit
Hilfe dieser Beziehungen wird direkt der unveränderliche Differentialfilter
FP40A berechnet, der auf die 6 Intensitätsfunktionen F11A bis F16A
angewendet wird, woraus sich bei Anwendung der Beziehung (40) die
Intensitätsfunktionen
F41A bis F46A ergeben.
-
Anschließend werden
6 Ableitungen zweiter Ordnung mit der Bezeichnung Q21B bis Q26B
und 6 weitere Ableitungen zweiter Ordnung mit den Bezeichnungen
S21B bis S26B berechnet, die wiederum mit Hilfe der Beziehung (40)
auf die Intensitätsfunktionen
F11B bis F16B angewendet werden.
-
Die
Ableitungen zweiter Ordnung (L21B)xx bis
(L26B)xx und (L21B)yy bis
(L26B)yy und außerdem (L21B)xy bis
(L26B)xy der Intensitätsfunktionen werden vorzugsweise
durch die Beziehungen (5a) bis (5c) erzielt.
-
Die
Art und Weise, wie die Gradienten (GR21B)x bis
(GR26B)x und die Gradienten (GR21B)y bis (GR26B)y ermittelt
werden, wurde bereits im Zusammenhang mit dem unveränderlichen
Filter FP20A, FP20B beschrieben.
-
Mit
Hilfe dieser Beziehungen wird direkt der unveränderliche Differentialfilter
FP40B berechnet, der auf die 6 Intensitätsfunktionen F11B bis F16B
angewendet wird, woraus sich bei Anwendung der Beziehung (40) die
Intensitätsfunktionen
F41B bis F46B ergeben.
-
Durch
die Anwendung dieses unveränderlichen
Differentialfilters zweiter Ordnung FP40A, FP40B auf die 12 Intensitätsfunktionen
F11A bis F16A, F11B bis F16B ergeben sich:
ein achter und ein
neunter Satz von jeweils 6 Intensitätskenndaten, bezeichnet mit
F41A bis F46A und F41B bis F46B, die unveränderlich sind durch Rotation
pro durch eine Adresse in der zweidimensionalen Matrix aus Pixeln
mit den Achsen X, Y gekennzeichneten Pixel, die aus der Anwendung
eines Rechenoperators einer speziellen Zusammensetzung der Ableitungen
zweiter Ordnung auf die 12 Intensitätsfunktionen resultiert.
-
I.3 DRITTE PHASE (3) DER ZUSAMMENFASSUNG DER
KENNDATEN IN VEKTOREN
-
Am
Ende der ersten und zweiten Phase wurden also für die Pixel von Inte resse,
die eine Adresse in der zweidimensionalen Matrix haben, 9 Sätze von
6 Kenndaten, also insgesamt 54 Intensitätskenndaten, definiert, die
Einzelheiten in Bezug auf die Form, beispielsweise fadenförmige oder
diffuse Form, in Bezug auf die Intensität, beispielsweise hell oder
dunkel, in Bezug auf die Kontur, beispielsweise erhebliche oder
schwache Krümmung
oder Bildung von Ecken, hervorheben, und dies außerdem vorzugsweise gleichzeitig
mit der Auflösung
von Tumoren (Kette A) und mit der Auflösung von umgebendem Gewebe
(Kette B).
-
Es
ist jedoch anzumerken, dass die Anzahl von 54 durch das vorhergehende
Verfahren ermittelten Kenndaten und die zu diesem Zweck verwendeten
Filter lediglich als Beispiel angegeben wurden.
-
Mit
Bezug auf 3 fassen Rechenmittel
CP1 die 9 aus den 9 Bildern mit dem Index 1 hervorgegangenen Intensitätskenndaten,
die 9 aus den 9 Bildern mit dem Index 2 hervorgegangenen Intensitätskenndaten, ...
bis zu den 9 aus den 9 Bildern mit dem Index 6 hervorgegangenen
Intensitätskenndaten
zusammen, d. h. ausgehend von den 6 Bildern IC1 bis IC6 fassen diese
Rechenmittel 9 Arten von unterschiedlichen Kenndaten zusammen, die
auf die unterschiedlichen Ergebnisse der Verarbeitungsteilschritte
zurückzuführen sind
und aus diesen 6 Bildern hervorgehen, einschließlich der Kenndaten der genannten
6 Bilder.
-
Diese
Rechenmittel CP1 sammeln diese 54 Intensitätskenndaten pro Pixel, um Vektoren
von 54 Intensitätskenndaten
zu bilden, die zuerst für
jeden bestimmten Pixel von Interesse in den bereits medizinisch
untersuchten Bildern, in denen der Arzt selbst die Bereiche mit
bösartigen
Krebsgeschwüren
und die gesunden Bereiche erkannt hat, gemessen werden. Diese Vektoren
dienen dann dem Lernvorgang eines neuronalen Netzes und anschließend den
Gültigkeitstests
der Klassifizierung durch dieses neuronale Netz.
-
Bisher
wurde dargelegt, dass die Berechnungen für jeden Pixel des ursprünglichen
Bildes erfolgen: hierunter ist zu verstehen, dass eine vorherige
Auswahl von Pixeln von Interesse in dem ursprünglichen Bild erfolgen kann,
oder dass das ursprüngliche
Bild eine Bereich von Interesse sein kann, der aus einem größeren Bild
entnommen wurde.
-
Genau
dieses Verfahren der Bestimmung von 54 Kenndaten pro Pixel wird
später
auch zur automatischen Erkennung von Bereichen mit Krebsgeschwüren in Bildern
eingesetzt, die nicht vorher einer medizinischen Diagnose mit Hilfe
desselben neuronalen Netzes unterzogen wurden, mit dem dieser Lernvorgang
erfolgt ist.
-
Am
Ende der wiederholten Filterungen, die die Differentialoperatoren
in den Phasen 1 und 2 des Verfahrens bilden, haben die Rechenmittel
also einen Vektor mit m = 54 Kenndaten pro Pixel von Interesse erzeugt.
Man kann auch sagen, dass 54 Bilder bestehend aus diesen m Kenndaten
erstellt wurden.
-
II) ZWEITER SCHRITT: ERKENNUNG
UND HERVORHEBUNG DER VON KREBS BEFALLENEN BEREICHE
-
II.1 ERSTE PHASE: KLASSIFIZIERUNG
DURCH NEURONALES NETZ
-
Die
Rechenmittel CP1 haben somit ein Bild auf eine Art codiert, die
mit den Eingängen
eines Klassifizierungssystems, wie beispielsweise eines neuronalen
Netzes, kompatibel ist; diese Codierung wird es ermöglichen,
alle Informationen einzugeben, die dem neuronalen Netz darstellen,
wie die Intensität
mit einer gegebenen Auflösung
um einen gegebenen Pixel herum als Funktion der X- und Y-Achsen
in den verschiedenen Bereichen der Bilder und von diesen Bereichen
in den speziellen Bereichen von Interesse für den Arzt variiert. Diese
Codierung ist an das neuronale Netz so angepasst, dass es eine wirksame
Klassifizierung der Pixel von Interesse in 4 Klassen K1 bis K4 ermöglicht.
Unter Klassifizierung ist zu verstehen, dass das neuronale Netz NN
jedem Pixel einen ersten Wert der Wahrscheinlichkeit, dass er zur
Klasse K1 gehört,
einen zweiten Wert der Wahrscheinlichkeit, dass er zur Klasse K2
gehört,
einen dritten Wert der Wahrscheinlichkeit, dass er zur Klasse K3
gehört,
und einen vierten Wert der Wahrscheinlichkeit, dass er zur Klasse
K4 gehört,
zuordnet. Diese Informationen reichen aus, um ein Wahrscheinlichkeitsbild
für je den
Pixel von Interesse zu konstruieren, dass er zu diesen nachfolgend
definierten 4 Klassen gehört:
K1:
Klasse der von Krebs befallenen Bereiche
K2: Klasse der nicht
verdächtigen
gleichmäßigen Opazitäten
K3:
Klasse der Bereiche der umgebenden Brust
K4: Andere Bereiche
-
Wenn
der Vektor von m Kenndaten für
jeden der Pixel von Interesse des ursprünglichen Bildes definiert wurde,
wird dieser Vektor mit Bezug auf 4 dem
Eingang eines neuronalen Netzes, bezeichnet mit NN, zugeführt, das über die
gleiche Anzahl m von Eingängen,
bezeichnet mit El bis Em,
eine einzige verdeckte Schicht mit 40 Neuronen und eine Anzahl k
von Ausgängen
verfügt,
die derjenigen der Diagnoseklassen entspricht, also hier vier Ausgänge, bezeichnet
mit K1 bis K4.
-
Mit
Bezug auf die 5A und 5B besteht ein neuronales
Netz aus mehreren Rechenbauteilen, genannt Neuronen N, die in Schichten
angeordnet sind. Jedes Bauteil oder Neuron N liefert einen Ausgang
OS und kann einen oder mehrere Eingänge O1, O2 usw. empfangen.
Der Ausgang wird aktiviert, wenn die Summe Σ der mit den Gewichtungen W1,
W2 usw. gewichteten Eingänge
eine gewisse Schwellenwertfunktion Th, genannt Aktivierungsfunktion, überschreitet.
-
Ein
neuronales Netz wird einer Lernphase unterzogen, für die eine
Datenbank erforderlich ist. In dem vorgeschlagenen Verfahren werden
diese Daten aus einer gewissen Anzahl von Teilen von von einem Arzt
bereits untersuchten pathologischen Mammographiebildern entnommen,
und sie umfassen eine Vielzahl von Vektoren mit Kenndaten zu Punkten,
die zu Bereichen dieser Bilder gehören, die bereits als von Krebs
befallene Bereiche oder gesunde Bereiche bekannt sind. Während dieser
Lernphase werden diese Vektoren mit Kenndaten den Eingängen des
neuronalen Netzes zugeführt.
Die Gewichtungen des neuronalen Netzes werden dann festgelegt, damit
dieses Netz jeden Punkt richtig klassifiziert als Punkt, der zu
einem Bereich des bestimmten Krebstyps, bezeichnet als „Krebsbereich", gehört oder
als Punkt, der zu den verschiedenen anderen Bereichen der Mammographie
gehört,
die keine Krebsgeschwüre
enthalten.
-
Am
Ende der Lernphase des neuronalen Netzes werden die gleichen Verfahrenschritte
auf neue Bilder angewendet, die nicht vorher untersucht wurden,
um die Pixel automatisch in Bereiche des gleichen festgelegten Typs
wie diejenigen für
die Lernphase gelieferten Bereiche zu klassifizieren.
-
Jeder
Pixel von Interesse wird somit mit 4 Wahrscheinlichkeitswerten versehen,
die die Wahrscheinlichkeit wiedergeben, dass dieser Pixel zu jeder
Diagnoseklasse K1 bis K4 gehört.
-
II2 ZWEITE PHASE CP2 DER
UNTERTEILUNG IN 4 KLASSEN
-
Mit
Bezug auf 4 liegen am
Ausgang dieses neuronalen Netzes NN anstelle des ursprünglichen, aus
ausgewählten
Pixeln von Interesse bestehenden Bildes Wahrscheinlichkeitswerte
PK1 bis PK4 vor, die es ermöglichen,
4 so genannte Aktivierungsbilder IK1 bis IK4 zu konstruieren, die
jedes das Ergebnis der Aktivierungsfunktion des entsprechenden Ausgangs
K1 bis K4 des neuronalen Netzes darstellen.
-
In
dieser zweiten Phase werden die Pixel am Ausgang des neuronalen
Netzes mit Hilfe von Rechenmitteln CP2 kenntlich gemacht und in
Bereiche zusammengefasst, die jeder der Klassen K1 bis K4 entsprechen.
Somit werden alle Pixel einer Klasse, deren Wahrscheinlichkeitswert
größer als
ein vorher festgelegter Schwellenwert ist, als zu dieser Klasse
gehörend
gekennzeichnet und gemäß Kriterien
der Nähe
zusammengefasst.
-
8A zeigt beispielhaft ein
digitalisiertes Intensitätsbild
J0 zu einem ersten pathologischen Fall. 8B zeigt ein Aktivierungsbild IK, das
der Einfachheit der Darstellung halber die Elemente der 4 Aktivierungsbilder
IK1 bis IK4 aus 4 zusammenfasst,
um die Bereiche hervorzuheben, die aus Pixeln mit einem hohen Wahrscheinlichkeitswert
in den 4 Klassen K1 bis K4 am Ausgang des neuronalen Netzes gebildet
werden. Zu diesem Zweck wird allen Pixeln des Bildes J0 am Ausgang
des neuronalen Netzes ein gewisser Wahrscheinlichkeitswert zugeordnet,
dass sie zu jeder der 4 Klassen gehören. Zur Konstruktion dieses
Aktivierungsbildes der 8B wurde
grundsätzlich
entschieden, dass ein Pixel zu einer gegebenen Klasse gehört, wenn
seine Wahrscheinlichkeit, zu dieser Klasse zu gehören, größer oder
gleich 40% ist. Diese Auswahl kann mehr oder weniger strikt erfolgen. 9A zeigt als zweites Beispiel
ein weiteres Intensitätsbild
J0 zu einem anderen pathologischen Fall. 9B zeigt ein Aktivierungsbild IK, das
wie oben die Elemente der 4 Aktivierungsbilder IK1 bis IK4 aus 4 zusammenfasst, um die
Bereiche hervorzuheben, die aus Pixeln mit einem hohen Wahrscheinlichkeitswert
in den 4 Klassen K1 bis K4 des neuronalen Netzes gebildet werden,
und dem Bild aus 9A entspricht.
Es ist so zu sehen, wie es das neuronale Netz ermöglicht,
die verschiedenen Bereiche von speziellem Interesse zu erkennen,
die den Klassen K1 bis K4 entsprechen.
-
Es
ergibt sich also daraus, dass ein Pixel von Interesse einen hohen
Wahrscheinlichkeitswert, beispielsweise größer oder gleich 40%, für mehr als
eine Klasse haben kann. Dieser Pixel von Interesse darf sich in
der Tat jedoch am Ende nur in einer Diagnoseklasse befinden, d.
h. in einem einzigen Aktivierungsbild. Die anderen hohen Wahrscheinlichkeitswerte,
die ihm zugeordnet wurden, sind in Wirklichkeit falsche Alarme.
-
Diese
falschen Alarme müssen
eliminiert werden. Zu diesem Zweck umfasst das erfindungsgemäße Verfahren
eine dritte Phase.
-
II.3 DRITTE PHASE CP3
DER UNTERTEILUNG IN 2 KLASSEN
-
Das
Ziel der Erfindung besteht schließlich darin, nur die von Krebs
befallenen Bereiche K1 zu bestimmen und sie von allen anderen, nun
mit TT bezeichneten Pixeln zu trennen.
-
Dieser
Vorgang wird in den Rechenmitteln CP3 durchgeführt. Er erfordert die wirksame
Auswahl der Pixel, die zu den von Krebs befallenen Bereichen gehören, aller
Pixel, die zu diesen Bereich gehören,
jedoch ausschließlich
der Pixel, die zu diesen Bereichen gehören, um 100% wahr-positive
Ergebnisse zu erzielen und natürlich
keinen von Krebs befallenen Bereich auszulassen.
-
Gemäß einem
ersten einfachen Verfahren werden als Krebsbereiche die Bereiche
gespeichert, die aus der Zusammenfassung der als zur Klasse K1 gehörend gekennzeichneten
Pixel mit einem Wahrscheinlichkeitswert gebildet sind, der höher als
ein vorher festgelegter Schwellenwert, beispielsweise 40%, ist,
dass sie zu dieser Klasse gehören.
Aus diesen Bereichen werden die Bereiche ausgewählt, deren Durchmesser größer oder
gleich einem Schwellenwert, beispielsweise 3 mm oder 4 mm, ist.
Bei diesem Verfahren werden die Pixel, die nicht diese beiden Bedingungen
erfüllen,
weil sie entweder isoliert sind oder ihr Wahrscheinlichkeitswert
zu gering ist, in einer mit TT bezeichneten Klasse aller anderen
als gesund angesehenen Bereiche zusammengefasst.
-
Gemäß einem
zweiten bevorzugten Verfahren werden die Bereiche mit Risiko, bezeichnet
mit „verdächtige Bereiche", im Bild J0 entweder
manuell durch den Arzt oder automatisch durch nicht beschriebene Rechenmittel
ausgewählt,
in denen die Anzahl N der Pixel gezählt wird, die Summe der Wahrscheinlichkeitswerte
PK1 der zu der einzigen Klasse K1 mit Krebsgeschwüren ermittelt
wird und diese Summe durch die Anzahl N von Pixeln dividiert wird,
wodurch sich der mittlere Wahrscheinlichkeitswert der Pixel in jedem „Bereich mit
Risiko" ergibt,
dass er zu der Klasse K1 gehört.
Ist dieser mittlere Wahrscheinlichkeitswert größer als ein vorher festgelegter
Schwellenwert, beispielsweise 40%, wird der „verdächtige Bereich" als „Krebsbereich" angesehen.
-
Dieses
zweite Verfahren liefert ein besseres Ergebnis, d. h. es liefert
eine größere Anzahl
von wahr-positiven TA, die für
die gleiche Anzahl von falsch-positiven FA (fälschlicherweise als Krebsbereiche
erkannt) erkannt wurden, als das erste Verfahren.
-
Die 8C und 9C zeigen jeweils ein endgültiges Bild,
dass den Bildern aus den 8A und 9A entspricht, auf denen
ein gefundener Krebsbereich abgegrenzt wurde, um diese Pathologie
als Hilfe bei der Diagnose hervorzuheben.
-
Die „ROC-Kurve" (aus dem Englischen:
Receiver Operating Curve) in 11 zeigt
die durch das vorliegende Verfahren in dem bevorzugten Modus erzielten
Ergebnisse. Zur Erstellung dieser Kurve werden die durch das vorliegende
Verfahren gelieferten Schlussfolgerungen bezüglich der von Krebs befallenen
und der gesunden Bereiche durch Laboranalysen, beispielsweise Biopsien, überprüft. Laut
der Kurve in 11 wurden bei
50 analysierten Bildern 100% wahr-positive TA bei 2 falsch-positiven
FA gefunden, wobei die gespeicherten Krebsbereiche größer oder
gleich 3 mm waren.
-
DIE EINRICHTUNG UND DAS
SYSTEM
-
Mit
Bezug auf 12 umfasst
ein digitales Röntgensystem
eine Quelle 20 von Röntgenstrahlen
oder eine andere Strahlenquelle, Platten 21, 22 zum
Zusammenpressen des Brustorgans 1 der zu röntgenden
Patientin, eine Bildverstärkereinrichtung 23 verbunden
mit einer Bildröhre 24,
die Daten einem Verarbeitungssystem 25 zur Digitalisierung
der Bilder zuführt,
das mit einem Mikroprozessor verbunden ist. Letzterer umfasst mehrere
Ausgänge,
wobei ein Ausgang 26 mit einem Bildschirm DISPL zur Anzeige
des Röntgenbildes
oder Intensitätsbildes
in jedem Verarbeitungsstadium verbunden ist.
-
Mit
Bezug auf die Diagramme in den 1, 2A, 2B, 3 und 4 wird das von dem System 25 gelieferte digitale
Bild in den Speichermitteln MEM1 in Form von Daten gespeichert,
die für
den Mikroprozessor (nicht dargestellt) zugänglich sind. Letzterer verarbeitet
die im MEM1 gespeicherten Daten zusammen mit einem Rechner (nicht
dargestellt) vorzugsweise gemäß dem weiter
oben beschriebenen Verfahren, um automatisch Bereiche eines vorbestimmten
Krebstyps zu erkennen und endgültige
Intensitätsbilder
zu liefern, die mit visuellen Markierungen versehen sind, wie beispielsweise
Linien, die die genannten von Krebs befallenen Bereiche abgrenzen,
wie es beispielhaft in den Bildern der 8C und 9C dargestellt
ist, und die durch die Steuerung des Rechners beispielsweise auf
einem Bildschirm DISPL angezeigt oder in einem anderen Beispiel
ausgedruckt werden können.
-
Die
Bildverarbeitungseinrichtung zur automatischen Erkennung der Bereiche
eines vorbestimmten Krebstyps umfasst also: ein Erfassungssystem
(23, 24, 25) eines Bildes eines Bereichs
des menschlichen oder tierischen Körpers, einen Speicher MEM1
des Intensitätsbildes
J0, beispielsweise in Form einer zweidimensionalen Matrix aus Pixeln
mit digitalen Intensitätswerten,
Mittel zur automatischen Verarbeitung dieses Bildes, die Zugriff
auf diesen Speicher haben, und Anzeigemittel DISPL de genannten
Bildes mit sichtbaren Angaben zur Kennzeichnung der Bereiche, die
als der vorbestimmte Krebstyp in diesem Bild erkannt wurden.
-
In
dieser Einrichtung umfassen die Verarbeitungsmittel mit Bezug auf
die 1 bis 4 erste Verarbeitungsmittel
zum Erzeugen für
jeden Pixel eines Vektors einer Vielzahl von Intensitätskenndaten
mit:
- a) einem oder ersten ausgerichteten Filtermitteln
FP0, FP10A, FP10B zum Anwenden jeweils eines Gaußschen Operators G5, G5A, G10B,
um ein oder mehrere geglättete
Bilder IC0 oder IC11A bis IC16A, IC11B bis IC16B mit einem oder
mehreren Maßstäben zu liefern;
- b) einem oder mehreren zweiten ausgerichteten Filtermitteln
FP1 bis FP6 oder FP10, FP20, FP30, FP40 zum Anwenden eines oder
mehrerer ausgerichteter, Differentialoperatoren erster oder zweiter
Ordnung, unveränderlich
durch Rotation, auf jedes geglättete
Bild;
- c) Rechenmittel CP1 zum Durchführen der Zusammenfassung der
Ergebnisse der Operatoren, die die Kenndaten des gesuchten Vektors
für jeden
Pixel von Interesse mit einer Adresse in der zweidimensionalen Matrix
liefern;
und zweite Verarbeitungsmittel, die Folgendes umfassen:
- d) ein neuronales Netz NN zum Empfangen an seinen Eingängen E1
bis Em, wobei vorzugsweise m = 54, für jeden betreffenden Pixel
des Vektors mit Kenndaten zu dem genannten Pixel und zum Durchführen einer
Klassifizierung des genannten Pixels ausgehend von seinem Kenndatenvektor
in verschiedene Klassen, beispielsweise K1, K2, K3, K4, die die
Wahrscheinlichkeit angeben, dass der Pixel zu unterschiedlichen
Bereichen des Bildes gehört,
wobei eine Klasse K1 der Pixel der von Krebs befallenen Bereiche
und eine Klasse TT der anderen Bereiche existieren;
- e) Rechenmittel CP2, CP3 zum Konstruieren eines endgültigen Bildes
IF, das unterteilt ist in den Bereich des vorbestimmten Krebstyps
und andere Bereiche.
-
Diese
Einrichtung wird vorzugsweise für
die automatische Erkennung von Krebsgeschwüren der An „Opazitäten" in Mammographien des menschlichen Körpers eingesetzt.
-
Bei
Abwandlungen kann diese Einrichtung für die automatische Erkennung
von Opazitäten
in Tomographiebildern oder in durch Kernspinresonanz erzielten Bildern
eingesetzt werden.
