DE10225855A1

DE10225855A1 - Verfahren und Anordnung zur Auswertung von mit einer Funduskamera aufgenommenen Bildern

Info

Publication number: DE10225855A1
Application number: DE10225855A
Authority: DE
Inventors: Axel Doering
Original assignee: Carl Zeiss Jena GmbH
Current assignee: Carl Zeiss Meditec AG
Priority date: 2002-06-07
Filing date: 2002-06-07
Publication date: 2003-12-24
Also published as: WO2003105086A1; US20050171974A1; EP1512122A1; JP2005528966A

Abstract

Verfahren und Anordnung zur Auswertung von mit einer Funduskamera aufgenommenen Bildern, DOLLAR A wobei eine Ermittlung von Abweichungen von einem gespeicherten Vergleichsbild und/oder einem durch Auswertung von mehreren Vergleichsbildern entstandenen Standardbild und/oder DOLLAR A eine Ähnlichkeitsanalyse mittels eines gespeicherten Vergleichsbildes und/oder einem durch Auswertung von mehreren Vergleichsbildern entstandenen Standardbild erfolgt.

Description

In den letzten Jahren haben digitale Bilderfassungs- und Bildarchivierungssysteme für bildgebende Verfahren in der Augenheilkunde erhebliche Verbreitung gefunden. Gleichzeitig werden in wachsendem Anteil bildorientierte medizinische Lehr- und Dokumentationswerke ("Atlanten") in digitaler, teilweiser multimedialer und interaktiver Form veröffentlicht. Ein Informationsaustausch zwischen Bilderfassungssystemen und Atlanten findet jedoch nicht, oder nur über Umwege statt. Insbesondere obliegt die Auswahl relevanter Einträge und Beispielaufnahmen des Atlas vollständig dem Nutzer, d. h., die im konkreten Zustand des Bilderfassungssystems vorliegenden Informationen (z. B. Art der gerade erfaßten Bilder, Klassifikation der darauf erkennbaren pathologischen Veränderungen u. ä.) werden nicht zur Filterung der durch den Atlas angebotenen Informationen genutzt. Andererseits ist eine Erweiterung des Atlas durch eigene, dokumentierte Aufnahmen sowie die Verwendung dokumentierter Bilder des Informationssystems zur Einfügung in die Patientendokumentation nicht möglich. Damit wird die Brauchbarkeit dieser Informationssysteme für die tägliche Arbeit des Arztes und der (handhabbare) Umfang solcher Atlanten wesentlich eingeschränkt.
Gegenstand der vorgestellten Erfindung ist ein Verfahren und eine Anordnung, die die Kopplung eines bildorientierten medizinischen Informationssystems (im folgenden: "Atlas") mit einem digitalen Bilderfassungs- und Bildarchivierungssystem für die Augenheilkunde so ermöglicht, daß

a) ein unmittelbarer Zugang zu den Informationen des Atlas während der Benutzung des Bilderfassungssystems möglich ist,
b) Informationen, die aus dem aktuellen Zustand des Bilderfassungs- und Bildarchivierungssystems abgeleitet werden (im folgenden: "Kontextinformationen") dazu benutzt werden können, eine Auswahl von durch den Atlas bereitzustellenden Informationen zusammenzustellen, die für die aktuelle Arbeit des Nutzers relevant sind,
c) der Atlas um durch den Nutzer des Bilderfassungs- und Bildarchivierungssystems bereitgestellte dokumentierte Aufnahmen erweitert werden kann,
d) dokumentierte Aufnahmen aus dem Atlas in die elektronische Patientenakte des Bildarchivierungssystems übernommen werden können, um etwa Übereinstimmung oder Abweichung von klassischen klinischen Phänomenen zu dokumentieren.

Beschreibung eines Ausführungsbeispiels

Das Ausführungsmodell (Abbildung) besteht aus einem mit einer Funduskamera verbundenen Bilderfassungssystem in Kombination mit einem Bildarchivierungssystem (Abbildung), das mit einem auf demselben Rechner (. . .) installierten Atlas von Fundusaufnahmen (im folgenden: Retinaatlas) gekoppelt werden soll. Über ein auf diesem Rechner laufendes Programm zur Ansteuerung des Bilderfassungssystems, das gleichzeitig Zugriff auf die Informationen des Bildarchivierungssystems hat, besteht die Möglichkeit, den Retinaatlas auf diesem oder einem entfernten Rechner, zu dem eine Netzverbindung besteht, zu starten, Kontextinformationen zu übergeben und Suchvorgänge auszulösen (Abbildung). Neben dieser Infrastruktur besteht der Anspruch der Erfindung in der geeigneten Auswahl der Kontextinformationen und der Anwendung eines Verfahrens, das eine unscharfe Suche nach entsprechenden Einträgen des Retinaatlas ermöglicht.
Fig. 1 zeigt beispielhaft die erfindungsgemäße Anordnung, bestehend aus einer Funduskamera 1 zur Aufnahme des Augenhintergrundes, beispielsweise einer Zeiss- Funduskamera FF 450+, deren Bildaufnahmeeinheit (CCD Kamera) einen Ausgang 2 zur Übermittlung der aufgenommenen Fundusbilder in Richtung einer Auswerteeinheit 3 aufweist, die die aufgenommenen Bilder digitalisiert und in einem Speicher 4 (Bildarchiv) ablegt.
Die Bilder werden mittels der Auswerteeinheit 3 nach bestimmten Strukturen oder Merkmalen untersucht, beispielsweise durch Grauwertanalyse und ein Grauwerthistogramm, durch Farbanalyse und ein Farbhistogramm oder durch Erfassung charakteristischer Strukturen (Beispiel)
Ein Vergeichsoperator 5 ist mit einer internen oder externen Datenbank 6 verbunden, die beispielsweise ein Retinaatlas gemäß (Bezugsquelle) als CD Rom sein kann oder eine Internet-Datenbank, und vergleicht aufgenommenen Bilder der Funduskamera gemäß dem untersuchten Kriterium (Farbe, Grauwert, Struktur) mit bereits vorher aufgenommenen Bildern oder archivierten Bildern. Hierbei kann es sich um Fundusbilder anderer Augen aus vorgespeicherten Archiven, aber auch um früher aufgenommenen Bilder ein- und desselben Patienten handeln.
Weiterhin kann der Vergleichsoperator 5 für das aufgenommene Bild einen neuen Datenspeicher anlegen, um es später zu Vergleichszwecke heranzuziehen.
Das ist besonders interessant, wenn

a) das aufgenommenen Bild bezüglich der Bildanalyse Merkmale aufweist, die nicht oder nur teilweise mit gespeicherten Bildern übereinstimmen und es zur Erfassung eines neuen Krankheitsbildes abgespeichert wird
b) das aufgenommene Bild als Grundlage für einen späteren Vergleich mit neu aufgenommenen Bildern dienen soll

Fig. 2 zeigt schematisch den Ablauf des erfindungsgemäßen Verfahrens, bestehend aus

- Dem Eingeben von patientenspezifischen Informationen zur späteren Identifizierung des aufgenommenen Bildes, das zusammen mit diesen Informationen abgespeichert wird
- Dem Aufnehmen des Bildes mit der Funduskamera
- Dem Import eines oder mehrerer vorgespeicherter Bilder aus internen oder externen Speichermedien (Computer, CD Rom, Internet)
- Dem Erstellen einer "Kontextinformation" durch Bildanalyse mindestens des aufgenommenen Bildes
- Der Analyse vorgespeicherter Bilder nach den gleichen oder ähnlichen Kriterien zur Bildung von "Kontextinformationen" der vorgespeicherten Bilder. Das kann auch durch Mittelbildung über mehrere Bilder oder Bildergruppen zur Erzeugung einer "Standard-Kontextinformation" erfolgen
- Dem Vergleich der aufgenommenen Bilder mit vorgespeicherten Bildern durch Vergleich der "Kontextinformation" zur Ermittlung einer Diagnose oder Klassifizierung des aufgenommenen Bildes
- (Abruf ähnlicher Bilder)
- Der Speicherung (Neueintrag) der dem aufgenommenen Bild durch Vergleich zugeordneten "Kontextinformation" mit dem Bild gemeinsam zur Zuordnung einer Diagnose oder Klassifizierung

Erfindungsgemäß erfolgt auch für kaufbare oder im Internet einsehbare Dateien (Zeiss Retinaatlas http:/ / www.zeiss.de/czj/de/op/zeiss/index_frames.html) von aufgenommenen und teilweise schon nach Krankheiten klassifizierten Fundusbildern eine Bildanalyse zur Klassifizierung und Bildung einer "Kontextinformation".

Zusammenstellung der Kontextinformationen

Kontextinformationen werden bezogen aus

- der Auswertung der Einstellungen der Funduskamera (Aufnahmemodus, Bildwinkel, Belichtungseinstellungen), die entweder aktuell von der angeschlossenen Kamera, oder als Einträge aus dem Bildarchiv bezogen werden
- manuell erstellten, dem Bild zugeordneten Annotationen (Schlüsselworte, Diagnosekodierungen, an bestimmte Bildpositionen eingezeichnete grafische Elemente)
- der Auswertung von patientenspezifischen Informationen (Alter, Geschlecht, Anamnese usw.)
- der Auswertung des Bildinhaltes.

Dabei umfaßt der letzte Punkt eine Vielzahl von allgemeinen, für beliebige Bildinhalte verwendbare Methoden sowie spezielle Verfahren der Detektion und Analyse typischer Objekte und Veränderungen am Augenhintergrund. Zur ersten Klasse von Verfahren sind zu nennen (siehe auch [1], [2], [3]):

- Bestimmung von Farbhistogrammen und daraus abgeleiteten Parametern
- Auswertung der räumlichen Verteilung bestimmter Farb- oder Grauwerte

Die zweite Klasse von Verfahren (siehe u. a. [4], [5], [6]) umfaßt beispielsweise

- Die Extraktion des Gefäßnetzes und Ableitung von Kenngrößen (etwa: Längenverhältnis großer zu kleinen Gefäßen, Verzweigungsgrad)
- Klassifikation von Strukturen am Augenhintergrund sowie deren Quantifizierung (etwa: Papille, Fovea)
- Die Detektion und Quantifizierung pathologischer Veränderungen (etwa: Lage und Ausdehnung von Exsudaten, Microaneurysmen, Narben oder Neovaskularisationen), die in Abhängigkeit von den ermittelten Funduskameraeinstellungen erfolgen kann

Damit kann entweder zum aktuell ausgewählten Bild (das Ergebnis der Bilderfassung oder einer Abfrage des Bildarchivs sein kann), oder aber zum aktuell ausgewählten Patienten (durch Auswertung und Kombination dieser Informationen für mehrere Aufnahmen) ein Satz von Attributen erstellt werden, der den aktuellen Interessenkreis für Anfragen an den Retinaatlas gut beschreibt, beispielsweise in der Form Tabelle 1 möglicher Attributvektor zu einer Fundusaufnahme

Suchverfahren im Retinaatlas

Zu dem übergebenen Attributvektor sollen Bilder, die zum selben Themenkreis gehören, aus dem Retinaatlas gesucht und in eine der Ähnlichkeit entsprechende Reihenfolge gebracht werden, so daß dem Nutzer die manuelle Durchsicht einer großen Anzahl von Bildern abgenommen wird. Beispielsweise sollen zum Attributvektor nach Tabelle 1 alle Bilder zur nicht proliferativen diabetischen Retinopathie gefunden werden. Eine Voraussetzung hierfür ist, daß entsprechende Attribute bereits für alle im Retinaatlas erfaßten Bilder bestimmt wurden. Dann können Ähnlichkeitsmaße zum gegebenen Attributvektor bestimmt werden und mittels hierarchischer Suchverfahren ([7], [8]) eine entsprechend sortierte Menge von Trefferbildern, oder ein Kapitel oder Unterabschnitt des Retinaatlas, das die Mehrzahl der Treffer erhält, zurückgegeben werden.
Die entsprechenden Bilder (bzw. das entsprechende Kapitel) werden im Retinaatlas geladen und dargestellt.

Erweiterung des Retinaatlas um selbst angefertigte Bilder

Der Benutzer des Bilderfassungs- und Bildarchivierungssystems hat die Möglichkeit, selbst angefertigte (bzw. aus dem Bildarchiv entnommene) Bilder zu kommentieren und dem Retinaatlas hinzuzufügen, indem er sie in vorhandene Kapitel eingliedert oder neue Kapitel bzw. Unterabschnitte erstellt. Bei der Übernahme der Bilder werden die Attribute automatisch erzeugt und der Bildindex ergänzt, so daß diese neuen Bilder für künftige Suchvorgänge im Retinaatlas zur Verfügung stehen.

Importieren von Bildern und Kommentaren aus dem Retinaatlas

Über eine Bedienfunktion des Retinaatlas wird dem Benutzer die Möglichkeit gegeben, ausgewählte Bilder des Retinaatlas in die Patientenakte des Bildarchivierungssystems für Dokumentationszwecke zu übernehmen. Literatur [1] Yamamoto et al., "Extraction of Object Features and Its Application to Image Retrieval", Trans. Of IEICE, vol. E72, No. 6, 771-781 (Jun. 1989).
[2] M. Kurokawa, "An Approach to Retrieving Images by Using their Pictorial Features", IBM Research, Japan, Sep. 1989.
[3] Gudivada, V. N., Raghavan, V. V. eds. "Content-based image retrieval systems" IEEE Computer 28 (9), 18-22 (1995)
[4] Kirkpatrick et al. "Quantitative Image Analysis of Macular Drusen from Fundus Photographs and Scanning Laser Ophthalmoscope Images" Eye (9) 48-55, 1995
[5] S. Feman et al. "A Quantitative System to Evaluate Diabetic Retinopathy from Fundus Photographs" Investigative Ophthalmology and Visual Science, (36): 174-80, 1995
[6] E. Peli, M. Lahav, "Drusen Measurement from Fundus Photographs Using Computer Image Analysis", Ophthalmology 93: 1575-1580, 1986
[7] Hanan Samet, "The Quadtree and Related Hierarchical Data Structures", Computing Surveys, vol. 16, No. 2, Jun. 1984.
[8] S. Berchthold et al. "The X-Tree: An index structure for high-dimensional data". In: Proceedings of the International Conference on Very Large Databases, 28-29, 1996
[9] E. Petrakis, C. Faloutsos. "Similarity searching in medical image databases". IEEE Trans. Knowledge and Data Engineering, 9(3): 435-447, 1997
Patente:
US 5579471
US 5852823
US 5913205
US 5911139

Claims

1. Verfahren zur Auswertung von mit einer Funduskamera aufgenommenen Bildern, wobei eine Ermittlung von Abweichungen von einem gespeicherten Vergleichsbild und/oder einem durch Auswertung von mehreren Vergleichsbildern entstandenen Standardbild und/oder eine Ähnlichkeitsanalyse mittels eines gespeicherten Vergleichsbild und/oder einem durch Auswertung von mehreren Vergleichsbildern entstandenen Standardbild erfolgt.

2. Verfahren nach Anspruch 1, wobei die Auswertung erfolgt, indem extrahierte Merkmale gemittelt werden.

3. Verfahren nach Anspruch 1 oder 2, wobei die Ermittlung von Abweichungen und/oder die Ähnlichkeitsanalyse anhand einer Grauwertanalyse und/oder Analyse von Farbhistogrammen und/oder einer Strukturanalyse erfolgt.

4. Verfahren nach einem der Ansprüche 1-4, wobei eine Extraktion von Gefäßbaumparametern erfolgt

5. Anordnung zur Auswertung von mit einer Funduskamera aufgenommenen Bildern, insbesondere nach einem der vorangehenden Ansprüche, bestehend aus:
einer Funduskamera zur Aufnahme des Augenhintergrundes
einem Bildspeicher zur Abspeicherung aufgenommener Fundusbilder
Mitteln zur Auswertung der aufgenommenen Fundusbilder, bestehend aus:
Mitteln zur Grauwertanalyse und/oder
Mitteln zur Erstellung von Farbhistogrammen und/oder
Mitteln zur Strukturanalyse.

6. Anordnung nach Anspruch 5,
wobei Mittel zur Ermittlung von Abweichungen von einem gespeicherten Vergleichsbild und/oder einem durch Auswertung von mehreren Vergleichsbildern entstandenen Standardbild und/oder
Mittel zur Ähnlichkeitsanalyse mittels eines gespeicherten Vergleichsbild und/oder einem durch Auswertung von mehreren Vergleichsbildern entstandenen Standardbild vorgesehen sind.