DE112020001788T5

DE112020001788T5 - Elektronisches endoskopsystem und datenverarbeitungsvorrichtung

Info

Publication number: DE112020001788T5
Application number: DE112020001788.5T
Authority: DE
Inventors: Ryohey KOIZUMI
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2019-04-02
Filing date: 2020-03-26
Publication date: 2022-01-27
Also published as: US12011142B2; WO2020203705A1; US20210338039A1; CN112930136A; JP6912688B2; CN112930136B; JPWO2020203705A1

Abstract

Dieses elektronische Endoskopsystem enthält eine Evaluierungseinheit, die ein Ausmaß einer Läsion durch Verarbeiten eines Bildes im Inneren eines Organs, das von einem elektronischen Endoskop aufgenommen wird, evaluiert. Die Evaluierungseinheit enthält: eine Bildevaluierungswertberechnungseinheit, die einen Bildevaluierungswert berechnet, der ein Ausmaß einer Läsion in einem biologischen Gewebe für das aufgenommene Bild angibt; eine Läsionsevaluierungseinheit, die eine Information über eine Bildaufnahmeposition im Inneren des Organs verwendet, um einen Repräsentativevaluierungswert der Bildevaluierungswerte anhand der Bildevaluierungswerte für jeden einer Vielzahl von Abschnitten zu berechnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, und die den Repräsentativevaluierungswert verwendet, um die Ausbreitung der Läsion in einer Tiefenrichtung zu evaluieren; und eine Läsionsevaluierungseinstelleinheit, die für einen leeren Abschnitt, für den kein Repräsentativevaluierungswert erzeugt wird, als geschätzten Repräsentativevaluierungswert einen Bildevaluierungswert für einen nicht-leeren Abschnitt einstellt, der im Organ weiter hinten als der leere Abschnitt liegt, oder einen Repräsentativevaluierungswert, der auf der Basis des Bildevaluierungswerts ermittelt wird, und die den geschätzten Repräsentativevaluierungswert dem leeren Abschnitt zuordnet.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein elektronisches Endoskopsystem und eine Datenverarbeitungsvorrichtung zum Evaluieren einer Ausbreitung einer Läsion eines biologischen Gewebes im Inneren eines Organs.
Stand der Technik
Läsionsbereiche in einem biologischen Gewebe haben unterschiedliche Schweregrade, von einer Entzündung, bei der eine Schleimhautschicht des biologischen Gewebes dünn, rau und rot wird, bis hin zu Geschwüren, bei denen die Schleimhautschicht und deren Unterschicht teilweise fehlen. Beispielsweise ist der ulzerative Teil einer Colitis ulcerosa (UC)-Läsion weiß mit weißem Moos und eitrigem Schleim, und der entzündete Teil ist rot und weist Ödeme und eine leichte Blutung auf. Solche Läsionsbereiche können mit einem Endoskopsystem abgebildet und beobachtet werden.
Es ist jedoch eine längerfristige Schulung unter der Anleitung eines Experten erforderlich, damit ein Chirurg in der Lage ist, zwischen einem normalen Bereich und einem Läsionsbereich aufgrund des Farbunterschieds, der in dem Endoskopbild vorhanden ist, zu unterscheiden. Selbst für einen erfahrenen Chirurgen ist es ferner nicht leicht, einen Läsionsbereich anhand eines leichten Farbunterschieds zu identifizieren, und eine sorgfältige Arbeit ist notwendig. Deshalb bevorzugt man, dass das Endoskopsystem ein Evaluierungsergebnis liefert, in dem ein Ausmaß einer Läsion in dem Läsionsbereich objektiv quantifiziert ist.
Andererseits ist ein Endoskopsystem bekannt, das Schwankungen des Evaluierungswertes des entzündeten Bereichs unterdrücken kann, um den Evaluierungswert stabil zu berechnen, und die Verarbeitungslast der Berechnung des Evaluierungswertes reduzieren kann (Patentdokument 1).
Liste von Entgegenhaltungen
Patentdokument
Patentdokument 1: WO 2017/057680 A
Zusammenfassung der Erfindung
Technische Aufgabe
Das oben genannte Endoskopsystem enthält eine Lichtquellenvorrichtung, die ein Objekt mit Beleuchtungslicht bestrahlt, eine Bilderfassungseinheit, die ein Bild des von dem Objekt reflektierten Lichts mit einem Bildsensor aufnimmt und ein Farbbild erfasst, das mindestens drei oder mehr Farbkomponenten enthält, und eine Evaluierungseinheit, die Evaluierungsergebnisse bezüglich Zielerkrankungen für jedes Pixel basierend auf einem Winkel ermittelt, der von einem Liniensegment, das einen vorbestimmten Referenzpunkt, der in einer Farbebene gesetzt ist, und Pixelkorrespondenzpunkte in der Farbebene jedes Pixels, das das Farbbild bildet, das von der Bilderfassungseinheit erfasst wird, verbindet, und einer Referenzachse mit einer Korrelation mit der Zielerkrankung in der Farbebene, die durch mindestens zwei der mindestens drei Farbkomponenten definiert ist, gebildet wird. Die Referenzachse wird so festgelegt, dass sie durch einen vorbestimmten Referenzpunkt hindurchgeht. Die Referenzachse ist mindestens eine Achse aus einer Achse mit einer Korrelation mit einer Zielerkrankung, deren Entzündungsgrad gleich oder niedriger als ein vorbestimmter Wert ist, und einer Achse in der Farbebene mit einer Korrelation mit einer Zielerkrankung, deren Entzündungsgrad gleich oder größer als ein vorbestimmter Wert ist.
Gemäß einer solchen Konfiguration ist es möglich, die Schwankungen des Entzündungsevaluierungswertes aufgrund der Helligkeit des Bildes zu unterdrücken, den Entzündungsevaluierungswert stabil zu berechnen und die Verarbeitungslast der Berechnung des Entzündungsevaluierungswertes zu reduzieren.
Wenn das Endoskopsystem ein Ausmaß einer Läsion, wie z. B. einer Entzündung des biologischen Gewebes im Inneren des Organs, evaluiert, ist die Evaluierung jedoch auf einen Bereich des biologischen Gewebes beschränkt, dessen Bild aufgenommen ist, und die Auswertung, wie weit sich eine Stelle mit einem gewissen Ausmaß einer Entzündung in Tiefenrichtung in dem Organ ausbreitet, kann nicht angemessen durchgeführt werden. Die Bewertung der Ausbreitung des Entzündungsbereichs in Tiefenrichtung führt oft zu unterschiedlichen Methoden der Behandlung der Läsion.
Ferner ist es wichtig, das Innere des Organs in eine Vielzahl von Abschnitten zu unterteilen, die das Organ charakterisieren, und das Ausmaß der Läsion für jeden Abschnitt zu kennen, um die Ausbreitung der Läsion in Tiefenrichtung zu evaluieren, aber das Ausmaß der Läsion wird nicht in allen Abschnitten evaluiert, und es gibt einige leere Abschnitte, in denen das Ausmaß der Läsionen nicht evaluiert ist. Selbst wenn der Zustand des Fortschreitens der Läsionen für jeden Abschnitt evaluiert werden kann, indem das gleiche Organ zu einem späteren Zeitpunkt untersucht wird, ist es in einem solchen Fall schwierig, den Zustand des Fortschreitens (oder einen Zustand einer Verkleinerung) der Läsion in der Tiefenrichtung zu erfassen, wenn das vorherige Evaluierungsergebnis den leeren Abschnitt einschließt, in dem das Ausmaß der Läsion nicht ausgewertet wurde.
Folglich ist ein Ziel der vorliegenden Erfindung, ein elektronisches Endoskopsystem und eine Datenverarbeitungsvorrichtung vorzusehen, die imstande sind, eine Ausbreitung einer Läsion in einer Tiefenrichtung eines Organs zu bewerten, wenn das Ausmaß der Läsion, wie z. B. die Entzündung eines biologischen Gewebes in dem Organ evaluiert wird, selbst wenn ein leerer Abschnitt ohne Evaluierungsergebnis eines Ausmaßes einer Läsion in einer Vielzahl von Abschnitten, die durch Unterteilen einer Region im Inneren des Organs erhalten werden, vorhanden ist.
Lösung der Aufgabe
Ein Aspekt der vorliegenden Erfindung ist ein elektronisches Endoskopsystem, das ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt. Das elektronische Endoskopsystem enthält:

ein elektronisches Endoskop, das ausgebildet ist, um das Bild des biologischen Gewebes in dem Organ aufzunehmen; und
einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um eine Vielzahl von aufgenommenen Bildern des biologischen Gewebes zu verarbeiten, um das Ausmaß der Läsion in dem Organ zu evaluieren; und
einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis des Ausmaßes der Läsion auf einem Bildschirm anzuzeigen.

Die Evaluierungseinheit enthält:

eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für mindestens einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die erhalten werden, indem verschiedene Stellen des biologischen Gewebes in dem Organ aufgenommen werden;
eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem Organ, die von dem elektronischen Endoskop aufgenommen wurde, mit jedem der Bilder von Interesse zu verknüpfen;
eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, indem die Information über die Bildaufnahmeposition verwendet wird, eine Verarbeitung durchzuführen, um einen Repräsentativevaluierungswert für jeden Abschnitt aus dem zugeordneten Bildevaluierungswert zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung des Organs ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und
eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um einen der Bildevaluierungswerte in einem nicht-leeren Abschnitt unter einer Vielzahl von Abschnitten, der sich im Organ weiter hinten als der leere Abschnitt befindet und dessen Repräsentativevaluierungswert erzeugt wird, oder einen Repräsentativevaluierungswert, der basierend auf dem Bildevaluierungswert in dem nicht-leeren Abschnitt ermittelt wird, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt zuzuordnen, für den leeren Abschnitt unter der Vielzahl von Abschnitten, in dem der Repräsentativevaluierungswert durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt wird.

Die Läsionsevaluierungseinstelleinheit kann einen der Bildevaluierungswerte in einem Abschnitt, der dem leeren Abschnitt am nächsten ist, oder den Repräsentativevaluierungswert in dem nächsten Abschnitt als den geschätzten Repräsentativevaluierungswert in dem nicht-leeren Abschnitt, der sich im Organ hinter dem leeren Abschnitt befindet, definieren.
Das Bild oder der Bildevaluierungswert kann mit einer Information über eine Aufnahmezeit oder eine Aufnahmereihenfolge des Bildes verknüpft sein, und die Läsionsevaluierungseinstelleinheit kann einen Bildevaluierungswert, der einem Bild mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge unter den Bildern, die den nicht-leeren Abschnitt aufnehmen, der sich im Organ hinter dem leeren Abschnitt befindet, entspricht, oder den Bildevaluierungswert des Bildes mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge unter den Bildevaluierungswerten der Bilder, die den nicht-leeren Abschnitt aufnehmen, der sich im Organ hinter dem leeren Abschnitt befindet, als geschätzten Repräsentativevaluierungswert definieren.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein elektronisches Endoskopsystem, das ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt. Das elektronisches Endoskopsystem enthält:

Die Evaluierungseinheit enthält:

eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für mindestens einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die erhalten werden, indem verschiedene Stellen des biologischen Gewebes in dem Organ aufgenommen werden;
eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem Organ, die von dem elektronischen Endoskop aufgenommen wurde, mit jedem der Bilder von Interesse zu verknüpfen;
eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, indem die Information über die Bildaufnahmeposition verwendet wird, die Verarbeitung durchzuführen, um Repräsentativevaluierungswerte für jeden Abschnitt anhand der zugeordneten Bildevaluierungswerte zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in Tiefenrichtung des Organs ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und
eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, zwei der Repräsentativevaluierungswerte in jedem der nicht-leeren Abschnitte unter der Vielzahl von Abschnitten, zwischen deren Seiten ein leerer Abschnitt in Sandwichanordnung angeordnet ist und dessen Repräsentativevaluierungswert erzeugt wird, als Referenzevaluierungswert festzulegen, und einen zusammengesetzten Evaluierungswert, der basierend auf dem Referenzevaluierungswert berechnet wird, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt zuzuweisen, für den leeren Abschnitt unter der Vielzahl von Abschnitten, in dem der Repräsentativevaluierungswert durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt wird.

Die Läsionsevaluierungseinstelleinheit kann als geschätzten Repräsentativevaluierungswert einen gewichteten Mittelwert definieren, der durch Gewichten und Mitteln der beiden Referenzevaluierungswerte erhalten wird, unter Verwendung eines ersten Gewichtungskoeffizienten basierend auf der Gesamtlängeninformation der Längeninformation eines der nicht-leeren Abschnitte auf beiden Seiten und der Längeninformation des leeren Abschnitts und eines zweiten Gewichtungskoeffizienten basierend auf der Gesamtlängeninformation der Längeninformation des anderen der nicht-leeren Abschnitte auf beiden Seiten und der Längeninformation des leeren Abschnittes.
Ein noch weiterer Aspekt der vorliegenden Erfindung ist ein elektronisches Endoskopsystem, das ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt. Das elektronische Endoskopsystem enthält:

Die Evaluierungseinheit enthält:

eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für mindestens einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die durch Aufnehmen verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden;
eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition, die durch Unterteilen des Organs erhalten wird, das von dem elektronischen Endoskop aufgenommen wird, mit jedem der Bilder von Interesse zu verknüpfen;
eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, indem die Information über die Bildaufnahmeposition verwendet wird, die Verarbeitung durchzuführen, um Repräsentativevaluierungswerte für jeden Abschnitt anhand der zugeordneten Bildevaluierungswerte zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung des Organs ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und
eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um einen zusammengesetzten Repräsentativevaluierungswert, der basierend auf den Repräsentativevaluierungswerten in jedem der nicht-leeren Abschnitte unter der Vielzahl von Abschnitten, zwischen deren Seiten ein leerer Abschnitt in Sandwichanordnung angeordnet ist und dessen Repräsentativevaluierungswert erzeugt wird, für den leeren Abschnitt unter der Vielzahl von Abschnitten, in dem der Repräsentativevaluierungswert durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt wird, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert zuzuweisen, der das Ausmaß der Läsion in dem leeren Abschnitt angibt, und
die Läsionsevaluierungseinstelleinheit den geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt durch Interpolation mittels Kurvenanpassung unter Verwendung der Längeninformation über jeden der nicht-leeren Abschnitte auf beiden Seiten, der Längeninformation über den leeren Abschnitt und der Repräsentativevaluierungswerte in dem nicht-leeren Abschnitt und dem leeren Abschnitt berechnet.

Die Evaluierungseinheit kann eine Evaluierungsergebnisintegrationseinheit enthalten, die ausgebildet ist, um einen Evaluierungsergebnisbildschirm zu erzeugen, der den Repräsentativevaluierungswert und den geschätzten Repräsentativevaluierungswert, der dem Abschnitt entspricht, anzeigt, und
in dem Evaluierungsergebnisbildschirm kann der geschätzte Repräsentativevaluierungswert in einer Anzeigeform dargestellt werden, die von dem Repräsentativevaluierungswert unterschieden werden kann.
Ferner kann das elektronische Endoskopsystem ferner eine Läsionsbereichspositionsberechnungseinheit enthalten, die ausgebildet ist, um als Startposition oder als Endposition eines Läsionsbereichs eine Position festzulegen, an der der Bildevaluierungswert des Bildes von Interesse einen voreingestellten Schwellenwert übersteigt, mit der Bewegung der Bildaufnahmeposition des Bildes von Interesse, und die Startposition oder die Endposition in dem Organ anhand der Information über die Bildaufnahmeposition des Bildes von Interesse zu spezifizieren,
wobei die Läsionsevaluierungseinheit die Länge in der Tiefenrichtung des Läsionsbereichs anhand eines spezifischen Ergebnisses der Läsionsbereichsberechnungseinheit berechnen kann.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Datenverarbeitungsvorrichtung, die ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt, wobei die Datenverarbeitungsvorrichtung enthält: eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für wenigstens einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die durch Bildaufnahme verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden;
eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem aufgenommenen Organ mit jedem der Bilder von Interesse zu verknüpfen;
eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, unter Verwendung der Information über die Bildaufnahmeposition, eine Verarbeitung durchzuführen, um Repräsentativevaluierungswerte für jeden Abschnitt anhand der zugeordneten Bildevaluierungswerte zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung in dem Organ ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und
eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt unter der Vielzahl von Abschnitten einen der Bildevaluierungswerte in einem nicht-leeren Abschnitt, der sich im Organ hinter dem leeren Abschnitt befindet und dessen Repräsentativevaluierungswert erzeugt wird, für den leeren Abschnitt, in dem der Repräsentativevaluierungswert durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt wird, oder einen Repräsentativevaluierungswert zuzuordnen, der basierend auf dem Bildevaluierungswert in dem nicht-leeren Abschnitt unter der Vielzahl von Abschnitten erzeugt wird.
Ferner kann das elektronische Endoskopsystem ferner eine Läsionsbereichspositionsberechnungseinheit enthalten, die ausgebildet ist, um als Startposition oder Endposition eines Läsionsbereichs eine Position festzulegen, an der der Bildevaluierungswert des Bildes von Interesse einen voreingestellten Schwellenwert übersteigt, mit der Bewegung der Bildaufnahmeposition des Bildes von Interesse, und die Startposition oder die Endposition in dem Organ anhand der Information über die Bildaufnahmeposition des Bildes von Interesse zu spezifizieren,
wobei die Läsionsevaluierungseinheit die Länge in der Tiefenrichtung des Läsionsbereichs anhand eines spezifischen Ergebnisses der Läsionsbereichspositionsberechnungseinheit berechnen kann.
Vorteilhafte Wirkungen der Erfindung
Gemäß dem elektronischen Endoskopsystem und der Datenverarbeitungsvorrichtung, die oben beschrieben sind, ist es beim Evaluieren des Ausmaßes der Läsion in dem biologischen Gewebe im Inneren des Organs, selbst wenn ein leerer Abschnitt ohne Evaluierungsergebnis des Ausmaßes der Läsion vorhanden ist, möglich, die Ausbreitung des biologischen Gewebes in Tiefenrichtung des Organs zu evaluieren.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration eines Endoskopsystems gemäß einem Ausführungsbeispiel zeigt.
2 ist ein Diagramm zum Erläutern einer Konfiguration eines Teils einer in 1 gezeigten Bildverarbeitungseinheit, die eine Ausbreitung einer Läsion in einer Tiefenrichtung eines Organs evaluiert.
3 ist ein Diagramm zum Erläutern eines Beispiels für eine Referenzachse in einem Farbraum, der in einem Ausführungsbeispiel verwendet wird.
4 ist ein Diagramm zum Erläutern eines Verfahrens zum Berechnen eines Abweichungswinkels zur Berechnung der Rötung des biologischen Gewebes, das in einem Ausführungsbeispiel verwendet wird.
5 ist ein Diagramm, das ein Beispiel für einen Ablauf von einer Bilderfassung bis zur Ermittlung von Repräsentativevaluierungswerten für jeden Abschnitt zeigt, der von einer Evaluierungseinheit des Ausführungsbeispiels durchgeführt wird.
6 ist ein Diagramm zum Erläutern eines Dickdarms, der ein Beispiel für das von dem Endoskopsystem des Ausführungsbeispiels zu messende Organ ist.
7 ist ein Diagramm, das ein Beispiel für ein Evaluierungsergebnis aus der herkömmlichen Läsionsevaluierungseinheit zeigt.
8 ist ein Diagramm, das ein weiteres Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit des Ausführungsbeispiels zeigt.
9 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit des Ausführungsbeispiels zeigt.
10 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit des Ausführungsbeispiels zeigt.
11 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit des Ausführungsbeispiels zeigt.

Beschreibung von Ausführungsbeispielen
Vor dem Erläutern eines elektronischen Endoskopsystems und einer Datenverarbeitungsvorrichtung eines Ausführungsbeispiels der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen, wird nachstehend zunächst eine Evaluierung einer Ausbreitung einer Läsion in einem Organ konzeptionell beschrieben.
(Zusammenfassung der Evaluierung des Ausmaßes einer Läsion im Inneren eines Organs)
Ein Prozessor des elektronischen Endoskopsystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung evaluiert ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt. Das Ausmaß der Läsion umfasst die Ausbreitung und die Stärke der Läsion. Beim Aufnehmen eines Bildes des biologischen Gewebes im Inneren des Organs wird beispielsweise das elektronische Endoskop von einem Öffnungsende eines röhrenförmigen Organs bis zu einer Position eines aufzunehmenden tiefsten Abschnittes in Tiefenrichtung im Inneren des Organs eingeführt und nimmt ein Bild des biologischen Gewebes im Inneren des Organs auf, während es sich kontinuierlich von der Position in Richtung des Öffnungsendes des Organs bewegt. Die Tiefenrichtung schließt sowohl eine Richtung vom Öffnungsende zum tiefsten Abschnitt als auch eine Richtung vom tiefsten Abschnitt zum Öffnungsende ein.
Das aufgenommene Bild des biologischen Gewebes kann ein Bewegtbild sein, das kontinuierlich in regelmäßigen Zeitabständen aufgenommen wird, oder kann ein Standbild sein, das intermittierend aufgenommen wird, während das elektronische Endoskop in dem Organ bewegt wird. Beim Bewegen des elektronischen Endoskops muss die Bewegungsgeschwindigkeit des elektronischen Endoskops nicht notwendigerweise konstant sein, und das elektronische Endoskop kann zu der Stelle zurückkehren, an der das elektronische Endoskop vorbeigekommen ist, und das Bild aufnehmen, d.h. seine Bewegungsrichtung kann auch teilweise umgekehrt werden. Es wird angemerkt, dass im Falle des Bewegtbildes das elektronische Endoskop die Aufnahme durchführt, während es sich im Wesentlichen in die gleiche Richtung mit im Wesentlichen der gleichen Geschwindigkeit bewegt.
Bei der Evaluierung des Ausmaßes der Läsion berechnet der Prozessor unter Anweisung eines Chirurgen oder einer Bedienperson Bildevaluierungswerte, die die Stärke der Läsion in dem Bild angeben, für jedes der Vielzahl von Bildern des biologischen Gewebes, das mit weißem Beleuchtungslicht beleuchtet wird. Der Bildevaluierungswert ist nicht besonders beschränkt, aber wenn die Läsion eine Entzündung ist, können Beispiele hierfür einen Entzündungswert einschließen, der durch Evaluieren eines Entzündungsgrades eines Läsionsbereichs (Entzündungsbereichs) basierend auf einer Information einer Farbkomponente des Läsionsbereichs (beispielsweise rot) erhalten wird.
Das zu evaluierende Organ ist nicht spezifisch beschränkt, und Beispiele desselben können den Verdauungstrakt, wie z. B. vom Rachen zur Speiseröhre, Magen, Zwölffingerdarm, Dünndarm und Dickdarm einschließen.
Ferner wird beispielsweise das biologische Gewebe mit Speziallicht, das eine Fluoreszenz von 445 bis 700 nm einschließt, in der ein Phosphor emittiert wird, mit einem Laserstrahl mit einer Wellenlänge von 405 nm, einem Laserstrahl mit einer Wellenlänge von 445 nm und einem Laserstrahl mit einer Wellenlänge von 445 nm beleuchtet und aufgenommen, ein Verhältnis von zwei Bildsignalen aus den drei RGB-Bildsignalen, die durch die Aufnahme erhalten werden, wird erstellt, und Evaluierungswerte für jedes Bild, die durch Verwenden eines Verarbeitungsergebnisses einer Durchführung einer vorbestimmten Verbesserungsverarbeitung an diesen beiden Bildsignalen erzeugt werden, beispielsweise Evaluierungswerte zum Evaluieren einer Schleimhaut oder dergleichen bei atrophischer Gastritis, können ebenfalls als Bildevaluierungswerte verwendet werden.
Ferner wird beispielsweise das biologische Gewebe unter Verwendung von Licht mit einer Wellenlänge von 600 nm, Licht mit einer Wellenlänge von 630 nm und Licht mit einer Wellenlänge von 540 nm als Beleuchtungslicht beleuchtet und aufgenommen, und die Evaluierungswerte für jedes Bild, die durch Verwendung des Verarbeitungsergebnisses des Durchführens der vorbestimmten Verbesserungsverarbeitung an dem Bild, das durch die Aufnahme erhalten wird, erzeugt werden, beispielsweise die Evaluierungswerte zum Evaluieren einer Bedingung von Blutgefäßen in einem tiefen Abschnitt der Schleimhaut, können ebenfalls als Bildevaluierungswerte verwendet werden.
Darüber hinaus werden Zellen in einer Schleimhaut eines Verdauungstrakts, die mit Licht beleuchtet und durch Einfärben vorbehandelt werden, vergrößert und aufgenommen, und der Mittelwert einer Merkmalsgröße (Forminformation wie z. B. Länge, Durchmesser, Umfang und Rundheit) eines Zellkerns, ein Evaluierungswert zum Evaluieren eines Ausmaßes einer Läsion wie ein Nichttumor, ein Adenom und Krebs und dergleichen, kann ebenfalls als Bildevaluierungswert verwendet werden.
Ferner kann der Bildevaluierungswert ein Evaluierungswert wie z. B. ein Mayo-Score sein, der für jedes Bild ermittelt wird. In diesem Fall kann der Evaluierungswert, der unter Verwendung der Evaluierungsvorrichtung berechnet wurde und der anhand des aufgenommenen Bildes maschinell gelernt wurde, als der obige Bildevaluierungswert verwendet werden. Ferner kann der Bildevaluierungswert ein Wert sein, der durch Quantifizieren einer histopathologischen Evaluierung für jedes Bild ermittelt wird.
In diesem Fall wird bei der Aufnahme jedes Bildes die erfasste Information über die Bildaufnahmeposition im Inneren des erfassten Organs mit jedem Bild verknüpft.
Der Prozessor verwendet die erfasste Information über die Bildaufnahmeposition, um den Repräsentativevaluierungswert des Bildevaluierungswertes aus den Bildevaluierungswerten einer Vielzahl von Bildern des biologischen Gewebes, die innerhalb der Vielzahl von Abschnitten jeweils für jeden der Vielzahl von Abschnitten aufgenommen werden, die durch Unterteilen der Region in dem abgebildeten Organ erhalten werden, zu berechnen, und verwendet den Repräsentativevaluierungswert, um die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung in dem Organ ausbreitet, zu evaluieren.
Hier ist der Abschnitt ein Abschnitt, der durch einen Abstand unterteilt ist, der gleich oder größer als ein Abtastintervall der Bildaufnahmeposition ist. Gemäß einem Ausführungsbeispiel ist dieser Abschnitt ein Abschnitt, der in einem vorbestimmten Intervall unterteilt ist. Das vorbestimmte Intervall kann ein konstantes Intervall sein oder kann nicht konstant sein. Ferner kann sich das vorbestimmte Intervall jederzeit während der Berechnung des Repräsentativevaluierungswertes ändern. Beispielsweise können sich Abschnitte, die in feinen Intervallen vorab unterteilt sind, zu einem größeren Abschnitt ändern, beispielweise zu einem Segment, das ein Bereich ist, der von anderen Bereichen in einem Organ identifizierbar unterschieden werden kann.
Gemäß einem Ausführungsbeispiel umfasst die Evaluierung des Ausmaßes der Läsion das Ermitteln von Repräsentativevaluierungswerten der Bildevaluierungswerte, die jedem der Vielzahl von Abschnitten entsprechen, das Anzeigen einer Verteilung der Repräsentativevaluierungswerte in der Tiefenrichtung oder das Vorsehen eines Gesamtwertes der Repräsentativevaluierungswerte, die den Abschnitten entsprechen, die den Läsionsbereich einschließen, der unter Verwendung der Bildevaluierungswerte bewertet wird. Folglich kann das Ausmaß der Läsion, bei dem die Ausbreitung und die Stärke der Läsion gleichzeitig evaluiert werden, in Stufen unterteilt und evaluiert werden.
Der Repräsentativevaluierungswert ist eine statistische Messzahl der Bildevaluierungswerte für jeden Abschnitt, beispielsweise der Mittelwert, der Medianwert, der häufigste Wert oder der Maximalwert. Beim Berechnen der Repräsentativevaluierungswerte während der Wiedergabe des Bildes kann ferner der Bildevaluierungswert, der am Ende jedes Abschnittes berechnet wird, als Repräsentativevaluierungswert verwendet werden.
Auf diese Weise werden die Repräsentativevaluierungswerte der Bildevaluierungswerte anhand der Bildevaluierungswerte berechnet, die aus den Bildern für jeden der Vielzahl von Abschnitten erhalten werden, die durch Unterteilen der Region im Inneren des aufgenommenen Organs erhalten werden, unter Verwendung der Information über die Bildaufnahmeposition im Inneren des aufgenommenen Organs, sodass die Ausbreitung der Läsion genau evaluiert werden kann. Jedoch ist ein solcher Bildevaluierungswert ein Evaluierungswert für ein Bild, das von einem Arzt oder einer Bedienperson angewiesen wird, und er ist nicht immer für jeden Abschnitt vorhanden. Wenn der Arzt oder die Bedienperson bestimmt, dass bewertet wird, dass sich das Ausmaß der Läsion nicht ändert, während er das auf dem Monitor anzeigte Bild nach der Aufnahme betrachtet, wird die Anweisung für das Bild als ein Bild, für das der Bildevaluierungswert zu berechnen ist, häufig nicht eingegeben. In diesem Fall ist ein leerer Abschnitt ohne Repräsentativevaluierungswert vorhanden. Selbst wenn ein Versuch gemacht wird, den Grad der Ausbreitung der Läsion durch Bezugnahme auf das Evaluierungsergebnis mit einem leeren Abschnitt zu einem späteren Zeitpunkt zu vergleichen, kann folglich die Ausbreitung der Läsion nicht genau evaluiert werden, da der leere Abschnitt vorhanden ist.
Deshalb ist in dem elektronischen Endoskopsystem des vorliegenden Ausführungsbeispiels der Prozessor mit einer Läsionsevaluierungseinstelleinheit versehen. Für den leeren Abschnitt, in dem der Repräsentativevaluierungswert nicht erzeugt ist, ist die Läsionsevaluierungseinstelleinheit ausgebildet, um einen der Bildevaluierungswerte in einem nicht-leeren Abschnitt, der sich im Organ weiter hinten als der leere Abschnitt befindet und dessen Repräsentativevaluierungswert erzeugt wird, oder den Repräsentativevaluierungswert, der basierend auf dem Bildevaluierungswert in dem nicht-leeren Abschnitt ermittelt wird, einem leeren Abschnitt als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt zuzuordnen.
Alternativ dazu ist die Läsionsevaluierungseinstelleinheit bezüglich des leeren Abschnitts, in dem die Repräsentativevaluierungswerte nicht erzeugt sind, so ausgebildet, dass sie zwei der Repräsentativevaluierungswerte in jedem nicht-leeren Abschnitt unter einer Vielzahl von Abschnitten, zwischen deren Seiten ein leerer Abschnitt in Sandwichanordnung angeordnet ist, als Referenzevaluierungswert einstellt, und einen zusammengesetzten Evaluierungswert, der basierend auf den Referenzevaluierungswerten berechnet wird, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert zuordnet, der das Ausmaß der Läsion in dem leeren Abschnitt angibt.
Alternativ dazu ist die Läsionsevaluierungseinstelleinheit bezüglich des leeren Abschnitts, in dem die Repräsentativevaluierungswerte nicht erzeugt sind, so ausgebildet, dass sie einen zusammengesetzten Repräsentativevaluierungswert, der basierend auf Repräsentativevaluierungswerten in nicht-leeren Abschnitten erhalten wird, zwischen deren Seiten ein leerer Abschnitt in Sandwichanordnung angeordnet ist, unter der Vielzahl von Abschnitten, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert zuordnet, der das Ausmaß der Läsion in dem leeren Abschnitt angibt. In diesem Fall berechnet die Läsionsevaluierungseinstelleinheit den geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt durch Interpolation mittels Kurvenanpassung unter Verwendung der Längeninformation jedes der nicht-leeren Abschnitte auf beiden Seiten, der Längeninformation des leeren Abschnitts und der Repräsentativevaluierungswerte in den nicht-leeren Abschnitten.
Es wird angemerkt, dass der Repräsentativevaluierungswert und der geschätzte Repräsentativevaluierungswert ein Indikator für die Stärke der Läsion in dem Abschnitt sind. Folglich ist es möglich, nicht nur die Stärke der Läsion des lokalen biologischen Gewebes für jedes der Vielzahl von aufgenommenen Bildern genau zu evaluieren, sondern auch die umfassende Evaluierung einschließlich der Ausbreitung und der Stärke der Läsion in der Tiefenrichtung des Organs ist möglich. Hier gibt die Ausbreitung der Läsion an, dass sich die Läsionen kontinuierlich in der Tiefenrichtung ausbreiten. Folglich ist es schwierig, die Ausbreitung der Läsion zu evaluieren, selbst wenn der Bildevaluierungswert berechnet wird, indem die Bilder an verschiedenen Positionen im Organ getrennt aufgenommen werden.
(Beschreibung des elektronischen Endoskopsystems)
1 ist ein Blockdiagramm, das eine Konfiguration eines elektronischen Endoskopsystems 1 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Wie in 1 gezeigt, enthält das elektronische Endoskopsystem 1 ein elektronisches Beobachtungsinstrument 100 (elektronisches Endoskop), einen Prozessor 200 für ein elektronisches Endoskop, einen Monitor 300 und einen Drucker 400.
Der Prozessor 200 für ein elektronisches Endoskop enthält eine Systemsteuerung 202 und eine Zeitsteuerung 206. Die Systemsteuerung 202 führt verschiedene in einem Speicher 204 gespeicherte Programme aus und steuert das gesamte elektronische Endoskopsystem 1 ganzheitlich. Ferner ändert die Systemsteuerung 202 verschiedene Einstellungen des elektronischen Endoskopsystems 1 gemäß einer Anweisung durch einen Arzt oder eine Bedienperson, die in das Bedienfeld 208 eingegeben wird. Die Zeitsteuerung 206 gibt einen Taktpuls zum Anpassen einer Betriebszeit jedes Teils an jede Schaltung in dem elektronischen Endoskopsystem 1 aus.
Der Prozessor 200 für ein elektronisches Endoskop umfasst eine Lichtquelleneinheit 230, die Beleuchtungslicht an das elektronische Beobachtungsinstrument 100 liefert. Obgleich dies nicht gezeigt ist, enthält die Lichtquelleneinheit 230 beispielsweise eine Lampe mit hoher Intensität, die weißes Beleuchtungslicht emittiert, indem sie Antriebsleistung von einer Lampenstromquelle empfängt, beispielsweise eine Xenonlampe, eine Metallhalogenidlampe, eine Quecksilberlampe oder eine Halogenlampe. Die Lichtquelleneinheit 230 ist so ausgebildet, dass das aus der Lampe mit hoher Intensität emittierte Licht durch eine Kondensorlinse (nicht gezeigt) fokussiert wird und dann auf das Eintrittsende eines Lichtwellenleiterbündels (LCB) 102, das ein Bündel aus optischen Fasern ist, über einen Dimmer (nicht gezeigt) auftrifft.
Alternativ dazu enthält die Lichtquelleneinheit 230 eine Vielzahl von lichtemittierenden Dioden, die Licht in einem Wellenlängenband einer vorbestimmten Farbe emittieren. Die Lichtquelleneinheit 230 ist so ausgebildet, dass das aus der lichtemittierenden Diode emittierte Licht unter Verwendung eines optischen Elements wie z. B. eines dichroitischen Spiegels synthetisiert und das kombinierte Licht als Beleuchtungslicht durch eine Kondensorlinse (nicht gezeigt) gesammelt wird, und dann auf das Lichtwellenleiterbündel (LCB) 102 des elektronischen Beobachtungsinstruments 100 auftrifft. Eine Laserdiode kann anstelle der lichtemittierenden Diode verwendet werden. Die lichtemittierende Diode und die Laserdiode haben Merkmale wie z. B. einen niedrigen Stromverbrauch und einen niedrigen Wärmewert verglichen mit anderen Lichtquellen und haben deshalb den Vorteil, dass ein helles Bild erfasst werden kann, während der Stromverbrauch oder der Wärmewert reduziert werden. Durch Erfassen des hellen Bildes ist es möglich, die Genauigkeit des Evaluierungswertes bezüglich der Entzündung zu verbessern, wie später beschrieben.
Es wird angemerkt, dass in dem in 1 gezeigten Beispiel die Lichtquelleneinheit 230 in dem Prozessor 200 für ein elektronisches Endoskop eingebaut ist, sie kann aber in dem elektronischen Endoskopsystem 1 als eine von dem Prozessor 200 für ein elektronisches Endoskop getrennte Vorrichtung vorgesehen werden. Ferner kann die Lichtquelle 230 an dem distalen Ende des elektronischen Beobachtungsinstruments 100 vorgesehen werden, wie später beschrieben. In diesem Fall ist das LCB 102, das das Beleuchtungslicht leitet, nicht erforderlich.
Das aus dem Eintrittsende auf das LCB 102 auftreffende Beleuchtungslicht breitet sich in dem LCB 102 aus, wird aus dem Ende des LCBs 102, das in dem distalen Ende des elektronischen Beobachtungsinstruments 100 angeordnet ist, emittiert und wird durch eine Lichtzerstreuungslinse 104 auf das biologische Gewebe im Inneren des Organs, welches das Objekt ist, emittiert. Das von dem biologischen Gewebe reflektierte Licht bildet über eine Objektivlinse 106 ein optisches Bild auf der Lichtempfangsfläche eines Bildsensors 108.
Der Bildsensor 108 ist beispielsweise ein Einplatten-Ladungsgekoppelter-(CCD)-Farbbildsensor, in dem verschiedene Filter wie z. B. ein Infrarot-(IR)-Sperrfilter 108a und ein Farbfilter 108b mit Bayer-Anordnung auf der Lichtempfangsfläche angeordnet sind, und erzeugt Primärfarbensignale von Rot (R), Grün (G) und Blau (B) gemäß dem auf der Lichtempfangsfläche gebildeten optischen Bild. Anstelle des Einplatten-CCD-Farbbildsensors kann auch ein Einplatten-CMOS (komplementärer Metall-Oxid-Halbleiter)-Bildsensor verwendet werden. Das elektronische Beobachtungsinstrument 100 nimmt ein Bild des biologischen Gewebes im Inneren des Organs unter Verwendung des Bildsensors 108 auf und erzeugt das Bewegtbild.
Eine Treibersignalverarbeitungsschaltung 112 ist in einem Verbindungsabschnitt zwischen dem elektronischen Beobachtungsinstrument 100 und dem Prozessor 200 vorgesehen. Die Treibersignalverarbeitungsschaltung 112 erzeugt Bildsignale (Helligkeitssignal Y und Farbdifferenzsignale Cb und Cr) durch Durchführen einer vorbestimmten Signalverarbeitung wie z. B. einer Farbinterpolation und einer Matrixberechnung an den Primärfarbsignalen, die aus dem Bildsensor 108 eingegeben werden, und gibt die erzeugten Bildsignale an die Bildverarbeitungseinheit 220 des Prozessors 200 für ein elektronisches Endoskop aus. Die Treibersignalverarbeitungsschaltung 112 greift auch auf den Speicher 114 zu und liest spezifische Informationen des elektronischen Beobachtungsinstruments 100 aus. Die spezifischen Informationen des elektronischen Beobachtungsinstruments 100, die in dem Speicher 114 aufgezeichnet sind, schließen beispielweise die Anzahl der Pixel oder die Empfindlichkeit des Bildsensors 108, eine betreibbare Bildrate, eine Modellnummer und dergleichen ein. Die Treibersignalverarbeitungsschaltung 112 gibt die aus dem Speicher 114 ausgelesenen spezifischen Informationen an die Systemsteuerung 202 aus.
Die Systemsteuerung 202 führt verschiedene Berechnungen basierend auf den spezifischen Informationen des elektronischen Beobachtungsinstruments 100 durch und erzeugt ein Steuersignal. Die Systemsteuerung 202 verwendet das erzeugte Steuersignal zum Steuern des Betriebs und des Timings jeder Schaltung in dem Prozessor 200 für ein elektronisches Endoskop, um so eine Verarbeitung durchzuführen, die für das mit dem Prozessor 200 für ein elektronisches Endoskop verbundene elektronische Beobachtungsinstrument 100 geeignet ist.
Die Zeitsteuerung 206 liefert Taktpulse an eine Treibersignalverarbeitungsschaltung 112, eine Bildverarbeitungseinheit 220 und eine Lichtquelleneinheit 230 in Übereinstimmung mit der Zeitsteuerung durch die Systemsteuerung 202. Die Treibersignalverarbeitungsschaltung 112 treibt und steuert den Bildsensor 108 mit einem Timing an, das mit der Bildrate des Bildes synchronisiert ist, das auf der Seite des Prozessors 200 für das elektronische Endoskop in Übereinstimmung mit den aus der Zeitsteuerung 206 gelieferten Taktpulsen verarbeitet wird.
Die Bildverarbeitungseinheit 220 ist eine Einheit, die eine Bildverarbeitung gemäß einer Anweisung eines Chirurgen oder einer Bedienperson oder gemäß einem voreingestellten Verarbeitungsinhalt durchführen kann. Unter der Steuerung der Systemsteuerung 202 erzeugt die Bildverarbeitungseinheit 220 ein Videosignal zum Anzeigen eines endoskopischen Bildes oder dergleichen, das von dem elektronischen Beobachtungsinstrument 100 aufgenommen wird, auf einem Monitor basierend auf dem Bildsignal des aufgenommenen Bildes, das aus der Treibersignalverarbeitungsschaltung 112 eingegeben wird, und gibt das erzeugte Videosignal an den Monitor 300 aus. Ferner verarbeitet die Bildverarbeitungseinheit 220 als Teil der Bildverarbeitung die Vielzahl von aufgenommenen Bildern des biologischen Gewebes, um das Ausmaß der Läsion in einem Organ zu evaluieren, erzeugt ein Videosignal zum Anzeigen des Evaluierungsergebnisses auf dem Monitor und gibt das erzeugte Videosignal an den Monitor 300 aus. Insbesondere berechnet die Bildverarbeitungseinheit 220 einen Bildevaluierungswert, der später beschrieben wird und der das Ausmaß der Läsion in dem biologischen Gewebe in jedem Bild angibt, anhand der Vielzahl von Bildern des biologischen Gewebes, die aus dem elektronischen Beobachtungsinstrument 100 erhalten werden. Es wird angemerkt, dass das elektronische Beobachtungsinstrument 100 ein Bild des biologischen Gewebes im Inneren des Organs mit einer eingestellten Bildrate aufnimmt, während es sich in etwa kontinuierlich entlang der Tiefenrichtung im Inneren des Organs bewegt (dies schließt auch teilweise den Fall ein, in dem sich die Bildaufnahmeposition in der Tiefenrichtung in die entgegengesetzte Richtung verschiebt). Deshalb verwendet die Bildverarbeitungseinheit 220 die Bildevaluierungswerte der Bilder, die im Wesentlichen kontinuierlich entlang der Tiefenrichtung gemäß der Anweisung des Chirurgen oder der Bedienperson aufgenommen werden, und die Information über die Bildaufnahmeposition im Inneren des Organs, die durch Aufnehmen jedes der Vielzahl von Bildern ermittelt wird, um die Repräsentativevaluierungswerte der Bildevaluierungswerte für jeden der Vielzahl von Abschnitten zu berechnen, die durch Unterteilen der Region im Inneren des aufgenommenen Organs in vorbestimmten Abständen erhalten werden, und verwendet den Repräsentativevaluierungswert, um die Ausbreitung der Läsionen, die sich kontinuierlich in der Tiefenrichtung im Inneren des Organs ausbreiten, zu evaluieren.
Ferner erzeugt die Bildverarbeitungseinheit 220 ein Farbkartenbild, in dem Farben jedes Pixels in dem Bild gemäß dem Pixelevaluierungswert ersetzt werden, wie später beschrieben. Die Bildverarbeitungseinheit 220 erzeugt eine Information über das Evaluierungsergebnis des Läsionsausmaßes in dem Organ und ein Videosignal zum Anzeigen des Farbkartenbildes auf dem Monitor und gibt die Information und das Videosignal an den Monitor 300 aus. Folglich kann ein Chirurg oder die Bedienperson die Evaluierung des Ausmaßes der Läsion, die sich in der Tiefenrichtung des Organs von Interesse ausbreitet, durch das Bild empfangen, das auf dem Anzeigebildschirm des Monitors 300 angezeigt wird. Die Bildverarbeitungseinheit 220 gibt das Farbkartenbild und die Information über das Evaluierungsergebnis des Ausmaßes der Läsion in dem Organ bei Bedarf an den Drucker 400 aus.
Der Prozessor 200 für ein elektronisches Endoskop ist mit einem Server 600 über eine Netzwerk-Schnittstellenkarte (NIC) 210 und ein Netzwerk 500 verbunden. Der Prozessor 200 für ein elektronisches Endoskop kann Informationen über eine endoskopische Untersuchung (beispielsweise elektronische medizinische Aufzeichnungsinformationen über einen Patienten, Informationen über einen Chirurgen und ein Evaluierungsergebnis des Ausmaßes der Läsion in dem gleichen Organ in der Vergangenheit) aus dem Server 600 herunterladen. Die heruntergeladenen Informationen werden beispielsweise auf dem Anzeigeschirm des Monitors 300 oder dem Bedienfeld 208 angezeigt. Darüber hinaus kann der Prozessor 200 für ein elektronisches Endoskop die Evaluierungsergebnisse der endoskopischen Untersuchung (endoskopische Bilddaten, Untersuchungsbedingungen, Evaluierungsergebnisse des Ausmaßes der Läsion eines Organs, Meinung des Chirurgen und dergleichen) auf den Server 600 herunterladen und die heruntergeladenen Evaluierungsergebnisse in dem Server 600 speichern.
2 ist ein Diagramm, das eine Konfiguration eines Teils der Bildverarbeitungseinheit 220 zeigt, der die Ausbreitung der Läsion in der Tiefenrichtung des Organs evaluiert. Die Bildverarbeitungseinheit 220 ist eine Einheit, die ausgebildet ist, um die Vielzahl von Bildern des biologischen Gewebes, die von dem elektronischen Beobachtungsinstrument 100 aufgenommen werden, zu verarbeiten und das Läsionsausmaß zu evaluieren. Die Bildverarbeitungseinheit 220 enthält eine Vorverarbeitungseinheit 220a, eine Bildevaluierungswertberechnungseinheit 220b, eine Bildaufnahmepositionsinformationsverarbeitungseinheit 220c, eine Läsionsevaluierungseinheit 220d, eine Läsionsbereichspositionsberechnungseinheit 220e, eine Läsionsevaluierungseinstelleinheit 220f und eine Evaluierungsergebnisintegrationseinheit 220g. Die Vorverarbeitungseinheit 220a, die Bildevaluierungswertberechnungseinheit 220b, die Bildaufnahmepositionsinformationsverarbeitungseinheit 220c, die Läsionsevaluierungseinheit 220d, die Läsionsbereichspositionsberechnungseinheit 220e, die Läsionsevaluierungseinstelleinheit 220f und die Evaluierungsergebnisintegrationseinheit 220g sind in einer Evaluierungseinheit 225 enthalten, die ausgebildet ist, um eine Vielzahl aufgenommener Bilder des biologischen Gewebes zu verarbeiten, um das Ausmaß der Läsion des Organs zu evaluieren. Die Vorverarbeitungseinheit 220a, die Bildevaluierungswertberechnungseinheit 220b, die Bildaufnahmepositionsinformationsverarbeitungseinheit 220c, die Läsionsevaluierungseinheit 220d, die Läsionsbereichspositionsberechnungseinheit 220e, die Läsionsevaluierungseinstelleinheit 220f und die Evaluierungsergebnisintegrationseinheit 220g können ein Softwaremodul sein, das durch Starten einer in dem Speicher 204 gespeicherten Software gebildet wird, oder können als Hardware ausgebildet sein.
Ferner enthält die Bildverarbeitungseinheit 220 in dem in 2 gezeigten Ausführungsbeispiel die Läsionsbereichspositionsberechnungseinheit 220e, aber in einem anderen Ausführungsbeispiel ist die Läsionsbereichspositionsberechnungseinheit 220e nicht enthalten.
Die Bildevaluierungswertberechnungseinheit 220b berechnet den Bildevaluierungswert, der das Ausmaß der Läsion in dem Bild von Interesse angibt, für die Vielzahl der Bilder von Interesse zumindest einiger der Vielzahl von Bildern, die durch Aufnehmen verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden. Das Bild von Interesse wird durch die von dem Arzt oder der Bedienperson eingegebene Anweisung spezifiziert. Die Eingabeanweisung durch den Chirurgen oder die Bedienperson wird beispielsweise ausgeführt, indem ein Knopf, der an einer Bedieneinheit (nicht gezeigt) vorgesehen ist, die an dem elektronischen Beobachtungsinstrument 100 vorgesehen ist, gedrückt wird. Gemäß einem Ausführungsbeispiel wird der Grad der Entzündung, die ein Beispiel für eine Läsion ist, für jedes Bild von Interesse evaluiert, um den Bildevaluierungswert zu erhalten. Nachstehend wird ein Beispiel für eine Läsion, die die Entzündung enthält, die bei Colitis ulcerosa oder dergleichen auftritt, beschrieben.
Die Bildevaluierungswertberechnungseinheit 220b verwendet die Rötung des biologischen Gewebes durch Quantisieren eines Grades einer roten Farbe des biologischen Gewebes für jedes Pixel als Pixelevaluierungswert und integriert die Pixelevaluierungswerte des gesamten Bildes, um Werte, die zu einem Zahlenwert kombiniert sind, als Bildevaluierungswerte zu berechnen. Das heißt, die Stärke der Entzündung des biologischen Gewebes wird evaluiert, indem der Grad der roten Farbe des biologischen Gewebes verwendet wird. Nachstehend wird eine Methode zum Berechnen der Rötung des biologischen Gewebes, die den Grad der Entzündung angibt, als Beispiel beschrieben.
Die Vorverarbeitungseinheit 220a ist eine Einheit, die ein Bild zum Evaluieren des Grades der roten Farbe, die das biologische Gewebe aufweist, vorverarbeitet. Wie als Beispiel gezeigt, führt die Vorverarbeitungseinheit 220a eine RGB-Umwandlung, eine Farbraumumwandlung, eine Referenzachsenfestlegung und eine Farbkorrektur durch.
Die Vorverarbeitungseinheit 220a wandelt die Bildsignale (Helligkeitssignal Y und die Farbdifferenzsignale Cb und Cr), die aus der Treibersignalverarbeitungsschaltung 112 eingegeben werden, unter Verwendung vorbestimmter Matrixkoeffizienten in Bildfarbkomponenten (R, G und B) um.
Die Vorverarbeitungseinheit 220a führt ferner eine Farbumwandlung durch, um die in die Bildfarbkomponenten umgewandelten Bilddaten normal auf die RG-Ebene zu projizieren. Insbesondere werden die Bildfarbkomponenten jedes Pixels in dem RGB-Farbraum, der von den drei Primärfarben von RGB definiert ist, in die Bildfarbkomponenten von RG umgewandelt. Konzeptionell werden die Bildfarbkomponenten jedes Pixels im RGB-Farbraum in der RG-Ebene aufgetragen (beispielsweise eine Teilung in der RG-Ebene, bei der der Pixelwert der R-Komponente = 0 bis 255 und der Pixelwert der G-Komponente = 0 bis 255 annimmt). Nachstehend werden zur Vereinfachung der Erklärung Punkte der Bildfarbkomponenten jedes Pixels im RGB-Farbraum und Punkte der Bildfarbkomponenten, die im RG-Farbraum aufgetragen sind, als „Pixel-Korrespondenzpunkte“ bezeichnet. Die RGB-Bildfarbkomponenten des RGB-Farbraums sind beispielsweise Farbkomponenten mit Wellenlängen von 620 bis 750 nm, Wellenlängen von 495 bis 570 nm bzw. Wellenlängen von 450 bis 495 nm in dieser Reihenfolge. Es wird angemerkt, dass die Farbkomponenten einen Farbraum (einschließlich einer Farbebene) bilden. Farbton und Sättigung sind aus den „Farbkomponenten“ ausgeschlossen.
Die Vorverarbeitungseinheit 220a legt die Referenzachse in der RG-Ebene fest, die zum Evaluieren der Rötung des biologischen Gewebes erforderlich ist.
In dem biologischen Gewebe im Inneren des Organs des Patienten als das Objekt ist die R-Komponente unter den Bildfarbkomponenten gegenüber den anderen Komponenten (G-Komponente und B-Komponente) aufgrund des Einflusses des Hämoglobinpigments und dergleichen dominant. Wenn das Ausmaß der Läsion in dem Läsionsbereich niedrig und der Läsionsbereich der entzündete Bereich ist, ist die rote Farbe (R-Komponente) in Bezug auf die anderen Farben (G-Komponente und B-Komponente) umso stärker, je stärker die Entzündung ist. Jedoch ändert sich die Farbe des aufgenommenen Bildes in dem Organ in Abhängigkeit von den Abbildungsbedingungen, welche die Helligkeit beeinflussen (beispielsweise eine Beleuchtungslichtsituation). Zur Veranschaulichung ist ein abgeschatteter Bereich, den das Beleuchtungslicht nicht erreicht, schwarz (achromatische Farbe, beispielsweise sind die Werte der Bildfarbkomponenten von R, G und B Null oder ein Wert nahe Null), und ein Bereich, von dem das Beleuchtungslicht gleichmäßig stark reflektiert wird, ist weiß (achromatische Farbe, wenn die Werte der R-, G- und B-Farbbildkomponenten beispielsweise 8- bit Farbtöne sind, sind die Werte 255 oder nahe 255). Das heißt, selbst wenn der gleiche entzündete Bereich, in dem die Entzündung auftritt, abgebildet wird, nimmt der Pixelwert des entzündeten Bereichs zu, wenn das Beleuchtungslicht stark auftrifft. Abhängig von der Beleuchtungslichtsituation kann deshalb der Wert der Farbkomponente des Bildes einen Wert annehmen, der nicht mit der Stärke der Entzündung korreliert.
Im Allgemeinen ist ein gesunder Bereich im Inneren des Organs, der keine Entzündung hat, mit ausreichend Schleimhaut bedeckt. Dagegen ist der Entzündungsbereich im Inneren des Organs, wo die Entzündung auftritt, nicht mit ausreichend Schleimhaut bedeckt. Insbesondere wird die Schleimhaut relativ dünn und die Farbe des Blutes wird leicht sichtbar, da sich die Blutgefäße ausdehnen und Blut und Körperflüssigkeiten aus den Blutgefäßen austreten. Die Schleimhaut ist grundsätzlich weiß, aber die Farbe ist leicht gelblich und die Farbe (gelb), die auf dem Bild erscheint, ändert sich abhängig von dem Licht und dem Farbton (Dicke der Schleimhaut). Deshalb wird auch das Licht und der Farbton der Schleimhaut als einer der Indikatoren zum Evaluieren des Grades der Entzündung berücksichtigt.
Wie in 3 gezeigt, wird deshalb eine gerade Linie, die durch (50,0) und (255,76) verläuft, als eine der Referenzachsen im RG-Farbraum festgelegt, und eine gerade Linie, die durch (0,0) und (255, 192) verläuft, wird als eine der Referenzachsen festgelegt. Zur Vereinfachung der Erläuterung wird die zuerst genannte Referenzachse als „Hämoglobin-Änderungsachse AX1“ bezeichnet, und die letztere Referenzachse wird als „Schleimhaut-Änderungsachse AX2“ bezeichnet. 3 ist ein Diagramm zum Erläutern eines Beispiels für die Referenzachse in dem Farbraum, der in einem Ausführungsbeispiel verwendet wird.
Die in 3 gezeigte Darstellung ist das Ergebnis der Analyse einer großen Anzahl von Referenzbildern im Inneren des Organs. Zu den bei der Analyse verwendeten Referenzbildern gehören Beispiele von Entzündungsbildern in verschiedenen Stadien wie z. B. ein Beispiel für ein Entzündungsbild mit dem höchsten Entzündungsgrad (ein Beispiel für ein Entzündungsbild mit der schwersten Stufe) oder ein Beispiel für ein Entzündungsbild mit dem niedrigsten Entzündungsgrad (das im Wesentlichen als gesunder Bereich angesehen wird). Es wird angemerkt, dass in dem in 3 gezeigten Beispiel zur Verdeutlichung der Zeichnung nur ein Teil der als Ergebnis der Analyse erhaltenen Darstellung gezeigt ist. Die tatsächliche Anzahl der aufgetragenen Punkte, die als Ergebnis der Analyse erhalten werden, ist viel größer als die Anzahl der in 3 gezeigten aufgetragenen Punkte.
Wie oben beschrieben, ist die R-Komponente der Farbkomponenten des Bildes in Bezug auf die anderen Komponenten (G-Komponente und B-Komponente) umso stärker, je stärker die Entzündung ist. Deshalb ist in einer Grenzlinie zwischen einer Region, in der die aufgetragenen Punkte verteilt sind, und einer Region, in der die aufgetragenen Punkte nicht verteilt sind, eine Achse auf der Grenzlinie, die näher zur R-Achse als zur G-Achse ist, d.h. in dem in 3 gezeigten Beispiel eine Achse auf der Grenzlinie, die durch (50,0) und (255,76) verläuft, als eine Achse festgelegt, die eine hohe Korrelation mit einem Bereich mit dem stärksten Entzündungsgrad hat, d.h. eine hohe Korrelation mit einem Bereich mit dem höchsten Entzündungsgrad. Diese Achse ist die Hämoglobin-Änderungsachse AX1. Auf der Hämoglobin-Änderungsachse AX1 sind aufgetragene Punkte, die dem höchsten Entzündungsgrad entsprechen, der unter verschiedenen Abbildungsbedingungen, beispielsweise verschiedenen Beleuchtungslichtsituationen, abgebildet wird, überlagert. Deshalb ist die Hämoglobin-Änderungsachse AX1 die Achse, auf der die aufgetragenen Pixel-Korrespondenzpunkte mit zunehmendem Entzündungsgrad des biologischen Gewebes konvergieren.
Dagegen ist die G-Komponente (oder B-Komponente) der Farbkomponenten des Bildes in Bezug auf die R-Komponente umso stärker, je näher das Bild zum gesunden Bereich ist. Deshalb ist in der Grenzlinie zwischen der Region, in der die aufgetragenen Punkte verteilt sind, und der Region, in der die aufgetragenen Punkte nicht verteilt sind, eine Achse auf der Grenzlinie, die näher zur G-Achse als zur R-Achse ist, d.h. in dem in 3 gezeigten Beispiel eine Achse auf der Grenzlinie, die durch (0,0) und (255,192) verläuft, als eine Achse festgelegt, die eine hohe Korrelation mit dem Bereich mit dem niedrigsten Entzündungsgrad hat, der ein Bereich ist, der als ein im Wesentlichen gesunder Bereich betrachtet wird. Diese Achse ist die Schleimhaut-Änderungsachse AX2. Die Schleimhaut-Änderungsachse AX2 ist von aufgetragenen Punkten überlagert, die dem niedrigsten Entzündungsgrad entsprechen, der unter verschiedenen Abbildungsbedingungen, z. B. Beleuchtungslichtsituationen aufgenommen wurde, d.h. ein Bereich, der als im Wesentlichen normaler Bereich betrachtet wird. Deshalb ist die Schleimhaut-Änderungsachse AX2 die Achse, auf der die aufgetragenen Pixel-Korrespondenzpunkte konvergieren, wenn der Grad der Entzündung abnimmt (näher zum gesunden Abschnitt).
Ferner wird der höchste Bereich des Ausmaßes der Läsion in dem Läsionsbereich von einer Blutung begleitet. Dagegen ist der niedrigste Bereich des Läsionsausmaßes ein im Wesentlichen normaler gesunder Bereich und ist deshalb mit ausreichend Schleimhaut bedeckt. Deshalb können die aufgetragenen Punkte im RG-Farbraum, die in 3 gezeigt sind, als verteilt in dem Bereich betrachtet werden, der zwischen der Achse mit der höchsten Korrelation mit Blut (Hämoglobinpigment) und der Achse mit der höchsten Korrelation mit der Farbe der Schleimhaut angeordnet ist. Deshalb entspricht von den Grenzlinien zwischen der Region, in der die aufgetragenen Punkte verteilt sind, und der Region, in der die aufgetragenen Punkte nicht verteilt sind, die Grenzlinie, die näher zur R-Achse ist (starke R-Komponente), der Achse, die den entzündeten Bereich mit dem höchsten Entzündungsgrad (Hämoglobin-Änderungsachse AX1) angibt, und die Grenzlinie, die näher zur G-Achse ist (starke G-Komponente), entspricht der Achse, die den entzündeten Bereich mit dem niedrigsten Entzündungsgrad (Schleimhaut-Änderungsachse AX2) angibt.
Nachdem die Referenzachse auf diese Weise festgelegt wurde, wird ein Verfahren zum Berechnen der Rötung des biologischen Gewebes, die den Grad der roten Farbe angibt, das später beschrieben wird, an der Farbkomponente des normal projizierten Bildes durchgeführt. Vor dem Verfahren zum Berechnen der Rötung des biologischen Gewebes wird eine Farbkorrektur an den normal projizierten Pixeldaten durchgeführt.
Es wird angemerkt, dass die in 3 gezeigte Referenzachse ein Beispiel ist, und die Referenzachse ändert sich je nach Krankheitstyp.
Die Vorverarbeitungseinheit 220a führt die Farbkorrektur an den Farbkomponenten des Bildes durch, die im RG-Farbraum dargestellt sind, ehe der Entzündungsevaluierungswert berechnet wird. Der Korrekturmatrixkoeffizient wird in dem Speicher 204 gespeichert. Damit die später beschriebenen Entzündungsevaluierungswerte nicht variieren (mit anderen Worten, um einen interindividuellen Fehler des elektronischen Beobachtungsinstruments zu unterdrücken), wenn Bilder mit verschiedenen elektronischen Endoskopsystemen trotz des gleichen entzündeten Bereichs aufgenommen werden, korrigiert die Vorverarbeitungseinheit 220a die Pixeldaten (R, G), die die Pixel-Korrespondenzpunkte im RG-Farbraum jedes Pixels darstellen, wie in der folgenden Gleichung unter Verwendung des Korrekturmatrixkoeffizienten gezeigt. $(\begin{matrix} R_{n e u} \\ G_{n e u} \end{matrix}) = (\begin{matrix} M_{00} & M_{01} \\ M_{10} & M_{11} \end{matrix}) (\begin{matrix} R \\ G \end{matrix})$

R_neu: korrigierte Pixeldaten (R-Komponente)
G_neu: korrigierte Pixeldaten (G-Komponente)
M₀₀ bis M₁₁: Korrekturmatrixkoeffizient
R: Pixeldaten vor Korrektur (R-Komponente)
G: Pixeldaten vor Korrektur (G-Komponente)
Die Bildevaluierungswertberechnungseinheit 220b wählt aus den Pixeln ein Pixel von Interesse aus und berechnet den Abweichungswinkel zum Berechnen des Entzündungsgrades des ausgewählten Pixels von Interesse basierend auf der Information der Farbkomponente des Pixels von Interesse. Das heißt, es wird ein Quantifizierungsverfahren durchgeführt, um den Grad der roten Farbe des biologischen Gewebes basierend auf der Information der Farbkomponente des Pixels zu quantifizieren. 4 ist ein Diagramm zum Erläutern eines Verfahrens zum Berechnen eines Abweichungswinkels zum Berechnen der Rötung des biologischen Gewebes, das in einem Ausführungsbeispiel verwendet wird. Wie in 4 gezeigt, legt insbesondere die Merkmalsmengenberechnungseinheit 220b den Schnittpunkt der Hämoglobin-Änderungsachse AX1 und der Schleimhaut-Änderungsachse AX2 als Referenzpunkt O' fest und berechnet den Abweichungswinkel θ, mit dem die Richtung des Liniensegments L, das den Referenzpunkt O' und den Pixel-Korrespondenzpunkt P des Pixels von Interesse verbindet, in Bezug auf die Referenzachse AX1 abweicht. Es wird angemerkt, dass sich der Referenzpunkt O' an den Koordinaten (-150, -75) befindet. Das Beispiel, in dem der Referenzpunkt O' auf die Koordinaten (-150, -75) festgelegt ist, ist vorgegeben, aber die Erfindung ist nicht darauf beschränkt. Der Referenzpunkt O' kann je nach Bedarf geändert werden und kann beispielweise der Schnittpunkt der R-Achse und der G-Achse im RG-Farbraum sein.
Eine geeignete Koordinatenposition für den Referenzpunkt O' ist beispielsweise eine Position, an der ein Fehler im Evaluierungsergebnis aufgrund von Schwankungen in der Helligkeit reduziert werden kann. Insbesondere wird der Referenzpunkt O' vorzugweise festgelegt durch vorheriges Erhalten eines Punktes, an dem ein Fehler zwischen dem Evaluierungsergebnis in einem dunklen Bereich (die Helligkeit ist geringer als ein vorgegebener Wert) und dem Evaluierungsergebnis in einem nicht dunklen Bereich (die Helligkeit ist gleich oder größer als ein vorgegebener Wert) auf ein Minimum herabgesetzt ist.
Wenn beispielsweise der Referenzpunkt O' zwischen den Koordinaten (-10, -10) und (10, 10) festgelegt wird, wird, verglichen mit dem Fall, bei dem die Koordinaten (-150, -75) und dergleichen als Referenzpunkt O' festgelegt werden, die Änderungsgröße des Winkels θ groß, wenn sich der Pixel-Korrespondenzpunkt ändert, sodass die Auflösung verbessert wird. Folglich kann ein sehr genaues Evaluierungsergebnis erhalten werden.
Wenn der Referenzpunkt O' zwischen den Koordinaten (-50, -50) und (-200, - 200) festgelegt wird, wird dagegen das den Entzündungsgrad angebende Evaluierungsergebnis weniger durch Rauschen beeinträchtigt.
Wenn sich die Helligkeit des aufgenommenen Bildes des biologischen Gewebes im Inneren eines Organs abhängig von der Bedingung unter Weißlicht ändert, ist die Farbe des Bildes im Allgemeinen von individuellen Unterschieden, dem Ort des Bildes, dem Zustand der Entzündung und dergleichen beeinflusst, aber im RG-Farbraum ändert sich jedoch die Farbe des Bildes entlang der Hämoglobin-Änderungsachse AX1 in dem entzündeten Bereich mit dem höchsten Schweregrad und entlang der Schleimhaut-Änderungsachse AX2 in dem entzündeten Bereich mit dem niedrigsten Entzündungsgrad. Ferner wird angenommen, dass sich die Farbe des Bildes des entzündeten Bereichs, in dem der Entzündungsgrad dazwischen liegt, mit der gleichen Tendenz ändert. Das heißt, der Pixelkorrespondenzpunkt, der dem entzündeten Bereich entspricht, verschiebt sich ausgehend von dem Referenzpunkt O' in der Azimuthwinkelrichtung, wenn sich die Beleuchtungslichtsituation ändert. Mit anderen Worten, wenn sich die Beleuchtungslichtsituation ändert, verschiebt sich der Pixelkorrespondenzpunkt, der dem entzündeten Bereich entspricht, während der Abweichungswinkel θ in Bezug auf die Hämoglobin-Änderungsachse A1 gleich bleibt, sodass sich der Abstand zum Referenzpunkt O' ändert. Dies bedeutet, dass der Abweichungswinkel θ ein Parameter ist, der im Wesentlichen von Änderungen der Helligkeit des Bildes nicht betroffen ist.
Je kleiner der Abweichungswinkel θ ist, umso stärker ist die R-Komponente in Bezug auf die G-Komponente, was angibt, dass der Grad der roten Farbe in dem Läsionsbereich relativ groß ist. Je größer der Abweichungswinkel θ ist, umso stärker ist ferner die G-Komponente in Bezug auf die R-Komponente, und gibt an, dass der Grad der roten Farbe relativ klein ist. Deshalb normalisiert die Bildevaluierungswertberechnungseinheit 220b den Winkel θ, sodass der Wert 255 wird, wenn der Abweichungswinkel θ Null ist, und der Wert wird Null, wenn der Abweichungswinkel θ ein maximaler Winkel ist, d.h. θMAX ist. Es wird angemerkt, dass θMAX gleich dem Winkel ist, der von der Hämoglobin-Änderungsachse AX1 und der Schleimhaut-Änderungsachse AX2 gebildet wird. Das heißt, dass die Bildevaluierungswertberechnungseinheit 220b den Wert in einem Bereich von 0 bis 255 einstellt, der durch Normalisieren des Abweichungswinkels θ erhalten wird, der basierend auf der Information der Farbkomponente des Pixels von Interesse für jedes Pixel von Interesse als Rötung des biologischen Gewebes (Pixelevaluierungswert) berechnet wird.
Es wird angemerkt, dass das Pixel von Interesse nacheinander für alle Pixel des Bildes ausgewählt wird.
Es wird angemerkt, dass in dem in 4 gezeigten Beispiel der RG-Farbraum als Farbraum verwendet wird, aber auch der RB-Farbraum kann anstelle des RG-Farbraums verwendet werden.
Die Bildevaluierungswertberechnungseinheit 220b berechnet die Rötung des biologischen Gewebes, die ein normalisierter Wert des Abweichungswinkels θ ist, als Pixelevaluierungswert, aber in einigen Fällen kann auch der Weißgrad des biologischen Gewebes, der den Merkmalsgrad des Ulkus des biologischen Gewebes angibt, als Pixelevaluierungswert berechnet werden. Beispielsweise wird eine Verstärkungsanpassung, die dem Pixelwert jeder Farbkomponente jedes Pixels des Bildes des biologischen Gewebes eine lineare Verstärkung zuordnet, durchgeführt, und eine Tonverbesserungsverarbeitung, die einen dynamischen Bereich nahe der Farbskala, die für die Läsion eigen ist, im Wesentlichen erweitert, um eine effektive Auflösung der Farbdarstellung zu erhöhen, und so zeigt ein Geschwürteil, der weißes Moos und eitrigen Schleim von Colitis ulcerosa enthält, weiß, und der Entzündungsbereich, der die rote Farbe zeigt und Ödeme und eine leichte Blutung enthält, oder der normale Bereich, der eine gelbe oder grüne Farbe zeigt, können anhand der Farbkomponente unterschieden werden. Wie in 4 gezeigt, kann der Weißgrad des biologischen Gewebes unter Verwendung des Abweichungswinkels in Bezug auf eine Referenzachse berechnet werden, die sich von der Hämoglobin-Änderungsachse AX1 unterscheidet, die im Farbraum mit zwei Farbkomponenten (zwei aus R-Komponente, G-Komponente und B-Komponente) oder drei Farbkomponenten (R-Komponente, G-Komponente und B-Komponente) als Koordinatenachse dargestellt ist. Es wird angemerkt, dass die Tonverbesserungsverarbeitung von der Vorverarbeitungseinheit 220a durchgeführt wird.
Die Bildevaluierungswertverarbeitungseinheit 220b berechnet einen Bildevaluierungswert unter Verwendung des Pixelevaluierungswertes jedes Pixels. In dem aufgenommenen Bild werden beispielsweise die Pixel, die das Bild des biologischen Gewebes darstellen, das evaluiert werden soll, ausgewählt, und der integrierte Wert oder der Mittelwert der Pixelevaluierungswerte der ausgewählten Pixel wird als ein Bildevaluierungswert berechnet. Alternativ dazu berechnet die Bildevaluierungswertberechnungseinheit 220b einen Bildevaluierungswert beispielsweise durch Extrahieren der zu evaluierenden Pixel basierend auf der Farbkomponente oder der Helligkeitskomponente in einem vorbestimmten Bereich aus der RGB-Farbkomponente für jedes Pixel oder der Helligkeitskomponente des Pixels und durch Ermitteln des Mittelwertes der Pixelevaluierungswerte der extrahierten Pixel, durch Ermitteln eines gewichteten Mittelwertes unter Verwendung eines vorbestimmten Gewichtungskoeffizienten oder durch Durchführen einer Integrationsverarbeitung. Es wird bevorzugt, dass der zu evaluierende Pixelteil in dem Bild ein Teil ist, der einen Wert einer Farbkomponente innerhalb eines vorbestimmten Bereichs hat, der in dem biologischen Gewebe angenommen wird, um den Grad der Entzündung des Organs mit hoher Genauigkeit zu evaluieren, und ein Pixelteil ist, der eine Helligkeitskomponente hat, die gleich oder größer als der vorbestimmte Wert ist, der von dem Beleuchtungslicht beleuchtet wird.
Der von der Bildevaluierungswertberechnungseinheit 220b berechnete Bildevaluierungswert wird an die Läsionsevaluierungseinheit 220d gesendet.
Die Bildevaluierungswertberechnungseinheit 220b erzeugt ferner ein Farbkartenbild, in dem das Bild des biologischen Gewebes als Mosaik mit einer Anzeigefarbe dargestellt ist, die sich entsprechend der Rötung des biologischen Gewebes ändert. Um das Farbkartenbild zu erzeugen, wird eine Tabelle, in der der Pixelevaluierungswert und die vorbestimmte Anzeigefarbe miteinander verknüpft sind, in dem Speicherbereich des Speichers 204 gespeichert. In der obigen Tabelle sind beispielsweise verschiedene Anzeigefarben mit jedem Wert in Schritten von 5 verknüpft. Beispielsweise wird Blau einem Pixelevaluierungswert in einem Bereich von 0 bis 5 zugeordnet, und jeder Erhöhung des Pixelevaluierungswertes um 5 wird eine andere Anzeigefarbe gemäß der Reihenfolge der Farben in dem Farbrad zugeordnet, und Rot ist dem Pixelevaluierungswert in einem Bereich von 250 bis 255 zugeordnet. Die Anzeigefarbe ist eine Farbe, die sich von einer kalten Farbe an eine warme Farbe annähert, beispielsweise von blau nach gelb zu rot, wenn sich die Rötung des biologischen Gewebes erhöht. Die Bildevaluierungswertberechnungseinheit 220b bestimmt die Anzeigefarbe des ausgewählten Pixels von Interesse auf dem Farbkartenbild basierend auf der obigen Tabelle entsprechend der Rötung des biologischen Gewebes des Pixels von Interesse.
Auf diese Weise erzeugt die Merkmalsgrößenberechnungseinheit 220b ein Farbkartenbild, in dem Farben entsprechend der Rötung des biologischen Gewebes zugeordnet sind.
Die Bildaufnahmepositionsinformationsverarbeitungseinheit 220c erfasst die Bildaufnahmepositionsinformation, die aus dem in dem elektronischen Endoskopsystem 1 vorgesehenen Positionsmesssystem 250 gesendet wird, und verknüpft die erfasste Positionsinformation mit dem aufgenommenen Bild von Interesse. Das Positionsmesssystem 250 ist entweder ein System, das einen Sensor verwendet, um beispielsweise die Position des Bildsensors 108 zu erfassen, der sich an dem distalen Ende des elektronischen Beobachtungsinstruments 100 befindet, das in das Organ eingeführt ist, sowie außerdem jede Position von nachfolgenden flexiblen Schläuchen, ein System, das die Einführungslänge des elektronischen Beobachtungsinstruments 100, das über das offene Ende des Organs eingeführt wird, erfasst, oder ein System, das einem Chirurgen, der das auf dem Monitor 300 angezeigte aufgenommene Bild sieht, ermöglicht, ein einen spezifischen Abschnitt durchlaufendes Signal zu erfassen, indem er einen Knopf drückt, der das den speziellen Abschnitt durchlaufende Signal erzeugt, das angibt, dass das distale Ende des eingeführten elektronischen Beobachtungsinstruments 100 einen Merkmalsbereich in dem Organ durchquert.
Die erfasste Information über die Bildaufnahmeposition, die mit dem Bild von Interesse verknüpft ist, wird sequentiell an die Läsionsevaluierungseinheit 220d übertragen.
In dem System, das die Position des Bildsensors 108 unter Verwendung des Sensors erfasst, ist beispielsweise eine Vielzahl von Magnetsensoren an Positionen nahe dem Bildsensor 108 an dem distalen Ende des elektronischen Beobachtungsinstruments 100 und in dem flexiblen Schlauch, der auf das distale Ende zur Seite des Prozessors 200 hin folgt, in vorbestimmten Abständen vorgesehen, und das in das Organ eingeführte elektronische Beobachtungsinstrument 100 kann ein Magnetfeld mit unterschiedlicher Stärke je nach Position von der Außenseite des menschlichen Körpers anlegen, die Position des Magnetsensors, der an dem distalen Ende vorgesehen ist, durch Messen der Stärke der Magnetfeldes mit dem Magnetsensor kennen, und ferner die gebogene Form des flexiblen Schlauchs in dem Organ anhand der Positionen der Vielzahl von Magnetsensoren kennen. Folglich ist es möglich, die Position des distalen Endes des Bildsensors 108, die Form des elektronischen Beobachtungsinstruments 100 in dem Organ und ferner die Einführungslänge des elektronischen Beobachtungsinstruments 100 ab dem Öffnungsende des Organs zu kennen.
Im Falle des Systems, das die Einführungslänge des elektronischen Beobachtungsinstruments 100, das von dem Öffnungsende des Organs eingeführt wird, erfasst, ist es beispielsweise möglich, die Information über die Einführungslänge des aktuellen elektronischen Beobachtungsinstruments 100 zu erfassen, indem das Ausmaß erfasst wird, in dem sich das biologische Gewebe zwischen den Bildern mit einer angrenzenden Aufnahmezeit in dem aufgenommenen Bewegtbild bewegt, unter Verwendung einer Verarbeitung eines optischen Flusses, und indem die Erfassungsergebnisse integriert werden, um die Bewegungsdistanz zu berechnen. Ferner ist es beispielsweise möglich, die Information über die Einführungslänge des aktuellen elektronischen Beobachtungsinstruments 100 zu erfassen, indem die ausgestreckte Länge des flexiblen Schlauchs, der auf das distale Ende des in das Organ eingeführten elektronischen Beobachtungsinstruments 100 folgt, gemessen wird.
In dem System, das ein Durchlaufsignal erfasst, das einen spezifischen Teil eines Organs durchläuft, ist es möglich, das Durchlaufsignal, das einen spezifischen Teil durchläuft, zu erzeugen, indem ein Knopf einer Bedieneinheit von der Hand des Chirurgen oder einer Bedienperson gedrückt wird, wenn der identifizierbare spezifische Teil im Inneren des Organs in dem Bild auftaucht und durch dieses hindurchläuft, während der Chirurg auf das am Monitor 300 angezeigte Bild blickt, und die Bildaufnahmepositionsinformationsverarbeitungseinheit 220c kann das Durchlaufsignal, das einen spezifischen Teil durchläuft, erfassen. Wenn es sich bei dem Organ um den Dickdarm handelt, umfasst die Position des spezifischen Teils im Inneren des Organs beispielsweise eine Position, an der ein aufsteigendes Kolon anfängt, eine Position, an der das aufsteigende Kolon endet, sich der Dickdarm krümmt und ein Querkolon beginnt, eine Position, an der der Querkolon endet, sich der Dickdarm krümmt und das absteigende Kolon anfängt, eine Position, an der das absteigende Kolon endet, sich der Dickdarm krümmt und das Sigma anfängt, eine Position, an der das Sigma endet und das Rektum beginnt, und eine Position, an der das Rektum endet und den Anus erreicht.
Die Läsionsevaluierungseinheit 220d verwendet die aus der Bildaufnahmepositionsinformationsverarbeitungserfassungseinheit 220c übertragene Information über die Bildaufnahmeposition, um den Repräsentativevaluierungswert des Bildevaluierungswertes aus den Bildevaluierungswerten der Vielzahl von Bildern des biologischen Gewebes, die in der Vielzahl von Abschnitten aufgenommen werden, für jeden der Vielzahl von Abschnitten zu berechnen, die durch Unterteilen der Region im Inneren des aufgenommenen Organs in dem vorbestimmten Abstand erhalten werden. Ferner evaluiert die Läsionsevaluierungseinheit 220d unter Verwendung des Repräsentativevaluierungswertes die Ausbreitung der Läsionen, die sich kontinuierlich in der Tiefenrichtung im Inneren des Organs ausbreiten. Beispielsweise kann im Fall von Colitis ulcerosa in einem Dickdarm evaluiert werden, dass sich die Läsion vom Rektum zum absteigenden Kolon ausbreitet. Bei einer solchen Evaluierung kann die Ausbreitung der Läsion evaluiert werden, indem angenommen wird, dass die Region, in der der Repräsentativevaluierungswert einen voreingestellten Schwellenwert übersteigt, der Läsionsbereich ist.
Im vorliegenden Fall kann der Abschnitt ein Abschnitt sein, der vorab von dem Chirurgen definiert wird, oder der Abschnitt kann durch das Signal, das den spezifischen Teil durchläuft, unterteilt werden. Wenn ein Abschnitt durch ein Signal, das einen spezifischen Teil durchläuft, definiert wird, wird der Abschnitt als Segment bezeichnet.
Dieses Segment ist ein Teil, der von anderen Teilen in dem Organ identifizierbar unterschieden werden kann, beispielsweise wenn das Organ der Dickdarm ist, umfasst das Organ das aufsteigende Kolonsegment, das Querkolonsegment, das absteigende Kolonsegment, das Sigmasegment, das Rektumsegment und dergleichen. In solchen Segmenten wird der Abschnitt durch das Signal, das durch den spezifischen Teil hindurchläuft, unterteilt.
Gemäß einem Ausführungsbeispiel wird bevorzugt, dass der Repräsentativevaluierungswert, der von der Läsionsevaluierungseinheit 220d anhand des Bildevaluierungswerts berechnet wird, eine statistische Messzahl der Bildevaluierungswerte (nachstehend wird dieser Bildevaluierungswert als zu jedem Abschnitt gehörende Bildevaluierungswerte bezeichnet) der Vielzahl von aufgenommenen Bildern des biologischen Gewebes ist, die in jedem Abschnitt enthalten sind.
Durch Aufnehmen eines Bildes des biologischen Gewebes während der Bewegung des elektronischen Beobachtungsinstruments 100 im Inneren des Organs ist es möglich, die Ausbreitung der Läsionen, die sich kontinuierlich in der Tiefenrichtung im Inneren des Organs ausbreiten, zu evaluieren, indem der Repräsentativevaluierungswert für jeden Abschnitt ermittelt wird.
Die statistische Messzahl umfasst vorzugsweise den Mittelwert, den Medianwert, den häufigsten Wert oder den Maximalwert. Gemäß einem Ausführungsbeispiel ist es bevorzugter, den Maximalwert zu verwenden, von dem Gesichtspunkt, dass die Stärke der Läsion in der statistischen Messzahl optimal gezeigt werden kann.
Gemäß einem Ausführungsbeispiel ist die Läsionsevaluierungseinheit 220d ausgebildet, um das Ausmaß der Läsion in eine Vielzahl von Rängen bezüglich der Stärke der Läsion zu unterteilen und zu evaluieren, und es wird bevorzugt, dass die Läsionsevaluierungseinheit 220d einen aus der Vielzahl von Rängen basierend auf dem Repräsentativevaluierungswert definiert und das Ausmaß der Läsion für jeden Abschnitt anhand der Ränge evaluiert. Folglich ist es für einen Arzt möglich, die Ausbreitung und die Stärke der Läsionen, die sich kontinuierlich in der Tiefenrichtung in dem Organ ausbreiten, zu kennen.
Ferner wird gemäß einem Ausführungsbeispiel bevorzugt, dass die Läsionsevaluierungseinheit 220d das Vorhandensein oder Nichtvorhandensein eines Läsionsbereichs, in dem sich die Läsion kontinuierlich in der Tiefenrichtung des Organs ausbreitet, für jeden Abschnitt basierend auf dem Repräsentativevaluierungswert bestimmt. Die Region des Läsionsbereichs ist eine Region, in der der Repräsentativevaluierungswert größer als der voreingestellte Schwellenwert ist.
Gemäß einem Ausführungsbeispiel kann die Läsionsevaluierungseinheit 220d das Vorhandensein oder Nichtvorhandensein eines Läsionsbereichs, in dem sich die Läsion kontinuierlich in der Tiefenrichtung des Organs ausbreitet, basierend auf dem Bildevaluierungswert bestimmen. Die Region des Läsionsbereichs ist die Region, in der der Bildevaluierungswert größer als der voreingestellte Schwellenwert ist. Da der Bildevaluierungswert ein Evaluierungswert für jedes Bild ist, kann er eine Rauschkomponente enthalten. In diesem Fall bevorzugt man, anstelle des Bildevaluierungswertes die Repräsentativevaluierungswerte für jeden Abschnitt zu verwenden.
Die Läsionsbereichspositionsberechnungseinheit 220e ermittelt eine Startposition und eine Endposition der Region des Läsionsbereichs durch Ermitteln des Abschnittes, in dem sich der Läsionsbereich befindet, unter den obigen Abschnitten basierend auf der Positionsinformation des aufgenommenen Bildes, und spezifiziert die Position des Läsionsbereichs. Um die Startposition und die Endposition des Läsionsbereichs genau zu ermitteln, wird ferner bevorzugt, die Position, an der der Bildevaluierungswert einen voreingestellten Schwellenwert überschreitet, zu ermitteln, indem der Bildevaluierungswert und die Positionsinformation des aufgenommenen Bildes verwendet werden. In diesem Fall vergleicht die Läsionsbereichspositionsberechnungseinheit 220e jeden Bildevaluierungswert mit dem Schwellenwert, um zu bestimmen, ob der Bildevaluierungswert den Schwellenwert überschreitet. Dieses Bewertungsergebnis wird an die Läsionsevaluierungseinheit 220d gesendet. Zu diesem Zeitpunkt berechnet die Läsionsevaluierungseinheit 220d vorzugsweise die Länge des Läsionsbereichs anhand der Information über die Startposition und die Endposition des Läsionsbereichs, die von der Läsionsbereichspositionsberechnungseinheit 220e ermittelt werden.
Gemäß einem Ausführungsbeispiel ist deshalb die Läsionsbereichspositionsberechnungseinheit 220e ausgebildet, um die Position, an der der Bildevaluierungswert den voreingestellten Schwellenwert übersteigt, mit der Bewegung der Bildaufnahmeposition des Bildes, als Start- oder Endposition des Läsionsbereichs einzustellen, um die Position der Start- oder Endposition des Läsionsbereichs in dem Organ anhand der Information über die Bildaufnahmeposition des Bildes zu spezifizieren, und die Läsionsevaluierungseinheit 220d kann so ausgebildet sein, dass selbst wenn das elektronische Beobachtungsinstrument 100 in den tiefsten Abschnitt der Tiefenrichtung in dem Organ eingeführt ist, in dem sie vorzugweise die Länge der Tiefenrichtung in dem Organ des Läsionsbereichs anhand des spezifischen Ergebnisses berechnet, der Läsionsbereich sich weiter innen fortsetzen kann. Da in diesem Fall der Läsionsbereich bereits an der Bildaufnahmeposition des tiefsten Abschnitts in der Tiefenrichtung vorhanden ist, wird die Länge des Läsionsbereichs in der Tiefenrichtung als Länge von der Bildaufnahmeposition des tiefsten Abschnitts in der Tiefenrichtung mit dem Bildevaluierungswert bis zur Endposition bezeichnet. Es wird bevorzugt, dass der Monitor 300 die Endposition und/oder die Startposition des Läsionsbereichs und die Länge des Läsionsbereichs auf dem Bildschirm anzeigt. Dies macht es für den Chirurgen leichter, die Ausbreitung der Läsion in der Tiefenrichtung des Organs zu erkennen.
Darüber hinaus ermittelt die Läsionsevaluierungseinheit 220d vorzugsweise den Gesamtwert der Repräsentativevaluierungswerte, die den Abschnitten entsprechen, die zwischen der Startposition und der Endposition des Läsionsbereichs angeordnet sind, aus der Vielzahl von Abschnitten, und evaluiert das Ausmaß der Läsion basierend auf diesem Gesamtwert. Dies macht es möglich, die Ausbreitung der Läsion in der Tiefenrichtung des Organs und das Ausmaß (Stärke) der Läsion gleichzeitig zu evaluieren. In diesem Fall kann beispielsweise der Gesamtwert in eine Vielzahl von Stufen unterteilt werden, und das Ausmaß der Läsion kann entsprechend der Stufe evaluiert werden.
In dem Diagramm, das die Positionsinformation (beispielsweise den Abstand von der tiefsten Einführposition des elektronischen Beobachtungsinstruments bis zum Öffnungsende) entlang der Tiefenrichtung jedes Abschnitts auf der horizontalen Achse und den Repräsentativevaluierungswert auf der vertikalen Achse zeigt, kann die Kurve, die von den Repräsentativevaluierungswerten für jeden Abschnitt erzeugt wird, in angrenzenden Abschnitten ungleichmäßig werden, wenn die Läsionsevaluierungseinheit 220d das Intervall zwischen vorbestimmten Abschnitten verkleinert und viele Abschnitte festlegt. In diesem Fall wird gemäß einem Ausführungsbeispiel bevorzugt, dass die Kurve der Repräsentativevaluierungswerte, die in dem obigen Diagramm gezeigt sind, geglättet wird, indem eine Methode des gleitenden Mittelwertes oder eine Methode der Kurvenanpassung unter Verwendung einer Funktion durchgeführt wird, die eine vorbestimmte Kurve angibt, indem die Positionsinformation des Abschnitts und der Repräsentativevaluierungswert verwendet werden.
Der von der Läsionsevaluierungseinheit 220d berechnete Repräsentativevaluierungswert wird unter der Vielzahl von Abschnitten für jeden Abschnitt erzeugt, aber es ist kein Bildevaluierungswert vorhanden, der anhand des Bildes berechnet wird, das durch die Anweisung des Chirurgen oder der Bedienperson aufgenommen wird, und es kann ein leerer Abschnitt vorhanden sein, in dem der Repräsentativevaluierungswert nicht erzeugt ist. Die Läsionsevaluierungseinstelleinheit 220f definiert für den leeren Abschnitt einen geschätzten Repräsentativevaluierungswert basierend auf einem der Bildevaluierungswerte in dem nicht-leeren Abschnitt, der sich in dem Organ hinter dem leeren Abschnitt befindet, oder dem Repräsentativevaluierungswert in dem nicht-leeren Abschnitt, der sich im Organ hinter dem leeren Abschnitt befindet, und weist den geschätzten Repräsentativevaluierungswert dem leeren Abschnitt zu. Der geschätzte Repräsentativevaluierungswert kann der Repräsentativevaluierungswert in dem nicht-leeren Abschnitt sein, der sich in dem Organ hinter dem leeren Abschnitt befindet. Es wird angemerkt, dass der nicht-leere Abschnitt als Abschnitt bezeichnet wird, in dem der Repräsentativevaluierungswert erzeugt wird.
Alternativ dazu stellt die Läsionsevaluierungseinstelleinheit 220f zwei der Repräsentativevaluierungswerte in jedem der nicht-leeren Abschnitte, zwischen deren Seiten sich der leere Abschnitt befindet, als Referenzevaluierungswert für den leeren Abschnitt ein, und weist den zusammengesetzten Repräsentativwert, der basierend auf dem Referenzevaluierungswert ermittelt wird, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert zu, der das Ausmaß der Läsion in dem leeren Abschnitt angibt.
Alternativ dazu berechnet die Läsionsevaluierungseinstelleinheit 220f für den leeren Abschnitt den zusammengesetzten Repräsentativevaluierungswert, der das Ausmaß der Läsion angibt, als geschätzten Repräsentativevaluierungswert basierend auf den Repräsentativevaluierungswerten in den nicht-leeren Abschnitten, zwischen deren Seiten der leere Abschnitt in Sandwichanordnung angeordnet ist, und ordnet den geschätzten Repräsentativevaluierungswert dem leeren Abschnitt zu. In diesem Fall berechnet die Läsionsevaluierungswerteinstelleinheit 220f den geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt durch Interpolation mittels Kurvenanpassung unter Verwendung der Längeninformation jedes der nicht-leeren Abschnitte auf beiden Seiten und der Längeninformation des leeren Abschnitts, sowie der Repräsentativevaluierungswerte.
Da der geschätzte Repräsentativevaluierungswert in dem leeren Abschnitt unter Verwendung der Läsionsevaluierungseinstelleinheit 220f eingestellt werden kann, ist es auf diese Weise möglich, wenn die Ausbreitung der Läsion zu einem späteren Zeitpunkt untersucht wird, zusätzlich dazu, dass man die Ausbreitung der Läsion in der Tiefenrichtung des Organs evaluieren kann, die Bedingungen des Fortschreitens oder Zurückgehens in Tiefenrichtungen des Organs in dem biologischen Gewebe zu evaluieren. Eine spezifische Beschreibung des geschätzten Repräsentativevaluierungswertes wird später beschrieben.
Die Evaluierungsergebnisintegrationseinheit 220g integriert die Information, die die Ausbreitung des Läsionsbereichs in der Tiefenrichtung angibt, die Information über die Startposition/die Endposition des Läsionsbereichs oder die Länge des Läsionsbereichs und die Information über die eingestufte Stärke der Läsionsbereiche für jeden Abschnitt, und zeigt die integrierte Information auf dem Monitor 300 als ein oder mehrere Evaluierungsergebnisbildschirme in einem Diagramm an, das Zahlenwerte der Repräsentativevaluierungswerte zeigt oder den geschätzten Repräsentativevaluierungswert für jeden Abschnitt, der das Evaluierungsergebnis ist, oder eine Verteilung der Repräsentativevaluierungswerte in jedem Abschnitt oder den Abschnitt des geschätzten Repräsentativevaluierungswerts.
5 ist ein Diagramm, das ein Beispiel für einen Ablauf von einer Bilderfassung bis zur Ermittlung von Repräsentativevaluierungswerten für jeden Abschnitt zeigt, der von der Bildverarbeitungseinheit 220 durchgeführt wird.
Als Erstes erfasst die Vorverarbeitungseinheit 220a ein Bild (Schritt S10) und führt die oben beschriebene Verarbeitung durch. Zu diesem Zeitpunkt erfasst die Bildaufnahmepositionsinformationsverarbeitungseinheit 220c aus dem Positionsmesssystem 250 die Information über die Bildaufnahmeposition des erfassten Bildes in Verknüpfung mit dem aufgenommenen Bild. Folglich verwendet die Läsionsevaluierungseinheit 220d die Bildaufnahmepositionsinformation, um den Abschnitt unter den vorbestimmten Abschnitten zu spezifizieren, in dem das erfasste Bild in dem Organ aufgenommen ist (Schritt S12). Dagegen berechnet die Bildevaluierungswertberechnungseinheit 220b den Bildevaluierungswert unter Verwendung des Bildes, das von der Vorverarbeitungseinheit 220a verarbeitet wird (Schritt S14).
Es wird angemerkt, dass Schritt S14 nicht darauf beschränkt ist, nach Schritt S12 durchgeführt zu werden, und er kann vor oder gleichzeitig mit Schritt S12 durchgeführt werden.
Die Läsionsevaluierungseinheit 220d bestimmt den Repräsentativevaluierungswert anhand des berechneten Bildevaluierungswerts (Schritt S16). Der Repräsentativevaluierungswert ist der Bildevaluierungswert, wenn ein einziger Bildevaluierungswert vorhanden ist, und ist die statische Messzahl des Bildevaluierungswerts für jeden Abschnitt, wie z. B. der Mittelwert, der Medianwert, der häufigste Wert oder der Maximalwert, wenn zwei oder mehr Bildevaluierungswerte vorliegen. Der Maximalwert ist zur Evaluierung der Läsion geeigneter, da das Ausmaß der Läsion in dem Abschnitt am stärksten ist. Ferner kann der Repräsentativevaluierungswert der Bildevaluierungswert sein, der am Ende jedes Abschnitts berechnet wird, wenn der Repräsentativevaluierungswert während der Bildwiedergabe berechnet wird.
Die Läsionsevaluierungseinstelleinheit 220f bewertet, ob ein leerer Abschnitt, in dem kein Bildevaluierungswert vorhanden ist, vorhanden ist oder nicht, und der leere Abschnitt vorhanden ist, in dem der Repräsentativevaluierungswert nicht erzeugt ist (Schritt S18). Wenn der leere Abschnitt vorhanden ist, bestimmt die Läsionsevaluierungseinstelleinheit 220f den geschätzten Repräsentativevaluierungswert durch die oben erwähnte Verarbeitung und ordnet den geschätzten Repräsentativevaluierungswert dem leeren Abschnitt zu (Schritt S20).
Ferner bewertet die Vorverarbeitungseinheit 220a, ob ein Bild zum Evaluieren der Läsion durch die Anweisung des Chirurgen oder der Bedienperson erfasst werden soll oder nicht (Schritt S22). Die Vorverarbeitungseinheit 220a wartet auf die Bilderfassung, bis keine Bilder mehr erfasst werden.
6 ist ein Diagramm, das einen Dickdarm zeigt, der ein Beispiel für ein Organ ist. Der Dickdarm umfasst das Rektum, das Sigmoid, das absteigende Kolon, das Querkolon und das aufsteigende Kolon in der Reihenfolge vom Öffnungsende (Anus). Nachstehend wird das Rektum als Segment SG5 bezeichnet, das Sigmoid wird als Segment SG4 bezeichnet, das absteigende Kolon wird als Segment SG3 bezeichnet, das Querkolon wird als Segment SG2 bezeichnet, und das aufsteigende Kolon wird als Segment SG1 bezeichnet.
Im Allgemeinen wird das elektronische Beobachtungsinstrument 100 bis zum tiefsten Abschnitt des Segments SG1, das das aufsteigende Kolon ist, eingeführt, und bewegt sich dann in Richtung der Seite des Öffnungsendes, um so herausgezogen zu werden. Folglich nimmt das elektronische Beobachtungsinstrument 100 Bilder in der Reihenfolge Segment SG1, Segment SG2, Segment SG3, usw. auf.
7 ist ein Diagramm, das ein Beispiel für das herkömmliche Evaluierungsergebnis zeigt. Das in 7 gezeigte Evaluierungsergebnis ist ein Diagramm, in dem die horizontale Achse die Position vom Segment SG5 bis zum Segment SG1 darstellt, und die vertikale Achse stellt den Repräsentativevaluierungswert dar. In dem in 7 gezeigten Beispiel sind die Repräsentativevaluierungswerte des Segments SG5 und des Segments SG2 hoch, und das Auftreten der Entzündung im Segment SG5 und Segment SG2 ist gezeigt. Die Segmente SG3 und SG4 sind leere Abschnitte ohne Repräsentativevaluierungswert.
8 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit 220f zeigt. Ähnlich der 7 ist das in 8 gezeigte Ergebnis ein Diagramm, in dem die horizontale Achse die Position vom Segment SG5 zum Segment 1 darstellt, und die vertikale Achse den Repräsentativevaluierungswert darstellt. In dem in 8 gezeigten Beispiel weist die Läsionsevaluierungseinstelleinheit 220f die geschätzten Repräsentativevaluierungswerte den Segmenten SG3 und SG4 zu, die leere Abschnitte sind. In dem in 8 gezeigten Beispiel weist die Läsionsevaluierungseinstelleinheit 220f den geschätzten Repräsentativevaluierungswert in dem Segment SG2, der der nicht-leere Abschnitt ist, der sich im Organ hinter dem leeren Abschnitt befindet, den Segmenten SG3 und SG4 des leeren Abschnitts zu, für den leeren Abschnitt (Segmente SG3 und SG4), in dem der Repräsentativevaluierungswert nicht erzeugt wird.
Wie in 8 gezeigt, wird selbst dann, wenn zwei oder mehr leere Abschnitte in einer Reihe sind, der Repräsentativevaluierungswert in dem Segment SG2, der ein nicht-leerer Abschnitt ist, der sich in dem Organ hinter dem leeren Abschnitt befindet, den Segmenten SG3 und SG4 als geschätzter Repräsentativevaluierungswert zugewiesen. Auf diese Weise ist durch Ableiten des Repräsentativevaluierungswerts in dem Segment SG2, der ein nicht-leerer Abschnitt ist, der sich in dem Organ hinter dem leeren Abschnitt befindet, als den geschätzten Repräsentativevaluierungswert für den leeren Abschnitt, da der Chirurg oder die Bedienperson das Ausmaß der Läsion durch Betrachten des auf dem Monitor 300 angezeigten Bildes überprüft, während er oder sie das elektronische Beobachtungsinstrument 100 in die entgegengesetzte Richtung (Richtung vom Segment SG1 zum Segment SG5) zur hinteren Seite des Organs bewegt, der leere Abschnitt mit hoher Wahrscheinlichkeit ein Abschnitt mit einer kleinen Änderung des Ausmaßes der Läsionen gegenüber dem Abschnitt dahinter. Deshalb kann der Repräsentativevaluierungswert im Segment SG2, der ein nicht-leerer Abschnitt im Organ hinter dem leeren Abschnitt ist, als geschätzter Repräsentativevaluierungswert in den Segmenten SG3 und SG4 verwendet werden, die leere Abschnitte sind.
Darüber hinaus kann die Läsionsevaluierungseinstelleinheit 220f einen der Bildevaluierungswerte in dem Segment SG2, der der nicht-leere Abschnitt ist, der sich im Organ hinter dem leeren Abschnitt befindet, für den leeren Abschnitt (Segment SG3 und SG4) verwenden, in dem der Repräsentativevaluierungswert nicht erzeugt ist. 9 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit 220f zeigt. Ähnlich zu 7 ist das in 9 gezeigte Ergebnis ein Diagramm, in dem die horizontale Achse die Position vom Segment SG5 zum Segment SG1 darstellt, und die vertikale Achse den Repräsentativevaluierungswert darstellt. In der Zeichnung sind eine Vielzahl von Bildevaluierungswerten („◯“) in dem Segment SG2 vorhanden.
Wie in 9 gezeigt, ist dann, wenn eine Vielzahl von Bildevaluierungswerten („◯“) in dem Segment SG2 vorhanden sind, der geschätzte Repräsentativevaluierungswert der Segmente SG3 und SG4 nicht der Repräsentativevaluierungswert („•“), sondern ist einer der Bildevaluierungswerte des Segments SG2.
Gemäß einem Ausführungsbeispiel wird bevorzugt, dass die Läsionsevaluierungseinstelleinheit 220f den Bildevaluierungswert in dem nächsten Abschnitt mit dem Repräsentativevaluierungswert, der dem leeren Abschnitt am nächsten kommt, oder den Repräsentativevaluierungswert in dem nächsten Abschnitt als den geschätzten Repräsentativevaluierungswert definiert, in dem nicht-leeren Abschnitt, der sich im Organ hinter dem leeren Abschnitt befindet. Einer der Bildevaluierungswerte in dem nächsten Abschnitt oder der Repräsentativevaluierungswert in dem nächsten Abschnitt ist dem tatsächlichen Bildevaluierungswert oder dem Repräsentativevaluierungswert in dem leeren Abschnitt am nächsten, und die Differenz ist klein, sodass die Evaluierung mit hoher Genauigkeit durchgeführt werden kann.
Wenn gemäß einem Ausführungsbeispiel das Bild oder der Bildevaluierungswert mit der Information über die Aufnahmezeit oder Aufnahmereihenfolge des Bildes verknüpft ist, definiert die Läsionsevaluierungseinstelleinheit 220f vorzugsweise den Bildevaluierungswert, der dem Bild mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge unter den Bildern entspricht, die durch Bildaufnahme des nicht-leeren Abschnitts erhalten werden, der sich in dem Organ hinter dem leeren Abschnitt befindet, oder den Bildevaluierungswert mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge als den geschätzten Repräsentativevaluierungswert unter den Bildevaluierungswerten des Bildes, das durch Bildaufnahme des nicht-leeren Abschnitts erhalten wird, der sich im Organ hinter dem leeren Abschnitt befindet. Wenn der leere Abschnitt evaluiert wird, kann der Bildevaluierungswert, der der Aufnahmezeit oder der Aufnahmereihenfolge des Bildes, das für die Evaluierung verwendet wird, am nächsten ist und der der Aufnahmezeit und der Aufnahmereihenfolge entspricht, als nahe dem Bildevaluierungswert oder dem Repräsentativevaluierungswert in dem leeren Abschnitt betrachtet werden, und von dem Bildevaluierungswert, der dem Bild mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge entspricht, in dem der nicht-leere Abschnitt, der sich im Organ hinter dem leeren Abschnitt befindet, aufgenommen wird, oder dem Bildevaluierungswert des Bildes, das durch Bildaufnahme des nicht-leeren Abschnittes erhalten wird, der sich im Organ hinter dem leeren Abschnitt befindet, wird bevorzugt, den Bildevaluierungswert mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge als den geschätzten Repräsentativevaluierungswert einzustellen, um eine hochgenaue Evaluierung durchzuführen.
10 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit 220f zeigt. Ähnlich der 7 ist das in 10 gezeigte Ergebnis ein Diagramm, in dem die horizontale Achse die Position vom Segment SG5 zum Segment SG1 darstellt und die vertikale Achse den Repräsentativevaluierungswert darstellt.
Wie in 10 gezeigt, stellt die Läsionsevaluierungseinstelleinheit 220f für die Segmente SG3 und SG4, die die leeren Abschnitte sind, zwei der Repräsentativevaluierungswerte in jedem der nicht-leeren Abschnitte unter der Vielzahl von Abschnitten ein, zwischen deren Seiten der leere Abschnitt in Sandwichanordnung angeordnet ist, als die Referenzevaluierungswerte ein, ermittelt den zusammengesetzten Repräsentativevaluierungswert, der basierend auf dem Referenzevaluierungswert erhalten wird, als den geschätzten Repräsentativevaluierungswert, der das Ausmaß der Läsion angibt, und ordnet den geschätzten Repräsentativevaluierungswert dem leeren Abschnitt zu. Wenn sich der Repräsentativevaluierungswert zwischen den Segmenten SG2 und SG5 leicht ändert, wird vorzugweise der geschätzte Repräsentativevaluierungswert ermittelt, unter Verwendung, als Referenzevaluierungswert, zweier der Repräsentativevaluierungswerte in jedem der nicht-leeren Abschnitte, zwischen deren Seiten die Segmente SG3 und SG4, die die leeren Abschnitte sind, in Sandwichanordnung angeordnet sind, für eine hochgenaue Evaluierung. Die Läsionsevaluierungseinstelleinheit 220f ermittelt einen zusammengesetzten Repräsentativwert durch Interpolation unter Verwendung einer geraden Linie unter Verwendung beispielsweise zweier Referenzevaluierungswerte.
Die Läsionsevaluierungseinstelleinheit 220f kann als geschätzten Repräsentativevaluierungswert einen gewichteten Mittelwert definieren, der durch Gewichten und Mitteln der beiden Referenzevaluierungswerte unter Verwendung eines ersten Gewichtungskoeffizienten basierend auf der Gesamtlängeninformation aus der Längeninformation eines der nicht-leeren Abschnitte auf beiden Seiten des leeren Abschnittes und der Längeninformation des leeren Abschnitts und eines zweiten Gewichtungskoeffizienten basierend auf der Gesamtlängeninformation aus der Längeninformation des anderen der nicht-leeren Abschnitte auf beiden Seiten und der Längeninformation des leeren Abschnitts ermittelt wird, wird aber vorzugweise zur hochgenauen Evaluierung in den Segmenten SG2 bis SG5 bevorzugt, in denen die Segmentlänge nicht konstant ist. Als Information über die Längen des leeren Abschnitts und des nicht-leeren Abschnitts werden die bekannten Längen verwendet. Wenn der Repräsentativevaluierungswert in dem Segment SG2 als A2 und der Repräsentativevaluierungswert in dem Segment SG5 als A3 festgelegt ist, kann beispielsweise, wenn ein erster Gewichtungskoeffizient B5 auf der Gesamtlängeninforation aus der Längeninformation der Segmente SG4 bis SG5 und der Längeninformation des Segment SG3 basiert und ein zweiter Gewichtungskoeffizient B2 auf der Gesamtlängeninformation aus der Längeninformation des Segments SG2 und der Längeninformation des Segments SG3 (B2 + B5 = 1) basiert, der geschätzte Repräsentativevaluierungswert in dem Segment SG3 als B5 · A2 + B2 · A5 ausgedrückt werden.
11 ist ein Diagramm, das ein Beispiel für die Einstellung des Evaluierungsergebnisses durch die Läsionsevaluierungseinstelleinheit 220f zeigt. Ähnlich der 7 ist das in 11 gezeigte Ergebnis ein Diagramm, in dem die horizontale Achse die Position vom Segment SG5 zum Segment SG1 darstellt, und die vertikale Achse den Repräsentativevaluierungswert darstellt.
Wie in 11 gezeigt, ermittelt die Läsionsevaluierungseinstelleinheit 220f den geschätzten Repräsentativevaluierungswert, der das Ausmaß der Läsion basierend auf den Repräsentativevaluierungswerten in den nicht-leeren Abschnitte angibt, zwischen deren Seiten der leere Abschnitt in Sandwichanordnung angeordnet ist, und weist den geschätzten Repräsentativevaluierungswert dem leeren Abschnitt zu. In diesem Fall berechnet die Läsionsevaluierungseinstelleinheit 220f den geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt durch Interpolation mittels Kurvenanpassung unter Verwendung der Längeninformation jedes der nicht-leeren Abschnitte auf beiden Seiten, der Längeninformation des leeren Abschnitts und der Repräsentativevaluierungswerte in dem nicht-leeren Abschnitt. Als Ausdruck, der für die Interpolation verwendet wird, wird der vorbestimmte Ausdruck verwendet, beispielweise wird eine B-Spline-Funktion oder eine Funktion eines kubischen Polynominals verwendet. Auf diese Weise wird der geschätzte Repräsentativevaluierungswert unter Verwendung der Längeninformation der Segmente SG1 bis SG5 und des Repräsentativevaluierungswerts in dem nicht-leeren Abschnitt berechnet, sodass eine hochgenaue Evaluierung erhalten werden kann. Als Information über die Längen des leeren Abschnitts und des nicht-leeren Abschnitts werden die bekannten Längen verwendet.
Die Evaluierungsergebnisintegrationseinheit 220g ist so ausgebildet, dass sie einen Evaluierungsergebnisbildschirm erzeugt, der den Repräsentativevaluierungswert und den geschätzten Repräsentativevaluierungswert, die den Abschnitten entsprechen, zeigt. In diesem Fall ist in dem Evaluierungsergebnisbildschirm der geschätzte Repräsentativevaluierungswert vorzugsweise in einer Anzeigeform dargestellt, die von dem Repräsentativevaluierungswert unterschieden werden kann. Wenn der geschätzte Repräsentativevaluierungswert und der Repräsentativevaluierungswert durch Zahlen angegeben werden, werden beispielsweise der geschätzte Repräsentativevaluierungswert und der Repräsentativevaluierungswert in unterschiedlichen Farben angezeigt, und wenn der geschätzte Repräsentativevaluierungswert und der Repräsentativevaluierungswert in einem Diagramm angezeigt werden, wie in 8 bis 11 gezeigt, kann die Farbe des aufgetragenen Punktes des geschätzten Repräsentativevaluierungswerts anders als die Farbe des Repräsentativevaluierungswerts sein, oder die Form des aufgetragenen Punktes des geschätzten Repräsentativevaluierungswerts kann anders als die Form des aufgetragenen Punktes des Repräsentativevaluierungswerts sein, und eine Hintergrundfarbe der Region des Segments des leeren Abschnitts kann anders als die Hintergrundfarbe der Region des Segments des nicht-leeren Abschnitts sein.
Es wird angemerkt, dass der Repräsentativevaluierungswert in dem leeren Abschnitt durch manuelle Eingabe durch die subjektive Beurteilung des Chirurgen oder der Bedienperson eingestellt werden kann, der das Bild, das auf dem Monitor 300 angezeigt wird, betrachtet. In diesem Fall wird die manuelle Eingabe unter Verwendung des Bedienfeldes 208 oder einer Nutzerschnittstelle, wie z. B. einer Maus oder einer Tastatur (nicht gezeigt), durchgeführt.
Die Evaluierungseinheit 225 in dem oben beschriebenen Ausführungsbeispiel ist in dem Prozessor 200 für ein elektronisches Endoskop vorgesehen, aber die Evaluierungseinheit 225 kann auch nicht in dem Prozessor 200 für ein elektronisches Endoskop vorgesehen sein. Das distale Ende des elektronischen Beobachtungsinstruments 100 wird in das Organ eingeführt, um die Vielzahl von Bildern des biologischen Gewebes im Inneren des Organs in dem Speicher zu speichern, und es kann die Datenverarbeitungsvorrichtung sein, die ausgebildet ist, um diese gespeicherten Bilder wiederzugeben und das Ausmaß der Läsion des biologischen Gewebes zu evaluieren. In diesem Fall enthält die Datenverarbeitungsvorrichtung wenigstens die Bildevaluierungswertberechnungseinheit 220b, die Bildaufnahmepositionsinformationsverarbeitungseinheit 220c, die Läsionsevaluierungseinheit 220d und die Läsionsevaluierungseinstelleinheit 220f, die in 2 gezeigt ist. In diesem Fall enthält sie vorzugsweise die Vorverarbeitungseinheit 220a, die Läsionsbereichspositionsberechnungseinheit 220e und die Evaluierungsergebnisintegrationseinheit 220g. Die Datenverarbeitungsvorrichtung ist beispielsweise durch einen Computer konfiguriert.
Wie oben beschrieben, wird gemäß dem elektronischen Endoskopsystem und der Datenverarbeitungsvorrichtung die Information über die Bildaufnahmeposition im Inneren des Organs, die durch Aufnehmen jedes Bildes erhalten wird, dazu verwendet, die Repräsentativevaluierungswerte der Bildevaluierungswerte anhand der Bildevaluierungswerte für jeden der Vielzahl von Abschnitten zu berechnen, die durch Unterteilen der Region im Inneren des aufgenommenen Organs erhalten werden, aber selbst für den leeren Abschnitt ohne die Repräsentativevaluierungswerte, da der geschätzte Repräsentativevaluierungswert, der durch das obige Verfahren definiert wird, dem leeren Abschnitt zugewiesen wird, selbst wenn die Untersuchung erneut zu einem späteren Zeitpunkt durchgeführt wird, zusätzlich dazu, dass man in der Lange ist, die Ausbreitung in der Tiefenrichtung des Organs in dem biologischen Gewebe zu evaluieren, und es ist möglich, den Grad des Fortschreitens oder der Rückbildung der Läsion zu evaluieren.
Obgleich vorstehend das elektronische Endoskopsystem und die Datenverarbeitungsvorrichtung der vorliegenden Erfindung im Detail beschrieben wurden, sind das elektronische Endoskopsystem und die Datenverarbeitungsvorrichtung der vorliegenden Erfindung nicht auf die obigen Ausführungsbeispiele beschränkt, und verschiedene Verbesserungen und Änderungen können durchgeführt werden, ohne dass der Kern der vorliegenden Erfindung verlassen wird.
Bezugszeichenliste

1: Elektronisches Endoskopsystem
100: Elektronisches Beobachtungsinstrument
102: LCB (Lichtleiterbündel)
104: Lichtzerstreuungslinse
106: Objektivlinse
108: Bildsensor
108a: IR (Infrarot)-Sperrfilter
108b: Farbfilter mit Bayer-Anordnung
112: Treibersignalverarbeitungsschaltung
114: Speicher
200: Prozessor
202: Systemsteuerung
204: Speicher
206: Zeitsteuerung
208: Bedienfeld
210: NIC (Netzwerk-Schnittstellenkarte)
220: Bildverarbeitungseinheit
220a: Vorverarbeitungseinheit
220b: Bildevaluierungswertberechnungseinheit
220c: Bildaufnahmepositionsinformationsverarbeitungseinheit
220d: Läsionsevaluierungseinheit
220e: Läsionsbereichspositionsberechnungseinheit
220f: Läsionsevaluierungseinstelleinheit
220g: Evaluierungsergebnisintegrationseinheit
230: Lichtquelleneinheit
250: Positionsmesssystem
300: Monitor
400: Drucker
500: Netzwerk
600: Server

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017/057680 A [0005]

Claims

Elektronisches Endoskopsystem, das ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein elektronisches Endoskop, das in das Organ eingeführt ist, aufnimmt, wobei das elektronische Endoskopsystem umfasst: ein elektronisches Endoskop, das ausgebildet ist, um Bilder des biologischen Gewebes in dem Organ aufzunehmen, einen Prozessor, der ausgebildet ist, um eine Evaluierungseinheit zu enthalten, die ausgebildet ist, um eine Vielzahl von aufgenommenen Bildern des biologischen Gewebes zu verarbeiten, um das Ausmaß der Läsion in dem Organ zu evaluieren; und einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis des Ausmaßes der Läsion auf einem Bildschirm anzuzeigen, wobei die Evaluierungseinheit enthält: eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für mindestens einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die durch Bildaufnahme verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden; eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem Organ, die von dem elektronischen Endoskop aufgenommen wurde, mit jedem der Bilder von Interesse zu verknüpfen; eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, indem die Information über die Bildaufnahmeposition verwendet wird, eine Verarbeitung durchzuführen, um Repräsentativevaluierungswerte für jeden Abschnitt aus dem zugeordneten Bildevaluierungswert zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung des Organs ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um einen der Bildevaluierungswerte in einem nicht-leeren Abschnitt unter der Vielzahl von Abschnitten, der sich im Organ weiter hinten als der leere Abschnitt befindet und dessen Repräsentativevaluierungswert erzeugt ist, oder einen Repräsentativevaluierungswert, der basierend auf dem Bildevaluierungswert in dem nicht-leeren Abschnitt ermittelt wird, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt zuzuordnen, für den leeren Abschnitt unter der Vielzahl von Abschnitten, in dem der Repräsentativevaluierungswert durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt wird.
Elektronisches Endoskopsystem nach Anspruch 1, wobei die Läsionsevaluierungseinstelleinheit einen der Bildevaluierungswerte in einem Abschnitt, der dem leeren Abschnitt am nächsten ist, oder den Repräsentativevaluierungswert in dem nächsten Abschnitt als den geschätzten Repräsentativevaluierungswert in dem nicht-leeren Abschnitt, der sich im Organ hinter dem leeren Abschnitt befindet, definieret.
Elektronisches Endoskopsystem nach Anspruch 1 oder 2, wobei das Bild oder der Bildevaluierungswert mit einer Information über eine Aufnahmezeit oder eine Aufnahmereihenfolge des Bildes verknüpft ist, und die Läsionsevaluierungseinstelleinheit einen Bildevaluierungswert, der dem Bild mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge unter den Bildern, die durch Bildaufnahme des nicht-leeren Abschnittes erhalten werden, der sich im Organ hinter dem leeren Abschnitt befindet, entspricht, oder den Bildevaluierungswert des Bildes mit der spätesten Aufnahmezeit oder Aufnahmereihenfolge unter den Bildevaluierungswerten der Bilder, die durch Bildaufnahme des nicht-leeren Abschnittes erhalten werden, der sich im Organ hinter dem leeren Abschnitt befindet, als geschätzten Repräsentativevaluierungswert definiert.
Elektronisches Endoskopsystem, das ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein elektronisches Endoskop, das in das Organ eingeführt wird, aufnimmt, wobei das elektronische Endoskopsystem umfasst: ein elektronisches Endoskop, das ausgebildet ist, um Bilder des biologischen Gewebes in dem Organ aufzunehmen, einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um eine Vielzahl von aufgenommenen Bildern des biologischen Gewebes zu verarbeiten, um das Ausmaß der Läsion in dem Organ zu evaluieren; und einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis des Ausmaßes der Läsion auf einem Bildschirm anzuzeigen, wobei die Evaluierungseinheit enthält: eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für mindestens einige der Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die durch Bildaufnahme verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden; eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem Organ, die von dem elektronischen Endoskop aufgenommen wird, mit jedem der Bilder von Interesse zu verknüpfen; eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, unter Verwendung der Information über die Bildaufnahmeposition, die Verarbeitung durchzuführen, um Repräsentativevaluierungswerte für jeden Abschnitt anhand der zugeordneten Bildevaluierungswerte zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung des Organs ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um zwei der Repräsentativevaluierungswerte in jedem der nicht-leeren Abschnitte unter der Vielzahl von Abschnitten, zwischen deren Seiten der leere Abschnitt in Sandwichanordnung angeordnet ist und dessen Repräsentativevaluierungswert erzeugt wird, als Referenzevaluierungswert festzulegen, und einen zusammengesetzten Evaluierungswert, der basierend auf dem Referenzevaluierungswert berechnet wird, jedem leeren Abschnitt als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt zuzuweisen, für den leeren Abschnitt unter der Vielzahl von Abschnitten, in dem die Repräsentativevaluierungswerte durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt werden.
Elektronisches Endoskopsystem nach Anspruch 4, wobei die Läsionsevaluierungseinstelleinheit als geschätzten Repräsentativevaluierungswert einen gewichteten Mittelwert definiert, der durch Gewichten und Mitteln der beiden Referenzevaluierungswerte unter Verwendung eines ersten Gewichtungskoeffizienten basierend auf einer Gesamtlängeninformation aus der Längeninformation über einen der nicht-leeren Abschnitte auf beiden Seiten und der Längeninformation des leeren Abschnittes und eines zweiten Gewichtungskoeffizienten basierend auf der Gesamtlängeninformation aus der Längeninformation über den anderen der nicht-leeren Abschnitte auf beiden Seiten und der Längeninformation über den leeren Abschnitt ermittelt wird.
Elektronisches Endoskopsystem, das ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt, wobei das elektronische Endoskopsystem umfasst: ein elektronisches Endoskop, das ausgebildet ist, um Bilder des biologischen Gewebes in dem Organ aufzunehmen, einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um eine Vielzahl von aufgenommenen Bildern des biologischen Gewebes zu verarbeiten, um das Ausmaß der Läsion in dem Organ zu evaluieren; und einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis des Ausmaßes der Läsion auf einem Bildschirm anzuzeigen, wobei die Evaluierungseinheit enthält: eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse für mindestens einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die durch Bildaufnahme verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden; eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem Organ, die von dem elektronischen Endoskop aufgenommen wird, mit jedem der Bilder von Interesse zu verknüpfen; eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, unter Verwendung der Information über die Bildaufnahmeposition, die Verarbeitung durchzuführen, um einen Repräsentativevaluierungswert für jeden Abschnitt aus den zugeordneten Bildevaluierungswerten zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in der Tiefenrichtung in dem Organ ausbreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um einen zusammengesetzten Repräsentativevaluierungswert, der basierend auf den Repräsentativevaluierungswerten in jedem der nicht-leeren Abschnitte unter der Vielzahl von Abschnitten, zwischen deren Seiten ein leerer Abschnitt in Sandwichanordnung angeordnet ist und dessen Repräsentativevaluierungswert erzeugt ist, für den leeren Abschnitt, in dem die Repräsentativevaluierungswerte durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt werden, dem leeren Abschnitt als geschätzten Repräsentativevaluierungswert, der das Ausmaß der Läsion in dem leeren Abschnitt angibt, zuzuordnen, und die Läsionsevaluierungseinstelleinheit den geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt durch Interpolation mittels Kurvenanpassung unter Verwendung der Längeninformation über jeden der nicht-leeren Abschnitte auf beiden Seiten, der Längeninformation über den leeren Abschnitt und der Repräsentativevaluierungswerte in dem nicht-leeren Abschnitt berechnet.
Elektronisches Endoskopsystem nach einem der Ansprüche 1 bis 6, wobei die Evaluierungseinheit ferner eine Evaluierungsergebnisintegrationseinheit enthält, die ausgebildet ist, um einen Evaluierungsergebnisbildschirm zu erzeugen, der den Repräsentativevaluierungswert und den geschätzten Repräsentativevaluierungswert, der dem Abschnitt entspricht, anzeigt, und der geschätzte Repräsentativevaluierungswert in dem Evaluierungsergebnisbildschirm in einer Anzeigeform dargestellt wird, die von dem Repräsentativevaluierungswert unterschieden werden kann.
Elektronisches Endoskopsystem nach einem der Ansprüche 1 bis 7, ferner umfassend: eine Läsionsbereichspositionsberechnungseinheit, die ausgebildet ist, um als Startposition oder Endposition eines Läsionsbereichs eine Position festzulegen, an der der Bildevaluierungswert des Bildes von Interesse einen voreingestellten Schwellenwert übersteigt, mit der Bewegung der Bildaufnahmeposition des Bildes von Interesse, und die Startposition oder die Endposition in dem Organ anhand der Information über die Bildaufnahmeposition des Bildes von Interesse zu spezifizieren, und wobei die Läsionsevaluierungseinheit die Länge in der Tiefenrichtung des Läsionsbereichs anhand eines spezifischen Ergebnisses der Läsionsbereichspositionsberechnungseinheit berechnet.
Datenverarbeitungsvorrichtung, die ein Ausmaß einer Läsion in einem biologischen Gewebe in einem Organ anhand eines Bildes des biologischen Gewebes evaluiert, das ein in das Organ eingeführtes elektronisches Endoskop aufnimmt, wobei die Datenverarbeitungsvorrichtung umfasst: eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert zu berechnen, der das Ausmaß der Läsion in einem Bild von Interesse zumindest für einige einer Vielzahl von Bildern von Interesse einer Vielzahl von Bildern angibt, die durch Bildaufnahme verschiedener Stellen des biologischen Gewebes in dem Organ erhalten werden; eine Bildaufnahmepositionsinformationsverarbeitungseinheit, die ausgebildet ist, um die Information über die Bildaufnahmeposition in dem aufgenommenen Organ mit jedem der Bilder von Interesse zu verknüpfen; eine Läsionsevaluierungseinheit, die ausgebildet ist, um jeden der berechneten Bildevaluierungswerte einem einer Vielzahl von Abschnitten zuzuordnen, die durch Unterteilen der Region im Inneren des Organs erhalten werden, indem die Information über die Bildaufnahmeposition verwendet wird, die Verarbeitung durchzuführen, um Repräsentativevaluierungswerte für jeden Abschnitt aus den zugeordneten Bildevaluierungswerten zu erzeugen, und die Ausbreitung der Läsion, die sich kontinuierlich in Tiefenrichtung des Organs ausgebreitet, unter Verwendung des Repräsentativevaluierungswerts zu evaluieren; und eine Läsionsevaluierungseinstelleinheit, die ausgebildet ist, um dem leeren Abschnitt unter der Vielzahl von Abschnitten als geschätzten Repräsentativevaluierungswert in dem leeren Abschnitt einen der Bildevaluierungswerte in einem nicht-leeren Abschnitt, der sich im Organ weiter hinten als der leere Abschnitt befindet und in dem der Repräsentativevaluierungswert erzeugt ist, für den leeren Abschnitt unter der Vielzahl von Abschnitten, in dem der Repräsentativevaluierungswert durch die Verarbeitung der Läsionsevaluierungseinheit nicht erzeugt wird, oder einen Repräsentativevaluierungswert, der basierend auf dem Bildevaluierungswert in dem nicht-leeren Abschnitt erhalten wird, zuzuweisen.
Datenverarbeitungsvorrichtung nach Anspruch 9, ferner umfassend: eine Läsionsbereichspositionsberechnungseinheit, die ausgebildet ist, um als eine Startposition und/oder eine Endposition eines Läsionsbereichs eine Position einzustellen, an der der Evaluierungswert des Bildes von Interesse einen voreingestellten Schwellenwert übersteigt, mit der Bewegung der Bildaufnahmeposition des Bildes von Interesse, und um mindestens eine Position aus Startposition und Endposition in dem Organ anhand der Information über die Bildaufnahmeposition des Bildes von Interesse zu spezifizieren, und wobei die Läsionsevaluierungseinheit die Länge in der Tiefenrichtung des Läsionsbereichs anhand eines spezifischen Ergebnisses der Läsionsbereichspositionsberechnungseinheit berechnet.