DE112015000972T5

DE112015000972T5 - Bildverarbeitungsgerät, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm

Info

Publication number: DE112015000972T5
Application number: DE112015000972.8T
Authority: DE
Inventors: Makoto Kitamura; Yamato Kanda
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-03-17
Filing date: 2015-02-02
Publication date: 2016-12-29
Also published as: US9959618B2; JP6196922B2; JP2015173921A; US20170004620A1; CN106132266A; WO2015141302A1

Abstract

Es wird ein Bildverarbeitungsgerät oder dergleichen bereitgestellt, in dem beim Extrahieren eines repräsentativen Bildes aus einer Gruppe einer Serie von Bildern, die durch Abbildung eines Lumens eines lebendigen Körpers in chronologischer Reihenfolge erlangt werden, verhindert wird, dass anormale Bilder, die identische anormale Bereiche zeigen, kontinuierlich als die repräsentativen Bildern extrahiert werden. Das Bildverarbeitungsgerät 1 umfasst eine Erfassungseinheit 110 zum Erfassen anormaler Bilder, die anormale Bereiche enthalten, aus einer Gruppe einer Serie von Bildern, die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers erlangt werden; eine Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 zum Berechnen einer allgemeinen Ähnlichkeit, die eine Ähnlichkeit zwischen Bereichen darstellt, die andere Bereiche als die anormalen Bereiche enthalten, zwischen unterschiedlichen anormalen Bildern; eine Einheit zum Extrahieren von Gruppen von anormalen Bildern zum Extrahieren von Gruppen von anormalen Bildern, die identische anormale Bereiche enthalten, gemäß einem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem auf Grundlage der allgemeinen Ähnlichkeit berechneten Bestimmungsparameter; und eine Einheit zum Extrahieren von repräsentativen Bildern 140 zum Extrahieren der repräsentativen Bilder aus der Gruppe von anormalen Bildern.

Description

Gebiet
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsgerät, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm zum Extrahieren eines repräsentativen Bildes aus einer Bildergruppe, die durch Abbildung eines Lumens eines lebendigen Körpers erlangt wird.
Hintergrund
Es ist eine Technik bekannt, in der eine Gruppe einer Serie von Bildern (nachstehend auch als Gruppe intraluminaler Bilder bezeichnet) durch Abbildung eines Lumens eines lebendigen Körpers in chronologischer Reihenfolge unter Verwendung eines medizinischen Beobachtungsgeräts, wie beispielsweise eines Endoskops oder eines Kapselendoskops, erlangt wird und ein Bild, das einen interessierenden Bereich, wie beispielsweise einen anormalen Bereich, zeigt, als ein repräsentatives Bild aus der Gruppe einer Serie von Bildern extrahiert wird. Ein Benutzer kann das aus der Bildergruppe extrahierte repräsentative Bild so betrachten, dass die Mühe bei detaillierter Betrachtung einer großen Anzahl von Bildern verringert und eine Diagnose genau und effektiv gestellt werden kann.
Patentliteratur 1 offenbart beispielsweise ein Bildverarbeitungsgerät, bei dem interessierende Bereiche aus einer in chronologischer Reihenfolge erlangten Gruppe intraluminaler Bilder erfasst werden, wobei die erfassten interessierenden Bereiche auf Grundlage der Merkmale in identische Gruppen von interessierenden Bereichen eingeteilt werden, die chronologisch entweder nah aneinander liegen oder ähnliche Merkmale haben, ein repräsentativer Bereich jeder Gruppe aus den in jeder Gruppe eingeteilten interessierende Bereichen auf Grundlage eines Mittelwertes der Merkmale ausgewählt wird und ein Bild, das den ausgewählten repräsentativen Bereich enthält, als ein repräsentatives Bild ausgegeben wird.
Literaturliste
Patentliteratur

Patentliteratur 1: JP 2011-24727A

Kurzbeschreibung
Technisches Problem
Wenn Abbildung unter Verwendung des medizinischen Beobachtungsapparates, wie beispielsweise eines Kapselendoskops, ausgeführt wird, dessen Abbildungsrichtung sich häufig ändert, kommt es manchmal vor, dass ein interessierender Bereich seine Position, Form oder Farbe wesentlich ändert oder ein identischer interessierender Bereich optisch verschwindet oder wieder auftaucht, obwohl die identischen interessierenden Bereiche in aufeinanderfolgenden intraluminalen Zeitserien-Bildern gezeigt werden. Wenn beispielsweise eine Anomalie ohne eine spezielle Form, wie beispielsweise fließendes Blut, ein interessierender Bereich ist, ändert sich die Form des interessierenden Bereichs oft häufig.
Wenn die vorstehend erwähnte, in Patentliteratur 1 offenbarte Technik auf eine solche Gruppe intraluminaler Bilder angewendet wird, kann der interessierende Bereich, der seine Position, Form oder Farbe wesentlich ändert, als ein anderer interessierender Bereich bestimmt werden und in eine andere Gruppe klassifiziert werden. Folglich können die interessierenden Bilder, die die identischen interessierenden Bereiche zeigen, kontinuierlich als repräsentative Bilder extrahiert werden.
Die vorliegende Erfindung wurde in Anbetracht der vorstehend beschriebenen Situation gemacht und ein Ziel der Erfindung ist die Bereitstellung eines Bildverarbeitungsgeräts, eines Bildverarbeitungsverfahrens und eines Bildverarbeitungsprogramms, bei denen, wenn ein repräsentatives Bild aus einer Gruppe einer Serie von Bildern extrahiert wird, die durch Abbildung eines Lumens eines lebendigen Körpers in chronologischer Reihenfolge aufgenommen werden, verhindert wird, dass interessierende Bilder, die identische interessierende Bereiche zeigen, kontinuierlich als repräsentative Bilder extrahiert werden.
Lösung des Problems
Um das vorstehend beschriebene Problem zu lösen und die Aufgabe zu erfüllen, umfasst ein Bildverarbeitungsgerät gemäß der Erfindung folgende Elemente: eine Erfassungseinheit, die dazu ausgebildet ist, interessierende Bilder, die interessierende Bereiche enthalten, die als ein zu erfassendes Objekt eingeschätzt werden, aus einer Gruppe einer Serie von Bildern zu erfassen, die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers erlangt werden; eine Einheit zum Berechnen von allgemeiner Ähnlichkeit, die dazu ausgebildet ist, eine allgemeine Ähnlichkeit, d. h. eine Ähnlichkeit zwischen Bereichen, die mindestens andere Bereiche als die interessierenden Bereiche enthalten, zwischen den interessierenden Bildern, die sich voneinander entscheiden, zu berechnen; eine Einheit zum Extrahieren einer Gruppe von interessierenden Bildern, die dazu ausgebildet ist, eine Gruppe von interessierenden Bildern, die einen identischen interessierenden Bereich enthalten, aus den von der Erfassungseinheit erfassten interessierenden Bildern gemäß dem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem Bestimmungsparameter auf Grundlage der allgemeinen Ähnlichkeit zu extrahieren; und eine Einheit zum Extrahieren von repräsentativen Bildern, die dazu ausgebildet ist, eines oder mehrere repräsentative Bilder aus der Gruppe von interessierenden Bildern zu extrahieren.
Ein Bildverarbeitungsverfahren gemäß der Erfindung ist ein Bildverarbeitungsverfahren, das bewirkt, dass eine Recheneinheit eines Computers Bildverarbeitung auf Grundlage von Bilddaten einer Gruppe einer Serie von Bildern ausführt, die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers erlangt werden und in einer Aufzeichnungseinheit aufgezeichnet werden. Das Verfahren beinhaltet folgende Schritte: einen Erfassungsschritt des Erfassens von interessierenden Bildern, die interessierende Bereiche enthalten, die als ein zu erfassendes Objekt eingeschätzt werden, aus der Gruppe einer Serie von Bildern; einen Schritt des Berechnens von allgemeiner Ähnlichkeit zum Berechnen einer allgemeinen Ähnlichkeit, d. h. einer Ähnlichkeit zwischen Bereichen, die mindestens andere Bereiche als die interessierenden Bereiche enthalten, zwischen den interessierenden Bildern, die sich voneinander entscheiden; einen Schritt des Extrahierens einer Gruppe von interessierenden Bildern zum Extrahieren einer Gruppe von interessierenden Bildern, die identische interessierende Bereiche enthalten, gemäß dem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem Bestimmungsparameter auf Grundlage der allgemeinen Ähnlichkeit; und einen Schritt zum Extrahieren eines repräsentativen Bildes aus der Gruppe von interessierenden Bildern.
Ein Bildverarbeitungsprogramm gemäß der Erfindung bewirkt, dass ein Computer Folgendes ausführt:
einen Erfassungsschritt des Erfassens von interessierenden Bildern, die interessierende Bereiche enthalten, aus der Gruppe einer Serie von Bildern, die durch Abbildung eines Lumens eines lebendigen Körpers sequenziell erlangt werden; einen Schritt des Berechnens von allgemeiner Ähnlichkeit zum Berechnen einer allgemeinen Ähnlichkeit, d. h. einer Ähnlichkeit zwischen Bereichen, die mindestens andere Bereiche als die interessierenden Bereiche enthalten, zwischen den interessierenden Bildern, die sich voneinander entscheiden; einen Schritt des Extrahierens einer Gruppe von interessierenden Bildern zum Extrahieren einer Gruppe von interessierenden Bildern, die identische interessierende Bereiche enthalten, gemäß dem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem Bestimmungsparameter auf Grundlage der allgemeinen Ähnlichkeit; und einen Schritt des Extrahierens von repräsentativen Bildern zum Extrahieren eines repräsentativen Bildes aus der Gruppe von interessierenden Bildern.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist es, da eine Gruppe interessierender Bilder aus interessierenden Bilder, die aus einer Gruppe einer Serie von Bildern erfasst werden, auf Grundlage einer allgemeinen Ähnlichkeit zwischen den interessierenden Bereichen extrahiert wird, möglich, zu verhindern, dass anormale Bilder, die identische anormale Bereiche zeigen, kontinuierlich als repräsentative Bilder extrahiert werden.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, das eine Konfiguration eines Bildverarbeitungsgeräts gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Ablaufdiagramm, das den Betrieb des in 1 gezeigten Bildverarbeitungsgeräts zeigt.
3 ist ein schematisches Diagramm, das eine Serie von in chronologischer Reihenfolge erlangten intraluminalen Bildern zeigt.
4 ist ein Ablaufdiagramm, das einen von einer in 1 gezeigten Einheit zum Berechnen von allgemeiner Ähnlichkeit ausgeführt en Prozess zum Berechnen von allgemeiner Ähnlichkeit zeigt.
5 ist ein schematisches Diagramm, das einen von der in 1 gezeigten Einheit zum Berechnen von allgemeiner Ähnlichkeit ausgeführten Prozess zum Berechnen von allgemeiner Ähnlichkeit zeigt.
6 ist ein schematisches Diagramm, das einen Prozess zum Berechnen von allgemeiner Ähnlichkeit gemäß der Modifizierung 1-1 der ersten Ausführungsform der vorliegenden Erfindung zeigt.
7 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
8 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt.
9 ist ein Ablaufdiagramm, das einen von einer in 7 gezeigten Einheit zum Extrahieren von anormalen Bilder ausgeführten Prozess zum Extrahieren von anormalen Bildern zeigt.
10 ist ein schematisches Diagramm, das Prozess zum Extrahieren von anormalen Bildern von einer gezeigten Einheit zum Extrahieren von anormalen Bilder in 7 zeigt.
11 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß der Modifizierung 2 der zweiten Ausführungsform der vorliegenden Erfindung zeigt.
12 ist ein Ablaufdiagramm, das einen von der in 11 gezeigten Einheit zum Extrahieren von repräsentativen Bildern ausgeführten Prozess zum Extrahieren von repräsentativen Bildern zeigt.
13 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt.
14 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der dritten Ausführungsform der vorliegenden Erfindung zeigt.
15 ist ein Ablaufdiagramm, das einen von einer in 11 gezeigten Einheit zum Extrahieren von anormalen Bildern ausgeführten Prozess zum Extrahieren von anormalen Bildern zeigt.
16 ist ein Blockdiagramm, das eine weitere beispielhafte Konfiguration einer in 13 gezeigten Anomalieklassifizierungseinheit zeigt.
17 ist ein Blockdiagramm, das noch eine weitere beispielhafte Konfiguration einer in 13 gezeigten Anomalieklassifizierungseinheit zeigt.
18 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt.
19 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der vierten Ausführungsform zeigt.
20 ist ein Ablaufdiagramm, das einen von einer in 18 gezeigten Einheit zum Extrahieren von anormalen Bildern ausgeführten Prozess zum Extrahieren von anormalen Bildern zeigt.
21 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt
22 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der fünften Ausführungsform der vorliegenden Erfindung zeigt.
23 ist ein Ablaufdiagramm, das einen von der in 21 gezeigten Einheit zum Extrahieren von anormalen Bildern ausgeführten Prozess zum Extrahieren von anormalen Bildern zeigt.
24 ein Ablaufdiagramm, das einen Prozess zum Extrahieren von anormalen Bildern gemäß der Modifizierung 5-3 der fünften Ausführungsform der vorliegenden Erfindung zeigt.
Beschreibung von Ausführungsformen
Nachstehend werden ein Bildverarbeitungsgerät, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm gemäß Ausführungsformen der vorliegenden Erfindung mit Bezugnahme auf die Zeichnungen beschrieben. Die vorliegende Erfindung ist nicht auf diese Ausführungsformen beschränkt. In den Zeichnungen werden die gleichen Bezugszeichen zur Bezeichnung der gleichen Elemente bezeichnet.
(Erste Ausführungsform)
1 ist ein Blockdiagramm, das ein Bildverarbeitungsgerät gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Ein Bildverarbeitungsgerät 1 gemäß der ersten Ausführungsform ist ein Gerät zum Extrahieren einer Gruppe von Bildern (interessierende Bilder) mit Bildern, die interessierende Bereiche enthalten, von denen geschätzt wird, dass sie ein zu erfassendes Objekt sind, aus einer Gruppe einer Serie von Bildern, die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers als eines Untersuchungsgegenstandes durch ein medizinisches Beobachtungsgerät, wie beispielsweise ein Kapselendoskop, und ferner Extrahierung eines repräsentativen Bildes aus der Gruppe von extrahierten interessierenden Bildern erlangt werden. Ein Bild, das das Lumen des lebendigen Körpers zeigt (auch als intraluminales Bild bezeichnet) ist üblicherweise ein Farbbild mit einem Pixellevel (Pixelwert), der Wellenlängenkomponenten von R (Rot), G (Grün), und B (Blau) in jeder Pixelposition entspricht. In der folgenden Beschreibung werden anormale Bereiche, wie beispielsweise Blutungen, Rötungen, Aphthen und Geschwüre, als der interessierende Bereich erfasst und wird ein repräsentatives Bild aus einer Gruppe interessierender Bilder (anormaler Bilder), die die normalen Bereiche enthalten, extrahiert, wobei der interessierenden Bereich jedoch nicht auf die vorstehend als Beispiele genannten anormalen Bereiche beschränkt ist.
Wie in 1 gezeigt, umfasst das Bildverarbeitungsgerät 1 eine Steuereinheit 10 zum Steuern des Betriebes des Bildverarbeitungsgeräts 1 als ein Ganzes, eine Bildaufnahmeeinheit 20 zum Aufnehmen von Bilddaten, die einem intraluminalen Bild entsprechen, das von dem medizinischen Beobachtungsgerät wie beispielsweise einem Kapselendoskop aufgenommen wird, eine Eingabeeinheit 30 zum Eingeben eines Signals in die Steuereinheit 10 gemäß einer Betätigung von außen, eine Anzeigeeinheit 40 zum Anzeigen unterschiedlicher Informationen oder Bilder, eine Aufzeichnungseinheit 50 zum Speichern der von der Bildaufnahmeeinheit 20 oder verschiedenen Programmen aufgenommenen Bilddaten und eine Recheneinheit 100 zum Ausführen einer vorbestimmten Bildverarbeitung auf den Bilddaten.
Die Steuereinheit 10 umfasst Hardware, wie beispielsweise eine CPU. Die Steuereinheit 10 liest die verschiedenen in der Aufzeichnungseinheit 50 aufgezeichneten Programme, um eine Übertragung oder dergleichen einer Anweisung oder Daten an jede Einheit des Bildverarbeitungsgeräts 1 entsprechend den von der Bildaufnahmeeinheit 20 eingegebenen Daten oder einem von der Eingabeeinheit 30 eingegebenen Signal auszuführen, und der Betrieb des Bildverarbeitungsgeräts 1 wird kollektiv als ein Ganzes ausgeführt.
Wenn ein System ein Kapselendoskop zur Abbildung eines Inneren des Untersuchungsgegenstandes umfasst, ist die Bildaufnahmeeinheit 20 in Abhängigkeit von einem Modus des Systems geeignet ausgebildet. Wenn beispielsweise ein tragbares Aufzeichnungsmedium zum Senden und Empfangen von Bilddaten an das und von dem Kapselendoskop verwendet wird, umfasst die Bildaufnahmeeinheit 20 eine Lesevorrichtung, die das Aufzeichnungsmedium zum Lesen von Bilddaten von aufgezeichneten Bildern lösbar befestigt. Außerdem umfasst, wenn ein Server zum Speichern von Bilddaten der von dem Kapselendoskop aufgenommenen Bildern vorgesehen ist, die Bildaufnahmeeinheit 20 eine mit dem Server verbundene Kommunikationsvorrichtung oder dergleichen und führt Datenkommunikation mit dem Server durch, um die Bilddaten zu erlangen.
Die Eingabeeinheit 30 umfasst beispielsweise eine Eingabevorrichtung, wie beispielsweise eine Tastatur, eine Maus, ein Touchpanel oder verschiedene Schalter, und gibt an die Steuereinheit 10 ein Eingangssignal aus, das gemäß einer Betätigung der Eingabevorrichtung von außen erzeugt wird.
Die Anzeigevorrichtung 40 umfasst eine Anzeigevorrichtung, wie beispielsweise eine LCD oder ein EL-Anzeigevorrichtung, und zeigt verschiedene Bildschirme, die das intraluminale Bild umfassen, unter Steuerung der Steuereinheit 10 an.
Die Aufzeichnungseinheit 50 umfasst verschiedene IC-Speicher, einschließlich eines RAM und eines ROM, wie beispielsweise einen Flashspeicher zum aktualisierbaren Aufzeichnen, eine mit einem Datenübertragungsanschluss verbundene oder eingebaute Festplatte oder eine Informationsaufzeichnungsvorrichtung, wie beispielsweise eine CD-ROM, und eine Lesevorrichtung oder Ähnliches. Die Aufzeichnungseinheit 50 speichert die Programme zur Betätigung des Bildverarbeitungsgeräts 1 und veranlasst das Bildverarbeitungsgerät 1 zur Ausführung verschiedener Funktionen, bei Ausführung der Programme verwendeter Daten oder dergleichen zusätzlich zu den Bilddaten des von der Bildaufnahmeeinheit 20 intraluminalen Bildes. Insbesondere speichert die Aufzeichnungseinheit 50 ein Bildverarbeitungsprogramm 51 zur Erfassung von anormalen Bereichen verwendete Bestimmungskriterien, zum Extrahieren eines repräsentativen Bildes verwendete Bestimmungskriterien und dergleichen. Das Bildverarbeitungsprogramm 51 veranlasst das Bildverarbeitungsgerät 1 zur Ausführung von Bildverarbeitung zum Erfassen der anormalen Bereiche wie beispielsweise Blutungen, Rötungen, Aphten und Geschwüre und dergleichen von den intraluminalen Bildern, zum Extrahieren von Gruppen anormaler Bilder, die jeweils identische anormale Bereiche enthalten, aus Bildern (anormalen Bildern), die diese anormalen Bereiche enthalten, und zum Extrahieren eines repräsentativen Bildes aus jeder der Gruppen anormaler Bilder.
Die Recheneinheit 100 umfasst Hardware wie beispielsweise eine CPU, liest das Bildverarbeitungsprogramm 51 zur Ausführung von Bildverarbeitung zum Extrahieren von Gruppen anormaler Bilder, von denen jede einen identischen anormalen Bereich enthält, aus den intraluminalen Bildern und zum Extrahieren eines repräsentativen Bildes aus jeder anormalen Bildergruppe.
Als Nächstes wird eine Konfiguration der Recheneinheit 100 beschrieben. Wie in 1 gezeigt, umfasst die Recheneinheit 100 eine Erfassungseinheit 110 zum Erfassen anormaler Bilder, die anormale Bereiche enthalten, aus einer Gruppe einer Serie von intraluminalen Bildern, eine Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 zum Berechnen einer allgemeinen Ähnlichkeit, die eine Gesamtähnlichkeit zwischen unterschiedlichen anormalen Bildern darstellt, eine Einheit zum Extrahieren von Gruppen anormaler Bilder 130 zum Extrahieren von Gruppen anormaler Bilder, von denen jede identische anormale Bereiche enthält, aus von der Erfassungseinheit 110 erfassten anormalen Bildern auf Grundlage der allgemeinen Ähnlichkeit, und eine Einheit zum Extrahieren von repräsentativen Bildern 140 zum Extrahieren eines repräsentativen Bildes aus jeder der Gruppen extrahierter anormaler Bilder
Die Erfassungseinheit 110 erfasst anormale Bereiche auf Grundlage von verschiedenen Merkmalen des intraluminalen Bildes. In der ersten Ausführungsform wird ein Beispiel des Erfassens des anormalen Bereichs auf Grundlage von Farbmerkmalen (Farbinformation) des intraluminalen Bildes beschrieben. Hier wird ein anormaler Bereich wie beispielsweise Blutung, Rötung oder vaskuläre Anomalität von einer speziellen rötlichen Farbe angegeben und wird ein anormaler Bereich wie beispielsweise ein Geschwür oder eine Aphthe von einer speziellen weißen Farbe angegeben. Die Erfassungseinheit 110 verwendet Farbmerkmale, beispielsweise Farbkomponenten (R-Komponente, G-Komponente, B-Komponente) des Pixelwertes oder Werte, die sekundär durch eine bekannte Konversion aus den Farbkomponenten berechnet werden (beispielsweise Farbunterschied durch YCbCR-Konversion berechnet, Farbton und Sättigung durch HSI-Konversion berechnet, Farbverhältnisse wie beispielsweise G/R oder B/G) zum Erfassen eines Bereichs, der von einer der speziellen Farben in dem intraluminalen Bild angegeben wird, und definiert den Bereich als den anormalen Bereich. Insbesondere entwickelt die Erfassungseinheit 110 Bestimmungskriterien (Farbbereich) für anormale Bereiche im Vorhinein auf der Grundlage von Farbmerkmalen von verschiedenen anormalen Bereichen, die erfasst wurden, und zeichnet die Bestimmungskriterien in der Aufzeichnungseinheit 50 auf. Wenn ein anormaler Bereich von dem intraluminalen Bild erfasst wird, werden die Bestimmungskriterien von der Aufzeichnungseinheit 50 gelesen, werden Farbmerkmale für jedes Pixel berechnet, das das intraluminale Bild bildet, werden die Farbmerkmale jedes Pixels mit den Bestimmungskriterien verglichen und wird der anormale Bereich von dem intraluminalen Bild erfasst.
Es ist anzumerken, dass die Erfassung eines anormalen Bereichs nicht auf das vorstehend beschriebene Verfahren beschränkt ist und verschiedene bekannte Verfahren angewendet werden können, solange der anormale Bereich erfasst werden kann. Beispielsweise kann ein Verfahren auf Grundlage eines Merkmalsraumabstands mit einem repräsentativen Farbmerkmal verwendet werden. Ferner werden in der vorstehenden Beschreibung die Farbmerkmale eines Pixels, die das intraluminale Bild bilden, zur Erfassung des anormalen Bereichs verwendet, aber kann das intraluminale Bild auf Grundlage von Randinformation oder dergleichen in dem Bild in kleine Bereiche unterteilt werden, so dass Farbmerkmale eines kleinen Bereichs zum Erfassen des anormalen Bereichs verwendet werden. Außerdem kann der anormale Bereich unter Verwendung von anderen Formmerkmalen oder Beschaffenheitsmerkmalen als den Farbmerkmalen erfasst werden.
Die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechnet als die allgemeine Ähnlichkeit eine Ähnlichkeit zwischen mindestens Bereichen, die andere Bereiche als die anormalen Bereiche enthalten, d. h. Bereiche, die Hintergründe der anormalen Bereiche enthalten, zwischen unterschiedlichen anormalen Bildern.
Die Einheit zum Extrahieren von Gruppen anormaler Bilder 130 ist eine Einheit zum Extrahieren von Gruppen von interessierenden Bildern, die als eine Gruppe anormaler Bilder die Bilder, die identische anormale Bereiche enthalten, aus den von der Erfassungseinheit 110 erfassten anormalen Bereichen auf Grundlage der von der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechneten allgemeinen Ähnlichkeit extrahiert.
Die Einheit zum Extrahieren von repräsentativen Bildern 140 extrahiert ein repräsentatives Bild aus jeder Gruppe anormaler Bilder, die identische anormale Bereiche enthält. Ein Verfahren zum Extrahieren eines repräsentativen Bildes ist nicht insbesondere beschränkt. Das erste oder mittlere Zeit-Serien-Bild einer Gruppe anormaler Bilder kann nur als das repräsentatives Bild extrahiert werden oder ein anormales Bild, das einen anormalen Bereich mit einem hohen Bedeutungsgrad für Bilddiagnose oder einen anormalen Bereich mit einer guten Sichtbarkeit eines anormalen Bereichs enthält, kann als das repräsentatives Bild extrahiert werden. Der Bedeutungsgrad oder die Sichtbarkeit des anormalen Bereichs, kann auf Grundlage von beispielsweise Farbmerkmalen, Formmerkmalen, Beschaffenheitsmerkmale oder der gleichen des anormalen Bereichs bestimmt werden.
Als Nächstes wird der Betrieb des in 1 gezeigten Bildverarbeitungsgeräts 1 beschrieben. 2 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts 1 zeigt. Zuerst bezieht in Schritt S10 das Bildverarbeitungsgerät 1 Bilddaten einer Serie von in chronologischer Reihenfolge durch die Bildaufnahmeeinheit 20 aufgenommenen intraluminalen Bildern und zeichnet die Bilddaten in der Aufzeichnungseinheit 50 auf.
Im folgenden Schritt S11 liest die Erfassungseinheit 110 sequenziell die Bilddaten der in der Aufzeichnungseinheit 50 aufgezeichneten intraluminalen Bilder, erfasst anormale Bereiche aus den intraluminalen Bildern und extrahiert anormale Bilder, die die anormalen Bereiche enthalten. Genauer liest die Erfassungseinheit 110 die zuvor in der Aufzeichnungseinheit 50 aufgezeichneten Bestimmungskriterien für anormale Bereiche, vergleicht jedes der Farbmerkmale der Pixel, die die intraluminalen Bilder bilden, mit diesen Bestimmungskriterien und erfasst die anormalen Bereiche.
3 ist ein schematisches Diagramm, das die Serie von in chronologischer Reihenfolge erlangten intraluminalen Bildern I_i zeigt. Hier stellt eine Tiefstellung i (i = 1, 2, ...) eine Zeit-Serien-Anordnungsreihenfolge (Aufnahmereihenfolge) der interessierenden Bilder dar und entspricht einer Bildzahl. In dem Prozess aus Schritt S11 werden anormale Bereiche A_i (i = t1 bis t1 + 4, t2, t2 + 2, t2 + 4) erfasst und die interessierenden Bilder Ii, die die anormalen Bereiche A_i enthalten, werden extrahiert. Nachstehend werden die intraluminalen Bilder I_i, die die anormalen Bereiche A_i enthalten, als anormale Bilder I_i bezeichnet und eine Bildsequenz, die nur aus den anormalen Bildern I_i besteht und in chronologischer Reihenfolge (Aufnahmereihenfolge) angeordnet ist, wird als eine Sequenz anormaler Bilder bezeichnet.
In dem folgenden Schritt S12 berechnet die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 eine allgemeine Ähnlichkeit zwischen benachbarten anormalen Bildern in der Sequenz anormaler Bilder für die in Schritt S11 extrahierten anormalen Bilder. Beispielsweise werden in 3 die allgemeinen Ähnlichkeiten für Kombinationen von anormalen Bildern I_t1 und I1, anormalen Bildern I_t1+1 und I_t1+2, anormalen Bildern I_t1+2 und I_t1+3, anormalen Bildern I_t1+3 und I_t1+4, anormalen Bildern I_t1+4 und I_t2, anormalen Bildern I_t2 und I_t2+2 und anormalen Bilder I_t2+2 und I_t2+4 als die benachbarten anormalen Bildern in der Sequenz anormaler Bilder berechnet.
In der ersten Ausführungsform wird ein Beispiel der Berechnung einer Ähnlichkeit, als der allgemeinen Ähnlichkeit, zwischen Hintergrundbereichen von anormalen Bereichen beschrieben. 4 ist ein Ablaufdiagramm, das einen Prozess zum Berechnen von allgemeiner Ähnlichkeit zeigt, der von der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 in Schritt S12 ausgeführt wird. Ferner ist 5 ein schematisches Diagramm, das den Prozess zum Berechnen von allgemeiner Ähnlichkeit zeigt.
Wie in 5 gezeigt, werden anormale Bereiche A_k und A_k' jeweils von benachbarten anormalen Bildern I_k und I_k' (k und k' sind eine natürliche Zahl, wobei k < k') in einer Sequenz anormaler Bilder erfasst. Bei dieser Bedingung extrahiert in Schritt S101, in 4 gezeigt, die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 als den Hintergrundbereich andere Bereiche als die anormalen Bereiche A_k und A_k, d. h. nicht anormale Bereiche B_k und B_k' aus 0 den anormalen Bildern I_k und I_k'.
Im folgenden Schritt S102 berechnet die Einheit zum Berechnen allgemeiner Ähnlichkeit 120 Merkmale c_k und c_k' der Hintergrundbereiche, d. h., der nicht anormalen Bereiche B_k und B_k. Die Merkmale c_k und c_k' umfassen beispielsweise eine Statistik, wie beispielsweise einen Mittelwert, Median oder Ähnliches von Pixelwerten (Luminanzwerte oder G-Komponenten-Werte) von Pixeln, die die nicht anormalen Bereiche B_k und B_k' bilden, eine Statistik, wie einen Mittelwert, Median oder dergleichen von Farbmerkmalen (beispielsweise Farbunterschied durch YCbCR-Konversion berechnet, Farbton oder Sättigung durch HSI-Konversion berechnet, ein Farbverhältnis wie beispielsweise G/R oder B/G oder dergleichen unter Verwendung von R-Komponente, G-Komponente und B-Komponente) von Pixeln, die die nicht anormalen Bereiche B_k und B_k' bilden, und eine Statistik, wie einen Mittelwert, Median oder dergleichen von Formmerkmalen (Flächen, Kreisform oder dergleichen) der nicht anormalen Bereiche B_k und B_k' oder Beschaffenheitsmerkmale (Randmengen oder dergleichen, die unter Verwendung eines Sobelfilters, Laplace-Filters oder dergleichen berechnet werden) in Pixeln, die die nicht anormalen Bereiche B_k und B_k' bilden.
Im folgenden Schritt S103 berechnet die Einheit zum Berechnen allgemeiner Ähnlichkeit 120 ein Änderungsmaß Δc (Δc = c_k – c_k') der Merkmale c_k und c_k' der nicht anormalen Bereiche B_k und B_k' zwischen den benachbarten anormalen Bildern I_k und I_k' in der Sequenz anormaler Bilder.
Im folgenden Schritt S104 berechnet die Einheit zum Berechnen allgemeiner Ähnlichkeit 120 eine allgemeine Ähnlichkeit S_global, die durch die folgende Formel (1) gegeben ist, unter Verwendung eines Maximalwertes c_max und des Änderungsmaßes Δc der Merkmale. S_global = (c_max – Δc)/c_max (1)
In der Formel (1) ist der Maximalwert c_max der Merkmale der Merkmale ein Maximalwert, den die Merkmale c_k und c_k' annehmen können. Wenn beispielsweise statistische Werte von Pixelwerten (G-Komponenten-Werte) als die Merkmale c_k und c_k' für die anormalen Bilder I_k und I_k' mit 256 Tönen berechnet werden, ist der Maximalwert c_max 256. Wenn Kreisförmigkeit als die Merkmale c_k und c_k' berechnet wird, ist der Maximalwert c_max 1. Dann kehrt der Betrieb des Bildverarbeitungsgeräts 1 zu einem Hauptablaufprogramm zurück.
In Schritt S13, im Anschluss an Schritt S12, extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 130 Gruppen anormaler Bilder, die jeweils identische anormale Bereiche enthalten, aus dem in Schritt S11 extrahierten anormalen Bildern auf Grundlage der in Schritt S12 berechneten allgemeinen Ähnlichkeit s_global. Insbesondere bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 130 anormale Bilder mit einer allgemeinen Ähnlichkeit S_global von nicht weniger als einem vorbestimmten Schwellenwert als anormale Bilder, die identische anormale Bereiche enthalten. Im Gegensatz dazu bestimmt die Einheit zum Berechnen von allgemeiner Ähnlichkeit 130 anormale Bilder mit einer allgemeinen Ähnlichkeit S_global von weniger als dem vorbestimmten Schwellenwert als anormale Bilder, die keine identischen anormalen Bereiche enthalten. Dann extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 130 die anormalen Bilder, die identische anormale Bereiche enthalten, als eine Gruppe anormaler Bilder.
Wenn beispielsweise in 3 bestimmt wird, dass die anormalen Bilder I_t1 und I_t1+1, die anormalen Bilder I_t1+1 und I_t1+2, die anormalen Bilder I_t1+2 und I_t1+3, die anormalen Bilder I_t1+3 und I_t1+4 die identischen anormalen Bereiche enthalten, werden diese anormalen Bilder I_t1, I_t1+1, I_t1+2, I_t1+3 und I_t1+4 als eine Gruppe anormaler Bilder G_t1 extrahiert. Außerdem wird, wenn bestimmt wird, dass die anormalen Bilder I_t1+4 und I_t2 keine identischen anormalen Bereiche enthalten, das anormale Bild I_t2 nicht als die Gruppe anormaler Bilder extrahiert, in der das anormale Bild I_t1+4 enthalten ist. Ferner werden, wenn bestimmt wird, dass die anormalen Bilder I_t2 und I_t2+2 und die anormalen Bildern I_t2+2 und I_t2+4 identische anormale Bereiche enthalten, diese anormalen Bildern I_t2, I_t2+2 und I_t2+4 als eine Gruppe anormaler Bilder G_t2 extrahiert.
Im folgenden Schritt S14 extrahiert die Einheit zum Extrahieren von repräsentativen Bildern 140 ein repräsentatives Bild aus jeder der in Schritt S13 Gruppen extrahierter anormaler Bilder. Die Anzahl von zu extrahierenden repräsentativen Bildern kann einen konstanten Wert haben (beispielsweise einen von jeder Gruppe anormaler Bilder) oder kann gemäß der Anzahl von anormalen Bildern bestimmt werden, die in einer Gruppe anormaler Bilder enthalten sind (beispielsweise α mal die Anzahl von anormalen Bildern, wobei 0 < α < 1). Es ist anzumerken, dass, wenn die Anzahl von repräsentativen Bildern entsprechend der Anzahl von anormalen Bildern bestimmt wird, und selbst wenn die Anzahl von repräsentativen Bildern weniger als 1 beträgt, mindestens ein repräsentatives Bild extrahiert wird. Alternativ können alle anormalen Bilder, die ein vorbestimmtes Kriterium erfüllen (beispielsweise anormale Bilder mit einem Farbmerkmal von nicht weniger als einem vorbestimmten Schwellenwert), als das repräsentative Bild extrahiert werden, ohne die Anzahl von zu extrahierenden repräsentativen Bildern festzulegen.
Ein Verfahren zum Extrahieren eines repräsentativen Bildes ist nicht speziell beschränkt. Beispielsweise kann das erste oder mittlere Zeit-Serien-Bild jeder Gruppe anormaler Bilder als das repräsentative Bild extrahiert werden. Alternativ kann das repräsentative Bild auf Grundlage der Farbmerkmale des identischen anormalen Bereichs in jeder Gruppe anormaler Bilder extrahiert werden. Im Speziellen wird, wenn ein anormaler Bereich von der speziellen rötlichen Farbe angegeben wird, ein anormales Bild mit einer stärkeren roten Farbe in dem anormalen Bereich vorzugsweise als das repräsentative Bild extrahiert und wenn ein anormaler Bereich von der speziellen weißen Farbe angegeben wird, wird ein anormales Bild mit einer stärkeren weißen Farbe in dem anormalen Bereich vorzugsweise als das repräsentative Bild extrahiert. Ferner kann ein anormales Bild mit einem anormalen Bereich mit einer größeren Größe oder ein anormales Bild mit einem in der Nähe der Mitte positionierten anormalen Bereich vorzugsweise als das repräsentative Bild extrahiert werden.
Im folgenden Schritt S15 gibt die Recheneinheit 100 als Ergebnis der Extrahierung des repräsentativen Bildes Information aus, die das aus jeder der Gruppen anormaler Bilder in Schritt S14 extrahierte repräsentative Bild angibt. Dementsprechend fügt die Aufzeichnungseinheit 50 Information (Markierung), die das repräsentative Bild angibt, zu Bilddaten eines intraluminalen Bildes, das als das repräsentative Bild extrahiert wird, hinzu.
Wie vorstehend beschrieben, können gemäß der ersten Ausführungsform der vorliegenden Erfindung, da eine Gruppe anormaler Bilder auf Grundlage der allgemeinen Ähnlichkeit zwischen Bereichen, die die Hintergrundbereiche enthalten, in anormalen Bildern extrahiert wird, die anormalen Bilder als die identische Gruppe anormaler Bilder extrahiert werden, selbst wenn sich Position, Form oder Farbe des anormalen Bereichs zwischen den anormalen Bildern wesentlich ändern oder der anormale Bereich sich für einen Moment außer Sicht befindet und die anormalen Bilder vorübergehend voneinander getrennt sind, in Abhängigkeit von den Bedingungen der Abbildung des anormalen Bereichs. Somit kann verhindert werden, dass anormale Bilder, die identische anormale Bereiche zeigen, kontinuierlich als die repräsentativen Bildern extrahiert werden. Dementsprechend ermöglicht das Beobachten von extrahierten repräsentativen Bildern, die in der Anzahl beschränkt sind, aber sämtliche erfassten anormalen Bereiche abdecken, dem Benutzer eine genaue und effektive Diagnose.
(Modifizierung 1-1)
Als Nächstes wird Modifizierung 1-1 der ersten Ausführungsform der vorliegenden Erfindung beschrieben.
Der von jedem anormalen Bild extrahierte Hintergrundbereich zum Berechnen der allgemeinen Ähnlichkeit ist möglicherweise nicht der gesamte nicht anormale Bereich. Beispielsweise können Bereiche (mukosale Bereiche), die eine Schleimhaut zeigen, aus anormalen Bildern als die Hintergrundbereiche extrahiert werden, um eine allgemeine Ähnlichkeit zwischen den mukosalen Bereichen zu berechnen.
Der mukosale Bereich kann unter Verwendung von zuvor entwickelten Bestimmungskriterien extrahiert werden. Die Bestimmungskriterien werden durch ein Lerninstrument, wie beispielsweise eine Support Vector Machine (SVM), auf Grundlage einer Merkmalsverteilung eines nicht mukosalen Bereichs, wie beispielsweise in einem intraluminalen Bild gezeigten Blutung, Restbestand, Blasen, Lichthof oder einen dunklen Teil, entwickelt und werden in der Aufzeichnungseinheit 50 gespeichert. Das Merkmal enthält Farbmerkmale (Werte von R-Komponente, G-Komponente und B-Komponente eines Pixelwertes, sekundär durch bekannte Konversion berechnete Werte auf Grundlage der Werte der Farbkomponenten (Farbunterschied durch YCbCR-Konversion berechnet, Farbton oder Sättigung durch HSI-Konversion berechnet, Farbverhältnis wie beispielsweise G/R oder B/G oder dergleichen)), Formmerkmale (Forminformation wie beispielsweise Histogramme von orientierten Gradienten (HOG), Fläche, Umfangslänge oder Feret's Durchmesser) oder Beschaffenheitsmerkmale (lokale binäre Muster (LBP), simultane normale Matrix oder dergleichen).
6 ist ein schematisches Diagramm, das einen Prozess zum Berechnen von allgemeiner Ähnlichkeit (vergleiche Schritt S12 aus 2 und 4) gemäß Modifizierung 1-1 zeigt. In dieser Konfiguration liest in Schritt S101 die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 Bestimmungskriterien zum Bestimmen eines mukosalen Bereichs aus der Aufzeichnungseinheit 50, vergleicht Merkmale, die für Pixel berechnet werden, die ein anormales Bild bilden, mit den Bestimmungskriterien und extrahiert einen mukosalen Bereich. Somit werden, wie in 6 dargestellt, mukosale Bereiche D_k, und D_k' aus benachbarten anormalen Bildern I_k und I_k' in der Sequenz anormaler Bilder extrahiert. Aus den mukosalen Bereichen D_k, und D_k' werden anormale Bereiche A_k und A_k', wie beispielsweise Blutungen oder unnötige Bereiche C_k oder C_k', wie beispielsweise Blasen, ausgeschlossen.
Die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechnet die Merkmale c_k oder c_k' mit den mukosalen Bereichen D_k, und D_k' als den Hintergrundbereich (vergleiche Schritt S102) und verwendet den Maximalwert c_max und das Änderungsmaß Δc in Merkmalen, um die durch Formel 1 gegebene allgemeine Ähnlichkeit s_global zu berechnen (vergleiche Schritte S103 und S104).
Wie vorstehend beschrieben, kann gemäß Modifizierung 1-1, da die allgemeine Ähnlichkeit zwischen mukosalen Bereichen zwischen anormalen Bildern berechnet wird, die Gruppe anormaler Bilder, die identische anormale Bereiche enthält, extrahiert werden, während Einflüsse verhindert werden, die von einem lokalen Phänomen verursacht werden, wie beispielsweise Blutungen, Restbestände, Blasen, Lichthof oder ein dunkler Teil.
(Modifizierung 1-2)
Als Nächstes wird Modifizierung 1-2 der ersten Ausführungsform der vorliegenden Erfindung beschrieben.
Die allgemeine Ähnlichkeit kann auf Grundlage eines Merkmales eines Bereichs, der einen anormalen Bereich enthält, zusätzlich zu dem Hintergrundbereich berechnet werden. Insbesondere kann die allgemeine Ähnlichkeit auf Grundlage eines Merkmals des gesamten anormalen Bildes berechnet werden, das den anormalen Bereich und den nicht anormalen Bereich enthält. Alternativ kann ein Merkmal eines durch Ausschluss eines unnötigen Bereichs erlangten Bereichs (ein anderer Bereich als ein in der Diagnose zu erfassendes Objekt), wie beispielsweise Restbestände, Blasen, Lichthof oder ein dunkler Teil, von dem gesamten anormalen Bild zur Berechnung der allgemeinen Ähnlichkeit verwendet werden. In jedem Fall wird die allgemeine Ähnlichkeit vorzugsweise verwendet, solange die allgemeine Ähnlichkeit zwischen Bereichen berechnet wird, die jeweils mindestens einen nicht anormalen Bereich enthalten.
(Modifizierung 1-3)
Als Nächstes wird Modifizierung 1-3 der ersten Ausführungsform der vorliegenden Erfindung beschrieben.
Die allgemeine Ähnlichkeit zwischen anormalen Bildern kann auf Grundlage von in den anormalen Bildern gezeigten Organtypen bestimmt werden. Nachstehend wird ein Verfahren zum Bestimmen der allgemeinen Ähnlichkeit auf Grundlage der Organtypen beschrieben.
Zuerst werden die in jedem anormalen Bild gezeigten Organtypen bestimmt. Die Organtypen können unter Verwendung verschiedener bekannter Verfahren bestimmt werden. Ein in JP 2006-288612A offenbartes Verfahren ist nachstehend als ein Beispiel beschrieben. Zuerst wird im Vorhinein ein numerischer Bereich jeder der Farbkomponenten (Farbeelemente) R, G und B in einem Bild, das jedes Organ (Speiseröhre, Magen, Dünndarm oder Dickdarm) in einem Lumen zeigt, bestimmt. Dann werden entsprechende Mittelwerte von R-Komponenten, G-Komponenten und B-Komponenten von Pixeln, die ein anormales Bild bilden, berechnet und werden die Mittelwerte mit den zuvor bestimmten numerischen Bereichen der Farbkomponenten der Organe verglichen. Somit wird, wenn die für das anormale Bild berechneten Mittelwerte der Farbkomponenten sich in den zuvor bestimmten numerischen Bereichen der Farbkomponenten der Speiseröhre befinden, ein in dem anormalen Bild gezeigtes Organ als Speiseröhre bestimmt. Auf ähnliche Weise wird, wenn sich die Mittelwerte der für das anormale Bild berechneten Farbkomponenten in den zuvor bestimmten numerischen Bereichen der Farbkomponenten des Magens befinden, ein in dem anormalen Bild gezeigtes Organ als Magen bestimmt. Auf ähnliche Weise wird, wenn sich die Mittelwerte der für das anormale Bild berechneten Farbkomponenten in den zuvor bestimmten numerischen Bereichen der Farbkomponenten des Dünndarms befinden, ein in dem anormalen Bild gezeigtes Organ als Dünndarm bestimmt. Auf ähnliche Weise wird, wenn sich die Mittelwerte der für das anormale Bild berechneten Farbkomponenten in den zuvor bestimmten numerischen Bereichen der Farbkomponenten des Dickdarms befinden, ein in dem anormalen Bild gezeigtes Organ als Dickdarm bestimmt
Die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 bestimmt die allgemeine Ähnlichkeit auf Grundlage der für jedes anormale Bild bestimmen Organtypen. Insbesondere wird, wenn Organe in ihrer Art zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder identisch sind, die Ähnlichkeit als 1,0 bestimmt. Im Gegensatz dazu wird, wenn Organe sich in ihrer Art zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder unterschieden, die Ähnlichkeit als 0,0 bestimmt
Es ist anzumerken, dass die Organtypen vom Benutzer bestimmt werden können. Im Speziellen werden durch Bildverarbeitung in der Recheneinheit 100 durchschnittliche Farben einer Serie von intraluminalen Bildern berechnet und wird ein Farbbalken mit einer Anordnung der Durchschnittsfarben in der Reihenfolge einer Anordnung von intraluminalen Bildern (Zeit-Serien-Reihenfolge) zur Anzeige auf der Anzeigeeinheit 40 gebildet. Ein Farbunterschied (Grenze) zwischen Durchschnittsfarben auf diesem Farbbalken entspricht einer Grenze zwischen Organen in der Serie von intraluminalen Bildern. Wenn ein Signal zum Auswählen eines speziellen Punktes auf dem Farbbalken von der Eingabeeinheit 30 gemäß der Benutzerbetätigung der Eingabeeinheit 30 in die Steuereinheit 10 eingegeben wird, gibt die Steuereinheit 10 in die Recheneinheit 100 eine Bilderzahl eines intraluminalen Bildes entsprechend dem ausgewählten Punkt ein. Die Recheneinheit 100 identifiziert die Organtypen in jedem gezeigten intraluminalen Bild, wobei ein intraluminales Bild der eingegebenen Bilderzahl als einer Grenze eines Organs entspricht. Die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 bestimmt die allgemeine Ähnlichkeit auf Grundlage der Organtypen in intraluminalen Bildern, von denen anormale Bereiche erfasst werden.
(Modifizierung 1-4)
Als Nächstes wird Modifizierung 1-4 der zweiten Ausführungsform der vorliegenden Erfindung beschrieben.
Nach Erlangung der Bilddaten in Schritt S10 kann die Recheneinheit 100 einen Prozess des Bestimmens der Organtypen für die gesamte Serie der intraluminalen Bilder bestimmen. Es ist anzumerken, dass ein Verfahren zum Bestimmen der Organtypen ähnlich dem in Modifizierung 1-3 beschriebenen ist und die Organtypen automatisch bestimmt oder manuell von dem Benutzer bestimmt werden können.
In dieser Konfiguration führt die Recheneinheit 100 die Verarbeitung von Schritten S11 bis S14, wie vorstehend beschrieben, auf intraluminalen Bildern aus, die ein zu untersuchendes Organ zeigen (beispielsweise Dünndarm). Im Gegensatz dazu erfasst die Recheneinheit 100 einen anormalen Bereich, um ein anormales Bild aus intraluminalen Bildern zu extrahieren, die ein anderes Organ als das zu untersuchende Objekt zeigen (beispielsweise Speiseröhre, Magen oder Dickdarm), extrahiert anschließend eine vorbestimmte Anzahl (beispielsweise eine geringe Anzahl wie zehn) anormaler Bilder, beispielsweise in absteigender Reihenfolge der Intensität der rötlichen Farbe des anormalen Bereichs oder in absteigender Reihenfolge der Intensität der weißen Farbe des anormalen Bereichs und gibt dann die anderen anormalen Bilder als die repräsentativen Bildern aus. Es ist anzumerken, dass die Intensität der rötlichen Farbe von dem Farbverhältnis G/R angegeben wird und je kleiner das Farbverhältnis G/R, desto stärker die rötliche Farbe. Ferner wird die Intensität der weißen Farbe von den Farbverhältnissen G/R und B/G angegeben und je größer die Farbverhältnisse G/R und B/G, desto stärker die weiße Farbe. Alternativ kann die Recheneinheit 100 eine vorbestimmte Anzahl (beispielsweise eine geringe Anzahl wie zehn) von intraluminalen Bildern als die repräsentativen Bildern auf Grundlage der Farbmerkmale (Farbverhältnis oder dergleichen, wie vorstehend beschrieben) der intraluminalen Bilder extrahieren, die ein anderes Organ als das zu untersuchende Objekt zeigen. Außerdem braucht die Recheneinheit 100 das repräsentative Bild nicht aus den intraluminalen Bildern zu extrahieren, die ein anderes Organ als das zu untersuchende Objekt zeigen.
(Zweite Ausführungsform)
Als Nächstes wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben.
7 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. Das Bildverarbeitungsgerät gemäß der zweiten Ausführungsform umfasst eine in 7 gezeigte Recheneinheit 200 anstatt der in 1 gezeigt Recheneinheit 100. Konfigurationen und Betrieb von anderen Einheiten als der Recheneinheit 200 sind denen der ersten Ausführungsform ähnlich.
Die Recheneinheit 200 umfasst die Erfassungseinheit 110, eine Positionsinformationsbezugseinheit 210, die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120, eine Einheit zum Extrahieren von Gruppen anormaler Bilder 220 und die Einheit zum Extrahieren von repräsentativen Bildern 140. Von diesen ist der Betrieb der Erfassungseinheit 110, der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 und der Einheit zum Extrahieren von repräsentativen Bildern 130 der ersten Ausführungsform ähnlich.
Die Positionsinformationsbezugseinheit 210 bezieht eine chronologische Anordnungsreihenfolge (Aufnahmereihenfolge) oder Bilderzahlen, die die Anordnungsreihenfolge der anormalen Bilder I_i darstellen, in der Serie von intraluminalen Bildern (vergleiche 3) oder die Abbildungszeit jedes anormalen Bildes I_i als Zeit-Serien-Positionsinformation der anormalen Bilder I_i. Hier kann, wenn ein Kapselendoskop, das zur Abbildung der Serie von intraluminalen Bildern verwendet wird, eine mittlere Bewegungsgeschwindigkeit v (beispielsweise 1 mm/s) und eine Einzelbildrate von F (beispielsweise zwei Einzelbilder pro Sekunde) hat, die Abbildungsposition in einem intraluminalen Bild (anormales Bild) I_i als in einem Abstand i·v/F (mm) von einer Abbildungsstartposition (beispielsweise in einer Mundhöhle) der Serie von intraluminalen Bildern geschätzt werden. Ferner kann auf ähnliche Weise die Position des Kapselendoskops auch unter Verwendung der Abbildungszeit geschätzt werden. Dementsprechend kann die Anordnungsreihenfolge, Bilderzahl und Abbildungszeit des intraluminalen Bildes als die Positionsinformation des anormalen Bildes I_i bearbeitet werden.
Die Einheit zum Extrahieren von Gruppen anormaler Bilder 220 extrahiert Gruppen anormaler Bilder, die jeweils identische anormale Bereiche enthalten, auf Grundlage der von der Positionsinformationsbezugseinheit 210 erlangten Positionsinformation und der von der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechneten allgemeinen Ähnlichkeit.
Als Nächstes wird der Betrieb des Bildverarbeitungsgeräts gemäß der zweiten Ausführungsform beschrieben. 8 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der zweiten Ausführungsform zeigt. Es ist anzumerken, dass die in 8 gezeigten Schritte S10 und S12 ähnlich denen der ersten Ausführungsform sind (vergleiche 2).
In Schritt S21, folgend auf Schritt S11, bezieht die Positionsinformationsbezugseinheit 210 Zeit-Serien-Positionsinformationen der in Schritt S11 extrahierten anormalen Bilder. Insbesondere wird die Abbildungszeit oder die Anordnungsreihenfolge i des anormalen Bildes I_i als die Positionsinformation bezogen.
Im folgenden Schritt S22 berechnet die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 die allgemeine Ähnlichkeit zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder. Ein Verfahren zum Berechnen der allgemeinen Ähnlichkeit ist dem in der ersten Ausführungsform beschriebenen ähnlich (vergleiche 4 und 5). Alternativ kann die allgemeine Ähnlichkeit auf eine ähnliche Weise wie in Modifizierungen 1-1 bis 1-3 berechnet werden.
Im folgenden Schritt S23 extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 220 Gruppen anormaler Bilder, die einen identischen anormalen Bereich enthalten, auf Grundlage der in Schritt S21 bezogenen Positionsinformation und der in Schritt S22 berechneten allgemeinen Ähnlichkeit.
9 ist ein Ablaufdiagramm, das einen von der Einheit zum Extrahieren von repräsentativen Bildern in Schritt S23 ausgeführten Prozess zum Extrahieren von repräsentativen Bildern zeigt. Die Einheit zum Extrahieren von Gruppen anormaler Bilder 220 führt die Verarbeitung einer Schleife A für jedes in Schritt S11 extrahierte anormale Bild aus.
Zuerst berechnet in Schritt S201 die Einheit zum Extrahieren von Gruppen anormaler Bilder 220 eine Differenz ΔT (= T(I_k') – T(I_k)) zwischen der Abbildungszeit T(I_k) und T(I_k'), d. h., eine vergangene Zeit, zwischen einem zu verarbeitenden anormalen Bild I_k (k ist eine natürliche Zahl) und einem benachbarten anormalen Bild I_k' (k' ist eine natürliche Zahl, wobei k < k') in einer Sequenz anormaler Bilder.
Im folgenden Schritt S202 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 220, ob die Differenz ΔT zwischen der in Schritt S201 berechneten Abbildungszeit nicht höher als ein vorbestimmter Schwellenwert th1 ist.
Wenn die Differenz ΔT zwischen der Abbildungszeit nicht über dem Schwellenwert th1 liegt (Schritt S202: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 220 dann, ob die allgemeine Ähnlichkeit s_global zwischen den anormalen Bildern I_k und I_k' nicht weniger als ein vorbestimmter Schwellenwert th2 ist (Schritt S203).
Wenn die allgemeine Ähnlichkeit s_global nicht unter dem Schwellenwert th2 liegt (Schritt S203: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 220, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S204).
Beispielsweise werden, wie in 10 gezeigt, wenn ein anormales Bild I_t1 und ein anormales Bild I_t1+1, die einander in chronologischer Reihenfolge (ΔT1 < th1) benachbart sind, eine allgemeine Ähnlichkeit s_global von nicht weniger als dem Schwellenwert th2 haben, bestimmt, dass diese anormalen Bilder I_t1 und I_t1+1 identische anormale Bereiche enthalten. Ferner wird, wenn ein anormales Bild I_t2 und ein anormales Bild I_t2+2, die nicht in chronologischer Reihenfolge in einer Gruppe intraluminaler Bilder I_i (i = 1, 2, ...) benachbart sind, eine Differenz ΔT2 zwischen der Abbildungszeit nicht über dem Schwellenwert th1 haben, bestimmt, dass das anormale Bild I_t2 und das anormale Bild I_t2+2 identische anormale Bereiche enthalten, bei der Bedingung, dass die allgemeine Ähnlichkeit s_global nicht unter dem Schwellenwert th2 liegt.
Im Gegensatz dazu bestimmt, wenn die Differenz ΔT zwischen der Abbildungszeit über dem Schwellenwert th1 in Schritt S202 liegt (Schritt S202: Nein), oder wenn die allgemeine Ähnlichkeit s_global nicht unter dem Schwellenwert th2 in Schritt S203 liegt (Schritt S203: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 220, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S205). Beispielsweise liegt, wie in 10 gezeigt, eine Differenz ΔT3 zwischen der Abbildungszeit zwischen einem anormalen Bild I_t1+4 und dem anormalen Bild I_t2 über dem Schwellenwert th1, so dass bestimmt wird, dass diese anormalen Bilder keine identischen anormalen Bereiche enthalten.
Nach Abschluss der Verarbeitung der Schleife A für alle anormalen Bilder extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 220 anormale Bilder, von denen bestimmt wurde, dass sie identische anormale Bereiche zeigen, als die identische Gruppe anormaler Bilder in Schritt S206. Dann kehrt der Betrieb des Bildverarbeitungsgeräts zu einem Hauptablaufprogramm zurück.
Es ist anzumerken, dass in Schritt S201 eine Differenz in der Anordnungsreihenfolge i zwischen den anormalen Bildern I_i anstatt der Abbildungszeit berechnet werden kann. Bei dieser Bedingung wird in Schritt S202 bestimmt, ob eine Differenz in der Anordnungsreihenfolge nicht über einem vorbestimmten Schwellenwert liegt.
Es ist anzumerken, dass Schritte S14 und S15, die auf Schritt S22 folgen, denen der ersten Ausführungsform ähnlich sind (vergleiche 2).
Wie vorstehend beschrieben, ist es gemäß der zweiten Ausführungsform der vorliegenden Erfindung, da die Gruppe anormaler Bilder, die die identischen anormalen Bereiche enthält, auf der Grundlage von Zeit-Serien-Positionsinformation und der allgemeinen Ähnlichkeit der anormalen Bilder, möglich, zu verhindern, dass anormale Bilder, die vorübergehend wesentlich getrennt sind, als die Gruppe identische anormaler Bilder extrahiert werden.
(Modifizierung 2)
Als Nächstes wird Modifizierung 2 der zweiten Ausführungsform der vorliegenden Erfindung beschrieben.
In der zweiten Ausführungsform wird die Zeit-Serien-Positionsinformation der anormalen Bilder für den Extrahierungsprozess für die Gruppe anormaler Bilder verwendet, die identische anormale Bereiche enthält. Diese Positionsinformation kann jedoch zur Ausführung eines Prozesses zum Extrahieren von repräsentativen Bildern verwendet werden
11 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgerätes gemäß der Modifizierung 2 zeigt. Wie in 11 gezeigt, umfasst eine Recheneinheit 250 gemäß Modifizierung 2 eine Einheit zum Extrahieren von repräsentativen Bildern 141 anstatt der Einheit zum Extrahieren von repräsentativen Bildern 140 der Recheneinheit 200 gemäß der zweiten Ausführungsform (vergleiche 7). Konfigurationen und Betrieb der Recheneinheit 250 außer der Einheit zum Extrahieren von repräsentativen Bildern 141 sind ähnlich wie in der zweiten Ausführungsform.
Die Einheit zum Extrahieren von repräsentativen Bildern 141 extrahiert vorzugsweise als das repräsentative Bild ein anormales Bild, das eine Blutungsquelle zeigt für den anormalen Bereich mit einem hohen Bedeutungsgehalt, aus jeder der Gruppen anormaler Bilder, von denen jede identische anormale Bereiche enthält. Genauer umfasst die Einheit zum Extrahieren von repräsentativen Bildern 141 eine Blutungsquellenerfassungseinheit 141a zum Erfassen einer Blutungsquelle von einer Gruppe anormaler Bilder, die einen blutenden anormalen Bereich zeigt. Die Blutungsquellenerfassungseinheit 141a umfasst eine Positionsschätzungseinheit 141b zum Schätzen einer in einem anormalen Bild gezeigten Position in einem Lumen eines Untersuchungsgegenstandes (Organes), d. h. eine Abbildungsposition in einem Lumen, von der das anormale Bild aufgenommen wird.
12 ist ein Ablaufdiagramm, das einen von einer Einheit zum Extrahieren von repräsentativen Bildern in Schritt S14 ausgeführten Prozess zum Extrahieren von repräsentativen Bildern zeigt. Die Einheit zum Extrahieren von repräsentativen Bildern 141 führt eine Verarbeitung einer Schleife B für jede in Schritt S23 extrahierte Gruppe anormaler Bilder aus. Es ist anzumerken, dass in der folgenden Beschreibung die Anzahl von zu extrahierenden repräsentativen Bildern aus jeder Gruppe anormaler Bilder als n definiert wird.
Zuerst bestimmt in Schritt S211 die Einheit zum Extrahieren von repräsentativen Bildern 141, ob identische anormale Bereiche in einer zu verarbeitenden Gruppe anormaler Bilder Blutungen aufweisen. Im Speziellen werden auf Grundlage der speziellen rötlichen Farbe in Schritt S11 erfasste anormale Bereiche (siehe erste Ausführungsform) als Blutung bestimmt. Alternativ kann, auf Grundlage von Farbmerkmalen, Formmerkmalen und Beschaffenheitsmerkmalen bestimmt werden, ob der anormale Bereich eine Blutung aufweist.
Wenn die identischen anormalen Bereiche eine Blutung aufweisen (Schritt S211: Ja), erfasst die Positionsschätzungseinheit 141b die von der Positionsinformationsbezugseinheit 210 in Schritt S21 bezogene Zeit-Serien-Positionsinformation (Abbildungszeit oder Anordnungsreihenfolge anormaler Bilder) und schätzt eine Abbildungsposition in einem Lumen jedes in der Gruppe anormaler Bilder enthaltenen anormalen Bildes auf Grundlage der Positionsinformation (Schritt S212).
Im folgenden Schritt S213 erfasst die Blutungsquellenerfassungseinheit 141a Blutungsquellenbilder (ein anormales Bild, das eine Blutungsquelle zeigt). Im Speziellen wird ein anormales Bild, das an einer Abbildungsposition auf der am weitesten stromaufwärts liegenden Seite in einem Lumen (d. h. das anormale Bild der ältesten Zeitserie) aufgenommen wird, als das Blutungsquellenbild von anormalen Bildern erfasst, die einen anormalen Bereich mit einer starken rötlichen Farbe der Gruppe anormaler Bilder aufweisen. Hier kann der anormale Bereich mit einer starken rötlichen Farbe beispielsweise als ein Bereich mit einem Farbverhältnis G/R bestimmt werden, das nicht über einem vorbestimmten Schwellenwert liegt. Es ist anzumerken, dass der hierin verwendete Schwellenwert des Farbverhältnisses G/R (kleinerer Wert) relativ zu dem Bestimmungskriterium (Farbverhältnis G/R), das zur Erfassung des anormalen Bereichs in Schritt S11 verwendet wird, vorzugsweise streng eingestellt wird.
Im Allgemeinen fließt, wenn in einem Lumen eine Blutung auftritt, Blut von einer stromaufwärts gelegenen Seite (Mundhöhlenseite) zu einer stromabwärts gelegenen Seite (Anusseite). Aus diesem Grund ist zu sehen, das eine Blutungsquelle in einem anormalen Bild gezeigt wird, das an einer Abbildungsposition auf der am weitesten stromaufwärts gelegenen Seite eines anormalen Bildes, das einen anormalen Bereich mit einer starken rötlichen Farbe enthält, aufgenommen wird.
Im folgenden Schritt S214 extrahiert die Einheit zum Extrahieren von repräsentativen Bildern 141 als das repräsentative Bild eines der in Schritt S213 erfassten Blutungsquellenbilder.
Im folgenden Schritt S215 extrahiert die Einheit zum Extrahieren von repräsentativen Bildern 141 n – 1 repräsentative Bilder beliebig von anormalen Bildern (ausschließlich des Blutungsquellenbildes), die anormale Bereiche mit einer starken rötlichen Farbe enthalten, aus der Gruppe anormaler Bilder, wobei n die Anzahl von zu extrahierenden repräsentativen Bildern ist.
Im folgenden Schritt S216 bestimmt die Einheit zum Extrahieren von repräsentativen Bildern 141, ob n repräsentative Bilder extrahiert werden können. Wenn die Gruppe anormaler Bilder mindestens n anormale Bilder aufweist, die die anormalen Bereiche mit einer starken rötlichen Farbe enthalten, kann eine Gesamtzahl von n repräsentativen Bildern aus den wenigstens n anormalen Bildern extrahiert werden. Bei dieser Bedingung (Schritt S216: Ja) fährt der Prozess mit Schritt S219 fort.
Im Gegensatz dazu können, wenn die anormalen Bilder, die die anormalen Bereiche mit einer starken rötlichen Farbe enthalten, weniger als n betragen, in der Gruppe anormaler Bilder n repräsentative Bilder nicht extrahiert werden. Bei dieser Bedingung (Schritt S216: Nein) extrahiert die Einheit zum Extrahieren von repräsentativen Bildern 141 repräsentative Bilder beliebig aus den restlichen anormalen Bildern, die nicht die anormalen Bereiche mit einer starken rötlichen Farbe enthalten, bis insgesamt n repräsentative Bilder extrahiert wurden (Schritt S217). Dann fährt der Prozess mit Schritt S219 fort.
Ferner extrahiert in Schritt S211, wenn identische anormale Bereiche in einer zu verarbeitenden Gruppe anormaler Bilder keine Blutung aufweisen (Schritt S211: Nein), die Einheit zum Extrahieren von repräsentativen Bildern 141 n repräsentative Bilder aus der Gruppe anormaler Bilder ähnlich wie in der ersten Ausführungsform (Schritt S218). Dann fährt der Prozess mit Schritt S219 fort.
In Schritt S219 fügt die Einheit zum Extrahieren von repräsentativen Bildern 141 Information (Markierung), die das repräsentative Bild angibt, zu Bilddaten der extrahierten n repräsentativen Bildern hinzu.
Nach Abschluss der Verarbeitung der Schleife B für alle in Schritt S23 extrahierten Gruppen anormaler Bilder (vergleiche 8) kehrt der Betrieb des Bildverarbeitungsgeräts zu einem Hauptablaufprogramm zurück.
Wie vorstehend beschrieben, kann gemäß Modifizierung 2 die Blutungsquelle mit einem hohen Bedeutungsgrad auf Grundlage der Intensität der rötlichen Farbe des anormalen Bereichs und der Abbildungsposition jedes anormalen Bildes in einem Lumen als das repräsentative Bild bei der Diagnose extrahiert werden.
(Dritte Ausführungsform)
Als Nächstes wird eine dritte Ausführungsform der vorliegenden Erfindung beschrieben.
13 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß der dritten Ausführungsform der vorliegenden Erfindung zeigt. Das Bildverarbeitungsgerät gemäß der dritten Ausführungsform umfasst eine in 13 gezeigte Recheneinheit 300 anstatt der in 1 gezeigten Recheneinheit 100. Konfigurationen und Betrieb der anderen Einheiten als der Recheneinheit 300 sind ähnlich wie in der ersten Ausführungsform.
Die Recheneinheit 300 umfasst die Erfassungseinheit 110, die Positionsinformationsbezugseinheit 210, die Einheit zum Berechnen von allgemeiner Ähnlichkeit 210, eine Anomalieklassifizierungseinheit 310, eine Einheit zum Extrahieren von Gruppen anormaler Bilder 320 und die Einheit zum Extrahieren von repräsentativen Bildern 140. Von diesen ist der Betrieb der Erfassungseinheit 110, der Einheit zum Berechnen allgemeiner Ähnlichkeit 120 und der Einheit zum Extrahieren von repräsentativen Bildern 140 ähnlich dem der ersten Ausführungsform. Außerdem ist der Betrieb der Positionsinformationsbezugseinheit 210 ähnlich dem der zweiten Ausführungsform.
Die Anomalieklassifizierungseinheit 310 ist eine Einheit zur Klassifizierung von anormalen Bereichen als interessierende Bereiche gemäß den Typen eines Untersuchungsgegenstandes in den anormalen Bereichen. Insbesondere umfasst die Anomalieklassifizierungseinheit 310 eine Kontinuitäts-Anomaliebestimmungseinheit (Kontinuitätsbestimmungseinheit) 311 zum Bestimmen, ob die anormalen Bereiche kontinuierlich in der Serie von intraluminalen Bildern auftreten. Wenn der Untersuchungsgegenstand in den anormalen Bereichen eine Anomalie wie beispielsweise fließendes Blut oder vaskuläre Anomalie ist, bestimmt die Kontinuitäts-Anomaliebestimmungseinheit 311, dass die anormalen Bereiche kontinuierlich auftreten.
Arten von Anomalie wie beispielsweise fließendes Blut oder vaskuläre Anomalie können unter Verwendung von zuvor entwickelten Bestimmungskriterien bestimmt werden. Die Bestimmungskriterien werden durch ein Lerninstrument, wie beispielsweise eine Support Vector Machine (SVM), auf Grundlage der Merkmalsverteilung eines in intraluminalen Bildern gezeigten anormalen Bereichs, wie z. B. fließendes Blut oder vaskuläre Anormalität, entwickelt und in der Aufzeichnungseinheit 50 gespeichert. Die Merkmale umfassen Farbmerkmale (Werte von R-Komponente, G-Komponente und B-Komponente eines Pixelwertes, sekundär durch bekannte Konversion der Werte der Farbkomponenten berechnete Werte (Farbunterschied durch YCbCR-Konversion berechnet, Farbton und Sättigung durch HSI-Konversion berechnet, Farbverhältnisse wie beispielsweise G/R oder B/G oder dergleichen)), Formmerkmale (Forminformation wie beispielsweise Histogramme von orientierten Gradienten (HOG), Flächen, Umfangslängen oder Feret's Durchmesser) oder Beschaffenheitsmerkmale (lokale binäre Muster (LBP), simultane normale Matrix oder dergleichen).
Die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 extrahiert Gruppen anormaler Bilder, die jeweils identische anormale Bereiche enthalten, auf Grundlage der von der Positionsinformationsbezugseinheit 210 bezogenen Positionsinformation, der von der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechneten allgemeine Ähnlichkeit und einem von der Anomalieklassifizierungseinheit 310 Klassifizierungsergebnis.
Als Nächstes wird der Betrieb des Bildverarbeitungsgeräts gemäß der dritten Ausführungsform beschrieben. 14 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der dritten Ausführungsform zeigt. Es ist anzumerken, dass die in 14 gezeigten Schritte S11 und S12 ähnlich denen der ersten Ausführungsform sind (vergleiche 2).
In Schritt S31, folgend auf Schritt S11, bezieht die Positionsinformationsbezugseinheit 210 Zeit-Serien-Positionsinformation der in Schritt S11 extrahierten anormalen Bilder. Insbesondere wird eine Anordnungsreihenfolge i oder Abbildungszeit des anormalen Bildes I_i als die Positionsinformation bezogen.
Im folgenden Schritt S32 berechnet die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 die allgemeine Ähnlichkeit zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder. Ein Verfahren zum Berechnen der allgemeinen Ähnlichkeit ist dem in der ersten Ausführungsform beschriebenen ähnlich (vergleiche 4 und 5). Alternativ kann die allgemeine Ähnlichkeit auf eine ähnliche Weise wie in Modifizierungen 1-1 bis 1-3 berechnet werden.
Im folgenden Schritt S33 klassifiziert die Anomalieklassifizierungseinheit 310 jeden der in Schritt 11 erfassten anormalen Bereiche. Insbesondere liest die Kontinuitäts-Anomaliebestimmungseinheit 311 Bestimmungskriterien zum Bestimmen der kontinuierlich auftetenden anormalen Bereiche aus der Aufzeichnungseinheit 50, vergleicht die für zu verarbeitende anormale Bereiche berechneten Merkmale mit den Bestimmungskriterien, um die Typen eines Untersuchungsgegenstandes in den anormalen Bereichen zu bestimmen, und bestimmt gemäß den Typen des Untersuchungsgegenstandes, ob die anomalen Bereiche kontinuierlich auftreten. Insbesondere werden, wenn der Untersuchungsgegenstand in den anormalen Bereichen fließendes Blut oder vaskuläre Anomalie ist, die anormalen Bereiche als kontinuierlich auftretend bestimmt.
Im folgenden Schritt S34 verwendet die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 die in Schritt S31 erlangte Positionsinformation und die in Schritt S32 berechnete allgemeine Ähnlichkeit auf Grundlage eines Ergebnisses der Klassifizierung in Schritt S33 und extrahiert Gruppen anormaler Bilder, die jeweils identische anormale Bereiche enthalten.
15 ist ein Ablaufdiagramm, das einen von der in Schritt S34 gezeigten Einheit zum Extrahieren von repräsentativen Bildern 320 ausgeführten Prozess zum Extrahieren von repräsentativen Bildern zeigt. Die Einheit zum Extrahieren von repräsentativen Bildern 320 führt die Verarbeitung einer Schleife C für jede in Schritt S11 extrahierte Gruppe anormaler Bilder aus.
Zuerst berechnet in Schritt S301 die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 einen Parameter s_pos, der einen Grad der Positionsnähe zwischen einem zu verarbeitenden anormalen Bild I_j (j ist eine natürliche Zahl) und einem anormalen Bild I_j+n (n ist eine natürliche Zahl), das dem anormalen Bild I_j in einer Sequenz anormaler Bilder benachbart ist, darstellt. Der Parameter s_pos ist durch die folgende Formel (2) gegeben spos = (N – n)/N (2)
In Formel (2) ist N ein Parameter zum Normalisieren einer Differenz n in der Anordnungsreihenfolge und wird zum Beispiel auf N = 10 eingestellt. Dieser Parameter s_pos hat einen größeren Wert, wenn die in den anormalen Bildern I_i und I_j+n, gezeigte Untersuchungsgegenstände in einer Position in einem Lumen näher sind (wenn n kleiner ist).
Es ist anzumerken, dass in Schritt S31, wenn die Abbildungszeit des anormalen Bildes I_i als die Positionsinformation erlangt wird, eine Differenz zwischen der Abbildungszeit für die Differenz n in einer Anordnungsreihenfolge in Formel (2) ersetzt wird und ein Parameter zur Normalisierung der Differenz zwischen der Abbildungszeit für den Parameter N zum Berechnungen der Parameter verwendet wird, die den Grad der Positionsnähe darstellen.
Im folgenden Schritt S302 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 Gewichtungsfaktoren w₁ und w₂ (w₁ + w₂ = 1), die der allgemeinen Ähnlichkeit S_global und dem Parameter s_pos, der den Grad der Positionsnähe darstellt, zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung der anormalen Bereiche in den zu verarbeitenden anormalen Bildern (vergleiche Schritt S33). Zu dieser Zeit werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der kontinuierlich auftritt, die Gewichtungsfaktoren w₁ und w₂ derart bestimmt, dass der Gewichtungsfaktor w₂ relativ zu dem Gewichtungsfaktor w₁ größer ist. Im Gegensatz dazu werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der nicht kontinuierlich auftritt, die Gewichtungsfaktoren w₁ und w₂ derart bestimmt, dass der Gewichtungsfaktor w₁ relativ zu dem Gewichtungsfaktor w₂ größer ist.
Im folgenden Schritt S303 verwendet die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 die in Schritt S302 bestimmten Gewichtungsfaktoren w1 und w₂ zum Berechnen eines Gesamtbestimmungsparameters S_total1, zu dem die allgemeine Ähnlichkeit S_global und der Parameter s_pos, der den Grad von Positionsnähe darstellt, hinzugefügt werden. Der Gesamtbestimmungsparameter s_total1 ist durch die folgende Formel (3) gegeben. s_total1 = w₁·s_global + w₂·s_pos (3)
Im folgenden Schritt S304 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 320, ob der Gesamtbestimmungsparameter s_total1 nicht unter einem vorbestimmten Schwellenwert th3 liegt. Wenn der Gesamtbestimmungsparameter S_total1 nicht unter dem Schwellenwert th3 liegt (Schritt S304: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 320, dass das zu verarbeitende anormale Bild I_j und das nach dem anormalen Bild I_j+n extrahierte anormale Bild I_j identische anormale Bereiche enthalten (Schritt S305). Im Gegensatz dazu bestimmt, wenn der Gesamtbestimmungsparameter s_total nicht unter dem Schwellenwert th3 liegt (Schritt S304: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 320, dass das zu verarbeitende anormale Bild I_j und das nach dem anormalen Bild I_j+n extrahierte anormale Bild I_j keine identischen anormalen Bereiche enthalten (Schritt S306).
Nach Abschluss der Verarbeitung der Schleife C für alle anormalen Bilder extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 anormale Bilder, von denen bestimmt wird, dass sie identische anormale Bereiche zeigen, als die identischen anormalen Bereiche in Schritt S307. Dann kehrt der Betrieb des Bildverarbeitungsgeräts zum Hauptablaufprogramm zurück.
Schritte S14 und S15, im Anschluss an Schritt S34, sind ähnlich denen der ersten Ausführungsform (vergleiche 2).
Wie vorstehend beschrieben, werden gemäß der dritten Ausführungsform der vorliegenden Erfindung, wenn die Gruppe anormaler Bilder, die identische anormale Bereiche enthält, auf Grundlage der Zeit-Serien-Positionsinformation und der allgemeinen Ähnlichkeit eines anormalen Bildes extrahiert wird, die Gewichtungsfaktoren der allgemeinen Ähnlichkeit und der Positionsinformation in Abhängigkeit davon geändert, ob der anormale Bereich in dem anormalen Bild kontinuierlich auftritt, und kann somit die Genauigkeit der Extrahierung der Gruppe anormaler Bilder, die identische anormale Bereiche enthält, erhöht werden.
(Modifizierung 3-1)
Als Nächstes wird Modifizierung 3-1 der dritten Ausführungsform der vorliegenden Erfindung beschrieben. 16 ist ein Blockdiagramm, das eine weitere beispielhafte Konfiguration einer in 13 gezeigten Anomalieklassifizierungseinheit 310 zeigt. In der in 13 gezeigten Recheneinheit 300 kann eine in 16 gezeigte Anomalieklassifizierungseinheit 330 anstatt der Anomalieklassifizierungseinheit 310 vorgesehen sein. Die Anomalieklassifizierungseinheit 330 umfasst eine Intermittenz-Anomaliebestimmungseinheit (Intermittenzbestimmungseinheit) 331 zum Bestimmen, ob ein anomaler Bereich in der Serie von intraluminalen Bildern intermittierend auftritt. Wenn ein Untersuchungsgegenstand in einem anormalen Bereich eine Anomalie wie beispielsweise Rötung, Blutungspunkt, Aphthe oder Geschwür ist, bestimmt die Intermittenz-Anomaliebestimmungseinheit 331, dass der anomale Bereich intermittierend auftritt.
Die Arten von Anomalie wie beispielsweise Rötung, Blutungspunkt, Aphthe oder Geschwür können unter Verwendung von zuvor entwickelten Bestimmungskriterien bestimmt werden. Die Bestimmungskriterien werden durch ein Lerninstrument, wie beispielsweise eine Support Vector Machine (SVM) auf Grundlage einer Merkmalsverteilung eines anormalen Bereichs wie z. B. Rötung, Blutungspunkt, Aphthe, Geschwür, die in intraluminalen Bildern gezeigt und in der Aufzeichnungseinheit 50 gespeichert werden, entwickelt. Die Merkmale umfassen Farbmerkmale (Werte von R-Komponente, G-Komponente und B-Komponente eines Pixelwertes, sekundär berechnete Werte durch bekannte Konversion der Werte der Farbkomponenten (Farbunterschied durch YCbCR-Konversion berechnet, Farbton und Sättigung durch HSI-Konversion berechnet, Farbverhältnisse wie beispielsweise G/R oder B/G oder dergleichen)), Formmerkmale (Forminformation wie beispielsweise HOG, Fläche, Umfangslänge oder Feret's Durchmesser) und Beschaffenheitsmerkmale (LBP, simultane normale Matrix oder dergleichen).
In dieser Konfiguration klassifiziert in dem in 14 gezeigten Schritt S33 die Anomalieklassifizierungseinheit 330 die in Schritt S11 erfassten anormalen Bereiche. Insbesondere liest die Intermittenz-Anomaliebestimmungseinheit 331 Bestimmungskriterien zum Bestimmen der intermittierend auftretenden anormalen Bereiche aus der Aufzeichnungseinheit 50, vergleicht die für zu verarbeitende anormale Bereiche berechneten Merkmale mit den Bestimmungskriterien, um die Typen eines Untersuchungsgegenstandes in den anormalen Bereichen zu bestimmen, und bestimmt gemäß den Typen des Untersuchungsgegenstandes, ob die anomalen Bereiche intermittierend auftreten.
Außerdem verwendet in dieser Konfiguration in dem in 14 gezeigten Schritt S34 die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 die in Schritt S31 erlangte Positionsinformation und die in Schritt S32 berechnete allgemeine Ähnlichkeit auf Grundlage eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 330 und extrahiert Gruppen anormaler Bilder, die identische anormale Bereiche enthalten.
Insbesondere bestimmt im folgenden Schritt S302 die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 Gewichtungsfaktoren w₁ und w₂, die der allgemeinen Ähnlichkeit s_global und dem Parameter s_pos, der den Grad der Positionsnähe darstellt, zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung der anormalen Bereiche durch die Anomalieklassifizierungseinheit 330. Zu dieser Zeit werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der intermittierend auftritt, die Gewichtungsfaktoren w₁ und w₂ derart bestimmt, dass der Gewichtungsfaktor w₁ relativ zu dem Gewichtungsfaktor w₂ größer ist. Im Gegensatz dazu werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der nicht intermittierend auftritt, die Gewichtungsfaktoren w₁ und w₂ derart bestimmt, dass der Gewichtungsfaktor w₂ relativ zu dem Gewichtungsfaktor w₁ größer ist.
(Modifizierung 3-2)
Als Nächstes wird die Modifizierung 3-2 der dritten Ausführungsform der vorliegenden Erfindung beschrieben.
17 ist ein Blockdiagramm, das beispielhaft eine weitere Konfiguration der in 13 gezeigten Anomalieklassifizierungseinheit 310 zeigt. In der in 13 gezeigten Recheneinheit kann eine Anomalieklassifizierungseinheit 340, in 17 gezeigt, anstatt der Anomalieklassifizierungseinheit 310 vorgesehen sein. Die Anomalieklassifizierungseinheit 340 umfasst die Kontinuitäts-Anomaliebestimmungseinheit 311 und die Intermittenz-Anomaliebestimmungseinheit 331. Der Betrieb der Kontinuitäts-Anomaliebestimmungseinheit 311 ist ähnlich dem der dritten Ausführungsform und der Betrieb der Intermittenz-Anomaliebestimmungseinheit 331 ist ähnlich dem gemäß Modifizierung 3-1.
In dieser Konfiguration klassifiziert in dem in 14 gezeigten Schritt S33 die Anomalieklassifizierungseinheit 340 die in Schritt S11 erfassten anormalen Bereiche. Im Speziellen bestimmt die Kontinuitäts-Anomaliebestimmungseinheit 311, ob zu verarbeitende anormale Bereiche kontinuierlich in einer Gruppe einer Serie von intraluminalen Bildern auftreten. Die Intermittenz-Anomaliebestimmungseinheit 331 bestimmt, ob zu verarbeitende anormale Bereiche in der Gruppe einer Serie von intraluminalen Bildern intermittierend auftreten. Folglich werden die anomalen Bereiche in den kontinuierlich auftretenden anormalen Bereich, den intermittierend auftretenden anormalen Bereich und die anderen anomalen Bereiche klassifiziert.
In dieser Konfiguration verwendet in dem in 14 gezeigten Schritt S34 die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 die in Schritt S31 erlangte Positionsinformation und die in Schritt S32 berechnete allgemeine Ähnlichkeit auf Grundlage eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 340 und extrahiert Gruppen anormaler Bilder, die identische anormale Bereiche enthalten.
Insbesondere bestimmt in dem in 15 gezeigten folgenden Schritt S302 die Einheit zum Extrahieren von Gruppen anormaler Bilder 320 Gewichtungsfaktoren w₁ und w₂, die der allgemeinen Ähnlichkeit s_global und dem Parameter s_pos, der den Grad der Positionsnähe darstellt, zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung der Anomalieklassifizierungseinheit 340. Zu dieser Zeit werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der kontinuierlich auftritt, die Gewichtungsfaktoren w₁ und w₂ derart bestimmt, dass der Gewichtungsfaktor w₂ relativ zu dem Gewichtungsfaktor w₁ größer ist. Im Gegensatz dazu werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der intermittierend auftritt, die Gewichtungsfaktoren w₁ und w₂ derart bestimmt, dass der Gewichtungsfaktor w₁ relativ zu dem Gewichtungsfaktor w₂ größer ist. Ferner werden, wenn das anormale Bild I_j einen anormalen Bereich hat, der nicht kontinuierlich auftritt oder intermittierend auftritt, die Gewichtungsfaktoren w₁ und w₂ als gleich bestimmt.
(Vierte Ausführungsform)
Als Nächstes wird eine vierte Ausführungsform der vorliegenden Erfindung beschrieben.
18 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt. Das Bildverarbeitungsgerät gemäß der vierten Ausführungsform umfasst eine in 18 gezeigte Recheneinheit 400 anstatt der in 1 gezeigten Recheneinheit 100. Konfigurationen und Betrieb der anderen Einheiten als der Recheneinheit 400 sind ähnlich wie in der ersten Ausführungsform.
Die Recheneinheit 400 umfasst die Erfassungseinheit 110, die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120, eine Einheit zum Berechnen von lokaler Ähnlichkeit 410, die Anomalieklassifizierungseinheit 310, eine Einheit zum Extrahieren von Gruppen anormaler Bilder 420 und die Einheit zum Extrahieren von repräsentativen Bildern 140. Von diesen ist der Betrieb der Erfassungseinheit 110, der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 und der Einheit zum Extrahieren von repräsentativen Bildern 140 ähnlich dem der ersten Ausführungsform (vergleiche 1). Ferner ist der Betrieb der Anomalieklassifizierungseinheit 310 ähnlich dem der dritten Ausführungsform.
Die Einheit zum Berechnen von lokaler Ähnlichkeit 410 berechnet als eine lokale Ähnlichkeit eine Ähnlichkeit zwischen anormalen Bereichen zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder.
Die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 extrahiert Gruppen anormaler Bilder, die identische andere anormale Bereiche enthalten, auf Grundlage der von der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechneten allgemeinen Ähnlichkeit, der von der Einheit zum Berechnen von lokaler Ähnlichkeit 410 berechneten lokalen Ähnlichkeit und eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 310.
Als Nächstes wird der Betrieb des Bildverarbeitungsgeräts gemäß der vierten Ausführungsform beschrieben. 19 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt. Es ist anzumerken, dass die in 19 gezeigten Schritte S10 bis S12 ähnlich denen der ersten Ausführungsform sind (vergleiche 2). In Schritt S12 kann die allgemeine Ähnlichkeit auf eine ähnliche Weise wie in Modifizierungen 1-1 bis 1-3 berechnet werden.
In Schritt S41, im Anschluss an Schritt S12, berechnet die Einheit zum Berechnen von lokaler Ähnlichkeit 410 die lokale Ähnlichkeit zwischen benachbarten anormalen Bildern in einer anormalen Sequenz anormaler Bilder. Ein Verfahren zum Berechnen von lokaler Ähnlichkeit ist nicht insbesondere beschränkt. Wenn entsprechende Punkte zwischen anormalen Bildern mittels eines bekannten Verfahrens wie beispielsweise „scale-invariant feature transform” (skaleninvariante Merkmalstransformation)(SIFT) extrahiert werden und anormale Bereiche einander zwischen zwei anormalen Bildern entsprechen, wird beispielsweise die lokale Ähnlichkeit als 1,0 definiert. Im Gegensatz dazu wird, wenn anormale Bereiche einander zwischen den zwei anormalen Bildern nicht entsprechen, die lokale Ähnlichkeit als 0,0 definiert.
Im folgenden Schritt S42 klassifiziert die Anomalieklassifizierungseinheit 310 jeden der in Schritt 11 erfassten anormalen Bereiche. Das heißt, die Kontinuitäts-Anomaliebestimmungseinheit 311 liest Bestimmungskriterien zum Bestimmen von kontinuierlich auftretenden anormalen Bereichen aus der Aufzeichnungseinheit 50, um auf Grundlage der Bestimmungskriterien zu bestimmen, ob die anormalen Bereiche kontinuierlich auftreten.
Im folgenden Schritt S43 verwendet die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 die in Schritt S12 berechnete allgemeine Ähnlichkeit und die in Schritt S41 berechnete lokale Ähnlichkeit auf Grundlage eines Ergebnisses der Klassifizierung in Schritt S42 und extrahiert Gruppen anormaler Bilder, die identische anormale Bereiche enthalten.
20 ist ein Ablaufdiagramm, das einen von einer in 18 gezeigten Einheit zum Extrahieren von repräsentativen Bildern ausgeführten Prozess zum Extrahieren von repräsentativen Bildern zeigt. Die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 führt die Verarbeitung einer Schleife D für jedes in Schritt S11 extrahierte anormale Bild aus.
Zuerst bestimmt in Schritt S401 die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 Gewichtungsfaktoren w₃ und w₄, die der allgemeinen Ähnlichkeit s_global bzw. einer lokalen Ähnlichkeit s_local zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung der anormalen Bereiche in den zu verarbeitenden anormalen Bildern (vergleiche Schritt S42). Wenn die anormalen Bereiche kontinuierlich auftreten, werden die Gewichtungsfaktoren w₃ und w₄ derart bestimmt, dass der Gewichtungsfaktor w₃ relativ größer ist (z. B. w₃ = 1, w₄ = 0 usw.). Im Gegensatz dazu werden, wenn die anormalen Bereiche nicht kontinuierlich auftreten, die Gewichtungsfaktoren w₄ derart bestimmt, dass der Gewichtungsfaktor w₄ relativ größer ist (z. B. w₃ = 0, w₄ = 1 usw.).
Im folgenden Schritt S402 verwendet die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 die in Schritt S402 bestimmten Gewichtungsfaktoren w₃ zum Berechnen eines Gesamtbestimmungsparameter s_total2, zu dem die allgemeine Ähnlichkeit s_global und die lokale Ähnlichkeit s_local, hinzugefügt werden. Der Gesamtbestimmungsparameter s_total2 ist durch die folgende Formel (4) gegeben. stotal2 = w3·s_global + w4·slocal (4)
Im folgenden Schritt S403 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 420, ob der Gesamtbestimmungsparameter s_total2 nicht unter einem vorbestimmten Schwellenwert th4 liegt. Wenn der Gesamtbestimmungsparameter s_total2 nicht unter dem Schwellenwert th4 liegt (Schritt S403: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 420, dass ein zu verarbeitendes anormales Bild und ein anormales Bild, das nach dem anormalen Bild extrahiert wird, identische anormale Bereiche enthalten (Schritt S404). Im Gegensatz dazu bestimmt, wenn der Gesamtbestimmungsparameter s_total2 unter dem Schwellenwert th4 liegt (Schritt S403: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 420, dass ein zu verarbeitendes anormales Bild und ein anormales Bild, das nach dem anormalen Bild extrahiert wird, keine identischen anormalen Bereiche enthalten (Schritt S405).
Nach Abschluss der Verarbeitung der Schleife D für alle anormalen Bilder extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 anormale Bilder, von denen bestimmt wird, dass sie identische anormale Bereiche zeigen, als die identischen anormalen Bereiche in Schritt S406. Dann kehrt der Betrieb des Bildverarbeitungsgeräts zum Hauptablaufprogramm zurück.
Es ist anzumerken, dass Schritte S14 und S15, die auf Schritt S43 folgen, denen der ersten Ausführungsform ähnlich sind (vergleiche 2).
Wie vorstehend beschrieben, werden gemäß der vierten Ausführungsform der vorliegenden Erfindung die der gesamten Ähnlichkeit zwischen anormalen Bildern und der lokalen Ähnlichkeit zwischen anormalen Bereichen zugeordneten Gewichtungsfaktoren in Abhängigkeit davon geändert, ob ein anormaler Bereich kontinuierlich auftritt, und wird auf Grundlage deren Gesamtbestimmungsparameter bestimmt, ob zwei anormale Bilder identische anormale Bereiche enthalten. Dadurch kann die Genauigkeit der Extrahierung einer Gruppe anormaler Bilder, die identische anormale Bereiche enthält, erhöht werden.
(Modifizierung 4-1)
Als Nächstes wird Modifizierung 4-1 der vierten Ausführungsform der vorliegenden Erfindung beschrieben.
Die in 18 gezeigte Einheit zum Berechnen von lokaler Ähnlichkeit 410 kann die lokale Ähnlichkeit zusätzlich zu der in der vierten Ausführungsform beschriebenen unter Verwendung verschiedener Verfahren berechnen.
Beispielsweise berechnet die Einheit zum Berechnen von lokaler Ähnlichkeit 410 Merkmale von in den anormalen Bildern enthaltenen anormalen Bereichen zuerst. Die Merkmale umfassen beispielsweise eine Statistik, wie beispielsweise einen Mittelwert, Median oder Ähnliches von Pixelwerten (Luminanzwerte oder G-Komponenten-Werte) von Pixeln, die die anormalen Bereich bilden, eine Statistik, wie einen Mittelwert, Median oder dergleichen von Farbmerkmalen (beispielsweise Farbunterschied durch YCbCR-Konversion berechnet, Farbton und Sättigung durch HSI-Konversion berechnet, Farbverhältnis wie beispielsweise G/R oder B/G oder dergleichen unter Verwendung von R-Komponente, G-Komponente und B-Komponente) von Pixeln, die die nicht anormalen Bereiche bilden, und eine Statistik, wie einen Mittelwert, Median oder dergleichen von Formmerkmalen (Fläche, Kreisform oder dergleichen) der anormalen Bereiche oder Beschaffenheitsmerkmalen (Randmengen oder dergleichen, die unter Verwendung eines Sobelfilters, Laplace-Filters oder dergleichen berechnet werden) in Pixeln, die die anormalen Bereiche bilden.
Als Nächstes berechnet die Einheit zum Berechnen von lokaler Ähnlichkeit 410 ein Änderungsmaß Δc_a des vorstehend beschriebenen Merkmals zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder. Dann werden ein Maximalwert c_a(max) und das Änderungsmaß Δc_a des Merkmals verwendet, um die durch die folgende Formel (5) gegebene lokale Ähnlichkeit s_local zu berechnen. slocal = (ca(max) – Δca)/ca(max) (5)
In Formel (5) ist der Maximalwert c_a(max) der Merkmale ein von den Merkmalen angenommener Maximalwert. Wenn statistische Werte von Pixelwerten (G-Komponenten-Werte) z. B. als die Merkmale für die anormalen Bilder mit 256 Tonlevels berechnet werden, haben die Merkmale beispielsweise einen Maximalwert c_a(max) von 256. Ferner hat, wenn Kreisförmigkeit als die Merkmale berechnet wird, die Kreisförmigkeit einen Maximalwert c_a(max) von 1
(Modifizierung 4-2)
Als Nächstes wird Modifizierung 4-2 der vierten Ausführungsform der vorliegenden Erfindung beschrieben.
In der in 18 gezeigten Recheneinheit 400 kann, anstatt der Anomalieklassifizierungseinheit 310, die Anomalieklassifizierungseinheit 330, die nur die in 16 gezeigte Intermittenz-Anomaliebestimmungseinheit 331 enthält, vorgesehen sein, um die zu verarbeitenden anormalen Bereiche in zwei anormale Bereiche zu klassifizieren, d. h. die intermittierend auftretenden anormalen Bereiche und die anderen anormalen Bereiche (siehe Modifizierung 3-1).
In dieser Konfiguration klassifiziert in dem in 19 gezeigten Schritt S42 die Anomalieklassifizierungseinheit 330 jeden der in Schritt S11 erfassten anormalen Bereiche. Das heißt, die Intermittenz-Anomaliebestimmungseinheit 311 liest Bestimmungskriterien zum Bestimmen von intermittierend auftretenden anormalen Bereichen aus der Aufzeichnungseinheit 50, um auf Grundlage der Bestimmungskriterien zu bestimmen, ob die anormalen Bereiche intermittierend auftreten.
Ferner verwendet in dieser Konfiguration in dem in 19 gezeigten Schritt S43 die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 die in Schritt S12 berechnete allgemeine Ähnlichkeit s_global und die in Schritt S41 berechnete lokale Ähnlichkeit s_local auf Grundlage eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 330 und extrahiert Gruppe anormaler Bilder, die jeweils identische anormale Bereiche enthalten.
Im Speziellen bestimmt in Schritt S401 die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 Gewichtungsfaktoren w₃ und w₄, die der allgemeinen Ähnlichkeit s_global und der lokalen Ähnlichkeit s_local zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung der anormalen Bereiche durch die Anomalieklassifizierungseinheit 330. Wenn die anormalen Bereiche intermittierend auftreten, werden die Gewichtungsfaktoren w₃ und w₄ derart bestimmt, dass der Gewichtungsfaktor w₄ relativ größer ist (z. B. w₃ = 0, w₄ = 1 usw.). Im Gegensatz dazu werden, wenn die anormalen Bereiche nicht intermittierend auftreten, die Gewichtungsfaktoren w₃ und w₄ derart bestimmt, dass der Gewichtungsfaktor w₃ relativ größer ist (z. B. w₃ = 1, w₄ = 0 usw.).
(Modifizierung 4-3)
Als Nächstes wird die Modifizierung 4-3 der vierten Ausführungsform der vorliegenden Erfindung beschrieben.
In der in 18 gezeigten Recheneinheit 400 kann, anstatt der Anomalieklassifizierungseinheit 310, die Anomalieklassifizierungseinheit 340, die die in 17 gezeigte Kontinuitäts-Anomaliebestimmungseinheit 311 und die Intermittenz-Anomaliebestimmungseinheit 331 enthält, vorgesehen sein, um zu verarbeitende anormale Bereiche in drei anormale Bereiche zu klassifizieren, d. h. die kontinuierlich auftretenden anormalen Bereiche, die intermittierend auftretenden anormalen Bereiche und die anderen anormalen Bereiche (siehe Modifizierung 3-2).
In dieser Konfiguration klassifiziert in dem in 19 gezeigten Schritt S42 die Anomalieklassifizierungseinheit 340 jeden der in Schritt S11 erfassten anormalen Bereiche. Das heißt, die Kontinuitäts-Anomaliebestimmungseinheit 311 bestimmt, ob die zu verarbeitenden anormalen Bereiche in der Gruppe einer Serie von intraluminalen Bildern kontinuierlich auftreten. Die Intermittenz-Anomaliebestimmungseinheit 331 bestimmt, ob zu verarbeitende anormale Bereiche in der Gruppe einer Serie von intraluminalen Bildern intermittierend auftreten.
Ferner verwendet in dieser Konfiguration in dem in 19 gezeigten Schritt S43 die Einheit zum Extrahieren von Gruppen anormaler Bilder 420 die in Schritt S12 berechnete allgemeine Ähnlichkeit s_global und die in Schritt S41 berechnete lokale Ähnlichkeit s_local auf Grundlage eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 340 und extrahiert Gruppen anormaler Bilder, die identische anormale Bereiche enthalten.
Im Speziellen bestimmt in Schritt S401 die in 20 gezeigte Einheit zum Extrahieren von Gruppen anormaler Bilder 420 Gewichtungsfaktoren w₃ und w₄, die der allgemeinen Ähnlichkeit s_global und der lokalen Ähnlichkeit s_local zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 340. Wenn die anormalen Bereiche kontinuierlich auftreten, werden die Gewichtungsfaktoren w₃ und w₄ derart bestimmt, dass der Gewichtungsfaktor w₃ relativ größer ist (z. B. w₃ = 1, w₄ = 0 usw.). Im Gegensatz dazu werden, wenn die anormalen Bereiche intermittierend auftreten, die Gewichtungsfaktoren w₃ und w₄ derart bestimmt, dass der Gewichtungsfaktor w₄ relativ größer ist (z. B. w₃ = 0, w₄ = 1 usw.). Ferner werden, wenn die anormalen Bereiche nicht kontinuierlich auftreten oder intermittierend auftreten, die Gewichtungsfaktoren w₃ und w₄ derart bestimmt, dass sie den gleichen Wert haben (z. B. w₃ = 0,5, w₄ = 0,5 usw.).
(Fünfte Ausführungsform)
Als Nächstes wird eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben.
21 ist ein Blockdiagramm, das eine Konfiguration einer Recheneinheit eines Bildverarbeitungsgeräts gemäß der fünften Ausführungsform der vorliegenden Erfindung zeigt. Das Bildverarbeitungsgerät umfasst gemäß der fünften Ausführungsform eine in 21 gezeigte Recheneinheit 500 anstatt der in 1 gezeigten Recheneinheit 100. Konfigurationen und Betrieb der anderen Einheiten als der Recheneinheit 500 sind ähnlich wie in der ersten Ausführungsform.
Die Recheneinheit 500 umfasst die Erfassungseinheit 110, die Positionsinformationsbezugseinheit 210, die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120, die Einheit zum Berechnen von lokaler Ähnlichkeit 410, die Anomalieklassifizierungseinheit 340, die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 und die Einheit zum Extrahieren von repräsentativen Bildern 140. Von diesen ist der Betrieb der Erfassungseinheit 110 der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 und der Einheit zum Extrahieren von repräsentativen Bildern 140 ähnlich dem der ersten Ausführungsform (vergleiche 1). Der Betrieb der Positionsinformationsbezugseinheit 210 ist ähnlich dem der zweiten Ausführungsform (vergleiche 7). Der Betrieb der Einheit zum Berechnen von lokaler Ähnlichkeit 410 ist ähnlich dem der vierten Ausführungsform oder Modifizierung 4-1 (vergleiche 18). Der Betrieb der Anomalieklassifizierungseinheit 340 ist ähnlich dem von Modifizierung 3-2 (vergleiche 17).
Die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 extrahiert Gruppen anormaler Bilder, die jeweils identische anormale Bereiche enthalten, auf Grundlage der von der Positionsinformationsbezugseinheit 210 erlangten Positionsinformation, der von der Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 berechneten allgemeinen Ähnlichkeit, der von der Einheit zum Berechnen von lokaler Ähnlichkeit 410 berechneten lokalen Ähnlichkeit und eines Ergebnisses der Klassifizierung durch die Anomalieklassifizierungseinheit 430.
Als Nächstes wird der Betrieb des Bildverarbeitungsgeräts gemäß der fünften Ausführungsform beschrieben. 22 ist ein Ablaufdiagramm, das den Betrieb des Bildverarbeitungsgeräts gemäß der fünften Ausführungsform zeigt. Es ist anzumerken, dass die in 14 gezeigten Schritte S10 und S11 ähnlich denen der ersten Ausführungsform sind (vergleiche 2).
In Schritt S51, folgend auf Schritt S11, bezieht die Positionsinformationsbezugseinheit 210 als die Zeit-Serien-Positionsinformationen der in Schritt S11 extrahierten anormalen Bilder, die Abbildungszeit oder die Anordnungsreihenfolge i der anormalen Bilder I_i.
Im folgenden Schritt S52 berechnet die Einheit zum Berechnen von allgemeiner Ähnlichkeit 120 die allgemeine Ähnlichkeit s_global zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder. Ein Verfahren zum Berechnen der allgemeinen Ähnlichkeit s_global ist ähnlich dem in der ersten Ausführungsform beschriebenen (vergleiche 4 und 5). Alternativ kann die allgemeine Ähnlichkeit s_global auf eine ähnliche Weise wie Modifizierungen 1-1 bis 1-3 berechnet werden.
Im folgenden Schritt S53 berechnet die Einheit zum Berechnen von lokaler Ähnlichkeit 410 die lokale Ähnlichkeit s_local zwischen benachbarten anormalen Bildern in einer Sequenz anormaler Bilder. Ein Verfahren zum Berechnen von lokaler Ähnlichkeit s_local ist ähnlich dem in der vierten Ausführungsform oder Modifizierung 4-1 beschriebenen (vergleiche Schritt S41 in 19).
Im folgenden Schritt S54 klassifiziert die Anomalieklassifizierungseinheit 340 jeden der in Schritt 11 erfassten anormalen Bereiche. Ein Verfahren zum Klassifizieren der anormalen Bereiche ist ähnlich dem in Modifizierung 3-2 beschriebenen. Folglich werden die anormalen Bereiche in kontinuierlich auftretende anormale Bereiche, intermittierend auftretende anormale Bereiche und andere anormale Bereiche klassifiziert.
Im folgenden Schritt S55 extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 anormale Gruppe anormaler Bilder, die identische andere anormale Bereiche enthalten, gemäß der in Schritt S51 erlangten Positionsinformationen, der in Schritt S52 berechneten allgemeinen Ähnlichkeit s_global, der in Schritt S53 berechneten lokalen Ähnlichkeit s_local, auf Grundlage eines Ergebnisses der Klassifizierung in Schritt S54.
23 ist ein Ablaufdiagramm, das einen von der in Schritt S55 gezeigten Einheit zum Extrahieren von repräsentativen Bildern 510 ausgeführten Prozess zum Extrahieren von repräsentativen Bildern zeigt. Die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 führt die Verarbeitung einer Schleife E für jedes in Schritt S11 extrahierte anormale Bild aus.
Zuerst berechnet in Schritt S501 die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 eine Differenz ΔT (= T(I_k') – T(I_k)) zwischen der Abbildungszeit T(I_k) und T(I_k'), d. h., eine vergangene Zeit, zwischen einem zu verarbeitenden anormalen Bild I_k (k ist eine natürliche Zahl) und einem benachbarten anormal Bild I_k' (k' ist eine natürliche Zahl, wobei k < k') in einer Sequenz anormaler Bilder.
Im folgenden Schritt S502 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, ob der anormale Bereich in dem anormalen Bild I_k als kontinuierlich klassifiziert wird (vergleiche Schritt S54).
Wenn der anormale Bereich als kontinuierlich klassifiziert wird (Schritt S502: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, ob die Differenz ΔT zwischen der Abbildungszeit nicht über einem vorbestimmten Schwellenwert th5 liegt (Schritt S503).
Wenn die Differenz ΔT zwischen der Abbildungszeit nicht über dem Schwellenwert th5 liegt (Schritt S503: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 dann, ob die allgemeine Ähnlichkeit Y zwischen den anormalen Bildern I_k und I_k' nicht unter einem vorbestimmten Schwellenwert th6 liegt
(Schritt S504).
Wenn die allgemeine Ähnlichkeit s_global nicht unter dem Schwellenwert th6 liegt (Schritt S504: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S505).
Im Gegensatz dazu bestimmt, wenn die Differenz ΔT zwischen der Abbildungszeit über dem Schwellenwert th5 in Schritt S503 liegt (Schritt S503: Nein), oder wenn die allgemeine Ähnlichkeit s_global unter dem Schwellenwert th6 in Schritt S504 liegt (Schritt S504: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S506).
In Schritt S502 bestimmt, wenn der anormale Bereich nicht als kontinuierlich klassifiziert wird (Schritt S502: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 dann, ob der anormale Bereich als intermittierend klassifiziert wird (Schritt S507).
Wenn der anormale Bereich als intermittierend klassifiziert wird (Schritt S507: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, ob die Differenz ΔT zwischen der Abbildungszeit nicht über einem vorbestimmten Schwellenwert th7 liegt (Schritt S508). Hier können, wenn der anormale Bereich als ein intermittierend auftretender anormaler Bereich klassifiziert wird, identische anormale Bereiche intermittierend in einer Serie von Zeit-Serien-Bildern gezeigt werden. Deshalb wird der Schwellenwert th7 als länger als der in Schritt S503 verwendete Schwellenwert th5 eingestellt.
Wenn die Differenz ΔT zwischen der Abbildungszeit nicht über dem Schwellenwert th7 liegt (Schritt S508: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 dann, ob die allgemeine Ähnlichkeit s_local zwischen den anormalen Bildern I_k nicht unter einem vorbestimmten Schwellenwert I_k' liegt (Schritt S509).
Wenn die lokale Ähnlichkeit ΔT nicht unter dem Schwellenwert th7 liegt (Schritt S509: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S505).
Im Gegensatz dazu bestimmt, wenn die Differenz ΔT zwischen der Abbildungszeit über dem Schwellenwert th7 in Schritt S508 liegt (Schritt S508: Nein) oder wenn die lokale Ähnlichkeit s_local unter dem Schwellenwert th8 in Schritt S509 liegt (Schritt S509: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild Ik extrahiert wird, identische anormale Bereiche enthalten (Schritt S506).
Wenn der anormale Bereich in Schritt S507 nicht als intermittierend klassifiziert wird (Schritt S507: Nein), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, ob die Differenz ΔT zwischen der Abbildungszeit nicht über einem vorbestimmten Schwellenwert th9 liegt (Schritt S510). Hier wird, wenn der anormale Bereich kein kontinuierlich auftretender anormaler Bereich oder intermittierend auftretender anormaler Bereich ist, der Schwellenwert th9 als ein Wert zwischen dem in Schritt S503 verwendeten Schwellenwert th5 und dem in Schritt S507 verwendeten Schwellenwert th7 eingestellt.
Wenn die Differenz ΔT zwischen der Abbildungszeit nicht über dem Schwellenwert th9 liegt (Schritt S510: Ja), dann bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, ob die allgemeine Ähnlichkeit s_global zwischen den anormalen Bildern I_k und I_k' nicht unter einem vorbestimmten Schwellenwert th6 liegt und die lokale Ähnlichkeit s_local dazwischen nicht unter einem vorbestimmten Schwellenwert th8 liegt (Schritt S511).
Wenn die allgemeine Ähnlichkeit s_global nicht unter dem Schwellenwert th6 liegt und die lokale Ähnlichkeit s_local nicht unter dem Schwellenwert th8 liegt (Schritt S511: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S505).
Im Gegensatz dazu bestimmt, wenn die Differenz Y zwischen der Abbildungszeit über dem Schwellenwert Y in Schritt S510 liegt (Schritt S510: Nein) oder wenn die lokale Ähnlichkeit s_local unter dem Schwellenwert Y in Schritt S511 liegt (Schritt S511: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_k und das anormale Bild I_k', das nach dem anormalen Bild I_k extrahiert wird, identische anormale Bereiche enthalten (Schritt S506).
Nach Abschluss der Verarbeitung der Schleife E für alle anormalen Bilder extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 anormale Bilder, von denen bestimmt wird, dass sie identische anormale Bereiche zeigen, als die identischen anormalen Bereiche in Schritt S512. Dann kehrt der Betrieb des Bildverarbeitungsgeräts einem Hauptablaufprogramm zurück.
Schritte S14 und S15, in Anschluss an Schritt S55, sind denen der ersten Ausführungsform ähnlich (vergleiche 2).
Wie vorstehend beschrieben, wird gemäß der fünften Ausführungsform der vorliegenden Erfindung der zur Bestimmung der Differenz ΔT zwischen der Abbildungszeit verwendete Schwellenwert geändert und die zur Bestimmung einer Ähnlichkeit zwischen den anormalen Bildern verwendeten Ähnlichkeiten (allgemeine Ähnlichkeit s_global und lokale Ähnlichkeit s_local) werden entsprechend den Typen des Untersuchungsgegenstandes in dem anormalen Bereich gewechselt und somit kann die Genauigkeit der Extrahierung einer Gruppe anormaler Bilder, die identische anormale Bereich enthält, erhöht werden.
Es ist zu beachten, dass in der fünften Ausführungsform die Bestimmungskriterien, die zum Bestimmen des anormalen Bereichs durch die Kontinuitäts-Anomaliebestimmungseinheit 311 bzw. die Intermittenz-Anomaliebestimmungseinheit 331 verwendet werden, so angepasst werden können, dass alle anormalen Bereiche in jegliche der kontinuierlich auftretenden anormalen Bereiche und der intermittierend auftretenden anormalen Bereiche klassifiziert werden können. In dieser Konfiguration sind die vorstehend beschriebenen Schritte S510 und S511 weggelassen.
(Modifizierung 5-1)
Als Nächstes wird Modifizierung 5-1 der fünften Ausführungsform der vorliegenden Erfindung beschrieben.
In der in 21 gezeigten Recheneinheit 500 kann, anstatt der Anomalieklassifizierungseinheit 340, die Anomalieklassifizierungseinheit 310, die nur die in 13 gezeigte Kontinuitäts-Anomaliebestimmungseinheit 311 umfasst, vorgesehen sein, um die zu verarbeitenden anormalen Bereiche in zwei anormale Bereiche zu klassifizieren, d. h. die kontinuierlich auftretenden anormalen Bereiche und die anderen anormalen Bereiche (siehe dritte Ausführungsform). In dieser Konfiguration werden in dem in 23 gezeigten Schritt S502, wenn die anormalen zu verarbeitenden Bereiche nicht kontinuierlich auftreten (Schritt S502: Nein), die zu verarbeitenden anormalen Bereiche als die intermittierend auftretenden anormalen Bereiche betrachtet und fährt der Prozess direkt mit Schritt S508 fort. Außerdem sind in dieser Konfiguration Schritte S510 und S511 weggelassen
(Modifizierung 5-2)
Als Nächstes wird Modifizierung 5-2 der fünften Ausführungsform der vorliegenden Erfindung beschrieben.
In der in 21 gezeigten Recheneinheit 500 kann, anstatt der Anomalieklassifizierungseinheit 340, die Anomalieklassifizierungseinheit 330, die nur die in 13 gezeigte Intermittenz-Anomaliebestimmungseinheit 331 umfasst, vorgesehen sein, um die zu verarbeitenden anormalen Bereiche in zwei anormale Bereiche zu klassifizieren, d. h. die intermittierend auftretenden anormalen Bereiche und die anderen anormalen Bereiche (siehe Modifizierung 3-1). In dieser Konfiguration fährt der Prozess nach dem in 23 gezeigten Schritt S501 direkt mit Schritt S507 fort. Dann werden in Schritt S507, wenn die anormalen zu verarbeitenden Bereiche nicht intermittierend auftreten (Schritt S507: Nein), die zu verarbeitenden anormalen Bereiche als die kontinuierlich auftretenden anormalen Bereiche betrachtet und fährt der Prozess mit Schritt S503 fort. Außerdem sind in dieser Konfiguration Schritte S510 und S511 weggelassen.
(Modifizierung 5-3)
Als Nächstes wird Modifizierung 5-3 der fünften Ausführungsform der vorliegenden Erfindung beschrieben.
In dem in 22 gezeigten Schritt S55 kann die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 eine Gruppe anormaler Bilder, die identische anormale Bereiche enthält, auf Grundlage des Gesamtbestimmungsparameters unter Verwendung der Positionsinformation, der allgemeinen Ähnlichkeit und der lokalen Ähnlichkeit extrahieren.
24 ist ein Ablaufdiagramm, das einen von der Einheit zum Extrahieren von Gruppen anormaler Bilder 510 ausgeführten Prozess zum Extrahieren von repräsentativen Bildern gemäß der Modifizierung 5-3 der vorliegenden Erfindung zeigt. Die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 führt die Verarbeitung einer Schleife F für jedes in Schritt S11 extrahierte anormale Bild aus.
Zuerst berechnet in Schritt S521 die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 einen Parameter s_pos (s_pos = (N – n)/N), der einen Grad der Positionsnähe zwischen einem zu verarbeitenden anormalen Bild I_i (j ist eine natürliche Zahl) und einem anormalen Bild I_j+n (n ist eine natürliche Zahl), das dem anormalen Bild I_j benachbart ist, in einer Sequenz anormaler Bilder. Es ist anzumerken, dass in Schritt S51, wenn die Abbildungszeit der anormalen Bilder I_i als die Positionsinformation erlangt wird, ein Parameter, der einen Grad der Positionsnähe darstellt, auf Grundlage einer Differenz zwischen der Abbildungszeit berechnet werden kann.
Im folgenden Schritt S522 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 Gewichtungsfaktoren w₅, w₆ und w₇ (w₅ + w₆ + w₇ = 1), die der allgemeinen Ähnlichkeit s_global, der lokalen Ähnlichkeit s_local und dem Parameter s_pos, der den Grad der Positionsnähe darstellt, zugeordnet werden, auf Grundlage eines Ergebnisses der Klassifizierung der anormalen Bereiche in den zu verarbeitenden anormalen Bildern (vergleiche Schritt S54).
Die Gewichtungsfaktoren w₅, w₆ und w₇ werden so eingestellt, dass, wenn das anormale Bild I_j einen kontinuierlich auftretenden anormalen Bereich hat, der Gewichtsfaktor w₇ relativ größer ist und der Gewichtungsfaktor w₅ relativ größer ist von den Gewichtungsfaktoren w₅ und w₆. Im Gegensatz dazu ist, wenn der anormale Bereich intermittierend auftritt, der Gewichtungsfaktor w₇ relativ kleiner und der Gewichtungsfaktor w₆ relativ größer ist von den Gewichtungsfaktoren w₅ und w₆.
Im folgenden Schritt S523 verwendet die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 die in Schritt S522 bestimmten Gewichtungsfaktoren w₅, w₆ und w₇ zum Berechnen eines Gesamtbestimmungsparameter s_total3, zu dem die allgemeine Ähnlichkeit s_global, die lokale Ähnlichkeit s_local und der Parameter s_pos, der den Grad von Positionsmenge darstellt, hinzugefügt werden. Der Gesamtbestimmungsparameter Y ist durch die folgende Formel (6) gegeben. stotal3 = w5·sglobal + w6·slocal + w7·spos (6)
Im folgenden Schritt S524 bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, ob der Gesamtbestimmungsparameter s_total3 nicht unter einem vorbestimmten Schwellenwert th10 liegt. Wenn der Gesamtbestimmungsparameter s_total3 nicht unter dem Schwellenwert th10 liegt (Schritt S524: Ja), bestimmt die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_j und das nach dem anormalen Bild I_j+n extrahierte anormale Bild I_j die identischen anormalen Bereiche enthalten (Schritt S525). Im Gegensatz dazu bestimmt, wenn der Gesamtbestimmungsparameter s_total3 unter dem Schwellenwert th10 liegt (Schritt S524: Nein), die Einheit zum Extrahieren von Gruppen anormaler Bilder 510, dass das zu verarbeitende anormale Bild I_j und das nach dem anormalen Bild I_j+n extrahierte anormale Bild I_n keine identischen anormalen Bereiche enthalten (Schritt S526).
Nach Abschluss der Verarbeitung der Schleife F für alle anormalen Bilder extrahiert die Einheit zum Extrahieren von Gruppen anormaler Bilder 510 anormale Bilder, von denen bestimmt wird, dass sie identische anormale Bereiche zeigen, als die identischen anormalen Bereiche in Schritt S527. Dann kehrt der Betrieb des Bildverarbeitungsgeräts zu einem Hauptablaufprogramm zurück.
In der vorstehend beschriebenen ersten bis fünften Ausführungsform und deren Modifizierungen kann bestimmt werden, dass unterschiedliche anormale Bilder mit einer allgemeinen Ähnlichkeit oder einem auf Grundlage der allgemeinen Ähnlichkeit berechneten Parameter nicht unter einem vorbestimmten Schwellenwert als identische anormale Bereiche enthaltend bestimmt werden, aber, in Abhängigkeit von einem Verfahren zum Berechnen der allgemeinen Ähnlichkeit oder des Bestimmungsparameters, können die anormalen Bilder mit einer allgemeinen Ähnlichkeit oder einem Bestimmungsparameter nicht über dem vorbestimmten Schwellenwert als identische anormale Bereiche enthaltend bestimmt werden.
Das Bildverarbeitungsgerät gemäß der vorstehend beschriebenen ersten bis fünften Ausführungsform und deren Modifizierungen kann durch Ausführung von in einem Aufzeichnungsmedium aufgezeichneten Bildverarbeitungsprogrammen auf einem Computersystem, wie beispielsweise PC oder Arbeitsstation, erreicht werden. Ferner kann ein solches Computersystem durch Verbindung mit einem anderen Computersystem oder einer Vorrichtung wie beispielsweise einem Server durch ein lokales Netzwerk (LAN), ein Weitverkehrsnetz (WAN) oder ein öffentliches Netzwerk wie beispielsweise das Internet verwendet werden. In dieser Konfiguration kann das Bildverarbeitungsgerät gemäß der ersten bis fünften Ausführungsform und deren Modifizierungen Bilddaten der intraluminalen Bilder durch diese Netzwerke beziehen, ein Ergebnis von Bildverarbeitung an verschiedene durch diese Netzwerke verbundene Ausgabevorrichtungen (Viewer, Drucker und dergleichen) ausgeben oder ein Ergebnis von Bildverarbeitung in einer durch diese Netzwerke verbundenen Speichervorrichtung (Aufzeichnungsmedium, Lesevorrichtung und dergleichen) speichern.
Es ist anzumerken, dass die vorliegende Erfindung nicht auf das Bildverarbeitungsgerät gemäß der ersten bis fünften Ausführungsform und deren Modifizierungen beschränkt ist und die Erfindung auf verschiedene Weise durch geeignete Kombination der in den Ausführungsformen oder Modifizierungen offenbarten Elemente ausgeführt werden kann. Beispielsweise kann die vorliegende Erfindung ohne verschiedene Elemente von sämtlichen in den Ausführungsformen oder Modifizierungen beschriebenen Elementen oder durch geeignetes Kombinieren der in verschiedenen Ausführungsformen oder Modifizierungen beschriebenen Elemente ausgeführt werden.
Bezugszeichenliste

1: BILDVERARBEITUNGSGERÄT
10: STEUEREINHEIT
20: BILDAUFNAHMEEINHEIT
30: EINGABEEINHEIT
40: ANZEIGEEINHEIT
50: AUFZEICHNUNGSEINHEIT
51: BILDVERARBEITUNGSPROGRAMM
100, 200, 300,400, 500: RECHENEINHEIT
110: ERFASSUNGSEINHEIT
120: EINHEIT ZUM BERECHNEN ALLGEMEINER ÄHNLICHKEIT
130, 220, 320, 420, 510: EINHEIT ZUM EXTRAHIEREN VON GRUPPEN ANORMALER BILDER
140, 141: EINHEIT ZUM EXTRAHIEREN VON REPRÄSENTATIVEN BILDERN
210: POSTIONSINFORMATIONSBEZUGSEINHEIT
310, 330, 340: ANOMALIEKLASSIFIZIERUNGSEINHEIT
311: KONTINUITÄTS-ANOMALIEBESTIMMUNGSEINHEIT
331: INTERMITTENZ-ANOMALIEBESTIMMUNGSEINHEIT
410: EINHEIT ZUM BERECHNEN VON LOKALER ÄHNLICHKEIT

Claims

Bildverarbeitungsgerät, umfassend: eine Erfassungseinheit, die dazu ausgebildet ist, interessierende Bilder, die interessierende Bereiche enthalten, die als ein zu erfassendes Objekt eingeschätzt werden, aus einer Gruppe einer Serie von Bildern zu erfassen, die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers erlangt werden; eine Einheit zum Berechnen von allgemeiner Ähnlichkeit, die dazu ausgebildet ist, eine allgemeine Ähnlichkeit zu berechnen, die eine Ähnlichkeit zwischen Bereichen darstellt, die mindestens andere Bereiche als die interessierenden Bereiche enthalten, zwischen den interessierenden Bildern, die sich voneinander entscheiden; eine Einheit zum Extrahieren einer Gruppe von interessierenden Bildern, die dazu ausgebildet ist, eine Gruppe von interessierenden Bildern, die identische interessierende Bereiche enthalten, gemäß dem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem Bestimmungsparameter auf Grundlage der allgemeinen Ähnlichkeit zu extrahieren; und eine Einheit zum Extrahieren von repräsentativen Bildern, die dazu ausgebildet ist, ein repräsentatives Bild aus der Gruppe von interessierenden Bildern zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 1, bei dem die Einheit zum Berechnen von allgemeiner Ähnlichkeit dazu ausgebildet ist, Hintergrundbereiche aus den interessierenden Bildern zu extrahieren und die Ähnlichkeit zwischen den Hintergrundbereichen zwischen den interessierenden Bildern, die sich voneinander entscheiden, zu bestimmen.
Bildverarbeitungsgerät nach Anspruch 2, bei dem die Einheit zum Berechnen von allgemeiner Ähnlichkeit dazu ausgebildet ist, als die Hintergrundbereiche Bereiche außer den interessierenden Bereichen aus den interessierenden Bildern zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 2, bei dem die Einheit zum Berechnen von allgemeiner Ähnlichkeit dazu ausgebildet ist, als die Hintergrundbereiche Bereiche, die eine Schleimhaut zeigen, aus den interessierenden Bildern zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 1, ferner umfassend eine Einheit zum Berechnen von lokaler Ähnlichkeit, die dazu ausgebildet ist, eine lokale Ähnlichkeit, die eine Ähnlichkeit zwischen den interessierenden Bereichen ist, zwischen den interessierenden Bildern, die sich voneinander unterscheiden, zu berechnen, wobei die Einheit zum Extrahieren einer Gruppe von interessierenden Bildern dazu ausgebildet ist, die Gruppe von interessierenden Bildern, die die identischen interessierenden Bereiche enthält, auf Grundlage der allgemeinen Ähnlichkeit und der lokalen Ähnlichkeit zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 5, bei dem die Einheit zum Berechnen von lokaler Ähnlichkeit dazu ausgebildet ist, die interessierenden Bereiche miteinander zu vergleichen und die lokale Ähnlichkeit auf Grundlage eines Ergebnisses des Vergleichs der interessierenden Bereiche miteinander zu berechnen.
Bildverarbeitungsgerät nach Anspruch 5, ferner umfassend eine Einheit zur Klassifizierung von interessierenden Bereichen, die dazu ausgebildet ist, die interessierenden Bereiche gemäß den Typen eines Untersuchungsgegenstandes in den interessierenden Bereichen zu klassifizieren, wobei der Bestimmungsparameter durch Gewichtung und Hinzufügung der allgemeinen Ähnlichkeit und der lokalen Ähnlichkeit gegeben ist und die Einheit zum Extrahieren einer Gruppe von interessierenden Bildern dazu ausgebildet ist, die der allgemeinen Ähnlichkeit und der lokalen Ähnlichkeit zugeordneten Gewichtungsfaktoren gemäß einem Ergebnis der Klassifizierung durch die Einheit zur Klassifizierung von interessierenden Bereichen zu ändern, um dadurch die Gruppe von interessierenden Bildern zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 7, bei dem die Einheit zum Extrahieren einer Gruppe von interessierenden Bildern dazu ausgebildet ist, die interessierenden Bilder mit dem Bestimmungsparameter, der nicht unter einem Schwellenwert liegt, als die Gruppe von interessierenden Bildern zu extrahieren, die die identischen interessierenden Bereiche enthält.
Bildverarbeitungsgerät nach Anspruch 7 oder 8, bei dem die Einheit zum Klassifizieren interessierender Bereiche eine Intermittenzbestimmungseinheit umfasst, die dazu ausgebildet ist, zu bestimmen, ob die interessierenden Bereiche in der Gruppe einer Serie von Bildern intermittierend auftreten, und wenn die interessierenden Bereiche intermittierend auftreten, die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, einen Gewichtungsfaktor für die lokale Ähnlichkeit größer als einen Gewichtungsfaktor für die allgemeine Ähnlichkeit einzustellen.
Bildverarbeitungsgerät nach Anspruch 7 oder 8, bei dem die Einheit zum Klassifizieren interessierender Bereiche eine Kontinuitätsbestimmungseinheit umfasst, die dazu ausgebildet ist, zu bestimmen, ob die interessierenden Bereiche in der Gruppe einer Serie von Bildern kontinuierlich auftreten, und wenn die interessierenden Bereiche kontinuierlich auftreten, die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, einen Gewichtungsfaktor für die allgemeine Ähnlichkeit größer als einen Gewichtungsfaktor für die lokale Ähnlichkeit einzustellen.
Bildverarbeitungsgerät nach Anspruch 1, ferner umfassend eine Positionsinformationsbezugseinheit, die dazu ausgebildet ist, Zeit-Serien-Positionsinformation zu beziehen, die der Aufnahmereihenfolge der interessierenden Bilder in der Gruppe einer Serie von Bildern entspricht, wobei die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, die Gruppe von interessierenden Bildern, die die identischen interessierenden Bereiche enthält, auf Grundlage der lokalen Ähnlichkeit und der allgemeinen Ähnlichkeit zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 11, ferner umfassend eine Einheit zum Klassifizieren interessierender Bereiche, die dazu ausgebildet ist, die interessierenden Bereiche zu klassifizieren, wobei der Bestimmungsparameter durch Gewichtung und Hinzufügung der allgemeinen Ähnlichkeit und eines Parameters, der einen Grad der Nähe zwischen den interessierenden Bildern, die sich voneinander unterscheiden, auf Grundlage der Positionsinformation, gegeben ist, wobei die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, die der allgemeinen Ähnlichkeit und einem Parameter, der einen Grad der Nähe darstellt, zugeordneten Gewichtungsfaktoren gemäß einem Ergebnis der Klassifizierung durch die Einheit zur Klassifizierung von interessierenden Bereichen zu ändern, um dadurch die Gruppe von zu extrahierenden Bildern zu extrahieren.
Bildverarbeitungsgerät nach Anspruch 12, bei dem der Parameter, der den Grad der Nähe darstellt, einen größeren Wert hat als die interessierenden Bilder, die sich voneinander unterscheiden, die näher aneinander vorgesehen sind, und die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, die interessierenden Bilder mit dem Bestimmungsparameter, der nicht unter dem Schwellenwert liegt, als die Gruppe interessierender Bilder zu extrahieren, die die identischen interessierenden Bereiche enthält.
Bildverarbeitungsgerät nach Anspruch 12, bei dem die Einheit zum Klassifizieren interessierender Bereiche eine Intermittenzbestimmungseinheit umfasst, die dazu ausgebildet ist, zu bestimmen, ob die interessierenden Bereiche in der Gruppe einer Serie von Bildern intermittierend auftreten, und wenn die interessierenden Bereiche intermittierend auftreten, die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, einen Gewichtungsfaktor für die allgemeine Ähnlichkeit größer als einen Gewichtungsfaktor für den Parameter, der den Grad der Nähe darstellt, einzustellen.
Bildverarbeitungsgerät nach Anspruch 12 oder 13, bei dem die Einheit zum Klassifizieren interessierender Bereiche eine Kontinuitätsbestimmungseinheit umfasst, die dazu ausgebildet ist, zu bestimmen, ob die interessierenden Bereiche in der Gruppe einer Serie von Bildern kontinuierlich auftreten, und wenn die interessierenden Bereiche kontinuierlich auftrete, die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, einen Gewichtungsfaktor für den Parameter, der den Grad der Nähe darstellt, größer als einen Gewichtungsfaktor für die allgemeine Ähnlichkeit einzustellen.
Bildverarbeitungsgerät nach Anspruch 9 oder 14, bei dem wenn ein Untersuchungsgegenstand in den interessierenden Bereichen eines von Rötung, Blutungspunkt oder Geschwür ist, die Intermittenzeinheit dazu ausgebildet ist, zu bestimmen, dass die interessierenden Bereiche intermittierend auftreten.
Bildverarbeitungsgerät nach Anspruch 10 oder 15, bei dem wenn ein Untersuchungsgegenstand in den interessierenden Bereichen eines von fließendem Blut oder vaskulärer Anomalie ist, die Kontinuitätsbestimmungseinheit dazu ausgebildet ist, zu bestimmen, dass die interessierenden Bereiche kontinuierlich auftreten.
Bildverarbeitungsgerät nach Anspruch 1, bei dem die Einheit zum Extrahieren von Gruppen interessierender Bilder dazu ausgebildet ist, interessierende Bilder mit einer allgemeinen Ähnlichkeit, die nicht unter dem Schwellenwert liegt, als die die Gruppe von interessierenden Bildern zu extrahieren, die die identischen interessierenden Bereiche enthält.
Bildverarbeitungsverfahren, das bewirkt, dass eine Recheneinheit eines Computers Bildverarbeitung auf Grundlage von Bilddaten einer Gruppe einer Serie von Bildern ausführt, die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers erlangt werden und in einer Aufzeichnungseinheit aufgezeichnet werden, wobei das Verfahren umfasst: einen Erfassungsschritt zum Erfassen von interessierenden Bildern, die interessierende Bereiche enthalten, aus der Gruppe einer Serie von Bildern; einen Schritt des Berechnens von allgemeiner Ähnlichkeit zum Berechnen einer allgemeinen Ähnlichkeit, die eine Ähnlichkeit zwischen Bereichen darstellt, die mindestens andere Bereiche als die interessierenden Bereiche enthalten, zwischen den interessierenden Bildern, die sich voneinander entscheiden; einen Schritt des Extrahierens einer Gruppe von interessierenden Bildern zum Extrahieren einer Gruppe von interessierenden Bildern, die identische interessierende Bereiche enthalten, gemäß dem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem Bestimmungsparameter auf Grundlage der allgemeinen Ähnlichkeit; und einen Schritt des Extrahierens von repräsentativen Bildern zum Extrahieren eines repräsentativen Bildes aus der Gruppe von interessierenden Bildern.
Bildverarbeitungsprogramm, das bewirkt, dass ein Computer Folgendes ausführt: einen Erfassungsschritt des Erfassens von interessierenden Bildern, die interessierende Bereiche enthalten, aus der Gruppe einer Serie von Bildern die durch sequenzielle Abbildung eines Lumens eines lebendigen Körpers erlangt werden; einen Schritt des Berechnens von allgemeiner Ähnlichkeit zum Berechnen einer allgemeinen Ähnlichkeit, die eine Ähnlichkeit zwischen Bereichen darstellt, die mindestens andere Bereiche als die interessierenden Bereiche enthalten, zwischen den interessierenden Bildern, die sich voneinander entscheiden; einen Schritt des Extrahierens einer Gruppe von interessierenden Bildern zum Extrahieren einer Gruppe von interessierenden Bildern, die identische interessierende Bereiche enthält, gemäß einem Vergleich zwischen einem Schwellenwert und der allgemeinen Ähnlichkeit oder einem Bestimmungsparameter auf Grundlage der allgemeinen Ähnlichkeit; und einen Schritt des Extrahierens von repräsentativen Bildern zum Extrahieren eines repräsentativen Bildes aus der Gruppe von interessierenden Bildern.