DE112015006522T5

DE112015006522T5 - Endoskopvorrichtung und Fokussteuerungsverfahren

Info

Publication number: DE112015006522T5
Application number: DE112015006522.9T
Authority: DE
Inventors: Naoya KURIYAMA
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-06-11
Filing date: 2015-06-11
Publication date: 2018-02-15
Also published as: JPWO2016199264A1; US10799085B2; WO2016199264A1; JP6530067B2; CN107708517A; US20180103829A1; CN107708517B

Abstract

Eine Endoskopvorrichtung implementiert einen Bewegungsinformationserfassungsabschnitt 340, der eine Bewegungsinformation erfasst, die eine Bewegung bezüglich eines Bildabschnitts 200 und eines Objekts darstellt, einen Bewegungsinformationsbestimmungsabschnitt 350, der eine Bewegungsinformationszuverlässigkeit bestimmt, die die Zuverlässigkeit der Bewegungsinformation anzeigt, und einen Fokussteuerungsabschnitt 360, der basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit bestimmt, ob ein Fokussteuerungsvorgang durchzuführen ist oder nicht, um zu bewirken, dass der Bildabschnitt das Objekt fokussiert.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Endoskopvorrichtung, ein Fokussteuerungsverfahren und dergleichen.
ALLGEMEINER STAND DER TECHNIK
Für eine Endoskopvorrichtung (Endoskopsystem) ist eine möglichst hohe Tiefenschärfe erforderlich, sodass der Benutzer Diagnose und Behandlung leicht durchführen kann. In den letzten Jahren ist die Tiefenschärfe einer Endoskopvorrichtung einhergehend mit der Verwendung eines Bildsensors mit einer großen Anzahl von Pixeln gering geworden, und es wurde eine Endoskopvorrichtung vorgeschlagen, die einen Autofokus-(AF)-Prozess ausführt.
Beispiele für einen bekannten AF-Steuerprozess umfassen die folgenden Verfahren. Ein erstes Verfahren wird zur Implementierung eines AF-Prozesses verwendet, der für eine Videokamera oder dergleichen verwendet wird, und führt eine Fokussierung mithilfe einer Änderung im Kontrast innerhalb eines Bildes als einem Auslöser durch. Ein zweites Verfahren ist in der Patentliteratur 1 offenbart. Das zweite Verfahren erfasst eine relative Änderung in der Position bezüglich des Objekts und einer Kamera mithilfe eines Bewegungssensors und führt eine Fokussierung durch, wenn die Ausgabe (z. B. Winkelbeschleunigung oder Beschleunigung) von dem Bewegungssensor gleich oder größer als ein vorbestimmter Betrag geworden ist.
ZITATLISTE
PATENTLITERATUR

Patentliteratur 1: JP-A-2010-191080

KURZDARSTELLUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Wenn das oben beschriebene bekannte AF-Steuerungsverfahren auf eine Endoskopvorrichtung angewendet wird, kann es schwierig sein, einen angemessenen Fokussteuerungsvorgang zu implementieren, der während verschiedener Szenen erforderlich ist, die auftreten können, wenn ein endoskopisches Verfahren durchgeführt wird. Wenn beispielsweise das erste Verfahren auf ein endoskopisches Verfahren angewendet wird, kann eine unnötige Fokussierung durchgeführt werden, da eine Änderung im Kontrast aufgrund der Handhabung eines Behandlungsinstruments auftritt. Wenn das zweite Verfahren auf ein endoskopisches Verfahren angewendet wird, kann eine unnötige Fokussierung durchgeführt werden, wenn eine große temporäre Bewegung (z. B. Schütteln) aufgetreten ist.
Bei verschiedenen Aspekten der Erfindung können eine Endoskopvorrichtung und ein Fokussteuerungsverfahren vorgesehen sein, mit denen ein erforderlicher Fokussteuerungsvorgang während verschiedener Szenen durchgeführt werden kann, die auftreten können, wenn ein endoskopisches Verfahren durchgeführt wird.
PROBLEMLÖSUNG
Gemäß einem Aspekt der Erfindung ist eine Endoskopvorrichtung vorgesehen, die umfasst:
einen Bewegungsinformationserfassungsabschnitt, der eine Bewegungsinformation erfasst, die eine Bewegung bezüglich eines Bildabschnitts und eines Objekts darstellt,
einen Bewegungsinformationsbestimmungsabschnitt, der eine Bewegungsinformationszuverlässigkeit bestimmt, die die Zuverlässigkeit der Bewegungsinformation anzeigt,
und einen Fokussteuerungsabschnitt, der basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit bestimmt, ob eine Fokussierung durchzuführen ist oder nicht, um zu bewirken, dass der Bildabschnitt das Objekt fokussiert.
Gemäß einem Aspekt der Erfindung wird basierend auf der Bewegungsinformation über eine relative Bewegung bezüglich des Bildabschnitts und des Objekts und der Zuverlässigkeit der Bewegungsinformation bestimmt, ob zu bewirken ist, dass der Bildabschnitt die Fokussierung durchführt, um das Objekt zu fokussieren, oder nicht. Da die Bestimmung, ob die Fokussierung erforderlich ist oder nicht, basierend auf der Bewegungsinformation und der Zuverlässigkeit der Bewegungsinformation wie oben beschrieben erfolgte, kann ein notwendiger Fokussteuerungsvorgang während verschiedener Szenen, die auftreten können, wenn ein endoskopisches Verfahren durchgeführt wird, mit reduziertem Risiko der Durchführung einer unnötigen Fokussierung durchgeführt werden.
Gemäß einem anderen Aspekt der Erfindung ist ein Fokussteuerungsverfahren vorgesehen, welches umfasst:
Durchführen eines Prozesses, der eine Bewegungsinformation erfasst, die eine Bewegung bezüglich eines Bildabschnitts und eines Objekts darstellt,
Durchführen eines Prozesses, der eine Bewegungsinformationszuverlässigkeit bestimmt, die die Zuverlässigkeit der Bewegungsinformation anzeigt,
und Durchführen eines Prozesses, der basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit bestimmt, ob eine Fokussierung durchzuführen ist oder nicht, um zu bewirken, dass der Bildabschnitt das Objekt fokussiert.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Ansicht, die ein endoskopisches Verfahren darstellt.
2 stellt ein Konfigurationsbeispiel für eine Endoskopvorrichtung (erste Ausführungsform) dar.
3 stellt ein Konfigurationsbeispiel für eine Endoskopvorrichtung (zweite Ausführungsform) dar.
4 stellt ein ausführliches Konfigurationsbeispiel für einen Bewegungsinformationserfassungsabschnitt dar.
5 stellt ein Beispiel für einen lokalen Bewegungsvektor dar.
6 stellt ein ausführliches Konfigurationsbeispiel für einen Bewegungsinformationsbestimmungsabschnitt dar.
7 ist ein Flussdiagramm, das einen von einem Variationsbestimmungsabschnitt durchgeführten Prozess darstellt.
8 ist ein Flussdiagramm, das eine Reihe ähnlicher Vektorzählprozesse darstellt.
9 ist ein Flussdiagramm, das einen von einem Helligkeitsbestimmungsabschnitt durchgeführten Prozess darstellt.
10 ist ein Flussdiagramm, das einen von einem Matching-Grad-Bestimmungsabschnitt durchgeführten Prozess darstellt.
11 stellt ein ausführliches Konfigurationsbeispiel für einen Fokussteuerungsabschnitt dar.
12 stellt ein ausführliches Konfigurationsbeispiel für einen Abschnitt zur Erfassung der globalen Bewegungsinformation dar.
13 ist ein Flussdiagramm, das einen von einem Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags durchgeführten Prozess darstellt.
14 ist ein Flussdiagramm, das einen von einem Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags durchgeführten Prozess darstellt.
15 ein Diagramm, das den Prozess darstellt.
16 ist ein Flussdiagramm, das einen Endpunktkoordinatenbestimmungsprozess darstellt.
17 ist ein Flussdiagramm, das einen Koordinatenreihenfolgebestimmungsprozess darstellt.
18 ist ein Flussdiagramm, das einen von einem Abschnitt zur Bestimmung der globalen Bewegungsinformation durchgeführten Prozess darstellt.
19 ist ein Flussdiagramm, das einen von einem Fokussierungssteuerabschnitt durchgeführten Prozess darstellt.
20 ist ein Flussdiagramm, das einen von einem Fokussierungsdurchführabschnitt durchgeführten Prozess darstellt.
21 stellt ein Konfigurationsbeispiel für eine Endoskopvorrichtung (dritte Ausführungsform) dar.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die Ausführungsbeispiele der Erfindung sind unten beschrieben. Es ist zu beachten, dass die unten beschriebenen Ausführungsbeispiele in keiner Weise den in den Patentansprüchen dargelegten Schutzumfang der Erfindung begrenzen. Es ist außerdem zu beachten, dass nicht alle unten in Zusammenhang mit den Ausführungsbeispielen beschriebenen Elemente als wesentliche Elemente der Erfindung zu interpretieren sind.
Zum Beispiel ist unten ein Beispiel beschrieben, bei dem eine Konfiguration und ein Fokussteuerungsverfahren gemäß der vorliegenden Erfindung auf eine Endoskopvorrichtung und ein Bedienverfahren angewendet werden. Allerdings ist dies nicht in einem begrenzenden Sinn auszulegen, und die Konfiguration und das Fokussteuerungsverfahren gemäß der vorliegenden Erfindung können auf eine Bildgebungsvorrichtung (z. B. eine Videokamera, ein Mikroskop oder eine Kamera für Robot-Vision) und auf eine Konfiguration einer Fokussteuerungsvorrichtung und ein Bedienverfahren für die Bildgebungsvorrichtung angewendet werden.
1. Erste Ausführungsform
Zum Beispiel sind das erste Verfahren, das eine Änderung im Kontrast als einen Auslöser nutzt, und das zweite Verfahren, das eine Situation, in der die Ausgabe aus dem Bewegungssensor gleich oder größer geworden ist als ein vorbestimmter Betrag, als einen Auslöser nutzt (siehe oben), als das AF-Steuerungsverfahren bekannt. Ein Fall, in dem das bekannte Verfahren auf ein endoskopisches Verfahren angewendet wird, wird unten erläutert.
Wie in 1 dargestellt, wird, wenn ein endoskopisches Verfahren mithilfe einer Endoskopvorrichtung 2 durchgeführt wird, eine Behandlung (z. B. Exzision einer Läsion, oder Sutur) an einem Objekt 6 (Gewebe) mithilfe eines Behandlungsinstruments 4 (z. B. elektrochirurgisches Messer oder Zangen) durchgeführt. Wird das erste Verfahren auf das endoskopische Verfahren angewendet, tritt, da das Behandlungsinstrument 4 zusätzlich zu dem Objekt 6 in dem aufgenommenen Bild enthalten ist und eine Bewegung basierend auf der von dem Benutzer durchgeführten Operation ausführt, eine Änderung im Kontrast auf, auch wenn sich der Abbildungsabschnitt oder der Fokuszustand nicht verändert hat. Eine unnötige Fokussierung kann aufgrund einer Änderung im Kontrast, die durch das Behandlungsinstrument 4 bewirkt wurde, durchgeführt werden, und es ist schwierig, einen stabilen AF-Steuerungsprozess zu implementieren, wenn das Behandlungsinstrument 4 bedient wird.
In einem Fall, in dem das zweite Verfahren angewendet wird, wird, wenn eine Bewegung, durch welche die Ausgabe aus dem Bewegungssensor vorübergehend gleich oder größer wird als ein vorbestimmter Wert, aufgrund von Schütteln oder dergleichen aufgetreten ist, die Fokussierung durchgeführt, obwohl sich der Abbildungsabschnitt technisch nicht verändert hat (oder das Objekt innerhalb der Tiefenschärfe liegt). Die Nutzbarkeit der Endoskopvorrichtung kann beeinträchtigt werden, wenn die von einem Benutzer unbeabsichtigte Fokussierung durchgeführt wird. Da die Fokussierung nicht durchgeführt wird, wenn die Ausgabe aus dem Bewegungssensor kleiner ist als ein vorbestimmter Wert, kann die Fokussierung auch dann nicht durchgeführt werden, wenn das Objekt außerhalb des Fokus ist. Wenn beispielsweise eine Bewegung, durch welche die Ausgabe aus dem Bewegungssensor kleiner ist als ein vorbestimmter Wert, kontinuierlich in einer identischen Richtung aufgetreten ist, wird die Fokussierung nicht durchgeführt, obwohl sich der Abbildungsabschnitt in einem größeren Maß bewegt hat (oder das Objekt außerhalb der Feldtiefe liegt).
Wie oben beschrieben, besteht bei den bekannten AF-Steuerungsverfahren ein Problem darin, dass während verschiedener Szenen, die auftreten können, wenn ein endoskopisches Verfahren durchgeführt wird, eine unnötige Fokussierung durchgeführt wird oder eine notwendige Fokussierung nicht durchgeführt wird.
2 stellt ein Konfigurationsbeispiel einer Endoskopvorrichtung gemäß einer ersten Ausführungsform dar, die das obige Problem lösen kann. Die Endoskopvorrichtung umfasst: einen Bildabschnitt 200; einen Bewegungsinformationserfassungsabschnitt 340, der eine Bewegungsinformation erfasst, die eine Bewegung bezüglich eines Bildabschnitts 200 und eines Objekts darstellt, einen Bewegungsinformationsbestimmungsabschnitt 350, der eine Bewegungsinformationszuverlässigkeit bestimmt, die die Zuverlässigkeit der Bewegungsinformation anzeigt, und einen Fokussteuerungsabschnitt 360, der bestimmt, ob zu bewirken ist, dass der Bildabschnitt 200 eine Fokussierung (AF-Vorgang) durchführt oder nicht, um ein Objekt basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit zu fokussieren.
Ein notwendiger Fokussteuerungsvorgang, der während verschiedener Szenen erforderlich ist, die auftreten können, wenn ein endoskopisches Verfahren durchgeführt wird, kann implementiert werden durch Bestimmen basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit wie oben beschrieben, ob die Fokussierung durchzuführen ist oder nicht.
Bei dem Objekt, dessen Bild mithilfe einer Endoskopvorrichtung aufgenommen wird, kann es sich um Gewebe und zum Beispiel ein Behandlungsinstrument handeln. Die Fokussierung ist erforderlich, wenn sich der Abbildungsabschnitt bezüglich des Gewebes verändert (bewegt) hat, oder wenn zum Beispiel das Gewebe oder das Behandlungsinstrument außerhalb der Feldtiefe liegt. Wird die Fokussierung durchgeführt, wenn eine derartige Situation nicht aufgetreten ist, kann ein Rückgang in der Sicht aufgrund einer vorübergehenden Änderung im Fokuszustand auftreten. Zum Beispiel wird das Behandlungsinstrument während eines Verfahrens bedient, ohne dabei den Abbildungsabschnitt zu verändern (bewegen). In diesem Fall wird das Verfahren beeinträchtigt, wenn eine Änderung im Fokuszustand während des Verfahrens aufgetreten ist. Gemäß der ersten, die Zuverlässigkeit der Bewegungsinformation nutzende Ausführungsform wird die Fokussierung nicht durchgeführt, wenn die Fokussierung nicht erforderlich ist (z. B. wenn nur das Behandlungsinstrument eine Bewegung ausführt oder wenn die Bewegungsinformation aufgrund von Rauschen fälschlicherweise erfasst wird).
Zum Beispiel wird in einer später beschriebenen zweiten Ausführungsform die Zuverlässigkeit der Bewegungsinformation basierend auf mindestens einem von Bildhelligkeit, Zuverlässigkeit des lokalen Bewegungsvektor-Matchings und Variation lokaler Bewegungsvektoren in einem Bild bestimmt.
Der Bewegungsvektor kann durch Block-Matching auf einem Bild erfasst werden. Bei solch einer Konfiguration umfassen die Kriterien zum Bestimmen der Zuverlässigkeit der derart erfassten Bewegungsinformation: die Qualität des Bildes selbst; ob im Block-Matching gematchte Bereiche demselben Objekt entsprechen oder nicht (Matching-Grad) und die erfassten Arten einer vom Bewegungsvektor dargestellten Bewegung. Die auf der Helligkeit eines Bildes basierende Erfassung entspricht einem Prozess des Bestimmens eines Bildes mit geringer Qualität, in dem ein Bewegungsvektor zum Beispiel aufgrund von Überbelichtung, Unterbelichtung oder dergleichen nicht korrekt erfasst werden kann. Die Zuverlässigkeit des Block-Matchings wird durch Bestimmen des Matching-Grads zwischen Bereichen bestimmt, die zum Beispiel basierend auf der Ähnlichkeit zwischen den Bereichen bestimmt wurden, um demselben Abschnitt im Block-Matching zu entsprechen. Eine geringe Ähnlichkeit zeigt eine geringe Zuverlässigkeit des Block-Matchings an. Die Variation lokaler Bewegungsvektoren zeigt an, dass das Behandlungsinstrument eine Bewegung ausführt, die sich beispielsweise von der des Gewebes (Hintergrund) unterscheidet. Daher wird so eine zufällige Bewegung, die sich von einer gleichförmigen Bewegung des Gewebes (Hintergrund) unterscheidet, als eine Bewegung mit geringer Zuverlässigkeit bestimmt. Durch die derart bestimmte Zuverlässigkeit kann eine Szene bestimmt werden, die die Fokussierung erfordert, ohne von der Bildqualität, von Rauschen, einer Bedingung, bei der kein Bewegungsvektor erfasst werden kann (zum Beispiel eine schnelle Bewegung in Richtung Außenseite des Matching-Bereichs) oder einem Bewegungsvektor, der sich aufgrund des Behandlungsinstruments, Rauschen oder dergleichen von der gleichförmigen Bewegung des Gewebes unterscheidet, beeinträchtigt zu werden. Daher kann die Fokussierung in einer erforderlichen Situation durchgeführt werden, in der sich der Abbildungsabschnitt bezüglich des Gewebes geändert hat, oder wenn das Gewebe oder das Behandlungsinstrument außerhalb der Feldtiefe liegt.
Der hierin verwendete Begriff „Bewegungsinformation” bezieht sich auf eine Information, die sich entsprechend einer relativen Änderung in der Position (z. B. eine Bewegung, die die optische Achsenrichtung der Kamera nicht ändert) oder einer relativen Änderung in der Richtung (z. B. eine Rotation (Schwenk oder Neigung), die die optische Achsenrichtung der Kamera ändert) bezüglich des Bildabschnitts 200 und des Objekts ändert. Wird zum Beispiel ein Bewegungsvektor aus einem Bild erfasst, ändert sich die Größe oder die Richtung des Bewegungsvektors entsprechend der Bewegung oder der Rotation des Bildabschnitts 200. Wenn ein Bewegungssensor verwendet wird, werden eine Beschleunigung, eine Winkelbeschleunigung, eine Winkelgeschwindigkeit und dergleichen erhalten, die der Bewegung oder der Rotation des Bildabschnitts 200 entsprechen. Die Bewegungsinformation ist ein Betrag, der die Information über die Größe der Bewegung und die Information über die Richtung der Bewegung darstellt, oder eine Information über eins von Größe der Bewegung und Richtung der Bewegung sein kann. Die Bewegungsinformation gemäß der vorliegenden Erfindung umfasst vorzugsweise die Information über die Größe der Bewegung und die Information über die Richtung der Bewegung. Da die Bewegungsinformation die Information über die Größe der Bewegung und die Information über die Richtung der Bewegung umfasst, kann ein Bewegungsbetrag in einer einzelnen Richtung kumuliert werden wie später beschrieben, sodass eine relative Bewegung bezüglich des Bildabschnitts 200 und eines Objekts (Bewegung des Abbildungsabschnitts oder Bewegung, durch welche das Objekt außerhalb der Feldtiefe liegt) erfasst werden kann.
Der Fokussteuerungsabschnitt 360 gemäß der vorliegenden Erfindung erhält eine globale Bewegungsinformation über eine globale relative Bewegung bezüglich des Bildabschnitts 200 und des Objekts basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit, bestimmt eine globale Bewegungsinformationszuverlässigkeit, die die Zuverlässigkeit der globalen Bewegungsinformation anzeigt, basierend auf der Bewegungsinformationszuverlässigkeit, und bestimmt basierend auf mindestens einer von der globalen Bewegungsinformation oder der globalen Bewegungsinformationszuverlässigkeit, ob die Fokussierung durchzuführen ist oder nicht.
Die globale Bewegungsinformation ist eine Information über eine Bewegung in einem Bereich, der breiter ist als eine lokale Bewegung eines Gewebes (z. B. Pulsieren von Blutgefäßen, Verdauungstrakt oder dergleichen) oder eine Bewegung eines Behandlungsinstruments. Konkret ist die globale Bewegungsinformation eine Information über eine relative Bewegung bezüglich des Bildabschnitts und des Gewebes in dem Bild als Ganzes. Wird zum Beispiel durch Durchführen des Block-Matchings auf einem Bild ein lokaler Bewegungsvektor erhalten, ist die globale Bewegung eine Bewegung in einem Bereich, der breiter ist als die Größe eines in dem Block-Matching verwendeten Blocks. Zum Beispiel wird ein Mittelwert aus lokalen Bewegungsvektoren mit hoher Zuverlässigkeit in einem Bild als die globale Bewegungsinformation erhalten.
Wird basierend auf der globalen Bewegungsinformation über eine globale relative Bewegung bezüglich des Bildabschnitts 200 und des Objekts bestimmt, ob die Fokussierung durchzuführen ist oder nicht, kann die Fokussierung in Reaktion auf eine globale Bewegung des Gewebes mit reduziertem Einfluss einer lokalen Bewegung durchgeführt werden.
Mit der erhaltenen Zuverlässigkeit der globalen Bewegungsinformation kann basierend auf der globalen Bewegungsinformation mit hoher Zuverlässigkeit bestimmt werden, ob die Fokussierung durchzuführen ist oder nicht. Zum Beispiel wird die Zuverlässigkeit der globalen Bewegungsinformation basierend auf der Anzahl von lokalen Bewegungsvektoren mit hoher Zuverlässigkeit unter den lokalen Bewegungsvektoren in einem Bild bestimmt. Zum Beispiel kann ein Bild mit einer geringen Anzahl von lokalen Bewegungsvektoren mit hoher Zuverlässigkeit als ein Bild betrachtet werden, das eine große Menge an Rauschen und lokalen Bewegungen umfasst. Somit kann die globale Bewegungsinformation über solch ein Bild nicht als exakte Information über eine globale Bewegung betrachtet werden. Mit einer solchen globalen Bewegungsinformation, bei der eine geringe Zuverlässigkeit wahrscheinlich ausgeschlossen ist, kann basierend auf der globalen Bewegung des Gewebes bestimmt werden, ob die Fokussierung erforderlich ist oder nicht.
Der Fokussteuerungsabschnitt 360 gemäß der ersten Ausführungsform erhält eine kumulative globale Bewegungsinformation als Ergebnis eines Prozesses der Kumulierung der globalen Bewegungsinformation über einer Mehrzahl an Einzelbildern, und bestimmt basierend auf mindestens einer von der kumulativen globalen Bewegungsinformation oder der globalen Bewegungsinformationszuverlässigkeit, ob die Fokussierung durchzuführen ist oder nicht.
Mit der so genutzten kumulativen globalen Bewegungsinformation kann ein notwendiger Fokussteuerungsvorgang während verschiedener Szenen, die auftreten können, wenn ein endoskopisches Verfahren durchgeführt wird, durchgeführt werden. Konkret wird eine kumulative globale Bewegungsinformation mit einem großen Wert erhalten, wenn eine große Bewegung des Abbildungsabschnitts des Gewebes oder eine Bewegung, durch die das Gewebe oder das Behandlungsinstrument außerhalb der Feldtiefe liegen, auftritt, und somit kann basierend auf einer solchen Information bestimmt werden, dass die Fokussierung erforderlich ist.
Zum Beispiel ist eine Änderung in einer Szene als Ergebnis kleiner Bewegungen, die kontinuierlich in einer identischen Richtung auftreten, basierend auf der Bestimmung mithilfe eines direkt für einen Bewegungsbetrag festgelegten Schwellenwerts schwer zu erfassen. Angesichts dessen kumuliert die vorliegende Ausführungsform den Bewegungsbetrag derart, dass die Bewegungen als ein großer Bewegungsbetrag erfasst werden können (sodass die Bewegung des Abbildungsabschnitts oder ein Zustand außerhalb des Fokus erfasst werden können), um die Fokussierung durchzuführen. Darüber hinaus kann die von einem Benutzer unbeabsichtigte Fokussierung verhindert werden, selbst wenn eine vorübergehende große Bewegung auftritt, solange andere kumulierte Bewegungen klein sind und daher in einem kleinen kumulativen Bewegungsbetrag resultieren (der in einer Bestimmung resultiert, dass die Bewegung des Abbildungsabschnitts nicht aufgetreten ist oder der Zustand außerhalb des Fokus nicht aufgetreten ist). Durch den kumulierten Bewegungsbetrag wird erwartet, dass zufällige Bewegungen gemittelt werden. Zum Beispiel wird erwartet, dass das Behandlungsinstrument sich wahrscheinlich eher zufällig als kontinuierlich in eine einzelne Richtung bewegt. Somit wird durch die Bewegung des Behandlungsinstruments ein kleiner kumulativer Bewegungsbetrag erhalten, und es wird durch die Bewegung des Abbildungsabschnitts bezüglich des Gewebes in einer einzelnen Richtung (die relative Bewegung bezüglich des Bildabschnitts und des Gewebes in einer einzelnen Richtung) ein großer kumulativer Bewegungsbetrag erhalten.
Die Mehrzahl von Einzelbildern entspricht der Anzahl von Einzelbildern, über welchen die globale Bewegungsinformation kumuliert wird. Diese Anzahl von kumulierenden Einzelbildern ist nicht auf eine feste Anzahl begrenzt und kann eine variable Anzahl sein. Zum Beispiel kann die globale Bewegungsinformation, die einem bestimmten Referenzeinzelbild entspricht, kumuliert werden. In diesem Fall ist die Anzahl von kumulierenden Einzelbildern 3 in dem dritten Einzelbild vom Referenzeinzelbild, und 10 in dem zehnten Einzelbild vom Referenzeinzelbild. Alternativ kann die Anzahl von kumulierenden Einzelbildern auf eine vorbestimmte Anzahl festgelegt werden, und die globale Bewegungsinformation kann von dem vorbestimmten vorhergehenden Einzelbild bis zum aktuellen Einzelbild kumuliert werden. In diesem Fall wird die Anzahl von kumulierenden Einzelbildern auf die vorbestimmte Anzahl festgelegt, auch wenn das aktuelle Einzelbild geändert wurde.
Der Begriff „Kumulationsprozess” umfasst einen Prozess des fortlaufenden Summierens (Integrierens) der in Zeitreihen erhaltenen globalen Bewegungsinformation. Der Prozess ist nicht auf einfaches Summieren begrenzt. Verschiedene Rechenarten wie gewichtete Addition basierend auf einem bestimmten Koeffizienten können durchgeführt werden, oder es kann eine globale Bewegungsinformation, die auf eine bestimmte Art korrigiert wurde, zusammengefasst werden.
Der Begriff „Fokussteuerungsvorgang” umfasst eine Fokussierung, die den Fokuszustand einstellt, einen Standby-Zustand, in dem der Fokuszustand nicht eingestellt ist, einen Übergangssteuerungsprozess und dergleichen, und bezieht sich auf den gesamten Prozess, der den Fokuszustand des Bildabschnitts steuert. Der Begriff „Fokussierung” bezieht sich auf eine Reihe von Vorgängen, die das Objekt fokussieren. Zum Beispiel kann die Fokussierung mithilfe einer Kontrastmethode (Bergsteiger-Methode) implementiert werden, einer Methode, die die In-Fokus-Richtung mittels Wobbeln oder dergleichen bestimmt.
2. Zweite Ausführungsform
2.1. Endoskopvorrichtung
3 stellt ein Konfigurationsbeispiel für eine Endoskopvorrichtung (Endoskopsystem) gemäß einer zweiten Ausführungsform dar. Die Endoskopvorrichtung umfasst ein starres Endoskop 100, das in einen Körper eingeführt wird, einen Bildabschnitt 200, der mit dem starren Endoskop 100 verbunden ist, einen Verarbeitungsabschnitt 300, einen Anzeigeabschnitt 400, einen externen Schnittstellenabschnitt 500 und einen Lichtquellenabschnitt 600.
Die Endoskopvorrichtung, die das starre Endoskop 100 nutzt, wird für die Chirurgie z. B. laparoskopische Chirurgie verwendet. Noch konkreter wird zum Beispiel eine kleine Öffnung in der Bauchregion eines lebenden Körpers gebildet. Das starre Endoskop 100 wird in die kleine Öffnung eingeführt, und ein Behandlungsinstrument wird in dieselbe kleine Öffnung oder eine andere kleine Öffnung eingeführt. Ein chirurgischer Eingriff wird durchgeführt, indem das Behandlungsinstrument innerhalb des Sichtfelds des starren Endoskops 100 genutzt wird. Beispiele für das Behandlungsinstrument umfassen ein chirurgisches Messer, Zangen, eine Nadel/Naht, ein Waschwasserzufuhr-/absauginstrument und dergleichen. Es ist anzumerken, dass das Fokussteuerungsverfahren gemäß der zweiten Ausführungsform auch auf eine Endoskopvorrichtung angewendet werden kann, die ein flexibles Endoskop nutzt, anstelle einer das starre Endoskop 100 nutzenden Endoskopvorrichtung.
Der Lichtquellenabschnitt 600 umfasst eine Weißlichtquelle 610, die weißes Licht emittiert, und ein Lichtleiterkabel 620, das das von der Weißlichtquelle 610 emittierte Licht zu dem starren Endoskop 100 leitet. Das starre Endoskop 100 umfasst ein Linsensystem 110, das eine Abbildungslinse, eine Relaislinse, ein Okular und dergleichen umfasst, und einen Lichtleiterabschnitt 120, der das von dem Lichtleiterkabel 620 emittierte Licht ans Ende des starren Endoskops 100 leitet. Der Abbildungsabschnitt 200 umfasst ein Objektivlinsensystem 230, das ein Bild aus dem Licht bildet, das das Linsensystem 110 passiert hat (d. h. das von dem Objekt reflektierte Licht). Das Objektivlinsensystem 230 umfasst eine Fokuslinse 210, die die Position der Ebene des fokussierten Objekts einstellt. Der Abbildungsabschnitt 200 umfasst auch einen Bildsensor 240, der das reflektierte Licht, das das Objektivlinsensystem 230 passiert hat, um ein Bild zu erzeugen, fotoelektrisch konvertiert, und einen Fokuslinsenantriebsabschnitt 220, der die Fokuslinse 210 antreibt. Der Fokuslinsenantriebsabschnitt 220 ist beispielsweise durch einen Schwingspulenmotor (VCM) implementiert.
Es ist anzumerken, dass sich der hierin verwendete Begriff „Position der Ebene des fokussierten Objekts” die Position des Objekts betrifft, in der der Abbildungsabschnitt 200 das Objekt fokussiert. Konkreter wird die Ebene des fokussierten Objekts (oder der Objektseitenbrennpunkt) bezüglich des Objektivlinsensystems 230 entsprechend der Bildebene (oder dem Bildseitenbrennpunkt) bestimmt. Der hierin verwendete Begriff „Position der Ebene des fokussierten Objekts” betrifft die Ebene des fokussierten Objekts, wenn die Bildebene mit der Bildebene des Bildsensors 240 zusammenfällt. Die Position der Ebene des fokussierten Objekts ist eine bezüglich des Abbildungsabschnitts 200 und der Ebene des fokussierten Objekts relative Position. Beispielsweise ist die Position der Ebene des fokussierten Objekts durch den Abstand von einem Bezugspunkt (beispielsweise dem Ende des Objektivlinsensystems 230 oder dem Ende des starren Endoskops 100) des Abbildungsabschnitts 200 zu der Ebene des fokussierten Objekts dargestellt (d. h. der Ebene des fokussierten Objekts bezüglich des optischen Systems). Die Position der Ebene des fokussierten Objekts kann beispielsweise aus der Steuerinformation (Position) über die Fokuslinse 210 und den optischen Eigenschaften (Konstruktionswerten) des Objektivlinsensystems 230 bestimmt werden.
Der Bildsensor 240 hat eine Struktur, in der eine Mehrzahl von Pixeln in einer zweidimensionalen Anordnung angeordnet sind, und R-, G- und B-Farbfilter in einer Bayer-Matrix auf einer Pixelbasis angeordnet sind. Der Bildsensor 240 kann ein beliebiger anderer Bildsensor als ein Bildsensor mit einer Bayer-Farbfiltermatrix sein, beispielsweise ein Bildsensor, der einen komplementären Farbfilter verwendet, ein gestapelter Bildsensor, der derart konstruiert ist, dass jedes Pixel Licht mit einer anderen Wellenlänge ohne Verwendung eines Farbfilters empfangen kann, und ein monochromer Bildsensor, der keinen Farbfilter verwendet, solange das Objekt aufgenommen werden kann, um ein Bild zu erhalten.
Der Verarbeitungsabschnitt 300 umfasst einen A/D-Konvertierungsabschnitt 310, den Vorverarbeitungsabschnitt 320, den Bildverarbeitungsabschnitt 330, den Bewegungsinformationserfassungsabschnitt 340, den Bewegungsinformationsbestimmungsabschnitt 350, den Fokussteuerungsabschnitt 360 (AF-Steuerungsabschnitt) und den Steuerungsabschnitt 370. Der A/D-Konvertierungsabschnitt 310 konvertiert analoge Signale, die sequenziell von dem Bildsensor 240 ausgegeben werden, in ein digitales Bild und gibt das digitale Bild sequenziell an den Vorverarbeitungsabschnitt 320 aus. Der Vorverarbeitungsabschnitt 320 führt Bildverarbeitung (beispielsweise Weißabgleich und Interpolation (Demosaicing-Verfahren) (d. h. einen Vorgang, der aus einem Bayer-Bild ein RGB-Bild erzeugt)) auf dem von dem A/D-Konvertierungsabschnitt 310 ausgegebenen Bild durch und gibt das entstehende Bild sequenziell an den Bildverarbeitungsabschnitt 330, den Bewegungsinformationserfassungsabschnitt 340, den Bewegungsinformationsbestimmungsabschnitt 350 und den Fokussteuerungsabschnitt 360 aus. Der Bildverarbeitungsabschnitt 330 führt Bildverarbeitung (z. B. einen Farbkonvertierungsvorgang, Graustufenumwandlungsvorgang, Kantenverbesserungsvorgang, Skalierungsvorgang und Rauschverringerungsvorgang) auf dem von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild aus und gibt das entstehende Bild sequenziell an den Anzeigeabschnitt 400 aus. Der Bewegungsinformationserfassungsabschnitt 340 erfasst die Bewegung zwischen Einzelbildern basierend auf dem von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild und gibt die Bewegungsinformation an den Bewegungsinformationsbestimmungsabschnitt 350 und den Fokussteuerungsabschnitt 360 aus. Die Details des Bewegungsinformationserfassungsabschnitts 340 werden später beschrieben. Der Bewegungsinformationsbestimmungsabschnitt 350 bestimmt die Zuverlässigkeit der Bewegungsinformation (nachstehend als Bewegungsinformationszuverlässigkeit bezeichnet) basierend auf der von dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und gibt das Bestimmungsergebnis an den Fokussteuerungsabschnitt 360 aus. Die Details des Bewegungsinformationsbestimmungsabschnitts 350 werden später beschrieben. Der Fokussteuerungsabschnitt 360 führt einen Steuerungsprozess aus, der die Fokussierung basierend auf der von dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit beginnt oder beendet, und treibt den Fokuslinsenantriebsabschnitt 220 während des Fokussteuerungsvorgangs an, um das Objekt zu fokussieren. Die Details des Fokussteuerungsabschnitts 360 werden später beschrieben. Der Anzeigeabschnitt 400 ist beispielsweise ein Flüssigkristallmonitor und zeigt das Bild an, das sequenziell von dem Bildverarbeitungsabschnitt 330 ausgegeben wird.
Der Steuerabschnitt 370 ist bidirektional mit dem externen Schnittstellenabschnitt 500, dem Bildverarbeitungsabschnitt 330, dem Fokussteuerungsabschnitt 360, dem Bildsensor 240 und dergleichen verbunden und tauscht ein Steuersignal mit dem externen Schnittstellenabschnitt 500, dem Bildverarbeitungsabschnitt 330, dem Fokussteuerungsabschnitt 360, dem Bildsensor 240 und dergleichen aus. Der externe Schnittstellenabschnitt 500 ist eine Schnittstelle, die es dem Nutzer beispielsweise ermöglicht, einen Eingabevorgang an der Endoskopvorrichtung auszuführen. Der externe Schnittstellenabschnitt 500 umfasst zum Beispiel eine Einstellschaltfläche zum Einstellen der Position und der Größe des AF-Bereichs, eine Einstellungsschaltfläche zum Einstellen der Bildverarbeitungsparameter und dergleichen.
2.2. Bewegungsinformationserfassungsabschnitt
Die Details des Bewegungsinformationserfassungsabschnitts 340 sind unten beschrieben. Der Bewegungsinformationserfassungsabschnitt 340 berechnet eine lokale Bewegung auf dem Objekt basierend auf dem von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild, als einen Bewegungsvektor. Obwohl nachstehend ein Beispiel zu Beschreibungszwecken beschrieben ist, in dem der Bewegungsinformationserfassungsabschnitt 340 nur die G-Signale des von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bildes verarbeitet, können verschiedene Modifikationen entsprechend vorgenommen werden, beispielsweise eine Modifikation, bei der der Bewegungsinformationserfassungsabschnitt 340 ein aus den RGB-Signalen berechnetes Luminanzsignal verarbeitet.
4 stellt ein ausführliches Konfigurationsbeispiel für den Bewegungsinformationserfassungsabschnitt 340 dar. Der Bewegungsinformationserfassungsabschnitt 340 umfasst einen Bildspeicher 341 und einen Bewegungsvektorberechnungsabschnitt 342.
Bei dem Bildspeicher 341 handelt es sich um einen Speicher, der das von dem Vorverarbeitungsabschnitt 320 ausgegebene Bild temporär speichert. Der Bildspeicher 341 unterzieht das von dem Vorverarbeitungsabschnitt 320 ausgegebene Bild einer Bildverzögerung und gibt das Bild an den Bewegungsvektorberechnungsabschnitt 342 aus. Der Bewegungsvektorberechnungsabschnitt 342 berechnet den Bewegungsvektor bezüglich des von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bildes (d. h. des Bildes, das dem momentanen Einzelbild entspricht) und des von dem Einzelbilderspeicher 341 ausgegebenen Bildes (d. h. des Bildes, das dem vorhergehenden Einzelbild entspricht), das einer Einzelbildverzögerung unterzogen wurde. Der Bewegungsvektor wird basierend auf dem Bild berechnet, das dem momentanen Einzelbild entspricht. Konkreter wird ein lokaler Bewegungsvektor VE an einer Mehrzahl von Punkten in einem Bild IM berechnet, wie in 5 dargestellt. Der Bewegungsvektor wird beispielsweise mithilfe eines Block-Matching-Verfahrens oder eines in der Technik bekannten Gradientenverfahrens berechnet. Obwohl 5 ein Beispiel darstellt, in dem der Bewegungsvektor VE an einer Mehrzahl von Punkten berechnet wird, die in gleichen Intervallen in dem Bild IM eingestellt sind, kann der Bewegungsvektor auf eine andere Weise berechnet werden. Verschiedene Modifikationen, beispielsweise eine Modifikation, bei der der Bewegungsvektor an jedem Pixel des Bildes berechnet wird, können entsprechend vorgenommen werden.
2.3. Bewegungsinformationsbestimmungsabschnitt
Die Details des Bewegungsinformationsbestimmungsabschnitts 350 sind unten beschrieben. Der Bewegungsinformationsbestimmungsabschnitt 350 bestimmt die Bewegungsinformationszuverlässigkeit basierend auf dem von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild und der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation. Die Bewegungsinformationszuverlässigkeit zeigt an, ob die Bewegungsinformation für den Fokussteuerungsvorgang verwendet werden kann oder nicht.
6 stellt ein ausführliches Konfigurationsbeispiel für den Bewegungsinformationsbestimmungsabschnitt 350 dar. Der Bewegungsinformationsbestimmungsabschnitt 350 umfasst einen Variationsbestimmungsabschnitt 351, einen Helligkeitsbestimmungsabschnitt 352, einen Bildspeicher 353 und einen Matching-Grad-Bestimmungsabschnitt 354.
Der Variationsbestimmungsabschnitt 351 bestimmt basierend auf dem von dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsvektor, ob jeder Bewegungsvektor „zuverlässig” oder „unzuverlässig” ist, und gibt das Bestimmungsergebnis an den Fokussteuerungsabschnitt 360 aus. Die Details des Variationsbestimmungsabschnitts 351 werden später beschrieben. Der Helligkeitsbestimmungsabschnitt 352 bestimmt basierend auf dem von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild, ob jeder Bewegungsvektor „zuverlässig” oder „unzuverlässig” ist, und gibt das Bestimmungsergebnis an den Fokussteuerungsabschnitt 360 aus. Die Details des Helligkeitsbestimmungsabschnitts 352 werden später beschrieben. Der Bildspeicher 353 unterzieht das von dem Vorverarbeitungsabschnitt 320 ausgegebene Bild einer Bildverzögerung und gibt das entstehende Bild an den Matching-Grad-Bestimmungsabschnitt 354 aus. Der Matching-Grad-Bestimmungsabschnitt 354 bestimmt basierend auf dem von dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild (dem aktuellen Einzelbild entsprechendes Bild), dem Bild als Ergebnis der von dem Bildspeicher 353 ausgegebenen Bildverzögerung (einem vorhergehenden Einzelbild entsprechendes Bild) und dem aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsvektor, ob jeder Bewegungsvektor „zuverlässig” oder „unzuverlässig” ist, und gibt das Bestimmungsergebnis an den Fokussteuerungsabschnitt 360 aus.
Die Details des Variationsbestimmungsabschnitts 351 sind unten beschrieben. Der Variationsbestimmungsabschnitt 351 bestimmt die Bewegungsinformationszuverlässigkeit basierend auf räumlicher Ähnlichkeit des aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsvektor. Ein Bewegungsvektor mit einer hohen räumlichen Ähnlichkeit wird nicht basierend auf einer Rauschkomponente berechnet, sondern auf Grundlage einer Signalkomponente, und wird somit als „zuverlässig” bestimmt. Die so bestimmte Bewegungsinformationszuverlässigkeit wird an den Fokussteuerungsabschnitt 360 ausgegeben.
7 ist ein Flussdiagramm, das einen von einem Variationsbestimmungsabschnitt 351 durchgeführten Prozess darstellt. In dem Variationsbestimmungsprozess wird zunächst einer von einer Mehrzahl lokaler Bewegungsvektoren in dem Bild (nachstehend als ein Zielbewegungsvektor bezeichnet) ausgewählt (S1). Dann wird der so ausgewählte Zielbewegungsvektor einer Reihe ähnlicher Vektorzählprozesse unterzogen (S2, später ausführlich beschrieben). Dann wird die Anzahl ähnlicher Vektoren mit einem vorbestimmten Schwellenwert verglichen (S3). Der Zielbewegungsvektor mit der Anzahl ähnlicher Vektoren, die den Schwellenwert übersteigen, hat räumliche Ähnlichkeit mit peripheren Bewegungsvektoren und wird somit als „zuverlässig” bestimmt (S4). Andererseits wird ein Zielbewegungsvektor mit der Anzahl ähnlicher Vektoren, die den Schwellenwert nicht übersteigen, als „unzuverlässig” bestimmt (S5). Dann wird bestimmt, ob die oben beschriebene Bestimmung für alle Bewegungsvektoren in dem Bild abgeschlossen wurde oder nicht (S6). Wurde die Bestimmung abgeschlossen, wird der Variationsbestimmungsprozess beendet. Ist ein unbestimmter Bewegungsvektor übrig, kehrt der Prozess zu Schritt S1 zurück, und ein unbestimmter Bewegungsvektor wird ausgewählt.
8 ist ein Flussdiagramm, das eine Reihe ähnlicher Vektorzählprozesse darstellt. Zunächst wird die Anzahl ähnlicher Vektoren auf 0 zurückgesetzt (S21). Dann wird einer der Bewegungsvektoren in der Peripherie des Zielbewegungsvektors als ein benachbarter Bewegungsvektor ausgewählt (S22). Beispielsweise sind die benachbarten Bewegungsvektoren periphere Bewegungsvektoren auf der oberen, unteren, linken und rechten Seite eines Bewegungsvektors in 5. In Schritt S22 wird einer der peripheren Bewegungsvektoren ausgewählt. Als Nächstes wird ein Differenzvektor zwischen dem Zielbewegungsvektor und dem benachbarten Bewegungsvektor berechnet (S23). Als Nächstes wird die Größe des Differenzvektors mit einem vorbestimmten Schwellenwert verglichen (S24). Übersteigt die Größe des Differenzvektors den Schwellenwert nicht, wird die Anzahl ähnlicher Vektoren erhöht (S25). Übersteigt die Größe des Differenzvektors den Schwellenwert, bleibt die Anzahl ähnlicher Vektoren gleich. Als Nächstes wird bestimmt, ob die Bestimmung auf einem ähnlichem Vektor für alle der benachbarten Bewegungsvektoren abgeschlossen wurde oder nicht (S26). Wurde die Bestimmung abgeschlossen, wird der Zählprozess zum Zählen der Anzahl ähnlicher Vektoren beendet. Gibt es einen unbestimmten benachbarten Bewegungsvektor, kehrt der Prozess zu Schritt S22 zurück, und ein unbestimmter benachbarter Bewegungsvektor wird ausgewählt.
Die Details des Helligkeitsbestimmungsabschnitts 352 sind unten beschrieben. Der Helligkeitsbestimmungsabschnitt 352 bestimmt die Bewegungsinformationszuverlässigkeit basierend auf lokaler Helligkeit in dem aus dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild. Die Bewegungsinformationszuverlässigkeit wird als „unzuverlässig” bestimmt, wenn die lokale Helligkeit einen ersten Schwellenwert übersteigt (wenn ein Pixelwert gesättigt ist, wenn das Bild „überbelichtet” ist). Die Bewegungsinformationszuverlässigkeit wird als „unzuverlässig” bestimmt, wenn die lokale Helligkeit einen zweiten Schwellenwert nicht übersteigt (wenn das Bild unterbelichtet ist). Die Bewegungsinformationszuverlässigkeit wird als „zuverlässig” bestimmt, wenn die lokale Helligkeit den ersten Schwellenwert nicht übersteigt und den zweiten Schwellenwert übersteigt. Die so bestimmte Bewegungsinformationszuverlässigkeit wird an den Fokussteuerungsabschnitt 360 ausgegeben.
9 ist ein Flussdiagramm, das einen von dem Helligkeitsbestimmungsabschnitt 352 durchgeführten Prozess darstellt. Bei dem Helligkeitsbestimmungsprozess wird zunächst der Zielbewegungsvektor ausgewählt (S41). Als Nächstes wird ein Bild innerhalb eines vorbestimmten Bereichs um den Anfangspunkt des Zielbewegungsvektors aus dem Bild, das dem aktuellen Einzelbild entspricht, als ein Lokalbereichsbild extrahiert (S42). Beispielsweise handelt es sich bei dem vorbestimmten Bereich, der jeder beliebige geeignete Bereich sein kann, um einen Bereich, der für das Block-Matching genutzt wird, um den Zielbewegungsvektor zu erhalten. Als Nächstes wird ein Mittelwert der Helligkeit in dem so extrahierten Lokalbereichsbild berechnet (S43). Beispielsweise wird ein Mittelwert MEAN durch Zusammenfassen und Mitteln der G-Signalwerte des Lokalbereichsbilds berechnet. Dann wird der so berechnete Mittelwert MEAN mit dem ersten Schwellenwert TH1 und dem zweiten Schwellenwert TH2 (TH1 > TH2) verglichen (S44). Bei dem ersten Schwellenwert handelt es sich um einen Wert, der dem überbelichteten Bild entspricht, und bei dem zweiten Schwellenwert handelt es sich um einen Wert, der dem unterbelichteten Bild entspricht. Wenn die folgende Formel (1) erfüllt ist, ist das Ergebnis der Bestimmung „zuverlässig” (S45). Wenn die folgende Formel (1) nicht erfüllt ist, ist das Ergebnis der Bestimmung „unzuverlässig” (S46). TH1 ≥ MEAN > TH2 (1)
Als Nächstes wird bestimmt, ob die oben beschriebene Bestimmung für alle Bewegungsvektoren in dem Bild abgeschlossen wurde oder nicht (S47). Wurde die Bestimmung abgeschlossen, wird der Helligkeitsbestimmungsprozess beendet. Gibt es einen unbestimmten Bewegungsvektor, kehrt der Prozess zu Schritt S41 zurück, und ein unbestimmter Bewegungsvektor wird ausgewählt.
Die Details des Matching-Grad-Bestimmungsabschnitts 354 sind unten beschrieben. Der Matching-Grad-Bestimmungsabschnitt 354 bestimmt die Bewegungsinformationszuverlässigkeit basierend auf lokaler Korrelation (Matching-Grad) zwischen dem aus dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild (aktuelles Einzelbild) und dem aus dem Bildspeicher 353 ausgegebenen der Bildverzögerung unterzogenen Bild (vorhergehendes Einzelbild). Ein geringer Matching-Grad zeigt ein Fehlschlagen in der lokalen Ausrichtung (Bewegungsvektorerfassung) zwischen zwei Bildern an, und somit ergibt die Bestimmung „unzuverlässig”. Ist der Matching-Grad hoch, ergibt die Bestimmung „zuverlässig'. Die aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebene Bewegungsinformation ist ein Ergebnis der lokalen Ausrichtung, und somit wird basierend auf der Korrelation zwischen lokalen Bereichen in zwei durch die Bewegungsinformation miteinander verknüpften Bildern bestimmt, ob die lokale Ausrichtung zuverlässig ist oder nicht. Die so bestimmte Bewegungsinformationszuverlässigkeit wird an den Fokussteuerungsabschnitt 360 ausgegeben.
10 ist ein Flussdiagramm, das einen von dem Matching-Grad-Bestimmungsabschnitt 354 durchgeführten Prozess darstellt. Bei dem Matching-Gradbestimmungsprozess wird zunächst der Zielbewegungsvektor ausgewählt (S61). Als Nächstes wird ein Bild innerhalb eines vorbestimmten Bereichs um den Anfangspunkt des Zielbewegungsvektors aus dem Bild, das dem aktuellen Einzelbild entspricht, als das Lokalbereichsbild extrahiert (S62). Beispielsweise handelt es sich bei dem vorbestimmten Bereich, der jeder beliebige geeignete Bereich sein kann, um einen Bereich, der für das Block-Matching genutzt wird, um den Zielbewegungsvektor zu erhalten. Als Nächstes wird ein Bild innerhalb eines vorbestimmten Bereichs um den Endpunkt des Zielbewegungsvektors aus dem Bild, das dem vorhergehenden Einzelbild entspricht, als ein Lokalbereichsbild extrahiert (S63). Dieser vorbestimmte Bereich hat dieselbe Größe wie der in Schritt S62 genutzte vorbestimmte Bereich. Als Nächstes wird eine Zwischenabschnittsdifferenz SUB zwischen einem Lokalbereichsbild CURR, das wie oben beschrieben dem aktuellen Einzelbild entspricht, und einem Lokalbereichsbild PREV, das dem vorhergehenden Einzelbild entspricht, mit der folgenden Formel (2) berechnet (S64).
Es ist anzumerken, dass I und J die Zahl der Pixel in der horizontalen und der vertikalen Richtung in dem Lokalabschnittsbild, das dem aktuellen Einzelbild entspricht, und dem Lokalabschnittsbild, das dem vorhergehenden Einzelbild entspricht, sind.
Als Nächstes wird die so berechnete Zwischenabschnittsdifferenz mit einem Schwellenwert verglichen (S65). Übersteigt die Zwischenabschnittsdifferenz den Schwellenwert nicht, ist das Bestimmungsergebnis „zuverlässig” (S66). Übersteigt die Zwischenabschnittsdifferenz den Schwellenwert, ist das Bestimmungsergebnis „unzuverlässig” (S67). Als Nächstes wird bestimmt, ob die oben beschriebene Bestimmung für alle Bewegungsvektoren in dem Bild abgeschlossen wurde oder nicht (S68). Wurde die Bestimmung abgeschlossen, wird der Matching-Grad-Bestimmungsprozess beendet. Gibt es einen unbestimmten Bewegungsvektor, kehrt der Prozess zu Schritt S61 zurück, und ein unbestimmter Bewegungsvektor wird ausgewählt.
In der vorliegenden Ausführungsform gibt der Bewegungsinformationsbestimmungsabschnitt 350 die Bewegungsinformationszuverlässigkeit basierend auf einem logischen UND („zuverlässig” entsprechend WAHR und „unzuverlässig” entsprechend FALSCH) zwischen den drei Bestimmungsergebnissen an den Fokussteuerungsabschnitt 360 aus. Beispielsweise wird „zuverlässig” durch ein Bit „1” und „unzuverlässig” durch ein Bit „0” dargestellt. Das logische UND ist „0”, wenn ein beliebiges der drei Bestimmungsergebnisse „unzuverlässig” ist, und somit wird das Bestimmungsergebnis „unzuverlässig” an den Fokussteuerungsabschnitt 360 ausgegeben. Wie oben beschrieben, werden die lokalen Bewegungsvektoren an einer Mehrzahl von Punkten in einem Bild (beispielsweise 5) erhalten, und „zuverlässig”/„unzuverlässig” wird für jeden der Bewegungsvektoren bestimmt. Somit ist die Bewegungsinformationszuverlässigkeit eine Information als Ergebnis des Verknüpfens des Bestimmungsergebnisses „zuverlässig”/„unzuverlässig” mit jedem Bewegungsvektor.
In dem oben beschriebenen Beispiel ist die Bewegungsinformationszuverlässigkeit das logische UND der drei Bestimmungsergebnisse. Allerdings ist dies nicht im Sinne einer Beschränkung auszulegen. Beispielsweise kann die Bewegungsinformationszuverlässigkeit ein einzelnes Bestimmungsergebnis sein oder kann das logische UND beliebiger zwei der Bestimmungsergebnisse sein. Alternativ können andere Arten der Bestimmung vorgenommen und kombiniert werden.
Wie oben beschrieben, erhält der Bewegungsinformationserfassungsabschnitt 340 die Bewegungsinformation, die eine Mehrzahl lokaler Bewegungsbeträge ist (z. B. die Bewegungsvektoren VE) basierend auf einem aufgenommenen Bild, bei dem es sich um ein von dem Abbildungsabschnitt 200 aufgenommenes Bild eines Objekts handelt. Der Bewegungsinformationsbestimmungsabschnitt 350 bestimmt die Bewegungsinformationszuverlässigkeit (beispielsweise „zuverlässig” oder „unzuverlässig”) für jeden der Mehrzahl lokaler Bewegungsbeträge.
Mit der so bestimmten Zuverlässigkeit der Bewegungsinformation können die Bewegung allein des Behandlungsinstruments, die aufgrund von Rauschen fälschlicherweise erfasste Bewegungsinformation oder dergleichen als Bewegungsinformation mit geringer Zuverlässigkeit bestimmt werden. Somit kann die Fokussierung für eine Änderung der Szene, die den AF-Prozess erfordert, z. B. eine Bewegung des Abbildungsabschnitts des Gewebes oder eine Bewegung, durch die das Gewebe oder das Behandlungsinstrument außerhalb der Feldtiefe liegen, mit reduziertem Einfluss der Bewegungsinformation mit geringer Zuverlässigkeit durchgeführt werden.
In der vorliegenden Ausführungsform bestimmt der Bewegungsinformationsbestimmungsabschnitt 350 die Bewegungsinformationszuverlässigkeit basierend auf der Korrelation zwischen jedem lokalen Bewegungsbetrag und den peripheren lokalen Bewegungsbeträgen.
Bei der Korrelation zwischen jedem lokalen Bewegungsbetrag und den peripheren lokalen Bewegungsbeträgen handelt es sich um eine Korrelation (Ähnlichkeit) zwischen lokalen Bewegungsbeträgen in Größe und Richtung. Konkret ist die Korrelation zwischen lokalen Bewegungsbeträgen, die in der Größe oder der Richtung nah beieinanderliegen, hoch. Zum Beispiel wird in der vorliegenden Ausführungsform die Korrelation als hoch bestimmt (somit ist das Bestimmungsergebnis „zuverlässig”), wenn die Differenz zwischen einem Bewegungsvektor und einem peripheren Bewegungsvektor den Schwellenwert nicht übersteigt.
Eine hohe Korrelation bezogen auf periphere lokale Bewegungsvektoren zeigt an, dass sich ein Objekt in der entsprechenden Position mit einer Größe und Richtung bewegt, die denen der Peripherie ähnelt, und somit kann die Bewegung als nicht zufällige Bewegung eines Behandlungsinstruments oder dergleichen, Rauschen oder dergleichen bestimmt werden. Da der lokale Bewegungsbetrag, der wahrscheinlich die Bewegung des Gewebes (Hintergrund) darstellt, als hoch zuverlässig bestimmt wurde, kann eine Änderung in der den AF-Prozess erfordernden Szene exakt erfasst werden.
In der vorliegenden Ausführungsform bestimmt der Bewegungsinformationsbestimmungsabschnitt 350 die Bewegungsinformationszuverlässigkeit basierend auf der Helligkeit des aufgenommenen Bildes (beispielsweise einem Luminanzmittelwert oder einem G-Pixel-Mittelwert) in Bereichen, die lokalen Bewegungsbeträgen entsprechen.
Bei der Helligkeit des aufgenommenen Bildes in einem Bereich, der jedem lokalen Bewegungsbetrag entspricht, handelt es sich um die Helligkeit des Bildes in einem Bereich, in dem eine von dem lokalen Bewegungsbetrag dargestellte Bewegung auftritt, oder um die Helligkeit des Bildes in einem Bereich (z. B. einem Blockabschnitt im Block-Matching) als ein Ziel des Prozesses zum Erhalten des lokalen Bewegungsbetrages.
In der vorliegenden Ausführungsform wird die Helligkeit des aufgenommenen Bildes in einem jedem lokalen Bewegungsbetrag entsprechenden Bereich mit einem Schwellenwert verglichen, um die Zuverlässigkeit zu bestimmen. Daher kann die Zuverlässigkeit des lokalen Bewegungsbetrags in einem Bereich, in dem keine exakte Erfassung des Bewegungsbetrags zu erwarten ist, als gering bestimmt werden. Beispielsweise erfolgt die Bestimmung mit den Schwellenwerten, die Überbelichtung und Unterbelichtung entsprechen. Daher kann die Zuverlässigkeit des Bewegungsvektors, der einem Bereich entspricht, in dem Kantenkomponenten gestört werden und somit das Matching schwierig ist, als gering bestimmt werden.
In der vorliegenden Ausführungsform handelt es sich bei jedem Bewegungsbetrag um einen Bewegungsvektor. Der Bewegungsinformationsbestimmungsabschnitt 350 bestimmt die Bewegungsinformationszuverlässigkeit basierend auf Korrelation zwischen einem Pixelwert eines oder mehrerer Pixel, die dem Anfangspunkt des Bewegungsvektors entsprechen, und einem Pixelwert eines oder mehrerer Pixel, die dem Endpunkt des Bewegungsvektors entsprechen.
Zum Beispiel wird in der vorliegenden Erfindung die Zuverlässigkeit basierend auf der Korrelation zwischen einem Blockabschnitt, der dem Anfangspunkt des Bewegungsvektors in einem dem aktuellen Einzelbild entsprechenden Bild entspricht, und einem Blockabschnitt, der dem Endpunkt des Bewegungsvektors in einem einem vorhergehenden Einzelbild entsprechenden Bild entspricht, bestimmt. Bei diesen Blockabschnitten handelt es sich um Bereiche, die bestimmt wurden, um im Block-Matching zusammenzupassen (als derselbe Bereich des Objekts bestimmt). Allerdings ist dies nicht im Sinne einer Beschränkung zu verstehen, und die Größe des Bereiches kann ein einzelnes Pixel oder jede andere geeignete Größe sein. Die Korrelation zwischen Pixelwerten zeigt Ähnlichkeit zwischen den Pixelwerten an und verschiedene Korrelationskoeffizienten (z. B. die Summe der absoluten Differenzen (SAD) oder die Summe der quadrierten Differenzen (SSD)) können genutzt werden.
Wie oben beschrieben, kann die Zuverlässigkeit des Matching-Prozesses basierend auf der Korrelation zwischen Pixelwerten eines einzelnen oder mehrerer dem Anfangspunkt und dem Endpunkt eines Bewegungsvektors entsprechenden Pixel bestimmt werden. Daher ist der Matching-Prozess lediglich ein Prozess des Suchens der Positionen mit der größten Ähnlichkeit in einem Suchabschnitt, und somit entsprechen die Positionen nicht notwendigerweise den Bildern desselben Objekts (die Position könnte Bereichen entsprechen, die einander zufällig ähnlich sind). In der vorliegenden Ausführungsform kann die Zuverlässigkeit eines Bewegungsvektors in einem Fall, in dem die Zuverlässigkeit des Matching-Prozesses gering ist, als gering bestimmt werden.
2.4. Fokussteuerungsabschnitt
Die Details des Fokussteuerungsabschnitts 360 sind unten beschrieben. Der Fokussteuerungsabschnitt 360 steuert basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit, ob die Fokussierung (Übergang aus dem Standby-Zustand in die Fokussierung) durchzuführen ist oder nicht. Die Details des Fokussierung werden später beschrieben.
11 stellt ein ausführliches Konfigurationsbeispiel für den Fokussteuerungsabschnitt 360 dar. Der Fokussteuerungsabschnitt 360 umfasst einen Abschnitt zur Erfassung der globalen Bewegungsinformation 361, einen Abschnitt zur Bestimmung der globalen Bewegungsinformation 362, einen Fokussierungssteuerungsabschnitt 363 und einen Fokussierungsdurchführabschnitt 364.
Der globale Bewegungsinformationserfassungsabschnitt 361 erfasst die globale Bewegungsinformation basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit. Bei der globalen Bewegungsinformation handelt es sich um eine Information über eine Bewegung des Objekts über das gesamte Bild (über die Bewegung in einem globaleren Bereich als einen die Bewegung in einem lokalen Bereich darstellenden Bewegungsvektor). Die so erfasste globale Bewegungsinformation wird an den Abschnitt zur Bestimmung der globalen Bewegungsinformation 362 und den Fokussierungssteuerungsabschnitt 363 ausgegeben. Die Details des Abschnitts zur Erfassung der globalen Bewegungsinformation 361 werden später beschrieben.
Der Abschnitt zur Bestimmung der globalen Bewegungsinformation 362 bestimmt die globale Bewegungsinformationszuverlässigkeit, die anzeigt, ob die globale Bewegungsinformation effektiv ist oder nicht, basierend auf der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit und der aus dem Abschnitt zur Erfassung der globalen Bewegungsinformation 361 ausgegebenen globalen Bewegungsinformation. Die so bestimmte globale Bewegungsinformationszuverlässigkeit wird an den Fokussierungssteuerungsabschnitt 363 ausgegeben. Die Details des Abschnitt zur Bestimmung der globalen Bewegungsinformation 362 werden später ausführlich beschrieben.
Der Fokussierungssteuerungsabschnitt 363 erzeugt ein Fokussteuerungssignal basierend auf der aus dem Abschnitt zur Erfassung der globalen Bewegungsinformation 361 ausgegebenen globalen Bewegungsinformation und der aus dem Abschnitt zur Bestimmung der globalen Bewegungsinformation 362 ausgegebenen globalen Bewegungsinformationszuverlässigkeit. Bei dem Fokussteuerungssignal handelt es sich um ein Signal zum Steuern, ob die Fokussierung durchzuführen ist oder nicht, und kann „EINgeschaltet werden (auf z. B. einen hohen Pegel)”, um anzuzeigen, dass „die Fokussierung durchzuführen ist (Übergang aus dem Standby-Zustand in die Fokussierung)” und „AUSgeschaltet (auf z. B. einen niedrigen Pegel)”, um anzuzeigen, dass „die Fokussierung nicht durchzuführen ist (im Standby-Zustand bleibt)”. Das so bestimmte Fokussteuerungssignal wird an den Fokussierungsdurchführabschnitt 364 ausgegeben. Die Details des Fokussierungssteuerungsabschnitts 363 werden später ausführlich beschrieben.
Der Fokussierungsdurchführabschnitt 364 führt die Fokussierung basierend auf einem aus dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild durch, wenn das aus dem Fokussierungssteuerungsabschnitt 363 ausgegebene Fokussierungssteuerungssignal „AN” ist. Der Fokussierungsdurchführabschnitt 364 ist mit dem Fokuslinsenantriebsabschnitt 220 verbunden und steuert den Fokuslinsenantriebsabschnitt 220 dahin gehend, die Fokussierung durchzuführen. Nach Beendigung der Fokussierung (nachdem das Objekt als durch den AF-Prozess fokussiert wurde) wird das Fokussteuerungssignal „AUS” geschaltet. Die Details des Fokussierungsdurchführabschnitts 364 werden später ausführlich beschrieben.
2.5. Abschnitt zur Erfassung der globalen Bewegungsinformation
Die Details des Abschnitts zur Erfassung der globalen Bewegungsinformation 361 sind unten beschrieben. Die globale Bewegungsinformation umfasst: zu einer Oberfläche parallele Komponenten (horizontale und vertikale Komponenten, die hierin gemeinsam als zur Oberfläche paralleler Bewegungsbetrag bezeichnet werden); und zu der Oberfläche orthogonale Komponenten (nachstehend als ein zur Oberfläche orthogonaler Bewegungsbetrag bezeichnet).
Bei dem zur Oberfläche parallelen Bewegungsbetrag handelt es sich um einen Bewegungsbetrag, der eine Bewegung in eine Richtung parallel zu einer Sensoroberfläche des Bildsensors 240 darstellt (konkret stellt der Bewegungsbetrag die Bewegung in einer Richtung orthogonal zur optischen Achse des Objektivlinsensystems 230 dar). Diese Bewegung tritt aufgrund der Rotation des Endoskops (Rotation in eine Richtung nicht parallel zur optischen Achse) oder einer parallelen Bewegung des Endoskops (parallele Bewegung in eine Richtung, die nicht parallel zur optischen Achse verläuft) auf. Somit handelt es sich bei dem zur Oberfläche parallelen Bewegungsbetrag um einen Bewegungsbetrag, der aufgrund der Bewegung des Endoskops der Bewegung des Abbildungsabschnitts bezüglich des Objekts entspricht.
Bei dem zur Oberfläche orthogonalen Bewegungsbetrag handelt es sich um einen Bewegungsbetrag, der eine Bewegung in eine Richtung orthogonal zu der Sensoroberfläche des Bildsensors 240 darstellt (konkret stellt der Bewegungsbetrag die Bewegung in einer Richtung parallel zur optischen Achse des Objektivlinsensystems 230 dar). Diese Bewegung tritt aufgrund der parallelen Bewegung des Endoskops (parallele Bewegung in einer Richtung parallel zur optischen Achse) auf. Somit handelt es sich bei dem zur Oberfläche parallelen Bewegungsbetrag um einen Bewegungsbetrag als Ergebnis einer Vergrößerung oder Verkleinerung des Abbildungsabschnittes eines Objekts aufgrund der Bewegung des Endoskops. Im Allgemeinen bestehen der zur Oberfläche parallele Bewegungsbetrag und der zur Oberfläche orthogonale Bewegungsbetrag nebeneinander.
12 stellt ein ausführliches Konfigurationsbeispiel für den Abschnitt zur Erfassung der globalen Bewegungsinformation 361 dar. Der Abschnitt zur Erfassung der globalen Bewegungsinformation 361 umfasst einen Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags 710 und einen Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720.
Der Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags 710 berechnet den zur Oberfläche parallelen Bewegungsbetrag basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformation. Der so berechnete zur Oberfläche parallele Bewegungsbetrag wird an den Fokussierungssteuerungsabschnitt 363 ausgegeben. Der Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720 berechnet den zur Oberfläche orthogonalen Bewegungsbetrag basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit. Der so berechnete zur Oberfläche orthogonale Bewegungsbetrag wird an den Fokussierungssteuerungsabschnitt 363 ausgegeben.
Der Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags 710 berechnet den zur Oberfläche parallelen Bewegungsbetrag basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit, die als „zuverlässig” bestimmt wurde.
13 ist ein Flussdiagramm, das einen von dem Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags 710 durchgeführten Prozess darstellt. Zunächst setzt der Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags 710 die Summe der zur Oberfläche parallelen Bewegungsbeträge auf 0 Vektoren zurück (S81). Dann wird die Anzahl effektiver Vektoren auf 0 zurückgesetzt (S82). Dann wird ein Zielbewegungsvektor ausgewählt (S83). Dann wird bestimmt, ob die Bewegungsinformationszuverlässigkeit des so ausgewählten Zielbewegungsvektors „zuverlässig” oder „unzuverlässig” ist (S84). Wenn das Ergebnis der Bestimmung „zuverlässig” ist, wird der Zielbewegungsvektor zu der Summe aus Bewegungsbeträgen parallel zur Oberfläche hinzuaddiert (S85) und die Anzahl effektiver Bewegungsvektoren wird erhöht (S86). Wenn das Ergebnis der Bestimmung „unzuverlässig” ist, werden Schritt S85 und Schritt S86 übersprungen. Dann wird bestimmt, ob der oben beschriebene Prozess für alle Bewegungsvektoren in dem Bild abgeschlossen wurde oder nicht (S87). Wurde der Prozess abgeschlossen, wird die Summe der Bewegungsbeträge parallel zur Oberfläche durch die Anzahl effektiver Bewegungsvektoren dividiert, um den zur Oberfläche parallelen Bewegungsbetrag zu berechnen (S88), und der Prozess wird beendet. Gibt es einen unbestimmten Bewegungsvektor, kehrt der Prozess zu Schritt S83 zurück, und ein unbestimmter Bewegungsvektor wird ausgewählt.
Der Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720 berechnet den zur Oberfläche orthogonalen Bewegungsbetrag basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 340 ausgegebenen Bewegungsinformation und der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen Bewegungsinformationszuverlässigkeit, die als „zuverlässig” bestimmt wurde. Das Objekt auf dem Bild wird vergrößert, wenn sich die Kamera dicht an das Objekt bewegt, und wird verkleinert, wenn sich die Kamera vom Objekt wegbewegt. Diese Bewegungen werden basierend auf einer Änderung in einem Bereich zwischen einem Bereich, der den Anfangspunkt des Bewegungsvektors umfasst (entsprechend dem Objekt in dem aktuellen Einzelbild, nachstehend als aktueller Objektbereich bezeichnet) und einem Bereich, der den Endpunkt des Bewegungsvektors umfasst (entsprechend dem Objekt in dem vorhergehenden Einzelbild, nachstehend als vorhergehender Objektbereich bezeichnet), berechnet. Der aktuelle Objektbereich und der vorhergehende Objektbereich weisen jeweils eine polygonale Form und einen Scheitelpunkt auf, der Teil des Bewegungsvektoranfangspunkts oder Teil des Bewegungsvektorendpunkts ist.
14 ist ein Flussdiagramm, das einen von dem Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720 durchgeführten Prozess darstellt. 15 ist ein Diagramm, das den Prozess darstellt. Ein schraffierter Pfeil stellt einen als „zuverlässig” bestimmten Bewegungsvektor VE dar, und ein weißer Pfeil stellt einen als „unzuverlässig” bestimmten Bewegungsvektor VE dar.
Zunächst bestimmt der Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720 die Endpunktkoordinaten des Scheitelpunkts des aktuellen Objektbereichs AC (S101). Bei den Endpunktkoordinaten handelt es sich um Koordinaten des Anfangspunkts des als „zuverlässig” bestimmten Bewegungsvektors VE in dem Bild IM. Die Details des Endpunktkoordinatenbestimmungsprozesses S101 werden später ausführlich beschrieben. Dann wird die Reihenfolge der Koordinaten als im Uhrzeigersinn bezogen auf die Endpunktkoordinaten erfolgend bestimmt (S102). In 15 stellen die den Anfangspunkten der Bewegungsvektoren VE verliehenen Zahlen die Reihenfolge dar. Die Details des Koordinatenreihenfolgebestimmungsprozesses S102 werden später beschrieben. Ein Verhältnis zwischen dem Bereich des aktuellen Objektbereichs AC und dem Bereich des vorhergehenden Objektbereichs AP (der Bereich des aktuellen Objektbereichs AC/den Bereich des vorhergehenden Objektbereichs AP) wird basierend auf den Endpunktkoordinaten (den Anfangspunkten der Bewegungsvektoren), den entsprechenden Endpunkten der Bewegungsvektoren und der Reihenfolge (S103) berechnet. Die Details des Bereichsverhältnisberechnungsprozesses S103 werden später beschrieben. Dann wird ein Log des Bereichsverhältnisses als der zur Oberfläche orthogonale Bewegungsbetrag berechnet (S104). Wenn sich die Kamera in Richtung Objekt bewegt, dann gilt der Bereich des aktuellen Objektbereichs AC > der Bereich des vorhergehenden Objektbereichs AP, und somit gilt das Bereichsverhältnis > 1. Somit wird der zur Oberfläche orthogonale Bewegungsbetrag einen positiven Wert erhalten. Wenn sich die Kamera von dem Objekt wegbewegt wie in dem in 15 dargestellten Beispiel, dann ist die Aussage, dass der Bereich des aktuellen Objektbereichs AP < der Bereich des vorhergehenden Objektbereichs AP, wahr, und somit ist das Bereichsverhältnis < 1. Somit wird der zur Oberfläche orthogonale Bewegungsbetrag einen negativen Wert erhalten.
Die Details des Endpunktkoordinatenbestimmungsprozesses S101 sind unten beschrieben. In diesem Prozess werden die Koordinaten der Mehrzahl der die Scheitelpunkte des aktuellen Objektbereichs AC bildenden Punkte basierend auf den Koordinaten der Anfangspunkte der Bewegungsvektoren VE, in den Bewegungsvektoren VE mit der aus dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebenen, als „zuverlässig” bestimmten Bewegungsinformationszuverlässigkeit bestimmt.
16 ist ein Flussdiagramm, das den Endpunktkoordinatenbestimmungsprozess S101 darstellt. Zunächst werden die Endpunktkoordinaten an dem oberen Ende, dem unteren Ende, dem linken Ende und dem rechten Ende zurückgesetzt (S121). Die so zurückgesetzten Koordinaten umfassen: die Koordinaten am oberen Ende, die in dem Bild die Koordinaten am unteren Ende sind; die Koordinaten am unteren Ende, die in dem Bild die Koordinaten am oberen Ende sind; die Koordinaten am linken Ende, die in dem Bild die Koordinaten am rechten Ende sind; und die Koordinaten am rechten Ende, die in dem Bild die Koordinaten am linken Ende sind. Als Nächstes wird ein Zielbewegungsvektor ausgewählt (S122). Als Nächstes wird die Zuverlässigkeit des Zielbewegungsvektors bestimmt (S123). Wenn der Zielbewegungsvektor „zuverlässig” ist, wird bestimmt, ob die Anfangspunktkoordinaten des Zielbewegungsvektors die Endpunktkoordinaten sind oder nicht (S124). Zum Beispiel wird bestimmt, ob die Anfangspunktkoordinaten über einem aktuellen Wert der oberen Endpunktkoordinaten liegen oder nicht, als eine Variable gehalten werden. Liegen die Anfangspunktkoordinaten über den oberen Endpunktkoordinaten, werden die Anfangspunktkoordinaten als die oberen Endpunktkoordinaten bestimmt, und somit werden die oberen Endpunktkoordinaten aktualisiert (S125). Diese Bestimmung und das Aktualisieren werden auch für die unteren Endpunktkoordinaten, die linken Endpunktkoordinaten und die rechten Endpunktkoordinaten durchgeführt. Wird der Zielbewegungsvektor in Schritt S124 als „unzuverlässig” bestimmt, werden Schritt S124 und Schritt S125 übersprungen. Als Nächstes wird bestimmt, ob der oben beschriebene Prozess für alle Bewegungsvektoren in dem Bild abgeschlossen wurde oder nicht (S126). Wurde der Prozess abgeschlossen, wird der Prozess beendet. Gibt es einen unbestimmten Bewegungsvektor, kehrt der Prozess zu Schritt S122 zurück, und ein unbestimmter Bewegungsvektor wird ausgewählt.
Die Details des Koordinatenreihenfolgebestimmungsprozesses S102 sind unten beschrieben. In diesem Prozess wird die Reihenfolge der Scheitelpunkte des aktuellen Objektbereichs AC basierend auf den in dem Endpunktkoordinatenbestimmungsprozess S101 bestimmten oberen, unteren, linken und rechten Endpunktkoordinaten bestimmt.
17 ist ein Flussdiagramm, das den Koordinatenreihenfolgebestimmungsprozess S102 darstellt. Zunächst wird ein Anfangspunkt mit denselben Koordinaten wie der obere Endpunkt in einer Aufwärts-abwärts-Richtung (zum Beispiel einer vertikalen Abtastrichtung) unter den Anfangsvektoren der als „zuverlässig” bestimmten Bewegungsvektoren VE ausgewählt. Wenn eine Mehrzahl von Anfangspunkten ausgewählt wird, werden diese Punkte als Scheitelpunkte bestimmt und in der Reihenfolge von links nach rechts nummeriert. Wird ein einzelner Anfangspunkt ausgewählt, wird der Punkt als Scheitelpunkt bestimmt und nummeriert (S141). Als Nächstes wird ein Anfangspunkt mit denselben Koordinaten wie der rechte Endpunkt in einer Rechts-links-Richtung (zum Beispiel einer horizontalen Abtastrichtung) unter den Anfangsvektoren der als „zuverlässig” bestimmten Bewegungsvektoren VE ausgewählt. Wenn eine Mehrzahl von Anfangspunkten ausgewählt wird, werden diese Punkte als Scheitelpunkte bestimmt und in der Reihenfolge von oben nach unten nummeriert. Wird ein einzelner Anfangspunkt ausgewählt, wird der Punkt als Scheitelpunkt bestimmt und nummeriert (S142). Diese Reihenfolge setzt sich von der in Schritt 141 bestimmten Reihenfolge fort. Als Nächstes wird ein Anfangspunkt mit denselben Koordinaten wie der untere Endpunkt in einer Von Oben-Nach Unten-Richtung unter den Anfangsvektoren der als „zuverlässig” bestimmten Bewegungsvektoren VE ausgewählt. Wenn eine Mehrzahl von Anfangspunkten ausgewählt wird, werden diese Punkte als Scheitelpunkte bestimmt und in der Reihenfolge von rechts nach links nummeriert. Wird ein einzelner Anfangspunkt ausgewählt, wird der Punkt als Scheitelpunkt bestimmt und nummeriert (S143). Diese Reihenfolge setzt sich von der in Schritt 142 bestimmten Reihenfolge fort. Als Nächstes wird ein Anfangspunkt mit denselben Koordinaten wie der linke Endpunkt in einer Links-rechts-Richtung unter den Anfangsvektoren der als „zuverlässig” bestimmten Bewegungsvektoren VE ausgewählt. Wenn eine Mehrzahl von Anfangspunkten ausgewählt wird, werden diese Punkte als Scheitelpunkte bestimmt und in der Reihenfolge von unten nach oben nummeriert. Wird ein einzelner Anfangspunkt ausgewählt, wird der Punkt als Scheitelpunkt bestimmt und nummeriert (S144). Diese Reihenfolge setzt sich von der in Schritt 143 bestimmten Reihenfolge fort.
Die Details des Bereichsverhältnisberechnungsprozesses S103 werden später beschrieben. In diesem Prozess wird eine Bereichsrate S rate zwischen der polygonalen Form (aktueller Objektbereich AC), gebildet aus den Anfangspunkten der in dem Endpunktkoordinatenbestimmungsprozess S101 bestimmten Bewegungsvektoren, und der polygonalen Form (vorhergehender Objektbereich AP), gebildet aus den entsprechenden Endpunkten der Bewegungsvektoren basierend auf der in dem Koordinatenreihenfolgebestimmungsprozess S102 bestimmten Reihenfolge berechnet. Konkret wird die Berechnung mithilfe der folgenden Formeln (3) bis (5) durchgeführt.
Es ist anzumerken, dass es sich bei S_curr um den Bereich des aktuellen Objektbereichs AC handelt. S_prev ist der Bereich des vorhergehenden Objektbereichs AP. (x_curri, y_curri) sind die Scheitelpunktkoordinaten (Anfangspunkt des Bewegungsvektors) des in dem Endpunktkoordinatenbestimmungsprozess S101 bestimmten aktuellen Objektbereichs AC. Das Bezugszeichen ”i” zeigt die in dem Koordinatenreihenfolgebestimmungsprozess S102 bestimmte Reihenfolge der Koordinaten an und ist eine Ganzzahl, die die Gleichung 0 ≤ i ≤ N erfüllt (es ist zu beachten, dass i = 0 und i = N denselben Scheitelpunkt anzeigen, weil der aktuelle Objektbereich AC eine polygonale Form aufweist), und (x_previ, y_previ) sind die Koordinaten (Endpunkt des Bewegungsvektors) der Scheitelpunktkoordinaten des vorhergehenden Objektbereichs AP. Die Reihenfolge wird auf dieselbe wie die des aktuellen Objektbereichs AC festgelegt, sodass (x_curri, y_curri) und (x_previ, y_previ) dem Anfangspunkt und dem Endpunkt eines einzelnen Bewegungsvektors entsprechen.
Wenn die globale Bewegungsinformation (der zur Oberfläche parallele Bewegungsbetrag und der zur Oberfläche orthogonale Bewegungsbetrag) basierend auf dem wie oben beschriebenen als zuverlässig bestimmten Bewegungsvektor erfasst wird, dann kann die Bewegung des gesamten Bildes mit Robustheit gegen Rauschen und gesicherten lokalen Bewegungen erfasst werden (d. h. mit reduziertem Einfluss des Rauschens und der lokalen Bewegungen). Beispielsweise umfasst eine lokale Bewegung eines Objekts, die auftreten kann, wenn ein medizinisches Endoskop verwendet wird, Pulsierung, eine Bewegung eines Behandlungsinstruments und dergleichen.
Der Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720 kann den zur Oberfläche orthogonalen Bewegungsbetrag über einen Prozess gemäß der folgenden Modifikation erhalten.
Konkret berechnet der Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags 720 den zur Oberfläche orthogonalen Bewegungsbetrag aus einem Koordinatenumwandlungsparameter für die Anfangspunktkoordinaten und die Endpunktkoordinaten des als „zuverlässig” bestimmten Bewegungsvektors (folgende Formel (6)). Hier handelt es sich bei der Koordinatenumwandlung um die Helmert-Umwandlung. Somit wird eine Koordinate über die Helmert-Umwandlung in eine andere Koordinate umgewandelt.
Es ist anzumerken, dass (x, y) die Koordinaten vor der Umwandlung sind, (X, Y) die Koordinaten nach der Umwandlung sind, und a, b, c, d Helmert-Umwandlungskoeffizienten sind. Bei allen als zuverlässig bestimmten Bewegungsvektoren werden die Endpunktkoordinaten als die Koordinaten vor der Umwandlung (x, y) festgelegt und die Anfangspunktkoordinaten werden auf die Koordinaten nach der Umwandlung (X, Y) festgelegt. Dann werden die Helmert-Umwandlungskoeffizienten, die den Minimalfehler in der Helmert-Umwandlung erreichen, über eine Methode der kleinsten Quadrate für die Koordinaten berechnet. Die so berechneten Helmert-Umwandlungskoeffizienten a und b sind Koeffizienten bezogen auf eine Vergrößerungsänderung der Koordinaten und eine Rotation der Koordinaten. Diese Vergrößerungsänderung D_change kann wie in der folgenden Formel (7) berechnet werden. D_change = √a² + b² (7)
Die Vergrößerungsänderung D_change entspricht dem oben mit Bezug auf Formel (3) beschriebenen Bereichsverhältnis S_rate. Somit wird ein Log der Vergrößerungsänderung D_change ähnlich erhalten wie der zur Oberfläche orthogonale Bewegungsbetrag. Wenn sich die Kamera nah an das Objekt bewegt, gilt die Vergrößerungsänderung ≥ 1,0, und somit wird der zur Oberfläche orthogonale Bewegungsbetrag als positiver Wert erhalten. Wenn sich die Kamera von dem Objekt wegbewegt, gilt die Vergrößerungsänderung ≤ 1,0, und somit wird der zur Oberfläche orthogonale Bewegungsbetrag als negativer Wert erhalten.
2.6. Abschnitt zur Bestimmung der globalen Bewegungsinformation
Die Details des Abschnitts zur Bestimmung der globalen Bewegungsinformation 362 sind unten beschrieben. 18 ist ein Flussdiagramm, das einen von dem Abschnitt zur Bestimmung der globalen Bewegungsinformation 362 durchgeführten Prozess darstellt. Zunächst wird die Anzahl effektiver Vektoren auf 0 zurückgesetzt (S161). Als Nächstes wird ein Zielbewegungsvektor ausgewählt (S162). Als Nächstes wird für den so ausgewählten Zielbewegungsvektor bestimmt, ob die von dem Bewegungsinformationsbestimmungsabschnitt 350 ausgegebene Bewegungsinformationszuverlässigkeit „zuverlässig” oder „unzuverlässig” ist (S163). Wenn das Ergebnis der Bestimmung „zuverlässig” ist, wird die Anzahl effektiver Bewegungsvektoren erhöht (S164). Wenn das Ergebnis der Bestimmung „unzuverlässig” ist, schreitet der Prozess zu Schritt S165 fort. Als Nächstes wird bestimmt, ob die Schritte S162 bis S164 für alle Bewegungsvektoren in dem Bild abgeschlossen wurden oder nicht (S165). Wurde der Prozess abgeschlossen, schreitet der Prozess zu Schritt S166 fort. Gibt es einen unbestimmten Bewegungsvektor, kehrt der Prozess zu Schritt S162 zurück, und ein unbestimmter Bewegungsvektor wird ausgewählt. In Schritt S166 wird die Anzahl effektiver Bewegungsvektoren mit einem Schwellenwert verglichen (S166). Wenn die Anzahl effektiver Bewegungsvektoren den Schwellenwert übersteigt, wird die globale Bewegungsinformation als „zuverlässig” bestimmt (S167). Wenn die Anzahl effektiver Bewegungsvektoren den Schwellenwert nicht übersteigt, wird die globale Bewegungsinformation als „unzuverlässig” bestimmt (S168).
2.7. Fokussierungssteuerungsabschnitt
Die Details des Fokussierungssteuerungsabschnitts 363 sind unten beschrieben. 19 ist ein Flussdiagramm, das einen von dem Fokussierungssteuerungsabschnitt 363 durchgeführten Prozess darstellt. Zunächst wird bestimmt, ob das Fokussteuerungssignal „AN” oder „AUS” ist (S181). Wenn das Fokussteuerungssignal „AN” ist, wird der Fokussierungssteuerungsprozess beendet. Wenn das Fokussteuerungssignal „AUS” ist, wird bestimmt, ob ein Zurücksetzflag „AN” oder „AUS” ist (S182). Wenn das Fokussteuerungssignal „AN” ist, wird die kumulative globale Bewegungsinformation auf 0 Vektoren zurückgesetzt (S183), die Anzahl von kumulierten Szenen mit geringer Zuverlässigkeit wird auf 0 zurückgesetzt (S184), das Zurücksetzflag wird „AUS” geschaltet (S185) und der Prozess schreitet zu Schritt S186 fort. Wenn das Zurücksetzflag in Schritt S182 „AUS” ist, schreitet der Prozess zu Schritt S186 fort. In Schritt S186 wird bestimmt, ob die von dem Abschnitt zur Bestimmung der globalen Bewegungsinformation 362 ausgegebene globale Bewegungsinformationszuverlässigkeit „zuverlässig” oder „unzuverlässig” ist (S186). Wenn ein Ergebnis der Bestimmung „zuverlässig” ist, schreitet der Prozess zu Schritt S189 fort. Wenn ein Ergebnis der Bestimmung „unzuverlässig” ist, wird die Anzahl von kumulierten Szenen mit geringer Zuverlässigkeit erhöht (S187), die globale Bewegungsinformation aktualisiert (S188) und der Prozess schreitet zu Schritt S189 fort. Schritt S188 wird später beschrieben. In Schritt S189 wird die globale Bewegungsinformation mit einem Schwellenwert verglichen. Wenn die globale Bewegungsinformation den Schwellenwert übersteigt, wird die globale Bewegungsinformation zu der kumulativen globalen Bewegungsinformation hinzugefügt (Kumulation) (S190) und der Prozess schreitet zu Schritt S191 fort. Wenn die globale Bewegungsinformation den Schwellenwert nicht übersteigt, schreitet der Prozess zu Schritt S191 fort.
In Schritt S191 wird die globale Bewegungsinformation mit einem Schwellenwert verglichen. Wenn die globale Bewegungsinformation den Schwellenwert übersteigt, schreitet der Prozess zu Schritt S193 fort. Wenn die kumulative globale Bewegungsinformation den Schwellenwert nicht übersteigt, wird die Anzahl von kumulierten Szenen mit geringer Zuverlässigkeit mit einem Schwellenwert verglichen (S192). Wenn die globale Bewegungsinformation den Schwellenwert übersteigt, schreitet der Prozess zu Schritt S193 fort. Wenn die Anzahl von kumulierten Szenen mit geringer Zuverlässigkeit einen Schwellenwert nicht übersteigt, wird der Fokussierungssteuerungsprozess beendet. In Schritt S193 wird das Zurücksetzflag auf „AN” geschaltet, und dann wird das Fokussteuerungssignal auf „AN” geschaltet (S194).
In Schritt S188 wird die globale Bewegungsinformation wie folgt aktualisiert. Konkret wird die globale Bewegungsinformation, die dem direkt vorhergehenden Einzelbild entspricht (in weitem Sinne einem Einzelbild vor dem aktuellen Einzelbild) als die dem aktuellen Einzelbild entsprechende globale Bewegungsinformation kopiert. In diesem Prozess wird das Kopieren durchgeführt, wenn die dem direkt vorhergehenden Einzelbild entsprechende globale Bewegungsinformationszuverlässigkeit „zuverlässig” ist, und wird nicht durchgeführt, wenn die globale Bewegungsinformationszuverlässigkeit „unzuverlässig” ist.
Mithilfe der direkt vorhergehenden Bewegungsinformation, bei der die Erfassung erfolgreich („zuverlässig”) war, kann die bewegungsbasierte Fokussierungssteuerung stabil durchgeführt werden.
Statt die dem unmittelbar vorhergehenden Einzelbild entsprechende globale Bewegungsinformation einfach zu kopieren, werden eventuell nur die Zeichen des zur Oberfläche parallelen Bewegungsbetrags und des zur Oberfläche orthogonalen Bewegungsbetrags kopiert und die absoluten Werte davon können als fester Parameter genutzt werden. Durch diese Konfiguration braucht die dem unmittelbar vorhergehenden Einzelbild entsprechende globale Bewegungsinformation nicht gehalten zu werden, und somit kann eine Kostenreduktion erzielt werden.
Durch den Vergleich in Schritt S189 kann eine kleine globale Bewegungsinformation aufgrund von Schütteln oder dergleichen als Rauschen eliminiert werden, wodurch eine stabilere Fokussierungssteuerung erreicht werden kann.
In Schritt S191 wird die kumulative globale Bewegungsinformation als Ergebnis des Prozesses des Kumulierens der globalen Bewegungsinformation mit der in Schritt S186 als „zuverlässig” bestimmten globalen Bewegungsinformationszuverlässigkeit mit einem Schwellenwert verglichen. Wenn die Information den Schwellenwert übersteigt, wird die Fokussierung als erforderlich bestimmt und das Fokussteuerungssignal „AN” geschaltet. Da die Fokussierung basierend auf einer „zuverlässigen” globalen Bewegungsinformation gesteuert wird, kann eine zuverlässigere Steuerung erreicht werden.
2.8. Fokussierungsdurchführabschnitt
Die Details des Fokussierungsdurchführabschnitts 364 sind unten beschrieben. Wenn das Fokussteuerungssignal „AN” ist, treibt der Fokussierungsdurchführabschnitt 364 die Fokuslinse 210 in Synchronisation mit der Bildausgabezeit basierend auf dem aus dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild dazu an, die Fokussierung durchzuführen.
20 ist ein Flussdiagramm, das einen von dem Fokussierungsdurchführabschnitt 364 durchgeführten Prozess darstellt. Zunächst wird bestimmt, ob das Fokussteuerungssignal „AN” oder „AUS” ist (S201). Wenn das Fokussteuerungssignal „AN” ist, schreitet der Prozess zu Schritt S202 fort. Wenn das Fokussteuerungssignal „AUS” ist, wird der Fokussierungsdurchführvorgang beendet. In Schritt S202 wird eine In-Fokus-Richtung (eine Richtung, in der die Fokuslinse 210 bei der nächsten Bildausgabezeit angetrieben wird) basierend auf einem aus dem Vorverarbeitungsabschnitt 320 ausgegebenen Bild, zum Beispiel über ein bekanntes Verfahren bestimmt. Als Nächstes wird die Wobbelmittenposition basierend auf der so bestimmten In-Fokus-Richtung geändert (S203), und eine Wobbelbewegung wird an der Mittenposition verursacht. Konkret ist die in S203 bestimmte In-Fokus-Richtung eine Richtung, in der eine Position des fokussierten Objekts sich nah an dem Bildabschnitt 200 befindet, oder eine Richtung, in der die Position des fokussierten Objekts sich unendlich weit weg von dem Bildabschnitt 200 befindet. Als Nächstes wird bestimmt, ob die Fokussierung erfolgreich abgeschlossen wurde oder nicht (ob das Objekt fokussiert wurde oder nicht), zum Beispiel über ein bekanntes Verfahren (S204). Wenn das Objekt fokussiert wurde, wird das Fokussignal von „AN” auf „AUS” geschaltet (S205), und dann wird der Fokussierungsdurchführvorgang beendet. Wenn das Objekt nicht fokussiert wurde, wird der Fokussierungsdurchführvorgang beendet.
Wenn das Fokussteuerungssignal auf „AUS” geschaltet wird, wenn in Schritt S204 bestimmt wurde, dass das Objekt fokussiert wurde, wird der Standby-Zustand, in dem kein AF durchgeführt wird, erreicht, und der Prozess in Schritt S182 und nach dem in 19 dargestellten Ablauf wird durchgeführt. Wenn in Schritt S191 die kumulative globale Bewegungsinformation als gleich oder kleiner als der Schwellenwert bestimmt wird, und in Schritt S192 die Anzahl von kumulierten Szenen mit geringer Zuverlässigkeit als gleich oder kleiner als der Schwellenwert bestimmt wird, dann bleibt das Fokussteuerungssignal „AUS” und der Standby-Zustand wird beibehalten. Somit werden die Prozesse in Schritt S182 erneut durchgeführt. Wenn in Schritt S191 die kumulative globale Bewegungsinformation als größer als der Schwellenwert bestimmt wird, und in Schritt S192 die Anzahl von kumulierten Szenen mit geringer Zuverlässigkeit als größer als der Schwellenwert bestimmt wird, dann wird in Schritt 194 das Fokussteuerungssignal auf „AN” geschaltet und die Prozesse in Schritt S202 und danach in 20 werden durchgeführt. Die Prozesse in Schritt S202 und danach werden wiederholt, bis bestimmt wurde, dass das Objekt in Schritt S204 fokussiert wurde und das Fokussteuerungssignal in Schritt S205 auf „AUS” geschaltet wurde. Somit werden die Fokussierung und der Standby-Zustand abwechselnd implementiert.
Wie oben beschrieben, erhält der Fokussteuerungsabschnitt 360 die kumulative globale Bewegungsinformation als Ergebnis des Prozesses des Kumulierens der globalen Bewegungsinformation über die globale relative Bewegung zwischen dem Bildabschnitt 200 und dem Objekt (zum Beispiel dem Log des zur Oberfläche parallelen Bewegungsbetrags, des zur Oberfläche orthogonalen Bewegungsbetrags und dem in den Abläufen in 13 und 14 erhaltenen Bereichsverhältnis) über eine Mehrzahl von Einzelbildern, basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit (S186 bis S190 in 19). Die Fokussierung wird durchgeführt, wenn die kumulative globale Bewegungsinformation als größer als der Schwellenwert für die kumulative globale Bewegungsinformation bestimmt wird (S191 bis S194 in 19).
Da die Fokussierung durchgeführt wird, wenn der über eine Mehrzahl von Einzelbildern kumulierte globale Bewegungsbetrag einen vorbestimmten Betrag übersteigt, kann die AF-Steuerung derart implementiert werden, dass die Fokussierung bei Bewegungen durchgeführt wird, die langsam zu einem großen Bewegungsbetrag kumuliert werden, und nicht bei einer vom Benutzer unbeabsichtigten momentanen Bewegung durchgeführt wird.
Der Schwellenwert für die kumulative globale Bewegungsinformation ist ein Schwellenwert zum Erfassen einer relativen Bewegung bezüglich eines Bildabschnitts 200 und eines Objekts, das durch die kumulative globale Bewegungsinformation dargestellt wird. Konkret zeigt die globale Bewegungsinformation zum Beispiel einen Bewegungsbetrag zwischen Einzelbildern an und wird kumuliert (zum Beispiel zusammengefasst oder integriert), um die kumulative globale Bewegungsinformation zu ergeben. Somit stellt die kumulative globale Bewegungsinformation eine Bewegung in einem längeren Zeitraum als die globale Bewegungsinformation dar (stellt den Bewegungsbetrag über eine Mehrzahl von Einzelbildern dar). Zum Beispiel entspricht die globale Bewegungsinformation der Geschwindigkeit einer Bewegung, und der Bewegungsbetrag (Abstand und Richtung) als Ergebnis des Integrierens dieser Information entspricht der kumulativen globalen Bewegungsinformation. Die Bestimmung wird auf der kumulativen globalen Bewegungsinformation mit einem Schwellenwert vorgenommen und somit kann ein Bewegungsbetrag bestimmt werden. Zum Beispiel kann der Schwellenwert ein Wert sein, der einem Drittel oder der Hälfte der Bildgröße entspricht. Bei dieser Konfiguration wird die Fokussierung durchgeführt, wenn sich das Objekt um ein Drittel oder die Hälfte der Bildgröße auf dem Bild bewegt (d. h., wenn sich der Abbildungsabschnitt bewegt). Alternativ kann der Schwellenwert ein Wert sein, der der Tiefenschärfe entspricht. Bei dieser Konfiguration wird die Fokussierung durchgeführt, wenn das Objekt außerhalb der Tiefenschärfe liegt.
In der vorliegenden Ausführungsform bestimmt der Fokussteuerungsabschnitt 360 die globale Bewegungsinformationszuverlässigkeit, die die Zuverlässigkeit der globalen Bewegungsinformation anzeigt, basierend auf der Bewegungsinformationszuverlässigkeit. Bei einem Einzelbild, in dem die globale Bewegungsinformationszuverlässigkeit als niedrig bestimmt wird (zum Beispiel „unzuverlässig”), wird der Prozess des Kumulierens der globalen Bewegungsinformation nicht durchgeführt (der Prozess schreitet von S186 bis S187 und S188 in 19 fort).
Zum Beispiel wird in der vorliegenden Ausführungsform, wenn die globale Bewegungsinformation in Schritt S186 als „unzuverlässig” bestimmt wird, in Schritt S188 die dem aktuellen Einzelbild entsprechende globale Bewegungsinformation mit der dem direkt vorhergehenden Einzelbild entsprechenden globalen Bewegungsinformation aktualisiert. Somit wird die dem aktuellen Einzelbild entsprechende globale Bewegungsinformation in Schritt S190 nicht kumuliert. Es ist zu beachten, dass dies nicht im Sinne einer Beschränkung auszulegen ist, und ein Ablauf, in dem Schritt S190 übersprungen wird, wenn in Schritt S186 die globale Bewegungsinformation als „unzuverlässig” bestimmt wird, genutzt werden kann.
Wenn die globale Bewegungsinformation, die der globalen Bewegungsinformationszuverlässigkeit eines niedrigen Einzelbildes entspricht, nicht kumuliert wird, kann basierend auf einer hoch zuverlässigen globalen Bewegungsinformation bestimmt werden, ob die Fokussierung durchgeführt wird oder nicht. Beispielsweise können, wenn der Matching-Prozess aufgrund von Rauschen oder dergleichen fehlschlägt, viele lokale Bewegungsvektoren als „unzuverlässig” bestimmt werden. Da bestimmt wurde, dass die globale Bewegungsinformation eine geringe Zuverlässigkeit aufweist, kann der Einfluss der globalen Bewegungsinformation, die eine globale Bewegung des Gewebes (Hintergrund) nicht exakt darstellt, reduziert werden.
In der vorliegenden Ausführungsform führt der Fokussteuerungsabschnitt 360 den Kumulierungsprozess für die globale Bewegungsinformation, die einem Einzelbild entspricht, mit dem Bewegungsbetrag, der die globale Bewegungsinformation darstellt, die kleiner als der Schwellenwert für die globale Bewegungsinformation ist, nicht durch (der Prozess schreitet von S189 zu S191 in 19 fort).
Somit kann eine aufgrund von Schütteln oder dergleichen erzeugte kleine globale Bewegungsinformation bei der Bestimmung mithilfe des Schwellenwerts zum Beispiel als Rauschen eliminiert werden. Somit kann nur eine relativ große Bewegung, die erzeugt wird, wenn das Endoskop bedient wird, wie vom Benutzer vorgesehen, erfasst werden, wodurch stabil bestimmt werden kann, ob die Fokussierung erforderlich ist oder nicht.
In der vorliegenden Ausführungsform führt der Fokussteuerungsabschnitt 360 einen Prozess derart durch, dass bei einem Einzelbild mit der als gering bestimmten globalen Bewegungsinformationszuverlässigkeit die globale Bewegungsinformation in einem Einzelbild vor (zum Beispiel direkt vor dem Einzelbild) dem aktuellen Einzelbild als die globale Bewegungsinformation des Einzelbilds kumuliert wird (Schritt S188). Alternativ kann der Fokussteuerungsabschnitt 360 einen Prozess derart durchführen, dass bei einem Einzelbild mit der als gering bestimmten globalen Bewegungsinformationszuverlässigkeit die vorbestimmte globale Bewegungsinformation als die globale Bewegungsinformation des Einzelbilds kumuliert wird.
Wenn zum Beispiel eine Bewegung schnell ist, wird ein Bewegungsvektor in dem Matching-Prozess eventuell nicht erfasst werden, und somit ist ein Ergebnis der Bestimmung eventuell „unzuverlässig”. In einem solchen Zustand wird, wenn die kumulative globale Bewegungsinformation nicht zunimmt, die Fokussierung trotz der Notwendigkeit, die Fokussierung durchzuführen, eventuell nicht durchgeführt werden. In Anbetracht dessen wird in der vorliegenden Ausführungsform die globale Bewegungsinformation, die dem direkt vorhergehenden Einzelbild entspricht, so kumuliert, dass die kumulative globale Bewegungsinformation zunimmt. Somit kann das Fehlschlagen der Durchführung der Fokussierung bei Bewegung des Endoskops verhindert werden.
In der vorliegenden Ausführungsform bestimmt der Fokussteuerungsabschnitt 360, ob die Fokussierung durchzuführen ist oder nicht, basierend auf der Anzahl von Einzelbildern, mit der als geringe Zuverlässigkeit bestimmten globalen Bewegungsinformation (S187 und S192 in 19). Konkret führt der Fokussteuerungsabschnitt 360 die Fokussierung durch, wenn die Anzahl von Einzelbildern in einer vorbestimmten Anzahl von Einzelbildern mit einer globalen Bewegungsinformation, deren Zuverlässigkeit als gering bestimmt wurde, den Schwellenwert für die Anzahl von Einzelbildern übersteigt (der Prozess schreitet von S192 zu S193 und S194 fort). Alternativ kann der Fokussteuerungsabschnitt 360 die Fokussierung durchführen, wenn die Anzahl von Einzelbildern, mit einer globalen Bewegungsinformation, deren Zuverlässigkeit sequenziell als gering bestimmt wurde (die Anzahl von Einzelbildern, deren Zuverlässigkeit nachfolgend als gering bestimmt wurde) den Schwellenwert für die Anzahl von Einzelbildern übersteigt.
Wenn die globale Bewegungsinformation häufig als eine geringe Zuverlässigkeit aufweisend bestimmt wird, setzt sich die Situation, in der die Zuverlässigkeit der Bewegungsinformation gering ist, fort. Somit gibt es keine Garantie dafür, dass sich die Szene nicht geändert hat (dasselbe Objekt aufgenommen wird). Wenn nicht erkannt werden kann, wie sich solch eine Situation verändert hat, ist das Objekt eventuell nicht fokussiert. Somit wird die Fokussierung als notwendig bestimmt, wodurch ein vorsorglicher Ansatz genutzt werden kann, um das Objekt in einer Situation zu fokussieren, in der die Szene nicht bestimmt werden kann.
3. Dritte Ausführungsform
21 stellt ein Konfigurationsbeispiel für eine Endoskopvorrichtung gemäß einer dritten Ausführungsform dar. Die Endoskopvorrichtung umfasst ein starres Endoskop 100, das in einen Körper eingeführt wird, einen Bildabschnitt 200, der mit dem starren Endoskop 100 verbunden ist, einen Verarbeitungsabschnitt 300, einen Anzeigeabschnitt 400, einen externen Schnittstellenabschnitt 500 und einen Lichtquellenabschnitt 600. Auf die Beschreibung der Elemente, die in der ersten und der zweiten Ausführungsform beschrieben wurden, wurde hier verzichtet, wenn angebracht.
Das starre Endoskop 100 umfasst einen 6-Achsen-Bewegungssensor 130, der dreiachsige Drehbewegungen und dreiachsige Translationsbewegungen erfasst. Das starre Endoskop 100 gibt ein Erfassungssignal (Bewegungssignal) aus dem Bewegungssensor 130 an den Verarbeitungsabschnitt 300 aus. Beispielsweise umfasst der Bewegungssensor 130 einen Winkelgeschwindigkeitssensor (Gyro-Sensor), der Winkelbeschleunigungen um drei Achsen (d. h. eine x-Achse, eine y-Achse und eine z-Achse, die zueinander orthogonal sind) erfasst, und einen Beschleunigungssensor, der Beschleunigungen in dreiachsige (d. h. x-Achse, y-Achse und z-Achse) Richtungen erfasst. Der Bewegungssensor 130 arbeitet bei einer Frequenz, die ausreichend höher ist als die Zustandsfrequenz (Einzelbildfrequenz) des Bildsensors 240. Der Bewegungssensor 130 integriert die erfassten Winkelbeschleunigungen und Beschleunigungen mithilfe eines Integrators (in den Zeichnungen nicht dargestellt) und gibt die Integrationsergebnisse als eine Änderung des Winkels und eine Änderung der Position aus. Die Integrationsstart/-endzeit wird mit der Zustandszeit (Bildaufnahmezeit) des Bildsensors 240 synchronisiert. Das Bewegungssignal stellt eine Änderung des Winkels und eine Änderung der Position des starren Endoskops 100 dar, die zwischen den Zustandszeiten (Einzelbildern) des Bildsensors 240 aufgetreten sind.
Der Verarbeitungsabschnitt 300 umfasst einen A/D-Konvertierungsabschnitt 310, einen Vorverarbeitungsabschnitt 320, einen Bildverarbeitungsabschnitt 330, einen Fokussteuerungsabschnitt 360, einen Steuerungsabschnitt 370, einen Bewegungsinformationserfassungsabschnitt 380 und einen Bewegungsinformationsbestimmungsabschnitt 390.
Der Bewegungsinformationserfassungsabschnitt 380 erfasst die Bewegungsinformation basierend auf einer Erfassungssignalausgabe aus dem Bewegungssensor 130 und der Position des fokussierten Objekts. Die so erfasste Bewegungsinformation wird an den Fokussteuerungsabschnitt 360 und den Bewegungsinformationsbestimmungsabschnitt 390 ausgegeben. Die Bewegungsinformation umfasst den zur Oberfläche parallelen Bewegungsbetrag und den zur Oberfläche orthogonalen Bewegungsbetrag wie in der zweiten Ausführungsform.
Der zur Oberfläche parallele Bewegungsbetrag wird von der zur Oberfläche parallelen Komponente (d. h. der Gierkomponente und der Nickkomponente einer Änderung im Winkel) einer Änderung in der Position (Bewegung im realen Raum) berechnet. Noch konkreter ist der zur Oberfläche parallele Bewegungsbetrag die Summe eines Terms, der eine Änderung in der Position in dem realen Raum basierend auf der Bildvergrößerung in den Bewegungsbetrag in dem Bild konvertiert, und ein Term, der eine Änderung im Winkel in dem realen Raum basierend auf dem Verhältnis bezüglich des maximalen Kamerawinkels (siehe die folgenden Ausdrücke (8) und (9)) in den Bewegungsbetrag innerhalb des Bildes konvertiert. MV_UD = HEAVE × ZOOM(P) + PITCH ÷ MAX_ANGLE_UD × MAX_PIXEL_UD (8) MV_LR = SWAY × ZOOM(P) + YAW ÷ MAX_ANGLE_LR × MAX_PIXCEL_LR (9)
Es ist zu beachten, dass HEAVE eine Komponente der Änderung in der Position in der Aufwärts-abwärts-Richtung ist, und SWAY eine Komponente der Änderung in der Position in der Rechts-links-Richtung ist. ZOOM(P) ist die Bildvergrößerung an der Position P des fokussierten Objekts. PITCH ist die Nickkomponente der Änderung im Winkel und YAW ist die Gierkomponente der Änderung im Winkel. MAX_ANGLE_UD ist der maximale Kamerawinkel des starren Endoskops 100 in der Aufwärts-abwärts-Richtung und MAX_ANGLE_LR ist der maximale Kamerawinkel des starren Endoskops 100 in der Rechts-links-Richtung. MAX_PIXEL_UD ist die maximale Pixelanzahl des Bildsensors 240 in der Aufwärts-abwärts-Richtung und MAX_PIXEL_LR ist die maximale Pixelanzahl des Bildsensors 240 in der Rechts-links-Richtung. MV_UD ist ein Bewegungsbetrag in der Oberfläche in Aufwärts-abwärts-Richtung. MV_LR ist ein Bewegungsbetrag in Rechts-links-Richtung.
Die orthogonal zur Oberfläche verlaufende Komponente einer Änderung in der Position (Bewegung im realen Raum) wird als der zur Oberfläche orthogonale Bewegungsbetrag genutzt. Deshalb weist der zur Oberfläche orthogonale Bewegungsbetrag gemäß der dritten Ausführungsform ein Zeichen und eine Größe auf (z. B. –3 mm oder +10 mm).
Der Fokussteuerungsabschnitt 360 kumuliert den so erfassten zur Oberfläche parallelen Bewegungsbetrag und den zur Oberfläche orthogonalen Bewegungsbetrag, um eine Steuerung durchzuführen, die ähnlich der in der zweiten Ausführungsform ist.
Der Bewegungsinformationsbestimmungsabschnitt 390 bestimmt die Zuverlässigkeit der Bewegungsinformation basierend auf der aus dem Bewegungsinformationserfassungsabschnitt 380 ausgegebenen Bewegungsinformation. Die so bestimmte Bewegungsinformationszuverlässigkeit wird an den Fokussteuerungsabschnitt 360 ausgegeben. Zum Beispiel ist das Ergebnis der Bestimmung „unzuverlässig”, wenn ein absoluter Wert der Bewegungsinformation einen Schwellenwert übersteigt. Alternativ ist das Ergebnis der Bestimmung „unzuverlässig”, wenn die Differenz zwischen einer gemittelten Bewegungsinformation, die einer vorbestimmten Anzahl von vorhergehenden Einzelbildern entspricht, und der Bewegungsinformation, die dem aktuellen Einzelbild entspricht, einen Schwellenwert übersteigt. Das Ergebnis der Bestimmung ist „zuverlässig”, wenn keine dieser Bedingungen erfüllt ist.
Obwohl die Konfiguration, bei der das starre Endoskop 100 den Bewegungssensor 130 umfasst, und der Bewegungsbetragserfassungsabschnitt 380 den Bewegungsbetrag basierend auf dem aus dem Bewegungssensor 130 ausgegebenen Bewegungssignal berechnet, oben beschrieben worden ist, kann das starre Endoskop 100 einen Positionssensor (z. B. einen magnetischen Positionssensor) umfassen, und der Bewegungsinformationserfassungsabschnitt 380 kann den Bewegungsbetrag basierend auf einer aus dem Positionssensor ausgegebenen zeitlichen Änderung in der Positionsinformation erfassen.
Gemäß der dritten Ausführungsform wird von dem Objekt reflektiertes Licht als Bild aufgenommen, mithilfe des Bildabschnitts 200, der die Fokussierung durchführen kann und den Bewegungssensor 130 umfasst, der eine Winkelbeschleunigung und eine Beschleunigung erfassen kann. Der relative Bewegungsbetrag bezüglich des Bildabschnitts 200 und des Objekts wird basierend auf der Ausgabe aus dem Bewegungssensor 130 berechnet. Wenn der Nettobewegungsbetrag, der durch Kumulieren des Bewegungsbetrags über eine Mehrzahl an Einzelbildern erhalten wird, einen vorbestimmten Schwellenwert überstiegen hat, wird bestimmt, dass die Fokussierung erforderlich ist, und der Bildabschnitt 200 führt die Fokussierung durch. Da die Fokussierung durchgeführt wird, wenn der durch Kumulieren des Bewegungsbetrags über eine Mehrzahl an Einzelbildern erhaltene Bewegungsbetrag einen vorbestimmten Betrag überstiegen hat, ist es möglich, einen AF-Steuerungsprozess zu implementieren, der die Fokussierung durchführt, wenn das Objekt außerhalb des Fokus liegt, selbst dann, wenn die Bewegung gering ist, und führt die Fokussierung nicht durch, wenn eine vom Benutzer unbeabsichtigte momentane Bewegung aufgetreten ist.
Wie oben beschrieben, erfasst der Bewegungsinformationserfassungsabschnitt 380 die Bewegungsinformation (MV_UD, MV_LR) basierend auf einem Ausgabewert (HEAVE, SWAY, PITCH, YAW) aus dem in dem Bildabschnitt 200 vorhandenen Bewegungssensor 130. Der Bewegungsinformationsbestimmungsabschnitt 390 bestimmt die Bewegungsinformationszuverlässigkeit basierend auf einem Vergleich zwischen der Bewegungsinformation und einem Schwellenwert für die Bewegungsinformation. Zum Beispiel wird die Bewegungsinformation (MV_UD, MV_LR) mit einem absoluten Wert größer als dem Schwellenwert als „unzuverlässig” bestimmt.
Alternativ bestimmt der Bewegungsinformationsbestimmungsabschnitt 390 die Bewegungsinformationszuverlässigkeit basierend auf der Korrelation zwischen jedem einer Mehrzahl von Teilen der in Zeitreihen erfassten Bewegungsinformation und der Bewegungsinformation vor und/oder nach der Bewegungsinformation. Zum Beispiel wird die Bewegungsinformation (MV_UD, MV_LR) in jedem Einzelbild erfasst, und die Zuverlässigkeit wird basierend auf der Korrelation zwischen der Bewegungsinformation in dem j-ten Einzelbild in den Einzelbildern, und der Bewegungsinformation in mindestens einem eines (j – 1)-ten Einzelbilds oder vor einem (j + 1)-ten Einzelbild oder danach bestimmt. Zum Beispiel ist das Ergebnis der Bestimmung „unzuverlässig”, wenn die Differenz zwischen einem gemittelten Wert der Bewegungsinformation, die über einer vorbestimmten Anzahl von das j-te Einzelbild umfassende Einzelbildern erfasst wurde, und der Bewegungsinformation, die in dem j-ten Einzelbild erfasst wurde, einen Schwellenwert übersteigt.
Somit wird der Ausgabewert des Bewegungssensors 130 in Bewegungsinformation über einem Objekt in einem Bild konvertiert, und basierend auf der Bewegungsinformation kann bestimmt werden, ob die Fokussierung erforderlich ist oder nicht. Mit der durch einen Vergleich mithilfe eines Schwellenwerts, Zeitreihenkorrelation oder dergleichen bestimmten Zuverlässigkeit kann der Einfluss einer vom Benutzer unbeabsichtigten kleinen Bewegung oder dergleichen aufgrund von Schütteln oder dergleichen reduziert werden, und die Fokussierung kann bei einer Änderung der Szene auf AN geschaltet werden, was die Fokussierung erfordert.
Die Endoskopvorrichtung oder dergleichen gemäß der ersten bis dritten Ausführungsform kann einen Prozessor und einen Speicher umfassen. Der Prozessor kann zum Beispiel eine Zentraleinheit (CPU) sein. Es ist zu beachten, dass der Prozessor nicht auf eine CPU begrenzt ist. Es können auch verschiedene Arten von Prozessoren wie Grafikprozessoren (GPU) und Digitalsignalprozessoren (DSP) genutzt werden. Der Prozessor kann eine Hardwareschaltung wie eine anwendungsspezifische integrierte Schaltung (ASIC) sein. Der Speicher speichert eine computerlesbare Anweisung. Jeder Abschnitt der Bildverarbeitungseinrichtung und dergleichen gemäß den Ausführungsformen der Erfindung wird implementiert, indem bewirkt wird, dass der Prozessor die Anweisung ausführt. Der Speicher kann ein Halbleiterspeicher (z. B. SRAM oder DRAM), ein Verzeichnis, eine Festplatte oder dergleichen sein. Die Anweisung kann eine Anweisung sein, die in einem Anweisungssatz eines Programms enthalten ist, oder kann eine Anweisung sein, die bewirkt, dass eine Hardwareschaltung des Prozessors arbeitet.
Obwohl die Ausführungsformen, auf die die Erfindung angewendet wird, und die Modifikationen davon oben ausführlich beschrieben worden sind, ist die Erfindung nicht auf die Ausführungsformen und Modifikationen davon begrenzt, und verschiedene Modifikationen und Variationen können vorgenommen werden, ohne vom Schutzumfang der Erfindung abzuweichen. Eine Mehrzahl von oben in Verbindung mit den Ausführungsformen und den Modifikationen davon beschriebenen Elementen kann entsprechend kombiniert werden, um verschiedene Konfigurationen zu implementieren. Zum Beispiel können einige der oben in Verbindung mit den Ausführungsformen und den Modifikationen davon beschriebenen Elementen weggelassen werden. Einige der oben in Verbindung mit den Ausführungsformen und den Modifikationen davon beschriebenen Elementen können entsprechend kombiniert werden. Konkret sind verschiedene Modifikationen und Anwendungen möglich, ohne grundlegend von dem neuartigen Wissen und den Vorteilen der Erfindung abzuweichen. Jeder Begriff, der in der Beschreibung und den Zeichnungen mindestens einmal mit einem anderen Begriff, der eine breitere Bedeutung oder dieselbe Bedeutung hat, angeführt wurde, kann an einer beliebigen Stelle in der Beschreibung und den Zeichnungen durch den anderen Begriff ersetzt werden.
BEZUGSZEICHEN LISTE

2: Endoskopvorrichtung, 4: Behandlungsinstrument, 6: Objekt, 100: starres Endoskop, 110: Linsensystem, 120: Lichtführungsabschnitt, 130: Bewegungssensor, 200: Bildabschnitt, 210: Fokuslinse, 220: Fokuslinsenantriebsabschnitt, 230: Objektivlinsensystem, 240: Bildsensor, 300: Verarbeitungsabschnitt, 310: Konvertierungsabschnitt, 320: Vorverarbeitungsabschnitt, 330: Bildverarbeitungsabschnitt, 340: Bewegungsinformationserfassungsabschnitt, 341: Bildspeicher, 342: Bewegungsvektorberechnungsabschnitt, 350: Bewegungsinformationsbestimmungsabschnitt, 351: Variationsbestimmungsabschnitt, 352: Helligkeitsbestimmungsabschnitt, 353: Bildspeicher, 354: Matching-Grad-Bestimmungsabschnitt, 360: Fokussteuerungsabschnitt, 361: Abschnitt zur Erfassung der globalen Bewegungsinformation, 362: Abschnitt zur Bestimmung der globalen Bewegungsinformation, 363: Fokussierungssteuerungsabschnitt, 364: Fokussierungsdurchführabschnitt, 370: Steuerungsabschnitt, 380: Bewegungsinformationserfassungsabschnitt, 390: Bewegungsinformationsbestimmungsabschnitt, 400: Anzeigeabschnitt, 500: externer Schnittstellenabschnitt, 600: Lichtquellenabschnitt, 610: Weißlichtquelle, 620: Lichtführungskabel, 710: Abschnitt zur Berechnung eines zur Oberfläche parallelen Bewegungsbetrags, 720: Abschnitt zur Berechnung eines zur Oberfläche orthogonalen Bewegungsbetrags, VE: Bewegungsvektor.

Claims

Endoskopvorrichtung, umfassend: einen Bewegungsinformationserfassungsabschnitt, der Bewegungsinformation erfasst, die eine Bewegung bezüglich eines Bildabschnitts und eines Objekts darstellt, einen Bewegungsinformationsbestimmungsabschnitt, der Bewegungsinformationszuverlässigkeit bestimmt, die die Zuverlässigkeit der Bewegungsinformation anzeigt, und einen Fokussteuerungsabschnitt, der bestimmt, ob eine Fokussierung durchzuführen ist oder nicht, um zu bewirken, dass der Bildabschnitt das Objekt basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit fokussiert.
Endoskopvorrichtung nach Anspruch 1, wobei der Fokussteuerungsabschnitt globale Bewegungsinformation über eine globale relative Bewegung bezüglich des Bildabschnitts und des Objekts basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit erhält, globale Bewegungsinformationszuverlässigkeit, die die Zuverlässigkeit der globalen Bewegungsinformation anzeigt, basierend auf der Bewegungsinformationszuverlässigkeit bestimmt, und basierend auf mindestens einer von der globalen Bewegungsinformation oder der globalen Bewegungsinformationszuverlässigkeit bestimmt, ob die Fokussierung durchzuführen ist oder nicht.
Endoskopvorrichtung nach Anspruch 2, wobei der Fokussteuerungsabschnitt kumulative globale Bewegungsinformation als Ergebnis eines Prozesses der Kumulierung der globalen Bewegungsinformation über einer Mehrzahl an Einzelbildern erhält, und basierend auf mindestens einer von der kumulativen globalen Bewegungsinformation oder der globalen Bewegungsinformationszuverlässigkeit bestimmt, ob die Fokussierung durchzuführen ist oder nicht.
Endoskopvorrichtung nach Anspruch 1, wobei der Bewegungsinformationserfassungsabschnitt die Bewegungsinformation, bei der es sich um eine Mehrzahl lokaler Bewegungsbeträge handelt, basierend auf einem aufgenommenen Bild erhält, bei dem es sich um ein von dem Bildabschnitt aufgenommenes Bild des Objekts handelt, und der Bewegungsinformationsbestimmungsabschnitt die Bewegungsinformationszuverlässigkeit für jeden der Mehrzahl lokaler Bewegungsbeträge bestimmt.
Endoskopvorrichtung nach Anspruch 4, wobei der Bewegungsinformationsbestimmungsabschnitt die Bewegungsinformationszuverlässigkeit basierend auf der Korrelation zwischen jedem der Mehrzahl lokaler Bewegungsbeträge und einem peripheren lokalen Bewegungsbetrag bestimmt.
Endoskopvorrichtung nach Anspruch 4, wobei der Bewegungsinformationsbestimmungsabschnitt die Bewegungsinformationszuverlässigkeit basierend auf der Helligkeit des aufgenommenen Bildes in einem Bereich bestimmt, der jedem der Mehrzahl lokaler Bewegungsbeträge entspricht.
Endoskopvorrichtung nach Anspruch 4, wobei jeder der lokalen Bewegungsbeträge ein Bewegungsvektor ist, der Bewegungsinformationsbestimmungsabschnitt die Bewegungsinformationszuverlässigkeit basierend auf der Korrelation zwischen einem Pixelwert eines oder mehrerer Pixel, die einem Anfangspunkt des Bewegungsvektors entsprechen, und einem Pixelwert eines oder mehrerer Pixel, die einem Endpunkt des Bewegungsvektors entsprechen, bestimmt.
Endoskopvorrichtung nach Anspruch 1, wobei der Bewegungsinformationserfassungsabschnitt die Bewegungsinformation basierend auf einem aus einem vom in dem Bildabschnitt vorhandenen Bewegungssensor ausgegebenen Wert erfasst, und der Bewegungsinformationsbestimmungsabschnitt die Bewegungsinformationszuverlässigkeit basierend auf einem Vergleich zwischen der Bewegungsinformation und einem Schwellenwert für die Bewegungsinformation bestimmt.
Endoskopvorrichtung nach Anspruch 1, wobei der Bewegungsinformationserfassungsabschnitt die Bewegungsinformation basierend auf einem aus einem vom in dem Bildabschnitt vorhandenen Bewegungssensor ausgegebenen Wert erfasst, und der Bewegungsinformationsbestimmungsabschnitt die Bewegungsinformationszuverlässigkeit basierend auf einer Korrelation zwischen jedem einer Mehrzahl von Teilen der in Zeitreihen erfassten Bewegungsinformation und der Bewegungsinformation vor und/oder nach der Bewegungsinformation bestimmt.
Endoskopvorrichtung nach Anspruch 1, wobei der Fokussteuerungsabschnitt eine kumulative globale Bewegungsinformation als Ergebnis eines Prozesses der Kumulierung der globalen Bewegungsinformation, die eine globale relative Bewegung bezüglich des Bildabschnitts und des Objekts über einer Mehrzahl an Einzelbildern darstellt, basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit, und des Durchführens der Fokussierung erhält, wenn die kumulative globale Bewegungsinformation als größer als ein Schwellenwert für die kumulative globale Bewegungsinformation bestimmt wurde.
Endoskopvorrichtung nach Anspruch 10, wobei der Fokussteuerungsabschnitt globale Bewegungsinformationszuverlässigkeit, die die Zuverlässigkeit der globalen Bewegungsinformation anzeigt, basierend auf der Bewegungsinformationszuverlässigkeit bestimmt, und den Prozess des Kumulierens der globalen Bewegungsinformation für ein Einzelbild mit der als gering bestimmten globalen Bewegungsinformationszuverlässigkeit nicht durchführt.
Endoskopvorrichtung nach Anspruch 10, wobei der Fokussteuerungsabschnitt den Prozess des Kumulierens der globalen Bewegungsinformation für ein Einzelbild, in dem ein von der globalen Bewegungsinformation dargestellter Bewegungsbetrag als kleiner als ein Schwellenwert für die globale Bewegungsinformation bestimmt wurde, nicht durchführt.
Endoskopvorrichtung nach Anspruch 10, wobei der Fokussteuerungsabschnitt die globale Bewegungsinformationszuverlässigkeit, die die Zuverlässigkeit der globalen Bewegungsinformation anzeigt, basierend auf der Bewegungsinformationszuverlässigkeit bestimmt, und für ein Einzelbild mit der als gering bestimmten globalen Bewegungsinformationszuverlässigkeit bestimmt, einen Prozess des Kumulierens als der globalen Bewegungsinformation in dem Einzelbild, die globale Bewegungsinformation in einem Einzelbild vor dem Einzelbild durchführt.
Endoskopvorrichtung nach Anspruch 10, wobei der Fokussteuerungsabschnitt globale Bewegungsinformationszuverlässigkeit, die die Zuverlässigkeit der globalen Bewegungsinformation anzeigt, basierend auf der Bewegungsinformationszuverlässigkeit bestimmt, und für ein Einzelbild mit der als gering bestimmten globalen Bewegungsinformationszuverlässigkeit einen Prozess des Kumulierens der vorbestimmten globalen Bewegungsinformation als globale Bewegungsinformation in dem Einzelbild durchführt.
Endoskopvorrichtung nach Anspruch 1, wobei der Fokussteuerungsabschnitt globale Bewegungsinformationszuverlässigkeit, die eine globale relative Bewegung bezüglich des Bildabschnitts und des Objekts darstellt, basierend auf der Bewegungsinformationszuverlässigkeit erhält; und basierend auf einer Anzahl von Einzelbildern mit der als eine geringe Zuverlässigkeit aufweisenden globalen Bewegungsinformation bestimmt, ob die Fokussierung durchzuführen ist oder nicht.
Endoskopvorrichtung nach Anspruch 15, wobei der Fokussteuerungsabschnitt die Fokussierung durchführt, wenn die Anzahl von Einzelbildern in einer vorbestimmten Anzahl von Einzelbildern mit einer als eine geringe Zuverlässigkeit aufweisend bestimmten globalen Bewegungsinformation einen Schwellenwert für die Anzahl von Einzelbildern übersteigt.
Endoskopvorrichtung nach Anspruch 15, wobei der Fokussteuerungsabschnitt die Fokussierung durchführt, wenn die Anzahl von Einzelbildern in einer vorbestimmten Anzahl von Einzelbildern mit einer als eine geringe Zuverlässigkeit aufweisend sequenziell bestimmten globalen Bewegungsinformation, einen Schwellenwert für die Anzahl von Einzelbildern übersteigt.
Fokussteuerungsverfahren, umfassend: Durchführen eines Prozesses, der eine Bewegungsinformation erfasst, die eine Bewegung bezüglich eines Bildabschnitts und eines Objekts darstellt, Durchführen eines Prozesses, der eine Bewegungsinformationszuverlässigkeit bestimmt, die die Zuverlässigkeit der Bewegungsinformation anzeigt, und Durchführen eines Prozesses, der basierend auf der Bewegungsinformation und der Bewegungsinformationszuverlässigkeit bestimmt, ob ein Fokussteuerungsvorgang durchzuführen ist oder nicht, um zu bewirken, dass der Bildabschnitt das Objekt fokussiert.