DE112015006620T5

DE112015006620T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm

Info

Publication number: DE112015006620T5
Application number: DE112015006620.9T
Authority: DE
Inventors: Hiroki Maruyama; Manabu Ichikawa
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-07-24
Filing date: 2015-07-24
Publication date: 2018-05-09
Also published as: WO2017017743A1; JPWO2017017743A1; CN107710733B; US10425602B2; US20180115728A1; JP6727206B2; CN107710733A

Abstract

Vorgesehen ist eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm, die ein defektes Pixel und ein Blinkdefektpixel mit hoher Genauigkeit in Bilddaten korrigieren können, die das defekte Pixel und das Blinkdefektpixel umfassen, und die durch einen Bildsensor erzeugt werden. Eine Bildverarbeitungsvorrichtung 30 umfasst: eine dritte externe Schnittstelleneinheit 31, die dafür konfiguriert ist, Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und Positionsinformationen über jedes der Pixel umfasst, Information über Blinkdefektrauschen, in der eine der Positionsinformation über eine Leseschaltung und der Positionsinformation über jedes der Pixel Merkmalsdaten zugeordnet sind, die im Zusammenhang mit dem Blinkdefektrauschen stehen, das von der Leseschaltung verursacht wird, und die von dem Bildsensor erzeugten Bilddaten zu beziehen, und eine Rauschreduziereinheit 32, die dafür konfiguriert ist, eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen, die von der dritten Schnittstelleneinheit 31 bezogen werden, zu reduzieren und danach das andere Rauschen zu reduzieren.

Description

Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm zur Korrektur von Rauschen defekter Pixel und Blinkdefektrauschen, wobei ein Pixelwert in einem bestimmten Bereich schwankt, wie beispielsweise RTS-Rauschen, das in einem Bildsensor mit einer Mehrzahl von zweidimensional angeordneten Pixeln auftritt.
Hintergrund
In den letzten Jahren wurde in einem Bildsensor, wie beispielsweise einem sich ergänzenden Metall-Oxid-Halbleiter (CMOS), eine starke Verkleinerung von Pixeln und eine Leseschaltung zum Lesen von Signalen aus den Pixeln entwickelt. Eine solche stark verkleinerte Leseschaltung bewirkt eine Reduzierung der Empfindlichkeit und eine Zunahme von verschiedenen Arten von Rauschen. Zur Bewältigung der Reduzierung der Empfindlichkeit wird eine gemeinsam genutzte Pixelstruktur verwendet, in der eine einzelne Leseschaltung von einer Mehrzahl von Pixeln zum Lesen von Signalen gemeinsam genutzt wird, um eine für die Schaltung in einem Bildsensor benötigte Fläche zu reduzieren und ein Öffnungsverhältnis (ein Prozentanteil einer Lichtempfangseinheit) von jedem der Pixel zu erhöhen, um die Empfindlichkeit dadurch zu erhöhen.
Dabei umfassen Beispiele für Rauschen, das in dem Bildsensor auftritt, Dunkelstromaufnahmerauschen aufgrund eines Dunkelstroms, Zufallsrauschen aufgrund von thermischem Rauschen oder dergleichen in der Leseschaltung, Rauschen defekter Pixel (defekte Pixel), bei dem ein Pixelwert zu mindestens unter einer bestimmten Bedingung immer einen anormalen Wert zeigt, und Blinkdefektrauschen, bei dem ein Pixelwert beliebig schwankt. Das wie vorstehend beschriebene defekte Pixel umfasst einen weißen Punkt, in dem ein Pixelwert höher ist als Pixelwerte von benachbarten Pixeln, und einen schwarzen Punkt, in dem ein Pixelwert geringer ist als Pixelwerte von Nachbarpixeln. Hier umfasst der weiße Punkt einen Punkt, der immer weiß ist (heller als Nachbarpixel), und einen Punkt, der unter einer bestimmten Bedingung weiß wird (heller als Nachbarpixel), wie beispielsweise Temperatur, Belichtungsmenge oder Belichtungszeit. Außerdem umfasst der schwarze Punkt einen Punkt, der immer schwarz ist (dunkler als Nachbarpixel), und einen Punkt, der unter einer bestimmten Bedingung schwarz wird (dunkler als Nachbarpixel), wie beispielsweise Temperatur, Belichtungsmenge oder Belichtungszeit.
Außerdem umfasst das defekte Pixel ein defektes Pixel, das durch eine Leseschaltung verursacht wird. In einem Fall, in dem eine gemeinsam genutzte Pixelstruktur verwendet wird, können ähnliche defekte Pixel an allen Pixeln auftreten, die eine Leseschaltung gemeinsam nutzen.
Als eine Technik zur Korrektur des wie vorstehend beschriebenen defekten Pixels ist eine Technik bekannt, bei der ein Mittelwert von Nachbarpixeln eines interessierenden Pixel berechnet wird und auf Grundlage eines Vergleiches mit dem Mittelwert bestimmt wird, ob das Pixel ein defektes Pixel ist, und wenn bestimmt wird, dass das Pixel das defekte Pixel ist, das defekte Pixel durch den Mittelwert der Nachbarpixel ersetzt wird (vergleiche Patentliteratur 1).
Außerdem umfasst das wie vorstehend beschriebene Blinkdefektrauschen Random-Telegraph-Signal-(RTS)Rauschen, das durch eine Leseschaltung verursacht wird. Als eine Technik zur Korrektur des RTS-Rauschens ist eine Technik bekannt, bei der auf Grundlage eines Pixelwerts des interessierenden Pixels, eines Pixelwerts eines benachbarten Pixels des interessierenden Pixels und eines Rauschpegels des RTS-Rauschens, das im Voraus für jedes der Pixel des Bildsensors erfasst wird (nachstehend als ein „RTS-Rauschpegel“ bezeichnet), bestimmt wird, ob es einen Einfluss des RTS-Rauschens auf ein interessierendes Pixel in einem aufgenommenen Bild gibt, und wenn bestimmt wird, dass es einen Einfluss des RTS-Rauschens gibt, der RTS-Rauschpegel zu dem Pixelwert des interessierenden Pixels addiert oder davon subtrahiert wird (vergleiche Patentliteratur 2).
Literaturliste
Patentliteratur

Patentliteratur 1: JP 2002-10274 A
Patentliteratur 2: JP 2012-105063 A

Zusammenfassung
Technisches Problem
Im Allgemeinen haben der weiße Punkt und der schwarze Punkt einen größeren Einfluss auf die Bildqualität und größere Ausmaße des Schwankens von einem Wert, der als ein echter Wert betrachtet wird, als das RTS-Rauschen. Deshalb ist es vorzuziehen, ein anderes Korrekturverfahren für ein defektes Pixel und ein Blinkdefektpixel zu verwenden.
Außerdem nimmt die Möglichkeit, dass ein defektes Pixel und ein Blinkdefektpixel sich in einem Bildsensor nahe beieinander befinden, zu, wenn die Anzahl von defekten Pixeln und Blinkdefektpixeln zunimmt. 27 ist ein Diagramm, das schematisch jedes der Pixel in einem herkömmlichen Bildsensor zeigt. Wie in 27 gezeigt, können, da die Anzahl von defekten Pixeln PW1 und Blinkdefektpixeln PR1 in einem Bildsensor 500 zunimmt, das defekte Pixel PW1 und das Blinkdefektpixel PR1 möglicherweise einander benachbart angeordnet sein. Deshalb kann, selbst wenn jedes des defekten Pixels und des Blinkdefektpixels unter Verwendung der Techniken aus Patentliteratur 1 und Patentliteratur 2 separat korrigiert wird, wie vorstehend beschrieben, das andere Rauschen einen Einfluss ausüben. Außerdem tritt das RTS-Rauschen in Einheiten eines gemeinsam genutzten Blocks G in dem Bildsensor 500 auf, so dass, wenn sämtliche Pixel unter der Annahme, dass sämtliche Pixel defekte Pixel sind, korrigiert werden, die Bildqualität möglicherweise stark reduziert wird.
Wie vorstehend beschrieben, kann selbst dann, wenn jedes eines defekten Pixels und eines Blinkdefektpixels in Bilddaten, die von einem Bildsensor erzeugt werden, der ein defektes Pixel und ein Blinkdefektpixel umfasst, unter Verwendung der in Patentliteratur 1 und Patentliteratur 2 wie vorstehend beschrieben separat korrigiert werden, eine Überkorrektur oder auch gar keine Korrektur auftreten, was zu einer Korrektur mit geringer Genauigkeit führt.
Die vorliegende Erfindung wurde in Anbetracht des vorstehend beschriebenen Problems gemacht und eine Aufgabe der Erfindung besteht in der Bereitstellung einer Bildverarbeitungsvorrichtung, eines Bildverarbeitungsverfahrens und eines Programms, die ein defektes Pixel und ein Blinkdefektpixel mit hoher Genauigkeit in Bilddaten korrigieren können, die von einem Bildsensor erzeugt werden und die ein defektes Pixel und ein Blinkdefektpixel umfassen.
Lösung des Problems
Zur Lösung des vorstehend beschriebenen Problems und zur Lösung der Aufgabe ist eine Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung eine Bildverarbeitungsvorrichtung zur Korrektur von Blinkdefektrauschen, das in von einem Bildsensor erzeugten Bilddaten enthalten ist, wobei der Bildsensor umfasst: eine Mehrzahl von Pixeln, die zweidimensional angeordnet sind und dafür konfiguriert sind, Licht von außerhalb zu empfangen, um ein Signal gemäß einer Menge des empfangenen Lichtes zu erzeugen; und eine Mehrzahl von Leseschaltungen, die dafür konfiguriert sind, das Signal als einen Pixelwert zu lesen, und zur Korrektur von Rauschen defekter Pixel in den Bilddaten, wobei sich das Rauschen defekter Pixel von dem Blinkdefektrauschen unterscheidet und entsprechend Positionen der Mehrzahl von Pixeln auftritt. Die Bildverarbeitungsvorrichtung umfasst: eine Bezugseinheit, die dafür konfiguriert ist, Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und von Positionsinformationen über jedes der Pixel umfasst, Information über Blinkdefektrauschen, die eine von Positionsinformation über eine Leseschaltung, in der Blinkdefektrauschen auftritt, und Positionsinformation über jedes der Pixel umfasst, und die von dem Bildsensor erzeugten Bilddaten zu beziehen; und eine Rauschreduziereinheit, die dafür konfiguriert ist, eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der von der Bezugseinheit bezogenen Information über defekte Pixel und der von der Bezugseinheit bezogenen Information über Blinkdefektrauschen bezüglich der von der Bezugseinheit bezogenen Bilddaten zu reduzieren.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist die Rauschreduziereinheit dafür konfiguriert, nach Reduzierung von einem des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der von der Bezugseinheit bezogenen Information über defekte Pixel und der von der Bezugseinheit bezogenen Information über Blinkdefektrauschen bezüglich der von der Bezugseinheit bezogenen Bilddaten ein weiteres des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage von mindestens einer der von der Bezugseinheit bezogenen Information defekter Pixel und der von der Bezugseinheit bezogenen Information über Blinkdefektrauschen zu reduzieren.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung umfasst die Rauschreduziereinheit: eine Einheit zur Korrektur defekter Pixel, die dafür konfiguriert ist, das Rauschen defekter Pixel in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen zu korrigieren; und eine Einheit zur Korrektur von Blinkdefektrauschen, die dafür konfiguriert ist, das Blinkdefektrauschen in den Bilddaten, in denen das Rauschen defekter Pixel von der Einheit zur Korrektur defekter Pixel korrigiert wurde, auf Grundlage der Information über Blinkdefektrauschen zu korrigieren.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung umfasst die Rauschreduziereinheit: eine Einheit zur Korrektur von Blinkdefektrauschen, die dafür konfiguriert ist, das Blinkdefektrauschen in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen zu korrigieren; und eine Einheit zur Korrektur defekter Pixel, die dafür konfiguriert ist, das Rauschen defekter Pixel in den Bilddaten, in denen das Blinkdefektrauschen von der Einheit zur Korrektur von Blinkdefektrauschen korrigiert wurde, auf Grundlage der Information über defekte Pixel zu korrigieren.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung umfasst die Rauschreduziereinheit: eine Einheit zur Korrektur von defekten Pixeln, die dafür konfiguriert ist, das Rauschen defekter Pixel in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen zu korrigieren; und eine Einheit zur Korrektur von Blinkdefektrauschen, die dafür konfiguriert ist, das Blinkdefektrauschen in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über das Blinkdefektrauschen zu korrigieren, wobei die Rauschreduziereinheit dafür konfiguriert ist, wenn das Rauschen defekter Pixel an einem interessierenden Pixel in einem Bild auftritt, das den Bilddaten entspricht, auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen ein Ergebnis auszugeben, das durch Bewirken erlangt wird, dass die Einheit zur Korrektur defekter Pixel einen Pixelwert des interessierenden Pixels korrigiert, und die Rauschreduziereinheit dafür konfiguriert ist, wenn das Blinkdefektrauschen an dem interessierenden Pixel auftritt, ein Ergebnis auszugeben, das durch Bewirken erlangt wird, dass die Einheit zur Korrektur von Blinkdefektrauschen den Pixelwert des interessierenden Pixels korrigiert.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist die Einheit zur Korrektur defekter Pixel dafür konfiguriert, das Rauschen defekter Pixel unter Verwendung von Pixelwerten von Pixeln außer einem Pixel zu korrigieren, das in der Information über Blinkdefektrauschen enthalten ist und in dem das Blinkdefektrauschen wahrscheinlich auftritt.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist die Einheit zur Korrektur defekter Pixel dafür konfiguriert, das Rauschen defekter Pixel unter Ausschluss eines Pixelwerts eines Pixels zu korrigieren, für das ein Unterschied zwischen einem Pixelwert eines Pixels, das in der Information über Blinkdefektrauschen enthalten ist und bei dem das Blinkdefektrauschen wahrscheinlich auftritt, und einem Pixelwert von jedem von Nachbarpixeln des bestimmten Pixels gleich oder größer einem vorbestimmten Schwellenwert ist.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung umfasst die Information über Blinkdefektrauschen außerdem Merkmalsdaten, die einer der Positionsinformation über die Leseschaltung, in der das Blinkdefektrauschen auftritt, und der Positionsinformation über jedes der Pixel zugeordnet sind und die auf einem Rauschpegel des Blinkdefektrauschens basieren. Die Einheit zur Korrektur defekter Pixel ist dafür konfiguriert, wenn ein Pixel, an dem das Blinkdefektrauschen wahrscheinlich auftritt und das in der Information über Blinkdefektrauschen enthalten ist, um das Rauschen defekter Pixel herum vorhanden ist, das Rauschen defekter Pixel unter Verwendung eines Pixelwertes, der durch Korrektur eines Pixelwerts des Pixels erlangt wird, an dem das Blinkdefektrauschen wahrscheinlich auftritt, auf Grundlage der Merkmalsdaten zu korrigieren.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist die Einheit zur Korrektur von Blinkdefektrauschen dafür konfiguriert, das Blinkdefektrauschen unter Verwendung eines Pixelwerts eines Pixels außer einem Pixel zu korrigieren, das in der Information über defekte Pixel enthalten ist und an dem das Rauschen defekter Pixel auftritt.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist die Einheit zur Korrektur von Blinkdefektrauschen dafür konfiguriert, einen repräsentativen Wert eines interessierenden Pixels aus einem Pixelwert eines Pixels außer einem Pixel zu berechnen, das in der Information über defekte Pixel enthalten ist und an dem das Rauschen defekter Pixel auftritt, und das Blinkdefektrauschen zu korrigieren, um sich dem repräsentativen Wert anzunähern.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist das Blinkdefektrauschen ein Zufallstelegraphiesignalrauschen.
Ein Bildverarbeitungsverfahren gemäß der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren, das von einer Bildverarbeitungsvorrichtung zur Korrektur von Blinkdefektrauschen ausgeführt wird, das in von einem Bildsensor erzeugten Bilddaten enthalten ist, wobei der Bildsensor umfasst: eine Mehrzahl von Pixeln, die zweidimensional angeordnet sind und dafür konfiguriert sind, Licht von außerhalb zu empfangen, um ein Signal gemäß einer Menge des empfangenen Lichtes zu erzeugen; und eine Mehrzahl von Leseschaltungen, die dafür konfiguriert sind, das Signal als einen Pixelwert zu lesen, und zur Korrektur von Rauschen defekter Pixel in den Bilddaten, wobei sich das Rauschen defekter Pixel von dem Blinkdefektrauschen unterscheidet und entsprechend Positionen der Mehrzahl von Pixeln auftritt. Das Bildverarbeitungsverfahren umfasst: einen Bezugsschritt zum Beziehen von Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und Positionsinformation über jedes der Pixel umfasst, Information über Blinkdefektrauschen, die eine von Positionsinformation über eine Leseschaltung, in der Blinkdefektrauschen auftritt, und Positionsinformation über jedes der Pixel umfasst, und der von dem Bildsensor erzeugten Bilddaten; und einen Rauschreduzierschritt zum Reduzieren eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der in dem Bezugsschritt bezogenen Information über defekte Pixel und der in dem Bezugsschritt bezogenen Information über Blinkdefektrauschen bezüglich der in dem Bezugsschritt bezogenen Bilddaten zu reduzieren.
Ein Programm gemäß der vorliegenden Erfindung ist ein Programm, das bewirkt, dass eine Bildverarbeitungsvorrichtung zur Korrektur von Blinkdefektrauschen, das in von einem Bildsensor erzeugten Bilddaten enthalten ist, - wobei der Bildsensor umfasst: eine Mehrzahl von Pixeln, die zweidimensional angeordnet sind und dafür konfiguriert sind, Licht von außerhalb zu empfangen, um ein Signal gemäß einer Menge des empfangenen Lichtes zu erzeugen; und eine Mehrzahl von Leseschaltungen, die dafür konfiguriert sind, das Signal als einen Pixelwert zu lesen, und zur Korrektur von Rauschen defekter Pixel in den Bilddaten, wobei sich das Rauschen defekter Pixel von dem Blinkdefektrauschen unterscheidet und entsprechend Positionen der Mehrzahl von Pixeln auftritt - ausführt: einen Bezugsschritt zum Beziehen von Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und Positionsinformation über jedes der Pixel umfasst, Information über Blinkdefektrauschen, die eine von Positionsinformation über eine Leseschaltung, in der Blinkdefektrauschen auftritt, und Positionsinformation über jedes der Pixel umfasst, und der von dem Bildsensor erzeugten Bilddaten; und einen Rauschreduzierschritt zum Reduzieren eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der in dem Bezugsschritt bezogenen Information über defekte Pixel und der in dem Bezugsschritt bezogenen Information über Blinkdefektrauschen bezüglich der in dem Bezugsschritt bezogenen Bilddaten.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist das möglich, ein defektes Pixel und ein Blinkdefektpixel in von einem Bildsensor erzeugten Bilddaten, die ein defektes Pixel und ein Blinkdefektpixel umfassen, mit hoher Genauigkeit zu korrigieren.
Figurenliste

1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Bildgebungssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist eine schematische Ansicht, die einen Hauptteil eines Bildsensors zeigt, der in einer Bildgebungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung enthalten ist.
3 ist ein Blockdiagramm, das eine ausführliche Konfiguration einer RTS-Rauschkorrektureinheit gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
4 ist ein Diagramm, das ein Beispiel für Schwankungen in einer Verstärkungsausgabe zeigt, die von einer Verstärkungseinheit ausgegeben wird, wenn RTS-Rauschen in einem Fall auftritt, in dem Licht blockiert wird, so dass das Licht nicht auf den Bildsensor gemäß der ersten Ausführungsform der vorliegenden Erfindung einfällt.
5 ist ein Diagramm, das ein Beispiel für eine Verteilung eines Pixelwerts, der unter Verwendung einer Verstärkungseinheit gelesen wird, wenn RTS-Rauschen auftritt, gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
6 ist ein Ablaufdiagramm, das einen Überblick über eine Rauschkorrekturverarbeitung zeigt, die von einer Bildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
7 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Korrektur von defekten Pixeln in 6 zeigt.
8A ist ein Diagramm, das schematisch einen Auswahlbereich (Auswahlbereich 1) zeigt, der von einer Einheit zur Korrektur defekter Pixel gemäß der ersten Ausführungsform der vorliegenden Erfindung eingestellt wird.
8B ist ein Diagramm, das schematisch einen Auswahlbereich (Auswahlbereich 2) zeigt, der von einer Einheit zur Korrektur defekter Pixel gemäß der ersten Ausführungsform der vorliegenden Erfindung eingestellt wird.
8C ist ein Diagramm, das schematisch einen Auswahlbereich (Auswahlbereich 3) zeigt, der von einer Einheit zur Korrektur defekter Pixel gemäß der ersten Ausführungsform der vorliegenden Erfindung eingestellt wird.
8D ist ein Diagramm, das schematisch einen Auswahlbereich (Auswahlbereich 4) zeigt, der von einer Einheit zur Korrektur defekter Pixel gemäß der ersten Ausführungsform der vorliegenden Erfindung eingestellt wird.
8E ist ein Diagramm, das schematisch einen Auswahlbereich (Auswahlbereich 5) zeigt, der von einer Einheit zur Korrektur defekter Pixel gemäß der ersten Ausführungsform der vorliegenden Erfindung eingestellt wird.
9 ist ein Ablaufdiagramm, das einen Überblick über eine RTS-Rauschkorrekturverarbeitung in 6 zeigt.
10 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Berechnung von repräsentativen Werten in 9 zeigt.
11 ist ein Diagramm, das ein Beispiel für ein Modell für Zufallsrauschen zeigt.
12 ist ein Ablaufdiagramm, das einen Überblick über eine Korrekturwertberechnungsverarbeitung in 9 zeigt.
13 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Korrektur von defekten Pixeln zeigt, die von einer Bildverarbeitungsvorrichtung gemäß einer Modifizierung der ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
14 ist ein Blockdiagramm, das schematisch eine Konfiguration einer Rauschreduziereinheit in einer Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
15 ist ein Ablaufdiagramm, das einen Überblick über eine Rauschkorrekturverarbeitung zeigt, die von der Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
16 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Berechnung von repräsentativen Werten zeigt, die von der Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
17 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Korrektur von defekten Pixeln zeigt, die von der Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
18 ist ein Blockdiagramm, das schematisch eine Konfiguration einer Rauschreduziereinheit in einer Bildverarbeitungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt.
19 ist ein Ablaufdiagramm, das einen Überblick über die von der Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung ausgeführte Verarbeitung zeigt.
20 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Korrektur von defekten Pixeln in 19 zeigt.
21 ist ein Ablaufdiagramm, das einen Überblick über eine RTS-Rauschkorrekturverarbeitung in 19 zeigt.
22 ist ein Blockdiagramm, das schematisch eine Konfiguration einer Rauschreduziereinheit in einer Bildverarbeitungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt.
23 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zur Rauschkorrektur zeigt, die von der Bildverarbeitungsvorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
24 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Bildgebungssystems gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt.
25 ist ein Ablaufdiagramm, das einen Überblick über die von dem Bildgebungssystem gemäß der fünften Ausführungsform der vorliegenden Erfindung ausgeführte Verarbeitung zeigt.
26 ist ein Ablaufdiagramm, das einen Überblick über die Bildverarbeitung in
25 zeigt.
27 ist ein Diagramm, das schematisch ein Beispiel für jedes von Pixeln eines Bildsensors zeigt, die ein defektes Pixel und ein Blinkdefektpixel umfassen.

Beschreibung von Ausführungsformen
Arten zur Ausführung der vorliegenden Erfindung (nachstehend als „Ausführungsformen“ bezeichnet) sind nachstehend mit Bezugnahme auf die Zeichnungen beschrieben. Die vorliegende Erfindung ist nicht durch die nachstehend beschriebenen Ausführungsformen beschränkt. Die gleichen Komponenten sind in allen Zeichnungen mit den gleichen Bezugszeichen bezeichnet.
(Erste Ausführungsform)
<Konfiguration des Bildgebungssystems>
1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Bildgebungssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Ein in 1 gezeigtes Bildgebungssystem 1 umfasst eine Bildgebungsvorrichtung 10, eine Bildverarbeitungsvorrichtung 30 und eine Anzeigevorrichtung 40.
<Konfiguration der Bildgebungsvorrichtung>
Zuerst wird eine Konfiguration der Bildgebungsvorrichtung 10 beschrieben. Wie in 1 gezeigt, umfasst die Bildgebungsvorrichtung 10 ein optisches System 101, eine Blende 102, einen Blendenverschluss 103, einen Treiber 104, einen Bildsensor 105, eine Einheit zur analogen Verarbeitung 106, einen A/D-Wandler 107, eine Betätigungseinheit 108, eine Speicherschnittstelleneinheit 109, ein Aufzeichnungsmedium 110, einen flüchtigen Speicher 111, einen nicht-flüchtigen Speicher 112, einen Bus 113, eine Bildgebungssteuereinrichtung 114 und eine erste externe Schnittstelleneinheit 115.
Das optische System 101 ist aus einer oder mehreren Linsen gebildet. Das optische System 101 ist beispielsweise aus einer Fokuslinse und einer Zoomlinse gebildet.
Die Blende 102 stellt die Belichtung durch Beschränkung einer einfallenden Lichtmenge ein, die von dem optischen System 101 erfasst wird. Die Blende 102 beschränkt die von dem optischen System 101 erfasste Menge von einfallendem Licht unter Steuerung der Bildgebungssteuereinrichtung 114, die nachstehend beschrieben wird. Es kann möglich sein, die Menge von einfallendem Licht unter Verwendung des Blendenverschlusses 103 oder eines elektronischen Blendenverschlusses in dem Bildsensor 105 ohne Verwendung der Blende 102 zu steuern. Das optische System 101 und die Blende 102 können lösbar an der Bildgebungsvorrichtung 10 befestigt sein.
Der Blendenverschluss 103 stellt einen Zustand des Bildsensors 105 auf einen Belichtungszustand oder einen Lichtblockierzustand ein. Der Blendenverschluss 103 ist beispielsweise durch einen Schlitzverschluss oder dergleichen gebildet. Es kann möglich sein, den elektronischen Verschluss in dem Bildsensor 105 ohne Verwendung des Blendenverschlusses 103 zu verwenden.
Der Treiber 104 steuert das optische System 101, die Blende 102 und den Blendenverschluss 103 unter Steuerung der Bildgebungssteuereinrichtung 114, wie nachstehend beschrieben. Der Treiber 104 bewegt beispielsweise das optische System 101 entlang einer optischen Achse O1, um eine Zoomvergrößerung zu ändern oder eine Fokuslage der Bildgebungsvorrichtung 10 anzupassen.
Der Bildsensor 105 empfängt von dem optischen System 101 erfasstes Licht, wandelt das Licht in Bilddaten (elektrisches Signal) um und gibt die Bilddaten unter Steuerung der nachstehend beschriebenen Bildgebungssteuereinrichtung 114 aus. Der Bildsensor 105 ist aus einem sich ergänzenden Metall-Oxid-Halbleiter (CMOS) mit einer Mehrzahl von zweidimensional angeordneten Pixeln oder dergleichen gebildet. Ein RGB-Filter einer Bayer-Anordnung ist vor jedem der Pixel angeordnet. Der Bildsensor 105 ist nicht auf die Bayer-Anordnung beschränkt und kann vom gestapelten Typ, beispielsweise Fovion, sein. Der zu verwendende Filter ist nicht auf RGB beschränkt und es kann jeglicher Filter wie beispielsweise ein komplementärer Farbfilter verwendet werden. Es kann möglich sein, eine Lichtquelle separat vorzusehen, die Licht mit unterschiedlichen Farben auf eine Zeitteilungsweise ohne Anordnung eines Filters in dem Bildsensor 105 aufbringen kann, und ein Farbbild unter Verwendung sequenziell aufgenommener Bilder zu bilden, während eine aufzubringende Farbe geändert wird. Der Bildsensor 105 hat eine elektronische Verschlussfunktion, die eine Menge von empfangenem Licht elektronisch steuern kann.
Eine Konfiguration des Bildsensors 105 ist nachstehend ausführlich beschrieben. 2 ist eine schematische Ansicht, die einen Hauptteil des Bildsensors 105 zeigt. Der in 2 gezeigte Bildsensor 105 ist ein Beispiel, in dem eine Leseschaltung von einer Mehrzahl von Pixeln gemeinsam genutzt wird, um die Öffnungsverhältnisse der Pixel zu verbessern, um dadurch die Empfindlichkeit zu verbessern. In dem in 2 gezeigten Bildsensor 105 ist eine einzelne Leseschaltung für acht Pixel vorgesehen, d.h. zwei Pixel in eine horizontale Richtung (seitliche Richtung) x vier Pixel in eine vertikale Richtung (Längsrichtung). In 2 ist ein Beispiel gezeigt, in dem eine einzelne Gruppe durch eine einzelne Leseschaltung und acht Pixel gebildet ist, d.h. zwei Pixel in die horizontale Richtung (seitliche Richtung) x vier Pixel in die vertikale Richtung (Längsrichtung); es wird jedoch angenommen, dass die Pixel und die Leseschaltung, wie vorstehend beschrieben, in die horizontale Richtung und die vertikale Richtung an dem Bildsensor 105 der ersten Ausführungsform Seite an Seite angeordnet sind.
Wie in 2 gezeigt, umfasst der Bildsensor 105 eine Mehrzahl von Pixeln (Fotodioden) 105a, die Licht durch Belichtung empfangen und fotoelektrische Umwandlung ausführen, um Ladungen zu erzeugen, die den Belichtungsmengen entsprechen, erste Schalter 105b, die an den entsprechenden Pixeln 105a vorgesehen sind und gemäß der Steuerung der Bildgebungssteuereinrichtung 114 geöffnet und geschlossen werden, eine vertikale Übertragungsleitung 105c, die ein Signal (eine Ladung) vertikal überträgt, das von jedem der Pixel 105a ausgegeben wird, eine Einheit für schwebende Diffusion (FD von ,floating diffusion') 105d, die das von jedem der Pixel 105a ausgegebene Signal sammelt, eine Verstärkungseinheit 105e, die ein von der FD-Einheit 105d ausgegebenes Signal verstärkt, einen zweiten Schalter 105f, der gemäß der Steuerung der Bildgebungssteuereinrichtung 114 geöffnet und geschlossen wird, eine Steuerleitung 105g, die den zweiten Schalter 105f steuert, und eine Übertragungsleitung 105h, die ein von der Verstärkungseinheit 105e verstärktes elektrisches Signal überträgt.
Beim Lesen von Signalen, die Belichtungsmengen in den Pixeln 105a(1) bis 105a(8) entsprechen, als Pixelwerte, stellt der wie vorstehend beschrieben konfigurierte Bildsensor 105 die FD-Einheit 105d auf einen Rücksetzzustand ein und schaltet die Bildgebungssteuereinrichtung 114 nur den ersten Schalter 105b(1) ein, so dass eine in dem Pixel 105a(1) erzeugte Ladung an die FD-Einheit 105d übertragen wird. Danach schaltet die Bildgebungssteuereinrichtung 114 den zweiten Schalter 105(f) ein und bewirkt der Bildsensor 105, dass die Verstärkungseinheit 105e die in der FD-Einheit 105d gesammelte Ladung verstärkt, und liest die verstärkte Ladung (gibt sie aus) als einen Pixelwert. Anschließend stellt der Bildsensor 105 die FD-Einheit 105d auf den Rücksetzzustand ein und schaltet die Bildgebungssteuereinrichtung 114 nur den ersten Schalter 105b(2) ein, so dass eine in dem Pixel 105a(2) erzeugte Ladung an die FD-Einheit 105d übertragen wird. Danach schaltet die Bildgebungssteuereinrichtung 114 den zweiten Schalter 105(f) ein und bewirkt der Bildsensor 105, dass die Verstärkungseinheit 105e die in der FD-Einheit 105d gesammelte Ladung verstärkt und liest die verstärkte Ladung als einen Pixelwert. Durch sequenzielles Ausführen von Leseoperationen, wie vorstehend beschrieben, kann der Bildsensor 105 Signale, die den Belichtungsmengen in den Pixeln 105a(1) bis 105a(8) entsprechen, sequenziell als Pixelwerte ausgeben. In der ersten Ausführungsform dient die Verstärkungseinheit 105e als eine Leseschaltung, die eine Ladung von jedem der Pixel 105a liest.
Wieder mit Bezugnahme auf 1 wird die Konfiguration der Bildgebungsvorrichtung 10 weiter erklärt.
Die Einheit zur analogen Verarbeitung 106 führt eine vorbestimmte analoge Verarbeitung auf einem von dem Bildsensor 105 eingegebenen analogen Signal aus und gibt das verarbeitete Signal an den A/D-Wandler 107 aus. Insbesondere führt die Einheit zur analogen Verarbeitung 106 Rauschreduzierungsverarbeitung, Verstärkungsverarbeitung oder dergleichen auf dem von dem Bildsensor 105 eingegebenen analogen Signal aus. Beispielsweise führt die Einheit zur analogen Verarbeitung 106 Wellenformformung nach Reduzierung des Rücksetzrauschens oder dergleichen bezüglich des analogen Signals aus und verstärkt dann die Verstärkung so, dass eine Zielhelligkeit erreicht wird.
Der A/D-Wandler 107 erzeugt digitale Bilddaten (nachstehend als „ROH-Bilddaten“ bezeichnet) durch Ausführen von A/D-Umwandlung auf dem von der Einheit zur analogen Verarbeitung 106 eingegebenen analogen Signal aus und gibt die ROH-Bilddaten über den Bus 113 an den flüchtigen Speicher 111 aus. Der A/D-Wandler 107 kann die ROH-Bilddaten direkt an jede der Einheiten der nachstehend beschriebenen Bildgebungsvorrichtung 10 ausgeben. Die Einheit zur analogen Verarbeitung 106 und der A/D-Wandler 107, wie vorstehend beschrieben, können in dem Bildsensor 105 vorgesehen sein und der Bildsensor 105 kann digitale ROH-Bilddaten direkt ausgeben.
Die Betätigungseinheit 108 gibt verschiedene Anweisungen an die Bildgebungsvorrichtung 10 aus. Insbesondere umfasst die Betätigungseinheit 108 einen Leistungsschalter, der einen Energieversorgungszustand der Bildgebungsvorrichtung 10 in einen Ein-Zustand oder einen Aus-Zustand ändert, einen Freigabeschalter, der eine Anweisung gibt, ein Standbild aufzunehmen, einen Operationsschalter, der zwischen verschiedenen Einstellungen der Bildgebungsvorrichtung 10 umschaltet, einen Bewegtbildschalter, der eine Anweisung gibt, ein Bewegtbild aufzunehmen, und dergleichen.
Das Aufzeichnungsmedium 110 ist aus einer Speicherkarte gebildet, die extern an der Bildgebungsvorrichtung 10 befestigt ist und davon gelöst werden kann und über die Speicherschnittstelleneinheit 109 lösbar an der Bildgebungsvorrichtung 10 angebracht ist. Das Aufzeichnungsmedium 110 kann Programme und verschiedene Arten von Informationen über die Speicherschnittstelleneinheit 109 unter Steuerung der Bildgebungssteuereinrichtung 114 an den nicht-flüchtigen Speicher 112 ausgeben.
Der flüchtige Speicher 111 speichert von dem A/D-Wandler 107 über den Bus 113 eingegebene Bilddaten vorübergehend. Beispielsweise speichert der flüchtige Speicher 111 von dem Bildsensor 105 ausgegebene Bilddaten sequenziell, Einzelbild pro Einzelbild, über die Einheit zur analogen Verarbeitung 106, den A/D-Wandler 107 und den Bus 113. Der flüchtige Speicher 111 ist aus einem synchronen dynamischen Speicher mit wahlfreiem Zugriff DRAM (SDRAM) oder dergleichen gebildet.
Der nicht-flüchtige Speicher 112 ist aus einem Flash-Speicher oder dergleichen gebildet und zeichnet verschiedene Programme zum Betreiben der Bildgebungsvorrichtung 10 und verschiedene Arten von Daten auf, die während der Ausführung der Programme verwendet werden. Der nicht-flüchtige Speicher 111 umfasst eine Programmaufzeichnungseinheit 112a, eine RTS-Rauschen-Informationsaufzeichnungseinheit 112b, die RTS-Rauschen-Information aufzeichnet, in der Positionsinformation über die Leseschaltung (die Verstärkungseinheit 105e) zum Lesen eines Pixelwerts oder Positionsinformation über jedes der Pixel 105a Merkmalsdaten zugeordnet ist, die in Bezug zu RTS-Rauschen stehen, das von der Leseschaltung (der Verstärkungseinheit 105e) verursacht wird, eine Zufallsrauschmodellinformationsaufzeichnungseinheit 112c, die eines oder mehrere Zufallsrauschmodelle aufzeichnet, und eine Einheit zum Aufzeichnen von Information über defekte Pixel 112d, die Positionsinformation über ein defektes Pixel aufzeichnet, die einer Position eines Pixels in dem Bildsensor 105 entspricht (die Positionsinformation umfasst eine oder beide der Positionsinformation über die Leseschaltung (die Verstärkungseinheit 105e) zum Lesen eines Pixelwerts und der Positionsinformation über ein Pixel, an dem ein defektes Pixel auftritt). Hier sind die Merkmalsdaten eine der Amplitude des RTS-Rauschens (RTS_Value), der Häufigkeit des Auftretens von Blinkdefektrauschen und der Häufigkeit des Auftretens in dem RTS-Rauschen, die weniger ist als die Amplitude des RTS-Rauschens.
Der Bus 113 ist aus einem Übertragungsweg oder dergleichen gebildet, der Bestandteile der Bildgebungsvorrichtung 10 verbindet, und überträgt verschiedene Arten von Daten, die in der Bildgebungsvorrichtung 10 erzeugt werden, an jeden der Bestandteile der Bildgebungsvorrichtung 10.
Die Bildgebungssteuereinrichtung 114 ist durch eine zentrale Verarbeitungseinheit (CPU) oder dergleichen gebildet und steuert umfangreich Steuervorgänge der Bildgebungsvorrichtung 10 durch Ausgeben von Anweisungen oder Übertragen von Daten an jede der Einheiten der Bildgebungsvorrichtung 10 gemäß einem Befehlssignal oder einem Freigabesignal von der Betätigungseinheit 108. Wenn beispielsweise ein zweites Freigabesignal von der Betätigungseinheit 108 eingegeben wird, beginnt die Bildgebungssteuereinrichtung 114 die Steuerung eines Bildgebungsvorganges in der Bildgebungsvorrichtung 10. Hier ist der Bildgebungsvorgang in der Bildgebungsvorrichtung 10 ein vorbestimmter Verarbeitungsvorgang, der von der Einheit zur analogen Verarbeitung 106 und dem A/D-Wandler 107 bezüglich einer Belichtungszeit des Bildsensors 105, einer Ausgabezeit des analogen Signals und des von dem Bildsensor 105 ausgegebenen analogen Signals ausgeführt wird. Die der nachstehend beschriebenen Verarbeitung unterzogenen Bilddaten werden über den Bus 113 und die Speicherschnittstelleneinheit 109 unter Steuerung der Bildgebungssteuereinrichtung 114 in dem Aufzeichnungsmedium 110 aufgezeichnet.
Die erste externe Schnittstelleneinheit 115 gibt von einer externen Vorrichtung eingegebene Information über den Bus 113 an den nicht-flüchtigen Speicher 111 oder den flüchtigen Speicher 112 aus und gibt in dem flüchtigen Speicher 111 gespeicherte Information, in dem nicht-flüchtigen Speicher 112 gespeicherte Information und von dem Bildsensor 105 erzeugte Bilddaten über den Bus 113 an eine externe Vorrichtung aus. Insbesondere gibt die erste externe Schnittstelleneinheit 115 von dem Bildsensor 105 erzeugte Bilddaten, RTS-Rauschinformation, Zufallsrauschmodellinformation und Positionsinformation über ein defektes Pixel über den Bus 113 an die Bildverarbeitungsvorrichtung 30 aus.
<Konfiguration der Bildverarbeitungsvorrichtung>
Als Nächstes wird eine Konfiguration der Bildverarbeitungsvorrichtung 30 beschrieben. Die Bildverarbeitungsvorrichtung 30 umfasst eine dritte externe Schnittstelleneinheit 31, eine Rauschreduziereinheit 32, eine Bildverarbeitungseinheit 33, eine Betätigungseinheit 34, eine Speichereinheit 35 und eine Bildverarbeitungssteuereinrichtung 36.
Die dritte externe Schnittstelleneinheit 31 dient als eine Bezugseinheit, die über die erste externe Schnittstelleneinheit 115 der Bildgebungsvorrichtung 10 von dem Bildsensor 105 erzeugte Bilddaten, RTS-Rauschinformation über in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b in dem nicht-flüchtigen Speicher 112 aufgezeichnetes RTS-Rauschen, in der Zufallsrauschmodellinformationsaufzeichnungseinheit 112c aufgezeichnete Zufallsrauschmodellinformation und Information über defekte Pixel von der Einheit zum Aufzeichnen von Information über defekte Pixel 112d bezieht und die Bilddaten, die RTS-Rauschinformation, die Zufallsrauschmodellinformation und die Information über defekte Pixel, die wie vorstehend beschrieben erlangt wurden, an die Rauschreduziereinheit 32 und die Speichereinheit 35 ausgibt. Die dritte externe Schnittstelleneinheit 31 und die erste externe Schnittstelleneinheit 115 sind beispielsweise über ein Steuerkabel, drahtlose Kommunikation oder dergleichen verbunden, die Information bidirektional austauschen kann. In der ersten Ausführungsform dient die dritte externe Schnittstelleneinheit 31 als eine Bezugseinheit.
Die Rauschreduziereinheit 32 korrigiert zuerst ein defektes Pixel und korrigiert dann RTS-Rauschen in einem ROH-Bild, das von der dritten externen Schnittstelleneinheit 31 eingegeben wird, und gibt das korrigierte ROH-Bild an die Bildverarbeitungseinheit 33 aus. Die Rauschreduziereinheit 32 umfasst eine Einheit zur Korrektur defekter Pixel 50 und eine RTS-Rauschkorrektureinheit 51.
Die Einheit zur Korrektur defekter Pixel 50 korrigiert einen Pixelwert eines defekten Pixels auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel bezüglich des von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes und gibt das korrigierte ROH-Bild an die RTS-Rauschkorrektureinheit 51 aus.
Die RTS-Rauschkorrektureinheit 51 führt RTS-Rauschkorrekturverarbeitung zum Korrigieren von RTS-Rauschen auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel bezüglich des ROH-Bildes durch, in dem das defekte Pixel korrigiert wurde und das von der Einheit zur Korrektur defekter Pixel 50 eingegeben wird, und gibt das korrigierte ROH-Bild an die Bildverarbeitungseinheit 33 aus.
Eine ausführliche Konfiguration der RTS-Rauschkorrektureinheit 51 ist nachstehend beschrieben. 3 ist ein Blockdiagramm, das die ausführliche Konfiguration der RTS-Rauschkorrektureinheit 51 zeigt. Wie in 3 gezeigt, umfasst die RTS-Rauschkorrektureinheit 51 eine RTS-Rauschpixelbestimmungseinheit 321, eine Kandidatenwertberechnungseinheit 322, eine Einheit zur Berechnung repräsentativer Werte 323, eine Zufallsrauschmengenschätzeinheit 324 und eine Korrekturwertberechnungseinheit 325.
Die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, ob RTS-Rauschen wahrscheinlich an einem Pixel auf dem von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bild auftritt, und gibt ein Bestimmungsergebnis an die Kandidatenwertberechnungseinheit 322 und die Einheit zur Berechnung repräsentativer Werte 323 aus. Insbesondere wird, wenn eine Position eines Pixels in die RTS-Rauschpixelbestimmungseinheit 321 eingegeben wird, bestimmt, ob die RTS-Rauschinformation, die diesem Pixel entspricht, in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b der Bildgebungsvorrichtung 10 aufgezeichnet ist. Wenn die RTS-Rauschinformation aufgezeichnet ist, wird RTS-Rauschinformation (Information, die das Vorhandensein von RTS-Rauschen angibt) auf Grundlage der Annahme ausgegeben, dass das Pixel ein RTS-Rauschpixel ist. Im Gegensatz dazu wird, wenn die RTS-Rauschen-Information nicht in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b der Bildgebungsvorrichtung 10 aufgezeichnet ist, die RTS-Rauschinformation auf Grundlage der Annahme, dass das RTS-Rauschen nicht an den Pixel auftritt, nicht ausgegeben.
Wenn die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, dass an einem interessierenden Pixel wahrscheinlich RTS-Rauschen auftritt, berechnet die Kandidatenwertberechnungseinheit 322 eine Mehrzahl von Kandidatenwerten für eine Korrekturmenge bezüglich eines Pixelwerts des interessierenden Pixels auf Grundlage des Pixelwerts des interessierenden Pixels und des von der RTS-Rauschpixelbestimmungseinheit 321 bezogenen Bestimmungsergebnisses und gibt den Pixelwert des interessierenden Pixels und die Mehrzahl von berechneten Kandidatenwerten an jede der Einheit zur Berechnung repräsentativer Werte 323, der Zufallsrauschmengenschätzeinheit 324 und der Korrekturwertberechnungseinheit 325 aus.
Wenn die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, dass an dem interessierenden Pixel wahrscheinlich RTS-Rauschen auftritt, berechnet die Einheit zur Berechnung repräsentativer Werte 323 einen repräsentativen Wert, der einem Pixelwert entspricht, für den das RTS-Rauschen nicht auftritt, auf Grundlage von mindestens einem Pixel, für das die RTS-Rauschpixelbestimmungseinheit 321 bestimmt hat, dass das RTS-Rauschen nicht auftritt, von Nachbarpixeln des interessierenden Pixels und auf Grundlage eines Bezugswertes eines Zufallsrauschens, das dem interessierenden Pixel entspricht und das von der Zufallsrauschmengenschätzeinheit 324 berechnet wird, die später beschrieben wird. Die Einheit zur Berechnung repräsentativer Werte 323 gibt den Pixelwert des interessierenden Pixels, die Mehrzahl von Kandidatenwerten und den wie vorstehend beschriebenen berechneten repräsentativen Wert an die Korrekturwertberechnungseinheit 325 aus. In der ersten Ausführungsform dient die Einheit zur Berechnung repräsentativer Werte 323 als eine Schätzeinheit.
Die Zufallsrauschmengenschätzeinheit 324 schätzt eine Zufallsrauschmenge, die einem Pixelwert entspricht, auf Grundlage des in der Zufallsrauschmodellinformationsaufzeichnungseinheit 112c der Bildgebungsvorrichtung 10 aufgezeichneten Zufallsrauschmodells und gibt ein Schätzergebnis an jede der Kandidatenwertberechnungseinheit 322, der Einheit zur Berechnung repräsentativer Werte 323 und der Korrekturwertberechnungseinheit 325 aus. Das bedeutet, wenn ein Pixelwert in die Zufallsrauschmengenschätzeinheit 324 eingegeben wird, wird die Zufallsrauschmenge, die dem Pixelwert entspricht, ausgegeben.
Wenn die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, dass das interessierende Pixel ein Pixel ist, an dem RTS-Rauschen wahrscheinlich auftritt, korrigiert die Korrekturwertberechnungseinheit 325 den Pixelwert des interessierenden Pixels auf Grundlage der Mehrzahl von von der Kandidatenwertberechnungseinheit 322 berechneten Kandidatenwerten.
Insbesondere berechnet die Korrekturwertberechnungseinheit 325 einen Pixelwert, für den das RTS-Rauschen korrigiert wird, auf Grundlage des Pixelwerts des interessierenden Pixels, der Mehrzahl von von der Kandidatenwertberechnungseinheit 322 berechneten Kandidatenwerten und dem von der Einheit zur Berechnung repräsentativer Werte 323 berechneten repräsentativen Wert und gibt den berechneten Pixelwert an die Bildverarbeitungseinheit 33 aus. Genauer korrigiert die Korrekturwertberechnungseinheit 325 den Pixelwert des interessierenden Pixels auf Grundlage eines Kandidatenwerts, für den ein Korrekturergebnis am nächsten an dem repräsentativen Wert ist, der von der Einheit zur Berechnung repräsentativer Werte 323 berechnet wird, aus der Mehrzahl von von der Kandidatenwertberechnungseinheit 322 berechneten Kandidatenwerten. Im Gegensatz dazu gibt, wenn die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, dass das interessierende Pixel ein Pixel ist, an dem kein RTS-Rauschen auftritt, die Korrekturwertberechnungseinheit 325 den Pixelwert des interessierenden Pixels aus, wie er ist.
Jetzt wird wieder mit Bezugnahme auf 1 die Bildverarbeitungsvorrichtung 30 weiter erklärt.
Die Bildverarbeitungseinheit 33 führt vorbestimmte Bildverarbeitung auf den Bilddaten aus, in denen Rauschen von der Rauschreduziereinheit 32 korrigiert wird, und gibt die verarbeiteten Bilddaten an die Anzeigevorrichtung 40 aus. Hier führt die vorbestimmte Bildverarbeitung grundlegende Bildverarbeitung aus, die mindestens eine Verarbeitung zur Subtraktion von optischem Schwarz und eine Verarbeitung zur Anpassung von Weißabgleich umfasst und ferner Bilddatensynchronisierungsverarbeitung, Farbmatrixberechnungsverarbeitung, Gamma-Korrekturverarbeitung, Farbwiedergabeverarbeitung, Randverbesserungsverarbeitung und dergleichen in einem Fall umfasst, in dem der Bildsensor 105 eine Bayer-Anordnung hat. Die Bildverarbeitungseinheit 33 führt auch Bildverarbeitung zur Wiedergabe eines natürlichen Bildes auf Grundlage von voreingestellten Parametern von jeder Bildverarbeitung aus. Hier sind die Parameter von jeder Bildverarbeitung Werte von Kontrast, Schärfe, Sättigung, Weißabgleich und Graduierung.
Die Betätigungseinheit empfängt eine Eingabe von verschiedenen Betätigungssignalen im Zusammenhang mit der Bildverarbeitungsvorrichtung 30. Die Betätigungseinheit 34 ist beispielsweise aus einer Richtungsschaltfläche, einer Druckschaltfläche, einem Touchpad oder dergleichen gebildet.
Die Speichereinheit 35 ist aus einem flüchtigen Speicher oder einem nicht flüchtigen Speicher gebildet und speichert die RTS-Rauschinformation und die von der dritten externen Schnittstelleneinheit 31 ausgegebene Information über defekte Pixel.
Die Bildverarbeitungssteuereinrichtung 36 steuert umfassend jede der in der Bildverarbeitungsvorrichtung 30 enthaltenen Einheiten. Die Bildverarbeitungssteuereinrichtung 36 ist aus einer zentralen Verarbeitungseinheit (CPU) oder dergleichen gebildet. Die Bildverarbeitungssteuereinrichtung 36 steuert Anweisungen, Datenübertragung oder dergleichen an jede der in der Bildverarbeitungsvorrichtung 30 enthaltenen Einheiten.
<Konfiguration der Anzeigevorrichtung>
Als Nächstes wird eine Konfiguration der Anzeigevorrichtung 40 beschrieben. Die Anzeigevorrichtung 40 zeigt ein Bild an, das von der Bildverarbeitungsvorrichtung 30 eingegebenen Bilddaten entspricht. Die Anzeigevorrichtung 40 ist aus einem Anzeigefeld gebildet, das aus Flüssigkristall, organischer Elektrolumineszenz (EL) oder dergleichen gebildet ist.
In dem wie vorstehend beschriebenen konfigurierten Bildgebungssystem 1 korrigiert die Bildverarbeitungsvorrichtung 30 ein defektes Pixel und/oder RTS-Rauschen, das in dem Bildsensor 105 auftritt, und zeigt die Anzeigevorrichtung 40 ein Bild an, das Bilddaten entspricht, auf denen Bildverarbeitung von der Bildverarbeitungsvorrichtung 30 ausgeführt wird.
<Ursache und Eigenschaften von RTS-Rauschen>
Als Nächstes werden eine Ursache für das RTS-Rauschen und Eigenschaften des RTS-Rauschens beschrieben.
4 ist ein Diagramm, das ein Beispiel für eine Schwankung in einer Verstärkungsausgabe zeigt, die von der Verstärkungseinheit 105e ausgegeben wird, wenn RTS-Rauschen in einem Fall auftritt, in dem Licht blockiert wird, so dass das Licht nicht auf den Bildsensor 105 auftrifft. 5 ist ein Diagramm, das ein Beispiel für eine Verteilung eines Pixelwerts zeigt, der unter Verwendung der Verstärkungseinheit 105e gelesen wird, wo das RTS-Rauschen auftritt.
In einem Fall, in dem ein Störstellengrad in einem Gate-Oxidfilm in der Verstärkungseinheit 105e vorhanden ist, tritt das RTS-Rauschen auf, wenn eine Ladung an dem Störstellengrad zu einer beliebigen Zeit erfasst wird oder entladen wird. Deshalb schwankt, wie in 4 gezeigt, in der Verstärkungseinheit 105e, wo Rauschen auftritt, die Verstärkungsausgabe beliebig in einem Bereich von circa Vrts. Außerdem tritt eine Schwankung eines Potenzials nicht unmittelbar auf, sondern braucht eine kurze Zeitspanne т.
Im Allgemeinen wird in dem Bildsensor 105 korrelierte Doppelabtastverarbeitung (nachstehend als „CDS-Verarbeitung“ bezeichnet) ausgeführt, um ein Rauschen des von dem Pixel 105a gelesenen Pixelwerts zu reduzieren. Bei der CDS-Verarbeitung schaltet die Bildgebungssteuereinrichtung 114 einen (nicht gezeigten) Rücksetzschalter des Bildsensors 105 ein, um eine Ladung der FD-Einheit 105d rückzusetzen, und schaltet die Bildgebungssteuereinrichtung 114 den zweiten Schalter 105f ein, um einen Rücksetzzustand zu erzeugen, um ein Rücksetzzustandssignal (Bezugssignal) zu lesen (auszugeben). Anschließend schaltet bei der CDS-Verarbeitung die Bildgebungssteuereinrichtung 114 nur den ersten Schalter 105b (oder einen der ersten Schalter 105b(1) bis 105b(8) ein, um eine an dem Pixel 105a erzeugte Ladung an die FD-Einheit 105d zu übertragen, erzeugt einen Lesezustand (Ausgabezustand), in dem der zweite Schalter 105f eingeschaltet ist, und liest ein Lesezustandssignal (gibt dies aus). Anschließend wird bei der CDS-Verarbeitung ein Signal, das durch Subtraktion des Rücksetzzustandssignals (Bezugssignals) von dem Lesezustandssignal erlangt wird, als ein Pixelwert umgewandelt.
Wie in 4 gezeigt, sind, wenn der Bildsensor 105 Signale zur Zeit tr1 (Rücksetzzustand) und Zeit ts1 (Lesezustand) durch die CDS-Verarbeitung liest, Verstärkungsausgaben V zur Zeit tr1 und Zeit ts1 im Wesentlichen die gleichen, so dass der gelesene Pixelwert hauptsächlich durch Zufallsrauschen beeinflusst wird und mit der Mitte bei Null wie eine in 5 gezeigte Verteilung A verteilt ist. Auf ähnliche Weise hat, sogar zur Zeit tr2 (Rücksetzzustand) und Zeit ts2 (Lesezustand), der Bildsensor 105 im Wesentlichen die gleichen Verstärkungsausgaben V zur Zeit tr2 und Zeit ts2, so dass der gelesene Pixelwert wie die in 5 gezeigte Verteilung A verteilt ist.
Wenn währenddessen der Bildsensor 105 durch die CDS-Verarbeitung Signale zur Zeit tr3 (Rücksetzzustand) und Zeit ts3 (Lesezustand) liest, ist eine Verstärkungsausgabe zur Zeit ts3 ungefähr Vrts geringer als eine Verstärkungsausgabe zur Zeit tr3; nimmt man eine Differenz zwischen den zwei Signalen, wird deshalb der gelesene Pixelwert in die Minusrichtung um RTS_Value verschoben, der ein Pixelwert ist, der Vrts entspricht, was ein Änderungsausmaß der Verstärkungsausgabe ist, und ist wie eine Verteilung B verteilt, die um -RTS_Value zentriert ist.
Wenn währenddessen der Bildsensor 105 Signale zur Zeit tr4 (Rücksetzzustand) und Zeit ts4 (Lesezustand) durch die CDS-Verarbeitung liest, ist eine Verstärkungsausgabe zur Zeit ts4 ungefähr Vrts höher als eine Verstärkungsausgabe zur Zeit tr4; nimmt man eine Differenz zwischen den zwei Signalen, wird deshalb der gelesene Pixelwert in die Plusrichtung um RTS_Value verschoben, der der Pixelwert ist, der Vrts entspricht, was das Änderungsausmaß der Verstärkungsausgabe ist, und ist wie eine Verteilung C verteilt, die um RTS_Value zentriert ist.
Hier tritt die Schwankung der Verstärkungsausgabe in 4 mit der Zeit т auf, so dass ein Signal gelesen werden kann, während das Potenzial schwankt. In diesem Fall ist eine Verstärkungsausgabedifferenz größer als -Vrts und kleiner als Vrts zwischen einer Lesezeit in dem Rücksetzzustand und einer Lesezeit in dem Lesezustand. Folglich ist ein von dem Bildsensor 105 gelesener Pixelwert auch größer als -RTS_Value und kleiner als RTS_Value. Es kann angenommen werden, dass die Zeit т im Wesentlichen konstant ist, wenn die Bedingungen (beispielsweise Temperatur, Treiberspannung oder dergleichen) des Bildsensors 105 konstant sind; somit treten Pixelwerte größer als -RTS_Value und kleiner als RTS_Value mit ähnlichen Wahrscheinlichkeiten auf. Hier ist die Häufigkeit des Auftretens dieser Pixelwerte als anoise definiert. Außerdem sind die Verteilung B und die Verteilung C einander außer den Medianwerten ähnlich. Somit ist nachstehend ein Verhältnis der Verteilung B oder der Verteilung C zu der Verteilung A als orts definiert. Dieses αrts nimmt zu, wenn ein Schwankungszyklus der Verstärkungsausgabe der Verstärkungseinheit 105e abnimmt.
Der unter Verwendung der Verstärkungseinheit 105e gelesene Pixelwert, wo das RTS-Rauschen durch die CDS-Verarbeitung auftritt wie vorstehend beschrieben, ist wie in 5 gezeigt verteilt. Unter der Bedingung, dass der Bildsensor 105 Licht ausgesetzt wird, ändert sich das Potenzial in dem Lesezustand gemäß der Belichtungsmenge. Die Änderung des Potenzials aufgrund des RTS-Rauschens ist jedoch unabhängig von der Belichtungsmenge konstant. Das bedeutet, das RTS-Rauschen ist unabhängig von der Belichtungsmenge und hat eine Eigenschaft, dass es bezüglich eines normalen Pixelwerts in einem Bereich von -RTS_Value oder mehr und RTS_Value oder weniger beliebig schwankt. In 5 sind schematisch die Verteilung A, die Verteilung B und die Verteilung C gezeigt; sie werden jedoch allgemein als normale Verteilungen erlangt.
Außerdem ist das RTS-Rauschen ein Rauschen, das von der Leseschaltung (der Verstärkungseinheit 105e) verursacht wird; wenn die Mehrzahl von Pixeln 105a eine einzelne Leseschaltung gemeinsam nutzt, wie in 2 gezeigt, tritt somit RTS-Rauschen mit ähnlichen Eigenschaften in sämtlichen der gemeinsamen Pixel (Pixel 105(1) bis 105a(8)) auf.
Zusätzlich zu der in 2 gezeigten Leseschaltung (der Verstärkungseinheit 105e) kann RTS-Rauschen auch in einem Spaltenverstärker, einem Source-Folger oder dergleichen auftreten, die in die Spaltenrichtung des Bildsensors 105 gemeinsam genutzt werden. In diesem Fall tritt RTS-Rauschen mit den ähnlichen Eigenschaften in sämtlichen Pixeln in die Spaltenrichtung auf, in die der gleiche Spaltenverstärker und der gleiche Source-Folger gemeinsam genutzt werden. In der vorliegenden Ausführungsform kann die offenbarte Technik auch auf RTS-Rauschen angewendet werden, das in einer anderen Schaltung als der Leseschaltung (der Verstärkungseinheit 105e) auftritt.
Wie vorstehend beschrieben, tritt, wenn ein Subjekt fixiert und unter den gleichen Bedingungen aufgenommen wird, RTS-Rauschen auch als eine Art von Blinkdefektrauschen auf, das bewirkt, dass ein Pixelwert eines aufgenommenen Bildes in einem bestimmten Bereich (-RTS_Value oder mehr und RTS_Value oder weniger) schwingt (schwankt).
<Von der Bildverarbeitungsvorrichtung ausgeführte Verarbeitung>
Als Nächstes wird nachstehend eine von der Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung beschrieben. 6 ist ein Ablaufdiagramm, das einen Überblick über eine von der Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung zeigt, und ist ein Ablaufdiagramm eines von der Bildverarbeitungsvorrichtung 30 ausgeführten Hauptprogrammablaufs.
Wie in 6 gezeigt, führt die Einheit zur Korrektur defekter Pixel 50 zuerst eine Verarbeitung zur Korrektur von defekten Pixeln zur Korrektur eines defekten Pixels auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel bezüglich des von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes aus (Schritt S1). Details der Verarbeitung zur Korrektur defekter Pixel sind nachstehend beschrieben.
Anschließend führt die RTS-Rauschkorrektureinheit 51 RTS-Rauschkorrekturverarbeitung zur Korrektur von RTS-Rauschenkorrektur auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation bezüglich des ROH-Bildes aus, in dem das defekte Pixel korrigiert wurde und das von der Einheit zur Korrektur defekter Pixel 50 eingegeben wird (Schritt S2). Einzelheiten der Verarbeitung zur Korrektur von RTS-Rauschen werden nachstehend beschrieben. Nach Schritt S2 beendet die Bildverarbeitungsvorrichtung 30 die Verarbeitung.
<Überblick über die Verarbeitung zur Korrektur defekter Pixel>
Als Nächstes werden Einzelheiten der in Schritt S1 in 6 beschriebenen Verarbeitung zur Korrektur defekter Pixel erläutert. 7 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung zur Korrektur defekter Pixel zeigt, und ist ein Ablaufdiagramm eines Nebenprogrammablaufs, der von der Bildverarbeitungsvorrichtung 30 ausgeführt wird.
Wie in 7 gezeigt, setzt die Einheit zur Korrektur defekter Pixel 50 zuerst einen Zähler y, der eine Position eines ROH-Bildes in eine vertikale Richtung (y = 0) angibt, zurück (Schritt S11) und setzt einen Zähler x, der eine Position des ROH-Bildes in eine horizontale Richtung (x = 0) angibt, zurück (Schritt S12). Danach wird das obere Ende des ROH-Bildes in dem Zähler y, der die Position des ROH-Bildes in die vertikale Richtung angibt, auf Null eingestellt, und wird das linke Ende des ROH-Bildes in dem Zähler x, der die Position des ROH-Bildes in die horizontale Richtung angibt, auf Null eingestellt.
Anschließend bestimmt die Einheit zur Korrektur defekter Pixel 50 auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel, ob ein interessierendes Pixel ((x, y) Pixel) in dem ROH-Bild ein defektes Pixel ist (Schritt S13). Wenn das interessierende Pixel in dem ROH-Bild ein defektes Pixel ist (Schritt S13: Ja), fährt die Einheit zur Korrektur defekter Pixel 50 mit Schritt S14 fort, der nachstehend beschrieben ist. Wenn das interessierende Pixel in dem ROH-Bild kein defektes Pixel ist (Schritt S13: Nein), fährt die Einheit zur Korrektur defekter Pixel 50 mit Schritt S24 fort, der nachstehend beschrieben ist. In Schritt S13 bestimmt die Einheit zur Korrektur defekter Pixel 50, dass das interessierende Pixel ein defektes Pixel ist, wenn die Position des interessierenden Pixels oder eine Position eines gemeinsam genutzten Pixelblocks, der das interessierende Pixel enthält, in der Information über defekte Pixel enthalten ist, und bestimmt, dass das interessierende Pixel kein defektes Pixel ist, wenn beide Positionen nicht in der Information über defekte Pixel enthalten sind.
In Schritt S14 stellt die Einheit zur Korrektur defekter Pixel 50 einen Mindestbereich als einen Auswahlbereich ein. Insbesondere stellt, wie in 8A gezeigt, die Einheit zur Korrektur defekter Pixel 50 einen Auswahlbereich ein, der die Mindestanzahl von Nachbarpixeln K1 enthält, die einem interessierenden Pixel P1 benachbart angeordnet sind. In 8A bis 8E zeigen weiße Pixel Pixel, die nicht ausgewählt sind.
Anschließend erlangt die Einheit zur Korrektur defekter Pixel 50 Pixelwerte in dem Auswahlbereich (Schritt S15). In diesem Fall erlangt die Einheit zur Korrektur defekter Pixel 50 Pixelwerte sämtlicher Pixel, die in dem Auswahlbereich enthalten sind, der um das interessierende Pixel zentriert ist, und speichert die erlangten Pixelwerte sämtlicher in dem Auswahlbereich enthaltenen Pixel in der Speichereinheit 35.
Danach löscht die Einheit zur Korrektur defekter Pixel 50 einen in der Speichereinheit 35 gespeicherten Pixelwert eines defekten Pixels auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel (Schritt S16). Insbesondere bestimmt die Einheit zur Korrektur defekter Pixel 50 auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel, ob ein entsprechendes Pixel ein defektes Pixel ist, und löscht, wenn das Pixel ein defektes Pixel ist, einen Pixelwert, der diesem Pixel entspricht, aus der Speichereinheit 35.
Anschließend löscht die Einheit zur Korrektur defekter Pixel 50 einen Pixelwert eines in der Speichereinheit 35 gespeicherten Pixels mit Auftreten von RTS-Rauschen auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation (Schritt S17). Insbesondere bestimmt die Einheit zur Korrektur defekter Pixel 50, ob ein Pixel das Pixel mit Auftreten von RTS-Rauschen ist, bei dem RTS-Rauschen wahrscheinlich auftritt, unter einer vorbestimmten Bedingung aus den in der Speichereinheit 35 gespeicherten Pixelwerten auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation und löscht, wenn das Pixel das Pixel mit Auftreten von RTS-Rauschen ist, einen Pixelwert, der diesem Pixel entspricht, aus der Speichereinheit 35. Hier ist die vorbestimmte Bedingung eine der folgenden Bedingungen (A) bis (C)

(A) Wenn Positionsinformation über ein Bestimmungszielpixel in der RTS-Rauschinformation enthalten ist.
(B) Wenn die Positionsinformation über das Bestimmungszielpixel in der RTS-Rauschinformation enthalten ist und eine Differenz von einem Nachbarpixelwert gleich oder größer einem vorbestimmten Schwellenwert ist.
(C) Wenn die Positionsinformation über das Bestimmungszielpixel in der RTS-Rauschinformation enthalten ist und eine Differenz von einem Nachbarpixelwert gleich oder größer als RTS_Value x Koeffizient ist (beispielsweise eine Zahl größer 0 und gleich oder kleiner 1).

Danach bestimmt die Einheit zur Korrektur defekter Pixel 50, ob die Anzahl von in der Speichereinheit 35 gespeicherten Pixelwerten gleich oder größer als ein Schwellenwert ist (beispielsweise gleich oder größer 2) (Schritt S18). Wenn die Anzahl der in der Speichereinheit 35 gespeicherten Pixelwerte gleich oder größer als der Schwellenwert ist (Schritt S18: Ja), fährt die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S21 fort. Wenn die Anzahl von in der Speichereinheit 35 gespeicherten Pixelwerten nicht gleich oder größer als der Schwellenwert ist (Schritt S18: Nein), fährt die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S19 fort.
In Schritt S19 bestimmt die Einheit zur Korrektur defekter Pixel 50, ob der Auswahlbereich ein Höchstwert ist. Wenn der Auswahlbereich ein Höchstwert ist (Schritt S19: Ja), fährt die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S21 fort. Wenn der Auswahlbereich kein Höchstwert ist (Schritt S19: Nein), fährt die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S20 fort.
In Schritt S20 vergrößert die Einheit zur Korrektur defekter Pixel 50 den Auswahlbereich. Insbesondere vergrößert, wie in 8A bis 8E gezeigt, die Einheit zur Korrektur defekter Pixel 50 den Auswahlbereich sequenziell, bis die Anzahl der in der Speichereinheit 35 gespeicherten Pixelwerte gleich oder größer als der Schwellenwert in dem vorstehend beschriebenen Schritt S18 wird (8A -> 8B -> 8C -> 8D -> 8E). In diesem Fall fährt, wenn der Auswahlbereich in dem vorstehend beschriebenen Schritt S19 der Höchstwert wird (vergleiche 8E), die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S21 fort. In 8A bis 8E können eine Form, ein Bereich und eine Größe des Auswahlbereichs auf verschiedene andere Weisen als der vorstehend beschriebene Bereich geändert werden; beispielsweise kann ein rechteckiger Bereich eingestellt werden. Außerdem ist es in 8A bis 8E nicht notwendig, eine Mehrzahl von Auswahlbereichen einzustellen, und ist es ausreichend, mindestens einen Auswahlbereich einzustellen. Außerdem wird in 8A bis 8E angenommen, dass der Auswahlbereich eingestellt wird, wenn kein Farbfilter auf einer Lichtempfangsoberfläche des Bildsensors 105 vorgesehen ist. Wenn jedoch ein Farbfilter auf der Lichtempfangsoberfläche des Bildsensors 105 vorgesehen ist, ist es beispielsweise ausreichend, einen Auswahlbereich so auszuwählen, dass nur Pixel der gleichen Farbe (Pixel, bei denen die gleichen Farbfilter vorgesehen sind), verwendet werden (es ist ausreichend, nur Pixel, die Pixeln mit der gleichen Farbe entsprechen, von den in 8A bis 8E gezeigten Pixeln K1 zu verwenden).
In Schritt S21 bestimmt die Einheit zur Korrektur defekter Pixel 50, ob die Anzahl von in der Speichereinheit 35 gespeicherten Pixelwerten gleich oder größer als 1 ist. Wenn die Anzahl der in der Speichereinheit 35 gespeicherten Pixelwerte gleich oder größer als 1 ist (Schritt S21: Ja), fährt die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S22 fort. Wenn die Anzahl von in der Speichereinheit 35 gespeicherten Pixelwerten nicht gleich oder größer als 1 ist (Schritt S21: Nein), fährt die Einheit zur Korrektur defekter Pixel 50 mit dem nachstehend beschriebenen Schritt S24 fort.
In Schritt S22 berechnet die Einheit zur Korrektur defekter Pixel 50 einen Korrekturwert des interessierenden Pixels ((x,y) Pixel) des ROH-Bildes unter Verwendung eines von einem Mittelwert, einem Moduswert und einem Medianwert der in der Speichereinheit 35 gespeicherten Pixelwerte. Die Einheit zur Korrektur defekter Pixel 50 kann eine Randrichtung auf Grundlage der in der Speichereinheit 35 gespeicherten Pixelwerte bestimmen und eine Gewichtung für einen Pixelwert erhöhen, der sich in der bestimmten Richtung befindet, um beispielsweise vorzugsweise den Pixelwert in die bestimmte Richtung in dem Korrekturwert wiederzugeben.
Anschließend ersetzt die Einheit zur Korrektur defekter Pixel 50 den Pixelwert des interessierenden Pixels ((x,y) Pixel) des ROH-Bildes mit dem in Schritt S22 berechneten Korrekturwert, um den Pixelwert des interessierenden Pixels des ROH-Bildes zu korrigieren (Schritt S23).
Danach erhöht die Einheit zur Korrektur defekter Pixel 50 den Zähler x, der die Position des ROH-Bildes in die horizontale Richtung angibt (x = x + 1), (Schritt S24) und bestimmt, ob der Zähler x kleiner ist als eine Bildbreite des ROH-Bildes (Schritt S25). Wenn der Zähler x kleiner als die Bildbreite des ROH-Bildes ist (Schritt S25: Ja), kehrt die Einheit zur Korrektur defekter Pixel 50 zurück zu dem vorstehend beschriebenen Schritt 13. Wenn der Zähler x nicht kleiner als die Bildbreite des ROH-Bildes ist (Schritt S25: Nein), fährt die Einheit zur Korrektur defekter Pixel 50 mit Schritt S26 fort.
Anschließend erhöht die Einheit zur Korrektur defekter Pixel 50 den Zähler y, der die Position des ROH-Bildes in die vertikale Richtung angibt, (y = y + 1) (Schritt S26) und bestimmt, ob der Zähler y kleiner ist als eine Bildhöhe des ROH-Bildes (Schritt S27). Wenn der Zähler y kleiner als die Bildhöhe des ROH-Bildes ist (Schritt S27: Ja), kehrt die Einheit zur Korrektur defekter Pixel 50 zurück zu dem vorstehend beschriebenen Schritt S12. Wenn der Zähler y nicht kleiner als die Bildhöhe des ROH-Bildes ist (Schritt S27: Nein), beendet die Einheit zur Korrektur defekter Pixel 50 die Verarbeitung und kehrt zu dem Hauptprogrammablauf in 6 zurück.
<Überblick über die RTS-Rauschkorrekturverarbeitung>
Als Nächstes werden Einzelheiten der in Schritt S2 in 6 beschriebenen RTS-Rauschkorrekturverarbeitung erläutert. 9 ist ein Ablaufdiagramm, das einen Überblick über die RTS-Rauschkorrekturverarbeitung zeigt, und ist ein Ablaufdiagramm eines von der Bildverarbeitungsvorrichtung 30 ausgeführten Unterprogrammablaufs.
Wie in 9 gezeigt, setzt die RTS-Rauschkorrektureinheit 51 den Zähler y, der die Position des ROH-Bildes in die vertikale Richtung angibt, (y = 0) (Schritt (S31) zurück, und setzt den Zähler x, der die Position des ROH-Bildes in die horizontale Richtung angibt (x = 0), zurück (Schritt S32).
Anschließend bestimmt die RTS-Rauschpixelbestimmungseinheit 321, ob RTS-Rauschen wahrscheinlich an dem interessierenden Pixel ((x, y) Pixel) auftritt, auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation. Das bedeutet, die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, ob die Positionsinformation über den gemeinsam genutzten Pixelblock, der das interessierende Pixel enthält, in der RTS-Rauschinformation enthalten ist. Insbesondere bestimmt die RTS-Rauschpixelbestimmungseinheit 321, ob die Positionsinformation über den gemeinsam genutzten Pixelblock, der das interessierende Pixel enthält, in der RTS-Rauschinformation enthalten ist, als einen gemeinsam genutzten Pixelblock, in dem RTS-Rauschen wahrscheinlich auftritt. Wenn die RTS-Rauschinformation Positionsinformation über ein Pixel anstatt der Positionsinformation über den gemeinsam genutzten Pixelblock enthält, bestimmt die RTS-Rauschpixelbestimmungseinheit 321, ob die Positionsinformation über das interessierende Pixel in der RTS-Rauschinformation enthalten ist. Wenn die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, dass RTS-Rauschen wahrscheinlich an dem interessierenden Pixel auftritt (bestimmt, dass die Positionsinformation über den gemeinsam genutzten Pixelblock, der das interessierende Pixel enthält, in der RTS-Rauschinformation enthalten ist (Schritt S33: Ja), fährt die RTS-Rauschkorrektureinheit 51 mit dem nachstehend beschriebenen Schritt S34 fort. Wenn dagegen die RTS-Rauschpixelbestimmungseinheit 321 bestimmt, dass RTS-Rauschen wahrscheinlich nicht an dem interessierenden Pixel auftritt (bestimmt, dass die Positionsinformation über den gemeinsam genutzten Pixelblock, der das interessierende Pixel enthält, nicht in der RTS-Rauschinformation enthalten ist (Schritt S33: Nein), fährt die RTS-Rauschkorrektureinheit 51 mit dem nachstehend beschriebenen Schritt S37 fort.
In Schritt S34 berechnet die Kandidatenwertberechnungseinheit 322 eine Mehrzahl von Kandidatenwerten für ein Korrekturausmaß zur Korrektur des RTS-Rauschens. Insbesondere stellt die Kandidatenwertberechnungseinheit 322 als die Kandidatenwerte sämtliche Werte, die als Pixelwerte verwendet werden können, gleich oder größer Null oder gleich oder kleiner RTS_Value (sämtliche ganzen Zahlen gleich oder größer Null und gleich oder kleiner als RTS_Value, wenn nur ganze Zahlen als ein ROH-Bild verwendet werden) auf Grundlage von RTS_Value (der in der von der RTS-Rauschpixelbestimmungseinheit 321 ausgegebenen RTS-Rauschinformation enthalten ist), der dem interessierenden Pixel entspricht, ein. Wenn ein Verstärkungswert des Verstärkers, der in dem Spaltenverstärker oder dergleichen des Bildsensors 105 von der Bildgebungssteuereinrichtung 114 eingestellt wird, unterschiedlich ist zwischen, wenn das RTS-Rauschen erfasst wird (Verstärkungswert des Verstärkers = G0), und wenn das RTS-Rauschen korrigiert wird (der Verstärkungswert des Verstärkers = G1), kann die Kandidatenwertberechnungseinheit 322 RTS_Value durch einen Wert ersetzen, der durch Multiplikation eines Verhältnisses des Verstärkungswerts des Verstärkers erlangt wird, der erlangt wird, wenn das RTS-Rauschen korrigiert wird, und des Verstärkungswerts des Verstärkers, der erlangt wird, wenn das RTS-Rauschen erfasst wird, mit RTS_Value. Außerdem kann die Kandidatenwertberechnungseinheit 322 RTS_Value für jeden von einstellbaren Verstärkungswerten des Verstärkers in die RTS-Rauschinformation im Voraus aufnehmen und RTS_Value gemäß dem eingestellten Verstärkungswert des Verstärkers verwenden.
Anschließend führt die Einheit zur Berechnung repräsentativer Werte 323 eine Verarbeitung zur Berechnung von repräsentativen Werten zum Berechnen eines repräsentativen Werts (eines erwarteten Pixelwerts in einem Fall, in dem das RTS-Rauschen an dem interessierenden Pixel nicht auftritt) auf Grundlage von Pixelwerten von Nachbarpixeln des interessierenden Pixels (Schritt S35) aus. Die Einheit zur Berechnung repräsentativer Werte 323 kann ein Pixel umfassen, an dem das RTS-Rauschen auftritt.
<Überblick über die Verarbeitung zur Berechnung von repräsentativen Werten>
10 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung zur Berechnung von repräsentativen Werten in Schritt S35 in 9, wie vorstehend beschrieben, zeigt.
Wie in 10 gezeigt, stellt die Einheit zur Berechnung repräsentativer Werte 323 zuerst einen Mindestbereich als den Auswahlbereich ein (Schritt S51). Insbesondere stellt, wie mit Bezugnahme auf 8A vorstehend gezeigt, die Einheit zur Korrektur defekter Pixel 50 einen Auswahlbereich ein, der die Mindestanzahl von Pixeln umfasst. Die Einheit zur Berechnung repräsentativer Werte 323 muss nicht notwendigerweise den gleichen Auswahlbereich wie den Auswahlbereich auswählen, der von der Einheit zur Korrektur defekter Pixel 50 in der vorstehend beschriebenen Verarbeitung zur Korrektur defekter Pixel in 7 eingestellt wird, sondern kann auch einen anderen Auswahlbereich einstellen. In der ersten Ausführungsform wird der Einfachheit der Erklärung halber angenommen, dass die Einheit zur Berechnung repräsentativer Werte 323 den gleichen Auswahlbereich wie den Auswahlbereich auswählt, der von der Einheit zur Korrektur defekter Pixel 50 in der vorstehend beschriebenen Verarbeitung zur Korrektur defekter Pixel in 7 eingestellt wird.
Wenn ein Farbfilter auf der Lichtempfangsoberfläche des Bildsensors 105 vorgesehen ist, reicht es aus, einen Auswahlbereich so auszuwählen, dass nur Pixel mit der gleichen Farbe (Pixel, an denen die gleichen Farbfilter vorgesehen sind) verwendet werden (es ist ausreichend, nur Pixel, die den Pixeln mit der gleichen Farbe entsprechen, aus den in 8A bis 8E gezeigten Pixeln K1 zu verwenden).
Anschließend berechnet die Kandidatenwertberechnungseinheit 322 als einen Zufallsrauschenbezugswert einen Wert durch Addieren von RTS_Value zu dem Pixelwert des interessierenden Pixels oder Addieren des Höchstwertes der Kandidatenwerte für das Korrekturausmaß zu dem Pixelwert des interessierenden Pixels (Schritt S52).
Danach berechnet die Zufallsrauschmengenschätzeinheit 324 eine Zufallsrauschmenge auf Grundlage des von der dritten externen Schnittstelleneinheit 31 eingegebenen Zufallsrauschmodells und des von der Kandidatenwertberechnungseinheit 322 in Schritt S52 berechneten Bezugswerts (Schritt S53).
11 ist ein Diagramm, das ein Beispiel für das Zufallsrauschmodell zeigt. In 11 stellt eine vertikale Achse eine Rauschmenge dar und stellt eine horizontale Achse einen Bezugswert dar. In 11 wird eine Standardabweichung eines Pixelwerts als die Zufallsrauschmenge auf der vertikalen Achse verwendet und ist ein Zufallsrauschmodell gezeigt, das den Eigenschaften des Bildsensors 105 entspricht.
Wie von einer Kurve L1 in 11 gezeigt, nimmt die Zufallsrauschmenge in dem Bildsensor 105 zu, wenn der Pixelwert zunimmt. Somit berechnet die Zufallsrauschmengenschätzeinheit 324 in der ersten Ausführungsform die Zufallsrauschmenge (berechnet die Standardabweichung) auf Grundlage des Zufallsrauschmodells der Kurve L1 in 11 und des von der Kandidatenwertberechnungseinheit 322 berechneten Bezugswerts. Zusätzlich zu der in 11 gezeigten Kurve kann sich durch eine Annäherungsformel oder eine polygonale Linie an das Zufallsrauschmodell angenähert werden.
Nach Schritt S53 berechnet die Einheit zur Berechnung repräsentativer Werte 323 einen zulässigen Bereich (effektiven Bereich), der ein Bereich von Pixelwerten ist, die für die Verarbeitung zur Berechnung von repräsentativen Werten verfügbar sind, auf Grundlage von Pixelwerten von Pixeln in einem Berechnungsbereich (Schritt S54). Insbesondere berechnet die Einheit zur Berechnung repräsentativer Werte 323 eine obere Grenze des zulässigen Bereiches (effektiven Bereiches) durch Ausdruck (1) unten. $Bezugswert + Zufallsrauschmenge (Standardabweichung) \times R + RTS_Value$
Hier ist R ein vorbestimmter Koeffizient und wird in Abhängigkeit davon eingestellt, wie visuell das RTS-Rauschen gegen das Zufallsrauschen zu erkennen ist. Beispielsweise wird der Koeffizient von R auf circa 2 eingestellt. Außerdem berechnet die Einheit zur Berechnung repräsentativer Werte 323 eine untere Grenze des zulässigen Bereiches durch Ausdruck (2) unten. $Bezugswert - Zufallsrauschmenge (Standardabweichung) \times R - RTS_Value$
Es kann möglich sein, den Höchstwert der Mehrzahl von Kandidatenwerten anstatt von RTS_Value zu verwenden. Außerdem können die Bezugswerte in Ausdrücken (1) und (2) Bezugswerte sein, die durch ein Bezugswertverfahren erlangt werden, das sich von dem Bezugswert unterscheidet, der zur Schätzung der Zufallsrauschmenge durch die Zufallsrauschmengenschätzeinheit 324 in Schritt S53 wie vorstehend beschrieben verwendet wird (beispielsweise kann der Pixelwert des interessierenden Pixels als der Bezugswert eingestellt werden). Somit kann die Einheit zur Berechnung repräsentativer Werte 323 den zulässigen Bereich durch Berücksichtigung des RTS-Rauschens des interessierenden Pixels und des Zufallsrauschens um das interessierende Pixel herum berechnen.
Danach zählt die Einheit zur Berechnung repräsentativer Werte 323 die Anzahl von Pixeln, die Pixelwerte in dem zulässigen Bereich haben und an denen RTS-Rauschen nicht auftritt, von den Pixeln in dem Auswahlbereich (Schritt S55).
Anschließend bestimmt die Einheit zur Berechnung repräsentativer Werte 323, ob die Anzahl von in Schritt S55 gezählten Pixeln gleich oder größer ist als ein Schwellenwert (beispielsweise gleich oder größer 2) (Schritt S56). Wenn die Anzahl der gezählten Pixel gleich oder größer als der Schwellenwert ist (Schritt S56: Ja), fährt die RTS-Rauschkorrektureinheit 51 mit Schritt S59 wie nachstehend beschrieben fort. Wenn die Anzahl der gezählten Pixel nicht gleich oder größer als der Schwellenwert ist (Schritt S56: Nein), fährt die RTS-Rauschkorrektureinheit 51 mit (Schritt S57) wie nachstehend beschrieben fort.
In Schritt S57 bestimmt die Einheit zur Berechnung repräsentativer Werte 323, ob der Auswahlbereich der Höchstwert ist. Wenn der Auswahlbereich der Höchstwert ist (Schritt S57: Ja), fährt die Einheit zur Berechnung repräsentativer Werte 323 mit Schritt S59 wie nachstehend beschrieben fort. Wenn der Auswahlbereich nicht der Höchstwert ist (Schritt S57: Nein), fährt die Einheit zur Berechnung repräsentativer Werte 323 mit Schritt S58 wie nachstehend beschrieben fort.
In Schritt S58 erweitert die Einheit zur Berechnung repräsentativer Werte 323 den Auswahlbereich und kehrt zu Schritt S52 wie vorstehend beschrieben zurück. Insbesondere erweitert, wie in 8A bis 8E vorstehend beschrieben, die Einheit zur Berechnung repräsentativer Werte 323 den Auswahlbereich sequenziell, bis die Anzahl der in dem vorstehend beschriebenen Schritt S55 gezählten Pixel gleich oder größer als der Schwellenwert wird (8A -> 8B -> 8C -> 8D ->8E). In diesem Fall fährt, wenn der Auswahlbereich in dem vorstehend beschriebenen Schritt S57 der Höchstwert wird (vergleiche 8E), die Einheit zur Berechnung repräsentativer Werte 323 mit Schritt S59 wie nachstehend beschrieben fort.
In Schritt S59 bestimmt die Einheit zur Berechnung repräsentativer Werte 323 als den repräsentativen Wert einen von einem Mittelwert, einem Moduswert und einem Medianwert von Pixelwerten von Pixeln, die in dem Auswahlbereich enthalten sind, die Pixelwerte in dem zulässigen Bereich haben, und an denen kein RTS-Rauschen auftritt. Die Einheit zur Berechnung repräsentativer Werte 323 kann einen Mittelwert von Pixelwerten verwenden, die entsprechend Abständen von dem interessierenden Pixel gewichtet werden. Außerdem bestimmt, wenn die Anzahl der Pixel, die die vorstehend beschriebenen Bedingungen erfüllt, Null beträgt, die Einheit zur Berechnung repräsentativer Werte 323 den Wert des interessierenden Pixels als den repräsentativen Wert. Außerdem kann die Einheit zur Berechnung repräsentativer Werte 323 eine Randrichtung auf Grundlage von Pixelwerten von Pixeln bestimmen, die die vorstehend beschriebenen Bedingungen erfüllen, und bestimmt vorzugsweise einen Pixelwert in die bestimmte Richtung als den repräsentativen Wert beispielsweise durch Erhöhung der Gewichtungen von Pixelwerten, die sich in der bestimmten Richtung befinden. Außerdem kann die Einheit zur Berechnung repräsentativer Werte 323 den repräsentativen Wert unter Verwendung eines ROH-Bildes, das direkt zuvor aufgenommen wurde, oder jeglichen anderen Bildes wie eines ROH-Bildes, das gerade zuvor von der RTS-Rauschkorrektureinheit 51 korrigiert wurde, berechnen. Nach Schritt S59 beendet die Bildverarbeitungsvorrichtung 30 die Verarbeitung und kehrt zu dem Unterprogrammablauf der RTS-Rauschkorrekturverarbeitung in 9 zurück.
Jetzt wird wieder mit Bezugnahme auf 9 die Verarbeitung aus Schritt S36 weiter erläutert.
In Schritt S36 führt die Korrekturwertberechnungseinheit 325 Korrekturwertberechnungsverarbeitung zur Berechnung eines Pixelwerts des interessierenden Pixels, an dem das RTS-Rauschen in dem ROH-Bild korrigiert wird, auf Grundlage der Mehrzahl von von der Kandidatenwertberechnungseinheit 322 in Schritt S34 wie vorstehend beschrieben berechneten Kandidatenwerten und auf Grundlage des von der Einheit zur Berechnung repräsentativer Werte 323 in Schritt S35 wie vorstehend beschrieben berechneten repräsentativen Werts aus. Nach Schritt S36 fährt die Bildverarbeitungsvorrichtung 30 mit Schritt S37 fort, wie später beschrieben.
<Überblick über die Korrekturwertberechnungsverarbeitung>
12 ist ein Ablaufdiagramm, das einen Überblick über die Korrekturwertberechnungsverarbeitung in Schritt S36 in 9 zeigt.
Wie in 12 gezeigt, bestimmt die Korrekturwertberechnungseinheit 325 zuerst, ob der Höchstwert der Kandidatenwerte gleich oder größer einem Schwellenwert ist, auf Grundlage der Zufallsrauschmenge (der Standardabweichung in der ersten Ausführungsform), die von der Zufallsrauschmengenschätzeinheit 324 in Schritt S53 in 10, wie vorstehend beschrieben, geschätzt wird, und auf Grundlage des Höchstwerts der von der Kandidatenwertberechnungseinheit 322 in Schritt S34 in 9, wie vorstehend beschrieben, berechneten Kandidatenwerten (Schritt S61). Hier wird der Schwellenwert durch Ausdruck (3) unten eingestellt. $Zufallsrauschmenge \times Rm$
Rm ist ein vorbestimmter Koeffizient. Der Wert von Rm sollte vorzugsweise auf circa 2 eingestellt werden, was in Abhängigkeit davon bestimmt wird, wie visuell das RTS-Rauschen gegen das Zufallsrauschen erkannt werden kann. Wenn der Höchstwert der Kandidatenwerte gleich oder größer als der Schwellenwert ist (Schritt S61: Ja), fährt die Korrekturwertberechnungseinheit 325 mit Schritt S62 wie nachstehend beschrieben fort. Wenn dagegen der Höchstwert der Kandidatenwerte nicht gleich oder größer als der Schwellenwert ist (Schritt S61: Nein), fährt die Korrekturwertberechnungseinheit 325 mit Schritt S6 wie nachstehend beschrieben fort. Die Korrekturwertberechnungseinheit 325 kann den RTS_Value des interessierenden Pixels anstatt des Höchstwerts der Kandidatenwerte verwenden und RTS_Value des interessierenden Pixels mit dem Schwellenwert vergleichen.
In Schritt S62 korrigiert die Korrekturwertberechnungseinheit 325 den Pixelwert. Insbesondere berechnet die Korrekturwertberechnungseinheit 325 zuerst Δ durch Ausdruck (4) unten. $Δ = Pixelwert des interessierenden Pixels in ROH-Bild - repräsentativer Wert$
Anschließend vergleicht die Korrekturwertberechnungseinheit 325 den absoluten Wert von Δ und einen oder mehrere der von der Kandidatenwertberechnungseinheit 322 in Schritt S34 in 9 wie vorstehend beschrieben berechneten Kandidatenwerten, wählt einen Kandidatenwert am nächsten an dem Absolutwert von Δ aus und stellt den Kandidatenwert als δ ein. Wenn es mehrere Kandidatenwerte am nächsten an dem Absolutwert von Δ gibt, wählt die Korrekturwertberechnungseinheit 325 den Mindestkandidatenwert aus der Mehrzahl von Kandidatenwerten als δ aus, um eine Überkorrektur zu verhindern.
Schließlich korrigiert die Korrekturwertberechnungseinheit 325 den Pixelwert des interessierenden Pixels in dem ROH-Bild, so dass der Wert in die Richtung des repräsentativen Werts um δ gemäß Ausdrücken (5) und (6) verlagert wird, und gibt den korrigierten Pixelwert des interessierenden Pixels an die Bildverarbeitungseinheit 33 aus.
Wenn Δ < 0, $Pixelwert des interessierenden Pixels in ROH-Bild + δ$

Wenn Δ ≥ 0, $Pixelwert des interessierenden Pixels in ROH-Bild - δ$
Nach Schritt S62 kehrt die Bildverarbeitungsvorrichtung 30 zu dem Unterprogrammablauf der RTS-Rauschkorrekturverarbeitung in 9 zurück. Während die Korrekturwertberechnungseinheit 325 Δ berechnet und den Mindestkandidatenwert aus der Mehrzahl von Kandidatenwerten in Schritt S62 auswählt, kann es möglich sein, einen Wert durch individuelles Addieren oder Subtrahieren jedes der Kandidatenwerten zu dem oder von dem Pixelwert des interessierenden Pixels in dem ROH-Bild zu berechnen und einen nächsten repräsentativen Wert aus der Mehrzahl von durch das Addieren oder das Subtrahieren durch die Berechnung erlangten Werte auszuwählen. Außerdem kann in Schritt S62 die Korrekturwertberechnungseinheit 325 andere Berechnungsverfahren und Vergleichsverfahren verwenden, solange das gleiche Ergebnis erlangt werden kann. Außerdem ist eine von der Korrekturwertberechnungseinheit 325 ausgeführte Verarbeitung äquivalent zu der Verarbeitung des Bestimmens eines repräsentativen Werts, der einem Bereich gleich oder größer als der Pixelwert des interessierenden Pixels in dem ROH-Bild - RTS_Value und gleich oder kleiner als der Pixelwert des interessierenden Pixels in dem ROH-Bild + RTS_Value zugeordnet wird, als den korrigierten Pixelwert des interessierenden Pixels.
In Schritt S63 gibt die Korrekturwertberechnungseinheit 325 den Pixelwert des interessierenden Pixels in dem ROH-Bild an die Bildverarbeitungseinheit 33 aus, wie er ist. Nach Schritt S63 kehrt die Bildverarbeitungsvorrichtung 30 zu dem Unterprogrammablauf der RTS-Rauschkorrekturverarbeitung in 9 zurück.
Jetzt wird wieder mit Bezugnahme auf 9 die Verarbeitung von Schritt S37 weiter erläutert.
In Schritt 37 erhöht die RTS-Rauschkorrektureinheit 51 den Zähler x, der die Position des ROH-Bildes in die in die horizontale Richtung angibt (x = x + 1).
Danach bestimmt die RTS-Rauschkorrektureinheit 51 ob der Zähler x kleiner ist als eine Bildbreite des ROH-Bildes (Schritt S38). Wenn der Zähler x kleiner als die Bildbreite des ROH-Bildes ist (Schritt S38: Ja), kehrt die RTS-Rauschkorrektureinheit 51 zurück zu dem vorstehend beschriebenen Schritt S33. Wenn der Zähler x kleiner als die Bildbreite des ROH-Bildes ist (Schritt S38: Nein), fährt die Bildverarbeitungsvorrichtung 30 mit Schritt S39 fort.
Anschließend erhöht die RTS-Rauschkorrektureinheit 51 den Zähler y, der die Position des ROH-Bildes in die vertikale Richtung angibt (y = y + 1), (Schritt S39), und bestimmt, ob der Zähler y kleiner ist als eine Bildhöhe des ROH-Bildes (Schritt S40). Wenn der Zähler y kleiner als die Bildhöhe des ROH-Bildes ist (Schritt S40: Ja), kehrt die Bildverarbeitungsvorrichtung 30 zurück zu dem vorstehend beschriebenen Schritt 32. Wenn der Zähler y nicht kleiner als die Bildhöhe des ROH-Bildes ist (Schritt S40: Nein), beendet die Bildverarbeitungsvorrichtung 30 die Verarbeitung und kehrt zu dem Hauptprogrammablauf in 6 zurück.
Gemäß der ersten Ausführungsform der vorliegenden Erfindung, wie vorstehend beschrieben, korrigiert die Einheit zur Korrektur defekter Pixel 50 das Rauschen defekter Pixel gemäß der Information über defekte Pixel bezüglich des von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes und korrigiert die RTS-Rauschkorrektureinheit 51 RTS-Rauschen gemäß der RTS-Rauschinformation bezüglich des ROH-Bildes, in dem der Pixelwert des defekten Pixels von der Einheit zur Korrektur defekter Pixel 50 korrigiert wurde. Somit ist es möglich, Bilddaten, die das Rauschen defekter Pixel und das RTS-Rauschen enthalten, mit hoher Genauigkeit zu korrigieren.
Außerdem korrigiert gemäß der ersten Ausführungsform der vorliegenden Erfindung die Einheit zur Korrektur defekter Pixel 50 das Rauschen defekter Pixel unter Verwendung von Pixelwerten von Pixeln, die ein Pixel ausschließen, das der RTS-Rauschinformation entspricht. Das bedeutet, die Einheit zur Korrektur defekter Pixel 50 korrigiert den Pixelwert des defekten Pixels ohne Bezugnahme auf ein Pixel, das sich um das interessierende Pixel herum befindet und bei dem das RTS-Rauschen wahrscheinlich auftritt, und korrigiert danach die RTS-Rauschkorrektureinheit 51 das RTS-Rauschen. Somit ist es möglich, Bilddaten, die das Rauschen defekter Pixel und das RTS-Rauschen enthalten, mit hoher Genauigkeit zu korrigieren.
(Modifizierung der ersten Ausführungsform)
Als Nächstes wird eine Modifizierung der ersten Ausführungsform der vorliegenden Erfindung beschrieben. Die Modifizierung der ersten Ausführungsform hat die gleiche Konfiguration wie die vorstehend beschriebene erste Ausführungsform, aber unterscheidet sich darin, dass eine Bildverarbeitungsvorrichtung eine andere Verarbeitung zur Korrektur defekter Pixel ausführt. Nachstehend wird die von der Bildverarbeitungsvorrichtung gemäß der Modifizierung der ersten Ausführungsformen ausgeführte Verarbeitung zur Korrektur defekter Pixel beschrieben. Die gleichen Komponenten wie die der vorstehend beschriebenen ersten Ausführungsform sind durch die gleichen Bezugszeichen bezeichnet und eine Erklärung davon wird weggelassen.
<Überblick über die Verarbeitung zur Korrektur defekter Pixel>
13 ist ein Ablaufdiagramm, das einen Überblick über die von der Bildverarbeitungsvorrichtung 30 gemäß der Modifizierung der ersten Ausführungsform ausgeführte Verarbeitung zur Korrektur defekter Pixel zeigt, und ist ein Ablaufdiagramm eines von der Bildverarbeitungsvorrichtung 30 ausgeführten Unterprogrammablaufs. In 13 führt in der Modifizierung der ersten Ausführungsform die Einheit zur Korrektur defekter Pixel 50 in Schritt S17a anstatt Schritt S17 in 7 die Verarbeitung der vorstehend beschriebenen ersten Ausführungsform aus. Andere Schritte sind die gleichen wie in 7, wie vorstehend beschrieben, und eine Erklärung davon wird weggelassen.
Wie in 13 gezeigt, korrigiert in Schritt S17a die Einheit zur Korrektur defekter Pixel 50 einen Pixelwert eines Pixels mit Auftreten von RTS-Rauschen. Insbesondere korrigiert, wenn die in Schritt S15 erlangten Pixelwerte ein Pixel mit Auftreten von RTS-Rauschen enthalten, auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation, die Einheit zur Korrektur defekter Pixel 50 RTS-Rauschen für diesen Pixelwert (korrigiert den erlangten Pixelwert ohne Korrektur der ursprünglichen Bilddaten selber). Als ein von der Einheit zur Korrektur defekter Pixel 50 ausgeführtes Korrekturverfahren kann die gleiche Verarbeitung wie die von der RTS-Rauschkorrektureinheit 51 in der vorstehend beschriebenen ersten Ausführungsform ausgeführte Verarbeitung oder eine vereinfachte Verarbeitung verwendet werden. Als die vereinfachte Verarbeitung berechnet die Einheit zur Korrektur defekter Pixel 50 einen Mittelwert von Pixelwerten von Nachbarpixeln des Pixels mit Auftreten von RTS-Rauschen und erlangt einen Wert am nächsten an dem Mittelwert aus den erlangten Pixelwerten, einen Wert, der durch Addition von RTS_Value zu dem erlangten Pixelwert erlangt wird (Pixelwert + RTS_Value), und einen Wert, der durch Subtraktion von RTS_Value von dem erlangten Pixelwert erlangt wird (Pixelwert - RTS_Value) (siehe internationale PCT-Anmeldung mit der Seriennummer PCT/JP2015/057958 für weitere Einzelheiten).
Gemäß der Modifizierung der ersten Ausführungsform der vorliegenden Erfindung, korrigiert, wie vorstehend beschrieben, die Einheit zur Korrektur defekter Pixel 50 einfach ein Pixel mit RTS-Rauschen um das interessierende Pixel herum auf Grundlage der RTS-Rauschinformation, und verwendet dann das korrigierte Pixel. Somit ist es, wenn es eine Anzahl von Pixeln mit RTS-Rauschen um das defekte Pixel herum gibt, möglich, eine Verringerung der Genauigkeit eines Ergebnisses der Korrektur eines defekten Pixels aufgrund des Einflusses von Zufallsrauschen oder dergleichen zu verhindern.
(Zweite Ausführungsform)
Als Nächstes wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. In einem Bildgebungssystem gemäß der zweiten Ausführungsform ist eine Rauschreduziereinheit anders als die Rauschreduziereinheit 32 der Bildverarbeitungsvorrichtung 30 der vorstehend beschriebenen ersten Ausführungsform konfiguriert und führt eine Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform eine andere Verarbeitung aus. Insbesondere korrigiert die Rauschreduziereinheit gemäß der zweiten Ausführungsform RTS-Rauschen in einem ROH-Bild und korrigiert danach ein defektes Pixel. Nachstehend wird eine Konfiguration der Rauschreduziereinheit gemäß der zweiten Ausführungsform beschrieben und dann eine von der Rauschreduziereinheit gemäß der zweiten Ausführungsform ausgeführte Verarbeitung beschrieben. Die gleichen Komponenten wie die des Bildgebungssystems 1 der vorstehend beschriebenen ersten Ausführungsform sind durch die gleichen Bezugszeichen bezeichnet und eine Erläuterung davon wird weggelassen.
14 ist ein Blockdiagramm, das schematisch eine Konfiguration der Rauschreduziereinheit in der Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt.
Eine in 14 gezeigte Rauschreduziereinheit 32a korrigiert RTS-Rauschen in einem von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bild, korrigiert anschließend ein defektes Pixel und gibt dann das korrigierte ROH-Bild an die Bildverarbeitungseinheit 33 aus. Die Rauschreduziereinheit 32a umfasst eine RTS-Rauschkorrektureinheit 51a und eine Einheit zur Korrektur defekter Pixel 50a.
Die RTS-Rauschkorrektureinheit 51a korrigiert einen Pixelwert eines Pixels, an dem RTS-Rauschen wahrscheinlich auftritt, auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation bezüglich eines von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes und gibt das korrigierte ROH-Bild an die Einheit zur Korrektur defekter Pixel 50a aus. Einzelheiten der RTS-Rauschkorrektureinheit 51a sind die gleichen wie die der RTS-Rauschkorrektureinheit 51 der vorstehend beschriebenen ersten Ausführungsform (vergleiche 3) und eine Erklärung davon wird deswegen weggelassen.
Die Einheit zur Korrektur defekter Pixel 50a korrigiert einen Pixelwert eines defekten Pixels auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel bezüglich des ROH-Bildes, in dem das RTS-Rauschen korrigiert wurde und das von der RTS-Rauschkorrektureinheit 51a eingegeben wird, und gibt das korrigierte ROH-Bild an die Bildverarbeitungseinheit 33 aus.
<Von der Bildverarbeitungsvorrichtung ausgeführte Verarbeitung>
Als Nächstes wird nachstehend die von der Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung beschrieben. 15 ist ein Ablaufdiagramm, das einen Überblick über die von der Bildverarbeitungsvorrichtung 30 ausgeführte Rauschkorrekturverarbeitung zeigt und ist ein Ablaufdiagramm eines von der Bildverarbeitungsvorrichtung 30 ausgeführten Hauptprogrammablaufs.
Wie in 15 gezeigt, führt die RTS-Rauschkorrektureinheit 51a zuerst eine RTS-Rauschkorrekturverarbeitung zur Korrektur von RTS-Rauschen auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation bezüglich des von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes aus (Schritt S71). Einzelheiten der RTS-Rauschkorrekturverarbeitung werden später beschrieben.
Anschließend korrigiert die Einheit zur Korrektur defekter Pixel 50a ein defektes Pixel auf Grundlage von von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel bezüglich des ROH-Bildes, in dem das RTS-Rauschen korrigiert wurde und das von der RTS-Rauschkorrektureinheit 51a eingegeben wird, und gibt das korrigierte ROH-Bild an die Bildverarbeitungsvorrichtung 33 (Schritt S72) aus. Einzelheiten der Verarbeitung zur Korrektur defekter Pixel sind später beschrieben. Nach Schritt S72 beendet die Bildverarbeitungsvorrichtung 30 die Verarbeitung.
<Überblick über die RTS-Rauschkorrekturverarbeitung>
Als Nächstes wird die Schritt S71 in 15 beschriebene RTS-Korrekturverarbeitung beschrieben. Die RTS-Rauschkorrekturverarbeitung gemäß der zweiten Ausführungsform unterscheidet sich von der RTS-Rauschkorrekturverarbeitung in 9, wie vorstehend beschrieben, nur hinsichtlich der Verarbeitung zur Berechnung von repräsentativen Werten. Nachstehend wird die von der RTS-Rauschkorrektureinheit 51a gemäß der zweiten Ausführungsform ausgeführte Verarbeitung zur Berechnung von repräsentativen Werten beschrieben.
<Überblick über die Verarbeitung zur Berechnung von repräsentativen Werten>
16 ist ein Ablaufdiagramm, das einen Überblick über die von der RTS-Rauschkorrektureinheit 51a gemäß der zweiten Ausführungsform in Schritt S35 in 9, wie vorstehend beschrieben, ausgeführten Verarbeitung zur Berechnung von repräsentativen Werten zeigt. In 16 führt die RTS-Rauschkorrektureinheit 51a der zweiten Ausführungsform die Verarbeitung in Schritt S55a und Schritt S59a anstatt der Verarbeitung in Schritt S55 und Schritt S59 in 10 in der vorstehend beschriebenen ersten Ausführungsform aus. Andere Schritte sind die gleichen wie die in 10 wie vorstehend beschrieben und eine Erläuterung davon wird deshalb weggelassen.
In Schritt S55a zählt die Einheit zur Berechnung repräsentativer Werte 323 die Anzahl von Pixeln, die Pixelwerte in dem zulässigen Bereich haben, in dem kein RTS-Rauschen auftritt, und die keine defekten Pixel sind, von den Pixeln in dem Auswahlbereich.
In Schritt S59 bestimmt die Einheit zur Berechnung repräsentativer Werte 323 als den repräsentativen Wert einen von einem Mittelwert, einem Moduswert und einem Medianwert von Pixeln, die in dem Auswahlbereich enthalten sind, die Pixelwerte in dem zulässigen Bereich haben und an denen kein RTS-Rauschen auftritt und die keine defekten Pixel sind. Die Einheit zur Berechnung repräsentativer Werte 323 kann einen Mittelwert von Pixelwerten verwenden, die entsprechend Abständen von dem interessierenden Pixel gewichtet werden. Außerdem bestimmt, wenn die Anzahl der Pixel, die die vorstehend beschriebenen Bedingungen erfüllen, Null beträgt, die Einheit zur Berechnung repräsentativer Werte 323 den Wert des interessierenden Pixels als den repräsentativen Wert. Außerdem kann die Einheit zur Berechnung repräsentativer Werte 323 eine Randrichtung auf Grundlage von Pixelwerten von Pixeln bestimmen, die die vorstehend beschriebenen Bedingungen erfüllen, und bestimmt vorzugsweise einen Pixelwert in die bestimmte Richtung als den repräsentativen Wert beispielsweise durch Erhöhung der Gewichtungen von Pixelwerten, die sich in der bestimmten Richtung befinden. Außerdem kann die Einheit zur Berechnung repräsentativer Werte 323 den repräsentativen Wert unter Verwendung eines ROH-Bildes, das direkt zuvor aufgenommen wurde, oder jeglichen anderen Bildes, wie eines ROH-Bildes, das gerade zuvor von der RTS-Rauschkorrektureinheit 51 korrigiert wurde, berechnen. Nach Schritt S59 beendet die RTS-Rauschkorrektureinheit 51a die Verarbeitung und kehrt zu dem Unterprogrammablauf der RTS-Rauschkorrekturverarbeitung in 9 zurück.
<Überblick über die Verarbeitung zur Korrektur defekter Pixel>
Als Nächstes werden die Einzelheiten der in Schritt S72 in 15 beschriebenen Verarbeitung zur Korrektur defekter Pixel beschrieben. 17 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung zur Korrektur defekter Pixel zeigt, und ist ein Ablaufdiagramm eines von der Einheit zur Korrektur defekter Pixel 50a ausgeführten Unterprogrammablaufs.
Wie in 17 gezeigt, ist nur die Verarbeitung in Schritt S17 in 7 der ersten vorstehend beschriebenen Ausführungsform weggelassen. Das bedeutet, in 17 führt die Einheit zur Korrektur defekter Pixel 50a die Verarbeitung aus 7 der vorstehend beschriebenen ersten Ausführungsform außer der Verarbeitung in Schritt S17 aus. Nach Schritt S27 kehrt die Bildverarbeitungsvorrichtung 30 zu dem Hauptprogrammablauf in 15 zurück.
Gemäß der vorstehend beschriebenen zweiten Ausführungsform der vorliegenden Erfindung korrigiert die RTS-Rauschkorrektureinheit 51a RTS-Rauschen gemäß der RTS-Rauschinformation bezüglich des von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes und korrigiert die Einheit zur Korrektur defekter Pixel 50a Rauschen defekter Pixel gemäß der Information über defekte Pixel bezüglich des ROH-Bildes, in dem das RTS-Rauschen von der RTS-Rauschkorrektureinheit 51a korrigiert wurde. Somit ist es möglich, Bilddaten, die das Rauschen defekter Pixel und das RTS-Rauschen enthalten, mit hoher Genauigkeit zu korrigieren.
Außerdem korrigiert gemäß der zweiten Ausführungsform der vorliegenden Erfindung die RTS-Rauschkorrektureinheit 51a RTS-Rauschen unter Verwendung von Pixelwerten von Pixeln außer einem Pixel, das der Information über defekte Pixel entspricht. Das bedeutet, die RTS-Rauschkorrektureinheit 51a korrigiert das RTS-Rauschen unter Verwendung von Pixelwerten von Pixeln außer einem Pixel, das der Information über defekte Pixel entspricht, und korrigiert danach die Einheit zur Korrektur defekter Pixel 50a das Rauschen defekter Pixel. Somit ist das möglich, Bilddaten, die das defekte Pixel und das RTS-Rauschen enthalten, mit hoher Genauigkeit zu korrigieren.
Außerdem werden gemäß der zweiten Ausführungsform der vorliegenden Erfindung, wenn die RTS-Rauschkorrektureinheit 51a das RTS-Rauschen korrigiert, Pixelwerte von Nachbarpixeln des interessierenden Pixels berechnet; da jedoch ein defektes Pixel und ein RTS-Rauschen nicht ausgeschlossen werden, ist es möglich, Bilddaten, die das Rauschen eines defekten Pixels und das RTS-Rauschen enthalten, mit hoher Wahrscheinlichkeit zu korrigieren.
In der zweiten Ausführungsform der vorliegenden Erfindung löscht die RTS-Rauschkorrektureinheit 51a, wenn das interessierende Pixel auf Grundlage der Information über defekte Pixel ein defektes Pixel ist, einen Pixelwert des interessierenden Pixels aus Pixelwerten von Pixeln, auf die Bezug genommen werden soll. Wenn sich jedoch beispielsweise ein Pixelwert des defektes Pixels in einem vorbestimmten Bereich befindet und der Pixelwert korrigiert werden kann, kann es möglich sein, den Pixelwert des defekten Pixels zu korrigieren und das korrigierte Pixel als ein Pixel zu verwenden, auf das zur Korrektur des RTS-Rauschens Bezug genommen werden soll.
(Dritte Ausführungsform)
Als Nächstes wird eine dritte Ausführungsform der vorliegenden Erfindung beschrieben. In einem Bildgebungssystem gemäß der dritten Ausführungsform ist eine Rauschreduziereinheit anders als die Rauschreduziereinheit 32 der Bildverarbeitungsvorrichtung 30 der vorstehend beschriebenen ersten Ausführungsform konfiguriert und führt eine Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform eine andere Verarbeitung aus. Insbesondere wird bestimmt, ob ein interessierendes Pixel ein defektes Pixel oder ein Pixel mit RTS-Rauschen ist, und wird ein Korrekturergebnis auf Grundlage eines Bestimmungsergebnisses ausgewählt. Nachstehend wird eine Konfiguration des Bildgebungssystems gemäß der dritten Ausführungsform beschrieben und dann die von dem Bildgebungssystem gemäß der dritten Ausführungsform ausgeführte Verarbeitung beschrieben. Die gleichen Komponenten wie die des Bildgebungssystems 1 der ersten vorstehend beschriebenen Ausführungsformen sind durch die gleichen Bezugszeichen bezeichnet und eine Erläuterung davon wird weggelassen.
18 ist ein Blockdiagramm, das schematisch eine Konfiguration der Rauschreduziereinheit in der Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung zeigt. Eine Rauschreduziereinheit 32b, in 18 gezeigt, korrigiert entweder RTS-Rauschen oder ein defektes Pixel in einem von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bild und gibt das korrigierte ROH-Bild an die Bildverarbeitungseinheit 33 aus. Insbesondere führt die Rauschreduziereinheit 32b entweder eine der RTS-Rauschkorrekturverarbeitung und der Verarbeitung zur Korrektur defekter Pixel auf Grundlage der RTS-Rauschinformation und der Information über defekte Pixel bezüglich des von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes aus und gibt das korrigierte ROH-Bild an die Bildverarbeitungseinheit 33 aus. Die Rauschreduziereinheit 32b umfasst die Einheit zur Korrektur defekter Pixel 50, die RTS-Rauschkorrektureinheit 51 und eine Rauschreduzierungssteuereinrichtung 52.
Die Rauschreduzierungssteuereinrichtung 52 bewirkt, dass eine der Einheit zur Korrektur defekter Pixel 50 und der RTS-Rauschkorrektureinheit 51 einen Pixelwert des interessierenden Pixels in dem von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bild auf Grundlage der RTS-Rauschinformation und der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel korrigiert.
<Von der Bildverarbeitungsvorrichtung ausgeführte Verarbeitung>
Als Nächstes wird nachstehend von der Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung beschrieben. 19 ist ein Ablaufdiagramm, das einen Überblick über die von der Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung zeigt.
Wie in 19 gezeigt, setzt die Rauschreduzierungssteuereinrichtung 52 den Zähler y, der die Position des ROH-Bildes in die vertikale Richtung (y = 0) angibt, zurück (Schritt S101), und setzt den Zähler x, der die Position des ROH-Bildes in die horizontale Richtung (x = 0) angibt, zurück (Schritt S102).
Anschließend bestimmt die Rauschreduzierungssteuereinrichtung 52 auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel, ob ein interessierendes Pixel ((x, y) Pixel) in dem ROH-Bild ein defektes Pixel ist (Schritt S103). Wenn das interessierende Pixel in dem ROH-Bild ein defektes Pixel ist (Schritt S103: Ja), bewirkt die Rauschreduzierungssteuereinrichtung 52, dass die Einheit zur Korrektur defekter Pixel 50 Verarbeitung zur Korrektur defekter Pixel ausführt (Schritt S104).
<Überblick über die Verarbeitung zur Korrektur defekter Pixel>
20 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung zur Korrektur defekter Pixel in Schritt S104 in 19 zeigt. In 20 sind nur Prozesse in den Schritten S11, S12, S13 und S24 bis S27 aus der Verarbeitung zur Korrektur defekter Pixel der vorstehend beschriebenen Ausführungsform weggelassen (Vergleiche 7); deshalb wird die Erläuterung der Verarbeitung weggelassen. Nach Schritt S23 kehrt die Rauschreduziereinheit 32b zu dem Hauptprogrammablauf in 19 zurück.
Die Erläuterung wird wieder mit Bezugnahme auf 19 fortgesetzt. In Schritt S103 fährt, wenn das interessierende Pixel in dem ROH-Bild kein defektes Pixel ist (Schritt S103: Nein), die Bildverarbeitungsvorrichtung 30 mit dem nachstehend beschriebenen Schritt S105 fort.
Anschließend bestimmt die Rauschreduzierungssteuereinrichtung 52 auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation, ob RTS-Rauschen wahrscheinlich an dem interessierenden Pixel ((x,y) Pixel) in dem ROH-Bild auftritt (Schritt S105). Wenn RTS-Rauschen wahrscheinlich an dem interessierenden Pixel auftritt (Schritt S105: Ja), bewirkt die Rauschreduzierungssteuereinrichtung 52, dass die RTS-Rauschkorrektureinheit 51 RTS-Rauschkorrekturverarbeitung ausführt (Schritt S106).
<Überblick über die RTS-Rauschkorrekturverarbeitung>
21 ist ein Ablaufdiagramm, das einen Überblick über die RTS-Rauschkorrekturverarbeitung (Schritt S106) in 19 zeigt. In 21 entspricht Schritt S201 Schritt S34 in 9 der vorstehend beschriebenen ersten Ausführungsformen. Außerdem entspricht die Verarbeitung zur Berechnung von repräsentativen Werten in Schritt S202 der Verarbeitung zur Berechnung von repräsentativen Werten in 16 der vorstehend beschriebenen zweiten Ausführungsform. Außerdem entspricht die Korrekturwertberechnungsverarbeitung in Schritt S203 der Korrekturwertberechnungsverarbeitung in 12 der ersten vorstehend beschriebenen Ausführungsformen. Nach Schritt S203 kehrt die RTS-Rauschkorrektureinheit 51 zu dem Hauptprogrammablauf in 19 zurück.
Die Erläuterung wird wieder mit Bezugnahme auf 19 fortgesetzt. In Schritt S105 fährt, wenn das RTS-Rauschen wahrscheinlich nicht an dem interessierenden Pixel in dem ROH-Bild auftritt (Schritt S105: Nein), die Bildverarbeitungsvorrichtung 30 mit Schritt S107 fort.
Die Rauschreduzierungssteuereinrichtung 52 erhöht den Zähler x, der die Position des ROH-Bildes in die horizontale Richtung angibt (x = x + 1), (Schritt S107).
Danach bestimmt die Rauschreduzierungssteuereinrichtung 52 ob der Zähler x kleiner ist als eine Bildbreite des ROH-Bildes (Schritt S108). Wenn der Zähler x kleiner als die Bildbreite des ROH-Bildes ist (Schritt S108: Ja), kehrt die Rauschreduzierungssteuereinrichtung 52 zurück zu dem vorstehend beschriebenen Schritt S103. Wenn der Zähler x nicht kleiner als die Bildbreite des ROH-Bildes ist (Schritt S108: Nein), fährt die Rauschreduzierungssteuereinrichtung 52 mit Schritt S109 fort.
Anschließend erhöht die Rauschreduzierungssteuereinrichtung 52 den Zähler y, der die Position des ROH-Bildes in die vertikale Richtung angibt (y = y + 1), (Schritt S109), und bestimmt, ob der Zähler y kleiner ist als eine Bildhöhe des ROH-Bildes (Schritt S110). Wenn der Zähler y kleiner als die Bildhöhe des ROH-Bildes ist (Schritt S110: Ja), kehrt die Rauschreduzierungssteuereinrichtung 52 zurück zu dem vorstehend beschriebenen Schritt S102. Wenn der Zähler y nicht kleiner als die Bildhöhe des ROH-Bildes ist (Schritt S110: Nein), beendet die Rauschreduzierungssteuereinrichtung 52 die Verarbeitung.
Gemäß der dritten Ausführungsform der vorliegenden Erfindung, wie vorstehend beschrieben, bewirkt, wenn auf Grundlage der RTS-Rauschinformation und der Information über defekte Pixel bestimmt wird, dass das interessierende Pixel ein defektes Pixel ist, die Rauschreduzierungssteuereinrichtung 52, dass die Einheit zur Korrektur defekter Pixel 50 den Pixelwert des interessierenden Pixels korrigiert, und bewirkt, wenn bestimmt wird, dass das interessierende Pixel ein Pixel mit Auftreten von RTS-Rauschen ist, dass die RTS-Rauschkorrektureinheit 51 den Pixelwert des interessierenden Pixels korrigiert. Somit ist es möglich, die gleichen Wirkungen wie die der ersten und der zweiten vorstehend beschriebenen Ausführungsformen zu erreichen und die Korrektur defekter Pixel und die RTS-Rauschkorrektur parallel auszuführen. Somit ist es möglich, eine Verarbeitungsverzögerungszeit zu reduzieren.
(Vierte Ausführungsform)
Als Nächstes wird eine vierte Ausführungsform der vorliegenden Erfindung beschrieben. In der vierten Ausführungsform ist eine Rauschreduziereinheit anders konfiguriert und führt die Rauschreduziereinheit eine andere Verarbeitung aus. Insbesondere führt jede der Einheit zur Korrektur defekter Pixel 50 und der RTS-Rauschkorrektureinheit Korrektur aus und wird jedes der Korrekturergebnisse ausgewählt und an die Bildverarbeitungsvorrichtung ausgegeben. Somit wird nachstehend zuerst eine Konfiguration der Rauschreduziereinheit der vierten Ausführungsform beschrieben und dann die von der Rauschreduziereinheit ausgeführte Verarbeitung beschrieben. Die gleichen Komponenten wie die des Bildgebungssystems 1 der vorstehend beschriebenen ersten Ausführungsform sind mit den gleichen Bezugszeichen bezeichnet und eine Erläuterung davon wird weggelassen.
22 ist ein Blockdiagramm, das schematisch eine Konfiguration der Rauschreduziereinheit einer Bildverarbeitungsvorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt. Eine in 22 gezeigte Rauschreduziereinheit 32c umfasst die Einheit zur Korrektur defekter Pixel 50, die RTS-Rauschkorrektureinheit 51 und eine Rauschreduzierungssteuereinrichtung 52. Die Einheit zur Korrektur defekter Pixel 50 und die RTS-Rauschkorrektureinheit 51 sind parallel vorgesehen.
Die Rauschreduzierungssteuereinrichtung 52 wählt einen des von der Einheit zur Korrektur defekter Pixel 50 korrigierten Pixelwerts des interessierenden Pixels und des von der RTS-Rauschkorrektureinheit 51 korrigierten Pixelwerts des interessierenden Pixels bezüglich des Pixelwertes in dem von der dritten externen Schnittstelleneinheit 31 eingegebenen ROH-Bildes auf Grundlage der RTS-Rauschinformation und der Information über defekte Pixel aus, die von der dritten externen Schnittstelleneinheit 31 eingegeben werden, und gibt das korrigierte Bild an die Bildverarbeitungseinheit 33 aus.
<Von der Bildverarbeitungsvorrichtung ausgeführte Verarbeitung>
Als Nächstes wird nachstehend von der Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung beschrieben. 23 ist ein Ablaufdiagramm, das einen Überblick über von der Bildverarbeitungsvorrichtung 30 ausgeführte Rauschreduzierungsverarbeitung.
In 23 entsprechen Schritt S301 und Schritt S302 den in 19 vorstehend beschrieben Schritten S101 und S102.
In Schritt S303 führt die Einheit zur Korrektur defekter Pixel 50 die Verarbeitung zur Korrektur defekter Pixel zur Korrektur des defekten Pixels aus und gibt ein Ergebnis der Korrektur des defekten Pixels an die Rauschreduzierungssteuereinrichtung 52 aus (Schritt S303). Einzelheiten der Verarbeitung zur Korrektur defekter Pixel sind die gleichen wie die der Verarbeitung zur Korrektur defekter Pixel der vorstehend beschriebenen dritten Ausführungsform (siehe 20) und somit wird eine Erläuterung davon weggelassen.
Anschließend führt die RTS-Rauschkorrektureinheit 51 die RTS-Rauschkorrekturverarbeitung zur Korrektur des RTS-Rauschens aus und gibt ein Ergebnis der Korrektur des RTS-Rauschens an die Rauschreduziereinheit 52c aus (Schritt S304). Einzelheiten der Verarbeitung zur Korrektur defekter Pixel sind die gleichen wie die der Verarbeitung zur Korrektur von RTS-Rauschen der vorstehend beschriebenen dritten Ausführungsform (siehe 21) und somit wird eine Erläuterung davon weggelassen.
Anschließend bestimmt die Rauschreduzierungssteuereinrichtung 52c auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen Information über defekte Pixel, ob das interessierende Pixel ((x, y) Pixel) in dem ROH-Bild ein defektes Pixel ist, (Schritt S305). Wenn die Rauschreduzierungssteuereinrichtung 52c bestimmt, dass das interessierende Pixel in dem ROH-Bild ein defektes Pixel ist (Schritt S305: Ja), fährt die Rauschreduziereinheit 132c mit dem nachstehend beschriebenen Schritt S306 fort. Wenn dagegen die Rauschreduzierungssteuereinrichtung 52c bestimmt, dass das interessierende Pixel in dem ROH-Bild 32c kein defektes Pixel ist (Schritt S305: Nein), fährt die Rauschreduziereinheit mit dem nachstehend beschriebenen Schritt S307 fort.
In Schritt S306 stellt die Rauschreduzierungssteuereinrichtung 52c das von der Einheit zur Korrektur defekter Pixel 50 eingegebene Ergebnis der Korrektur des defektes Pixels in dem Pixelwert des interessierenden Pixels ((x, y) Pixel) ein und gibt das korrigierte Bild an die Bildverarbeitungseinheit 33 aus. Nach Schritt S306 fährt die Rauschreduziereinheit 32c mit dem nachstehend beschriebenen Schritt S309 fort.
In Schritt S307 bestimmt die Rauschreduzierungssteuereinrichtung 52c auf Grundlage der von der dritten externen Schnittstelleneinheit 31 eingegebenen RTS-Rauschinformation, ob RTS-Rauschen wahrscheinlich an dem interessierenden Pixel ((x, y)Pixel) in dem ROH-Bild auftritt (Schritt S307). Wenn die Rauschreduzierungssteuereinrichtung 52c bestimmt, das RTS-Rauschen wahrscheinlich an dem interessierenden Pixel ((x, y) Pixel) in dem ROH-Bild auftritt (Schritt S307: Ja), fährt die Rauschreduziereinheit 32c mit dem nachstehend beschriebenen Schritt S308 fort. Wenn die Rauschreduzierungssteuereinrichtung 52c dagegen bestimmt, dass RTS-Rauschen wahrscheinlich nicht an dem interessierenden Pixel ((x, y) Pixel) in dem ROH-Bild auftritt (Schritt S307: Nein), fährt die Rauschreduziereinheit 32c mit dem nachstehend beschriebenen Schritt S309 fort.
In Schritt S308 stellt die Rauschreduzierungssteuereinrichtung 52c das von der Einheit zur Korrektur defekter Pixel 51 eingegebene Ergebnis der Korrektur des defektes Pixels in dem Pixelwert des interessierenden Pixels ((x, y) Pixel) ein und gibt das korrigierte Bild an die Bildverarbeitungseinheit 33 aus. Nach Schritt S308 fährt die Rauschreduziereinheit 32c mit dem nachstehend beschriebenen Schritt S309 fort.
Schritt S309 bis Schritt S312 entsprechen den in 19 vorstehend beschriebenen Schritten S107 bis Schritt S110.
Gemäß der vierten Ausführungsform der vorliegenden Erfindung, wie vorstehend beschrieben, ist es möglich, ein defektes Pixel und ein Blinkdefektrauschen in Daten, die das defekte Pixel und das Blinkdefektpixel enthalten, mit hoher Genauigkeit zu korrigieren.
(Fünfte Ausführungsform)
Als nächstes wird eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben. In der vorstehend beschriebenen ersten Ausführungsform ist die Bildverarbeitungsvorrichtung 30 separat vorgesehen. In der fünften Ausführungsform ist jedoch eine Bildverarbeitungsvorrichtung in einem Hauptkörper einer Bildgebungsvorrichtung vorgesehen. Die gleichen Komponenten wie die des Bildgebungssystems 1 der vorstehend beschriebenen ersten Ausführungsform sind daher mit den gleichen Bezugszeichen bezeichnet und eine Erläuterung davon wird weggelassen.
(Konfiguration des Bildgebungssystems)
24 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Bildgebungssystems 2 gemäß der fünften Ausführungsform der vorliegenden Erfindung zeigt. Das in 24 gezeigte Bildgebungssystem 2 umfasst einen Hauptkörper 3 und eine Linseneinheit 4, die lösbar mit dem Hauptkörper 3 verbunden ist.
<Konfiguration des Hauptkörpers>
Der Hauptkörper 3 umfasst den Blendenverschluss 103, den Bildsensor 105, die Einheit zur analogen Verarbeitung 106, den A/D-Wandler 107, die Betätigungseinheit 108, die Speicherschnittstelleneinheit 109, das Aufzeichnungsmedium 110, den flüchtigen Speicher 111, den nicht-flüchtigen Speicher 112, den Bus 113, die Bildgebungssteuereinrichtung 114, eine AE-Verarbeitungseinheit 116, eine AF-Verarbeitungseinheit 117, eine externe Schnittstelleneinheit 118, eine Anzeigeeinheit 119, einen Treiber 120, die Rauschreduziereinheit 32 und die Bildverarbeitungseinheit 33. Der Treiber 120 steuert den Blendenverschluss 103 unter Steuerung der Bildgebungssteuereinrichtung 114.
Die AE-Verarbeitungseinheit 116 bezieht in dem flüchtigen Speicher 111 gespeicherte Bilddaten über den Bus 113 und stellt eine Belichtungsbedingung, die zur Aufnahme eines Standbildes oder zur Aufnahme eines Bewegtbildes verwendet wird, auf Grundlage der bezogenen Bilddaten ein. Insbesondere berechnet die AE-Verarbeitungseinheit 116 eine Luminanz aus den Bilddaten und führt automatische Belichtung (Autobelichtung) des Bildgebungssystems 2 durch, indem sie beispielsweise einen Blendenwert, eine Belichtungszeit, eine ISO-Empfindlichkeit oder dergleichen auf Grundlage der berechneten Luminanz bestimmt.
Die AF-Verarbeitungseinheit 117 bezieht in dem flüchtigen Speicher 111 gespeicherte Daten über den Bus 113 und stellt den Autofokus des Bildgebungssystems 2 auf Grundlage der bezogenen Bilddaten ein. Beispielsweise extrahiert die AF-Verarbeitungseinheit 117 ein Hochfrequenzkomponentensignal aus den Bilddaten und führt Autofokus(AF)-Berechnungsverarbeitung auf dem Hochfrequenzkomponentensignal aus, um dadurch die Fokusauswertung des Bildgebungssystems 2 zu bestimmen und den Autofokus des Bildgebungssystems 2 einzustellen. Als ein Verfahren zum Einstellen des Autofokus des Bildgebungssystems 2 kann es möglich sein, ein Phasendifferenzsignal durch den Bildsensor 105 zu erlangen.
Die externe Schnittstelleneinheit 118 kann Daten in verschiedenen Blöcken in dem Hauptkörper 3 lesen und schreiben und Steuerung unter Verwendung eines dedizierten Befehls oder dergleichen ausführen. Die externe Schnittstelleneinheit 118 ist eine Schnittstelle, die verschiedene Blöcke in dem Hauptkörper 3 durch Verbinden einer dedizierten Schaltung, an der ein FPGA, ein DSP, eine GPU oder dergleichen montiert ist, oder eine externe Vorrichtung, wie beispielsweise ein Personal Computer (PC) steuern kann.
Die Anzeigeeinheit 119 ist aus einem Anzeigefeld aus Flüssigkristall, organischer Elektroluminanz (EL) oder dergleichen gemacht. Die Anzeigeeinheit 119 zeigt ein Bild an, das von dem Bildsensor 105 erzeugten Bilddaten entspricht.
<Konfiguration der Linseneinheit>
Wie in 24 gezeigt, bildet die Linseneinheit 4 an dem Bildsensor 105 ein Bild eines Subjektes unter Verwendung von von einem vorbestimmten Sichtfeld erfassten Licht. Die Linseneinheit 4 umfasst das optische System 101, die Blende 102 und dem Treiber 104.
<Von dem Bildgebungssystem ausgeführte Verarbeitung>
Als Nächstes wird von dem Bildgebungssystem 2 ausgeführte Verarbeitung beschrieben. 25 ist ein Ablaufdiagramm, das einen Überblick über die von dem Bildgebungssystem 2 ausgeführte Verarbeitung zeigt.
Wie in 25 gezeigt, initiiert zuerst, wenn ein Nutzer eine Energieschaltfläche (nicht gezeigt) der Betätigungseinheit 108 betätigt, um eine Energieversorgung des Hauptkörpers 3 einzuschalten, die Bildgebungssteuereinrichtung 114 das Bildgebungssystem 2 (Schritt S801). Insbesondere führt die Bildgebungssteuereinrichtung 114 die Initialisierung aus, um eine Aufzeichnungsmarkierung auszuschalten, die anzeigt, dass ein Bewegtbild aufgezeichnet wird. Die Aufzeichnungsmarkierung ist eine Markierung, die eingeschaltet wird, wenn ein Bewegtbild aufgenommen wird, und die ausgeschaltet wird, wenn kein Bewegtbild aufgenommen wird, und ist in dem flüchtigen Speicher 111 gespeichert.
Anschließend kehrt, wenn eine Bewegtbildschaltfläche der Betätigungseinheit 108 gedrückt wird (Schritt S802: Ja), die Bildgebungssteuereinrichtung 114 die Aufzeichnungsmarkierung, die angibt, dass ein Bewegtbild aufgezeichnet wird, in einen Ein-Zustand (Schritt S803) um und bestimmt die Bildgebungssteuereinrichtung 114, ob das Bildgebungssystem 2 ein Bewegtbild aufzeichnet (Schritt S804). Insbesondere bestimmt die Bildgebungssteuereinrichtung 114, ob die in dem flüchtigen Speicher 111 aufgezeichnete Aufzeichnungsmarkierung in dem Ein-Zustand ist. Wenn die Bildgebungssteuereinrichtung 114 bestimmt, dass das Bildgebungssystem 2 ein Bewegtbild aufnimmt (Schritt S804: Ja), fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S805 fort. Wenn dagegen die Bildgebungssteuereinrichtung 114 bestimmt, dass das Bildgebungssystem 2 kein Bewegtbild aufnimmt (Schritt S804: Nein), fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S806 fort.
In Schritt S805 erzeugt die Bildgebungssteuereinrichtung 114 eine Bewegtbilddatei zum Aufzeichnen von Bilddaten in dem Aufzeichnungsmedium 110 in chronologischer Reihenfolge. Nach Schritt S805 fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S806 fort.
In Schritt S802 fährt das Bildgebungssystem 2, wenn die Bewegtbildschaltfläche der Betätigungseinheit 108 nicht gedrückt ist (Schritt S802: Nein), mit Schritt S806 fort.
Anschließend bestimmt die Bildgebungssteuereinrichtung 114, ob das Bildgebungssystem 2 ein Bewegtbild aufzeichnet (Schritt S806). Wenn die Bildgebungssteuereinrichtung 114 bestimmt, dass das Bildgebungssystem 2 ein Bewegtbild aufgezeichnet (Schritt S806: Ja), fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S817 fort. Wenn dagegen das Bildgebungssteuereinrichtung 114 bestimmt, dass das Bildgebungssystem 2 kein Bewegtbild aufzeichnet (Schritt S806: Nein), fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S807 fort.
In Schritt S807 gibt, wenn eine Wiedergabeschaltfläche der Betätigungseinheit 108 gedrückt wird (Schritt S807: Ja), das Bildgebungssystem 2 ein Bild, das den in den Aufzeichnungsmedium 110 aufgezeichneten Bilddaten entspricht, auf der Anzeigeeinheit 119 (Schritt S808) wieder und zeigt es an. Nach Schritt S808 fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S809 fort.
In Schritt S807 fährt, wenn die Wiedergabeschaltfläche der Betätigungseinheit 108 nicht gedrückt wird (Schritt S807: Nein), das Bildgebungssystem 2 mit Schritt S809 fort.
Anschließend führt, wenn eine Menüschaltfläche der Betätigungseinheit 108 gedrückt wird (Schritt S809: Ja), das Bildgebungssystem 2 eine Einstellungsverarbeitung zur Ausführung verschiedener Einstellungen aus (Schritt S810). Nach Schritt S810 fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S811 fort.
In Schritt S809 fährt, wenn eine Menüschaltfläche der Betätigungseinheit 108 nicht gedrückt wird (Schritt S809: Nein), das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S811 fort.
In Schritt S811 bewirkt, wenn eine Freigabeschaltfläche der Betätigungseinheit 108 aus einem Aus-Zustand in einem ersten Zustand verlagert wird (Schritt S811: Ja), die Bildgebungssteuereinrichtung 114, dass die AE-Verarbeitungseinheit 116 AE-Verarbeitung zur Einstellung der Belichtung ausführt, und bewirkt, dass die AF-Verarbeitungseinheit 117 AF-Verarbeitung zur Einstellung des Fokus ausführt (Schritt S812).Anschließend fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S824 fort.
In Schritt S811 fährt, wenn die Freigabeschaltfläche der Betätigungseinheit 108 nicht aus dem Auszustand in den ersten Zustand verlagert wird (Schritt S811: Nein), das Bildgebungssystem 2 mit Schritt S813 fort.
Anschließend führt, wenn die Freigabeschaltfläche der Betätigungseinheit 108 in einen zweiten Zustand verlagert wird (Schritt S813: Ja), die Bildgebungssteuereinrichtung 114 eine Aufnahme unter Verwendung eines mechanischen Verschlusses aus (Schritt S814). Insbesondere steuert die Bildgebungssteuereinrichtung 114 den Blendenverschluss 103 und bewirkt, dass der Bildsensor 105 die Aufnahme ausführt.
Anschließend korrigiert das Bildgebungssystem 2 RTS-Rauschen auf den von den Bildsensor 105 erzeugten Bilddaten und führt Bildverarbeitung zur Ausführung einer vorbestimmten Verarbeitung aus (Schritt S815). Einzelheiten der Bildverarbeitung sind später beschrieben.
Danach zeichnet die Bildgebungssteuereinrichtung 114 in dem Aufzeichnungsmedium 110 die Bilddaten auf, auf denen die Bildverarbeitung von der Bildverarbeitungseinheit 33 ausgeführt wurde (Schritt S816). Nach Schritt S816 fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S824 fort.
In Schritt S813 fährt, wenn die Freigabeschaltfläche der Betätigungseinheit 108 nicht in den zweiten Zustand verlagert wird (Schritt S813: Nein), das Bildgebungssystem 2 mit Schritt S817 fort.
Anschließend bewirkt die Bildgebungssteuereinrichtung 114, dass die AE-Verarbeitungseinheit 116 AE-Verarbeitung zur Einstellung der Belichtung ausführt (Schritt S817) und bewirkt, dass die AF-Verarbeitungseinheit 117 AF-Verarbeitung zur Einstellung des Fokus ausführt (Schritt S818).
Danach bewirkt die Bildgebungssteuereinrichtung 114, dass der Bildsensor 105 eine Aufnahme unter Verwendung eines so genannten elektronischen Verschlusses, der die Belichtungszeit elektronisch steuert, über den Treiber 120 ausführt (Schritt S819). Die von dem Bildsensor 105 durch die Aufnahme unter Verwendung des elektronischen Verschlusses erzeugten Bilddaten werden über die Einheit zur analogen Verarbeitung 106, den A/D-Wandler 107 und den Bus 113 an den flüchtigen Speicher 111 ausgegeben.
Anschließend führt das Bildgebungssystem 2 die gleiche Bildverarbeitung wie die in Schritt S815 ausgeführte Verarbeitung aus (Schritt S820). Einzelheiten der Bildverarbeitung werden später beschrieben.
Danach bewirkt das Bildgebungssystem 2, dass die Anzeigeeinheit 119 ein Liveansichtsbild anzeigt, das den Bilddaten entspricht, die von dem Bildsensor 105 durch die Aufnahme unter Verwendung des elektronischen Verschlusses erzeugt werden (Schritt S821).
Anschließend bewirkt, wenn das Bildgebungssystem 2 ein Bewegtbild aufzeichnet (Schritt S822: Ja), die Bildgebungssteuereinrichtung 114, dass eine Bildkompressions/dekompressionseinheit (nicht gezeigt) die Bilddaten in einem Aufzeichnungsformat komprimiert, das durch die Einstellungsverarbeitung in Schritt S810 eingestellt wird, und zeichnet die komprimierten Bilddaten als ein Bewegtbild in einer Bewegtbilddatei auf, die in dem Aufzeichnungsmedium 110 erzeugt wird (Schritt S823). Nach Schritt S823 fährt das Bildgebungssystem 2 mit dem nachstehend beschriebenen Schritt S824 fort.
In Schritt S822 fährt, wenn das Bildgebungssystem 2 kein Bewegtbild aufzeichnet (Schritt S822: Nein), das Bildgebungssystem 2 mit Schritt S824 fort.
Anschließend beendet, wenn die Energieschaltfläche der Betätigungseinheit 108 gedrückt wird und die Energieversorgung des Bildgebungssystems 2 ausgeschaltet wird (Schritt S824: Ja), das Bildgebungssystem 2 die Verarbeitung. Wenn dagegen die Energieversorgung des Bildgebungssystems 2 nicht ausgeschaltet wird (Schritt S824: Nein), kehrt das Bildgebungssystem 2 zu Schritt S802 zurück.
<Überblick über die Bildverarbeitung>
Als Nächstes wird die in Schritt S815 und Schritt S820 in 25 beschriebene Bildverarbeitung beschrieben. 26 ist ein Ablaufdiagramm, das einen Überblick über die Bildverarbeitung zeigt.
Wie in 26 gezeigt, führt die Einheit zur Korrektur defekter Pixel 50 Verarbeitung zur Korrektur defekter Pixel zur Korrektur von Rauschen defekter Pixel in den von dem Bildsensor 105 erzeugten Bilddaten aus (Schritt S901). Hier entspricht die Verarbeitung zur Korrektur defekter Pixel der von der Bildverarbeitungsvorrichtung 30 gemäß der ersten, der dritten und der vierten vorstehend beschriebenen Ausführungsformen ausgeführten Verarbeitung. Somit wird eine Erläuterung davon weggelassen.
Anschließend führt die RTS-Rauschkorrektureinheit 51 RTS-Rauschkorrekturverarbeitung zur Korrektur des RTS-Rauschens in den Bilddaten aus, die von der Einheit zur Korrektur defekter Pixel 50 korrigiert wurden (Schritt S902). Hier entspricht die RTS-Rauschkorrekturverarbeitung der von der Bildverarbeitungsvorrichtung 30 gemäß der ersten, der dritten und der vierten vorstehend beschriebenen Ausführungsformen ausgeführten Verarbeitung. Somit wird eine Erläuterung davon weggelassen.
Anschließend führt die Bildverarbeitungseinheit 33 grundlegende Bildverarbeitung auf den Bilddaten aus, in denen das RTS-Rauschen von der RTS-Rauschkorrektureinheit 320 korrigiert wurde (Schritt S903). Nach Schritt S902 kehrt das Bildgebungssystem 2 zu dem Hauptprogrammablauf in 25 zurück.
Gemäß der fünften Ausführungsform der vorliegenden Erfindung, wie vorstehend beschrieben, ist es möglich, die gleichen Wirkungen wie die der ersten vorstehend beschriebenen Ausführungsform zu erreichen.
(Andere Ausführungsformen)
Die vorliegende Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt und es sind natürlich verschiedene Modifizierungen und Anwendungen im Offenbarungsbereich des Geistes der vorliegenden Erfindung möglich. Beispielsweise kann zusätzlich zu der in der Beschreibung der vorliegenden Erfindung verwendeten Bildgebungsvorrichtung die vorliegende Erfindung auf jegliche Vorrichtung angewendet werden, die ein Bild eines Objektes aufnehmen kann, wie beispielsweise eine tragbare Vorrichtung mit einem Bildsensor in einem Mobiltelefon oder einem Smartphone, einer Bildgebungsvorrichtung, die ein Bild eines Subjektes durch ein optisches System aufnehmen kann, wie beispielsweise eine Videokamera, ein Endoskop, eine Überwachungskamera oder ein Mikroskop und dergleichen.
In der Ausführungsform wird der Bezugswert des Zufallsrauschmodells und des Rauschmodels, auf die Bezug genommen wird, in Abhängigkeit von dem RTS_Value, der Merkmalsdaten von RTS-Rauschen ist, oder in Abhängigkeit von dem Höchstwert der Kandidatenwerten auf Grundlage von RTS_Value geändert. Es kann jedoch möglich sein, diese Werte zu kombinieren, ein Zufallsrauschmodell gemäß den Merkmalsdaten des RTS-Rauschens auszuwählen und die Zufallsrauschmenge durch Ändern des Bezugswertes zu schätzen. Außerdem kann es, da die Zufallsrauschmenge in Abhängigkeit von der Temperatur schwankt, möglich sein, ein Zufallsrauschmodell in Abhängigkeit von der Temperatur des Bildsensors zum Zeitpunkt der Aufnahme der Bilddaten auszuwählen und dann das vorstehend beschriebene Verfahren anzuwenden.
Außerdem sind in den Ausführungsformen die RTS-Rauschen-Informationsaufzeichnungseinheit und die Einheit zum Aufzeichnen von Information über defekte Pixel in der Bildgebungsvorrichtung vorgesehen; die RTS-Rauschen-Informationsaufzeichnungseinheit kann jedoch auch außerhalb der Bildverarbeitungsvorrichtung vorgesehen sein oder die Linseneinheit, wie vorstehend beschrieben, kann in einem Hauptkörper eines Endoskops oder dergleichen vorgesehen sein oder kann in einem Server vorgesehen sein, der bidirektionale Kommunikation über ein Netzwerk ausführen kann, und die RTS-Rauschinformation über das Netzwerk erlangen.
Außerdem kann die offenbarte Technologie auf andere Bilddaten als die zur Anzeige oder Aufzeichnung verwendeten Bilddaten angewendet werden; beispielsweise kann die offenbarte Technologie auf Bilddaten eines OB-Bereiches oder Bilddaten eines Bereiches außerhalb eines Bildkreises angewendet werden, für den eine Gewährleistung der optischen Konstruktion nicht sichergestellt ist.
Außerdem sind in der Erläuterung jedes Betriebsablaufdiagramms, das vorstehend in diesem Dokument beschrieben ist, die Betriebsvorgänge unter Verwendung von „zuerst“, „dann“, „anschließend“, „danach“ und dergleichen beschrieben; das bedeutet jedoch nicht, dass die Betriebsvorgänge notwendigerweise in dieser Reihenfolge ausgeführt werden müssen.
Außerdem kann jedes der Verarbeitungsverfahren durch die Bildverarbeitungsvorrichtung gemäß den vorstehend beschriebenen Ausführungsformen, d.h. die in jedem Ablaufdiagramm beschriebene Verarbeitung, als ein Programm gespeichert werden, das von einer Steuereinrichtung, wie beispielsweise einer CPU, ausgeführt werden kann. Außerdem kann jede Verarbeitung in einem Speichermedium einer externen Speichervorrichtung, wie beispielsweise einer Speicherkarte (einer ROM Karte, einer RAM-Karte oder dergleichen), einer Magnetplatte (einer Diskette^©, Festplatte oder dergleichen) einer optischen Platte (einer CD-ROM, einer DVD oder dergleichen) oder einem Halbleiterspeicher gespeichert und dann verteilt werden. Dann liest die Steuereinrichtung, wie beispielsweise eine CPU, das in dem Speichermedium der externen Speichervorrichtung gespeicherte Programm und werden die Betriebsvorgänge von dem gelesenen Programm ausgeführt, so dass die vorstehend beschriebene Verarbeitung ausgeführt werden kann.
Die vorliegende Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen und Modifizierungen beschränkt, wie sie sind. Im implementierten Zustand kann die vorliegende Erfindung mit verschiedenen Modifizierungen der Komponenten in einem Offenbarungsbereich ausgeführt werden, der nicht vom Geist der Erfindung abweicht. Außerdem können verschiedene Erfindungen durch die geeignete Kombination einer Mehrzahl von in den vorstehend beschriebenen Ausführungsformen offenbarten Komponenten gemacht werden. Beispielsweise können einige Komponenten aus allen in den vorstehend beschriebenen Ausführungsformen und Modifizierungen gelöscht werden. Außerdem können die in den Ausführungsformen und Modifizierungen beschriebenen Komponenten geeignet kombiniert werden.
Außerdem kann in der Beschreibung oder den Zeichnungen ein Begriff, der mindestens einmal zusammen mit einem anderen Begriff mit einer breiteren Bedeutung oder dergleichen Bedeutung beschrieben wird, durch den anderen Begriff an jeglicher Stelle in der Beschreibung oder den Zeichnungen ersetzt werden. Somit können verschiedene Modifizierungen und Anwendungen gemacht werden, ohne vom Offenbarungsbereich der Erfindung abzuweichen.
Bezugszeichenliste

1,2: BILDGEBUNGSSYSTEM
3: HAUPTKÖRPER
4: LINSENEINHEIT
10: BILDGEBUNGSVORRICHTUNG
30: BILDVERARBEITUNGSVORRICHTUNG
31: DRITTE EXTERNE SCHNITTSTELLENEINHEIT
32, 32a, 32b, 32c: RAUSCHREDUZIEREINHEIT
33: BILDVERARBEITUNGSEINHEIT
34,: 108 BETÄTIGUNGSEINHEIT
35: SPEICHEREINHEIT
36: BILDVERARBEITUNGSSTEUEREINRICHTUNG
40: ANZEIGEVORRICHTUNG
50,: 50a EINHEIT ZUR KORREKTUR DEFEKTER PIXEL
51,: 51a RTS-RAUSCHKORREKTUREINHEIT
52,: 52c RAUSCHREDUZIERSTEUEREINHEIT
101: OPTISCHES SYSTEM
102: BLENDE
103: BLENDENVERSCHLUSS
104,: 120 TREIBER
105: BILDSENSOR
105a: PIXEL
105b: ERSTER SCHALTER
105c: VERTIKALE ÜBERTRAGUNGSLEITUNG
105d: FD-EINHEIT
105e: VERSTÄRKUNGSEINHEIT
105f: ZWEITER SCHALTER
105h: ÜBERTRAGUNGSLEITUNG
106: EINHEIT ZUR ANALOGEN VERARBEITUNG
107: A/D-WANDLER
109: SPEICHERSCHNITTSTELLENEINHEIT
110: AUFZEICHNUNGSMEDIUM
111: FLÜCHTIGER SPEICHER
112: NICHT-FLÜCHTIGER SPEICHER
112a: PROGRAMMAUFZEICHNUNGSEINHEIT
112b: RTS-RAUSCHEN-INFORMATIONSAUFZEICHNUNGSEINHEIT
112c: ZUFALLSRAUSCHMODELLINFORMATIONSAUFZEICHNUNGSEINHEIT
112d: EINHEIT ZUM AUFZEICHNEN VON INFORMATION ÜBER DEFEKTE PIXEL
113: BUS
114: BILDGEBUNGSSTEUEREINRICHTUNG
115: ERSTE EXTERNE SCHNITTSTELLENEINHEIT
116: AE-VERARBEITUNGSEINHEIT
117: AF-VERARBEITUNGSEINHEIT
118: EXTERNE SCHNITTSTELLENEINHEIT
119: ANZEIGEEINHEIT
321: RTS-RAUSCHPIXELBESTIMMUNGSEINHEIT
322: KANDIDATENWERTBERECHNUNGSEINHEIT
323: EINHEIT ZUR BERECHNUNG REPRÄSENTATIVER WERTE
324: ZUFALLSRAUSCHMENGENSCHÄTZEINHEIT
325: KORREKTURWERTBERECHNUNGSEINHEIT

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2002010274 A [0006]
JP 2012105063 A [0006]
JP 2015057958 PCT [0133]

Claims

Bildverarbeitungsvorrichtung zur Korrektur von Blinkdefektrauschen, das in von einem Bildsensor erzeugten Bilddaten enthalten ist, wobei der Bildsensor umfasst: eine Mehrzahl von Pixeln, die zweidimensional angeordnet sind und dafür konfiguriert sind, Licht von außerhalb zu empfangen, um ein Signal gemäß einer Menge des empfangenen Lichtes zu erzeugen; und eine Mehrzahl von Leseschaltungen, die dafür konfiguriert sind, das Signal als einen Pixelwert zu lesen, und zur Korrektur von Rauschen defekter Pixel in den Bilddaten, wobei sich das Rauschen defekter Pixel von dem Blinkdefektrauschen unterscheidet und entsprechend Positionen der Mehrzahl von Pixeln auftritt, wobei die Bildverarbeitungsvorrichtung umfasst: eine Bezugseinheit, die dafür konfiguriert ist, Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und von Positionsinformation über jedes der Pixel umfasst, Information über Blinkdefektrauschen, die eine von Positionsinformation über eine Leseschaltung, in der das Blinkdefektrauschen auftritt, und der Positionsinformation über jedes der Pixel umfasst, und die von dem Bildsensor erzeugten Bilddaten zu beziehen; und eine Rauschreduziereinheit, die dafür konfiguriert ist, eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der von der Bezugseinheit bezogenen Information über defekte Pixel und der von der Bezugseinheit bezogenen Information über Blinkdefektrauschen bezüglich der von der Bezugseinheit bezogenen Bilddaten zu reduzieren.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Rauschreduziereinheit dafür konfiguriert ist, nach Reduzierung von einem des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der von der Bezugseinheit bezogenen Information über defekte Pixel und der von der Bezugseinheit bezogenen Information über Blinkdefektrauschen bezüglich der von der Bezugseinheit bezogenen Bilddaten, ein weiteres des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage von mindestens einer der von der Bezugseinheit bezogenen Information defekter Pixel und der von der Bezugseinheit bezogenen Information über Blinkdefektrauschen zu reduzieren.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei die Rauschreduziereinheit umfasst: eine Einheit zur Korrektur defekter Pixel, die dafür konfiguriert ist, das Rauschen defekter Pixel in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen zu korrigieren; und eine Einheit zur Korrektur von Blinkdefektrauschen, die dafür konfiguriert ist, das Blinkdefektrauschen in den Bilddaten, in denen das Rauschen defekter Pixel von der Einheit zur Korrektur defekter Pixel korrigiert wurde, auf Grundlage der Information über Blinkdefektrauschen zu korrigieren.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei die Rauschreduziereinheit umfasst: eine Einheit zur Korrektur von Blinkdefektrauschen, die dafür konfiguriert ist, das Blinkdefektrauschen in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen zu korrigieren; und eine Einheit zur Korrektur defekter Pixel, die dafür konfiguriert ist, das Rauschen defekter Pixel in den Bilddaten, in denen das Blinkdefektrauschen von der Einheit zur Korrektur von Blinkdefektrauschen korrigiert wurde, auf Grundlage der Information über defekte Pixel zu korrigieren.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Rauschreduziereinheit umfasst: eine Einheit zur Korrektur von defekten Pixeln, die dafür konfiguriert ist, das Rauschen defekter Pixel in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen zu korrigieren; und eine Einheit zur Korrektur von Blinkdefektrauschen, die dafür konfiguriert ist, das Blinkdefektrauschen in den Bilddaten auf Grundlage der Information über defekte Pixel und der Information über das Blinkdefektrauschen zu korrigieren, und die Rauschreduziereinheit dafür konfiguriert ist, wenn das Rauschen defekter Pixel an einem interessierenden Pixel in einem Bild auftritt, das den Bilddaten entspricht, auf Grundlage der Information über defekte Pixel und der Information über Blinkdefektrauschen ein Ergebnis auszugeben, das durch Bewirken erlangt wird, dass die Einheit zur Korrektur defekter Pixel einen Pixelwert des interessierenden Pixels korrigiert, und die Rauschreduziereinheit dafür konfiguriert ist, wenn das Blinkdefektrauschen an dem interessierenden Pixel auftritt, ein Ergebnis auszugeben, das durch Bewirken erlangt wird, dass die Einheit zur Korrektur von Blinkdefektrauschen den Pixelwert des interessierenden Pixels korrigiert.
Bildverarbeitungseinheit nach Anspruch 3 oder 5, wobei die Einheit zur Korrektur defekter Pixel dafür konfiguriert ist, das Rauschen defekter Pixel unter Verwendung von Pixelwerten von Pixeln außer einem Pixel zu korrigieren, das in der Information über Blinkdefektrauschen enthalten ist und an dem das Blinkdefektrauschen wahrscheinlich auftritt.
Bildverarbeitungseinheit nach Anspruch 6, wobei die Einheit zur Korrektur defekter Pixel dafür konfiguriert ist, das Rauschen defekter Pixel unter Ausschluss eines Pixelwerts eines Pixels zu korrigieren, für das ein Unterschied zwischen einem Pixelwert eines Pixels, das in der Information über Blinkdefektrauschen enthalten ist und an dem das Blinkdefektrauschen wahrscheinlich auftritt, und einem Pixelwert von jedem von Nachbarpixeln des gewissen Pixels gleich oder größer einem vorbestimmten Schwellenwert ist.
Bildverarbeitungseinheit nach einem der Ansprüche 3 bis 5, wobei die Information über Blinkdefektrauschen außerdem Merkmalsdaten, die einer der Positionsinformation über die Leseschaltung, in der das Blinkdefektrauschen auftritt, und der Positionsinformation über jedes der Pixel zugeordnet sind und die auf einem Rauschpegel des Blinkdefektrauschens basieren, und die Einheit zur Korrektur defekter Pixel dafür konfiguriert ist, wenn ein Pixel, an dem das Blinkdefektrauschen wahrscheinlich auftritt und das in der Information über Blinkdefektrauschen enthalten ist, um das Rauschen defekter Pixel herum vorhanden ist, das Rauschen defekter Pixel unter Verwendung eines Pixelwertes, der durch Korrektur eines Pixelwerts des Pixels erlangt wird, an dem das Blinkdefektrauschen wahrscheinlich auftritt, auf Grundlage der Merkmalsdaten zu korrigieren.
Bildverarbeitungsvorrichtung nach Anspruch 4 oder 5, wobei die Einheit zur Korrektur von Blinkdefektrauschen dafür konfiguriert ist, das Blinkdefektrauschen unter Verwendung eines Pixelwerts eines Pixels außer einem Pixel zu korrigieren, das in der Information über defekte Pixel enthalten ist und an dem das Rauschen defekter Pixel auftritt.
Bildverarbeitungsvorrichtung nach Anspruch 9, wobei die Einheit zur Korrektur von Blinkdefektrauschen dafür konfiguriert ist, einen repräsentativen Wert eines interessierenden Pixels von einem Pixelwert eines Pixels außer einem Pixel zu berechnen, das in der Information über defekte Pixel enthalten ist und an dem das Rauschen defekter Pixel auftritt, und das Blinkdefektrauschen zu korrigieren, um sich dem repräsentativen Wert anzunähern.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei das Blinkdefektrauschen ein Zufallsrauschentelegrammsignal ist.
Bildverarbeitungsverfahren, das von einer Bildverarbeitungsvorrichtung zur Korrektur von Blinkdefektrauschen ausgeführt wird, das in von einem Bildsensor erzeugten Bilddaten enthalten ist, wobei der Bildsensor umfasst: eine Mehrzahl von Pixeln, die zweidimensional angeordnet sind und dafür konfiguriert sind, Licht von außerhalb zu empfangen, um ein Signal gemäß einer Menge des empfangenen Lichtes zu erzeugen; und eine Mehrzahl von Leseschaltungen, die dafür konfiguriert sind, das Signal als einen Pixelwert zu lesen, und zur Korrektur von Rauschen defekter Pixel in den Bilddaten, wobei sich das Rauschen defekter Pixel von dem Blinkdefektrauschen unterscheidet und entsprechend Positionen der Mehrzahl von Pixeln auftritt, wobei das Bildverarbeitungsverfahren umfasst: einen Bezugsschritt zum Beziehen von Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und Positionsinformation über jedes der Pixel umfasst, Information über Blinkdefektrauschen, die eine von Positionsinformation über eine Leseschaltung, in der Blinkdefektrauschen auftritt, und Positionsinformation über jedes der Pixel umfasst, und der von dem Bildsensor erzeugten Bilddaten; und einen Rauschreduzierschritt zum Reduzieren eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der in dem Bezugsschritt bezogenen Information über defekte Pixel und der in dem Bezugsschritt bezogenen Information über Blinkdefektrauschen bezüglich der in dem Bezugsschritt bezogenen Bilddaten.
Programm, das bewirkt, dass eine Bildverarbeitungsvorrichtung zur Korrektur von Blinkdefektrauschen, das in von einem Bildsensor erzeugten Bilddaten enthalten ist, wobei der Bildsensor umfasst: eine Mehrzahl von Pixeln, die zweidimensional angeordnet sind und dafür konfiguriert sind, Licht von außerhalb zu empfangen, um ein Signal gemäß einer Menge des empfangenen Lichtes zu erzeugen; und eine Mehrzahl von Leseschaltungen, die dafür konfiguriert sind, das Signal als einen Pixelwert zu lesen, und zur Korrektur von Rauschen defekter Pixel in den Bilddaten, wobei sich das Rauschen defekter Pixel von dem Blinkdefektrauschen unterscheidet und entsprechend Positionen der Mehrzahl von Pixeln auftritt, ausführt: einen Bezugsschritt zum Beziehen von Information über defekte Pixel, die eine von Positionsinformation über eine Leseschaltung, in der das Rauschen defekter Pixel auftritt, und Positionsinformation über jedes der Pixel umfasst, Information über Blinkdefektrauschen, die eine von Positionsinformation über eine Leseschaltung, in der das Blinkdefektrauschen auftritt, und Positionsinformation über jedes der Pixel umfasst, und der von dem Bildsensor erzeugten Bilddaten; und einen Rauschreduzierschritt zum Reduzieren eines des Rauschens defekter Pixel und des Blinkdefektrauschens auf Grundlage der in dem Bezugsschritt bezogenen Information über defekte Pixel und der in dem Bezugsschritt bezogenen Information über Blinkdefektrauschen bezüglich der in dem Bezugsschritt bezogenen Bilddaten.