DE112017005193T5

DE112017005193T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung

Info

Publication number: DE112017005193T5
Application number: DE112017005193.2T
Authority: DE
Inventors: Kohei KURIHARA; Yoshitaka Toyoda; Daisuke Suzuki
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-10-14
Filing date: 2017-08-16
Publication date: 2019-07-04
Also published as: WO2018070100A1; JP6351903B1; CN109804619A; US20190228512A1; JPWO2018070100A1; CN109804619B; US10699395B2

Abstract

Eine Bildverarbeitungsvorrichtung 100 enthält eine Filtertrennungsvorrichtung 101 für unsichtbare Bilder, die eine unsichtbare Detailkomponente D1 trennt, eine Filtertrennungsvorrichtung 102a für sichtbare Bilder, die eine sichtbare Basiskomponente D2A und eine sichtbare Detailkomponente D2B trennt, eine Basis-Helligkeits-Farben-Trennungsvorrichtung 102b, die eine sichtbare Helligkeitsbasiskomponente D3A und eine sichtbare Farbenbasiskomponente D3B trennt, eine Detail-Helligkeits-Farben-Trennungsvorrichtung 102c, die eine sichtbare Helligkeitsdetailkomponente D4 trennt, einen Detailsynthetisierer 103, der eine synthetische Helligkeitsdetailkomponente D5 erzeugt, eine Erzeugungsvorrichtung 104 für eine synthetische Helligkeitskomponente, die eine synthetische Helligkeitskomponente D6 erzeugt, und einen Helligkeits-Farben-Synthetisierer 105, der ein synthetisches Bild DOUT erzeugt.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und eine Bildaufnahmevorrichtung zum Erzeugen eines synthetischen Bilds mit hoher Sichtbarkeit anhand eines ersten Bilds, das durch Empfangen von Licht in einem ersten Wellenlängenbereich von einem Bildaufnahmeobjekt erworben wurde, und eines zweiten Bilds, das durch Empfangen von Licht in einem zweiten Wellenlängenbereich von demselben Bildaufnahmeobjekt erworben wurde.
STAND DER TECHNIK
Es existiert eine Bildintegrationstechnologie zum Erzeugen eines Bilds mit hoher Sichtbarkeit durch Auswählen mehrerer Typen von Bildern, die in Bezug auf Bildmerkmale verschieden sind, wie ein sichtbares Bild und ein Infrarotbild, ein RGB-Bild und ein Schmalbandbild oder dergleichen, abhängig von der Szene (Zustand des Bildaufnahmeobjekts, Zustand um das Bildaufnahmeobjekt herum oder dergleichen), und Integrieren (Kombinieren) der ausgewählten Bilder. Beispielsweise erzielen infrarotnahe Bilder eine hohe Sichtbarkeit, wenn ein Schleier aufgetreten ist oder in einem Umfeld eines hochdynamischen Bereichs, während Schmalbandbilder, die durch Bildaufnahme von einem Satelliten oder einer Drohne erhalten wurden, geeignet sind für die Verwendung zur Überwachung von Wasser- und Vegetationsbereichen. Weiterhin sind auf dem Markt Überwachungsvorrichtungen in weitem Umfang verfügbar, die eine Strahlungsvorrichtung zum Bestrahlen des Objekts mit unsichtbarem Licht, wie eine Quelle für infrarotnahes Licht, und eine Kamera zum Erwerben eines Bilds mit einem hohen Signalpegel und einem niedrigen Störungspegel, die für die Überwachung von Szenen während der Nacht geeignet ist, enthalten. Durch Kombinieren eines von derartigen Bildern, die in Bezug auf die Bildmerkmale verschieden sind, mit einem sichtbaren Bild kann ein Objekt oder Ziel, dem Beachtung zu schenken ist, leicht unterschieden werden, selbst wenn eine Szene, in der die Unterscheidung nur mit einem sichtbaren Bild schwierig ist, aufgenommen wurde.
Das Patentdokument 1 beschreibt ein Bildverarbeitungsverfahren, zum genauen Verstärken von Kanten, die in einem ersten Bild für die Anzeige enthalten sind, aus dem ersten Bild und einem zweiten Bild, das durch Bildaufnahme desselben Objekts bei unterschiedlichen Bedingungen erhalten wurde, indem Kantenkomponenten des zweiten Bilds verwendet werden.
DOKUMENT DES STANDS DER TECHNIK
PATENTDOKUMENT
Patentdokument 1: Japanische Patentanmeldungsveröffentlichung Nr. 2014-241584 (Anspruch 1, 2, Absatz 0127).
KURZFASSUNG DER ERFINDUNG DURCH DIE ERFINDUNG ZU LÖSENDES PROBLEM
Jedoch hat das in dem Patentdokument 1 beschriebene Bildverarbeitungsverfahren ein Problem dahingehend, dass unter schlechten Beleuchtungsbedingungen Störungen in einem sichtbaren Bild enthalten sind. Genauer gesagt, während die Technologie des Patentdokuments 1 in der Lage ist, Störungen zu unterdrücken, indem eine Kantenstärke hinsichtlich in einer Helligkeitskomponente des sichtbaren Lichts enthaltener Störungen eingestellt wird, werden in einer Farbkomponente des sichtbaren Bilds enthaltene Störungen (nachfolgend auch als „Farbstörungen“ bezeichnet) direkt für die Synthese verwendet, und somit werden die Farbstörungen nicht ausreichend unterdrückt und es ist unmöglich, ein Bild (Bilddaten) zu erzeugen, das eine hohe Sichtbarkeit hat.
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und eine Bildaufnahmevorrichtung vorzusehen, die in der Lage sind, ein synthetisches Bild hoher Sichtbarkeit mit verringertem Einfluss von Farbstörungen selbst dann zu erzeugen, wenn eine Szene, in der Farbstörungen in einem Bild enthalten sind, aufgenommen wurde.
MITTEL ZUM LÖSEN DES PROBLEMS
Eine Bildverarbeitungsvorrichtung nach einem Aspekt der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung zum Erzeugen eines synthetischen Bilds aus einem ersten Bild, das durch Empfangen von Licht in einem ersten Wellenlängenbereich erworben wurde, und einem zweiten Bild, das durch Empfangen von Licht in einem zweiten Wellenlängenbereich, der von dem ersten Wellenlängenbereich verschieden ist, erworben wurde, wobei das erste Bild und das zweite Bild dasselbe Sehfeld haben. Die Bildverarbeitungsvorrichtung enthält: eine erste Bildtrennvorrichtung zum Trennen, aus dem ersten Bild, einer ersten Helligkeitsbasiskomponente, die eine Helligkeitskomponente ist, die von einer ersten Basiskomponente getrennt wurde, die eine Basiskomponente des ersten Bilds ist, einer ersten Farbbasiskomponente, die eine Farbkomponente ist, die von der ersten Basiskomponente getrennt wurde, und einer ersten Helligkeitsdetailkomponente, die eine Helligkeitskomponente ist, die von einer ersten Detailkomponente getrennt wurde, die eine Detailkomponente des ersten Bilds ist; eine zweite Bildtrennvorrichtung zum Trennen einer zweiten Detailkomponente, die eine Detailkomponente des zweiten Bilds ist, aus dem zweiten Bild; einen Detailsynthetisierer zum Erzeugen einer synthetischen Helligkeitsdetailkomponente, die ein Wert ist, der erhalten wurde durch Nehmen eines Summierungsdurchschnitts einer ersten Verstärkungseinstellkomponente, die durch Durchführen einer Verstärkungseinstellung der ersten Helligkeitsdetailkomponente erhalten wurde, und einer zweiten Verstärkungseinstellkomponente, die durch Durchführen einer Verstärkungseinstellung bei der zweiten Detailkomponente erhalten wurde; eine Erzeugungsvorrichtung für eine synthetische Helligkeitskomponente zum Erzeugen einer synthetischen Helligkeitskomponente durch Kombinieren der synthetischen Helligkeitsdetailkomponente und der ersten Helligkeitsbasiskomponente; und einen Helligkeits-Farbe-Synthetisierer zum Erzeugen des synthetischen Bilds durch Kombinieren der synthetischen Helligkeitskomponente und der ersten Farbbasiskomponente.
Eine Bildaufnahmevorrichtung nach einem anderen Aspekt der vorliegenden Erfindung enthält die vorbeschriebene Bildverarbeitungsvorrichtung und einen Bildsensor, der Infrarotpixel zum Erfassen von Infrarotlicht, Rotpixel zum Erfassen von rotem Licht, Grünpixel zum Erfassen von grünem Licht und Blaupixel zum Erfassen von blauem Licht enthält und das unsichtbare Bild und das sichtbare Bild erwirbt.
Ein Bildverarbeitungsverfahren nach einem anderen Aspekt der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren zum Erzeugen eines synthetischen Bilds aus einem ersten Bild, das durch Empfangen von Licht in einem ersten Wellenlängenbereich erworben wurde, und einem zweiten Bild, das durch Empfangen von Licht in einem zweiten Wellenlängenbereich, der von dem ersten Wellenlängenbereich verschieden ist, erworben wurde, wobei das erste Bild und das zweite Bild dasselbe Sehfeld haben. Das Bildverarbeitungsverfahren enthält: einen ersten Bildtrennschritt des Trennens, von dem ersten Bild, einer ersten Helligkeitsbasiskomponente, die eine von einer ersten Basiskomponente, die eine Basiskomponente des ersten Bilds ist, getrennte Helligkeitskomponente ist, einer ersten Farbbasiskomponente, die eine von der ersten Basiskomponente getrennte Farbkomponente ist, und eine erste Helligkeitsdetailkomponente, die eine von einer ersten Detailkomponente, die eine Detailkomponente des ersten Bilds ist, getrennte Helligkeitskomponente ist; einen zweiten Bildtrennschritt des Trennens einer zweiten Detailkomponente, die eine Detailkomponente des zweiten Bilds ist, aus dem zweiten Bild; einen Detailsyntheseschritt des Erzeugens einer synthetischen Helligkeitsdetailkomponente, die ein Wert ist, der erhalten wurde durch Nehmen eines Summierungsdurchschnitts einer ersten Verstärkungseinstellkomponente, die durch Durchführen einer Verstärkungseinstellung der ersten Helligkeitsdetailkomponente erhalten wurde, und einer zweiten Verstärkungseinstellkomponente, die durch Durchführen einer Verstärkungseinstellung der zweiten Detailkomponente erhalten wurde; einen Erzeugungsschritt für eine synthetische Helligkeitskomponente des Erzeugens einer synthetischen Helligkeitskomponente durch Kombinieren der synthetischen Helligkeitsdetailkomponente und der ersten Helligkeitsbasiskomponente; und einen Helligkeits-Farbe-Syntheseschritt des Erzeugens des synthetischen Bilds durch Kombinieren der synthetischen Helligkeitskomponente und der ersten Farbbasiskomponente.
WIRKUNG DER ERFINDUNG
Gemäß der vorliegenden Erfindung kann ein synthetisches Bild hoher Sichtbarkeit mit herabgesetztem Einfluss von Farbstörungen selbst dann erzeugt werden, wenn eine Szene, in der ein sichtbares Bild Farbstörungen enthält, aufgenommen wurde.
Figurenliste

1 ist ein Blockschaltbild, das eine schematische Konfiguration einer Bildverarbeitungsvorrichtung nach einem ersten Ausführungsbeispiel der vorliegenden Erfindung zeigt.
2(a) ist ein Blockschaltbild, das ein Beispiel für eine schematische Konfiguration einer Filtertrennvorrichtung für ein unsichtbares Bild nach dem ersten Ausführungsbeispiel zeigt, und 2(b) ist ein Blockschaltbild, das ein Beispiel für eine schematische Konfiguration einer Filtertrennvorrichtung für ein sichtbares Bild nach dem ersten Ausführungsbeispiel zeigt.
3 ist ein Blockschaltbild, das eine schematische Konfiguration für einen Detailsynthetisierer nach dem ersten Ausführungsbeispiel zeigt.
4 ist ein Flussdiagram, das die Arbeitsweise der Bildverarbeitungsvorrichtung nach dem ersten Ausführungsbeispiel zeigt.
5 ist ein Blockschaltbild, das eine schematische Konfiguration einer Bildverarbeitungsvorrichtung nach einem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt.
6 ist ein Flussdiagramm, das die Arbeitsweise der Bildverarbeitungsvorrichtung nach dem zweiten Ausführungsbeispiel zeigt.
7 ist ein Blockschaltbild, das eine schematische Konfiguration einer Bildaufnahmevorrichtung nach einem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt.
8 ist ein Hardware-Konfigurationsdiagramm, das eine Konfiguration einer Modifikation zeigt.

ART DER AUSFÜHRUNG DER ERFINDUNG
Bildverarbeitungsvorrichtungen, Bildverarbeitungsverfahren und Bildaufnahmevorrichtungen gemäß Ausführungsbeispielen werden nachfolgend mit Bezug auf Zeichnungen beschrieben.
In den Bildverarbeitungsvorrichtungen und den Bildverarbeitungsverfahren nach den Ausführungsbeispielen wird ein synthetisches Bild mit hervorragender Sichtbarkeit aus einem ersten Bild (z. B. sichtbaren Bild, RGB-Bild oder dergleichen) das durch eine Bildaufnahmevorrichtung (Fotorezeptorelemente) durch Empfangen von Licht in einem ersten Wellenlängenbereich erworben wurde, und einem zweiten Bild (z. B. unsichtbares Bild, weißes Bild oder dergleichen), das durch die Bildaufnahmevorrichtung (Fotorezeptorelemente) durch Empfangen von Licht in einem zweiten Wellenlängenbereich, der von dem ersten Wellenlängenbereich verschieden ist, erzeugt.
In der folgenden Beschreibung bedeutet ein sichtbares Bild ein Bild (Bilddaten), das durch Bildaufnahme durch eine Bildaufnahmevorrichtung, die in der Lage ist, Lichtstrahlen für das menschliche Auge sichtbar abzubilden (sichtbares Licht) erzeugt wurde. Ein unsichtbares Bild bedeutet ein Bild, das kein sichtbares Bild ist, das heißt, ein Bild (Bilddaten), das durch Bildaufnahme durch eine Bildverarbeitungsvorrichtung, die in der Lage ist, Lichtstahlen, die für das menschliche Auge unsichtbar sind (unsichtbares Licht) abzubilden, erzeugt wurde. Im Allgemeinen bedeutet das sichtbare Licht Licht in einem Wellenlängenbereich von angenähert 400 nm bis 700 nm, das beispielsweise Licht in dem roten (R), grünen (G) und blauen (B) Wellenlängenbereich enthält. Das sichtbare Licht bedeutet Licht in einem Bereich, der ein anderer als der Bereich des sichtbaren Lichts ist, der beispielsweise ultraviolettes Licht (im Allgemeinen Licht in einem Wellenlängenbereich unterhalb oder gleich angenähert 400 nm) und infrarotes Licht (im Allgemeinen Licht in einem Wellenlängenbereich oberhalb oder gleich angehnähert 700 nm) enthält.
Weiterhin werden in den folgenden Ausführungsbeispielen Bilddaten verarbeitet, nachdem sie in eine Detailkomponente und eine Basiskomponente, die eine andere Komponente als die Detailkomponente ist, getrennt wurden. Die Detailkomponente ist eine Komponente, in der sich der Pixelwert (Signalwert) jedes Pixels schnell um geringe Beträge ändert im Vergleich zu den benachbarten Pixeln, die auch als eine Hochfrequenzkomponente bezeichnet wird. Die Basiskomponente ist eine Komponente, in der der Pixelwert jedes Pixels sich nicht schnell um kleine Beträge im Vergleich zu den benachbarten Pixeln ändert, die auch als Niedrigfrequenzkomponente bezeichnet wird. Somit stellt die Detailkomponente schnelle kleine Änderungen von Pixelwerten in dem Bild dar, und die Basiskomponente stellt gleichmäßige Änderungen von Pixelwerten in einem bestimmten Bereich in dem Bild dar. Die Detailkomponente ist beispielsweise eine von dem Subjekt reflektierte Lichtkomponente, und die Basiskomponente ist beispielweise eine Beleuchtungslichtkomponente.
Weiterhin können die Erfindungen der nachfolgend beschriebenen Bildverarbeitungsvorrichtungen auch als Erfindungen von Bildverarbeitungsverfahren betrachtet werden.
Erstes Ausführungsbeispiel
Konfiguration
Zuerst wird ein Überblick über die Komponenten einer Bildverarbeitungsvorrichtung 100 nach einem ersten Ausführungsbeispiel beschrieben. 1 ist ein Blockschaltbild, das eine schematische Konfiguration der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel der vorliegenden Erfindung zeigt. Wie in 1 gezeigt ist, enthält die Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel eine Filtertrennvorrichtung 101 für ein unsichtbares Bild als eine zweite Bildtrennvorrichtung (Trennvorrichtung für ein unsichtbares Bild), eine Trennvorrichtung 102 für ein sichtbares Bild als eine erste Bildtrennvorrichtung, einen Detailsynthetisierer 103, eine Erzeugungsvorrichtung 104 für eine synthetische Helligkeitskomponente und einen Helligkeits-Farbe-Synthetisierer 105. Die Trennvorrichtung 102 für sichtbares Licht enthält eine Filtertrennvorrichtung 102a für sichtbares Licht, eine Basishelligkeits-Farbtrennvorrichtung 102b und eine Detailhelligkeits-Farbtrennvorrichtung 102c.
Wie in 1 gezeigt ist, werden ein unsichtbares Bild (zweites Bild) DIN1 und ein sichtbares Bild (erstes Bild) DIN2 als Bilddaten in die Bildverarbeitungsvorrichtung 100 eingegeben. Es ist erwünscht, dass das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 durch Bildaufnahmemittel mit demselben Sehfeld erworben werden. Dasselbe Sehfeld bedeutet, dass das Bildaufnahmemittel, das das unsichtbare Bild DIN1 aufnimmt, und das Bildaufnahmemittel, das das sichtbare Bild DIN2 aufnimmt, dieselbe Bildaufnahmeregion (Bildaufnahmebereich) haben, was nicht erfordert, dass die Bildaufnahmeregion des das unsichtbare Bild DIN1 aufnehmenden Bildaufnahmemittels und die Bildaufnahmeregion des das sichtbare Bild DIN2 aufnehmenden Bildaufnahmemittels perfekt miteinander übereinstimmen.
Beispielweise können Bilder, die von einer Kamera für unsichtbare Bilder und einer Kamera für sichtbare Bilder, die einander benachbart angeordnet sind, erworben werden, direkt als das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 verwendet werden. Es ist auch möglich, eine Einstellung des Ausrichtens von Positionen von Bildern, die von einer Kamera für unsichtbare Bilder und einer Kamera für sichtbare Bilder, die einander benachbart angeordnet sind, erworben werden, durchzuführen und die Bilder nach der Einstellung des Ausrichtens der Positionen als das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 zu verwenden.
Beispielsweise können das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 durch Verwendung eines Bildsensors mit Infrarotpixeln, die Infrarotlicht für die Erfassung des unsichtbaren Bilds DIN1 und RGB-Pixeln, die sichtbares Licht für die Erfassung des sichtbaren Bilds DIN2 (Rotpixel, die rotes Licht erfassen, Grünpixel, die grünes Licht erfassen, und Blaupixel, die blaues Licht erfassen) erfassen, erworben werden. Es ist auch möglich, zwei Typen von Bildern anstelle des unsichtbaren Bilds DIN1 und des sichtbaren Bilds DIN2 zu erwerben durch Verwendung eines Bildsensors mit beispielsweise Weißpixeln (W-Pixeln), die weißes Licht erfassen, und RGB-Pixeln.
Wie in 1 gezeigt ist, führt die Filtertrennvorrichtung 101 für unsichtbare Bilder eine Filterverarbeitung bei dem unsichtbaren Bild DIN1 durch und erzeugt hierdurch eine unsichtbare Detailkomponente D1, die eine Detailkomponente des unsichtbaren Bilds DIN1 ist (zweite Detailkomponente). Die Filtertrennvorrichtung 102a für sichtbare Bilder führt eine Filterverarbeitung bei dem sichtbaren Bild DIN2 durch und erzeugt hierdurch eine sichtbare Basiskomponente D2A, die eine Basiskomponente des sichtbaren Bilds (erste Basiskomponente) und eine sichtbare Detailkomponente D2B, die eine Detailkomponente des sichtbaren Lichts ist (erste Detailkomponente).
Wie in 1 gezeigt ist, trennt die Basis-Helligkeits-Farbe-Trennvorrichtung 102b die sichtbare Basiskomponente D2A in eine sichtbare Helligkeitsbasiskomponente (Helligkeitskomponente in der sichtbaren Basiskomponente) D3A als eine erste Helligkeitsbasiskomponente und eine sichtbare Farbbasiskomponente (Farbkomponente in der sichtbaren Basiskomponente) D3G als eine erste Farbbasiskomponente. Die Detail-Helligkeits-Farbe-Trennvorrichtung 102c zieht eine sichtbare Helligkeitsdetailkomponente (Helligkeitskomponente in der sichtbaren Detailkomponente) D4 aus der sichtbaren Detailkomponente D2B heraus.
Wie in 1 gezeigt ist, erzeugt der Detailsynthetisierer 103 eine synthetische Helligkeitsdetailkomponente D5 durch Kombinieren der unsichtbaren Detailkomponente D1 und der sichtbaren Helligkeitsdetailkomponente D4. Die Erzeugungsvorrichtung 104 für die synthetische Helligkeitskomponente erzeugt eine synthetische Helligkeitskomponente D6 durch Kombinieren der synthetischen Helligkeitsdetailkomponente D5 und der sichtbaren Helligkeitsbasiskomponente D3A. Der Helligkeits-Farbe-Synthetisierer 105 erzeugt ein synthetisches Bild DOUT durch Kombinieren der synthetischen Helligkeitskomponente D6 und der sichtbaren Farbbasiskomponente D3B und gibt dieses aus.
Als nächstes werden Einzelheiten der Komponenten der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel beschrieben. 2(a) ist ein Blockschaltbild, das ein Beispiel für eine schematische Konfiguration der Filtertrennvorrichtung 101 für unsichtbare Bilder nach dem ersten Ausführungsbeispiel zeigt, und 2(b) ist ein Blockschaltbild, das ein Beispiel für eine schematische Konfiguration der Filtertrennvorrichtung 102a für sichtbare Bilder nach dem ersten Ausführungsbeispiel zeigt. Wie in 2(a) gezeigt ist, enthält die Filtertrennvorrichtung 101 für unsichtbare Bilder eine Filterverarbeitungseinheit 111 für unsichtbare Bilder und eine Differenzverarbeitungseinheit 112 für unsichtbare Bilder.
Die Filterverarbeitungseinheit 111 für unsichtbare Bilder empfängt das unsichtbare Bild DIN1, führt eine Filterverarbeitung zum Glätten des empfangenen unsichtbaren Bilds DIN1 durch und erzeugt hierdurch eine geglättete unsichtbare Basiskomponente D11. Die Bilddifferenz-Verarbeitungseinheit für unsichtbare Bilder 112 empfängt die geglättete unsichtbare Basiskomponente D11 und das unsichtbare Bild DIN1 und erzeugt die unsichtbare Detailkomponente D1, die die Differenz zwischen der unsichtbaren Basiskomponente D11 und dem unsichtbaren Bild DIN1 ist.
Das die Filterverarbeitung in der Filterverarbeitungseinheit 111 für unsichtbare Bilder durchführende Filter ist beispielsweise ein Glättungsfilter wie ein Boxfilter, ein Gaußsches Filter oder dergleichen, oder ein Kantenbewahrungs-Glättungsfilter wie ein bilaterales Filter, ein geführtes Filter oder dergleichen.
Wie in 2(b) gezeigt ist, enthält die Filtertrennvorrichtung 102a für sichtbare Bilder eine Filterverarbeitungseinheit 121 für sichtbare Bilder und eine Differenzverarbeitungseinheit 122 für sichtbare Bilder. Die Filterverarbeitungseinheit 121 für sichtbare Bilder empfängt das sichtbare Bild DIN2, führt eine Filterverarbeitung für eine Glättung des empfangenen sichtbaren Bilds DIN2 durch und erzeugt hierdurch eine geglättete sichtbare Basiskomponente D2A. Die Differenzverarbeitungseinheit 122 für sichtbare Bilder empfängt die geglättete sichtbare Basiskomponente D2A und das sichtbare Bild DIN2 und erzeugt die sichtbare Detailkomponente D2B, die die Differenz zwischen der sichtbaren Basiskomponente D2A und dem sichtbaren Bild DIN2 ist. Es ist erwünscht, dass die Filterverarbeitung in der Filtertrennvorrichtung 102a für sichtbare Bilder auf jeden Kanal durchgeführt wird (z. B. bei jedem von einem R-Signal, einem G-Signal und einem B-Signal).
Wie in 1 gezeigt ist, empfängt die Basis-Helligkeits-Farben-Trennvorrichtung 102b die sichtbare Basiskomponente D2A von der Filtertrennvorrichtung 102a für sichtbare Bilder und trennt die empfangene sichtbare Basiskomponente D2A in die sichtbare Helligkeitsbasiskomponente D3A, die eine Helligkeitskomponente ist, und die sichtbare Farbenbasiskomponente D2B, die eine Farbkomponente ist. In einem Fall, in welchem das sichtbare Bild ein RGB-Bild ist, wandelt die Basis-Helligkeits-Farben-Trennvorrichtung 102b das RGB-Bild in eines von dem HSV (Farbton, Sättigung, Helligkeit)-Format, das aus Farbton, Sättigung und Helligkeit besteht, dem YUV-Format, das aus Helligkeits- und Farbkomponenten besteht, und dem YCbCr-Format, das aus Helligkeits- und Farbkomponenten besteht, um. Die Basis-Helligkeits-Farben-Trennvorrichtung 102b gibt einen H (Farbton)-Kanal oder einen Y (Helligkeit)-Kanal als die sichtbare Helligkeitsbasiskomponente D3A aus und gibt die verbleibenden Kanäle von Farbe, Farbton und Sättigung oder dergleichen als die sichtbare Farbbasiskomponente D3B aus.
Die Detail-Helligkeits-Farben-Trennvorrichtung 102c empfängt die sichtbare Detailkomponente D2B von der Filtertrennvorrichtung 102a für sichtbare Bilder und zieht die sichtbare Helligkeitsdetailkomponente D4, die eine Helligkeitskomponente ist, aus der sichtbaren Detailkomponente D2B heraus. Die Detail-Helligkeits-Farben-Trennvorrichtung 102c gibt einen H-Kanal, einen Y-Kanal oder dergleichen als die sichtbare Helligkeitsdetailkomponente D4 in einer ähnlichen Weise zu der Basis-Helligkeits-Farben-Trennvorrichtung 102b aus.
Dem gegenüber zieht die Detail-Helligkeits-Farben-Trennvorrichtung 102c nicht eine sichtbare Farbendetailkomponente aus der sichtbaren Detailkomponente D2B heraus oder trennt diese. Da die sichtbare Farbendetailkomponente eine Komponente ist, die bei schlechten Beleuchtungsbedingungen Farbstörungen bewirkt, ermöglicht die Vermeidung der Verwendung der sichtbaren Farbendetailkomponente die Erzeugung eines synthetischen Bilds DOUT hoher Sichtbarkeit mit verringertem Einfluss der Farbstörungen bei schlechten Beleuchtungsbedingungen.
3 ist ein Blockschaltbild, das eine schematische Konfiguration des Detailsynthetisierers 103 nach dem ersten Ausführungsbeispiel zeigt. Wie in 3 gezeigt ist, enthält der Detailsynthetisierer 103 nach dem ersten Ausführungsbeispiel Verstärkungseinstellvorrichtungen 103a und 103b und eine Additionsverarbeitungseinheit 103c. Der Detailsynthetisierer 103 erzeugt die synthetische Helligkeitsdetailkomponente D5 durch Kombinieren der unsichtbaren Detailkomponente D1, die von der Filtertrennvorrichtung 101 für unsichtbare Bilder empfangen wurde, und die sichtbare Helligkeitsdetailkomponente D4, die von der Detail-Helligkeits-Farben-Trennvorrichtung 102c empfangen wurde.
Die Verstärkungseinstellvorrichtung 103a empfängt die unsichtbare Detailkomponente D1 von der Filtertrennvorrichtung 101 für unsichtbare Bilder, führt eine Verstärkungseinstellung (Verstärkung oder Dämpfung) bei der unsichtbaren Detailkomponente D1 durch und gibt hierdurch eine Verstärkungseinstellungskomponente D41 als eine zweite Verstärkungseinstellungskomponente aus. Die Verstärkungseinstellvorrichtung 103b empfängt die sichtbare Helligkeitsdetailkomponente D4 von der Detail-Helligkeits-Farben-Trennvorrichtung 102c, führt eine Verstärkungseinstellung (Verstärkung oder Dämpfung) bei der sichtbaren Helligkeitsdetailkomponente D4 durch und gibt hierdurch eine Verstärkungseinstellungskomponente D42 als eine erste Verstärkungseinstellungskomponente aus.
Die Additionsverarbeitungseinheit 103c empfängt die Verstärkungseinstellungskomponente D41 und die Verstärkungseinstellungskomponente D42 von den Verstärkungseinstellvorrichtungen 103a und 103b und gibt einen Wert D5 als einen gewichteten Durchschnitt (Summierungsdurchschnitt) der Komponenten aus. Die durch die Verstärkungseinstellvorrichtungen 103a und 103b erworbenen Verstärkungen können entweder feste Werte in Abhängigkeit von der Szene, der Anwendung oder Bildcharakteristiken eingestellt sein.
In dem Detailsynthetisierer 103 erfolgt die Verstärkungseinstellung getrennt für die unsichtbare Detailkomponente D1 und die sichtbare Helligkeitsdetailkomponente D4, wodurch eine für den Typ der Anwendung geeignete Verstärkungseinstellung und eine einfache Behandlung mit mehreren Anwendungen ermöglicht werden. Genauer gesagt, wenn es erwünscht ist, beispielsweise eine Schattenkorrektur mittels Infrarotlichtbestrahlung durchzuführen und das sichtbare Bild DIN2 als viele Störungen enthaltend betrachtet wird, wird demgemäß die Verstärkung für die sichtbare Helligkeitsdetailkomponente D4 auf einen niedrigen Wert gesetzt und die Verstärkung für die unsichtbare Detailkomponente D1 wird auf einen Wert gesetzt, der höher als oder gleich 1 ist.
Wenn es weiterhin erwünscht ist, eine Schleierkorrektur durch Verwendung atmosphärischer Durchdringbarkeit von Infrarotlicht durchzuführen, wird die Verstärkung der sichtbaren Helligkeitsdetailkomponente D4 auf einen Wert nahe 1 gesetzt und die Verstärkung für die unsichtbare Detailkomponente D1 wird auf einen Wert höher als oder gleich 1 gesetzt. Wenn die Verstärkung hoch gesetzt ist, um die Sichtbarkeit zu erhöhen, arbeitet ein Verbesserungsprozess, und somit ist es erwünscht, jede Verstärkung abhängig von dem Typ der Anwendung von Charakteristiken der Bildaufnahmeausrüstung oder dergleichen getrennt zu setzen.
Die Verstärkungen in diesen Fällen können durch einfache Addition von skalaren Werten erhalten werden oder können durch Energieberechnung wie Gammaumwandlung erhalten werden.
Die Erzeugungsvorrichtung 104 für die synthetische Helligkeitskomponente gibt die synthetische Helligkeitskomponente D6 durch Kombinieren der synthetischen Helligkeitsdetailkomponente D5, die von dem Detailsynthetisierer 103 empfangen wurde, und der sichtbaren Helligkeitsbasiskomponente D3A, die von der Basis-Helligkeits-Farben-Trennungsvorrichtung 102b empfangen wurde, aus. Verfahren, die für das Kombinieren durch die Erzeugungsvorrichtung 104 für die synthetische Helligkeitskomponente verwendbar sind, enthalten ein Verfahren, das einen einfachen Summierungsdurchschnitt nimmt, und ein Verfahren, das eine Komponente mit hoher Sichtbarkeit hinsichtlich beispielsweise jedes Bereichs auswählt.
Der Helligkeits-Farben-Synthetisierer 105 gibt das synthetische Bild DOUT durch Kombinieren der synthetischen Helligkeitskomponente D6, die von der Erzeugungsvorrichtung 104 für die synthetische Helligkeitskomponente empfangen wurde und der sichtbaren Farbenbasiskomponente D3B, die von der Basis-Helligkeits-Farben-Trennungsvorrichtung 102b empfangen wurde, aus. Das Verfahren des Kombinierens der Helligkeitskomponente und der Farbenkomponente, das durch den Helligkeits-Farben-Synthetisierer 105 verwendet wird, wird als ein Verfahren entsprechend dem Verfahren der durch die Basis-Helligkeits-Farben-Trennvorrichtung 102b und die Detail-Helligkeits-Farben-Trennvorrichtung 102c durchgeführten Umwandlung angenommen. Wenn beispielsweise die Basis-Helligkeits-Farben-Trennvorrichtung 102b und die Detail-Helligkeits-Farben-Trennvorrichtung 102c die Umwandlung von RGB in YUV durchgeführt haben, führt der Helligkeits-Farben-Synthetisierer 105 die Umwandlung von YUV zu RGB durch. Demgegenüber führt, wenn die Basis-Helligkeits-Farben-Trennvorrichtung 102b und die Detail-Helligkeits-Farben-Trennvorrichtung 102c die Umwandlung von YUV in RGB durchgeführt haben, der Helligkeits-Farben-Synthetisierer 105 die Umwandlung von RGB in YUV durch.
Arbeitsweise
Als nächstes wird die Filterverarbeitung durch Verwendung des geführten Filters erläutert. Durch Verwendung der folgenden linearen Regressionskoeffizienten:

a und b,
die Basiskomponente q als das Ausgabesignal des geführten Filters und das eingegebene Bild I können in einer linearen Beziehung gemäß dem folgenden Ausdruck (1) ausgedrückt werden: $q = \bar{a} I + \bar{b}$

Hier können durch Verwendung von Ω, das als ein lokaler Bereich definiert ist, der an einem bestimmten Pixel x des eingegebenen Bilds I zentriert ist, die linearen Regressionskoeffizienten

a(x) und b(x)
durch Ausdruck (2) dargestellt werden. $\bar{a} (x) = \sum_{y \in Ω (x)} a {(y)}^{2}, \bar{b} (x) = \sum_{y \in Ω (x)} b {(y)}^{2}$

Als nächstes wird ein Verfahren des Ableitens der linearen Regressionskoeffizienten erläutert. Ein Pixelwert der Varianz varl des eingegebenen Bilds I entsprechend der Pixelposition x wird durch Ausdruck (3) dargestellt. $varI (x) = {\sum_{y \in Ω (x)} I {(y)}^{2} - (\sum_{y \in Ω (x)} I (y))}^{2}$
Nachfolgend wird ein Glättungsprozess nur bei einem Bereich durchgeführt, in welchem der Varianzwert extrem klein ist, und um die Textur der anderen Bereiche zu bewahren, wird eine Graustufenumwandlung bei der Varianz varDIN gemäß dem folgenden Ausdruck (4) durchgeführt, wodurch der lineare Regressionskoeffizient a(x) erhalten wird: $a (x) = \frac{v a r I (x)}{v a r I (x) + e p s}$
worin eps ein konstanter Parameter, der den Grad der Kantenbewahrung bestimmt, ist.
Weiterhin wird der Koeffizient b gemäß dem Ausdruck (5) abgeleitet. $b (x) = \sum_{y \in Ω (x)} I (y) - a (x) \sum_{y \in Ω (x)} I (y)$
Auf der Grundlage der linearen Regressionskoeffizienten a(x) und b(x), die aus den Ausdrücken (4) und (5) erhalten wurden, wird der Ausgangswert q des geführten Filters abgeleitet. Der Wert q entspricht der unsichtbaren Basiskomponente D11, wie in 2(a) gezeigt ist.
Wie in 2(a) gezeigt ist, wird die unsichtbare Detailkomponente D1 aus der Differenz zwischen dem unsichtbaren Bild DIN1 und der unsichtbaren Basiskomponente D11 erhalten.
Während vorstehend ein Beispiel, das ein Glättungsfilter als die von der Filtertrennungsvorrichtung 101 für unsichtbare Bilder durchgeführte Verarbeitung verwendet, beschrieben wurde, ist die Verarbeitung durch die Filtertrennungsvorrichtung 101 für unsichtbare Bilder nicht auf dieses Beispiel beschränkt; es ist auch möglich, die Detailkomponente durch Verwendung eines Hochpassfilters wie eines Laplace'schen Filters direkt auszugeben.
Als nächstes wird die Arbeitsweise der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel beschrieben. 4 ist ein Flussdiagramm, das die Arbeitsweise der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel zeigt. Wie in 4 gezeigt ist, werden, wenn die Operation der Bildverarbeitungsvorrichtung 100 gestartet wird, im Schritt S1 das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 in die Bildbearbeitungsvorrichtung 100 eingegeben.
In dem nächsten Schritt S2 wird das sichtbare Bild DIN2 in die Filtertrennungsvorrichtung 102a für sichtbare Bilder eingegeben und die Filterverarbeitung wird bei dem sichtbaren Bild DIN2 durchgeführt.
In dem nächsten Schritt S4 wird die Helligkeits-Farben-Trennungsverarbeitung bei der sichtbaren Basiskomponente D2A und der sichtbaren Detailkomponente D2B durchgeführt.
Parallel zu der Verarbeitung der Schritte S2 und S4 wird im Schritt S3 das unsichtbare Bild DIN1 in die Filtertrennungsvorrichtung 101 für unsichtbare Bilder eingegeben, und die Filterverarbeitung wird bei dem unsichtbaren Bild DIN1 durchgeführt.
In dem nächsten Schritt S5 wird die synthetische Helligkeitsdetailkomponente D5 durch Kombinieren der unsichtbaren Detailkomponente D1 und der sichtbaren Helligkeitsdetailkomponente D4 (Detailsynthese) erhalten.
In dem nächsten Schritt S6 wird die synthetische Helligkeitskomponente D6 durch Kombinieren der synthetischen Helligkeitsdetailkomponente D5 und der sichtbaren Helligkeitsbasiskomponente D3A (Komponentensynthese) erhalten.
Schließlich wird im Schritt S7 das synthetische Bild DOUT durch Kombinieren der synthetischen Helligkeitskomponente D6 und der sichtbaren Farbenbasiskomponente D3B (Helligkeits-Farben-Synthese) erhalten.
Wirkung
Mit der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel werden die Filterverarbeitung und die Helligkeits-Farben-Trennungsverarbeitung bei dem sichtbaren Bild durchgeführt, und die sichtbare Farbendetailkomponente, die die Farbstörungen bewirkt, wird für die Synthese nicht verwendet. Demgemäß kann, selbst in einem Fall, in welchem eine Szene, in der das sichtbare Bild Farbstörungen enthält (z. B. Szene unter schlechten Beleuchtungsbedingungen) aufgenommen wurde, ein synthetisches Bild DOUT hoher Sichtbarkeit mit verringertem Einfluss der Farbstörungen erworben werben.
Bei der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel enthält der Detailsynthetisierer 103 die Verstärkungseinstellvorrichtung 103a und 103b und die Additionsverarbeitungseinheit 103c, und er erzeugt die synthetische Helligkeitsdetailkomponente D5 durch Nehmen des gewichteten Durchschnitts (Summierungsdurchschnitts) der unsichtbaren Detailkomponente D1 und der sichtbaren Helligkeitsdetailkomponente D4 nach der Verstärkungseinstellung. Demgemäß kann der Erwerb von Bildern mit hoher Sichtbarkeit in einer Verschiedenheit von Szenen realisiert werden.
Bei der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel wird die Filterverarbeitung in der Filtertrennungsvorrichtung 101 für unsichtbare Bilder und der Filtertrennungsvorrichtung 102a für sichtbare Bilder nur durch eine einfache Filteroperationsverarbeitung und Additions- und Subtraktionsverarbeitung gebildet. Demgemäß kann die Bildverarbeitung mit geringen Berechnungskosten implementiert werden.
Bei der Bildverarbeitungsvorrichtung 100 nachdem ersten Ausführungsbeispiel wird eine Hochgeschwindigkeits-Bildverarbeitung, die für eine Echtzeitverarbeitung geeignet ist, mit einer einfachen Konfiguration und niedrigen Berechnungskosten durchgeführt. Demgemäß können ein Objekt oder ein Ziel, denen Beachtung zu schenken ist, leicht unterschieden werden, selbst wenn eine Szene, bei der die Unterscheidung herkömmlich nur mit einem sichtbaren Bild schwierig ist, aufgenommen wurde.
Während ein Fall, in welchem die Eingaben in die Bildverarbeitungsvorrichtung 100 ein sichtbares Bild und ein unsichtbares Bild sind, bei diesem Ausführungsbeispiel als ein Beispiel genommen wurde, können äquivalente Wirkungen ohne die Notwendigkeit des Beschränkens der Eingaben in die vorbeschriebene Kombination erhalten werden, solange wie die Eingaben eine Kombination aus einem Bild mit hoher Sichtbarkeit und einem Bild mit geringer Sichtbarkeit sind. Beispielsweise kann das Bild mit hoher Sichtbarkeit ein Bild mit Langzeitbelichtung sein, und das Bild mit geringer Sichtbarkeit kann ein Bild mit Kurzzeitbelichtung sein. Alternativ kann das Bild mit hoher Sichtbarkeit ein Bild eines hellen Umfelds sein, das am Tage aufgenommen wurde, und das Bild mit geringer Sichtbarkeit kann ein Bild eines dunklen Umfelds sein, das während der Nacht aufgenommen wurde.
Zweites Ausführungsbeispiel
Konfiguration
5 ist ein Blockschaltbild, das eine schematische Konfiguration einer Bildverarbeitungsvorrichtung 200 nach einem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt. In 5 ist jeder Komponente, die mit einer in 1 gezeigten Komponente (erstes Ausführungsbeispiel) identisch ist oder dieser entspricht, das gleiche Bezugszeichen wie in 1 zugeteilt. Wie in 5 gezeigt ist, unterscheidet sich die Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel von dem ersten Ausführungsbeispiel hinsichtlich der Konfiguration einer Trennungsvorrichtung 202 für sichtbare Bilder. Genauer gesagt, die Trennungsvorrichtung 202 für sichtbare Bilder bei dem zweiten Ausführungsbeispiel enthält eine Helligkeits-Farben-Trennungsvorrichtung 202a als eine erste Bildhelligkeits-Farben-Trennungsvorrichtung, eine Filtertrennungsvorrichtung 202b als eine erste Helligkeitskomponenten-Trennungsvorrichtung und eine Filterverarbeitungseinheit 202c als eine erste Farbkomponenten-Trennungsvorrichtung.
In der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel wird die Filterverarbeitung bei dem sichtbaren Bild DIN2 durchgeführt, und danach wird die Helligkeits-Farben-Trennungsverarbeitung bei den getrennten Komponenten (der sichtbaren Basiskomponente D2A und der sichtbaren Detailkomponente D2B) durchgeführt. Demgegenüber wird bei der Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel die Helligkeits-Farben-Trennungsverarbeitung zuerst bei dem sichtbaren Bild DIN2 durchgeführt, und die Filterverarbeitung wird nach der Helligkeits-Farben-Trennungsverarbeitung bei den getrennten Helligkeits- und Farbkomponenten durchgeführt.
Die Helligkeits-Farben-Trennvorrichtung 202a empfängt das sichtbare Bild DIN2 und trennt das empfangene Bild DIN2 in eine sichtbare Helligkeitskomponente D8A, die eine Helligkeitskomponente ist, und eine sichtbare Farbkomponente D8B, die eine Farbkomponente ist. Die Trennungsverarbeitung in der Helligkeits-Farben-Trennvorrichtung 202a ist eine Verarbeitung ähnlich denjenigen in der Basis-Helligkeits-Farben-Trennungsvorrichtung 102b und der Detail-Helligkeits-Farben-Trennungsvorrichtung 102c bei dem ersten Ausführungsbeispiel.
Die Filtertrennungsvorrichtung 202b empfängt die sichtbare Helligkeitskomponente D8A von der Helligkeits-Farben-Trennvorrichtung 202a, trennt die empfangene sichtbare Helligkeitskomponente D8A in eine sichtbare Helligkeitsbasiskomponente D9A, die eine Basiskomponente ist, und eine sichtbare Helligkeitsdetailkomponente D9B, die eine Detailkomponente ist, und gibt die sichtbare Helligkeitsbasiskomponente D9A und die sichtbare Helligkeitsdetailkomponente D9B aus. Die Trennungsverarbeitung in der Filtertrennungsvorrichtung 202b ist eine Verarbeitung ähnlich derjenigen in der Filtertrennungsvorrichtung 101 für unsichtbare Bilder und der Filtertrennungsvorrichtung 102a für sichtbare Bilder nach dem ersten Ausführungsbeispiel.
Die Filterverarbeitungseinheit 202c empfängt die sichtbare Farbkomponente D8B von der Helligkeits-Farben-Trennungsvorrichtung 202a, führt die Glättung mittels der Filterverarbeitung bei der empfangenen sichtbaren Farbkomponente D8B durch und gibt die geglättete sichtbare Farbenbasiskomponente D10 aus. Für die Filterverarbeitung ist es erwünscht, ein Kantenbewahrungs-Glättungsfilter wie ein bilaterales Filter oder ein geführtes Filter neben einem Glättungsfilter wie einem Boxfilter oder einem Gaußschen Filter zu verwenden.
Die Konfigurationen des Detailsynthetisierers 103, der Erzeugungsvorrichtung 104 für die synthetische Helligkeitskomponente und den Helligkeits-Farben-Synthetisierer 105 bei dem zweiten Ausführungsbeispiel sind die gleichen wie diejenigen bei dem ersten Ausführungsbeispiel.
Arbeitsweise
Als nächstes wird die Arbeitsweise der Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel beschrieben. 6 ist ein Flussdiagramm, das die Arbeitsweise der Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel zeigt. Wie in 6 gezeigt ist, werden, wenn die Operation der Bildverarbeitungsvorrichtung 200 gestartet wird, das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 im Schritt S11 in die Bildverarbeitungsvorrichtung 100 eingegeben.
In dem nächsten Schritt S12 wird die Helligkeits-Farben-Trennungsverarbeitung bei dem sichtbaren Bild DIN2 durchgeführt.
In dem nächsten Schritt S14 wird die Filterverarbeitung bei der sichtbaren Helligkeitskomponente D8A und der sichtbaren Farbkomponente D8B durchgeführt.
Parallel zu der Verarbeitung der Schritte S12 und S14 wird in dem nächsten Schritt S13 das unsichtbare Bild DIN1 in die Filtertrennungsvorrichtung 101 für unsichtbare Bilder eingegeben, durch die die Filterverarbeitung bei dem unsichtbaren Bild DIN1 durchgeführt wird.
In dem nächsten Schritt S15 wird die synthetische Helligkeitsdetailkomponente D5 durch Kombinieren der unsichtbaren Detailkomponente D1 und der sichtbaren Helligkeitsdetailkomponente D4 (Detailsynthese) erhalten
In dem nächsten Schritt S16 wird die synthetische Helligkeitskomponente D6 durch Kombinieren der synthetischen Helligkeitsdetailkomponente D5 und der sichtbaren Helligkeitsbasiskomponente D3A (Komponentensynthese) erhalten.
In dem letzten Schritt S17 wird das synthetische Bild DOUT durch Kombinieren der synthetischen Helligkeitskomponente D6 und der sichtbaren Farbenbasiskomponente D3B (Helligkeits-Farben-Synthese) erhalten.
Wirkung
Mit der Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel können Wirkungen ähnlich denjenigen der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel erhalten werden.
Mit der Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel wird die Filterverarbeitung nach der Durchführung der Helligkeits-Farben-Trennungsverarbeitung bei dem sichtbaren Bild DIN2 durchgeführt, und somit kann die Anzahl von Malen des Durchführens der Helligkeits-Farben-Trennungsverarbeitung auf 1 verringert werden, und die Anzahl von Berechnungen kann weiterhin verringert werden im Vergleich zu der Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel.
Drittes Ausführungsbeispiel
7 ist ein Blockschaltbild, das eine schematische Konfiguration einer Bildaufnahmevorrichtung 300 nach einem dritten Ausführungsbeispiel der vorliegenden Erfindung zeigt. Wie in 7 gezeigt ist, enthält die Bildaufnahmevorrichtung 300 die Bildverarbeitungsvorrichtung 100 nach dem ersten Ausführungsbeispiel (oder die Bildverarbeitungsvorrichtung 200 nach dem zweiten Ausführungsbeispiel), einen ersten Bildsensor 301 und einen zweiten Bildsensor 302.
Als der erste Bildsensor 301 und der zweite Bildsensor 302 können CCD (ladungsgekoppelte Vorrichtung)-Bildsensors, CMOS (komplementäre Metalloxid-Halbleiter)-Bildsensoren oder dergleichen als Beispiel verwendet werden.
Der erste Bildsensor 301 erwirbt das unsichtbare Bild DIN1 durch Abbilden eines Bildaufnahmeobjekts und gibt das unsichtbare Bild DIN1 in die Bildverarbeitungsvorrichtung 100 ein. Der zweite Bildsensor 302 erwirbt das sichtbare Bild DIN2 durch Abbilden des Bildaufnahmeobjekts und gibt das sichtbare Bild DIN2 in die Bildverarbeitungsvorrichtung 100 ein. Der erste Bildsensor 301 und der zweite Bildsensor 302 werden in gewünschter Weise benachbart und nahe zu einander angeordnet, um dasselbe Sehfeld zu haben.
In einem Fall, in welchem das durch den ersten Bildsensor 301 erworbene unsichtbare Bild DIN1 und das durch den zweiten Bildsensor 302 erworbene sichtbare Bild DIN2 dasselbe Sehfeld haben, können das unsichtbare Bild DIN1 und das sichtbare Bild DIN2 direkt für die Synthese verwendet werden. In einem Fall, in welchem der Bereich des unsichtbaren Bilds DIN1 und der Bereich des sichtbaren Bilds DIN2 verschieden voneinander sind, können diese Bilder für die Syntheseverarbeitung verwendet werden, nachdem ein Prozess des Ausrichtens der Positionen dieser beiden Bilder miteinander durchgeführt wurde, wodurch ein aufgenommenes Bild mit hoher Sichtbarkeit erworben werden kann.
Modifikationen
Während die vorliegende Erfindung vorstehend auf der Grundlage spezifischer Ausführungsbeispiele beschrieben wurde, sind diese Ausführungsbeispiele lediglich Beispiele für die Illustration, und die vorliegende Erfindung ist nicht auf diese Ausführungsbeispiele beschränkt.
8 ist ein Hardware-Konfigurationsdiagramm, das eine Konfiguration einer Modifikation der Bildverarbeitungsvorrichtung 100 und 200 nach dem jeweils vorbeschriebenen ersten und zweiten Ausführungsbeispiel. Während die Bildverarbeitungsvorrichtung 100, 200 durch eine integrierte Halbleiterschaltung implementiert werden kann, kann die Bildverarbeitungsvorrichtung 100, 200 auch durch Verwendung eines Speichers 91 als einer Speichervorrichtung zum Speichern eines Programms als Software und eines Prozessors 92 als einer Informationsverarbeitungseinheit für die Ausführung des in dem Speicher 91 gespeicherten Programms (z. B. durch einen Computer) implementiert werden, wie in 8 gezeigt ist. Es ist auch möglich, einen Teil der Bildverarbeitungsvorrichtung 100, 200 durch den in 8 gezeigten Speicher 91 und den Prozessor 92 zum Ausführen eines Programms zu implementieren.
Neben einem Infrarotbild, das durch Verwendung von Infrarotlicht erworben wird, ist es auch möglich, ein Ultraviolettlichtbild, das durch Verwendung von ultraviolettem Licht erworben wird, ein Radarbild usw. als das unsichtbare Bild in der vorstehenden Beschreibung der Ausführungsbeispiele zu verwenden.
Während in der vorstehenden Beschreibung der Ausführungsbeispiele ein sichtbares Bild und ein unsichtbares Bild kombiniert werden, ist eine Kombination eines RGB-Bilds und eines Schmalbandbilds (enthaltend ein sichtbares Band) auch neben der Kombination aus einem sichtbaren Bild und einem unsichtbaren Bild verwendbar.
Die vorliegende Erfindung ist besonders wirksam, wenn ein gering gestörtes spezifisches Spektrumbild und ein sichtbares Bild enthaltend Farbinformationen mittels Lichtquellenbestrahlung in einem Fall miteinander kombiniert werden, in welchem eine Überwachungskamera oder eine in einem Fahrzeug installierte Kamera Bilder aufnimmt, während das Objekt mit Licht von einer spezifischen Spektrumlichtquelle wie beispielsweise einer infrarotnahen Lichtquelle bestrahlt wird.
Bezugszeichenliste
100, 200: Bildverarbeitungsvorrichtung, 101: Trennungsvorrichtung für unsichtbare Bilder (Filtertrennungsvorrichtung für unsichtbare Bilder, zweite Bildtrennvorrichtung), 102, 202: Trennungsvorrichtung für sichtbare Bilder (erste Bildtrennvorrichtung), 102a: Filtertrennungsvorrichtung für sichtbare Bilder (erste Bildfiltertrennungsvorrichtung), 102b: Basis-Helligkeits-Farben-Trennungsvorrichtung, 102c: Detail-Helligkeits-Farben-Trennungsvorrichtung, 103: Detailsynthetisierer, 103a, 103b: Verstärkungseinstellvorrichtung, 103c: Additionsverarbeitungseinheit, 104: Erzeugungsvorrichtung für synthetische Helligkeitskomponente, 105: Helligkeits-Farben-Synthetisierer, 111: Filterverarbeitungseinheit für unsichtbare Bilder (zweite Bildfilterverarbeitungseinheit), 112: Differenzverarbeitungseinheit für unsichtbare Bilder (zweite Bilddifferenz-Verarbeitungseinheit), 121: Filterverarbeitungseinheit für sichtbare Bilder (erste Bildfilterverarbeitungseinheit), 122: Differenzverarbeitungseinheit für sichtbare Bilder (erste Bilddifferenzverarbeitungseinheit), 202a: Helligkeits-Farben-Trennungsvorrichtung, 202b: Filtertrennungsvorrichtung, 202c: Filterverarbeitungseinheit, 300: Bildaufnahmevorrichtung, 301: erster Bildsensor, 302: zweiter Bildsensor, DIN1: unsichtbares Bild (zweites Bild), DIN2: sichtbares Bild (erstes Bild), DOUT: synthetisches Bild.

Claims

Bildverarbeitungsvorrichtung zum Erzeugen eines synthetischen Bilds aus einem ersten Bild, das durch Empfangen von Licht in einem ersten Wellenlängenbereich erworben wurde, und einem zweiten Bild, das durch Empfangen von Licht in einem zweiten Wellenlängenbereich, der von dem ersten Wellenlängenbereich verschieden ist, erworben wurde, wobei das erste Bild und das zweite Bild dasselbe Sehfeld haben, welche Bildverarbeitungsvorrichtung aufweist: eine erste Bildtrennvorrichtung zum Trennen, aus dem ersten Bild, einer ersten Helligkeitsbasiskomponente, die eine aus einer ersten Basiskomponente, die eine Basiskomponente des ersten Bilds ist, getrennte Helligkeitskomponente ist, einer ersten Farbbasiskomponente, die eine aus der ersten Basiskomponente getrennte Farbkomponente ist, und einer ersten Helligkeitsdetailkomponente, die eine aus einer ersten Detailkomponente, die eine Detailkomponente des ersten Bilds ist, getrennte Helligkeitskomponente ist; eine zweite Bildtrennvorrichtung zum Trennen einer zweiten Detailkomponente, die eine Detailkomponente des zweiten Bilds ist, aus dem zweiten Bild; einen Detailsynthetisierer zum Erzeugen einer synthetischen Helligkeitsdetailkomponente, die ein Wert ist, der durch Nehmen eines Summierungsdurchschnitts von einer ersten Verstärkungseinstellungskomponente, die durch Durchführen einer Verstärkungseinstellung der ersten Helligkeitsdetailkomponente erhalten wurde, und einer zweiten Verstärkungseinstellungskomponente, die durch Durchführen einer Verstärkungseinstellung bei der zweiten Detailkomponente erhalten wurde, erhalten wird; eine Erzeugungsvorrichtung für eine synthetische Helligkeitskomponente zum Erzeugen einer synthetischen Helligkeitskomponente durch Kombinieren der synthetischen Helligkeitsdetailkomponente und der ersten Helligkeitsbasiskomponente; und einen Helligkeits-Farben-Synthetisierer zum Erzeugen des synthetischen Bilds durch Kombinieren der synthetischen Helligkeitskomponente und der ersten Farbenbasiskomponente.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die erste Bildtrennvorrichtung enthält: eine erste Bildfiltertrennvorrichtung zum Trennen der ersten Basiskomponente, die die Basiskomponente des ersten Bilds ist, und der ersten Detailkomponente, die die Detailkomponente des ersten Bilds ist, aus dem ersten Bild; eine Basis-Helligkeits-Farben-Trennvorrichtung zum Trennen der ersten Helligkeitsbasiskomponente, die die Helligkeitskomponente der ersten Basiskomponente ist, und der ersten Farbenbasiskomponente, die die Farbkomponente der ersten Basiskomponente ist, aus der ersten Basiskomponente; und eine Detail-Helligkeits-Farben-Trennvorrichtung zum Trennen der ersten Helligkeitsdetailkomponente, die die Helligkeitskomponente der ersten Detailkomponente ist, aus der ersten Detailkomponente.
Bildverarbeitungsvorrichtung nach Anspruch 2, bei der die erste Bildfiltertrennungsvorrichtung enthält: eine erste Bildfilterverarbeitungseinheit zum Durchführen einer Filterverarbeitung bei dem ersten Bild, wodurch die geglättete erste Basiskomponente erzeugt wird; eine erste Bilddifferenz-Verarbeitungseinheit zum Erzeugen der ersten Detailkomponente aus einer Differenz zwischen der ersten Basiskomponente und dem ersten Bild.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die erste Bildtrennvorrichtung enthält: eine erste Bild-Helligkeits-Farben-Trennungsvorrichtung zum Trennen einer ersten Helligkeitskomponente, die eine Helligkeitskomponente des ersten Bilds ist, und einer ersten Farbkomponente, die eine Farbkomponente des ersten Bilds ist, aus dem ersten Bild; eine erste Helligkeitskomponenten-Trennungsvorrichtung zum Trennen der ersten Helligkeitsbasiskomponente, die eine Basiskomponente der ersten Helligkeitskomponente ist, und der ersten Helligkeitsdetailkomponente, die eine Detailkomponente der ersten Helligkeitskomponente ist, aus der ersten Helligkeitskomponente; und eine erste Farbkomponenten-Trennungsvorrichtung zum Trennen der ersten Farbenbasiskomponente, die eine Basiskomponente der ersten Farbkomponente ist, aus der ersten Farbkomponente.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, bei der die zweite Bildtrennvorrichtung enthält: eine zweite Bildfilterverarbeitungseinheit zum Durchführen einer Filterverarbeitung bei dem zweiten Bild, wodurch eine geglättete zweite Basiskomponente erzeugt wird; und eine zweite Bilddifferenz-Verarbeitungseinheit zum Erzeugen der zweiten Detailkomponente aus einer Differenz zwischen der zweiten Basiskomponente und dem zweiten Bild.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, bei der das Licht in dem ersten Wellenlängenbereich sichtbares Licht ist, und das Licht in dem zweiten Wellenlängenbereich unsichtbares Licht ist.
Bildverarbeitungsvorrichtung nach Anspruch 6, bei der das unsichtbare Licht Infrarotlicht oder ultraviolettes Licht ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, bei der das Licht in dem ersten Wellenlängenbereich rotes Licht in einem roten Wellenlängenbereich, grünes Licht in einem grünen Wellenlängenbereich und blaues Licht in einem blauen Wellenlängenbereich enthält, und das Licht in dem zweiten Wellenlängenbereich weißes Licht ist.
Bildaufnahmevorrichtung, welche aufweist: die Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6; und einen Bildsensor, der Infrarotpixel zum Erfassen von Infrarotlicht, Rotpixel zum Erfassen von rotem Licht, Grünpixel zum Erfassen von grünem Licht und Blaupixel zum Erfassen von blauem Licht enthält und das erste Bild und das zweite Bild erwirbt.
Bildaufnahmevorrichtung, welche aufweist: die Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5 und 8; und einen Bildsensor, der Weißpixel zum Erfassen von weißem Licht, Rotpixel zum Erfassen von rotem Licht, Grünpixel zum Erfassen von grünem Licht und Blaupixel zum Erfassen von blauem Licht enthält und das erste Bild und das zweite Bild erwirbt.
Bildaufnahmevorrichtung, welche aufweist: die Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 8; einen ersten Bildsensor zum Erwerben des zweiten Bilds; und einen zweiten Bildsensor, der benachbart dem ersten Bildsensor angeordnet ist, um das erste Bild zu erwerben.
Bildaufnahmevorrichtung nach Anspruch 11, bei der die Bildaufnahmevorrichtung eine Einstellung des Ausrichtens der Positionen des durch den ersten Bildsensor erworbenen zweiten Bilds und des durch den zweiten Bildsensor erworbenen ersten Bilds durchführt.
Bildverarbeitungsverfahren zum Erzeugen eines synthetischen Bilds aus einem ersten Bild, das durch Empfangen von Licht in einem ersten Wellenlängenbereich erworben wurde, und einem zweiten Bild, das durch Empfangen von Licht in einem zweiten Wellenlängenbereich, der von dem ersten Wellenlängenbereich verschieden ist, erworben wurde, wobei das erste Bild und das zweite Bild dasselbe Sehfeld haben, welches Bildverarbeitungsverfahren aufweist: einen ersten Bildtrennungsschritt des Trennens, aus dem ersten Bild, einer ersten Helligkeitsbasiskomponente, die eine Helligkeitskomponente ist, die aus einer ersten Basiskomponente, die eine Basiskomponente des ersten Bilds ist, getrennt wurde, einer ersten Farbenbasiskomponente, die eine Farbkomponente ist, die aus der ersten Basiskomponente getrennt wurde, und einer ersten Helligkeitsdetailkomponente, die eine Helligkeitskomponente ist, die aus der ersten Detailkomponente, die eine Detailkomponente des ersten Bilds ist, getrennt wurde; einen zweiten Bildtrennungsschritt des Trennens einer zweiten Detailkomponente, die eine Detailkomponente des zweiten Bilds ist, aus dem zweiten Bild; einen Detailsyntheseschritt des Erzeugens einer synthetischen Helligkeitsdetailkomponente, die ein Wert ist, der durch Nehmen eines Summierungsdurchschnitts einer ersten Verstärkungseinstellkomponente, die durch Durchführen einer Verstärkungseinstellung bei der ersten Helligkeitsdetailkomponente erhalten wurde, und einer zweiten Verstärkungseinstellkomponente, die durch Durchführen einer Verstärkungseinstellung bei der zweiten Detailkomponente erhalten wurde, erhalten wird; einen Erzeugungsschritt für eine synthetische Helligkeitskomponente des Erzeugens einer synthetischen Helligkeitskomponente durch Kombinieren der synthetischen Helligkeitsdetailkomponente und der ersten Helligkeitsbasiskomponente; und einen Helligkeits-Farben-Syntheseschritt des Erzeugens des synthetischen Bilds durch Kombinieren der synthetischen Helligkeitskomponente und der ersten Farbenbasiskomponente.