DE112019007327T5 - Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium - Google Patents

Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium Download PDF

Info

Publication number
DE112019007327T5
DE112019007327T5 DE112019007327.3T DE112019007327T DE112019007327T5 DE 112019007327 T5 DE112019007327 T5 DE 112019007327T5 DE 112019007327 T DE112019007327 T DE 112019007327T DE 112019007327 T5 DE112019007327 T5 DE 112019007327T5
Authority
DE
Germany
Prior art keywords
image
band
processing device
image processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019007327.3T
Other languages
English (en)
Inventor
Kohei KURIHARA
Daisuke Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112019007327T5 publication Critical patent/DE112019007327T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/48Picture signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/54Conversion of colour picture signals to a plurality of signals some of which represent particular mixed colours, e.g. for textile printing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

Eine lokale Varianz oder ein Kantenbetrag wird als ein Bildmerkmalsbetrag berechnet durch Analysieren eines Referenzbildes des gleichen Sichtfeldes wie Mehrbandbilder, bildend ein multispektrales Bild, ein Filterparameter wird aus dem Bildmerkmalsbetrag berechnet, und Glätten der Bandbilder unter Erhaltung von Kanten wird unter Verwendung des Filterparameters durchgeführt. Wenn ein multispektrales Bild, enthaltend ein Bandbild eines Wellenlängenbandes, in dem kein ausreichender Signalbetrag erhalten wird, erhalten wird, ist es möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.

Description

  • Gebiet der Technik
  • Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungseinrichtung, ein Verfahren, eine Bildleseeinrichtung, ein Programm und ein Aufzeichnungsmedium.
  • Insbesondere bezieht sich die vorliegende Erfindung auf Bildverarbeitung zum, in einer Bildleseeinrichtung, die ein Original in verschiedenen Wellenlängenbändern liest und ein multispektrales Bild erzeugt, das aus Mehrbandbildern gebildet ist, Verbessern des S/N-Verhältnisses des multispektralen Bildes.
  • Hintergrund zum Stand der Technik
  • In einer Bildleseeinrichtung, die Mehrbandbilder durch Lesen eines Originals in verschiedenen Wellenlängenbändern erhält, gibt es in Abhängigkeit von der Kombination des Spektrums der Lichtquelle und der spektralen Empfindlichkeit des Bildsensors ein Bandbild eines Wellenlängenbandes, in dem ein ausreichender Signalbetrag nicht erhalten wird. Beispielsweise haben Bandbilder, die durch Beleuchtung mit Ultraviolett-Lichtquellen oder Nahinfrarot-Lichtquellen erhalten werden, oft geringere S/V-Verhältnisse als Bandbilder von Bändern sichtbaren Lichts.
  • Als ein weiteres Beispiel für die Erzeugung eines multispektralen Bildes, bei Abbildung des Bodens oder dergleichen von einem optischen Satelliten oder Luftfahrzeug aus, ist es weit verbreitet, sowohl ein panchromatisches Bild hoher Auflösung als auch ein multispektrales Bild niedriger Auflösung für das gleiche Objekt gleichzeitig zu erhalten.
  • In einem System, das sowohl ein multispektrales Bild niedriger Auflösung als auch ein panchromatisches Bild hoher Auflösung gleichzeitig erhält, wird ein Pan-Sharpening-Prozess durchgeführt, der die zwei Bilder kombiniert, um ein Farbbild hoher Auflösung zu erzeugen.
  • Bei dem Pan-Sharpening-Prozess ist die Entfernung von Rauschen in dem multispektralen Bild ein Problem.
  • Bei Entfernung von Rauschen von Bandbildern mit niedriger Auflösung und niedrigem S/N-Verhältnis unter Verwendung eines panchromatischen Bildes mit hoher Auflösung und hohem S/N-Verhältnis führt eine in Patentliteratur 1 beschriebene Rauschentfernungseinrichtung Mehrfachauflösungszerlegung auf das panchromatische Bild durch, führt Mehrfachauflösungszerlegung auf die Bandbilder durch, korrigiert die zerlegten Komponenten des panchromatischen Bildes unter Verwendung der zerlegten Komponenten der Bandbilder und rekonstruiert ein panchromatisches Bild unter Verwendung der korrigierten zerlegten Komponenten und einer weiteren zerlegten Komponente.
  • Liste der Anführungen
  • Patentliteratur
  • Patentschrift 1: Internationale Offenlegung Nr. 2015/037189 (Absatz 0024)
  • Kurzfassung der Erfindung
  • Technisches Problem
  • Wie in Patentliteratur 1 beschrieben, wird Rauschkorrektur durch eine Kombination aus einem panchromatischen Bild hoher Auflösung und einem multispektralen Bild durchgeführt. In einigen Fällen wird nur ein multispektrales Bild niedriger Auflösung erhalten und kein Bild hoher Auflösung erhalten. In einem Fall, in dem Glättung zur Rauschreduzierung nur mit einem multispektralen Bild durchgeführt wird, und wenn das multispektrale Bild einen großen Rauschbetrag enthält, kann die Glättung Kanten zerstören.
  • Die vorliegende Erfindung soll das obige Problem lösen und eine Bildverarbeitungseinrichtung bereitstellen, die in der Lage ist, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem ein ausreichender Signalbetrag nicht erhalten wird, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
  • Lösung des Problems
  • Eine Bildverarbeitungseinrichtung der vorliegenden Erfindung weist auf: einen Parameter-Berechner, um ein Referenzbild des gleichen Sichtfeldes wie einer Vielzahl von Bandbildern, bildend ein multispektrales Bild, zu analysieren, um eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag zu berechnen, und einen Filterparameter aus dem Bildmerkmalsbetrag zu berechnen; und einen Filterprozessor, um einen kantenerhaltenden Glättungsprozesses auf die Bandbilder unter Verwendung des Filterparameters durchzuführen.
  • Vorteilhafte Wirkungen der Erfindung
  • Die vorliegende Erfindung ermöglicht es, wenn ein multispektrales Bild, das ein Bandbild eines Wellenlängenbandes enthält, in dem ein ausreichender Signalbetrag nicht erhalten wird, erhalten wird, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
  • Figurenliste
    • 1 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer ersten Ausführungsform der vorliegenden Erfindung.
    • 2 ist ein Diagramm, darstellend ein Konfigurationsbeispiel einer Bildleseeinrichtung, enthaltend die Bildverarbeitungseinrichtung.
    • 3 ist ein Blockdiagramm, darstellend ein Konfigurationsbeispiel eines Bildkombinierers von 1.
    • 4 ist ein Diagramm, darstellend ein Beispiel einer spektralen Quanteneffizienz eines Bildsensors.
    • 5 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer zweiten Ausführungsform der vorliegenden Erfindung.
    • 6 ist ein Blockdiagramm, darstellend ein Konfigurationsbeispiel eines Bildkombinierers von 5.
    • 7A bis 7C sind Diagramme, darstellend Beispiele einer Bildkorrelation, die durch einen Korrelations-Berechner gemäß 6 berechnet wurde.
    • 8 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer dritten Ausführungsform der vorliegenden Erfindung.
    • 9 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung einer vierten Ausführungsform der vorliegenden Erfindung.
    • 10 ist ein Diagramm, das ein Beispiel für einen Computer zeigt, der die Funktionen der Bildverarbeitungseinrichtungen der ersten bis vierten Ausführungsform zusammen mit einer Lichtquelle und einem Bildsensor implementiert.
    • 11 ist ein Flussdiagramm, darstellend einen Ablauf eines Prozesses, wenn die Funktion der Bildverarbeitungseinrichtung der ersten oder zweiten Ausführungsform durch den Computer von 10 implementiert wird.
    • 12 ist ein Flussdiagramm, darstellend einen Ablauf eines Prozesses, wenn die Funktion der Bildverarbeitungseinrichtung der dritten Ausführungsform durch den Computer von 10 implementiert wird.
    • 13 ist ein Flussdiagramm, darstellend einen Ablauf eines Prozesses, wenn die Funktion der Bildverarbeitungseinrichtung der vierten Ausführungsform durch den Computer von 10 implementiert wird.
  • Beschreibung der Ausführungsformen
  • Erste Ausführungsform
  • 1 ist ein Blockdiagramm, darstellend eine Bildverarbeitungseinrichtung 3 einer ersten Ausführungsform der vorliegenden Erfindung. 2 zeigt ein Konfigurationsbeispiel einer Bildleseeinrichtung, enthaltend die Bildverarbeitungseinrichtung 3 von 1.
  • Die in 2 dargestellte Bildleseeinrichtung umfasst neben der Bildverarbeitungseinrichtung 3 eine Lichtquelle 1 und einen Bildsensor 2.
  • Die Lichtquelle 1 besteht aus mehreren Lichtquellen, die jeweils ein relativ schmales Band aufweisen. Nachfolgend werden die Lichtquellen, die die relativ schmalen Bänder aufweisen, als Bandlichtquellen bezeichnet. Zu den Mehrband-Lichtquellen gehören beispielsweise eine Lichtquelle, aufweisend ein sichtbares-Licht-Wellenlängenband, eine Lichtquelle, aufweisend ein Ultraviolett-Wellenlängenband, und eine Lichtquelle, aufweisend ein Nahinfrarot-Wellenlängenband. Die Mehrband-Lichtquellen werden gesteuert, um ein Original nacheinander sequentiell zu beleuchten.
  • Der Bildsensor 2 erhält sequentiell Mehrbandbilder DIN durch Abbilden des Originals, wenn das Original als ein Objekt durch die oben genannten Mehrband-Lichtquellen sequentiell beleuchtet wird. Im Allgemeinen haben die Mehrbandbilder DIN unterschiedliche S/N-Verhältnisse.
  • Der Bildsensor 2 kann ein eindimensionaler Bildsensor (Zeilensensor) oder ein zweidimensionaler Bildsensor (Flächensensor) sein. Der Zeilensensor kann ein Kontaktbildsensor sein.
  • Die Bildverarbeitungseinrichtung 3 kombiniert die Mehrbandbilder DIN, um ein Referenzbild zu erzeugen, das ein höheres S/N-Verhältnis als jedes einzelne Bandbild aufweist, analysiert das Referenzbild, um eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag zu berechnen, berechnet einen Filterparameter aus dem Bildmerkmalsbetrag und nutzt den Filterparameter, um die Mehrbandbilder DIN unter Erhaltung von Kanten zu glätten.
  • Die Bildverarbeitungseinrichtung 3 umfasst einen Bildkombinierer 31, einen Parameter-Berechner 32 und einen Filterprozessor 33.
  • Der Bildkombinierer 31 kombiniert die Mehrbandbilder DIN, um ein Referenzbild MSr zu erzeugen, das ein höheres S/N-Verhältnis als jedes einzelne Bandbild aufweist.
  • Die Verwendung eines Bandbilds, aufweisend ein niedriges S/N-Verhältnis in der Kombination, kann den Rauschbetrag des Referenzbilds MSr erhöhen und das S/N-Verhältnis verringern. Um eine Verringerung des S/N-Verhältnisses des Referenzbilds MSr zu vermeiden, wird in dieser Ausführungsform die Kombination durchgeführt, so dass eine Kombinationsgewichtung eines Bandbilds, dessen Rauschbetrag größer ist, kleiner ist.
  • Der Bildkombinierer 31 umfasst beispielsweise einen Rauschbetrag-Berechner 311 und einen Gewichtungskombinierer 312, wie in 4 dargestellt.
  • Der Rauschbetrag-Berechner 311 berechnet einen Rauschbetrag Ni für jedes der Mehrbandbilder DIN. Die berechneten Rauschbeträge Ni werden zum Beispiel jeweils durch einen Skalar dargestellt.
  • Wenn die Bildverarbeitungseinrichtung Teil der in 2 dargestellten Bildleseeinrichtung ist, kann ein Signalbetrag jedes Bandbilds durch Multiplikation der Quanteneffizienz des Bildsensors 2 in dem entsprechenden Wellenlängenband mit dem Beleuchtungsbetrag durch die genutzte Lichtquelle in dem entsprechenden Wellenlängenband berechnet werden. Der Rauschbetrag Ni kann aus einem Kehrwert des Signalbetrags berechnet werden.
  • 4 zeigt ein Beispiel für die spektrale Quanteneffizienz des Bildsensors. Der Bildsensor hat eine Spitze in der Nähe eines Zentrums eines Wellenlängenbandes, in dem der Bildsensor empfindlich ist, und die Quanteneffizienz nimmt in größerer Entfernung von der Spitzenposition ab.
  • Wenn Informationen über die Quanteneffizienz des Bildsensors 2 oder den Beleuchtungsbetrag durch die Lichtquelle nicht genutzt werden können, kann der Rauschbetrag Ni jedes Bandbilds durch Analysieren der einzelnen Bandbilder DIN berechnet werden.
  • Beispiele für das Verfahren des Berechnens des Rauschbetrags Ni durch Analysieren des Bildes umfassen ein Verfahren des Berechnens einer lokalen Varianz jedes Pixels in einer flachen Region des Bildes und Bestimmens eines Durchschnitts davon.
  • In diesem Fall ist es möglich, eine lokale Varianz jedes Pixels zu berechnen und als eine flache Region eine Region zu nehmen, die aus Pixeln gebildet wird, deren lokale Varianzen nicht größer als ein Schwellenwert sind, oder eine Region, in der der Anteil der Pixel, deren lokale Varianzen nicht größer als ein Schwellenwert sind, nicht kleiner als ein vorherbestimmter Wert ist.
  • Die lokalen Varianzen werden zum Beispiel durch die gleiche Berechnung wie in Gleichung (3) bestimmt, die später beschrieben wird.
  • Der Gewichtungskombinierer 312 erzeugt das Referenzbild MSr durch Kombinieren der Mehrbandbilder DIN, so dass die Kombinationsgewichtung eines Bandbilds, dessen Rauschbetrag Ni kleiner ist, größer ist. Die Kombination erfolgt durch Gewichtung und Addition der Pixelwerte an den gleichen Positionen der Mehrbandbilder. Konkret bestimmt der Gewichtungskombinierer 312 gewichtete Durchschnitte von Pixelwerten an den gleichen Positionen der Mehrbandbilder DIN wie Pixelwerte an den gleichen Positionen des Referenzbilds MSr.
  • Der gewichtete Durchschnitt für ein bestimmtes Pixel (interessierendes Pixel) wird zum Beispiel durch die in Gleichung (1) dargestellte Berechnung bestimmt:
  • M S r ( x ) = 1 M i M W i M S i ( x ) .
    Figure DE112019007327T5_0001
  • In Gleichung (1),
    ist x eine Koordinate, die die Position des interessierenden Pixels angibt, steht M für die Anzahl der Bandbilder,
    steht MSi für das i-te Bandbild der M Bandbilder,
    steht MSi(x) für einen Pixelwert an der Position x des Bandbilds MSi,
    steht Wi für eine Kombinationsgewichtung für den Pixelwert MSi(x) des Bandbilds MSi, und
    steht MSi(x) für einen Pixelwert an der Position x des Referenzbilds MSr.
  • Als die Kombinationsgewichtung Wi für den Pixelwert MSi(x) jedes Bandbilds MSi wird ein normalisierter Wert eines Kehrwerts des Rauschbetrags Ni des Bandbilds MSi genutzt. Der normalisierte Wert des Kehrwerts des Rauschbetrags jedes Bandbilds ist ein Wert, der durch Dividieren des Kehrwerts des Rauschbetrags des Bandbilds durch einen Durchschnitt der Kehrwerte der Rauschbeträge aller Bandbilder erhalten wird. Daher ist die Kombinationsgewichtung Wi durch die folgende Gleichung (2) dargestellt:
  • W i = 1 N i 1 M i M 1 N i .
    Figure DE112019007327T5_0002
  • Anstelle des obigen Verfahrens kann der Gewichtungskombinierer 312 jede Gewichtung Wi auf 0 oder 1 unter Verwendung eines voreingestellten Rauschbetrag-Schwellenwerts setzen und die gewichteten Durchschnitte bestimmen. Beispielsweise kann die Gewichtung Wi auf 0 gesetzt werden, wenn der Rauschbetrag nicht kleiner ist als der Rauschbetrag-Schwellenwert, und andernfalls auf 1, und die gewichteten Durschnitte unter Verwendung der Anzahl von Bandbildern, für die die Gewichtung Wi auf 1 gesetzt wurde, anstelle von M bestimmen.
  • Das durch die obige Kombination erhaltene Referenzbild MSr hat ein höheres S/N-Verhältnis als jedes einzelne Bandbild.
  • Der Parameter-Berechner 32 analysiert das Referenzbild MSr, um als einen Bildmerkmalsbetrag eine lokale Varianz oder einen Kantenbetrag für jedes Pixel des Referenzbilds MSr zu berechnen, und berechnet aus den Bildmerkmalsbeträgen die Filterparameter D32.
  • Die lokale Varianz var(x) für eine Position x in dem Referenzbild MSr kann zum Beispiel durch Durchführen der durch die folgende Gleichung (3) dargestellten Berechnung bestimmt werden:
  • v a r ( x ) = 1 L y Ω ( x ) M S r ( y ) 2 ( 1 L y Ω ( x ) M S r ( y ) ) 2 .
    Figure DE112019007327T5_0003
  • In Gleichung (3),
    steht Ω(x) für eine lokale Region, die auf die Position x zentriert ist,
    steht L für die Anzahl von Pixeln in der lokalen Region Ω(x),
    ist y eine Koordinate, die eine Position in der lokalen Region Ω(x) darstellt, und steht MSi(y) für einen Pixelwert an der Position y des Referenzbilds MSr.
  • Der Kantenbetrag kann zum Beispiel durch ein Verfahren unter Verwendung einer bilateralen Gewichtung bestimmt werden. Zum Beispiel kann der Kantenbetrag bw(x) für eine Position x in dem Referenzbild MSr durch Durchführen der durch die folgende Gleichung (4) dargestellte Berechnung bestimmt werden:
  • b w ( x ) = y Ω ( x ) ( e x p ( 1 2 ( d ( y , x ) σ 1 ) 2 ) e x p ( 1 2 ( M S r ( y ) M S r ( x ) σ 2 ) 2 ) ) .
    Figure DE112019007327T5_0004
  • In Gleichung (4),
    steht Ω(x) für eine lokale Region, die auf die Position x zentriert ist,
    ist y eine Koordinate, die eine Position in der lokalen Region Ω(x) darstellt, d(y,x) steht für einen Abstand zwischen der durch die Koordinate y angegebenen Position und der durch die Koordinate x angegebenen Position,
    Msr(x) steht für einen Pixelwert an der Position x des Referenzbilds MSr,
    Msr(y) bezeichnet einen Pixelwert an der Position y des Referenzbilds MSr, und σ1 und σ2 stehen für Konstanten. Die Konstanten σ1 und σ2 werden willkürlich festgelegt.
  • Der Parameter-Berechner 32 berechnet aus den berechneten Bildmerkmalsbeträgen die Filterparameter D32 und gibt diese aus.
  • Zum Beispiel kann dieser die Bildmerkmalsbeträge als die Filterparameter einfach ausgeben, oder kann als die Filterparameter Kehrwerte der Bildmerkmalsbeträge oder deren normalisierte Werte ausgeben.
  • Der Filterprozessor 33 nutzt die Filterparameter D32, um die Mehrbandbilder DIN unter Erhaltung von Kanten zu glätten, und erzeugt mehrere Ausgangsbilder DOUT.
  • Die mehreren Ausgangsbilder DOUT entsprechen den jeweiligen Mehrbandbildern DIN. Eine Gruppe der mehreren Ausgangsbilder DOUT bildet ein multispektrales Bild.
  • Der Filterprozess kann unter Verwendung eines Referenzglättungsfilters durchgeführt werden, dem das die Filterparameter eingegeben werden können. So kann beispielsweise ein gemeinsamer bilateraler Filter, ein geführter Filter oder dergleichen genutzt werden.
  • Der Filterprozess unter Verwendung eines gemeinsamen bilateralen Filters wird zum Beispiel durch die folgende Gleichung (5) dargestellt:
  • D O U T ( x ) = 1 y Ω ( x ) W s ( x , y , σ s ) W c ( x , y , σ c ) y Ω ( x ) W s ( x , y , σ s ) W c ( x , y , σ c ) D I N ( y ) .
    Figure DE112019007327T5_0005
  • In Gleichung (5),
    ist x eine Koordinate, die die Position des interessierenden Pixels angibt,
    steht Ω(x) für eine lokale Region, die auf die Position x zentriert ist,
    ist y eine Koordinate, die eine Position in der lokalen Region Ω(x) darstellt, steht DIN(y) für einen Pixelwert an der Position y des Bandbilds DIN, und steht DOUT(x) für einen Pixelwert an der Position x des Ausgangsbilds DOUT.
  • Der Bereich der obigen lokalen Region Ω(x) muss nicht der gleiche sein wie der Bereich der lokalen Region Ω(x) in der obigen Gleichung (3) oder (4).
  • In Gleichung (5) ist Ws eine Entfernungsgewichtung, und wird beispielsweise durch die folgende Gleichung (6) bestimmt: W s ( x , y , σ c ) = e x p ( 1 2 ( d ( y , s ) σ s ) 2 ) .
    Figure DE112019007327T5_0006
  • In Gleichung (6),
    steht d(y,x) für einen Abstand zwischen der durch die Koordinate y angegebenen Position und der durch die Koordinate x angegebenen Position, und
    ist σs ein Parameter, der die Abstandsgewichtung Ws bestimmt, und steht für eine Varianz.
  • In Gleichung (5) ist Wc eine Pixelwertgewichtung u nd ist beispielsweise durch die folgende Gleichung (7) bestimmt: W c = e x p ( 1 2 ( ( M S r ( y ) M S r ( x ) ) σ c ) 2 ) .
    Figure DE112019007327T5_0007
  • In Gleichung (7) ist σc ein Parameter, der die Pixelwertgewichtung Wc bestimmt, und steht für eine Varianz.
  • In dieser Ausführungsform wird var(x), das durch die obige Gleichung (3) gegeben ist, bw(x), das durch Gleichung (4) gegeben ist, oder ein Wert, der durch Normalisierung eines von diesen erhalten wird, als der Parameter σc verwendet.
  • In der Bildverarbeitungseinrichtung 3 der ersten Ausführungsform, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem kein ausreichender Signalbetrag vorhanden ist, ist es möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
  • Da der Bildkombinierer 31 den wie in 3 dargestellten Rauschbetrag-Berechner 311 enthält, ist es durch Bestimmen der Kombinationsgewichtungen auf Grundlage der Rauschbeträge der in der Kombination genutzten Bandbilder außerdem möglich, das Referenzbild MSr, aufweisend ein höheres S/N-Verhältnis, zu erzeugen und somit Ausgangsbilder, aufweisend hohe S/N-Verhältnisse, zu erhalten.
  • In dem obigen Beispiel enthalten die Mehrband-Lichtquellen die Lichtquelle, aufweisend das sichtbare-Licht-Wellenlängenband, die Lichtquelle, aufweisend das Ultraviolett-Wellenlängenband, und die Lichtquelle, aufweisend das Nahinfrarot-Wellenlängenband. Die Gruppe der Mehrband-Lichtquellen ist jedoch nicht auf das obige Beispiel beschränkt. So kann das sichtbares-Licht-Wellenlängenband zum Beispiel unterteilt sein. Anstelle der Lichtquelle, aufweisend das sichtbares-Licht-Wellenlängenband kann zum Beispiel eine Lichtquelle, aufweisend ein rotes Wellenlängenband, eine Lichtquelle, aufweisend ein grünes Wellenlängenband und eine Lichtquelle, aufweisend ein blaues Wellenlängenband vorgesehen sein.
  • Im obigen Beispiel werden die Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch den Parameter-Berechner 32 bestimmt und deren Werte oder normalisierte Werte als die Parameter σc zur Bestimmung der Kombinationsgewichtungen genutzt. Bei den durch den Parameter-Berechner 32 bestimmten Bildmerkmalsbeträgen kann es sich um andere Werte als die Varianzen oder Kantenbeträge handeln. In jedem Fall können die Bildmerkmalsbeträge, deren Kehrwerte oder deren normalisierte Werte als Parameter zur Bestimmung der Kombinationsgewichtungen genutzt werden.
  • Zweite Ausführungsform
  • 5 zeigt ein Blockdiagramm einer Bildverarbeitungseinrichtung 3b einer zweiten Ausführungsform der vorliegenden Erfindung.
  • Die dargestellte Bildverarbeitungseinrichtung 3b ist im Wesentlichen die gleiche wie die Bildverarbeitungseinrichtung 3 von 1, enthält jedoch anstelle des Bildkombinierers 31 einen Bildkombinierer 31b.
  • Der Bildkombinierer 31 der ersten Ausführungsform führt die Bildkombination durch, so dass die Kombinationsgewichtung eines Bandbilds, dessen Rauschbetrag größer ist, kleiner ist. Der Bildkombinierer 31b dieser Ausführungsform führt die Bildkombination unter Verwendung von Kombinationsgewichtungen durch, die auf Grundlage von Bildkorrelationen zwischen den Bandbildern bestimmt werden.
  • Die Bildeigenschaften eines jeden Bandbilds hängen von seinem Wellenlängenband ab, und je weiter die Wellenlängenbänder zweier Bandbilder voneinander entfernt sind, desto größer ist die Differenz in den Bildeigenschaften der zwei Bandbilder.
  • In dieser Ausführungsform wird, wenn das Rauschen eines Bandbilds eines bestimmten Wellenlängenbandes reduziert werden soll, das Referenzbild erzeugt durch Durchführen der Bildkombination, so dass die Kombinationsgewichtung für ein Bandbild, dessen Bildkorrelation mit dem Bandbild des Zielwellenlängenbandes (das Bild des Zielwellenlängenbandes) größer ist, größer ist.
  • Der Bildkombinierer 31b kombiniert die Mehrbandbilder DIN, um ein Referenzbild MSr zu erzeugen, das ein höheres S/N-Verhältnis als jedes einzelne Bandbild aufweist.
  • Der Bildkombinierer 31b umfasst zum Beispiel einen Korrelations-Berechner 313 und einen Gewichtungskombinierer 312b, wie in 6 dargestellt.
  • Der Korrelations-Berechner 313 berechnet für jedes der Mehrbandbilder DIN eine Bildkorrelation Cori mit einem Bandbild eines Ziel-Wellenlängenbandes.
  • Die Bildkorrelation Cori zwischen jedem Bandbild und dem Bandbild des Ziel-Wellenlängenbandes kann zum Beispiel auf Grundlage einer Wellenlängendifferenz zwischen jedem Bandbild und dem Bandbild der Ziel-Wellenlänge bestimmt werden. In diesem Fall kann davon ausgegangen werden, dass die Bildkorrelation umso höher ist, je kleiner die oben genannte Differenz ist.
  • In diesem Fall kann die obige Bildkorrelation durch eine Funktion der Wellenlänge dargestellt werden.
  • Die 7A bis 7C zeigen Beispiele für die Bildkorrelation. In 7A und 7C stellt die horizontale Achse die Wellenlänge jedes Bandbilds dar und die vertikale Achse stellt die Bildkorrelation dar. Die Bildkorrelation wird in einer willkürlichen Einheit (arbitrary unit = a.u.) ausgedrückt.
  • λt auf der horizontalen Achse bezeichnet eine zentrale Wellenlänge oder Spitzenwellenlänge (Ziel-Wellenlänge) des Ziel-Wellenlängenbandes.
  • In dem in 7A dargestellten Beispiel ist die Korrelation bei der Ziel-Wellenlänge λt am höchsten und nimmt mit zunehmender Differenz zu λt linear ab.
  • In dem in 7B dargestellten Beispiel behält die Korrelation einen konstanten Wert in dem Bereich, in dem die Differenz zur Ziel-Wellenlänge λt nicht größer als ein eingestellter Differenz-Schwellenwert ist, und ist 0 in dem Bereich, in dem die Differenz größer als der Differenz-Schwellenwert ist.
  • In dem in 7C dargestellten Beispiel variiert die Korrelation entlang einer Normalverteilungskurve, die auf die Ziel-Wellenlänge λt zentriert ist.
  • Im obigen Beispiel bestimmt der Korrelations-Berechner 313 für jedes Bandbild die Bildkorrelation auf Grundlage der Wellenlängendifferenz von dem Bandbild des Ziel-Wellenlängenbands.
  • Alternativ ist es möglich, für jedes Bandbild die Bildkorrelation auf Grundlage der Ähnlichkeit mit dem Bandbild des Ziel-Wellenlängenbandes zu bestimmen.
  • Als ein Indikator für die Ähnlichkeit kann zum Beispiel die Summe von absoluten Differenzen (SAD), eine Summe von quadrierten Differenzen (SSD), eine normalisierte Kreuzkorrelation (NCC), eine normalisierte Kreuzkorrelation mit Null-Mittelwerten (ZNCC) oder dergleichen genutzt werden.
  • Die SAD für jedes Bandbild MSi (bezeichnet durch das Symbol SAi) wird durch die folgende Gleichung (8) bestimmt: S A i = x | M S i ( x ) M S t ( x ) | .
    Figure DE112019007327T5_0008
  • SAD für jedes Bandbild MSi (bezeichnet durch das Symbol SAi) wird durch die folgende Gleichung (9) bestimmt: S S i = x ( M S i ( x ) M S t ( x ) ) 2 .
    Figure DE112019007327T5_0009
  • NCC für jedes Bandbild MSi (bezeichnet durch das Symbol NCi) wird durch die folgende Gleichung (10) bestimmt: N C i = x M S i ( x ) M S t ( x ) x M S i ( x ) 2 x M S t ( x ) 2 .
    Figure DE112019007327T5_0010
  • ZNCC für jedes Bandbild MSi (bezeichnet durch das Symbol ZNCi) wird durch die folgende Gleichung (11) bestimmt: Z N C i = x ( M S i ( x ) M S i m ( x ) ) ( M S t ( x ) M S t m ( x ) ) x ( M S i ( x ) M S i m ( x ) ) 2 x ( M S t ( x ) M S t m ( x ) ) 2 .
    Figure DE112019007327T5_0011
  • In Gleichungen (8) bis (11),
    ist x eine Koordinate, die die Position des interessierenden Pixels angibt,
    steht MSi(x) für einen Pixelwert an der Position x des Bandbilds MSi,
    steht MSt(x) für einen Pixelwert an der Position x des Bandbilds Mst des Ziel-Wellenlängenbandes,
    steht MSim für einen Durchschnitt der Pixelwerte MSi(x) aller Pixel in dem Bild MSi, und
    steht MStm für einen Durchschnitt der Pixelwerte MSt(x) aller Pixel in dem Bild MSt.
  • Je höher die Ähnlichkeit ist, desto kleiner sind die Werte von SAD und SSD. Je höher die Ähnlichkeit ist, desto größer sind die Werte von NCC und ZNCC.
  • SAD und SSD sind geeignet, wenn ein Vergleich hinsichtlich Bildeigenschaften einschließlich der Intensität (Helligkeit, Luminanz) vorgenommen werden soll, und NCC und ZNCC, die aufgrund der Normalisierung jeweils einen von den Bildintensitäten (den Größen der Pixelwerte) unabhängigen Wert liefern, sind geeignet, wenn die spektralen Reflexionseigenschaften des Objekts in einem bestimmten Wellenlängenband extrahiert werden sollen.
  • Der Gewichtungskombinierer 312b erzeugt das Referenzbild MSr durch Kombinieren der Mehrbandbilder DIN, so dass die Kombinationsgewichtung eines Bandbilds, dessen Bildkorrelation Cori größer ist, größer ist. Die Generierung erfolgt durch Gewichtung und Addition von Pixelwerten an den gleichen Positionen der Mehrbandbilder. Konkret bestimmt der Gewichtungskombinierer 312b gewichtete Durchschnitte von Pixelwerten an den gleichen Positionen der Mehrbandbilder DIN wie Pixelwerte an den gleichen Positionen des Referenzbilds MSr.
  • Der gewichtete Durchschnitt für ein bestimmtes Pixel (interessierendes Pixel) wird zum Beispiel durch die in der obigen Gleichung (1) dargestellte Berechnung bestimmt.
  • Als die Kombinationsgewichtung Wi für den Pixelwert MSi(x) jedes Bandbilds MSi wird jedoch ein normalisierter Wert der Bildkorrelation Cori des Bandbilds MSi verwendet. Der normalisierte Wert der Bildkorrelation jedes Bandbilds ist ein Wert, der durch Division der Bildkorrelation des Bandbilds durch einen Durchschnitt der Bildkorrelationen aller Bandbilder erhalten wird. Somit wird die Kombinationsgewichtung Wi durch die folgende Gleichung (12) dargestellt:
  • W i = C o r i 1 M i M C o r i .
    Figure DE112019007327T5_0012
  • Obwohl im obigen Beispiel die Ähnlichkeit eines Bildes für das gesamte Bild bestimmt wird, ist es möglich, die Ähnlichkeit für jedes Pixel zu bestimmen und die Bildkorrelation für jedes Pixel zu bestimmen.
  • In diesem Fall wird in Gleichung (8) bis (11) die Ähnlichkeit durch Verwendung von Pixeln in einer lokalen Region bestimmt, die an dem interessierenden Pixel zentriert ist, und die Bildkorrelation für das interessierende Pixel wird aus der bestimmten Ähnlichkeit bestimmt.
  • Auch in der Bildverarbeitungseinrichtung 3b der zweiten Ausführungsform, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem kein ausreichender Signalbetrag vorhanden ist, ist es möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
  • Da der Bildkombinierer 31 den Korrelations-Berechner 313 enthält, wie in 6 dargestellt, ist es durch Bestimmen der Kombinationsgewichtungen auf Grundlage der Bildkorrelationen zwischen den in der Kombination genutzten Bandbildern und dem Bandbild des Ziel-Wellenlängenbands außerdem möglich, ein Ausgangsbild mit weniger Verlust in den Bildeigenschaften zu erzeugen.
  • Für die erste Ausführungsform wurde als weiteres Beispiel für die Gewichtungskombination ein Verfahren des Setzens jeder Gewichtung Wi auf 0 oder 1 unter Verwendung eines voreingestellten Rauschbetrag-Schwellenwerts und Bestimmens der gewichteten Durchschnitte erläutert. Die gleiche Modifikation kann auch an der zweiten Ausführungsform vorgenommen werden.
  • Insbesondere ist es möglich, jede Gewichtung Wi auf 0 oder 1 unter Verwendung eines voreingestelltes Korrelations-Schwellenwerts zu setzen und die gewichteten Durchschnitte zu bestimmen. So ist es beispielsweise möglich, die Gewichtung Wi auf 1 zu setzen, wenn die Bildkorrelation nicht unter dem Bildkorrelations-Schwellenwert liegt, und andernfalls auf 0, und die gewichteten Durchschnitte unter Verwendung der Anzahl von Bandbildern zu bestimmen, für die die Gewichtung Wi auf 1 gesetzt wurde, anstelle von M.
  • Dritte Ausführungsform
  • 8 zeigt eine Bildverarbeitungseinrichtung 3c einer dritten Ausführungsform der vorliegenden Erfindung.
  • Die dargestellte Bildverarbeitungseinrichtung 3c ist im Wesentlichen die gleiche wie die Bildverarbeitungseinrichtung 3 von 1, enthält jedoch nicht den Bildkombinierer 31 von 1 und enthält einen Parameter-Berechner 32c anstelle des Parameter-Berechners 32 von 1.
  • Zusätzlich zu den Bandbildern DIN aus 1 wird ein Weißbild DIW in die Bildverarbeitungseinrichtung 3c eingegeben.
  • Die Bandbilder DIN sind die gleichen wie die Bandbilder von 1.
  • Das Weißbild DIW ist ein Bild, aufweisend ein Band, das alle Bänder der Mehrbandbilder DIN enthält, und wird als ein Referenzbild genutzt. Das Band des weißen Bildes DIW ist vorzugsweise breiter als das Band, das durch Summierung aller Bänder der Mehrbandbilder DIN erhalten wird.
  • Der Parameter-Berechner 32c analysiert das Weißbild DIW und berechnet für jedes Pixel des Weißbilds DIW eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag und berechnet aus dem Bildmerkmalsbetrag einen Filterparameter D32c.
  • Der Inhalt des Prozesses in dem Parameter-Berechner 32c ist der gleiche wie der des Prozesses in dem Parameter-Berechner 32 von 1. Der Unterschied besteht in der Bestimmung der Filterparameter durch Verwendung des Weißbilds DIW als das Referenzbild.
  • Der Filterprozessor 33 nutzt die Filterparameter D32c, um die Mehrbandbilder DIN unter Erhaltung von Kanten zu glätten, und erzeugt mehrere Ausgangsbilder DOUT.
  • Der Inhalt des Prozesses in dem Filterprozessor 33 ist der gleiche wie der des Prozesses in dem Filterprozessor 33 von 1.
  • In der Bildverarbeitungseinrichtung 3c der dritten Ausführungsform ist es möglich, das Weißbild, aufweisend das Band, das alle Bänder der Mehrbandbilder enthält, zu erhalten und dieses als das Referenzbild zu nutzen. So ist es selbst in einem Fall, in dem die Anzahl der Wellenlängenbänder der genutzten Lichtquelle gering ist, wenn ein multispektrales Bild erhalten wird, das ein Bandbild eines Wellenlängenbandes enthält, in dem kein ausreichender Signalbetrag vorhanden ist, möglich, das S/N-Verhältnis des multispektralen Bildes zu verbessern, ohne Kanten zu zerstören.
  • Vierte Ausführungsform
  • 9 zeigt eine Bildverarbeitungseinrichtung 3d einer vierten Ausführungsform der vorliegenden Erfindung.
  • Die dargestellte Bildverarbeitungseinrichtung 3d ist im Allgemeinen die gleiche wie die Bildverarbeitungseinrichtung 3c in 8, enthält jedoch eine Bandpassfiltergruppe 34. Außerdem werden die Mehrbandbilder DIN nicht in die Bildverarbeitungseinrichtung 3d eingegeben, und nur das Weißbild DIW wird in die Bildverarbeitungseinrichtung 3d eingegeben.
  • Die Bandpassfiltergruppe 34 empfängt als eine Eingabe das Weißbild und umfasst mehrere Bandpassfilter, die verschiedene Wellenlängenbänder durchlassen, und Mehrbandbilder D34 mit verschiedenen Wellenlängenbändern werden von der Bandpassfiltergruppe 34 ausgegeben.
  • In der oben genannten ersten bis dritten Ausführungsform werden die Mehrbandbilder DIN sequentiell erhalten durch Durchführen von Abbildung, wenn das Original von den Mehrband-Lichtquellen, aufweisend unterschiedliche Wellenlängenbänder, sequentiell beleuchtet wird. Andererseits werden bei der vierten Ausführungsform die Mehrbandbilder DIN unter Verwendung der mehreren Bandpassfilter erzeugt, die die verschiedenen Wellenlängenbänder des Weißbilds eines breiten Bands durchlassen.
  • Der Filterprozessor 33 nutzt die Filterparameter D32c, um die Mehrbandbilder D34 unter Erhaltung von Kanten zu glätten, und erzeugt mehrere Ausgangsbilder DOUT.
  • Die vierte Ausführungsform stellt die gleichen Vorteile wie die erste bis dritte Ausführungsform bereit.
  • In der oben genannten ersten bis vierten Ausführungsform ist die Bildverarbeitungseinrichtung Teil der Bildleseeinrichtung. Die Bildverarbeitungseinrichtungen der vorliegenden Erfindung können jedoch auch für andere Zwecke als Bildlesen genutzt werden. Sie können zum Beispiel auch für Abbildung des Bodens oder dergleichen von einem optischen Satelliten oder Luftfahrzeug aus genutzt werden.
  • Jede der in der ersten bis vierten Ausführungsform beschriebenen Bildverarbeitungseinrichtungen 3, 3b, 3c und 3d kann ganz oder teilweise aus Verarbeitungsschaltkreisen gebildet sein.
  • Beispielsweise können die Funktionen der jeweiligen Abschnitte der Bildverarbeitungseinrichtung durch jeweils separate Verarbeitungsschaltungen implementiert sein, oder die Funktionen der Abschnitte können durch eine einzige Verarbeitungsschaltung implementiert sein.
  • Der Verarbeitungsschaltkreis kann durch Hardware oder durch Software oder einen programmierten Computer implementiert sein.
  • Es ist möglich, dass ein Teil der Funktionen der jeweiligen Abschnitte der Bildverarbeitungseinrichtung durch Hardware implementiert ist und ein anderer Teil durch Software implementiert ist.
  • 10 zeigt ein Beispiel für eine Konfiguration, wenn alle Funktionen der Bildverarbeitungseinrichtung 3, 3b, 3c oder 3d der obigen jeweiligen Ausführungsformen mit einem Computer 9, der einen einzigen Prozessor enthält, zusammen mit dem Lichtquelle 1 und dem Bildsensor 2 implementiert sind.
  • In dem dargestellten Beispiel umfasst der Computer 9 einen Prozessor 91 und einen Speicher 92.
  • In dem Speicher 92 ist ein Programm zur Implementierung der Funktionen der jeweiligen Abschnitte der Bildverarbeitungseinrichtung gespeichert.
  • Der Prozessor 91 nutzt zum Beispiel eine zentrale Verarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Mikroprozessor, einen Mikrocontroller, einen digitalen Signalprozessor (DSP) oder dergleichen.
  • Der Speicher 92 nutzt zum Beispiel einen Halbleiterspeicher, wie einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen Flash-Speicher, einen löschbaren programmierbaren Festwertspeicher (EPROM) oder einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM), eine magnetische Scheibe, eine optische Scheibe, eine magnetische optische Scheibe oder dergleichen.
  • Der Prozessor 91 implementiert die Funktion der Bildverarbeitungseinrichtung durch Ausführen des in dem Speicher 92 gespeicherten Programms.
  • Im Folgenden wird ein Vorgang, wenn ein Prozess in der Bildverarbeitungseinrichtung der ersten oder zweiten Ausführungsform mit dem in 10 dargestellten Computer durchgeführt wird, unter Bezugnahme auf 11 erläutert.
  • In Schritt ST11 werden die Mehrbandbilder DIN empfangen.
  • In Schritt ST12 wird das Referenzbild MSr durch Kombinieren der Mehrbandbilder DIN erzeugt. Dieser Prozess wird wie für den Bildkombinierer 31 oder 31b beschrieben durchgeführt.
  • In Schritt ST13 werden die lokalen Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch Analysieren des Referenzbilds MSr berechnet, und die Filterparameter D32 werden aus den Bildmerkmalsbeträgen berechnet. Dieser Prozess wird wie für den Parameter-Berechner 32 beschrieben durchgeführt.
  • In Schritt ST14 wird Glättung der Mehrbandbilder DIN unter Erhaltung von Kanten unter Verwendung der Filterparameter D32 durchgeführt. Dieser Prozess wird wie für den Filterprozessor 33 beschrieben durchgeführt.
  • Ein Vorgang, wenn ein Prozess in der Bildverarbeitungseinrichtung der dritten Ausführungsform durch den in 10 dargestellten Computer durchgeführt wird, wird unter Bezugnahme auf 12 erläutert.
  • In 12 sind Prozesse, die die gleichen sind wie in 11, durch die gleichen Symbole angegeben.
  • In Schritt ST11 werden die Mehrbandbilder DIN empfangen.
  • In Schritt ST22 wird das Weißbild DIW empfangen.
  • In Schritt ST13c werden die lokalen Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch Analysieren des Weißbilds DIW berechnet, und die Filterparameter D32 werden aus den Bildmerkmalsbeträgen berechnet. Dieser Prozess wird wie für den Parameter-Berechner 32c beschrieben durchgeführt.
  • In Schritt ST14 wird Glättung der Mehrbandbilder DIN unter Erhaltung von Kanten unter Verwendung der Filterparameter D32 durchgeführt. Dieser Prozess wird wie für den Filterprozessor 33 beschrieben durchgeführt.
  • Ein Vorgang, wenn ein Prozess in der Bildverarbeitungseinrichtung der vierten Ausführungsform durch den in 10 dargestellten Computer durchgeführt wird, wird unter Bezugnahme auf 13 erläutert.
  • In 13 sind Prozesse, die die gleichen sind wie in 11 oder 12, durch die gleichen Symbole angegeben.
  • In Schritt ST22 wird das Weißbild DIW empfangen.
  • In Schritt ST13c werden die lokalen Varianzen oder Kantenbeträge als die Bildmerkmalsbeträge durch Analysieren des Weißbilds DIW berechnet, und die Filterparameter D32 werden aus den Bildmerkmalsbeträgen berechnet. Dieser Prozess wird wie für den Parameter-Berechner 32c beschrieben durchgeführt.
  • In Schritt ST33 wird die Bandpassfilterung, die die verschiedenen Wellenlängenbänder durchlässt, auf das Weißbild DIW durchgeführt, so dass die Mehrbandbilder D34 erzeugt werden. Dieser Prozess wird wie für die Bandpassfiltergruppe 34 beschrieben durchgeführt.
  • Der Prozess des Schritts ST33 kann parallel zu dem Prozess des Schritts ST13c durchgeführt werden.
  • In Schritt ST14 wird Glättung der Mehrbandbilder D34 unter Erhaltung von Kanten unter Verwendung der Filterparameter D32c durchgeführt. Dieser Prozess wird wie für den Filterprozessor 33 beschrieben durchgeführt.
  • Obwohl die Bildverarbeitungseinrichtungen der vorliegenden Erfindung oben beschrieben wurden, bilden die Bildverarbeitungsverfahren, die durch die oben genannten Bildverarbeitungseinrichtungen implementiert werden, ebenfalls Teil der vorliegenden Erfindung. Auch Programme, die Computer veranlassen, Prozesse der oben genannten Bildverarbeitungseinrichtungen oder Bildverarbeitungsverfahren auszuführen, und computerlesbare Aufzeichnungsmedien, z. B. nichttransitorische Aufzeichnungsmedien, die die Programme speichern, sind ebenfalls Teil der vorliegenden Erfindung.
  • Obwohl Ausführungsformen der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf diese Ausführungsformen beschränkt.
  • Bezugszeichenliste
  • 1
    Lichtquelle,
    2
    Bildsensor,
    3, 3b, 3c, 3d
    Bildverarbeitungseinrichtung,
    31
    Bildkombinierer,
    32, 32c
    Parameter-Berechner,
    33
    Filterprozessor,
    34
    Bandpassfiltergruppe,
    311
    Rauschbetrag-Berechner,
    312, 312b
    Gewichtungskombinierer,
    313
    Korrelations-Berechner.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2015/037189 [0008]

Claims (15)

  1. Bildverarbeitungseinrichtung, umfassend: einen Parameter-Berechner, um ein Referenzbild des gleichen Sichtfeldes wie einer Vielzahl von Bandbildern, bildend ein multispektrales Bild, zu analysieren, um eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag zu berechnen, und einen Filterparameter aus dem Bildmerkmalsbetrag zu berechnen; und einen Filterprozessor, um einen kantenerhaltenden Glättungsprozess auf die Bandbilder unter Verwendung des Filterparameters durchzuführen.
  2. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Vielzahl von Bandbildern erhalten werden durch Durchführen von Abbildung, während ein Objekt von einer Vielzahl von Lichtquellen, jeweils aufweisend ein relativ schmales Band, sequenziell beleuchtet wird.
  3. Bildverarbeitungseinrichtung nach Anspruch 2, wobei die Vielzahl von Lichtquellen eine Lichtquelle, aufweisend ein sichtbares-Licht-Wellenlängenband, eine Lichtquelle, aufweisend ein Ultraviolett-Wellenlängenband und eine Lichtquelle, aufweisend ein Nahinfrarot-Wellenlängenband, umfassen.
  4. Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 3, ferner umfassend einen Bildkombinierer, um die Vielzahl von Bandbildern zu kombinieren, um das Referenzbild zu erzeugen.
  5. Bildverarbeitungseinrichtung nach Anspruch 4, wobei der Bildkombinierer das Referenzbild erzeugt durch Berechnen eines Rauschbetrags für jedes der Vielzahl von Bandbildern und Durchführen der Kombination, so dass eine Kombinationsgewichtung eines Bandbildes, dessen Rauschbetrag kleiner ist, größer ist.
  6. Bildverarbeitungseinrichtung nach Anspruch 4, wobei der Bildkombinierer das Referenzbild erzeugt durch Berechnen für jedes der Vielzahl von Bandbildern einer Bildkorrelation mit einem der Vielzahl von Bandbildern eines Ziel-Wellenlängenbandes und Durchführen der Kombination, so dass eine Kombinationsgewichtung eines Bandbildes, dessen Bildkorrelation größer ist, größer ist.
  7. Bildverarbeitungseinrichtung nach Anspruch 6, wobei der Bildkombinierer für jedes der Vielzahl von Bandbildern die Bildkorrelation auf Grundlage einer Wellenlängendifferenz aus dem Bandbild des Ziel-Wellenlängenbandes berechnet.
  8. Bildverarbeitungseinrichtung nach Anspruch 6, wobei der Bildkombinierer für jedes der Vielzahl von Bandbildern, als die Bildkorrelation, eine Ähnlichkeit mit dem Bandbild des Ziel-Wellenlängenbandes berechnet.
  9. Bildverarbeitungseinrichtung nach Anspruch 8, wobei der Bildkombinierer die Bildkorrelation für jedes Pixel berechnet, die Kombinationsgewichtung für jedes Pixel auf der Grundlage der berechneten Bildkorrelationen bestimmt und die Kombination durchführt.
  10. Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Referenzbild ein Weißbild ist, aufweisend ein Band, enthaltend alle Bänder der Vielzahl von Bandbildern.
  11. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Vielzahl von Bandbildern erhalten werden durch Empfangen eines Weißbilds, aufweisend ein Band, enthaltend alle Bänder der Vielzahl von Bandbildern, und Leiten des Weißbilds durch eine Vielzahl von Bandpassfiltern, aufweisend unterschiedliche Wellenlängenbänder.
  12. Bildleseeinrichtung, umfassend: eine Lichtquelle, um ein Original zu beleuchten; einen Bildsensor, um das Original abzubilden; und die Bildverarbeitungseinrichtung nach einem der Ansprüche 1 bis 11, um ein Bild zu verarbeiten, das erhalten wird durch Abbilden durch den Bildsensor.
  13. Bildverarbeitungsverfahren, umfassend: Analysieren eines Referenzbildes des gleichen Sichtfeldes wie einer Vielzahl von Bandbildern, bildend ein multispektrales Bild, um eine lokale Varianz oder einen Kantenbetrag als einen Bildmerkmalsbetrag zu berechnen, und Berechnen eines Filterparameters aus dem Bildmerkmalsbetrag; und Durchführen eines kantenerhaltenden Glättungsprozesses auf die Bandbilder unter Verwendung des Filterparameters.
  14. Programm zum Veranlassen eines Computers, einen Prozess des Bildverarbeitungsverfahrens nach Anspruch 13 auszuführen.
  15. Computerlesbares Aufzeichnungsmedium, speichernd das Programm nach Anspruch 14.
DE112019007327.3T 2019-05-16 2019-05-16 Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium Pending DE112019007327T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019497 WO2020230319A1 (ja) 2019-05-16 2019-05-16 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体

Publications (1)

Publication Number Publication Date
DE112019007327T5 true DE112019007327T5 (de) 2022-03-24

Family

ID=73289155

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019007327.3T Pending DE112019007327T5 (de) 2019-05-16 2019-05-16 Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium

Country Status (4)

Country Link
JP (1) JP7142772B2 (de)
CN (1) CN113812137B (de)
DE (1) DE112019007327T5 (de)
WO (1) WO2020230319A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037189A1 (ja) 2013-09-12 2015-03-19 日本電気株式会社 ノイズ除去装置、方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008038A (ja) * 1999-06-24 2001-01-12 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置およびマルチバンドカラー写真システム
US7970231B2 (en) * 2004-02-19 2011-06-28 Mitsubishi Denki Kabushiki Kaisha Image processing method
JP5035029B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5538684B2 (ja) * 2008-03-13 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP5665508B2 (ja) * 2010-11-30 2015-02-04 キヤノン株式会社 画像処理装置及び方法、並びにプログラム及び記憶媒体
JP6124518B2 (ja) * 2012-06-28 2017-05-10 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5771677B2 (ja) * 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6161847B1 (ja) * 2015-12-18 2017-07-12 三菱電機株式会社 画像処理装置及び画像処理方法
JP6733989B2 (ja) * 2016-04-25 2020-08-05 三菱電機株式会社 画像処理装置及び画像処理方法
WO2018198251A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN108109113A (zh) * 2017-11-09 2018-06-01 齐鲁工业大学 基于双边滤波和中值滤波的单幅图像去雾方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037189A1 (ja) 2013-09-12 2015-03-19 日本電気株式会社 ノイズ除去装置、方法およびプログラム

Also Published As

Publication number Publication date
JP7142772B2 (ja) 2022-09-27
CN113812137B (zh) 2024-03-15
US20220222782A1 (en) 2022-07-14
WO2020230319A1 (ja) 2020-11-19
CN113812137A (zh) 2021-12-17
JPWO2020230319A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
DE60030456T2 (de) Verfahren und system zur verbesserung von digitalbildern
DE69828909T2 (de) Neue perzeptive lokale gradientenbasierte gratbestimmung
DE60132278T2 (de) Rauschverminderungsverfahren unter Verwendung von Farbinformationen, einer Vorrichtung und eines Programms zur Digital-Bildverarbeitung
Ruiz et al. Texture feature extraction for classification of remote sensing data using wavelet decomposition: A comparative study
EP1532583B1 (de) Verfahren zum extrahieren von texturmerkmalen aus einem mehrkanaligen bild
DE602005004694T2 (de) Verfahren und Vorrichtung für lokal adaptive Bildverarbeitungsfilter
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE102015107872A1 (de) Neu beleuchtbare Textur zur Verwendung beim Rendern eines Bildes
DE112016001040T5 (de) Verfahren und System zur Echtzeit-Rauschbeseitung und -Bildverbesserung von Bildern mit hohem Dynamikumfang
DE102007019057A1 (de) Vorrichtung und Verfahren zum Bestimmen eines Kanten-Histogramms, Vorrichtung und Verfahren zum Ablegen eines Bildes in einer Bilddatenbank, Vorrichtung und Verfahren zum Auffinden von zwei ähnlichen Bildern und Computerprogramm
DE102009051826A1 (de) Verfahren zum Vergleichen der Ähnlichkeit von 3D-bildlichen Objekten
DE112016002322T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm, das Programm aufzeichnendes Aufzeichnungsmedium, Bilderfassungsvorrichtung und Bildaufzeichnungs-/Bildwiedergabevorrichtung
DE102012221667A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
DE60126040T2 (de) Erkennung von Gegenständen mit Verwendung linearer Unterräume
DE112017005193T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE112017007695T5 (de) Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium
DE102015114651A1 (de) Bildskalierungstechniken
DE102020134755A1 (de) Verarbeiten von videoframes über neuronales faltungsnetzwerk durch verwenden von statistiken vorhergehender frames
DE112011101573T5 (de) Verfahren und System zum Erzeugen von Ausgabebilddaten
DE112019007327T5 (de) Bildverarbeitungseinrichtung, Verfahren, Bildleseeinrichtung, Programm und Aufzeichnungsmedium
DE102017009118A1 (de) Bildabgleich für serienbilder
EP3655920B1 (de) Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung
Mortezaie et al. An adaptive block based un-sharp masking for image quality enhancement
DE112020006088T5 (de) Computerimplementiertes verfahren zum umwandeln eines eingangsbildes in ein ausgangsbild basierend auf einem referenzbild

Legal Events

Date Code Title Description
R012 Request for examination validly filed