DE112020004813T5

DE112020004813T5 - Systeme und verfahren zur erweiterung von sensorsystemen und bildgebungssystemen mit polarisation

Info

Publication number: DE112020004813T5
Application number: DE112020004813.6T
Authority: DE
Inventors: Achuta Kadambi; Ramesh Raskar; Kartik Venkataraman; Supreeth Krishna RAO; Agastya KALRA
Original assignee: Boston Polarimetrics Inc
Current assignee: INTRINSIC INNOVATION LLC, MOUNTAIN VIEW, US
Priority date: 2019-10-07
Filing date: 2020-10-07
Publication date: 2022-07-14
Anticipated expiration: 2040-10-08
Also published as: WO2021071995A8; EP4042366A1; MX2022004162A; DE112020004810B4; EP4042101A1; WO2021071992A1; MX2022004163A; EP4042101A4; BR112022006602A2; WO2021071995A1; BR112022006617A2; KR102538645B1; US11982775B2; CN114766003A; DE112020004813B4; DE112020004810T5; CA3157194C; JP2022546627A; CA3157197A1; CN114766003B

Abstract

Das multimodale Sensorsystem umfasst: ein zugrundeliegendes Sensorsystem; ein Polarisationskamerasystem, das konfiguriert ist, um Polarisationsrohbilder zu erfassen, die einer Vielzahl von unterschiedlichen Polarisationszuständen entsprechen; und ein Verarbeitungssystem, das einen Prozessor und einen Speicher umfasst, wobei das Verarbeitungssystem konfiguriert ist, um das zugrundeliegende Sensorsystem und das Polarisationskamerasystem zu steuern, wobei der Speicher Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: das zugrundeliegende Sensorsystem zu steuern, um ein Erfassen an einer Szene durchzuführen, und das Polarisationskamerasystem zu steuern, um eine Vielzahl von Polarisationsrohbildern der Szene zu erfassen; erste Tensoren in Polarisationsdarstellungsräumen basierend auf der Vielzahl von Polarisationsrohbildern zu extrahieren; und eine Charakterisierungsausgabe basierend auf einer Ausgabe des zugrundeliegenden Sensorsystems und den ersten Tensoren in Polarisationsdarstellungsräumen zu berechnen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG(EN)
Diese Anmeldung beansprucht die Priorität und die Vorteile der vorläufigen US-Patentanmeldung Nr. 62/911,952 , die am 7. Oktober, 2019 beim US-Patent- und Markenamt eingereicht wurde, der vorläufigen US-Patentanmeldung Nr. 62/942,113 , die am 30. November, 2019 beim US-Patent- und Markenamt eingereicht wurde, und der vorläufigen US-Patentanmeldung Nr. 63/001,445 , die am 29. März 2020 beim US-Patent- und Markenamt eingereicht wurde, deren gesamte Offenbarungen durch Bezugnahme hierin aufgenommen sind.
GEBIET
Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf das Gebiet der Sensorsysteme, einschließlich der mit Polarisation erweiterten Sensorsysteme.
HINTERGRUND
Sensorsysteme und bildgebende Systeme wie Radar, Lidar, Kameras (z. B. sichtbares Licht und/oder Infrarot) und dergleichen erfassen Objekte und Merkmale in der Umgebung durch die Wechselwirkung von elektromagnetischer Strahlung mit der Umgebung. Beispielsweise erfassen Kamerasysteme und Lidarsysteme Licht, das von Objekten in einer Szene oder in der Umgebung reflektiert wird. Ebenso senden Radarsysteme elektromagnetische Wellen mit niedrigeren Frequenzen (z. B. Radio- oder Mikrowellenfrequenzen) aus und bestimmen die Eigenschaften der Objekte basierend auf den Reflektionen dieser Signale. Andere Sensorsysteme können andere Formen von Strahlung verwenden, z. B. Druckwellen oder Schallwellen im Falle der Ultraschallbildgebung.
ZUSAMMENFASSUNG
Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Systeme und Verfahren zur Erweiterung von Sensorsystemen und Bildgebungssystemen unter Verwendung von Polarisation. Gemäß einigen Aspekten von Ausführungsformen der vorliegenden Offenbarung werden Sensoren, die konfiguriert sind, um die Polarisation von empfangener elektromagnetischer Strahlung zu erfassen, verwendet, um die Leistung oder das Verhalten anderer Bildgebungsmodalitäten zu erweitern, wie z. B. Kameras, die konfiguriert sind, um die Intensität von Licht ohne Berücksichtigung der Polarisation des Lichts zu erfassen. In einigen Aspekten von Ausführungsformen der vorliegenden Offenbarung werden Sensoren, die konfiguriert sind, um die Polarisation der empfangenen elektromagnetischen Strahlung zu erfassen, verwendet, um Bilder zu erzeugen, die andernfalls mit vergleichbaren Bildgebungssystemen wie Digitalkameras erzeugt werden würden. Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Kamerasysteme, die konfiguriert sind, um die Polarisation von Licht zu erfassen.
Gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst ein multimodales Sensorsystem: ein zugrundeliegendes Sensorsystem; ein Polarisationskamerasystem, das konfiguriert ist, um Polarisationsrohbilder aufzunehmen, die einer Vielzahl verschiedener Polarisationszustände entsprechen; und ein Verarbeitungssystem, das einen Prozessor und einen Speicher umfasst, wobei das Verarbeitungssystem konfiguriert ist, um das zugrundeliegende Sensorsystem und das Polarisationskamerasystem zu steuern, wobei der Speicher Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor dazu veranlassen: das zugrundeliegende Sensorsystem zu steuern, um ein Erfassen an einer Szene durchzuführen, und das Polarisationskamerasystem zu steuern, um eine Vielzahl von Polarisationsrohbildern der Szene aufzunehmen; erste Tensoren in Polarisationsdarstellungsräumen basierend auf der Vielzahl von Polarisationsrohbildern zu extrahieren; und eine Charakterisierungsausgabe basierend auf einer Ausgabe des zugrundeliegenden Sensorsystems und den ersten Tensoren in Polarisationsdarstellungsräumen zu berechnen.
Das Polarisationskamerasystem kann ein Polarisationskameramodul enthalten, das umfasst: eine erste Polarisationskamera, die einen ersten Polarisationsfilter an einer ersten Polarisationsausrichtung umfasst, wobei die erste Polarisationskamera eine erste optische Achse aufweist; eine zweite Polarisationskamera, die einen zweiten Polarisationsfilter an einer zweiten Polarisationsausrichtung umfasst, wobei die zweite Polarisationskamera eine zweite optische Achse aufweist, die im Wesentlichen parallel zu der ersten optischen Achse ist; und eine dritte Polarisationskamera, die einen dritten Polarisationsfilter an einer dritten Polarisationsausrichtung umfasst, wobei die dritte Polarisationskamera eine dritte optische Achse aufweist, die im Wesentlichen parallel zu der ersten optischen Achse ist.
Das Polarisationskameramodul kann ferner eine vierte Polarisationskamera mit einem vierten Polarisationsfilter an einer vierten Polarisationsausrichtung umfassen, wobei die vierte Polarisationskamera eine vierte optische Achse aufweist, die im Wesentlichen parallel zu der ersten optischen Achse ist.
Die ersten Tensoren können einen linearen Polarisationsgrad (DOLP) und einen linearen Polarisationswinkel (AOLP) umfassen, und der Speicher kann ferner Anweisungen speichern, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor dazu veranlassen, den DOLP und den AOLP basierend auf Polarisationsrohbildern zu berechnen, die von der ersten Polarisationskamera, der zweiten Polarisationskamera und der dritten Polarisationskamera aufgenommen wurden, wobei die Anweisungen Anweisungen umfassen, um: einen geschätzten DOLP und einen geschätzten AOLP basierend auf Stokes-Vektoren zu initialisieren; eine Szenengeometrie basierend auf Parallaxenverschiebungen in den Polarisationsrohbildern zu schätzen, um ein Grobmodell zu erzeugen; und iterativ: das Grobmodell basierend auf dem geschätzten DOLP und dem geschätzten AOLP zu verfeinern, um eine geschätzte Geometrie zu erzeugen; und den geschätzten DOLP und den geschätzten AOLP basierend auf der geschätzten Geometrie zu aktualisieren, bis eine Änderung des geschätzten DOLP und eine Änderung des geschätzten AOLP beide kleiner als entsprechende Schwellenwerte sind.
Das Polarisationskamerasystem kann ein Stereo-Polarisationskamerasystem enthalten, das umfasst: ein erstes Polarisationskameramodul mit einer ersten optischen Achse, wobei das erste Polarisationskameramodul konfiguriert ist, um eine erste Vielzahl von Polarisationsrohbildern aufzunehmen, die einer ersten Vielzahl von verschiedenen Polarisationszuständen entsprechen; und ein zweites Polarisationskameramodul mit einer zweiten optischen Achse, das von dem ersten Polarisationskameramodul entlang einer Grundlinie beabstandet ist, wobei das zweite Polarisationskameramodul konfiguriert ist, um eine zweite Vielzahl von Polarisationsrohbildern aufzunehmen, die einer zweiten Vielzahl von verschiedenen Polarisationszuständen entsprechen, wobei die erste optische Achse im Wesentlichen parallel zu der zweiten optischen Achse ist.
Das erste Polarisationskameramodul kann eine erste Vielzahl von Farbfiltern umfassen, die konfiguriert sind, um Licht in drei oder mehr verschiedenen ersten Farbspektren zu transmittieren, und das zweite Polarisationskameramodul kann eine zweite Vielzahl von Farbfiltern umfassen, die konfiguriert sind, um Licht in drei oder mehr verschiedenen zweiten Farbspektren zu transmittieren, wobei die drei oder mehr zweiten Farbspektren von den drei oder mehr ersten Farbspektren verschieden sein können.
Der Speicher kann ferner Anweisungen speichern, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor dazu veranlassen: das Stereo-PolarisationsKamerasystem zu steuern, um multispektrale Stereo-Polarisations-Bilddaten in den ersten Farbspektren und in den zweiten Farbspektren aufzunehmen; und erste Tensoren in Polarisationsdarstellungsräumen aus den multispektralen Stereo-Polarisations-Bilddaten zu extrahieren.
Das zugrundeliegende Sensorsystem kann ein aktives Abtastsystem mit einem aktiven Emitter und einem Detektor umfassen. Das aktive Abtastsystem kann ein Radarsystem umfassen. Das aktive Abtastsystem kann ein Lidar-System umfassen. Das aktive Abtastsystem kann ein aktives Stereo-Tiefenkamerasystem enthalten.
Das multimodale Sensorsystem kann an einem Fahrzeug montiert werden.
Der Speicher kann ferner Anweisungen speichern, die, wenn sie von dem Prozessor des Verarbeitungssystems ausgeführt werden, den Prozessor veranlassen: eine spärliche Punktwolke basierend auf der Ausgabe des zugrundeliegenden Sensorsystems zu berechnen; Oberflächennormalen aus den Polarisationsrohbildern zu berechnen; eine 3-D-Oberfläche basierend auf den Oberflächennormalen zu berechnen; und die 3-D-Oberfläche basierend auf der spärlichen Punktwolke zu korrigieren, um ein 3-D-Modell der Szene zu berechnen.
Der Speicher kann ferner Anweisungen speichern, die, wenn sie von dem Prozessor des Verarbeitungssystems ausgeführt werden, den Prozessor veranlassen: eine Segmentierungskarte basierend auf den ersten Tensoren in den Polarisationsdarstellungsräumen zu berechnen, wobei die Segmentierungskarte eine oder mehrere Regionen von Interesse in der Szene identifiziert; den aktiven Emitter zu steuern, um Strahlen in Richtung der einen oder mehreren Regionen von Interesse zu emittieren; und eine Reflexion der von dem aktiven Emitter emittierten Strahlen unter Verwendung des Detektors des aktiven Abtastsystems zu erfassen.
Der Speicher kann ferner Anweisungen speichern, die den Prozessor veranlassen, ein neuronales gefaltetes Netz zu implementieren, das trainiert wurde, um eine Segmentierungskarte basierend auf den ersten Tensoren zu berechnen.
Das zugrunde liegende Sensorsystem kann ein Farbkamerasystem umfassen.
Das Farbkamerasystem kann eine digitale einäugige Spiegelreflexkamera oder eine Videokamera sein.
Die Ausgabe der Farbkamera des zugrundeliegenden Sensorsystems kann ein Farbbild enthalten, und der Speicher kann ferner Anweisungen speichern, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: eine Vielzahl von Oberflächennormalen der Szene basierend auf den ersten Tensoren zu berechnen; und die berechneten Oberflächennormalen der Szene in einer gleichen Datei wie das von der Farbkamera erfasste Farbbild zu speichern.
Gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst ein Polarisationskamerasystem: eine Polarisationskamera, die konfiguriert ist, um Polarisationsrohbilder einer Szene zu erfassen, wobei die Polarisationsrohbilder einer Vielzahl von verschiedenen Polarisationszuständen entsprechen; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, wobei das Verarbeitungssystem konfiguriert ist, um die Polarisationskamera zu steuern, wobei der Speicher Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: die Polarisationskamera zu steuern, um eine Vielzahl von Polarisationsrohbildern zu erfassen; und ein Bild mit hohem Dynamikbereich (HDR) basierend auf den Polarisationsrohbildern zu synthetisieren.
Jedes der Polarisationsrohbilder kann basierend auf einem gleichen Satz von Belichtungseinstellungen erfasst werden, mindestens eines der Polarisationsrohbilder kann gesättigte Pixel in einem Teil des Polarisationsrohbildes aufgrund von spiegelnder Reflexion von einer Oberfläche in der Szene enthalten, wobei der Speicher weiterhin Anweisungen speichern kann, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das HDR-Bild ohne gesättigte Pixel in einem Bereich des HDR-Bildes, der dem Bereich des Polarisationsrohbildes entspricht, basierend auf Daten von entsprechenden Bereichen anderer der Polarisationsrohbilder zu synthetisieren.
Figurenliste
Die beigefügten Zeichnungen veranschaulichen zusammen mit der Beschreibung beispielhafte Ausführungsformen der vorliegenden Erfindung und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der vorliegenden Erfindung.

1A ist ein schematisches Blockdiagramm eines Bildgebungssystems, das mit einem Polarisationskamerasystem gemäß Ausführungsformen der vorliegenden Offenbarung erweitert ist.
1B ist ein schematisches Blockdiagramm eines Systems mit einer Polarisationskamera gemäß einer Ausführungsform der vorliegenden Erfindung.
1C ist eine perspektivische Ansicht eines Polarisationskameramoduls gemäß einer Ausführungsform der vorliegenden Offenbarung.
1D ist eine Querschnittsansicht eines Teils eines Polarisationskameramoduls gemäß einer Ausführungsform der vorliegenden Offenbarung.
1E ist eine perspektivische Ansicht eines Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
2A, 2B, 2C und 2D stellen den Hintergrund zur Veranschaulichung der Segmentierungskarten bereit, die durch einen vergleichenden Ansatz und semantische Segmentierung oder Instanzsegmentierung basierend auf Polarisationsrohbildern gemäß Aspekten von Ausführungsformen der vorliegenden Offenbarung berechnet wurden.
3 ist eine übersichtliche Darstellung der Interaktion von Licht mit transparenten und nicht transparenten (z. B. diffusen und/oder reflektierenden) Objekten.
4 ist ein Flussdiagramm eines Verfahrens zum Schätzen von Polarisationsmerkmalen bei Parallaxenmehrdeutigkeit gemäß einer Ausführungsform der vorliegenden Offenbarung.
5A ist eine perspektivische Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
5B ist eine Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung entlang einer Richtung parallel zur optischen Achse des multispektralen Stereo-Polarisationskamerasystems.
5C zeigt geschnittene Seitenansichten von beispielhaften einzelnen Polarisationskameras eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
6A ist ein Blockdiagramm der Verarbeitungsschaltung 100 zum Berechnen von Oberflächencharakterisierungsausgaben basierend auf Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung.
6B ist ein Flussdiagramm eines Verfahrens 600 zum Durchführen einer Oberflächencharakterisierung basierend auf Eingangsbildern zum Berechnen einer Oberflächencharakterisierungsausgabe gemäß einer Ausführungsform der vorliegenden Erfindung.
7A ist ein Blockdiagramm eines Merkmalsextraktors 700 gemäß einer Ausführungsform der vorliegenden Erfindung.
7B ist ein Flussdiagramm, das ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung zur Extraktion von Merkmalen aus Polarisationsrohbildern darstellt.
8A ist eine Illustration einer griechischen Büstenstatue, die von einer beispielhaften Implementierung der in dieser Erfindung vorgeschlagenen Bildgebungseinrichtung gescannt wird.
8B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion mittels Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
9A ist eine Illustration einer flachen Oberfläche mit dem Brechungsindex n, die von einer beispielhaften Implementierung der Bildgebungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung abgetastet wird.
9B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion von flachen oder geometrisch einfachen Oberflächen unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
10A ist ein schematisches Diagramm eines Systems, in dem ein aktives Abtastsystem mit einem Polarisationskamerasystem gemäß einer Ausführungsform der vorliegenden Offenbarung erweitert ist.
10B ist ein Flussdiagramm, das ein Verfahren zum Verschmelzen des von einem aktiven 3D-Scansystem erfassten 3D-Modells mit den von einer Polarisationskamera erfassten Oberflächennormalen gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
10C ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Erweitern eines aktiven Erfassungssystems unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
11 ist ein Flussdiagramm, das ein Verfahren zum Synthetisieren eines HDR (High Dynamic Range)-Bildes aus Polarisationsrohbildern darstellt.

DETAILLIERTE BESCHREIBUNG
In der folgenden detaillierten Beschreibung werden nur bestimmte beispielhafte Ausführungsformen der vorliegenden Erfindung zur Veranschaulichung gezeigt und beschrieben. Wie die Fachleute auf dem Gebiet erkennen, kann die Erfindung in vielen verschiedenen Formen ausgeführt werden und sollte nicht als auf die hier dargelegten Ausführungsformen beschränkt ausgelegt werden.
Optisch schwierige Objekte, wie z. B. transparente Objekte, kommen in vielen realen Anwendungen von computerbasierten Seh- oder maschinellen Sehsystemen vor, einschließlich der Automatisierung und Analyse für die Fertigungs-, Biowissenschafts- und Automobilbranche. In der Fertigung können computerbasierte Sehsysteme beispielsweise eingesetzt werden, um das Sortieren, Auswählen und Platzieren von Teilen, die Überprüfung der Platzierung von Komponenten während der Fertigung sowie die Endkontrolle und Fehlererkennung zu automatisieren. In den Biowissenschaften können computerbasierte Sehsysteme beispielsweise eingesetzt werden, um die Messung von Reagenzien, die Vorbereitung von Proben, das Ablesen von Messgeräten, die Charakterisierung von Proben sowie die Entnahme und Platzierung von Probenbehältern zu automatisieren. Weitere Beispiele aus der Automobilindustrie umfassen das Erkennen transparenter Objekte in Straßenszenen zum Unterstützen von Fahrern oder zum Betrieb selbstfahrender Fahrzeuge. Weitere Beispiele sind Hilfstechnologien wie selbstfahrende Rollstühle, die in der Lage sind, Glastüren und andere transparente Barrieren zu erkennen, und Geräte zur Unterstützung von Menschen mit Sehbehinderung, die in der Lage sind, transparente Trinkgläser zu erkennen und zwischen echten Objekten und ausgedruckten Fälschungen zu unterscheiden.
Im Gegensatz zu undurchsichtigen Objekten haben transparente Objekte keine eigene Textur (z. B. Oberflächenfarbinformationen, wie der Begriff in der Computergrafik verwendet wird, z. B. beim „Texture Mapping“). Infolgedessen können Vergleichssysteme transparente Objekte in Szenen, die mit Standard-Bildgebungssystemen aufgenommen wurden (z. B. Kameras, die monochrome Intensitätsbilder oder Farbintensitätsbilder wie Rot-, Grün- und Blaubilder oder RGB-Bilder aufnehmen), im Allgemeinen nicht korrekt identifizieren. Dies kann darauf zurückzuführen sein, dass die transparenten Objekte keine einheitliche Textur (z. B. Oberflächenfarbe) aufweisen, an der sich die Algorithmen orientieren oder deren Erkennung sie erlernen können (z. B. während des Trainingsprozesses eines maschinellen Lernalgorithmus). Ähnliche Probleme können bei teilweise transparenten oder durchscheinenden Objekten sowie bei einigen Arten von reflektierenden Objekten (z. B. glänzendes Metall) und sehr dunklen Objekten (z. B. mattschwarze Objekte) auftreten.
Dementsprechend beziehen sich Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die Verwendung der Polarisationsbildgebung, um zusätzliche Informationen für erweiterte Sensorsysteme bereitzustellen, um transparente Objekte und andere optisch anspruchsvolle Objekte und Merkmale in Szenen zu erkennen. Darüber hinaus gelten Aspekte der Ausführungsformen der vorliegenden Offenbarung auch für die Erkennung anderer optisch schwieriger Objekte wie transparente, durchscheinende und reflektierende Objekte sowie dunkle Objekte.
Wie hier verwendet, bezieht sich der Begriff „optisch anspruchsvoll“ auf Objekte aus Materialien, die eine oder mehrere der folgenden vier Eigenschaften in einem ausreichenden Schwellenwert oder Grad erfüllen: nicht lambertianisch (z. B. nicht matt); durchscheinend; mehrweginduzierend; und/oder nicht reflektierend. Unter bestimmten Umständen kann ein Objekt, das nur eines der vier Merkmale aufweist, optisch schwer zu erkennen sein. Zusätzlich können Objekte oder Materialien mehrere Merkmale gleichzeitig aufweisen. Ein lichtdurchlässiges Objekt kann beispielsweise eine Oberflächenreflexion und eine Hintergrundreflexion aufweisen, so dass es sowohl wegen der Lichtdurchlässigkeit als auch wegen des Mehrwegeffekts eine Herausforderung darstellt. Unter bestimmten Umständen kann ein Objekt eines oder mehrere der vier oben genannten Merkmale aufweisen, aber dennoch optisch nicht schwierig zu erkennen sein, weil diese Bedingungen nicht in einem Ausmaß auftreten, das für ein vergleichendes computerbasiertes Sehsystem ein Problem darstellen würde. Ein Objekt kann zum Beispiel durchscheinend sein, aber dennoch genügend Oberflächenstruktur aufweisen, um erkannt und von anderen Objekten in einer Szene unterschieden werden zu können. Als weiteres Beispiel muss eine Oberfläche ausreichend nicht-lambertianisch sein, um andere Bildverarbeitungssysteme vor Probleme zu stellen. In einigen Ausführungsformen wird der Grad oder das Ausmaß, in dem ein Objekt optisch anspruchsvoll ist, anhand der Halbwertsbreite (FWHM) der Spiegelkeule der bidirektionalen Reflexionsverteilungsfunktion (BRDF) des Objekts bestimmt. Liegt diese FWHM unter einem Schwellenwert, gilt das Material als optisch anspruchsvoll.
1A ist ein schematisches Blockdiagramm eines Bildgebungssystems, das mit einem Polarisationskamerasystem gemäß den Ausführungsformen der vorliegenden Offenbarung erweitert ist. 1B ist ein schematisches Blockdiagramm eines Systems mit einer Polarisationskamera gemäß einer Ausführungsform der vorliegenden Erfindung. In der in 1A und 1B gezeigten Anordnung enthält eine Szene 1 transparente Objekte 2 (z. B. eine Kugel wie eine Glasmurmel, einen Zylinder wie ein Trinkglas oder einen Becher und eine Ebene wie eine Scheibe aus transparentem Acryl), die vor undurchsichtigen matten Objekten 3 (z. B. einem Baseball und einem Tennisball) angeordnet sind. Eine Polarisationskamera 10 hat ein Objektiv 12 mit einem Sichtfeld, wobei das Objektiv 12 und die Kamera 10 so ausgerichtet sind, dass das Sichtfeld die Szene 1 umfasst. Das Objektiv 12 ist konfiguriert, um Licht (z. B. fokussiertes Licht) von der Szene 1 auf ein lichtempfindliches Medium wie einen Bildsensor 14 (z. B. einen CMOS-Bildsensor (Complementary Metal Oxide Semiconductor) oder einen CCD-Bildsensor (Charge-Coupled Device)) zu richten. Wie in 1A gezeigt, kann die Polarisationskamera 10 verwendet werden, um die Sensordaten zu ergänzen, die von einem anderen Bildgebungssystem 11 erfasst werden.
Die Polarisationskamera 10 umfasst ferner einen Polarisator oder einen Polarisationsfilter oder eine Polarisationsmaske 16, die im optischen Pfad zwischen der Szene 1 und dem Bildsensor 14 angeordnet ist. Gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung ist der Polarisator oder die Polarisationsmaske 16 konfiguriert, um die Polarisationskamera 10 zu befähigen, Bilder der Szene 1 zu erfassen, wobei der Polarisator in verschiedenen spezifizierten Winkeln eingestellt ist (z. B. bei 45°-Drehungen oder bei 60°-Drehungen oder bei ungleichmäßig beabstandeten Drehungen).
Als ein Beispiel zeigt 1B eine Ausführungsform, bei der die Polarisationsmaske 16 ein Polarisationsmosaik ist, das mit dem Pixelraster des Bildsensors 14 in einer Weise ausgerichtet ist, die einem Rot-Grün-Blau (RGB)-Farbfilter (z. B. einem Bayer-Filter) einer Farbkamera ähnelt. Ähnlich wie ein Farbfilter-Mosaik filtert eintreffendes Licht basierend auf der Wellenlänge, so dass jedes Pixel im Bildsensor 14 Licht in einem bestimmten Bereich des Spektrums (z. B., Rot, Grün oder Blau) entsprechend dem Muster der Farbfilter des Mosaiks empfängt, filtert eine Polarisationsmaske 16, die ein Polarisationsmosaik verwendet, Licht basierend auf der linearen Polarisation, so dass verschiedene Pixel Licht in verschiedenen Winkeln der linearen Polarisation empfangen (z. B. bei 0°, 45°, 90° und 135° oder bei 0°, 60° und 120°). Dementsprechend kann die Polarisationskamera 10 mit einer Polarisationsmaske 16, wie sie in 1B dargestellt ist, gleichzeitig Licht mit vier verschiedenen linearen Polarisationen erfassen. Ein Beispiel für eine Polarisationskamera ist die Blackfly® S Polarisationskamera der Firma FLIR® Systems, Inc. aus Wilsonville, Oregon.
Während sich die obige Beschreibung auf einige mögliche Implementierungen einer Polarisationskamera mit einem Polarisationsmosaik bezieht, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und umfassen andere Arten von Polarisationskameras, die in der Lage sind, Bilder mit mehreren verschiedenen Polarisationen zu erfassen. Beispielsweise kann die Polarisationsmaske 16 weniger als vier Polarisationen oder mehr als vier verschiedene Polarisationen aufweisen, oder sie kann Polarisationen in anderen Winkeln als den oben genannten aufweisen (z. B. in Polarisationswinkeln von: 0°, 60° und 120° oder bei Polarisationswinkeln von 0°, 30°, 60°, 90°, 120° und 150°). Als weiteres Beispiel kann die Polarisationsmaske 16 unter Verwendung einer elektronisch gesteuerten Polarisationsmaske, wie z. B. einem elektrooptischen Modulator (der z. B. eine Flüssigkristallschicht enthalten kann), implementiert werden, wobei die Polarisationswinkel der einzelnen Pixel der Maske unabhängig voneinander gesteuert werden können, so dass verschiedene Teile des Bildsensors 14 Licht mit unterschiedlichen Polarisationen empfangen. Als weiteres Beispiel kann der elektrooptische Modulator konfiguriert sein, um Licht verschiedener linearer Polarisationen zu transmittieren, wenn verschiedene Bilder aufgenommen werden, z. B. so dass die Kamera Bilder aufnimmt, bei denen die Gesamtheit der Polarisationsmaske nacheinander auf verschiedene lineare Polarisationswinkel eingestellt ist (z. B. nacheinander eingestellt auf: 0 Grad; 45 Grad; 90 Grad; oder 135 Grad). Als weiteres Beispiel kann die Polarisationsmaske 16 einen Polarisationsfilter enthalten, der sich mechanisch dreht, so dass unterschiedliche Polarisationsrohbilder von der Polarisationskamera 10 erfasst werden, wenn der Polarisationsfilter mechanisch in Bezug auf das Objektiv 12 gedreht wird, um Licht mit unterschiedlichen Polarisationswinkeln zum Bildsensor 14 zu transmittieren. Während sich die obigen Beispiele auf die Verwendung eines linearen Polarisationsfilters beziehen, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und umfassen auch die Verwendung von Polarisationskameras, die zirkulare Polarisationsfilter enthalten (z. B. lineare Polarisationsfilter mit einer Viertelwellenplatte). Dementsprechend verwendet eine Polarisationskamera in verschiedenen Ausführungsformen der vorliegenden Offenbarung einen Polarisationsfilter, um mehrere Polarisationsrohbilder bei verschiedenen Polarisationen des Lichts zu erfassen, wie z. B. verschiedene lineare Polarisationswinkel und verschiedene zirkulare Polarisationen (z. B. die Händigkeit).
Folglich erfasst die Polarisationskamera 10 mehrere Eingangsbilder 18 (oder Polarisationsrohbilder) der Szene einschließlich der zu prüfenden Oberfläche 2 des zu prüfenden Objekts 1. In einigen Ausführungsformen entspricht jedes der Polarisationsrohbilder 18 einem Bild, das hinter einem Polarisationsfilter oder Polarisator unter einem anderen Polarisationswinkel ϕ_pol (z. B. 0 Grad, 45 Grad, 90 Grad oder 135 Grad) aufgenommen wurde. Jedes der Polarisations-Rohbilder 18 wird im Wesentlichen aus der gleichen Position in Bezug auf die Szene 1 aufgenommen (z. B. werden die Bilder, die mit dem Polarisationsfilter bei 0 Grad, 45 Grad, 90 Grad oder 135 Grad aufgenommen werden, alle von derselben Polarisationskamera 10 aufgenommen, die sich am gleichen Ort und in der gleichen Ausrichtung befindet), im Gegensatz zur Aufnahme der Polarisationsrohbilder von unterschiedlichen Orten und Ausrichtungen in Bezug auf die Szene. Die Polarisationskamera 10 kann konfiguriert sein, um Licht in einer Vielzahl verschiedener Bereiche des elektromagnetischen Spektrums zu erfassen, wie beispielsweise den für den Menschen sichtbaren Bereich des elektromagnetischen Spektrums, rote, grüne und blaue Bereiche des für den Menschen sichtbaren Spektrums sowie unsichtbare Bereiche des elektromagnetischen Spektrums wie Infrarot und Ultraviolett.
In einigen Ausführungsformen der vorliegenden Offenbarung, wie z. B. in einigen der oben beschriebenen Ausführungsformen, werden die verschiedenen Polarisationsrohbilder von derselben Polarisationskamera 10 erfasst und können daher von im Wesentlichen derselben Position (z. B. Position und Ausrichtung) in Bezug auf die Szene 1 erfasst werden. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt. Beispielsweise kann sich eine Polarisationskamera 10 in Bezug auf die Szene 1 zwischen verschiedenen Polarisationsrohbildern bewegen (z. B. wenn verschiedene Polarisationsrohbilder, die verschiedenen Polarisationswinkeln entsprechen, zu verschiedenen Zeiten aufgenommen werden, wie im Fall eines mechanisch rotierenden Polarisationsfilters), entweder weil sich die Polarisationskamera 10 bewegt hat oder weil sich die Objekte 3 bewegt haben (z. B. wenn sich das Objekt auf einem sich bewegenden Fördersystem befindet). In einigen Ausführungsformen nehmen verschiedene Polarisationskameras Bilder des Objekts zu verschiedenen Zeitpunkten auf, jedoch aus im Wesentlichen derselben Position in Bezug auf das Objekt (z. B. verschiedene Kameras, die Bilder derselben Oberfläche des Objekts an verschiedenen Punkten des Fördersystems aufnehmen). Dementsprechend werden in einigen Ausführungsformen der vorliegenden Offenbarung verschiedene Polarisationsrohbilder mit der Polarisationskamera 10 in verschiedenen Posen oder der gleichen relativen Pose in Bezug auf die Objekte 2 und 3, die in der Szene 1 abgebildet werden, aufgenommen.
Die Polarisationsrohbilder 18 werden einer Verarbeitungsschaltung 100 zugeführt, die im Folgenden näher beschrieben wird und die eine Verarbeitungsausgabe 20 basierend auf den Polarisationsrohbildern 18 berechnet. In der in 1B gezeigten Ausführungsform ist die Verarbeitungsausgabe 20 eine Instanzsegmentierungskarte, die Instanzen verschiedener Objekte 2 und 3 identifiziert, die in der Szene 1 vorhanden sind, aber Ausführungsformen der vorliegenden Offenbarung sind darauf nicht beschränkt. Spezifische Beispiele für Verarbeitungsausgaben 20, die basierend auf Polarisationsrohbildern berechnet werden, werden im Folgenden ausführlicher beschrieben. In der in 1A dargestellten Ausführungsform ist die Verarbeitungsschaltung 100 konfiguriert, um sowohl die Polarisationskamera 10 als auch das zusätzliche Bildgebungssystem 11 zu steuern.
1C ist eine perspektivische Ansicht eines Polarisationskameramoduls gemäß einer Ausführungsform der vorliegenden Offenbarung. 1D ist eine Querschnittsansicht eines Teils eines Polarisationskameramoduls gemäß einer Ausführungsform der vorliegenden Offenbarung. Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf ein Polarisationskameramodul, bei dem mehrere Polarisationskameras (z. B. mehrere Kameras, bei denen jede Kamera einen Polarisationsfilter in ihrem optischen Pfad hat) nebeneinander und in einem Array angeordnet sind und gesteuert werden können, um Bilder in einer Gruppe aufzunehmen (z. B. kann ein einziger Auslöser verwendet werden, um alle Kameras in dem System zu steuern, um Bilder gleichzeitig oder im Wesentlichen gleichzeitig aufzunehmen). Die Polarisationsfilter in den optischen Pfaden der einzelnen Kameras im Array bewirken, dass unterschiedlich polarisiertes Licht die Bildsensoren der Kameras erreicht. Die einzelnen Polarisationskameras im Kamerasystem haben optische Achsen, die im Wesentlichen senkrecht zueinander stehen, nebeneinander angeordnet sind und im Wesentlichen das gleiche Sichtfeld haben, so dass die Kameras im Kamerasystem im Wesentlichen die gleiche Ansicht einer Szene 1 erfassen, jedoch mit unterschiedlichen Polarisationen. In einigen Ausführungsformen sind die einzelnen Polarisationskameras so angeordnet, dass die Parallaxenverschiebung zwischen den Kameras im Wesentlichen vernachlässigbar ist, basierend auf dem geplanten Betriebsabstand des Kamerasystems zu Objekten in der Szene, wobei größere Abstände zwischen den Kameras toleriert werden können, wenn der geplante Betriebsabstand groß ist. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Polarisationskameramodul mindestens drei Polarisationskameras, von denen jede einen Polarisationsfilter mit einem anderen Polarisationszustand aufweist (z. B. jeweils mit einem anderen Winkel der linearen Polarisation, wie 0°, 60° und 120°).
In der in 1C gezeigten Ausführungsform des Polarisationskameramoduls 10' sind beispielsweise vier Kameras 10A', 10B', 10C' und 10D' in einem 2×2-Raster angeordnet, um ein Kamera-Array zu bilden, wobei die vier Kameras im Wesentlichen parallele optische Achsen haben. Die vier Kameras können gemeinsam gesteuert werden, so dass sie Bilder im Wesentlichen gleichzeitig und mit den gleichen Belichtungseinstellungen aufnehmen (z. B. gleiche Blende, Belichtungsdauer und Verstärkung oder „ISO“-Einstellungen). In verschiedenen Ausführungsformen der vorliegenden Offenbarung enthält jede der separaten Kameras 10A', 10B', 10C' und 10D' einen anderen Polarisationsfilter.
1D zeigt eine Querschnittsansicht von zwei der in 1C gezeigten Polarisationskameras 10A' und 10B'. Wie in 1D zu sehen ist, umfasst jedes Polarisationskamerasystem (10A' und 10B') ein entsprechendes Objektiv, einen entsprechenden Bildsensor und einen entsprechenden Polarisationsfilter. Insbesondere umfasst die Polarisationskamera 10A' das Objektiv 12A', den Bildsensor 14A' und den Polarisationsfilter 16A'. Ebenso umfasst die Polarisationskamera 10B' das Objektiv 12B', den Bildsensor 14B' und den Polarisationsfilter 16B'. In einigen Ausführungsformen der vorliegenden Offenbarung sind die Bildsensoren der vier Kameras 10A', 10B', 10C' und 10D' monolithisch auf demselben Halbleiterchip ausgebildet, und die vier Kameras befinden sich in einem gemeinsamen Gehäuse mit separaten Öffnungen für die den verschiedenen Bildsensoren entsprechenden Objektive 12. In ähnlicher Weise können die Polarisationsfilter 16 verschiedenen Teilen einer einzigen physikalischen Schicht entsprechen, die verschiedene Polarisationsfilter (z. B. verschiedene lineare Polarisationswinkel) in verschiedenen Bereichen der Schicht (entsprechend den verschiedenen Kameras) aufweist.
In einigen Ausführungsformen der vorliegenden Offenbarung hat jede der Kameras in dem Kamerasystem 10' einen entsprechenden Polarisationsfilter, der so konfiguriert ist, dass er unterschiedlich polarisiertes Licht filtert. Zum Beispiel in der Ausführungsform, die in 1C und 1D dargestellt ist, kann der Polarisationsfilter 16A' der Kamera 10A' ein linearer Polarisationsfilter sein, der in einem Winkel von 0° ausgerichtet ist, der Polarisationsfilter 16B' der Kamera 10B' kann ein linearer Polarisationsfilter sein, der in einem Winkel von 45° ausgerichtet ist, Polarisationsfilter 16C' der Kamera 10C' kann ein linearer Polarisationsfilter sein, der in einem Winkel von 90° ausgerichtet ist, und der Polarisationsfilter 16D' der Kamera 10D' kann ein linearer Polarisationsfilter sein, der in einem Winkel von 135° ausgerichtet ist. In einigen Ausführungsformen können eine oder mehrere der Kameras einen Zirkularpolarisator umfassen. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Kamerasystem 10' Polarisationsfilter, die so konfiguriert sind, dass sie Licht in mindestens zwei verschiedenen Polarisationen filtern. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Kamerasystem 10' Polarisationsfilter, die konfiguriert sind, um Licht in mindestens drei verschiedenen Polarisationen zu filtern. In der in 1D gezeigten Ausführungsform befindet sich der Polarisationsfilter 16 hinter dem Objektiv 12 (z. B. zwischen dem Objektiv 12 und dem Bildsensor 14), doch sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen befindet sich der Polarisationsfilter vor dem Objektiv 12.
In einigen Ausführungsformen werden die verschiedenen Einzelkameras des Kamera-Arrays miteinander abgeglichen, indem ihre relativen Posen (oder relativen Positionen und Ausrichtungen) durch die Aufnahme mehrerer Bilder eines Kalibrierungsziels, wie z. B. eines Schachbrettmusters, eines ArUco-Targets, (siehe z. B. Garrido-Jurado, Sergio, et al. „Automatic generation and detection of highly reliable fiducial markers under occlusion.“ Pattern Recognition 47.6 (2014): 2280-2292.) oder eines ChArUco-Targets (siehe z. B., An, Gwon Hwan, et al. „Charuco board-based omnidirectional camera calibration method.“ Electronics 7.12 (2018): 421.) bestimmt werden. Insbesondere kann der Prozess der Kalibrierung der Ziele die Berechnung von intrinsischen Matrizen umfassen, die die internen Parameter jeder Kamera charakterisieren (z. B. Matrizen, die die Brennweite, das Bildsensorformat und den Hauptpunkt der Kamera charakterisieren), sowie von extrinsischen Matrizen, die die Lage jeder Kamera in Bezug auf die Weltkoordinaten charakterisieren (z. B. Matrizen zur Durchführung von Transformationen zwischen dem Kamerakoordinatenraum und dem Welt- oder Szenenkoordinatenraum).
Obwohl in 1D nicht dargestellt, kann in einigen Ausführungsformen der vorliegenden Offenbarung jede Polarisationskamera auch einen Farbfilter mit einem Mosaikmuster, wie z. B. einen Bayer-Filter, umfassen, so dass einzelne Pixel der Bildsensoren 14 Licht empfangen, das z. B. roten (R), grünen (G) und blauen (B) Bereichen des Spektrums entspricht, so dass jede Kamera Licht in einem sichtbaren Bereich des elektromagnetischen Spektrums in Übereinstimmung mit einem Mosaikmuster erfasst. In einigen Ausführungsformen wird ein Demosaikierungsprozess verwendet, um separate rote, grüne und blaue Kanäle aus den Rohdaten zu berechnen. In einigen Ausführungsformen der vorliegenden Offenbarung kann jede Polarisationskamera ohne Farbfilter oder mit Filtern verwendet werden, die verschiedene andere Bereiche des elektromagnetischen Spektrums, wie z. B. Infrarotlicht, transmittieren oder selektiv transmittieren.
1E ist eine perspektivische Ansicht eines Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung. In einigen Anwendungen werden Stereo-Vision-Techniken verwendet, um mehrere Bilder einer Szene aus verschiedenen Perspektiven zu erfassen. Wie oben erwähnt, werden in einigen Ausführungsformen der vorliegenden Offenbarung einzelne Polarisationskameras innerhalb eines Kamerasystems so nebeneinander angeordnet, dass Parallaxenverschiebungen zwischen den Kameras aufgrund des vorgesehenen Betriebsabstands des Kamerasystems zu den abzubildenden Objekten im Wesentlichen vernachlässigbar sind. Bei Stereo-Polarisationskamerasystemen sind einige der einzelnen Polarisationskameras so voneinander beabstandet, dass Parallaxenverschiebungen signifikant sind und für Objekte innerhalb des vorgesehenen Betriebsabstands des Kamerasystems erkannt werden können. Dies ermöglicht es, die Entfernungen zu verschiedenen Oberflächen in einer Szene (die „Tiefe“) in Abhängigkeit von der Größe einer Parallaxenverschiebung zu ermitteln (z. B. zeigen größere Parallaxenverschiebungen in den Positionen entsprechender Bereiche der Bilder an, dass sich diese entsprechenden Teile auf Oberflächen befinden, die näher am Kamerasystem liegen, und kleinere Parallaxenverschiebungen zeigen an, dass sich die entsprechenden Teile auf Oberflächen befinden, die weiter vom Kamerasystem entfernt sind). Diese Techniken zur Berechnung der Tiefe auf der Grundlage von Parallaxenverschiebungen werden manchmal als Tiefe aus Stereo bezeichnet
Dementsprechend zeigt 1E ein Stereo-Polarisationskamerasystem 10" mit einem ersten Polarisationskameramodul 10-1" und einem zweiten Polarisationskameramodul 10-2", die im Wesentlichen parallele optische Achsen haben und entlang einer Grundlinie 10-B beabstandet sind. In der in 1E gezeigten Ausführungsform ist das erste Polarisationskameramodul 10-1" und umfasst die Polarisationskameras 10A", 10B", 10C" und 10D", die in einer 2×2-Anordnung ähnlich der in 1C und 1D gezeigten angeordnet sind. Ebenso ist das zweite Polarisationskameramodul 10-2" und umfasst die Polarisationskameras 10E", 10F", 10G" und 10H" in einem 2×2-Array angeordnet, und das gesamte Stereo-Polarisationskameramodul 10" umfasst acht einzelne Polarisationskameras (z. B., acht separate Bildsensoren hinter acht separaten Objektiven). In einigen Ausführungsformen der vorliegenden Offenbarung sind die entsprechenden Polarisationskameras der Polarisationskameramodule 10-1" und 10-2" konfiguriert, um Polarisationsrohbilder mit im Wesentlichen denselben Polarisationen zu erfassen. Zum Beispiel können die Kameras 10A" und 10E" beide lineare Polarisationsfilter mit dem gleichen Winkel von 0° haben, die Kameras 10B" und 10F" können beide lineare Polarisationsfilter mit dem gleichen Winkel von 45° haben, die Kameras 10C" und 10G" können beide lineare Polarisationsfilter mit einem gleichen Winkel von 90° haben, und die Kameras 10D" und 10H" können beide lineare Polarisationsfilter mit einem gleichen Winkel von 135° haben.
Ausführungsformen der vorliegenden Offenbarung sind nicht auf die in 1E gezeigte besondere Ausführungsform beschränkt. In einigen Ausführungsformen umfasst ein Stereo-Polarisationskamerasystem drei oder mehr Polarisationskameramodule, wobei jedes Polarisationskameramodul mehrere Polarisationskameras umfasst, die in einem Array angeordnet und unter Verwendung von Polarisationsfiltern so konfiguriert sind, dass sie Polarisationsrohbilder unterschiedlicher Polarisationen erfassen. Wie oben erwähnt, können in einigen Ausführungsformen der vorliegenden Offenbarung eine oder mehrere der einzelnen Polarisationskameras eines Polarisationskameramoduls einen Farbfilter enthalten, und als solche können eine oder mehrere der Polarisationskameras in einem Stereo-Polarisationskameramodul auch einen Farbfilter enthalten.
Ähnlich wie bei der Kalibrierung oder Registrierung von Kameras innerhalb eines Kameramoduls können die verschiedenen Polarisationskameramodule eines Stereo-Polarisationskamerasystems auch miteinander abgeglichen werden, indem mehrere Bilder von Kalibrierungszielen aufgenommen werden und intrinsische und extrinsische Matrizen für die verschiedenen Kameramodule berechnet werden.
Während die in 1E gezeigte Ausführungsform eines Stereo-Polarisationskamerasystems zwei Polarisationskameramodule mit jeweils vier Polarisationskameras umfasst, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt.
Beispielsweise umfasst in einigen Ausführungsformen der vorliegenden Offenbarung ein Stereo-Polarisationskamerasystem eine Vielzahl von Polarisationskameramodulen, wobei jedes der Polarisationskameramodule drei oder mehr einzelne Polarisationskameras umfasst, wobei jede der einzelnen Polarisationskameras eines Polarisationskameramoduls Polarisationsfilter mit unterschiedlichen Polarisationszuständen (z. B. unterschiedliche Winkel der linearen Polarisation) aufweist.
In einigen Ausführungsformen der vorliegenden Offenbarung umfasst ein Stereo-Polarisationskamerasystem eine Vielzahl von Polarisationskameramodulen, die entlang einer oder mehrerer Grundlinien voneinander beabstandet sind, wobei jedes der Polarisationskameramodule eine einzelne Polarisationskamera umfasst, die konfiguriert ist, um Polarisationsrohbilder mit unterschiedlichen Polarisationen zu erfassen, in Übereinstimmung mit Ausführungsformen wie der oben in Bezug auf 1B beschriebenen. In einigen Ausführungsformen der vorliegenden Offenbarung kann die Polarisationskamera jedes Moduls beispielsweise eine Polarisationsmaske enthalten (z. B. ähnlich der in 1B gezeigten Polarisationsmaske), so dass jede einzelne Polarisationskamera Bilder erfasst, bei denen die Pixel Licht gemäß einem Mosaikmuster verschiedener Polarisationsfilter (z. B. Polarisationsfilter mit unterschiedlichen Winkeln) erfassen. In der in 1B dargestellten Ausführungsform enthält beispielsweise jeder 2×2-Block von Pixeln der Polarisationsmaske lineare Polarisatoren mit linearen Polarisationswinkeln von 0°, 45°, 90° und 135°. In anderen Ausführungsformen der vorliegenden Offenbarung können die einzelnen Polarisationskameras mechanisch oder elektronisch steuerbare Polarisationsfilter enthalten, wie oben in Bezug auf 1B beschrieben, damit die Polarisationskameras Polarisationsrohbilder verschiedener Polarisationen erfassen können.
Während die obigen Ausführungsformen spezifizieren, dass die einzelnen Polarisationskameramodule oder die Polarisationskameras, die entlang einer oder mehrerer Grundlinien in dem Stereo-Polarisationskamerasystem voneinander beabstandet sind, im Wesentlichen parallele optische Achsen haben, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. Beispielsweise sind in einigen Ausführungsformen der vorliegenden Offenbarung die optischen Achsen der Polarisationskameramodule zueinander abgewinkelt, so dass die Polarisationskameramodule unterschiedlich abgewinkelte Ansichten von Objekten im vorgesehenen Arbeitsabstand liefern (z. B. dort, wo sich die optischen Achsen in der Nähe des vorgesehenen Arbeitsabstands vom Stereokamerasystem kreuzen oder schneiden).
Gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung wird die Verarbeitungsschaltung 100 unter Verwendung einer oder mehrerer elektronischer Schaltungen implementiert, die konfiguriert sind, um verschiedene Operationen durchzuführen, wie nachstehend ausführlicher beschrieben. Zu den Arten von elektronischen Schaltungen können eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Beschleuniger für künstliche Intelligenz (KI) (z. B. ein Vektorprozessor, der vektorarithmetische Logikeinheiten enthalten kann, die so konfiguriert sind, dass sie Operationen, die in neuronalen Netzen üblich sind, wie z. B. Punktprodukte und Softmax, effizient durchführen), ein Field Programmable Gate Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), ein digitaler Signalprozessor (DSP) oder Ähnliches gehören. Beispielsweise sind unter bestimmten Umständen Aspekte von Ausführungsformen der vorliegenden Offenbarung in Programmanweisungen implementiert, die in einem nichtflüchtigen, computerlesbaren Speicher gespeichert sind, der bei Ausführung durch die elektronische Schaltung (z. B. eine CPU, eine GPU, einen KI-Beschleuniger oder Kombinationen davon) die hierin beschriebenen Operationen durchführt, um eine Verarbeitungsausgabe 20, wie z. B. eine Instanzsegmentierungskarte, aus eingegebenen Polarisationsrohbildern 18 zu berechnen. Die von der Verarbeitungsschaltung 100 durchgeführten Operationen können von einer einzelnen elektronischen Schaltung (z. B. einer einzelnen CPU, einer einzelnen GPU o. Ä.) durchgeführt werden oder auf mehrere elektronische Schaltungen (z. B. mehrere GPUs oder eine CPU in Verbindung mit einer GPU) verteilt werden. Die mehreren elektronischen Schaltungen können lokal zueinander sein (z. B. auf demselben Chip, in demselben Gehäuse oder in demselben eingebetteten Gerät oder Computersystem) und/oder können voneinander entfernt sein (z. B. in Kommunikation über ein Netzwerk wie ein lokales persönliches Netzwerk wie Bluetooth®, über ein lokales Netzwerk wie ein lokales drahtgebundenes und/oder drahtloses Netzwerk und/oder über ein Weitverkehrsnetzwerk wie das Internet, z. B. in einem Fall, in dem einige Operationen lokal und andere Operationen auf einem von einem Cloud-Computing-Dienst gehosteten Server durchgeführt werden). Eine oder mehrere elektronische Schaltungen, die die Verarbeitungsschaltung 100 implementieren, können hier als Computer oder Computersystem bezeichnet werden, das einen Speicher enthalten kann, in dem Anweisungen gespeichert sind, die, wenn sie von der einen oder den mehreren elektronischen Schaltungen ausgeführt werden, die hier beschriebenen Systeme und Verfahren implementieren.
2A, 2B, 2C und 2D stellen den Hintergrund zur Veranschaulichung der Segmentierungskarten bereit, die durch einen vergleichenden Ansatz und semantische Segmentierung oder Instanzsegmentierung basierend auf Polarisationsrohbildern gemäß den Aspekten der Ausführungsformen der vorliegenden Offenbarung berechnet werden.
2A ist ein Bild oder ein Intensitätsbild einer Szene mit einer echten transparenten Kugel, die auf einem Fotoausdruck platziert ist, der eine andere Szene mit zwei transparenten Kugeln („Spoofs“) und einigem Hintergrundrauschen zeigt. 2B zeigt eine Segmentierungsmaske, die von einem Maskenregionen-basierten faltenden neuronalen Netz (Mask R-CNN) berechnet wurde, das Instanzen von transparenten Kugeln identifiziert, die über das Intensitätsbild von 2A gelegt wurden, wobei verschiedene Linienmuster verwendet werden, wobei die echte transparente Kugel korrekt als Instanz identifiziert wird und die beiden Spoofs fälschlicherweise als Instanzen identifiziert werden. Mit anderen Worten, der Masken-R-CNN-Algorithmus wurde dazu verleitet, die beiden gefälschten transparenten Kugeln als Instanzen der tatsächlichen transparenten Kugeln in der Szene zu identifizieren.
2C ist ein lineares Polarisationswinkelbild (AOLP), das aus Polarisationsrohbildern berechnet wurde, die gemäß einer Ausführungsform der vorliegenden Erfindung von der Szene aufgenommen wurden. Wie in 2C gezeigt, haben transparente Objekte eine sehr einzigartige Textur im Polarisationsraum wie der AOLP-Domäne, wo es eine geometrieabhängige Signatur an Kanten und ein ausgeprägtes oder einzigartiges oder besonderes Muster gibt, das auf den Oberflächen transparenter Objekte im Winkel der linearen Polarisation entsteht. Mit anderen Worten: Die intrinsische Textur des transparenten Objekts (z. B. im Gegensatz zur extrinsischen Textur, die von den durch das transparente Objekt sichtbaren Hintergrundflächen übernommen wird) ist im Polarisationswinkelbild von 2C besser sichtbar als im Intensitätsbild von 2A.
2D zeigt das Intensitätsbild von 2A mit einer überlagerten Segmentierungsmaske, wie sie unter Verwendung von Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung berechnet wird, wobei der echte transparente Ball korrekt als Instanz unter Verwendung eines überlagerten Linienmusters identifiziert wird und die beiden Spoofs korrekt als Instanzen ausgeschlossen werden (z. B. enthält 2D im Gegensatz zu 2B keine überlagerten Linienmuster über den beiden Spoofs). Während 2A, 2B, 2C und 2D ein Beispiel für die Erkennung eines echten transparenten Objekts bei Vorhandensein von gefälschten transparenten Objekten zeigen, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch auf andere optisch schwierige Objekte angewandt werden, wie z. B. transparente, lichtdurchlässige und nicht matte oder nicht lambertianische Objekte sowie nicht reflektierende (z. B. matte schwarze Objekte) und mehrweginduzierende Objekte.
Dementsprechend beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf das Extrahieren von Tensoren im Darstellungsraum (oder ersten Tensoren in ersten Darstellungsräumen, wie z. B. Polarisationsmerkmalskarten) aus den Polarisationsrohbildern, die als Eingabe für Oberflächencharakterisierungsalgorithmen oder andere computerbasierte Seh-Algorithmen bereitgestellt werden. Diese ersten Tensoren im ersten Darstellungsraum können Polarisationsmerkmalskarten enthalten, die Informationen bezüglich der Polarisation des von der Szene empfangenen Lichts kodieren, wie das in 2C gezeigte AOLP-Bild, DOLP-Merkmalskarten (Grad der linearen Polarisation) und dergleichen (z. B. andere Kombinationen aus Stokes-Vektoren oder Transformationen einzelner Polarisationsrohbilder). In einigen Ausführungsformen der vorliegenden Offenbarung berechnet der Merkmalsextraktor 700 beispielsweise weiterhin Oberflächennormalen gemäß den Gleichungen (2), (3), (4) und (5), die weiter unten ausführlicher erörtert werden, basierend auf den Polarisationsrohbildern. In einigen Ausführungsformen werden diese Polarisationsmerkmalskarten zusammen mit Nicht-Polarisationsmerkmalskarten (z. B. Intensitätsbilder wie das in 2A gezeigte Bild) verwendet, um zusätzliche Informationskanäle für die Verwendung durch semantische Segmentierungsalgorithmen bereitzustellen.
Während Ausführungsformen der vorliegenden Erfindung nicht auf die Verwendung mit bestimmten computerbasierten Seh-Algorithmen für die Analyse von Bildern beschränkt sind, beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Erfindung auf Deep-Learning-Frameworks für die polarisationsbasierte Erkennung von optisch anspruchsvollen Objekten (z. B. transparente, transluzente, nicht-lambertsche, mehrweginduzierende Objekte und nicht-reflektierende oder sehr dunkle Objekte), wobei diese Frameworks als polarisierte faltende neuronale Netze (polarisierte CNNs) bezeichnet werden können. Dieses polarisierte CNN-Framework enthält einen Backbone, der für die Verarbeitung der besonderen Textur der Polarisation geeignet ist und mit anderen computerbasierten Seh-Architekturen wie Mask R-CNN (z. B. zur Bildung einer Polarized Mask R-CNN-Architektur) gekoppelt werden kann, um eine Lösung für die genaue und robuste Charakterisierung von transparenten Objekten und anderen optisch schwierigen Objekten zu schaffen. Darüber hinaus kann dieser Ansatz auf Szenen mit einer Mischung aus transparenten und nicht-transparenten (z. B. undurchsichtigen Objekten) angewendet werden und kann zur Charakterisierung von transparenten, durchscheinenden, nicht-lambertschen, Mehrwege-induzierenden, dunklen und undurchsichtigen Oberflächen des oder der zu untersuchenden Objekte verwendet werden.
Darstellungsräume für Polarisationsmerkmale
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Systeme und Verfahren zur Extraktion von Merkmalen aus Polarisationsrohbildern in Schritt 650, wobei diese extrahierten Merkmale in Schritt 690 bei der robusten Erkennung von optisch schwierigen Merkmalen in den Oberflächen von Objekten verwendet werden. Im Gegensatz dazu können vergleichende Verfahren, die sich allein auf Intensitätsbilder stützen, diese optisch schwierigen Merkmale oder Oberflächen nicht erkennen (z. B. beim Vergleich des Intensitätsbildes von 2A mit dem AOLP-Bild von 2C, wie oben beschrieben). Der Begriff „erste Tensoren“ in „ersten Darstellungsräumen“ wird hier verwendet, um sich auf Merkmale zu beziehen, die aus den von einer Polarisationskamera aufgenommenen Polarisationsrohbildern 18 berechnet (z. B. extrahiert) werden, wobei diese ersten Darstellungsräume zumindest Polarisationsmerkmalsräume umfassen (z. B. Merkmalsräume wie AOLP und DOLP, die Informationen über die Polarisation des vom Bildsensor erfassten Lichts enthalten) und können auch Nicht-Polarisations-Merkmalsräume umfassen (z. B. Merkmalsräume, die keine Informationen über die Polarisation des den Bildsensor erreichenden Lichts erfordern, wie z. B. Bilder, die nur basierend auf Intensitätsbildern berechnet werden, die ohne jegliche Polarisationsfilter erfasst wurden).
Die Wechselwirkung zwischen Licht und transparenten Objekten ist vielfältig und komplex, aber das Material eines Objekts bestimmt seine Transparenz bei sichtbarem Licht. Bei vielen transparenten Haushaltsgegenständen geht der größte Bereich des sichtbaren Lichts direkt hindurch und ein kleiner Bereich (-4% bis ~8%, je nach Brechungsindex) wird reflektiert. Das liegt daran, dass das Licht im sichtbaren Bereich des Spektrums nicht genügend Energie hat, um die Atome im transparenten Gegenstand anzuregen. Infolgedessen dominiert die Textur (z. B. das Aussehen) von Objekten, die sich hinter dem transparenten Objekt befinden (oder durch das transparente Objekt sichtbar sind), das Aussehen des transparenten Objekts. Betrachtet man beispielsweise eine transparente Glastasse oder einen Becher auf einem Tisch, so dominiert im Allgemeinen das Aussehen der Objekte auf der anderen Seite des Bechers (z. B. die Oberfläche des Tisches) das, was man durch die Tasse sieht. Diese Eigenschaft führt zu einigen Schwierigkeiten, wenn versucht wird, Oberflächenmerkmale von transparenten Objekten wie Glasfenstern und glänzenden, transparenten Farbschichten allein anhand von Intensitätsbildern zu erkennen.
3 ist eine übersichtliche Darstellung der Wechselwirkung von Licht mit transparenten und nicht transparenten (z. B. diffusen und/oder reflektierenden) Objekten. Wie in 3 dargestellt, nimmt eine Polarisationskamera 10 Polarisationsrohbilder einer Szene auf, die ein transparentes Objekt 302 vor einem undurchsichtigen Hintergrundobjekt 303 umfasst. Ein Lichtstrahl 310, der auf den Bildsensor 14 der Polarisationskamera 10 trifft, enthält Polarisationsinformationen sowohl von dem transparenten Objekt 302 als auch von dem Hintergrundobjekt 303. Der kleine Anteil des vom transparenten Objekt 302 reflektierten Lichts 312 ist stark polarisiert und hat daher einen großen Einfluss auf die Polarisationsmessung, im Gegensatz zu dem Licht 313, das vom Hintergrundobjekt 303 reflektiert wird und durch das transparente Objekt 302 hindurchgeht.
In ähnlicher Weise kann ein Lichtstrahl, der auf die Oberfläche eines Objekts trifft, auf verschiedene Weise mit der Form der Oberfläche interagieren. Zum Beispiel kann sich eine Oberfläche mit einer glänzenden Farbe im Wesentlichen ähnlich verhalten wie ein transparentes Objekt vor einem undurchsichtigen Objekt, wie in 3 gezeigt, wo Wechselwirkungen zwischen dem Lichtstrahl und einer transparenten oder transluzenten Schicht (oder Klarlackschicht) der glänzenden Farbe dazu führen, dass das von der Oberfläche reflektierte Licht basierend auf den Charakteristiken der transparenten oder transluzenten Schicht (z. B. basierend auf der Dicke und den Oberflächennormalen der Schicht) polarisiert wird, die in dem auf den Bildsensor treffenden Lichtstrahl kodiert sind. Wie weiter unten in Bezug auf die Form-aus-Polarisation-Theorie (SfP) näher erläutert wird, können Variationen in der Form der Oberfläche (z. B. die Richtung der Oberflächennormalen) signifikante Veränderungen in der Polarisation des von der Oberfläche des Objekts reflektierten Lichts verursachen. Zum Beispiel können glatte Oberflächen im Allgemeinen die gleichen Polarisationseigenschaften umfassen, aber ein Kratzer oder eine Delle in der Oberfläche ändert die Richtung der Oberflächennormalen in diesen Bereichen, und Licht, das auf Kratzer oder Dellen trifft, kann anders polarisiert, abgeschwächt oder reflektiert werden als in anderen Bereichen der Oberfläche des Objekts. Modelle für die Wechselwirkungen zwischen Licht und Materie berücksichtigen im Allgemeinen drei grundlegende Aspekte: Geometrie, Beleuchtung und Material. Die Geometrie basiert auf der Form des Materials. Die Beleuchtung umfasst die Richtung und Farbe der Beleuchtung. Das Material kann durch den Brechungsindex oder die Winkelreflexion/- durchlässigkeit des Lichts parametrisiert werden. Diese Winkelreflexion wird als bidirektionale Reflexionsverteilungsfunktion (BRDF) bezeichnet, obwohl andere Funktionsformen bestimmte Szenarien genauer darstellen können. Zum Beispiel wäre die bidirektionale unterirdische Streuverteilungsfunktion (BSSRDF) im Zusammenhang mit Materialien, die eine unterirdische Streuung umfassen (z. B. Marmor oder Wachs), genauer.
Ein Lichtstrahl 310, der auf den Bildsensor 16 einer Polarisationskamera 10 trifft, hat drei messbare Komponenten: die Intensität des Lichts (Intensitätsbild/I), den Prozentsatz oder Anteil des Lichts, der linear polarisiert ist (Grad der linearen Polarisation/DOLP/p), und die Richtung dieser linearen Polarisation (Winkel der linearen Polarisation/AOLP/ϕ). Diese Eigenschaften kodieren Informationen über die Oberflächenkrümmung und das Material des abzubildenden Objekts, die vom Prädiktor 750 verwendet werden können, um transparente Objekte zu erkennen, wie im Folgenden näher beschrieben. In einigen Ausführungsformen kann der Prädiktor 750 andere optisch schwierige Objekte basierend auf ähnlichen Polarisationseigenschaften von Licht, das durch lichtdurchlässige Objekte hindurchgeht, und/oder Licht, das mit mehrweginduzierenden Objekten oder mit nicht reflektierenden Objekten (z. B. mattschwarzen Objekten) interagiert, erkennen.
Daher beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Erfindung auf das Verwenden eines Merkmalsextraktors 700 zum Berechnen erster Tensoren in einem oder mehreren ersten Darstellungsräumen, die abgeleitete Merkmalskarten basierend auf der Intensität I, dem DOLP p und dem AOLP ϕ enthalten können. Der Merkmalsextraktor 700 kann im Allgemeinen Informationen in erste Darstellungsräume (oder erste Merkmalsräume) extrahieren, die Polarisationsdarstellungsräume (oder Polarisationsmerkmalsräume) umfassen, wie z. B. „Polarisationsbilder“, d. h. Bilder, die basierend auf den Polarisationsrohbildern extrahiert werden, die ansonsten nicht aus Intensitätsbildern berechnet werden könnten (z. B, Bilder, die von einer Kamera aufgenommen wurden, die keinen Polarisationsfilter oder einen anderen Mechanismus zum Erkennen der Polarisation des den Bildsensor erreichenden Lichts enthält), wobei diese Polarisationsbilder DOLP p-Bilder (im DOLP-Darstellungsraum oder Merkmalsraum), AOLP ϕ-Bilder (im AOLP-Darstellungsraum oder Merkmalsraum), andere Kombinationen der aus Stokes-Vektoren berechneten Polarisationsrohbilder sowie andere Bilder (oder allgemeiner erste Tensoren oder erste Merkmalstensoren) der aus Polarisationsrohbildern berechneten Informationen umfassen können. Die ersten Darstellungsräume können auch Nicht-Polarisations-Darstellungsräume wie den Intensitäts-I-Darstellungsraum umfassen.
Die Messung von Intensität I, DOLP ρ und AOLP ϕ an jedem Pixel erfordert drei oder mehr Polarisationsrohbilder einer Szene, die hinter Polarisationsfiltern (oder Polarisatoren) unter verschiedenen Winkeln ϕ_pol aufgenommen wurden (z. B. weil drei unbekannte Werte zu bestimmen sind: Intensität I, DOLP ρ und AOLP ϕ. Beispielsweise nimmt die oben beschriebene FLIR® Blackfly® S Polarisationskamera Polarisationsrohbilder mit Polarisationswinkeln ϕ_pol von 0 Grad, 45 Grad, 90 Grad oder 135 Grad auf, wodurch vier Polarisationsrohbilder I_ϕpol entstehen, die hier als I₀, I₄₅, I₉₀ und I₁₃₅ bezeichnet werden.
Die Beziehung zwischen I_ϕpol und der Intensität I, DOLP ρ und AOLP ϕ an jedem Pixel kann wie folgt ausgedrückt werden: $I_{ϕ_{p o l}} = I (1 + ρ cos (2 (ϕ - ϕ_{p o l})))$
Dementsprechend mit vier verschiedenen Polarisationsrohbildern I_ϕpol (I₀,I₄₅,I₉₀ und I₁₃₅ ) kann ein System mit vier Gleichungen verwendet werden, um die Intensität I, DOLP ρ und AOLP ϕ zu bestimmen.
Form aus Polarisation (SfP) Theorie (siehe z.B. Gary A. Atkinson und Edwin R. Hancock. Recovery of surface orientation from diffuse polarization. IEEE transactions on image processing, 15(6): 1653-1664, 2006.) stellt fest, dass die Beziehung zwischen dem Brechungsindex (n), dem Azimutwinkel (θ_a) und dem Zenitwinkel (θ_z) der Oberflächennormalen eines Objekts und den ϕ- und ρ-Komponenten des von diesem Objekt kommenden Lichtstrahls den folgenden Merkmalen folgt, wenn diffuse Reflexion vorherrscht: $ρ = \frac{{(n - \frac{1}{n})}^{2} {sin}^{2} (θ_{z})}{2 + 2 n^{2} - {(n + \frac{1}{n})}^{2} {sin}^{2} θ_{z} + 4 cos θ_{z} \sqrt{n^{2} - {sin}^{2} θ_{z}}}$
$ϕ = θ_{a}$
und wenn die spiegelnde Reflexion dominant ist: $ρ = \frac{2 {sin}^{2} θ_{z} cos θ_{z} \sqrt{n^{2} - {sin}^{2} θ_{z}}}{n^{2} - {sin}^{2} θ_{z} - n^{2} {sin}^{2} θ_{z} + 2 {sin}^{4} θ_{z}}$
$ϕ = θ_{a} - \frac{π}{2}$
Man beachte, dass in beiden Fällen p exponentiell zunimmt, wenn θ_z steigt, und dass bei gleichem Brechungsindex die spiegelnde Reflexion viel stärker polarisiert ist als die diffuse Reflexion.
Dementsprechend beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf die Anwendung der SfP-Theorie zur Erkennung der Formen von Oberflächen (z. B. der Ausrichtung von Oberflächen) auf der Grundlage der Polarisationsrohbilder 18 der Oberflächen. Dieser Ansatz ermöglicht es, die Formen von Objekten zu charakterisieren, ohne andere Computer-Seh-Techniken zum Bestimmen der Formen von Objekten zu verwenden, wie z. B. Time-of-Flight (ToF) Tiefenerfassung und/oder Stereo-Seh-Techniken, obwohl Ausführungsformen der vorliegenden Offenbarung in Verbindung mit solchen Techniken verwendet werden können.
Formal gesehen beziehen sich Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die Berechnung erster Tensoren 50 in ersten Darstellungsräumen, einschließlich der Extraktion erster Tensoren in Polarisationsdarstellungsräumen, wie z. B. das Bilden von Polarisationsbildern (oder das Extrahieren abgeleiteter Polarisationsmerkmalskarten) im Verfahrensschritt 650 basierend auf Polarisationsrohbildern, die von einer Polarisationskamera 10 erfasst wurden.
Lichtstrahlen, die von einem transparenten Objekt kommen, haben zwei Komponenten: einen reflektierten Anteil, der die reflektierte Intensität I_r, das reflektierte DOLP ρ_r und das reflektierte AOLP ϕ_r umfasst, und den gebrochenen Anteil, der die gebrochene Intensität I_t, das gebrochene DOLP ρ_t und das gebrochene AOLP ϕ_t umfasst. Die Intensität eines einzelnen Pixels im resultierenden Bild kann wie folgt geschrieben werden: $I = I_{r} + I_{t}$
Wenn ein Polarisationsfilter mit einem linearen Polarisationswinkel ϕ_pol vor der Kamera platziert ist, beträgt der Wert an einem gegebenen Pixel: $I_{ϕ_{p o l}} = I_{r} (1 + ρ_{r} cos (2 (ϕ_{r} - ϕ_{p o l}))) + I_{t} (1 + ρ_{t} cos (2 (ϕ_{t} - ϕ_{p o l})))$
Lösen des obigen Ausdrucks für die Werte eines Pixels in einem DOLP p Bild und eines Pixels in einem AOLP Φ Bild in Form von I_r, ρ_r, ϕ_r, I_t, ρ_t, and ϕ_t: $ρ = \frac{\sqrt{{(I_{r} ρ_{r})}^{2} + {(I_{t} ρ_{t})}^{2} + 2 I_{t} ρ_{t} I_{r} ρ_{r} cos (2 (ϕ_{r} - ϕ_{t}))}}{I_{r} + I_{t}}$
$ϕ = arctan (\frac{I_{r} ρ_{r} sin (2 (ϕ_{r} - ϕ_{t}))}{I_{t} ρ_{t} + I_{r} ρ_{r} cos (2 (ϕ_{r} - ϕ_{t}))}) + ϕ_{r}$
Dementsprechend stellen die obigen Gleichungen (7), (8) und (9) ein Modell zum Bilden erster Tensoren 50 in ersten Darstellungsräumen bereit, die ein Intensitätsbild I, ein DOLP-Bild p und ein AOLP-Bild ϕ gemäß einer Ausführungsform der vorliegenden Offenbarung umfassen, wobei die Verwendung von Polarisationsbildern oder -tensoren in Polarisationsdarstellungsräumen (einschließlich eines DOLP-Bildes p und eines AOLP-Bildes ϕ auf der Grundlage der Gleichungen (8) und (9)) die zuverlässige Erkennung von optisch anspruchsvollen Oberflächencharakteristiken von Objekten ermöglicht, die im Allgemeinen von vergleichbaren Systemen, die nur Intensitätsbilder I als Eingabe verwenden, nicht erkannt werden können.
Die obigen Gleichungen (8) und (9) können allgemeiner in Übereinstimmung mit den Stokes-Parametern dargestellt werden: $ρ = \frac{\sqrt{{(S_{1})}^{2} + {(S_{2})}^{2}}}{S_{0}}$
$ϕ = 0.5 * arctan \frac{S_{2}}{S_{1}}$
wobei S₀, S₁, and S₂ die Stokes-Parameter sind.
Genauer gesagt können erste Tensoren in Polarisationsdarstellungsräumen (unter den abgeleiteten Merkmalskarten 50) wie die Polarisationsbilder DOLP p und AOLP ϕ Oberflächencharakteristiken von Objekten aufzeigen, die sonst in einem Intensitäts-I-Bereich texturlos erscheinen würden. Ein transparentes Objekt kann eine Textur haben, die im Intensitätsbereich I unsichtbar ist, weil diese Intensität streng vom Verhältnis I_r /I_t abhängt (siehe Gleichung (6)). Im Gegensatz zu undurchsichtigen Objekten, bei denen I_t = 0 ist, transmittieren transparente Objekte den größten Teil des einfallenden Lichts und reflektieren nur einen kleinen Teil des einfallenden Lichts. Ein weiteres Beispiel: Dünne oder kleine Abweichungen in der Form einer ansonsten glatten Oberfläche (oder glatte Abschnitte in einer ansonsten rauen Oberfläche) können im Intensitätsbereich I (z. B. einem Bereich, in dem die Polarisation des Lichts nicht berücksichtigt wird) im Wesentlichen unsichtbar sein oder einen geringen Kontrast umfassen, können aber in einem Polarisationsdarstellungsraum wie DOLP p oder AOLP ϕ sehr sichtbar sein oder einen hohen Kontrast umfassen.
Eine beispielhafte Methode zum Erfassen der Oberflächentopografie ist daher die Verwendung von Polarisationsmerkmalen in Verbindung mit geometrischer Regularisierung. Die Fresnel-Gleichungen setzen das AOLP ϕ und das DOLP ρ mit Oberflächennormalen in Beziehung. Diese Gleichungen können für die Erkennung von optisch schwierigen Objekten nützlich sein, indem sie die so genannten Polarisationsmuster der Oberfläche der optisch schwierigen Objekte ausnutzen. Ein Polarisationsmuster ist ein Tensor der Größe [M,N,K], wobei M und N die horizontalen bzw. vertikalen Pixeldimensionen sind und K der Polarisationsdatenkanal ist, der unterschiedlich groß sein kann. Wenn beispielsweise die zirkulare Polarisation ignoriert und nur die lineare Polarisation betrachtet wird, wäre K gleich zwei, da die lineare Polarisation sowohl einen Winkel als auch einen Polarisationsgrad (AOLP ϕ und DOLP p) hat. Analog zu einem Moire-Muster extrahiert das Merkmalsextraktionsmodul 700 in einigen Ausführungsformen der vorliegenden Offenbarung ein Polarisationsmuster in Polarisationsdarstellungsräumen (z. B. AOLP-Raum und DOLP-Raum).
Während die vorangegangene Diskussion spezifische Beispiele für Polarisationsdarstellungsräume basierend auf linearer Polarisation für den Fall liefert, dass eine Polarisationskamera mit einem oder mehreren linearen Polarisationsfiltern verwendet wird, um Polarisationsrohbilder zu erfassen, die verschiedenen Winkeln der linearen Polarisation entsprechen, und um Tensoren in linearen Polarisationsdarstellungsräumen wie DOLP und AOLP zu berechnen, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst eine Polarisationskamera beispielsweise einen oder mehrere zirkulare Polarisationsfilter, die konfiguriert sind, um nur zirkular polarisiertes Licht durchzulassen, und bei denen Polarisationsmuster oder erste Tensoren im zirkulären Polarisationsdarstellungsraum weiter aus den Polarisationsrohbildern extrahiert werden. In einigen Ausführungsformen werden diese zusätzlichen Tensoren im zirkulären Polarisationsdarstellungsraum allein verwendet, und in anderen Ausführungsformen werden sie zusammen mit den Tensoren in linearen Polarisationsdarstellungsräumen wie AOLP und DOLP verwendet. Zum Beispiel kann ein Polarisationsmuster, das Tensoren in Polarisationsdarstellungsräumen umfasst, Tensoren im zirkulären Polarisationsraum, AOLP und DOLP umfassen, wobei das Polarisationsmuster die Dimensionen [M,N,K] haben kann, wobei K drei ist, um den Tensor im zirkulären Polarisationsdarstellungsraum weiter einzuschließen.
Dementsprechend beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf das Bereitstellen von ersten Tensoren in den ersten Darstellungsräumen (z. B. einschließlich Merkmalskarten in Polarisationsdarstellungsräumen), die aus Polarisationsrohbildern extrahiert wurden, als Eingaben für einen Prädiktor zum Berechnen oder Erkennen von Oberflächencharakteristiken von transparenten Objekten und/oder anderen optisch schwierigen Oberflächencharakteristiken von untersuchten Objekten. Diese ersten Tensoren können abgeleitete Merkmalskarten enthalten, die eine Intensitätsmerkmalskarte I, eine Merkmalskarte des linearen Polarisationsgrads (DOLP) ρ und eine Merkmalskarte des linearen Polarisationswinkels (AOLP) ϕ umfassen können, wobei die Merkmalskarte DOLP ρ und die Merkmalskarte AOLP ϕ Beispiele für Polarisationsmerkmalskarten oder -tensoren in Polarisationsdarstellungsräumen sind, die sich auf Merkmalskarten beziehen, die Informationen bezüglich der Polarisation des von einer Polarisationskamera erfassten Lichts kodieren.
In einigen Ausführungsformen werden die Merkmalskarten oder Tensoren in Polarisationsdarstellungsräumen beispielsweise als Eingabe für Erkennungsalgorithmen bereitgestellt, die die SfP-Theorie nutzen, um die Form von Oberflächen von Objekten zu charakterisieren, die von den Polarisationskameras 10 erfasst werden. In einigen Ausführungsformen werden beispielsweise im Fall der diffusen Reflexion die Gleichungen (2) und (3) verwendet, um den Zenitwinkel (θ_z) und den Azimutwinkel (θ_a) der Oberflächennormalen einer Oberfläche in der Szene auf der Grundlage des DOLP ρ und des Brechungsindex n zu berechnen. Ebenso werden im Fall der spiegelnden Reflexion die Gleichungen (3) und (5) zur Berechnung des Zenitwinkels (θ_z) und des Azimutwinkels (θ_a) der Oberflächennormalen einer Oberfläche in der Szene auf der Grundlage des DOLP ρ und des Brechungsindex n verwendet. Ein Beispiel für eine geschlossene Formlösung zur Berechnung des Zenitwinkels (θ_z) basierend auf Gleichung (2) gemäß einer Ausführungsform der vorliegenden Offenbarung in Übereinstimmung mit den folgenden Schritten: $a a = {(n - \frac{1}{n})}^{2} + ρ {(n + \frac{1}{n})}^{2}$
$b b = 4 ρ (n^{2} + 1) (a a - 4 ρ)$
$c c = b b^{2} + 16 ρ^{2} (16 ρ^{2} - a a^{2}) {(n^{2} - 1)}^{2}$
$d d = \sqrt{\frac{- b b - \sqrt{c c}}{2 (16 ρ^{2} - a a^{2})}}$
$θ_{z} = a a sin d d$
Weitere Einzelheiten zur Berechnung von Oberflächennormalen auf der Grundlage von Polarisationsrohbildern sind beispielsweise in U.S. Pat. Nr. 10,260,866 und 10,557,705 und Kadambi, Achuta, et al. „Polarized 3D: High-quality depth sensing with polarization cues.“ Proceedings of the IEEE International Conference on Computer Vision. 2015, deren gesamte Offenbarungen hier durch Bezugnahme aufgenommen sind.
Berechnen von Polarisationsmerkmalen aus Multikamera-Arrays
Normalerweise werden multipolare Hinweise aus einem monokularen Blickpunkt gewonnen. Bestehende Verfahren verwenden multipolare Filter (z. B. eine Polarisationsmaske wie in 1B) oder mehrere CCD- oder CMOS-Sensoren, um verschiedene Polarisationskanäle in einer einzigen Ansicht zu multiplexen (z. B. mehrere Sensoren hinter einem einzigen Linsensystem) oder zeitmultiplexe Systeme (z. B., bei denen verschiedene Polarisationsrohbilder zu verschiedenen Zeiten erfasst werden, wie z. B. nacheinander, was erfordern kann, dass die Szene 1 von einer Erfassung zur nächsten im Wesentlichen oder konstant bleibt, damit die Ansichten gleich sind). Insbesondere die oben beschriebenen Techniken zur Berechnung von Polarisationskennwerten wie dem Winkel der linearen Polarisation (AOLP) ϕ und dem Grad der linearen Polarisation (DOLP) ρ gehen im Allgemeinen davon aus, dass die Polarisationsrohbilder vom gleichen Blickpunkt aus aufgenommen werden.
Es gibt jedoch einige Umstände, unter denen die obige Annahme eines einzigen Blickpunkts möglicherweise nicht zutrifft. Zum Beispiel können Polarisationsrohbilder, die verschiedenen Polarisationszuständen entsprechen, von verschiedenen Blickpunkten aus erfasst werden, wenn ein Polarisationskamera-Array verwendet wird, das mehrere Polarisationskameras an verschiedenen Standorten umfasst, wie die in den 1C, 1D und 1E gezeigten Ausführungsformen. Wenn die einzelnen Polarisationskameras näher beieinander platziert werden, kann der Fehler zwar verringert werden, aber physikalische Einschränkungen (z. B. die Größe der einzelnen Polarisationskameras, wie die Größe und Form ihrer entsprechenden Verpackung sowie die darin enthaltenen Linsen und Bildsensoren) können die Platzierung der Polarisationskameras begrenzen.
Dementsprechend beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf Systeme und Verfahren zur Berechnung von Polarisationskennwerten wie AOLP ϕ und DOLP ρ aus Polarisationsrohbildern, die aus verschiedenen Blickpunkten aufgenommen wurden, beispielsweise unter Verwendung einer Anordnung von Polarisationskameras. Im Allgemeinen erfordert dies eine Technik zur Entkopplung von Parallaxenmerkmalen aufgrund der unterschiedlichen Positionen der einzelnen Polarisationskameras und den gewünschten Polarisationsmerkmalen. Dies ist eine Herausforderung, da Parallaxenhinweise und Polarisationshinweise insofern miteinander verknüpft sind, als sowohl die Parallaxe zwischen zwei Ansichten als auch die erfasste Polarisation von der Geometrie der Beziehung zwischen den Polarisationskameras und der abgebildeten Oberfläche abhängen. Bei den vergleichenden Ansätzen zum Ermitteln von AOLP und DOLP wird davon ausgegangen, dass die Polarisationskanäle vom gleichen Blickpunkt aus erfasst werden, so dass die Anwendung vergleichender Verfahren auf die von der Anordnung von Polarisationskameras erfassten Daten wahrscheinlich zu Fehlern oder Mehrdeutigkeit führt.
4 ist ein Flussdiagramm eines Verfahrens zur Schätzung von Polarisationsmerkmalen bei Parallaxenmehrdeutigkeit gemäß einer Ausführungsform der vorliegenden Offenbarung. In der in 4 gezeigten Ausführungsform werden Polarisationsrohbilder, die von einer Vielzahl verschiedener Blickpunkte, z. B. von einem Array von Polarisationskameras, wie in den 1C, 1D und 1E gezeigt, erfasst wurden, als Eingabe in den Prozess geliefert. In einigen Ausführungsformen der vorliegenden Offenbarung werden Schätzungen des DOLP ρ und des AOLP ϕ in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung von einer Verarbeitungsschaltung 100 durch einen iterativen Prozess berechnet. Es ist zu beachten, dass der geschätzte DOLP ρ und der geschätzte AOLP ϕ Tensoren (z. B. zweidimensionalen Tensoren) mit Seitenverhältnissen entsprechen, die den Polarisationsrohbildern entsprechen, z. B. wo die Werte des DOLP ρ-Tensors und des AOLP ϕ-Tensors dem geschätzten Grad der linearen Polarisation und dem Winkel der linearen Polarisation in verschiedenen Teilen der erfassten Polarisationsrohbilder entsprechen.
Im Verfahrensschritt 410 berechnet die Verarbeitungsschaltung einen anfänglichen geschätzten DOLP ρ₀ und einen anfänglichen geschätzten AOLP ϕ₀ unter Verwendung der Stokes-Vektoren (z. B. gemäß den obigen Gleichungen (10) und (11) oder, genauer gesagt, gemäß den Gleichungen (8) und (9). Diese anfänglichen geschätzten DOLP ρ₀ und AOLP ϕ₀ werden wahrscheinlich aufgrund der Parallaxenverschiebung zwischen den verschiedenen einzelnen Polarisationskameras des Polarisationskamera-Arrays falsch sein.
Im Verfahrensschritt 430 schätzt die Verarbeitungsschaltung 100 die Geometrie der Oberflächen der Szene, die in den Polarisationsrohbildern abgebildet sind. In einigen Ausführungsformen der vorliegenden Offenbarung verwendet die Verarbeitungsschaltung 100 einen auf Ansichtskorrespondenz basierenden Ansatz, um ein Grobmodell der Szene unter Verwendung der Parallaxe aus der Stereosicht der Szene aufgrund des Versatzes zwischen den Positionen der Kameras in der Anordnung zu erzeugen (z. B. unter Verwendung von Tiefe aus Stereotechniken, wie z. B. in Kadambi, A. et al. (2015) diskutiert). Im Verfahrensschritt 450 kann diese grobe Geometrie dann unter Verwendung der aktuell berechneten Werte für DOLP ρ_i und AOLP ϕ_i (anfänglich i=0) verfeinert werden (siehe z. B. U.S. Pat. Nrn. 10,260,866 und 10,557,705 und Kadambi, A. et al. (2015)).
Die im Verfahrensschritt 450 berechnete geschätzte Geometrie wird dann verwendet, um die geschätzten Werte des DOLP ρ und des AOLP ϕ zu aktualisieren. Beispielsweise können in einer i-ten Iteration ein zuvor berechneter DOLP ρ_i-1 und ein zuvor berechneter AOLP ϕ_i-1 verwendet werden, um die geschätzte Geometrie im Verfahrensschritt 450 zu berechnen, und im Verfahrensschritt 470 verfeinert das Verarbeitungssystem 100 die DOLP- und AOLP-Berechnungen basierend auf der neuen geschätzten Geometrie (in Übereinstimmung mit den Fresnel-Gleichungen, die AOLP und DOLP mit der Neigung in Beziehung setzen), um neue Schätzungen DOLP ρ_i und AOLP Φ_i zu berechnen.
Im Verfahrensschritt 490 bestimmt das Verarbeitungssystem 100, ob es mit einer weiteren Iteration des Prozesses zur Schätzung von DOLP ρ und AOLP ϕ fortfahren soll. In einigen Ausführungsformen wird eine Änderung des DOLP Δρ auf der Grundlage der Differenz zwischen dem aktualisierten DOLP ρ_i und dem zuvor berechneten DOLP ρ_i-1 berechnet (z. B. Δp=|ρ_i-ρ_i-1|). Ebenso wird eine Änderung des AOLP Δϕ anhand der Differenz zwischen dem aktualisierten AOLP Φ_i und dem zuvor berechneten AOLP ϕ_i-1 berechnet (z. B. Δϕ=|ϕ_i-ϕ_i-1|). Wenn eine dieser Änderungen der Polarisationshinweise (z. B. sowohl Δρ als auch Δϕ) größer ist als die entsprechenden Schwellenwerte (z. B. ρ_th und ϕ_th) für die berechneten Tensoren, wird der Prozess fortgesetzt, indem die aktualisierten DOLP ρ_i und AOLP ϕ_i verwendet werden, um das Grobmodell in Operation 450 zu verfeinern, und dann die DOLP- und AOLP-Werte basierend auf dieser neuen geschätzten Geometrie aktualisiert werden. Wenn beide Änderungen der Polarisationshinweise unter den entsprechenden Schwellenwerten liegen, ist der Schätzungsprozess abgeschlossen und die geschätzten DOLP ρ_i und AOLP Φ_i werden aus dem Schätzungsprozess ausgegeben und können bei der Berechnung weiterer Verarbeitungsergebnisse, wie z. B. Instanzsegmentierungskarten, verwendet werden.
Multispektrales Stereo mit Polarisationsbildgebung
In vielen Fällen, z. B. bei der Femerfassung, können mit multispektralen Bildern von Szenen Informationen erfasst werden, die sonst nicht sichtbar wären. Zum Beispiel kann die multispektrale oder hyper-spektrale Bildgebung Oberflächeneigenschaften von Szenen erkennen, wie z. B. Bodeneigenschaften wie Feuchtigkeit, organischer Gehalt und Salzgehalt, ölverschmutzte Böden, was in der Landwirtschaft nützlich sein kann. Ein weiteres Beispiel ist die multispektrale Bildgebung, die es ermöglicht, getarnte Ziele zu erkennen, z. B. Militärfahrzeuge unter teilweiser Vegetationsdecke oder kleine militärische Objekte in relativ großen Pixeln. Ein weiteres Beispiel: Die multispektrale Bildgebung ermöglicht die Identifizierung und Kartierung von Materialien, z. B. die Feststellung des Vorhandenseins oder Nichtvorhandenseins von Materialien in Reliefs, die Kartierung von Schwermetallen und anderen giftigen Abfällen in Bergbaugebieten. Die multispektrale Bildgebung ermöglicht auch die Erkennung des Vorhandenseins bestimmter Materialien, wie z. B. verschüttetes Wasser/Öl (dies ist von besonderer Bedeutung für Innenraumroboter, damit sie diese Verschüttungen vermeiden bzw. deren Umgehung planen können, und für Staubsaugerroboter zur Erkennung, Lokalisierung und Beseitigung von verschüttetem Wasser und anderem kleinen, dunklen und/oder spiegelnden Schmutz).
Die multispektrale Bildgebung kann auch zur Materialinspektion eingesetzt werden, z. B. zur Erkennung von Rissen und Rost in Industrieanlagen wie Industriekesseln und Eisenbahnschienen, bei denen ein Ausfall extrem gefährlich und die Wiederherstellung teuer sein kann.
In den oben genannten Beispielen sind computerbasierte Seh-Techniken, die vergleichbare und Standard-Farbbilder (z. B. rote, grüne und blaue Bilder) als Eingabe verwenden, möglicherweise nicht in der Lage, diese Arten von Objekten zu erkennen, aber die Verwendung von multispektraler oder hyper-spektraler Bildgebung, kombiniert mit Polarisationsinformationen, kann zusätzliche Hinweise liefern, die von computerbasierten Seh-Algorithmen und Instanz-Erkennungstechniken (z. B. unter Verwendung von trainierten neuronalen faltenden Netzen) erkannt werden können.
Im Allgemeinen misst die spektrale Strahldichte einer Oberfläche die Rate der von einer Oberfläche reflektierten Photonen als Funktion der Oberflächenfläche, der Neigung und der einfallenden Wellenlänge. Die spektrale Strahldichtefunktion der meisten natürlichen Bilder ist eine regelmäßige Funktion der Wellenlängen, die es ermöglicht, diese mit einem niedrigdimensionalen linearen Modell darzustellen. Mit anderen Worten: Die spektrale Darstellung des von der Oberfläche reflektierten Lichts kann als lineare Kombination von spektralen Basisfunktionen dargestellt werden: $s \approx \sum_{i = 0}^{n} w_{i} B_{i}$
wobei w_i die linearen Gewichte sind, B_i die spektrale Basisfunktion darstellt und n die Dimensionalität des System ist. Verwandte Arbeiten auf dem Gebiet der spektralen Strahlungsprofile natürlicher Objekte zeigen, dass die spektrale Strahldichte natürlicher Objekte größtenteils durch fünf oder sechs lineare Basisfunktionen genau dargestellt werden kann.
Dementsprechend beziehen sich einige Ausführungsaspekte der vorliegenden Offenbarung auf das Sammeln von Spektralinformationen gleichzeitig mit Polarisationsinformationen unter Verwendung eines Stereobildpaars, wobei jedes Kamerasystem (oder Kameramodul) des Stereopaars eine Kameraanordnung umfasst, die das Erfassen sowohl der Spektral- als auch der Polarisationsinformationen ermöglicht.
5A ist eine perspektivische Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung. Ausführungsformen eines multispektralen Stereo-Polarisationskamerasystems, wie in 5A gezeigt, sind im Wesentlichen ähnlich dem Stereo-Polarisationskamerasystem, das in 1E gezeigt ist, dass 5A ein multispektrales Stereo-Polarisationskamerasystem 510 zeigt, das ein erstes Polarisationskameramodul 510-1" und ein zweites Polarisationskameramodul 510-2" hat, die im Wesentlichen parallele optische Achsen haben und entlang einer Grundlinie 510-B voneinander beabstandet sind. In der in 5A gezeigten Ausführungsform umfasst das erste Polarisationskameramodul 510-1'" die Polarisationskameras 510A", 510B", 510C" und 510D", die in einer 2×2-Anordnung ähnlich der in 1C und 1D gezeigten angeordnet sind. Ebenso umfasst das zweite Polarisationskameramodul 510-2" die Polarisationskameras 510E", 510F", 510G" und 510H", die in einem 2×2-Array angeordnet sind, und das gesamte multispektrale Stereo-Polarisationskameramodul 510 umfasst acht einzelne Polarisationskameras (z. B., acht separate Bildsensoren hinter acht separaten Linsen). In einigen Ausführungsformen der vorliegenden Offenbarung sind die entsprechenden Polarisationskameras der Polarisationskameramodule 510-1" und 510-2" so konfiguriert, dass sie Polarisationsrohbilder mit im Wesentlichen denselben Polarisationen erfassen. Zum Beispiel können die Kameras 510A" und 510E" beide lineare Polarisationsfilter mit dem gleichen Winkel von 0° haben, die Kameras 510B" und 510F" können beide lineare Polarisationsfilter mit dem gleichen Winkel von 45° haben, die Kameras 510C" und 510G" können beide lineare Polarisationsfilter mit einem gleichen Winkel von 90° haben, und die Kameras 510D" und 510H" können beide lineare Polarisationsfilter mit einem gleichen Winkel von 135° haben.
5B ist eine Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung, entlang einer Richtung parallel zur optischen Achse des multispektralen Stereo-Polarisationskamerasystems. 5C zeigt geschnittene Seitenansichten von beispielhaften einzelnen Polarisationskameras eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung. Wie in 5C gezeigt, enthält jede der einzelnen Polarisationskameras (z. B. 510A", 510B", 510E" und 510F") einen entsprechenden Farbfilter 518 (z. B., 518A", 518B", 518E" und 518F") im optischen Pfad der individuellen Polarisationskamera, zusätzlich zu einem entsprechenden Objektiv 512, einem entsprechenden Bildsensor 514 und einem entsprechenden Polarisationsfilter 516. Während in 5C der Farbfilter 518 innerhalb eines Gehäuses und hinter dem Objektiv 512 dargestellt ist, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen befindet sich der Farbfilter 518 beispielsweise vor dem Objektiv 512. Ebenso befindet sich in einigen Ausführungsformen der Polarisationsfilter vor der Linse 512.
In der in 5B gezeigten Ausführungsform enthält jede der einzelnen Polarisationskameras einen Farbfilter, der Licht nur in einem entsprechenden Bereich des sichtbaren Spektrums durchlässt (im Gegensatz zu einem Bayer-Filter, der ein Mosaikmuster aufweist und typischerweise Licht in drei verschiedenen Bereichen des Spektrums transmittiert, die rotem, grünem und blauem Licht entsprechen). Im Ausführungsbeispiel in 5B hat die erste Polarisationskamera 510A" einen Farbfilter 518A", der konfiguriert ist, Licht in einem roten (R) Bereich des Spektrums zu transmittieren, die zweite Polarisationskamera 510B" hat einen Farbfilter 518B", der konfiguriert ist, Licht in einem ersten grünen (G1) Bereich des Spektrums zu transmittieren, die dritte Polarisationskamera 510C" hat einen Farbfilter 518C", der konfiguriert ist, um Licht in einem zweiten grünen (G2) Bereich des Spektrums zu transmittieren (der sich von dem ersten grünen Bereich G1 des Spektrums unterscheiden kann, z. g., mit einer um 15 bis 20 nm verschobenen Spitze), und die vierte Polarisationskamera 510D" hat einen Farbfilter 518D", der konfiguriert ist, um Licht in einem blauen (B) Bereich des Spektrums zu transmittieren. Zusammen erfassen die vier Polarisationskameras des ersten Polarisationskameramoduls 510-1" Licht in vier verschiedenen Polarisationszuständen (z. B. vier verschiedene lineare Polarisationen von 0°, 45°, 90° und 135°) und vier verschiedenen Farben (z. B. R, G1, G2 und B). In der besonderen Ausführungsform, die in 5B zeigt, erfasst die erste Polarisationskamera 510A" beispielsweise rotes Licht, das bei 0° polarisiert ist, die zweite Polarisationskamera 510B" erfasst erstes grünes Licht, das bei 45° polarisiert ist, die dritte Polarisationskamera 510C" erfasst zweites grünes Licht, das bei 90° polarisiert ist, und die vierte Polarisationskamera 510D" erfasst blaues Licht, das bei 135° polarisiert ist. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt. Zum Beispiel können in verschiedenen Ausführungsformen die Farbfilter mit verschiedenen Polarisationsfiltern verbunden sein.
In ähnlicher Weise können die einzelnen Polarisationskameras (z. B., Kameras 510E", 510F", 510G" und 510BH") des zweiten Polarisationskameramoduls 510-2" einen separaten Farbfilter 518 umfassen, der konfiguriert ist, um Licht in verschiedenen Bereichen des elektromagnetischen Spektrums und unterschiedlich voneinander zu transmittieren. In einer Ausführungsform der vorliegenden Erfindung transmittiert jeder der Farbfilter des zweiten Polarisationskameramoduls 510-2" Licht in einem Bereich des Spektrums, der um einen bestimmten Betrag verschoben ist (z.B., wobei die Spitze des Spektralprofils des Farbfilters entweder zu den längeren Wellenlängen oder zu den kürzeren Wellenlängen um etwa 10 Nanometer bis etwa 20 Nanometer verschoben ist) gegenüber dem entsprechenden Farbfilter im ersten Polarisationskameramodul 510-1".
Im Ausführungsbeispiel in 5B, hat die fünfte Polarisationskamera 510E" einen Farbfilter 518E", der konfiguriert ist, um Licht in einem roten (R') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum R verschoben ist, das von dem entsprechenden Farbfilter 518A" des entsprechenden Polarisationskameramoduls 510A" des ersten Polarisationskameramoduls 510- 1" übertragen wurde. Gleichermaßen, hat die sechste Polarisationskamera 510F" einen Farbfilter 518F", der konfiguriert ist, um Licht in einem ersten grünen (G1') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum G1 verschoben ist, das von dem entsprechenden Farbfilter 518B'" der entsprechenden Polarisationskamera 510B" des ersten Polarisationskamera-Moduls 510-1" transmittiert wurde (und, in einigen Ausführungsformen auch ein anderes Spektrum als Spektrum G2). Die siebte Polarisationskamera 510G" hat einen Farbfilter 518G", der konfiguriert ist, um Licht in einem zweiten grünen (G2') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum G2 verschoben ist, das von dem entsprechenden Farbfilter 518C'" der entsprechenden Polarisationskamera 510C" des ersten Polarisationskameramoduls 510-1" transmittiert wurde (und, in einigen Ausführungsformen auch ein anderes Spektrum für das Spektrum G1). Die achte Polarisationskamera 510H" hat einen Farbfilter 518H", der konfiguriert ist, um Licht in einem blauen (B') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum B verschoben ist, das von dem entsprechenden Farbfilter 518D'" der entsprechenden Polarisationskamera 510D'' des ersten Polarisationskameramoduls 510- 1" transmittiert wurde.
Zusammen erfassen die vier Polarisationskameras des zweiten Polarisationskameramoduls 510-2" Licht in vier verschiedenen Polarisationszuständen (z.B., vier verschiedene lineare Polarisationen von 0°, 45°, 90° und 135°) und vier verschiedene Farben (z. B. R', G1', G2' und B'), die sich auch von den vier Farben unterscheiden, die vom ersten Polarisationskameramodul 510-1" erfasst werden. Infolgedessen ist das in den , und dargestellte multispektrale Stereo-Polarisationskamerasystem 510 so konfiguriert, dass es Licht in acht verschiedenen Farben und unter vier verschiedenen Polarisationswinkeln erfasst.
Während einige Ausführungsformen der vorliegenden Offenbarung oben in Bezug auf die 5A, 5B und 5C detailliert beschrieben sind, sind die Ausführungsformen der vorliegenden Offenbarung nicht auf diese beschränkt. Zum Beispiel kann, wie oben erwähnt, in einigen Ausführungsformen der vorliegenden Offenbarung jedes Polarisationskameramodul nur drei Polarisationskameras umfassen. In einigen Ausführungsformen können die drei einzelnen Polarisationskameras entsprechende lineare Polarisatoren mit linearen Polarisationsfiltern bei 0°, 45° und 90° oder bei 0°, 60° und 120° umfassen. In einigen Ausführungsformen haben die drei einzelnen Polarisationskameras des ersten Polarisationskameramoduls entsprechende Farbfilter, um rotes (R), grünes (G) und blaues (B) Licht mit entsprechenden ersten Spektralprofilen zu transmittieren, und die drei einzelnen Polarisationskameras des zweiten Polarisationskameramoduls können entsprechende Farbfilter haben, um rotes (R'), grünes (G') und blaues (B') Licht mit zweiten Spektralprofilen zu transmittieren, die sich von dem ersten Spektralprofil unterscheiden (z. B, wobei jedes der zweiten Spektralprofile gegenüber den entsprechenden ersten Spektralprofilen um 10 bis 20 nm verschoben ist).
Während einige Ausführungsformen der vorliegenden Offenbarung oben in Bezug auf Farbfilter beschrieben sind, die verschiedene Bereiche des sichtbaren elektromagnetischen Spektrums transmittieren, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch die Verwendung von Farbfiltern umfassen, die selektiv Licht in anderen Bereichen des elektromagnetischen Spektrums transmittieren, z. B. Infrarotlicht oder ultraviolettes Licht.
In einigen Ausführungsformen der vorliegenden Offenbarung umfassen die beiden unterschiedlichen Polarisationskameramodule des multispektralen Stereo-Polarisationskamerasystems Polarisationskameras, die konfiguriert sind, um Polarisationsrohbilder unterschiedlicher Polarisationszustände (z. B. unterschiedlicher Polarisationswinkel) zu erfassen, wie z. B. unter Verwendung einer Polarisationsmaske, wie in 1B gezeigt, oder eines mechanisch oder elektronisch steuerbaren Polarisationsfilters. Gemäß einigen Ausführungsformen der vorliegenden Offenbarung umfasst jede Polarisationskamera ferner einen Farbfilter, der konfiguriert ist, um Licht in einer Vielzahl von Farben in Übereinstimmung mit einem Mosaikmuster, wie z. B. einem Bayer-Muster, zu filtern, wobei jede Polarisationskamera einen anderen Farbfilter haben kann, um eine multispektrale oder hyperspektrale Erfassung zu ermöglichen. In einigen Ausführungsformen enthält beispielsweise eine erste Polarisationskamera eines Stereopaars einen ersten Farbfilter, der konfiguriert ist, um Licht in den Spektren R, G1, G2, B (oder R, G, B) zu erfassen, wie oben beschrieben, und eine zweite Polarisationskamera des Stereopaars enthält einen zweiten Farbfilter, der konfiguriert ist, um Licht in den Spektren R', G1', G2', B' (oder R', G', B'), wie oben beschrieben, zu erfassen.
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Erfassung multispektraler Szenen unter Verwendung von Hardware-Anordnungen wie den oben beschriebenen, indem die spektralen Basisfunktionen für die Darstellung bestimmt werden. Durch Schätzung der spektralen Leistungsverteilung der Szenenbeleuchtung und Verwendung der spektralen Reflexionsfunktion der Macbeth-Farbkarte ist es möglich, einen Satz von Basisfunktionen B zu simulieren, die diese Beleuchtung darstellen. Dies ist insbesondere dann möglich, wenn das spektrale Profil des natürlichen Sonnenlichts für den Außenbereich geschätzt werden soll, wie es typischerweise bei der multispektralen Bildgebung für georäumliche Anwendungen der Fall ist. Sobald die spektralen Basisfunktionen bestimmt sind, ist es einfach, die Spektralkoeffizienten für jede Szene zu bestimmen, indem man einfach w (Gewichte) in der folgenden Gleichung auflöst $p = T S = T B w$
wobei p die Pixelwerte in den verschiedenen spektralen (Farb-)Kanälen darstellt (z. B. acht verschiedene Farbkanäle R, G1, G2, B, R', G1', G2' und B'), T die spektralen Empfindlichkeiten der verschiedenen spektralen Kanäle (z. B, die erfassten Werte), S ist die Beleuchtungsquelle, die in eine spektrale Basis zerlegt werden kann, B steht für die spektralen Basisfunktionen und w für die Koeffizienten für die Basisfunktionen.
Dementsprechend ermöglicht die Anwendung der obigen Gleichung (13) die Berechnung von Polarisationsinformationen pro Pixel sowie von Spektralinformationen.
Die von der multispektralen Hardware berechneten multispektralen oder hyperspektralen Informationen, wie die oben beschriebenen, können als Eingaben für andere Objekterkennungs- oder Instanzsegmentierungsalgorithmen (z. B. unter Verwendung von faltenden neuronalen Netzen, die basierend auf markierten multispektralen Polarisationsbild-Trainingsdaten trainiert oder neu trainiert werden) oder als Eingaben für klassische computerbasierte Seh-Algorithmen (z. B., wie z.B. zur Erkennung der Tiefe von Oberflächen auf der Grundlage der Parallaxenverschiebung von multispektralen und Polarisationsmerkmalen) zur Erkennung des Vorhandenseins von Objekten in den Szenen, die von multispektralen Stereo-Polarisationskamerasystemen gemäß den Ausführungsformen der vorliegenden Offenbarung abgebildet werden.
Während sich einige Ausführungsformen der vorliegenden Offenbarung, wie oben beschrieben, auf die multispektrale Polarisationsbildgebung aus mehreren Blickpunkten unter Verwendung eines Stereokamerasystems (z. B. eines Stereopaars) beziehen, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen der vorliegenden Offenbarung überstreicht beispielsweise ein multispektrales Kamerasystem (z. B. unter Verwendung eines Kamerasystems, das konfiguriert ist, um sechs oder mehr verschiedene Spektren zu erfassen, wie R, G, B, R', G' und B', wie oben beschrieben) mehrere Blickpunkte im Laufe der Zeit, z. B. wenn sich ein Objekt von Interesse auf einem Förderband befindet, das durch das Sichtfeld des Kamerasystems läuft, oder wenn sich das Kamerasystem über das Sichtfeld des Objekts von Interesse bewegt.
Ein Beispiel für Anwendungen in der Satellitenbildgebung ist der zusätzliche Vorteil, dass die Szene aus mehreren Winkeln betrachtet werden kann, die hoch korreliert sind. Die systematische Art und Weise, in der sich Satelliten in geraden Linien über einem bestimmten Punkt auf dem Boden bewegen, ermöglicht es den Satelliten, hochkorrelierte Multispektral- und Polarisationsdaten der Bodenoberflächen für jeden Blickpunkt über einen großen Bereich von Blickpunkten zu erhalten. Dementsprechend bestimmt in einigen Ausführungsformen der vorliegenden Offenbarung ein Verarbeitungssystem 100 für jeden Punkt auf dem Boden den optimalen Winkel, bei dem das Signal des Polarisationsgrades (DOLP) am stärksten ist, wodurch eine starke Korrelation hinsichtlich seiner Oberflächenorientierung entsteht. Siehe z. B. Gleichungen (2) und (4). Da die Spiegelung im Allgemeinen stark vom Blickpunkt abhängt, werden die meisten Ansichten einer bestimmten Oberfläche nicht spiegelnd sein, so dass Gleichung (2) ausreichen kann, um die Ausrichtung der abgebildeten Oberfläche zu berechnen, ohne dass eine Auswahl zwischen der nicht spiegelnden (oder diffusen) Gleichung und der spiegelnden Gleichung (4) erforderlich ist.
Darüber hinaus ermöglicht die Satellitenbildgebung die Erfassung von Bildern von Objekten, die aus sehr unterschiedlichen Blickpunkten aufgenommen wurden. Diese große Grundlinie ermöglicht die Abschätzung grober Entfernungen von Objekten am Boden, indem die multispektrale Bildgebung mit Polarisations- und Parallaxenverschiebungen aufgrund der großen Positionsveränderungen genutzt wird. Die Erkennung dieser groben Entfernungen liefert Informationen für das Katastrophenmanagement, die Überwachung von Stromleitungen und die Sicherheit. So sind Versorgungsunternehmen beispielsweise besorgt über das unkontrollierte Wachstum der Vegetation in und um Stromübertragungs- und -verteilungsleitungen, da die Gefahr von Bränden oder Schäden an den Leitungen besteht. Indem man die Bereiche um die Stromleitungen von verschiedenen Blickpunkten aus abbildet, ermöglicht die Erkennung der Parallaxenverschiebung der Objekte bei Betrachtung von verschiedenen Blickpunkten aus Schätzungen der Oberflächenhöhe der Vegetation und der Höhe der Übertragungs- und Verteilungsleitungen. Auf diese Weise kann automatisch festgestellt werden, wann die Bodenvegetation kritische Schwellenwerte in Bezug auf die Nähe der Leitungen im Hinblick auf das Wachstum der Vegetation erreicht. Um solche Daten sowohl bei Tag als auch bei Nacht zu überwachen, beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf die Verschmelzung von Polarisationsdaten mit thermischen Sensoren (z. B. Infrarotsensoren), um klare Wärmesignaturen unabhängig von den Beleuchtungsbedingungen zu erhalten.
Bildsegmentierung mit polarimetrischen Merkmalen
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Durchführung einer Instanzsegmentierung unter Verwendung polarimetrischer Hinweise, die in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung erfasst wurden. Einige Techniken zur Durchführung einer Instanzsegmentierung unter Verwendung polarimetrischer Hinweise werden in der vorläufigen US-Patentanmeldung Nr. 62/942,113 , die am 30. November 2019 beim US-Patentamt eingereicht wurde, und in der vorläufigen US-Patentanmeldung Nr. 63/001,445 , die am 29. März 2020 beim US-Patentamt eingereicht wurde, ausführlicher beschrieben, wobei die gesamten Offenbarungen durch Bezugnahme hierin aufgenommen sind.
6A ist ein Blockdiagramm der Verarbeitungsschaltung 100 zur Berechnung von Oberflächencharakterisierungsausgaben auf der Grundlage von Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung. 6B ist ein Flussdiagramm eines Verfahrens 600 zur Durchführung einer Oberflächencharakterisierung auf der Grundlage von Eingangsbildern, um eine Oberflächencharakterisierungsausgabe gemäß einer Ausführungsform der vorliegenden Erfindung zu berechnen.
Gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung wird die Verarbeitungsschaltung 100 unter Verwendung einer oder mehrerer elektronischer Schaltungen implementiert, die konfiguriert sind, um verschiedene Operationen durchzuführen, wie nachstehend ausführlicher beschrieben. Zu den Arten von elektronischen Schaltungen können eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Beschleuniger für künstliche Intelligenz (KI) (z. B. ein Vektorprozessor, der vektorarithmetische Logikeinheiten enthalten kann, die konfiguriert sind, um gemeinsame Operationen mit neuronalen Netzen, wie z. B. Punktprodukte und Softmax, effizient durchzuführen), ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), ein digitaler Signalprozessor (DSP) oder Ähnliches gehören. Zum Beispiel sind unter bestimmten Umständen Aspekte der Ausführungsformen der vorliegenden Offenbarung in Programmanweisungen implementiert, die in einem nichtflüchtigen, computerlesbaren Speicher gespeichert sind, wo sie, wenn sie von der elektronischen Schaltung (z. B. einer CPU, einer GPU, einem KI-Beschleuniger oder Kombinationen davon) ausgeführt werden, die hierin beschriebenen Operationen durchführen, um eine Charakterisierungsausgabe 20 aus Eingangspolarisationsrohbildern 18 zu berechnen. Die von der Verarbeitungsschaltung 100 durchgeführten Operationen können von einer einzelnen elektronischen Schaltung (z. B. einer einzelnen CPU, einer einzelnen GPU o. Ä.) durchgeführt werden oder auf mehrere elektronische Schaltungen (z. B. mehrere GPUs oder eine CPU in Verbindung mit einer GPU) verteilt werden. Die mehreren elektronischen Schaltungen können lokal zueinander sein (z. B. auf demselben Chip, in demselben Gehäuse oder in demselben eingebetteten Gerät oder Computersystem) und/oder können voneinander entfernt sein (z. B. in Kommunikation über ein Netzwerk wie ein lokales persönliches Netzwerk wie Bluetooth®, über ein lokales Netzwerk wie ein lokales drahtgebundenes und/oder drahtloses Netzwerk und/oder über ein Weitverkehrsnetzwerk wie das Internet, z. B. in einem Fall, in dem einige Operationen lokal und andere Operationen auf einem von einem Cloud-Computing-Dienst gehosteten Server durchgeführt werden). Eine oder mehrere elektronische Schaltungen, die die Verarbeitungsschaltung 100 implementieren, können hier als Computer oder Computersystem bezeichnet werden, das einen Speicher enthalten kann, in dem Anweisungen gespeichert sind, die, wenn sie von der einen oder den mehreren elektronischen Schaltungen ausgeführt werden, die hier beschriebenen Systeme und Verfahren implementieren.
Wie in 6A gezeigt, umfasst eine Verarbeitungsschaltung 100 in einigen Ausführungsformen einen Merkmalsextraktor oder ein Merkmalsextraktionssystem 700 und einen Prädiktor 750 (z. B. einen klassischen computerbasierten Seh-Vorhersagealgorithmus und/oder ein trainiertes statistisches Modell wie ein trainiertes neuronales Netzwerk), der konfiguriert ist, um eine Vorhersageausgabe 20 (z. B. eine statistische Vorhersage) in Bezug auf Oberflächenmerkmale von Objekten basierend auf der Ausgabe des Merkmalsextraktionssystems 700 zu berechnen. Verschiedene Ausführungsformen der vorliegenden Offenbarung werden hier im Zusammenhang mit der Oberflächencharakterisierung unter Umständen beschrieben, in denen Oberflächenmerkmale optisch schwierig zu erkennen sind und/oder in denen polarisationsbasierte Bildgebungsverfahren Informationen über die Oberflächennormalität liefern, die sonst nur schwer zu erhalten sind, wobei die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt sind. Beispielsweise können einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf Verfahren zur Charakterisierung der Oberflächen von Objekten angewandt werden, die aus Materialien bestehen oder Oberflächeneigenschaften aufweisen, die optisch schwierig zu erfassen sind, wie z. B. Oberflächen von lichtdurchlässigen Objekten, Objekte, die Mehrwegeffekte induzieren, Objekte, die nicht vollständig oder im Wesentlichen matt oder lambertianisch sind, und/oder sehr dunkle Objekte. Zu diesen optisch schwierigen Objekten gehören Objekte und deren Oberflächeneigenschaften, die mit Hilfe von Bildern, die von Kamerasystemen aufgenommen werden, die nicht auf die Polarisation des Lichts reagieren, schwer aufzulösen oder zu erkennen sind (z. B. auf der Grundlage von Bildern, die von Kameras ohne Polarisationsfilter im optischen Pfad aufgenommen wurden, oder bei denen verschiedene Bilder nicht auf unterschiedlichen Polarisationswinkeln basieren). Diese Oberflächenmerkmale können beispielsweise ein Aussehen oder eine Farbe haben, die den Oberflächen, auf denen die Merkmale auftreten, sehr ähnlich sind (z. B. haben Dellen die gleiche Farbe wie das darunter liegende Material, und Kratzer auf transparenten Materialien wie Glas können ebenfalls im Wesentlichen transparent sein). Auch wenn Ausführungsformen der vorliegenden Offenbarung im Zusammenhang mit der Erkennung von optisch schwierigen Oberflächenmerkmalen beschrieben werden, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt, nur optisch schwierige Oberflächenfehler zu erkennen. In einigen Ausführungsformen ist beispielsweise ein Prädiktor 750 so konfiguriert (z. B. wird ein statistisches Modell unter Verwendung von Trainingsdaten trainiert), dass er sowohl optisch schwierige Oberflächenmerkmale als auch Oberflächenmerkmale erkennt, die ohne Verwendung von Polarisationsinformationen robust detektierbar sind.
Die Polarisation kann zur Erkennung von Oberflächencharakteristiken oder - merkmalen verwendet werden, die bei alleiniger Verwendung von Intensitätsinformationen (z. B. Farbintensitätsinformationen) eine optische Herausforderung darstellen würden. Beispielsweise können mit Hilfe von Polarisationsinformationen Geometrie- und Materialveränderungen an den Oberflächen von Objekten erkannt werden. Materialveränderungen (oder Materialveränderungen), wie z. B. Grenzen zwischen verschiedenen Materialtypen (z. B. ein schwarzes metallisches Objekt auf einer schwarzen Straße oder eine farblose Flüssigkeit auf einer Oberfläche, die beide im Farbraum im Wesentlichen unsichtbar sind, aber im Polarisationsraum entsprechende Polarisationssignaturen aufweisen), können im Polarisationsraum besser sichtbar sein, da Unterschiede in den Brechungsindizes der verschiedenen Materialien Änderungen in der Polarisation des Lichts verursachen. Ebenso verursachen Unterschiede in der Spiegelung verschiedener Materialien unterschiedliche Änderungen des Polarisationsphasen-Drehwinkels, was ebenfalls zu erkennbaren Merkmalen im Polarisationsraum führt, die andernfalls ohne Verwendung eines Polarisationsfilters optisch schwierig zu erkennen wären. Dementsprechend führt dies dazu, dass der Kontrast in Bildern oder Tensoren in Polarisationsdarstellungsräumen erscheint, wo entsprechende Regionen von Tensoren, die im Intensitätsraum berechnet werden (z. B. Farbdarstellungsräume, die die Polarisation des Lichts nicht berücksichtigen), diese Oberflächenmerkmale nicht erfassen können (z. B. wenn diese Oberflächenmerkmale einen geringen Kontrast aufweisen oder in diesen Räumen unsichtbar sind). Beispiele für optisch schwierige Oberflächenmerkmale sind: die besonderen Formen der Oberflächen (z. B. der Grad der Glätte und Abweichungen von idealen oder akzeptablen physikalischen Konstruktionstoleranzen für die Oberflächen); Oberflächenrauhigkeit und Formen der Oberflächenrauhigkeitsmuster (z. B. absichtliche Ätzungen, Kratzer und Kanten in den Oberflächen von transparenten Objekten und bearbeiteten Teilen), Grate und Grate an den Kanten von bearbeiteten Teilen und Formteilen; und ähnliches. Die Polarisierung ist auch nützlich, um Objekte mit identischen Farben, aber unterschiedlichen Materialeigenschaften, wie Streuung oder Brechungsindex, zu erkennen.
Darüber hinaus kann, wie oben beschrieben, die Polarisation verwendet werden, um die Oberflächennormalen von Objekten basierend auf dem Grad der linearen Polarisation (DOLP) ρ und dem Winkel der linearen Polarisation (AOLP) ϕ zu erhalten, die aus den Polarisationsrohbildern basierend auf z. B. den Gleichungen (2), (3), (4) und (5) berechnet werden. Diese Oberflächennormalen liefern wiederum Informationen über die Form der Oberflächen.
Wie in 6B gezeigt und unter Bezugnahme auf 1B, erfasst die Verarbeitungsschaltung 100 im Verfahrensschritt 610 Polarisationsrohbilder 18 von Oberflächen in einer Szene 1. In einigen Ausführungsformen steuert die Verarbeitungsschaltung 100 beispielsweise eine oder mehrere Polarisationskameras 10 (z. B. eine oder mehrere einzelne Polarisationskameras, die in Polarisationskamera-Arrays und/oder Stereo-Polarisationskamerasystemen organisiert sein können, die mehrere Polarisationskameramodule umfassen), um Polarisationsrohbilder 18 zu erfassen, die eine Oberfläche eines Objekts in einer Szene 1 darstellen.
7A ist ein Blockdiagramm eines Merkmalsextraktors 700 gemäß einer Ausführungsform der vorliegenden Erfindung. 7B ist ein Flussdiagramm, das ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung zur Extraktion von Merkmalen aus Polarisationsrohbildern darstellt. In der in 7A gezeigten Ausführungsform umfasst der Merkmalsextraktor 700 einen Intensitätsextraktor 720, der konfiguriert ist, um ein Intensitätsbild I 52 in einem Intensitätsdarstellungsraum zu extrahieren (z. B. in Übereinstimmung mit Gleichung (7), als ein Beispiel für einen Nicht-Polarisationsdarstellungsraum), und Polarisationsmerkmalsextraktoren 730, die konfiguriert sind, um Merkmale in einem oder mehreren Polarisationsdarstellungsräumen zu extrahieren. In einigen Ausführungsformen der vorliegenden Offenbarung wird der Intensitätsextraktor 720 weggelassen und der Merkmalsextraktor extrahiert kein Intensitätsbild I 52. In der in 7A gezeigten Ausführungsform werden die in den Polarisationsdarstellungsräumen extrahierten Merkmale (z. B. DOLP ρ und AOLP ϕ) einem Oberflächennormalenberechner 780 zugeführt, um Oberflächennormalen 58 von Objekten in der Szene zu berechnen.
Wie in 7B gezeigt, kann die Extraktion von Polarisationsbildern im Verfahrensschritt 650 das Extrahieren eines ersten Tensors in einem ersten Polarisationsdarstellungsraum aus den Polarisationsrohbildern aus einem ersten Stokes-Vektor im Verfahrensschritt 651 umfassen. Im Verfahrensschritt 652 extrahiert der Merkmalsextraktor 700 ferner einen zweiten Tensor in einem zweiten Polarisationsdarstellungsraum aus den Polarisationsrohbildern. Beispielsweise können die Polarisationsmerkmalsextraktoren 730 einen DOLP-Extraktor 740 umfassen, der konfiguriert ist, um ein DOLP-p-Bild 54 (z. B. ein erstes Polarisationsbild oder einen ersten Tensor gemäß Gleichung (8) mit DOLP als erstem Polarisationsdarstellungsraum) zu extrahieren, und einen AOLP-Extraktor 760, der konfiguriert ist, um ein AOLP-ϕ-Bild 56 (z. B, ein zweites Polarisationsbild oder einen zweiten Tensor gemäß Gleichung (9), mit AOLP als zweitem Polarisationsdarstellungsraum) aus den gelieferten Polarisationsrohbildern 18 zu extrahieren. Darüber hinaus extrahiert das Merkmalsextraktionssystem 700 in verschiedenen Ausführungsformen zwei oder mehr verschiedene Tensoren (z. B. n verschiedene Tensoren) in zwei oder mehr Darstellungsräumen (z. B. n Darstellungsräumen), wobei der n-te Tensor im Verfahrensschritt 614 extrahiert wird. Wie oben beschrieben, extrahieren die Polarisationsmerkmalsextraktoren 730 in einigen Ausführungsformen der vorliegenden Offenbarung Polarisationsmerkmale in Polarisationsdarstellungsräumen, die sowohl lineare Polarisationsdarstellungsräume (z. B. Tensoren in den oben erwähnten AOLP- und DOLP-Darstellungsräumen, die aus Polarisationsrohbildern extrahiert werden, die mit einem linearen Polarisationsfilter erfasst wurden) als auch zirkulare Polarisationsdarstellungsräume (z. B. Tensoren, die aus Polarisationsrohbildern extrahiert werden, die mit einem zirkularen Polarisationsfilter erfasst wurden) umfassen. In verschiedenen Ausführungsformen umfassen die Darstellungsräume Polarisationsdarstellungsräume, sind aber nicht auf diese beschränkt.
Die Polarisationsdarstellungsräume können Kombinationen von Polarisationsrohbildern in Übereinstimmung mit Stokes-Vektoren umfassen. Als weitere Beispiele können die Polarisationsdarstellungen Modifikationen oder Transformationen von Polarisationsrohbildern in Übereinstimmung mit einem oder mehreren Bildverarbeitungsfiltern (z. B. einem Filter zur Erhöhung des Bildkontrasts oder einem Entrauschungsfilter) umfassen. Die Merkmalskarten 52, 54 und 56 in ersten Polarisationsdarstellungsräumen können dann einem Prädiktor 750 zugeführt werden, um Oberflächenmerkmale basierend auf den Merkmalskarten 50 zu erfassen.
Während 7B einen Fall illustriert, in dem zwei oder mehr verschiedene Tensoren aus den Polarisationsrohbildern 18 in mehr als zwei verschiedenen Darstellungsräumen extrahiert werden, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. Zum Beispiel wird in einigen Ausführungsformen der vorliegenden Offenbarung genau ein Tensor in einem Polarisationsdarstellungsraum aus den Polarisationsrohbildern 18 extrahiert. Beispielsweise ist ein Polarisationsdarstellungsraum von Rohbildern AOLP ϕ und ein anderer ist DOLP ρ (z. B. kann in einigen Anwendungen AOLP für die Erkennung von Oberflächenmerkmalen transparenter Objekte oder von Oberflächenmerkmalen anderer optisch schwieriger Objekte, wie durchscheinende, nicht lambertianische, mehrweginduzierende und/oder nicht reflektierende Objekte, ausreichend sein).
Darüber hinaus werden, wie oben in Bezug auf 7A erläutert, in einigen Ausführungsformen der vorliegenden Offenbarung ein oder mehrere Merkmalsvektoren basierend auf aus anderen Darstellungsräumen berechneten Merkmalen berechnet. In dem in 7A gezeigten Beispiel berechnet der Oberflächennormalen-Rechner 780 die Oberflächennormalen von Oberflächen in der abgebildeten Szene 1 im Oberflächennormalen-Raum (z. B. Azimutwinkel θ_a und Zenitwinkel θ_z) basierend auf den berechneten Tensoren AOLP ϕ und DOLP ρ. In einigen Ausführungsformen werden die Oberflächennormalen mit kartesischen Koordinaten kodiert (z. B. ein dreidimensionaler Vektor, der die Richtung der Oberflächennormalen angibt). Die berechneten Oberflächennormalen 58 können zu den Merkmalen 50 gehören, die durch den Merkmalsextraktor 700 extrahiert werden.
Dementsprechend werden durch die Extraktion von Merkmalen wie Polarisationsmerkmalen, Polarisationsbildern und/oder Oberflächennormalen aus Polarisationsrohbildern 18 erste Tensoren 50 erzeugt, aus denen optisch schwierige Oberflächencharakteristiken aus Bildern von Oberflächen der zu untersuchenden Objekte erfasst werden können. In einigen Ausführungsformen können die vom Merkmalsextraktor 700 extrahierten ersten Tensoren explizit abgeleitete Merkmale sein (z. B. handgefertigt von einem menschlichen Designer), die sich auf zugrundeliegende physikalische Phänomene beziehen, die in den Polarisationsrohbildern gezeigt werden können (z. B. die Berechnung von AOLP- und DOLP-Bildern in linearen Polarisationsräumen und die Berechnung von Tensoren in zirkularen Polarisationsräumen, wie oben beschrieben). In einigen zusätzlichen Ausführungsformen der vorliegenden Offenbarung extrahiert der Merkmalsextraktor 700 andere Nicht-Polarisations-Merkmalskarten oder Nicht-Polarisationsbilder, wie Intensitätskarten für verschiedene Lichtfarben (z. B. rotes, grünes und blaues Licht) und Transformationen der Intensitätskarten (z. B. Anwendung von Bildverarbeitungsfiltern auf die Intensitätskarten). In einigen Ausführungsformen der vorliegenden Offenbarung berechnet der Merkmalsextraktor 700 ferner Oberflächennormalen von Oberflächen, die durch die Polarisationsrohbilder dargestellt werden, in Übereinstimmung mit Form aus Polarisationstechniken, wie oben beschrieben. In einigen Ausführungsformen der vorliegenden Offenbarung kann der Merkmalsextraktor 700 konfiguriert sein, um ein oder mehrere Merkmale zu extrahieren, die automatisch erlernt werden (z. B. Merkmale, die nicht manuell von einem Menschen festgelegt werden), und zwar durch einen durchgängig überwachten Trainingsprozess basierend auf markierten Trainingsdaten. In einigen Ausführungsformen können diese gelernten Merkmalsextraktoren tiefe faltende neuronale Netze umfassen, die in Verbindung mit herkömmlichen computerbasierten Seh-Filtern verwendet werden können (z. B. eine Haar-Wavelet-Transformation, ein Canny-Kantendetektor, ein Tiefe-vom-Stereo-Rechner durch Block-Matching und dergleichen).
In einigen Ausführungsformen der vorliegenden Offenbarung implementiert der Prädiktor 750 einen oder mehrere klassische computerbasierte Seh-Algorithmen (z. B. Tiefe aus Stereo unter Verwendung von Block-Matching) basierend auf den ersten Tensoren 50.
In einigen Ausführungsformen der vorliegenden Offenbarung implementiert der Prädiktor 750 einen Bildsegmentierungsalgorithmus, z. B. durch Einbeziehung eines trainierten faltenden neuronalen Netzes. Die Bildsegmentierung bezieht sich auf die Kennzeichnung von Pixeln basierend auf der Klasse des im Pixel enthaltenen Objekts. Herkömmliche Algorithmen sind an konventionelle Rot-Grün-Blau-Kanal- (RGB) oder Graukanal-Informationen (im Folgenden RGB/Grau) angepasst und verwenden RGB/Grau-Bildgradienten, um Entscheidungsgrenzen zu erzwingen. Bei vielen industriellen Anwendungen sind RGB-/Graubildgradienten möglicherweise nicht vorhanden. Ein Beispiel ist ein Foto eines schwarzen Autos auf einer schwarzen Straße. Es ist schwierig, diese Szene zu segmentieren, um das Auto von der Straße zu trennen. Durch die Erfassung sowohl von RGB/Grau-Gradienten als auch von polarimetrischen Gradienten unter Verwendung von Polarisationskamerasystemen gemäß den Ausführungsformen der vorliegenden Offenbarung können jedoch computerbasierte Seh-Systeme auf der Grundlage der kombinierten RGB/Grau- und Polarisationshinweise (z. B. einschließlich der aus den Polarisationshinweisen berechneten Oberflächennormalen) trainiert werden, um eine semantische Segmentierung von Bildern unter Bedingungen durchzuführen, die bei der Verwendung von nur RGB/Grau-Bildern eine optische Herausforderung darstellen würden. Wie hierin verwendet, sind faltende neuronale Netze, die konfiguriert sind, um Polarisationsmerkmale als Eingabe zu nehmen (z. B., Merkmale in Polarisations-Merkmalsräumen, wie sie aus Polarisationsrohbildern durch den Merkmalsextraktor 700 extrahiert werden, wie z. B. AOLP ϕ, DOLP ρ und/oder Oberflächennormalen, die basierend auf AOLP und DOLP berechnet werden), werden hier als polarisierte CNNs bezeichnet, wie das Polarized Mask R-CNN, das oben und in U. S. Provisional Patent Application No. 62/942,113 , eingereicht beim United States Patent and Trademark Office am 30. November 2019 und U.S. Provisional Patent Application No. 63/001,445 , eingereicht beim United States Patent and Trademark Office am 29. März 2020 beschrieben ist.
Erweiterung der 3-D-Oberflächenrekonstruktion mit Polarisationsbildgebung
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Wiederherstellung von qualitativ hochwertigen Rekonstruktionen von geschlossenen Objekten. In einigen Ausführungsformen der vorliegenden Offenbarung wird die Oberflächenrekonstruktion in Verbindung mit hochwertigen dreidimensionalen (3-D) Modellen der Objekte verwendet, z. B. mit CAD-Modellen der zu scannenden Objekte, um Unklarheiten zu beseitigen, die sich aus einem polarisationsbasierten Bildgebungsverfahren ergeben. In früheren Versuchen wurden Methoden für unbekannte Geometrien entwickelt, ohne Zugang zu CAD-Modellen zu haben.
Das Erfassen einer qualitativ hochwertigen 3-D-Rekonstruktion eines physischen Objekts, für das bereits ein qualitativ hochwertiges 3-D-Computermodell existiert, ist in einer Vielzahl von Kontexten wichtig, wie z. B. bei der Qualitätskontrolle in der Fertigung und/oder Herstellung von Objekten. Im Falle der additiven Fertigung oder des 3D-Drucks kann ein Konstrukteur beispielsweise ein 3D-Modell eines Objekts erstellen und das 3D-Modell einem 3D-Drucker zur Verfügung stellen, der ein physisches Objekt basierend auf dem 3D-Modell herstellt. Während oder nach dem 3-D-Druckprozess kann das vom 3-D-Drucker hergestellte physische Objekt mit einem Stereo-Polarisationskamerasystem gemäß einigen Ausführungsformen der vorliegenden Offenbarung gescannt werden, und die erfassten Polarisationsdaten können zur Unterstützung der 3-D-Rekonstruktion der Oberflächen des physischen Objekts verwendet werden. Diese 3-D-Rekonstruktion kann dann in einer Software mit dem entworfenen 3-D-Modell verglichen werden, um Fehler im 3-D-Druckprozess zu erkennen. Ähnliche Techniken können auch bei anderen Herstellungsverfahren angewandt werden, z. B. zur Erstellung von 3-D-Rekonstruktionen der Formen von Objekten, die durch andere Herstellungsverfahren wie Spritzguss, Druckguss, Biegen usw. erzeugt werden.
Als ein Beispiel wird ein Stereo-Polarisationskamerasystem, wie das oben in Bezug auf 1E beschriebene, verwendet, um ein Objekt abzubilden, das in 3-D rekonstruiert werden soll, z. B. um ein 3-D-Modell des Objekts automatisch aus den erfassten Polarisationsrohbildern zu erstellen. Die Oberfläche des Objekts kann aufgrund praktischer Fertigungsbeschränkungen und/oder aufgrund von Mängeln im Fertigungsprozess spärliche Unregelmäßigkeiten aufweisen und ist möglicherweise nicht ideal glatt. Diese Unregelmäßigkeiten können als Hochfrequenzschwankungen auf der Oberfläche erscheinen. Hochfrequenzschwankungen (HFV) treten in 3 Fällen auf:
Erstens könnte es Bereiche auf der Oberfläche des Objekts geben, die gültige Hochfrequenzvariationen aufweisen (z. B. entworfen und beabsichtigt, vorhanden zu sein). Beispielsweise können bei der Nachbildung einer griechischen Büste oder Statue Details in der Nähe der Augen und Haare des gescannten 3-D-Modells auch im hochwertigen 3-D-Modell vorhanden sein, das zur Herstellung des physischen Objekts verwendet wurde.
Zweitens kann es Bereiche auf der Objektoberfläche geben, die aufgrund von Fehlern, Defekten oder anderen Beschädigungen der Oberfläche hochfrequente Abweichungen aufweisen. Im Falle des 3D-Drucks oder der additiven Fertigung können beispielsweise aufgrund des schichtweisen Fertigungsprozesses hochfrequente Muster entstehen, die den Oberflächen des Objekts ein „verwaschenes“ Aussehen verleihen. Ein anderes Beispiel ist ein Spritzgussverfahren, bei dem an den Stellen, an denen die beiden Teile der Form aneinanderstoßen, Nähte oder Grate im produzierten Objekt entstehen können. Diese Details werden in dem hochwertigen 3D-Modell nicht wiedergegeben.
Drittens können Kombinationen der ersten und der zweiten Form von Hochfrequenzvariationen in unmittelbarer Nähe zueinander auftreten (z. B. kann ein Grat in der Nähe der Haare der Büstenreplik auftreten, wodurch zusätzliche Linien in den Haaren entstehen).
Hochfrequenzschwankungen aufgrund von Details sind am realen Objekt erwünscht, HFVs aufgrund von Unregelmäßigkeiten dagegen nicht. Es ist jedoch wichtig, beide Arten von HFVs in der 3D-Rekonstruktion für die Zwecke der Inspektion und Profilometrie wiederherstellen zu können. Während einige dieser HFV-Details sowie Unregelmäßigkeiten von einem handelsüblichen 3D-Scanner möglicherweise nicht wiederhergestellt werden können (aufgrund der schlechten Auflösung, die sich aus Quantisierungsfehlern und anderen Rauschquellen ergibt), können Ausführungsformen der vorliegenden Offenbarung diese Fälle behandeln, wie im Folgenden näher erläutert wird. Einige beispielhafte Implementierungen können ein zusätzliches strukturiertes Beleuchtungsprojektorgerät verwenden, um das Objekt zu beleuchten, wenn das Objekt keine visuellen Merkmale aufweist. Einige Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Verwendung von passiver Beleuchtung (z. B. basierend auf der Umgebungsbeleuchtung in der Szene).
8A ist eine Illustration einer griechischen Büste, die von einer beispielhaften Implementierung der in dieser Erfindung vorgeschlagenen Bildgebungseinrichtung gescannt wird. Drei Typen von HFV-Details (801A: erwünschte Details wie Haare und Augen; 801B: unerwünschte Flecken und Defekte in der Nähe der Wangen und der Nase; und 801C: eine Kombination der Fälle A und B in unmittelbarer Nähe zueinander) sind vermerkt. Diese HFVs können mit Standard-3D-Bildgebungsverfahren nicht wiederhergestellt werden. Aspekte der Ausführungsformen der vorliegenden Erfindung beziehen sich auf die Behandlung all dieser Fälle. 8B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
In einigen Ausführungsformen der vorliegenden Offenbarung werden im Verfahrensschritt 810 Polarisationsrohbilder 18 von einem Objekt aus mehreren Blickpunkten aufgenommen, z. B. mit einem Stereo-Polarisationskamerasystem, wie oben in Bezug auf 1E beschrieben. Aus jedem der aufgenommenen Rohbilder kann ein Satz von vier separaten Polarisationswinkelbildern (0, 45, 90, 135) extrahiert werden. Diese können als P_C1 und P_C2 bezeichnet werden. In beispielhaften Implementierungen dieses Aufbaus können die Kameras in Standard-Stereokonfigurationen (optische Achsen parallel zueinander) oder in anderen Konfigurationen (z. B. wenn sich die optischen Achsen schneiden) untergebracht sein.
Im Verfahrensschritt 820 können Grad und Winkel der linearen Polarisation (DOLP ρ und AOLP ϕ) aus der Stokes-Vektorformulierung für beide Kameras unter Verwendung von PC1 und P_C2 wie oben beschrieben berechnet werden. Diese können als ρ_C1, ϕ_C1, ρC₂ und ϕ_C2 bezeichnet werden. Im Verfahrensschritt 830 werden Oberflächennormalen (z. B. Zenit θ_z und Azimut θ_a) aus der Polarisation unter Verwendung der Form aus der Polarisation (SFP) mit DOLP ρ und AOLP ϕ berechnet, wie oben in Bezug auf die Gleichungen (2), (3), (4) und (5) für beide Kameras C1 und C2 (z. B. basierend auf Polarisations-Rohbildern P_C1 und P_C2) beschrieben. Diese Oberflächennormalen aus den beiden Blickpunkten können als N_PolC1 und N_PolC2 bezeichnet werden.
Diese Oberflächennormalen leiden jedoch unter der azimutalen θ_a Mehrdeutigkeit um einen Winkel von π, die durch Verwendung des CAD-Referenzmodells als Einschränkung (z. B. durch Auswahl des azimutalen Winkels θ_a, der zu einer Oberfläche führt, die den geringeren Abstand oder Fehler in Bezug auf das Referenzmodell aufweist) disambiguiert und korrigiert werden kann. Dementsprechend kann niederfrequentes Rauschen (z. B. Mehrdeutigkeit durch einen Winkel von π) mit Hilfe des Referenzmodells aufgelöst werden.
Je nachdem, ob das Objekt dielektrisch oder nicht dielektrisch ist (unter Berücksichtigung der Stärke von DOLP), kann ein geeignetes DOLP-Berechnungsmodell verwendet werden, um den Zenitwinkel wie oben beschrieben zu schätzen. In einigen Ausführungsformen kann davon ausgegangen werden, dass das Material ein Dielektrikum mit einem Brechungsindex von 1,5 ist, da der Brechungsindex von Dielektrika typischerweise im Bereich [1,3; 1,6] liegt und diese Variation eine vernachlässigbare Änderung des DOLP ρ verursacht. In Fällen, in denen das Material nicht dielektrisch ist, würde die Genauigkeit des geschätzten Zenitwinkels unter Brechungsfehlern leiden. Der Brechungsfehler im Zenit ist ein niederfrequentes Phänomen und kann daher ebenfalls korrigiert werden, indem das Referenzmodell als Grundlage für die Auflösung des Brechungsfehlers verwendet wird.
Die Normalen N_PolC1 und N_PolC2 können beide unabhängig voneinander über einen Stichprobenraum (Ω) integriert werden, um die gesamte Oberfläche des Objekts oder einen Teil der Oberfläche des Objekts wiederherzustellen (z. B. geben die Oberflächennormalen die Neigung der Oberflächen des Objekts an, so dass die Integration über die Neigungen unter Berücksichtigung der Richtung der Normalen gegenüber der orthogonalen Richtung der Neigung die zugrunde liegende Form des Objekts wiederherstellt). Die aus einer solchen Integration gewonnene Oberfläche sollte mit der durch das CAD-Referenzmodell vorgegebenen Form übereinstimmen. Unterschiede zwischen der aus der Integration gewonnenen Oberfläche und dem Referenzmodell können auf fehlerhafte Teile des physischen Objekts hinweisen.
Zusätzlich zur ausschließlichen Verwendung des CAD-Modells zum Auflösen von Mehrdeutigkeiten und Fehlern bei der 3D-Rekonstruktion basierend auf Polarisationsdaten von einer Polarisationskamera (oder einem Polarisationskamera-Array) beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf die weitere Verbesserung der Qualität der 3D-Rekonstruktion durch Erzwingen der Konsistenz der Blickpunkte zwischen den Kameras des Stereo-Polarisationskamerasystems.
Dementsprechend beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf die Berechnung der geschätzten Oberflächennormalen, wie oben beschrieben, durch den in 8B gezeigten Verfahrensschritt 830, während sich einige Ausführungsformen der vorliegenden Offenbarung auf die weitere Verfeinerung der geschätzten Oberflächennormalen beziehen. Noch immer Bezug nehmend auf 8B wird im Verfahrensschritt 840 das hochwertige CAD-Referenzmodell an der Orientierung des physischen Objekts ausgerichtet, basierend auf visuellen Schlüsselpunkten, die auf dem Objekt in den Polarisationsrohbildern geschätzt werden, die von den beiden Kameras P_C1 und P_C2 erfasst wurden. Diese Schlüsselpunkte werden mit demselben Satz von Schlüsselpunkten im CAD-Referenzmodell korreliert, um die Pose des Objekts mit sechs Freiheitsgraden (6DoF) in Bezug auf die Kameras mithilfe von Perspective-N-Point (PnP) zu erhalten (siehe z. B. Fischler, M. A.; Bolles, R. C. (1981). „Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography“. Communications of the ACM. 24 (6): 381-395.) und/oder Random Sample Consensus (RANSAC). Die Verwendung mehrerer registrierter Kameras mit unterschiedlichen Blickpunkten ermöglicht eine genauere Posenrekonstruktion als die Verwendung einer einzigen Kamera mit einem einzigen Blickpunkt, obwohl Ausführungsformen der vorliegenden Offenbarung darauf nicht beschränkt sind und auch PnP mit einem Blickpunkt verwendet werden kann. Das CAD-Referenzmodell kann in die Kameraräume transformiert werden, die den verschiedenen Kameramodulen des Stereokamerasystems entsprechen (z. B. durch Transformation der Pose des CAD-Referenzmodells in die Pose des tatsächlichen physischen Objekts in Bezug auf das Kamerasystem), wodurch das Referenzmodell an das physische Objekt angepasst wird. Im Falle von zwei Kameras kann dies als CAD_C1 und CAD_C2 bezeichnet werden. Aus CAD_C1 und CAD_C2 werden dann Oberflächennormalen extrahiert (z. B. basierend auf den Ausrichtungen der Oberflächen in Bezug auf die virtuellen Kameras, die den Kameramodulen des Stereokamerasystems entsprechen). Diese Referenzflächennormalen können als N_CADC1 und N_CADC2 bezeichnet werden.
Das transformierte CAD-Referenzmodell kann dann als Orientierungshilfe zur Korrektur der hochfrequenten azimutalen π-Mehrdeutigkeit sowie des niederfrequenten Skalierungsfehlers im Zenit aufgrund der refraktiven Verzerrung verwendet werden. Die korrigierten Normalen sind aufgrund von Mehrbild-PnP zwischen den beiden Kameras konsistent, was diesen Ansatz robuster macht. Genauer gesagt werden im Verfahrensschritt 850 die geschätzten Normalen N_PolC1 und N_PolC2, die (im Verfahrensschritt 830) aus den Polarisationsrohbildern P_C1 und P_C2 der beiden Kameras berechnet wurden, anschließend korrigiert, um korrigierte Normalen Corrected N_PolC1 und Corrected_N_PolC2 zu berechnen. Die relativen Posen zwischen den korrigierten Normalen sollten mit der relativen Pose zwischen den Kameras (N_CADC1 und N_CADC2) konsistent sein. Dadurch werden zusätzliche Beschränkungen für die Konsistenz der Pose auferlegt, wodurch die SFP-Normalenkorrektur im Allgemeinen robuster wird, insbesondere im Fall von fronto-parallelen Facetten, bei denen der Zenit θ_z nahe bei 0° (oder 0 Radiant) liegt und die aufgrund der geringen Stärke des DOLP ρ entlang der Blickrichtung tendenziell verrauschte geschätzte Normalen aufweisen. Es ist jedoch weniger wahrscheinlich, dass eine bestimmte Facette frontal-parallel zu den beiden Kameramodulen eines Stereo-Polarisationskamerasystems liegt, da der Abstand (oder die Basislinie) zwischen den Kameramodulen gegeben ist. Dementsprechend können Regionen mit höherem DOLP-Wert ausgewählt werden, um eine robustere Oberflächennormale für Oberflächen zu erhalten, die zu einer Teilmenge der Kameramodule frontparallel sind.
Unter bestimmten Umständen verursacht die Spiegelung Probleme bei der Oberflächenrekonstruktion, da die Information über die Oberflächentextur aufgrund der Übersättigung der Bildintensität verloren geht. Dies führt dazu, dass die geschätzten Normalen auf einem spiegelnden Fleck stark verrauscht sind. Gemäß einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Polarisationskamerasystem mehrere Kameras (z. B. zwei oder mehr), die überlappende Bereiche der Szene von mehreren Blickpunkten aus betrachten (z. B. ein Stereo-Polarisationskamerasystem), die durch eine Grundlinie voneinander getrennt sind. Der Glanz ist im Allgemeinen ein stark vom Blickpunkt abhängiges Problem. Das heißt, es ist weniger wahrscheinlich, dass die Spiegelung von allen Kameras in einer Anordnung wie der in 1E gezeigten beobachtet wird, in der verschiedene Kameras verschiedene Blickpunkte auf die Oberflächen eines Objekts haben.
Im Detail beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die automatische Wiederherstellung robuster Oberflächennormalen, selbst bei stark spiegelnden Materialien, durch Abbildung der Oberflächen von mehreren Blickpunkten aus. Unter den meisten Beleuchtungsbedingungen ist es sehr unwahrscheinlich, dass ein bestimmter Bereich einer Oberfläche für alle Kameras in einem Stereo-Mehrblick-Kamerasystem spiegelnd erscheint.
Dementsprechend kann in einigen Ausführungsformen der vorliegenden Offenbarung ein Abstimmungsmechanismus verwendet werden, um Normalen von einem spiegelnden Fleck, der von einer bestimmten Kamera beobachtet wird, abzulehnen, während die Normalen von den anderen Kameras für den bestimmten Fleck ausgewählt werden, die mit größerer Wahrscheinlichkeit sowohl miteinander als auch mit dem CAD-Modell übereinstimmen. Beispielsweise können die Oberflächennormalen basierend auf den Polarisationsrohbildern berechnet werden, die von jedem der Polarisationskameramodule in der Stereo-Polarisationskameraanordnung erfasst wurden. Wenn die Oberflächennormalen, die basierend auf den Polarisationsrohbildern berechnet werden, in hohem Maße miteinander inkonsistent sind (z. B. mehr als ein Schwellenwert für den Winkelabstand), dann werden die berechneten Oberflächennormalen, die den Oberflächennormalen des Referenzmodells am nächsten liegen, als die korrekten Werte angenommen.
In anderen Ausführungsformen der vorliegenden Offenbarung können spiegelnde Flecken automatisch erkannt werden, indem gesättigte Pixel in den Polarisationsrohbildern identifiziert werden. Die Sättigung der Pixel deutet darauf hin, dass der betreffende Fleck möglicherweise spiegelnd ist und daher die Informationen in diesem Bereich ungenau sein können.
In noch anderen Ausführungsformen der vorliegenden Offenbarung umfasst das Stereokamerasystem mehr als zwei Polarisationskameramodule (z. B. drei oder mehr Polarisationskameramodule), die die Oberflächen der Objekte aus verschiedenen Blickpunkten aufnehmen. Dementsprechend kann ein Abstimmungsmechanismus verwendet werden, bei dem die Oberflächennormalen, die basierend auf den von den verschiedenen Kameras erfassten Polarisationsrohbildern berechnet werden, basierend auf der Ähnlichkeit geclustert werden (nachdem die Oberflächennormalen so transformiert wurden, dass sie einem gleichen Bezugsrahmen entsprechen, wie z. B. einem der Polarisationskameramodule). Da es unwahrscheinlich ist, dass die meisten Polarisationskameramodule Spiegelungen beobachten, sollten die meisten der berechneten Normalen innerhalb eines Fehlerbereichs konsistent sein. Dementsprechend kann der Clustering-Prozess Ausreißer in den berechneten Oberflächennormalen identifizieren, die durch spiegelnde Artefakte verursacht werden.
Eine Pseudocode-Beschreibung eines Algorithmus für die Korrektur von Normalen basierend auf der Abstimmung mit einem CAD-Referenzmodell wird im Folgenden ausführlicher dargestellt. Als Schreibweise:

N_P_C1 - Form-aus-Polarisation (SFP) Normalen in Kamera 1
N_P_C2 - SFP-Normalen in Kamera 2
N_CAD_C1 - Normalen im CAD-Referenzmodell, ausgerichtet an der Objektlage in Bezug auf Kamera 1
N_CAD_C2 - Normalen im CAD-Referenzmodell, ausgerichtet an der Objektlage in Bezug auf Kamera 2
Trans_C2_C1 - Lage von Kamera 2 in Bezug auf Kamera 1, erhalten durch extrinsische und intrinsische Kamerakalibrierung (z. B. bestimmt durch Bildkalibrierungsziele, die sowohl für Kamera 1 als auch für Kamera 2 sichtbar sind)
Trans_CAD_C1 - Transformation, die verwendet wird, um das CAD-Referenzmodell mit dem Objekt im Bildraum von Kamera 1 auszurichten, erhalten durch Multiview-PnP
Trans_CAD_C2 - Transformation, die verwendet wird, um das CAD-Referenzmodell mit dem Objekt im Bildraum von Kamera 2 auszurichten, das durch Multiview PnP erhalten wurde
(~) - Konsistenzoperator

Der Konsistenzoperator (~) kann als eine Abstandsmetrik (z.B. eine auf Cosinusähnlichkeit basierende Winkeldistanzmetrik) modelliert werden, die zwischen den auf Konsistenz verglichenen Normalen berechnet wird. Wenn der Winkelabstand kleiner als ein Schwellenwert ist, sind die verglichenen Normalen miteinander konsistent, andernfalls nicht (!~). Die zu vergleichenden Normalen werden in denselben Koordinatensatz transformiert (in diesem Fall in den Master-Kamera- oder Kamera 1-Bildraum), wobei die oben aufgeführten Transformationen verwendet werden, bevor der Konsistenzoperator (~) angewendet wird.
Pseudocode-Implementierung der Abstimmung basierend auf dem vorherigen CAD-Referenzmodell:
Für jede Pixelnormale in N_P_C1 (Master-Kamera-Bildraum, in diesem Fall Kamera 1):

# Fall 1: SFP-Normalen in beiden Kameras sind konsistent mit CAD (keine Mehrdeutigkeit)

       if (N_P_C1~ N_P_C2) && (N_P_C1 ~ N_CADC1) && (N_P_C2 ~
  N_CAD_C2) then:
            retain N_P_C1 or Trans-C2_C1*(N_P_C2) abhängig davon, welche der
  beiden Kameranormalen besser mit dem CAD-Modell übereinstimmt

# Fall 2: SFP-Normalen in den zwei Kameras stimmen miteinander überein, aber beide stimmen nicht mit dem CAD-Normal überein (HFV-Fleck/Defekt auf der Oberfläche)
```
       else if (N_P_C1 ~ N_P_C2) && (N_P_C1 !~ N_CAD_C1) && (N_P_C2 !~
  N_CAD_C2) then:
            retain N_P_C1
```

# Fall 3: SFP-Normalen in nur einer der Kameras stimmen mit CAD überein (Problem mit Spiegelungen / Frontalparallelität in der anderen Kamera)

       else if (N_P_C1 ~ N_CAD_C1) && (N_P_C2 !~ N_CAD_C2) then:
             retain N_P_C1 #Spekularität / Front-zu-Parallel-Facette Problem in
  Kamera 2
       else if (N_P_C2 ~ N_CAD_C2) && (N_P_C1 !~ N_CAD_C1) then: 
             retain Trans-C2_C1*(N_P_C2) #Spekularität / Front-zu-Parallel-Facette
  Problem in Kamera 1

# Fall 4: SFP-Normalen in beiden Kameras sind sowohl untereinander als auch mit CAD inkonsistent

       else if (N_P_C1 !~ N_CAD_C1) && (N_P_C2 !~ N_CAD_C2) &&
  (N_P_C1 !~ N_P_C2) then:
            retain N_CAD_C1

In einigen Ausführungsformen der vorliegenden Offenbarung werden die korrigierten Oberflächennormalen Corrected_N_(PolC1) und Corrected_N_(Pol_C2) über den Abtastraum (Ω) integriert, um eine 3-D-Rekonstruktion des vom Stereo-Polarisationskamerasystem abgebildeten Objekts zu erstellen.
Während sich die oben beschriebenen Ausführungsformen auf die 3D-Rekonstruktion von 3D-Objekten basierend auf einem hochwertigen 3D-Modell, wie z. B. einem CAD-Konstruktionsmodell, beziehen, beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auch auf die 3D-Rekonstruktion von allgemein flachen Oberflächen oder Oberflächen mit bekannter, einfacher Geometrie unter Verwendung eines polarisierten Mehrblick-Kamerasystems, wie es in 1E gezeigt ist. Der Fall der einfachen Geometrie kann sich auf Umstände beziehen, in denen die zu analysierenden Objekte unbekannt sind, aber beispielsweise durch flache Ebenen, Kugeln und andere einfache parametrische Kurven mit bekannter Geometrie angenähert werden können. Flache Ebenen können z. B. für viele Oberflächen in der Umgebung eines selbstfahrenden Fahrzeugs verwendet werden, wie z. B. die Oberfläche einer Straße, aber auch Wände und Schilder. Darüber hinaus können je nach der für eine bestimmte Anwendung erforderlichen Auflösung und/oder Genauigkeit viele Oberflächen als lokal flach angenähert werden.
9A zeigt eine flache Oberfläche mit dem Brechungsindex n, die mit einer beispielhaften Implementierung der Bildgebungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung abgetastet wird. Für bestimmte Anwendungen in der Profilometrie und Inspektion wird diese Oberfläche auf ihre Glätte untersucht. Im Idealfall sollte diese Oberfläche glatt sein. In der Praxis können aufgrund von Defekten/Verschleiß vereinzelte Unregelmäßigkeiten 901 an zufälligen Stellen auf dieser ansonsten ebenen Oberfläche 902 auftreten. Diese Unregelmäßigkeiten manifestieren sich als HFV-Details (High-Frequency-Variation), die mit Standard-3D-Bildgebungsverfahren aufgrund von Rauschen und schlechter Auflösung nicht wiederhergestellt werden können. Die Ausführungsformen der vorliegenden Erfindung sind jedoch in der Lage, diese HFV-Unregelmäßigkeiten wiederherzustellen, indem sie die Polarisation in Verbindung mit der Ebenheit und den Beschränkungen durch mehrere Ansichten nutzen.
Dementsprechend beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf das Erfassen zufälliger, spärlicher Unregelmäßigkeiten auf einer ansonsten im Wesentlichen glatten Oberfläche (z. B. einer im Wesentlichen ebenen Oberfläche). Als motivierendes Beispiel können Ausführungsformen der vorliegenden Offenbarung verwendet werden, um Schlaglöcher in einer Straße mit einem Stereo-Polarisationskamerasystem zu erfassen, so dass ein selbstfahrendes Fahrzeug diese Schlaglöcher vermeiden kann, was aufgrund der Verkehrsbedingungen sinnvoll ist. Als weiteres motivierendes Beispiel können Ausführungsformen der vorliegenden Offenbarung verwendet werden, um Oberflächendefekte in Oberflächen mit allgemein einfacher Geometrie zu erfassen, wie z. B. das Erfassen von Oberflächenunregelmäßigkeiten in der Glätte einer Glasscheibe oder in einem Metallblech.
In einigen Ausführungsformen der vorliegenden Offenbarung kann ein Multiview-Polarisationskamerasystem außerdem einen strukturierten Lichtprojektor 903 umfassen, der konfiguriert ist, um gemustertes Licht auf eine Szene zu projizieren, um eine zusätzliche detektierbare Oberflächentextur für die Tiefe von Stereoprozessen bereitzustellen, die zwischen den Ansichten abgeglichen werden (z. B. unter Verwendung von Blockabgleich), um Parallaxenverschiebungen zu messen. In einigen Fällen ist der Projektor für strukturiertes Licht konfiguriert, um Infrarotlicht zu projizieren, und das Kamerasystem umfasst Kameras, die konfiguriert sind, um Infrarotlicht zusammen mit Licht in anderen Spektralbändern zu erfassen. Jede nachfolgende Analyse der Oberflächen kann dann basierend auf den in den anderen Spektralbereichen gesammelten Daten durchgeführt werden, so dass das projizierte Muster nicht versehentlich als Defekt in der Oberfläche des Materials erkannt wird.
9B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion von flachen oder geometrisch einfachen Oberflächen unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
In ähnlicher Weise wie oben beschrieben, werden in einigen Ausführungsformen der vorliegenden Offenbarung im Verfahrensschritt 910 Polarisationsrohbilder 18 von einer Szene (z. B. einschließlich im Wesentlichen flacher oder glatter Oberflächen) aus mehreren Blickpunkten erfasst, beispielsweise mit einem Stereo-Polarisationskamerasystem, wie oben in Bezug auf 1E beschrieben. Aus jedem der aufgenommenen Rohbilder kann ein Satz von vier separaten Polarwinkelbildern (0, 45, 90, 135) extrahiert werden. Diese können als P_C1 und P_C2 bezeichnet werden. In beispielhaften Implementierungen dieses Aufbaus können die Kameras in Standard-Stereokonfigurationen (optische Achsen parallel zueinander) oder in anderen Konfigurationen (z. B. wenn sich die optischen Achsen schneiden) untergebracht sein.
Im Verfahrensschritt 920 werden Grad und Winkel der linearen Polarisation (DOLP p und AOLP ϕ) aus der Stokes-Vektorformulierung für beide Kameras unter Verwendung von PC₁ und P_C2 wie oben beschrieben berechnet. Diese können als p_C1, ϕ_C1, p_C2 und ϕ_C2 bezeichnet werden.
Im Verfahrensschritt 930 können Oberflächennormalen (z. B. Zenit θ_z und Azimut θ_a) aus der Polarisation mittels Form aus Polarisation (SFP) unter Verwendung von DOLP p und AOLP ϕ, wie oben in Bezug auf die Gleichungen (2), (3), (4) und (5) für beide Kameras C1 und C2 (z. B. auf der Grundlage von Polarisations-Rohbildern P_C1 und P_C2) beschrieben, erhalten werden. Abhängig davon, ob das Objekt dielektrisch oder nicht dielektrisch ist (unter Berücksichtigung der Stärke von DOLP), kann ein geeignetes DOLP-Berechnungsmodell verwendet werden, um den Zenitwinkel wie oben beschrieben zu schätzen. In einigen Ausführungsformen kann angenommen werden, dass das Material ein Dielektrikum mit einem Brechungsindex von 1,5 ist, da der Brechungsindex von Dielektrika typischerweise im Bereich [1,3; 1,6] liegt und diese Variation eine vernachlässigbare Änderung des DOLP p verursacht. In Fällen, in denen das Material nicht dielektrisch ist, würde die Genauigkeit des geschätzten Zenitwinkels unter der Brechungsverzerrung leiden.
Diese Oberflächennormalen aus den beiden Blickpunkten können als N_PolC1 und N_PolC2 bezeichnet werden. Diese Oberflächennormalen leiden jedoch unter der azimutalen θ_a-Mehrdeutigkeit um einen Winkel von π, die durch die Verwendung der Grobtiefenkarte als Einschränkung (z. B. durch Auswahl des azimutalen Winkels θ_a, der zu einer Oberfläche führt, die den kleineren Abstand oder Fehler in Bezug auf das Referenzmodell aufweist) disambiguiert und korrigiert werden kann. Dementsprechend kann niederfrequentes Rauschen (z. B. Mehrdeutigkeit durch einen Winkel von π) unter Verwendung der Grobtiefenkarte aufgelöst werden, die aus der Stereoansicht der Szene erstellt wurde.
Darüber hinaus wird im Verfahrensschritt 940 eine Grobtiefenkarte (CDM) basierend auf der Parallaxenverschiebung zwischen den Kamerapaaren im Stereo-Polarisationskamerasystem berechnet, basierend auf Tiefe-von-Stereo-Ansätzen (z. B. wo größere Parallaxenverschiebungen Oberflächen anzeigen, die sich näher am Kamerasystem befinden, und kleinere Parallaxenverschiebungen Oberflächen anzeigen, die weiter entfernt sind). Wie bereits erwähnt, enthält das Stereo-Polarisationskamerasystem in einigen Ausführungsformen ein Beleuchtungssystem mit strukturiertem Licht, das die Übereinstimmung der entsprechenden Bildbereiche verbessern kann, wenn die Oberflächen keine intrinsische Textur oder andere visuelle Merkmale aufweisen. Im Verfahrensschritt 940 wird die berechnete Grobtiefenkarte auch an den Bildräumen ausgerichtet, die den Blickpunkten C1 und C2 entsprechen (z. B. unter Verwendung der relativen Pose und der extrinsischen Matrizen aus der Kamerakalibrierung), wobei die Grobtiefenkarten, die diesen Bildräumen entsprechen, als CDM_C1 und CDM_C2 bezeichnet werden.
Im Verfahrensschritt 950 werden die geschätzten Normalen N_PolC1 und N_PolC2 basierend auf den Normalen korrigiert, die aus dem CDM N_CDMC1 und N_CDMC2 erhalten werden, um die korrigierten Oberflächennormalen Corrected_N_PolC1 und Corrected_N_PolC2 zu berechnen. In einigen Ausführungsformen der vorliegenden Offenbarung werden diese Normalen aus dem CDM unter Verwendung der in Kadambi et al. 2015 (siehe oben) beschriebenen Methode der ebenen Hauptkomponente berechnet. In einigen Ausführungsformen werden die aus dem CDM, N_CDMC1 und N_CDMC2 berechneten Normalen als Orientierungshilfe verwendet, um hochfrequente azimutale Mehrdeutigkeit sowie Brechungsfehler-Zenit-Verzerrung in N_PolC1 zu korrigieren, wobei die Konsistenz zwischen mehreren Ansichten mit der Kamera P_C2 gemeinsam berücksichtigt wird. Diese korrigierten Normalen sind auch robuster als die sonst verrauschten SFP-Normalen im Falle von frontal-parallelen Facetten sowie von Spiegelungen, wie oben beschrieben. In einigen Ausführungsformen wird auch die Ebenheitspriorität der Oberfläche (oder eine andere einfache geometrische Form der Oberfläche) zur weiteren Verfeinerung der Zenitverzerrung verwendet. Insbesondere sollten die geschätzten Normalen N_PolC1 und N_PolC2 im Allgemeinen flach sein, und daher sollten die Normalen der wiederhergestellten Oberfläche (abgesehen von Bereichen mit lokalen Oberflächenunregelmäßigkeiten) in jeder der Kameras ungefähr 90 Grad und parallel zueinander sein. In einigen Ausführungsformen der vorliegenden Offenbarung wird ein Abstimmungsschema verwendet, um die Korrektur der Normalen durchzuführen.
Im Folgenden wird eine Pseudocode-Beschreibung eines Algorithmus für die Korrektur von Normalen basierend auf einer Abstimmung mit einer flachen Oberfläche im Detail vorgestellt. Als Schreibweise:

N_P_C1 - Form-aus-Polarisation (SFP)-Normalen in Kamera 1
N_P_C2 - SFP-Normalen in Kamera 2
CDM - Grobtiefenkarte
N_CDM_C1 - Normalen in CDM im Bildraum von Kamera 1
N_CDM_C2 - Normalen in CDM im Bildraum von Kamera 2
Trans_C2_C1 - Relative Pose von Kamera 2 in Bezug auf Kamera 1, erhalten durch extrinsische und intrinsische Kamerakalibrierung
Trans_CDM_C1 - Transformation zur Ausrichtung des CDM auf das Objekt im Bildraum von Kamera 1
Trans_CDM_C2 - Transformation zur Ausrichtung des CDM mit dem Objekt im Bildraum von Kamera 2
(~) - Konsistenz-Operator
obeys_flatness() - Operator, der prüft, ob die ausgewählten Normalen einer Ebenheitsbedingung entsprechen.

Der Konsistenzoperator (~) kann als eine Abstandsmetrik (z. B. eine auf Cosinusähnlichkeit basierende Winkeldistanzmetrik) modelliert werden, die zwischen den auf Konsistenz verglichenen Normalen berechnet wird. Ist der Winkelabstand kleiner als ein Schwellenwert, sind die verglichenen Normalen miteinander konsistent, andernfalls nicht (!~). Die zu vergleichenden Normalen werden mit Hilfe der oben aufgeführten Transformationen in denselben Koordinatenrahmen transformiert (in diesem Fall in den Master-Kamera- oder Kamera 1-Bildraum), bevor der Konsistenzoperator (~) angewendet wird
Pseudocode-Implementierung der Abstimmung basierend auf der Ebenheitspriorität:
Für jedes normale Pixel in N_P_C1:

# Fall 1: SFP-Normalen in beiden Kameras sind konsistent mit CDM und erfüllen die Ebenheitsbedingungen (keine Mehrdeutigkeit)

       if (N_P_C1 ∼ N_P_C2) && (N_P_C1 ~ N_CDM_C1) && (N_P_C2 ~
  N_CDM_C2) && obeys_flatness(N_P_C1)==True &&
  obeys _flatness(N_P_C2)==True then:
              retain N_P_C1 or Trans_C2_C1 (N_P_C2) je nachdem, welche der
  beiden Kameranormalen besser mit dem CDM und der Ebenheitsbedingung
  übereinstimmen (konsistent sind)

# Fall 2: SFP-Normalen in den beiden Kameras sind miteinander konsistent, aber beide sind inkonsistent mit CDM-Normalen (HFV-Fleck/Defekt auf der Oberfläche)
```
       else if (N_P_C1 ~ N_P_C2) && (N_P_C1 !~ N_CDM_C1) && (N_P_C2 !~
  N CDM C2) then:
            retain N_P_C1
```

# Fall 3: SFP-Normalen in nur einer der Kameras sind konsistent mit CDM und Ebenheitsbeschränkungen (Spiegelung/Front-Parallel-Problem in der anderen Kamera)

       else if (N_P_C1 ~ N_CDM_C1) && (N_P_C2 ! ~ N_CDM_C2) &&
  obeys_atness(N_P_C1)==True then:
             retain N_P_C1 #Spekularität / Front-zu-Parallel-Facette Problem in
  Kamera 2
       else if (N_P_C2 ~ N_CDM_C2) && (N_P_C1 !~ N CDM C1) &&
  obeys_flatness(N_P_C2)==True then:
             retain Trans_C2_C1 (N_P_C2) #Spekularität / Front-zu-Parallel-Facette
  Problem in Kamera 1

# Fall 4: SFP-Normalen in beiden Kameras sind sowohl untereinander als auch mit CDM inkonsistent

       else if (N_P_C1! ∼ N_CDM_C1) && (N_P_C2 ! ∼ N_CDM_C2) &&
  (N_P_C1 ! ∼ N_P_C2) then:
             retain N_CDM_C1

In einigen Ausführungsformen werden die korrigierten Oberflächennormalen Corrected_N-(Pol_C1) und Corrected_N_(Pol_C2) verwendet, um die Form des Oberflächenobjekts zu rekonstruieren. In einigen Ausführungsformen kann beispielsweise ein Algorithmus zur Umkehrung einer dünnbesetzten Matrix angewendet werden (wie in Kadambi et al. 2015 beschrieben), um die korrigierten Tiefenkoordinaten der Oberfläche zu schätzen. Diese revidierten Tiefenkoordinaten haben eine höhere Auflösung als die ursprüngliche Tiefe, die mit Standard-3D-Bildgebungsverfahren (Stereo, Flugzeit usw.) ermittelt wurde.
Oberflächendefekte und -unregelmäßigkeiten können dann basierend auf dem Erfassen von Normalen erfasst werden, die verrauscht oder fehlerhaft sind oder die auf andere Weise die Lagekonsistenz zwischen den verschiedenen Kameramodulen des Stereo-Polarisationskamerasystems beeinträchtigen. Unter bestimmten Umständen sind diese spärlichen Unregelmäßigkeiten besonders offensichtlich, da sie in den für jede der Ansichten berechneten DOLP-Bildern in unterschiedlichen Anteilen auffallen. Mit anderen Worten: Teile der Normalskala, die gegen die Annahme der Ebenheit oder anderweitigen Glätte der Oberfläche verstoßen, können in Wirklichkeit nicht glatte Oberflächen sein, was die Erfassung spärlicher Unregelmäßigkeiten in einer Oberfläche ermöglicht, von der angenommen wird, dass sie generell glatt ist.
Erweiterung aktiver Abtastsysteme wie Lidar, Radar, Time-of-Flight und strukturierte Beleuchtung mit Polarisationsbildgebung
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Erweiterung aktiver Abtastsysteme basierend auf Polarisationsmerkmalen wie dem Grad der linearen Polarisation (DOLP) und dem Winkel der linearen Polarisation (AOLP), die aus Polarisationsrohbildern berechnet werden, die von Polarisationskamerasystemen erfasst werden. Unter bestimmten Umständen kann die Erweiterung einer Bildgebungsmodalität oder die Kombination mehrerer Bildgebungsmodalitäten als Sensorfusion bezeichnet werden.
Als ein motivierendes Beispiel für die Erweiterung aktiver Abtastsysteme umfassen einige autonome Fahrerassistenzsysteme (ADAS) Abtastsysteme, um Informationen über die Fahrumgebung zu erfassen und dem Fahrer Funktionen wie Auffahrwarnung (FCW), automatische Notbremsung (AEB), adaptive Geschwindigkeitsregelung (ACC) und Spurhalteassistent (LDW) zur Verfügung zu stellen. Im Allgemeinen reagieren diese ADAS-Funktionen auf Objekte und die Umgebung auf einer Makroebene, wobei das Sensorsystem des Fahrzeugs in der Lage ist, größere Objekte oder Merkmale auf der Straße wie andere Fahrzeuge und Fahrspurtrennungszeichen zuverlässig zu erkennen. Die Fähigkeit, kleinere Fahrzeuge wie Motorräder und Radfahrer zu erkennen, ist jedoch möglicherweise nicht so robust. Außerdem können kleine Objekte und Hindernisse wie Steine, Nägel, Schlaglöcher und Verkehrskegel von den Sensorsystemen solcher ADAS-Fahrzeuge nicht erkannt werden. Ähnliche Probleme können sich bei autonomeren oder selbstfahrenden Fahrzeugen ergeben, die von der Fähigkeit profitieren würden, eine größere Vielfalt potenzieller Gefahren auf der Straße zu erkennen und zu umfahren und Schäden an anderen Menschen, Tieren oder Gegenständen zu vermeiden. In Abwesenheit einer solchen Fähigkeit können die heutigen autonomen Fahrsysteme nicht den Anspruch erheben, eine sicherere Alternative zu bieten, da ein aufmerksamer Fahrer in vielen Fällen proaktiver vorgehen kann, um Gefahren zu erkennen und bei Bedarf korrigierend einzugreifen.
Dementsprechend beziehen sich einige Aspekte der vorliegenden Offenbarung auf die Erweiterung von Erfassungssystemen unter Verwendung von Polarisation, um die Erkennung von kleinen und/oder optisch schwierigen Objekten in einer Szene zu verbessern.
10A ist ein schematisches Diagramm eines Systems, in dem ein aktives Abtastsystem mit einem Polarisationskamerasystem gemäß einer Ausführungsform der vorliegenden Offenbarung erweitert wird. In der in 10A gezeigten Ausführungsform ergänzt ein Polarisationskamerasystem 1010, das konfiguriert ist, um Polarisationsrohbilder 1018 zu erfassen (z. B. eine einzelne Polarisationskamera, die konfiguriert ist, um verschiedene Bilder zu erfassen, die verschiedenen Polarisationszuständen entsprechen, ein Polarisationskamera-Array oder ein Stereo-Polarisationskamerasystem, wie oben beschrieben), ein aktives Erfassungssystem 1020. Das aktive Erfassungssystem umfasst einen aktiven Sender 1022, der konfiguriert ist, um Wellen (z. B. elektromagnetische Wellen oder Schallwellen) in Richtung einer Szene 1001 zu emittieren, die verschiedene Objekte 1002 und 1003 enthält, wobei die Reflexionen 1004 der Wellen von den Oberflächen der Objekte 1002 und 1003 durch einen Detektor 1024 des aktiven Erfassungssystems 1020 erfasst werden.
Im Falle eines Radarsystems kann der aktive Sender 1022 beispielsweise elektromagnetische Wellen im Hochfrequenz- oder Mikrowellenbereich aussenden, und der Detektor 1024 kann eine Antennengruppe enthalten, die konfiguriert ist, um das reflektierte Signal zu erfassen. Im Falle eines Lidar- und/oder Flugzeit-Tiefenkamerasystems kann der aktive Sender 1022 einen Laser enthalten, der konfiguriert ist, um Licht in die Szene 1001 zu emittieren (z. B. durch Scannen des Lasers über die Szene 1001 oder durch Blinken des Lichts über die Szene) und die Tiefe basierend auf der Zeit zu berechnen, die vergeht, bis reflektiertes Licht empfangen wird. Im Falle eines aktiven Stereotiefenkamerasystems kann der aktive Sender 1022 strukturiertes Licht oder gemustertes Licht auf die Szene emittieren, und der Detektor 1024 ist konfiguriert, um Licht in der vom aktiven Sender 1022 emittierten Wellenlänge (z. B. Infrarotlicht) zu erfassen. Das Verarbeitungssystem 1030 kann konfiguriert sein, um sowohl das Polarisationskamerasystem 1010 als auch das aktive Erfassungssystem 1020 zu steuern, einschließlich der Steuerung des Polarisationskamerasystems 1010 und/oder des aktiven Erfassungssystems 1020, um Daten zu erfassen und Rohdaten zu empfangen, die von dem Polarisationskamerasystem 1010 und dem aktiven Abtastsystem 1020 erfasst wurden, um Objekte zu erkennen oder anderweitig eine Szene zu analysieren.
Wie oben beschrieben, können optisch anspruchsvolle Objekte in vielen Fällen für vergleichende oder Standard-Kamerasysteme, die keine Informationen bezüglich der Polarisation von Licht erfassen, im Wesentlichen unsichtbar sein. Andererseits kann die Erfassung von Polarisations-Rohbildern von Szenen und die Berechnung von Polarisationsinformationen aus den Polarisationsrohbildern den Kontrast von optisch anspruchsvollen Objekten in einer Szene erhöhen, da diese optisch anspruchsvollen Objekte unverwechselbare Polarisationssignaturen aufweisen können (z. B. im Fall einer transparenten Glaskugel, glänzendem Metall auf dem Boden und dergleichen).
Dementsprechend beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die Verwendung eines Prädiktors 750, der konfiguriert ist, um erste Tensoren 50 in Polarisationsmerkmalsräumen als Eingabe zu empfangen (z. B. ein trainiertes Polarisations-CNN), um optisch schwierige Objekte in einer Szene zu identifizieren und eine Charakterisierungsausgabe 20 wie eine Segmentierungskarte zu erzeugen, die mit den Ausgaben anderer Sensoren, die an derselben Szene arbeiten, kombiniert oder verschmolzen werden kann (z. B., Radar- und/oder Lidar-Daten, die die Entfernungen und Geschwindigkeiten verschiedener Objekte in einer Szene zeigen, eine Tiefenkarte, die basierend auf einem RGB-/Graustufen-basierten Kamerasystem berechnet wird, oder eine Segmentierungskarte, die von einem RGB-/Graustufenbasierten Kamerasystem berechnet wird).
In Fortsetzung des obigen Beispiels für ADAS und automatisiertes Fahren für Fahrzeuge wird ein Polarisations-CNN trainiert, um Straßenhindernisse auf Mikroebene, in unübersichtlichen Umgebungen, von optisch anspruchsvollen Objekten wie glänzendem Metall und Glas sowie anderen Objekten zu erfassen, die sich als gefährlich erweisen können, wie semantisch inkonsistente Objekte, die flüchtig und noch gefährlicher sind, wie Felsen, Wasser, Eis oder Ölflecken auf der Straße. Diese stellen gefährliche und unerwartete Straßenzustände dar, die zur Vorsicht mahnen. Dementsprechend ermöglicht die Verschmelzung der großflächigen, groben Daten von aktiven Erfassungssystemen wie Lidar und Radar mit Segmentierungskarten, die mittels Polarisationsmerkmalen berechnet werden, ADAS- und automatisierte Fahrsysteme eine breitere Objektspanne in einer Fahrumgebung zu erfassen, von großflächigen Fahrzeugen bis hin zu mikroskopisch kleinen Nägeln, flachen Metallplatten und dergleichen.
Wie oben erwähnt, sind Lidar- und Radarsysteme im Allgemeinen darauf beschränkt, spärliche Punktwolken von Informationen über die Szene zu erzeugen. Insbesondere kann der aktive Sender 1022 der aktiven Abtastvorrichtung 1020 verschiedenen physikalischen Beschränkungen unterliegen, die einen Kompromiss zwischen der Breite der Abdeckung (z.B. Raumwinkel, der vom aktiven Sender 1022 abgedeckt wird), der Auflösung und der Latenzzeit erzwingen. Physikalische Beschränkungen können beispielsweise die Geschwindigkeit begrenzen, mit der ein Lasersender eines Lidars eine Szene abtasten kann, und eine schnellere Abtastung führt dazu, dass weniger Lichtstrahlen in einen Bereich der Szene emittiert werden, wodurch das vom Detektor 1024 für einen bestimmten Winkel empfangene Signal reduziert wird. Ein langsamerer Abtastvorgang kann die Zeit zwischen aufeinanderfolgenden Abtastungen eines Bereichs verlängern (oder die Bildrate der Daten verringern), wodurch sich die Latenzzeit erhöht, was bei Anwendungen, die eine Echtzeitsteuerung erfordern, zu Problemen führen kann. Bei aktiven Stereotiefensensoren strahlt ein Projektor mit strukturiertem Licht ein Lichtmuster auf eine Szene ab, das Punkte und/oder Linien enthalten kann, wobei lokale Flecken im gesamten Muster eindeutig sind. Die Winkelauflösung des Systems wird jedoch durch die Auflösung des Punktmusters eingeschränkt.
Daher beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die Erzeugung von 3-D-Modellen höherer Qualität durch die Verschmelzung von spärlichen Punktwolken, die von aktiven 3-D-Scansystemen erfasst werden, mit Oberflächennormalen, die aus Polarisationsdaten berechnet werden, die von einem Polarisationskamerasystem erfasst werden.
10B ist ein Flussdiagramm, das ein Verfahren 1050 zum Verschmelzen des von einem aktiven 3D-Scannersystem erfassten 3D-Modells mit den von einer Polarisationskamera erfassten Oberflächennormalen gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt. Mit Bezug auf 10B steuert ein Verarbeitungssystem 1030 im Verfahrensschritt 1051 einen aktiven Scanner 1020 (z.B. Lidar, Radar, aktives Stereo, Time-of-Flight, etc.), um eine Punktwolke einer Szene 1001 zu erfassen. Im Verfahrensschritt 1052 steuert das Verarbeitungssystem 1030 das Polarisationskamerasystem 1010, um Polarisationsrohbilder 1018 zu erfassen. In einigen Ausführungsformen werden die Verfahrensschritte 1051 und 1052 gleichzeitig ausgeführt, so dass im Wesentlichen dieselbe Szene von beiden Systemen erfasst wird (z. B. kann sich die Szene in dynamischen Situationen wie beim Fahren im Straßenverkehr aufgrund der Bewegung des Fahrzeugs, auf dem das ADAS oder das automatisierte Fahrsystem montiert ist, sowie aufgrund der Bewegung anderer Fahrzeuge und Objekte in der Umgebung kontinuierlich ändern). Im Verfahrensschritt 1053 werden Oberflächennormalen aus den Polarisationsrohbildern berechnet, z. B. durch Anwendung der oben beschriebenen Techniken (z. B. Extrahieren von Tensoren in den Darstellungsräumen AOLP ϕ und DOLP p und Berechnen von Oberflächennormalen gemäß den Gleichungen (2), (3), (4) und (5)). Im Verfahrensschritt 1054 werden die Oberflächennormalen über den Abtastraum integriert, um eine 3-D-Oberfläche zu berechnen, und im Verfahrensschritt 1055 wird die 3-D-Oberfläche, die basierend auf den Oberflächennormalen berechnet wurde, in Übereinstimmung mit den Einschränkungen der spärlichen Punktwolke, die durch den aktiven Scanner 1020 erfasst wurde, korrigiert, um ein 3-D-Modell der Szene zu erzeugen, das von höherer Qualität ist als die Punktwolke, die durch den allein arbeitenden aktiven Scanner 1020 erfasst wurde.
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich ferner auf die Erzeugung von 3D-Modellen höherer Qualität einer Szene durch Strahlsteuerung des aktiven Scanners 1020, um Scans mit höherer Auflösung von bestimmten Bereichen von Interesse innerhalb der Szene durchzuführen. In einigen Ausführungsformen der vorliegenden Offenbarung ist ein Prädiktor 750 konfiguriert, um Bereiche von Interesse innerhalb einer bestimmten Szene zu identifizieren. In einigen Ausführungsformen wird zum Beispiel ein polarisiertes faltendes neuronales Netz trainiert, um eine Segmentierungsmaske zu berechnen, die Bereiche von Interesse identifiziert, basierend auf markierten Trainingsdaten. Um das Beispiel der Sensoren für ADAS und automatisierte Fahrsysteme fortzusetzen, kann ein Polarisations-CNN trainiert werden, um Objekte von Interesse in einer Szene zu identifizieren, die mit einem vergleichenden aktiven Abtastsystem, das allein mit seinem aktiven Sender 1022, der konfiguriert ist, um einen breiten Strahl zu emittieren, schwer zu erfassen oder zu analysieren sind (z. B. kleine Fahrzeuge wie Motorräder und Fahrräder, kleine und mittelgroße Objekte wie Verkehrskegel, Ketten und andere leichte Barrieren und dergleichen).
10C ist ein Flussdiagramm, das ein Verfahren zur Erweiterung eines aktiven Erfassungssystems mittels Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Wie in 10C gezeigt, steuert das Verarbeitungssystem 1030 gemäß einem Verfahren 1060 das Polarisationskamerasystem 1010, um Polarisationsrohbilder im Verfahrensschritt 1061 zu erfassen. Im Verfahrensschritt 1062 identifiziert das Verarbeitungssystem 1030 Bereiche von Interesse in den Polarisationsrohbildern, z. B. durch Extrahieren von Polarisationsmerkmalen (oder Tensoren in Polarisationsdarstellungsräumen) aus den Polarisationsrohbildern und Liefern der Polarisationsmerkmale an ein polarisiertes faltendes neuronales Netz, das darauf trainiert ist, Objekte und Bereiche von Interesse für einen bestimmten Anwendungsfall zu identifizieren. Im Verfahrensschritt 1063 steuert das Verarbeitungssystem 1030 das aktive Scansystem (z. B. steuert es die Richtung und/oder den Raumwinkel eines vom aktiven Sender 1022 emittierten Strahls), um die identifizierten Bereiche von Interesse zu scannen und hochauflösende aktive Scans der Bereiche von Interesse zu erzeugen. Diese aktiven Abtastungen können genauere Informationen liefern als die Ausgabe der niedrig aufgelösten, breiten Abtastungen der Szene, die vom aktiven Erfassungssystem 1020 ohne Verwendung der Strahlsteuerung durchgeführt werden, und können auch andere Informationen liefern als die, die vom Polarisationskamerasystem 1010 ermittelt werden. Beispielsweise kann das Polarisationskamerasystem 1010 hochpräzise Winkeldaten bezüglich der Richtung einer bestimmten Oberfläche oder eines Bereichs von Interesse innerhalb einer Szene liefern, ist aber möglicherweise nicht in der Lage, genaue Informationen über den Abstand oder die dreidimensionale Form der Oberfläche von Interesse zu liefern. Andererseits ermöglicht die Fokussierung oder Lenkung des von einem aktiven Strahler 1022 ausgesandten Strahls auf die Oberfläche oder den interessierenden Bereich hochpräzise Messungen dieser Oberflächen (z. B. basierend auf der Flugzeit zu Punkten innerhalb der identifizierten Bereiche). Als spezifisches Beispiel für die Strahlsteuerung kann im Falle von Lidar ein Standardabtastzyklus des Lidarsystems auf die Abtastung nur der identifizierten Bereiche von Interesse fokussiert werden, wodurch die auf diese Bereiche von Interesse abgestrahlte Energie erhöht wird und dadurch das Signal, das vom Detektor 1024 erfasst werden kann, erhöht wird. In ähnlicher Weise können beim Radar Strahlformungstechniken (z. B. unter Verwendung einer phasengesteuerten Anordnung) eingesetzt werden, um den auszusendenden Strahl breiter oder schmaler zu gestalten und die Richtung, in der die Signale ausgesendet werden, zu steuern. Bei einem aktiven Stereo-Abtastsystem kann das strukturierte Lichtmuster so fokussiert werden, dass es nur die bestimmten Bereiche von Interesse abdeckt, wodurch die Auflösung des Musters in diesen Bereichen von Interesse erhöht wird und somit ein Blockabgleich mit höherer Auflösung über die Oberflächen im Bereich von Interesse möglich ist. In einigen Ausführungsformen ist eine selektive Strahlsteuerung über mehrere Bilder durch Verfolgung in den registrierten/fusionierten Polardaten möglich. Dementsprechend kann ein gelenkter Strahl zum Beispiel höher aufgelöste 3D-Punktwolken bestimmter Bereiche von Interesse liefern. In einigen Ausführungsformen werden diese 3D-Punktwolken mit höherer Auflösung weiter verbessert, indem Oberflächennormalen verwendet werden, die aus den vom Polarisationskamerasystem 1010 erfassten Polarisationsrohbildern berechnet werden.
Das Erfassen von 3D-Modellen höherer Qualität von Objekten unter Verwendung aktiver Abtastsysteme (z. B. durch Strahlsteuerung und/oder durch die Verbesserung der Oberflächenformerfassung unter Verwendung von Oberflächennormalen, die aus der Polarisation berechnet werden) bietet Verbesserungen bei der Objekterfassung und -klassifizierung aufgrund von Modellen mit höherer Auflösung, die als Eingabe für den Klassifikator dienen. Ein neuronales Netz, das für die Klassifizierung von Objekten trainiert ist (z. B. für die Unterscheidung zwischen einem Hund und einem Hydranten), wird genauere Ergebnisse liefern, wenn die Eingabe für das neuronale Netz von höherer Qualität ist. Dementsprechend können Aspekte von Ausführungsformen der vorliegenden Offenbarung, die eine Sensorfusion zwischen aktiven Erfassungssystemen 1020 und Polarisationskamerasystemen 1010 implementieren, die Genauigkeit und Reaktionsfähigkeit von Objekterkennungssystemen verbessern.
Dateiformate mit Oberflächennormalen aus Polarisation
Bei den oben beschriebenen Ansätzen für die Formgebung aus der Polarisation werden Oberflächennormalen aus den von einem Polarisationsbildgebungssystem erfassten Polarisationsmerkmalen wiederhergestellt. Oberflächennormalen liefern wertvolle Informationen über die abgebildete Oberfläche, die eine breite Palette von Möglichkeiten für die visuelle Inspektion der gescannten Oberflächen eröffnen, die in verschiedenen vertikalen Fertigungsbereichen benötigt werden, wie z. B.: Fahrzeuge (z. B. Autos, Flugzeuge und Wasserfahrzeuge) und Fahrzeugteile (z. B. Reifen, Motorblöcke, Getriebe, lackierte Oberflächen usw.), 3D-Metall- oder polymerbasierter Druck, gedruckte Leiterplatten (PCBs) und einsatzkritische medizinische Geräte (z. B. Beatmungsgeräte, Pumpen, Stents und dergleichen).
Die Speicherung von Oberflächennormalen zusammen mit den Bildern ermöglicht eine interaktive Nachvisualisierung der gescannten Oberfläche für eine Vielzahl von Anwendungsfällen. Beispiele hierfür sind: Prüfung auf Oberflächenanomalien auf der gescannten Oberfläche; und die Möglichkeit, die gescannte Oberfläche für beliebige Lichtverhältnisse neu zu beleuchten.
Oberflächenprofiluntersuchungen sind wichtig, um die intrinsischen Form- und Krümmungseigenschaften von Oberflächen zu analysieren. Diese zeigen häufig ein anomales Verhalten, das bei einfachen isoparametrischen Oberflächendigitalisierungen von Objekten mit dem bloßen Auge nicht sofort erkennbar ist. Die Fähigkeit der polarisationsverstärkten Bildgebung, die Genauigkeit der Oberflächennormalen um Größenordnungen zu verbessern, kann ihre Anwendung in der Hochpräzisionsfertigung von Industrieteilen zur Erkennung von Glätte und Formtreue ermöglichen.
Der Bedarf an ebenen oder glatten Oberflächenformen kann durch unterschiedliche Faktoren in verschiedenen Marktsegmenten begründet sein. Im Automobilbau steht die Ästhetik im Vordergrund, während in der Flugzeug- und Schiffsbauindustrie die aerodynamische Strömung für die Treibstoffeffizienz entscheidend ist. Die Glätte von Oberflächen hängt mit vielen verschiedenen Merkmalen zusammen, wie z. B.: Kontinuität zwischen benachbarten Flächen in Bezug auf Tangenten und Krümmung, Krümmungsverteilung, flache Punkte und Konvexität, die direkt von der Differentialgeometrie der Oberfläche abhängen. Ästhetisch glatte Oberflächen können keine Unebenheiten oder Dellen aufweisen, da es sich dabei im Wesentlichen um Variationen der lokalen Krümmung handelt, die wiederum durch die Oberflächennormalen definiert sind. Die Erkennung von Oberflächenfehlern, wie z. B. das Überschreiten von Krümmungsgrenzen und starke Krümmungsvariationen, kann das Versagen von Algorithmen zur Erzeugung von Werkzeugwegen für die Steuerung des Entnahmeroboters verhindern.
Die Visualisierung differentieller geometrischer Merkmale wie Krümmungsverhalten, parabolische Linien und iso- oder geodätische Linien sowie deren Variationsverhalten in Gegenwart von Umgebungsreizen wie Temperatur oder Feuchtigkeit sind entscheidend für die Analyse der Oberflächeneigenschaften der gefertigten Teile unter einsatzkritischen Bedingungen. In allen oben genannten Fällen kann die Möglichkeit, die Oberfläche in Echtzeit zu scannen, die durch die polarisationsverstärkte Bildgebung gegeben ist, wesentliche Verbesserungen bei der Echtzeitüberwachung und -kontrolle bieten. In einigen Fällen bietet die Verfolgung von Oberflächennormalen in Echtzeit erhebliche Verbesserungen in der Chirurgie, indem sie dem Chirurgen Echtzeitinformationen über die induzierte oder eingebaute Belastung des operierten Oberflächengewebes (z. B. Gehirngewebe) liefert. Diese Informationen sind für Chirurgen oft von entscheidender Bedeutung, da sie nun in Echtzeit auf ihre chirurgische Pfadplanung als Reaktion auf Variationen der Oberflächenbelastung der betroffenen Bereiche reagieren können.
Dementsprechend beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf Dateiformate zur Speicherung von Informationen über Oberflächennormalen, die von Polarisationskamerasystemen erfasst wurden. Zusätzlich zur Speicherung der Oberflächennormalen der gescannten Oberfläche zusammen mit den Bildinformationen (z. B. rote, grüne, blaue und in einigen Fällen Alpha-Farbkanäle) in gängigen Dateiformaten (wie JPEG, TIFF, PNG) umfassen zusätzliche Informationen aus der Polarisation den Grad und den Winkel der Polarisation (DOLP p und AOLP ϕ). Diese zusätzlichen Informationskanäle bieten visuelle Anhaltspunkte bei der Oberflächeninspektion und sorgen oft für einen verbesserten Kontrast (selbst wenn das Originalbild aufgrund von unzureichender Belichtung oder Blendung von schlechter Qualität ist). Die Speicherung dieser Bilder in komprimierter Form bietet einen großen Spielraum bei der Erstellung visueller Überlagerungen, die ein besseres visuelles Verständnis von Oberflächenanomalien ermöglichen. Diese können auch dazu beitragen, Tiefenkarten mit einem viel höheren Präzisionsgrad zu verfeinern, als dies mit den derzeit verfügbaren konventionellen Nicht-Polarisationstechnologien möglich ist.
Ein Beispiel für die Speicherung von Polarisationsdaten (z. B. DOLP und AOLP) zusammen mit Farbinformationen ist die Verwendung der „Anwendungsmarker“ des JPEG File Interchange Format (JFIF). Metadaten können in JFIF unter Verwendung von sechzehn „Anwendungsmarkern“ gespeichert werden, was es einem Decoder ermöglicht, das Austauschformat zu analysieren und nur die erforderlichen Segmente der Bilddaten zu dekodieren. Obwohl der aktuelle JFIF-Standard die Anwendungsmarker auf jeweils 64 KByte begrenzt, ist es möglich, dieselbe Marker-ID mehrfach zu verwenden und auf verschiedene Speichersegmente zu verweisen. Dadurch ist es möglich, normale Oberflächeninformationen in komprimierten oder unkomprimierten Formaten zu speichern. Zusätzlich wird in einigen Ausführungsformen der vorliegenden Offenbarung einer der Anwendungsmarker verwendet, um spezifische Zusatzinformationen wie Grad und Winkel von Polarisationsbildern zu speichern. Während eine Ausführungsform der vorliegenden Offenbarung hier im Hinblick auf die Speicherung von Polarisationsdaten zusammen mit Farbbilddaten unter Verwendung des JFIF-Standards beschrieben wird, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt.
In einigen Ausführungsformen werden Oberflächennormalen als dreidimensionale Vektoren dargestellt und können daher viel mehr Platz einnehmen als die Größe des Originalbildes (z. B. mehr als die Größe eines entsprechenden RGB-Farb- oder Graustufenbildes). Um Platz zu sparen, kann eine komprimierte Form der Oberflächennormale gespeichert werden, indem der Exponent auf die drei Dimensionen aufgeteilt und 8 Bits für jeden der Exponenten im Festkommaformat verwendet werden. Eine weitere Verkleinerung kann erreicht werden, indem nur die Azimut- und Zenitwinkel oder nur der DOLP und AOLP gespeichert werden, was allerdings mit einer Neuberechnung der Normalen entlang der drei Dimensionen zur Renderzeit einhergeht.
In einigen Ausführungsformen der vorliegenden Offenbarung wird ein bestehendes Bildformat, das in der Lage ist, Dreikanalinformationen (z. B. rote, grüne und blaue Farbinformationen) zu speichern, wiederverwendet, um dreidimensionale Oberflächennormalinformationen zu speichern. Obwohl solche Ausführungsformen möglicherweise nicht mehr in der Lage sind, Farbinformationen zu speichern (z. B. können Farbinformationen in einer separaten Datei gespeichert werden), ermöglichen diese Ansätze die Nutzung vorhandener Merkmale wie Bildkomprimierung und progressive Anzeige und erlauben auch die Verwendung vorhandener Softwaretools zum Schreiben von Daten in solche Formate und zum Auslesen von Daten aus solchen Formaten. In einigen Ausführungsformen der vorliegenden Offenbarung ist die Zuordnung zwischen den Kanälen des Bildformats und den dreidimensionalen Richtungen (z. B. x-, y- und z-Richtungen) festgelegt oder anderweitig im Voraus vereinbart, um eine Fehlinterpretation der Ausrichtungen der Oberflächennormalen zu vermeiden.
Erweiterung von DSLR- und Videokameras mit polarisierter Bildgebung
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Erweiterung von digitalen Kamerasystemen wie digitalen Spiegelreflexkameras (DSLR) und Videokameras mit polarisierten Bildern. In einigen Ausführungsformen der vorliegenden Offenbarung bezieht sich dies auf die Montage eines Polarisationskamerasystems auf ein zugrunde liegendes Standard-Farbkamerasystem (z. B. kann das Polarisationskamerasystem eine einzelne Polarisationskamera umfassen, die in der Lage ist, Daten bei mehreren verschiedenen Polarisationswinkeln zu erfassen, ein Polarisationskamera-Array, bei dem jedes Kamera-Array konfiguriert ist, um Licht eines anderen Polarisationszustands zu erfassen, und/oder ein Stereo-Polarisationskamerasystem wie oben beschrieben). Gemäß einigen Ausführungsformen der vorliegenden Offenbarung können das Polarisationskamerasystem und das zugrundeliegende Kamerasystem durch die Abbildung von Kalibrierungszielen (z. B. ein Schachbrettmuster) registriert werden, um die extrinsischen Kameraparameter für die Abbildung zwischen den vom Polarisationskamerasystem und dem zugrundeliegenden Kamerasystem erfassten Mehrfachansichten zu berechnen. Dies ermöglicht es einer erweiterten DSLR-Kamera und/oder einem erweiterten Videokamerasystem, die Oberflächennormalen zu extrahieren und, im Falle von Stereokamerasystemen, eine Tiefenschätzung vorzunehmen.
Verschiedene Anwendungen der Kombination von Farbbildern mit Polarisationsbildern sind oben beschrieben. In Ausführungsformen der vorliegenden Offenbarung, in denen ein Farbkamerasystem durch ein Polarisationskamerasystem erweitert wird, ist das Polarisationskamerasystem konfiguriert, um seine Erfassung von Polarisationsrohbildern mit der Erfassung von Bildern durch das zugrunde liegende System zu synchronisieren. So kann beispielsweise ein und derselbe Auslöser an der DSLR verwendet werden, um sowohl die Aufnahme von Bildern durch die DSLR als auch durch das Polarisationskamerasystem auszulösen. Ebenso kann dieselbe „Aufnahmetaste“ an einem Videokamerasystem verwendet werden, um das Polarisationskamerasystem zu steuern, damit es Polarisationsrohbilder erfasst, die zeitlich so indiziert sind, dass sie mit den vom zugrunde liegenden Videokamerasystem erfassten Bildern übereinstimmen. In einigen Ausführungsformen der vorliegenden Offenbarung ist ein Polarisationskamerasystem konfiguriert, um in den Blitzschuh zu passen oder anderweitig konfiguriert, um durch das Blitzsystem des zugrunde liegenden Kamerasystems gesteuert zu werden, um die Synchronisation zwischen der Auslösung der zugrunde liegenden Kamera und den Polarisationskamerasystemen bereitzustellen.
Wie oben beschrieben, können verschiedene Dateiformate verwendet werden, um die Polarisationsdaten und/oder Oberflächennormalen, wie sie vom Polarisationskamerasystem erfasst werden, zusammen mit den Farb- oder Graustufenbilddaten zu speichern, die von der zugrunde liegenden Kamera erfasst werden, und/oder durch Umwidmung von Standard-Farbbilddateiformaten, um Oberflächennormaldaten zu speichern.
Das Erfassen von Polarisationsrohbildern (und dementsprechend von Oberflächennormalen von Objekten in einer Szene) gleichzeitig mit Farbvideodaten kann verwendet werden, um eine weitere Analyse einer Szene durchzuführen, z. B. durch das Bereitstellen genauerer Tiefenschätzungen, die für das Bereitstellen einer zusätzlichen Fokussteuerung verwendet werden können (z. B. das Vorhersagen, welche Bereiche einer Szene basierend auf der Tiefe von der Kamera im Fokus sein werden). Das Erfassen von Stereo-Polarisationsrohbildern kann auch die gleichzeitige Erfassung von Tiefenkarten zusammen mit Farbtexturinformationen einer Szene ermöglichen.
In einigen Ausführungsformen der vorliegenden Offenbarung werden die Oberflächennormalen, die aus den vom Kamerasystem erfassten Polarisationsrohbildern berechnet werden, zur Unterstützung bei der Bewegungserfassung der Bewegung von Personen oder Objekten in einer Szene verwendet. Genauer gesagt können die Oberflächennormalen Informationen über den Ort und die Ausrichtung von Bewegungserfassungsmarkem auf Objekten in einer Szene liefern, während vergleichbare Techniken nur den Ort der Marker verfolgen können. Auch bei der Bewegungserfassung ohne Marker können die Oberflächennormalen Informationen über die Ausrichtung der verschiedenen Oberflächen liefern und so die Genauigkeit der Erfassung verbessern. Die auf Polarisation basierende Bildgebung kann auch die vorübergehende Unsichtbarkeit von Markern oder Oberflächen von bewegungserfassten Objekten in einer Szene aufgrund von Spiegelreflexionen oder Blendung vermeiden, wie oben beschrieben. Dementsprechend kann die Anwendung von Polarisationskamerasystemen auf Bewegungserfassungstechniken die Genauigkeit und den Umfang von Bewegungserfassungsdaten verbessern.
Computergestützte Fotografie mit Polarisation
Wenn polarisiertes Licht in einen Polarisationsfilter eintritt, ändert sich die Intensität des austretenden Lichts je nach dem relativen Winkel zwischen dem polarisierten einfallenden Licht und dem Polarisationsfilter. Durch die Aufnahme der Szene unter mehreren Polarisationswinkeln ist es möglich, Blendung, spiegelnde Reflexionen und Mehrfachreflexionen in mindestens einem der unter mehreren Polarisationswinkeln aufgenommenen Bilder zu vermeiden. Diese Ansätze können in industriellen Bildgebungsanwendungen verwendet werden, um schwer abzubildende Szenen zu visualisieren, die durch Blendung oder spiegelnde Reflexionen beeinträchtigt werden. Die Polarisation kann jedoch auch in der Computerfotografie eingesetzt werden, um die Aufnahme von Fotos für den menschlichen Sehvorgang zu verbessern. Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Synthese von Bildern mit hohem Dynamikbereich unter Verwendung mehrerer polarisierter Eingangsbilder, die auch die Schärfe der aufgenommenen Bilder verbessern können.
Bei der Bildgebung mit hohem Dynamikbereich (HDR) werden im Allgemeinen mehrere Bilder einer Szene mit unterschiedlichen Belichtungen aufgenommen, um den vollen Umfang des intrinsischen Dynamikbereichs der Szene zu erfassen. Die unterschiedlichen Belichtungen führen jedoch zu unterschiedlich scharfen Kanten in den Bildern, so dass diese nur schwer oder bestenfalls unvollkommen aufeinander abgestimmt werden können, was zu weicher wirkenden (z. B. unschärferen) Bildern führt. Bei einigen vergleichenden Ansätzen werden Bilder mit konstanter Belichtung aufgenommen, was die Ausrichtung robuster macht, wobei die Belichtung niedrig genug eingestellt wird, um ein Ausblasen der Glanzlichter zu vermeiden. Das daraus resultierende zusammengesetzte HDR-Bild hat saubere Schatten und eine hohe Bittiefe. Dies funktioniert jedoch nur, solange keine Bewegung in der Szene vorhanden ist (z. B. Bewegung der Kamera und/oder Bewegung von Objekten in der Szene). Jede Bewegung bei der Aufnahme von Bildern mit konstanter Belichtung kann zu Unschärfe und unerwünschten Artefakten (z. B. Geisterbilder) an den Rändern führen.
Dementsprechend beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die Verwendung der Aufnahme von Polarisationsrohbildern mit denselben Belichtungseinstellungen und die Synthese von Bildern mit hohem Dynamikbereich bei Vorhandensein von Szenenbewegungen unter Verwendung der Polarisationsrohbilder.
Der Einsatz von Multikamerasystemen mit unterschiedlichen Polarisationsfiltern zusammen mit einer Referenzkamera mit nominalen Bayer-Filtern ermöglicht die gleichzeitige Aufnahme mehrerer Bilder (z. B. gleichzeitig) mit den gleichen Belichtungseinstellungen für alle Kameras. Dies ermöglicht die Fusion dieser mehreren Bilder, ohne die Auswirkungen von Anomalien, die durch Bewegung über zeitliche Rahmen (z. B. Rahmen, die zu unterschiedlichen Zeiten aufgenommen wurden) entstehen. Darüber hinaus ermöglichen es die verschiedenen Polarisationsfilter, dieselbe Szene mit unterschiedlichen Intensitäten zu erfassen, als ob sie mit verschiedenen „Neutraldichte“-Filtern aufgenommen worden wären. Da die Polarisationsfilter auf natürliche Weise die Intensität des auf das Kamerasystem (z. B. auf den Bildsensor) einfallenden Lichts verringern, muss die Belichtung, mit der diese Bilder aufgenommen werden, möglicherweise nicht so niedrig sein wie bei dem oben beschriebenen vergleichenden Ansatz, da in diesem Fall nichts das auf das Kamerasystem einfallende Licht abschwächt und somit sorgfältig kalibrierte niedrigere Belichtungen erforderlich sind.
Darüber hinaus ermöglicht das Zusammenführen von Polarisationsrohbildern die Wiederherstellung von Details in geblendeten oder anderweitig gesättigten Bereichen der Szene aufgrund von Spiegelreflexionen. Bei dem vergleichenden Ansatz, bei dem mehrere Bilder mit geringerer Belichtung von einer Szene aufgenommen werden, ist es beispielsweise immer noch möglich, dass Bereiche der Szene aufgrund von Glanzlichtern bis zum Punkt der Sättigung überbelichtet werden. Andererseits ist es durch die Aufnahme von Polarisationsrohbildern der Szene unter Verwendung verschiedener Polarisationszustände und, im Falle eines Kamera-Arrays und/oder eines Stereo-Polarisationskamerasystems, aus verschiedenen Blickpunkten unwahrscheinlich, dass ein bestimmter Oberflächenbereich der Szene aus allen Blickpunkten Glanzlichter aufweist. Dies wiederum ermöglicht die Wiederherstellung von Details aus Bereichen, die im Falle eines Standard-Kamerasystems, das keine Polarisationsrohbilder verwendet, verloren gehen würden.
11 ist ein Flussdiagramm, das ein Verfahren zur Synthese eines Bildes mit hohem Dynamikbereich (HDR) aus Polarisationsrohbildern zeigt. Im Verfahrensschritt 1101 steuert ein Verarbeitungssystem (z.B. ein Controller eines Kamerasystems) ein Polarisationskamerasystem, um Polarisationsrohbilder zu erfassen, und synthetisiert im Verfahrensschritt 1102 ein HDR-Bild (High Dynamic Range) basierend auf den Polarisationsrohbildern. Wie oben erwähnt, werden in einigen Ausführungsformen der vorliegenden Offenbarung die Polarisationsrohbilder basierend auf Techniken zum Kombinieren mehrerer niedrig belichteter Bilder (z. B. mit einer kleinen Blende und/oder kurzen Belichtungszeit aufgenommen) kombiniert. In einigen Ausführungsformen der vorliegenden Offenbarung kann die Auswirkung von Blendung und/oder Spiegelung entfernt werden, und Details können in Bereichen des Bildes wiederhergestellt werden, die durch Fallenlassen überbelichtet würden, oder in Bereichen der Bilder, die in einigen Polarisationsrohbildern gesättigt sind und in anderen Polarisationsrohbildern mit größerer Wahrscheinlichkeit richtig belichtet werden.
Während die vorliegende Erfindung im Zusammenhang mit bestimmten beispielhaften Ausführungsformen beschrieben worden ist, ist es zu verstehen, dass die Erfindung nicht auf die offengelegten Ausführungsformen beschränkt ist, sondern im Gegenteil dazu bestimmt ist, verschiedene Modifikationen und äquivalente Anordnungen abzudecken, die im Rahmen des Geistes und des Umfangs der beigefügten Ansprüche und deren Äquivalente enthalten sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/911952 [0001]
US 62/942113 [0001, 0108, 0122]
US 63/001445 [0001, 0108, 0122]
US 10260866 [0079]
US 10557705 [0079]

Claims

Ein multimodales Sensorsystem, das umfasst: ein zugrunde liegendes Sensorsystem; ein Polarisationskamerasystem, das konfiguriert ist, um Polarisationsrohbilder zu erfassen, die einer Vielzahl von unterschiedlichen Polarisationszuständen entsprechen; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, wobei das Verarbeitungssystem konfiguriert ist, um das zugrunde liegende Sensorsystem und das Polarisationskamerasystem zu steuern, wobei der Speicher Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: das zugrundeliegende Sensorsystem zu steuern, um ein Erfassen an einer Szene durchzuführen, und das Polarisationskamerasystem zu steuern, um eine Vielzahl von Polarisationsrohbildern der Szene zu erfassen; erste Tensoren in Polarisationsdarstellungsräumen basierend auf der Vielzahl von Polarisationsrohbildern zu extrahieren; und eine Charakterisierungsausgabe basierend auf einer Ausgabe des zugrunde liegenden Sensorsystems und den ersten Tensoren in Polarisationsdarstellungsräumen zu berechnen.
Das multimodale Sensorsystem nach Anspruch 1, wobei das Polarisationskamerasystem ein Polarisationskameramodul umfasst, das folgendes umfasst: eine erste Polarisationskamera, die einen ersten Polarisationsfilter mit einer ersten Polarisationsausrichtung umfasst, wobei die erste Polarisationskamera eine erste optische Achse aufweist; eine zweite Polarisationskamera mit einem zweiten Polarisationsfilter mit einer zweiten Polarisationsausrichtung, wobei die zweite Polarisationskamera eine zweite optische Achse aufweist, die im Wesentlichen parallel zur ersten optischen Achse verläuft; und eine dritte Polarisationskamera, die einen dritten Polarisationsfilter mit einer dritten Polarisationsausrichtung umfasst, wobei die dritte Polarisationskamera eine dritte optische Achse aufweist, die im Wesentlichen parallel zur ersten optischen Achse verläuft.
Das multimodale Sensorsystem nach Anspruch 2, wobei das Polarisationskameramodul ferner eine vierte Polarisationskamera umfasst, die einen vierten Polarisationsfilter mit einer vierten Polarisationsausrichtung umfasst, wobei die vierte Polarisationskamera eine vierte optische Achse aufweist, die im Wesentlichen parallel zur ersten optischen Achse verläuft.
Das multimodale Sensorsystem nach Anspruch 2, wobei die ersten Tensoren einen Grad der linearen Polarisation (DOLP) und einen Winkel der linearen Polarisation (AOLP) umfassen, und wobei der Speicher ferner Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, den DOLP und den AOLP basierend auf Polarisationsrohbildern zu berechnen, die von der ersten Polarisationskamera, der zweiten Polarisationskamera und der dritten Polarisationskamera erfasst wurden, wobei die Anweisungen Anweisungen umfassen, um: eine geschätzte DOLP und eine geschätzte AOLP basierend auf Stokes-Vektoren zu initialisieren; eine Szenengeometrie basierend auf Parallaxenverschiebungen in den Polarisationsrohbildern zu schätzen, um ein Grobmodell zu erzeugen; und iterativ: das Grobmodell basierend auf dem geschätzten DOLP und dem geschätzten AOLP zu verfeinern, um eine geschätzte Geometrie zu erzeugen; und das geschätzte DOLP und das geschätzte AOLP basierend auf der geschätzten Geometrie zu aktualisieren, bis eine Änderung des geschätzten DOLP und eine Änderung des geschätzten AOLP beide kleiner als entsprechende Schwellenwerte sind.
Das multimodale Sensorsystem nach Anspruch 1, wobei das Polarisationskamerasystem ein Stereo-Polarisationskamerasystem umfasst, das Folgendes umfasst ein erstes Polarisationskameramodul mit einer ersten optischen Achse, wobei das erste Polarisationskameramodul konfiguriert ist, um eine erste Vielzahl von Polarisationsrohbildern zu erfassen, die einer ersten Vielzahl von unterschiedlichen Polarisationszuständen entsprechen; und ein zweites Polarisationskameramodul mit einer zweiten optischen Achse, das von dem ersten Polarisationskameramodul entlang einer Grundlinie beabstandet ist, wobei das zweite Polarisationskameramodul konfiguriert ist, um eine zweite Vielzahl von Polarisationsrohbildern zu erfassen, die einer zweiten Vielzahl von unterschiedlichen Polarisationszuständen entsprechen, wobei die erste optische Achse im Wesentlichen parallel zu der zweiten optischen Achse verläuft.
Das multimodale Sensorsystem nach Anspruch 5, wobei das erste Polarisationskameramodul eine erste Vielzahl von Farbfiltern umfasst, die konfiguriert sind, um Licht in drei oder mehr verschiedenen ersten Farbspektren zu transmittieren, und wobei das zweite Polarisationskameramodul eine zweite Vielzahl von Farbfiltern umfasst, die konfiguriert sind, um Licht in drei oder mehr verschiedenen zweiten Farbspektren zu transmittieren, wobei die drei oder mehr zweiten Farbspektren von den drei oder mehr ersten Farbspektren verschieden sind.
Das multimodale Sensorsystem nach Anspruch 6, wobei der Speicher weiterhin Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: das Stereo-Polarisationskamerasystem zu steuern, um multispektrale Stereo-Polarisationsbildgebungsdaten in den ersten Farbspektren und in den zweiten Farbspektren zu erfassen; und erste Tensoren in Polarisationsdarstellungsräumen aus den multispektralen Stereo-Polarisationsbildgebungsdaten zu extrahieren.
Das multimodale Sensorsystem nach Anspruch 1, wobei das zugrunde liegende Sensorsystem ein aktives Abtastsystem mit einem aktiven Emitter und einem Detektor umfasst.
Das multimodale Sensorsystem nach Anspruch 8, wobei das aktive Abtastsystem ein Radarsystem umfasst.
Das multimodale Sensorsystem nach Anspruch 8, wobei das aktive Abtastsystem ein Lidarsystem umfasst.
Das multimodale Sensorsystem nach Anspruch 8, wobei das aktive Abtastsystem ein aktives Stereo-Tiefenkamerasystem umfasst.
Das multimodale Sensorsystem nach Anspruch 8, wobei das multimodale Sensorsystem an einem Fahrzeug angebracht ist.
Das multimodale Sensorsystem nach Anspruch 8, wobei der Speicher ferner Anweisungen speichert, die, wenn sie vom Prozessor des Verarbeitungssystems ausgeführt werden, den Prozessor veranlassen: eine spärliche Punktwolke basierend auf der Ausgabe des zugrunde liegenden Sensorsystems zu berechnen; Oberflächennormalen aus den Polarisationsrohbildern zu berechnen; eine 3D-Oberfläche basierend auf den Oberflächennormalen zu berechnen; und die 3D-Oberfläche basierend auf der spärlichen Punktwolke zu korrigieren, um ein 3D-Modell der Szene zu berechnen.
Das multimodale Sensorsystem nach Anspruch 8, wobei der Speicher ferner Anweisungen speichert, die, wenn sie von dem Prozessor des Verarbeitungssystems ausgeführt werden, den Prozessor veranlassen: eine Segmentierungskarte basierend auf den ersten Tensoren in den Polarisationsdarstellungsräumen zu berechnen, wobei die Segmentierungskarte eine oder mehrere Bereiche von Interesse in der Szene identifiziert; den aktiven Emitter zu steuern, um Strahlen in Richtung der einen oder mehreren Bereiche von Interesse zu emittieren; und eine Reflexion der von dem aktiven Emitter emittierten Strahlen unter Verwendung des Detektors des aktiven Abtastsystems zu erfassen.
Das multimodale Sensorsystem nach Anspruch 1, wobei der Speicher Anweisungen speichert, die den Prozessor veranlassen, ein faltendes neuronales Netz zu implementieren, das trainiert ist, um eine Segmentierungskarte basierend auf den ersten Tensoren zu berechnen.
Das multimodale Sensorsystem nach Anspruch 1, wobei das zugrunde liegende Sensorsystem ein Farbkamerasystem umfasst.
Das multimodale Sensorsystem nach Anspruch 16, wobei das Farbkamerasystem eine digitale einäugige Spiegelreflexkamera oder eine Videokamera ist.
Das multimodale Sensorsystem nach Anspruch 16, wobei die Ausgabe der Farbkamera des zugrunde liegenden Sensorsystems ein Farbbild umfasst, und wobei der Speicher ferner Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: eine Vielzahl von Oberflächennormalen der Szene basierend auf den ersten Tensoren zu berechnen; und die berechneten Oberflächennormalen der Szene in derselben Datei zu speichern wie das von der Farbkamera aufgenommene Farbbild.
Ein Polarisationskamerasystem, das Folgendes umfasst: eine Polarisationskamera, die konfiguriert ist, um Polarisationsrohbilder einer Szene zu erfassen, wobei die Polarisationsrohbilder einer Vielzahl von unterschiedlichen Polarisationszuständen entsprechen; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, wobei das Verarbeitungssystem konfiguriert ist, um die Polarisationskamera zu steuern, wobei der Speicher Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: die Polarisationskamera zu steuern, um eine Vielzahl von Polarisationsrohbildern zu erfassen, und ein HDR (High Dynamic Range)-Bild basierend auf den Polarisationsrohbildern zu synthetisieren.
Polarisationskamerasystem nach Anspruch 19, wobei jedes der Polarisationsrohbilder basierend auf einem gleichen Satz von Belichtungseinstellungen aufgenommen wird, wobei mindestens eines der Polarisationsrohbilder gesättigte Pixel in einem Bereich des Polarisationsrohbildes aufgrund von spiegelnder Reflexion von einer Oberfläche in der Szene enthält, wobei der Speicher ferner Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das HDR-Bild ohne gesättigte Pixel in einem Bereich des HDR-Bildes, der dem Bereich des Polarisationsrohbildes entspricht, basierend auf Daten aus entsprechenden Bereichen von anderen der Polarisationsrohbilder zu synthetisieren.