DE102018129009A1

DE102018129009A1 - Dynamischer Sichtsensor und Projektor für Tiefenabbildung

Info

Publication number: DE102018129009A1
Application number: DE102018129009.8A
Authority: DE
Inventors: Richmond Hicks
Original assignee: Intel Corp
Current assignee: Sony Corp
Priority date: 2017-12-19
Filing date: 2018-11-19
Publication date: 2019-06-19
Also published as: US11665331B2; US11330247B2; US20210227194A1; US10516876B2; US20220232198A1; US20190045173A1; US10992923B2; US20200021793A1; US10917629B2; US20200099921A1

Abstract

Es werden Systeme, Vorrichtungen und Techniken in Bezug auf übereinstimmende Merkmale zwischen einem dynamischen Sichtsensor und einem oder beiden eines dynamischen Projektors und eines anderen dynamischen Sichtsensors erörtert. Solche Techniken umfassen das Werfen eines Lichtmusters mit projizierten Merkmalen mit unterschiedlichen zeitlichen Eigenschaften auf eine Szene und das Bestimmen der Entsprechung(en) auf der Basis von übereinstimmenden Änderungen der detektierten Luminanz und zeitlichen Eigenschaften der projizierten Merkmale.

Description

HINTERGRUND
In Computersicht- und anderen Abbildungs- und Rechenzusammenhängen schaffen Tiefenbilder wichtige Informationen für eine betrachtete Szene. Ein Tiefenbild kann auf der Basis von zwei zweidimensionalen (z. B. linken und rechten oder Referenz- und Ziel-) Bildern oder zwischen einem ersten Bild und einem projizierten Bild erzeugt werden. Solche Anwendungen beruhen auf der Detektion von entsprechenden Merkmalen entweder zwischen zwei Kameras (z. B. zwei Bildern) oder zwischen einer Kamera (z. B. einem Bild) und einem Projektorsystem (z. B. einem projizierten Lichtmuster) und dem Durchführen einer Triangulation. Beispiele von Systemen für eine Entsprechung zwischen Kamera und Projektor umfassen Kameras mit codiertem Licht und Kameras mit strukturiertem Licht.
Eine Herausforderung für die Triangulation auf der Basis von Tiefenkameras ist das Identifizieren, welche Merkmale in der Kamera den Merkmalen entsprechen, die durch das Projektionssystem bereitgestellt werden. Das Überwinden solcher Herausforderungen kann signifikante Rechenressourcen erfordern, was zu höheren Kosten und einem höheren Leistungsverbrauch führt. Eine andere Herausforderung bei Triangulationssystemen auf Projektionsbasis ist die potentielle Störung von Sonnenlicht, das das Projektionsmuster auswäscht. Gegenwärtige Systeme verwenden komplexe strukturierte Muster, um die eindeutige Art des projizierten Musters zu maximieren, insbesondere entlang der Achse der Triangulation. Es besteht ein Kompromiss zwischen der Musterkomplexität und der Mustergröße, so dass das Muster über das Blickfeld der Kamera wiederholt werden kann. Solche sich wiederholenden Muster begrenzen die Größe der Disparität, die detektiert werden kann, und daher den engsten Bereich, der durch die Kamera detektierbar ist, so dass ein resultierender Kompromiss zwischen der Komplexität und dem minimalen Bereich der Kamera besteht. Eine komplexe Verarbeitung wird verwendet, um nach den Mustern entlang der epipolaren Achse unter Verwendung eines Suchbereichs zu suchen, der geringer als oder gleich der Größe des sich wiederholenden Musters ist. Die Sonnenlichtabweisung kann unter Verwendung einer Kombination von optischen Bandpassfiltern, die der Projektorwellenlänge entsprechen, und durch Synchronisation der Pulsierung des Laserprojektors mit der Belichtungszeit eines globalen Verschlussblendensensors durchgeführt werden.
Daher weisen aktuelle Techniken und Implementierungen Begrenzungen auf. Um nahe Objekte zu detektieren, muss die Kamera in der Lage sein, große Disparitäten zu detektieren, was zu großen, komplexen Mustern und großen Suchbereichen führt, wodurch die Kosten des Projektors sowie die Kosten und die Leistung von erforderlichen Rechenressourcen erhöht werden. Solche Begrenzungen führen zu einer komplizierten Implementierung, einer schlechten Leistungsfähigkeit in Sonnenlicht und weniger als erwünschten Tiefenabbildungsergebnissen. In Bezug auf diese und andere Betrachtungen waren die vorliegenden Verbesserungen erforderlich. Solche Verbesserungen können kritisch werden, da der Wunsch, Tiefenbilder in einer Vielfalt von Anwendungen zu nutzen, weiter verbreitet wird.
Figurenliste
Das hier beschriebene Material wird als Beispiel und nicht zur Begrenzung in den begleitenden Figuren dargestellt. Für die Einfachheit und Deutlichkeit der Darstellung sind Elemente, die in den Figuren dargestellt sind, nicht notwendigerweise maßstäblich gezeichnet. Die Abmessungen von einigen Elementen können beispielsweise relativ zu anderen Elementen der Deutlichkeit halber übertrieben sein. Wenn als geeignet betrachtet, wurden ferner Bezugsbezeichnungen unter den Figuren wiederholt, um entsprechende oder analoge Elemente anzugeben. In den Figuren gilt:

1 stellt Komponenten eines Beispielsystems zum Bestimmen einer Entsprechung zwischen Pixeln eines dynamischen Sichtsensors und Merkmalen, die von einem dynamischen Projektor projiziert werden, dar;
2 stellt Komponenten eines Beispielsystems zum Bestimmen einer Entsprechung zwischen Pixeln von mehreren dynamischen Sichtsensoren dar;
3 stellt einen Beispielvergleich eines stereoskopischen Bildes dar;
4 stellt beispielhafte Komponenten des Beispielsystems von 1 dar;
5 stellt einen dynamischen Beispielsichtsensor dar;
6 stellt ein Beispielzeitablaufdiagramm für ein spezielles Pixel eines dynamischen Sichtsensors im Betrieb dar;
7A stellt eine Seitenansicht eines dynamischen Beispielprojektors mit einer Beispiel-VCSEL-Matrix dar;
7B stellt eine Seitenansicht eines dynamischen Beispielprojektors mit einer Beispiel-VCSEL-Matrix und einem optischen Beispielelement, um emittiertes Licht in vordefinierte Muster aufzuspalten, dar;
8 stellt eine Seitenansicht eines dynamischen Beispielprojektors mit einer Spiegelimplementierung von mikroelektromechanischen Systemen (MEMS) dar;
9 stellt eine Darstellung eines Beispiellichtmusters dar, das auf eine Beispielszene geworfen wird;
10 stellt ein Beispielsignalzeitablaufdiagramm für spezielle Pixel eines dynamischen Projektors, eines ersten dynamischen Sichtsensors und eines zweiten dynamischen Sichtsensors im Betrieb dar;
11 stellt ein Beispielbeleuchtungsschema zur Verwendung beim Merkmalsvergleich dar;
12 stellt ein anderes Beispielbeleuchtungsschema zur Verwendung beim Merkmalsvergleich dar;
13 stellt noch ein anderes Beispielbeleuchtungsschema zur Verwendung beim Merkmalsvergleich dar;
14 stellt eine Beispielvorrichtung zum Bestimmen einer Entsprechung zwischen einem dynamischen Sichtsensor und/oder zwischen mehreren dynamischen Sichtsensoren dar;
15 ist ein Ablaufdiagramm, das einen Beispielprozess zum Korrelieren eines Merkmals, das an einem Pixel eines dynamischen Sichtsensors detektiert wird, mit einem Merkmal eines projizierten Lichtmusters darstellt;
16 ist ein erläuterndes Diagramm eines Beispielsystems zum Korrelieren eines Merkmals, das an einem Pixel eines dynamischen Sichtsensors detektiert wird, mit einem Merkmal eines projizierten Lichtmusters;
17 ist ein erläuterndes Diagramm eines Beispielsystems; und
18 stellt eine Beispielvorrichtung mit kleinem Formfaktor dar, die ganz gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist.

AUSFÜHRLICHE BESCHREIBUNG
Eine oder mehrere Ausführungsformen oder Implementierungen werden nun mit Bezug auf die beigefügten Figuren beschrieben. Obwohl spezielle Konfigurationen und Anordnungen erörtert werden, sollte selbstverständlich sein, dass dies nur für Erläuterungszwecke durchgeführt wird. Der Fachmann auf dem relevanten Gebiet erkennt, dass andere Konfigurationen und Anordnungen verwendet werden können, ohne vom Gedanken und Schutzbereich der Beschreibung abzuweichen. Für den Fachmann auf dem relevanten Gebiet ist ersichtlich, dass Techniken und/oder Anordnungen, die hier beschrieben sind, auch in einer Vielfalt von anderen Systemen und anderen Anwendungen als dem, das hier beschrieben ist, verwendet werden können.
Obwohl die folgende Beschreibung verschiedene Implementierungen darlegt, die in Architekturen wie beispielsweise Architekturen eines Systems auf einem Chip (SoC) offenbart sein können, ist die Implementierung der Techniken und/oder Anordnungen, die hier beschrieben sind, nicht auf spezielle Architekturen und/oder Rechensysteme eingeschränkt und kann durch irgendeine Architektur und/oder irgendein Rechensystem für ähnliche Zwecke implementiert werden. Verschiedene Architekturen, die beispielsweise mehrere Chips und/oder Bausteine einer integrierten Schaltung (IC) und/oder verschiedene Rechenvorrichtungen und/oder elektronische Verbrauchervorrichtungen (CE-Vorrichtungen) wie z. B. Digitalempfänger, Smartphones usw. verwenden, können beispielsweise die hier beschriebenen Techniken und/oder Anordnungen implementieren. Obwohl die folgende Beschreibung zahlreiche spezielle Details wie z. B. Logikimplementierungen, Typen und Wechselbeziehungen von Systemkomponenten, Wahlen einer logischen Partitionierung/Integration usw. darlegen kann, kann der beanspruchte Gegenstand ferner ohne solche speziellen Details ausgeführt werden. In anderen Fällen kann einiges Material, wie beispielsweise Steuerstrukturen und volle Software-Befehlssequenzen, nicht im Einzelnen gezeigt sein, um das hier offenbarte Material nicht unklar zu machen.
Das hier offenbarte Material kann in Hardware, Firmware, Software oder irgendeiner Kombination davon implementiert werden. Das hier offenbarte Material kann auch als Befehle implementiert werden, die auf einem maschinenlesbaren Medium gespeichert sind, die durch einen oder mehrere Prozessoren gelesen und ausgeführt werden können. Ein maschinenlesbares Medium kann irgendein Medium und/oder irgendeinen Mechanismus zum Speichern oder Übertragen von Informationen in einer Form umfassen, die durch eine Maschine (z. B. eine Rechenvorrichtung) lesbar ist. Ein maschinenlesbares Medium kann beispielsweise einen Festwertarbeitsspeicher (ROM); einen Direktzugriffsarbeitsspeicher (RAM); Magnetplattenspeichermedien; optische Speichermedien; Flash-Arbeitsspeichervorrichtungen; elektrische, optische, akustische oder andere Formen von ausgebreiteten Signalen (z. B. Trägerwellen, Infrarotsignalen, digitalen Signalen usw.) und andere umfassen.
Bezugnahmen in der Patentbeschreibung auf „eine einzelne Implementierung“, „eine Implementierung“, „eine Beispielimplementierung“ oder solche Ausführungsformen oder Beispiele usw. geben an, dass die beschriebene Implementierung, die beschriebene Ausführungsform oder das beschriebene Beispiel ein spezielles Merkmal, eine spezielle Struktur oder eine spezielle Eigenschaft umfassen kann, aber jede Implementierung, jede Ausführungsform oder jedes Beispiel nicht notwendigerweise das spezielle Merkmal, die spezielle Struktur oder die spezielle Eigenschaft umfassen kann. Solche Ausdrücke beziehen sich überdies nicht notwendigerweise auf dieselbe Implementierung. Wenn ein spezielles Merkmal, eine spezielle Struktur oder eine spezielle Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird ferner unterbreitet, dass es innerhalb der Kenntnis eines Fachmanns auf dem Gebiet liegt, ein solches Merkmal, eine solche Struktur oder eine solche Eigenschaft in Verbindung mit anderen Implementierungen, ob hier explizit beschrieben oder nicht, zu beeinflussen. Die Begriffe „im Wesentlichen“, „nahebei“, „ungefähr“, „nahe“ und „etwa“ beziehen sich im Allgemeinen auf innerhalb +/- 10 % eines Zielwerts.
Verfahren, Vorrichtungen, Einrichtungen, Rechenplattformen und Gegenstände werden hier in Bezug auf die Verwendung von dynamischen Sichtsensoren und dynamischen Projektoren für den Vergleich von Merkmalen zwischen dynamischen Sichtsensoren und/oder einem dynamischen Projektor beschrieben. Solche verglichenen Merkmale können für die Tiefenabbildungserzeugung oder andere Anwendungen verwendet werden.
Wie hier weiter erörtert, umfasst ein System gemäß einigen Ausführungsformen eine Kamera auf der Basis eines dynamischen Sichtsensors und einen dynamischen Musterprojektor. Wie hier verwendet, ist ein dynamischer Sichtsensor (oder dynamischer Bildsensor) irgendein Bildsensor, der Ereignisse an Pixeln des Sensors als Änderung eines Pixels (von Pixeln) (z. B. aufgrund einer Beleuchtungsintensitätsänderung am Pixel) detektiert und angibt. (Eine) solche Änderung(en) an (einem) Pixel(n) des dynamischen Sichtsensors können beispielsweise (eine) Änderung(en) der Luminanz über die Zeit sein. Die Änderung(en) können beispielsweise an individuellen Pixeln oder an Sätzen von Pixeln detektiert werden. Wie hier verwendet, umfasst ein Satz von Pixeln zwei oder mehr benachbarte Pixel. Dynamische Sichtsensoren können herkömmlichen Bildsensoren wie folgt gegenübergestellt werden. Herkömmliche Bildsensoren detektieren die Luminanz an einer Photodiode über eine vorbestimmte Dauer (z. B. eine Belichtungszeit), wenn Ladung in der Pixelschaltung gesammelt wird. Ein solcher herkömmlicher Bildsensor überträgt dann Informationen von jedem Pixelsensor für die Belichtung als Rahmen oder Abbildung. Der herkömmliche Bildsensor kann beispielsweise vollständige Rahmen mit einer vorbestimmten oder festen Rahmenrate übertragen. Herkömmliche Bildsensoren legen beispielsweise eine Rücksetzspannung an eine Photodiode an, um irgendeine Ladung in einer parasitären Kapazität einer Verarmungsregion abzuleiten und dann die Ladung am Ende einer festen Integrationsperiode abzutasten. Die Menge an Ladung, die in der Photodiodenkapazität gehalten werden kann, begrenzt den dynamischen Bereich des Sensors. Wie hier verwendet, beruht dagegen ein dynamischer Sichtsensor nicht auf Ladungssammlung, sondern detektiert stattdessen zeitliche Änderungen an Pixeln des Sensors und gibt diese an. In einer Ausführungsform misst ein dynamischer Sichtsensor direkt den Photostrom in der Photodiode. Änderungen des Photostroms über die Zeit werden als Ereignisse (z. B. EIN- und AUS- oder Zunahme/Abnahme-Ereignisse usw.) am entsprechenden Pixel angegeben. Solche Sensoren bieten einen hohen dynamischen Bereich, da die Photodiodenkapazität während des Betriebs keine Einschränkung auferlegt. In einer Ausführungsform wird in einem Pixel eines dynamischen Sichtsensors der Photostrom in eine Spannung umgesetzt, die einer verstärkten Differenziererschaltung zugeführt wird, die die Detektion von Zunahmen oder Abnahmen des Photostroms ermöglicht. In einem dynamischen Sichtsensor erzeugt, sobald ein Pixel in der Intensität zunimmt, der Sensor eine Ausgabe und setzt die Referenz auf der Basis des neuen Intensitätswerts zurück. Der dynamische Bereich eines dynamischen Sichtsensors ist durch die maximale Spannung begrenzt, die die Photodiode erzeugen kann (im Vergleich zu ihrem Rauschen), und dynamische Sichtsensoren können 120 dB (z. B. 6 Dekaden) eines dynamischen Bereichs erreichen, was beispielsweise für nächtliche Anwendungen im Freien geeignet ist.
Solche dynamischen Sichtsensoren schaffen signifikante Verbesserungen der zeitlichen Auflösung (z. B. etwa 1-10 ps im Gegensatz zu 10-17 ms für herkömmliche Bildsensoren). Wie hier weiter erörtert, umfasst eine Abbildungsvorrichtung einen dynamischen Sichtsensor und einen dynamischen Projektor (oder aktiven Projektor), um eine Pixelkorrelation auf der Basis einer Szene zu schaffen. Die Pixelkorrelation kann zwischen einem dynamischen Sichtsensor und einem dynamischen Projektor oder zwischen mehreren dynamischen Sichtsensoren (auf der Basis eines Lichtmusters, das durch den dynamischen Projektor bereitgestellt wird) bestehen. Durch Steuern des zeitlichen Verhaltens des Lichtmusters, das durch den dynamischen Projektor bereitgestellt wird, wird die zeitliche Entsprechung ausgenutzt, um entsprechende Merkmale einer Szene (z. B. ein Merkmal, das in einem Sensor detektiert wird, das entweder einem projizierten Merkmal oder demselben Merkmal in einem zweiten Sensor entspricht) zu identifizieren.
Wie erörtert, kann eine solche zeitliche Entsprechung zwischen einem dynamischen Sichtsensor und einem dynamischen Projektor oder zwischen mehreren dynamischen Sichtsensoren (auf der Basis eines Lichtmusters, das durch den dynamischen Projektor bereitgestellt wird) detektiert werden. In Ausführungsformen, in denen ein dynamischer Sichtsensor und ein dynamischer Projektor implementiert werden, wird eine bekannte zeitliche Eigenschaft oder Signatur für ein projiziertes Merkmal des Lichtmusters durch ein Pixel des dynamischen Projektors bereitgestellt. Eine Übereinstimmung der bekannten zeitlichen Eigenschaft oder Signatur wird an einem speziellen Pixel (oder mehreren benachbarten Pixeln) des dynamischen Sichtsensors detektiert. Dadurch wird eine Entsprechung zwischen dem sachdienlichen Merkmal des dynamischen Projektors und dem sachdienlichen Merkmal des dynamischen Sichtsensors bestimmt. Eine solche Entsprechung kann für eine Vielfalt von Abbildungs- oder Computersichttechniken verwendet werden. Eine Triangulation kann beispielsweise verwendet werden, um einen Tiefenwert oder Disparitätswert für einen Punkt oder eine Region einer Szene zu bestimmen.
In Ausführungsformen, in denen mehrere dynamische Sichtsensoren und ein dynamischer Projektor implementiert werden, wird eine bekannte zeitliche Eigenschaft oder Signatur wieder für ein projiziertes Merkmal des Lichtmusters durch ein Pixel des dynamischen Projektors bereitgestellt. Die bekannte zeitliche Eigenschaft oder Signatur wird an einem speziellen Pixel (oder mehreren benachbarten Pixeln) eines ersten dynamischen Sichtsensors und einem speziellen Pixel (oder mehreren benachbarten Pixeln) eines zweiten dynamischen Sichtsensors detektiert. Dadurch wird eine Entsprechung zwischen den sachdienlichen Merkmalen des ersten und des zweiten dynamischen Sichtsensors bestimmt. Wiederum kann eine solche Entsprechung für eine Vielfalt von Abbildungs- oder Computersichttechniken wie z. B. Triangulation verwendet werden, um einen Tiefenwert oder Disparitätswert für einen Punkt oder eine Region einer Szene zu bestimmen. Obwohl in Bezug auf Ausführungsformen mit einem dynamischen Sichtsensor und einem dynamischen Projektor und zwei dynamischen Sichtsensoren und einem dynamischen Projektor erörtert, kann irgendeine Anzahl von dynamischen Projektoren und dynamischen Sichtsensoren für eine verbesserte Entsprechung, Kalibrierung usw. verwendet werden.
1 stellt Komponenten eines Beispielsystems 100 zum Bestimmen einer Entsprechung zwischen Pixeln eines dynamischen Sichtsensors und Merkmalen, die von einem dynamischen Projektor projiziert werden, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist, dar. Wie in 1 gezeigt, kann ein System 100 einen Bildsignalprozessor (ISP) 101, um ein Merkmalsvergleichsmodul 102 und ein Lichtmustermodul 103 (als Lichtmuster mit zeitlicher Variation bezeichnet) zu implementieren, eine dynamische Sichtkamera (DVC) 104, einen dynamischen Projektor (DP) 105, einen Treiber 108, einen Arbeitsspeicher 107 und ein Computersichtmodul 106 umfassen. In einer Ausführungsform sind der dynamische Projektor 105 und die dynamische Sichtkamera 104 entlang einer ersten Achse (z. B. horizontal entlang der x-Achse, wie dargestellt) ausgerichtet, so dass verglichene Merkmale verwendet werden können, um Tiefen- oder Disparitätswerte für die Szene 121 zu erzeugen. Die Achse zwischen dem dynamischen Projektor 105 und der dynamischen Sichtkamera 104 kann beispielsweise eine epipolare Achse definieren. Der dynamische Projektor 105 und die dynamische Sichtkamera 104 können in irgendeiner geeigneten Orientierung vorgesehen sein.
Auch wie gezeigt, projiziert der dynamische Projektor 105 ein Lichtmuster 114 auf eine Szene 121. Der dynamische Projektor 105 kann das Lichtmuster 114 unter Verwendung irgendeines geeigneten Typs von Licht, Wellenlängenbereich usw. projizieren, so dass das Lichtmuster 114 durch die dynamische Sichtkamera 104 detektierbar ist. In einer Ausführungsform projiziert der dynamische Projektor 105 ein Infrarotlichtmuster (IR-Lichtmuster) 114. Solche IR-Lichtmuster können vorteilhaft sein, da sie Benutzer des Systems 100 oder Leute in der Szene 121 nicht ablenken. Das Lichtmuster 114 kann irgendein geeignetes räumliches Muster wie z. B. ein Gittermuster oder dergleichen umfassen (siehe bitte 9). Das Lichtmuster 114 umfasst auch zeitliche Muster unter räumlichen Komponenten (z. B. projizierten Merkmalen) davon, so dass die Entsprechung zwischen Merkmalen des dynamischen Projektors 105 und der dynamischen Sichtkamera 104 unter Verwendung der zeitlichen Muster bestimmt werden kann.
Die dynamische Sichtkamera 104 kann irgendeinen geeigneten dynamischen Sichtsensor umfassen, um zeitliche Änderungen auf Pixelbasis zu erfassen, wie hier erörtert. Ferner kann der dynamische Projektor 105 irgendeinen geeigneten dynamischen Projektor umfassen, um ein Lichtmuster 114 mit projizierten Merkmalen mit unterschiedlichen zeitlichen Eigenschaften bereitzustellen. Wie gezeigt, projiziert der dynamische Projektor 105 das Lichtmuster 114 auf die Szene 121. Die dynamische Sichtkamera 104 detektiert die ankommende Beleuchtung 115, wie von der Szene 121 reflektiert, so dass die Beleuchtung 115 einen Reflexionsgrad des Lichtmusters 114 umfasst. Projizierte Merkmale des Lichtmusters 114, einschließlich des projizierten Merkmals 122, das ein Punkt oder eine andere Form von Beleuchtung auf der Szene 121 sein kann, weisen unterschiedliche zeitliche Eigenschaften oder Signale auf, so dass die Reflexion 123 vom projizierten Merkmal 122 dieselben oder im Wesentlichen dieselben zeitlichen Eigenschaften aufweist. (Eine) solche zeitliche(n) Eigenschaft(en) können beispielsweise eine Einschaltzeit, eine Ausschaltzeit, eine Beleuchtungsdauer, mehrere Beleuchtungsereignisse (z. B. umfasst jedes Beleuchtungsereignis eine Einschaltzeit, Beleuchtungsdauer, Ausschaltzeit) mit denselben oder variierenden Frequenzen usw. umfassen. Ferner können (eine) solche zeitliche(n) Eigenschaft(en) für nur das projizierte Merkmal 122 eindeutig sein, für projizierte Merkmale (einschließlich des projizierten Merkmals 122), die zu einer epipolaren Achse zwischen dem dynamischen Projektor 105 und der dynamischen Sichtkamera 104 orthogonal sind, eindeutig sein oder für projizierte Merkmale innerhalb einer Region der Szene 121 (z. B. einer Hälfte der Szene 121) oder dergleichen eindeutig sein. In jedem Fall werden die zeitlichen Eigenschaften des projizierten Merkmals 122 (und der Reflexion 123) verwendet, um eine Entsprechung zwischen dem projizierten Merkmal 122 (und/oder dem Pixel oder Emitter des dynamischen Projektors 105, der das projizierte Merkmal 122 auf die Szene 121 wirft) und dem Pixel (oder der Gruppe von Pixeln) der dynamischen Sichtkamera 104, die die Reflexion 123 detektiert, herzustellen. Projizierte Merkmale, wie hier erörtert, können als projizierte Komponenten, Beleuchtungskomponenten, projizierte Elemente, Beleuchtungselemente oder dergleichen gekennzeichnet sein.
Das Lichtmustermodul 103 liefert beispielsweise ein Signal, das ein Lichtmuster 114 (einschließlich unterschiedlicher zeitlicher Eigenschaften unter Komponenten davon) angibt, zum Treiber 108, der das Signal in ein Steuersignal 111 umsetzen kann, das eine Signalisierung mit niedrigem Pegel zum dynamischen Projektor 105 für die Ausgabe des Lichtmusters 114 über die Zeit liefert. Die dynamische Sichtkamera 104 erfasst über einen dynamischen Sichtsensor, wie hier erörtert, die Beleuchtung 115 über die Zeit und liefert Pixelsignale 112. Die Pixelsignale 112 können irgendeine geeignete Datenstruktur oder dergleichen umfassen, so dass die Pixelsignale 112 Pixeländerungen für Pixel des dynamischen Sichtsensors über die Zeit angeben. Die Pixelsignale 112 können beispielsweise für jede Pixeländerung (Zunahme der Beleuchtung größer als ein spezieller Betrag über die Zeit, Abnahme der Beleuchtung größer als ein spezieller Betrag über die Zeit usw.) einen Pixelort und zeitliche Eigenschaften für die Änderung umfassen. Die zeitlichen Eigenschaften können einen Zeitstempel für die Änderung, ob die Änderung eine Zunahme oder Abnahme war, eine Dauer der Änderung oder andere zeitliche Informationen umfassen.
Wie auch gezeigt, liefert das Lichtmustermodul 103 ein Beleuchtungsmustersignal 118 zum Merkmalsvergleichsmodul 102. Das Beleuchtungsmustersignal 118 und das Signal (nicht bezeichnet), die vom Lichtmustermodul 103 zum Merkmalsvergleichsmodul 102 geliefert werden, können gleich sein oder sie können verschieden sein. Das Beleuchtungsmustersignal 118 gibt Eigenschaften des Lichtmusters 114 an, die für das Merkmalsvergleichsmodul 102 sachdienlich sind, das einen Merkmalsvergleich auf der Basis des Beleuchtungsmustersignals 118 und der Pixelsignale 112 von der dynamischen Sichtkamera 104 durchführt. Das Beleuchtungsmustersignal 118 kann beispielsweise irgendeine geeignete Datenstruktur oder dergleichen umfassen, so dass das Beleuchtungsmustersignal 118 Merkmale des dynamischen Projektors 105 und die zeitlichen Eigenschaften davon angibt, so dass Vergleiche zwischen dem Beleuchtungsmustersignal 118 und den Pixelsignalen 112 durchgeführt werden können. Das Beleuchtungsmustersignal 118 kann beispielsweise für jede durch den dynamischen Projektor 105 zu implementierende Pixeländerung (Einschalten, Beleuchtungsdauer, Ausschalten usw.) einen Pixelort und einen Zeitstempel für die Pixeländerung umfassen, so dass eine Übereinstimmung zwischen der zeitlichen Eigenschaft, die durch ein Pixel des dynamischen Projektors 105 implementiert wird, mit einer zeitlichen Eigenschaft, die durch die Pixelsignale 112 angegeben wird, verglichen werden kann.
Einer oder mehrere eines Einschaltzeitstempels, einer Beleuchtungsdauer, eines Ausschaltzeitstempels usw., die im projizierten Merkmal 122 über den dynamischen Projektor 105 implementiert werden, können beispielsweise mit einem oder mehreren eines Einschaltzeitstempels, einer Beleuchtungsdauer, eines Ausschaltzeitstempels usw., die durch ein Pixel der dynamischen Sichtkamera 104 detektiert werden, wie durch Pixelsignale 112 angegeben, verglichen werden, um eine Übereinstimmung von zeitlichen Eigenschaften anzugeben. Wie erkannt wird, können zeitliche Informationen wie z. B. einer oder mehrere eines Einschaltzeitstempels, einer Beleuchtungsdauer, eines Ausschaltzeitstempels usw. innerhalb der Granularität von Daten, die durch das Beleuchtungsmustersignal 118 und Pixelsignale 112 bereitgestellt werden, aufgrund der Bewegungsrate des projizierten Merkmals 122 übereinstimmen; eine gewisse Variation kann jedoch unter Verwendung von Schwellenwertbildung, Signalverzögerungsverarbeitung oder anderer Techniken aufgelöst werden.
Ferner umfasst das Beleuchtungsmustersignal 118 den Ort (d. h. die Koordinaten des Merkmals im Winkelraum) des dynamischen Projektors 105, der verwendet wird, um das projizierte Merkmal 122 (d. h. den projizierten Winkel des projizierten Merkmals 122) mit den sachdienlichen zeitlichen Eigenschaften zu erzeugen, und Pixelsignale 112 geben den Ort (d. h. den Pixelort) des dynamischen Sichtsensors der dynamischen Sichtkamera 104 mit den übereinstimmenden zeitlichen Eigenschaften an. Dadurch weist das Merkmalsvergleichsmodul 102 eine Entsprechung zwischen einer Winkelkoordinate des dynamischen Projektors 105 und einem Pixel der dynamischen Sichtkamera 104 für eine Position (x) der Szene 121 auf. Eine solche Entsprechung kann in einer Vielfalt von Bildverarbeitungs- oder Computersichtzusammenhängen verwendet werden. Das Merkmalsvergleichsmodul 102 kann beispielsweise einen Tiefenwert der Tiefenabbildung 113 (oder einen Disparitätswert einer Disparitätsabbildung) unter Verwendung der Entsprechung und der räumlichen Orientierungen der dynamischen Sichtkamera 104 und des dynamischen Projektors 105 bestimmen. Das Merkmalsvergleichsmodul 102 kann beispielsweise einen Tiefenwert der Tiefenabbildung 113 (oder einen Disparitätswert einer Disparitätsabbildung) unter Verwendung des projizierten Winkels des projizierten Merkmals 122 (z. B. eines Winkels in der x-y-Ebene zwischen dem projizierten Merkmal 122 und der zum dynamischen Projektor 105 normalen z-Richtung), des Orts des Pixels (der Pixel) des dynamischen Bildsensors (d. h. wie auf der Basis der Merkmalsentsprechung) und der räumlichen Orientierungen der dynamischen Sichtkamera 104 und des dynamischen Projektors 105 bestimmen.
In einer Ausführungsform werden solche zeitlichen Signalisierungs- und Detektionstechniken für einen Bereich, eine Matrix oder ein Gitter von Positionen der Szene 121 durch Vorsehen irgendeiner Anzahl von projizierten Merkmalen analog zum projizierten Merkmal 122, Detektieren einer Übereinstimmung für die zeitliche Eigenschaft an einem Pixel oder an Pixeln des dynamischen Sichtsensors der dynamischen Sichtkamera 104, um eine Entsprechung zwischen einem Merkmal des dynamischen Projektors 105 und einem Merkmal der dynamischen Sichtkamera 104 herzustellen, und wahlweise Durchführen einer Triangulation, um einen Tiefenwert der Tiefenabbildung 113 (oder einen Disparitätswert einer Disparitätsabbildung) unter Verwendung der Entsprechung zu bestimmen, wiederholt. Jedes projizierte Merkmal 122 kann in Reihe, teilweise oder vollständig parallel usw. bereitgestellt werden, so dass eindeutige Entsprechungen detektiert werden können. Solche zeitlichen Eigenschaften des Lichtmusters 114 werden hier nachstehend weiter erörtert.
Wie gezeigt, kann in einer Ausführungsform die Tiefenabbildung 113 (oder eine Disparitätsabbildung) im Arbeitsspeicher 107 gespeichert werden und auf diese durch das Computersichtmodul 106 zugegriffen werden. In einer Ausführungsform erzeugt das Merkmalsvergleichsmodul 102 Merkmalsentsprechungsdaten oder Merkmalsentsprechungsinformationen (z. B. ohne Erzeugen einer Tiefen- oder Disparitätsabbildung), die eine Datenstruktur umfassen, die entsprechende Merkmale (d. h. Merkmale, die miteinander übereinstimmen oder einander entsprechen aufgrund dessen, dass sie übereinstimmende zeitliche Eigenschaften aufweisen), entsprechende Tiefensichtsensorpixel und projizierte Winkel, entsprechende Pixel des dynamischen Projektors 105 und des dynamischen Sichtsensors der dynamischen Sichtkamera 104 oder dergleichen angibt. Solche Entsprechungsinformationen können im Arbeitsspeicher 107 für die anschließende Bildverarbeitung, Computersichtverarbeitung oder dergleichen gespeichert werden. In einer Ausführungsform umfasst der ISP 101 ein separates Tiefenabbildungsmodul, das solche Entsprechungsinformationen verwendet, um eine Tiefenabbildung 113 (oder eine Disparitätsabbildung) zu erzeugen.
Das System 100, das nachstehend erörterte System 200 oder irgendeine Kombination von Komponenten davon kann über irgendeine geeignete Vorrichtung implementiert werden, wie z. B. einen Tiefensensor, ein Tiefensensormodul, eine Abbildungsvorrichtung, einen Personalcomputer, einen Laptop-Computer, ein Tablet, ein Phablet, ein Smartphone, eine Digitalkamera, eine Spielekonsole, eine tragbare Vorrichtung, einen Digitalempfänger, eine Drohne oder dergleichen.
2 stellt Komponenten eines Beispielsystems 200 zum Bestimmen der Entsprechung zwischen Pixeln von mehreren dynamischen Sichtsensoren dar, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 2 gezeigt, kann das System 200 irgendeine der Komponenten, die mit Bezug auf das System 100 erörtert sind, zusammen mit einer zweiten dynamischen Sichtkamera (DVC) 201 umfassen. In der Ausführungsform des Systems 100 wird beispielsweise die Pixelentsprechung zwischen dem dynamischen Projektor 105 und der dynamischen Sichtkamera 104 bestimmt. In der Ausführungsform des Systems 200 wird die Pixelentsprechung zwischen der dynamischen Sichtkamera 104 und der dynamischen Sichtkamera 201 bestimmt. Außerdem kann die Entsprechung auch zwischen dem dynamischen Projektor 105 und einer oder beiden der dynamischen Sichtkameras 104, 201 des Systems 200 bestimmt werden. In einer Ausführungsform sind die dynamischen Sichtkameras 104, 201 entlang einer ersten Achse (z. B. horizontal entlang der x-Achse, wie dargestellt) ausgerichtet, so dass verglichene Pixel verwendet werden können, um Tiefen- oder Disparitätswerte für die Szene 121 zu erzeugen. Die Achse zwischen den dynamischen Sichtkameras 104, 201 kann beispielsweise eine epipolare Achse definieren. In einer Ausführungsform ist der dynamische Projektor 105 auch horizontal in Bezug auf die dynamischen Sichtkameras 104, 201 ausgerichtet.
Der dynamische Projektor 105 kann jedoch in irgendeiner geeigneten Orientierung vorgesehen sein. In einigen Ausführungsformen ist der dynamische Projektor 105 in Bezug auf die dynamischen Sichtkameras 104, 201 außeraxial ausgerichtet. Solche Ausführungsformen können eine Kalibrierungsrückgewinnung nach einem Herunterfallen des Systems 200 oder einem anderen Ereignis schaffen, das beispielsweise einen Kalibrierungsverlust für das System 200 vorsieht. In einer Ausführungsform sind die dynamischen Sichtkameras 104, 201 und der dynamische Projektor 105 in Form eines Dreiecks ausgerichtet, so dass separate epipolare Achsen zwischen jedem Paar der dynamischen Sichtkamera und des dynamischen Projektors gebildet werden. Der dynamische Projektor 105, der dynamische Sichtsensor 104 und der dynamische Sichtsensor 201 können beispielsweise in einer Dreieckform konfiguriert sein, so dass der dynamische Projektor 105 zu einer Achse zwischen dem dynamischen Sichtsensor 104 und dem dynamischen Sichtsensor 201 außeraxial und orthogonal ist. Der dynamische Sichtsensor 104 und der dynamische Sichtsensor 201 können beispielsweise eine Achse dazwischen aufweisen (z. B. in der x-Richtung) und der dynamische Projektor 105 kann zwischen ihnen und außeraxial sein (z. B. zwischen ihnen in der x-Richtung und in der y-Richtung versetzt). In einer Ausführungsform sind die dynamischen Sichtkameras 104, 201 ein Teil eines Gitters von dynamischen Sichtkameras, so dass das Gitter 9, 16 oder mehr dynamische Sichtkameras umfasst.
Wie in Bezug auf die dynamische Sichtkamera 104 erörtert, kann die dynamische Sichtkamera 201 irgendeinen geeigneten dynamischen Sichtsensor umfassen, um zeitliche Änderungen auf Pixelbasis zu erfassen. Wie erörtert, projiziert der dynamische Projektor 105 das Lichtmuster 114 auf die Szene 121. Die dynamischen Sichtkameras 104, 201 detektieren jeweils ankommende Beleuchtung 115, 215, wie von der Szene 121 reflektiert, so dass die Beleuchtung 115, 215 einen Reflexionsgrad des Lichtmusters 114 umfasst. Wie erörtert, weisen projizierte Merkmale des Lichtmusters 114 mit dem projizierten Merkmal 122 unterschiedliche zeitliche Eigenschaften oder Signale auf, so dass die Reflexionen 123, 223 vom projizierten Merkmal 122 dieselben oder im Wesentlichen dieselben zeitlichen Eigenschaften aufweisen. Die übereinstimmenden zeitlichen Eigenschaften der Reflexionen 123, 223 werden dann verwendet, um eine Entsprechung zwischen einem Merkmal (oder einer Gruppe von Pixeln) der dynamischen Sichtkamera 104, die die Reflexion 123 detektiert, und einem Merkmal (oder einer Gruppe von Pixeln) der dynamischen Sichtkamera 201, die die Reflexion 223 detektiert, herzustellen.
Das Lichtmustermodul 103 liefert beispielsweise ein Signal, das das Lichtmuster 114 (einschließlich unterschiedlicher zeitlicher Eigenschaften unter Komponenten davon) angibt, zum Treiber 108, der das Signal in ein Steuersignal 111 übersetzen kann, das eine Signalisierung mit niedrigem Pegel zum dynamischen Projektor 105 für die Ausgabe des Lichtmusters 114 über die Zeit liefert. Die dynamischen Sichtkameras 104, 201 erfassen über dynamische Sichtsensoren darin jeweils die Beleuchtung 115, 215 über die Zeit und liefern jeweils Pixelsignale 112, 212 zum Merkmalsvergleichsmodul 102 oder einem anderen Modul des Bildsignalprozessors 101. Wie in Bezug auf die Pixelsignale 112 erörtert, können die Pixelsignale 212 irgendeine geeignete Datenstruktur oder dergleichen umfassen, so dass die Pixelsignale 212 Pixeländerungen für Pixel des dynamischen Sichtsensors der dynamischen Sichtkamera 201 über die Zeit angeben. Die Pixelsignale 212 können beispielsweise für jede Pixeländerung (Zunahme in der Beleuchtung größer als ein spezieller Betrag über die Zeit, Abnahme der Beleuchtung größer als ein spezieller Betrag über die Zeit usw.) einen Pixelort und zeitliche Eigenschaften für die Änderung umfassen. Die zeitlichen Eigenschaften können einen Zeitstempel für die Änderung, ob die Änderung eine Zunahme oder Abnahme war, eine Dauer der Änderung oder andere zeitliche Informationen umfassen.
Wie gezeigt, werden die Pixelsignale 112 und Pixelsignale 212 zum Merkmalsvergleichsmodul 102 geliefert. Das Merkmalsvergleichsmodul 102 bestimmt Übereinstimmungen zwischen zeitlichen Eigenschaften, wie zwischen Pixelsignalen 112 und Pixelsignalen 212 angegeben. Eine oder mehrere zeitliche Eigenschaften werden beispielsweise zwischen den Pixelsignalen 112 und den Pixelsignalen 212 verglichen. Solche übereinstimmenden Eigenschaften können beliebige geeignete zeitliche Eigenschaften wie z. B. ein Zeitstempel mit erhöhter Beleuchtung (z. B. zwei Pixelorte mit erhöhter Luminanz gleichzeitig), ein Zeitstempel mit verringerter Beleuchtung (z. B. zwei Pixelorte mit verringerter Luminanz gleichzeitig), mehrere übereinstimmende EIN/AUS-Ereignisse mit übereinstimmender Frequenz (z. B. zwei Pixelorte mit übereinstimmenden Ereignissen mit erhöhter und verringerter Luminanz gleichzeitig) oder irgendeine Kombination davon sein. Wie erkannt wird, können zeitliche Informationen wie z. B. Zeitstempel mit erhöhter oder verringerter Beleuchtung, Dauer usw. innerhalb der Granularität von Daten, die durch die Pixelsignale 112, 212 geliefert werden, aufgrund der Bewegungsrate des projizierten Merkmals 122 übereinstimmen; eine gewisse Variation kann jedoch unter Verwendung von Schwellenwertbildung, Signalverzögerungsverarbeitung oder anderen Techniken aufgelöst werden.
Ferner geben die Pixelsignale 112 das Merkmal (d. h. den Pixelort) des dynamischen Sichtsensors der dynamischen Sichtkamera 104 und das Merkmal (d. h. den Pixelort) des dynamischen Sichtsensors der dynamischen Sichtkamera 201 mit den übereinstimmenden zeitlichen Eigenschaften an. Dadurch weist das Merkmalsvergleichsmodul 102 eine Entsprechung zwischen einem Pixelort der dynamischen Sichtkamera 104 und einem Pixelort der dynamischen Sichtkamera 201 für eine Position (x) der Szene 121 auf. Eine solche Entsprechung kann in einer Vielfalt von Bildverarbeitungs- oder Computersichtzusammenhängen verwendet werden. Das Merkmalsvergleichsmodul 102 kann beispielsweise einen Tiefenwert der Tiefenabbildung 113 (oder einen Disparitätswert einer Disparitätsabbildung) unter Verwendung der Entsprechung bestimmen. Solche zeitlichen Signalisierungs- und Detektionstechniken können für einen Bereich, eine Matrix oder ein Gitter von Positionen der Szene 121 durch Vorsehen irgendeiner Anzahl von projizierten Merkmalen analog zum projizierten Merkmal 122, Detektieren einer Übereinstimmung für die zeitliche Eigenschaft eines durch den dynamischen Sichtsensor der dynamischen Sichtkamera 104 detektierten Merkmals und eines durch den dynamischen Sichtsensor der dynamischen Sichtkamera 201 detektierten Merkmals und wahlweise Durchführen einer Triangulation, um einen Tiefenwert der Tiefenabbildung 113 (oder einen Disparitätswert einer Disparitätsabbildung) unter Verwendung der Entsprechung zu bestimmen, wiederholt werden. Jedes projizierte Merkmal 122 kann in Reihe, teilweise oder vollständig parallel usw. bereitgestellt werden, so dass eindeutige Entsprechungen detektiert werden können.
Wie in Bezug auf das System 100 erörtert, kann die Tiefenabbildung 113 (oder eine Disparitätsabbildung) im Arbeitsspeicher 107 gespeichert und auf diese durch das Computersichtmodul 106 zugegriffen werden oder das Merkmalsvergleichsmodul 102 kann Entsprechungsinformationen wie z. B. eine Datenstruktur, die entsprechende Merkmale angibt (d. h. Merkmale, die miteinander übereinstimmen oder einander entsprechen aufgrund dessen, dass sie übereinstimmende zeitliche Eigenschaften aufweisen), zwischen dem dynamischen Sichtsensor der dynamischen Sichtkamera 104 und dem dynamischen Sichtsensor der dynamischen Sichtkamera 201 erzeugen. Solche Entsprechungsinformationen können im Arbeitsspeicher 107 für die anschließende Bildverarbeitung, Computersichtverarbeitung oder dergleichen gespeichert werden.
3 stellt einen Beispielvergleich 300 eines stereoskopischen Bildes dar, der gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 3 gezeigt, kann der Vergleich 300 des stereoskopischen Bildes das Erreichen von ersten und zweiten (oder linken und rechten) übereinstimmenden Merkmalen (wie durch Merkmale x_L und x_R innerhalb der Bildebenen 314a und 314b für die Deutlichkeit der Darstellung angegeben) umfassen. Wie erörtert, können übereinstimmende Merkmale durch Vergleichen von Pixeln (z. B. Orten von Pixeln) zwischen den dynamischen Sichtkameras 104, 201 unter Verwendung von zeitlichen Eigenschaften bestimmt werden. Wie gezeigt, kann die Szene 121 eine Beispieloberfläche 310 umfassen. Die Szene 121 kann irgendeine geeignete Szene umfassen, einschließlich Innen- und Außenszenen, Szenen mit Objekten und/oder Leuten, und so weiter. Stereovergleichstechniken können ein Tiefenbild auf der Basis einer Triangulation von entsprechenden Merkmalen (und/oder der Orte von entsprechenden Pixeln zwischen den dynamischen Sichtsensoren) bestimmen. Wie in 3 gezeigt, kann in Anbetracht von linken und rechten Bildebenen 314a und 314b mit jeweils einer Darstellung eines dreidimensionalen Punkts x auf der Oberfläche 310 die Tiefe d von x beispielsweise auf der Basis von d=f*b/disp bestimmt werden, wobei f und b die Brennweite bzw. Grundlinie sind und disp die Disparität für x ist, die die Pixelverlagerung von x zwischen dem sachdienlichen Pixel des dynamischen Sichtsensors der dynamischen Sichtkamera 104 und dem entsprechenden (übereinstimmenden) Merkmal des dynamischen Sichtsensors der dynamischen Sichtkamera 201 angibt. Ferner schafft die Grundlinie b, die dynamische Sichtkamera 104 zur dynamischen Sichtkamera 201, eine epipolare Linie oder Achse. Wie hier weiter erörtert wird, werden (eine) zeitliche Eigenschaft(en) von projizierten Merkmalen über die Szene 121 verändert, um eine Entsprechung zwischen Merkmalen zu schaffen, die durch die dynamischen Sichtkameras 104, 201 detektiert werden. In einigen Ausführungsformen können (eine) zeitliche Eigenschaft(en) von projizierten Merkmalen entlang der y-Achse (z. B. orthogonal zur erörterten epipolaren Achse oder Ebene) gleich sein, da der Pixelvergleich nicht entlang der y-Achse durchgeführt wird, sondern stattdessen auf den Vergleich entlang der x-Achse eingeschränkt ist. Solche projizierten Merkmale können beispielsweise durch Pixel projiziert werden, die zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind, und/oder solche projizierten Merkmale können in Winkeln projiziert werden, die zur epipolaren Achse orthogonal sind.
Obwohl in Bezug auf das System 200 dargestellt, können mit erneutem Bezug auf 1 Tiefenwerte unter Verwendung von ähnlichen Techniken durch Ersetzen der Pixelverlagerung von x zwischen dem sachdienlichen Merkmal der dynamischen Sichtsensoren der dynamischen Sichtkameras 104, 201 durch die Pixelverlagerung von x zwischen dem sachdienlichen Merkmal des dynamischen Sichtsensors der dynamischen Sichtkamera 104 und dem entsprechenden (übereinstimmenden) Merkmal des dynamischen Projektors 105 und/oder durch einen Ort der Pixel in einer oder beiden der dynamischen Sichtkameras 104, 201 und einen projizierten Winkel vom dynamischen Projektor erzeugt werden. Der projizierte Winkel kann beispielsweise ein Winkel zwischen der positiven z-Richtung und dem projizierten Merkmal in der x-z-Ebene sein. Irgendein geeigneter projizierter Winkel kann jedoch verwendet werden.
4 stellt beispielhafte Komponenten des Beispielsystems 100 dar, die gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen sind. Insbesondere stellt 4 eine dynamische Beispielsichtkamera 104 und einen dynamischen Beispielprojektor 105 dar. Wie gezeigt, kann die dynamische Sichtkamera 104 eine Linse 401 benachbart zu einem dynamischen Sichtsensor 402 umfassen, die beide innerhalb eines Gehäuses 403 implementiert werden. Die Linse 401 kann beweglich sein, um die Beleuchtung 115 auf den dynamischen Sichtsensor 402 zu fokussieren. Die dynamische Sichtkamera 104 kann ferner eine Schaltungsanordnung oder dergleichen umfassen, um Pixelsignale 112 auf der Basis der empfangenen Beleuchtung wie z. B. der Beleuchtung 115 zu erzeugen (siehe bitte 1).
5 stellt einen dynamischen Beispielsichtsensor 402 dar, der gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 5 gezeigt, umfasst der dynamische Sichtsensor 402 ein Gitter von Sensorpixeln 501. Die Sensorpixel 501 können irgendeine geeignete Schaltungsanordnung und Materialien umfassen, die die Detektion einer Änderung der Beleuchtung über die Zeit und die Angabe einer solchen Änderung vorsehen können. Wie erörtert, ist ein Satz von Sensorpixeln 501 Pixel, die zu mindestens einem anderen Pixel im Satz benachbart sind. Wie gezeigt, umfasst in einer Ausführungsform ein beispielhaftes Sensorpixel 501 einen Photorezeptor 511, eine Differenzierschaltung 512 (mit einem Rücksetzschalter 513) und Komparatoren 514. Einfallendes Licht 502 wird durch den Photorezeptor 511 (z. B. mit einer Photodiode) detektiert und ein Photostrom vom Photorezeptor 511 wird in eine Spannung umgesetzt, die der Differenzierschaltung 512 (z. B. einer verstärkten Differenzierschaltung) zugeführt wird, die die Detektion von Zunahmen oder Abnahmen des Photostroms über die Komparatoren 514 ermöglicht. Eine Zunahme des Photostroms wird als EIN-Ereignis 515 detektiert und eine Abnahme des Photostroms wird als AUS-Ereignis 516 detektiert. Sensorpixel 501 beruhen beispielsweise nicht auf Ladungssammlung (wie bei herkömmlichen Bildsensoren) und messen stattdessen den Photostrom direkt im Photorezeptor 511. Eine solche Konfiguration bietet vorteilhafterweise einen hohen dynamischen Bereich im Gegensatz zu herkömmlichen Sensorpixeln, da die Photodiodenkapazität keine Einschränkung vorsieht. Die Sensorpixel 501 des dynamischen Sichtsensors 402 können in einigen Beispielen 120 dB eines dynamischen Bereichs erreichen.
6 stellt ein Beispielzeitablaufdiagramm 600 für ein spezielles Pixel eines dynamischen Sichtsensors im Betrieb dar, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 6 gezeigt, wenn der Lichtpegel (z. B. Beleuchtung oder Intensität) an einem speziellen Pixel, wie durch die absolute Intensität der Beispielpixelintensität 601 angegeben, über die Zeit zunimmt oder abnimmt, werden EIN-Ereignisse 602 (z. B. entsprechend Zunahmen der absoluten Intensität) und AUS-Ereignisse 603 (z. B. entsprechend Abnahmen der absoluten Intensität) detektiert. Hier werden AUS-Ereignisse unter Verwendung einer schraffierten Füllung angegeben und EIN-Ereignisse werden ohne Verwendung einer Füllung angegeben. Wie in Bezug auf EIN-Ereignisse 604 gezeigt, wenn eine scharfe Zunahme des Lichtpegels besteht, werden viele oder mehrere EIN-Ereignisse in schneller Folge erzeugt. Danach schwingt sich die Schaltung ein und kehrt zum Erzeugen von EIN- und AUS-Ereignissen zurück, wie durch Änderungen der absoluten Intensität ausgelöst. In einigen Ausführungsformen sind EIN- und AUS-Ereignisse 602, 603 in den Pixelsignalen 112, 212 enthalten. Die Pixelsignale 112, 212 können beispielsweise Informationen des Pixels, die dem Zeitablaufdiagramm 600 entsprechen (z. B. ein x-, y-Pixelort oder anderer Identifizierer), und Informationen, die EIN- und AUS-Ereignisse 602, 603 angeben, wie z. B. ein Zeitstempel des Ereignisses und ob das Ereignis ein EIN- oder AUS-Ereignis ist, umfassen. In Ausführungsformen, in denen der Vergleich zwischen dynamischen Sichtsensoren durchgeführt wird, können solche Zeitstempel oder andere Daten, die EIN- und/oder AUS-Ereignisse darstellen, zwischen den Pixelsignalen 112, 212 verglichen werden, wie erörtert, und die Pixel, die diesen entsprechen, können als übereinstimmende oder entsprechende Pixel für die Zwecke der Tiefenbildverarbeitung oder dergleichen definiert werden. In Ausführungsformen, in denen der Vergleich zwischen einem dynamischen Sichtsensor und einem dynamischen Projektor durchgeführt wird, können solche Zeitstempel oder andere Daten, die EIN- und/oder AUS-Ereignisse von Pixelsignalen 112 darstellen, mit denselben oder ähnlichen Informationen oder Daten verglichen werden, die durch das Beleuchtungsmustersignal 118 bereitgestellt werden. Das Beleuchtungsmustersignal 118 kann beispielsweise ein Datenformat aufweisen, das den Pixelsignalen 112 entspricht, die wiederum durch EIN- und AUS-Ereignisse 602, 603 definiert sein können, wie durch die Sensorpixel 501 erzeugt.
Mit Rückkehr zu 4, wie erörtert, kann die dynamische Sichtkamera 104 mit der Linse 401 und dem dynamischen Sichtsensor 402 innerhalb des Gehäuses 403 im System 100 implementiert werden. Dieselben oder ähnliche Komponenten können auch als dynamische Sichtkamera 201 implementiert werden, wie in Bezug auf das System 200 erörtert. Wie auch in 4 gezeigt, kann in einer Ausführungsform der dynamische Projektor 105 des Systems 100 oder Systems 200 eine Matrix von Oberflächenemissionslasern mit vertikalem Hohlraum (VCSELs), eine VCSEL-Matrix 406, benachbart zu einer Linse 405 umfassen. Die VCSEL-Matrix 406 und die Linse 405 können auch wahlweise innerhalb eines separaten Gehäuses (nicht gezeigt) oder innerhalb des Gehäuses 403 implementiert werden. Die VCSEL-Matrix 406 emittiert unter der Steuerung des Treibers 108 (als Projektortreiber in 4 dargestellt) eine Lichtemission 407, die durch die Linse 405 fokussiert werden kann, um das Lichtmuster 114 zu erzeugen, wie hier erörtert.
7A stellt eine Seitenansicht eines dynamischen Beispielprojektors mit einer Beispiel-VCSEL-Matrix 406 dar, der gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 7A gezeigt, umfasst die VCSEL-Matrix 406 eine Matrix oder ein Gitter von VCSELs mit einem VCSEL 702, der auf und/oder innerhalb eines Substrats 701 angeordnet ist. Die VCSEL-Matrix 406 kann beispielsweise auf dem Substrat 701 in einem Gittermuster in der x-y-Ebene angeordnet sein. Die Ausführungsform von 7A kann einen dynamischen Projektor bereitstellen, der eine 1:1-Entsprechung zwischen jedem VCSEL der VCSEL-Matrix 406 und projizierten Merkmalen (z. B. Strahlen, Punkten oder Flecken) bereitstellt, die auf die Szene 121 projiziert werden. Wie gezeigt, ist jeder VCSEL 702 in eine 2D-Matrix über dem Substrat 701 zusammengesetzt und jeder VCSEL 702 emittiert unter der Steuerung des Treibers 108 durch die Linse 405 (z. B. eine Projektorlinse), um ein entsprechendes projiziertes Merkmal auf die Szene 121 zu werfen. Jeder VCSEL 702 kann beispielsweise eine Reihe von VCSELs darstellen, die sich in der y-Achse entlang des Substrats 701 erstrecken.
In einer Ausführungsform ist jeder VCSEL 702 unabhängig steuerbar, um separat ein projiziertes Merkmal mit einer speziellen zeitlichen Eigenschaft oder zeitlichen Eigenschaften bereitzustellen, wie hier erörtert. In einer anderen Ausführungsform ist jede Reihe von VCSELs 702, die entlang der y-Achse miteinander gruppiert sind, unabhängig (d. h. auf einer reihenweisen Basis) steuerbar, um projizierte Merkmale mit einer speziellen zeitlichen Eigenschaft oder speziellen zeitlichen Eigenschaften bereitzustellen, so dass die Eigenschaften entlang der y-Achse übereinstimmen. In solchen Ausführungsformen ist die y-Achse orthogonal zur epipolaren Achse der Triangulation angeordnet (siehe bitte 1, 2 und 3), so dass die zeitliche Eigenschaft oder die zeitlichen Eigenschaften, die entlang der y-Achse nicht eindeutig sind, den Vergleich von Pixeln entlang der epipolaren Achse (z. B. entlang der x-Achse) nicht behindern. Die zeitliche Eigenschaft oder die zeitlichen Eigenschaften von projizierten Merkmalen können beispielsweise entlang der x-Achse eindeutig sein, aber nicht entlang der y-Achse eindeutig sein.
7B stellt eine Seitenansicht eines dynamischen Beispielprojektors mit einer Beispiel-VCSEL-Matrix 406 und einem optischen Beispielelement 703 dar, um emittiertes Licht in Muster 704 aufzuspalten, der gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 7B gezeigt, kann das optische Element 703 auf oder über der VCSEL-Matrix 406 angeordnet sein, so dass das emittierte Licht von jedem der VCSELs 702 in Sätze oder Gruppen von vordefinierten Mustern 704 aufgespalten wird, so dass jedes der Muster 704 mehrere projizierte Merkmale oder Beleuchtungskomponenten in einem definierten Muster umfasst. Unter Verwendung des optischen Elements 703 kann beispielsweise ein ganzes Muster (z. B. projiziertes Merkmal) durch jeden der VCSELs 702 erzeugt werden. Das optische Element 703 kann irgendein geeignetes optisches Element sein oder beliebige geeignete optische Elemente umfassen, die emittiertes Licht von jedem der VCSELs 702 in einen Satz oder eine Gruppe von projizierten Merkmalen aufspalten, um die Muster 704 zu definieren. In einer Ausführungsform ist das optische Element 703 ein optisches Beugungselement. In einer Ausführungsform ist das optische Element 703 eine Mikrolinse oder mehrere Mikrolinsen. In einer Ausführungsform ist das optische Element 703 eine Metaoberfläche oder ein Metamaterial. Muster 704 können für jeden der VCSELs 702 gleich sein oder sie können unterschiedlich sein. Ferner kann jedes der Muster 704 von projizierten Merkmalen beliebige geeignete Muster von beliebigen vordefinierten projizierten Merkmalen wie z. B. Punkten oder anderen Formen sein. In einer Ausführungsform sehen die Muster 704 projizierte Merkmale vor, die zu einer epipolaren Achse orthogonal sind, wie hier erörtert.
8 stellt eine Seitenansicht eines dynamischen Beispielprojektors mit einer Spiegelimplementierung von mikroelektromechanischen Systemen (MEMS) dar, die gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Der dynamische Projektor 105 oder irgendein anderer hier erörterter dynamischer Projektor kann beispielsweise die Komponenten von 8 implementieren, um ein Lichtmuster 114 mit projizierten Merkmalen mit unterschiedlichen zeitlichen Eigenschaften bereitzustellen, wie hier erörtert. Wie in 8 gezeigt, kann der dynamische Projektor 105 einen Kantenlaser 803 und einen 2D-MEMS-Abtaster 802, die an einem Substrat 801 montiert sind, umfassen. Zusätzliche optische Elemente können auch im Strahlengang verwendet werden (z. B. Streueinrichtungen, Integratoren und Kollimatoren). In einer Ausführungsform ist der MEMS-Abtaster 802 dazu ausgelegt, über sowohl einen ersten Projektionswinkel (z. B. vertikal) als auch einen orthogonalen zweiten Projektionswinkel (z. B. horizontal) abzutasten, um den Beleuchtungspunktort entlang einer ersten Achse (z. B. y-Achse) und zweiten Achse (z. B. x-Achse) in Reaktion auf ein daran angelegtes elektrisches Signal zu verändern. Der MEMS-Abtaster 802 kann beispielsweise in Reaktion auf das Steuersignal 111 abtasten, das durch den Treiber 108 geliefert wird. Licht vom Kantenlaser 803 kann zeitlich gesteuert (z. B. gepulst) werden, wenn der MEMS-Abtaster abtastet, um das Lichtmuster 114 mit variierenden zeitlichen Eigenschaften zu erzeugen, wie hier erörtert. Der Kantenlaser 803 und der MEMS-Abtaster 802 können beispielsweise gemeinsam arbeiten, um das Lichtmuster 114 mit variierenden zeitlichen Eigenschaften über der Szene 121 bereitzustellen.
In einer anderen Ausführungsform ist der MEMS-Abtaster 802 dazu konfiguriert, nur in einem Projektionswinkel (z. B. horizontal entlang der x-Achse) abzutasten, während er im anderen Winkel (z. B. vertikal oder entlang der y-Achse) fest ist. Der MEMS-Abtaster 802 kann beispielsweise in der x-Richtung in Reaktion auf das Steuersignal 111 abtasten, das durch den Treiber 108 geliefert wird. Ferner kann Licht vom Kantenlaser 803 zeitlich gesteuert (z. B. gepulst) werden, wenn der MEMS-Abtaster abtastet, um das Lichtmuster 114 mit variierenden zeitlichen Eigenschaften zu erzeugen, wie hier erörtert. Wie erörtert, wird in einigen Ausführungsformen ein Pixelvergleich nur in der x-Richtung und mit zeitlichen Eigenschaften durchgeführt, die entlang der y-Achse (z. B. der epipolaren Achse der Triangulation) nicht variieren, den Pixelvergleich in der x-Richtung nicht behindern. Tatsächlich können solche Eigenschaften die Abtastzeiten, Pixelvergleichszeiten usw. verringern.
Obwohl in Bezug auf eine VCSEL-Matrix-Projektor-Ausführungsform (z. B. 7) und eine MEMS-Abtaster-Projektor-Ausführungsform (z. B. 8) erörtert, kann irgendein geeigneter dynamischer Projektor implementiert werden, um das Lichtmuster 114 zu erzeugen. In einigen Ausführungsformen umfasst ein Emitter eines dynamischen Projektors einen Spiegel einer verformbaren Mikrospiegelvorrichtung (DMD). Eine DMD kann beispielsweise eine Projektionsmatrix mit einer 100x100-Spiegelmatrix, einer 1000x1000-Spiegelmatrix oder mehr umfassen. Zusätzlich zur Projektionsmatrix kann ein solcher Projektion ferner eine oder mehrere kantenemittierende (oder oberflächenemittierende) Laserlichtquellen umfassen, die dazu konfiguriert sind, auf alles oder einen Abschnitt der Spiegelmatrix zu scheinen.
9 stellt eine Darstellung eines Beispiellichtmusters 901 dar, das auf eine Beispielszene 900 geworfen wird, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. 9 stellt beispielsweise für die Zwecke der Deutlichkeit der Darstellung ein Beispiellichtmuster 901 dar, wobei jeder Pixelort eines dynamischen Projektors wie z. B. des dynamischen Projektors 105 gleichzeitig beleuchtet wird, um jedes verfügbare projizierte Merkmal 904 zu erzeugen. Das Lichtmuster 114 kann beispielsweise projizierte Merkmale 904 mit verschiedenen zeitlichen Eigenschaften beleuchten, wie hier erörtert. Die Szene 900 kann beispielsweise zu irgendeinem Zeitpunkt durch eines oder alle oder irgendeine Kombination der projizierten Merkmale 904 des Lichtmusters 901 beleuchtet werden. In der Praxis einige oder alle der projizierten Merkmale 904 mit variierenden zeitlichen Eigenschaften, so dass Pixelvergleiche unter Verwendung von solchen variierenden zeitlichen Eigenschaften von projizierten Merkmalen 904 detektiert werden können. Einer oder mehrere dynamische Sichtsensoren detektieren beispielsweise zeitliche Änderungen von projizierten Merkmalen 904 als Pixelantworten darin und solche Antworten können zwischen dynamischen Sichtsensoren und/oder zwischen einem dynamischen Sichtsensor und dem dynamischen Projektor korreliert werden, der verwendet wird, um die zeitlichen Änderungen von projizierten Merkmalen 904 zu erzeugen, um Pixelvergleiche bereitzustellen.
Wie in 9 gezeigt, umfasst die Szene 900 ein Lichtmuster 901 (d. h. weiße Punkte in der Darstellung) vom Lichtmuster 114, das auf die Szene 121 projiziert oder geworfen wird. Wie gezeigt, kann in einer Ausführungsform das Lichtmuster 901 ein gitterartiges Muster von Punkten, Strahlen, Flecken oder dergleichen des projizierten Merkmals 904 aufweisen. Das Lichtmuster 901 kann jedoch irgendein geeignetes Muster wie z. B. ein zufälliges Fleckmuster, ein konzentrisches Ringmuster usw. von Formen des projizierten Merkmals 904, projizierte Formen wie z. B. Quadrate, Rechteckge, Rauten oder dergleichen aufweisen. Die Szene 900 kann irgendeine geeignete Szene umfassen. In der dargestellten Ausführungsform umfasst die Szene 900 ein Vordergrundobjekt 903 (z. B. einen Tisch) und einen Hintergrund 902. In einigen Ausführungsformen ist es vorteilhaft, eine Tiefenabbildung der Szene 900 zu bestimmen, so dass die Tiefenabbildung Tiefen von Objekten angibt, wie sie bei der Szene 900 positioniert sind.
10 stellt ein Beispielsignalzeitablaufdiagramm 1000 für spezielle Pixel eines dynamischen Projektors, eines ersten dynamischen Sichtsensors und eines zweiten dynamischen Sichtsensors im Betrieb dar, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 10 gezeigt, kann ein Pixel eines dynamischen Projektors für ein spezielles projiziertes Merkmal ein Beleuchtungsintensitätssignal 1001 liefern, so dass das Pixel (und das entsprechende projizierte Merkmal) anfänglich ausgeschaltet ist, zum Zeitpunkt t0 eingeschaltet wird und zum Zeitpunkt t1 ausgeschaltet wird (so dass das Beleuchtungsereignis eine Beleuchtungsdauer von t1-t0 aufweist). Wie gezeigt reagiert in Reaktion auf das Beleuchtungsintensitätssignal 1001 ein Pixel (oder mehrere benachbarte Pixel) eines ersten dynamischen Sichtsensors mit einem Ereignissignal 1002, das ein EIN-Ereignis zum Zeitpunkt t0 und ein AUS-Ereignis zum Zeitpunkt t1 angibt, so dass eine entsprechende Beleuchtungsdauer besteht, die als Zeitdifferenz zwischen dem EIN-Ereignis und dem AUS-Ereignis (z. B. t1-t0) bestimmt ist. Ebenso reagiert ein zweiter dynamischer Sichtsensor mit einem Ereignissignal 1003, das ein EIN-Ereignis zum Zeitpunkt t0 und ein AUS-Ereignis zum Zeitpunkt t1 und eine entsprechende Beleuchtungsdauer (z. B. t1-t0) angibt.
Wie erkannt wird, ist vor der Signalanalyse das einzige bekannte Pixel, das den Signalen 1001, 1002, 1003 entspricht, das Pixel des dynamischen Projektors, der das Beleuchtungsintensitätssignal 1001 über das entsprechende projizierte Merkmal projiziert. Beim Empfangen von einem oder beiden der Ereignissignale 1002, 1003 bestimmt das Merkmalsvergleichsmodul 102 oder eine ähnliche Komponente, welches Pixel des ersten dynamischen Sichtsensors ein Ereignissignal aufweist, das dem Beleuchtungsintensitätssignal 1001 entspricht (für den Vergleich zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor), und/oder welches Ereignissignal zwischen Pixeln des ersten dynamischen Sichtsensors und des zweiten dynamischen Sichtsensors übereinstimmt.
Ein solcher Vergleich kann unter Verwendung irgendeiner geeigneten Technik oder von beliebigen geeigneten Techniken durchgeführt werden. Für Ausführungsformen, die Pixel eines dynamischen Projektors und Pixel eines dynamischen Sichtsensors vergleichen, werden Pixelsignale wie z. B. das Ereignissignal 1002 (z. B. wie durch Pixelsignale 112 bereitgestellt) für einige oder alle Pixel des dynamischen Sichtsensors auf eines oder mehrere eines EIN-Ereignisses zum Zeitpunkt t0 (oder innerhalb eines Schwellenwerts des Zeitpunkts t0), eines AUS-Ereignisses zum Zeitpunkt t1 (oder innerhalb eines Schwellenwerts des Zeitpunkts t1) und einer Differenz zwischen zeitlich benachbarten EIN- und AUS-Ereignissen von t1-t0 überwacht. Für Ausführungsformen, die Pixel zwischen dynamischen Sichtsensoren vergleichen, werden Pixelsignale wie z. B. das Ereignissignal 1002 (z. B. wie durch Pixelsignale 112 bereitgestellt) und Ereignissignal 1003 (z. B. wie durch Pixelsignale 212 bereitgestellt) für einige oder alle Pixel der dynamischen Sichtsensoren auf ein oder mehrere EIN-Ereignisse, die zum gleichen Zeitpunkt t0 (oder innerhalb Schwellenwerten des Zeitpunkts t0) sind, AUS-Ereignisse, die zum gleichen Zeitpunkt t1 (oder innerhalb Schwellenwerten des Zeitpunkts t1) sind, und Differenzen zwischen zeitlich benachbarten EIN- und AUS-Ereignissen von t1-t0 (oder innerhalb Schwellenwerten der Differenz t1-t0) überwacht. Dadurch können übereinstimmende Pixel bestimmt werden und solche Entsprechungen können im Arbeitsspeicher gespeichert werden, für die Tiefenabbildungserzeugung und/oder andere Computersicht- oder Abbildungsanwendungen verwendet werden. Wie erkannt wird, stellen die Signale 1001, 1002, 1003 einen im Wesentlichen perfekten Zeitablauf dazwischen dar. In der Praxis kann jedoch eine Verzögerung oder ein Signalisierungsverlust unter Verwendung von Schwellenwerttechniken, Signalanalysetechniken usw. gemildert werden.
10 stellt relativ einfache Signale 1001, 1002, 1003 wegen der Deutlichkeit der Darstellung dar. Solche Signale können beliebige geeignete Eigenschaften aufweisen, wie durch das Beleuchtungsintensitätssignal 1001 gesteuert. Das Beleuchtungsintensitätssignal 1001 kann beispielsweise mehrere Ein- und Aus-Ereignisse mit denselben oder unterschiedlichen Intensitäten mit denselben oder unterschiedlichen Dauern mit denselben oder unterschiedlichen Zeiten dazwischen (z. B. im Aus-Zustand) und dergleichen umfassen. Ferner können solche zeitlichen Eigenschaften (z. B. Einschalten eines projizierten Merkmals zu einer speziellen Startzeit, Halten für eine spezielle Dauer eingeschaltet, Ausschalten zu einer speziellen Endzeit und wahlweise Wiederholen mit derselben Dauer, einer unterschiedlichen Dauer, Intensität, Frequenz usw.) für nur ein projiziertes Merkmal oder mehrere projizierte Merkmale gleichzeitig vorgesehen werden, so dass die Pixelentsprechung bereitgestellt werden kann, wie hier erörtert.
Mit Bezug auf 9 kann eine simple Methode darin bestehen, jedes der projizierten Merkmale 904 der Reihe nach in derselben Weise (z. B. unter Verwendung derselben zeitlichen Eigenschaften abgesehen von Start- und Stoppzeiten) ein- und auszuschalten und die Pixel von entweder einer oder beiden der dynamischen Sichtkameras zu überwachen, um eine Entsprechung zu bestimmen. Obwohl eine solche Methode eine leichte Implementierung bieten kann, kann sie hinsichtlich der Detektionszeit, der Tiefenabbildungserzeugungszeit usw. ineffizient sein. Stattdessen können unterschiedliche zeitliche Eigenschaften zusätzlich zu verschiedenen Start- und Stoppzeiten verwendet werden, so dass einige projizierte Merkmale 904 gleichzeitig beleuchtet werden (mit unterschiedlichen zeitlichen Eigenschaften). Die erörterten zeitlichen Eigenschaften von mehreren Ein- und Aus-Ereignissen von unterschiedlichen Anzahlen, unterschiedlicher Dauer, Intensität, Frequenz usw. können beispielsweise gleichzeitig (in der Zeit) an verschiedenen projizierten Merkmalen 904 verwendet werden. Zusätzlich oder alternativ können dieselben zeitlichen Eigenschaften gleichzeitig an projizierten Merkmalen 904 verwendet werden, die vertikal entlang der y-Achse (z. B. orthogonal zu einer epipolaren Achse) ausgerichtet sind, wie hier erörtert.
11 stellt ein Beispielbeleuchtungsschema 1100 für die Verwendung beim Merkmalsvergleich dar, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie erkannt wird, wird irgendein Beleuchtungsschema, das hier erörtert ist, durch Pixel des dynamischen Projektors 105 implementiert. Solche Beleuchtungsschemen werden in Bezug auf die Szene 900 wegen der Deutlichkeit der Darstellung dargestellt; solche Beleuchtungsschemen werden jedoch durch Pixel des dynamischen Projektors 105 im Maßstab implementiert. Jedes projizierte Merkmal, das durch ein Beleuchtungsschema bereitgestellt wird, wird beispielsweise unter Verwendung eines Pixels des dynamischen Projektors 105 erzeugt. Ferner wird im Folgenden die Szene 900 gezeigt, wobei Elemente davon entfernt sind, und projizierte Merkmale sind wegen der Deutlichkeit der Darstellung als schwarze Punkte gezeigt. Wie in 11 gezeigt, umfasst das Beleuchtungsschema 1100 das Vorsehen desselben Beleuchtungsintensitätssignals gleichzeitig für eine Reihe 1101 von projizierten Merkmalen 1104. Wie erörtert, kann eine erste Achse (z. B. horizontale, x-Achse) auf den Merkmalsvergleich ausgerichtet sein, während eine zweite Achse (z. B. vertikale, y-Achse) dazu orthogonal ist. Eine solche Orientierung kann durch Vorsehen desselben Beleuchtungsintensitätssignals (mit speziellen zeitlichen Eigenschaften) gleichzeitig ausgenutzt werden, so dass die Reihe 1101 von projizierten Merkmalen 1104 (und auch Pixeln des dynamischen Projektors 105) zu einer epipolaren Achse der Triangulation orthogonal ist.
Wie gezeigt, wird in einer Ausführungsform das Beleuchtungsintensitätssignal (mit speziellen zeitlichen Eigenschaften) für eine nächste Reihe (oder Spalte) von projizierten Merkmalen 1104 (und auch Pixeln des dynamischen Projektors 105) in einer Abtastrichtung 1105 über die Zeit abgetastet. Die projizierten Merkmale 1104 der Reihe 1101 werden beispielsweise in einem ersten Zeitrahmen unter Verwendung der speziellen zeitlichen Eigenschaften beleuchtet. Dann wird in einem anschließenden Zeitrahmen eine andere Reihe von projizierten Merkmalen 1104 unter Verwendung der speziellen zeitlichen Eigenschaften beleuchtet, und so weiter über die Szene 900.
12 stellt ein anderes Beispielbeleuchtungsschema 1200 zur Verwendung beim Merkmalsvergleich dar, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 12 gezeigt, umfasst das Beleuchtungsschema 1200 das Vorsehen von verschiedenen Beleuchtungsintensitätssignalen 1211, 1212 für eine erste Reihe 1201 von projizierten Merkmalen 1204 und eine zweite Reihe 1202 von projizierten Merkmalen 1205, so dass die Beleuchtungsintensitätssignale 1211, 1212 zumindest teilweise überlappen. Das Beleuchtungsintensitätssignal 1211 kann beispielsweise durch jedes projizierte Merkmal 1204 der ersten Reihe 1201 implementiert werden und das Beleuchtungsintensitätssignal 1212 kann durch jedes projizierte Merkmal 1205 der ersten Reihe 1202 implementiert werden. Wie in Bezug auf das Zeitablaufdiagramm 1210 gezeigt, weist das Beleuchtungsintensitätssignal 1211 zeitliche Eigenschaften mit einer ersten Ein/Aus-Beleuchtung und einer zweiten Ein/Aus-Beleuchtung auf, während das Beleuchtungsintensitätssignal 1212 zeitliche Eigenschaften mit einer einzelnen Ein/Aus-Beleuchtung aufweist, die zeitlich der ersten Ein/Aus-Beleuchtung des Beleuchtungsintensitätssignals 1211 entspricht. Wie in Bezug auf 12 erörtert, können die Reihen 1201, 1202 dieselben Beleuchtungsintensitätssignale 1211, 1212 innerhalb der Reihe aufweisen, da der Merkmalsvergleich nicht entlang der y-Achse durchgeführt wird. Ferner ermöglichen die unterschiedlichen zeitlichen Eigenschaften der Beleuchtungsintensitätssignale 1211, 1212 den Merkmalsvergleich entlang der x-Achse. Ein Pixel eines dynamischen Sichtsensors (wenn der Sensor mit dem Projektor verglichen wird) oder Pixel von mehreren dynamischen Sichtsensoren (wenn zwischen Sensoren verglichen wird) werden beispielsweise auf der Basis einer Reaktion auf das Beleuchtungsintensitätssignal 1211 oder einer Reaktion auf das Beleuchtungsintensitätssignal 1212 verglichen, so dass der Merkmalsvergleich auf der Basis der verschiedenen unterschiedlichen zeitlichen Eigenschaften der Beleuchtungsintensitätssignale 1211, 1212 unterschieden wird.
Ein Pixel eines dynamischen Sichtsensors, das auf das Beleuchtungsintensitätssignal 1211 reagiert hätte beispielsweise ein EIN-Ereignis zum Zeitpunkt t0, ein AUS-Ereignis zum Zeitpunkt t1, ein EIN-Ereignis zum Zeitpunkt t2 und ein AUS-Ereignis zum Zeitpunkt t3. Dagegen hätte ein Pixel eines dynamischen Sichtsensors, das auf das Beleuchtungsintensitätssignal 1212 reagiert, ein EIN-Ereignis zum Zeitpunkt t0 und ein AUS-Ereignis zum Zeitpunkt t1 ohne irgendwelche Ereignisse zu den Zeitpunkten t2, t3. Solche Beleuchtungsintensitätssignale 1211, 1212 können unter Verwendung irgendeiner geeigneten Technik oder von beliebigen geeigneten Techniken verändert werden, wie z. B. unterschiedliche Beleuchtungsstartzeiten, unterschiedliche Beleuchtungsdauern, unterschiedliche Beleuchtungsendzeiten, verschiedene Anzahlen von Beleuchtungsereignissen, verschiedene Beleuchtungsfrequenzen usw. Wie hier verwendet, gibt der Begriff Beleuchtungsstartzeit einen Start eines projizierten Merkmals an, das in einen Ein-Zustand eingeschaltet oder hochgesetzt wird, eine Beleuchtungsdauer gibt ein projiziertes Merkmal an, das in einem Ein-Zustand gehalten wird (ob mit derselben oder einer variierenden Intensität), eine Beleuchtungsendzeit gibt ein projiziertes Merkmal an, das in einen Aus-Zustand ausgeschaltet oder herabgesetzt wird, ein Beleuchtungsereignis gibt ein projiziertes Merkmal an, das ein- und ausgeschaltet wird oder anderweitig zwischen einer hohen und einer niedrigen Beleuchtungsintensität im Zyklus geführt wird, und eine Beleuchtungsfrequenz gibt eine Frequenz zwischen Startzeiten, Endzeiten oder dergleichen an.
Wie erörtert, können unterschiedliche zeitliche Eigenschaften wie z. B. jene, die in Bezug auf die Beleuchtungsintensitätssignale 1211, 1212 erörtert sind, entlang einer ersten Achse (z. B. vertikal entlang der y-Achse) gleich und entlang einer zweiten Achse (z. B. horizontal entlang der x-Achse) unterschiedlich sein. In anderen Ausführungsformen werden unterschiedliche zeitliche Eigenschaften an anderen Stellen über oder um eine Szene bereitgestellt (wie durch Pixel eines dynamischen Projektors bereitgestellt). Ferner können in einigen Ausführungsformen dieselben zeitlichen Eigenschaften entlang einer epipolaren Achse bereitgestellt werden, solange sie durch einen ausreichenden Abstand getrennt sind, um einen Merkmalsvergleich zu ermöglichen.
13 stellt noch ein anderes Beispielbeleuchtungsschema 1300 für die Verwendung beim Merkmalsvergleich dar, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. Wie in 13 gezeigt, umfasst das Beleuchtungsschema 1300 das Vorsehen derselben Beleuchtungsintensitätssignale 1311, 1312 für eine erste Reihe 1301 von projizierten Merkmalen 1304 und eine zweite Reihe 1302 von projizierten Merkmalen 1305. Wie auch gezeigt, sind die projizierten Merkmale 1304 und projizierten Merkmale 1305 um einen Abstand d getrennt. Das Vergleichen der Beleuchtungsintensitätssignale 1311, 1312 kann beispielsweise durch jedes projizierte Merkmal 1304 der ersten Reihe 1301 und jedes projizierte Merkmal 1305 der ersten Reihe 1302 implementiert werden, solange die projizierten Merkmale 1304 und projizierten Merkmale 1305 zumindest um einen Abstand d getrennt sind (und Pixel des dynamischen Projektors durch eine Disparität disp getrennt sind), so dass das Vergleichen der Beleuchtungsintensitätssignale 1311, 1312 den Merkmalsvergleich nicht behindert, wie hier erörtert. Der Abstand d und/oder die Pixeldisparität des dynamischen Projektors, disp, können beliebige geeignete Werte sein. Die Pixeldisparität kann beispielsweise ein Viertel oder eine Hälfte einer gesamten Pixeldisparität einer maximalen Breite (in Pixeln) des dynamischen Projektors sein.
Wie in Bezug auf das Zeitablaufdiagramm 1310 gezeigt, stimmen die Beleuchtungsintensitätssignale 1311, 1312 überein, so dass beide zeitliche Eigenschaften mit einer ersten Ein/Aus-Beleuchtung und einer zweiten Ein/Aus-Beleuchtung aufweisen. Wie erörtert, kann der seitliche Abstand zwischen den projizierten Merkmalen 1304, 1305, die die Beleuchtungsintensitätssignale 1311, 1312 implementieren, den Merkmalsvergleich bereitstellen, wie hier erörtert. Es wird angemerkt, dass eine solche Wiederholung von Beleuchtungsintensitätssignalen 1311, 1312 zugehörige Kosten von Fehlern bei Pixelvergleichen mit einem entsprechenden Vorteil von erhöhter Geschwindigkeit aufweisen kann.
14 stellt eine Beispielvorrichtung 1400 zum Bestimmen einer Entsprechung zwischen einem dynamischen Sichtsensor und/oder zwischen mehreren dynamischen Sichtsensoren dar, die gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 14 gezeigt, kann die Vorrichtung 1400 eine dynamische Sichtkamera 104, eine dynamische Sichtkamera 201, einen dynamischen Projektor 105 und eine Hauptplatine 1401 umfassen, um innerhalb eines Gehäuses 1402 der Vorrichtung 1400 einen Arbeitsspeicher 107, einen ISP 101 und ein Computersichtmodul 106 zu implementieren. Wie auch gezeigt, kann die Vorrichtung 1400 einen Anzeigeanschluss 1403 umfassen, um Bilddaten für die Darstellung zu einem Benutzer über eine Anzeige (nicht gezeigt) zu übertragen, die als integrierte Komponente der Vorrichtung 1400 oder separat von der Vorrichtung 1400 implementiert werden kann.
Mit Bezug auf 1 und 2 kann in einigen Ausführungsformen das Merkmalsvergleichsmodul 102 über Hardware (z. B. einen Graphikprozessor oder ISP 101) implementiert werden, um die Tiefenabbildung 113 oder ein Tiefenbild auf der Basis des Merkmalsvergleichs zwischen den dynamischen Sichtkameras 104, 201 und/oder des Merkmalsvergleichs zwischen dem dynamischen Projektor 105 und einer oder beiden der dynamischen Sichtkameras 104, 201 unter Verwendung von hier erörterten Techniken zu erzeugen. Wie gezeigt, können die dynamischen Sichtkameras 104, 201 und wahlweise der dynamische Projektor 105 in Bezug auf die Szene 121 horizontal ausgerichtet oder im Wesentlichen horizontal ausgerichtet sein, um den Merkmalsvergleich entlang einer horizontalen Achse oder Ebene durchzuführen.
15 ist ein Ablaufdiagramm, das einen Beispielprozess 1500 zum Korrelieren eines Merkmals, das an einem Pixel eines dynamischen Sichtsensors detektiert wird, mit einem Merkmal eines projizierten Lichtmusters darstellt, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Der Prozess 1500 kann eine oder mehrere Operationen 1501 - 1503 umfassen, wie in 15 dargestellt. Der Prozess 1500 kann zumindest einen Teil eines Prozesses zum Vergleich eines Pixels eines dynamischen Sichtsensors mit einem projizierten Merkmal bilden. Als nicht begrenzendes Beispiel kann der Prozess 1500 durch irgendeine Vorrichtung, irgendein System oder eine Kombination davon durchgeführt werden, wie hier erörtert. Ferner wird der Prozess 1500 hier mit Bezug auf das System 1600 von 16 beschrieben, das eine oder mehrere Operationen des Prozesses 1500 durchführen kann.
16 ist ein erläuterndes Diagramm eines Beispielsystems 1600 zum Korrelieren eines Merkmals, das an einem Pixel eines dynamischen Sichtsensors detektiert wird, mit einem Merkmal eines projizierten Lichtmusters, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. Wie in 16 gezeigt, kann das System 1600 einen zentralen Prozessor 1601, einen Graphikprozessor 1602, einen Arbeitsspeicher 1603, dynamische Sichtkameras 104, 201, einen dynamischen Projektor 105, einen Treiber 108 und einen ISP 101 umfassen. Wie auch gezeigt, kann der zentrale Prozessor 1601 ein Computersichtmodul 106 umfassen oder implementieren und der ISP 101 kann ein Merkmalsvergleichsmodul 102 und ein Lichtmustermodul 103 umfassen oder implementieren. Im Beispiel des Systems 1600 kann der Arbeitsspeicher 1603 Pixelsignaldaten, Steuersignaldaten, Tiefenabbildungsdaten, Pixelentsprechungsdaten und/oder beliebige andere Daten speichern, wie hier erörtert.
Wie gezeigt, wird in einigen Ausführungsformen das Computersichtmodul 106 durch den zentralen Prozessor 1601 implementiert und das Merkmalsvergleichsmodul 102 und das Lichtmustermodul 103 werden durch den ISP 101 implementiert. In einigen Ausführungsformen wird das Computersichtmodul 106 durch den ISP 101 oder Graphikprozessor 1602 implementiert. In einigen Ausführungsformen werden eines oder beide des Merkmalsvergleichsmodul 102 und des Lichtmustermoduls 103 durch den zentralen Prozessor 1601 oder Graphikprozessor 1602 implementiert.
Der Graphikprozessor 1602 kann irgendeine Anzahl und irgendeinen Typ von Graphikverarbeitungseinheiten umfassen, die hier erörterte Operationen bereitstellen oder implementieren können. Der Graphikprozessor 1602 kann beispielsweise eine Schaltungsanordnung umfassen, die dazu zweckgebunden ist, Pixelsignaldaten oder dergleichen, die vom Arbeitsspeicher 1603 erhalten werden, zu bearbeiten. Der ISP 101 kann irgendeine Anzahl und irgendeinen Typ von Bildsignal- oder Bildverarbeitungseinheiten umfassen, die den erörterten Merkmalsvergleich, die Tiefenabbildungserzeugung und Computersichtoperationen und/oder andere Operationen bereitstellen können, wie hier erörtert. Der ISP 101 kann beispielsweise eine Schaltungsanordnung umfassen, die für Pixelsignaldaten und/oder Lichtmusterdaten zweckgebunden ist, wie z. B. eine ASIC oder dergleichen. Der zentrale Prozessor 1601 kann irgendeine Anzahl und irgendeinen Typ von Verarbeitungseinheiten oder Modulen umfassen, die Steuer- und andere Funktionen hoher Ebene für das System 1600 bereitstellen und/oder den erörterten Merkmalsvergleich, die Tiefenabbildungserzeugung und Computersichtoperationen und/oder andere Operationen bereitstellen können, wie hier erörtert. Der Arbeitsspeicher 1603 kann irgendein Typ von Arbeitsspeicher wie z. B. ein flüchtiger Arbeitsspeicher (z. B. statischer Direktzugriffsarbeitsspeicher (SRAM), dynamischer Direktzugriffsarbeitsspeicher (DRAM) usw.) oder ein nichtflüchtiger Arbeitsspeicher (z. B. Flash-Arbeitsspeicher usw.) und so weiter sein. In einem nicht begrenzenden Beispiel kann der Arbeitsspeicher 1603 durch einen Cache-Arbeitsspeicher implementiert werden.
In einer Ausführungsform können eines oder mehrere oder Abschnitte des Merkmalsvergleichsmoduls 102, des Lichtmustermoduls 103 und des Computersichtmoduls 106 über eine Ausführungseinheit (EU) des ISP 101 oder Graphikprozessors 1602 implementiert werden. Die EU kann beispielsweise eine programmierbare Logik oder Schaltungsanordnung wie z. B. einen Logikkern oder Logikkerne umfassen, die ein breites Spektrum von programmierbaren Logikfunktionen bereitstellen können. In einer Ausführungsform können eines oder mehrere oder Abschnitte des Merkmalsvergleichsmoduls 102, des Lichtmustermoduls 103 und des Computersichtmoduls 106 über eine zweckgebundene Hardware wie z. B. eine Schaltungsanordnung mit fester Funktion oder dergleichen des ISP 101 oder Graphikprozessors 1602 implementiert werden. Die Schaltungsanordnung mit fester Funktion kann eine zweckgebundene Logik oder Schaltungsanordnung umfassen und kann einen Satz von Eintrittspunkten der festen Funktion vorsehen, die auf die zweckgebundene Logik für einen festen Zweck oder eine feste Funktion abbilden können.
Mit Rückkehr zur Erörterung von 15 beginnt der Prozess 1500 bei der Operation 1501, wo ein Lichtmuster auf eine Szene geworfen wird, so dass das Lichtmuster mehrere projizierte Merkmale mit unterschiedlichen zeitlichen Eigenschaften umfasst. In einer Ausführungsform wirft der dynamische Projektor 105 auf die Szene das Lichtmuster mit mehreren projizierten Merkmalen, so dass die projizierten Merkmale unterschiedliche zeitliche Eigenschaften aufweisen. Die unterschiedlichen zeitlichen Eigenschaften können beliebige hier erörterte zeitliche Eigenschaften umfassen, wie z. B. eine Beleuchtungsstartzeit, Beleuchtungsendzeit oder Beleuchtungsdauer, eine Anzahl und/oder Frequenz von Beleuchtungsereignissen usw. Ferner kann die Differenz irgendeine geeignete Differenz sein, wie z. B. eine Startzeitdifferenz, eine Endzeitdifferenz, eine Dauerdifferenz, eine Differenz der Anzahl von Beleuchtungsereignissen, eine Frequenzdifferenz usw. Die unterschiedlichen zeitlichen Eigenschaften umfassen irgendeine Anzahl von unterschiedlichen zeitlichen Eigenschaften und/oder unterschiedlichen Signaturen von zeitlichen Eigenschaften (z. B. wobei jede Signatur von zeitlichen Eigenschaften mehrere zeitliche Eigenschaften umfasst), die sich zwischen irgendeiner Anzahl von projizierten Merkmalen unterscheiden. Wie hier erörtert, entsprechen solche projizierten Merkmale Pixelorten des dynamischen Projektors 105, so dass Pixel die erörterten unterschiedlichen zeitlichen Eigenschaften zwischen Pixeln davon vorsehen. Der dynamische Projektor 105 kann beispielsweise als umgekehrte Kamera betrachtet werden, die projizierte Merkmale von Pixeln davon bereitstellt (im Vergleich zu einer Kamera, die projizierte Merkmale an Pixeln davon empfängt).
In einer Ausführungsform umfasst das Lichtmuster ein erstes projiziertes Merkmal oder eine erste projizierte Komponente von einem ersten Pixel des dynamischen Projektors 105 und ein zweites projiziertes Merkmal oder eine zweite projizierte Komponente von einem zweiten Pixel des dynamischen Projektors 105, so dass das erste und das zweite projizierte Merkmal oder die erste und die zweite projizierte Komponente geteilte zeitliche Eigenschaften aufweisen und das erste Pixel und das zweite Pixel zu einer epipolaren Achse zwischen dem dynamischen Projektor 105 und dem dynamischen Sichtsensor 104 orthogonal sind. In einer Ausführungsform umfasst das Lichtmuster ein erstes projiziertes Merkmal oder eine erste projizierte Komponente, die in einem ersten Winkel vom dynamischen Projektor 105 projiziert wird, und ein zweites projiziertes Merkmal oder eine zweite projizierte Komponente, die in einem zweiten Winkel vom dynamischen Projektor 105 projiziert wird, so dass das erste und das zweite projizierte Merkmal oder die erste und die zweite projizierte Komponente geteilte zeitliche Eigenschaften aufweisen und der erste und der zweite Winkel zur epipolaren Achse zwischen dem dynamischen Projektor 105 und dem dynamischen Sichtsensor 104 orthogonal sind. Das erste und das zweite projizierte Merkmal oder die erste und die zweite projizierte Komponente können beispielsweise dieselben zeitlichen Eigenschaften (z. B. im Wesentlichen identische zeitliche Eigenschaften mit Differenzen nur zwischen den Toleranzfähigkeiten des dynamischen Projektors 105) aufweisen. Wie erörtert, behindert das Vorsehen von geteilten zeitlichen Eigenschaften orthogonal zur epipolaren Achse nicht den Pixelvergleich entlang der epipolaren Achse und kann stattdessen die Leistungsfähigkeit erhöhen, da mehrere Pixelvergleiche gleichzeitig durchgeführt werden.
In einer Ausführungsform umfasst das Lichtmuster ein erstes projiziertes Merkmal oder eine erste projizierte Komponente von einem ersten Pixel des dynamischen Projektors 105 und ein zweites projiziertes Merkmal oder eine zweite projizierte Komponente von einem zweiten Pixel des dynamischen Projektors 105, so dass das erste und das zweite projizierte Merkmal oder die erste und die zweite projizierte Komponente erste bzw. zweite zeitliche Eigenschaften aufweisen, die zeitlich überlappen, aber sich in einer Emissionsdauer, einer Emissionsanzahl und/oder einer Emissionsfrequenz unterscheiden. Aufgrund der Differenz der zeitlichen Eigenschaften (trotz der Überlappung) können das erste Pixel und das zweite Pixel eine beliebige Orientierung dazwischen aufweisen. Beispielsweise können das erste Pixel und das zweite Pixel auf eine epipolare Achse zwischen dem dynamischen Projektor 105 und dem dynamischen Sichtsensor 104 ausgerichtet sein.
Wie erörtert, kann der dynamische Projektor 105 irgendein geeigneter dynamischer Projektor mit beliebigen geeigneten Komponenten sein, so dass der dynamische Projektor 105 ein Lichtmuster mit mehreren projizierten Merkmalen mit unterschiedlichen zeitlichen Eigenschaften werfen kann. In einer Ausführungsform umfasst der dynamische Projektor 105 mehrere Lichtemitter (z. B. VCSELs), die jeweils einer Komponente der projizierten Merkmale entsprechen. In einer Ausführungsform umfasst der dynamische Projektor mehrere Lichtemitter und ein oder mehrere optische Elemente über den Lichtemittern, wobei das eine oder die mehreren optischen Elemente Licht, das von jedem der Lichtemitter emittiert wird, in entsprechende Muster von projizierten Merkmalen aufspalten sollen. In einer Ausführungsform umfasst der dynamische Projektor 105 einen Kantenlaser und einen Abtastspiegel, um das Lichtmuster auf die Szene zu werfen. Der Kantenlaser und ein Abtastspiegel können beispielsweise gemeinsam arbeiten, um jede Komponente der projizierten Merkmale zu erzeugen. Ferner kann der dynamische Projektor 105 durch irgendeine geeignete Schaltungsanordnung angesteuert werden. In einer Ausführungsform ist der Projektortreiber 108 mit dem dynamischen Projektor 105 und einem oder mehreren des ISP 101, des zentralen Prozessors 1601 und des Graphikprozessors 1602 gekoppelt und der Projektortreiber soll ein Signal zum dynamischen Projektor 105 und einem oder mehreren des ISP 101, des zentralen Prozessors 1601 und des Graphikprozessors 1602 liefern, so dass das Signal das Lichtmuster angibt. Der dynamische Projektor 105 kann beispielsweise das Signal verwenden, um das Lichtmuster zu erzeugen, und einer oder mehrere des ISP 101, des zentralen Prozessors 1601 und des Graphikprozessors 1602 können das Signal für Vergleichszwecke verwenden.
Die Verarbeitung fährt bei der Operation 1502 fort, wo ein Signal erzeugt werden kann, das Änderungen der detektierten Luminanz für Pixel des dynamischen Sichtsensors 104 angibt. In einer Ausführungsform erzeugt der dynamische Sichtsensor 104 ein Pixelsignal, das Änderungen der detektierten Luminanz für Pixel des dynamischen Sichtsensors 104 angibt. Das Pixelsignal kann beispielsweise Identifizierer von EIN- oder AUS-Ereignissen, Zeitstempel für solche Ereignisse, ein entsprechendes Pixel für solche Ereignisse und andere Informationen, wie erforderlich, umfassen. Für ein individuelles Pixel des dynamischen Sichtsensors 104 kann das Pixelsignal beispielsweise eine Angabe nur dann liefern, wenn eine Änderung der Beleuchtungsintensität am individuellen Pixel besteht. In dieser Hinsicht wirkt der dynamische Sichtsensor 104 als passive Vorrichtung, die Änderungen detektiert, ohne proaktiv einen Bildrahmen oder dergleichen zu erzeugen (wie im Fall eines herkömmlichen Sensors). Der dynamische Sichtsensor 104 (und/oder der dynamische Sichtsensor 201) kann beliebige geeignete Komponenten umfassen, die eine pixelweise Detektion von Beleuchtungsintensitätsänderungen vorsehen. In einer Ausführungsform umfasst ein Pixel des dynamischen Sichtsensors 104 und/oder des dynamischen Sichtsensors 201 einen Photorezeptor, eine Differenzierschaltung und einen Komparator, wobei die Differenzierschaltung und der Komparator eine Zunahme oder Abnahme des Photostroms des Photorezeptors detektieren sollen.
Die Verarbeitung fährt bei der Operation 1503 fort, wo auf der Basis des bei der Operation 1502 erzeugten Signals ein durch den dynamischen Sichtsensor detektiertes Merkmal, das einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entspricht, auf der Basis des Signals bestimmt wird, das eine Änderung der detektierten Luminanz angibt, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht. In einer Ausführungsform wird ein individuelles Pixel des dynamischen Sichtsensors, das einem individuellen projizierten Merkmal des Lichtmusters entspricht, auf der Basis des individuellen Pixels mit einer Änderung der detektierten Luminanz bestimmt, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht. Ein Pixel oder Pixel des dynamischen Projektors 105 können beispielsweise ein entsprechendes projiziertes Merkmal mit speziellen oder individuellen zeitlichen Eigenschaften erzeugen, die für das Pixel/projizierte Merkmal eindeutig sind. Ein Pixel des dynamischen Sichtsensors 104 erfasst das projizierte Merkmal aufgrund dessen, dass es räumlich darauf ausgerichtet ist, und erzeugt ein Signal, das den individuellen zeitlichen Eigenschaften entspricht. Das Pixelsignal kann beispielsweise EIN- und AUS-Ereignisse umfassen, wie hier erörtert. Das Pixel wird dann mit dem projizierten Merkmal auf der Basis der Übereinstimmung der zeitlichen Eigenschaften des Pixelsignals und der zeitlichen Eigenschaften des projizierten Merkmals korreliert, wie hier erörtert.
Eine solche Korrelation kann in irgendeinem geeigneten Anwendungs- oder Abbildungszusammenhang verwendet werden. In einer Ausführungsform wird ein Tiefenwert für eine Tiefenabbildung der Szene auf der Basis eines Orts des individuellen Pixels des dynamischen Sichtsensors 104 und eines projizierten Winkels von jenem, das das individuelle projizierte Merkmal oder die individuelle projizierte Komponente des Lichtmusters projiziert hat, bestimmt. In einer Ausführungsform wird ein Tiefenwert für eine Tiefenabbildung der Szene auf der Basis des individuellen Pixels des dynamischen Sichtsensors 104 und des Pixels des dynamischen Projektors des dynamischen Projektors 105 bestimmt, der die individuelle Komponente des Lichtmusters projiziert hat. Ein solcher Tiefenwert kann unter Verwendung irgendeiner geeigneten Technik oder beliebiger geeigneter Techniken wie z. B. Triangulationstechniken erzeugt werden. Zusätzlich oder alternativ kann ein zweiter dynamischer Sichtsensor 201 ein zweites Signal erzeugen, das zweite Änderungen der detektierten Luminanz für zweite Pixel des zweiten dynamischen Sichtsensors angibt, und ein zweites individuelles Pixel des zweiten dynamischen Sichtsensors 201, das dem individuellen projizierten Merkmal des Lichtmusters entspricht, kann auf der Basis des zweiten individuellen Pixels mit einer zweiten Änderung der detektierten Luminanz bestimmt werden, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht, analog zu den Operationen 1502, 1053, wie erörtert. Ein Tiefenwert kann dann auf der Basis des Orts des individuellen Pixels im dynamischen Sichtsensor 104 und des Orts des zweiten individuellen Pixels im zweiten dynamischen Sichtsensor 201 unter Verwendung irgendeiner geeigneten Technik oder beliebiger geeigneter Techniken wie z. B. Triangulationstechniken bestimmt werden.
Der Prozess 1500 kann eine beliebige Anzahl von Malen entweder in Reihe oder parallel für irgendeine Anzahl von Pixeln oder dergleichen wiederholt werden. Der Prozess 1500 kann beispielsweise einen Vergleichsprozess eines Pixels des dynamischen Sichtsensors mit einem projizierten Merkmal für mehrere projizierte Merkmale eines Lichtmusters, das auf eine Szene geworfen wird, vorsehen. In einer Ausführungsform umfasst der Prozess 1500 ferner das Erzeugen einer Tiefenabbildung oder einer Disparitätsabbildung auf der Basis eines solchen Pixelvergleichs.
Verschiedene Komponenten der hier beschriebenen Systeme können in Software, Firmware und/oder Hardware und/oder irgendeiner Kombination davon implementiert werden. Verschiedene Komponenten der hier erörterten Systeme können beispielsweise zumindest teilweise durch Hardware eines Rechensystems auf einem Chip (Rechen-SoC) bereitgestellt werden, wie sie z. B. in einem Rechensystem wie beispielsweise einem Smartphone zu finden sind. Der Fachmann auf dem Gebiet kann erkennen, dass die hier beschriebenen Systeme zusätzliche Komponenten umfassen können, die nicht in den entsprechenden Figuren dargestellt wurden. Die hier erörterten Systeme können beispielsweise zusätzliche Komponenten wie z. B. Kommunikationsmodule und dergleichen umfassen, die im Interesse der Deutlichkeit nicht dargestellt wurden.
Obwohl die Implementierung der hier erörterten Beispielprozesse das Unternehmen aller gezeigten Operationen in der dargestellten Reihenfolge umfassen kann, ist die vorliegende Offenbarung nicht in dieser Hinsicht begrenzt und in verschiedenen Beispielen kann die Implementierung der Beispielprozesse hier nur eine Teilmenge der gezeigten Operationen, Operationen, die in einer anderen Reihenfolge als dargestellt durchgeführt werden, oder zusätzliche Operationen umfassen.
Außerdem können irgendeine oder mehrere der hier erörterten Operationen in Reaktion auf Befehle unternommen werden, die durch ein oder mehrere Computerprogrammprodukte bereitgestellt werden. Solche Programmprodukte können Signalträgermedien umfassen, die Befehle bereitstellen, die, wenn sie beispielsweise durch einen Prozessor ausgeführt werden, die hier beschriebene Funktionalität bereitstellen können. Die Computerprogrammprodukte können in irgendeiner Form von einem oder mehreren maschinenlesbaren Medien bereitgestellt werden. Ein Prozessor mit einer oder mehreren Graphikverarbeitungseinheiten oder Prozessorkernen kann beispielsweise einen oder mehrere der Blöcke der Beispielprozesse hier in Reaktion auf einen Programmcode und/oder Befehle oder Befehlssätze, die zum Prozessor durch ein oder mehrere maschinenlesbare Medien übermittelt werden, unternehmen. Im Allgemeinen kann ein maschinenlesbares Medium eine Software in Form eines Programmcodes und/oder von Befehlen oder Befehlssätzen übermitteln, die bewirken können, dass irgendeine der Vorrichtungen und/oder Systeme, die hier beschrieben sind, zumindest Teile der hier erörterten Systeme oder irgendeines anderen Moduls oder irgendeiner anderen Komponente, wie hier erörtert, implementieren.
Wie in irgendeiner hier beschriebenen Implementierung verwendet, bezieht sich der Begriff „Modul“ oder „Komponente“ auf irgendeine Kombination von Software-Logik, Firmware-Logik, Hardware-Logik und/oder eine Schaltungsanordnung, die dazu konfiguriert ist, die hier beschriebene Funktionalität bereitzustellen. Die Software kann als Software-Paket, Code und/oder Befehlssatz oder Befehle verkörpert sein und „Hardware“, wie in irgendeiner hier beschriebenen Implementierung verwendet, kann beispielsweise einzeln oder in irgendeiner Kombination eine festverdrahtete Schaltungsanordnung, eine programmierbare Schaltungsanordnung, eine Zustandsmaschinenschaltungsanordnung, eine Schaltungsanordnung mit fester Funktion, eine Ausführungseinheitsschaltungsanordnung und/oder eine Firmware umfassen, die Befehle speichert, die durch eine programmierbare Schaltungsanordnung ausgeführt werden. Die Module können gemeinsam oder individuell als Schaltungsanordnung verkörpert sein, die einen Teil eines größeren Systems, beispielsweise einer integrierten Schaltung (IC), eines Systems auf einem Chip (SoC) und so weiter, bildet.
17 ist ein erläuterndes Diagramm eines Beispielsystems 1700, das gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung angeordnet ist. In verschiedenen Implementierungen kann das System 1700 ein mobiles System sein, obwohl das System 1700 nicht auf diesen Zusammenhang begrenzt ist. Das System 1700 kann beliebige hier erörterte Module oder Techniken implementieren und/oder durchführen. Das System 1700 kann beispielsweise in einen Personalcomputer (PC), einen Server, einen Laptop-Computer, einen Ultralaptop-Computer, ein Tablet, ein Touchpad, einen tragbaren Computer, einen in der Hand gehaltenen Computer, einen Palmtop-Computer, einen persönlichen digitalen Assistenten (PDA), ein Mobiltelefon, eine Kombination von Mobiltelefon/PDA, ein Fernsehgerät, eine intelligente Vorrichtung (z. B. ein Smartphone, ein intelligentes Tablet oder intelligentes Fernsehgerät), eine mobile Internet-Vorrichtung (MID), eine Nachrichtenvorrichtung, eine Datenkommunikationsvorrichtung, Kameras (z. B. Kompaktkameras, Superzoomkameras, digitale Einzellinsenreflexkameras (DSLR-Kameras)) und so weiter eingebaut sein. In einigen Beispielen kann das System 1700 über eine Cloud-Rechenumgebung implementiert werden.
In verschiedenen Implementierungen umfasst das System 1700 eine Plattform 1702, die mit einer Anzeige 1720 gekoppelt ist. Die Plattform 1702 kann Inhalt von einer Inhaltsvorrichtung wie z. B. (einer) Inhaltsdienstvorrichtung(en) 1730 oder (einer) Inhaltsabgabevorrichtung(en) 1740 oder ähnlichen Inhaltsquellen empfangen. Eine Navigationssteuereinheit 1750 mit einem oder mehreren Navigationsmerkmalen kann verwendet werden, um beispielsweise mit der Plattform 1702 und/oder Anzeige 1720 zusammenzuwirken. Jede dieser Komponenten wird nachstehend genauer beschrieben.
In verschiedenen Implementierungen kann die Plattform 1702 irgendeine Kombination eines Chipsatzes 1705, eines Prozessors 1710, eines Arbeitsspeichers 1712, einer Antenne 1713, eines Speichers 1714, eines Graphikuntersystems 1715, von Anwendungen 1716 und/oder eines Funks 1718 umfassen. Der Chipsatz 1705 kann eine gegenseitige Kommunikation zwischen dem Prozessor 1710, dem Arbeitsspeicher 1712, dem Speicher 1714, dem Graphikuntersystem 1715, den Anwendungen 1716 und/oder dem Funk 1718 bereitstellen. Der Chipsatz 1705 kann beispielsweise einen Speicheradapter (nicht dargestellt) umfassen, der in der Lage ist, eine gegenseitige Kommunikation mit dem Speicher 1714 bereitzustellen.
Der Prozessor 1710 kann als Prozessoren eines Computers mit komplexem Befehlssatz (CISC) oder eines Computers mit verringertem Befehlssatz (RISC), mit dem x86-Befehlssatz kompatible Prozessoren, Mehrkern- oder irgendein anderer Mikroprozessor oder eine Zentraleinheit (CPU) implementiert werden. In verschiedenen Implementierungen kann der Prozessor 1710 (ein) Dualkernprozessor(en), mobile(r) Dualkernprozessor(en) und so weiter sein.
Der Arbeitsspeicher 1712 kann als flüchtige Arbeitsspeichervorrichtung implementiert werden, wie z. B., jedoch nicht begrenzt auf einen Direktzugriffsarbeitsspeicher (RAM), dynamischen Direktzugriffsarbeitsspeicher (DRAM) oder statischen RAM (SRAM).
Der Speicher 1714 kann als nichtflüchtige Speichervorrichtung implementiert werden, wie z. B., jedoch nicht begrenzt auf ein Magnetplattenlaufwerk, ein optisches Plattenlaufwerk, ein Bandlaufwerk, eine interne Speichervorrichtung, eine befestigte Speichervorrichtung, einen Flash-Arbeitsspeicher, einen batteriegesicherten SDRAM (synchronen DRAM) und/oder eine durch das Netz zugängliche Speichervorrichtung. In verschiedenen Implementierungen kann der Speicher 1714 eine Technologie umfassen, um den in der Speicherleistungsfähigkeit verstärkten Schutz für wertvolle digitale Medien zu erhöhen, wenn beispielsweise mehrere Festplattenlaufwerke enthalten sind.
Das Graphikuntersystem 1715 kann die Verarbeitung von Bildern wie z. B. eines Standbildes oder Videos für die Anzeige durchführen. Das Graphikuntersystem 1715 kann beispielsweise eine Graphikverarbeitungseinheit (GPU) oder eine visuelle Verarbeitungseinheit (VPU) sein. Eine analoge oder digitale Schnittstelle kann verwendet werden, um das Graphikuntersystem 1715 und die Anzeige 1720 kommunikativ zu koppeln. Die Schnittstelle kann beispielsweise irgendeine von einer hochauflösenden Multimedia-Schnittstelle, eines Anzeigeanschlusses, von mit drahtlosem HDMI und/oder mit drahtlosem HD kompatiblen Techniken sein. Das Graphikuntersystem 1715 kann in den Prozessor 1710 oder Chipsatz 1705 integriert sein. In einigen Implementierungen kann das Graphikuntersystem 1715 eine eigenständige Vorrichtung sein, die mit dem Chipsatz 1705 kommunikativ gekoppelt ist.
Die hier beschriebenen Graphik- und/oder Videoverarbeitungstechniken können in verschiedenen Hardware-Architekturen implementiert werden. Die Graphik- und/oder Videofunktionalität kann beispielsweise in einen Chipsatz integriert sein. Alternativ kann ein diskreter Graphik- und/oder Videoprozessor verwendet werden. Als noch andere Implementierung können die Graphik- und/oder Videofunktionen durch einen Universalprozessor, einschließlich eines Mehrkernprozessors, bereitgestellt werden. In weiteren Ausführungsformen können die Funktionen in einer Verbraucherelektronikvorrichtung implementiert werden.
Der Funk 1718 kann ein oder mehrere Funkgeräte umfassen, die in der Lage sind, Signale unter Verwendung von verschiedenen geeigneten drahtlosen Kommunikationstechniken zu senden und zu empfangen. Solche Techniken können Kommunikationen über ein oder mehrere drahtlose Netze beinhalten. Drahtlose Beispielnetze umfassen (sind jedoch nicht begrenzt auf) drahtlose lokale Netze (WLANs), drahtlose persönliche Netze (WPANs), drahtlose Großstadtbereichsnetze (WMANs), zellulare Netze und Satellitennetze. Bei der Kommunikation über solche Netze kann der Funk 1718 gemäß einem oder mehreren anwendbaren Standards in irgendeiner Version arbeiten.
In verschiedenen Implementierungen kann die Anzeige 1720 irgendeinen Monitor oder eine Anzeige vom Fernsehtyp umfassen. Die Anzeige 1720 kann beispielsweise einen Computeranzeigebildschirm, eine Berührungsbildschirmanzeige, einen Videomonitor, eine fernsehartige Vorrichtung und/oder ein Fernsehgerät umfassen. Die Anzeige 1720 kann digital und/oder analog sein. In verschiedenen Implementierungen kann die Anzeige 1720 eine holographische Anzeige sein. Die Anzeige 1720 kann auch eine transparente Oberfläche sein, die eine visuelle Projektion empfangen kann. Solche Projektionen können verschiedene Formen von Informationen, Bildern und/oder Objekten übermitteln. Solche Projektionen können beispielsweise eine visuelle Überlagerung für eine Anwendung mit mobiler erweiterter Realität (MAR) sein. Unter der Steuerung von einer oder mehreren Software-Anwendungen 1716 kann die Plattform 1702 eine Benutzerschnittstelle 1722 auf der Anzeige 1720 anzeigen.
In verschiedenen Implementierungen können (eine) Inhaltsdienstvorrichtung(en) 1730 durch irgendeinen nationalen, internationalen und/oder unabhängigen Dienst beherbergt werden und folglich für die Plattform 1702 beispielsweise über das Internet zugänglich sein. Die Inhaltsdienstvorrichtung(en) 1730 können mit der Plattform 1702 und/oder mit der Anzeige 1720 gekoppelt sein.
Die Plattform 1702 und/oder die Inhaltsdienstvorrichtung(en) 1730 können mit einem Netz 1760 gekoppelt sein, um Medieninformationen zum und vom Netz 1760 zu übermitteln (z. B. senden und/oder empfangen). Die Inhaltsabgabevorrichtung(en) 1740 können auch mit der Plattform 1702 und/oder mit der Anzeige 1720 gekoppelt sein.
In verschiedenen Implementierungen können die Inhaltsdienstvorrichtung(en) 1730 eine Kabelfernsehbox, einen Personalcomputer, ein Netz, ein Telefon, Internetfähige Vorrichtungen oder ein Gerät, das in der Lage ist, digitale Informationen und/oder digitalen Inhalt zu liefern, und irgendeine andere ähnliche Vorrichtung, die in der Lage ist, Inhalt zwischen Inhaltsanbietern und der Plattform 1702 und/oder Anzeige 1720 über das Netz 1760 oder direkt unidirektional oder bidirektional zu übermitteln, umfassen. Es wird erkannt, dass der Inhalt unidirektional und/oder bidirektional zu und von irgendeiner der Komponenten im System 1700 und einem Inhaltsanbieter über das Netz 1760 übermittelt werden kann. Beispiele des Inhalts können beliebige Medieninformationen, einschließlich beispielsweise Video, Musik, medizinische und Spielinformationen und so weiter, umfassen.
Die Inhaltsdienstvorrichtung(en) 1730 können Inhalt empfangen, wie z. B. ein Kabelfernsehprogramm, einschließlich Medieninformationen, digitaler Informationen und/oder anderen Inhalts. Beispiele von Inhaltsanbietern können beliebige Kabel- oder Satellitenfernseh- oder Radio- oder Internet-Inhaltsanbieter umfassen. Die bereitgestellten Beispiele sollen die Implementierungen gemäß der vorliegenden Offenbarung keineswegs begrenzen.
In verschiedenen Implementierungen kann die Plattform 1702 Steuersignale von der Navigationssteuereinheit 1750 mit einem oder mehreren Navigationsmerkmalen empfangen. Die Navigationsmerkmale der Navigationssteuereinheit 1750 können verwendet werden, um beispielsweise mit der Benutzerschnittstelle 1722 zusammenzuwirken. In verschiedenen Ausführungsformen kann die Navigationssteuereinheit 1750 eine Zeigevorrichtung sein, die eine Computer-Hardware-Komponente (insbesondere eine Mensch-Schnittstellenvorrichtung) sein kann, die ermöglicht, dass ein Benutzer räumliche (z. B. kontinuierliche und mehrdimensionale) Daten in einen Computer eingibt. Viele Systeme wie z. B. graphische Benutzerschnittstellen (GUI) und Fernsehgeräte und Monitore ermöglichen, dass der Benutzer den Computer oder das Fernsehgerät unter Verwendung von physikalischen Gesten steuert und Daten zu diesem liefert.
Bewegungen der Navigationsmerkmale der Navigationssteuereinheit 1750 können auf einer Anzeige (z. B. Anzeige 1720) durch Bewegungen eines Zeigers, Cursors, Fokusrings oder anderer visueller Indikatoren, die auf der Anzeige angezeigt werden, repliziert werden. Unter der Steuerung von Software-Anwendungen 1716 können beispielsweise die Navigationsmerkmale, die an der Navigationssteuereinheit 1750 angeordnet sind, auf virtuelle Navigationsmerkmale abgebildet werden, die beispielsweise auf der Benutzerschnittstelle 1722 angezeigt werden. In verschiedenen Ausführungsformen kann die Navigationssteuereinheit 1750 keine separate Komponente sein, sondern kann in die Plattform 1702 und/oder Anzeige 1720 integriert sein. Die vorliegende Offenbarung ist jedoch nicht auf die Elemente oder in dem Zusammenhang, die hier gezeigt oder beschrieben sind, begrenzt.
In verschiedenen Implementierungen können Treiber (nicht gezeigt) eine Technologie umfassen, um zu ermöglichen, dass Benutzer beispielsweise sofort die Plattform 1702 wie ein Fernsehgerät mit der Berührung einer Taste nach dem anfänglichen Hochfahren, wenn sie aktiviert ist, ein- und ausschalten. Die Programmlogik kann ermöglichen, dass die Plattform 1702 Inhalt zu Medienadaptern oder (einer) anderen Inhaltsdienstvorrichtung(en) 1730 oder Inhaltsabgabevorrichtung(en) 1740 streamt, selbst wenn die Plattform „aus“-geschaltet ist. Außerdem kann der Chipsatz 1705 eine Hardware- und/oder Software-Unterstützung für beispielsweise 5.1-Raumklangaudio und/oder 7.1-Raumklangaudio mit hoher Auflösung umfassen. Treiber können einen Graphiktreiber für die integrierten Graphikplattformen umfassen. In verschiedenen Ausführungsformen kann der Graphiktreiber eine Graphikkarte für Peripheriekomponentenzwischenverbindungsexpress (PCI-Express) umfassen.
In verschiedenen Implementierungen können irgendeine oder mehrere der im System 1700 gezeigten Komponenten integriert sein. Die Plattform 1702 und die Inhaltsdienstvorrichtung(en) 1730 können beispielsweise integriert sein oder die Plattform 1702 und die Inhaltsabgabevorrichtung(en) 1740 können integriert sein oder die Plattform 1702, die Inhaltsdienstvorrichtung(en) 1730 und die Inhaltsabgabevorrichtung(en) 1740 können beispielsweise integriert sein. In verschiedenen Ausführungsformen können die Plattform 1702 und die Anzeige 1720 eine integrierte Einheit sein. Die Anzeige 1720 und die Inhaltsdienstvorrichtung(en) 1730 können integriert sein oder die Anzeige 1720 und die Inhaltsabgabevorrichtung(en) 1740 können beispielsweise integriert sein. Diese Beispiele sollen die vorliegende Offenbarung nicht begrenzen.
In verschiedenen Ausführungsformen kann das System 1700 als drahtloses System, verdrahtetes System oder Kombination beider implementiert werden. Wenn es als drahtloses System implementiert wird, kann das System 1700 Komponenten und Schnittstellen umfassen, die für die Kommunikation über drahtlose geteilte Medien geeignet sind, wie z. B. eine oder mehrere Antennen, Sender, Empfänger, Sender/Empfänger, Verstärker, Filter, eine Steuerlogik und so weiter. Ein Beispiel von drahtlosen geteilten Medien kann Abschnitte eines drahtlosen Spektrums wie z. B. des HF-Spektrums und so weiter umfassen. Wenn es in einem verdrahteten System implementiert wird, kann das System 1700 Komponenten und Schnittstellen umfassen, die für die Kommunikation über verdrahtete Kommunikationsmedien geeignet sind, wie z. B. Eingabe/Ausgabe-Adapter (E/A-Adapter), physikalische Verbindungselemente, um den E/A-Adapter mit einem entsprechenden verdrahteten Kommunikationsmedium zu verbinden, eine Netzschnittstellenkarte (NIC), eine Plattensteuereinheit, eine Videosteuereinheit, eine Audiosteuereinheit und dergleichen. Beispiele von verdrahteten Kommunikationsmedien können einen Draht, ein Kabel, Metallzuleitungen, eine gedruckte Leiterplatte (PCB), eine Rückwandplatine, ein Schaltergebilde, ein Halbleitermaterial, ein verdrilltes Drahtpaar, ein Koaxialkabel, Faseroptik und so weiter umfassen.
Die Plattform 1702 kann einen oder mehrere logische oder physikalische Kanäle aufbauen, um Informationen zu übermitteln. Die Informationen können Medieninformationen und Steuerinformationen umfassen. Medieninformationen können sich auf beliebige Daten beziehen, die den für einen Benutzer gedachten Inhalt darstellen. Beispiele von Inhalt können beispielsweise Daten von einer Sprachkonversation, Videokonferenz, Streaming-Video, einer Nachricht von elektronischer Post („E-Mail“), einer Sprachmitteilungsnachricht, von alphanumerischen Symbolen, Graphiken, eines Bildes, Videos, von Text und so weiter umfassen. Daten von einer Sprachkonversation können beispielsweise Sprachinformationen, Ruheperioden, Hintergrundgeräusch, Komfortgeräusch, Töne und so weiter sein. Steuerinformationen können sich auf beliebige Daten beziehen, die Befehle, Anweisungen oder Steuerworte umfassen, die für ein automatisiertes System gedacht sind. Die Steuerinformationen können beispielsweise verwendet werden, um Medieninformationen durch ein System zu leiten, oder einen Knoten anzuweisen, die Medieninformationen in einer vorbestimmten Weise zu verarbeiten. Die Ausführungsformen sind jedoch nicht auf die Elemente oder in dem Zusammenhang, die in 17 gezeigt oder beschrieben sind, begrenzt.
Wie vorstehend beschrieben, kann das System 1700 in variierenden physikalischen Stilen oder Formfaktoren verkörpert sein. 18 stellt eine Beispielvorrichtung 1800 mit kleinem Formfaktor dar, die gemäß zumindest einigen Implementierungen der vorliegenden Offenbarung beschaffen ist. In einigen Beispielen kann das System 1700 über die Vorrichtung 1800 implementiert werden. In anderen Beispielen können andere hier erörterte Systeme oder Abschnitte davon über die Vorrichtung 1800 implementiert werden. In verschiedenen Ausführungsformen kann die Vorrichtung 1800 beispielsweise als mobile Rechenvorrichtung mit drahtlosen Fähigkeiten implementiert werden. Eine mobile Rechenvorrichtung kann sich auf irgendeine Vorrichtung mit einem Verarbeitungssystem und einer mobilen Leistungsquelle oder Leistungsversorgung wie beispielsweise einer oder mehreren Batterien beziehen.
Beispiele einer mobilen Rechenvorrichtung können einen Personalcomputer (PC), einen Laptop-Computer, einen Ultralaptop-Computer, ein Tablet, ein Touchpad, einen tragbaren Computer, einen in der Hand gehaltenen Computer, einen Palmtop-Computer, einen persönlichen digitalen Assistenten (PDA), ein Mobiltelefon, eine Kombination aus Mobiltelefon/PDA, eine intelligente Vorrichtung (z. B. ein Smartphone, ein intelligentes Tablet oder ein intelligentes mobiles Fernsehgerät), eine mobile Internet-Vorrichtung (MID), eine Nachrichtenvorrichtung, eine Datenkommunikationsvorrichtung, Kameras (z. B. Kompaktkameras, Superzoomkameras, digitale Einzellinsenreflexkameras (DSLR-Kameras)) und so weiter umfassen.
Beispiele einer mobilen Rechenvorrichtung können auch Computer umfassen, die so beschaffen sind, dass sie von einer Person getragen werden, wie z. B. Handgelenkcomputer, Fingercomputer, Ringcomputer, Brillencomputer, Gürtelclipcomputer, Armbandcomputer, Schuhcomputer, Kleidungscomputer und andere tragbare Computer. In verschiedenen Ausführungsformen kann beispielsweise eine mobile Rechenvorrichtung als Smartphone implementiert werden, das in der Lage ist, Computeranwendungen sowie Sprachkommunikationen und/oder Datenkommunikationen auszuführen. Obwohl einige Ausführungsformen mit einer mobilen Rechenvorrichtung, die als Smartphone implementiert wird, als Beispiel beschrieben sein können, kann erkannt werden, dass andere Ausführungsformen unter Verwendung von anderen drahtlosen mobilen Rechenvorrichtungen ebenso implementiert werden können. Die Ausführungsformen sind in diesem Zusammenhang nicht begrenzt.
Wie in 18 gezeigt, kann die Vorrichtung 1800 ein Gehäuse mit einer Vorderseite 1801 und einer Rückseite 1802 umfassen. Die Vorrichtung 1800 umfasst eine Anzeige 1804, eine Eingabe/Ausgabe-Vorrichtung (E/A-Vorrichtung) 1806, eine Farbkamera 104, eine Farbkamera 105, einen Infrarotsender 204 und eine integrierte Antenne 1808. Die Vorrichtung 1800 kann auch Navigationsmerkmale 1812 umfassen. Die E/A-Vorrichtung 1806 kann irgendeine geeignete E/A-Vorrichtung zum Eingeben von Informationen in eine mobile Rechenvorrichtung umfassen. Beispiele für die E/A-Vorrichtung 1806 können eine alphanumerische Tastatur, ein numerisches Tastenfeld, ein Berührungsfeld, Eingabeasten, Knöpfe, Schalter, Mikrophone, Lautsprecher, eine Spracherkennungsvorrichtung und Spracherkennungs-Software und so weiter umfassen. Informationen können auch in die Vorrichtung 1800 durch ein Mikrophon (nicht gezeigt) eingegeben werden oder können durch eine Spracherkennungsvorrichtung digitalisiert werden. Wie gezeigt, kann die Vorrichtung 1800 Farbkameras 104, 105 und einen Blitz 1810 umfassen, die in die Rückseite 1802 (oder anderswo) der Vorrichtung 1800 integriert sind. In anderen Beispielen können die Farbkameras 104, 105 und der Blitz 1810 in die Vorderseite 1801 der Vorrichtung 1800 integriert sein oder sowohl Vorderseiten- als auch Rückseitensätze von Kameras können vorgesehen sein. Die Farbkameras 104, 105 und ein Blitz 1810 können Komponenten eines Kameramoduls sein, um Farbbilddaten mit IR-Texturkorrektur zu erzeugen, die zu einem Bild oder Streaming-Video verarbeitet werden können, das beispielsweise an die Anzeige 1804 ausgegeben und/oder entfernt von der Vorrichtung 1800 über die Antenne 1808 übermittelt wird.
Verschiedene Ausführungsformen können unter Verwendung von Hardware-Elementen, Software-Elementen oder einer Kombination beider implementiert werden. Beispiele von Hardware-Elementen können Prozessoren, Mikroprozessoren, Schaltungen, Schaltungselemente (z. B. Transistoren, Widerstände, Kondensatoren, Induktoren und so weiter), integrierte Schaltungen, anwendungsspezifische integrierte Schaltungen (ASIC), programmierbare Logikvorrichtungen (PLD), Digitalsignalprozessoren (DSP), ein anwenderprogrammierbares Verknüpfungsfeld (FPGA), Logikgatter, Register, eine Halbleitervorrichtung, Chips, Mikrochips, Chipsätze und so weiter umfassen. Beispiele von Software können Software-Komponenten, Programme, Anwendungen, Computerprogramme, Anwendungsprogramme, Systemprogramme, Maschinenprogramme, Betriebssystem-Software, Middleware, Firmware, Software-Module, Routinen, Subroutinen, Funktionen, Verfahren, Prozeduren, Software-Schnittstellen, Anwendungsprogrammschnittstellen (API), Befehlssätze, einen Rechencode, einen Computercode, Codesegmente, Computercodesegmente, Worte, Werte, Symbole oder irgendeine Kombination davon umfassen. Das Bestimmen, ob eine Ausführungsform unter Verwendung von Hardware-Elementen und/oder Software-Elementen implementiert wird, kann gemäß irgendeiner Anzahl von Faktoren variieren, wie z. B. der gewünschten Rechenrate, Leistungspegeln, Wärmetoleranzen, dem Verarbeitungszyklusbudget, Eingangsdatenraten, Ausgangsdatenraten, Arbeitsspeicherressourcen, Datenbusgeschwindigkeiten und anderen Konstruktions- oder Leistungsfähigkeitseinschränkungen.
Ein oder mehrere Aspekte von mindestens einer Ausführungsform können durch repräsentative Befehle implementiert werden, die auf einem maschinenlesbaren Medium gespeichert sind, das eine verschiedenartige Logik innerhalb des Prozessors darstellt, die, wenn sie durch eine Maschine gelesen werden, bewirken, dass die Maschine eine Logik herstellt, um die hier beschriebenen Techniken durchzuführen. Solche Darstellungen, die als IP-Kerne bekannt sind, können auf einen konkreten, maschinenlesbaren Medium gespeichert sein und zu verschiedenen Kunden oder Herstellungseinrichtungen geliefert werden, um sie in die Herstellungsmaschinen zu laden, die tatsächlich die Logik oder den Prozessor herstellen.
Obwohl hier dargelegte bestimmte Merkmale mit Bezug auf verschiedene Implementierungen beschrieben wurden, soll diese Beschreibung nicht in einer begrenzenden Hinsicht aufgefasst werden. Daher werden verschiedene Modifikationen der hier beschriebenen Implementierungen sowie anderen Implementierungen, die für den Fachmann auf dem Gebiet ersichtlich sind, den die vorliegende Offenbarung betrifft, als innerhalb des Gedankens und Schutzbereichs der vorliegenden Offenbarung liegend erachtet.
In einer oder mehreren ersten Ausführungsformen ein dynamischer Projektor, um auf eine Szene ein Lichtmuster mit mehreren projizierten Merkmalen zu werfen, wobei die projizierten Merkmale unterschiedliche zeitliche Eigenschaften umfassen, ein dynamischer Sichtsensor, um ein Signal zu erzeugen, das Änderungen der detektierten Luminanz für Pixel des dynamischen Sichtsensors angibt, und ein Prozessor, der mit dem dynamischen Sichtsensor gekoppelt ist, wobei der Prozessor das Signal empfangen soll und bestimmen soll, dass ein Merkmal, das durch den dynamischen Sichtsensor detektiert wird, einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entspricht, auf der Basis des Signals, das eine Änderung der detektierten Luminanz angibt, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
In einer oder mehreren zweiten Ausführungsformen in Bezug auf die ersten Ausführungsformen soll der Prozessor ferner mindestens ein Pixel des dynamischen Sichtsensors identifizieren, das dem durch den dynamischen Sichtsensor detektierten Merkmal entspricht.
In einer oder mehreren dritten Ausführungsformen in Bezug auf beliebige der ersten oder zweiten Ausführungsformen soll der Prozessor ferner einen Tiefenwert für eine Tiefenabbildung der Szene auf der Basis eines Orts des mindestens einen Pixels im dynamischen Sichtsensor und eines projizierten Winkels, der dem individuellen projizierten Merkmal des Lichtmusters entspricht, bestimmen.
In einer oder mehreren vierten Ausführungsformen in Bezug auf beliebige der ersten bis dritten Ausführungsformen umfasst die Vorrichtung ferner einen zweiten dynamischen Sichtsensor, um ein zweites Signal zu erzeugen, das zweite Änderungen der detektierten Luminanz für zweite Pixel des zweiten dynamischen Sichtsensors angibt, wobei der Prozessor ferner bestimmen soll, dass ein zweites Merkmal, das durch den zweiten dynamischen Sichtsensor detektiert wird, dem individuellen projizierten Merkmal entspricht, auf der Basis des zweiten Signals, das eine zweite Änderung der detektierten Luminanz angibt, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
In einer oder mehreren fünften Ausführungsformen in Bezug auf beliebige der ersten bis vierten Ausführungsformen soll der Prozessor ferner einen Tiefenwert für eine Tiefenabbildung der Szene auf der Basis eines Orts eines Pixels des dynamischen Sichtsensors, das dem durch den dynamischen Sichtsensor detektierten Merkmal entspricht, und eines Orts eines Pixels des zweiten dynamischen Sichtsensors, das dem zweiten Merkmal entspricht, das durch den zweiten dynamischen Sichtsensor detektiert wird, bestimmen.
In einer oder mehreren sechsten Ausführungsformen in Bezug auf beliebige der ersten bis fünften Ausführungsformen sind der dynamische Projektor, der dynamische Sichtsensor und der zweite dynamische Sichtsensor in einer Dreieckform konfiguriert, so dass der dynamische Projektor zu einer Achse zwischen dem dynamischen Sichtsensor und dem zweiten dynamischen Sichtsensor außeraxial und orthogonal ist.
In einer oder mehreren siebten Ausführungsformen in Bezug auf beliebige der ersten bis sechsten Ausführungsformen umfasst das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Pixel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Pixel des dynamischen Projektors, wobei das erste und das zweite projizierte Merkmal geteilte zeitliche Eigenschaften aufweisen, wobei das erste Pixel und das zweite Pixel zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind.
In einer oder mehreren achten Ausführungsformen in Bezug auf beliebige der ersten bis siebten Ausführungsformen umfasst das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Pixel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Pixel des dynamischen Projektors, wobei das erste und das zweite projizierte Merkmal erste bzw. zweite zeitliche Eigenschaften aufweisen, wobei die ersten und die zweiten zeitlichen Eigenschaften zeitlich überlappen, aber sich in einer Emissionsdauer, einer Emissionsanzahl und/oder einer Emissionsfrequenz unterscheiden.
In einer oder mehreren neunten Ausführungsformen in Bezug auf beliebige der ersten bis achten Ausführungsformen umfasst der dynamische Projektor mehrere Lichtemitter, die jeweils einem projizierten Merkmal der projizierten Merkmale entsprechen.
In einer oder mehreren zehnten Ausführungsformen in Bezug auf beliebige der ersten bis neunten Ausführungsformen umfasst der dynamische Projektor mehrere Lichtemitter und ein oder mehrere optische Elemente über den Lichtemittern, wobei das eine oder die mehreren optischen Elemente Licht, das von jedem der Lichtemitter emittiert wird, in entsprechende Muster von projizierten Merkmalen aufspalten sollen.
In einer oder mehreren elften Ausführungsformen in Bezug auf beliebige der ersten bis zehnten Ausführungsformen umfasst der dynamische Projektor einen Kantenlaser und einen Abtastspiegel, um das Lichtmuster auf die Szene zu werfen.
In einer oder mehreren zwölften Ausführungsformen in Bezug auf beliebige der ersten bis elften Ausführungsformen umfasst ein Pixel des dynamischen Sichtsensors einen Photorezeptor, eine Differenzierschaltung und einen Komparator, wobei die Differenzierschaltung und der Komparator eine Zunahme oder Abnahme des Photostroms des Photorezeptors detektieren sollen.
In einer oder mehreren dreizehnten Ausführungsformen in Bezug auf beliebige der ersten bis zwölften Ausführungsformen umfasst die Vorrichtung ferner einen Projektortreiber, der mit dem dynamischen Projektor und dem Prozessor gekoppelt ist, wobei der Projektortreiber ein Signal zum dynamischen Projektor und zum Prozessor liefern soll, wobei das Signal das Lichtmuster angibt.
In einer oder mehreren vierzehnten Ausführungsformen umfasst ein Verfahren das Werfen eines Lichtmusters mit mehreren projizierten Merkmalen auf eine Szene, wobei die projizierten Merkmale unterschiedliche zeitliche Eigenschaften umfassen, das Erzeugen eines Signals, das Änderungen der detektierten Luminanz für Pixel eines dynamischen Sichtsensors angibt, und Bestimmen eines Satzes von Pixeln des dynamischen Sichtsensors auf der Basis des Signals, die einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entsprechen, auf der Basis des Satzes von Pixeln mit einer Änderung der detektierten Luminanz, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
In einer oder mehreren fünftzehnten Ausführungsformen in Bezug auf die vierzehnten Ausführungsformen umfasst das Verfahren ferner das Bestimmen eines Tiefenwerts für eine Tiefenabbildung der Szene auf der Basis von Pixelorten des Satzes von Pixeln, die dem individuellen projizierten Merkmal entsprechen, und eines projizierten Winkels, der dem individuellen projizierten Merkmal des Lichtmusters entspricht.
In einer oder mehreren sechzehnten Ausführungsformen in Bezug auf beliebige der vierzehnten oder fünfzehnten Ausführungsformen umfasst das Verfahren ferner das Erzeugen eines zweiten Signals, das zweite Änderungen der detektierten Luminanz für zweite Pixel des zweiten dynamischen Sichtsensors angibt, und das Bestimmen eines zweiten Satzes von Pixeln des zweiten dynamischen Sichtsensors, die dem individuellen projizierten Merkmal entsprechen, auf der Basis des zweiten Satzes von Pixeln mit einer zweiten Änderung der detektierten Luminanz, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
In einer oder mehreren siebzehnten Ausführungsformen in Bezug auf beliebige der vierzehnten bis sechzehnten Ausführungsformen umfasst das Verfahren ferner das Bestimmen eines Tiefenwerts für eine Tiefenabbildung der Szene auf der Basis von Pixelorten des Satzes von Pixeln im dynamischen Sichtsensor und zweiten Pixelorten des zweiten Satzes von Pixeln im zweiten dynamischen Sichtsensor.
In einer oder mehreren achtzehnten Ausführungsformen in Bezug auf beliebige der vierzehnten bis sechzehnten Ausführungsformen umfasst das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Winkel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Winkel des dynamischen Projektors, wobei das erste und das zweite projizierte Merkmal geteilte zeitliche Eigenschaften aufweisen, wobei der erste Winkel und der zweite Winkel zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind.
In einer oder mehreren neunzehnten Ausführungsformen in Bezug auf beliebige der vierzehnten bis achtzehnten Ausführungsformen umfasst das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Winkel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Winkel des dynamischen Projektors, wobei das erste und das zweite projizierte Merkmal erste bzw. zweite zeitliche Eigenschaften aufweisen, wobei die ersten und die zweiten zeitlichen Eigenschaften zeitlich überlappen, aber sich in einer Emissionsdauer, einer Emissionsanzahl und/oder einer Emissionsfrequenz unterscheiden.
In einer oder mehreren zwanzigsten Ausführungsformen kann mindestens ein maschinenlesbares Medium mehrere Befehle umfassen, die in Reaktion darauf, dass sie auf einer Rechenvorrichtung ausgeführt werden, bewirken, dass die Rechenvorrichtung ein Verfahren gemäß irgendeiner der obigen Ausführungsformen durchführt.
In einer oder mehreren einundzwanzigsten Ausführungsformen kann eine Einrichtung ein Mittel zum Durchführen eines Verfahrens gemäß irgendeiner der obigen Ausführungsformen umfassen.
Es wird erkannt, dass die Ausführungsformen nicht auf die so beschriebenen Ausführungsformen begrenzt sind, sondern mit einer Modifikation und Veränderung ausgeführt werden können, ohne vom Schutzbereich der beigefügten Ansprüche abzuweichen. Die obigen Ausführungsformen können beispielsweise eine spezielle Kombination von Merkmalen umfassen. Die obigen Ausführungsformen sind jedoch nicht in dieser Hinsicht begrenzt und in verschiedenen Implementierungen können die obigen Ausführungsformen das Unternehmen nur einer Teilmenge solcher Merkmale, das Unternehmen einer anderen Reihenfolge von solchen Merkmalen, das Unternehmen einer anderen Kombination von solchen Merkmalen und/oder das Unternehmen von zusätzlichen anderen Merkmalen als den explizit aufgelisteten Merkmalen umfassen. Der Schutzbereich der Ausführungsformen sollte daher mit Bezug auf die beigefügten Ansprüche zusammen mit dem vollen Umfang an Äquivalenten, zu dem solche Ansprüche berechtigt sind, bestimmt werden.

Claims

Vorrichtung, die Folgendes umfasst: einen dynamischen Projektor, um auf eine Szene ein Lichtmuster mit mehreren projizierten Merkmalen zu werfen, wobei die projizierten Merkmale unterschiedliche zeitliche Eigenschaften umfassen; einen dynamischen Sichtsensor, um ein Signal zu erzeugen, das Änderungen der detektierten Luminanz für Pixel des dynamischen Sichtsensors angibt; und einen Prozessor, der mit dem dynamischen Sichtsensor gekoppelt ist, wobei der Prozessor das Signal empfangen soll und bestimmen soll, dass ein Merkmal, das durch den dynamischen Sichtsensor detektiert wird, einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entspricht, auf der Basis des Signals, das eine Änderung der detektierten Luminanz angibt, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
Vorrichtung nach Anspruch 1, wobei der Prozessor ferner mindestens ein Pixel des dynamischen Sichtsensors identifizieren soll, das dem durch den dynamischen Sichtsensor detektierten Merkmal entspricht.
Vorrichtung nach Anspruch 1 oder 2, wobei der Prozessor ferner einen Tiefenwert für eine Tiefenabbildung der Szene auf der Basis eines Orts des mindestens einen Pixels im dynamischen Sichtsensor und eines projizierten Winkels, der dem individuellen projizierten Merkmal des Lichtmusters entspricht, bestimmen soll.
Vorrichtung nach einem der Ansprüche 1 bis 3, die ferner Folgendes umfasst: einen zweiten dynamischen Sichtsensor, um ein zweites Signal zu erzeugen, das zweite Änderungen der detektierten Luminanz für zweite Pixel des zweiten dynamischen Sichtsensors angibt, wobei der Prozessor ferner: bestimmen soll, dass ein zweites Merkmal, das durch den zweiten dynamischen Sichtsensor detektiert wird, dem individuellen projizierten Merkmal entspricht, auf der Basis des zweiten Signals, das eine zweite Änderung der detektierten Luminanz angibt, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
Vorrichtung nach einem der Ansprüche 1 bis 4, insbesondere nach Anspruch 4, wobei der Prozessor ferner einen Tiefenwert für eine Tiefenabbildung der Szene auf der Basis eines Orts eines Pixels des dynamischen Sichtsensors, das dem Merkmal entspricht, das durch den dynamischen Sichtsensor detektiert wird, und eines Orts eines Pixels des zweiten dynamischen Sichtsensors, das dem zweiten Merkmal entspricht, das durch den zweiten dynamischen Sichtsensor detektiert wird, bestimmen soll.
Vorrichtung nach einem der Ansprüche 1 bis 5, insbesondere nach Anspruch 5, wobei der dynamische Projektor, der dynamische Sichtsensor und der zweite dynamische Sichtsensor in einer Dreieckform konfiguriert sind, so dass der dynamische Projektor zu einer Achse zwischen dem dynamischen Sichtsensor und dem zweiten dynamischen Sichtsensor außeraxial und orthogonal ist.
Vorrichtung nach einem der Ansprüche 1 bis 6, wobei das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Pixel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Pixel des dynamischen Projektors umfasst, wobei das erste und das zweite projizierte Merkmal geteilte zeitliche Eigenschaften aufweisen, wobei das erste Pixel und das zweite Pixel zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind.
Vorrichtung nach einem der Ansprüche 1 bis 7, wobei das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Pixel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Pixel des dynamischen Projektors umfasst, wobei das erste und das zweite projizierte Merkmal erste bzw. zweite zeitliche Eigenschaften aufweisen, wobei die ersten und die zweiten zeitlichen Eigenschaften zeitlich überlappen, aber sich in einer Emissionsdauer, einer Emissionsanzahl und/oder einer Emissionsfrequenz unterscheiden.
Vorrichtung nach einem der Ansprüche 1 bis 8, wobei der dynamische Projektor mehrere Lichtemitter umfasst, die jeweils einem projizierten Merkmal der projizierten Merkmale entsprechen.
Vorrichtung nach einem der Ansprüche 1 bis 9, wobei der dynamische Projektor mehrere Lichtemitter und ein oder mehrere optische Elemente über den Lichtemittern umfasst, wobei das eine oder die mehreren optischen Elemente Licht, das von jedem der Lichtemitter emittiert wird, in entsprechende Muster von projizierten Merkmalen aufspalten sollen.
Vorrichtung nach einem der Ansprüche 1 bis 10, wobei der dynamische Projektor einen Kantenlaser und einen Abtastspiegel umfasst, um das Lichtmuster auf die Szene zu werfen.
Vorrichtung nach einem der Ansprüche 1 bis 11, wobei ein Pixel des dynamischen Sichtsensors einen Photorezeptor, eine Differenzierschaltung und einen Komparator umfasst, wobei die Differenzierschaltung und der Komparator eine Zunahme oder Abnahme des Photostroms des Photorezeptors detektieren sollen.
Vorrichtung nach einem der Ansprüche 1 bis 12, die ferner Folgendes umfasst: einen Projektortreiber, der mit dem dynamischen Projektor und dem Prozessor gekoppelt ist, wobei der Projektortreiber ein Signal zum dynamischen Projektor und dem Prozessor liefern soll, wobei das Signal das Lichtmuster angibt.
Verfahren, das Folgendes umfasst: Werfen eines Lichtmusters mit mehreren projizierten Merkmalen auf eine Szene, wobei die projizierten Merkmale unterschiedliche zeitliche Eigenschaften umfassen; Erzeugen eines Signals, das Änderungen der detektierten Luminanz für Pixel eines dynamischen Sichtsensors angibt; und Bestimmen eines Satzes von Pixeln des dynamischen Sichtsensors auf der Basis des Signals, die einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entsprechen, auf der Basis des Satzes von Pixeln mit einer Änderung der detektierten Luminanz, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
Verfahren nach Anspruch 14, das ferner Folgendes umfasst: Bestimmen eines Tiefenwerts für eine Tiefenabbildung der Szene auf der Basis von Pixelorten des Satzes von Pixeln, die dem individuellen projizierten Merkmal entsprechen, und eines projizierten Winkels, der dem individuellen projizierten Merkmal des Lichtmusters entspricht.
Verfahren nach einem der Ansprüche 14 oder 15, das ferner Folgendes umfasst: Erzeugen eines zweiten Signals, das zweite Änderungen der detektierten Luminanz für zweite Pixel des zweiten dynamischen Sichtsensors angibt; und Bestimmen eines zweiten Satzes von Pixeln des zweiten dynamischen Sichtsensors, die dem individuellen projizierten Merkmal entsprechen, auf der Basis des zweiten Satzes von Pixeln mit einer zweiten Änderung der detektierten Luminanz, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
Verfahren nach einem der Ansprüche 14 bis 16, insbesondere nach Anspruch 16, das ferner Folgendes umfasst: Bestimmen eines Tiefenwerts für eine Tiefenabbildung der Szene auf der Basis von Pixelorten des Satzes von Pixeln im dynamischen Sichtsensor und zweiten Pixelorten des zweiten Satzes von Pixeln im zweiten dynamischen Sichtsensor.
Verfahren nach einem der Ansprüche 14 bis 17, wobei das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Winkel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Winkel des dynamischen Projektors umfasst, wobei das erste und das zweite projizierte Merkmal geteilte zeitliche Eigenschaften aufweisen, wobei der erste Winkel und der zweite Winkel zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind.
Verfahren nach einem der Ansprüche 14 bis 18, wobei das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Winkel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Winkel des dynamischen Projektors umfasst, wobei das erste und das zweite projizierte Merkmal erste bzw. zweite zeitliche Eigenschaften aufweisen, wobei die ersten und zweiten zeitlichen Eigenschaften zeitlich überlappen, aber sich in einer Emissionsdauer, einer Emissionsanzahl und/oder einer Emissionsfrequenz unterscheiden.
Maschinenlesbares Medium oder maschinenlesbare Medien mit mehreren Befehlen, die in Reaktion darauf, dass sie auf einer Vorrichtung ausgeführt werden, bewirken, dass die Vorrichtung: auf eine Szene ein Lichtmuster mit mehreren projizierten Merkmalen wirft, wobei die projizierten Merkmale unterschiedliche zeitliche Eigenschaften umfassen; ein Signal erzeugt, das Änderungen der detektierten Luminanz für Pixel eines dynamischen Sichtsensors angibt; und auf der Basis des Signals einen Satz von Pixeln des dynamischen Sichtsensors bestimmt, die einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entsprechen, auf der Basis des Satzes von Pixeln mit einer Änderung der detektierten Luminanz, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
Maschinenlesbares Medium nach Anspruch 20, wobei das maschinenlesbare Medium ferner Befehle umfasst, die in Reaktion darauf, dass sie auf einer Vorrichtung ausgeführt werden, bewirken, dass die Vorrichtung: ein zweites Signal erzeugt, das zweite Änderungen der detektierten Luminanz für zweite Pixel des zweiten dynamischen Sichtsensors angibt; und einen zweiten Satz von Pixeln des zweiten dynamischen Sichtsensors, die dem individuellen projizierten Merkmal entsprechen, auf der Basis des zweiten Satzes von Pixeln mit einer zweiten Änderung der detektierten Luminanz bestimmt, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
Maschinenlesbares Medium nach einem der Ansprüche 20 oder 21, insbesondere nach Anspruch 20, wobei das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Winkel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Winkel des dynamischen Projektors umfasst, wobei das erste und das zweite projizierte Merkmal geteilte zeitliche Eigenschaften aufweisen, wobei der erste Winkel und der zweite Winkel zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind.
System, das Folgendes umfasst: ein Mittel zum Werfen eines Lichtmusters mit mehreren projizierten Merkmalen auf eine Szene, wobei die projizierten Merkmale unterschiedliche zeitliche Eigenschaften umfassen; ein Erfassungsmittel zum Erzeugen eines Signals, das Änderungen der detektierten Luminanz für Pixel davon angibt; und ein Mittel zum Bestimmen, dass ein Merkmal, das durch das Erfassungsmittel detektiert wird, einem individuellen projizierten Merkmal der mehreren projizierten Merkmale entspricht, auf der Basis des Signals, das eine Änderung der detektierten Luminanz angibt, die einer individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
System nach Anspruch 23, das ferner Folgendes umfasst: ein zweites Erfassungsmittel zum Erzeugen eines zweiten Signals, das zweite Änderungen der detektierten Luminanz für zweite Pixel davon angibt; und ein Mittel zum Bestimmen, dass ein zweites Merkmal, das durch das zweite Erfassungsmittel detektiert wird, dem individuellen projizierten Merkmal entspricht, auf der Basis des zweiten Signals, das eine zweite Änderung der detektierten Luminanz angibt, die der individuellen zeitlichen Eigenschaft des individuellen projizierten Merkmals entspricht.
System nach einem der Ansprüche 23 oder 24, wobei das Lichtmuster ein erstes projiziertes Merkmal von einem ersten Pixel des dynamischen Projektors und ein zweites projiziertes Merkmal von einem zweiten Pixel des dynamischen Projektors umfasst, wobei das erste und das zweite projizierte Merkmal geteilte zeitliche Eigenschaften aufweisen, wobei das erste Pixel und das zweite Pixel zu einer epipolaren Achse zwischen dem dynamischen Projektor und dem dynamischen Sichtsensor orthogonal sind.