DE102017117212A9 - System und Verfahren zur Stereotriangulation - Google Patents

System und Verfahren zur Stereotriangulation Download PDF

Info

Publication number
DE102017117212A9
DE102017117212A9 DE102017117212.2A DE102017117212A DE102017117212A9 DE 102017117212 A9 DE102017117212 A9 DE 102017117212A9 DE 102017117212 A DE102017117212 A DE 102017117212A DE 102017117212 A9 DE102017117212 A9 DE 102017117212A9
Authority
DE
Germany
Prior art keywords
camera
light
source
reflected light
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017117212.2A
Other languages
English (en)
Other versions
DE102017117212A1 (de
Inventor
Gerard Dirk Smits
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/658,952 external-priority patent/US10884127B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE102017117212A1 publication Critical patent/DE102017117212A1/de
Publication of DE102017117212A9 publication Critical patent/DE102017117212A9/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein System zum Erfassen eines Objekts (130) weist eine im Wesentlichen kollimierte Abtastlichtquelle (120, 234, 300) auf, die konfiguriert ist, ein Quelllicht auszugeben; eine erste Kamera (110), die konfiguriert ist, ein erstes reflektiertes Licht zu empfangen, wobei das erste reflektierte Licht das von dem Objekt (130) zu der ersten Kamera (110) reflektierte Quelllicht ist; eine zweite Kamera (112), die konfiguriert ist, ein zweites reflektiertes Licht zu empfangen, wobei das zweite reflektierte Licht das von dem Objekt (130) zu der zweiten Kamera (112) reflektierte Quelllicht ist, und wobei die zweite Kamera (112) von der ersten Kamera räumlich getrennt ist; und einen oder mehrere Prozessoren (210), die konfiguriert sind, die Abtastlichtquelle (120, 234, 300), die erste Kamera (110) und die zweite Kamera (112) zu steuern; und das erste reflektierte Licht und das zweite reflektierte Licht zu verarbeiten, um das Objekt (130) zu erfassen.

Description

  • Verwandte Anmeldung(en)
  • Diese Anmeldung beansprucht die Priorität der vorläufigen US Anmeldung 62/369,879, eingereicht am 2. August 2016, deren Offenbarung hierin in ihrer Gesamtheit durch Bezugnahme aufgenommen ist.
  • Hintergrund
  • Die vorliegende Offenbarung bezieht sich auf ein Abstandsmessen, und insbesondere auf eine Stereotriangulation. Für Stereo-Vision-Systeme zum Messen von Abständen und 3-D Bildgebung werden vielfältige Bemühungen unternommen, allerdings sind diese Bemühungen zeitintensiv und könnten teure Vorrichtungen erfordern.
  • Verschiedene Einschränkungen und Nachteile von konventionellen und traditionellen Ansätze werden für den Fachmann offensichtlich werden, durch Vergleich von solchen System mit einigen Aspekten der vorliegenden Offenbarung, wie im dem Rest der Anmeldung in Bezug auf die Zeichnungen dargestellt.
  • Zusammenfassung
  • Es wird ein System und/oder ein Verfahren zur Stereotriangulation, im Wesentlichen wie in und/oder in Verbindung mit wenigstens einer der Zeichnungen dargestellt, beschrieben.
  • Verschiedene Vorteile, Aspekte und neue Merkmale der vorliegenden Offenbarung, ebenso wie Details einer illustrierten Ausführungsform davon, werden von der folgenden Beschreibung und Zeichnungen besser verstanden werden.
  • Kurze Beschreibung der Zeichnungen
  • Das Obige und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung in Verbindung mit den begleitenden Zeichnungen ersichtlich werden, in welchen:
  • 1A eine Illustration einer Stereotriangulation gemäß einer Ausführungsform der Offenbarung ist.
  • 1B eine Illustration einer Stereotriangulation auf einer Fahrzeugplattform gemäß einer Ausführungsform der Offenbarung ist.
  • 2 ein Blockdiagramm auf höchster Darstellungsebene einer Stereotriangulation in einer Fahrzeugplattform gemäß einer Ausführungsform der Offenbarung ist.
  • 3 eine Illustration eines RGB-Abtasters für einen Gebrauch in einer Stereotriangulation gemäß einer Ausführungsform der vorliegenden Offenbarung ist.
  • 4A ein Schaubild eines Verarbeitungsplans für eine Gesamtbelichtungskamera ist.
  • 4B ein Schaubild eines Verarbeitungsplans für eine Rolling-Shutter-Kamera gemäß einer Ausführungsform der Offenbarung ist.
  • Detaillierte Beschreibung
  • Die vorliegenden Ausführungsformen sollten nicht als auf die hier dargelegten Beschreibungen beschränkt ausgelegt werden. Diese Ausführungsformen sind vielmehr als Beispiele vorgesehen, sodass diese Offenbarung gründlich und komplett sein wird und das Konzept der vorliegenden Ausführungsformen einem Durchschnittsfachmann vermittelt wird. Die angehängten Ansprüche illustrieren einige der Ausführungsformen der vorliegenden Offenbarung.
  • Gleiche Bezugszeichen beziehen sich, durch die Spezifikation hindurch, auf gleiche Elemente. Alle hierin verwendeten Ausdrücke, die beschreibende oder technische Ausdrücke enthalten, sollten derart ausgelegt werden, dass sie Bedeutungen haben, die für einen Durchschnittsfachmann offensichtlich sind. Wenn ein Ausdruck wegen sich entwickelnder Sprache, Präzedenzfällen oder dem Auftreten von neuen Technologien eine mehrdeutige Bedeutung aufweist, sollte die Bedeutung eines in dieser Offenbarung verwendeten Ausdrucks, zuerst durch seine Verwendung und/oder Definition in dieser Offenbarung klargestellt werden. Der Ausdruck sollte dann so klargestellt werden, wie ein Durchschnittsfachmann den Ausdruck zur Zeit dieser Offenbarung verstanden hätte.
  • Wenn ein Teil ein Element „enthält” oder „aufweist”, kann der Teil ferner weitere Elemente enthalten, es sei denn es gibt diesbezüglich eine gegenteilige Angabe. Der Ausdruck „Einheit” bei den Ausführungsformen der vorliegenden Offenbarung bedeutet eine Softwarekomponente oder eine Hardwarekomponente, die eine spezifische Funktion durchführt. Die Hardwarekomponente könnte zum Beispiel einen Field-Programmable-Gate-Array (FPGA) oder eine anwendungsspezifische integrierte Schaltung (ASIC) enthalten.
  • Software, oder Softwarekomponente, könnte sich auf ausführbaren Code und/oder sich auf von dem ausführbaren Code verwendete Daten in einem adressierten Speichermedium beziehen. Somit könnte Software zum Beispiel objektorientierte Softwarekomponenten, Klassenkomponenten und Taskkomponenten sein und könnte Prozesse, Funktionen, Attribute, Prozeduren, Unterroutinen, Segmente von Programmcode, Treiber, Firmware, Anwendungsprogramme, Micro-Code/Schaltkreise, Daten, eine Datenbank, Datenstrukturen, Tabellen, Arrays oder Variablen enthalten.
  • Eine von einer „Einheit” vorgesehene Funktion könnte in zusätzliche Komponenten und „Einheiten” unterteilt sein.
  • Nun wird in Detail auf Ausführungsformen Bezug genommen werden, Beispiele davon sind in den begleitenden Zeichnungen illustriert. Diesbezüglich könnten die vorliegenden Ausführungsformen unterschiedliche Formen aufweisen und sollten nicht auf die hierin dargelegten Beschreibungen beschränkt ausgelegt werden.
  • In der folgenden Beschreibung werden wohlbekannte Funktionen und Konstruktionen nicht im Detail beschrieben werden, um die Ausführungsform nicht mit unnötigen Details zu verschleiern.
  • 1A ist eine Illustration einer Stereotriangulation gemäß einer Ausführungsform der Offenbarung. Es wird auf 1A Bezug genommen, dort wird gezeigt, eine Plattform 100 mit Kameras 110 und 112, ein Abtaster 120, der Quelllicht zum Belichten eines Objekts bereitstellt, und ein Objekt 130, das aufgenommen wird. Die Kameras 110 und 112 könnten irgendeine Art von geeigneten Kameras sein, einschließlich zum Beispiel CMOS Kameras. Der Abtaster 120 könnte irgendeine Art von geeigneter Lichtquelle sein, die einen Bereich in einem Rasterverfahren beleuchten kann, wie zum Beispiel ein Lichtabtaster mit einer MEMS-Abtasttechnologie, die Laserbeleuchtung in einer Folge von horizontalen Linien ausgibt. Dementsprechend könnte der Abtaster 120 bei einer Ausführungsform 1080 horizontale Linien per Einzelbild ausgeben. Bei verschiedenen Ausführungsformen der Offenbarung könnte der Abtaster 120 im Wesentlichen kollimiertes Licht bereitstellen, das Zerstreuung des emittierten Lichtes verringern könnte. Verschiedene Ausführungsformen der Offenbarung könnten den Abtaster 120 als eine Punktquelle für das emittierte Licht haben.
  • Verschiedene Ausführungsformen könnten eine verschiedene horizontale und/oder vertikale Auflösung für spezifische Zwecke bereitstellen. Zum Beispiel könnten einige Ausführungsformen 1080 Pixellinien mit 1920 Pixel per Linie aufweisen. Um verschiedene Beschreibungen in dieser Offenbarung zu vereinfachen, wird eine Annahme von 1080 Linien per Einzelbild und 1920 Pixeln per Linie gemacht werden, mit dem vollen Verständnis, dass dies nicht den Umfang der Offenbarung auf irgendeine spezifische Anzahl von Linien per Einzelbild oder Pixel per Linie beschränkt.
  • Außerdem können, da der Abstand zwischen den Kameras 110 und 112 und des Abtasters 120 bekannt ist, die entsprechenden Pixel von jeder Kamera aufeinander abgestimmt werden, um Abstandsinformation von jeder Kamera bereitzustellen, und somit ist eine 3-D Bilddarstellung möglich. Außerdem könnten drei getrennte Triangulationen für die Konfiguration mit dem Abtaster 120 und den Kameras 110 und 112 möglich sein. Das erste Dreieck besteht aus der Kamera 110, dem Abtaster 120 und dem Objekt 130 als Eckpunkte. Das zweite Dreieck besteht aus der Kamera 112, dem Abtaster 120 und dem Objekt 130 als Eckpunkte. Das dritte Dreieck weist die Kamera 110, die Kamera 112 und das Objekt 130 als Eckpunkte auf. Information, die von einem oder mehr der Dreiecke empfangen wird, könnten verarbeitet werden, um verschiedene Arten von Bilderzeugung zu optimieren.
  • Eine strukturierte Lichtsequenz, wie zum Beispiel die Bruijn Sequenz, könnte für eine Bildgebung im Allgemeinen, einschließlich für eine 3-D Bildgebung, verwendet werden, um eine Bilderfassung zu optimieren. Allerdings sind verschiedene Ausführungsformen der Offenbarung nicht auf ein Verwenden von strukturierten Lichtsequenzen beschränkt. Zudem könnten verschiedene Ausführungsformen der Offenbarung es dem Abtaster 120 ermöglichen, die Ausgabeintensität zu variieren. Dies könnte zum Beispiel den Kameras 110 und 120 ermöglichen, Bilder von weiter weg zu erfassen.
  • Verschiedene Ausführungsformen könnten auch die horizontale Bewegung 121 des Abtasters 120 steuern. Um zum Beispiel bei einer Abtastung mehr Details zu bekommen, könnte der Abtaster 120 so gesteuert sein, dass er bei der gleichen Zeitdauer eine kürzere horizontale Bewegung 121 als bei einer normalen Abtastung durchzuführt. Dies könnte es ermöglichen, einen kleineren Bildbereich mehr zu beleuchten, um mehr Detail zu bekommen. In anderen Fällen könnte der Abtaster 120 gesteuert sein, in der gleichen Zeitdauer eine längere horizontale Bewegung 121 als bei einen normalen Abtastung durchzuführen. Dies könnte eine Abdeckung eines größeren Bereichs ermöglichen, möglicherweise mit weniger Detail. Der Abtaster 120 könnte auch bezüglich der abgetasteten horizontalen Linien gesteuert sein.
  • Außerdem könnte der Abtaster 120 bezüglich der abgetasteten horizontalen Position sowie der abgetasteten vertikalen Position gesteuert sein. Zum Beispiel könnte die abgetastete horizontale Position eine horizontale Startposition und eine horizontale Endposition anzeigen, um mehr Detail von einem spezifischen Bereich eines Objektes oder einer Umgebung zu bekommen. Ebenso könnte es für die abgetastete vertikale Position Anzeigen der Startlinie und der Endlinie geben. Auf diese Art kann der abgetastete Bereich verschmälert werden und somit einen Zoom-Effekt bereitstellen. Eine weitere Steuerung des Abtasters 120 könnte auch die Intensität des Ausgabestrahls umfassen, um den verkleinerten Bereich in der normalen Zeitspanne oder bei der normalen Abtastgeschwindigkeit abzutasten, aber effektiv mehr ”Einzelbilder” pro Sekunde zu haben, da die Einzelbilder kleiner sind.
  • Auf diese Art könnten es verschiedene Ausführungsformen der Offenbarung ermöglichen, einen Start eines horizontalen Sweeps und einen horizontalen Sweep-Bereich zu spezifizieren. Ebenso könnte der Start des vertikalen Sweeps spezifiziert werden, und auch der vertikale Sweep-Bereich.
  • Die Kameras 110 und 120 könnten so gesteuert sein, dass spezifische horizontale Linien ausgelesen werden, indem durch Belichten einiger Linien (Reihen) von Pixeln mit dem Abtaster 120 synchronisiert wird, welcher eine andere Anzahl von Linien als die Anzahl von Reihen von Pixel in den Kamera 110 oder 112 abtasten könnte. Einige Ausführungsformen könnten es den Kameras 110 und 112 auch ermöglichen, einen aus einer Reihe zu lesenden Startpixel und einen Endpixel zu spezifizieren, um weiter mit dem Abtaster 120 zu synchronisieren. Dies könnte es ermöglichen, Pixel von dem gewünschten Abschnitt des Einzelbildes auszulesen und zu bearbeiten.
  • Außerdem könnten es einige Ausführungsformen ermöglichen, die Kameras so zu steuern, dass sie einen gewissen Betrag schwenken. Dies könnte zum Beispiel ermöglichen, dass jede einzelne Kamera 110 und 112 Bilder von verschiedenen Bereichen erfasst. Demzufolge könnten die Kameras 110 und 112 gesteuert sein, um ein Bild des Objekts 130 bereitzustellen, welches ein 3-D Bild sein könnte, oder jede Kamera 110 und 112 könnte Bilder von überlappenden oder nicht überlappenden Bereichen bereitstellen. Deshalb könnten die Kameras 110 und 112 konfiguriert sein, einzelne Bilder von der linken Seite des Bereichs vor der Kamera 110 und der rechten Seite des Bereichs vor der Kamera 112 bereitzustellen. Außerdem könnte im Fall, dass eine der Kameras 110 und 112 deaktiviert ist, oder dass Bearbeitungsschalttechnik/Software für eine der Kameras 110 und 112 deaktiviert ist, die andere der Kameras 110 und 112 verwendet werden, um Einzelbilder von dem Bereichs davor, welcher durch den Abtaster 120 beleuchtet wird, bereitzustellen. In manchen Fällen könnte die übrigbleibende Kamera 110 oder 112 horizontal und/oder vertikal schwenken, um einen breiteres Sichtfeld zu bieten.
  • Verschiedene Ausführungsformen der Offenbarung könnten es auch ermöglichen, dass der Abtaster 120 gesteuert wird, um zu schwenken. Dies könnte zum Beispiel sein, um der Kamera 110 und/oder 112, welche geschwenkt werden könnte, ein besseres Lichtmuster bereitzustellen. Das Schwenken des Abtasters 120 könnte jede geeignete Technik, die den Abtaster 120 und/oder einzelne Teile des Abtasters 120 steuert, verwenden. Die Bewegungsrichtung des emittierten Licht könnte auch innerhalb des Abtaster 120 oder außerhalb des Abtaster 120 gesteuert werden. Die Bewegungsrichtung könnte zum Beispiel durch Verwenden von einer optischen Linse(n) gesteuert werden.
  • Während 1A den Abtaster in der Mitte zwischen den Kameras 110 und 112 zeigt, braucht die Offenbarung nicht darauf beschränkt sein. Zum Beispiel kann der Abtaster 120 in Richtung eine der Kameras 110 oder 112 verdreht sein, oder der Abtaster 120 könnte rechts von beiden Kameras 110 und 112, oder links von beiden Kameras 110 und 112, lokalisiert sein.
  • Außerdem könnten die Kameras 110 und 112 und der Abtaster 120 verschiedene Teile des Lichtspektrums verwenden, wie zum Beispiel sichtbares Licht, Infrarotlicht, etc. Während die Kameras 110 und 112 der gleichen Art sein könnten, brauchen verschiedene Ausführungsformen der Offenbarung nicht darauf beschränkt sein. Zum Beispiel könnte die Kamera 110 empfindlich für das RGB-Spektrum sein, während die Kamera 112 empfindlich für das Infrarotspektrum sein könnte. Andere Arten von Kameras, die verwendet werden könnten, könnten zum Beispiel empfindlich für sichtbares Licht und Infrarotlicht sein. Entsprechend beschränkt die Offenbarung eine Kamera, die in einer Ausführungsform verwendet wird, nicht für irgendein spezifisches Spektrum des elektromagnetischen Feldes. Jede Kamera 110 und 112 könnte auch eine optische Zoom-Fähigkeit zusätzlich zur Software-Zoom-Fähigkeit und der effektiven Zoom-Fähigkeit aufweisen, durch Spezifizieren der horizontalen/vertikalen Abtastbereiche des Abtasters 120 und der gleichen Empfang-Pixel-Bereiche für die Kameras 110 und 112.
  • Außerdem könnten, während beschrieben wurde, dass der Abtaster 120 Rasterausgabelinien, welche horizontal und zueinander parallel sind, bereitstellt, verschiedene Ausführungsformen der Offenbarung eine Steuerung des Abtaster 120 ermöglichen, um verschiedene Lichtmuster zu ermöglichen. Entsprechend könnte das Licht in einem Muster, das nicht parallele, horizontale Linien aufweist, ausgeben werden. Verschiedene Muster könnten verwendet werden, wie zum Beispiel diagonale Linien, die parallel sind, verschiedene Linien, die in verschiedenen Winkeln ausgegeben werden, etc. Parallele Linien könnten auch mit der von der rechten Seite startenden Linie ausgegeben werden, oder wo die parallelen Linien vertikal sind. Entsprechend könnte der Abtaster 120 gesteuert werden können, dass er Linien von Licht ausgibt, wobei die Linien nicht notwendigerweise auf der linken Seite starten oder nicht parallele, horizontale Linien sind.
  • Verschiedene Ausführungsformen der Offenbarung könnten den Abtaster 120 und die Kameras 110 und 112 auf einer Epipolarebene vorsehen.
  • 1B ist eine Illustration einer Stereotriangulation auf einer Fahrzeugplattform gemäß mit einer Ausführungsform der Offenbarung. Es wird auf 1B Bezug genommen, dort wird eine Fahrzeugplattform 150 gezeigt, die die Plattform 100 von 1 sein könnte. Entsprechend weist die Fahrzeugplattform 100 Kameras 110 und 112 und einen Abtaster 120 auf. Die Fahrzeugplattform 150 kann, wie oben beschrieben, die Umgebung davor noch erkennen, selbst wenn eine der Kameras 110 und 112 deaktiviert ist.
  • Zusätzlich könnten, wie oben beschrieben, die Kameras 110 und 112 bis zu einem bestimmten Ausmaß die Funktionalität eines anderen Sensor, welcher kaputtgegangen sein könnte, ausgleichen, indem mehr des vorderen rechten Bereichs beziehungsweise des vorderen linken Bereichs mit den Kameras 110 und 112 betrachtet wird, indem die 3-D Bildgebung nach vorne aufgegeben wird. Dies könnte ein Anpassen des Abtastbereichs durch den Abtaster 120 ebenso wie möglicherweise ein Anpassen eines Winkels der Kameras 110 und/oder 112 nach sich ziehen. Einige Ausführungsformen könnten konfiguriert sein, selbst in dieser Situation eingeschränkte 3-D Bildgebung nahe der zentralen Vorderseite der Fahrzeugplattform 150 bereitzustellen.
  • Verschiedene Ausführungsformen könnten auch einen Abtaster 120 in einem Scheinwerfer aufweisen, und das abgetastete Licht kann durch den Scheinwerfer ausgegeben werden, so dass das Gesamtlicht, welches von dem Scheinwerfer emittiert wird, nicht irgendwelche lokale Vorschriften, die ein Scheinwerfer regulieren könnten, überschreitet. Zum Beispiel werden US Vorschriften für diese Vorrichtungen, die für den Gebrauch in den US bestimmt sind, befolgt werden, EU Vorschriften werden für diese Vorrichtungen, die für den Gebrauch in der EU bestimmt sind, befolgt werden, chinesische Vorschriften werden für diese Vorrichtungen, die für einen Gebrauch in China vorgesehen sind, befolgt werden, etc. Das emittierte Gesamtlicht in einem bestimmten Band (sichtbar, IR, etc.) kann gesteuert werden, egal ob der Abtaster 120 in einem Scheinwerfer oder einem anderen Teil eines Fahrzeuges ist, um die verschiedenen Vorschriften, die diese Bänder regulieren, zu erfüllen.
  • Entsprechend könnten die Kameras 110 und 112 empfindlicher sein für die Wellenlänge des Abtastlicht, das durch den Abtaster 102 in dem Scheinwerfer ausgegeben wird, als für eine Wellenlänge des Lichts, das vorgesehen ist die Straße davor zu beleuchten. Das Licht von dem Abtaster 120 in dem Scheinwerfer könnte auch, wie früher beschrieben, strukturiert (gemustert) oder nicht strukturiert sein. Zusätzlich könnte ein Abtaster 120 in beiden Scheinwerfern, oder in mehreren Lichtern, sein, und jeder Abtaster 120 könnte nicht-strukturiertes Licht bereitstellen oder strukturiertes Licht bereitstellen. Deshalb könnte eine Kamera die Fähigkeit haben, strukturiertes Licht von einer Kamera oder strukturierte Lichter von mehreren Kameras zu nutzen.
  • Ein Abtaster 120 könnte auch abgestimmt sein, strukturiertes Licht, welches eine bessere Unterscheidung horizontaler Details ermöglicht, zu projizieren, und ein anderer Abtaster 120 könnte abgestimmt sein, strukturiertes Licht, welches eine bessere Unterscheidung vertikaler Details ermöglicht, zu projizieren. Die Abtaster 120 könnten auch gesteuert werden, um das Strukturieren des emittierten Lichts an/abzuschalten sowie strukturiertes Licht für horizontale Unterscheidung und vertikale Unterscheidung bereitzustellen. Eine Ausführungsform könnte einen Abtaster 120, welcher strukturiertes Licht für eine vertikale Unterscheidung bereitstellt, und einen anderen Abtaster 120, welcher strukturiertes Licht für eine horizontale Unterscheidung bereitstellt, aufweisen. Eine oder mehrere Kameras könnten dann mit dem einen oder mehreren Abtastern synchronisiert werden, um Licht zu empfangen, ob strukturiert oder nicht.
  • Verschiedene Ausführungsformen der Offenbarung könnten, während der Abtaster in dem Scheinwerfer in Bezug auf eine Fahrzeugplattform beschrieben wurde, den Abtaster in einer Scheinwerfer-Ausführungsform in irgendeinem Fahrzeug (Land, Luft, Wasser, Weltraum, etc.) gebrauchen, und auch mit anderen Arten von Licht, wie zum Beispiel einem Blitzlicht, welches mit einer empfangenden Kamera(s) auf einer Person synchronisiert ist. Eine Ausführungsform der Offenbarung kann, wie von einem Durchschnittsfachmann gesehen werden kann, in beliebig vielen Szenarien verwendet werden.
  • 2 ist ein Blockdiagramm auf höchster Darstellungsebene einer Stereotriangulation in einer Fahrzeugplattform gemäß einer Ausführungsform der Offenbarung. Auf 2 bezugnehmend, wird dort eine Plattform 200, die ähnlich wie die Plattform 100 oder die Fahrzeugplattform 150 sein könnte, gezeigt. Die Plattform 200 umfasst einen Prozessor 210, einen Speicher 220 und Sensoren 230. Der Prozessor 210 könnte einer oder mehrere irgendeiner Art von Prozessoren, die Instruktionen ausführen können, sein. Der Speicher 220 könnte flüchtigen Speicher 222, nicht-flüchtigen Speicher 224 und/oder Massenspeicher 226 aufweisen. Der Massenspeicher 226 könnte zum Beispiel magnetische Festplatten, optische Medien, Flash-Speicher etc. aufweisen. Daten und ausführbare Instruktionen könnten in dem Speicher 220 gespeichert sein. Die Sensoren 230 könnten Kameras 232 und Abtaster 234 aufweisen, ebenso wie andere Sensoren, die von der Plattform 200 verwendet werden könnten. Wenn die Plattform 200 zum Beispiel eine Fahrzeugplattform ist, könnten andere Sensoren, Radar, Lidar, Sonar etc. enthalten
  • Der Prozessor 210 könnte unabhängig von den Sensoren 230 sein, oder ein Prozessor, der mit anderen Teilen integriert ist. Der Prozessor 210 könnte zum Beispiel mit einem Vision-Modul, das logischerweise die Kameras 232 und den Abtaster 234 aufweist, integriert sein, oder er ist ein Prozessor, der logischerweise ein Teil der Sensoren 230 ist, und entsprechend die Sensoren 230 steuern und Daten zu/von den Sensoren 230 verarbeiten könnte. Der Prozessor 210 könnte ein unabhängiger Prozessor sein, der in Verbindung mit einem oder mehreren Prozessoren, einschließlich eines Prozessors(en), der Teil der Sensoren 230 sein könnte, arbeitet, oder unabhängig Daten von den Sensoren 230 verarbeitet und/oder die verschiedenen Sensoren 230 steuert.
  • Der Prozessor 210 könnte die Kameras 232 und den Abtaster 234 wie obig beschriebenen steuern, so dass sie zusammen zu arbeiten, um zum Beispiel 3-D Bilder zu formen oder einen Ausfall von einem oder mehreren der anderer Sensoren zu kompensieren. Der Prozessor 210 könnte auch die Kameras 232 und den Abtaster 234 zur Bildgebung bei unterschiedlichen Abständen, Auflösungen, verschiedenen abgedeckten Bildbereichen, und/oder Nahaufnahmen steuern. Verschiedene Ausführungsformen könnten, während der Prozessor 210 ein einzelner Prozessor, der auch die von den Kameras 232 empfangene Information bearbeitet, sein könnte, mehrere Prozessoren 210 aufweisen, bei denen ein oder mehrere Prozessoren 210 die Informationen von den Kameras 232 verarbeiten könnte.
  • 3 ist eine Illustration eines RGB-Abtasters für einen Gebrauch in einer Stereotriangulation gemäß einer Ausführungsform der Offenbarung. Auf 3 bezugnehmend, wird dort ein Abtaster 300 gezeigt, der konfiguriert ist, drei unterschiedliche Beleuchtungslichter rot, grün, und blau (RGB) auszugeben. Während RGB gewöhnlich verwendet wird und dementsprechend kosteneffektiv ist, könnten in verschiedenen Ausführungsformen auch andere Farben verwendet werden. Durch Verwenden des Abtasters 300, der RGB-Licht ausgibt, können die empfangenden Kameras, wie zum Beispiel Kamera 110 und 112, ein vollständiges Farbbild erzeugen, welches zum Beispiel einem Fahrer und/oder Passagier in der Fahrzeugplattform 150 angezeigt wird.
  • Ein Verwenden von zwei Kameras 110 und 112 stellt im Allgemeinen eine höhere Genauigkeit und möglicherweise eine realistischere Farbe als mit einer einzelnen Kamera bereit, weil Daten der beiden Kameras relativ nahe beieinander sind. Zum Beispiel wird mit einer Einzelkamera die projizierte Lichtsequenz mit der auf der Einzelkamera empfangenden Lichtsequenz verglichen. Die empfangene Lichtsequenzintensität ist eine Funktion des Abstandes und des Reflexionsvermögen des Objekts. Deshalb können die empfangenen Lichtintensitäten sehr unterschiedlich von den projizierten Lichtentitäten sein, was zu einem nicht so robusten Vergleich führt. Im Falle der zwei Kameras werden allerdings Sequenzen mit ähnlichen Intensitäten verglichen, was robuster ist. Außerdem könnte eine Bestimmung einer Tiefe, Details und/oder Farbgenauigkeit/Intensität durch von einer Kamera empfangenes Licht wegen Verdeckung oder anderen Effekten nachteilig beeinträchtigt sein, aber Licht zu der zweiten Kamera könnte, wenn überhaupt, nicht stark beeinflusst sein oder auf dieselbe Art. Entsprechend könnten die getrennten Datensätze verarbeitet und korreliert werden, so dass ein genaueres Bild gebildet wird, als wenn nur eine Kamera verwendet worden wäre.
  • Die vorliegende Offenbarung beschränkt weder die Anzahl der Kameras, die mit einem einzelnen Abtaster verwendet werden können, noch das Verhältnis von Kameras zu Abtaster, noch die Anzahl von Abtaster/Kamera(s) Konfigurationen, die auf einer gegebenen Plattform verwendet werden können. Die Abtaster/Kamera(s) Konfigurationen könnten unabhängig verwendet werden oder zum Bearbeiten eines ähnlichen Objekts (Objekten) oder Bereiche der Umgebung. Zum Beispiel können eine oder mehrere Abtaster(s)/Kamera(s) Konfigurationen verwendet werden, um 360-Grad (oder weniger) 3-D Ausgaben zu erzeugen. In manchen Fällen kann die Ausgabe 2-D sein.
  • Während beschrieben wurde, dass der Abtaster 300 und die Kameras 110 und 120 drei Farben verwenden, so könnten verschiedene Ausführungsformen mehr als drei Farben verwenden und die verwendeten Farben könnten eine Anzahl von verschiedenen Farben enthalten, einschließlich rot, grün und/oder blau, oder keines von rot, grün und blau.
  • 4A ist ein Schaubild eines Verarbeitungsplans für eine Gesamtbelichtungskamera. Auf 4A bezugnehmend, es wird dort ein Schaubild gezeigt mit Pixelreihen auf der vertikalen Achse und einer Zeit zum Erfassen und Verarbeiten der Pixelreihen auf der horizontalen Achse. Wie gesehen werden kann, wird ein ganzes Einzelbild von Bilddaten 402 erfasst, bevor irgendein Verarbeiten der Daten durchgeführt wird. Da alle Pixel während der gleichen Zeitdauer T Licht empfangen, könnte es mehr eingehende Lichtbelichtung geben, als wenn eine Einzelreihe von Pixels das eingehende Licht während eine kürzeren Zeitdauer T' empfängt. Außerdem kann das Verarbeiten der empfangenen Pixel nicht beginnen, bevor die Zeitdauer T verstrichen ist, was zu einer längeren Latenz wegen dem verzögerten Auslesen 404 der Pixel führt. Wenn die Belichtungszeit auf 1 ms pro Einzelbild beschränkt ist, gibt es bei einer 50 Hz Einzelbildrate eine Reduzierung des Umgebungslichts um einen Faktor von 20.
  • 4B ist ein Schaubild eines Verarbeitungszeitplans für eine Rolling-Shutter-Kamera gemäß einer Ausführungsform der Offenbarung. Auf 4B bezugnehmend, es wird dort ein Schaubild gezeigt mit Pixelreihen auf der vertikalen Achse und einer Zeit zum Erfassen und Verarbeiten der Pixelreihen auf der horizontalen Achse. Durch Verwenden eines Rolling-Shutter-Kamera-Prozesses wird jeweils nur eine Linie der Bilddaten gleichzeitig erfasst. Da die Zeitdauer T' zum Erfassen von Bilddaten einer einzelnen Linie kürzer als die Zeit ist, die notwendig ist, um Daten von einem gesamten Einzelbild aufzunehmen, können die Bilddaten der belichteten Linie früher ausgelesen werden als Bilddaten für die gesamte Einzelbildbelichtung, wie in 4A dargestellt. Da die nächste Linie belichtet werden kann während die Bilddaten ausgelesen und bearbeitet werden, kann die Rolling-Shutter-Kamera zu einer schnelleren Verarbeitung der Bilddaten führen. Außerdem ist das Umgebungslicht, wenn die Belichtungszeit auf 20 μs per Linie beschränkt ist, bei einer 50 Hz Einzelbildrate um einen Faktor von 1000 reduziert, wodurch eine bedeutend weniger verrauschte Bilderfassung erreicht wird. Dies führt zu einer Umgebungslichtreduktion um einen Faktor von 50 bezüglich der in 4A beschriebenen Gesamtbelichtungskamera.
  • Dies ermöglicht höhere Einzelbildraten und gute Schwachlichtleistung zum Beispiel durch die Kameras 110 und 112. Indem das Abtastlichts, von zum Beispiel dem Abtaster 120, mit dem Rolling-Shutter-Verfahren für die Kameras 110 und 112 ausgerichtet und synchronisiert wird, gibt es außerdem für eine Bildverarbeitung bedeutend weniger Daten zum Korrelieren, einschließlich für eine 3-D Bildgebung. Die Reihen werden Reihe für Reihe ausgelesen und die 3-D Daten können erzeugt werden, indem Triangulation gleichzeitig für eine Reihe oder gleichzeitig für einer beschränkten Anzahl von Reihen verwendet wird. Dies vereinfacht eine Verarbeitung der Daten von den Kameras 110 und 112, dadurch dass nur mit einer kleineren Anzahl von Pixeln umgegangen werden muss, da nur die Pixel für eine Reihe gleichzeitig verarbeitet werden, wenn beispielsweise nur eine Reihe von Pixeln gleichzeitig belichtet wird.
  • Ein Rolling-Shutter-Kamera-Prozess könnte zum Beispiel eine Farbcodierung durch den Abtaster 120 verwenden, um die Pixelverarbeitung zu vereinfachen.
  • Darüber hinaus ist durch die Verwendung von beispielsweise dem Abtaster 120, der RGB-Laserlichter ausgeben könnte, und den Kameras 110 und 112, die RGB-Lichter erfassen können, keine Sensor-Fusion von 2-D-Sensoren und 3-D-Sensoren erforderlich, was wiederum einen komplexen Prozess und eine potentielle Quelle von Datenkonflikt vereinfacht.
  • Während sich die obige Beschreibung auf den Rolling-Shutter-Kamera-Prozess für eine Reihe von Pixeln, die gleichzeitig verarbeitet werden, bezieht, brauchen verschiedene Ausführungsformen der Offenbarung nicht so beschränkt sein. Zum Beispiel könnte eine kleinere Anzahl von Pixeln gleichzeitig belichtet werden. Die Anzahl der belichteten Pixel könnte so wenig wie beispielsweise ein Pixel zu einer Zeit sein. Dementsprechend kann man sehen, dass die Umgebungslichteingabe zu einem Pixel noch mehr reduziert werden kann, wenn das Bild pixelweise verarbeitet wird. Es könnte verschiedene Verfahren zum Steuern der mit Licht beleuchteten Pixel geben, einschließlich beispielsweise das Steuern jedes Pixels oder einer Gruppe von Pixeln, um Licht zu einem geeigneten Zeitpunkt zu empfangen. Der Abtaster 120, 234, 300 könnte auch bezüglich einer Dichtheit des Lichtstrahls (oder Photonen), der zu einem Objekt emittiert wird, gesteuert werden. Zum Beispiel, je enger der Lichtstrahl ist, desto kleiner ist der Bereich des Objekts, der den Lichtstrahl reflektiert. Die Anzahl von Pixeln, die zu einem gegebenen Zeitpunkt belichtet werden, könnte von verschiedenen Parametern abhängen, wie beispielsweise des Umgebungslicht, einer Empfindlichkeit der einzelnen Lichtdetektoren (Pixel), einem Prozessor(en), der für die Verarbeitung der Pixelinformation verwendet wird, eine von einem Abtaster ausgegebene Lichtmenge, etc.
  • Wenn jedoch eine Korrelation von Information von der reduzierten Anzahl von Pixeln für die beiden Kameras schwieriger wird, so könnte die Anzahl von Pixeln periodisch erhöht werden oder wie erforderlich, um die von den verschiedenen Kameras empfangenen Informationen zu synchronisieren.
  • Wenn ein Pixel nach dem anderen verarbeitet wird, könnten sie als Voxel betrachtet werden, wo die Zeitcodierung jedem Voxel seine dritte Dimension der Tiefe geben könnte. Da aufgrund der Zeitcodierung nicht für jedes Voxel eine Codierung oder Decodierung notwendig ist, kann die Verarbeitung vereinfacht werden. Entsprechend kann die Latenz aufgrund der Verarbeitung gemindert werden.
  • Daher kann man sehen, dass sich eine Ausführungsform der vorliegenden Offenbarung auf ein Verfahren und ein System zur Stereotriangulation bezieht, das auch für die 3D-Abbildung der Umgebung verwendet werden kann, und das Rollbelichtungs-RGB-Kameras aufweist, wobei RGB-Reihendaten aus jeder Reihe gelesen werden, nachdem die Belichtungszeit für diese Reihe beendet ist, während die nächste Reihe dem Licht ausgesetzt wird, und wobei die RGB-Reihendaten nach dem Lesen der RGB-Reihendaten verarbeitet werden. Wie oben bemerkt, kann die Anzahl der gleichzeitig belichteten Pixel kleiner als eine Reihe sein. Dementsprechend kann man sehen, dass das Rollbelichtungs-(oder Rolling-Shutter-)Verfahren einen signifikanten Vorteil für die Anzahl der verwendeten Kameras bietet, sei es eine oder zwei oder mehrere Kameras.
  • Die Verwendung eines Abtasters verringert die Menge an Verarbeitungs-Overhead für Bilder, die von den Kameras empfangen werden, stark, und die Verwendung des Rolling-Belichtungsverfahrens ermöglicht eine extrem geringe Latenz, da es möglich ist, Triangulationsdaten Reihe für Reihe auszulesen. Wenn die Pixel jeweils einzeln (oder ein paar Pixel gleichzeitig) ausgelesen werden, wobei jedes Pixel als Voxel zeitcodiert ist, kann die Verarbeitungslatenz erheblich reduziert oder eliminiert werden. Dementsprechend könnten 3-D-Bilder mit einem Bruchteil der Verarbeitung erzeugt werden, die erforderlich ist, wenn kein Abtaster und/oder keine Rollbelichtung verwendet wird.
  • Während verschiedene Ausführungsformen für funktionelle Verwendungen der vorliegenden Offenbarung beschrieben worden sind, sollte verstanden werden, dass die Verwendungen nicht nur auf die offenbarten Beispiele beschränkt sind. Zusätzlich könnten, während beschrieben wurde, dass die Rollbelichtung-Kameras eine einzelne Reihe gleichzeitig belichten, verschiedene Ausführungsformen mehr als eine Reihe gleichzeitig belichten. Zum Beispiel könnten zwei oder mehrere Reihen gleichzeitig belichtet werden, oder eine Teilmenge von Pixeln in einer Reihe könnte gleichzeitig belichtet werden, wobei die Teilmenge aus nur einem Pixel oder mehr als einem Pixel bestehen könnte, abhängig von verschiedenen Designs und/oder Umgebungsbedingungen.
  • Während die Offenbarung bisher einen (mehrere) Abtaster beschrieben hat, der mit einer oder mehreren Kameras verwendet wird, könnten andere Ausführungsformen das Abtaster/Kamera(s)-System mit beispielsweise anderen Geräten wie Radar, Lidar, Sonar etc., verwenden. Dementsprechend könnten verschiedene Ausführungsformen jede einen oder mehrere Transmitter aufweisen, die ein Signal projizieren, das strukturierten Sequenzen entsprechen könnte oder nicht, und ein oder mehrere Empfänger die das Signal empfangen, und ein oder mehrere Prozessoren die die empfangenen Signale verarbeiten. In einigen Fällen könnten der Transmitter und der Empfänger getrennte Geräte sein. In anderen Fällen könnten der Transmitter und der Empfänger Teil der gleichen Vorrichtung sein, wie beispielsweise eine Radarantenne, die ein Signal überträgt und eine Reflexion dieses Signals empfängt.
  • Diese verschiedenen Ausführungsformen können von jeder Plattform verwendet werden, um Notiz von ihrer umgebenen Umgebung zu nehmen. Dementsprechend könnte jedes Fahrzeug, ob unter voller Kontrolle eines lokalen oder fernen Fahrers/Betreibers, halbautonom oder vollständig autonom, jede der hierin beschriebenen Ausführungsformen verwenden. Das Fahrzeug kann beispielsweise ein Automobil-, Boot-, Flugzeug-, Raumfahrzeug-, Luft-, Land- und/oder Wasser-basierte Drohne, Roboter usw. sein und einen Roboter-Staubsauger, einen Roboter-Rasenmäher usw. enthalten.
  • Zudem könnte jede stationäre Plattform die verschiedenen Ausführungsformen verwenden. Ein Leuchtturm könnte zum Beispiel eine oder mehrere der verschiedenen Ausführungsformen verwenden, um Verkehr (möglicherweise Luftverkehr, Landverkehr und/oder Wasserverkehr) zu überwachen und zu steuern, ebenso ein Warnsignal (Licht, Elektronik, Schall, etc.) bereitstellen, um Wasserfahrzeug oder andere Arten von Fahrzeugen vor Gefahr zu warnen. Zusätzlich könnten Luftverkehrssteuersysteme und/oder Verkehrssteuerungssysteme verschiedene Ausführungsformen der Offenbarung verwenden.
  • Zusätzlich könnten verschiedene Ausführungsformen der vorliegenden Offenbarung auch für andere Zwecke verwendet werden. Beispielsweise könnten Ausführungsformen für Spiele verwendet werden, die umgebende Objekte (Spielspieler, die als Teil der Spielanzeige etc. eingefügt werden sollen) erfassen, oder durch Personen, die eine Vorrichtung tragen, die verschiedene Ausführungsformen der Offenbarung enthält. Ein Beispiel für eine vom Benutzer getragene Vorrichtung könnte beispielsweise Augmented-Reality-Headsets, Virtual-Reality-Headsets etc. sein. Verschiedene Ausführungsformen der Offenbarung könnten auch verwendet werden, um Sehbehinderte zu führen. In dieser Angelegenheit könnten nicht sehbehinderte Personen auch ein Gerät tragen, das eine Ausführungsform der Offenbarung beinhaltet, um sie vor Hindernissen, Gefahren etc. zu warnen, wenn sie nicht auf ihre Umgebung achten, während sie mobil (Gehen/Joggen/Laufen, Radfahren, Inlineskating, Reiten, Segway etc.) oder stationär sind. Dementsprechend kann man sehen, dass verschiedene Ausführungsformen der Offenbarung für alle Fahrzeugtypen, für Benutzer getragene Vorrichtungen (Headsets, Schutzbrillen usw.) und für verschiedene Vorrichtungen verwendet werden können, die Objekte erfassen und/oder einen Bereich abbilden müssen. Die Offenbarung beschränkt die verschiedenen Ausführungsformen nicht auf irgendeine spezielle Verwendung.
  • Daher kann man sehen, dass verschiedene Ausführungsformen der Offenbarung in vielen Anwendungen verwendet werden können, um den umgebenden Bereich zu erfassen, die erfassten Signale zu analysieren und wie benötigt Antworten zu erzeugen. Die Antwort könnte beispielsweise sein, Ausweichmanöver zu machen, andere Plattformen/Geräte/Personen zu benachrichtigen, was erfasst/analysiert/geantwortet wurde, sowie von anderen ähnlichen Informationen zu empfangen. Somit kann der effektive Bereich, der für das Erfassen/Analysieren/Antworten-Schema abgedeckt ist, stark gegenüber dem, was durch eine einzige Plattform erreicht werden kann, erhöht werden, indem Informationen mit mindestens einer anderen Plattform geteilt wird. Die verschiedenen Informationen können direkt oder über Drittanbieter-Plattformen oder das Internet/Cloud geteilt werden. Dementsprechend könnten verschiedene Objekte (mobil und stationär), ein Zustand der Straßen, ein Verkehr auf den Straßen, in der Luft und/oder das Wasser im Laufe der Zeit verfolgt werden, und korrekte Antworten können nach Bedarf gemacht werden.
  • Eine Ausführungsform der Offenbarung könnte ein System zum Erfassen eines Objekts sein, das eine im wesentlichen kollimierte Abtastlichtquelle aufweist, die konfiguriert ist, Quelllicht auszugeben. Eine erste Kamera könnte konfiguriert sein, das erste reflektierte Licht zu empfangen, wobei das erste reflektierte Licht das von dem Objekt zu der ersten Kamera reflektierte Quelllicht ist. Eine zweite Kamera könnte konfiguriert sein, das zweite reflektierte Licht zu empfangen, wobei das zweite reflektierte Licht das von dem Objekt zu der zweiten Kamera reflektierte Quelllicht ist und die zweite Kamera ist von der ersten Kamera räumlich getrennt. Ein oder mehrere Prozessoren können so konfiguriert sein, dass sie die kollimierte Abtastlichtquelle, die erste Kamera und die zweite Kamera steuern und das erste reflektierte Licht und das zweite reflektierte Licht verarbeiten, um das Objekt zu erfassen. Die erste Kamera, die zweite Kamera und die kollimierte Abtastlichtquelle könnten konfiguriert sein, sich auf einer Epipolarebene zu befinden.
  • Die kollimierte Abtastlichtquelle könnte konfiguriert sein, ihren horizontalen Sweep-Bereich und/oder vertikalen Sweep-Bereich zu verändern. Die erste Kamera und/oder die zweite Kamera könnten in der Lage sein horizontal und/oder vertikal zu schwenken. Die kollimierte Abtastlichtquelle könnte konfiguriert sein, eine Intensität des Quelllichts zu verändern. Die kollimierte Abtastlichtquelle könnte das Quelllicht als Rasterausgabe ausgeben.
  • Eine andere Ausführungsform der Offenbarung könnte ein Verfahren zum Erfassen eines Objekts sein, das aufweist, Ausgeben von Quelllicht durch eine im Wesentlichen kollimierte Abtastlichtquelle, Empfangen von erstem reflektierten Licht durch eine erste Kamera, wobei das erste reflektierte Licht von dem Objekt zu der ersten Kamera reflektiertes Quelllicht ist, und Empfangen eines zweiten reflektierten Lichts durch eine zweite Kamera, wobei das zweite reflektierte Licht das von dem Objekt zu der zweiten Kamera reflektierte Quelllicht ist, und die zweite Kamera ist von der ersten Kamera räumlich getrennt. Wenigstens ein Prozessor könnte die kollimierte Abtastlichtquelle, die erste Kamera und die zweite Kamera steuern und eines oder beides von dem ersten reflektierten Licht und dem zweiten reflektierten Licht verarbeiten, um das Objekt zu erfassen. Die erste Kamera, die zweite Kamera und die kollimierte Abtastlichtquelle sind auf einer Epipolarebene. Der Sweep-Bereich der kollimierten Abtastlichtquelle könnte horizontal und/oder vertikal variiert werden, und eine Intensität des Quelllichts der kollimierten Abtastlichtquelle könnte auch variiert werden.
  • Die erste Kamera und die zweite Kamera könnten das erste reflektierte Licht beziehungsweise das zweite reflektierte Licht durch einen Rolling-Shutter-Kamera-Prozess empfangen. Wenigstens ein Prozessor könnte gleichzeitig eine Reihe von Pixeln oder gleichzeitig einen Teil einer Reihe von Pixel (einschließlich eines einzelnen Pixels) von der ersten Kamera und/oder der zweiten Kamera verarbeiten. Wenn die Pixel pixelweise verarbeitet werden, könnte jeder Pixel zeitcodiert sein. Das Objekt könnte durch Verwenden eines Dreiecks trianguliert werden, wobei die Eckpunkte das Objekt, die erste Kamera und die zweite Kammer sind.
  • Eine andere Ausführungsform der Offenbarung könnte ein System zum Erfassen eines Objekts sein, das aufweist, eine im Wesentlichen kollimierte Abtastlichtquelle, die konfiguriert ist Quelllicht auszugeben, wobei das Quelllicht drei diskrete Lichter in rot, grün und blau aufweist. Eine erste Kamera könnte konfiguriert sein, ein erstes reflektiertes Licht mit einem Rolling-Shutter-Kamera-Prozess zu empfangen, wobei das erste reflektierte Licht das von dem Objekt zu der ersten Kamera reflektierte Quelllicht ist. Eine zweite Kamera konfiguriert, mit dem Rolling-Shutter-Kamera-Prozess ein zweites reflektiertes Licht zu empfangen, wobei das zweite reflektierte Licht von dem Objekt zu der zweiten Kamera reflektiertes Quelllicht ist, und die zweite Kamera ist von der ersten Kamera räumlich getrennt. Wenigstens ein Prozessor könnte konfiguriert sein, die kollimierte Abtastlichtquelle, die erste Kamera und die zweite Kamera zu steuern und das erste reflektierte Licht und das zweite reflektierte Licht zu verarbeiten, um das Objekt zu erfassen.
  • Die erste Kamera, die zweite Kamera und kollimierte Abtastlichtquelle könnten auf einer Epipolarebene sein. Die erste Kamera und/oder die zweite Kamera könnten das erste reflektierte Licht beziehungsweise das zweite reflektierte Licht durch einen Rolling-Shutter-Kamera-Prozess empfangen. Wenigstens ein Prozessor könnte konfiguriert sein, eine Reihe von Pixel oder einen Teil einer Reihe von Pixel (einschließlich eines Pixels) gleichzeitig von einer jeweiligen oder beiden der ersten Kamera und der zweiten Kamera zu verarbeiten. Wenn ein Pixel nach dem anderen verarbeitet wird, könnte jeder Pixel zeitcodiert sein. Wenigstens ein Prozessor könnte das Objekt, durch Verwenden des Objekts, der ersten Kamera und der zweiten Kamera als Eckpunkte eines Dreiecks, triangulieren.
  • Die erste Kamera und/oder die zweite Kamera könnten konfiguriert sein, dass sie das erste reflektierte Licht beziehungsweise das zweite reflektierte Licht durch einen Rolling-Shutter-Kamera-Prozess empfangen. Mindestens ein Prozessor könnte konfiguriert sein, gleichzeitig eine Reihe von Pixeln oder gleichzeitig einen Teil einer Reihe von Pixeln (einschließlich eines einzelnen Pixels) von der ersten Kamera und/oder der zweiten Kamera zu verarbeiten. Wenn das Verarbeiten für ein Pixel nach dem anderen erfolgt, könnte jeder Pixel zeitcodiert sein.
  • Das Objekt könnte durch Verwenden eines Dreiecks trianguliert werden, wobei die Eckpunkte das Objekt, die erste Kamera und die zweite Kamera sind.
  • Verschiedene Teile der verschiedenen Ausführungsformen der Offenbarung könnten als Computerprogramme geschrieben werden und könnten mit Prozessoren implementiert werden, die die Programme unter Verwendung eines nicht-transitorischen computerlesbaren Aufzeichnungsmediums ausführen.
  • Nicht-flüchtiges computerlesbares Aufzeichnungsmedium könnte beispielsweise magnetische Speichermedien (z. B. ROM, Disketten, Festplatten etc.), optische Aufzeichnungsmedien (z. B. CD-ROMs oder DVDs), FLASH-Laufwerke, etc., enthalten.
  • Während verschiedene Ausführungsformen der Offenbarung unter Bezugnahme auf die Figuren beschrieben worden sind, wird es für den Fachmann verständlich sein, dass verschiedene Änderungen in der Form und in den Details gemacht werden können, ohne von dem Grundgedanken und dem Umfang der Offenlegung gemäß den folgenden Ansprüchen abzuweichen. Dementsprechend sind die obigen Ausführungsformen und alle Aspekte davon nur Beispiele und sind nicht beschränkend.

Claims (23)

  1. System zum Erfassen eines Objekts (130), das aufweist: eine im Wesentlichen kollimierte Abtastlichtquelle (120, 234, 300), die konfiguriert ist, ein Quelllicht auszugeben; eine erste Kamera (110), die konfiguriert ist, ein erstes reflektiertes Licht zu empfangen, wobei das erste reflektierte Licht, das von dem Objekt (130) zu der ersten Kamera reflektierte Quelllicht ist; eine zweite Kamera (112), die konfiguriert ist, ein zweites reflektiertes Licht zu empfangen, wobei das zweite reflektierte Licht, das von dem Objekt (130) zu der zweiten Kamera (112) reflektierte Quelllicht ist, und wobei die zweite Kamera (112) von der ersten Kamera räumlich getrennt ist; und ein oder mehrere Prozessoren (210), die konfiguriert sind: die Abtastlichtquelle (120, 234, 300), die erste Kamera (110) und die zweite Kamera (112) zu steuern; und das erste reflektierte Licht und das zweite reflektierte Licht zu verarbeiten, um das Objekt (130) zu erfassen.
  2. System nach Anspruch 1, wobei die erste Kamera (110), die zweite Kamera (112) und die Abtastlichtquelle (120, 234, 300) auf einer Epipolarebene sind.
  3. System nach Anspruch 1, wobei die Abtastlichtquelle (120, 234, 300) konfiguriert ist, ihren Sweep-Bereich horizontal und/oder vertikal zu verändern.
  4. System nach Anspruch 1, wobei eine oder beide von der ersten Kamera und der zweiten Kamera (112) horizontal und/oder vertikal schwenken kann.
  5. System nach Anspruch 1, wobei die Abtastlichtquelle (120, 234, 300) konfiguriert ist, eine Intensität des Quelllichts zu verändern.
  6. System nach Anspruch 1, wobei eine oder beide von der ersten Kamera (110) und der zweiten Kamera (112) konfiguriert sind, durch einen Rolling-Shutter-Kamera-Prozess, das erste reflektierte Licht beziehungsweise das zweite reflektierte Licht zu empfangen.
  7. System nach Anspruch 6, wobei wenigstens einer der einen oder mehreren Prozessoren (210) konfiguriert ist, eine Reihe von Pixel gleichzeitig zu verarbeiten.
  8. System nach Anspruch 6, wobei wenigstens einer der einen oder mehreren Prozessoren (210) konfiguriert ist, einen Teil einer Reihe von Pixel gleichzeitig zu verarbeiten.
  9. System nach Anspruch 6, wobei wenigstens einer der einen oder mehreren Prozessoren (210) konfiguriert ist, immer ein Pixel zur Zeit von den Pixeln, die von einem oder beidem von dem ersten reflektierten Licht und dem zweiten reflektierten Licht erzeugt wurden, zu verarbeiten.
  10. System nach Anspruch 9, wobei jeder der Pixel, die von einem oder beidem von dem ersten reflektierten Licht und dem zweiten reflektierten Licht erzeugt wurden, zeitcodiert ist
  11. System nach Anspruch 1, wobei der Prozessor (210) konfiguriert ist, eine Triangulation des Objekts (130) durchzuführen, wobei das Objekt (130), die erste Kamera (110) und die zweite Kamera (112) als Endpunkte eines Dreiecks verwendet werden.
  12. System nach Anspruch 1, wobei die Abtastlichtquelle (120, 234, 300) konfiguriert ist, das Quelllicht als eine Rasterausgabe auszugeben.
  13. Verfahren zum Erfassen eines Objekts (130), das aufweist: Ausgeben von Quelllicht durch eine im Wesentlichen kollimierte Abtastlichtquelle (120, 234, 300); Empfangen eines ersten reflektierten Lichts durch eine erste Kamera (110), wobei das erste reflektierte Licht das von dem Objekt (130) zu der ersten Kamera (110) reflektierte Quelllicht ist; Empfangen eines zweiten reflektierten Lichts durch eine zweite Kamera (112), wobei das zweite reflektierte Licht das von dem Objekt (130) zu der zweiten Kamera (112) reflektierte Quelllicht ist, und wobei die zweite Kamera (112) von der ersten Kamera (110) räumlich getrennt ist; Steuern, durch einen oder mehrere Prozessoren (210), der Abtastlichtquelle (120, 234, 300), der ersten Kamera (110) und der zweiten Kamera (112); und Verarbeiten von einem oder beidem von dem ersten reflektierten Licht und dem zweiten reflektierten Licht zum Erfassen des Objekts (130).
  14. Verfahren nach Anspruch 13, wobei die erste Kamera (110), die zweite Kamera (112) und die Abtastlichtquelle (120, 234, 300) auf einer Epipolarebene sind.
  15. Verfahren nach Anspruch 13, das aufweist, Verändern von einem oder beidem von horizontalem und vertikalem Sweep-Bereich der Abtastlichtquelle (120, 234, 300).
  16. Verfahren nach Anspruch 13, das aufweist, Verändern einer Intensität des Quelllichts der Abtastlichtquelle (120, 234, 300).
  17. Verfahren nach Anspruch 13, wobei eine oder beide von der ersten Kamera (110) und der zweiten Kamera (112), durch einen Rolling-Shutter-Kamera-Prozess, das erste reflektierte Licht beziehungsweise zweite reflektierte Licht empfangen.
  18. Verfahren nach Anspruch 17, das aufweist, gleichzeitiges Verarbeiten, durch wenigstens einen der einen oder mehreren Prozessoren (210), einer Reihe von Pixeln von einer jeweiligen oder beiden der ersten Kamera (110) und der zweiten Kamera (112).
  19. Verfahren nach Anspruch 17, das aufweist, gleichzeitiges Verarbeiten, durch wenigstens einen der einen oder mehrere Prozessoren (210), eines Teils einer Reihe von Pixeln von einer jeweiligen oder beiden der ersten Kamera (110) und der zweiten Kamera (112).
  20. Verfahren nach Anspruch 19, das aufweist, Zeitcodieren des Einzelpixels, wenn der Teil einer Reihe von Pixel ein Einzelpixel ist.
  21. Verfahren nach Anspruch 13, das aufweist, Triangulation des Objekts (130), wobei das Objekt (130), die erste Kamera (110) und die zweite Kamera (112) als Eckpunkte eines Dreiecks verwendet werden.
  22. System zum Erfassen eines Objektes (130), das aufweist: eine Abtastlichtquelle (120, 234, 300), die konfiguriert ist, ein Quelllicht auszugeben, wobei die Abtastlichtquelle (120, 234, 300) wenigstens zwei diskrete Lichter, die im Wesentlichen kollimiert sind, aufweist; eine erste Kamera (110), die konfiguriert ist, ein erstes reflektiertes Licht mit einem Rolling-Shutter-Kamera-Prozess zu empfangen, wobei das erste reflektierte Licht das von dem Objekt (130) zu der ersten Kamera (110) reflektierte Quelllicht ist; eine zweite Kamera (112), die konfiguriert ist, ein zweites reflektiertes Licht mit dem Rolling-Shutter-Kamera-Prozess zu empfangen, wobei das zweite reflektierte Licht das von dem Objekt (130) zu der zweiten Kamera (112) reflektierte Quelllicht ist, und wobei die zweite Kamera (112) von der ersten Kamera (110) räumlich getrennt ist; und einen oder mehrere Prozessoren (210), die konfiguriert sind: die Abtastlichtquelle (120, 234, 300), die erste Kamera (110) und die zweite Kamera (112) zu steuern; und das erste reflektierte Licht und das zweite reflektierte Licht, in einer Reihe von Pixeln gleichzeitig zu verarbeiten, um das Objekt (130) zu erfassen.
  23. System nach Anspruch 22, wobei der wenigstens eine von dem einen oder mehreren Prozessoren (210) konfiguriert ist, dass Objekt (130) zu triangulieren, wobei als Eckpunkte eines Dreiecks das Objekt und zwei von: der Abtastlichtquelle (120), der ersten Kamera (110) und der zweiten Kamera (112), verwendet werden.
DE102017117212.2A 2016-08-02 2017-07-31 System und Verfahren zur Stereotriangulation Pending DE102017117212A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662369879P 2016-08-02 2016-08-02
US62/369,879 2016-08-02
US15/658,952 US10884127B2 (en) 2016-08-02 2017-07-25 System and method for stereo triangulation
US15/658,952 2017-07-25

Publications (2)

Publication Number Publication Date
DE102017117212A1 DE102017117212A1 (de) 2018-02-08
DE102017117212A9 true DE102017117212A9 (de) 2018-04-05

Family

ID=60996369

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017117212.2A Pending DE102017117212A1 (de) 2016-08-02 2017-07-31 System und Verfahren zur Stereotriangulation

Country Status (1)

Country Link
DE (1) DE102017117212A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022113387A1 (de) 2022-05-27 2023-11-30 Robert Bosch Gesellschaft mit beschränkter Haftung Lidar-Sensor, Umfelderfassungssystem und Fahrzeug

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019206231A1 (de) * 2019-04-30 2020-11-05 Zf Friedrichshafen Ag Kamerabasierte Positionsbestimmung für ein Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer epipolaren Bildlinie

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022113387A1 (de) 2022-05-27 2023-11-30 Robert Bosch Gesellschaft mit beschränkter Haftung Lidar-Sensor, Umfelderfassungssystem und Fahrzeug

Also Published As

Publication number Publication date
DE102017117212A1 (de) 2018-02-08

Similar Documents

Publication Publication Date Title
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102012112321B4 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102013017500B3 (de) Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Szene
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102018121018A1 (de) Erweitern von realen sensoraufnahmen mit simuliertem sensordatenhintergrund
EP3396409B1 (de) Verfahren zur kalibrierung einer kamera und eines laserscanners
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
DE202012104890U1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102014208271A1 (de) Verfahren und Vorrichtung zur bildbasierten Sichtweitenschätzung
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
DE102007040176A1 (de) Objekterfassungsvorrichtung sowie Verfahren zum Identifizieren eines Objektes innerhalb eines Bereichs
DE102020129096A1 (de) Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug
DE112016006213T5 (de) System und Verfahren zum Fusionieren von Ausgängen von Sensoren, die unterschiedliche Auflösungen aufweisen
EP1460454B1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102005055879A1 (de) Flugverkehr-Leiteinrichtung
DE102017117212A9 (de) System und Verfahren zur Stereotriangulation
DE102010020537A1 (de) Wasserdetektor
DE102014208272A1 (de) Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
DE102014116904B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Szene und zur automatischen Erzeugung einesVideos

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication