DE102018116108B4 - Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens - Google Patents

Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens Download PDF

Info

Publication number
DE102018116108B4
DE102018116108B4 DE102018116108.5A DE102018116108A DE102018116108B4 DE 102018116108 B4 DE102018116108 B4 DE 102018116108B4 DE 102018116108 A DE102018116108 A DE 102018116108A DE 102018116108 B4 DE102018116108 B4 DE 102018116108B4
Authority
DE
Germany
Prior art keywords
vehicle
data
lidar
image
abnormal condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018116108.5A
Other languages
English (en)
Other versions
DE102018116108A1 (de
Inventor
Wei Mou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102018116108A1 publication Critical patent/DE102018116108A1/de
Application granted granted Critical
Publication of DE102018116108B4 publication Critical patent/DE102018116108B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zur Steuerung eines Fahrzeugs (10, 400), das Verfahren umfassend:das Erkennen eines stationären Zustands des Fahrzeugs (10, 400) über ein Steuermodul (34, 500) an Bord des Fahrzeugs (10, 400), basierend zumindest teilweise auf dem Ausgang eines Sensorsystems (28) an Bord des Fahrzeugs (10, 400);als Reaktion auf den stationären Zustand:Erhalten, über das Steuermodul (34, 500), eines ersten Bildes von einer Bildgebungsvorrichtung (40, 402, 502) an Bord des Fahrzeugs (10, 400) während des stationären Zustands; undErhalten, über das Steuermodul (34, 500), eines ersten Satzes von Entfernungsmessdaten, die einem Sichtfeld der Bildgebungsvorrichtung (40, 402, 502) entsprechen, von einer Entfernungsmessvorrichtung (40, 504) an Bord des Fahrzeugs (10, 400) während des stationären Zustands;Korrelieren erster Randbereiche aus dem ersten Bild mit zweiten Randbereichen des ersten Satzes von Messdaten über das Steuermodul (34, 500);Erfassen eines anomalen Zustands basierend auf einer Beziehung zwischen dem korrelierten ersten und zweiten Randbereich in Bezug auf eine Referenzbeziehung, die mit einem oder mehreren Transformationsparameterwerten verknüpft ist; undals Reaktion auf den anomalen Zustand, Einleiten einer oder mehrerer Abhilfemaßnahmen in Bezug auf den anomalen Zustand.

Description

  • Querverweis auf zugehörige Anmeldungen
  • Der hierin beschriebene Gegenstand bezieht sich auf den Gegenstand, der in der U.S.-Patentanmeldung US 2019 / 0 011 927 A1 beschrieben ist und gleichzeitig hiermit eingereicht wurde.
  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Kraftfahrzeuge und insbesondere auf ein Verfahren zur autonomen Steuerung von Onboard-Komponenten unter Verwendung von kalibrierten Beziehungen zwischen unterschiedlichen Arten von Daten, die für die Betriebsumgebung repräsentativ sind. Außerdem betrifft die Erfindung ein Fahrzeug mit einer Steuerung zur Ausführung des Verfahrens.
  • Aus der DE 10 2016 009 327 A1 ist beispielswiese ein Verfahren zur Kalibrierung einer Kamera bekannt, wobei es vorgesehen ist, mit einem Lidarsensor ein Muster zu projizieren und für dieses Entfernungswerte zu ermitteln sowie dieses von der Kamera erfassen zu lassen. Anhand der Entfernungswerte kann dann die Kamera kalibriert werden.
  • Ferner geht aus der DE 10 2016 117 710 B4 ist ein Verfahren hervor, bei dem ein Sichtsystem, bspw. eine Kamera, mittels eines Radarsystems kalibriert wird, wobei im Radarsystem erfasste Punkte eines Zielobjekts mittels einer Abbildungsfunktion im Koordinatensystem des Sichtsystems erfasst und so kalibriert werden. Dabei wird auf Punkte einer Punktwolke innerhalb eines das Zielobjekt umfassenden Interessenbereichs abgezielt.
  • HINTERGRUND
  • Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar-, Lidar-, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
  • Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
  • Zur Erzielung einer hochrangigen Automatisierung werden Fahrzeuge oft mit einer zunehmenden Anzahl an unterschiedlichen Arten von Vorrichtungen zur Analyse der Umgebung um das Fahrzeug, wie beispielsweise Kameras oder andere bildgebende Vorrichtungen zum Erfassen von Bildern in der Umgebung, Radar oder anderen Entfernungsmessgeräten zum Vermessen oder Erkennen von Eigenschaften in der Umgebung und dergleichen. In der Praxis befinden sich die verschiedenen bordeigenen Geräte an verschiedenen Stellen an Bord des Fahrzeugs und laufen typischerweise mit unterschiedlichen Abtast- oder Auffrischraten, was dazu führt, dass unterschiedliche Datentypen zu unterschiedlichen Zeitpunkten aus anderen Gesichtspunkten oder Perspektiven erfasst werden. Dementsprechend ist es wünschenswert, Systeme und Verfahren zur Kalibrierung von Beziehungen zwischen verschiedenen Vorrichtungen bereitzustellen, um die Fähigkeit zu verbessern, Korrelationen zwischen verschiedenen Datentypen akkurat zu ermitteln, was wiederum die Gewinnung genauerer Informationen über die Umgebung aus den Daten und/oder die Zuordnung von Attributen zu Objekten oder Merkmalen innerhalb der Umgebung erleichtert und somit die autonome Fahrzeugsteuerung verbessert. Darüber hinaus ist es wünschenswert, auch potenzielle Kalibrierungsanomalitäten zu erkennen, welche die Kalibrierung beeinflussen können und die entsprechenden Abhilfemaßnahme(n) zu ergreifen, um eine potenzielle Beeinträchtigung der Kalibrierung zu mitigieren. Weitere wünschenswerte Funktionen und Merkmale werden aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen sowie dem vorab erklärten technischen Gebiet und Hintergrund offensichtlich.
  • KURZDARSTELLUNG
  • Es wird ein Verfahren zum Steuern eines Fahrzeugs vorgestellt. Das Verfahren umfasst: das Erfassen eines stationären Zustands des Fahrzeugs basierend auf der Ausgabe eines Sensorsystems an Bord des Fahrzeugs, als Reaktion auf den stationären Zustand, Erhalten eines ersten Bildes von einer Bildgebungsvorrichtung an Bord des Fahrzeugs und eines ersten Satzes von Entfernungsmessdaten, die einem Sichtfeld der Bildgebungsvorrichtung von einer Entfernungsvorrichtung an Bord des Fahrzeugs während des stationären Zustands entsprechen, Korrelieren erster Randbereiche aus dem ersten Bild mit zweiten Randbereichen des ersten Satzes von Entfernungsmessdaten, Erfassen einer anomalen Bedingung basierend auf einer Beziehung zwischen den korrelierten ersten und zweiten Randbereichen in Bezug auf eine Referenzbeziehung, die mit einem oder mehreren Transformationsparameterwerten verknüpft ist, und Einleiten einer oder mehrerer Abhilfemaßnahmen in Bezug auf den anomalen Zustand.
  • In einer weiteren Ausführungsform ist ein autonomes Fahrzeug vorgesehen, das Folgendes beinhaltet: eine erste Vorrichtung an Bord des Fahrzeugs, die erste Daten liefert, eine zweite Vorrichtung an Bord des Fahrzeugs, die zweite Daten liefert, ein Datenspeicherelement an Bord des Fahrzeugs, das einen oder mehrere Transformationsparameterwerte beibehält, die einer Paarung der ersten Vorrichtung und der zweiten Vorrichtung zugeordnet sind, einen oder mehrere Sensoren an Bord des Fahrzeugs und eine Steuerung, die durch einen Prozessor einen stationären Zustand basierend auf der Ausgabe des einen oder der mehreren Sensoren erfasst, einen ersten Satz der ersten Daten von der ersten Vorrichtung während des stationären Zustands erhält, horizontale Randbereiche aus dem ersten Satz filtert, was zu einem gefilterten Satz der ersten Daten führt, einen zweiten Satz der zweiten Daten während des stationären Zustands erhält und den einen oder die mehreren Transformationsparameterwerte basierend auf einer Beziehung zwischen dem gefilterten Satz der ersten Daten und dem zweiten Satz der zweiten Daten validiert.
  • In einer weiteren Ausführungsform beinhaltet ein Verfahren zum Steuern eines Fahrzeugs: Erfassen eines stationären Zustands des Fahrzeugs basierend auf der Ausgabe eines Sensorsystems an Bord des Fahrzeugs, als Reaktion auf den stationären Zustand, Erhalten eines Bildes von einer Bildgebungsvorrichtung an Bord des Fahrzeugs und eines Satzes von Entfernungsmessdaten entsprechend einem Sichtfeld der Bildgebungsvorrichtung an Bord des Fahrzeugs während des stationären Zustands, Filtern horizontaler Kanten aus dem Bild, Identifizieren nicht-horizontaler Kantenbereiche in dem Satz von Entfernungsmessdaten und Bestimmen einer minimalen Transformationskosten basierend auf einer Beziehung zwischen nicht-horizontalen Kantenbereichen des gefilterten Bildes und den nicht-horizontalen Kantenbereichen in dem Satz von Entfernungsmessdaten. Wenn die minimalen Transformationskosten höher sind als die Referenztransformationskosten, die einem oder mehreren kalibrierten Transformationsparameterwerten für die Transformation zwischen einem Referenzrahmen, welcher der Bildgebungsvorrichtung zugeordnet ist, und einem Referenzrahmen, welcher der Messvorrichtung zugeordnet ist, wird das Verfahren fortgesetzt, indem bestimmt wird, ob ein anomaler Zustand in Bezug auf eine der Bildgebungsvorrichtungen und die Entfernungsmessvorrichtung basierend auf der Beziehung zwischen den nicht-horizontalen Randbereichen des gefilterten Bildes und den zweiten nicht-horizontalen Randbereichen in der Menge der Entfernungsmessdaten vorliegt, und als Reaktion auf einen anomalen Zustand eine Korrekturmaßnahme in Bezug auf die eine der Bildgebungsvorrichtungen und die Entfernungsmessvorrichtung eingeleitet wird.
  • BESCHREIBUNG DER ZEICHNUNGEN
  • Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei gilt:
    • 1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug gemäß verschiedenen Ausführungsformen veranschaulicht;
    • 2 zeigt ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
    • 3 ist ein schematisches Blockdiagramm eines automatisierten Antriebssystems (ADS), das sich in Übereinstimmung mit mehreren Ausführungsformen zur Implementierung durch das Fahrzeug in 1 eignet;
    • 4 ist eine Darstellung eine Anordnung einer Vielzahl von Bildgebungsvorrichtungen und einer Vielzahl von Entfernungsmessern an Bord eines Fahrzeugs, wie z. B. das autonome Fahrzeug in 1 in Übereinstimmung mit verschiedenen Ausführungsformen;
    • 5 ist ein Blockschaltbild eines Prozessmoduls zur Implementierung an Bord des Fahrzeugs in 1 oder 4 in Übereinstimmung mit einer oder mehreren exemplarischen Ausführungsformen;
    • 6 ist ein Flussdiagramm, das einen Datenerhebungsprozess zur Gewinnung von Datensätzen für die anschließende Kalibrierung oder Verifizierung gemäß einer oder mehrerer exemplarischer Ausführungsformen veranschaulicht;
    • 7 verdeutlicht ein exemplarisches Bild einer Umgebung, die für ein aufgenommenes Sichtfeld einer im Fahrzeug befindlichen Kamera repräsentativ ist;
    • 8 verdeutlicht eine exemplarisch gefilterte Version des Bildes von 7, welche die Filterung von horizontalen Kanten und das Beibehalten von nichthorizontalen Kanten von Bilddaten, die für die Verwendung in Verbindung mit dem Datenerhebungsprozess von 6 geeignet sind;
    • 9 verdeutlicht eine exemplarische Darstellung von unkalibrierten Entfernungsmessdaten in Bezug auf ein darunter liegendes Bild eines aufgenommenen Sichtfeldes einer im Fahrzeug befindlichen Kamera, das zur Korrelation in Verbindung mit dem Datenerhebungsprozess von 6 geeignet ist;
    • 10 ist ein Flussdiagramm, das einen Kalibrierungsprozess zur Kalibrierung eines Gerätepaares unter Verwendung von Datensätzen veranschaulicht, die gemäß dem Datenerhebungsprozess von 6 gemäß einer oder mehreren exemplarischen Ausführungsformen erhoben wurden;
    • 11 verdeutlicht ein exemplarisches Bild einer Umgebung, die für ein aufgenommenes Sichtfeld einer im Fahrzeug befindlichen Kamera und darüberliegende Entfernungsmessdaten einer mit der Kamera gemäß dem Kalibrierungsprozess von 10, das gemäß einer oder mehrerer exemplarischer Ausführungsformen kalibrierten Entfernungsmessvorrichtung repräsentativ ist; und
    • 12 ist ein Flussdiagramm, das einen Kalibrierverifizierungsprozess zur Validierung einer bestehenden Kalibrierung eines Gerätepaares und zum Erkennen von anomalen Bedingungen in Bezug auf eine oder mehrere der Vorrichtungen gemäß einer oder mehrerer exemplarischer Ausführungsformen veranschaulicht.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung dient lediglich als Beispiel. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
  • Ausführungen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
  • Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Bildgebung, Entfernungsmessung, Synchronisation, Kalibrierung, den Steuergeräten und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
  • In einer oder mehreren der hier beschriebenen exemplarischen Ausführungsformen beinhaltet ein Fahrzeug, das zu einem bestimmten Niveau von autonomem Betrieb fähig ist, eine Reihe von unterschiedlichen Vorrichtungen, die Bilder erfassen oder anderweitig Daten erzeugen, die eine Szene oder eine Umgebung in der Nähe des Fahrzeugs aus unterschiedlichen Perspektiven und mit unterschiedlichen Abtast- oder Auffrischraten zeigen. Bilddaten aus einer Bildgebungsvorrichtung an Bord des Fahrzeugs können mit Entfernungsmessdaten von einer Entfernungsmessvorrichtung an Bord des Fahrzeugs korreliert werden, basierend auf dem Verhältnis zwischen der Sichtlinie und/oder dem Sichtfeld der Bildgebungsvorrichtung und den Zeitinstanzen, bei denen die Entfernungsmessvorrichtung das mit der Bildgebungsvorrichtung verbundene Sichtfeld erfasst oder abtastet. In exemplarischen Ausführungsformen wird die Beziehung zwischen einer bestimmten Bildgebungsvorrichtung und einer bestimmten Entfernungsmessvorrichtung kalibriert, um Konversions-Parameterwerte zu erhalten, die zum Umwandeln der Entfernungsmessdaten von der Entfernungsmessvorrichtung in ein Bild, das von der Bildgebungsvorrichtung aufgenommen wurde, verwendet werden können und umgekehrt. So können z. B. Koordinatenstellen oder -positionen unter Verwendung der Entfernungsmessdaten und der Konvertierungs-Parameterwerte bestimmten Teilen des Bildes zugewiesen werden, um Koordinaten oder Punkte innerhalb des Referenzrahmens der Entfernungsmessdaten in den Referenzrahmen der Bilddaten übersetzt werden. Auf diese Weise können relative Tiefen oder andere dimensionale oder physikalische Merkmale Bereichen innerhalb des Bildes zugeordnet werden, welche daraufhin verwendet werden können, um bestimmte Objekttypen innerhalb des Bildes zu erfassen bzw. zu erkennen, um Abstände zwischen den Objekten und dem Fahrzeug zu ermitteln und um Befehle zur Lenkung oder zum anderweitigen Betrieb des Fahrzeugs auf eine Weise zu ermitteln, die vom Typ und der relativen Position der Objekte in der Umgebung des Fahrzeugs beeinflusst werden. Zur Erläuterung kann der Gegenstand hierin hauptsächlich im Kontext der Bildgebungsvorrichtungen beschrieben werden, die als Kameras und die Entfernungsmessvorrichtungen als Lichterkennungs- und Entfernungsmess-(Lidar)-Vorrichtungen verwendet werden. Dessen ungeachtet sollte beachtet werden, dass der hierin beschriebene Gegenstand nicht unbedingt auf die Verwendung mit optischen Kameras und Lidars beschränkt ist, und alternative Ausführungsformen können andere Arten von Kameras oder Bildgebungsvorrichtungen, Radar oder andere Arten von Entfernungsmessvorrichtungen oder Sensoranordnungen (z. B. Sonar, Lichtmustersensoren, Parallaxenalgorithmen usw.) oder eine beliebige Anzahl an Kombinationen von Bildgebungsvorrichtungen und Entfernungsmessvorrichtungen verwenden.
  • Wie im Folgenden vor allem im Zusammenhang mit den 4-11 näher beschrieben, wird eine Kamera in einer exemplarischen Ausführungsform mit einem Lidar kalibriert, indem die von den einzelnen Vorrichtungen während eines Zeitraums, in dem das Fahrzeug steht, erzeugten oder anderweitig ausgegebenen Daten ermittelt oder ausgewählt werden. Diesbezüglich kann ein stationärer Zustand des Fahrzeugs erkannt oder anderweitig identifiziert werden, bevor die Kalibrierungsdatenerfassung durchgeführt wird. Ein Bild, das von der Kamera im Stillstand des Fahrzeugs aufgenommen wird, und ein Satz von Entfernungsmessdaten, die vom Lidar im Stillstand des Fahrzeugs ausgegeben werden, werden ebenfalls erfasst, wobei der Satz von Entfernungsmessdaten dem Sichtfeld der Kamera entspricht. In einer oder mehreren exemplarischen Ausführungsformen, wobei die Kamera im stationären Zustand mehrere Bilder aufnimmt, wird für die Kalibrierung das Bild verwendet, das dem Zeitpunkt am nächsten kommt, zu dem der Lidar das Sichtfeld der Kamera abtastet.
  • Sobald ein Bild und entsprechende Entfernungsmessdaten erhalten wurden, werden die Bilddaten verarbeitet oder anderweitig analysiert, um horizontale Ränder innerhalb des Bildes zu erkennen oder anderweitig zu identifizieren. So können beispielsweise eine oder mehrere Bildverarbeitungstechniken an den Bilddaten durchgeführt werden, um Kanten innerhalb des Bildes zu identifizieren, die so gefiltert werden, dass im Wesentlichen horizontale Kanten, die sich als Diskontinuitäten oder Veränderungen der Bildeigenschaften beim vertikalen Bewegen entlang einer vertikalen Abtastlinie oder Pixelspalte von einer Pixelreihe zur anderen zeigen, im Allgemeinen ausgeschlossen oder anderweitig aus der weiteren Betrachtung entfernt werden. In einer exemplarischen Ausführungsform wird eine Gaußsche Glättung der Bilddaten durchgeführt, um das Rauschen zu reduzieren, und anschließend wird ein Sobel-Kernel verwendet, um die Größe der Differenz oder Diskontinuität zwischen den Pixeln in Bezug auf die Bildintensität zu quantifizieren. Diesbezüglich ist der Sobel-Kernel konfiguriert, um Intensitätsänderungen entlang von Pixelreihen zu quantifizieren oder zu erfassen sowie Intensitätsänderungen in diagonalen Richtungen (wenn auch mit einer reduzierten Gewichtung) zu quantifizieren oder zu erfassen, während Intensitätsänderungen entlang von Pixelspalten im Wesentlichen herausgefiltert werden. Diesbezüglich filtert die Sobel-Kernelfunktion horizontale Kanten (z. B. Diskontinuitäten entlang einer vertikalen Abtastlinie oder Pixelspalte) und isoliert, betont oder identifiziert nur die Kanten innerhalb des Bildes, die im Wesentlichen vertikal oder diagonal zu einer horizontalen Bezugsebene des Bildes ausgerichtet sind (z. B. Diskontinuitäten entlang einer horizontalen Pixelreihe oder diagonal von einem Pixel zum anderen).
  • Die nichthorizontalen Randbereiche werden ausgewählt oder anderweitig zum Korrelieren mit Bereichsdaten, die diesen Randbereichen entsprechen, beibehalten. Diesbezüglich können unter Verwendung der Position der Randbereiche innerhalb des Bildes die Positionen der entsprechenden Bereiche innerhalb der Entfernungsmessdaten basierend auf der Beziehung zwischen dem Sichtfeld der Kamera und den Ausrichtungen des Lidars, wobei Entfernungsmessdaten für das Sichtfeld erhalten werden, bestimmt oder anderweitig identifiziert werden. Im Allgemeinen manifestiert sich ein nicht-horizontaler Randbereich in einem Bild als Intensitätsänderung oder eine andere Eigenschaft des Bildes bei einer horizontalen Bewegung von einem Pixel links oder rechts zu einem anderen Pixel über eine im Wesentlichen horizontale Pixelreihe oder bei einer diagonalen Bewegung von einem Pixel zu einem anderen, während sich eine nicht-horizontale Kante in den Entfernungsmessdaten als Änderungen in der Tiefe oder Entfernung bei einer horizontalen Bewegung von einem Punkt zu einem anderen Punkt über eine Reihe von Punkten innerhalb des Lidar-Punktwolkendatensatzes manifestiert.
  • Nach dem Identifizieren von Teilmengen der Entfernungsmessdaten, die den Teilmengen der Randbereiche der Bildgebungsdaten entsprechen, können die Teilmengen der nicht horizontalen Randbereiche der Bildgebungsdaten und die Teilmengen der nicht horizontalen Randbereiche der Entfernungsmessdaten gespeichert oder anderweitig beibehalten und dann zum Kalibrieren der Beziehung zwischen den von dieser Kamera aufgenommenen Bildern und den Lidarabtastungen des Sichtfeldes dieser Kamera verwendet werden. So können beispielsweise translatorische und rotatorische Konvertierungsparameterwerte zur Umwandlung von Bereichsdaten in den Bildbezugsrahmen und umgekehrt durch Lösen von Parameterwerten bestimmt werden, die eine mit der Umwandlung verbundene Kostenfunktion minimieren. Anschließend können für einen nachfolgenden Satz von Entfernungsmessdaten, die vom Lidar für das Kamerablickfeld erzeugt werden, die Konvertierungsparameterwerte verwendet werden, um die Lidarpunkte vom Lidar-Referenzrahmen zum Bildbezugsrahmen umzuwandeln. Sobald die Lidarpunkte in den Bildreferenzrahmen umgewandelt wurden, können die Lidarpunkte unter Verwendung der kamerainternen Parameter (z. B. Brennweite, Hauptpunkt, Verzerrungsparameter usw.) in Bildpunktpositionen projiziert werden, wodurch die Zuordnung von Tiefen oder anderen physikalischen oder dimensionalen Attributen zu Bildpunktpositionen (oder Bereichen oder Sätzen derselben) ermöglicht wird. Diesbezüglich kann die Objekterkennung, -klassifizierung und -analyse basierend auf den Bilddaten mittels Tiefe, Abstand, Abmessungen oder anderen Informationen, die aus den kalibrierten und korrelierten Lidardaten abgeleitet werden, verbessert werden, was wiederum den autonomen Betrieb des Fahrzeugs verbessert, da die Befehle zum Betreiben des Fahrzeugs durch diese Objekte in der Umgebung des Fahrzeugs beeinflusst werden. So kann beispielsweise durch eine präzisere Korrelation von Pixeln von Bilddaten mit projizierten Lidarpunkten ein präziserer Begrenzungsrahmen eines Objekts im Bild bestimmt werden, der wiederum die Objektklassifizierung verbessert, wenn ein neuronales Netzwerk auf die in dem Begrenzungsrahmen enthaltenen Bilddaten angewendet wird, um zu bestimmen, um welches Objekt es sich handelt (z. B. ein Auto, ein Fußgänger, ein Verkehrszeichen usw.).
  • In einigen Ausführungsformen werden mehrere Bildpaare und entsprechende Datensätze verwendet, um ein Kamera-Lidar-Paar zu kalibrieren. Nachdem beispielsweise ein erster Satz nicht-horizontaler Randbereiche von Bilddaten und Entfernungsmessdaten für eine erste Fahrzeugposition erhalten wurde, kann das Fahrzeug gefahren oder anderweitig bewegt werden, bis ein nachfolgender stationärer Zustand erkannt wird. Sobald der stationäre Zustand erkannt wurde, wird ein aktualisierter Satz von Entfernungsmessdaten, die vom Lidar während des Abtastens des Sichtfeldes der Kamera bei stehendem Fahrzeug erfasst wurden, ermittelt und mit einem aktualisierten Bild gepaart, das von der Kamera aufgenommen wurde, während sich das Fahrzeug beim Abtasten des Sichtfeldes der Kamera in der Nähe der Zeit befindet, in der das Lidar das Sichtfeld der Kamera abgetastet hat. Auch hier werden nicht-horizontale Randbereiche von Bilddaten im aktualisierten Bild identifiziert und mit entsprechenden nicht-horizontalen Randbereichen der aktualisierten Entfernungsmessdaten verknüpft. Die gepaarten nicht-horizontalen Randbereiche der aktualisierten Daten können ebenfalls gespeichert oder anderweitig gepflegt und zum Kalibrieren des Kamera-Lidar-Paares verwendet werden, beispielsweise durch das Minimieren der Kostenfunktion, wobei sowohl die Zuordnung zwischen den ursprünglich gepaarten nichthorizontalen Randbereichsdaten aus der ursprünglichen Fahrzeugposition als auch die Zuordnung zwischen der aktualisierten Paarung von nicht-horizontalen Randbereichsdaten aus der aktualisierten Fahrzeugposition berücksichtigt wird.
  • Darüber hinaus können in einigen Ausführungsformen die gepaarten nichthorizontalen Randbereichsdaten in Verbindung mit der Fahrzeugposition, in der die entsprechenden Bild- und Entfernungsmessdaten erhalten wurden, gespeichert oder anderweitig gepflegt werden, wodurch Änderungen der Fahrzeugposition zwischen gepaarten Kamera-Lidar-Datensätzen berücksichtigt werden. In einigen Ausführungsformen ist beispielsweise eine minimale Schwellendifferenz zwischen den mit den Kamera-Lidar-Datensätzen verknüpften Fahrzeugpositionen vorhanden, um sicherzustellen, dass die zugrundeliegenden Daten der Kamera-Lidar-Datensätze ausreichend unähnlich sind (z. B. um die Verwendung von im Wesentlichen redundanten Daten bei der Kalibrierung zu vermeiden). In noch weiteren Ausführungsformen kann die Kostenfunktion die relativen Unterschiede zwischen gepaarten Kamera-Lidar-Datensätzen berücksichtigen, beispielsweise um die Genauigkeit der Kalibrierung zu verbessern, wenn sich Teile der Bilder überlappen oder ein gemeinsames Objekt oder Gebiet oder dergleichen einfangen. Wenn beispielsweise im Wesentlichen die gleiche Szene oder Umgebung um das Fahrzeug herum aus verschiedenen Fahrzeugpositionen oder -ausrichtungen erfasst wird (z. B. wenn der Unterschied in der Fahrzeugposition zwischen gepaarten Kamera-Lidar-Datensätzen kleiner als die minimale Schwellendifferenz ist), kann die Kalibrierung durch Einbeziehen oder anderweitige Berücksichtigung der Fahrzeugposition und der entsprechenden Positionen und Ausrichtungen von Kamera und Lidar in die Kostenfunktion verbessert werden.
  • Das Herausfiltern horizontaler Kanten und das Begrenzen der Kalibrierung auf im Wesentlichen nicht-horizontale Randbereiche von Bild- und Entfernungsmessdaten reduziert die Auswirkungen von Rauschen in den Entfernungsmessdaten und kann auch die für die Kalibrierung eines Kamera-Lidar-Paares erforderlichen Rechenressourcen und -zeiten reduzieren. Diesbezüglich können mehrere Kamera-Lidar-Paare im Wesentlichen gleichzeitig kalibriert werden. Wenn beispielsweise das Fahrzeug mehrere unterschiedliche Kameras mit unterschiedlichen Sichtfeldern aufweist, die während einer ausreichenden Zeitspanne stationär sind, um eine komplette Umdrehung des Lidars um das Fahrzeug herum abzutasten, kann jede der Kameras auf ähnliche Weise mit dem Lidar kalibriert werden, wie vorstehend für jede Kamera beschrieben (z. B. durch Korrelieren von nicht horizontalen Randbereichen eines von der jeweiligen Kamera erfassten Bildes, während das Fahrzeug mit entsprechenden Bereichen in dem Teil der Entfernungsmessdaten, der dem Lidar entspricht, der das Sichtfeld der jeweiligen Kamera abtastet). Durch das Herausfiltern horizontaler Kanten kann die Kalibrierung schneller und rauscharmer durchgeführt werden, wodurch die Kalibrierung mehrerer Kameras in Bezug auf eine Lidar-Vorrichtung im laufenden Betrieb möglich ist. So können beispielsweise in einer Ausführungsform bei jedem Anfahren des Fahrzeugs die Onboard-Kameras zunächst mit der Lidar-Vorrichtung kalibriert werden, während sich das Fahrzeug zunächst in der stationären Position befindet, und anschließend können die Kalibrierungen beim nächsten stationären Zustand des Fahrzeugs aktualisiert werden. Somit können Kalibrierungen für mehrere Kameras in Bezug auf eine bestimmte Lidar-Vorrichtung regelmäßig aktualisiert werden, ohne dass spezielle Kalibrierungsverfahren oder Manöver durchgeführt werden müssen.
  • Wie im Folgenden hauptsächlich im Zusammenhang mit 12 näher beschrieben, kann in den hierin beschriebenen exemplarischen Ausführungsformen die weitere Gültigkeit oder Genauigkeit der bestehenden Kalibrierung jedes einzelnen Kamera-Lidar-Paares während des autonomen Betriebs des Fahrzeugs regelmäßig überprüft werden, um einen anomalen Zustand in Bezug auf eine der Kameras oder den Lidar zu erkennen oder anderweitig zu identifizieren und eine oder mehrere Abhilfemaßnahmen zur Minderung des anomalen Zustandes zu ergreifen. So können beispielsweise die mit einem Kamera-Lidar-Paar verknüpften Werte für die Kostenfunktion und die Konvertierungsparameter neu bewertet werden, indem eine zuletzt erhaltene Paarung von Bild- und Entfernungsmessdaten verwendet wird, um sicherzustellen, dass die Konvertierungsparameterwerte aus der vorangegangenen Kalibrierung die Kostenfunktion minimieren. Als Reaktion auf das Bestimmen, dass die Werte der Konvertierungsparameter die Kostenfunktion nicht mehr minimieren, werden Kanten innerhalb dieser letzten Paarung der Bild- und Entfernungsmessdaten analysiert, um zu identifizieren oder anderweitig zu bestimmen, ob ein anomaler Zustand in Bezug auf eine der Vorrichtungen vorliegt. So können beispielsweise nicht-horizontale Kanten innerhalb des Bildes identifiziert und das Vorhandensein entsprechender nicht-horizontaler Kanten in den Lidar-Punktwolkendaten verifiziert oder bestätigt werden. Umgekehrt können auch nicht-horizontale Kanten innerhalb der Lidar-Punktwolkendaten identifiziert und das Vorhandensein entsprechender nicht-horizontaler Kanten in den Bilddaten verifiziert oder bestätigt werden. Es ist jedoch zu beachten, dass die hierin beschriebenen Kalibrierungsprüfverfahren nicht notwendigerweise auf Diskontinuitäten beschränkt sind und in der Praxis andere Arten von Ausrichtalgorithmen oder Korrelationen verwenden können, die sich nicht notwendigerweise auf horizontale Diskontinuitäten beziehen.
  • Als Reaktion auf das Fehlen eines nicht-horizontalen Randbereichs in den Bilddaten, der einem nicht-horizontalen Randbereich in den Lidar-Punktwolkendaten entspricht, kann diese Kamera als potentiell anomal gekennzeichnet oder anderweitig angezeigt werden. So kann beispielsweise eine Benutzerbenachrichtigung erzeugt oder anderweitig bereitgestellt werden, um einen Fahrzeugbetreiber, Besitzer oder Beifahrer über einen möglichen anormalen Zustand in Bezug auf die Kamera zu informieren. Anschließend kann zur Wiederherstellung des Betriebs der Kamera eine manuelle Inspektion oder Wartung durchgeführt werden (z. B. Reinigen des Objektivs, Sichern der elektrischen Anschlüsse oder dergleichen). Darüber hinaus können eine oder mehrere zusätzliche Abhilfemaßnahmen durchgeführt werden, wie beispielsweise die vorübergehende Nutzungsunterbrechung der Kamera oder das Verringern des Einflusses der Bilddaten dieser Kamera im Vergleich zu anderen (z. B. durch Anpassen eines oder mehrerer Gewichtungsfaktoren in einem Algorithmus). Ebenso kann der Lidar als Reaktion auf das Fehlen eines nicht-horizontalen Randbereichs in den Lidardaten, der einem nicht-horizontalen Randbereich in den Bilddaten entspricht, gekennzeichnet oder anderweitig als potenziell anomal gekennzeichnet werden, und es können auch eine oder mehrere zusätzliche Abhilfemaßnahmen durchgeführt werden (z. B. vorübergehende Nutzungsunterbrechung des Lidars, wenn im Fahrzeug ein anderer Lidar oder Radar vorhanden ist).
  • Unter Bezugnahme auf 1 wird nun ein bei 100 allgemein dargestelltes autonomes Fahrzeugsteuersystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Im Allgemeinen bestimmt das Steuersystem 100 einen Bewegungsplan für den autonomen Betrieb des Fahrzeugs 10 entlang einer Route, der die von den Sensoren 28, 40 erkannten Objekte oder Hindernisse berücksichtigt, wie im Folgenden näher beschrieben. Wie vorstehend und nachfolgend ausführlicher beschrieben, kalibriert ein Steuermodul an Bord des autonomen Fahrzeugs 10 unterschiedliche Arten von Sensoren 28, 40 in Bezug zueinander, sodass die Daten von diesen unterschiedlichen Sensoren 28, 40 an Bord des Fahrzeugs basierend auf der Kalibrierung räumlich assoziiert oder andernfalls gegenseitig assoziiert werden, was die Erkennung von Objekten, deren Klassifizierung und den resultierenden autonomen Betrieb des Fahrzeugs 10 verbessert.
  • Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
  • In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Steuersystem 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
  • Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brakeby-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
  • Das Sensorsystem 28 beinhaltet eine oder mehrere Abtastvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellantriebs-Vorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt. (nicht nummeriert).
  • Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
  • Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nichtflüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
  • Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen beinhaltet. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellantriebssystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
  • In verschiedenen Ausführungsformen sind ein oder mehrere Anweisungen der Steuerung 34 im Steuersystem 100 integriert (z. B. im Datenspeicherelement 46) und, wenn sie durch den Prozessor 44 ausgeführt werden, führt dies dazu, dass der Prozessor 44 basierend auf den Ausgangsdaten von einem oder mehreren Fahrzeugsensoren 40 (z. B. ein Drehzahlsensor, ein Lagesensor oder ähnliches) einen stationären Zustand des Fahrzeugs 10 erkennt oder identifiziert, Daten erfasst, die durch Bildgebungs- und Entfernungsmessvorrichtungen 40 erfasst oder erzeugt werden, während sich das Fahrzeug 10 im stationären Zustand befindet, und die Beziehungen zwischen der entsprechenden Bildgebungsvorrichtung 40 und den entsprechenden Entfernungsmessvorrichtungen 40 unter Verwendung nicht-horizontaler Kanten kalibriert, wie im Folgenden näher beschrieben. Danach kann der Prozessor 44 die Kalibrierungen verwenden, um Korrelationen und Transformationen zwischen den Datensätzen festzulegen, um Attribute von einem Datensatz an einen anderen Datensatz zuzuweisen und dadurch die Objekterkennung, Objektklassifizierung, Objektvorhersage und dergleichen zu verbessern. Die resultierenden Objekte und deren Klassifizierung und vorausgesagtes Verhalten beeinflussen die Fahrpläne zur autonomen Steuerung des Fahrzeugs 10, die wiederum Befehle beeinflussen, die vom Prozessor 44 zur Steuerung der Stellantriebe 42 erzeugt oder anderweitig bereitgestellt werden.
  • Darüber hinaus erkennt oder identifiziert der Prozessor 44 in einer oder mehreren Ausführungsformen einen stationären Zustand des Fahrzeugs 10 und überprüft oder validiert periodisch die Genauigkeit der vorhandenen Kalibrierungen, wobei der Prozessor 44 als Reaktion auf einen anomalen Zustand in Bezug auf eine Kalibrierung bestimmt, ob die Bildgebungsvorrichtung 40 oder die Entfernungsmessvorrichtung 40 einen anomalen Zustand mit nicht-horizontalen Kanten aufweist. In Ermangelung eines anomalen Zustands in Bezug auf die Bildgebungsvorrichtung 40 oder die Entfernungsmessvorrichtung 40 kann der Prozessor 44 das Paar neu kalibrieren und den vorgenannten Betrieb des Fahrzeugs 10 unter Verwendung der aktualisierten Kalibrierung wieder aufnehmen.
  • Wie in 1 dargestellt ist das Kommunikationssystem 36 in exemplarischen Ausführungsformen dazu konfiguriert, Informationen drahtlos an und von anderen Entitäten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), Fernsysteme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln bzw. von diesen zu empfangen. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
  • Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einer oder mehreren Instanzen autonomer Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
  • Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
  • Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, wobei programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
  • Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
  • Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl von Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
  • Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentisierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
  • Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des Ferntransportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 1 0a-1 0n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
  • Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
  • Bezugnehmend auf 3 implementiert die Steuerung 34 ein autonomes Fahrsystem (ADS - Autonomous Driving System) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein autonomes Fahrsystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird, z. B. zur automatischen Steuerung diverser Stellantriebe 30 und somit die Steuerung der Fahrzeugbeschleunigung, Lenkung und des Bremsverhalten ohne menschliches Eingreifen.
  • In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 70 je nach Funktion oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Sensorfusionssystem 74, ein Positioniersystem 76, ein Lenksystem 78 und ein Fahrzeugsteuerungssystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden.
  • In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Sensorfusionssystem 74 Sensordaten und prognostiziert Anwesenheit, Lage, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungen kann das Sensorfusionssystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radars und/oder eine beliebige Anzahl anderer Arten von Sensoren. In einer oder mehreren hierin beschriebenen exemplarischen Ausführungsformen unterstützt das Sensorfusionssystem 74 den hierin im Folgenden hauptsächlich im Kontext der 6-12 näher beschriebenen Datenerfassungs-, Kalibrierungs- und Kalibrierprüfprozesse oder führt diese durch. In den exemplarischen Ausführungsformen korreliert das Sensorfusionssystem 74 Bilddaten mit Lidar-Punkt-Clouddaten unter Verwendung von kalibrierten Konvertierungs-Parameterwerten, die dem Kamera-Lidar-Paar zugeordnet sind, das die jeweilige Quelle der Bild- und Lidar-Punkt-Clouddaten ist, um den Bilddaten Tiefe zuzuordnen, Objekte in einem oder mehreren der Bilddaten zu identifizieren oder assoziierte Bilddaten und andere Daten, wie Lidar-Daten, anderweitig zu synthetisieren. Mit anderen Worten stellt die Sensorausgabe vom Sensorfusionssystem 74, die dem Fahrzeugsteuersystem 80 (z. B. Anzeigen von erkannten Objekten und/oder deren Standorte relativ zum Fahrzeug 10) bereitgestellt wird, die Kalibrierungen und Zuordnungen zwischen den Kamerabildern, Lidar-Punkt-Clouddaten und dergleichen dar.
  • Das Positionierungssystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
  • In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
  • 4 zeigt ein exemplarisches Fahrzeug 400, das eine Vielzahl von Kameras 402 beinhaltet, die im Fahrzeug 400 verteilt sind, sowie eine Vielzahl von Entfernungsmessern 404, die ebenfalls im Fahrzeug 400 verteilt sind. Die Kameras 402 sind an verschiedenen Stellen angeordnet und stellen unterschiedliche Sichtfelder bereit, die unterschiedliche Teile der Umgebung in der Nähe des Fahrzeugs 400 erfassen. So ist z. B. eine erste Kamera 402 an der vorderen linken Seite (oder Fahrerseite) des Fahrzeugs 400 positioniert und sein Sichtfeld ist relativ zur Längsachse des Fahrzeugs 400 in Fahrtrichtung 45° gegen den Uhrzeigersinn ausgerichtet; eine weitere Kamera 402 kann an der vorderen rechten Seite (oder Beifahrerseite) des Fahrzeugs 400 mit ihrem Sichtfeld 45° im Uhrzeigersinn relativ zur Längsachse des Fahrzeugs 400 ausgerichtet sein. Zusätzliche Kameras 402 sind an den hinteren linken und rechten Seiten des Fahrzeugs 400 positioniert und ähnlich weg von der Längsachse bei 45 ° relativ zur Fahrzeuglängsachse ausgerichtet, zusammen mit Kameras 402 auf der linken und rechten Seiten des Fahrzeugs 400 und weg von der Längsachse und senkrecht zur Fahrzeuglängsachse. Die dargestellte Ausführungsform beinhaltet ferner ein Paar Kameras 402 an oder nahe der Fahrzeuglängsachse und so ausgerichtet, dass sie ein nach vorn gerichtetes Sichtfeld entlang einer Sichtlinie erfasst, die im Wesentlichen parallel zur Fahrzeuglängsachse verläuft.
  • In exemplarischen Ausführungsformen haben die Kameras 402 Sichtwinkel, Brennweiten und andere Attribute, die sich von jenen der einen oder mehreren Kameras 402 unterscheiden können. So können die Kameras 402 auf den rechten und linken Seiten des Fahrzeugs z. B. einen Sichtwinkel haben, der größer ist als jener bei den Kameras 402, die vorn links, vorn rechts, hinten links oder hinten rechts am Fahrzeug positioniert sind. In einigen Ausführungsformen wird der Sichtwinkel der Kameras 402 so gewählt, dass das Sichtfeld von unterschiedlichen Kameras 402 zumindest teilweise überlappt, um die Abdeckung durch die Kamera an bestimmten Stellen oder Ausrichtungen in Bezug auf Fahrzeug 400 sicherzustellen.
  • Ein oder mehrere Entfernungsmesser 404 sind an unterschiedlichen Stellen im Fahrzeug 400 angeordnet, und in einer Ausführungsform werden diese symmetrisch um die Längsachse des Fahrzeugs 400 angeordnet, um eine Parallaxe zu erreichen. In den hierin beschriebenen exemplarischen Ausführungsformen sind die Entfernungsmesser 404 als Lidar-Vorrichtungen ausgeführt. Diesbezüglich kann jeder Entfernungsmesser 404 einen oder mehrere Laser, Scankomponenten, optische Anordnungen, Fotodetektoren und andere Komponenten beinhalten, die entsprechend dafür konfiguriert sind, die Umgebung in der Nähe des Fahrzeugs 400 mit einer spezifischen Winkelfrequenz oder Rotationsgeschwindigkeit horizontal und rotierend zu scannen. In einer Ausführungsform ist z. B. jede Lidar-Vorrichtung 404 dafür konfiguriert, mit einer Frequenz von 10 Hertz (Hz) horizontal zur rotieren und 360° zu scannen. Wie hierin verwendet sollte ein Lidar-Scan so verstanden werden, dass er sich auf eine einzige Umdrehung einer Lidar-Vorrichtung 404 bezieht.
  • In den hierin beschriebenen exemplarischen Ausführungsformen erfassen die Kameras 402 autonom und automatisch Bilder mit einer bestimmten Frequenz, wobei die Frequenz oder Rate, mit der die Kameras 402 Bilder erfassen, größer ist, als die Winkelfrequenz der Lidar-Vorrichtungen 404. In einer Ausführungsform ist die Frequenz oder Abtastrate der Kameras 402 mindestens zweimal so hoch wie die Winkelfrequenz der Lidar-Vorrichtung 404. So können die Kameras 402 z. B. neue Bilddaten entsprechend ihrer entsprechenden Sichtfelder mit einer Rate von 30 Hz erfassen, während die Lidar-Vorrichtung 404 mit einer Rate von 10 Hz scannt und automatische aktualisierte Daten bereitstellt. Somit kann jede Kamera 402 mehrere Bilder pro Lidar-Scan abtasten und die Bilder zu unterschiedlichen Zeiten erfassen, unabhängig von der Ausrichtung der Lidar-Vorrichtung 404 oder der Winkelposition innerhalb des Scans. In solchen Ausführungsformen kann ein Bild aus jeder jeweiligen Kamera 402, das vorübergehend mit den Lidar-Punkt-Clouddaten von einem bestimmten Lidar-Scan ausgewählt oder identifiziert werden, basierend auf dem relativen Zeitunterschied zwischen dem Zeitpunkt, an dem das Bild erfasst wurde und dem Zeitpunkt, zu dem die Winkelposition des Lidar-Scans mit der Sichtlinie einer Lidar-Vorrichtung 404 mit dem Sichtlinie oder dem Sichtwinkel der jeweiligen Kamera 402 übereinstimmt. In weiteren Ausführungsformen können Bilder, die während eines Lidar-Scans erhalten wurden, fusioniert oder anderweitig kombiniert werden, um ein repräsentatives Bild entsprechend dem Lidar-Scan zu erhalten. In noch weiteren Ausführungsformen können die Kameras 402 ausgelöst oder anderweitig gesteuert werden, um Bilder zu der Zeitinstanz während eines Lidar-Scans zu erfassen, wenn die Winkelposition des Lidar-Scans mit der Sichtlinie einer Lidar-Vorrichtung 404 übereinstimmt, die mit der Sichtlinie oder dem Sichtwinkel der entsprechenden Kamera 402 ausgerichtet ist. Diesbezüglich versteht es sich, dass es zahlreiche unterschiedliche Methoden zur Synchronisierung oder vorübergehenden Assoziation von unterschiedlichen Datensätzen gibt, und dass der hierin beschriebene Gegenstand nicht auf eine bestimmte Weise zum Identifizieren oder Assoziieren von Bilddaten eines Bereichs beschränkt sein soll, der mit einem Lidar-Scan dieses Bereichs oder entsprechenden Lidar-Daten, die diesen Bereich repräsentieren, zusammenhängt.
  • 5 zeigt eine Ausführungsform eines Verarbeitungsmoduls 500 (oder Steuermodul), das durch die Steuerung implementiert bzw. in die Steuerung 34, den Prozessor 44 und/oder das Sensorfusionssystem 74 integriert werden kann.
  • Das Bildverarbeitungsmodul 500 ist mit einer Kamera 502 (z.B. eine der Kameras 402) an Bord des Fahrzeugs und einer Lidar-Vorrichtung 504 (z. B. eine der Lidar-Vorrichtungen 404) gekoppelt. Es ist zu beachten, dass, obwohl 5 eine einzelne Kamera 502 darstellt, das Bildverarbeitungsmodul 500 in der Praxis jedoch mit mehreren Kameras 40, 402 an Bord eines Fahrzeugs 10, 400 gekoppelt werden kann, um Bilder von mehreren Kameras 40, 402 zeitlich mit den Lidar-Punkt-Clouddaten einer einzelnen Abtastung der Lidar-Vorrichtung 504 in Beziehung zu setzen und die hierin beschriebenen Kalibrierungsprozesse in Bezug auf mehrere Kameras 40, 402 im Wesentlichen gleichzeitig oder parallel durchzuführen. Darüber hinaus kann das Bildverarbeitungsmodul 500 mit weiteren im Fahrzeug 10, 400 befindlichen Lidar-Vorrichtungen 40, 504 gekoppelt werden, um verschiedene Bilder der Onboard-Kameras 40, 402, 502 mit den Lidar-Punkt-Clouddaten aus den Abtastungen verschiedener Lidar-Vorrichtungen 40, 404, 504 zeitlich zu verknüpfen und zu korrelieren und dadurch die hierin beschriebenen kalibrierungsbezogenen Prozesse in Bezug auf mehrere Kameras 40, 402 und mehrere Lidar-Vorrichtungen 40, 404, 504 im Wesentlichen gleichzeitig oder parallel durchzuführen.
  • Das Bildverarbeitungsmodul 500 ist in einer oder mehreren Ausführungsformen dafür konfiguriert, Bilddaten, die sich auf ein oder mehrere Bilder (oder Muster) beziehen, zu puffern, speichern oder anderweitig zu pflegen, die per Lidar-Scan von der Kamera 502 erfasst wurden und es kann ein erfasstes Bild, das vorübergehend mit der Lidarvorrichtung 504 des Sichtfeldes der Kamera 502 assoziiert ist, auswählen oder anderweitig identifizieren (z. B. basierend auf den Zeitstempeln, die den Bildern im Puffer zugeordnet sind). Ausgehend von einem von der Lidar-Vorrichtung 504 empfangenen Signal oder einer Anzeige, die anzeigt, wann die Lidar-Vorrichtung 504 in ihrer Anfangs- oder Bezugsausrichtung innerhalb einer Abtastung ausgerichtet ist, wird beispielsweise die Winkelfrequenz der Lidar-Vorrichtung 504 und anschließend der Winkel oder die Ausrichtung der Kamera 502 angezeigt, wobei das Bildverarbeitungsmodul 500 eine Abtastzeit berechnen kann, zu der die Blickrichtung der Lidar-Vorrichtung 504 mit der Kamera 502, im Folgenden auch als Lidar-Abtastzeit bezeichnet, ausgerichtet ist, und den Bilddatensatz mit einem Zeitstempel auswählen kann, welcher der Lidar-Abtastzeit am nächsten liegt, um Lidar-Daten, die das Sichtfeld der Kamera darstellen, zuzuordnen oder zu korrelieren.
  • Das Bildverarbeitungsmodul 500 ist mit der Lidar-Vorrichtung 504 gekoppelt, um die Lidar-Punkt-Clouddaten aus einem Lidar-Scan abzurufen oder anderweitig zu erhalten, und korreliert dann mindestens einen Teil der Lidar-Punkt-Clouddaten mit den zeitlich zugehörigen Bilddaten. So kann beispielsweise das Bildverarbeitungsmodul 500 die Teilmenge der Lidar-Punkt-Clouddaten entsprechend der Lidar-Vorrichtung 504, die den Blickwinkel der Kamera 502 schneidet, auswählen oder anderweitig identifizieren.
  • Wie nachfolgend ausführlicher beschrieben, kalibriert das Bildverarbeitungsmodul 500 in einigen Ausführungsformen die Beziehung zwischen der Kamera 502 und der Lidar-Vorrichtung 504 und speichert oder pflegt die für die Beziehung charakteristischen Kalibrierdaten im Datenspeicherelement 506. Diesbezüglich können die Kalibrierungsdaten Werte für Variablen einer Funktion für die räumliche Übersetzung vom Lidar-Punkt-Cloud-Referenzrahmen in den Datenreferenzrahmen beinhalten, oder umgekehrt. Das Bildverarbeitungsmodul 500 kann anschließend bei der Korrelation nachfolgender Bilddaten mit Punkt-Clouddaten die Kalibrierdaten verwenden, um die Lidardaten auf die Bilddaten zu projizieren und den Bilddaten Tiefen, Entfernungen oder andere Größeneigenschaften zuzuordnen. Auf diese Weise kann die Korrelation zwischen Bilddaten und Punkt-Clouddaten vom Bildverarbeitungsmodul 500 genutzt werden, um Objekte zum späteren Klassifizieren und Vorhersagen zu erkennen und diese vorverarbeitet an ein oder mehrere weitere Objekt- oder Hindernisanalysemodule, Fahrzeugsteuerungsmodule oder dergleichen auszugeben.
  • Unter jetziger Bezugnahme auf 6 und unter weiterer Bezugnahme auf die 1-5 veranschaulicht ein Flussdiagramm verschiedene Ausführungsformen eines Datenerhebungsprozesses 600, der in eine Steuerung 34 im Steuersystem 100 in 1 eingebettet ist, und das ADS 70 unterstützt. Diesbezüglich kann der Datenerhebungsprozess 600 von einem oder mehreren Steuermodulen 34, 44, 500 an Bord eines Fahrzeugs 10, 400 durchgeführt oder implementiert werden. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb des Verfahrens nicht auf die in 6 dargestellte sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolge(n) gemäß der vorliegenden Offenbarung durchgeführt werden. Darüber hinaus könnte eine oder mehrere der im Kontext mit 6 dargestellten Aufgaben aus einer praktischen Ausführungsform des Datenerhebungsprozesses 600 ausgelassen und die beabsichtigte Gesamtfunktionalität trotz allem erhalten werden. In verschiedenen Ausführungsformen kann der Datenerhebungsprozess 600 basierend auf einem oder mehreren vorbestimmten Ereignissen und/oder kontinuierlich während des Betriebs des Fahrzeugs 10, 400 ausgeführt werden.
  • In den exemplarischen Ausführungsformen kann der Datenerhebungsprozess 600 durchgeführt werden, um Paare aus Bilddaten und Lidardaten zum Kalibrieren der Beziehung zwischen einer entsprechenden Kamera und einer Lidar-Vorrichtung oder alternativ zur laufenden Überprüfung der Gültigkeit oder Genauigkeit der Kalibrierung zu erfassen. Der veranschaulichte Datenerhebungsprozess 600 beginnt, indem er Daten von einem oder mehreren Fahrzeugsensoren 602 an Bord des Fahrzeugs empfängt oder anderweitig einholt und indem er erkennt oder anderweitig identifiziert, wenn sich das Fahrzeug bei 604 im stationären Zustand befindet. So kann z. B. ein Steuermodul 34, 500 an Bord des Fahrzeugs an einen oder mehrere Fahrzeugsensoren 40 an Bord des Fahrzeugs gekoppelt werden, und entsprechende Ausgaben erstellen, die analysiert oder überwacht werden können, um zu ermitteln, ob sich das Fahrzeug 10, 400 im stationären Zustand befindet, wie z. B. Geschwindigkeitssensoren, Positionssensoren, Drosselsensoren, Bremssensoren und dergleichen. Diesbezüglich kann der Datenerhebungsprozess 600 einen stationären Zustand des Fahrzeugs 10, 400 erkennen, wenn die Drehzahl oder Geschwindigkeit des Fahrzeugs 10, 400 gleich Null ist, die Beschleunigung des Fahrzeugs 10, 400 gleich Null ist und die Position des Fahrzeugs 10, 400 stabil oder unverändert ist. Auf diese Weise gewährleistet der Datenerhebungsprozess 600, dass die erfassten Datensätze, die für die Kalibrierung verwendet werden, weder Rauschen noch andere Artefakte beinhalten werden, die durch die Bewegung des Fahrzeugs 10, 400 eingebracht werden könnten.
  • In einer oder mehreren Ausführungsformen überprüft oder bestätigt der Datenerhebungsprozess 600 auch, dass ein oder mehrere Kalibrierungskriterien erfüllt sind, basierend auf der aktuellen Fahrzeugposition bei 606. Diesbezüglich können einige Ausführungsformen des Datenerhebungsprozesses 600 eine oder mehrere Mindestanforderungen vorschreiben, wonach die aktuelle Fahrzeugposition von den Fahrzeugpositionen abweichen muss, die mit zuvor erfassten Datensätzen verbunden sind, um sicherzustellen, dass die durch die erfassten Datensätze dargestellte Szene oder Umgebung nicht wesentlich derjenigen der zuvor erfassten Datensätze gleicht, um hinreichend unterschiedliche Tiefendiskontinuitäten zu gewährleisten. So kann beispielsweise der Datenerhebungsprozess 600 voraussetzen, dass die Entfernung zwischen der aktuellen Fahrzeugposition und einer früheren Fahrzeugposition, die einem oder mehreren zuvor erfassten Datensätzen zugeordnet ist, größer ist als eine minimale Schwellenwertentfernung, dass die Differenz zwischen der aktuellen Ausrichtung oder Richtung, die der aktuellen Fahrzeugposition zugeordnet ist, und den Ausrichtungen oder Richtungen, die einem oder mehreren zuvor erfassten Datensätzen zugeordnet sind, größer ist als eine minimale Schwellenwertdifferenz, dass eine Zeitdifferenz zwischen dem der aktuellen Fahrzeugposition zugeordneten Zeitpunkt und einem zuvor erfassten Datensatz, oder eine Kombination derselben, größer ist als eine minimale Zeitdifferenz. Auf diese Weise kann der Datenerhebungsprozess 600 gewährleisten, dass sich die Fahrzeugposition so verändert, dass die Szene oder Umgebung, die durch die aktuellen Datensätze repräsentiert wird, voraussichtlich von derjenigen der zuvor erfassten Datensätze abweicht, oder dass die Zeitdifferenz zwischen den Datensätzen wahrscheinlich zu Unterschieden zwischen der Szene oder Umgebung, die durch die aktuellen Datensätze repräsentiert wird, und denen der zuvor erfassten Datensätze führt.
  • In einigen Ausführungsformen kann der Datenerhebungsprozesses 600 eine Kartendatenbank zum Bestimmen, basierend auf der aktuellen Fahrzeugposition in Bezug auf die Karte, einer wahrscheinlichen Umgebung um das Fahrzeug herum (z. B. eine belebte Kreuzung gegenüber einem Parkplatz oder dergleichen) verwenden, und dann basierend auf der Art der Umgebung oder den Eigenschaften der Umgebung, die Kalibrierungskriterien entsprechend anpassen. Wenn das Fahrzeug beispielsweise an einer Ampel an einer stark befahrenen Kreuzung stillsteht, kann der Datenerhebungsprozess 600 nur eine minimale Zeitdifferenz (z. B. 1 Sekunde) zwischen den Datensätzen erfordern, ohne dass eine Änderung der Fahrzeugposition erforderlich ist, wohingegen der Datenerhebungsprozess 600 umgekehrt, wenn der stillstehende Zustand auf einem Parkplatz auftritt, eine minimale Änderung der Fahrzeugposition zwischen den Datensätzen erfordern kann.
  • Wenn der Datenerhebungsprozess 600 einen stationären Zustand erkennt, der die geltenden Kalibrierungskriterien erfüllt, wird der Datenerhebungsprozess 600 durch Empfangen oder anderweitiges Erhalten von Lidardaten fortgesetzt, die dem Sichtfeld der zu kalibrierenden Kamera entsprechen, das während des stationären Zustands bei 608 erfasst wurde, und Empfangen oder anderweitiges Erhalten von Bilddaten, die dem Sichtfeld der zu kalibrierenden Kamera entsprechen, das während des stationären Zustands erfasst wurde und zeitlich mit den Lidardaten bei 610 verknüpft ist. Diesbezüglich erhält das Steuermodul 34, 500 eine Teilmenge an Lidardaten, die der Lidar-Vorrichtung 504 entspricht und das Sichtfeld der Kamera 502 durchquert und wählt dann auch die Bilddaten von der Kamera 502 aus, die im stationären Zustand, in dem die Lidar-Vorrichtung 504 das Sichtfeld oder die Sichtlinie der Kamera 502 durchquert hat, zeitlich am ehesten der/denjenigen Instanz(en) entsprechen.
  • Sobald die zeitliche Zuordnung der Lidar- und Bilddaten, die während des stationären Zustands erfasst wurden, erreicht ist, wird der Datenerhebungsprozess 600 durch Filtern oder anderweitiges Verarbeiten der Bilddaten fortgesetzt, um nicht-horizontale Randbereiche bei 612 zu identifizieren und dadurch horizontale Randbereiche von der weiteren Analyse oder Verwendung während der Kalibrierung herauszufiltern oder anderweitig auszuschließen. So zeigt beispielsweise 7 ein exemplarisches ungefiltertes Bild 700, das von einer Kamera einer Umgebung im Sichtfeld der Kamera erfasst wurde, und 8 zeigt eine exemplarisch gefilterte Version des Bildes 800, die nur nicht-horizontale Randbereiche 802 beinhaltet. Um ein gefiltertes Bild 800 zu erhalten, das horizontale Kanten filtert oder entfernt und nur nicht-horizontale Randbereiche 802 beibehält, wandelt das Steuermodul 34, 500 Pixel des ursprünglichen Bildes 700 in einen Graustufen-Intensitätswert um, führt eine Gaußsche Glättung der Graustufen-Intensitätswerte durch, um ein Rauschen zu reduzieren und wendet dann ein Filter, wie beispielsweise ein Sobel-Filter, an, der die Bereiche identifiziert, in denen sich Intensitätswerte horizontal entlang einer Reihe von Pixeln oder diagonal zwischen Pixeln ändern, während vertikale Intensitätsänderungen entlang einer Spalte von Pixeln (d. h. horizontale Kanten) herausgefiltert werden. Danach identifiziert das Steuermodul 34, 500 die verbleibenden Bereiche 802 von Pixeln, in denen ausreichende Intensitätsänderungen in horizontaler oder diagonaler Richtung vorliegen, als nicht-horizontale Randbereiche von Bilddaten, die für eine spätere Kalibrierung und/oder Kalibrierverifizierung verwendet werden.
  • Nochmals bezogen auf 6, nachdem die nicht-horizontalen Randbereiche der Bilddaten identifiziert wurden, wird der Datenerhebungsprozess 600 fortgesetzt, indem entsprechende Bereiche in den Lidar-Daten für die Zuordnung zu den nicht-horizontalen Randbereichen der Bilddaten bei 614 ausgewählt oder anderweitig identifiziert werden. Diesbezüglich wählt das Steuermodul 34, 500 Teilmengen der Lidar-Punktwolke aus oder identifiziert sie anderweitig, wenn sich bei einer horizontalen Bewegung entlang der horizontalen Referenzebene des Lidar-Scans Tiefen- oder Entfernungsänderungen ergeben. In einer exemplarischen Ausführungsform beinhaltet die Lidar-Daten-Punktwolke zweiunddreißig horizontale Abtastlinien (oder Zeilen), wobei das Steuermodul 34, 500 einen Punkt innerhalb jeder Zeile auswählt oder anderweitig identifiziert, dessen Tiefendiskontinuität relativ zu benachbarten Punkten dieser Zeile am größten ist, und dann diese zweiunddreißig Punkte und deren relative Position innerhalb der Punktwolke und die Tiefeninformationen als die Bereiche in den Lidar-Daten zum Zuordnen zu den nicht-horizontalen Kantenbereichen der Bilddaten beibehält. Diesbezüglich reduziert die Begrenzung der Anzahl der für die Kalibrierung verwendeten Punkte die Rechenzeit und verbessert die Kalibriergenauigkeit durch Auswählen von Punkten mit größeren Tiefen-Diskontinuitäten.
  • 9 zeigt eine grafische Darstellung der unkalibrierten Lidar-Scandaten 900 einer Umgebung, die einem Sichtfeld einer Kamera entspricht und einem Beispielbild 902 der Umgebung überlagert ist, wobei das Schattierungs- oder Füllmuster der Lidar-Scandaten 900 im Allgemeinen der gemessenen Tiefe oder Entfernung von der Lidar-Vorrichtung entspricht. Diesbezüglich zeigt 9 eine unkalibrierte Beziehung zwischen den Lidar-Scandaten 900 und dem Beispielbild 902, sodass die Tiefendiskontinuitäten entlang von Zeilen, die der horizontalen Bezugsebene der Lidar-Vorrichtung 504 entsprechen, nicht unbedingt mit entsprechenden Merkmalen oder Elementen in dem Bild 902 ausgerichtet sind. Die Lidar-Scandaten 900 beinhalten eine Vielzahl von Punktreihen mit unterschiedlichen Tiefen oder Entfernungen bezogen auf die zugehörige Lidar-Vorrichtung 504. Um nicht-horizontale Randbereiche zum Zuordnen von Bilddaten zu identifizieren, kann das Steuermodul 34, 500 die Reihen der Lidardaten 900 analysieren und Punkte identifizieren, an denen sich Tiefen oder Entfernungen bei einer horizontalen Bewegung über Punkte innerhalb einer Reihe um mehr als einen Schwellenwert ändern, und diese Punkte als nicht-horizontale Kante auswählen oder anderweitig identifizieren.
  • Wie vorstehend beschrieben, kann zwischen den nicht-horizontalen Randpunkten innerhalb der Reihe der Punkt mit dem größten Unterschied in Tiefe oder Entfernung zu seinen benachbarten Punkten in der Reihe als der Punkt innerhalb dieser Reihe mit dem größten Tiefenunterschied identifiziert oder ausgewählt werden, der zur Korrelation mit nicht-horizontalen Randbereichen von Bilddaten beibehalten wird. Diesbezüglich können zwischen den Punkten, die im Wesentlichen gleiche Tiefenunterschiede innerhalb derselben Reihe aufweisen, der Punkt mit der minimalen Tiefe oder Entfernung von der Lidarvorrichtung (z. B. der dem Fahrzeug am nächsten gelegene Punkt) ausgewählt und für eine spätere Analyse beibehalten werden, da die Wahrscheinlichkeit besteht, dass Kanten, die näher am Fahrzeug liegen, mit größerer Genauigkeit und Präzision gemessen oder beobachtet werden als entfernte Objekte. So kann beispielsweise ein Punkt 910, welcher der linken Kante der Säule entspricht, als der Punkt mit der größten Tiefendiskontinuität innerhalb seiner jeweiligen Zeile der Lidar-Scandaten 900 ausgewählt werden, während die Punkte 912, 914, welche der rechten Kante der Säule entsprechen, als die Punkte mit der größten Tiefendiskontinuität innerhalb ihrer jeweiligen Zeilen der Lidar-Scandaten 900 ausgewählt werden können. Die im Wesentlichen vertikale linke Kante der Säule, die innerhalb eines erfassten Bildes der Umgebung 902 identifiziert wurde, kann mit dem Punkt 910 (und möglicherweise anderen Punkten aus den unteren Reihen der Lidar-Daten 900) und die im Wesentlichen vertikale rechte Kante der Säule, die innerhalb eines erfassten Bildes der Umgebung 902 identifiziert wurde, mit den Punkten 912, 914 (und möglicherweise anderen Punkten aus den oberen Reihen der Lidar-Daten 900) korreliert werden, um Transformationsparameter zur Umwandlung zwischen den Punkten 910, 912, 914 innerhalb der Lidar-Daten 900 und den entsprechenden Pixelpositionen für die jeweiligen Kanten der Säule in den Bilddaten, wie hierin beschrieben, zu bestimmen.
  • Nochmals bezogen auf 6, nachdem der Datenerhebungsprozess 600 die nicht-horizontalen Randbereichsdaten-Teilmengen und die nicht-horizontalen Randbereichsdaten-Teilmengen identifiziert hat, speichert oder pflegt der Datenerhebungsprozess 600 die korrelierten nicht-horizontalen Randbereichsdaten-Teilmengen in Verbindung zueinander und das aktuelle Fahrzeug steht bei 616. Diesbezüglich speichert das Steuermodul 34, 500 im Datenspeicherelement 506 die Pixelpositionen für die nicht-horizontalen Randbereiche des Bildes (identifiziert bei 612) und die entsprechenden Bilddaten, die dreidimensionalen Punkte (relative Lage und Tiefe oder Entfernung) innerhalb der Punktwolke, die aufgrund von Tiefendiskontinuitäten entlang einer horizontalen Abtastlinie (identifiziert bei 614) ausgewählt wurden, sowie Informationen, welche die aktuelle Fahrzeugposition (z. B. Positionskoordinaten, Kurs, Höhe und dergleichen) und die damit verbundene Zeit charakterisieren oder quantifizieren.
  • Der Datenerhebungsprozess 600 kann wiederholt werden, um kontinuierlich den stationären Fahrzeugzustand eines Fahrzeugs zu erfassen oder anderweitig zu identifizieren, der den Kalibrierungskriterien entspricht, sowie um entsprechende Datensätze zum Kalibrieren von fahrzeugseitigen Vorrichtungen oder zum Überprüfen vorhandener Kalibrierungen zu erhalten. So kann beispielsweise der Datenerhebungsprozess 600 durchgeführt werden, um vor dem Kalibrieren der Beziehung zwischen einer Kamera 502 und einer Lidar-Vorrichtung 504 zunächst mindestens eine Mindestanzahl von gepaarten Datensätzen zu erhalten. In einer Ausführungsform wird nach der Inbetriebnahme eines Fahrzeugs 10, 400 der Datenerhebungsprozess 600 mehrmals durchgeführt, um Datensätze zum Kalibrieren der Beziehung zwischen einer Kamera 502 und einer Lidar-Vorrichtung 504 für den späteren Fahrzeugbetrieb zu erhalten. Nach der Kalibrierung kann der Datenerhebungsprozess 600 wiederholt werden, um Datensätze unter stationären Fahrzeugbedingungen zu erhalten und die vorhandene Kalibrierung im Wesentlichen in Echtzeit zu überprüfen. Anschließend, wenn die Kalibrierung nicht überprüft wird, kann der Datenerhebungsprozess 600 durchgeführt werden, um zusätzliche Datensätze zur Rekalibrierung der Beziehung zwischen einer Kamera 502 und einer Lidar-Vorrichtung 504 zu erhalten, wie im Folgenden näher beschrieben wird.
  • Unter Bezugnahme auf 10 und mit fortgesetztem Bezug auf die 1-6 ist in exemplarischen Ausführungsformen ein Kalibrierungsprozess 1000 in ein Steuermodul 34, 500 in einem Fahrzeug 10, 400 zum Kalibrieren von Beziehungen zwischen den Kameras 502 und den Lidar-Vorrichtungen 504 im Fahrzeug 10, 400 unter Verwendung eines oder mehrerer Datensätze eingebettet, die gemäß dem Datenerhebungsprozess 600 erfasst wurden. Das heißt, der Kalibrierungsprozess 1000 ist nicht notwendigerweise auf die Implementierung in Verbindung mit dem Datenerhebungsprozess 600 beschränkt, und die Reihenfolge der Vorgänge ist nicht auf die in 10 veranschaulichte sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden. Darüber hinaus könnte eine oder mehrere der im Kontext mit 10 dargestellten Aufgaben aus einer praktischen Ausführungsform des Kalibrierungsprozesses 1000 ausgelassen und die beabsichtigte Gesamtfunktionalität trotz allem erhalten werden. In verschiedenen Ausführungsformen kann der Kalibrierungsprozess 1000 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder periodisch während des Betriebs des autonomen Fahrzeugs 10, 400 (z. B. um die Kalibrierung mit neueren Datensätzen dynamisch zu aktualisieren) ausgeführt werden.
  • Der Kalibrierungsprozess 1000 korreliert oder assoziiert nicht-horizontale Kantenmerkmale zwischen gepaarten Datensätzen bei 1002 und konstruiert oder erzeugt eine Kostenfunktion, welche die Korrelationen zwischen nicht-horizontalen Kantenmerkmalen über gepaarte Datensätze bei 1004 charakterisiert. Diesbezüglich ist jeder nicht-horizontale Randbereich von Bilddaten eines gepaarten Datensatzes räumlich mit einem entsprechenden nicht-horizontalen Randbereich von Bilddaten eines gepaarten Datensatzes mit einer Gleichung verbunden, welche die Umwandlung vom Punktwolken-Referenzrahmen in den Pixel-Referenzrahmen (oder Pixelpositionen) in Abhängigkeit von Translations- und Rotationsparametern zur Transformation oder Umwandlung eines Punktes innerhalb der Lidar-Punktwolke in eine relative Pixelposition und umgekehrt charakterisiert.
  • Anschließend berechnet oder ermittelt der Kalibrierungsprozess 1000 anderweitig die Werte für die Umwandlungsparameter, welche die mit der Umwandlung verbundenen Kosten bei 1006 minimieren. Anders ausgedrückt, minimiert der Kalibrierungsprozess 1000 die Kosten der Umwandlung zwischen dem Kamera- und dem Lidar-Referenzrahmen über alle gepaarten Datensätze hinweg, indem er Werte für die Konvertierungsparameter bestimmt, welche die Gesamtkosten in Bezug auf die Unterschiede zwischen einer transformierten Position und der tatsächlichen Position eines korrelierten Kantenmerkmals minimieren. Der Kalibrierungsprozess 1000 bestimmt beispielsweise in einer Ausführungsform Werte für sechs Umwandlungsparameter, drei translatorische Parameterwerte (z. B. x-Achse, y-Achse und z-Achse) und drei Rotationswerte (z. B. Neigung, Rollen und Gieren), die die kumulierten Unterschiede zwischen transformierten Pixelpositionen, die basierend auf den nicht-horizontalen Randbereichen der Lidar-Daten berechnet wurden, und den tatsächlichen Pixelpositionen der nicht-horizontalen Randbereiche der Bilddaten, die den jeweiligen nicht-horizontalen Randbereichen der Lidar-Daten entsprechen, minimieren.
  • Der Kalibrierungsprozess 1000 speichert oder pflegt die resultierenden Parameterwerte zur Minimierung der Umwandlungskosten in Verbindung mit der Kamera-Lidar-Gerätepaarung bei 1008. Diesbezüglich speichert oder pflegt das Steuermodul 34, 500 die translatorischen und rotatorischen Parameterwerte zum Übersetzen vom Punktwolken-Referenzrahmen der Lidar-Vorrichtung 504 in den Bildpixelrahmen der gepaarten Kamera 502 im Datenspeicherelement 506 in Verbindung mit einem oder mehreren Identifikatoren für die Kamera 502 und/oder die Lidar-Vorrichtung 504 zum Umwandeln der dem Kamerablickfeld entsprechenden Lidar-Daten von der Lidar-Vorrichtung 504 in entsprechende Pixelpositionen, oder umgekehrt. Auf diese Weise können den Pixelpositionen innerhalb der von der Kamera 502 aufgenommenen Bilder Tiefen- oder Entfernungsinformationen zugeordnet werden, um dadurch unterschiedliche Tiefen oder Entfernungen zu verschiedenen Abschnitten des Bildes zu projizieren oder anderweitig zuzuordnen.
  • 11 zeigt eine grafische Darstellung der kalibrierten Lidar-Abtastdaten 1100 einer Umgebung, die einem Sichtfeld einer Kamera entspricht, das einem von der Kamera aufgenommenen Bild 1102 der Umgebung überlagert ist. Durch die kalibrierten Transformationsparameter können die Lidar-Abtastdaten 1100 in Pixelpositionen umgewandelt werden, sodass Tiefendiskontinuitäten entlang von Reihen, die der horizontalen Bezugsebene der Lidar-Vorrichtung 504 entsprechen, enger mit entsprechenden Merkmalen oder Elementen im Bild 1102 ausgerichtet werden. Dementsprechend können Pixelpositionen mit Lidar-Punkten korreliert werden, wobei diesen Pixelpositionen durch die Kalibrierung entsprechende Tiefen oder Entfernungen mit erhöhter Genauigkeit oder Präzision zugeordnet werden können.
  • Nochmals bezogen auf 10 speichert oder pflegt der Kalibrierprozess 1000 in einer oder mehreren exemplarischen Ausführungsformen anderweitig auch die minimierten Transformationskosten in Verbindung mit der Kamera-Lidar-Gerätepaarung bei 1010, um die Verifizierung oder Validierung der Kalibrierung zu unterstützen, wie im Folgenden im Kontext von 12 näher beschrieben wird. Diesbezüglich können die Transformationskosten während des späteren Betriebs des Fahrzeugs regelmäßig im Wesentlichen in Echtzeit analysiert oder überwacht werden, um einen möglichen Verlust der Kalibrierung oder eine andere Erfordernis der Rekalibrierung oder Analyse eines oder mehrerer der fahrzeugseitigen Vorrichtungen zu erkennen oder anderweitig zu identifizieren. Wird beispielsweise nachträglich festgestellt, dass die Transformationskosten durch eine andere Kombination von Transformationsparameterwerten weiter minimiert werden können, dann liefert die zuvor bestimmte Kombination von Transformationsparameterwerten bei 1006 nicht mehr die minimalen Transformationskosten und kann daher keine kalibrierte Beziehung mehr wiedergeben.
  • Unter Bezugnahme nun auf 12 und mit weiterem Bezug auf die 1 - 5 veranschaulicht ein Datenflussdiagramm verschiedene Ausführungsformen eines Kalibrierungs-Verifizierungsprozesses 1200, der in eine Steuerung 34 im Steuerungssystem 100 von 1 eingebettet werden kann, die das ADS 70 und das Bildverarbeitungsmodul 500 von 5 gemäß der vorliegenden Offenbarung unterstützt. Auch hier ist die Abfolge der Vorgänge innerhalb des Verfahrens nicht auf die in 12 dargestellte sequenzielle Abarbeitung beschränkt, sondern kann in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden. Darüber hinaus könnte eine oder mehrere der im Kontext mit 12 dargestellten Aufgaben aus einer praktischen Ausführungsform des Verifizierungsprozesses 1200 ausgelassen und die beabsichtigte Gesamtfunktionalität trotz allem erhalten werden. In verschiedenen Ausführungsformen kann der Verifizierungsprozess 1200 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden (z. B. wenn das Fahrzeug 10, 400 einen stationären Zustand zeigt, der den Kalibrierungskriterien entspricht) und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10, 400 ausgeführt werden. Der Verifizierungsprozess 1200 könnte beispielsweise entsprechend periodischer Zeitintervalle (z. B. alle 5 Minuten), periodischer Entfernungsintervalle (z. B. alle 5 Meilen) und/oder dergleichen durchgeführt werden.
  • Der Kalibrierungs-Verifizierungsprozess 1200 beginnt oder initialisiert sich anderweitig, indem er einen aktualisierten Satz von Bilddaten und Lidar-Daten von einer gepaarten Kamera 502 und Lidar-Vorrichtung 504 erhält, für die eine vorhandene Kalibrierung bei 1202 analysiert werden soll. In exemplarischen Ausführungsformen ruft der Kalibrierungs-Verifizierungsprozess 1200 den vorstehend beschriebenen Datenerhebungsprozess 600 auf, um einen korrelierten Satz von Bild- und Lidar-Daten von den jeweiligen fahrzeugseitigen Vorrichtungen 502, 504 zu erhalten, während das Fahrzeug 10, 400 einen stationären Zustand zeigt, der auch die geltenden Kalibrierungskriterien erfüllt. Somit können die vom Kalibrierungs-Verifizierungsprozess 1200 verwendeten gepaarten Datensätze, wie vorstehend beschrieben, weniger anfällig für Rauschen sein und unter im Wesentlichen ähnlichen Fahrzeugbedingungen erhalten werden, als diejenigen, die für die vorherige Kalibrierung verwendeten gepaarten Datensätze erhalten wurden.
  • Der Kalibrierungs-Verifizierungsprozess 1200 erhält ebenfalls einen Referenzminimalwert für die Umwandlungskosten im Zusammenhang mit den kalibrierten Umwandlungsparametern des zu analysierenden Kamera-Lidar-Paares bei 1202. Diesbezüglich kann ein Steuermodul 34, 500 den gespeicherten minimalen Umwandlungskostenwert der vorhandenen Kalibrierung der gepaarten Kamera 502 und der Lidar-Vorrichtung 504 bei 1010 aus dem Datenspeicherelement 506 abrufen oder anderweitig beziehen. Das heißt, in anderen Ausführungsformen kann bei jedem Durchlauf des Kalibrierungs-Verifizierungsprozesses 1200 ein Referenz-Transformationskostenwert berechnet werden. So kann beispielsweise der Wert der Referenz-Transformationskosten unter Verwendung der vorhandenen Transformationsparameterwerte berechnet werden, wobei die vorherigen gepaarten Datensätze für die vorhandene Kalibrierung und die aktualisierten gepaarten Datensätze für die Verifizierung verwendet werden, sodass der Referenzwert für den gepaarten Datensatz zur Verifizierung der vorhandenen Kalibrierung verwendet wird.
  • In den exemplarischen Ausführungsformen wird der Kalibrierungs-Verifizierungsprozess 1200 fortgesetzt, indem einer oder mehrere der Transformationsparameterwerte variiert oder anderweitig angepasst werden, um die Transformationskosten unter Verwendung des aktualisierten Datensatzes bei 1206 zu minimieren und zu bestimmen, ob ein Transformationskostenwert erreicht werden kann, der kleiner ist als der Referenzwert bei 1208. Diesbezüglich minimiert das Steuermodul 34, 500 in ähnlicher Weise wie vorstehend bei 1006 beschrieben die Kosten der Umwandlung zwischen dem Kamera- und dem Lidar-Referenzrahmen über einen oder mehrere gepaarte Datensätze, die den aktualisierten Datensatz von 1202 durch Bestimmen von Werten für die Konvertierungsparameter beinhalten, welche die Gesamtkosten in Bezug auf die Unterschiede zwischen einer transformierten Position und der tatsächlichen Position der korrelierten nicht-horizontalen Kantenmerkmale minimieren. Wenn der minimierte Transformationskostenwert des Steuermoduls 34, 500 unter Verwendung des aktualisierten Satzes größer oder gleich dem Referenz-Transformationskostenwert ist, validiert oder verifiziert der Kalibrierungs-Verifizierungsprozess 1200 die vorhandene Kalibrierung und beendet sie auf andere Weise.
  • Wenn mit dem aktualisierten Datensatz von 1202 ein Transformationskostenwert erreicht werden kann, der kleiner als der Referenzwert ist, wird der Kalibrierungs-Verifizierungsprozess 1200 fortgesetzt, indem die nichthorizontalen Randbereiche des aktualisierten Datensatzes bei 1210 verglichen oder anderweitig analysiert werden, um zu überprüfen oder anderweitig zu bestätigen, dass keine der gepaarten Vorrichtungen bei 1212 einen anomalen Zustand aufweist. Diesbezüglich unterscheidet der Kalibrierungs-Verifizierungsprozess 1200 zwischen einem Kalibrierungsverlust oder einem anderen anomalen Zustand in Bezug auf die zuvor ermittelten kalibrierten Transformationsparameterwerte und einer Beeinträchtigung oder einem anderen anomalen Zustand in Bezug auf eine der zuvor kalibrierten fahrzeugseitigen Vorrichtungen 502, 504.
  • In einer exemplarischen Ausführungsform erkennt oder ermittelt das Steuermodul 34, 500 in sonstiger Weise einen anomalen Zustand, wenn ein innerhalb der aktualisierten Bilddaten identifizierter nicht-horizontaler Randbereich in den Lidar-Punktwolkendaten nicht vorhanden ist, oder umgekehrt, wenn eine Tiefendiskontinuität über eine Reihe der Lidar-Punktwolkendaten keinen entsprechenden nicht-horizontalen Randbereich innerhalb der aktualisierten Bilddaten aufweist. Mit anderen Worten, der Kalibrierungs-Verifizierungsprozess 1200 kann gewährleisten, dass sowohl in den aktualisierten Bilddaten als auch in den Lidar-Daten die gleiche Anzahl nicht-horizontaler Kanten vorhanden ist und dass jedes in einem der Datensätze identifizierte nicht-horizontale Kantenmerkmal ein entsprechendes nicht-horizontales Kantenmerkmal in dem anderen Datensatz aufweist. Wenn die nicht-horizontalen Randbereiche der aktualisierten Bilddaten mit den nicht-horizontalen Randbereichen der aktualisierten Lidar-Daten übereinstimmen oder anderweitig übereinstimmen und umgekehrt, stellt der Kalibrierungs-Verifizierungsprozess 1200 das Fehlen eines anomalen Zustands fest oder überprüft anderweitig die Funktion der gepaarten fahrzeugseitigen Vorrichtungen 502, 504.
  • Wenn verifiziert wurde, dass keine anomale Bedingung vorliegt und die gepaarten fahrzeugseitigen Vorrichtungen 502, 504 ordnungsgemäß funktionieren, wird der Kalibrierungs-Verifizierungsprozess 1200 mit der Rekalibrierung der fahrzeugseitigen Vorrichtungen 502, 504 bei 1214 in ähnlicher Weise wie vorstehend beschrieben fortgesetzt. In einer Ausführungsform ruft der Kalibrierungs-Verifizierungsprozess 1200 den Kalibrierungsprozess 1000 auf oder führt ihn anderweitig aus, um aktualisierte kalibrierte Transformationsparameterwerte zu identifizieren oder anderweitig zu bestimmen, wodurch die Kosten der Umwandlung zwischen Kamera und Lidar-Referenzrahmen kumulativ über die gepaarten Datensätze, die für die vorherige Kalibrierung und den aktualisierten Datensatz verwendet wurden, minimiert werden. In einigen Ausführungsformen kann der Kalibrierungs-Verifizierungsprozess 1200 die gespeicherten Transformationsparameterwerte aktualisieren, indem die Transformationsparameterwerte gespeichert werden, was zu den minimalen Transformationskosten bei 1206 im Datenspeicherelement 506 anstelle der vorherigen Transformationsparameterwerte führt. In anderen Ausführungsformen kann der Kalibrierungs-Verifizierungsprozess 1200 den Datenerhebungsprozess 600 aufrufen oder anderweitig durchführen, um zusätzliche neue oder aktualisierte gepaarte Datensätze zu erhalten, die dann zur Rekalibrierung der Beziehung zwischen den fahrzeugseitigen Vorrichtungen 502, 504 verwendet werden können, indem der Kalibrierungsprozess 1000 unter Verwendung dieser nachträglich erhaltenen gepaarten Datensätze aufgerufen oder ausgeführt wird. Durch die Verifizierung der fahrzeugseitigen Vorrichtungen 502, 504 vor der Rekalibrierung der Beziehung gewährleistet der Kalibrierungs-Verifizierungsprozess 1200, dass die aktualisierten Transformationsparameterwerte voraussichtlich genauer oder zuverlässiger sind als die vorhergehenden Transformationsparameterwerte.
  • Wenn die nicht-horizontalen Randbereiche der aktualisierten Bilddaten nicht mit den nicht-horizontalen Randbereichen der aktualisierten Lidar-Daten oder den nicht-horizontalen Randbereichen der aktualisierten Bilddaten übereinstimmen und die nicht-horizontalen Randbereiche der aktualisierten Lidar-Daten ansonsten keine Übereinstimmung zwischen den Datensätzen aufweisen, leitet der Kalibrierungs-Verifikationsprozess 1200 eine oder mehrere Korrekturmaßnahmen in Bezug auf die Vorrichtung ein, die den anomalen Zustand bei 1216 aufweist. Diesbezüglich erkennt oder identifiziert das Steuermodul 34, 500 in exemplarischen Ausführungsformen das Fehlen einer nicht-horizontalen Kante in einem der Datensätze, welche die entsprechende Quellvorrichtung 502, 504 anzeigen, für die die Daten einen anomalen Zustand aufweisen. Wenn beispielsweise eine oder mehrere nicht-horizontale Kanten mit einer Tiefendiskontinuität größer als ein Schwellenwert innerhalb der aktualisierten Lidar-Daten identifiziert werden und entsprechende nicht-horizontale Randbereiche in den aktualisierten Bilddaten fehlen, kann das Steuermodul 34, 500 einen anomalen Zustand der Kamera 502 bestimmen. Umgekehrt kann das Steuermodul 34, 500 bestimmen, dass die Lidar-Vorrichtung 504 einen anomalen Zustand basierend auf einer oder mehreren nicht-horizontalen Kanten aufweist, die innerhalb der aktualisierten Bilddaten identifiziert wurden und in den aktualisierten Lidar-Daten fehlen.
  • In der Praxis kann das Steuermodul 34, 500 die Beziehungen zu anderen fahrzeugseitigen Vorrichtungen 502, 504 nutzen, um die ordnungsgemäße Funktion der fahrzeugseitigen Vorrichtungen 502, 504 zu gewährleisten, die einen anomalen Zustand aufweisen können. Wenn beispielsweise mehrere Kameras 502 mit einer einzelnen Lidar-Vorrichtung 504 gepaart sind, wenn eine oder mehrere nicht horizontale Kanten, die innerhalb der aktualisierten Bilddaten einer Kamera 502 identifiziert wurden, in den aktualisierten Lidar-Daten fehlen, die dem Sichtfeld dieser Kamera entsprechen, und eine oder mehrere nicht horizontale Kanten, die innerhalb der aktualisierten Bilddaten einer anderen Kamera 502 identifiziert wurden, ebenfalls in den aktualisierten Lidar-Daten, die dem Sichtfeld der Kamera entsprechen, fehlen, kann das Steuermodul 34, 500 einen anomalen Zustand der Lidar-Vorrichtung 504 bestimmen. Ebenso kann das Steuermodul 34, 500 vor dem Bestimmen einer Kamera 502 einen anomalen Zustand aufweist, indem es aktualisierte Bilddaten von einer anderen Kamera 502 und Lidar-Daten entsprechend den nicht-horizontalen Kanten in diesen aktualisierten Bilddaten verwendet, um zu bestätigen, dass die Lidar-Vorrichtung 504 keinen anomalen Zustand aufweist.
  • In einer oder mehreren Ausführungsformen umfasst die durch den Kalibrierungs-Verifizierungsprozess 1200 eingeleitete Abhilfemaßnahme die vorübergehende Außerbetriebnahme der Vorrichtung 502, 504, die den anomalen Zustand aufweist. Wenn beispielsweise eine Lidar-Vorrichtung 404, 504 einen anomalen Zustand aufweist, kann das Steuermodul 34, 500 die Verwendung der Entfernungsmessdatenausgabe dieser Lidar-Vorrichtung 404, 504 deaktivieren oder anderweitig aussetzen und die Entfernungsmessdatenausgabe durch eine andere Instanz der Lidar-Vorrichtung 404, 504 im Fahrzeug verwenden. Umgekehrt kann das Steuermodul 34, 500, wenn eine Kamera 402, 502 einen anomalen Zustand aufweist, vorübergehend die Verwendung von Bilddaten dieser Kamera 402, 502 zum Zwecke der Objektklassifizierung oder dergleichen einstellen.
  • Die durch den Kalibrierungs-Verifizierungsprozess 1200 eingeleitete Abhilfemaßnahme kann auch eine oder mehrere Benutzerbenachrichtigungen mit einbeziehen. So kann beispielsweise das Steuermodul 34, 500 in einer Ausführungsform eine oder mehrere Leuchten, Indikatoren oder andere Elemente auf einem Armaturenbrett des Fahrzeugs 10, 400 aktivieren oder anderweitig beleuchten, um so einen Fahrzeuginsassen über den anormalen Zustand zu informieren. In einigen Ausführungsformen kann eine Anzeige auf dem Armaturenbrett auch anzeigen, bei welcher fahrzeugseitigen Vorrichtung 40, 502, 504 der Verdacht besteht, dass sie einen anormalen Zustand aufweist und eine Inspektion oder Wartung erforderlich ist. Das Steuermodul 34, 500 kann auch Ereignisinformationen über den anomalen Zustand protokollieren oder anderweitig speichern, beispielsweise die Identifizierung der Vorrichtung, die den anomalen Zustand aufweist, die Fahrzeugposition, in welcher der anomale Zustand erkannt wurde, und andere Informationen, die den Kontext oder Zustand des Fahrzeugs 10, 400 beim Auftreten des anomalen Zustands charakterisieren. In einigen Ausführungsformen übermittelt das Steuermodul 34, 500 eine Anzeige der Vorrichtung 40, 502, 504, die einen anomalen Zustand aufweist, an eine entfernte Vorrichtung 48, 52, 54, die wiederum eine grafische Anzeige der Vorrichtung 40, 502, 504, die einen anomalen Zustand aufweist, erzeugt oder anderweitig bereitstellt.
  • Als Reaktion auf eine Benachrichtigung eines anomalen Zustands kann ein Benutzer die Vorrichtung 40, 502, 504, die vermutlich einen anomalen Zustand aufweist, überprüfen und Maßnahmen in Bezug auf die Vorrichtung 40, 502, 504 ergreifen, um den normalen Betrieb der Vorrichtung 40, 502, 504 wiederherzustellen. So kann beispielsweise ein Benutzer ein Objektiv oder einen Sensor der Vorrichtung 40, 502, 504 reinigen, mögliche Behinderungen in Bezug auf die Sichtlinie der Vorrichtung 40, 502, 504 entfernen, ein Gehäuse der Vorrichtung 40, 502, 504 anpassen, die Art und Weise anpassen, in der die Vorrichtung 40, 502, 504 mit dem Fahrzeug 10, 400 in Eingriff steht oder an diesem angeordnet ist, elektrische Verbindungen oder Kommunikationsschnittstellen zwischen der Vorrichtung 40, 502, 504 und dergleichen anpassen. In noch weiteren Ausführungsformen kann der Benutzer die Vorrichtung 40, 502, 504 durch eine andere Instanz der Vorrichtung 40, 502, 504 ersetzen. Sobald der anomale Zustand behoben ist, kann die Benachrichtigung gelöscht werden, und als Reaktion darauf kann das Steuermodul 34, 500 anschließend den Datenerhebungsprozess 600 und den Kalibrierungsprozess 1000 neu initialisieren und den autonomen Betrieb des Fahrzeugs 10, 400 mit der Vorrichtung 40, 502, 504 wieder aufnehmen, die zuvor unter dem Verdacht eines anomalen Zustands war.
  • Durch den Kalibrierungs-Verifizierungsprozess 1200 kann ermittelt werden, welche der fahrzeugseitigen Vorrichtungen 40, 502, 504 im Verdacht stehen, einen anormalen Zustand aufzuweisen, wodurch Ausfallzeiten und andere mit einer Wartung verbundene Kosten reduziert sowie die Effizienz einer derartigen Wartung verbessert werden kann. Anstatt beispielsweise von einem Benutzer den Zugriff und/oder die Inspektion jeder der mehreren Kameras 502 und der Entfernungsmessvorrichtung 504 einzufordern, die sich in einem bestimmten Fahrzeug 10, 400 befinden können, kann die Wartung zunächst auf die bestimmte Vorrichtung 40, 502, 504 konzentriert werden, die im Verdacht steht, einen anomalen Zustand aufzuweisen. Darüber hinaus kann aufgrund des Kalibrierungs-Verifizierungsprozesses 1200, der zwischen der möglichen Ursache für den Verlust der Kalibrierung bei 1212 unterscheidet, der Kalibrierungs-Verifizierungsprozess 1200 dazu beitragen, dass ein Paar der Vorrichtungen 40, 502, 504 nicht neu kalibriert wird, wenn eine der Vorrichtungen 40, 502, 504 nicht ordnungsgemäß funktioniert, wodurch ein späterer Betrieb mit einer potentiell anomalen Vorrichtung 40, 502, 504 und/oder mit potentiell ungenauen Transformationsparameterwerten vermieden wird.
  • Es wird geschätzt, dass der hierin beschriebene Gegenstand eine zweckmäßigere und genauere Kalibrierung ermöglicht, indem nicht-horizontale Kanten, die weniger anfällig für Rauschen und andere Artefakte sind, isoliert und korreliert werden, sodass weniger Datensätze (oder Datensätze aus einer geringeren Anzahl von verschiedenen Fahrzeugpositionen) erforderlich sein können, um eine gewünschte Kalibrierungsgenauigkeit zu erreichen. So kann beispielsweise ein einzelnes Paar von Bild- und Lidar-Daten verwendet werden, um ein Kamera-Lidar-Paar zu kalibrieren, wenn die Anzahl der in der Umgebung identifizierten nicht-horizontalen Kanten größer als ein Schwellenwert ist (oder alternativ, wenn die Größe der Tiefen- oder Entfernungsschwankungen an den nicht-horizontalen Kanten größer als ein Schwellenwert für mindestens eine Schwellenwertanzahl der Kanten ist). Darüber hinaus ermöglicht die Verwendung von Fahrzeug-Odometrie- oder Stellungsinformationen eine Echtzeiterkennung, wenn das Fahrzeug stillsteht, um aktualisierte Datensätze zu erhalten, die aufgrund der Tatsache, dass das Fahrzeug stillsteht, auch weniger anfällig für Rauschen sind. Mehrere Kamera- und Lidargerätepaare können ebenfalls kalibriert (oder rekalibriert) werden oder ihre jeweiligen Kalibrierungen im Wesentlichen parallel unter Verwendung von Datensätzen, die im Stillstand erfasst wurden, verifiziert werden. Obwohl der hierin beschriebene Gegenstand in erster Linie im Kontext der Kalibrierung eines Kamerabildes auf Lidar-Punktwolkendaten liegt, ist der Gegenstand nicht notwendigerweise auf Kameras oder Lidar beschränkt und könnte im Kontext eines beliebigen anderen Paares oder einer Kombination von Vorrichtungen unterschiedlicher Bildgebungs- oder Vermessungsarten verwendet werden, um Beziehungen zwischen Datensätzen von verschiedenen, unabhängig voneinander agierenden Vorrichtungen zu kalibrieren.

Claims (10)

  1. Verfahren zur Steuerung eines Fahrzeugs (10, 400), das Verfahren umfassend: das Erkennen eines stationären Zustands des Fahrzeugs (10, 400) über ein Steuermodul (34, 500) an Bord des Fahrzeugs (10, 400), basierend zumindest teilweise auf dem Ausgang eines Sensorsystems (28) an Bord des Fahrzeugs (10, 400); als Reaktion auf den stationären Zustand: Erhalten, über das Steuermodul (34, 500), eines ersten Bildes von einer Bildgebungsvorrichtung (40, 402, 502) an Bord des Fahrzeugs (10, 400) während des stationären Zustands; und Erhalten, über das Steuermodul (34, 500), eines ersten Satzes von Entfernungsmessdaten, die einem Sichtfeld der Bildgebungsvorrichtung (40, 402, 502) entsprechen, von einer Entfernungsmessvorrichtung (40, 504) an Bord des Fahrzeugs (10, 400) während des stationären Zustands; Korrelieren erster Randbereiche aus dem ersten Bild mit zweiten Randbereichen des ersten Satzes von Messdaten über das Steuermodul (34, 500); Erfassen eines anomalen Zustands basierend auf einer Beziehung zwischen dem korrelierten ersten und zweiten Randbereich in Bezug auf eine Referenzbeziehung, die mit einem oder mehreren Transformationsparameterwerten verknüpft ist; und als Reaktion auf den anomalen Zustand, Einleiten einer oder mehrerer Abhilfemaßnahmen in Bezug auf den anomalen Zustand.
  2. Verfahren nach Anspruch 1, wobei: das Erfassen des anomalen Zustands das Bestimmen des anomalen Zustands in Bezug auf eine der Bildgebungsvorrichtungen (40, 402, 502) umfasst und die Entfernungsmessvorrichtung (40, 504) basierend auf der Beziehung zwischen den ersten Randbereichen und den zweiten Randbereichen existiert, wenn ein minimaler Transformationsaufwand in Verbindung mit der Korrelation zwischen den ersten Randbereichen und den zweiten Randbereichen größer ist als ein Referenztransformationsaufwand in Verbindung mit dem einen oder den mehreren Transformationsparameterwerten; und das Einleiten der einen oder mehreren Abhilfemaßnahmen das Einleiten einer oder mehrerer Abhilfemaßnahmen in Bezug auf die eine der Bildgebungsvorrichtung (40, 402, 502) und die Entfernungsmessvorrichtung (40, 504) umfasst.
  3. Verfahren nach Anspruch 2, weiterhin umfassend das Bestimmen eines oder mehrerer aktualisierter Transformationsparameterwerte zum Transformieren zwischen dem Referenzrahmen, welcher der Bildgebungsvorrichtung (40, 402, 502) zugeordnet ist, und dem Referenzrahmen, welcher der Entfernungsmessvorrichtung (40, 504) zugeordnet ist, basierend zumindest teilweise auf der Beziehung zwischen den ersten Randbereichen und den zweiten Randbereichen, wenn eine Übereinstimmung zwischen den ersten Randbereichen und den zweiten Randbereichen besteht.
  4. Verfahren nach Anspruch 2, wobei das Bestimmen, ob der anomale Zustand vorliegt, das Erfassen eines anomalen Zustands in Bezug auf die Entfernungsmessvorrichtung (40, 504) umfasst, wenn einer oder mehrere der ersten Randbereiche keine Übereinstimmung in den zweiten Randbereichen aufweisen.
  5. Verfahren nach Anspruch 2, wobei das Bestimmen, ob der anomale Zustand vorliegt, das Erfassen eines anomalen Zustands in Bezug auf die Bildgebungsvorrichtung (40, 402, 502) umfasst, wenn einer oder mehrere der zweiten Randbereiche keine Übereinstimmung in den ersten Randbereichen aufweisen.
  6. Verfahren nach Anspruch 1, ferner umfassend: Anwenden eines Filters auf das erste Bild, um die ersten Randbereiche zu identifizieren; und Identifizieren von Tiefendiskontinuitäten entlang horizontaler Reihen des ersten Satzes von Messdaten, um die zweiten Randbereiche zu identifizieren.
  7. Fahrzeug (10, 400), umfassend: eine erste Vorrichtung an Bord des Fahrzeugs (10, 400), die erste Daten bereitstellt; eine zweite Vorrichtung an Bord des Fahrzeugs (10, 400), die zweite Daten bereitstellt; ein Datenspeicherelement (506) an Bord des Fahrzeugs (10, 400), das einen oder mehrere Transformationsparameterwerte beibehält, die mit einer Paarung der ersten Vorrichtung und der zweiten Vorrichtung verbunden sind; einen oder mehrere Sensoren (28, 40) an Bord des Fahrzeugs (10, 400); und eine Steuerung (34), die durch einen Prozessor (44) einen stationären Zustand basierend auf der Ausgabe des einen oder der mehreren Sensoren (28, 40) erfasst, einen ersten Satz der ersten Daten von der ersten Vorrichtung während des stationären Zustands erhält, Bereiche aus dem ersten Satz filtert, was zu einem gefilterten Satz der ersten Daten führt, einen zweiten Satz der zweiten Daten während des stationären Zustands erhält, einen anomalen Zustand in Bezug auf eine der ersten Vorrichtungen und die zweite Vorrichtung basierend auf der Beziehung zwischen dem gefilterten Satz der ersten Daten und dem zweiten Satz der zweiten Daten erkennt und eine Abhilfemaßnahme in Bezug auf die erste Vorrichtung und die zweite Vorrichtung einleitet.
  8. Fahrzeug (10, 400) nach Anspruch 7, wobei die Steuerung (34) den einen oder die mehreren Transformationsparameterwerte basierend auf einer Beziehung zwischen dem gefilterten Satz der ersten Daten und dem zweiten Satz der zweiten Daten validiert.
  9. Fahrzeug (10, 400) nach Anspruch 7, wobei die Steuerung (34) erste nicht-horizontale Randbereiche des gefilterten Satzes der ersten Daten identifiziert, zweite nicht-horizontale Randbereiche des zweiten Satzes der zweiten Daten identifiziert, die ersten nicht-horizontalen Randbereiche und die zweiten nicht-horizontalen Randbereiche vergleicht und den anomalen Zustand bezüglich einer der ersten Vorrichtung und der zweiten Vorrichtung basierend auf dem Vergleich identifiziert.
  10. Fahrzeug (10, 400) nach Anspruch 7, wobei die erste Vorrichtung eine Kamera (402, 502) und die zweite Vorrichtung eine Entfernungsmessvorrichtung (40, 504) umfasst.
DE102018116108.5A 2017-07-06 2018-07-03 Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens Active DE102018116108B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/642,932 US10176596B1 (en) 2017-07-06 2017-07-06 Calibration verification methods for autonomous vehicle operations
US15/642,932 2017-07-06

Publications (2)

Publication Number Publication Date
DE102018116108A1 DE102018116108A1 (de) 2019-01-10
DE102018116108B4 true DE102018116108B4 (de) 2024-02-08

Family

ID=64666429

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018116108.5A Active DE102018116108B4 (de) 2017-07-06 2018-07-03 Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens

Country Status (3)

Country Link
US (1) US10176596B1 (de)
CN (1) CN109212543B (de)
DE (1) DE102018116108B4 (de)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053524A1 (en) 2017-09-18 2019-03-21 Telefonaktiebolaget L M Ericsson (Publ) NETWORK ASSISTED SCANNING OF AN AMBIENT ENVIRONMENT
WO2019053695A1 (en) 2017-09-18 2019-03-21 Telefonaktiebolaget L M Ericsson (Publ) SYSTEM AND METHOD FOR PROVIDING ACCURATE DRIVING RECOMMENDATIONS BASED ON NETWORK-ASSISTED SCAN OF AN AMBIENT ENVIRONMENT
US10852731B1 (en) 2017-12-28 2020-12-01 Waymo Llc Method and system for calibrating a plurality of detection systems in a vehicle
US11435456B2 (en) * 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization
US11294060B2 (en) * 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
US11327156B2 (en) * 2018-04-26 2022-05-10 Metawave Corporation Reinforcement learning engine for a radar system
US11067693B2 (en) * 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
US11451688B2 (en) 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
US10582137B1 (en) * 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
DK180555B1 (en) 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
CN110049444A (zh) * 2018-12-29 2019-07-23 ***股份有限公司 基于5g的定位方法以及基于5g的定位***
CN113418543B (zh) * 2019-01-16 2023-06-20 北京百度网讯科技有限公司 自动驾驶传感器的检测方法、装置、电子设备及存储介质
US10503174B1 (en) * 2019-01-31 2019-12-10 StradVision, Inc. Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
CN109884652A (zh) * 2019-03-04 2019-06-14 光梓信息科技（上海）有限公司 脉冲激光驱动器及延时校准方法、激光雷达及测距方法
US11681030B2 (en) 2019-03-05 2023-06-20 Waymo Llc Range calibration of light detectors
US11276189B2 (en) * 2019-03-06 2022-03-15 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
JP6933677B2 (ja) * 2019-03-07 2021-09-08 本田技研工業株式会社 車両制御装置、車両制御方法、車両およびプログラム
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
EP3719696A1 (de) 2019-04-04 2020-10-07 Aptiv Technologies Limited Verfahren und vorrichtung zur lokalisierung eines sensors in einem fahrzeug
DE102019206036A1 (de) * 2019-04-26 2020-10-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs
US11835627B2 (en) * 2019-07-05 2023-12-05 WeRide Corp. Image capturing method and device
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
WO2021051296A1 (en) * 2019-09-18 2021-03-25 Beijing Voyager Technology Co., Ltd. Systems and methods for calibrating a camera and a multi-line lidar
JP7420038B2 (ja) * 2019-10-16 2024-01-23 株式会社デンソー 車載の異常検出装置
US11747453B1 (en) 2019-11-04 2023-09-05 Waymo Llc Calibration system for light detection and ranging (lidar) devices
US11726189B2 (en) 2019-12-09 2023-08-15 Nio Technology (Anhui) Co., Ltd. Real-time online calibration of coherent doppler lidar systems on vehicles
GB202305331D0 (en) * 2019-12-18 2023-05-24 Motional Ad Llc Camera-to-lidar calibration and validation
CN111060507B (zh) * 2019-12-24 2021-05-04 北京嘀嘀无限科技发展有限公司 一种车辆验证方法及装置
US11520024B2 (en) * 2019-12-24 2022-12-06 Nio Technology (Anhui) Co., Ltd. Automatic autonomous vehicle and robot LiDAR-camera extrinsic calibration
US11892560B2 (en) 2020-02-03 2024-02-06 Nio Technology (Anhui) Co., Ltd High precision multi-sensor extrinsic calibration via production line and mobile station
US11367347B2 (en) 2020-02-24 2022-06-21 Ford Global Technologies, Llc Enhanced sensor operation
EP3883235A1 (de) 2020-03-17 2021-09-22 Aptiv Technologies Limited Kamerassteuerungsmodule und verfahren
US20210334645A1 (en) * 2020-04-28 2021-10-28 Nvidia Corporation Notifications determined using one or more neural networks
CN111577251A (zh) * 2020-05-20 2020-08-25 杭州盈飞驰科技有限公司 一种5g网络在线油井探深装置及其方法
US20210373138A1 (en) * 2020-05-29 2021-12-02 GM Global Technology Operations LLC Dynamic lidar alignment
US11551456B2 (en) * 2020-06-17 2023-01-10 Ford Global Technologies, Llc Enhanced infrastructure
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准***
US11199614B1 (en) 2020-07-08 2021-12-14 Beijing Voyager Technology Co., Ltd Lidar and image calibration for autonomous vehicles
US20220048526A1 (en) * 2020-08-14 2022-02-17 Continental Automotive Systems, Inc. Method and apparatus for self-diagnosis, self-calibration, or both in an autonomous or semi-autonomous vehicles
US20220091266A1 (en) * 2020-09-18 2022-03-24 Denso International America, Inc. Systems and methods for enhancing outputs of a lidar
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
US11734880B2 (en) * 2020-12-31 2023-08-22 Waymo Llc Sensor calibration with environment map
US11702089B2 (en) 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
DE102021101593B3 (de) 2021-01-26 2022-03-31 Audi Aktiengesellschaft Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
DE102021107938A1 (de) 2021-03-30 2022-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zur Entwicklung, Parametrierung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems
DE102022204240A1 (de) 2022-04-29 2023-11-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren eines Sensors für ein Fahrerassistenzsystem und Steuergerät
CN115561772B (zh) * 2022-08-26 2023-08-29 东莞理工学院 一种基于视觉区域导向性的激光雷达驾驶环境认知***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
US20190011927A1 (en) 2017-07-06 2019-01-10 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
DE102016117710B4 (de) 2015-10-06 2022-09-22 GM Global Technology Operations LLC Verfahren und fusionssystem zur bestimmung der geschwindigkeit eines zielobjektes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095080A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and system for improving car safety using image-enhancement
US8755997B2 (en) * 2008-07-30 2014-06-17 Honeywell International Inc. Laser ranging process for road and obstacle detection in navigating an autonomous vehicle
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
US9404742B2 (en) * 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques
US10165265B2 (en) * 2014-09-30 2018-12-25 Sikorsky Aircraft Corporation Online sensor calibration verification system
CN104808216B (zh) * 2015-04-28 2018-05-11 马宁 一种基于激光雷达测距的车辆防碰撞预警***
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016117710B4 (de) 2015-10-06 2022-09-22 GM Global Technology Operations LLC Verfahren und fusionssystem zur bestimmung der geschwindigkeit eines zielobjektes
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
US20190011927A1 (en) 2017-07-06 2019-01-10 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Norm IEEE 802.11 2016-12-14. IEEE Standard for information technology -Telecommunications and information exchange between systems local and metropolitan area networks -Specific requirements - Part 11: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specifications. S. 1-3534. - ISSN 1558-0814 (E); 0018-9162 (P). DOI: 10.1109/IEEESTD.2016.7786995. URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7786995 [abgerufen am 19.06.2017]

Also Published As

Publication number Publication date
CN109212543B (zh) 2023-08-01
CN109212543A (zh) 2019-01-15
DE102018116108A1 (de) 2019-01-10
US10176596B1 (en) 2019-01-08
US20190012808A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
DE102018116108B4 (de) Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens
DE102018116107A1 (de) Kalibrierungsverfahren für den betrieb von autonomen fahrzeugen
DE102018109371A1 (de) Kalibrierungsvalidierung für den betrieb von autonomen fahrzeugen
DE102018109366B4 (de) Verfahren zur lichtsignalanlagenerfassung
DE102018106353A1 (de) Vorübergehende datenzuordnungen zum betreiben von autonomen fahrzeugen
CN109920246B (zh) 一种基于v2x通信与双目视觉的协同局部路径规划方法
DE102018105140A1 (de) Objektverfolgung
DE102018121597A1 (de) Boden-referenzbestimmung für den betrieb von autonomen fahrzeugen
DE102017126877B4 (de) Kraftfahrzeug
DE102018107754A1 (de) Objektverfolgung
DE102019102195B4 (de) Autonomes Antriebssystem für ein Fahrzeug, Fahrzeug mit solch einem autonomen Antriebssystem sowie Verfahren zum Erkennen einer Kollision zwischen einem autonomen Fahrzeug und einem Objekt
DE102017201852B4 (de) Parkassistenzsystem für ein Fahrzeug und ein Verfahren zu dessen Nutzung
DE102018112115A1 (de) Verfahren und Systeme zum Ermitteln der Geschwindigkeit von sich bewegenden Objekten
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102018132982A1 (de) Systeme und verfahren zum ausrichten einer trägheitsmesseinheit in einem fahrzeug
DE102019104482A1 (de) Massen-abtastende punktwolkenkarte
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE102018114600A1 (de) Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug
DE102018114596A1 (de) Systeme und verfahren zum reinigen eines fahrzeugs
DE102018131479A1 (de) Systeme, verfahren und vorrichtungen zur erkennung von diagnosefehlern mit parameterdaten unter verwendung einer redundanten prozessorarchitektur
DE102018119469A1 (de) System und verfahren zur verbesserten hinderniserkennung unter verwendung eines v2x-kommunikationssystems
DE102018120845A1 (de) Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs
DE102017126925A1 (de) Automatisierte Co-Pilotsteuerung für autonome Fahrzeuge
DE102018115399A1 (de) Systeme und verfahren zur steuerung des sichtfelds einer sensorvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division