DE102018221449A1

DE102018221449A1 - Sensorsystem zur Objekterkennung

Info

Publication number: DE102018221449A1
Application number: DE102018221449.2A
Authority: DE
Inventors: Andreas Koch; Andreas Löffler; Dennis Kinder; Jonathan Wache; Frank Gruson
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2020-06-18

Abstract

Sensorsystem (1) zur Objekterkennung, insbesondere für ein Fahrzeug (2), umfassend einen Sensor zur Objekterkennung, der Sensordaten anhand elektromagnetischer und/oder optischer Signale erzeugt, eine Vorrichtung zur akustischen Datenerfassung von Audiodaten, und eine Dateneinrichtung (7) zur gemeinsamen Datenerfassung und/oder Datenverarbeitung der Sensordaten des Sensors zur Objekterkennung und der Audiodaten.

Description

Die vorliegende Erfindung betrifft ein Sensorsystem zur Objekterkennung, insbesondere für ein Fahrzeug, sowie ein Fahrzeug mit einem solchen Sensorsystem.
Technologischer Hintergrund
Gattungsgemäße Fahrzeuge bzw. Fortbewegungsmittel, wie z. B. Kraftfahrzeuge oder Motorräder, werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche mit Hilfe von Sensorsystemen die Umgebung erfassen, Verkehrssituationen erkennen und den Fahrer unterstützen, z. B. durch einen Brems- oder Lenkeingriff oder durch die Ausgabe einer optischen oder akustischen Warnung. Als Sensorsysteme zur Umgebungserfassung werden regelmäßig Radarsensoren, Lidarsensoren, Kamerasensoren oder dergleichen eingesetzt. Aus den durch derartigen Sensoren erfassten Sensordaten können anschließend Rückschlüsse auf die Umgebung gezogen werden.
Die Umgebungserfassung mittels Radarsensoren basiert auf der Aussendung von gebündelten elektromagnetischen Wellen und deren Reflexion, z. B. durch andere Verkehrsteilnehmer, Hindernissen auf der Fahrbahn oder die Randbebauung der Fahrbahn. Anschließend können durch die vom Radarsensor wieder empfangenen Signale Rückschlüsse auf die Objekte geschlossen werden, welche das Radarsignal reflektiert haben. Diese Objekte können anschließend klassifiziert werden, beispielsweise in bewegliche Objekte oder Ziele, wie z. B. andere Verkehrsteilnehmer oder statische, unbewegliche Objekte, wie z. B. die Randbebauung der Fahrbahn, Leitplanken oder dergleichen. Die Klassifizierung von Objekten ist dabei unter Nutzung verschiedener Parameter möglich, wie z. B. Rückstreukoeffizient/RCS (Radar Cross Section), Mikro-Doppler-Signatur, Bewegungsprofil oder dergleichen. Jedoch kann bei herkömmlichen Radarsensoren nicht beliebig klassifiziert werden. So lässt sich beispielsweise ein Ambulanzfahrzeug (mit aktivem Martinshorn) nicht von einem 3,5 t-Lastkraftfahrzeug unterscheiden. Dies kann jedoch für verschiedene Verkehrssituationen von entscheidender Bedeutung sein, insbesondere bei einer (teil-) autonomen Fahrzeugführung, beispielsweise bei der Planung von Überhol- und Ausweichmanövern oder etwa dem Bilden einer Rettungsgasse. Dementsprechend ist die Unterscheidung derartiger Hindernisse bzw. die korrekte Objektklassifizierung von besonderer Bedeutung, um zu ermitteln, wann z. B. ein Brems- oder Lenkeingriff eingeleitet werden soll.
Druckschriftlicher Stand der Technik
Aus der EP 2 833 336 A1 ist eine Fahrassistenzvorrichtung bekannt, die ein separates Mikrofon aufweist, das an dem Fahrzeug montiert ist, um Schallinformationen im Umfeld des Fahrzeuges zu erfassen. Zudem ist ein Fahrassistenzmittel vorgesehen, das eine Fahrassistenz ausführt, die basierend auf vom Mikrofon erfassten Schallinformationen erfolgt. Ferner kann neben dem Mikrofon auch ein anderes Mittel zur Umgebungserfassung verwendet werden, z. B. eine Kamera oder ein Radar, welche das separate Mikrofon beinhalten kann. Durch diese Anordnung soll die Genauigkeit bei der Umgebungserfassung verbessert werden.
Die US 8,525,654 B2 offenbart eine Tote-Winkel-Detektion („Blind-Spot-Detection“) für ein Fahrzeug. Die Tote-Winkel-Detektion umfasst hierzu ein Mikrofon, das Geräusche während der Fahrt erfasst. Für den Fall, dass sich in dem toten Winkel des Fahrzeuges nun ein anderes Fahrzeug befindet, werden durch das Mikrofon zunächst alle Fahrgeräusche erkannt. Anschließend wird das Fahrzeuggeräusch des im toten Winkel befindlichen Fahrzeuges mittels einer Fahrzeuggeräusch-Extraktionseinheit extrahiert. Anhand des extrahierten Fahrzeuggeräusches kann dann ermittelt werden, ob sich ein Fahrzeug im toten Winkel befindet oder nicht.
Aufgabe der vorliegenden Erfindung
Die Aufgabe der vorliegenden Erfindung besteht nunmehr darin, ein Sensorsystem zur Verfügung zu stellen, durch das die Objekterkennung ausgehend vom Stand der Technik in einfacher und kostengünstiger Weise verbessert wird.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Das erfindungsgemäße Sensorsystem zur Objekterkennung ist insbesondere für die Objekterkennung eines Fahrzeuges hergerichtet und dient dabei z. B. zur Sensordatenerfassung eines Fahrerassistenzsystems. Das Sensorsystem umfasst einen Sensor zur Objekterkennung, der Sensordaten anhand elektromagnetischer und/oder optischer Signale erzeugt, sowie mindestens eine Vorrichtung zur akustischen Datenerfassung von Audiodaten. Ferner ist eine Dateneinrichtung zur gemeinsamen Datenerfassung und/oder Datenverarbeitung der Sensordaten des Sensors zur Objekterkennung und der Audiodaten vorgesehen, d. h. innerhalb einer Einheit. Dadurch kann eine Fusion und gemeinsame Auswertung der Sensor- und Audiodaten erfolgen und zur Klassifizierung von Objekten herangezogen werden. Daraus resultiert der Vorteil, dass neben der Objekterfassung mittels elektromagnetischer und/oder optischer Signale auch akustische Signale bzw. Audiodaten verwendet werden können, um die Objekte zu erfassen und anschließend zu klassifizieren. Beispielsweise kann eine bessere Klassifizierung eines Krankenwagens mit aktivem Warnsignal erfolgen, indem die Erkennung des Krankenwagens bzw. dessen Karosserie durch die Sensordaten und des dazugehörigen Warnsignals anhand der Audiodaten erfolgt. Die Fusion kann dabei die Sicherheit der Objektklassifikation in besonderem Maße verbessern. Gegenüber dem Stand der Technik kann anhand des vorliegenden Sensorsystems somit eine neuartige Integration von einer Vorrichtung zur akustischen Datenerfassung in einem Sensor zur Objekterkennung realisiert werden, d. h. eine hochintegrierte Kombination auf Hardware- und Softwareebene z. B. durch eine gemeinsame Anordnung sowie eine gemeinsame Datenerfassung und/oder Datenverarbeitung. Die Erfassung und Klassifikation der Objekte wird dadurch in besonderem Maße verbessert, da durch die Audiodaten ein zusätzlicher, redundanter Parameter desjeweiligen Objekts erfasst wird, der zugleich mit den Sensordaten zur Objekterkennung auswertbar ist. Ein weiterer Vorteil ergibt sich für einen derartig kombinierten Sensor beim Einsatz in Elektrofahrzeugen, z. B. in urbanen Szenarien, aufgrund der vergleichsweise geringen Motorgeräuschbelastung bzw. aufgrund der Charakteristik der leicht zu kompensierenden Motorstörgeräusche eines Elektrofahrzeuges.
Vorzugsweise handelt es sich bei dem Sensor zur Objekterkennung um einen Radarsensor, sodass das Sensorsystem einen kombinierten Radar-Akustik-Sensor darstellt. Alternativ oder zusätzlich kann jedoch auch ein Lidarsensor oder Kamerasensor oder ein anderer aus dem Stand der Technik bekannter Sensor zur Objekterkennung vorgesehen sein.
Gemäß einer bevorzugten Ausgestaltung des Sensorsystems umfasst die Vorrichtung zur akustischen Datenerfassung ein Mikrofon. In vorteilhafter Weise sind jedoch mindestens zwei Mikrofone zur akustischen Datenerfassung vorgesehen, um somit eine Stereoaufnahme bzw. Stereodatenerfassung zu erzeugen.
Der Abstand der Trommelfelle im menschlichen Gehörgang liegt gemittelt im Bereich von etwa 20 cm. Zweckmäßigerweise beträgt der Abstand der Mikrofone 3 cm bis 25 cm, vorzugsweise 4 cm bis 20 cm, vorzugsweise 5 cm bis 15 cm, in besonders bevorzugter Weise 6 cm bis 14 cm. Hinsichtlich der akustischen Ortungseigenschaft, d. h. der Quellen-Winkelbestimmung in Abhängigkeit von der Frequenz, kann somit das menschliche Stereo-Hörvermögen zur Orientierung herangezogen werden.
Zweckmäßigerweise umfasst der Sensor zur Objekterkennung ein Gehäuse. Beispielweise kann es sich bei dem Gehäuse um das Sensorgehäuse eines herkömmlichen Radarsensors handeln. In einfacher Weise kann die Vorrichtung zur akustischen Datenerfassung bzw. können die Mikrofone in oder am Gehäuse angeordnet sein. Ausdrücklich umfasst die Erfindung auch Anordnungen, bei denen z. B. die Mikrofone nur teilweise innerhalb des Gehäuses angeordnet sind. Die Herstellungs- und Materialkosten können dadurch in besonderem Maße verringert werden.
Vorzugsweise weist die Dateneinrichtung zur gemeinsamen Datenerfassung einen Multiplexer auf, der schalttechnisch zwischen dem Sensor zur Objekterkennung und der Vorrichtung zur akustischen Datenerfassung angeordnet ist, d. h. zwischen Radarsensor und dem Mikrofon bzw. den Mikrofonen, und insbesondere dazu hergerichtet ist, diese abwechselnd zu schalten, so dass die Sensordaten und die Audiodaten abwechselnd erfasst werden.
Alternativ oder zusätzlich kann die Erfassung der Audiodaten durch die Dateneinrichtung auch während einer Sende- und/oder Empfangspause beim Senden der Radarsignale erfolgen. Daraus resultiert der Vorteil, dass dabei eine Überabtastung des Audiosignals entsteht (z. B. Sampling mit z. B. 20 MHz statt mit 20 kHz), wodurch z. B. das Phasenrauschen bestimmt werden kann. Ferner kann eine Erhöhung des Dynamic Range erzielt werden, woraus eine höhere Empfindlichkeit resultiert.
Gemäß einer besonderen Ausgestaltung der Erfindung können die Audiodaten und die Radardaten von der Dateneinrichtung gemeinsam abgetastet werden.
Zur gemeinsamen (d. h. zeitsynchronen) Abtastung kann die Dateneinrichtung und/oder die Vorrichtung zur akustischen Datenerfassung einen Koppler umfassen, der die Audiodaten vorfiltert. Vorzugsweise werden die Audiodaten hierbei tiefpassfiltert, sodass diese anschließend gemeinsam mit den Radardaten abgetastet werden können. In gleicher Weise kann auch eine Hochpassfilterung der Radardaten vorgesehen sein.
Zweckmäßigerweise kann die Dateneinrichtung eine Trennung der Sensordaten bzw. der Radardaten oder des Radarsignals und die Audiodaten bzw. des Audiosignals innerhalb der Digitaldomäne durchführen. Als besonders vorteilhaft hat sich dabei erwiesen, die Trennung anhand einer Filterung durchzuführen, wobei die Sensordaten bzw. Radarsignale anhand eines Hochpassfilters und die Audiodaten anhand eines Tiefpassfilters gefiltert werden, um diese voneinander zu trennen.
Vorzugsweise ist dazu ein Mikrocontroller bzw. Mikroprozessor zur gemeinsamen Radardaten- und Audiodatenverarbeitung vorgesehen. Bei dem Mikrocontroller kann es sich z. B. um den Mikrocontroller eines Radarsensors handeln, der in der Regel zur Radarsignalverarbeitung dient. Die Erfindung kann dadurch in besonders einfacher und kostengünstiger Weise implementiert und in bestehenden Systemen nachgerüstet werden.
Ferner können die Audiosignale der Mikrofone zur Erkennung von mechanischen Defekten oder Fehlfunktionen am Fahrzeug verwendet werden. Beispielsweise verursachen mechanische Defekte am Fahrzeug oftmals zusätzliche Geräusche, welche durch die Mikrofone erfasst werden können. Durch auslesen bzw. abhören und analysieren der Fahrzeuggeräusche können dadurch löchrige Abgasanlagen, rasselnde Lager, andere auffällige Motorgeräusche, defekte Reifen oder dergleichen identifiziert werden.
Darüber hinaus kann über das Abhören von Reifengeräuschen bzw. Reifenabrollgeräuschen der Reifen des Fahrzeuges anhand der Vorrichtung zur akustischen Audiosignalerfassung (Mikrofonen) eine Erkennung der Fahrbahneigenschaften durchgeführt werden, da die Reifengeräusche bzw. die Tonspur dieser abhängig von der Oberflächenbeschaffenheit der Fahrbahn oder dem Fahrbahnzustand charakteristische Audiomerkmale aufweisen. Beispielsweise kann dadurch erkannt werden, ob die Fahrbahn z. B. nass, trocken, verschneit oder vereist ist. Zudem kann auch erkannt werden, ob es sich bei der Fahrbahnoberfläche z. B. um Asphalt, Kopfsteinpflaster, Beton, Waldboden, Schotter oder dergleichen handelt. Die Fahrbahneigenschaften bzw. die Fahrbahnbeschaffenheit kann anschließend entweder dem Fahrer angezeigt oder als Parameter zur Steuerung von (teil-/autonomen) Fahrfunktionen und Assistenzsystemen verwendet werden. Die Sicherheit des jeweiligen Assistenzsystems bzw. der Fahrfunktion kann dadurch in besonderem Maße verbessert werden.
Zweckmäßigerweise können auch die Radardaten bzw. Radarsignale und/oder Audiodaten bzw. Audiosignale mehrerer Sensoren bzw. Radarsensoren mit integrierten Mikrofonen zusammen verarbeitet werden. Dadurch kann eine verbesserte Lokalisation von Schallquellen erreicht werden. Die gemeinsame Verarbeitung kann in einfacher Weise z. B. auf einem der Radarsensoren, der Dateneinrichtung bzw. einer zentralen Recheneinheit erfolgen.
Ferner beansprucht die vorliegende Erfindung ein Fahrzeug mit einem erfindungsgemäßen Sensorsystem, welches dabei z. B. Teil eines Fahrerassistenzsystems oder einer Steuerung zur (teil)-autonomen Fahrzeugführung ist.
Figurenliste
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher erläutert. Es zeigen:

1 eine vereinfachte schematische Darstellung eines erfindungsgemäßen Sensorsystems mit einem Radarsensor und zwei integrierten Mikrofonen;
2 eine vereinfachte schematische Darstellung verschiedener Ansichten des Sensorsystems aus 1;
3 eine vereinfachte schematische Darstellung einer Radar-Datenerfassung;
4 eine vereinfachte schematische Darstellung eines Ausführungsbeispiels eines Schaltbildes zur Integration der Audio-Datenerfassung, sowie
5 eine vereinfachte schematische Darstellung einer Implementierungsvariante zur kombinierten Radar-Audio-Datenerfassung.

Bezugsziffer 1 in 1 beschreibt ein Sensorsystem, welches in einem Fahrzeug 2 angeordnet ist. Vorzugsweise ist das Sensorsystem 1 im Frontbereich des Fahrzeuges 2 angeordnet, wie z. B. vor dem Motorraum, hinter dem Radom, im Bereich der Stoßstange, hinter der Windschutzscheibe oder dergleichen (exemplarisch anhand von zwei Sensoren in 1 dargestellt). Gemäß 2 weist das Sensorsystem 1 einen Radarsensor 3 zur Objekterkennung anhand von aus elektromagnetischen Signalen erzeugten Radardaten sowie zwei Mikrofone 4, 5 zur akustischen Datenerfassung auf. Bei den Mikrofonen 4, 5 kann es sich z. B. um MEMS (Microelectromechanical Systems)-Mikrofone handeln, die z. B. im Mobilfunkbereich eingesetzt werden. Die Mikrofone 4, 5 werden vorzugsweise an den Seiten des Gehäuses 6 des Radarsensors 3 angeordnet, wie in 2 dargestellt, wobei diese wahlweise außerhalb oder innerhalb des Gehäuses 6 angeordnet sein können. Die akustische Dämpfung beim Verbau innerhalb des Gehäuses 6, kann insbesondere zur Unterdrückung von Störgeräuschen sinnvoll sein. In praktischer Weise kann es sich bei dem Gehäuse 6 um das Radarsensorgehäuse eines herkömmlichen Radarsensors handeln, sodass die Mikrofone 4, 5 in einfacher Weise eine Art Erweiterung eines bestehenden Radarsensorsystems sind. Bei einer derartigen Anordnung erfolgt der Verbau der Mikrofone 4, 5 z. B. im Bereich der Druckausgleichsmembran des Radarsensors 3. Ferner kann ein Chip (MMIC) zur akustischen Datenerfassung vorgesehen sein.
Vorzugsweise umfassen die Mikrofone 4, 5 mechanische Tiefpassfilter, um Störgeräusche, die z. B. vom Fahrzeug 2 selbst oder durch Strömungsakustik induziert sind, zu unterdrücken. Überraschenderweise hat sich dabei gezeigt, dass sich insbesondere beim Verbau von Radarsensoren hinter dem Stoßfänger/Radom der Vorteil ergibt, dass diese bereits (je nach Material) als akustischer Filter dienen können (insbesondere zur Unterdrückung von Einflüssen durch Strömungsakustik). Der Abstand der beiden Mikrofone 4, 5, beträgt hierbei, je nach Bauart des Radarsensors (z. B. Long/Short Range-Radar), etwa 6 cm bis 14 cm.
Für die Datenerfassung wird erfindungsgemäß vorgeschlagen, die Elektronik eines bereits vorhandenen Radarsensors 3, welche in der Regel einen Analog-Digital-Wandler (ADC oder AD-Wandler) und gegebenenfalls einen Verstärker umfasst, zu verwenden oder um zusätzliche Elemente zu erweitern. Beim Radarsensor 3 werden die Daten in sogenannten Radarzyklen mit einer Zykluszeit von z. B. 20 ms bis 100 ms erfasst. Ein Zyklus setzt sich dabei aus mehreren Sende-Empfangsvorgängen zusammen, sogenannten „Chirps“ mit einer Dauer von beispielsweise 50 µs. Für jeden Chirp bzw. Radarchirp wird z. B. mit einem AD-Wandler nach einer Transmitter (TX)-Einschwingphase (ohne aktive Datenerfassung) eine bestimmte Anzahl an „Radar-Samples“ erfasst, insbesondere einmal je Radar-Empfänger (RX)-Kanal (z. B. 512 Samples), wie in 3 exemplarisch anhand der Radarchirps R1, R2, R3 gezeigt.
Die akustische Datenerfassung kann über verschiedene Implementierungsvarianten erfolgen. Erfindungsgemäß ist hierzu eine Dateneinrichtung 7 zur gemeinsamen Datenerfassung und/oder Datenverarbeitung der Sensordaten und der Audiodaten vorgesehen. 4 zeigt eine erste Implementierungsvariante der akustischen Datenerfassung, wobei mit Hilfe eines Multiplexers MUX zwischen den Quellen, RX-Kanal (Radar-Empfängerkanal) und Mikrofon, hin und her geschaltet werden kann. Zur (Signal-)Verstärkung können Verstärker 8 angeordnet sein. Zweckmäßigerweise kann auch ein Verstärker 8 für beide Pfade, d. h. Radar und Audio, genutzt werden, wobei dann der Multiplexer MUX dann jeweils vor dem Verstärker 8 angeordnet ist. Zur Radarsignalverarbeitung ist ein Mikrocontroller 9 angeordnet, der z. B. auch die AD-Wandler ADC umfassen kann. Die akustische Datenerfassung (d. h. die Abtastung der Mikrofone) wird dabei mit in die Radar-Datenerfassung integriert, d. h. wird mit vom Mikrocontroller 9 übernommen. Wie in 5 dargestellt, erfolgt die Datenerfassung indem während einer Phase der inaktiven Radardatenerfassung (z. B. bei der TX-Einschwingphase) zwei der ADC-Wandler-Eingänge per Multiplexer auf die Mikrofone geschaltet werden, wobei typischerweise ein einzelnes Audio-Sample AS1, AS2, AS3 (d. h. ein Audiosample je Mikrofon) erfasst wird. Das Audio-Sampling der Implementierungsvariante aus 5 erfolgt je Kanal vorzugsweise bei 50 µs, d.h. einer Chirp-Wiederholrate mit 20 kHz.
Alternativ zur ersten Implementierungsvariante gemäß 4 kann die akustische Datenerfassung auch erfolgen, indem die Erfassung der Audiodaten bzw. die Audioaufnahme während der Sendepause der Radarsignale eingeschaltet wird. Dabei beträgt ein Radarmesszyklus z. B. 20 bis 25 ms. Bei einer Zykluszeit von 50 ms entspricht dies einem Duty Cycle von 50 %. Die übrigen 50 % werden hierbei für die Audioaufnahme zur Verfügung gestellt. Die dabei entstehende Überabtastung des Audiosignals (Sampling mit z. B. 20 MHz statt mit 20 kHz) bietet zusätzliche Vorteile, wie z. B. kann dadurch das Phasenrauschen bestimmt werden oder es kann eine Erhöhung der Dynamic Range (DR) erfolgen, woraus eine höhere Empfindlichkeit resultiert. Beispielsweise kann bei einem Oversamplingfaktor von 1000 (entsprechend bei 20 MHz statt 20 kHz) die Dynamic Range um circa 10 Bit erhöht werden, wodurch sich eine Verbesserung des Signal-zu-Rausch-Verhältnisses (SNR, Signal-to-Noise-Ratio) von etwa 30 dB ergibt.
Eine weitere Implementierungsvariante zur simultanen Datenerfassung stellt die Anwendung eines analogen, steilen Hochpassfilters 10 in den Radar-HF-Signalen dar. Dadurch werden alle Signale bis z. B. 50 oder 100 kHz herausgefiltert (Eigenkopplung). Durch die Anwendung eines Kopplers anstelle des Multiplexers MUX in 4, werden die Audiodaten (tiefpassgefiltert) in einen unteren Frequenzbereich (z. B. 50 bis 100 kHz) hineingepasst und zusammen mit den Radar-Signalen abgetastet. Die Trennung der Signale in der Digitaldomäne wird anschließend durch entsprechende Digitalfilter realisiert. Beispielsweise kann ein Hochpassfilter 10 beim Radarsignal und ein Tiefpassfilter (in 4 nicht dargestellt) beim Audiosignal verwendet werden. Alternativ können auch Bandpassfilter eingesetzt werden. Ferner können für die Datenerfassung neben den beschriebenen Implementierungsvarianten auch zusätzliche aus dem Stand der Technik bekannte Komponenten in den Radarsensor 3 und/oder den Mikrokontroller 9 bzw. Chip (MMIC) zur akustischen Datenerfassung integriert werden.
Zur Verarbeitung der Audiosignale, z. B. die Klassifikation oder die Winkelbestimmung, werden bekannte Verfahren aus der Audiosignalverarbeitung eingesetzt, wie z. B. Stimmerkennung. Die Winkelbestimmung einer lautstarken und eindeutig zu identifizierenden Audioquelle, wie z. B. Martinshorn, Hundebeilen, Fußtritte oder dergleichen, kann beispielsweise über eine Kreuzkorrelation erfolgen. Die Audio-Signalverarbeitung kann dabei entweder ebenfalls auf dem Mikrocontroller 9 zur Radarsignalverarbeitung durchgeführt werden oder sie kann auf einem zentralen Steuergerät erfolgen, wenn diese z. B. nur eine geringe Audio-Bandbreite aufweist.
Neben der klassischen Signalverarbeitung können auch Algorithmen und Ansätze aus dem Bereich des maschinellen Lernens (insbesondere aus dem Bereich der Stimmerkennung) zur Objektdetektion und Objektklassifikation eingesetzt werden.
Bei einem Verbau von mehreren Radar-Mikrofon-Sensoreinheiten an einem Fahrzeug 2 („Multi-Sensor-Setup“), wobei die Sensoreinheiten 1 beispielsweise zentral nach vorne und schräg nach vorne angeordnet sind, können die jeweiligen Audiosignale bzw. Audiodaten auch zentral auf einem Steuergerät fusioniert werden. Vorteile ergeben sich hierbei durch eine verbesserte Lokalisierung der Geräuschquelle sowie eine bessere Rauschunterdrückung. Beispielweise könnten vier Short-Range-Radarsensoren sowie ein Long-Range-Radarsensor mit jeweils zwei Mikrofonen verbaut werden, sodass insgesamt zehn Mikrofone für eine verbesserte Quellenortung zur Verfügung stehen, um dadurch die Quellenortung sowie die Objektklassifikation zu verbessern.
Anhand der Mikrofone 4, 5 können zudem die Reifengeräusche bzw. Reifenabrollgeräusche der Reifen 2a des Fahrzeugs 2 erfasst werden, um eine Erkennung der Fahrbahneigenschaften durchzuführen. Die Reifengeräusche bzw. die Tonspur dieser ist dabei abhängig von der Oberflächenbeschaffenheit der Fahrbahn oder dem Fahrbahnzustand, sodass dadurch erkannt wird, ob die jeweilige Fahrbahn z. B. nass, trocken, verschneit oder vereist ist. Anschließend wird diese Information dem Fahrer angezeigt oder als Parameter zur Steuerung von Assistenzsystemen des Fahrzeugs 2 verwendet
Ferner kann die Erfindung z. B. auch auf dem Gebiet der Überwachungs- und Sicherheitstechnik eingesetzt werden. Beispielsweise bei der Überwachung von Gebäudezugängen. Vorteile der Erfindung bieten sich dabei durch eine kompakte Bauweise und der Möglichkeit, das Sensorsystem optisch hinter einer Abdeckung zu verstecken. Besonders vorteilhaft ist bei dieser Ausgestaltung, dass das Sensorsystem keinen direkten „Blick“ auf den zu überwachenden Raum haben muss, wie dies beispielsweise bei einer Kamera erforderlich ist, so dass das Sensorsystem sicht- und zerstörungsgeschützt angeordnet werden kann.
Zusammenfassend kann durch die vorliegende Erfindung eine synchronisierte Erfassung von Radarsignalen sowie Audiosignalen realisiert werden. Dadurch lassen sich über mehrere Zyklen hinweg (z. B. durch Tracking) Audio-Objekte (Winkelbewegung, Lautstärkeveränderung über Bewegung oder dergleichen) mit Radarobjekten für eine verbesserte Objektklassifikation assoziieren. Diese Assoziation kann auf einem zentralen Steuergerät oder auf dem Radarsensor 3 selbst erfolgen. Die detektierten Radarobjekte können somit um Audio-Features erweitert bzw. ergänzt werden. Durch eine derartige kostengünstige Erweiterung eines Radarsensors 3 werden neue Möglichkeiten zur Objektklassifizierung geschaffen. Zudem können Schallquellen zuverlässig erkannt und mit Radarobjekten assoziiert werden. Infolgedessen wird eine bereits synchronisierte Radar- und Audiodatenerfassung zur Verfügung gestellt, die insbesondere auch für Elektrofahrzeuge geeignet ist, da diese nur geringe bzw. charakteristische Motorgeräusche verursachen. Zudem haben nichtdeterministischen Störquellen aus dem Fahrzeuginnenraum, wie z. B. Radio, Mobiltelefon, Gespräche oder dergleichen, einen nur sehr geringen Einfluss, wenn die Mikrofone 4, 5 bereits im Radarsensor 3 bzw. an/in dessen Gehäuse 6 implementiert sind.
Bezugszeichenliste

1: Sensorsystem
2: Fahrzeug
2a: Reifen
3: Radarsensor
4: Mikrofon
5: Mikrofon
6: Gehäuse
7: Dateneinrichtung
8: Verstärker
9: Mikrocontroller
10: Hochpassfilter
MUX: Multiplexer
ADC: Analog-Digital-Wandler
R: Radarsignalaufnahme
A: Audiosignalaufnahme
AS1: Audiosample
AS2: Audiosample
AS3: Audiosample
R1: Radarchirp
R2: Radarchirp
R3: Radarchirp
TX: Senderkanal (Transmitter)
RX: Empfängerkanal (Receiver)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2833336 A1 [0004]
US 8525654 B2 [0005]

Claims

Sensorsystem (1) zur Objekterkennung, insbesondere für ein Fahrzeug (2), umfassend einen Sensor zur Objekterkennung, der Sensordaten anhand elektromagnetischer und/oder optischer Signale erzeugt, eine Vorrichtung zur akustischen Datenerfassung von Audiodaten, und eine Dateneinrichtung (7) zur gemeinsamen Datenerfassung und/oder Datenverarbeitung der Sensordaten und der Audiodaten.
Sensorsystem (1) nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei dem Sensor zur Objekterkennung um einen Radarsensor (3), Lidarsensor oder Kamerasensor handelt.
Sensorsystem (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Vorrichtung zur akustischen Datenerfassung mindestens zwei Mikrofone (4, 5) vorgesehen sind.
Sensorsystem (1) nach Anspruch 3, dadurch gekennzeichnet, dass der Abstand der Mikrofone (4, 5) 3 cm bis 25 cm, vorzugsweise 4 cm bis 20 cm, vorzugsweise 5 cm bis 15 cm, besonders vorzugsweise 6 cm bis 14 cm beträgt.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sensor zur Objekterkennung ein Gehäuse (6) aufweist, und die Vorrichtung zur akustischen Datenerfassung in oder am Gehäuse (6) angeordnet ist.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dateneinrichtung (7) einen Multiplexer (MUX) aufweist, der zwischen dem Sensor zur Objekterkennung und der Vorrichtung zur akustischen Datenerfassung angeordnet ist, und insbesondere dazu hergerichtet ist, zwischen diesen abwechselnd zu schalten, so dass die Sensordaten und die Audiodaten abwechsein erfasst werden.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassung der Audiodaten durch die Dateneinrichtung (7) während einer Sende- und/oder Empfangspause der Radarsignale erfolgt.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Audiodaten und die Radardaten von der Dateneinrichtung (7) gemeinsam abgetastet werden.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dateneinrichtung (7) und/oder die Vorrichtung zur akustischen Datenerfassung einen Koppler umfasst, welcher die Audiodaten filtert.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dateneinrichtung (7) eine Trennung der Sensordaten und Audiodaten innerhalb der Digitaldomäne durchführt, insbesondere indem die Sensordaten hochpassgefiltert und die Audiodaten tiefpassgefiltert werden.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Mikrocontroller (9) zur gemeinsamen Radardaten- und Audiodatenverarbeitung vorgesehen ist.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Audiodaten verwendet werden, um Defekte oder Fehlfunktionen am Fahrzeug (2) zu erkennen.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Audiodaten Reifengeräusche der Reifen des Fahrzeuges (2) erfasst werden, um die Fahrbahnbeschaffenheit oder Fahrbahneigenschaften zu ermitteln.
Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Sensoren zur Objekterkennung mit insbesondere integrierten Vorrichtungen zur akustischen Datenerfassung vorgesehen sind und die Sensordaten sowie Audiodaten gemeinsam von der Dateneinrichtung (7) verarbeitet werden.
Fahrzeug (2) mit einem Sensorsystem (1), dadurch gekennzeichnet, dass das Fahrzeug (2) ein Sensorsystem (1) nach mindestens einem der vorhergehenden Ansprüche aufweist.