DE102023003019A1

DE102023003019A1 - Vorrichtung und Verfahren zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs

Info

Publication number: DE102023003019A1
Application number: DE102023003019.8A
Authority: DE
Inventors: Christian Scheunemann
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-07-24
Filing date: 2023-07-24
Publication date: 2023-10-26

Abstract

Die Erfindung betrifft ein Verfahren zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs, wobei Bilder (B) der Umgebung des Fahrzeugs und Geräusche (G) in der Umgebung des Fahrzeugs erfasst werden. Erfindungsgemäß werden den erfassten Bildern (B) für das Fahrzeug relevante ungeschützte Verkehrsteilnehmer erkannt, wobei bei Erkennung relevanter ungeschützter Verkehrsteilnehmer in der Umgebung des Fahrzeugs aus den mittels des Mikrofons (3) erfassten Geräuschen (G) Stimmsignale (S1) und/oder Sprachsignale (S2) der Verkehrsteilnehmer gefiltert und/oder verstärkt werden. Die gefilterten und/oder verstärkten Stimmsignale (S1) und/oder Sprachsignale (S2) werden in einem Fahrzeuginnenraum ausgegeben und die Ausgabe wird dynamisch an Gegebenheiten im Fahrzeuginnenraum angepasst.
Die Erfindung betrifft weiterhin eine Vorrichtung (1) zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs.

Description

Die Erfindung betrifft eine Vorrichtung zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
Die Erfindung betrifft weiterhin ein Verfahren zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 5.
Aus der DE 10 2018 200 138 A1 ist ein Verfahren zum Durchführen einer Interaktion zwischen einem Fahrzeug und einer Person außerhalb des Fahrzeugs mittels einer Außenkamera des Fahrzeugs, eines Außenmikrofons des Fahrzeugs und einer Recheneinheit des Fahrzeugs bekannt. In dem Verfahren werden mittels der Außenkamera Bildsignale und mittels des Außenmikrofons akustische Signale aus einem Umfeld außerhalb des Fahrzeugs aufgenommen, an die Recheneinheit übermittelt und von der Recheneinheit analysiert. Dabei wird überprüft, ob die Signale menschliche Signale umfassen. Bei dieser Überprüfung wird überprüft, ob die akustischen Signale menschliche akustische Signale aufweisen, die auf einer menschlichen Stimme der Person beruhen. Weiterhin wird überprüft, ob diese menschlichen Signale eine Information umfassen, die an das Fahrzeug gerichtet ist, wobei die Recheneinheit auf die Information reagiert.
Der Erfindung liegt die Aufgabe zu Grunde, eine neuartige Vorrichtung und ein neuartiges Verfahren zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung, welche die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren, welches die im Anspruch 5 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Eine Vorrichtung zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs umfasst zumindest eine an oder in dem Fahrzeug angeordnete Kamera zu einer Erfassung von Bildern der Umgebung des Fahrzeugs und zumindest ein an oder in dem Fahrzeug angeordnetes Mikrofon zu einer Erfassung von Geräuschen in der Umgebung des Fahrzeugs.
Erfindungsgemäß umfasst die Vorrichtung eine in dem Fahrzeug angeordnete Datenverarbeitungseinheit und ein in dem Fahrzeug angeordnetes Medienwiedergabesystem. Dabei ist die Datenverarbeitungseinheit ausgebildet,

- in den erfassten Bildern für das Fahrzeug relevante ungeschützte Verkehrsteilnehmer zu erkennen,
- bei Erkennung relevanter ungeschützter Verkehrsteilnehmer in der Umgebung des Fahrzeugs aus den mittels des Mikrofons erfassten Geräuschen Stimmsignale und/oder Sprachsignale der Verkehrsteilnehmer zu filtern und/oder diese zu verstärken und
- die gefilterten und/oder verstärkten Stimmsignale und/oder Sprachsignale an das Medienwiedergabesystem zu übermitteln.

Das Medienwiedergabesystem ist ausgebildet,

- die übermittelten Stimmsignale und/oder Sprachsignale in einem Fahrzeuginnenraum auszugeben und
- die Ausgabe dynamisch an Gegebenheiten im Fahrzeuginnenraum anzupassen.

Abhängig von einem Geräuschpegel im Fahrzeuginnenraum, welcher beispielsweise durch Gespräche, Musik, eine Schallisolierung des Fahrzeugs und/oder andere Parameter bestimmt wird, können Fahrzeuginsassen Fußgänger, Radfahrer oder andere ungeschützte Verkehrsteilnehmer nicht hören. Unter ungeschützten Verkehrsteilnehmern werden dabei vorliegend insbesondere solche Verkehrsteilnehmer verstanden, welche sich nicht in einem Fahrzeuginnenraum befinden und somit zumindest relativ ungeschützt, beispielsweise bei einer Kollision auftretenden Kräften ausgesetzt sind.
Mittels der vorliegenden Vorrichtung ist es in besonders vorteilhafter Weise möglich, in der Umgebung des Fahrzeugs für dessen Betrieb relevante ungeschützte Verkehrsteilnehmer sowie deren Stimmen und/oder Sprache zu erfassen und diese im Fahrzeuginnenraum gefiltert und/oder verstärkt wiederzugeben. Somit ist es möglich, dass die vulnerablen Verkehrsteilnehmer mit Fahrzeuginsassen verbal kommunizieren können. Somit können die vulnerablen Verkehrsteilnehmer beispielsweise in Gefahrensituationen verbale Hinweise an die Fahrzeuginsassen, insbesondere einen Fahrer des Fahrzeugs, richten, so dass die Gefahrensituationen entschärft oder zumindest deren Folgen minimiert werden können.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:

1 schematisch ein Blockschaltbild einer Vorrichtung zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs.

In der einzigen 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 1 zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs dargestellt.
Die Vorrichtung 1 umfasst zumindest eine Kamera 2, ein Mikrofon 3, eine Datenverarbeitungseinheit 4, ein Medienwiedergabesystem 5, ein Innenmikrofon 6 und ein Bedienelement 7.
Die Kamera 2 ist an oder in dem Fahrzeug angeordnet und zu einer Erfassung von Bildern B der Umgebung des Fahrzeugs ausgebildet.
Das Mikrofon 3 ist an oder in dem Fahrzeug angeordnet und zu einer Erfassung von Geräuschen G in der Umgebung des Fahrzeugs ausgebildet.
Das Medienwiedergabesystem 5 ist in dem Fahrzeug angeordnet und zumindest zur Ausgabe von Audiosignalen in einem Fahrzeuginnenraum ausgebildet. Hierzu umfasst das Medienwiedergabesystem 5 zumindest einen nicht näher dargestellten Lautsprecher. Zusätzlich kann das Medienwiedergabesystem 5 ausgebildet sein, auch Bild- bzw. Videosignale, auszugeben. Hierzu umfasst das Medienwiedergabesystem 5 zumindest eine nicht näher dargestellte Anzeigeeinheit. Beispielsweise ist das Medienwiedergabesystem 5 ein so genanntes Entertainmentsystem, insbesondere ein so genanntes In-Car-Entertainmentsystem.
Die Datenverarbeitungseinheit 4 ist in dem Fahrzeug angeordnet und ausgebildet, in den erfassten Bildern B für das Fahrzeug relevante ungeschützte Verkehrsteilnehmer zu erkennen. Die Erkennung erfolgt dabei mittels eines Bildauswertealgorithmus. Die Relevanz der ungeschützten Verkehrsteilnehmer für das Fahrzeug wird beispielsweise anhand einer in den Bildern B erkannten Kopfposition des jeweiligen Verkehrsteilnehmers relativ zum Fahrzeug und/oder einer in den Bildern B erkannten Körperhaltung des jeweiligen Verkehrsteilnehmers ermittelt. Beispielsweise wird ein Verkehrsteilnehmer dann als für das Fahrzeug relevant angesehen, wenn dieser seinen Blick in Richtung des Fahrzeugs wendet.
Weiterhin ist die Datenverarbeitungseinheit 4 ausgebildet, bei Erkennung relevanter ungeschützter Verkehrsteilnehmer in der Umgebung des Fahrzeugs aus den mittels des Mikrofons 3 erfassten Geräuschen G Stimmsignale S1 und/oder Sprachsignale S2 der Verkehrsteilnehmer zu filtern und/oder diese zu verstärken und die gefilterten und/oder verstärkten Stimmsignale S1 und/oder Sprachsignale S2 an das Medienwiedergabesystem 5 zu übermitteln.
Mittels des Medienwiedergabesystems 5 werden dann die übermittelten Stimmsignale S1 und/oder Sprachsignale S2 in dem Fahrzeuginnenraum über den zumindest einen Lautsprecher ausgegeben, wobei die Ausgabe dynamisch an Gegebenheiten im Fahrzeuginnenraum angepasst wird.
Zu dieser dynamischen Anpassung wird beispielsweise während der Ausgabe der Stimmsignale S1 und/oder Sprachsignale S2 eine Unterbrechung einer Ausgabe weiterer, von den übermittelten Stimmsignalen S1 und/oder Sprachsignalen S2 abweichender Audiosignale durchgeführt. Derartige Audiosignale stammen beispielsweise aus einer Musikwiedergabe oder einem anderen Unterhaltungsprogramm.
Auch kann zur dynamischen Anpassung der Ausgabe während der Ausgabe der Stimmsignale S1 und/oder Sprachsignale S2 eine Verringerung einer Lautstärke einer Ausgabe der weiteren, von den übermittelten Stimmsignalen S1 und/oder Sprachsignalen S2 abweichenden Audiosignale durchgeführt werden.
Weiterhin kann zur dynamischen Anpassung eine Anpassung einer Lautstärke der Ausgabe der Stimmsignale S1 und/oder Sprachsignale S2 an innerhalb des Fahrzeuginnenraums vorhandene Geräusche IG durchgeführt werden, wobei diese Geräusche IG mittels des Innenmikrofons 6 erfasst werden.
Die Funktion der Übertragung und Ausgabe der Stimmsignale S1 und/oder Sprachsignale S2 innerhalb des Fahrzeuginnenraums mittels des Medienwiedergabesystems 5 kann von einem Fahrzeugnutzer wahlweise aktiviert oder deaktiviert werden. Hierzu ist das Bedienelement 7 vorgesehen. Auch kann durch Bedienung des Bedienelements 7 eine bereits gestartete Ausgabe der Stimmsignale S1 und/oder Sprachsignale S2 innerhalb des Fahrzeuginnenraums gestoppt werden. Das Bedienelement 7 ist dabei zu einer berührungsgesteuerten, sprachgesteuerten und/oder gestengesteuerten Bedienung ausgebildet.
In einer möglichen Ausgestaltung der Vorrichtung 1 ist es möglich, dass zusätzlich auch ein Rückkanal zur verbalen Kommunikation des Fahrzeugnutzers mit in der Umgebung des Fahrzeugs befindlichen relevanten ungeschützten Verkehrsteilnehmern ausgebildet ist. Der Rückkanal kann dabei über das Bedienelement 7 wahlweise aktiviert werden, wobei im aktivierten Zustand mittels des Innenmikrofons 6 Stimm- und/oder Sprachsignale des Fahrzeugnutzers im Fahrzeuginnenraum erfasst werden. Diese Stimm- und/oder Sprachsignale des Fahrzeugnutzers können von der Datenverarbeitungseinheit 4 erfasst sowie dynamisch aufgearbeitet werden, indem beispielsweise Störgeräusche aus dem Fahrzeuginnenraum gefiltert werden. Dann werden Stimm- und/oder Sprachsignale über einen extern am Fahrzeug angeordneten Lautsprecher ausgegeben. Somit kann eine bidirektionale Kommunikation zwischen den ungeschützten Verkehrsteilnehmern und dem Fahrzeugnutzer realisiert werden, so dass beispielsweise Missverständnisse weiter aufgelöst und offene Fragen geklärt werden können. Dies ermöglicht die Vermeidung potenzieller Gefahrensituationen oder zumindest eine Reduzierung dieser.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018200138 A1 [0003]

Claims

Vorrichtung (1) zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs mit - zumindest einer an oder in dem Fahrzeug angeordneten Kamera (2) zu einer Erfassung von Bildern (B) der Umgebung des Fahrzeugs und - zumindest einem an oder in dem Fahrzeug angeordneten Mikrofon (3) zu einer Erfassung von Geräuschen (G) in der Umgebung des Fahrzeugs, gekennzeichnet durch - eine in dem Fahrzeug angeordnete Datenverarbeitungseinheit (4) und - ein in dem Fahrzeug angeordnetes Medienwiedergabesystem (5), wobei die Datenverarbeitungseinheit (4) ausgebildet ist, - in den erfassten Bildern (B) für das Fahrzeug relevante ungeschützte Verkehrsteilnehmer zu erkennen, - bei Erkennung relevanter ungeschützter Verkehrsteilnehmer in der Umgebung des Fahrzeugs aus den mittels des Mikrofons (3) erfassten Geräuschen (G) Stimmsignale (S1) und/oder Sprachsignale (S2) der Verkehrsteilnehmer zu filtern und/oder diese zu verstärken und - die gefilterten und/oder verstärkten Stimmsignale (S1) und/oder Sprachsignale (S2) an das Medienwiedergabesystem (5) zu übermitteln, wobei das Medienwiedergabesystem (5) ausgebildet ist, - die übermittelten Stimmsignale (S1) und/oder Sprachsignale (S2) in einem Fahrzeuginnenraum auszugeben und - die Ausgabe dynamisch an Gegebenheiten im Fahrzeuginnenraum anzupassen.
Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die dynamische Anpassung der Ausgabe an die Gegebenheiten im Fahrzeug - eine während der Ausgabe der Stimmsignale (S1) und/oder Sprachsignale (S2) durchgeführte Unterbrechung einer Ausgabe weiterer, von den übermittelten Stimmsignalen (S1) und/oder Sprachsignalen (S2) abweichender Audiosignale und/oder - eine während der Ausgabe der Stimmsignale (S1) und/oder Sprachsignale (S2) durchgeführte Verringerung einer Lautstärke einer Ausgabe weiterer, von den übermittelten Stimmsignalen (S1) und/oder Sprachsignalen (S2) abweichender Audiosignale und/oder - eine Anpassung einer Lautstärke der Ausgabe der Stimmsignale (S1) und/oder Sprachsignale (S2) an innerhalb des Fahrzeuginnenraums vorhandene Geräusche (IG) umfasst.
Vorrichtung (1) nach Anspruch 1 oder 2, gekennzeichnet durch zumindest ein in dem Fahrzeuginnenraum angeordnetes Innenmikrofon°(6) zur Erfassung innerhalb des Fahrzeuginnenraums vorhandener Geräusche (IG).
Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Bedienelement (7), welches zu einer Aktivierung und Deaktivierung der Ausgabe der übermittelten Stimmsignale (S1) und/oder Sprachsignale (S2) im Fahrzeuginnenraum ausgebildet ist.
Verfahren zur Erfassung von ungeschützten Verkehrsteilnehmern in einer Umgebung eines Fahrzeugs, wobei - Bilder (B) der Umgebung des Fahrzeugs und - Geräusche (G) in der Umgebung des Fahrzeugs erfasst werden, gekennzeichnet durch - in den erfassten Bildern (B) für das Fahrzeug relevante ungeschützte Verkehrsteilnehmer erkannt werden, - bei Erkennung relevanter ungeschützter Verkehrsteilnehmer in der Umgebung des Fahrzeugs aus den mittels des Mikrofons (3) erfassten Geräuschen (G) Stimmsignale (S1) und/oder Sprachsignale (S2) der Verkehrsteilnehmer gefiltert und/oder verstärkt werden und - die gefilterten und/oder verstärkten Stimmsignale (S1) und/oder Sprachsignale (S2) in einem Fahrzeuginnenraum ausgegeben werden und die Ausgabe dynamisch an Gegebenheiten im Fahrzeuginnenraum angepasst wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur dynamischen Anpassung der Ausgabe an die Gegebenheiten im Fahrzeug - während der Ausgabe der Stimmsignale (S1) und/oder Sprachsignale (S2) eine Unterbrechung einer Ausgabe weiterer, von den übermittelten Stimmsignalen (S1) und/oder Sprachsignalen (S1) abweichender Audiosignale und/oder - während der Ausgabe der Stimmsignale (S1) und/oder Sprachsignale (S2) eine Verringerung einer Lautstärke einer Ausgabe weiterer, von den übermittelten Stimmsignalen (S1) und/oder Sprachsignalen (S2) abweichender Audiosignale und/oder - eine Anpassung einer Lautstärke der Ausgabe der Stimmsignale (S1) und/oder Sprachsignale (S2) an innerhalb des Fahrzeuginnenraums vorhandene Geräusche (IG) durchgeführt werden/wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Relevanz der ungeschützten Verkehrsteilnehmer anhand einer in den Bildern (B) erkannten Kopfposition des jeweiligen Verkehrsteilnehmers relativ zum Fahrzeug und/oder einer in den Bildern (B) erkannten Körperhaltung des jeweiligen Verkehrsteilnehmers ermittelt wird.