DE102012016820A1 - Driver assistance system for motor car, has signal processor for assigning safety level of relevance to identified noise, and loudspeaker reproducing identified noise with volume dependant on assigned safety level - Google Patents

Abstract

The system has microphones (2, 2', 2'', 2 ''') for sensing a constituent of noises of different noise sources in vicinity of a motor vehicle. A detecting unit e.g. camera (8), detects the driver's response to sound. A signal processor (4) identifies the various noise sources in the noise for assigning a safety level of relevance to each identified noise based on a captured response of the driver for the sound. A loudspeaker (7) reproduces the identified noise with volume dependant on the assigned safety level. Independent claims are also included for the following: (1) a method for driver assistance in a motor car (2) a computer program product comprising a set of instructions for driver assistance in a motor car.

Description

Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem sowie ein Verfahren zur Fahrerunterstützung in einem Kraftfahrzeug.The present invention relates to a driver assistance system and a method for driver assistance in a motor vehicle.

In der Fahrgastzelle eines Kraftfahrzeugs sind die Insassen nicht nur vor Fahrtwind, sondern auch vor Geräuschen der Umgebung abgeschirmt. Um Gefahren zu erkennen und ihnen auszuweichen, ist der Fahrer nahezu ausschließlich auf seinen Gesichtssinn angewiesen. Die Wahrnehmung möglicher Gefahren durch das Gehör ist überdies häufig durch die Geräuschkulisse in der Fahrgastzelle, insbesondere durch Gespräche zwischen den Insassen, eine laufende Audioanlage oder dergleichen beeinträchtigt. Dies hat zur Folge, dass Anteile einer externen Geräuschkulisse, die auf eine mögliche Gefahr hinweisen könnten, vom Fahrer erst zu einem späten Zeitpunkt oder gar nicht wahrgenommen werden, so dass wertvolle Zeit für Manöver zur Meidung der Gefahr verloren geht.In the passenger compartment of a motor vehicle, the occupants are shielded not only from the wind, but also from the noise of the environment. In order to recognize and avoid dangers, the driver relies almost exclusively on his sense of sight. The perception of possible dangers by hearing is also often affected by the background noise in the passenger compartment, in particular by talking between the occupants, a running audio system or the like. As a result, portions of external noise that could indicate a potential hazard are not perceived by the driver at a later stage, or not at all, so valuable time is lost for maneuvering to avoid the hazard.

Es ist zwar ohne Weiteres denkbar, außen am Fahrzeug ein oder mehrere Mikrofone zu montieren, um die externe Geräuschkulisse zu erfassen und sie über Lautsprecher in der Fahrgastzelle wiederzugeben, doch würde dies absehbar lediglich zu einem Anstieg des Lärmpegels in der Fahrgastzelle führen, da die Insassen, um sich zu verständigen, dementsprechend lauter sprechen würden und voraussichtlich auch die Lautstärke einer Audioanlage entsprechend höher einstellen würden, um deren Wahrnehmbarkeit zu gewährleisten.Although it is readily conceivable to mount one or more microphones on the outside of the vehicle to detect the external noise and reproduce them via speakers in the passenger compartment, this would only lead to an anticipated increase in the noise level in the passenger compartment, as the occupants in order to communicate, speak louder accordingly and would probably also adjust the volume of an audio system accordingly higher, in order to ensure their perceptibility.

Aufgabe der Erfindung ist, eine schnelle und sichere Wahrnehmung von möglicherweise eine Gefahr anzeigenden externen Geräuschen durch den Fahrer eines Kraftfahrzeugs sicher zu stellen, ohne dabei den Gesamtgeräuschpegel in der Fahrgastzelle mehr als nötig zu erhöhen.The object of the invention is to ensure a quick and safe perception of possibly a danger indicating external noise by the driver of a motor vehicle, without increasing the overall noise level in the passenger compartment more than necessary.

Die Aufgabe wird gelöst durch ein Fahrerassistenzsystem für ein Kraftfahrzeug mit

• – wenigstens einem Mikrofon zum Erfassen einer sich aus Geräuschen verschiedener Quellen zusammensetzenden Geräuschkulisse in der Umgebung des Kraftfahrzeugs;
• – Mittels zum Erfassen der Reaktion des Fahrers auf ein Geräusch;
• – einen Signalprozessor zum Identifizieren der Geräusche verschiedener Quellen in der Geräuschkulisse und zum Zuordnen eines Sicherheitsrelevanzniveaus zu jedem identifizierten Geräusch anhand einer erfassten Reaktion des Fahrers auf das Geräusch; und
• – wenigstens einen Lautsprecher zum Wiedergeben des identifizierten Geräuschs mit einer vom zugeordneten Sicherheitsrelevanzniveau abhängigen Lautstärke.

The object is achieved by a driver assistance system for a motor vehicle

• - at least one microphone for detecting a soundscape composed of noises of different sources in the surroundings of the motor vehicle;
• - means for detecting the driver's reaction to a noise;
• A signal processor for identifying the noise of various sources in the background noise and for assigning a safety relevance level to each identified noise based on a detected driver's reaction to the noise; and
• - At least one speaker for reproducing the identified noise with a dependent on the associated safety relevance level volume.

Indem als hochgradig sicherheitsrelevant identifizierte Geräusche mit hoher Lautstärke, als wenig oder gar nicht relevant identifizierte Geräusche hingegen leise oder gar nicht wiedergegeben werden, kann eine frühe und deutliche Hörbarkeit der sicherheitsrelevanten Geräusche sichergestellt werden.On the other hand, if noises that are identified as highly safety-relevant, are reproduced quietly or not at all, with little or no relevant relevance, an early and clear audibility of the safety-relevant noises can be ensured.

Als Mittel zum Erfassen der Reaktion des Fahrers kommt insbesondere eine auf den Fahrer ausgerichtete Kamera in Betracht. Eine solche Kamera kann als Bestandteil eines Systems zur Beurteilung der Fahreraufmerksamkeit bereits in einem Fahrzeug enthalten sein und kann mit geringem Aufwand im Rahmen der vorliegenden Erfindung einer zweiten Nutzung zugeführt werden. Eine solche Kamera in Verbindung mit einem angeschlossenen Bildverarbeitungssystem ermöglicht beispielsweise die Erfassung von Schreckreaktionen wie etwa ein Zusammenzucken oder Aufreißen der Augen, von schnellen Lenkbewegungen oder von ein Manöver vorbereitenden Maßnahmen wie etwa eines Blicks des Fahrers in den Rückspiegel oder durch ein Seitenfenster. Geeignet zum Erfasssen der Fahrerreaktion sind unter anderem auch ein Sensor zum Erfassen einer Lenkradbetätigung, ein Sensor zum Erfassen einer Fahrpedalbetätigung und/oder ein Sensor zum Erfassen einer Bremspedalbetätigung.As a means for detecting the reaction of the driver, in particular, a driver-oriented camera is considered. Such a camera can already be contained in a vehicle as part of a system for assessing the driver's attention and can be supplied with little effort in the context of the present invention to a second use. Such a camera in conjunction with a connected vision system, for example, allows the detection of startle reactions such as a wince or tearing of the eyes, quick steering or maneuver preparatory measures such as a glance of the driver in the rearview mirror or through a side window. Among others, a sensor for detecting a steering wheel actuation, a sensor for detecting an accelerator pedal actuation and / or a sensor for detecting a brake pedal actuation are suitable for detecting the driver reaction.

Die Mittel zum Erfassen der Fahrerreaktion können auch eingerichtet sein, um die Unerwartetheit einer Fahrerreaktion, insbesondere eines Lenkmanövers, zu beurteilen. Indizien für Unerwartetheit sind beispielsweise ein Lenkmanöver, das zu einer Änderung der Fahrtrichtung oder Fahrspur führt, ohne dass der Fahrer seine entsprechende Absicht durch Blinken angezeigt hat, oder ein Lenk-Verzögerungs- oder Beschleunigungsmanöver, das nicht durch eine von einem Fahrzeugnavigationssystem geplante Fahrtroute des Fahrzeugs motiviert ist.The means for detecting the driver reaction can also be set up to assess the unexpectedness of a driver reaction, in particular a steering maneuver. Indicators of unexpectedness are, for example, a steering maneuver that results in a change of direction or lane without the driver having indicated his intention by flashing or a steering deceleration or acceleration maneuver that is not through a vehicle's route planned by a vehicle navigation system is motivated.

Je heftiger der Fahrer auf ein identifiziertes Geräusch reagiert, umso höher wird zweckmäßigerweise das Fahrerassistenzsystem das Sicherheitsrelevanzniveau des betreffenden Geräuschs ansetzen. Eine quantitative Beurteilung der Heftigkeit einer Reaktion kann insbesondere auf einer Messung von Geschwindigkeit und/oder Amplitude einer Bewegung des Lenkrads, des Fahrpedals oder des Bremspedals durch den Fahrer basieren.The more vigorously the driver reacts to an identified noise, the higher the driver assistance system will expediently set the safety relevance level of the relevant noise. A quantitative assessment of the severity of a reaction may in particular be based on a measurement of the speed and / or amplitude of a movement of the steering wheel, the accelerator pedal or the brake pedal by the driver.

Muster von potentiell Gefahr anzeigenden Geräuschen können vom Hersteller des Fahrerassistenzsystems vorgegeben und in dem System abgespeichert sein, wie etwa das Geräusch eines Martinshorns oder verschiedene Huptöne. Da Kraftfahrer in Mitteleuropa die Hupe nur in Ausnahmefällen gebrauchen, ist hier damit zu rechnen, dass selbst eine weit entfernte und nur leise zu hörende Hupe noch eine Reaktion des Fahrers hervorruft und folglich vom Fahrerassistenzsystem auch als sicherheitsrelevant eingestuft wird. In Ländern, in denen die Hupe häufiger eingesetzt wird, ist es eher unwahrscheinlich, dass eine weit entfernte Hupe eine Reaktion des Fahrers provoziert. Daher wird in einem solchen Fall das Fahrerassistenzsystem im Laufe der Zeit lernen, dass ein entfernter Hupton nicht sicherheitsrelevant ist und ihn daher allenfalls mit geringer Lautstärke in der Fahrgastzelle wiedergeben.Patterns of potentially hazard-indicating noise may be predetermined by the manufacturer of the driver assistance system and stored in the system, such as the sound of a siren or different horn tones. Since motorists in Central Europe use the horn only in exceptional cases, it is to be expected here that even a distant and only soft to hear horn still causes a reaction of the driver and Consequently, the driver assistance system also classifies it as safety-relevant. In countries where the horn is used more frequently, it is unlikely that a distant horn provokes a driver's reaction. Therefore, in such a case, the driver assistance system will learn over time that a remote horn is not safety-relevant and therefore, at best, it will play it at a low volume in the passenger compartment.

Zweckmäßig ist es, wenn das Fahrerassistenzsystem in der Lage ist, nicht nur Geräusche zu erkennen, für die Muster vom Hersteller vorgegeben sind. Die externe Geräuschkulisse rund um das Fahrzeug setzt sich im Allgemeinen aus Beiträgen vieler verschiedener Quellen zusammen, die nicht alle durch den Vergleich mit vorhandenen Mustern identifiziert werden können. Um eine solche komplexe Geräuschkulisse nach den Quellen der Geräusche zerlegen zu können, ist es zweckmäßig, wenn der Signalprozessor eingerichtet ist, das Geräusch einer Quelle anhand seiner Herkunftsrichtung zu identifizieren.It is expedient if the driver assistance system is able to detect not only noises for which samples are predetermined by the manufacturer. The external noise surrounding the vehicle is generally composed of contributions from many different sources, all of which can not be identified by comparison with existing patterns. In order to be able to dissect such a complex background noise according to the sources of the noise, it is expedient if the signal processor is set up to identify the noise of a source by means of its origin direction.

Ein Geräusch, das anhand seiner Herkunftsrichtung als von einer einzigen Quelle kommend identifizierbar ist, kann zweckmäßigerweise als ein weiteres Muster in dem Fahrerassistenzsystem gespeichert werden. So erwirbt das System im Laufe der Zeit Muster von Geräuschen der verschiedensten im Straßenverkehr vorkommenden Geräuschquellen und kann sich auch auf Geräusche einstellen, die bei der Entwicklung des Systems nicht in Form vorgegebener Muster berücksichtigt worden sind.A sound that is identifiable by its origin direction as coming from a single source may conveniently be stored as another pattern in the driver assistance system. Over time, the system acquires patterns of sounds from a variety of noise sources found on the road and can also tune in to sounds that have not been taken into account in the design of the system in the form of predetermined patterns.

Die Aufgabe wird ferner gelöst durch ein Verfahren zur Fahrerunterstützung in einem Kraftfahrzeug mit den Schritten:

• a) Erfassen einer sich aus Geräuschen verschiedener Quellen zusammensetzenden Geräuschkulisse in der Umgebung des Kraftfahrzeugs;
• b) Identifizieren der Geräusche verschiedener Quellen in der Geräuschkulisse;
• c) Erfassen der Reaktion des Fahrers auf ein Geräusch;
• d) Zuordnen eines Sicherheitsrelevanzniveaus zu jedem identifizierten Geräusch anhand einer erfassten Reaktion des Fahrers auf das Geräusch; und
• e) Wiedergeben des identifizierten Geräuschs mit einer vom zugeordneten Sicherheitsniveau abhängigen Lautstärke.

The object is further achieved by a method for driver assistance in a motor vehicle with the steps:

• a) detecting a soundscape composed of noises of different sources in the surroundings of the motor vehicle;
• b) identifying the sounds of different sources in the background noise;
• c) detecting the driver's reaction to a noise;
• d) assigning a safety relevance level to each identified noise based on a detected driver's reaction to the noise; and
• e) playing the identified sound at a volume dependent on the assigned security level.

Um eine rechtzeitige Reaktion des Fahrers zu ermöglichen, sollten identifizierte Geräusche natürlich in Echtzeit wiedergegeben werden. Eine Reaktion des Fahrers ist daher in der Regel erst beobachtbar, nachdem mit dem Wiedergeben des Geräuschs begonnen worden ist, so dass eine Zuordnung des Sicherheitsrelevanzniveaus auch erst zu einem späteren Zeitpunkt erfolgen kann. Daher erfolgt die Wiedergabe des Schritts e) mit der vom in Schritt d) zugeordneten Sicherheitsniveau abhängigen Lautstärke zweckmäßigerweise erst, wenn dasselbe Geräusch erneut auftritt.Of course, in order to allow a timely response from the driver, identified sounds should be reproduced in real time. A reaction of the driver is therefore generally observable only after the reproduction of the noise has begun, so that an assignment of the safety relevance level can also be made only at a later time. Therefore, the playback of the step e) with the dependent on the security level associated with step d) level expediently only when the same noise occurs again.

Erfindungsgegenstand ist ferner ein Computerprogrammprodukt mit Programmcodemitteln, die einen Computer befähigen, als Signalprozessor in dem oben beschrieben Fahrerassistenzsystem zu arbeiten oder das oben beschriebene Verfahren auszuführen.Subject invention is further a computer program product with program code means which enable a computer to operate as a signal processor in the driver assistance system described above or to carry out the method described above.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren. Aus dieser Beschreibung und den Figuren gehen auch Merkmale der Ausführungsbeispiele hervor, die nicht in den Ansprüchen erwähnt sind. Solche Merkmale können auch in anderen als den hier spezifisch offenbarten Kombinationen auftreten. Die Tatsache, dass mehrere solche Merkmale in einem gleichen Satz oder in einer anderen Art von Textzusammenhang miteinander erwähnt sind, rechtfertigt daher nicht den Schluss, dass sie nur in der spezifisch offenbarten Kombination auftreten können; stattdessen ist grundsätzlich davon auszugehen, dass von mehreren solchen Merkmalen auch einzelne weggelassen oder abgewandelt werden können, sofern dies die Funktionsfähigkeit der Erfindung nicht in Frage stellt. Es zeigen:Further features and advantages of the invention will become apparent from the following description of embodiments with reference to the accompanying figures. From this description and the figures also show features of the embodiments, which are not mentioned in the claims. Such features may also occur in combinations other than those specifically disclosed herein. Therefore, the fact that several such features are mentioned in the same sentence or in a different type of textual context does not justify the conclusion that they can occur only in the specific combination disclosed; instead, it is generally to be assumed that it is also possible to omit or modify individual ones of several such features, provided this does not call into question the functionality of the invention. Show it:

1 ein Blockdiagramm eines Kraftfahrzeugs, das mit einem erfindungsgemäßen Fahrerassistenzsystem ausgestattet ist; und 1 a block diagram of a motor vehicle, which is equipped with a driver assistance system according to the invention; and

2 ein Flussdiagramm eines Arbeitsverfahrens des Fahrerassistenzsystems. 2 a flowchart of a working method of the driver assistance system.

1 zeigt ein Blockdiagramm eines Kraftfahrzeugs 1, das mit einem erfindungsgemäßen Fahrerassistenzsystem ausgestattet ist. Das Fahrerassistenzsystem umfasst hier vier Mikrofone 2, 2', 2'', 2''', die an Außenflächen der Karosserie, beispielsweise an A- und C-Säulen einer Fahrgastzelle 3, angeordnet sind, um die Geräuschkulisse in der Umgebung des Fahrzeugs 1 aufzunehmen. Die Mikrofone 2, 2', 2'', 2''' sind mit Audiosignaleingängen eines Signalprozessors 4 verbunden. Weitere Audiosignaleingänge können mit Mikrofonen in der Nähe von fahrzeuginternen Geräuschquellen, z. B. einem Mikrofon 5 im Motorraum, oder mit einem Audiosignalausgang einer Fahrzeugaudioanlage 6 verbunden sein, um dem Signalprozessor 4 die Unterdrückung von Beiträgen des Fahrzeugs 1 zu der von den Mikrofonen 2, 2', 2'', 2''' aufgenommenen Geräuschkulisse zu ermöglichen. 1 shows a block diagram of a motor vehicle 1 equipped with a driver assistance system according to the invention. The driver assistance system here includes four microphones 2 . 2 ' . 2 '' . 2 ''' on exterior surfaces of the body, for example on A and C pillars of a passenger compartment 3 , are arranged to the background noise in the environment of the vehicle 1 take. The microphones 2 . 2 ' . 2 '' . 2 ''' are with audio signal inputs of a signal processor 4 connected. Other audio signal inputs can be used with microphones in the vicinity of in-vehicle noise sources, eg. B. a microphone 5 in the engine compartment, or with an audio signal output of a vehicle audio system 6 be connected to the signal processor 4 the suppression of contributions of the vehicle 1 to that of the microphones 2 . 2 ' . 2 '' . 2 ''' To allow recorded background noise.

Der Signalprozessor 4 führt an den von den Mikrofon 2, 2', 2'', 2''' gelieferten Audiosignalen eine Verarbeitung ähnlich einer automatischen Spracherkennung aus: der Signalprozessor 4 verfügt über gespeicherte Modelle des Klangs von Geräuschen, die auf Gefahrensituationen außerhalb des Fahrzeugs 1 hindeuten könnten, und untersucht fortlaufend die von den Mikrofonen 2, 2', 2'', 2''' gelieferten Signale auf das Vorkommen von Merkmalen dieser Modelle.The signal processor 4 leads to the from the microphone 2 . 2 ' . 2 '' . 2 ''' supplied audio signals Processing similar to an automatic speech recognition off: the signal processor 4 has stored models of the sound of noises that are dangerous outside the vehicle 1 and continues to examine those from the microphones 2 . 2 ' . 2 '' . 2 ''' supplied signals on the occurrence of features of these models.

Die Modelle können vom Hersteller des Fahrerassistenzsystems vorgegeben sein, um die Erkennung von standardisierten Gefahrhinweisgeräuschen wie etwa des Tons eines Martinshorns zu erleichtern. Zusätzlich können Modelle durch den Betrieb des Fahrerassistenzsystems erworben sein, wie im Folgenden noch genauer erläutert wird.The models may be dictated by the manufacturer of the driver assistance system to facilitate the detection of standardized hazard sounds such as the sound of a siren. In addition, models may be purchased through the operation of the driver assistance system, as explained in more detail below.

Der Signalprozessor 4 ist eingerichtet, um Laufzeitdifferenzen zwischen den von den einzelnen Mikrofonen 2, 2', 2'', 2''' aufgefangenen Signalen zu messen, die mit der Ausbreitungsrichtung eines an den Mikrofonen eintreffenden Schallsignals, hier dargestellt durch sich unter einem Winkel φ zur Fahrzeuglängsrichtung ausbreitende Wellenfronten 18, zusammenhängen.The signal processor 4 is set up to run time differences between those of the individual microphones 2 . 2 ' . 2 '' . 2 ''' Intercepted signals to be measured with the propagation direction of a sound signal arriving at the microphones, here represented by at an angle φ to the vehicle longitudinal direction propagating wavefronts 18 , related.

Der Signalprozessor 4 ist ferner verbunden mit diversen Sensoren zur Überwachung des Fahrers, hier einer auf den Fahrer ausgerichteten Kamera 8, einem eine Betätigung des Fahrpedals 9 erfassenden Fahrpedalsensor 10, einem eine Betätigung des Bremspedals 11 erfassenden Bremspedalsensors 12 und einem Lenkwinkelsensor 13, der an einer Welle des Lenkrads 14 angeordnet ist, um den Lenkeinschlag zu erfassen.The signal processor 4 is also connected to various sensors for monitoring the driver, here a driver-oriented camera 8th , one an actuation of the accelerator pedal 9 detecting accelerator pedal sensor 10 , one an actuation of the brake pedal 11 detecting brake pedal sensor 12 and a steering angle sensor 13 that is attached to a shaft of the steering wheel 14 is arranged to detect the steering angle.

2 zeigt ein Flussdiagramm eines Verfahrens, mit der Signalprozessor 4 die das Kraftfahrzeug 1 umgebende Signalkulisse verarbeitet und auswertet. Bei der Betrachtung dieses Flussdiagramms ist zu berücksichtigen, dass die Geräuschkulisse das Fahrzeug ständig umgibt und fortlaufend ausgewertet werden muss. Die dargestellte Abfolge der Verfahrensschritte ist daher eher im Sinne einer Kausalkette als einer strikten zeitlichen Abfolge zu verstehen; die gezeigten Verfahrensschritte können daher auch zum Teil gleichzeitig oder zeitlich verschränkt ablaufen. Da die Geräuschkulisse kontinuierlich entsteht, während sich das Fahrzeug bewegt, ist die Erfassung niemals vollständig abgeschlossen, und eine Verarbeitung kann daher nur für aufeinanderfolgende Zeitabschnitte der Geräuschkulisse erfolgen, während die Erfassung kontinuierlich weitergeht. Dementsprechend hat man sich die Erfassung der Geräuschkulisse in Schritt S1 des Verfahrens vorzustellen als eine fortlaufende Messung und Digitalisierung von Schalldruckpegeln und die Erzeugung von Datenpaketen, die jeweils die digitalisierten Werte eines Zeitabschnitts gegebener Länge enthalten. Die nachfolgenden Verfahrensschritte werden jeweils auf diese Datenpakete angewandt. 2 shows a flowchart of a method, with the signal processor 4 the motor vehicle 1 surrounding signal frame processed and evaluated. When considering this flowchart, it should be borne in mind that the background noise constantly surrounds the vehicle and must be continuously evaluated. The illustrated sequence of method steps is therefore to be understood more in the sense of a causal chain than a strict chronological order; The method steps shown can therefore also run partly simultaneously or temporally entangled. Since the background noise continuously arises while the vehicle is moving, the detection is never completely completed, and processing can therefore be performed only for successive portions of the background noise while the detection proceeds continuously. Accordingly, the detection of the background noise in step S1 of the method is to be imagined as a continuous measurement and digitization of sound pressure levels and the generation of data packets each containing the digitized values of a time segment of given length. The following method steps are respectively applied to these data packets.

Das Flussdiagramm umfasst zwei voneinander unabhängige Verarbeitungsstränge, die auf den Schritt S1 folgen, zum einen den Strang der Schritte S2 bis S10 und zum anderen den Strang der Schritte S11 bis S15. Da beide von den gleichen Datenpaketen ausgehen, können sie parallel ausgeführt werden.The flowchart comprises two independent processing strands which follow step S1, firstly the strand of steps S2 to S10 and secondly the strand of steps S11 to S15. Since both start from the same data packets, they can be executed in parallel.

In Schritt S2 wird unter mehreren in einem Speicher des Signalprozessors 4 abgelegten Mustern eines ausgewählt, um es in Schritt S3 mit der Geräuschkulisse des Datenpakets zu vergleichen und so festzustellen, ob ein diesem Muster entsprechendes Geräusch in der Geräuschkulisse enthalten ist. Einer einfachen Ausgestaltung der Erfindung zufolge sind die gespeicherten Muster vom Hersteller des Fahrerassistenzsystems fest vorgegeben und entsprechen bekannten, potentiell Gefahr anzeigenden Geräuschen wie etwa einem Martinshorn, diversen Typen von Fahrzeughupen, dem Quietschen von bremsenden Reifen, etc. Bei dieser einfachen Ausgestaltung entfällt der Verarbeitungsstrang der Schritte S11 bis S15.In step S2, among several in a memory of the signal processor 4 stored patterns one to be compared with the noise of the data packet in step S3 and thus to determine whether a noise corresponding to this pattern is included in the background noise. According to a simple embodiment of the invention, the stored patterns are predefined by the manufacturer of the driver assistance system and correspond to known, potentially dangerous sounds such as a siren, various types of vehicle horns, the squealing of braking tires, etc. In this simple embodiment, the processing strand of the Steps S11 to S15.

Einer bevorzugten Ausgestaltung der Erfindung zufolge ist der Satz der gespeicherten Muster im Laufe des Betriebs des Fahrerassistenzsystems erweiterbar durch die im Folgenden noch genauer erläuterten Schritte S11 bis S15.According to a preferred embodiment of the invention, the set of stored patterns in the course of operation of the driver assistance system can be expanded by the steps S11 to S15 explained in more detail below.

Wenn die Überprüfung des Schritts S4 ergibt, dass das ausgewählte Muster in dem untersuchten Zeitabschnitt der Geräuschkulisse nicht enthalten ist, springt das Verfahren zu Schritt S6, in welchem geprüft wird, ob noch gespeicherte Muster vorhanden sind, die noch nicht auf Ähnlichkeit mit dem erfassten Abschnitt verglichen sind. Wenn ja, kehrt die Verarbeitung zu Schritt S2 zurück, um ein weiteres noch nicht untersuchtes Muster auszuwählen und den Vergleich durchzuführen.If the check of step S4 reveals that the selected pattern is not included in the examined period of the background noise, the process jumps to step S6, in which it is checked whether there are still stored patterns that are not yet similar to the detected portion are compared. If so, the processing returns to step S2 to select another not yet examined pattern and perform the comparison.

Wenn in Schritt S4 festgestellt wird, dass das untersuchte Muster in der Geräuschkulisse enthalten ist, dann liest der Signalprozessor eine diesem Muster zugeordnete Verstärkung aus dem Speicher (S5), extrahiert den dem Muster entsprechenden Anteil aus dem Datenpaket und geht weiter zu Schritt S6.If it is determined in step S4 that the examined pattern is included in the background noise, then the signal processor reads out a gain associated with this pattern from the memory (S5), extracts the pattern-corresponding portion from the data packet and proceeds to step S6.

Wenn in Schritt S4 festgestellt wird, dass alle gespeicherten Muster abgearbeitet sind, wird in Schritt S7 ein in die Fahrgastzelle 3 einzuspielendes Signal synthetisiert, indem die extrahierten Anteile jeweils mit der ihnen zugeordneten Verstärkung und ein nach den Extraktionen übrig gebliebener, keinem der Muster entsprechender Rest des Datenpakets mit einer Standardverstärkung multipliziert und die Produkte zu einem synthetischen Signal aufaddiert werden. Dieses synthetische Signal wird in Schritt S8 über die Lautsprecher 7 wiedergegeben. Der Signalprozessor 4 bildet zu diesem Zweck eine weitere Signalquelle für einen Verstärker 15 der Audioanlage 6, neben beispielsweise einem Radioempfänger 16 oder einem CD-Spieler 17, wobei allerdings das vom Signalprozessor 4 ausgegebene synthetische Signal nicht notwendigerweise allein auf die Lautsprecher 7 gegeben wird, sondern, falls eine andere Audiosignalquelle 16 oder 17 in Betrieb ist, deren Signal beigemischt wird, so dass beide gleichzeitig in der Fahrgastzelle 3 hörbar sind.If it is determined in step S4 that all the stored patterns have been processed, an entry into the passenger compartment is made in step S7 3 signal to be recorded synthesized by multiplying the extracted portions with their associated gain and a remaining after the extractions, none of the pattern corresponding remainder of the data packet with a standard gain and the products are added to a synthetic signal. This synthetic signal is transmitted via the loudspeakers in step S8 7 played. Of the signal processor 4 forms for this purpose another signal source for an amplifier 15 the audio system 6 , next to, for example, a radio receiver 16 or a CD player 17 , although that of the signal processor 4 output synthetic signal is not necessarily alone on the speakers 7 is given, but if another audio signal source 16 or 17 is in operation, whose signal is mixed, so that both at the same time in the passenger compartment 3 are audible.

In Schritt S9 wird erfasst, ob der Fahrer eine auffällige Reaktion auf die Wiedergabe des synthetischen Signals zeigt. Eine solche Reaktion kann z. B. in einem unerwarteten abrupten Lenkmanöver, heftigem Bremsen oder Beschleunigen, hastigen Körperbewegungen oder dergleichen bestehen. Die Geschwindigkeit, mit der das Lenkrad 14 gedreht oder das Pedal 9 oder 11 getreten werden muss, damit ein Manöver als abrupt oder heftig aufgefasst wird, kann im einfachsten Fall fest vorgegeben sein; denkbar ist aber auch, Informationen beispielsweise eines Fahrzeugnavigationssystems 19 heranzuziehen, um die Schwelle für ein abruptes Manöver bei gleichmäßiger Fahrt auf unverzweigter Fahrbahn niedriger anzusetzen als beispielsweise an einer Kreuzung, an der eine von dem Navigationssystem geplante Fahrtroute ein Abbiegen erfordert.In step S9, it is detected whether the driver shows a conspicuous response to the reproduction of the synthetic signal. Such a reaction may, for. B. in an unexpected abrupt steering maneuver, violent braking or acceleration, hasty body movements or the like. The speed with which the steering wheel 14 turned or the pedal 9 or 11 must be entered so that a maneuver is considered abrupt or violent, can be fixed in the simplest case; It is also conceivable, however, information, for example, a vehicle navigation system 19 to set lower the threshold for an abrupt maneuver with smooth ride on unbranched road than, for example, at an intersection where a planned by the navigation system route requires a turn.

Mit Hilfe der auf den Fahrer ausgerichteten Kamera 8 können eventuelle Schreckreaktionen wie etwa ein Zusammenzucken oder Aufreißen der Augen, ein plötzliches Umsichblicken oder dergleichen erfasst werden.With the help of the driver-oriented camera 8th For example, any startling reactions such as a blinking or tearing of the eyes, a sudden glance or the like may be detected.

Wenn eine auffällige Fahrerreaktion vorliegt, wird geprüft, ob diese einem der in den Schritten S2–S6 identifizierten Geräusche zugeordnet werden kann. Eine solche Zuordnung ist insbesondere dann möglich, wenn nur ein einziges Geräusch identifiziert worden ist oder die Lautstärke anderer identifizierter Geräusche deutlich übertrifft, oder wenn die Lautstärke eines identifizierten Geräuschs kurz zuvor erheblich zugenommen hat.If there is a conspicuous driver reaction, it is checked whether it can be assigned to one of the noises identified in steps S2-S6. Such an allocation is particularly possible if only a single noise has been identified or the volume of other identified sounds significantly exceeds, or if the volume of an identified noise has increased significantly earlier.

Wenn eine solche Zuordnung möglich ist, dann ist die Wahrscheinlichkeit hoch, dass das zugeordnete Geräusch für die Fahrerreaktion ursächlich ist. In Schritt S10 wird deshalb die diesem Geräusch zugeordnete gespeicherte Verstärkung heraufgesetzt, oder falls ein maximal zulässiger Wert erreicht ist, die Verstärkung anderer, nicht als Gefahr anzeigend erkannter Geräusche herabgesetzt. So wird im Laufe des Betriebs des Systems die Verstärkung ein immer genaueres Maß für die Sicherheitsrelevanz eines Geräuschs.If such an assignment is possible, then the likelihood that the associated noise is responsible for the driver's response is high. In step S10, therefore, the stored gain associated with that noise is increased, or if a maximum allowable value is reached, the gain of other sounds not detected as indicating danger is reduced. Thus, as the system operates, gain becomes an ever more accurate measure of the safety relevance of a noise.

Wenn Muster von Gefahr anzeigenden Geräuschen herstellerseitig vorgegeben sind, kann für diese auch von vornherein eine Verstärkung für die Wiedergabe vorgegeben sein, die höher ist als die Standardverstärkung.If patterns of danger-indicating noises are specified by the manufacturer, a gain for the reproduction, which is higher than the standard gain, can also be predefined from the outset.

Im zweiten Verarbeitungsstrang wird an dem in Schritt S1 erhaltenen Datenpaket zunächst eine Zerlegung nach Geräuschquellen vorgenommen. Die Quellen von möglicherweise Gefahr anzeigenden Geräuschen sind normalerweise an einem bestimmten Ort lokalisiert, und indem die an den Mikrofonen 2, 2', 2'', 2''' eintreffenden Signale mit einer solchen Zeitverschiebung zu einem (im folgenden als richtungsselektiv bezeichneten Signal) aufaddiert werden, dass von dem betreffenden Ort kommende Schallwellen konstruktiv interferieren, kann eine Zerlegung der Geräuschkulisse nach Herkunftsrichtungen und damit auch nach Geräuschquellen erfolgen. Als Ergebnis des Schritts S11 wird somit eine begrenzte Zahl von richtungsselektiven Signalen erhalten, die Richtungen entsprechen, aus denen jeweils starke Geräusche zu kommen scheinen und die folglich von jeweils verschiedenen Geräuschquellen herrühren dürften. Jedes dieser richtungsselektiven Signale wird daher vom Signalprozessor 4 unabhängig von seinem Spektrum oder anderen akustischen Eigenschaften einer gleichen Quelle zugeordnet; richtungsselektive Signale, die aus verschiedenen Richtungen kommen, werden hingegen verschiedenen Quellen zugeordnet, selbst wenn sich ihre sonstigen akustischen Eigenschaften ähneln. In Schritt S12 wird eines dieser richtungsselektiven Signale ausgewählt, und in Schritt S13 wird es mit bereits gespeicherten Mustern verglichen. Wenn es einem der Muster entspricht, gehört offensichtlich die Geräuschquelle, von der das richtungsselektive Signal herrührt, zum Typ dieses Musters. Wird kein passendes Muster gefunden, dann kommt das Signal vermutlich von einer neuartigen, bisher nicht gehörten Quelle, für die ein Muster in Schritt S14 anhand des richtungsselektiven Signals angelegt wird. Zusammen mit dem neu angelegten Muster wird auch ein Verstärkungsfaktor abgespeichert, der zunächst auf den bereits erwähnten Standardverstärkungswert gesetzt wird.In the second processing string, a decomposition for noise sources is first performed on the data packet obtained in step S1. The sources of potentially hazardous-looking sounds are usually localized in a particular location, and by those on the microphones 2 . 2 ' . 2 '' . 2 ''' incoming signals with such a time shift to a (hereinafter referred to as directionally selective signal) are added that coming from the place in question sound waves constructively interfere with a decomposition of the background noise according to directions of origin and thus also after noise sources. As a result of step S11, a limited number of direction-selective signals are thus obtained, which correspond to directions from which strong noises appear to come, and which consequently should result from different noise sources. Each of these direction-selective signals is therefore from the signal processor 4 regardless of its spectrum or other acoustic properties assigned to a same source; however, directionally selective signals coming from different directions are assigned to different sources, even if their other acoustic properties are similar. In step S12, one of these directionally selective signals is selected, and in step S13, it is compared with already stored patterns. If it matches one of the patterns, obviously the noise source from which the directionally selective signal originates belongs to the type of this pattern. If no matching pattern is found, then the signal presumably comes from a novel, previously unrecognized source for which a pattern is applied in step S14 using the directionally selective signal. Together with the newly created pattern, an amplification factor is also stored which is initially set to the standard amplification value already mentioned.

Die Schritte S12 bis S15 werden sooft wiederholt wie erforderlich, um alle in dem Datenpaket der Geräuschkulisse gefundenen richtungsselektiven Signale zu verarbeiten. Die auf diese Weise angelegten Muster werten bei der Verarbeitung eines späteren Datenpakets der Geräuschkulisse in den Schritten S2 bis S10 herangezogen.Steps S12 to S15 are repeated as many times as necessary to process all the directionally selective signals found in the noise floor data packet. The patterns created in this way evaluate in the processing of a later data packet of the background noise in steps S2 to S10.

Indem der Signalprozessor im Verarbeitungsstrang S11 bis S15 neue Geräuschquellen selbsttätig erkennt und Muster für sie anlegt, kann er sich dynamisch und selbstlernend an Verkehrssituationen und Geräusche anpassen, die bei der Entwicklung des Assistenzsystems noch nicht in Betracht gezogen worden sind. Im Extremfall ist sogar denkbar, das erfindungsgemäße Assistenzsystem völlig ohne herstellerseitig vorgegebene Muster in Betrieb zu nehmen. Wenn ein solches Fahrerassistenzsystem sein erstes Datenpaket verarbeitet, sind noch keine Muster vorhanden, so dass die Schritte S2 bis S6 übersprungen werden und das synthetisierte Geräusch mit dem Datenpaket identisch ist. D. h. die externe Geräuschkulisse wird „ungefiltert” in der Fahrgastzelle 3 wiedergegeben.By the signal processor in the processing line S11 to S15 automatically detects new noise sources and creates patterns for them, he can adapt dynamically and self-learning to traffic situations and sounds that have not been taken into account in the development of the assistance system. In extreme cases, it is even conceivable that the assistance system according to the invention can be put into operation completely without specimens predetermined by the manufacturer. If such a driver assistance system processes its first data packet, no patterns are yet present, so that the steps S2 to S6 are skipped and the synthesized noise is identical to the data packet. Ie. the external noise is "unfiltered" in the passenger compartment 3 played.

Die Zerlegung des Schritts S11 findet bereits an dem ersten Datenpaket statt, so dass auch bereits anhand dieses Pakets Muster angelegt werden können, die der Verarbeitung des nächsten Datenpakets zugrunde gelegt werden können. Derartige Muster werden typischerweise im Straßenverkehr ständig hörbaren Geräuschen wie etwa Motor- und Rollgeräusch des Fahrzeugs 1 selbst oder von anderen Fahrzeugen entsprechen. Diese Geräusche rufen keine Reaktion des Fahrers hervor, so dass die Verstärkungsanpassung des Schritt S10 im Laufe der Zeit zu immer niedrigeren Verstärkungen bis hin zu Null-Verstärkung für diese Geräusche führen wird. Nach einer Anlernphase werden diese Geräusche daher nicht mehr oder allenfalls noch mit sehr niedriger Lautstärke über die Lautsprecher 7 wiedergegeben. Jedes neuartige Geräusch, zu dem noch kein Muster existiert, im Fall des Fehlens von herstellerseitig vorgegebenen Mustern also auch jedes möglicherweise Gefahr anzeigende Geräusch, wird mit dem Standardverstärkungsfaktor in die Fahrgastzelle eingespielt und kann so Reaktionen des Fahrers hervorrufen. Die Erfassung dieser Reaktionen durch den Signalprozessor 4 führt dazu, dass der Standardverstärkungsfaktor für diese Geräusche bestehen bleibt oder die Verstärkung sogar noch über den Standardfaktor hinaus erhöht wird.The decomposition of step S11 already takes place on the first data packet, so that patterns based on the processing of the next data packet can also already be created on the basis of this packet. Such patterns typically become audible noise in the traffic such as engine and rolling noise of the vehicle 1 yourself or other vehicles. These noises do not evoke any driver response, so the gain adjustment of step S10 over time will result in progressively lower gains, up to zero gain for those noises. After a learning phase, these sounds are therefore no longer or at most with very low volume on the speakers 7 played. Any novel noise that does not yet have a pattern, in the case of the absence of manufacturer-specified patterns and any possible noise-indicating noise, is loaded into the passenger compartment with the standard amplification factor and can thus cause reactions of the driver. The detection of these reactions by the signal processor 4 causes the standard gain factor for these noises to persist or even increase the gain beyond the standard factor.

Wenn die Verarbeitungsstränge S2–S10 und S11–S15 ständig parallel ablaufen, kann dies im Laufe der Zeit zu einer großen Zahl von gespeicherten Mustern und einer langwierigen Verarbeitung führen. Wenn für die wichtigsten Gefahr anzeigenden Geräusche Muster herstellerseitig vorgegeben oder in einer Anlernphase des Systems gelernt worden sind, kann vorgesehen werden, dass, wie durch eine gestrichelte Verbindung in 2 angedeutet, der Verarbeitungsstrang S11 bis S15 nur noch durch die Erfassung einer auffälligen Fahrerreaktion ausgelöst wird, ohne dass zuvor ein Muster eines Gefahr anzeigenden Geräuschs mit hohem zugeordnetem Verstärkungsfaktor in der Geräuschkulisse gefunden worden wäre. In diesem Fall muss die Reaktion des Fahrers auf den keinem bekannten Geräusch zuzuordnenden Rest des Datenpakets zurückzuführen sein, was darauf hindeutet, dass in der Geräuschkulisse ein bisher unbekanntes Gefahr anzeigendes Geräusch enthalten sein muss, von dem durch den Verarbeitungsstrang S11–S15 ein Muster angelegt werden sollte.If the processing strings S2-S10 and S11-S15 are always running in parallel, over time this can lead to a large number of stored patterns and tedious processing. If samples for the most important hazard-indicating noises have been provided by the manufacturer or learned in a learning phase of the system, it can be provided that, as indicated by a dashed connection in FIG 2 indicated that the processing string S11 to S15 is triggered only by the detection of a conspicuous driver reaction, without previously a pattern of danger-indicating noise with a high associated gain in the background noise would have been found. In this case, the driver's response must be due to the remainder of the data packet not attributable to any known noise, indicating that the soundscape must include a hitherto unknown hazard indicative noise patterned by the processing string S11-S15 should.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

Kraftfahrzeugmotor vehicle

22

Mikrofonmicrophone

33

Fahrgastzellecabin

44

Signalprozessorsignal processor

55

Mikrofonmicrophone

66

Audioanlageaudio system

77

Lautsprecherspeaker

88th

Kameracamera

99

Fahrpedalaccelerator

1010

FahrpedalsensorAccelerator pedal sensor

1111

Bremspedalbrake pedal

1212

BremspedalsensorBrake pedal sensor

1313

LenkwinkelsensorSteering angle sensor

1414

Lenkradsteering wheel

1515

Verstärkeramplifier

1616

Radioempfängerradio receiver

1717

CD-SpielerCD player

1818

Wellenfrontwavefront

1919

Navigationssystemnavigation system

Claims (9)

Fahrerassistenzsystem für ein Kraftfahrzeug mit – wenigstens einem Mikrofon (2, 2', 2'', 2''') zum Erfassen einer sich aus Geräuschen verschiedener Quellen zusammensetzenden Geräuschkulisse in der Umgebung des Kraftfahrzeugs; – Mitteln (8, 10, 12, 13) zum Erfassen der Reaktion des Fahrers auf ein Geräusch; – einem Signalprozessor (4) zum Identifizieren der Geräusche verschiedener Quellen in der Geräuschkulisse und zum Zuordnen eines Sicherheitsrelevanzniveaus zu jedem identifizierten Geräusch anhand einer erfassten Reaktion des Fahrers auf das Geräusch; – wenigstens einem Lautsprecher (7) zum Wiedergeben des identifizierten Geräuschs mit einer vom zugeordneten Sicherheitsniveau abhängigen Lautstärke.Driver assistance system for a motor vehicle with - at least one microphone ( 2 . 2 ' . 2 '' . 2 ''' ) for detecting a soundscape composed of noises of different sources in the vicinity of the motor vehicle; - means ( 8th . 10 . 12 . 13 ) for detecting the driver's reaction to a noise; A signal processor ( 4 ) for identifying the noise of various sources in the background noise and for assigning a safety relevance level to each identified noise based on a detected driver's reaction to the noise; At least one loudspeaker ( 7 ) for reproducing the identified noise at a volume dependent on the assigned security level. Fahrerassistenzsystem nach Anspruch 1, dadurch gekennzeichnet, dass die Mittel zum Erfassen der Reaktion des Fahrers eine auf den Fahrer ausgerichtete Kamera (8), einen Sensor zum Erfassen einer Lenkradbetätigung (13), einen Sensor zum Erfassen einer Fahrpedalbetätigung (10) und/oder einen Sensor zum Erfassen einer Bremspedalbetätigung umfassen (12).Driver assistance system according to claim 1, characterized in that the means for detecting the driver's reaction to a driver-oriented camera ( 8th ), a sensor for detecting a steering wheel operation ( 13 ), a sensor for detecting an accelerator operation ( 10 ) and / or include a sensor for detecting a brake pedal operation ( 12 ). Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Signalprozessor (4) eingerichtet ist, das Sicherheitsrelevanzniveau eines identifizierten Geräuschs um so höher anzusetzen, je heftiger die erfasste Reaktion darauf ist.Driver assistance system according to one of the preceding claims, characterized that the signal processor ( 4 ) is set to increase the level of safety relevance of an identified sound the higher the response to it is. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Signalprozessor (4) eingerichtet ist, das Geräusch einer Quelle durch Vergleich (S3) der erfassten Geräuschkulisse mit einem gespeicherten Muster zu identifizieren.Driver assistance system according to one of the preceding claims, characterized in that the signal processor ( 4 ) is arranged to identify the noise of a source by comparing (S3) the detected background noise with a stored pattern. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Signalprozessor (4) eingerichtet ist, das Geräusch einer Quelle anhand seiner Herkunftsrichtung zu identifizieren (S11).Driver assistance system according to one of the preceding claims, characterized in that the signal processor ( 4 ) is arranged to identify the noise of a source by its origin direction (S11). Fahrerassistenzsystem nach Anspruch 5, dadurch gekennzeichnet, dass der Signalprozessor (4) eingerichtet ist, ein Muster eines anhand seiner Herkunftsrichtung identifizierten Geräuschs zu speichern (S14).Driver assistance system according to claim 5, characterized in that the signal processor ( 4 ) is arranged to store a pattern of a sound identified by its origin direction (S14). Verfahren zur Fahrerunterstützung in einem Kraftfahrzeug, mit den Schritten: a) Erfassen einer sich aus Geräuschen verschiedener Quellen zusammensetzenden Geräuschkulisse in der Umgebung des Kraftfahrzeugs (S1); b) Identifizieren der Geräusche verschiedener Quellen in der Geräuschkulisse (S3, S4); c) Erfassen der Reaktion des Fahrers auf ein Geräusch (S9); d) Zuordnen eines Sicherheitsrelevanzniveaus zu jedem identifizierten Geräusch anhand einer erfassten Reaktion des Fahrers auf das Geräusch (S10); und e) Wiedergeben des identifizierten Geräuschs mit einer vom zugeordneten Sicherheitsniveau abhängigen Lautstärke (S8).Method for driver assistance in a motor vehicle, with the steps: a) detecting a noise from the noise of various sources in the vicinity of the motor vehicle (S1); b) identifying the sounds of different sources in the background noise (S3, S4); c) detecting the driver's reaction to a noise (S9); d) assigning a safety relevance level to each identified noise based on a detected driver's reaction to the noise (S10); and e) reproducing the identified sound at a level dependent on the assigned safety level (S8). Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass identifizierte Geräusche in Echtzeit wiedergegeben werden und dass die Wiedergabe des Schritts e) mit der vom in Schritt d) zugeordneten Sicherheitsniveau abhängigen Lautstärke erst bei einem erneuten Auftreten desselben Geräuschs erfolgt.A method according to claim 7, characterized in that identified sounds are reproduced in real time and that the reproduction of step e) with the level of security associated with the step in step d) only occurs when the same sound occurs again. Computerprogramm-Produkt mit Programmcode-Mitteln, die einen Computer befähigen, als Signalprozessor in einem Fahrerassistenzsystem nach einem der Ansprüche 1 bis 6 zu arbeiten oder ein Verfahren nach Anspruch 7, oder 8 auszuführen.A computer program product comprising program code means for enabling a computer to operate as a signal processor in a driver assistance system according to any one of claims 1 to 6 or for carrying out a method according to claim 7, or 8.

Images