EP1519618B1 - Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen - Google Patents
Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen Download PDFInfo
- Publication number
- EP1519618B1 EP1519618B1 EP03021578A EP03021578A EP1519618B1 EP 1519618 B1 EP1519618 B1 EP 1519618B1 EP 03021578 A EP03021578 A EP 03021578A EP 03021578 A EP03021578 A EP 03021578A EP 1519618 B1 EP1519618 B1 EP 1519618B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- communication device
- previous
- algorithm
- audio signals
- reverberation time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000004891 communication Methods 0.000 title claims abstract description 106
- 230000005236 sound signal Effects 0.000 title claims abstract description 76
- 230000001629 suppression Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 39
- 230000001419 dependent effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 claims 1
- 238000011017 operating method Methods 0.000 abstract 1
- 238000002592 echocardiography Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000030279 gene silencing Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003716 rejuvenation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
Definitions
- the invention relates to a method for operating a communication device, wherein the communication device radiates audio signals to an environment and on the one hand resumes these audio signals including ambient superimposed interference components containing at least echo and reverberation and on the other hand audio signals of an external sound source, preferably a Merixationstechnikutzers, including their ambient Disturbance components, and the resumed audio signals are used by a first algorithm to determine a room impulse response of the environment.
- the invention relates to a communication device with means for interference suppression of audio signals, wherein the communication device has at least one speaker which radiates audio signals to an environment and further comprises at least one microphone, on the one hand with these audio signals including ambient superimposed interference components, the at least echo and Reverberation be included and on the other hand audio signals of an external sound source, preferably a communication device user, including their environmental interference components, recorded, and in the communication device, a first means is provided having a means for calculating a room impulse response of the environment.
- the type and duration of the reverberation are decisively influenced by the geometry of the room and the condition of the walls.
- the reverberation time has hitherto been determined by two types of methods, namely by statistical estimation methods or by a method which uses one or more measuring signals.
- an information averaged over many speakers and speech examples on the time and amplitude ratio of speech sections to speech pauses is used to obtain a statement about the reverberation time via the change of this ratio in comparison to the value in unvoiced speech.
- a measurement signal for example white noise, which is known to the system must be played via an external sound source.
- the correlation between the reproduced measurement signal and the signal, which is received again via the microphone of the communication device, can then be used to estimate the reverberation time T60.
- This option is at most practicable for experimental setups, since, for example, the user of a telephone can not be expected to perform such a measurement before or during each conversation with the telephone.
- D1 US 4,066,842 shows a signal processing system for deriving a noise-reduced output signal from two supplied signals, in particular to reduce the reverberation and interference in audio frequency systems, such as those used in telephone hands-free systems.
- the inventors have recognized that information contained in the room impulse response can also be used to suppress other audio signals.
- the spatial impulse response can be obtained by a known method.
- the room impulse response calculated by the Acoustic Echo Cancelation method wherein the AEC method is already present in many telephones and which uses this room impulse response to suppress the resumed audio signals, can also be used to determine the reverberation time of the environment.
- the audio signal radiated by a first communication device in hands-free mode usually the voice of the communication device user of the second communication device, including the interference components caused by the environment of the first communication device, is picked up again by the microphone of the first communication device first determine the spatial impulse response with these audio signals using a first algorithm.
- the room impulse response implicitly includes the reverberation time T60, ie the reverberation time can be calculated from it.
- the reverberation time of the room is determined from the room impulse response already determined by the first algorithm. This reverberation time can then be used to determine the reverberation in the recorded speech signal of the first communication device user.
- the inventors additionally make use of the knowledge that the reverberation time does not change significantly even at different positions of the sound source in the room.
- the inventors propose a method for operating a communication device, wherein the communication device radiates audio signals to an environment and on the one hand resumes these audio signals including ambient superimposed interference components containing at least echo and reverberation and on the other hand audio signals of an external sound source, preferably a Merixationsmaschineutzers including its environmental disturbance components, and a first algorithm determines a room impulse response of the environment to improve on the recorded audio signals of the external sound source, preferably the communication device user, using a second suppression algorithm which uses a reverberation time for suppression; which he determines from the space impulse response determined by the first algorithm.
- the communication device radiates audio signals to an environment and on the one hand resumes these audio signals including ambient superimposed interference components containing at least echo and reverberation and on the other hand audio signals of an external sound source, preferably a Medunikations confuseers including its environmental disturbance components
- a first algorithm determines a room impulse response of the environment to improve on the recorded audio signals of the external sound source, preferably the communication
- the method is particularly well suited for communication devices, such as for radios, mobile devices or landline telephones, since just here the possibility of radiation of a known signal and the subsequent recording is given. But also for stand-alone devices that can output audio signals via a speaker and can also record audio signals via a microphone, the method is suitable to use the resulting by the environmental condition of the stand-alone device reverberation time and to suppress interference.
- the determination of the reverberation time via this method is much more accurate, as compared to a previous estimate from the reverberant audio signal.
- the new method can provide the basis for real-time parameterization and real-time adaptation of speech reverberation algorithms.
- the reverberation time is calculated from the energetic decay of the reverberation, whereby the information about the speed of this decay is contained in the spatial impulse response. This allows a more accurate determination of the reverberation time compared to the statistically based estimation of the reverberation time.
- an AEC (Acoustic Echo Cancellation) algorithm can be used in the new method in the first algorithm.
- This AEC algorithm is already present in many telephones and is actually used to suppress the resumed audio signals.
- the algorithm calculates a room impulse response, which according to the invention can be used to determine the reverberation time.
- a second suppression algorithm is used.
- Such a second interference suppression algorithm is intended to exploit the determined or assumed reverberation time for the ambient superimposed interference components, such as echo and reverb, Remove from the recorded audio signal of the communication device user.
- the spatial impulse response is filtered as a function of the frequency and preferably by a plurality of bandpass filters.
- the reverberation time which itself is frequency-dependent, can be determined as a function of the frequency.
- the application of the new method can be very easily detected in two communication devices: The method described for operating a communication device based on the fact that the speaker of an audio system, for example, radiates into a room and that reverberated through the room Audio signal is recorded again from the microphone of the audio system.
- the inventors also propose a known communication device with means for interference suppression of audio signals, wherein the communication device has at least one speaker, the audio signals radiates to an environment and further comprises at least one microphone with which on the one hand these audio signals including ambient superimposed interference components containing at least echo and reverberation are resumed and on the other hand audio signals of an external sound source, preferably a Merunikations confuseers, including their environmental interference components are added, and in the communication device a first means is provided, which has a means for calculating a room impulse response of the environment, in that a second means for the recorded audio signals of the external sound source, preferably the communication device user, including their environmental disturbance parts is arranged, which is a means for Determining the reverberation time, which determines the reverberation time, which is included in the space impulse response determined by the first means.
- the communication device has at least one speaker, the audio signals radiates to an environment and further comprises at least one microphone with which on the one hand these audio signals including ambient superimposed interference components
- a communication device in which the reverberation time, which was determined by the utilization of the radiation of a known audio signal and the subsequent recording of the reverberated in the audio signal on the determination of the room impulse response, which now also for the interference suppression of the audio signals of an external Sound source can be used.
- the interference suppression can be done more accurately than before, as the reverberation time is better and more accurately determined.
- the first means has program means and / or program modules which determine the reverberation time.
- the second means may have program means and / or program modules which determine the reverberation time.
- the first means may include program means and / or program modules having an AEC (Acoustic Echo Cancellation) algorithm or an algorithm as described in Welch, PD [1970], The Use of Fast Fourier Transform for the Estimation of Power Spectra , IEEE Trans Audio Electroacoustic, Vol AU15, pp70-73). The content of this literature reference is incorporated in full.
- AEC Acoustic Echo Cancellation
- the second means have program means and / or program modules which execute an algorithm which removes the ambiently superimposed interference components, such as echo and reverb, from the recorded audio signal of the communication device user by utilizing the ambiently determined reverberation time.
- the determination of the reverberation time as a function of the frequency and correspondingly the frequency-dependent interference suppression of the audio signals is implemented favorably in the communication device if bandpass filters are arranged in the communication device which filter the spatial impulse response.
- the new communication device may be a telephone, for example in the form of a mobile radio terminal or a wired telephone, an electric household appliance or an electric module of a vehicle with means for voice input and voice output.
- FIG. 1 shows by way of example in a diagram the temporal energy distribution of an audio signal which can be recorded and measured in a room with a microphone when a pulse-like audio signal, for example a bang, occurs.
- This power distribution is obtained by entering the magnitude square forms a room impulse response and this logarithmiert.
- the reverberation 3 follows, which consists of quasi-chaotic superimposed reflections of the audio signal in space and diffusely arrives at the measuring microphone.
- the new method uses the reverberation time T60 of an audio signal determined from the spatial impulse response 14 that is characteristic of a particular room.
- an energy range A60 which is in the range of the reverberation 3, in which the energy of the reverberation drops by 60 decibels.
- the upper and lower limits of the energy range A60 are first projected on the reverberation curve 3 and then on the abscissa, ie the time axis.
- the projected area on the time axis corresponds to the reverberation time T60.
- the energy range does not necessarily have to be chosen to be 60 decibels, but can also be chosen to be smaller or larger.
- an area may be chosen in which the energy of the Reverberation drops by 30 decibels, for example.
- the value obtained from the projection on the time axis must be adjusted accordingly by the factor of reduction / increase of the energy. With an energy range of only 30 decibels, the time period is multiplied by a factor of 2 to obtain the reverberation time T60.
- FIG. 2 again the example of the temporal energy distribution of a pulse-like audio signal, for example a bang is shown.
- the audio signal should be recorded in a smaller space. This manifests itself in a lower reverberation 3.
- the reverberation curve 3 falls off faster, whereby the reverberation T60 less than in FIG. 1 is.
- the direct sound 1 and the echoes 2 in the diagram of FIG. 2 unchanged from the diagram of FIG. 1 accepted. In a real measurement of a signal, however, differences could occur here.
- the reverberation time T60 can be determined from the energy waste of the reverberation 3, that is to say the negative slope of the reverberation curve 3.
- FIG. 3 now shows a measured room impulse response 14 of a room.
- On the ordinate are the signal amplitudes and on the abscissa the time is plotted.
- the rate of energy decay in the room impulse response over time is characteristic of that particular space. This speed will be obtained regardless of the measurement signal and the position of the sound source and microphone in the room for that particular room.
- the FIG. 4 shows two communication devices 13.1 and 13.2, the signals 4 and 12 via an interface 13.3 exchange.
- the communication devices 13.1 and 13.2 may be, for example, terminals in the mobile radio network.
- the interface 13.3 may be, for example to act a transmitting / receiving antenna or an infrared interface.
- the new method is used.
- the first communication device 13.1 is said to be in an environment, for example, a church where reverberation effects occur. This environment is indicated by a unilaterally open rectangle with the reference numeral 9.
- the signal 4 is sent via the interface 13.3 from the second communication device 13.2 to the first communication device 13.1 and received by the latter.
- the signal 12 is to be sent from the first communication device 13.1 to the second communication device 13.2, thereby disturbances that occur through the environment 9 of the first communication device 13.1, are suppressed.
- the first communication device 13.1 has at least one digital-to-analog converter 6, which converts the digital signals 4 sent by the second communication device 13.2 into analog signals and forwards them to a loudspeaker 7.
- the first communication device 13.1 has a microphone 10, which can record analog signals and digitized via an analog-to-digital converter 11.
- the already known reverberation time is made available for the suppression of the signal 15.1 as follows.
- the signal 4 sent by the second communication device 13.2 is converted by the digital-to-analog converter 6 and output via the loudspeaker 7 of the first communication device 13.1.
- Analogous to the diagrams of Figures 1 and 2 the signal 4 in the form of direct sound 8.1, echo 8.2 and reverberation 8.3 can reach the microphone 10 of the first communication device 13.1.
- the direct sound 8.1, the echo 8.2 and the reverberation 8.3 are converted via an analog-to-digital converter 11 and an algorithm 5 determines the room impulse response.
- AEC Acoustic Echo Cancellation
- Welch a well-known algorithm first published by “Welch” may be used to determine the spatial impulse response.
- Welch a well-known algorithm first published by “Welch”
- Welch method describes the determination of an impulse response by the emission of a Output signal and the measurement of the input signal. The only requirement for the output signal is the presence of sufficient energy in the frequency ranges to be considered.
- the reverberation time can be determined from this.
- This reverberation time can also be used for the interference suppression of the signal 15.1 of the communication device user 15, since the reverberation times, which are responsible for the transmission of signals 8.1 to 8.3 from the speaker 7 through the environment 9 to the microphone 10 and for the transmission of signals 15.1 to 15.3 from Communication device user 15 to the microphone 10, are similar.
- a further algorithm 16 is provided which has access to the data of the algorithm 5, thus also to the room impulse response and the reverberation time contained therein. Then the signals 15.1 to 15.3 are suppressed with a suppression unit 17 and output as signals 12.
- FIG. 5 shows a particular embodiment of a communication device.
- the new method is used in a voice operated electric appliance 13.4.
- the operator 15 of the voice-controlled electrical appliance is only in contact with the voice-controlled electrical appliance 13.4 and not as such in FIG. 4 with another communication participant, who is located at a second communication device.
- the voice-controlled electrical appliance 13.4 has a voice generation module 18 in order to be able to output signals 4.1, for example the menu size of the electrical appliance 13.4, via the loudspeaker 7.
- the voice-controlled electrical appliance 13.4 has a voice recognition module 19 in order to be able to recognize signals 12.1, for example the language of the operator 15.
- the signals output via the loudspeaker 7 in the form of direct sound 8.1, reverberation 8.2 and reverberation 8.3 can be picked up unintentionally by the microphone 10.
- an algorithm 5 is executed in the voice-controlled electrical appliance 13.4, which among other things also determines the room impulse response. In addition, this feedback is suppressed with a Entstörtician 17.
- the algorithm 5 can not be used. But the reverberation time, which can be calculated from the room impulse response, which was determined in the algorithm 5, but almost equally applies to the signals 15.1 to 15.3 of the operator 15, can be used by another algorithm 16, the signal with a de-interference unit 17 15.1 suppressed.
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
- Noise Elimination (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Transceivers (AREA)
Description
- Die Erfindung betrifft ein Verfahren zum Betrieb eines Kommunikationsgerätes, wobei das Kommunikationsgerät Audiosignale an eine Umgebung abstrahlt und einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufnimmt und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile, aufnimmt, und die wiederaufgenommenen Audiosignale durch einen ersten Algorithmus benutzt werden, um eine Raumimpulsantwort der Umgebung zu bestimmen.
- Des weiteren betrifft die Erfindung ein Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät über zumindest einen Lautsprecher verfügt, der Audiosignale an eine Umgebung abstrahlt und weiterhin zumindest ein Mikrofon aufweist, mit dem einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufgenommen werden und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile, aufgenommen werden, und im Kommunikationsgerät ein erstes Mittel vorgesehen ist, das ein Mittel zur Berechnung einer Raumimpulsantwort der Umgebung aufweist.
- Es ist allgemein bekannt, dass über Lautsprecher abgestrahlte oder von einer Schallquelle, zum Beispiel der menschlichen Stimme, erzeugte Audiosignale in Räumen im Allgemeinen durch Echos und Nachhall verfälscht werden. Während die Echos aus direkten, einfachen und frühen Reflexionen des Audiosignals an einer der Begrenzungsflächen des Raumes, zum Beispiel den Wänden, dem Boden oder der Decke, bestehen, ist der Nachhall diffus und wird durch mehrfache, nur noch nach statistischen Methoden abschätzbare Reflexionen an den Begrenzungsflächen erzeugt.
- Die Art und Dauer des Nachhalls werden von der Geometrie des Raumes und der Beschaffenheit der Wände entscheidend beeinflusst. Verschiedene Algorithmen der digitalen Sprach- und Audiosignalverarbeitung, vor allem solche, welche sich mit dem Problem der Enthallung von Sprachsignalen befassen, benötigen häufig eine Abschätzung der sogenannten Nachhallzeit. Die Nachhallzeit, meist mit T60 abgekürzt, ist eine in der Akustik bekannte wichtige Kenngröße für Räume. Sie kann frequenzabhängig bestimmt werden und beschreibt, in welcher Zeit nach dem Verstummen einer Signalquelle die Energie des Hallsignals um 60 dB [dB = Dezibel], gegebenenfalls noch abhängig von dem jeweiligen Frequenzband, abgefallen ist.
- Die Nachhallzeit wird bisher über zwei Verfahrensarten bestimmt, nämlich über statistische Schätzverfahren oder durch ein Verfahren, das sich eines oder mehrerer Messsignale bedient.
- Im ersten Fall wird zum Beispiel eine über viele Sprecher und Sprachbeispiele gemittelte Information über das Zeit- und Amplitudenverhältnis von Sprachabschnitten zu Sprachpausen herangezogen, um über die Veränderung dieses Verhältnisses im Vergleich zum Wert bei unverhallter Sprache eine Aussage über die Nachhallzeit zu gewinnen.
- Man kann leicht erkennen, dass hier sprecherspezifische Eigenarten, wie zum Beispiel häufige und/oder lange Sprachpausen, diese Abschätzung stark verfälschen können. Es ist zu betonen, dass eine Abschätzung der Nachhallzeit ohne Verwendung eines Messsignals, also zum Beispiel während eines Telefongesprächs, im Allgemeinen sehr problematisch ist, da nicht ohne weiteres feststellbar ist, welche Signalanteile des vom Mikrofon aufgenommenen Schallsignals Direktschall und welche Anteile Echo oder Hall sind. Unter Direktschall versteht man das Signal, welches ohne eine einzige Reflexion direkt vom Sprecher, also von der "Schallquelle" zum Mikrofon gelangt. Eine auf statistischen Merkmalen basierte Schätzung der Nachhallzeit kann höchstens dadurch erfolgen, dass Merkmale typischer unverhallter, "sauberer" Sprache mit den Merkmalen des vorliegenden, aufgenommenen, verhallten Sprachsignals verglichen werden.
- Im zweiten Fall muss über eine externe Schallquelle ein Messsignal, zum Beispiel weißes Rauschen, abgespielt werden, welches dem System bekannt ist. Über die Korrelation zwischen dem abgespielten Messsignal und dem Signal, welches über das Mikrofon des Kommunikationsgeräts wieder empfangen wird, kann dann die Abschätzung der Nachhallzeit T60 erfolgen. Diese Möglichkeit ist höchstens für Versuchsaufbauten praktikabel, da zum Beispiel dem Benutzer eines Telefons nicht zugemutet werden kann, vor oder während jedes Gesprächs erst mit dem Telefon eine solche Messung durchzuführen.
- D1 =
US 4 066 842 zeigt eine Signalverarbeitungsanlage zur Ableitung eines störverringerten Ausgangssignals aus zwei zugeführten Signalen, insbesondere zur Verringerung des Raumnachhalls und von Störeinflüssen in Tonfrequenzanlagen, beispielweise solchen, die in Fernsprech-Freisprechanlagen benutzt werden. - Je genauer die Nachhallzeit bekannt ist, desto besser lässt sich die Enthallung eines Audiosignals ermöglichen.
- Es ist daher Aufgabe der Erfindung, ein Verfahren zum Betrieb eines Kommunikationsgerätes und ein Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen zu finden, welches im Vergleich zu den bisher bekannten Verfahren und Hardwaregeräten mit einer genauer ermittelten Nachhallzeit auch eine bessere Entstörung der Audiosignale zulässt.
- Diese Aufgaben der Erfindung werden durch das Verfahren mit den Merkmalen des Patentanspruches 1 und gegenständlich durch das Kommunikationsgerät mit den Merkmalen des Patentanspruches 8 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand untergeordneter Patentansprüche.
- Die Erfinder haben erkannt, dass Informationen, die in der Raumimpulsantwort enthalten sind, auch zur Entstörung weiterer Audiosignale verwendet werden können. Die Raumimpulsantwort kann mit Hilfe eines bekannten Verfahrens gewonnen werden. Vorteilhaft kann die durch das Acoustic Echo Cancelation-Verfahren berechnete Raumimpulsantwort, wobei das AEC-Verfahren in vielen Telefonen schon vorhanden ist und welches diese Raumimpulsantwort zur Unterdrückung der wiederaufgenommenen Audiosignale benutzt, auch zur Bestimmung der Nachhallzeit der Umgebung verwendet werden.
- Wird beispielsweise - im Falle von zwei Kommunikationsgeräten - das von einem ersten Kommunikationsgerät im Freisprechmodus abgestrahlte Audiosignal, üblicherweise die Stimme des Kommunikationsgerätenutzers des zweiten Kommunikationsgerätes, inklusive der durch die Umgebung des ersten Kommunikationsgeräts bedingter Störanteile wieder vom Mikrofon des ersten Kommunikationsgeräts aufgenommen, so lässt sich aus diesen Audiosignalen mit einem ersten Algorithmus zunächst die Raumimpulsantwort bestimmen. Die Raumimpulsantwort beinhaltet implizit die Nachhallzeit T60, das heißt die Nachhallzeit kann aus ihr berechnet werden.
- Soll nun ein weiteres Audiosignal, zum Beispiel die Sprache des Kommunikationsgerätenutzers vom ersten Kommunikationsgerät, aufgenommen werden, welches seinerseits durch die Umgebung störbehaftet ist, so wird aus der bereits vom ersten Algorithmus bestimmten Raumimpulsantwort die Nachhallzeit des Raumes bestimmt. Diese Nachhallzeit kann dann genutzt werden, um den Nachhall im aufgenommenen Sprachsignal des ersten Kommunikationsgerätenutzers zu bestimmen. Hierbei machen sich die Erfinder zusätzlich die Erkenntnis zu nutzte, das sich die Nachhallzeit auch bei verschiedenen Positionen der Schallquelle im Raum nicht signifikant ändert.
- Entsprechend diesem Erfindungsgedanken schlagen die Erfinder ein Verfahren zum Betrieb eines Kommunikationsgerätes vor, wobei das Kommunikationsgerät Audiosignale an eine Umgebung abstrahlt und einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufnimmt und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile, aufnimmt, und ein erster Algorithmus eine Raumimpulsantwort der Umgebung bestimmt, dahingehend zu verbessern, dass auf die aufgenommenen Audiosignale der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers, ein zweiter Entstör-Algorithmus angewendet wird, der zur Entstörung eine Nachhallzeit verwendet, die er aus der durch den ersten Algorithmus bestimmten Raumimpulsantwort ermittelt.
- Hierdurch lässt sich diejenige Nachhallzeit zur Entstörung von Audiosignalen einer externen Schallquelle nutzen, die aus der durch Abstrahlung eines bekannten Audiosignals und der anschließenden Aufnahme des im Raum verhallten Audiosignals bestimmten Raumimpulsantwort berechnet werden kann. Gegenüber der Schätzung der Nachhallzeit von Audiosignalen einer externen Schallquelle ist dieses Verfahren genauer.
- Das Verfahren eignet sich besonders gut für Kommunikationsgeräte, wie zum Beispiel für Funkgeräte, Mobilfunkgeräte oder Festnetztelefone, da gerade hier die Möglichkeit der Abstrahlung eines bekannten Signals und der anschließenden Aufnahme gegeben ist. Aber auch für Stand-Alone-Geräte, die Audiosignale über einen Lautsprecher ausgeben und auch Audiosignale über ein Mikrofon aufnehmen können, ist das Verfahren geeignet, die durch die Umgebungsbedingung des Stand-Alone-Gerätes ergebende Nachhallzeit zu nutzen und entsprechend zu entstören.
- Außerdem ist die Bestimmung der Nachhallzeit über dieses Verfahren wesentlich genauer möglich, als gegenüber einer bisherigen Abschätzung aus dem verhallten Audiosignal.
- Das neue Verfahren kann beispielsweise die Grundlage für eine Echtzeitparametrisierung und eine Echtzeitanpassung von Algorithmen zur Enthallung von Sprachsignalen bilden.
- Es ist vorteilhaft, wenn ausschließlich der erste Algorithmus die Nachhallzeit bestimmt.
- Alternativ dazu ist es möglich, dass ausschließlich der zweite Entstör-Algorithmus die Nachhallzeit bestimmt.
- Weiterhin ist es günstig, wenn die Nachhallzeit aus dem energetischen Abfall des Nachhalls berechnet wird, wobei die Information über die Geschwindigkeit dieses Abfalls in der Raumimpulsantwort enthalten ist. Hierdurch kann eine genauere Bestimmung der Nachhallzeit gegenüber der statistisch basierten Schätzung der Nachhallzeit erfolgen.
- Zur Bestimmung der Raumimpulsantwort, aus der dann die Nachhallzeit bestimmt werden kann, kann in dem neuen Verfahren beim ersten Algorithmus ein AEC-Algorithmus (AEC = Acoustic Echo Cancelation) verwendet werden. Dieser AEC-Algorithmus ist in vielen Telefonen schon heute vorhanden und wird eigentlich zur Unterdrückung der wiederaufgenommenen Audiosignale benutzt. Der Algorithmus berechnet eine Raumimpulsantwort, welche sich erfindungsgemäß zur Bestimmung der Nachhallzeit verwenden lässt.
- Zur Entstörung der aufgenommenen Audiosignale des Kommunikationsgerätenutzers wird ein zweiter Entstör-Algorithmus verwendet. Ein solcher zweiter Entstör-Algorithmus soll unter Ausnutzung der bestimmten oder übernommenen Nachhallzeit die umgebungsbedingt überlagerten Störanteile, wie Echo und Hall, aus dem aufgenommenen Audiosignal des Kommunikationsgerätenutzers entfernen.
- Für das Verfahren ist es ebenfalls vorteilhaft, wenn die Raumimpulsantwort in Abhängigkeit der Frequenz und vorzugsweise durch mehrere Bandpässe gefiltert wird. Hierdurch kann die Nachhallzeit, die selbst frequenzabhängig ist, in Abhängigkeit der Frequenz bestimmt werden.
- An dieser Stelle sei erwähnt, dass die Anwendung des neuen Verfahrens sehr einfach bei zwei Kommunikationsgeräten nachgewiesen werden kann: Das beschriebene Verfahren zum Betrieb eines Kommunikationsgerätes basiert darauf, dass der Lautsprecher eines Audiosystems, zum Beispiel in einen Raum abstrahlt und dass das durch den Raum verhallte Audiosignal wieder vom Mikrofon des Audiosystems aufgenommen wird.
- Zum Nachweis wird eine Sprachverbindung zwischen den zwei Mobilfunkteilnehmern aufgebaut. Anschließend trennt der erste Mobilfunkteilnehmer, während der zweite Mobilfunkteilnehmer spricht, die akustische Verbindung zwischen Lautsprecher und Mikrofon, zum Beispiel durch Verdecken des Lautsprechers mit der Hand. Bemerkt nun der zweite Mobilfunkteilnehmer eine deutliche Verschlechterung der Qualität des Audiosignals, zum Beispiel in Form einer verhallten Stimme, wenn der erste Mobilfunkendteilnehmer spricht, so wird das neue Verfahren zur Bestimmung der Nachhallzeit im Gerät des ersten Mobilfunkendteilnehmers angewendet. Dies setzt voraus, dass ein Enthallungs-Algorithmus angewendet wird. Die Unterbrechung der Übertragungsstrecke beim ersten Mobilfunkendgerät verhindert eine Adaption des verwendeten "Entstör-Algorithmus" an die Nachhallzeit des Raums.
- Zur gegenständlichen Lösung ihrer Aufgabe schlagen die Erfinder auch vor, ein bekanntes Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät über zumindest einem Lautsprecher verfügt, der Audiosignale an eine Umgebung abstrahlt und weiterhin zumindest ein Mikrofon aufweist, mit dem einerseits diese Audiosignale einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo und Nachhall enthalten, wieder aufgenommen werden und andererseits Audiosignale einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers, einschließlich deren umgebungsbedingter Störanteile aufgenommen werden, und im Kommunikationsgerät ein erstes Mittel vorgesehen ist, das ein Mittel zur Berechnung einer Raumimpulsantwort der Umgebung aufweist, dahingehend zu verbessern, dass ein zweites Mittel für die aufgenommenen Audiosignale der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers, einschließlich deren umgebungsbedingter Störanteile angeordnet ist, das ein Mittel zur Ermittlung der Nachhallzeit aufweist, das die Nachhallzeit ermittelt, die in der durch das erste Mittel bestimmten Raumimpulsantwort enthalten ist.
- Hierdurch wird ein Kommunikationsgerät zur Verfügung gestellt, in dem die Nachhallzeit, die durch die Ausnutzung der Abstrahlung eines bekannten Audiosignals und der anschließenden Aufnahme des im Raum verhallten Audiosignals über die Bestimmung der Raumimpulsantwort, bestimmt wurde, welches nun auch für die Entstörung der Audiosignale einer externen Schallquelle verwendet werden kann. Die Entstörung kann hierbei genauer als bisher erfolgen, da die Nachhallzeit besser und genauer bestimmt wird.
- Es besteht die Möglichkeit, dass ausschließlich das erste Mittel über Programmmittel und/oder Programmmodule verfügt, die die Nachhallzeit bestimmen.
- Alternativ dazu kann aber auch ausschließlich das zweite Mittel Programmmittel und/oder Programmmodule aufweisen, die die Nachhallzeit bestimmen.
- Das erste Mittel kann über Programmmittel und/oder Programmmodule verfügen, die einen AEC-Algorithmus (AEC = Acoustic Echo Cancellation) oder einen Algorithmus, wie in Welch, P.D.[1970], "The Use of Fast Fourier Transform for the Estimation of Power Spectra", IEEE Trans Audio Electroacoustic, Vol AU15, pp70-73), beschrieben, ausführen. Der Inhalt dieses Literaturverweises wird vollinhaltlich übernommen.
- Weiterhin ist es vorteilhaft, wenn die zweiten Mittel Programmmittel und/oder Programmmodule aufweisen, die einen Algorithmus ausführen, der unter Ausnutzung der umgebungsabhängig bestimmten Nachhallzeit die umgebungsbedingt überlagerten Störanteile, wie Echo und Hall, aus dem aufgenommenen Audiosignal des Kommunikationsgerätenutzers entfernt.
- Die Bestimmung der Nachhallzeit in Abhängigkeit der Frequenz und entsprechend die frequenzabhängige Entstörung der Audiosignale wird in dem Kommunikationsgerät günstig realisiert, wenn im Kommunikationsgerät Bandpassfilter angeordnet sind, die die Raumimpulsantwort filtern.
- Bei dem neuen Kommunikationsgerät kann es sich um ein Telefon, zum Beispiel in Form eines Mobilfunkendgerätes oder eines kabelgebundenen Telefons, ein elektrisches Haushaltgerät oder ein elektrisches Modul eines Fahrzeuges mit Mitteln zur Spracheingabe und Sprachausgabe handeln.
- Im Folgenden wird die Erfindung anhand bevorzugter Ausführungsbeispiele mit Hilfe der
Figuren 1 bis 5 beschrieben, wobei in den Figuren die folgenden Abkürzungen verwendet werden: 1: Direktschall eines impulsartigen Audiosignals; 2: Echos; 3: Nachhall/Nachhallkurve; 4: Empfangene Signale vom zweiten Kommunikationsgerät; 4.1: Signale vom Spracherzeugungsmodul; 5: Algorithmus zur Bestimmung der Nachhallzeit; 6: Digital-Analog-Wandler; 7: Lautsprecher; 8.1: Signal, das direkt vom Lautsprecher zum Mikrofon gelangt = Direktschall; 8.2: Signal des Lautsprechers, das einfach am Objekt reflektiert wird = Echo; 8.3: Signal des Lautsprechers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall; 9: Objekt an dem die Signale reflektiert werden; 10: Mikrofon; 11: Analog-Digital-Wandler; 12: Zu sendende Signale zum zweiten Kommunikationsgerät; 12.1: Signale zum Spracherkennungsmodul; 13.1: Erstes Kommunikationsgerät; 13.2: Zweites Kommunikationsgerät; 13.3: Schnittstelle für Signalübermittlung; 13.4: Sprachgesteuertes Elektrogerät: 14: Raumimpulsantwort; 15: Kommunikationsgerätenutzer/Bediener; 15.1: Signal, das direkt vom Kommunikationsgerätenutzer zum Mikrofon gelangt = Direktschall; 15.2: Signal des Kommunikationsgerätenutzers, das einfach am Objekt reflektiert wird = Echo; 15.3: Signal des Kommunikationsgerätenutzers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall; 16: Algorithmus zur Enthallung der Signale 15.1 bis 15.3; 17: Entstöreinheit; 18: Spracherzeugungsmodul; 19: Spracherkennungsmodul; A60: Energiebereich, in dem die Energie um 60 Dezibel abfällt; T60: Nachhallzeit. - Es zeigen im Einzelnen:
- Figur 1:
- Zeitliche Energieverteilung eines ursprünglich impulsförmigen Audiosignals in einem Raum;
- Figur 2:
- Zeitliche Energieverteilung desselben Audiosignals aus
Figur 1 , jedoch in einem kleineren Raum; - Figur 3:
- Gemessene Raumimpulsantwort eines Raumes;
- Figur 4:
- Zwei Kommunikationsgeräte, die Signale austauschen, wobei in einem Kommunikationsgerät das neue Verfahren angewendet wird;
- Figur 5:
- Sprachgesteuertes Elektrogerät, in dem das neue Verfahren angewendet wird.
- Die
Figur 1 zeigt exemplarisch in einem Diagramm die zeitliche Energieverteilung eines Audiosignals, die man in einem Raum mit einem Mikrofon aufnehmen und messen kann, wenn ein impulsartiges Audiosignal, zum Beispiel ein Knall, auftritt. Diese Energieverteilung erhält man, indem man das Betragsquadrat einer Raumimpulsantwort bildet und dieses logarithmiert. - Auf der Ordinate des Diagramms sind die logarithmierten Signalamplituden, als Maß für die Energie des Audiosignals, und auf der Abszisse die Zeit, jeweils in willkürlichen Einheiten, aufgetragen.
- Man erkennt als erste Linie ganz links im Diagramm den sogenannten Direktschall 1, welcher auf direktem Weg von der Schallquelle zum Messmikrofon gelangt. Dann folgen, die in diesem Beispiel energetisch schwächeren Echos 2, die einmal oder zweimal an Wänden des Raumes reflektiert wurden, bevor sie zum Messmikrofon gelangen.
- Zuletzt folgt, symbolisiert durch ein Dreieck, der Nachhall 3, welcher aus quasi chaotischen überlagerten Reflexionen des Audiosignals im Raum besteht und diffus am Messmikrofon eintrifft.
- Das neue Verfahren nutzt die Nachhallzeit T60 eines Audiosignals, die aus der Raumimpulsantwort 14, die für einen bestimmten Raum charakteristisch ist, bestimmt wurde.
- Zur Bestimmung der Nachhallzeit T60 wird in
Figur 1 auf der Ordinate des Diagramms ein Energiebereich A60 bestimmt, der im Bereich des Nachhalls 3 liegt, in dem die Energie des Nachhalls um 60 Dezibel abfällt. Der obere und der untere Grenzwert des Energiebereiches A60 werden zuerst auf die Nachhallkurve 3 und danach auf die Abszisse also die Zeitachse projiziert. Der projizierte Bereich auf der Zeitachse entspricht der Nachhallzeit T60. - An dieser Stelle sei erwähnt, dass der Energiebereich nicht notwendigerweise mit 60 Dezibel gewählt werden muss, sondern auch kleiner oder größer gewählt werden kann. Zum Beispiel kann auch ein Bereich gewählt werden, in dem die Energie des Nachhalls, um zum Beispiel 30 Dezibel abfällt. Der Wert, der aus der Projektion auf die Zeitachse erhalten wird, muss entsprechend um den Faktor der Verkleinerung/Vergrößerung der Energie, angepasst werden. Bei einem Energiebereich von nur 30 Dezibel wird entsprechend der Zeitabschnitt mit dem Faktor 2 multipliziert, um die Nachhallzeit T60 zu erhalten.
- In
Figur 2 wird wiederum exemplarisch die zeitliche Energieverteilung eines impulsartigen Audiosignals, zum Beispiel eines Knalles gezeigt. Im Unterschied zu den Randbedingungen, die für dieFigur 1 galten, soll das Audiosignal in einem kleineren Raum aufgenommen werden. Dies äußert sich in einem geringeren Nachhall 3. Die Nachhallkurve 3 fällt schneller ab, wodurch auch die Nachhallzeit T60 geringer als inFigur 1 ist. Der Einfachheit halber wurde der Direktschall 1 und die Echos 2 im Diagramm derFigur 2 unverändert aus dem Diagramm derFigur 1 übernommen. Bei einer reellen Messung eines Signals könnten hier jedoch Unterschiede auftreten. - Man erkennt, dass aus dem energetischen Abfall des Nachhalls 3, also der negativen Steigung der Nachhallkurve 3, die Nachhallzeit T60 bestimmt werden kann.
- Die
Figur 3 zeigt nun eine gemessene Raumimpulsantwort 14 eines Raumes. Auf der Ordinate sind die Signalamplituden und auf der Abszisse ist die Zeit aufgetragen. Die Geschwindigkeit des Abfalls der Energie in der Raumimpulsantwort über die Zeit ist charakteristisch für diesen bestimmten Raum. Diese Geschwindigkeit wird unabhängig vom Messsignal und der Position von Schallquelle und Mikrofon im Raum für diesen bestimmten Raum erhalten werden. - Die
Figur 4 zeigt zwei Kommunikationsgeräte 13.1 und 13.2, die Signale 4 und 12 über eine Schnittstelle 13.3 austauschen. Dabei kann es sich bei den Kommunikationsgeräten 13.1 und 13.2 beispielsweise um Endgeräte im Mobilfunknetz handeln. Bei der Schnittstelle 13.3 kann es sich beispielsweise um eine Sende-/Empfangsantenne oder um eine Infrarotschnittstelle handeln. - Im Kommunikationsgerät 13.1 wird das neue Verfahren angewendet.
- Das erste Kommunikationsgerät 13.1 soll sich in einer Umgebung befinden, zum Beispiel in einer Kirche, in der Halleffekte auftreten. Diese Umgebung ist durch ein einseitig offenes Rechteck mit dem Bezugszeichen 9 angedeutet.
- Das Signal 4 wird über die Schnittstelle 13.3 vom zweiten Kommunikationsgerät 13.2 zum ersten Kommunikationsgerät 13.1 gesendet und von diesem empfangen. Das Signal 12 soll vom ersten Kommunikationsgerät 13.1 zum zweiten Kommunikationsgerät 13.2 gesendet werden, dabei sollen Störungen, die durch die Umgebung 9 des ersten Kommunikationsgerätes 13.1 auftreten, unterdrückt werden.
- Das erste Kommunikationsgerät 13.1 verfügt zumindest über einen Digital-Analog-Wandler 6, der die vom zweiten Kommunikationsgerät 13.2 gesendeten digitalen Signale 4 in analoge Signale umwandelt und an einen Lautsprecher 7 weiterleitet. Außerdem verfügt das erste Kommunikationsgerät 13.1 über ein Mikrofon 10, welches analoge Signale aufnehmen kann und über einen Analog-Digital-Wandler 11 digitalisiert.
- Durch das neue Verfahren soll das Signal 15.1, in der Regel Sprachesignale, das ein Kommunikationsgerätenutzer 15 an das Mikrofon 10 des ersten Kommunikationsgeräts 13.1 abgibt, entstört werden. Die Entstörung geschieht durch möglichst vollständige Unterdrückung des unerwünschten Echos 15.2 und des unerwünschten Halls 15.3. Um dieses Signal entstören zu können, muss die Nachhallzeit T60 ermittelt werden. Hierbei macht sich das neue Verfahren Folgendes zu nutze:
- Die Nachhallzeit, die für diese Umgebung 9 charakteristisch ist, ist in der Raumimpulsantwort enthalten. Die Raumimpulsantwort wiederum lässt sich aus dem Verhältnis der Signale 8.2 und 8.3 zum Signal 8.1 bestimmen.
- Die Nachhallzeit ändert sich an verschiedenen Positionen der Schallquelle im Raum nicht signifikant. Das heißt, die Signale 8.1 bis 8.3 die vom Lautsprecher 7 zum Mikrofon 10 gelangen und die Signale 15.1 bis 15.3, die vom Kommunikationsgerätenutzer 15 zum Mikrofon 10 gelangen, haben eine ähnliche Nachhallzeit.
- Im neuen Verfahren wird die bereits bekannte Nachhallzeit folgendermaßen für die Entstörung des Signals 15.1 nutzbar gemacht. Das vom zweiten Kommunikationsgerät 13.2 gesendete Signal 4 wird durch den Digital-Analog-Wandler 6 umgewandelt und über den Lautsprecher 7 des ersten Kommunikationsgeräts 13.1 ausgegeben. Analog zu den Diagrammen der
Figuren 1 und 2 kann das Signal 4 in Form von Direktschall 8.1, Echo 8.2 und Nachhall 8.3 zum Mikrofon 10 des ersten Kommunikationsgerätes 13.1 gelangen. - Der Direktschall 8.1, das Echo 8.2 und der Nachhall 8.3 werden über einen Analog-Digital-Wandler 11 umgewandelt und über einem Algorithmus 5 wird die Raumimpulsantwort bestimmt.
- Zur Bestimmung der Raumimpulsantwort können verschiedene Methoden eingesetzt werden.
- So kann ein sogenannter AEC-Algorithmus (AEC = Acoustic Echo Cancellation) implementiert werden. Dieser Algorithmus wird verwendet, um im Freisprechmodus das Echo des Sprachsignals des fernen Teilnehmers, welches vom Lautsprecher 7 abgestrahlt und unerwünscht vom Mikrofon 10 wieder aufgenommen wird, zu kompensieren. Hierzu wird mittels Abschätzung der Übertragungsstrecke Lautsprecher 7 und Mikrofon 10 eine Impulsantwort berechnet. Durch Faltung des vom Kommunikationsgerät 13.2 gesendeten Signals 4 mit dieser Impulsantwort und anschließender Subtraktion des so berechneten Signals vom Mikrofonsignal findet die Echo-Unterdrückung statt. Das Signal wird über eine Entstöreinheit 17 entstört.
- Alternativ dazu kann zur Bestimmung der Raumimpulsantwort ein bekannter Algorithmus eingesetzt werden, welcher zuerst von "Welch" publiziert wurde. So beschreibt die Welch Methode (siehe auch Welch, P.D.[1970], "The Use of Fast Fourier Transform for the Estimation of Power Spectra", IEEE Trans Audio Electroacoustic, Vol AU15, pp70-73) die Bestimmung einer Impulsantwort durch die Abstrahlung eines Ausgangssignals und der Messung des Eingangssignals. Einzige Anforderung an das Ausgangssignal ist das Vorhandensein von ausreichend Energie in den zu betrachtenden Frequenzbereichen.
- Ist die Raumimpulsantwort mit einem Algorithmus 5 bestimmt, so kann hieraus die Nachhallzeit bestimmt werden. Diese Nachhallzeit kann auch für die Entstörung des Signals 15.1 des Kommunikationsgerätenutzers 15 genutzt werden, da die Nachhallzeiten, die sich für die Übertragung von Signalen 8.1 bis 8.3 vom Lautsprecher 7 über die Umgebung 9 zum Mikrofon 10 und für die Übertragung von Signalen 15.1 bis 15.3 vom Kommunikationsgerätenutzers 15 zum Mikrofon 10 ergeben, ähnlich sind. Um diese Nachhallzeit aus der Raumimpulsantwort, die durch den ersten Algorithmus 5 bestimmt wurde, zu ermitteln, ist ein weiterer Algorithmus 16 vorgesehen, der Zugriff auf die Daten des Algorithmus 5 hat, also auch auf die Raumimpulsantwort und die darin enthaltene Nachhallzeit. Dann werden die Signale 15.1 bis 15.3 mit einer Entstöreinheit 17 entstört und als Signale 12 ausgegeben.
- Die
Figur 5 zeigt eine besondere Ausführung eines Kommunikationsgerätes. Hier wird das neue Verfahren in einem sprachgesteuerten Elektrogerät 13.4 angewendet. Dabei steht der Bediener 15 des sprachgesteuerten Elektrogeräts nur mit dem sprachgesteuerten Elektrogerät 13.4 in Kontakt und nicht wie inFigur 4 mit einem weiteren Kommunikationsteilnehmer, der sich an einem zweiten Kommunikationsgerät befindet. - Das sprachgesteuerte Elektrogerät 13.4 verfügt über ein Spracherzeugungsmodul 18, um Signale 4.1 zum Beispiel den Menüumfang des Elektrogerätes 13.4, über den Lautsprecher 7 ausgeben zu können. Außerdem verfügt das sprachgesteuerte Elektrogerät 13.4 über ein Spracherkennungsmodul 19, um Signale 12.1, zum Beispiel die Sprache des Bedieners 15, erkennen zu können.
- Abhängig von der Umgebung 9, können die über den Lautsprecher 7 in Form von Direktschall 8.1, Echo 8.2 und Nachhall 8.3 ausgegebene Signale ungewollt vom Mikrofon 10 aufgenommen werden. Um diese Rückkopplung zu vermeiden, wird im sprachgesteuerten Elektrogerät 13.4 ein Algorithmus 5 ausgeführt, der unter anderem auch die Raumimpulsantwort bestimmt. Außerdem wird diese Rückkopplung mit einer Entstöreinheit 17 unterdrückt.
- Zur Entstörung des vom Bediener 15 an das Mikrofon 10 geschickten Signals 15.1 kann der Algorithmus 5 nicht verwendet werden. Aber die Nachhallzeit, die sich aus der Raumimpulsantwort berechnen lässt, welche im Algorithmus 5 bestimmt wurde, die aber nahezu gleich für die Signale 15.1 bis 15.3 des Bedieners 15 gilt, kann von einem weiteren Algorithmus 16 verwendet werden, der mit einer Entstöreinheit 17 das Signal 15.1 entstört.
- Es versteht sich, dass die vorstehend genannten Merkmale der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der Erfindung zu verlassen.
-
- 1
- Direktschall eines impulsartigen Audiosignals
- 2
- Echos
- 3
- Nachhall / Nachhallkurve
- 4
- Empfangene Signale vom zweiten Kommunikationsgerät
- 4.1
- Signale vom Spracherzeugungsmodul
- 5
- Algorithmus
- 6
- Digital-Analog-Wandler
- 7
- Lautsprecher
- 8.1
- Signal, das direkt vom Lautsprecher zum Mikrofon gelangt = Direktschall
- 8.2
- Signal des Lautsprechers, das einfach am Objekt reflektiert wird = Echo
- 8.3
- Signal des Lautsprechers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall
- 9
- Objekt an dem die Signale reflektiert werden
- 10
- Mikrofon
- 11
- Analog-Digital-Wandler
- 12
- Zu sendende Signale zum zweiten Kommunikationsgerät
- 12.1
- Signale zum Spracherkennungsmodul
- 13.1
- Erstes Kommunikationsgerät
- 13.2
- Zweites Kommunikationsgerät
- 13.3
- Schnittstelle für Signalübermittlung
- 13.4
- Sprachgesteuertes Elektrogerät
- 14
- Raumimpulsantwort
- 15
- Kommunikationsgerätenutzer/Bediener
- 15.1
- Signal, das direkt vom Kommunikationsgerätenutzer zum Mikrofon gelangt = Direktschall
- 15.2
- Signal des Kommunikationsgerätenutzers, das einfach am Objekt reflektiert wird = Echo
- 15.3
- Signal des Kommunikationsgerätenutzers, das mehrfach und diffus am Objekt reflektiert wird = Nachhall
- 16
- Algorithmus zur Enthallung der Signale 15.1 bis 15.3
- 17
- Entstöreinheit
- 18
- Spracherzeugungsmodul
- 19
- Spracherkennungsmodul
- A60
- Energiebereich, in dem die Energie um 60 Dezibel abfällt
- T60
- Nachhallzeit T60
Claims (18)
- Verfahren zum Betrieb eines Kommunikationsgerätes (13.1, 13.2, 13.4), wobei
das Kommunikationsgerät (13.1, 13.2, 13.4) Audiosignale (8.1 bis 8.3) an eine Umgebung (9) abstrahlt und einerseits diese Audiosignale (8.1 bis 8.3) einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo (8.2) und Nachhall (8.3) enthalten, wieder aufnimmt und
andererseits Audiosignale (15.1 bis 15.3) einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2 und 15.3) aufnimmt, und
die wiederaufgenommenen Audiosignale (8.1 bis 8.3) durch einen ersten Algorithmus (5) benutzt werden, um eine Raumimpulsantwort der Umgebung zu bestimmen,
dadurch gekennzeichnet, dass
auf die aufgenommenen Audiosignale (15.1 bis 15.3) der externen Schallquelle, vorzugsweise des Kommunikationsgerätenutzers (15), ein zweiter Entstör-Algorithmus (16) angewendet wird, der zur Entstörung eine Nachhallzeit (T60) verwendet, die er aus der durch den ersten Algorithmus (5) bestimmten Raumimpulsantwort (14) ermittelt. - Verfahren gemäß dem voranstehenden Patentanspruch 1,
dadurch gekennzeichnet, dass
ausschließlich der erste Algorithmus (5) die Nachhallzeit (T60) bestimmt. - Verfahren gemäß dem voranstehenden Patentanspruch 1,
dadurch gekennzeichnet, dass
ausschließlich der zweite Entstör-Algorithmus (16) die Nachhallzeit (T60) bestimmt. - Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 3,
dadurch gekennzeichnet, dass
die Nachhallzeit (T60) aus dem energetischen Abfall des Nachhalls (8.3) in der Raumimpulsantwort (14) berechnet wird. - Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 4,
dadurch gekennzeichnet, dass
als erster Algorithmus ein AEC-Algorithmus (5) (AEC = Acoustic Echo Cancellation) verwendet wird. - Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 5,
dadurch gekennzeichnet, dass
der zweite Entstör-Algorithmus (16) unter Ausnutzung der umgebungsabhängig bestimmten oder übernommenen Nachhallzeit (T60) die überlagerten Störanteile (15.2 und 15.3) aus dem aufgenommenen Audiosignal (15.1 bis 15.3) der externen Schallquelle entfernt. - Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 6,
dadurch gekennzeichnet, dass
zur Bestimmung der Nachhallzeit (T60) in Abhängigkeit der Frequenz die Raumimpulsantwort (14) gefiltert wird, vorzugsweise mit Bandpassfiltern. - Kommunikationsgerät (13.1, 13.2, 13.4) mit Mitteln zur Entstörung von Audiosignalen, wobei das Kommunikationsgerät (13.1, 13.2, 13.4) über
zumindest einen Lautsprecher (7) verfügt, der Audiosignale (8.1 bis 8.3) an eine Umgebung (9) abstrahlt und weiterhin zumindest ein Mikrofon (10) aufweist, mit dem einerseits diese Audiosignale (8.1 bis 8.3) einschließlich umgebungsbedingter überlagerter Störanteile, die zumindest Echo (8.2) und Nachhall (8.3) enthalten, wieder aufgenommen werden und
andererseits Audiosignale (15.1 bis 15.3) einer externen Schallquelle, vorzugsweise eines Kommunikationsgerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2, 15.3) aufgenommen werden, und
im Kommunikationsgerät (13.1, 13.2, 13.4) ein erstes Mittel (5) vorgesehen ist, das ein Mittel zur Berechnung einer Raumimpulsantwort der Umgebung aufweist,
dadurch gekennzeichnet, dass
ein zweites Mittel (16) für die aufgenommenen Audiosignale (15.1 bis 15.3) der externen Schallquelle, vorzugsweise des Kommunikationsengerätenutzers (15), einschließlich deren umgebungsbedingter Störanteile (15.2, 15.3) angeordnet ist, das ein Mittel zur Ermittlung der Nachhallzeit (T60) aufweist, das die Nachhallzeit (T60) ermittelt, die in der durch das erste Mittel (5) bestimmen der Raumimpulsantwort (14) enthalten ist. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß dem voranstehende Patentanspruch 8,
dadurch gekennzeichnet, dass
ausschließlich das erste Mittel (5) Programmmittel und/oder Programmmodule aufweist, die die Nachhallzeit (T60) bestimmen. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß dem voranstehende Patentanspruch 8,
dadurch gekennzeichnet, dass
ausschließlich das zweite Mittel (16) Programmmittel und/oder Programmmodule aufweist, die die Nachhallzeit (T60) bestimmen. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehende Patentansprüche 8 bis 10,
dadurch gekennzeichnet, dass
die Programmmittel und/oder Programmmodule des ersten Mittels einen AEC-Algorithmus (5) (AEC = Acoustic Echo Cancelation) beinhalten. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehende Patentansprüche 8 bis 11,
dadurch gekennzeichnet, dass
die Programmmittel und/oder Programmmodule des zweiten Mittels (16) einen Algorithmus beinhalten, der unter Ausnutzung der umgebungsabhängig bestimmten Nachhallzeit die überlagerten Störanteile (15.2 und 15.3) aus dem aufgenommenen Audiosignal (15.1 bis 15.3) der externen Schallquelle (15) entfernt. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 12,
dadurch gekennzeichnet, dass
Bandpassfilter vorgesehen sind, die die Raumimpulsantwort (14) filtern und die Bestimmung der Nachhallzeit (T60) in Abhängigkeit der Frequenz ermöglichen. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 13,
dadurch gekennzeichnet, dass
das Kommunikationsgerät (13.1, 13.2, 13.4) ein Telefon ist. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß dem voranstehenden Patentanspruch 14,
dadurch gekennzeichnet, dass
das Kommunikationsgerät (13.1, 13.2, 13.4) ein kabelgebundenes Telefon ist. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 14,
dadurch gekennzeichnet, dass
das Kommunikationsgerät (13.1, 13.2, 13.4) ein Mobilfunkendgerät ist. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 13,
dadurch gekennzeichnet, dass
das Kommunikationsgerät (13.1, 13.2, 13.4) ein elektrisches Haushaltgerät mit Mittel zur Spracheingabe und Sprachausgabe ist. - Kommunikationsgerät (13.1, 13.2, 13.4) gemäß einem der voranstehenden Patentansprüche 8 bis 17,
dadurch gekennzeichnet, dass
das Kommunikationsgerät (13.1, 13.2, 13.4) ein elektrisches Modul eines Fahrzeuges mit Mitteln zur Spracheingabe und Sprachausgabe ist.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03021578A EP1519618B1 (de) | 2003-09-24 | 2003-09-24 | Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen |
AT03021578T ATE532346T1 (de) | 2003-09-24 | 2003-09-24 | Verfahren und kommunikationsgerät mit mitteln zur entstörung von audiosignalen |
PCT/EP2004/008999 WO2005041615A1 (de) | 2003-09-24 | 2004-08-11 | Verfahren und kommunikationsgerät mit mitteln zur entstörung von audiosignalen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03021578A EP1519618B1 (de) | 2003-09-24 | 2003-09-24 | Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1519618A1 EP1519618A1 (de) | 2005-03-30 |
EP1519618B1 true EP1519618B1 (de) | 2011-11-02 |
Family
ID=34178488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP03021578A Expired - Lifetime EP1519618B1 (de) | 2003-09-24 | 2003-09-24 | Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1519618B1 (de) |
AT (1) | ATE532346T1 (de) |
WO (1) | WO2005041615A1 (de) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4066842A (en) * | 1977-04-27 | 1978-01-03 | Bell Telephone Laboratories, Incorporated | Method and apparatus for cancelling room reverberation and noise pickup |
US5263019A (en) * | 1991-01-04 | 1993-11-16 | Picturetel Corporation | Method and apparatus for estimating the level of acoustic feedback between a loudspeaker and microphone |
JP3344864B2 (ja) * | 1995-03-13 | 2002-11-18 | 日本放送協会 | 残響時間自動測定方法および残響時間自動測定装置 |
-
2003
- 2003-09-24 AT AT03021578T patent/ATE532346T1/de active
- 2003-09-24 EP EP03021578A patent/EP1519618B1/de not_active Expired - Lifetime
-
2004
- 2004-08-11 WO PCT/EP2004/008999 patent/WO2005041615A1/de active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2005041615A1 (de) | 2005-05-06 |
EP1519618A1 (de) | 2005-03-30 |
ATE532346T1 (de) | 2011-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60108401T2 (de) | System zur erhöhung der sprachqualität | |
EP0698986B1 (de) | Verfahren zur adaptiven Echokompensation | |
DE2207141C3 (de) | Schaltungsanordnung zur Unterdrückung unerwünschter Sprachsignale mittels eines vorhersagenden Filters | |
DE60024815T2 (de) | System und verfahren zur erkennung eines nahen sprechers durch spektrumanalyse | |
EP1143416A2 (de) | Geräuschunterdrückung im Zeitbereich | |
DE19517469A1 (de) | Freisprechverfahren für ein mehrkanaliges Übertragungssystem | |
DE4330143A1 (de) | Anordnung zur Siganlverarbeitung akustischer Eingangssignale | |
DE112007003625T5 (de) | Echounterdrückungsvorrichtung, echounterdrückungssystem, Echounterdrückungsverfahren und Computerprogramm | |
DE102016225204B4 (de) | Verfahren zum Betrieb eines Hörgerätes | |
EP1103956B1 (de) | Exponentielle Echo- und Geräuschabsenkung in Sprachpausen | |
EP1189419B1 (de) | Verfahren und Vorrichtung zur Elimination Lautsprecherinterferenzen aus Mikrofonsignalen | |
EP3454572A1 (de) | Verfahren zum erkennen eines defektes in einem hörinstrument | |
EP1155561B1 (de) | Vorrichtung und verfahren zur geräuschunterdrückung in fernsprecheinrichtungen | |
EP0797339B1 (de) | Verfahren und Schaltungsanordnung zur Verbesserung der Übertragungseigenschaften einer echobehafteten Übertragungsstrecke in einem Telekommunikationsnetz | |
EP1126687A2 (de) | Verfahren zur koordinierten Echo-und/oder Geräuschabsenkung | |
DE69817461T2 (de) | Verfahren und Vorrichtung zur optimierten Verarbeitung eines Störsignals während einer Tonaufnahme | |
DE102019107173A1 (de) | Verfahren und Vorrichtung zum Erzeugen und Ausgeben eines Audiosignals zum Erweitern des Höreindrucks bei Live-Veranstaltungen | |
DE102018117558A1 (de) | Adaptives nachfiltern | |
EP1519618B1 (de) | Verfahren und Kommunikationsgerät mit Mitteln zur Entstörung von Audiosignalen | |
EP0642251B1 (de) | Verfahren zur automatischen Sprachrichtungsumschaltung und Schaltungsanordnung zur Durchführung des Verfahrens | |
DE102019105458B4 (de) | System und Verfahren zur Zeitverzögerungsschätzung | |
DE10356063B4 (de) | Verfahren zur Entstörung von Audiosignalen | |
EP3860149B1 (de) | Sprachendgerät, netzwerk und verfahren zur regelung der sprechlautstärke | |
DE102014100642A1 (de) | Anordnung und Verfahren zur Erfassung von Signalen | |
EP1359437A1 (de) | Verfahren zum Bestimmen einer Position eines Benutzers eines Kommunikationsendgerätes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK |
|
17P | Request for examination filed |
Effective date: 20050422 |
|
AKX | Designation fees paid |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: BENQ MOBILE GMBH & CO. OHG |
|
19U | Interruption of proceedings before grant |
Effective date: 20070101 |
|
19W | Proceedings resumed before grant after interruption of proceedings |
Effective date: 20070702 |
|
19W | Proceedings resumed before grant after interruption of proceedings |
Effective date: 20090803 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: PALM, INC. |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P. |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 50314041 Country of ref document: DE Effective date: 20111229 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120203 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120302 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120202 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20120803 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 50314041 Country of ref document: DE Effective date: 20120803 |
|
BERE | Be: lapsed |
Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P. Effective date: 20120930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120930 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20120213 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120930 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120930 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120930 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 532346 Country of ref document: AT Kind code of ref document: T Effective date: 20120924 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120924 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: MAUCHER JENKINS, DE Effective date: 20140307 Ref country code: DE Ref legal event code: R081 Ref document number: 50314041 Country of ref document: DE Owner name: QUALCOMM INCORPORATED, US Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE Effective date: 20111107 Ref country code: DE Ref legal event code: R081 Ref document number: 50314041 Country of ref document: DE Owner name: QUALCOMM INCORPORATED, US Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, US Effective date: 20140307 Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE Effective date: 20140307 Ref country code: DE Ref legal event code: R081 Ref document number: 50314041 Country of ref document: DE Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, TEX., US Effective date: 20140307 Ref country code: DE Ref legal event code: R081 Ref document number: 50314041 Country of ref document: DE Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE Effective date: 20111107 Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: SAMSON & PARTNER PATENTANWAELTE MBB, DE Effective date: 20140307 Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE Effective date: 20140307 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20111102 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120924 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20030924 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: TP Owner name: QUALCOMM INCORPORATED, US Effective date: 20141224 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20150305 AND 20150311 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 14 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: MAUCHER JENKINS, DE Ref country code: DE Ref legal event code: R082 Ref document number: 50314041 Country of ref document: DE Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 15 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20170829 Year of fee payment: 15 Ref country code: FR Payment date: 20170823 Year of fee payment: 15 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20170928 Year of fee payment: 15 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 50314041 Country of ref document: DE |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20180924 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190402 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180924 |