DE60308342T2 - Verfahren und Vorrichtung zur Sprachaktivitätsdetektion - Google Patents

Verfahren und Vorrichtung zur Sprachaktivitätsdetektion Download PDF

Info

Publication number
DE60308342T2
DE60308342T2 DE60308342T DE60308342T DE60308342T2 DE 60308342 T2 DE60308342 T2 DE 60308342T2 DE 60308342 T DE60308342 T DE 60308342T DE 60308342 T DE60308342 T DE 60308342T DE 60308342 T2 DE60308342 T2 DE 60308342T2
Authority
DE
Germany
Prior art keywords
microphone
directions
sound
range
sounds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60308342T
Other languages
English (en)
Other versions
DE60308342D1 (de
Inventor
Stefan Gustavsson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of DE60308342D1 publication Critical patent/DE60308342D1/de
Application granted granted Critical
Publication of DE60308342T2 publication Critical patent/DE60308342T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Einrichtung, ein mobiles Gerät, welches die Einrichtung beinhaltet, ein Zubehör dafür, sowie eine Verfahren zur Sprachaktivitätsdetektion, im speziellen für ein Mobiltelefon, welche die Richtungsempfindlichkeit eines Mikrofonsystems und das Wissen über die räumliche Orientierung der Quelle der Stimme nutzt. Die Einrichtung unterstützt die vorhandene Sprachaktivitätsdetektion um höhere Empfindlichkeit und niedrigeren Verbrauch von Prozessorleistung zu erreichen.
  • Stand der Technik
  • Detektoren für Sprachaktivität werden beispielsweise in Mobiltelefonen verwendet, um die Leistung in gewissen Situationen zu verbessern. Der gängigste Ansatz für die Konstruktion eines Detektors für Sprachaktivität besteht darin, die Sub-Bänder des Eingangssignals zu analysieren. Dann werden Schallpegel der Hintergrundgeräusche und der Sprache geschätzt und mit einer Referenz verglichen, um festzustellen, ob Sprache vorhanden ist. Ein Beispiel eines Detektors für Sprachaktivität ist im Patent US 6.427.134 offenbart.
  • In lauten Umgebungen ist es beispielsweise schwierig, eine einheitliche Konfiguration der Parameter für die Sprachaktivitätsdetektion zu finden. Daher werden mehrere Detektoren benötigt, die für spezielle Fälle optimiert sind. Beispielsweise muss man in einigen Anwendungen sicher sein, dass Sprache auch erkannt wird, wenn sie vorhanden ist (echo Ausgleicher), wohingegen es in anderen Fällen besser ist, keine Sprache zu erkennen, wenn das Signal/Rausch-Verhältnis zu niedrig ist. Die Vielzahl an Sprachaktivitätsdetektoren belastet die Signalprozessoren, welche sich um die Ausführung der verschiedenen Algorithmen zu Sprachaktivitätsdetektion kümmern müssen.
  • Das Dokument US2003/027600 A1 offenbart ein Gerät, welches einen Detektor für Sprachaktivität nutzt, welcher auf Basis der Ausgangssignale einer Anordnung von Mikrofonen funktioniert. Es ist bekannt, das Anordnungen von Mikrofonen Töne, die aus bestimmten Richtungen stammen, erkennen, indem die Anordnung so ausgerichtet wird, dass das Signal/Rausch-Verhältnis einer gegebenen Quelle durch Ausrichtung auf diese verbessert wird.
  • Beschreibung der Erfindung
  • Ein Ziel der vorliegenden Erfindung ist die Ergänzung existierender Sprachaktivitätsdetektion, indem die Richtung der Tonquelle berücksichtigt wird.
  • In einer ersten Form stellt die Erfindung ein Gerät zur Sprachaktivitätsdetektion zur Verfügung, welches einen Tonsignalanalysierer aufweist, der so ausgelegt ist, dass er feststellen kann, ob ein Tonsignal Sprache enthält, und
    ein Mikrofonsystem aufweist, dass ausgelegt ist, Töne, die von Quellen, welche sich in verschiedenen Richtungen befinden, zu unterscheiden.
  • Der Erfindung entsprechend ist das Gerät angepasst, die Richtung einer Tonquelle, welche Tonsignale aussendet, festzustellen;
    und so ausgestaltet, dass es das Tonsignal weiter analysieren kann um festzustellen ob das Tonsignal Sprache enthält, falls Töne aus einem ersten Bereich von Richtungen stammen; und falls die Töne aus einem zweiten anderen Bereich von Richtungen stammen, jedoch festzustellen, dass das Tonsignal keine Sprache enthält.
  • In geeigneter Ausführung ist der erste Bereich von Richtungen auf die Richtung der mutmaßlichen Position des Mundes des Nutzers ausgerichtet.
  • In einer Ausführung enthält das Mikrofonsystem zwei Mikrofonelemente, die beabstanded sind und sich auf einer Linie befinden, welche in die Richtung der mutmaßlichen Position des Mundes des Nutzers zeigt.
  • Der Bereich von Richtungen kann durch alle Töne, die in einen Kegel mit Öffnungswinkel α fallen, definiert werden, wobei 10° < α < 30° ist, wobei α bevorzugt ungefähr 25° ist.
  • In einer anderen Ausführung weist das Mikrofonsystem drei Mikrofonelemente auf, die beabstanded sind und sich in einer Ebene befinden, welche in die Richtung der mutmaßlichen Position des Mundes des Nutzers zeigt.
  • In geeigneter Ausführung sind zwei der drei Mikrofonelemente beabstanded und befinden sich auf einer Linie, die senkrecht auf der Richtung der mutmaßlichen Position des Mundes des Nutzers steht.
  • In einer anderen Ausführung weist das Mikrofonsystem vier Mikrofonelemente auf, die so angebracht sind, dass das vierte Mikrofonelement sich nicht in der gleichen Ebene wie sie drei anderen befindet.
  • Die Mikrofonelemente können Richtmikrofone mit einer Charakteristik sein, die maximale Empfindlichkeit in der Richtung der mutmaßlichen Position des Mundes des Nutzers zeigt.
  • In noch einer weiteren Ausführung weist das Mikrofonsystem ein Richtmikrofonelement zusammen mit einem oder mehreren anderen Mikrofonelementen auf, um die Unsicherheit in der Richtung der Quelle zu beseitigen. Das Richtmikrofonelement kann genutzt werden, um den Schalldruckpegel relativ zum anderen Mikrofonelement zu messen.
  • In einer zweiten Form stellt die Erfindung ein mobiles Gerät dar, welches eine wie oben beschriebene Einrichtung enthält.
  • In geeigneter Ausführung sind die Mikrofonelemente am unteren Rand des Geräts angebracht.
  • In einer Ausführung ist eine Mehrzahl von Mikrofonelementen am unteren Rand des Geräts angebracht, und mindestens ein weiteres Mikrofonelement ist vom unteren Rand beabstanded angebracht.
  • Das mobile Gerät kann ein mobiles Funk-Endgerät sein, beispielsweise ein Mobiltelefon, ein Pager, ein Communicator, ein elektronischer Kalender oder ein Smartphone.
  • In einer dritten Form stellt die Erfindung ein Zubehörteil für ein mobiles Gerät dar, aufweisend ein Mikrofonsystem wie oben beschrieben.
  • In geeigneter Ausführung ist die Richtung des ersten Bereichs von Richtungen einstellbar.
  • Das Zubehörteil kann eine Freisprecheinrichtung oder ein Mikrofon für eine Telefonkonferenz sein.
  • In einer vierten Form stellt die Erfindung eine Methode zur Sprachaktivitätsdetektion dar, beinhaltend die Schritte:
    Empfangen von Tonsignalen von einem Mikrofonsystem, welches ausgerichtet ist, Töne, die von Quellen stammen, welche sich in verschiedenen Richtungen befinden, zu unterscheiden; Feststellen der Richtung der Tonquelle, welche das Signal verursacht; und falls die Töne einem ersten Bereich von Richtungen entspringen, ferner feststellen, ob das Tonsignal Sprache aufweist; jedoch entscheiden, dass das Tonsignal keine Sprache enthält, wenn die Töne aus einem zweiten anderen Bereich von Richtungen entstammen.
  • In geeigneter Ausführung ist der erste Bereich von Richtungen auf die Richtung der mutmaßlichen Position des Mundes des Nutzers gerichtet.
  • Der erste Bereich von Richtungen kann als alle Töne die in einen Kegel mit Öffnungswinkel α fallen definiert werden, wobei 10° < α < 30° und bevorzugt ungefähr 25° ist.
  • In einer Ausführung weist das Mikrofonsystem mindestens zwei Mikrofonelemente auf, die beabstanded sind und sich auf einer Linie befinden, die in die Richtung der mutmaßlichen Position des Mundes des Nutzen zeigt, wobei die beiden Mikrofonelemente den Abstand d haben und die Richtung zur Tonquelle θ berechnet wird als
    Figure 00040001
    wobei Δt die Zeitdifferenz zwischen den Tönen der beiden Mikrofone und v die Schallgeschwindigkeit ist.
  • In einer weiteren Ausführung wird ein Richtmikrofonelement zusammen mit einem oder mehreren anderen Mikrofonelementen verwendet, um die Unsicherheit in der Richtung der Tonquelle zu beseitigen.
  • Das Richtmikrofonelement kann dazu verwendet werden, den Schalldruckpegel relativ zu den anderen Mikrofonelementen zu messen.
  • Die Erfindung ist in den angefügten Ansprüchen 1 und 20 definiert, während bevorzugte Ausführungen in den abhängigen Ansprüchen dargelegt sind.
  • Kurze Beschreibung der Zeichnungen
  • Die Erfindung wird nachfolgend anhand der beiliegenden Zeichnungen genauer beschrieben, in welchen:
  • Zeichnung 1 eine perspektivische Ansicht eines Mobiltelefons ist, welches die vorliegende Erfindung enthält, und
  • Zeichnung 2 eine schematische Zeichnung des Empfangswinkels einer Ausführung der vorliegenden Erfindung ist.
  • Genaue Beschreibung der bevorzugten Ausführungen
  • Wie in der Einleitung kurz erwähnt, basieren viele signalverarbeitende Algorithmen wie Echoentferner und Hintergrundgeräuscherzeugung, die in Telefonen und Freisprecheinrichtungen verwendet werden, auf der Tatsache, dass der Nutzer spricht oder nicht spricht. Beispielsweise ist der Sprachcodec aktiv, wenn der lokale Nutzer spricht, und die Hintergrunderzeugung ist aktiv, wenn der lokale Benutzer ruhig ist. All diese Algorithmen brauchen gute Sprachaktivitätsdetektoren (VAD) um richtig zu arbeiten. Ein Fehler in der Erkennung kann zu Verzerrungen oder Fehlfunktionen führen, die durch Divergenzen der Algorithmen oder andere Probleme verursacht werden.
  • Existierende Sprachaktivitätsdetektoren sind darauf ausgerichtet, festzustellen, ob in einem Tonsignal Sprache vorhanden ist, oder nicht. Jedoch ist nicht jegliche Sprache von Interesse oder relevant, sondern nur die Sprache des Nutzers. Die gesamte andere Sprache, wie beispielsweise eine laute Umgebung in der mehrere Leute sprechen, kann ignoriert und einfach als Rauschen behandelt werden.
  • Der Erfinder hat festgestellt, dass ein Mikrofonsystem, dass eine Art von Richtungsempfindlichkeit hat, verwendet werden könnte, um Töne zu unterscheiden, die von verschiedenen Tonquellen stammen, welche sich in verschiedenen Richtungen befinden. Töne die nicht vom Benutzer stammen können für „nicht Sprache" erklärt werden, und solche Signale müssen nicht mit den üblichen Sprachaktivitätsdetektoren untersucht werden.
  • Die vorhandenen Sprachaktivitätsdetektoren seien üblich und sind hier nur als Tonsignalanalysierer erwähnt.
  • Generell kann ein Mikrofonsystem mit beliebiger Art von Richtungsempfindlichkeit verwendet werden. Zeichnung 1 zeigt ein Beispiel mit zumindest zwei getrennten Mikrofonelementen.
  • Ein allgemeines Mobiltelefon ist in 1 gezeigt. Die Erfindung ist gleich gut in anderen Geräten wie mobilen Funkendgeräten, pagern, communicatoren, elektronischen Kalendern oder smartphones anwendbar. Das gemeinsame Merkmal ist, dass Sprachaktivitätsdetektion verwendet wird; beispielsweise in Verbindung mit Sprachkommunikation oder der Annahme von Sprachkommandos durch Spracherkennung.
  • In der einfachsten Ausführung weist das System zwei Mikrofone 2a und 2b auf. In angepasster Ausführung sind sie auf einer Linie angebracht, die in die erwartete Richtung des Mundes eines Nutzers zeigt. In passender Ausführung sind die Mikrofonelemente am unteren Rand des Mobilen Gerätes angebracht.
  • Zeichnung 2 zeigt eine schematische Zeichnung der Berechnung der Richtung der Tonquelle, typischer Weise des Mundes des Nutzers 3. Im Fall von 2 Mikrofonen ist nur der Winkel zur Linie, auf der sich die Mikrofone befinden bestimmt werden. Anders ausgedrückt befindet sich die Tonquelle auf einem Kegel mit Öffnungswinkel θ. Um den Winkel θ zu berechnen wird zunächst eine Kreuzkorellation der beiden Signale der Mikrofone 2a und 2b durchgeführt. Das Maximum liefert die Zeit Δt zwischen den beiden Mikrofonen 2a und 2b. Der Abstand zwischen den beiden Mikrofonen 2a und 2b beträgt beispielsweise 20 Millimeter. Der Winkel θ wird folgendermaßen berechnet:
    Figure 00060001
  • Dabei ist der arccos nur für Argumente zwischen –1 und 1 definiert. Wenn die Zeitdifferenz negativ ist, bedeutet dies, dass der Winkel größer als 90° ist und der Ton hinter dem Gerät entsteht.
  • In passender Ausführung ist das Gerät darauf angepasst festzustellen dass alle Töne mit einem Winkel θ, der kleiner als ein fester Winkel α ist vom Benutzer stammen. Der Grenzwinkel kann in einem Bereich von beispielsweise 10° bis 30° eingestellt werden, passender Weise auf 25°.
  • Im Fall von drei Mikrofonen kann die Richtung der Tonquelle weiter bestimmt werden, so dass sie auf zwei Punkten liegen muss (Beispielsweise auf dem oberen Kegel). Die Drei Mikrofonelemente sind passender Weise in einer Ebene angebracht, die in die ungefähre Position des Mundes des Benutzers zeigt. In Zeichnung 1 sind die Mikrofonelemente 2b, 2c und 2d eine mögliche Anordnung. Die zwei Mikrofonelemente 2c und 2d an der Vorderseite sind auf einer Linie senkrecht zur Richtung des Mundes des Nutzers positioniert, während das dritte Mikrofonelement 2b sich an der Rückseite befindet.
  • Im Falle von vier (oder mehr) Mikrofonen kann die Richtung von allen Richtungswinkeln berechnet werden, vorausgesetzt, dass dass vier Mikrofonelemente so angeordnet sind, dass sich das vierte Mikrofonelement nicht in der selben Ebene wie die drei anderen befindet, beispielsweise auf einem Tetraeder. Eine mögliche Anordnung besteht aus zwei Mikrofonelementen 2c und 2d am vorderen unteren Rand, während das dritte Mikrofonelement 2b sich auf der Rückseite befindet, und das vierte Mikrofonelement 2e auf der Vorderseite vom unteren Rand beabstandet angebracht ist.
  • Eine ähnliche Mikrofonanordnung kann in einem Zubehörteil für ein mobiles Gerät verwendet werden, wie beispielsweise einer Freisprecheinrichtung oder einem Mikrofonsystem für eine Telefonkonferenz, welches dafür vorgesehen ist, auf einem Tisch zu stehen. Die logischen Schaltkreise können sich, abgetrennt von den Mikrofonelementen, im mobilen- oder Hauptgerät befinden. In diesem Fall kann der Empfangswinkel des Mikrofonsystems einstellbar sein. Dies ist sinnvoll wenn das Mikrofonsystem beispielsweise in einem Auto angebracht ist, wo der Benutzer entweder auf dem Fahrersitz oder auf einem Mitfahrerplatz sitzen kann, wobei auch Fahrer und Mitfahrer im gleichen Gespräch Sprecher sein können. Die Anpassung des Empfangswinkels kann mechanisch oder elektronisch erreicht werden, beispielsweise durch beam forming oder Anpassung der Richtungsempfindlichkeit des Mikrofonsystems.
  • Um die Empfindlichkeit weiter zu verbessern, könnten Richtmikrofonelemente mit einer Charakteristik, welche maximale Empfindlichkeit in Richtung des Mundes des Nutzers aufweist verwendet werden.
  • In einer weiteren Ausführung wird ein Richtmikrofonelement zusammen mit einem oder zwei anderen Mikrofonelementen (welche auch andere als Richtmikrofone sein können) verwendet. Das Richtmikrofonelement wird verwendet um den Schalldruckpegel relativ zu den anderen zu messen, um die Unsicherheit in der Richtung der Tonquelle zu entfernen. Verschiedene Kombinationen von Richtmikrofonelementen und anderen Mikrofonelementen sind möglich.
  • Die vorliegende Erfindung liefert einen Sprachaktivitätsdetektor mit gesteigerter Leistung. Mit der vorliegenden Erfindung ist vielleicht nur ein Sprachaktivitätsdetektor im gesamten Signalweg nötig. Dies wiederum wird die Komplexität der Berechnungen verringern, wodurch sowohl die Last auf die digitalen Signalprozessoren verringert, als auch die Leistung erhöht wird. Die Erfindung ist speziell in Umgebungen mit viel Hintergrundgeräusch und Geräuschen mit ähnlichen spektralen Eigenschaften wie Sprache zu bevorzugen.
  • Der Durchschnittsfachmann wird feststellen, dass die Erfindung durch vielfältige Kombinationen von Hardware und Software umgesetzt werden kann. Der Schutzumfang der Erfindung ist nur durch die nachfolgenden Ansprüche begrenzt.

Claims (26)

  1. Einrichtung zur Sprachaktivitätsdetektion, aufweisend einen Tonsignalanalysierer, der so ausgelegt ist, dass er feststellen kann, ob ein Tonsignal Sprache enthält, wobei die Einrichtung ein Mikrofonsystem (2a, 2b, 2c, 2d, 2e) aufweist, welches so ausgerichtet ist, dass es Töne, die von Quellen, welche sich in verschiedenen Richtungen vom Mikrofonsystem befinden, stammen unterscheidet, dadurch gekennzeichnet, dass die Einrichtung so ausgestaltet ist, dass sie die Richtung einer Tonquelle, welche Tonsignale aussendet, feststellen kann; und so ausgestaltet ist, dass sie das Tonsignal weiter analysieren kann um festzustellen ob das Tonsignal Sprache enthält, falls Töne aus einem ersten Bereich von Richtungen stammen; und jedoch festzustellen, dass das Tonsignal keine Sprache enthält, falls die Töne aus einem zweiten anderen Bereich von Richtungen stammen.
  2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der erste Bereich von Richtungen auf die mutmaßliche Richtung des Mundes eines Nutzers (3) ausgerichtet ist.
  3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Mikrofonsystem zwei Mikrofonelemente (2a, 2b) aufweist, die beabstandet sind und sich auf einer Linie befinden, die in Richtung der mutmaßlichen Position des Mundes des Nutzers (3) zeigt.
  4. Einrichtung nach Anspruch 3, dadurch gekennzeichnet, dass der erste Bereich von Richtungen als alle Töne, die in einen Kegel mit Öffnungswinkel α fallen, definiert ist, wobei 10° < α < 30°.
  5. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, dass α ungefähr 25° ist.
  6. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Mikrofonsystem drei Mikrofonelemente (2b, 2c, 2d) aufweist, die beabstandet sind und sich in einer Ebene befinden. die in diejenige Richtung gerichtet ist, in der sich mutmaßlich der Mund des Nutzers befindet.
  7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, dass zwei (2c, 2d) der drei Mikrofonelemente beabstandet sind und sich auf einer Linie befinden, die zu der Richtung der mutmaßlichen Position des Mundes des Nutzers (3) senkrecht steht.
  8. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Mikrofonsystem vier Mikrofonelemente (2b, 2c, 2d, 2e) aufweist, die so positioniert sind, dass das vierte Mikrofon (2e) sich nicht in der gleichen Ebene wie die drei anderen (2b, 2c, 2d) befindet.
  9. Einrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Mikrofonelemente (2a, 2b, 2c, 2d, 2e) gerichtet sind mit einem Muster, maximale Empfindlichkeit in Richtung der mutmaßlichen Position des Mundes des Nutzers hat.
  10. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Mikrofonsystem ein Richtmikrofonelement und zugleich ein oder mehrere andere Mikrofonelemente aufweist, die geeignet sind die Ungenauigkeit in der Richtung der Tonquelle zu beseitigen.
  11. Einrichtung nach Anspruch 10, dadurch gekennzeichnet, dass das Richtmikrofonelement geeignet ist, den Schalldruckpegel relativ zum anderen Mikrofonelement zu messen.
  12. Ein mobiles Gerät, dadurch gekennzeichnet, dass es eine in den Ansprüchen 1 bis 11 definierte Einrichtung aufweist.
  13. Ein mobiles Gerät nach Anspruch 12, dadurch gekennzeichnet, dass sich die Mikrofonelemente (2a, ab, 2c, 2d) am unteren Rand des Gerätes befinden.
  14. Mobiles Gerät nach Anspruch 12, dadurch gekennzeichnet, dass sich eine Mehrzahl von Mikrofonelementen (2a, 2b, 2c, 2d) am unteren Rand des Gerätes befindet und mindestens ein weiteres Mikrofonelement (2e) vom unteren Rand beabstandet angebracht ist.
  15. Mobiles Gerät nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass es ein mobiles Funk-Endgerät, beispielsweise ein Mobiltelefon (1), ein Pager, ein Communicator, ein elektronischer Kalender oder ein Smartphone ist.
  16. Zubehör für ein mobiles Gerät, dadurch gekennzeichnet, dass es eine Einrichtung nach einem der Ansprüche 1 bis 11 aufweist.
  17. Zubehör nach Anspruch 16, dadurch gekennzeichnet, dass es Einstellungselemente zur Einstellung des ersten Bereiches von Richtungen aufweist.
  18. Zubehör nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass es eine Freisprecheinrichtung ist.
  19. Zubehör nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass es ein Mikrofon für eine Telefonkonferenz ist.
  20. Verfahren zur Erkennung von Sprachaktivität durch die Schritte: Empfangen eines Tonsignals von einem System von Mikrofonen (2a, 2b, 2c, 2d, 2e), das ausgerichtet ist, Töne die von Quellen stammen, welche sich in verschiedenen Richtungen befinden, zu unterscheiden, dadurch gekennzeichnet, dass die Richtung der Tonquelle, die die Tonsignale ausstrahlt, festgestellt wird und, falls die Töne einem ersten Bereich von Richtungen entspringen, ferner festgestellt wird, ob das Tonsignal Sprache aufweist; jedoch entschieden wird, dass das Tonsignal keine Sprache enthält wenn die Töne jedoch aus einem zweiten anderen Bereich von Richtungen entstammen.
  21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass der erste Bereich von Richtungen in Richtung der mutmaßlichen Position des Mundes des Nutzers ausgerichtet ist.
  22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass der erste Bereich von Richtungen definiert wird durch alle Töne, die in einen Kegel mit Öffnungswinkel α fallen, wobei gilt 10° < α < 30°.
  23. Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass α ungefähr 25° ist.
  24. Verfahren nach einem der Ansprüche 22 und 23, dadurch gekennzeichnet, dass das Mikrofonsystem mindestens zwei Mikrofonelemente (2a, 2b) aufweist, die beabstandet sind und sich auf einer Linie befinden welche in die Richtung der mutmaßlichen Position des Mundes des Nutzers (3) zeigt, wobei die beiden Mikrofonelemente den Abstand d haben, wobei die Richtung zur Tonquelle θ berechnet wird als
    Figure 00120001
    wobei Δt die Zeitdifferenz zwischen den Tönen der beiden Mikrofone und v die Schallgeschwindigkeit ist.
  25. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass ein Richtmikrofonelement und zugleich ein oder mehrere andere Mikrofonelemente benutzt werden, um die Ungenauigkeit in der Richtung der Tonquelle zu beseitigen.
  26. Verfahren nach Anspruch 25, dadurch gekennzeichnet, dass das Richtmikrofonelement genutzt wird, um den Schalldruckpegel relativ zum anderen Mikrofonelement zu messen.
DE60308342T 2003-06-17 2003-06-17 Verfahren und Vorrichtung zur Sprachaktivitätsdetektion Expired - Lifetime DE60308342T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP03445076A EP1489596B1 (de) 2003-06-17 2003-06-17 Verfahren und Vorrichtung zur Sprachaktivitätsdetektion

Publications (2)

Publication Number Publication Date
DE60308342D1 DE60308342D1 (de) 2006-10-26
DE60308342T2 true DE60308342T2 (de) 2007-09-06

Family

ID=33396142

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60308342T Expired - Lifetime DE60308342T2 (de) 2003-06-17 2003-06-17 Verfahren und Vorrichtung zur Sprachaktivitätsdetektion

Country Status (6)

Country Link
US (1) US7966178B2 (de)
EP (1) EP1489596B1 (de)
CN (1) CN100559461C (de)
AT (1) ATE339757T1 (de)
DE (1) DE60308342T2 (de)
WO (1) WO2004111995A1 (de)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US9573056B2 (en) * 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
WO2006121896A2 (en) * 2005-05-05 2006-11-16 Sony Computer Entertainment Inc. Microphone array based selective sound source listening and video game control
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8767975B2 (en) * 2007-06-21 2014-07-01 Bose Corporation Sound discrimination method and apparatus
JP2009130619A (ja) * 2007-11-22 2009-06-11 Funai Electric Advanced Applied Technology Research Institute Inc マイクロフォンシステム、音声入力装置及びこれらの製造方法
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
CN102016877B (zh) * 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8611554B2 (en) 2008-04-22 2013-12-17 Bose Corporation Hearing assistance apparatus
US8244528B2 (en) * 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
WO2009130388A1 (en) * 2008-04-25 2009-10-29 Nokia Corporation Calibrating multiple microphones
CN102282865A (zh) * 2008-10-24 2011-12-14 爱利富卡姆公司 用于电子***的声学语音活动检测(avad)
US8527657B2 (en) * 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) * 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
JP5493611B2 (ja) * 2009-09-09 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
JP5931566B2 (ja) * 2012-04-26 2016-06-08 株式会社オーディオテクニカ 単一指向性マイクロホン
DE202013005408U1 (de) * 2012-06-25 2013-10-11 Lg Electronics Inc. Mikrophonbefestigungsanordnung eines mobilen Endgerätes
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9313572B2 (en) * 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
CN203243376U (zh) * 2012-12-17 2013-10-16 杭州惠道科技有限公司 手机声波传输的接受装置
US9894454B2 (en) 2013-10-23 2018-02-13 Nokia Technologies Oy Multi-channel audio capture in an apparatus with changeable microphone configurations
CN104715753B (zh) * 2013-12-12 2018-08-31 联想(北京)有限公司 一种数据处理的方法及电子设备
CN106686185B (zh) * 2014-06-30 2019-07-19 歌尔科技有限公司 提高免提通话设备通话质量的方法、装置和免提通话设备
US9467569B2 (en) 2015-03-05 2016-10-11 Raytheon Company Methods and apparatus for reducing audio conference noise using voice quality measures
JP6959917B2 (ja) * 2015-08-07 2021-11-05 シーラス ロジック インターナショナル セミコンダクター リミテッド 音響装置における再生管理のためのイベント検出
CN105261359B (zh) * 2015-12-01 2018-11-09 南京师范大学 手机麦克风的消噪***和消噪方法
US10993057B2 (en) 2016-04-21 2021-04-27 Hewlett-Packard Development Company, L.P. Electronic device microphone listening modes
GB2556093A (en) * 2016-11-18 2018-05-23 Nokia Technologies Oy Analysis of spatial metadata from multi-microphones having asymmetric geometry in devices
CN109859749A (zh) 2017-11-30 2019-06-07 阿里巴巴集团控股有限公司 一种语音信号识别方法和装置
CN110491376B (zh) * 2018-05-11 2022-05-10 北京国双科技有限公司 一种语音处理方法及装置
EP3900315B1 (de) * 2018-12-17 2023-09-27 Hewlett-Packard Development Company, L.P. Mikrofonsteuerung ausgehend von sprachrichtung
US11837228B2 (en) 2020-05-08 2023-12-05 Nuance Communications, Inc. System and method for data augmentation for multi-microphone signal processing
CN111833899B (zh) * 2020-07-27 2022-07-26 腾讯科技（深圳）有限公司 一种基于多音区的语音检测方法、相关装置及存储介质
CN112201259B (zh) * 2020-09-23 2022-11-25 北京百度网讯科技有限公司 声源定位方法、装置、设备和计算机存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568383A (en) * 1992-11-30 1996-10-22 International Business Machines Corporation Natural language translation system and document transmission network with translation loss information and restrictions
EP0602296A1 (de) * 1992-12-17 1994-06-22 International Business Machines Corporation Adaptives Verfahren zur Erzeugung gebietsabhängiger Modelle für intelligente Systeme
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US6283760B1 (en) * 1994-10-21 2001-09-04 Carl Wakamoto Learning and entertainment device, method and system and storage media therefor
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5634084A (en) * 1995-01-20 1997-05-27 Centigram Communications Corporation Abbreviation and acronym/initialism expansion procedures for a text to speech reader
TW347503B (en) * 1995-11-15 1998-12-11 Hitachi Ltd Character recognition translation system and voice recognition translation system
FR2742960B1 (fr) * 1995-12-22 1998-02-20 Mahieux Yannick Antenne acoustique pour station de travail informatique
US6161082A (en) * 1997-11-18 2000-12-12 At&T Corp Network based language translation system
JP3975007B2 (ja) * 1998-07-10 2007-09-12 株式会社オーディオテクニカ 単一指向性マイクロホン
US6532446B1 (en) * 1999-11-24 2003-03-11 Openwave Systems Inc. Server based speech recognition user interface for wireless devices
WO2001076319A2 (en) * 2000-03-31 2001-10-11 Clarity, L.L.C. Method and apparatus for voice signal extraction
EP1206161A1 (de) * 2000-11-10 2002-05-15 Sony International (Europe) GmbH Mikrofonanordung mit selbstanpassender Richtcharakteristik für Telefonhandapparate und Freisprechanlagen
US20030027600A1 (en) * 2001-05-09 2003-02-06 Leonid Krasny Microphone antenna array using voice activity detection
US20030125959A1 (en) * 2001-12-31 2003-07-03 Palmquist Robert D. Translation device with planar microphone array

Also Published As

Publication number Publication date
DE60308342D1 (de) 2006-10-26
US20080091421A1 (en) 2008-04-17
ATE339757T1 (de) 2006-10-15
CN100559461C (zh) 2009-11-11
EP1489596A1 (de) 2004-12-22
EP1489596B1 (de) 2006-09-13
US7966178B2 (en) 2011-06-21
CN1813284A (zh) 2006-08-02
WO2004111995A1 (en) 2004-12-23

Similar Documents

Publication Publication Date Title
DE60308342T2 (de) Verfahren und Vorrichtung zur Sprachaktivitätsdetektion
DE60303338T2 (de) Orthogonales und kreisförmiges Gruppensystem von Mikrofonen und Verfahren zur Erkennung der dreidimensionalen Richtung einer Schallquelle mit diesem System
DE69637203T2 (de) Mikrofonauswahlverfahren zur Anwendung in einem sprachgesteuerten Mehrmikrofonvermittlungssystem
EP1738567B1 (de) Brillengestell mit integriertem akustischem kommunikationssystem zur kommunikation mit einem mobilfunkgerät und entsprechendes verfahren
DE112011105791B4 (de) Störungsunterdrückungsvorrichtung
WO2009056585A2 (de) Maskierung für schall
DE4330143A1 (de) Anordnung zur Siganlverarbeitung akustischer Eingangssignale
DE112017002299T5 (de) Stereotrennung und Richtungsunterdrückung mit Omni-Richtmikrofonen
EP2077059B1 (de) Verfahren zum betreiben einer hörhilfe, sowie hörhilfe
EP3490270B1 (de) Verfahren zum betrieb eines hörgerätes
EP1126684A1 (de) Verfahren zum Steuern einer Lautstärke eines elektroakustischen Wandlers
WO2008028510A1 (de) Vorrichtung zur lageabhängigen steuerung
DE102008023370B4 (de) Verfahren zum Betreiben eines Hörgeräts und Hörgerät
DE19922731A1 (de) Armaturenbrett mit integriertem Richtmikrofon
DE69132988T2 (de) Verfahren für aktive rückkopplunglsunterdrückung
DE102014210760B4 (de) Betrieb einer Kommunikationsanlage
JPH04212600A (ja) 音声入力装置
DE112019007580B4 (de) Schallfeld-Steuerungsvorrichtung und Schallfeld-Steuerungsverfahren
DE102018102821B4 (de) Eine einrichtung zur erfassung und verarbeitung eines akustischen eingangssignals
DE19741596A1 (de) Verfahren zur Optimierung des Empfangs akustischer Signale und elektrisches Gerät
DE19908194C1 (de) Hinter dem Ohr tragbares Hörhilfegerät
EP1916872B1 (de) Differentielles Richtmikrofonsystem und Hörhilfsgerät mit einem solchen differentiellen Richtmikrofonsystem
DE102014013524B4 (de) Kommunikationsanlage für Kraftfahrzeuge
DE60000117T2 (de) Mobiltelefon mit einer Tonsignal-Verstärkervorrichtung
EP1231113A2 (de) Freisprecheinrichtung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8328 Change in the person/name/address of the agent

Representative=s name: PATENT- UND RECHTSANWAELTE KRAUS & WEISERT, 80539