DE112014007255T5 - Echolöscheinrichtung und Echolöschverfahren - Google Patents

Echolöscheinrichtung und Echolöschverfahren Download PDF

Info

Publication number
DE112014007255T5
DE112014007255T5 DE112014007255.9T DE112014007255T DE112014007255T5 DE 112014007255 T5 DE112014007255 T5 DE 112014007255T5 DE 112014007255 T DE112014007255 T DE 112014007255T DE 112014007255 T5 DE112014007255 T5 DE 112014007255T5
Authority
DE
Germany
Prior art keywords
band
signal
echo
filter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112014007255.9T
Other languages
English (en)
Other versions
DE112014007255B4 (de
Inventor
Tomoharu Awano
Satoru Furuta
Tadashi Yamaura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112014007255T5 publication Critical patent/DE112014007255T5/de
Application granted granted Critical
Publication of DE112014007255B4 publication Critical patent/DE112014007255B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/232Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using phase shift, phase roll or frequency offset correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/234Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using double talk detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

Eine Echolöscheinrichtung umfasst eine Bandeinstellungseinheit 102, umfassend ein Filter zum Durchführen einer Bandeinstellung, indem ein Signal in einem bestimmten Frequenzband eines Eingangssignals mit einem Verstärkungsfaktor beaufschlagt wird, ein adaptives Filter 101 zum Eingeben eines Sprachempfangssignals, zum Aktualisieren eines Filterkoeffizienten, und zum Erzeugen eines Pseudoechosignals unter Verwendung des aktualisierten Filterkoeffizienten, eine Bandkorrektureinheit 104, umfassend ein Filter zum Korrigieren einer Frequenzcharakteristik eines Signals, das erhalten wird, indem das durch das adaptive Filter 101 erzeugte Pseudoechosignal von einem Eingangssignal, das der Bandeinstellung unterzogen wurde, subtrahiert wird, in eine Frequenzcharakteristik des Eingangssignals vor der durch die Bandeinstellungseinheit 102 durchgeführten Bandeinstellung, und eine Restechounterdrückungseinheit 105 zum Unterdrücken einer Echokomponente, die in einem Signal verbleibt, dessen Frequenzcharakteristik korrigiert wurde, um einen Unterdrückungsbetrag, der auf Grundlage von Filterinformationen der Bandeinstellungseinheit 102 eingestellt ist, und die Restechounterdrückungseinheit 105 den Unterdrückungsbetrag für ein Signal in einem bestimmten Frequenzband, das der Bandeinstellung unterzogen wurde, derart einstellt, dass er niedriger ist als Unterdrückungsbeträge für Signale in anderen Frequenzbändern.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Technologie zum Löschen eines Echos eines Sprachempfangssignals, das einem in ein Mikrofon eingegebenen Signal beigemischt ist.
  • Hintergrund zum Stand der Technik
  • Eine Echolöscheinrichtung wird in einer Lautsprecher-Anrufeinrichtung oder dergleichen zum Zwecke des Löschens eines Echos eines Sprachempfangssignals, das einem Signal beigemischt ist, das in ein Mikrofon eingegeben wird (nachfolgend als ein Eingangssignal bezeichnet) aus dem Eingangssignal verwendet. Wie in Nichtpatentliteratur 1 beschrieben, ist die für diesen Zweck verwendete Echolöscheinrichtung in vielen Fällen aus einer adaptiven Filtereinheit und einer Restechounterdrückungseinheit gebildet. 5 zeigt eine schematische Darstellung der Echolöscheinrichtung, die diese Ausbildung aufweist.
  • Eine adaptive Filtereinheit 300 schätzt (lernt) einen Echopfad h, erzeugt einen Filterkoeffizienten h ˆ und ein Pseudoechosignal (Echokopie), und löscht ein Echo aus einem Eingangssignal, das in ein Mikrofon eingegeben ist.
  • Allerdings beträgt ein Echo, das durch die adaptive Filtereinheit 300 gelöscht werden kann, etwa 30dB, und es können nicht alle Echosignale gelöscht werden. Somit ist häufig eine Restechounterdrückungseinheit 400 aufgenommen, um Restechos zu unterdrücken.
  • Gleichwohl unterdrückt die Restechounterdrückungsverarbeitung gleichzeitig ein Sprachübertragungssignal, zum Beispiel ein Signal von in ein Mikrofon gesprochener Sprache. Somit kann ein großer Unterdrückungsbetrag auf die Qualität des bidirektional-simultanen Ferngesprächs (Gegensprechen), das durch einen nahen Sprecher und einen fernen Sprecher durchgeführt wird, einen negativen Einfluss haben. Zum Zwecke der Verbesserung der Leistung des Gegensprechens ist es effektiv, eine Menge an Echos zu erhöhen, die durch ein adaptives Filter gelöscht wird, und den Unterdrückungsbetrag der Restechounterdrückung so wenig wie möglich herabzusetzen.
  • Andererseits ist die Leistung eines Echosignals in einem niederfrequenten Band in einem Freisprech-Ferngespräch oft stark. Dies ist der Tatsache, dass das niederfrequente Band eines Sprachsignals eine hohe Leistung aufweist, und dem Design von Lautsprechern und den Echoeigenschaften in einem Fahrzeug zuzuschreiben. Es ist wahrscheinlich, dass Restechosignale, welche Restsignale sind, die zurückbleiben, nachdem Echos mit den vorgenannten Eigenschaften mittels des adaptiven Filters gelöscht wurden, im niederfrequenten Band verbleiben. 6 zeigt ein Beispiel von in einem Fahrzeug aufgezeichneten Eingangssignalen. Für alle der in 6 dargestellten Eingangssignale wird angenommen, dass sie Echosignale sind. 7 zeigt die Durchschnittsleistungen bei bestimmten Frequenzen eines Echosignals (Eingangssignals) gezeigt in 6, und ein Restsignal, das verbleibt, nachdem das in 6 gezeigte Echosignal mittels eines adaptiven Filters gelöscht wurde, d.h. ein Restechosignal.
  • Wie in 7 dargestellt, ist zu erkennen, dass ein Sprachübertragungssignal eine Spitzenleistung in der Nähe von 500 Hz aufweist, und ein Restechosignal eine ähnlich hohe Leistung in der Nähe von 500 Hz aufweist. Wenn in dem Fahrzeug Gegensprechen vorkommt, ist es notwendig, eine starke Restechounterdrückung in der Nähe von 500 Hz anzuwenden, um das Restechosignal auf einen für Benutzer nicht hörbaren Pegel zu reduzieren. Allerdings wird in dem Fall, wenn die Restechounterdrückung angewendet wird, auch in der Nähe von 500 Hz des Sprachübertragungssignals eine hohe Unterdrückung angewendet, was zu einer Verschlechterung der Qualität des Gegensprechens führt.
  • In dem Sprachübertragungssignal wird hinsichtlich eines hochfrequenten Bandes mit geringer Leistung, wenn mit dem adaptiven Filter keine Echoverminderung in großem Umfang durchgeführt wird, sondern Echoverminderung durch nachträgliche Restechounterdrückung durchgeführt wird, die Ferngesprächsübertragungsstimme nicht negativ beeinflusst. Allerdings kann hinsichtlich des niederfrequenten Bands des Sprachübertragungssignals die Gegensprechqualität verbessert werden, indem durch das adaptive Filter mehr Echos reduziert werden.
  • Somit wird in einem in Patentliteratur 1 offenbarten akustischen Echolöscher das Sprachempfangssignal und das Sprachübertragungssignal in eine Vielzahl von Bändern aufgeteilt, und der Einfluss eines Echos in jedem Band geschätzt, wodurch eine Prioritätsreihenfolge bestimmt wird. In jedem Band bestimmt das adaptive Filter die Verarbeitung auf Grundlage der Prioritätsreihenfolge. Die Schätzung des Einflusses des Echos wird derart durchgeführt, dass eine höhere Prioritätsreihenfolge einem Band zugeordnet wird, in welchem das Echogefühl als akustisch am meisten gefühlt betrachtet wird. Ein adaptives Filter in einem hochpriorisierten Band führt eine komplizierte Verarbeitung mit einer hohen Echounterdrückungswirkung durch, und ein adaptives Filter in einem niedrigpriorisierten Band führt eine einfache Verarbeitung durch. Durch Bestimmen einer Prioritätsreihenfolge in Entsprechung mit einem wie vorstehend beschriebenen Band wird eine Echoverminderungsverarbeitung, in welcher eine akustische Eigenschaft berücksichtigt wird, durchgeführt, und ein Ferngespräch mit hoher Qualität bereitgestellt.
  • Liste der zitierten Schriften
  • Patentliteratur
    • Patentliteratur 1: JP 10-41859 A
  • Nichtpatentliteratur
    • Nichtpatentliteratur 1: Emanuel A. P. Habets, Sharon Gannot, Israel Cohen and Piet C. W. Sommen, "Joint Dereverberation and Residual Echo Suppression of Speech Signals in Noisy Environments, "IEEE Trans. Audio, Speech Lang. Process., 16. Aufl., Nr. 8, S. 1433–1451, Nov. 2008.
  • Zusammenfassung der Erfindung
  • Technisches Problem
  • Dennoch besteht in der in vorstehend erläuterter Nichtpatentliteratur 1 offenbarten Technologie ein Problem darin, dass ein Eingangssignal unter Verwendung einer Filterbank, um die Bandeinschränkung durchzuführen, aufgeteilt wird, und Signale der entsprechend aufgeteilten Bänder unter Verwendung einer Synthesefilterbank synthetisiert und als Übertragungssprache ausgegeben werden, und das Filtern auch für die Übertragungssprache durchgeführt wird, so dass die Sprachqualität der Übertragungssprache nicht erhalten bleiben kann. Zudem besteht ein Problem darin, dass durch die Filterbank und die Synthesefilterbank Verzögerung verursacht wird. Ferner besteht ein weiteres Problem darin, dass ein Berechnungsumfang aufgrund der Verwendung einer Vielzahl von adaptiven Filtern in Entsprechung mit der Prioritätsreihenfolge zunimmt.
  • Die vorliegende Erfindung wurde zur Lösung der vorstehend erläuterten Probleme konzipiert, und eine Aufgabe der vorliegenden Erfindung besteht darin, einen Berechnungsumfang zu senken, ohne eine Bandaufteilung eines Eingangssignals durchzuführen, und einen Löschbetrag der Echosignale in einem bestimmten Frequenzband eines adaptiven Filters zu erhöhen.
  • Lösung des Problems
  • Eine Echolöscheinrichtung gemäß der vorliegenden Erfindung umfasst eine Bandeinstellungseinheit, umfassend ein Filter zum Durchführen einer Bandeinstellung, indem ein Signal in einem bestimmten Frequenzband des Eingangssignals mit einem Verstärkungsfaktor beaufschlagt wird, ein adaptives Filter zum Eingeben des Sprachempfangssignals, zum Aktualisieren eines Filterkoeffizienten und zum Erzeugen eines Pseudoechosignals unter Verwendung des aktualisierten Filterkoeffizienten, eine Bandkorrektureinheit, umfassend ein Filter zum Korrigieren einer Frequenzcharakteristik eines Signals, das erhalten wird, indem das durch das adaptive Filter erzeugte Pseudoechosignal von einem Signal, das der von der Bandeinstellungseinheit durchgeführten Bandeinstellung unterzogen wurde, subtrahiert wird, in eine Frequenzcharakteristik des Eingangssignals vor der durch die Bandeinstellungseinheit durchgeführten Bandeinstellung, und eine Restechounterdrückungseinheit zum Unterdrücken einer Echokomponente, die in einem Signal verbleibt, dessen Frequenzcharakteristik durch die Bandkorrektureinheit korrigiert wurde, um einen Unterdrückungsbetrag, der auf Grundlage von Filterinformationen der Bandeinstellungseinheit eingestellt ist, und die Restechounterdrückungseinheit den Unterdrückungsbetrag für ein Signal in einem bestimmten Frequenzband, das der durch die Bandeinstellungseinheit durchgeführten Bandeinstellung unterzogen wurde, derart einstellt, dass er niedriger ist als Unterdrückungsbeträge für Signale in anderen Frequenzbändern.
  • Vorteilhafte Wirkungen der Erfindung
  • Gemäß der vorliegenden Erfindung kann ein Berechnungsumfang vermindert werden, ohne eine Bandaufteilung eines Eingangssignals durchzuführen, und ein Löschbetrag von Echosignalen in einem bestimmten Frequenzband eines adaptiven Filters erhöht werden.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm zum Darstellen einer Konfiguration einer Echolöscheinrichtung gemäß einer ersten Ausführungsform.
  • 2 ist ein Diagramm zum Darstellen einer Sprachsignalwellenform von Gegensprechen.
  • 3 ist ein Diagramm zum Darstellen einer Bandeinstellungseinheit der Echolöscheinrichtung gemäß der ersten Ausführungsform.
  • 4 ist ein Blockdiagramm zum Darstellen einer Konfiguration einer Echolöscheinrichtung gemäß einer zweiten Ausführungsform.
  • 5 ist eine schematische Darstellung einer herkömmlichen Echolöscheinrichtung.
  • 6 ist ein Diagramm zum Darstellen eines Beispiels eines Echosignals.
  • 7 ist ein Diagramm zum Darstellen von Durchschnittsleistungen bei jeder Frequenz eines Echosignals und eines Restechosignals.
  • Beschreibung der Ausführungsformen
  • Zur detaillierteren Beschreibung der vorliegenden Erfindung wird nachfolgend eine Ausführungsform unter Bezugnahme auf die beigefügten Zeichnungen erläutert.
  • Erste Ausführungsform
  • 1 ist ein Blockdiagramm zum Darstellen einer Konfiguration einer Echolöscheinrichtung 100 gemäß einer ersten Ausführungsform.
  • Die Echolöscheinrichtung 100 umfasst ein adaptives Filter 101, eine Bandeinstellungseinheit 102, einen Subtrahierer 103, eine Bandkorrektureinheit 104, und eine Restechounterdrückungseinheit 105. Ein Sprachempfangssignal ist ein Signal, durch welches die Sprache von einem fernen Sprecher über einen Übertragungsweg (nicht dargestellt) zur Seite eines nahen Sprechers übertragen wird. Ein Sprachübertragungssignal ist von einem nahen Sprecher geäußerte Sprache. Ein Eingangssignal ist ein Signal, das erhalten wird, indem eine Echokomponente, welche aus einem Ausgabeendgerät (z.B. Mikrofon etc.) des Sprachübertragungssignals über einen Echopfad auf der Seite des nahen Sprechers erzeugt wird, der vom nahen Sprecher geäußerten Sprache überlagert wird.
  • Ein adaptives Frequenzdomänenfilter wird als das adaptive Filter 101 zur Vereinfachung der Beschreibung eingesetzt, und ein Filterkoeffizient davon ist durch einen Großbuchstaben H ˆ repräsentiert, und eine Übertragungsfunktion, die ein durch das adaptive Filter gelerntes Echo repräsentiert, ist in ähnlicher Weise durch einen Großbuchstaben H repräsentiert.
  • Das adaptive Frequenzdomänenfilter wird unter Verwendung eines FLMS-Algorithmus (Fast-Least-Mean-Square-Algorithmus) erläutert. Allerdings ist die vorliegende Erfindung gemäß der ersten Ausführungsform nicht auf einen adaptiven Filteralgorithmus beschränkt, und kann für alle adaptiven Filter angewendet werden.
  • Eine Koeffizienten-Aktualisierungsformel des FLMS-Algorithmus kann durch eine Gruppe von Formeln realisiert sein, die durch die folgenden Formeln (1) bis (8) repräsentiert sind. Zudem wird die Berechnung der folgenden Formeln (1) bis (8) für jeden neuen Block von M-Gruppen von Eingangsabtastwerten durchgeführt. X2Mx2M(k) = diag{FFT[x(kM – M), ..., x(kM), ..., x(kM + M – 1)]T} (1) y ˆ(k) = die letzten M-Elemente von IFFT [X2Mx2M(k)H ˆ2M(k) (2) e(k) = y(k) – y ^(k) (3) E2M(k) = FFT [0 T / M eT(k)]T (4) Pi(k) = γPi(k – 1) + (1 – γ)|Xi(k)|2, i = 0, ..., 2M – 1 (5) D2Mx2M(k) = diag[P0(k)–1, ..., P2M-1(k)–1] (6) J2M(k) = die ersten M-Elemente von IFFT [D2Mx2M(k)X H / 2Mx2M(k)E2M(k)] (7) H ^2M(k + 1) = H2M(k) + FFT[J T / 2M(k) 0T]T (8)
  • In den vorstehend erläuterten Formeln (1) bis (8) bezeichnet FFT die schnelle Fourier-Transformation, IFFT die Umkehrfunktion zur schnellen Fourier-Transformation, K bezeichnet einen Index eines Blocks, x(n) bezeichnet ein Sprachempfangssignal und y(n) bezeichnet ein Eingangssignal (hier Echosignal). y ˆ (n) bezeichnet ein Pseudoecho, das durch das adaptive Filter 101 erzeugt ist.
  • Zudem bezeichnet ein Kleinbuchstabe in Fett einen Vektor mit einer Länge M, und bezeichnet eine Signalsequenz.
  • Zum Beispiel ist y(n) = [y(n), y(n – 1), ..., y(n – M + 1)]T in Formel (3) definiert. Weiterhin bezeichnet ein Großbuchstabe in Fett einen Vektor oder eine Matrix und eine Größe ist unten rechts des Buchstabens beschrieben, und "diag” bezeichnet eine Diagonalmatrix.
  • AH bezeichnet eine hermitesche Matrix für eine Matrix A. Zudem bezeichnet γ einen Vergessenskoeffizienten.
  • X(k) in Formel (1) gibt eine Diagonalmatrix an, in welcher Ergebnisse der FFT als diagonale Komponenten angeordnet sind. Die Formeln (2) und (3) geben jeweils ein Pseudoecho und ein Restsignal an, das durch den adaptiven Filter 101 erzeugt wird. Die Formel (4) gibt eine Frequenzumsetzung des Restsignals an, und ihr Zweck ist eine lineare Faltung. Die Formel (5) repräsentiert die Berechnung der Durchschnittsleistung des Sprachempfangssignals, und die Durchschnittsleistung wird unter Verwendung des gleitenden Mittelwerts berechnet. Die Formel (6) ordnet eine inverse Zahl einer Durchschnittsleistung, die durch die Formel (5) erhalten wird, diagonal an. Die Formel (7) dient zur Berechnung eines Koeffizientenaktualisierungsbetrages, und die lineare Korrelationsverarbeitung wird durch Frequenzumsetzung auf der rechten Seite durchgeführt. In Formel (8) wird ein Koeffizient aktualisiert.
  • Die vorliegende Erfindung gemäß der ersten Ausführungsform ist dadurch gekennzeichnet, dass die Bandeinstellungseinheit 102 und die Bandkorrektureinheit 104 enthalten sind. Die Bandeinstellungseinheit 102 ist ein Block zum Einstellen einer Frequenzcharakteristik eines Eingangssignals, so dass die Funktion der Echolöschung in einem bestimmten Band des adaptiven Filters 101 verbessert wird. In der Bandeinstellungseinheit 102 ist ein Bandpassfilter ausgebildet, um ein niederfrequentes Signal mit einem Verstärkungsfaktor zu beaufschlagen, unter Verwendung zum Beispiel eines Filters mit unendlicher Impulsantwort (IIR-Filter), und eine Einstellung zum Erhöhen der Leistung im niederfrequenten Band des Eingangssignals wird durchgeführt. Dementsprechend wird eine Echolöscheigenschaft des adaptiven Filters 101 variiert, und dabei die gelernte Geschwindigkeit von niederfrequenten Echosignalen erhöht.
  • In der Bandeinstellungseinheit 102 bedeutet eine Erhöhung der Leistung im niederfrequenten Band des Eingangssignals, d.h. das Bereitstellen eines Verstärkungsfaktors, eine Steigerung der Leistung im niederfrequenten Band hinsichtlich y(k) in Formel (3). Das gleiche gilt für E2M (k) in Formel (4) und J2M in Formel (7), und die Leistung im niederfrequenten Band wird in ähnlicher Weise erhöht. Die Filterkoeffizienten des adaptiven Filters 101 in Formel (8) können derart erhalten werden, dass die Leistung im niederfrequenten Band stärker wird. Unter Verwendung dieses Filterkoeffizienten kann ein Pseudoecho mit einer größeren niederfrequenten Leistung erzeugt werden. Wie vorstehend erläutert, kann die Bandeinstellungseinheit 102 die Eigenschaften des adaptiven Filters 101 verändern.
  • Nachfolgend wird eine Veränderung der Leistungseigenschaften des adaptiven Filters 101 aufgrund der Bandeinstellung der Bandeinstellungseinheit 102 unter Bezugnahme auf 2 und 3 erläutert.
  • 2 ist ein Diagramm zum Darstellen eines Beispiels einer Sprachsignalwellenform zu dem Zeitpunkt, wenn Gegensprechen auftritt. Die in 2 gezeigten Daten zeigen eine Sprachsignalwellenform eines Eingangssignals, zum Beispiel in einem Fall, in welchem ein Freisprech-Ferngespräch in einem Fahrzeug durchgeführt wird, und zeigen einen Fall, in welchem die Stimme eines fernen Sprechers aus den Audio-Lautsprechern ausgegeben wird und von einem Mikrofon im Fahrzeug zusammen mit der Sprache von einem nahen Sprecher beobachtet wird. Die Veränderung der Leistungseigenschaften des adaptiven Filters 101, die davon abhängig ist, ob oder ob nicht die Bandeinstellung der Bandeinstellungseinheit 102 für ein Eingangssignal durchgeführt wird, das die in 2 dargestellte Sprachsignalwellenform aufweist, wird erläutert. In 2 sind ein Echosignal und ein Sprachübertragungssignal gemischt vorhanden. Die nun folgende Beschreibung richtet sich auf ein Echosignal, das durch einen Bereich A angegeben ist.
  • 3 zeigt eine Restecholeistung, die erhalten wird, nachdem durch das adaptive Filter 101 eine Verarbeitung durchgeführt wird, ohne die Bandeinstellung, die durch die Bandeinstellungseinheit 102 durchgeführt wird, und zeigt die Restecholeistung, die erhalten wird, nachdem die durch die Bandeinstellungseinheit 102 durchgeführte Bandeinstellung und die durch das adaptive Filter 101 ausgeführte Verarbeitung durchgeführt wird. Ein Bandpassfilter mit einer Resonanzfrequenz von 750 Hz, einem Verstärkungsfaktor von 9,0 dB, und einem Q-Wert von 0,7 wird als die Bandeinstellungseinheit 102 verwendet. Wie aus 3 erkannt werden kann, wird durch Anwendung der durch die Bandeinstellungseinheit 102 durchgeführten Bandeinstellung die Restecholeistung bei Frequenzen von bis zu 1,000 Hz um maximal etwa 5 dB reduziert, und die Wirkung der Bandeinstellung kann gesehen werden.
  • Der Subtrahierer 103 subtrahiert ein Pseudoechosignal, das durch das adaptive Filter 101 erzeugt ist, von einem Signal, das der durch die Bandeinstellungseinheit 102 durchgeführten Bandeinstellung unterzogen wurde. Die Bandkorrektureinheit 104 führt eine Filterverarbeitung durch, in welcher eine Frequenzcharakteristik eines Signals, von welchem das Pseudoechosignal durch den Subtrahierer 103 subtrahiert wurde, auf eine Frequenzcharakteristik eines Eingangssignals vor der durch die Bandeinstellungseinheit 102 durchgeführten Bandverarbeitung zurückgesetzt wird. Die Bandeinstellungseinheit 102 verändert nicht nur die Frequenzcharakteristiken von Echosignalen, sondern auch die Frequenzcharakteristiken von Sprachübertragungssignalen und Rauschsignalen. Somit, nachdem die Filterverarbeitung durch das adaptive Filter 101 durchgeführt wird, führt die Bandkorrektureinheit 104 die Verarbeitung zum Zurücksetzen der Frequenzcharakteristik des Eingangssignals vor der durch die Bandeinstellungseinheit 102 durchgeführten Bandeinstellung durch. In dem in 3 gezeigten Beispiel verwendet die Bandkorrektureinheit 104 einen Bandpassfilter mit einer Resonanzfrequenz von 750 Hz, einem Verstärkungsfaktor von –9,0 und einem Q-Wert von 0,7.
  • Die Restechounterdrückungseinheit 105 führt Restechounterdrückung auf einem Signal durch, dessen Frequenzcharakteristik durch die Bandkorrektureinheit 104 korrigiert wurde. Die Restechounterdrückungseinheit 105 bestimmt einen Unterdrückungsbetrag auf Grundlage einer Resonanzfrequenz, eines Verstärkungsfaktors und eines Q-Werts, wobei jeder davon Informationen über das Filter entspricht, das durch die Bandeinstellungseinheit 102 erzeugt ist. Es kann ein Verfahren, wie ein Verfahren zum Berücksichtigen einer inversen Eigenschaft bezüglich der Eigenschaft des durch die Bandeinstellungseinheit 102 erzeugten Filters in einem Restechounterdrückungsbetrag, und ein Verfahren zum einfachen Reduzieren eines Unterdrückungsbetrags einer Frequenz in der Nähe einer Resonanzfrequenz in der Bandeinstellungseinheit 102 angewendet werden. Ein Unterdrückungsbetrag von Übertragungssprache kann dadurch reduziert werden, und die Sprachqualität erhalten bleiben.
  • Wie vorstehend gemäß der ersten Ausführungsform erläutert, ist die Echolöscheinrichtung ausgelegt, um das adaptive Filter 101 zu enthalten, das einen Filterkoeffizienten unter Verwendung des Sprachempfangssignals und das Signal vom Subtrahierer 103 als Eingänge aktualisiert, und ein Pseudoechosignal unter Verwendung des aktualisierten Filterkoeffizienten erzeugt, die Bandeinstellungseinheit 102, die einen Verstärkungsfaktor einstellt, in welchem die Leistung eines Eingangssignals im niederfrequenten Band stärker wird, die Bandkorrektureinheit 104, die die Frequenzcharakteristik des Signals, das durch Subtrahieren einer Pseudoechokomponente von einem Signal erhalten wird, das der Bandeinstellung unterzogen wurde, auf die Frequenzcharakteristik des Eingangssignals vor der Bandeinstellung zurücksetzt, und die Restechounterdrückungseinheit 105, die eine Restechounterdrückung auf Grundlage der Eigenschaften eines Filters, das durch die Bandeinstellungseinheit 102 erzeugt ist, durchführt, so dass der Verzehrbetrag eines Echosignals im niederfrequenten Band im adaptiven Filter 101 ohne Durchführen einer Bandaufteilung eines Eingangssignals erhöht werden kann. Des Weiteren kann die Echolöscheinrichtung 100 mit hoher Gegensprechleistung ohne Verschlechterung der Echolöschleistung des adaptiven Filters 101 aufrechterhalten werden. Zudem, wie vorstehend erläutert, kann in einem Fall, in welchem IIR-Filter für die Bandeinstellungseinheit 102 und die Bandkorrektureinheit 104 angewendet werden, der Berechnungsumfang der Echolöscheinrichtung 100 reduziert werden.
  • Zudem wurde in der vorstehend erläuterten ersten Ausführungsform die Bandeinstellungseinheit 102 erläutert, die die Leistung im niederfrequenten Band erhöht. Allerdings ist das Frequenzband nicht auf das niederfrequente Band beschränkt, und die Bandeinstellungseinheit 102 kann ausgelegt sein, um Leistung in einem bestimmten Band zu erhöhen.
  • Zweite Ausführungsform
  • In einem Freisprech-Ferngespräch variiert ein Signalband eines Sprachempfangssignals in Abhängigkeit von einem Kommunikationsnetzwerk. In Europa hat man mit Dienstleistungen von Breitband-Ferngesprächen (50 bis 7000 Hz) bereits begonnen. Allerdings werden in manchen Gebieten nur Schmalband-Ferngespräche (300 bis 3400 Hz) betrieben. Somit ist es erforderlich, die Sprachqualität gegenüber Ferngesprächsanforderungen entsprechend jeder Kommunikationssituation aufrechtzuerhalten. Somit ist in der zweiten Ausführungsform die Konfiguration der Echolöscheinrichtung erläutert, welche eine adäquate Echolöschleistung und eine hohe Gegensprechleistung realisiert, sogar in einer Situation, in welcher das Sprachband eines Sprachempfangssignals variiert.
  • 4 ist ein Blockdiagramm zum Darstellen einer Konfiguration einer Echolöscheinrichtung 200 gemäß der zweiten Ausführungsform.
  • Die Echolöscheinrichtung 200 gemäß der zweiten Ausführungsform umfasst eine Signalanalysierungseinheit 201 zusätzlich zu den in der ersten Ausführungsform erläuterten Komponenten der Echolöscheinrichtung 100. Des Weiteren sind eine Bandeinstellungseinheit 202 und eine Bandkorrektureinheit 204 anstelle der Bandeinstellungseinheit 102 und der Bandkorrektureinheit 104 vorgesehen.
  • In der folgenden Beschreibung sind gleichen oder entsprechenden Teilen der Komponenten der Echolöscheinrichtung 100 gemäß der ersten Ausführungsform die gleichen Bezugszeichen wie in der ersten Ausführungsform zugeordnet, und auf eine Beschreibung wird somit verzichtet oder diese vereinfacht.
  • Die Signalanalysierungseinheit 201 analysiert ein Sprachband eines Sprachempfangssignals und bestimmt, ob es oder ob es nicht ein Schmalband-Ferngespräch oder ein Breitband-Ferngespräch ist. Verschiedene Verfahren zum Analysieren eines Kommunikationsbands können eingesetzt werden. Zum Beispiel passiert ein Sprachempfangssignal einen Hochpassfilter, der ein Signal von 4 kHz oder höher extrahieren kann, und wenn die Leistung eines Signals im Hochfrequenzband unter einen eingestellten Schwellenwert fällt, wird bestimmt, dass das Ferngespräch ein Schmalband-Ferngespräch ist, und wenn die Leistung den Schwellenwert überschreitet, wird bestimmt, dass das Ferngespräch ein Breitband-Ferngespräch ist.
  • Die Bandeinstellungseinheit 202 stellt ein für die Bandeinstellung zu verwendendes Filter ein, auf Grundlage des Analyseergebnisses der Signalanalysierungseinheit 201. Wenn das Analyseergebnis das Schmalband-Ferngespräch anzeigt, wird zum Beispiel eine Resonanzfrequenz von 500 Hz bis 1000 Hz eingestellt. Wenn das Analyseergebnis das Breitband-Ferngespräch anzeigt, wird zum Beispiel eine Resonanzfrequenz von 200 bis 300 Hz eingestellt. Somit kann durch Einstellung der Resonanzfrequenz in Entsprechung mit dem Sprachband zum Zeitpunkt des Breitband-Ferngesprächs die Echolöschleistung des adaptiven Filters in Antwort auf ein Echosignal mit 50 bis 300 Hz, das eine starke Leistung aufweist, verbessert werden.
  • Die Bandkorrektureinheit 204 verwendet in ähnlicher Weise ein Filter entsprechend dem Filter, das durch die Bandeinstellungseinheit 202 verwendet wird, auf Grundlage des Analyseergebnisses der Signalanalysierungseinheit 201. Die Restechounterdrückungseinheit 105 führt eine Restechounterdrückungsverarbeitung durch. In ähnlicher Weise wie in der ersten Ausführungsform wird in der Restechounterdrückungsverarbeitung die Unterdrückung von Restechos in einem Band in der Nähe einer Resonanzfrequenz der Bandeinstellungseinheit 202 ausgespart, und die Unterdrückung der Restechos ohne Beeinträchtigung eines Eingangssignal durchgeführt.
  • Wie vorstehend gemäß der zweiten Ausführungsform erläutert, ist die Echolöscheinrichtung ausgelegt, um die Signalanalysierungseinheit 201 zu enthalten, die ein Sprachband eines Spracherkennungssignals analysiert, und die Bandeinstellungseinheit 202, die ein Filter einstellt, das zur Bandeinstellung eingesetzt wird, auf Grundlage eines Analyseergebnisses der Signalanalysierungseinheit 201, und die Bandkorrektureinheit 204, die ein zur Bandmodifizierung zu verwendendes Filter einstellt, auf Grundlage des Analyseergebnisses der Signalanalysierungseinheit 201, so dass eine hohe Echolöschleistung und hohe Gegensprechleistung sowohl bei Schmalband-Ferngesprächen als auch bei Breitband-Ferngesprächen erhalten werden können.
  • Des Weiteren repräsentiert die vorstehend erläuterte zweite Ausführungsform den Fall, in welchem die Signalanalyseeinheit 201 als das interne Element der Echolöscheinrichtung 200 bereitgestellt ist. Alternativ kann das Analyseergebnis eines Sprachbands von außen ermittelt werden.
  • Neben dem in der vorliegenden Erfindung vorstehend Erläuterten können die Ausführungsformen frei kombiniert, ein beliebiger Bestandteil in den Ausführungsformen korrigiert, oder ein beliebiger Bestandteil in den Ausführungsformen weggelassen werden, ohne vom Umfang der Erfindung abzuweichen.
  • Gewerbliche Anwendbarkeit
  • Die Echolöscheinrichtung gemäß der vorliegenden Erfindung kann einen Echoverzehrbetrag eines Echosignals in einem bestimmten Band erhöhen. Somit ist die Echolöscheinrichtung geeignet, um für eine Lautsprecher-Fernsprecheinrichtung oder dergleichen eingesetzt zu werden, in welcher ein Freisprech-Ferngespräch durchgeführt wird, und eingesetzt zu werden, um die Gegensprechqualität zu verbessern.
  • Bezugszeichenliste
    • 100, 200: Echolöscheinrichtung; 101: adaptives Filter; 102, 202: Bandeinstellungseinheit; 103: Subtrahierer; 104, 204: Bandkorrektureinheit; 105: Restechounterdrückungseinheit; 201: Signalanalysierungseinheit

Claims (5)

  1. Echolöscheinrichtung zum Löschen aus einem Eingangssignal, das eine Echokomponente eines Sprachempfangssignals und eines Sprachübertragungssignals enthält, der Echokomponente des Sprachempfangssignals, wobei die Echolöscheinrichtung umfasst: eine Bandeinstellungseinheit, umfassend ein Filter zum Durchführen von Bandeinstellung, indem ein Signal in einem bestimmen Frequenzband des Eingangssignals mit einem Verstärkungsfaktor beaufschlagt wird; ein adaptives Filter zum Eingeben des Sprachempfangssignals, Aktualisieren eines Filterkoeffizienten, und zum Erzeugen eines Pseudoechosignals unter Verwendung des aktualisierten Filterkoeffizienten; eine Bandkorrektureinheit, umfassend ein Filter zum Korrigieren einer Frequenzcharakteristik eines Signals, das erhalten wird, indem das durch das adaptive Filter erzeugte Pseudoechosignal von einem Signal, das der von der Bandeinstellungseinheit durchgeführten Bandeinstellung unterzogen wurde, subtrahiert wird, in eine Frequenzcharakteristik des Eingangssignals vor der durch die Bandeinstellungseinheit durchgeführten Bandeinstellung, und eine Restechounterdrückungseinheit zum Unterdrücken einer Echokomponente, die in einem Signal verbleibt, dessen Frequenzcharakteristik durch die Bandkorrektureinheit korrigiert wurde, um einen Unterdrückungsbetrag, der auf Grundlage von Filterinformationen der Bandeinstellungseinheit eingestellt ist, und wobei die Restechounterdrückungseinheit den Unterdrückungsbetrag für ein Signal in einem bestimmten Frequenzband, das der durch die Bandeinstellungseinheit durchgeführten Bandeinstellung unterzogen wurde, derart einstellt, dass er niedriger ist als Unterdrückungsbeträge für Signale in anderen Frequenzbändern.
  2. Echolöscheinrichtung nach Anspruch 1, wobei die Restechounterdrückungseinheit einen Unterdrückungsbetrag der Restechokomponente einstellt, auf Grundlage einer Resonanzfrequenz, eines Verstärkungsfaktors, und eines Q-Werts in Filterinformationen der Bandeinstellungseinheit.
  3. Echolöscheinrichtung nach Anspruch 1, wobei die Bandeinstellungseinheit und die Bandkorrektureinheit die Filter entsprechend einem Sprachband des Sprachempfangssignals einstellen.
  4. Echolöscheinrichtung nach Anspruch 3, weiterhin umfassend eine Signalanalysierungseinheit zum Analysieren des Sprachbands des Sprachempfangssignals, und zum Bestimmen, ob das Sprachband des Sprachempfangssignals ein Schmalband-Telefonanrufband oder ein Hohe-Bandbreite-Telefonanrufband ist.
  5. Echolöschverfahren zum Löschen aus einem Eingangssignal, das eine Echokomponente eines Sprachempfangssignals und eines Sprachübertragungssignals enthält, der Echokomponente des Sprachempfangssignals, wobei das Echolöschverfahren umfasst: einen Schritt des Durchführens durch eine Bandeinstellungseinheit von Bandeinstellung, indem ein Signal in einem bestimmten Frequenzband des Eingangssignals mit einem Verstärkungsfaktor beaufschlagt wird, einen Schritt des Eingebens des Sprachempfangssignals, Aktualisierens eines Filterkoeffizienten und Erzeugens eines Pseudoechosignals unter Verwendung des aktualisierten Filterkoeffizienten, durch ein adaptives Filter; einen Schritt des Korrigierens durch eine Bandkorrektureinheit einer Frequenzcharakteristik eines Signals, das erhalten wird, indem das durch das adaptive Filter erzeugte Pseudoechosignal von einem Eingangssignal subtrahiert wird, das der Bandeinstellung unterzogen wurde, in eine Frequenzcharakteristik des Eingangssignals vor der Durchführung der Bandeinstellung, und einen Schritt des Unterdrückens durch eine Restechounterdrückungseinheit einer Echokomponente, die in einem Signal verbleibt, dessen Frequenzcharakteristik korrigiert wurde, auf Grundlage von Bandeinstellungsinformationen der Bandeinstellungseinheit.
DE112014007255.9T 2014-12-15 2014-12-15 Echolöscheinrichtung und Echolöschverfahren Expired - Fee Related DE112014007255B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/083151 WO2016098164A1 (ja) 2014-12-15 2014-12-15 エコーキャンセラ装置およびエコーキャンセル方法

Publications (2)

Publication Number Publication Date
DE112014007255T5 true DE112014007255T5 (de) 2017-09-14
DE112014007255B4 DE112014007255B4 (de) 2018-08-23

Family

ID=56126089

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112014007255.9T Expired - Fee Related DE112014007255B4 (de) 2014-12-15 2014-12-15 Echolöscheinrichtung und Echolöschverfahren

Country Status (5)

Country Link
US (1) US10129410B2 (de)
JP (1) JP6109450B2 (de)
CN (1) CN107005268B (de)
DE (1) DE112014007255B4 (de)
WO (1) WO2016098164A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878575B (zh) * 2017-02-24 2019-11-05 成都喜元网络科技有限公司 残留回声的估计方法及装置
US10692515B2 (en) * 2018-04-17 2020-06-23 Fortemedia, Inc. Devices for acoustic echo cancellation and methods thereof
CN112491443B (zh) * 2019-09-11 2022-10-28 瑞昱半导体股份有限公司 具有回音消除省电机制的电子***及相关回音消除方法
BR112022004181A2 (pt) 2019-09-30 2022-05-31 Shenzhen Shokz Co Ltd Sistemas e métodos para redução de ruído usando a técnica de redução de ruído de sub-banda
CN110970044B (zh) * 2019-11-27 2022-06-07 武汉大学 一种面向语音识别的语音增强方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546459A (en) 1993-11-01 1996-08-13 Qualcomm Incorporated Variable block size adaptation algorithm for noise-robust acoustic echo cancellation
JP3099870B2 (ja) 1996-07-23 2000-10-16 日本電気株式会社 音響エコーキャンセラ
JP3566158B2 (ja) * 1999-12-07 2004-09-15 三菱電機株式会社 エコーキャンセラ装置
JP3568922B2 (ja) 2001-09-20 2004-09-22 三菱電機株式会社 エコー処理装置
US7242762B2 (en) * 2002-06-24 2007-07-10 Freescale Semiconductor, Inc. Monitoring and control of an adaptive filter in a communication system
CN1736039A (zh) * 2003-11-11 2006-02-15 三菱电机株式会社 回波抑制装置
US9509854B2 (en) * 2004-10-13 2016-11-29 Koninklijke Philips N.V. Echo cancellation
EP1941712B1 (de) * 2005-10-21 2010-02-24 Koninklijke Philips Electronics N.V. Akustischer echolöscher
JP4579301B2 (ja) 2006-01-17 2010-11-10 三菱電機株式会社 エコー消去装置
CN100559817C (zh) * 2006-10-27 2009-11-11 华南理工大学 基于语音信号分离模型的立体声回波消除方法及其***
JP5424936B2 (ja) * 2010-02-24 2014-02-26 パナソニック株式会社 通信端末及び通信方法
JP2012114683A (ja) * 2010-11-25 2012-06-14 Kyocera Corp 携帯電話機および携帯電話機におけるエコー低減方法
WO2012153452A1 (ja) 2011-05-10 2012-11-15 三菱電機株式会社 エコー消去装置およびエコー検出装置
JP5834948B2 (ja) * 2012-01-24 2015-12-24 富士通株式会社 残響抑制装置、残響抑制方法及び残響抑制用コンピュータプログラム

Also Published As

Publication number Publication date
JP6109450B2 (ja) 2017-04-05
JPWO2016098164A1 (ja) 2017-04-27
DE112014007255B4 (de) 2018-08-23
US10129410B2 (en) 2018-11-13
CN107005268A (zh) 2017-08-01
WO2016098164A1 (ja) 2016-06-23
US20170195496A1 (en) 2017-07-06
CN107005268B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
DE69738288T2 (de) Einrichtung zur unterdrückung einer störenden komponente eines eingangssignals
DE69632851T2 (de) Akustischer Teilband-Echokompensator
DE69431923T2 (de) Adaptiver algorithmus mit variablen blocklängen für rauschrobuste akustische echokompensation
DE69835644T2 (de) Akustischer Echokompensator
DE69933221T2 (de) Adaptiver filter und akustischer echokompensator mit demselben
DE112014007255B4 (de) Echolöscheinrichtung und Echolöschverfahren
DE112012001201B4 (de) Echolöschvorrichtung und Echodetektor
DE69838474T2 (de) Verfahren und vorrichtung zum blinden ausgleich von übertragungskanaleffekten auf ein digitales sprachsignal
DE112017007005B4 (de) Akustiksignal-verarbeitungsvorrichtung, akustiksignalverarbeitungsverfahren und freisprech-kommunikationsvorrichtung
DE2207141C3 (de) Schaltungsanordnung zur Unterdrückung unerwünschter Sprachsignale mittels eines vorhersagenden Filters
DE112007003625T5 (de) Echounterdrückungsvorrichtung, echounterdrückungssystem, Echounterdrückungsverfahren und Computerprogramm
DE4330143A1 (de) Anordnung zur Siganlverarbeitung akustischer Eingangssignale
DE112012005782T5 (de) Nachhallunterdrückungsvorrichtung
EP1189419B1 (de) Verfahren und Vorrichtung zur Elimination Lautsprecherinterferenzen aus Mikrofonsignalen
DE19805942C1 (de) Verfahren zur Verbesserung der akustischen Rückhördämpfung in Freisprecheinrichtungen
EP1155561B1 (de) Vorrichtung und verfahren zur geräuschunterdrückung in fernsprecheinrichtungen
DE69632426T2 (de) Akustischer Echokompensator
DE69817461T2 (de) Verfahren und Vorrichtung zur optimierten Verarbeitung eines Störsignals während einer Tonaufnahme
DE102015204010B4 (de) Verfahren zur Unterdrückung eines Störgeräusches in einem akustischen System
DE102018117557A1 (de) Adaptives nachfiltern
DE4427124A1 (de) Anordnung zur Kommunikation mit einem Teilnehmer
DE19729521B4 (de) Verfahren und Vorrichtung zur Störgeräusch- und Echounterdrückung
EP2466864A1 (de) Transparente Dekorrelation der Lautsprechersignale bei mehrkanaligen Echokompensatoren
DE19702117C1 (de) Echosperre für ein Spracheingabe Dialogsystem
EP1282297B1 (de) Verfahren und Anordnung zur Echo- und Störgeräuschunterdrückung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: PFENNING, MEINIG & PARTNER MBB PATENTANWAELTE, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R084 Declaration of willingness to licence
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee