EP2380169B1 - Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens - Google Patents

Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens Download PDF

Info

Publication number
EP2380169B1
EP2380169B1 EP09807441.2A EP09807441A EP2380169B1 EP 2380169 B1 EP2380169 B1 EP 2380169B1 EP 09807441 A EP09807441 A EP 09807441A EP 2380169 B1 EP2380169 B1 EP 2380169B1
Authority
EP
European Patent Office
Prior art keywords
signal
reference signals
error signal
error
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP09807441.2A
Other languages
English (en)
French (fr)
Other versions
EP2380169A1 (de
Inventor
Stefan Schandl
Panji Setiawan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify GmbH and Co KG
Original Assignee
Unify GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unify GmbH and Co KG filed Critical Unify GmbH and Co KG
Publication of EP2380169A1 publication Critical patent/EP2380169A1/de
Application granted granted Critical
Publication of EP2380169B1 publication Critical patent/EP2380169B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the invention relates to a method for the scalable improvement of the quality of a signal coding method.
  • the audio signals to be transmitted are compressed by means of coding methods and decompressed after the transmission.
  • Such a coding method which is intended for transmission of a speech signal in a frequency range of 300 to 3400 Hz with a data rate of 8 kbit / s, is known, for example, from ITU-T Recommendation G.729.
  • broadband voice codec For transmission of a higher quality, the transmission of an extended frequency range of 50 Hz to 7000 Hz is known.
  • a designated, so-called broadband voice codec is described, for example, in ITU-T Recommendation G.722.EV.
  • the method uses the so-called Subband-Adaptive Differential Pulse Code Modulation (SB-ADPCM) for encoding audio signals, which in the ITU-T Recommendation G.722, "7 kHz Audio Coding within 64 kbit / s"; G.722 (11/88), International Telecommunication Union, Geneva, CH, November 25, 1988 , XP017400870.
  • SB-ADPCM Subband-Adaptive Differential Pulse Code Modulation
  • the invention has for its object to provide a method for scalable improvement of the quality of a coding method according to the Subband Adaptive Differential Pulse Code principle.
  • the object is achieved by claim 1 with a method for scalable improvement of the quality of a coding method according to IT-U Recommendation G.722 with the following method steps,
  • M-1 indicates the distance of the first pulse from the beginning of the comparison section, ⁇ p ⁇ ⁇ 0 , ⁇ 1 , ⁇ , ⁇ L -1 ⁇ the amplitude value, M den Distance between two individual Pulses, N the number of pulses and L the number of different levels ⁇ ; The information about the reference signal with the minimum error signal is transmitted.
  • the reference signal according to Fig. 1 comprises a number of N Dirac pulses ⁇ ( n ).
  • the Dirac pulses may have a predetermined number of amplitude values L.
  • Fig. 2 shows the structural structure of an encoder according to the invention, which in addition to a conventional encoder ADPCM according to the subband Adaptive Differential Pulse Code principle according to IT-U Recommendation G.722 means for generating reference signals comprising for each stage of the extension in each case a signal generator EHDS1, .. EHDSS for generating the reference signals c (n) and a control unit CB 1, ... CB S has.
  • the reference signals c (n) are compared over a given time interval, a so-called frame, with a digital error signal e H , which in a conventional coding method according to IT-U Recommendation G.722 was determined from an input signal to be coded and a prognosis signal.
  • the reference signal c (n) with the lowest error amount E n is now determined and the information about this signal is transmitted as additional information I H1min ,... I HSmin and used in the receiver for decoding the useful signal ,
  • the starting point is a sampling rate of 8 KHz and thus a duration of a sampling interval of 125 ⁇ sec.
  • the duration of a comparison section is 5 msec, the number of possible amplitude values L for the Dirac pulses is 2.
  • Fig. 3 shows the structure of a decoder according to the invention in which the audio signal is obtained from the received signal I H , I H1 , I H2 ... I HS .
  • the received signal comprises, in addition to the output signal I H of the conventional coder ADPCM, the additional information I H1min ,... I HSmin obtained with the invention as a function of the number of expansion stages selected in the transmitter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zur skalierbaren Verbesserung der Qualität eines Signalcodierverfahrens In digitalen Kommunikationssystemen werden zur Reduktion der benötigen Datenraten die zu übertragenden Audiosignale mittels Kodierungsverfahren komprimiert und nach der Übertragung dekomprimiert.
  • Ein derartiges Codierverfahren, welches für eine Übertragung eines Sprachsignals in einem Frequenzbereich von 300 bis 3400 Hz mit einer Datenrate von 8 kbit/s vorgesehen ist, ist beispielsweise aus der ITU-T-Empfehlung G.729 bekannt.
  • Für die Übertragung mit einer höheren Qualität ist die Übertragung eines erweiterten Frequenzbereiches von 50 Hz bis 7000 Hz bekannt. Ein hierfür vorgesehener, sogenannter breitbandiger Sprach-Codec ist beispielsweise in der ITU-T-Empfehlung G.722.EV beschrieben.
  • Das Verfahren nutzt die sogenannte Subband- Adaptive Differential Pulse Code Modulation (SB-ADPCM) zur Codierung von Audiosignalen, das in der ITU-T- Empfehlung G.722, "7 kHz Audio-Coding within 64 kbit/s"; G.722 (11/88), International Telecommunication Union, Geneva, CH, 25. November 1988, XP017400870, beschrieben ist.
  • Zur weiteren Erhöhung der Qualität des übertragenen Audiosignales besteht die Forderung nach einem skalierbaren Codierungsverfahren.
  • Die Skalierbarkeit gestattet einerseits eine empfängerseitige Abwärtskompatibilität mit herkömmlichen Dekodierungsverfahren und andererseits bietet sie eine einfache Möglichkeit, im Falle von eingeschränkten Datenübertragungskapazitäten im Übertragungskanal eine sender- und empfängerseitige Anpassung der Datenrate und der Größe von übertragenen Datenrahmen vorzunehmen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens nach dem Subband- Adaptive Differential Pulse Code Prinzip anzugeben.
  • Die Aufgabe wird erfindungsgemäß durch Anspruch 1 gelöst mit einem Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens gemäß IT-U Recommendation G.722 mit folgenden Verfahrensschritten,
    in einem iterativen Prozess mit einer vom Umfang der Erweiterung abhängigen Anzahl von Wiederholungsschritten wird ein aus einem zu codierenden Eingangssignal und einem Prognosesignal ermitteltes digitales Fehlersignal abschnittsweise mit einer Anzahl von M*LN unterschiedlichen Referenzsignalen verglichen und daraus das Referenzsignal mit einem minimalen Fehlersignal hinsichtlich eines vorgegebenen Fehlerkriteriums ermittelt,
    die Referenzsignale c(n) sind jeweils aus äquidistanten Dirac-Impulsen δ(n) gemäß c n = p = 0 N - 1 α p δ n - off - M p
    Figure imgb0001
    aufgebaut, wobei off = [0 .. M-1], den Abstand des ersten Impulses von dem Beginn des Vergleichsabschnittes angibt, α p ∈{α01,···,α L-1} den Amplitudenwert , M den Abstand zwischen zwei einzelnen Pulsen, N die Anzahl der Pulse und L die Anzahl der unterschiedlichen Pegel ά ;
    Die Information über das Referenzsignal mit dem minimalen Fehlersignal wird übertragen.
  • Dabei ist es vorteilhaft, wenn als Fehlerkriterium ein erweitertes Fehlersignal eH1(n) gemäß e H 1 n = e H - c n
    Figure imgb0002
    ermittelt wird und wenn über den Zeitraum des Vergleichabschnittes gemäß E n = n = 0 Ma e H 1 n 2
    Figure imgb0003
    ein Fehlerbetrag ermittelt und zur Bestimmung des minimalen Fehlersignales herangezogen wird.
  • Vorteilhaft ist auch eine Anordnung zur Durchführung des erfindungsgemäßen Verfahrens nach Anspruch 3, bei dem neben einem herkömmlichen Kodierer (ADPCM) nach dem Subband Adaptive Differential Pulse Code Prinzip gemäß IT-U Recommendation G.722 Mittel zur Erstellung von Referenzsignalen vorgesehen sind, die für jede Stufe der Erweiterung jeweils einen Signalgenerator EHDS1 ,... EHDSS zur Erzeugung der Referenzsignale c(n) und eine Steuereinheit CB 1, ...CB S aufweisen.
  • Im Folgenden wird eine Ausführungsform des erfindungsgemäßen Verfahrens anhand der Figuren erläutert.
  • Es zeigen beispielhaft:
    • Fig.1 den Aufbau eines erfindungsgemäßen Referenzsignales
    • Fig. 2 die Struktur eines erfindungsgemäßen Codecs und
    • Fig. 3 die Struktur eines erfindungsgemäßen Decoders.
  • Das Referenzsignal gemäß Fig. 1 umfasst eine Anzahl von N Dirac-Impulsen δ(n). Die Abstände zwischen den einzelnen Impulsen betragen jeweils M Abtastperioden, der Abstand des ersten Impulses δ(1) vom Beginn des Vergleichsabschnittes beträgt off = [0 .. M-1] Abtastperioden. Die Dirac-Impulse können eine vorgegebene Anzahl von Amplitudenwerten L aufweisen.
  • Die mathematische Definition eines Referenzsignales ist wie folgt: c n = p = 0 N - 1 α p δ n - off - M p
    Figure imgb0004
  • Durch Variation der Parameter Amplitudenwert α mit L unterschiedlichen Werten und des Offsets off = [0 .. M-1]wird nun eine Gruppe mit einer Anzahl M·LN von unterschiedlichen Referenzsignalen erzeugt.
  • Der erfindungsgemäße Vergleich der solcherart erhaltenen Referenzsignale c(n) wird anhand der Figuren 2 und 3 näher erläutert. Fig. 2 zeigt den strukturellen Aufbau eines erfindungsgemäßen Kodierers, der neben einem herkömmlichen Kodierer ADPCM nach dem Subband Adaptive Differential Pulse Code Prinzip gemäß IT-U Recommendation G.722 Mittel zur Erstellung von Referenzsignalen umfasst, die für jede Stufe der Erweiterung jeweils einen Signalgenerator EHDS1 ,... EHDSS zur Erzeugung der Referenzsignale c(n) und eine Steuereinheit CB 1, ...CB S aufweist.
  • Erfindungsgemäß werden die Referenzsignale c(n) über einen vorgegebenen zeitlichen Abschnitt,, ein sogenanntes Frame, mit einem digitalen Fehlersignal eH verglichen, welches in einem herkömmlichen Codierungsverfahren gemäß IT-U Recommendation G.722 aus einem zu codierenden Eingangssignal und einem Prognosesignal ermittelt wurde.
  • Daraus ergibt sich gemäß eH1(n)= eH -c(n) ein erweitertes Fehlersignal eH1(n) zu dem über den Zeitraum des Vergleichabschnittes gemäß E n = n = 0 Ma e H 1 n 2
    Figure imgb0005
    ein Fehlerbetrag ermittelt wird.
  • Mittels Steuereinheit CB 1, ...CB S wird nun das Referenzsignal c(n) mit dem geringsten Fehlerbetrag En ermittelt undie Information über dieses Signal als zusätzliche Information IH1min,...IHSmin übertragen und im Empfänger zur Dekodierung des Nutzsignales herangezogen.
  • Dabei haben sich in der Praxis für den Aufbau des Referenzsignales c(n) folgende Parameter bewährt.
  • Ausgangspunkt ist eine Abtastrate von 8 KHz und damit eine Dauer eines Abtastintervalles von 125 µsec. Die Dauer eines Vergleichsabschnittes beträgt 5 msec, die Anzahl der möglichen Amplitudenwerte L für die Dirac-Impulse beträgt 2. Die Zahl der Dirac-Impulse selbst in einem Vergleichsabschnitt beträgt N = 5. Der Abstand zwischen jeweils 2 Dirac-Impulsen beträgt M= 8 Abtastintervalle.
  • Der oben beschriebene Vergleichsvorgang der Referenzsignale c(n) mit dem digitalen Fehlersignal eH wird nun in Abhängigkeit von der gewählten Skalierung iterativ mehrfach wiederholt, was in der Fig.2 für den S- ten Wiederholungsvorgang durch einen Funktionsblock mit Signalgenerator EHDSS, Steuereinheit CB S und zusätzliche Informationssignal IHSmin dargestellt ist.
  • Das heißt für den ersten Wiederholungsschritt, dass die Referenzsignale c(n) mit dem erweiterten ersten Fehlersignal eH1(n) verglichen und daraus ein erweitertes zweites Fehlersignal EH2(n) generiert wird. Dieser Vorgang wird typisch viermal wiederholt.
  • Fig. 3 zeigt die Struktur eines erfindungsgemäßen Dekoders in dem aus dem empfangenen Signal IH, IH1, IH2... IHS das Audiosignal gewonnen wird. Das empfangene Signal umfasst neben dem Ausgangssignal IH des herkömmlichen Kodierers ADPCM die mit der Erfindung gewonnene zusätzliche Information IH1min,... IHSmin in Abhängigkeit von der Anzahl der im Sender gewählten Erweiterungsstufen.
  • Dabei besteht ein wesentlicher Vorteil auch darin, dass nicht alle Informationen, die im empfangenen Signal vorhanden sind, auch tatsächlich ausgewertet werden müssen. So is es möglich, dass ein Empfänger mit nur einem herkömmlichen Dekoder Core Decoder ein Signal empfängt, welches auch die Zusatzinformationen IH1min,... IHSmin enthält, diese aber für die Gewinnung des Audiosignales nicht heranzieht
  • Diese Möglichkeit wird als Abwärtskompatibilität bezeichnet.
  • Bei einem Empfänger, der die erfindungsgemäßen Erweiterungsstufen EDS1, EDS2, ... EDSS zur Dekodierung der Zusatzinformationen IH1min,...IHSmin umfasst, wird hingegen das Signal in voller Qualität dekodiert, sofern nicht aus anderen Gründen eine Einschränkung geboten ist.

Claims (3)

  1. Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens, bei dem Subband- Adaptive Differential Pulse Code Modulation (SB-ADPCM) zur Codierung von Audiosignalen gemäß IT-U Recommendation G.722 verwendet wird, mit folgenden Verfahrensschritten,
    - in einem iterativen Prozess mit einer vom Umfang der Erweiterung abhängigen Anzahl von Wiederholungsschritten wird ein aus einem zu codierenden Subband-Eingangssignal und einem Prognosesignal ermitteltes digitales Fehlersignal (eH) abschnittsweise mit einer Anzahl von M*LN unterschiedlichen Referenzsignalen c(n) verglichen und daraus das Referenzsignal mit einem minimalen Fehlersignal hinsichtlich eines vorgegebenen Fehlerkriteriums ermittelt,
    - die Referenzsignale c(n) sind jeweils aus äquidistanten Dirac-Impulsen δ(n) gemäß c n = p = 0 N - 1 α p δ n - off - M p
    Figure imgb0006
    aufgebaut, wobei off = [0 .. M-1], den Abstand des ersten Impulses von dem Beginn des Vergleichsabschnittes angibt, α p ∈{α01,···,α L-1} den Amplitudenwert , M den Abstand zwischen zwei einzelnen Pulsen, N die Anzahl der Pulse und L die Anzahl der unterschiedlichen Pegel ά ;
    - Die Information (IH1min,...IHSmin) über das Referenzsignal mit dem minimalen Fehlersignal wird übertragen.
  2. Verfahren nach Anspruch 1, wobei als Fehlerkriterium ein erweitertes Fehlersignal eH1(n) gemäß eH1(n) = eH -c(n) ermittelt wird und über den Zeitraum des Vergleichabschnittes gemäß E n = n = 0 Ma e H 1 n 2
    Figure imgb0007
    ein Fehlerbetrag ermittelt und zur Bestimmung des minimalen Fehlersignales herangezogen wird.
  3. Anordnung eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 1 oder 2, wobei neben einem herkömmlichen Kodierer (ADPCM) nach dem Subband Adaptive Differential Pulse Code Prinzip gemäß IT-U Recommendation G.722 Mittel zur Erstellung von Referenzsignalen vorgesehen sind, die für jede Stufe der Erweiterung jeweils einen Signalgenerator (EHDS1 ,... EHDSS) zur Erzeugung der Referenzsignale c(n) und eine Steuereinheit (CB 1, ...CB S) aufweisen.
EP09807441.2A 2008-12-19 2009-12-10 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens Active EP2380169B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA1982/2008A AT509439B1 (de) 2008-12-19 2008-12-19 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens
PCT/EP2009/008853 WO2010069513A1 (de) 2008-12-19 2009-12-10 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens

Publications (2)

Publication Number Publication Date
EP2380169A1 EP2380169A1 (de) 2011-10-26
EP2380169B1 true EP2380169B1 (de) 2015-12-09

Family

ID=41812891

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09807441.2A Active EP2380169B1 (de) 2008-12-19 2009-12-10 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens

Country Status (6)

Country Link
US (1) US8774312B2 (de)
EP (1) EP2380169B1 (de)
CN (1) CN102257565B (de)
AT (1) AT509439B1 (de)
BR (1) BRPI0922993A2 (de)
WO (1) WO2010069513A1 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2481026B1 (de) * 1980-04-21 1984-06-15 France Etat
JP2598159B2 (ja) * 1990-08-28 1997-04-09 三菱電機株式会社 音声信号処理装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
EP1483759B1 (de) * 2002-03-12 2006-09-06 Nokia Corporation Skalierbare audiokodierung
KR100467326B1 (ko) 2002-12-09 2005-01-24 학교법인연세대학교 추가 비트 할당 기법을 이용한 음성 부호화 및 복호화를위한 송수신기

Also Published As

Publication number Publication date
AT509439A1 (de) 2011-08-15
US20120014474A1 (en) 2012-01-19
AT509439B1 (de) 2013-05-15
EP2380169A1 (de) 2011-10-26
CN102257565B (zh) 2013-05-29
BRPI0922993A2 (pt) 2016-01-26
WO2010069513A1 (de) 2010-06-24
CN102257565A (zh) 2011-11-23
US8774312B2 (en) 2014-07-08

Similar Documents

Publication Publication Date Title
DE69133458T2 (de) Verfahren zur Sprachquantisierung und Fehlerkorrektur
DE19604273C5 (de) Verfahren und Vorrichtung zum Durchführen einer Suche in einem Kodebuch im Hinblick auf das Kodieren eines Klangsignales, Zellkommunikationssystem, Zellnetzwerkelement und mobile Zell-Sender-/Empfänger-Einheit
DE102008042579B4 (de) Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten
DE60219351T2 (de) Signaländerungsverfahren zur effizienten kodierung von sprachsignalen
DE602004003610T2 (de) Halbrätiger Vocoder
DE60316396T2 (de) Interoperable Sprachkodierung
DE60118631T2 (de) Verfahren zum ersetzen verfälschter audiodaten
DE69731588T2 (de) Coderienrichtung mit verringerter komplexität für ein signalübertragungssystem
EP1388147B1 (de) Verfahren zur erweiterung der bandbreite eines schmalbandig gefilterten sprachsignals, insbesondere eines von einem telekommunikationsgerät gesendeten sprachsignals
EP2062254B1 (de) Steganographie in digitalen signal-codierern
EP1979899B1 (de) Verfahren und anordnungen zur audiosignalkodierung
EP0978172B1 (de) Verfahren zum verschleiern von fehlern in einem audiodatenstrom
DE602005003358T2 (de) Audiokodierung
DE60124079T2 (de) Sprachverarbeitung
EP1023777B1 (de) Verfahren und vorrichtung zur erzeugung eines bitratenskalierbaren audio-datenstroms
DE69819460T2 (de) Übertrager mit verbessertem sprachkodierer und dekodierer
DE69837296T2 (de) Verfahren und Vorrichtung zur Audiokodierung mittels einer mehrstufigen Mehrimpulsanregung
DE9218980U1 (de) Fehlerschutz für Mehrmoden-Sprachcoder
DE60030069T2 (de) Verschleierungsverfahren bei Verlust von Sprachrahmen
EP2380169B1 (de) Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens
DE69823398T2 (de) Mehrimpuls-angeregter Sprachkodierer/-dekodierer
DE2303497C2 (de) Verfahren zur Übertragung von Sprachsignalen
DE60125491T2 (de) Tiefpaßfilterung des Anregungssignals für die Sprachkodierung
DE68917552T2 (de) Verfahren und Einrichtung zur Codierung und Decodierung von Sprachsignalen unter Anwendung von Multipuls-Anregung.
DE19735675C2 (de) Verfahren zum Verschleiern von Fehlern in einem Audiodatenstrom

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110718

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SETIAWAN, PANJI

Inventor name: SCHANDL, STEFAN

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY GMBH & CO. KG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502009011906

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G10L0019140000

Ipc: G10L0019240000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 19/24 20130101AFI20150330BHEP

INTG Intention to grant announced

Effective date: 20150429

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SETIAWAN, PANJI

Inventor name: SCHANDL, STEFAN

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150630

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 764877

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151215

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009011906

Country of ref document: DE

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160409

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160411

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009011906

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009011906

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009011906

Country of ref document: DE

Representative=s name: FRITZSCHE PATENTANWAELTE, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502009011906

Country of ref document: DE

Owner name: UNIFY GMBH & CO. KG, DE

Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 81379 MUENCHEN, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: UNIFY GMBH & CO. KG

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151210

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

26N No opposition filed

Effective date: 20160912

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 764877

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151210

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20091210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151210

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009011906

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231220

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231219

Year of fee payment: 15

Ref country code: DE

Payment date: 20231214

Year of fee payment: 15