EP1318502B1 - Verfahren zur Audiocodierung - Google Patents
Verfahren zur Audiocodierung Download PDFInfo
- Publication number
- EP1318502B1 EP1318502B1 EP02024643A EP02024643A EP1318502B1 EP 1318502 B1 EP1318502 B1 EP 1318502B1 EP 02024643 A EP02024643 A EP 02024643A EP 02024643 A EP02024643 A EP 02024643A EP 1318502 B1 EP1318502 B1 EP 1318502B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- information
- properties
- room
- reproduction
- loudspeakers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0091—Means for obtaining special acoustic effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
- G10H7/006—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof using two or more algorithms of different types to generate tones, e.g. according to tone color or to processor workload
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
- G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
- G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/051—AC3, i.e. Audio Codec 3, Dolby Digital
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/061—MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/571—Waveform compression, adapted for music synthesisers, sound banks or wavetables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Definitions
- Dolby Pro Logic is used in film material essentially to be able to influence the localization of the sound. For example, speakers are usually mapped to the center channel, and noises can only come from the rear speakers. Furthermore, there is a whole class of methods used to simulate room acoustics. Common names of such methods are "reverb", "stage”, “jazz”, “club” etc. In these methods optimized for music signals, it is not desirable to hear voice (vocal) only from the center speaker or a music signal only output from the rear speakers, which is possible using the "Dolby Pro Logic” method. In the Dolby Pro Logic follow-up process, which was called Dolby Pro Logic II, apart from the movie mode, a music mode is provided to accommodate these differences.
- a further advantageous implementation results if, in addition, information about the desired spatial characteristics (eg bathroom, cathedral, etc.), parameters (eg reverberation time) or directly algorithmic descriptions to achieve these sound impressions and properties of the individual sound sources (such as voice or music or effect).
- parameters for describing the spatial characteristics for example, the room geometry and the room absorption properties are too transfer. A living room with curtains and carpets swallows the sound much more than a bathroom or a church. If a playback device is not powerful enough to evaluate this data, it just ignores this additional data during playback.
- a further advantageous embodiment of the invention results if, in addition, properties are transmitted via the viewing angle, ie that one can directly deduce from the angles of the sound source and these viewing angles whether the associated object is visible in the image.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
- Die Erfindung betrifft ein Verfahren zur Audiocodierung gemäss den Merkmalen des Oberbegriffes der Ansprüche 1 und 14.
- Bei der Wiedergabe von Filmton und Musiksignalen wird versucht, die Abbildung des Klanges mit der Position der Entstehung in Einklang zu bringen. Bei reinen Musiksignalen wird schon eine gute Approximation durch Verwendung von Stereolautsprechern erreicht. Will man allerdings bei Musikstücken einen anderen Raumeindruck erzielen, beispielsweise den eines Jazz-Clubs, so reichen diese zwei Lautsprecher kaum aus. Insbesondere bei Filmmaterial sind mehr Kanäle wünschenswert, da auch akustische Effekte, die von hinten kommen, wiedergegeben werden sollen.
- Eines der bekanntesten Verfahren hierfür ist das sogenannte "Dolby Pro Logic" Verfahren, welches bei Filmmaterial im wesentlichen dazu eingesetzt wird, die Lokalisation des Klanges beeinflussen zu können. So werden Sprecher üblicherweise auf den Center-Kanal abgebildet und Geräusche können ausschließlich aus den hinteren Lautsprechern kommen.
Weiterhin gibt es eine ganze Klasse von Verfahren, die zur Nachbildung von Raumakustiken verwendet werden. Häufig anzutreffende Bezeichnungen derartiger Verfahren lauten "Hall", "Stadium", "Jazz", "Club" etc.. Bei diesen auf Musiksignale optimierten Verfahren ist es nicht erwünscht, Sprachsignale (Gesang) nur aus dem Center-Lautsprecher zu vernehmen oder ein Musiksignal nur aus den hinteren Lautsprechern auszugeben, welches unter Verwendung des "Dolby Pro Logic" Verfahrens möglich ist.
Bei dem Nachfolgeverfahren von Dolby Pro Logic, welches Dolby Pro Logic II genannt wurde, ist abgesehen von dem Filmmodus ein Modus für Musik vorgesehen, der diese Unterschiede berücksichtigt. - Aus
EP 0 481 374 B1 ist ein Verfahren zum Kodieren von Sprache bekannt. Hierbei wird eine diskrete Umformung eines Sprachfensters vorgenommen, um ein diskretes Spektrum von Koeffizienten zu erhalten. Eine angenäherte Einhüllenden des diskreten Spektrums wird in jedem einer Vielzahl von Unterbändern errechnet und zum digitalen Kodieren der definierten Einhüllenden eines jeden Unterbands verwendet. Innerhalb von Subbändern wird jeder skalierte Koeffizient in eine Anzahl von Bits mit mindestens einem von einer Vielzahl von Quantisierern unterschiedlicher Bitlängen umgerechnet. Der für jedes Unterband benutzte Ouantisierer wird für jedes Sprachfenster durch Berechnen der Zuweisung von Bits als eine Anzahl von Bits größer als oder gleich Null bestimmt, in Abhängigkeit einer Leistungsdichteabschätzung für das Unterband und einer Verzerrungsfehlerabschätzung für das Sprachfenster. - Aus
EP 0 587 733 B1 ist ein Signalanalysesystem zur Filterung von einem ein oder mehrere Signale repräsentierenden Eingangsabtastwert bekannt. Es sind Eingangspuffermittel zum Gruppieren der Eingangsabtastwerte in Zeitbereichs-Signalabtastwertblöcke vorgesehen. Die Eingangsabtastwerte sind analysefenster-gewichtete Abtastwerte. Außerdem sind Analysemittel zur Erzeugung von Spektralinformation als Antwort auf die Zeitbereichs-Signalabtastwertblöcke vorhanden; wobei die Spektralinformation Spektralkoeffizienten umfaßt, die im wesentlichen einer geradzahlig gestapelten Zeitbereichs-Aliasingaufhebungs-Transformation angewendet auf die Zeitbereichs-Signal-Abtastwertblöcke entspricht. Bei den Spektralkoeffizienten handelt es sich im wesentlichen um Koeffizienten einer modifizierten diskreten Cosinus-Transformation bzw. Koeffizienten einer modifizierten diskreten SinusTransformation. Die Analysemittel umfassen Vorwärts-Vor-Transformationsmittel zur Erzeugung modifizierter Abtastwertblöcke und Vorwärts-Transformationsmittel zur Erzeugung von Frequenzbereichs-Transformationskoeffizienten. - Aus
EP 0 664 943 B1 ist eine Kodiervorrichtung zur adaptiven Verarbeitung von Audiosignalen für das Kodieren, Übertragen oder Speichern und Wiedergewinnen bekannt, wobei der Rauschpegel mit dem Signalamplitudenpegel schwankt. Es ist eine Verarbeitungseinrichtung vorhanden, welche auf Eingangssignale derart anspricht, daß sie entweder ein erstes und ein zweites Signal oder die Summe und Differenz des ersten und zweiten Signals ausgibt. Das erste und zweite Signal entsprechen den beiden matrixkodierten Audiosignalen einer vier zu zwei Audiosignalmatrix, wobei die Verarbeitungseinrichtung auch ein Steuersignal erzeugt, welches anzeigt, ob das erste und zweite Signal oder die Summe und Differenz des ersten und zweiten Signals ausgegeben wird. - Aus
EP 0 519 055 B1 ist ein Decoder, bestehend aus einem Empfangsmittel zum Empfang einer Mehrzahl von Lieferkanälen formatierter Information, Deformatierungsmitteln zur Erzeugung ansprechend auf die Empfangsmittel, einer deformatierten Darstellung abhängig von jedem Lieferkanal, und Synthesemittel zur Erzeugung von Ausgangssignalen abhängig von den deformatierten Darstellungen, bekannt. Zwischen den Deformatierungsmitteln und den Synthesemitteln sind Verteilermittel angeordnet, welche auf die Deformatierungsmittel ansprechen und einen oder mehrere Zwischensignale erzeugen, wobei wenigstens ein Zwischensignal durch Kombination der Information von zwei oder mehr der deformatierten Darstellungen erzeugt wird. Die Synthesemittel erzeugen ein jeweiliges Ausgangssignal als Antwort auf jedes der Zwischensignale. - Aus
EP 0 520 068 B1 ist ein Kodierer zum Kodieren von zwei oder mehr Audiokanälen bekannt. Der Kodierer weist eine Teilbandeinrichtung zum Erzeugen von Teilbandsignalen, eine Mischeinrichtung zum Schaffen eines oder mehrerer zusammengesetzter Signale, und Mittel zum Erzeugen von Steuerinformation für ein entsprechendes zusammengesetztes Signal auf. Außerdem weist der Kodierer eine Kodiereinrichtung zum Erzeugen kodierter Information durch Zuteilen von Bits zu dem einen oder mehreren zusammengesetzten Signalen auf. Es ist weiterhin eine Formatiereinrichtung zum Zusammensetzen der kodierten Information und der Steuerinformation zu einem Ausgabesignal vorhanden. - Aus
EP 0 208 712 B1 ist ein Sprachkodierer bekannt. Dieser Sprachkodierer enthält eine Fourier-Transformationseinrichtung zur Ausführung einer diskreten Fourier-Transformation eines ankommenden Sprachsignals zur Erzeugung eines diskreten Transformationsspektrums von Koeffizienten, eine Normierungseinrichtung zum Modifizieren des Transformationsspektrums zur Erzeugung eines normierten, flacheren Spektrums und zum Codieren einer Funktion, durch die das diskrete Spektrum modifiziert wird. Außerdem ist eine Einrichtung zum Codieren wenigstens eines Teils des Spektrums vorhanden. Die Normierungseinrichtung weist eine Einrichtung (44) zum Definieren der approximierten Einhüllenden des diskreten Spektrums in jedem von mehreren Unterbändern von Koeffizienten und zum Codieren der definierten Einhüllenden eines jedes Unterbandes von Koeffizienten und Einrichtungen zum Skalieren jedes Spektrumkoeffizienten relativ zur definierten Einhüllenden des betreffenden Unterbandes von Koeffizienten auf. - Aus Dokument
EP1107232 ist ein Verfahren zur Codierung von Audiosignalen bekannt, wobei mehrere Audiosignale mit einem an und für sich bekannten Kompressionsverfahren komprimiert werden, wobei die Kompressionsfaktoren so gewählt werden, dass die maximal zulassige Datenrate nicht überschritten wird, sowie Informationen über die Art der Quelle sowie Positionsinformation, die angibt, wo sich das Objekt in Bezug auf den Betrachter befindet, beigefügt werden. - Als weitere allgemein bekannte Verfahren zur Verbesserung dieses Problems wurden dann die Verfahren Dolby Digital (auch bekannt unter dem Namen AC3) und DTS eingeführt, welche die Wiedergabe von 6 unterschiedlichen Kanälen gestatten. Trotzdem damit ein rechter und ein linker hinterer separater Kanal möglich sind, war dies für eine perfekte Wiedergabe immer noch nicht genug, daher wurden diese Verfahren durch Matrizierung wieder so erweitert, dass ein zusätzlicher hinterer Centerkanal möglich ist. Mit DTS-ES DISCRETE wurde dann auf die Matrizierung verzichtet und ein echter siebter Audiokanal übertragen. THX-EX erzeugt mittlerweile 8 Kanäle und bei AAC sind sogar über 100 separate Audiokanäle möglich.
- Aus ISO/IEC JTC 1/SC 29/WG11 (MPEG 4 Structured Audio) ist ein Verfahren bekannt, welches für die synthetische Erzeugung von Musiksignalen die Möglichkeit bietet, den künstlich erzeugten Musikinstrumenten eine Positionsinformation sowie einen oder mehrere Effekte zuzuweisen. Es ist auch möglich, Samples derart zu integrieren.
- Nachteilig bei MPEG 4 Structured Audio ist, dass es für die Echtzeitübertragung über einen Kanal mit begrenzter Datenrate nicht geeignet ist, da keine obere Begrenzung für die Datenrate und die Rechenleistung vorgesehen ist. Auch die Beschränkung auf Samples, welche normalerweise nur kurzen Klangstücken entsprechen und die auch schon dem Wiedergabegerät zu dem Zeitpunkt komplett bekannt sein müssen, wenn deren abspielen beginnt stellt ein Problem dar. Weiterhin ist eine Synchronisation schwierig, soll mit dem Abspielen an einer bestimmten Stelle begonnen werden so ist es eventuell nötig, die Datei komplett von Anfang an zu berechnen. Einer Anwendung bei Filmmaterial wiederspricht auch das Fehlen einer Kompression der Samples, welche dadurch unnötig viel Datenspeicher benötigen. Die Angabe der Winkel der Schallquellen alleine reicht auch nicht aus, um immer eine gute Zuordnung der Schallquellen zum Bildmaterial zu erreichen, da das Bildmaterial durch verschiedene Projektionstechniken unterschiedliche Größen und Entfernungen zum Beobachter aufweisen kann. Ist am linken Bildrand ein Sprecher zu sehen, so sollte dessen Sprache in einem Kino auch aus den linken Lautsprechern wiedergegeben werden, bei einer Darstellung über einen 5 Meter entfernten Fernseher mit 72 cm Bildschirmdiagonale macht es aber mehr Sinn, die Sprache auch auf dem mittleren Lautsprecher auszugeben, da dann auch dort der Sprecher zu sein scheint.
- Nachteilig bei allen bekannten Erfindungen bezüglich der Audiodatenkompression ist, dass aufgrund der Fixierung der Positionen der Klangquellen eine hohe Anzahl an Audikanälen zur Nachbildung des gewünschten Klangfeldes benötigt wird. Dies verursacht eine hohe Datenmenge, die sowohl bei Speichermedien als auch bei der Übertragung unerwünscht ist. Weiterhin ist die Möglichkeit der Nachbildung von Raumakustiken durch die Fixierung der Lautsprecherpositionen eingeschränkt.
- Beispielsweise ist bei Dolby Digital und DTS kein Deckenlautsprecher vorgesehen, der von oben kommende Klänge nachbilden könnte.
- Aufgabe der Erfindung ist es, ein Verfahren anzugeben, welches eine effiziente Codierung von mehreren Audiosignalen unter Berücksichtigung des zugehörigen Klangfeldes ermöglicht.
- Die vorliegende Erfindung löst diese Aufgabe durch die Merkmale der Ansprüche 1 und 14. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen, der zugehörigen Beschreibung nebst
Figur 1 angegeben. - Die vorliegende Erfindung löst die Aufgabe dadurch, dass die zu einem Klangfeld gehörenden Klangquellen zuerst einzeln mit einem herkömmlichen Kompressionsverfahren, beispielsweise AC3, MP3, AAC, WMA, usw. komprimiert werden. Bei einer Überschreitung einer maximal erlaubten Datenrate wird eine Zusammenfassung von Klangquellen oder eine stärkere Kompression zur Verringerung der Datenrate durchgeführt. Jeder dieser Klangquellen werden Informationen über deren Art sowie eine Positionsinformation hinzugefügt, die angibt, wo sich das Objekt in Bezug auf den Betrachter befindet. Informationen über die Eigenschaften des nachzubildenden Raumes sowie über die aktuellen horizontalen und vertikalen Sichtwinkel werden übertragen. Basierend auf den Positionsinformationen und Informationen über die Quellen, den Informationen über die Eigenschaften des nachzubildenden Raumes, den aktuellen horizontalen und vertikalen Sichtwinkeln sowie über der Größe und Position des Bildes des Wiedergabegerätes werden dann Nachbearbeitungen und Abbildungen der einzelnen Quellen auf die vorhandenen Lautsprecher oder ein Kopfhörersignal durchgeführt.
- Betrachtet man natürliche Klangfelder, so stellt man fest, dass das menschliche Gehör diese derart analysiert, dass eine Aufteilung in verschiedene Klangquellen sowie deren Charakteristiken stattfindet und zudem die Eigenschaft des Raumes, in welchem die akustische Wiedergabe erfolgt, ausgewertet wird. Die Aufteilung der Klangquellen erfolgt in erster Linie durch Auswertung der spektralen Zusammensetzung und der Position der Schallquelle. Laufzeitunterschiede und die richtungsabhängige Frequenzempfindlichkeitskurve des Gehörs haben nur einen geringen Einfluss auf die Aufteilung. Eine gute Approximation vieler Klangfelder kann schon erreicht werden, wenn zwei Sprachkanäle sowie zwei Effektkanäle zur Verfügung stehen. Damit kann die Kommunikation zweier Personen sowie diverse Umgebungsgeräusche (beispielsweise vorbeifahrende Autos) erfasst und nachgebildet werden.
- Erfindungsgemäß werden die von verschiedenen Klangquellen erzeugten Audiodaten in der Art und Weise codiert, dass Klangquellen zusammengefasst werden, die für das Gehör gleiche Eigenschaften besitzen und diese dann mit einer Positionsinformation, einer Information über die Art des Kanales (Gesang, Hintergrundgeräusch, Sprache...) sowie einer Information über eventuell mögliche Effekte (Hall, Dynamikkompressor) versehen werden. Diese Informationen werden kontinuierlich übertragen. Bei der Wiedergabe kann über die Art des Kanales eine Nachbearbeitung erfolgen, in der dann z.B. für Hintergrundgeräusche dieses Signal mehrfach dekorreliert und auf die Lautsprecher ausgegeben wird. Es wird jeder Signalart ein individueller Nachverarbeitungsalgorithmus zugeordnet. Eine vorteilhafte Implementierung ergibt sich, wenn zusätzlich noch zu jeder Klangquelle eine Information über deren Abstrahlcharakteristik, wie kugelförmig, nierenförmig etc., übertragen wird. Eine weitere vorteilhafte Implementierung ergibt sich, wenn zusätzlich noch Informationen über die gewünschte Raumcharakteristik (z.B. Badezimmer, Kathedrale, usw.), Parameter (z.B. Hallzeit) bzw. direkt algorithmische Beschreibungen zur Erzielung dieser Klangeindrücke sowie Eigenschaften der einzelnen Schallquellen (wie z.B. Sprache oder Musik oder Effekt) mitübertragen werden. Als Parameter zur Beschreibung der Raumcharakteristik sind z.B. die Raumgeometrie und die Raumabsorptionseigenschaften zu übertragen. Ein Wohnzimmer mit Gardinen und Teppichböden schluckt nämlich den Schall viel stärker als ein Badezimmer oder eine Kirche.
Ist ein Wiedergabegerät nicht leistungsfähig genug, diese Daten auszuwerten, so ignoriert es eben diese Zusatzdaten bei der Wiedergabe.
Eine weitere vorteilhafte Ausgestaltung der Erfindung ergibt sich, wenn zusätzlich noch Eigenschaften über den Sichtwinkel übertragen werden, d.h. dass man aus den Winkeln der Klangquelle und diesen Sichtwinkeln direkt schließen kann, ob das dazugehörige Objekt im Bild sichtbar ist. Dies ist dann der Fall, wenn der horizontale Winkel des Objektes innerhalb des horizontalen Sichtwinkelbereiches und der vertikale Winkel des Objektes innerhalb des vertikalen Sichtwinkelbereiches liegt. Der Sichtwinkel ist dabei wie auch die Position der Objekte auf den Betrachter der Orginalszene bezogen. Der Sichtwinkel kann sich laufend ändern, daher wird dieser vorteilhafterweise zu jedem einzelnen Bild übertragen. Basierend auf dem Winkel des Objektes, des Sichtwinkels sowie der Position und Größe des projezierten Bildes wird dann ein virtueller Winkel bezogen auf die Abhörposition ermittelt. Damit beim Verlassen von Objekten aus dem Sichtwinkelbereich kein abrupter Sprung stattfindet, wird dort vorteilhafterweise eine nichtlineare Abbildung verwendet. So kann z.B. der bei kleinen Bildschirmen geschrumpfte Winkelbereich durch eine Streckung des restlichen Winkelbereiches ausgeglichen werden. Eine vorteilhafte Ausgestaltungung ergibt sich, wenn die Stärke der Stauchung/Streckung durch den Anwender einstellbar ist. - Durch die Erfindung wird
- eine wesentlich realistischere Audiodarbietung erreicht;
- die Ausnutzung der vorhandenen Kanäle wesentlich verbessert, somit wird bei DVDs Kapazität und bei Broadcast-Verfahren Bandbreite gespart;
- bei Hinzufügung der Klangeffekte im Endgerät bei der Codierung der unverfälschten Originalsignale eine wesentlich geringere Datenrate benötigt, dies gibt eine zusätzliche Datenratenersparnis;
- die Kanalabbildung wesentlich verbessert, ein überfliegender Hubschrauber kann mit nur einem Kanal perfekt nachgebildet werden;
- das System abwärtskompatibel gehalten, die Wiedergabe anderer Standards kann durch Annahme der Positionen der Klangquellen auf die dabei üblichen Aufstellungspositionen der Lautsprecher erfolgen; es muss die vom Kunden gewählte Lautsprecherkonstellation nicht modifiziert werden;
- die Aufstellungspositionen der Lautsprecher nicht vorgegeben und kann beliebig sein, die Lautsprecher müssen dem System nur bekannt gemacht werden; das System berechnet dann, auf welchen Lautsprechern es bestimmte Kanäle am geeignetesten ausgibt; so ist es möglich, die räumlichen Gegebenheiten perfekt auszunutzen;
- eine bessere Anpassung an verschiedene Bildformate bei der Wiedergabe erreicht, Klangquellen zu im Bildbereich gehörenden Objekten können klanglich auch dorthin fokussiert werden.
- Im Weiteren wird die Erfindung anhand eines konkreten Ausführungsbeispieles
FIG 1 beschrieben.
Das Ausführungsbeispiel zeigt eine erfindungsgemäße Vorrichtung. Die erfindungsgemäße Vorrichtung weist die Audiosignaleingänge A1 bis An auf. Über die Eingänge I1 bis In werden zu den n Audiosignalen Informationen zu der Position und die Eigenschaften des entsprechenden Audiosignales übertragen. Über den Eingang SF werden die horizontalen und vertikalen Sichtwinkel sowie die Eigenschaft des nachzubildenden Raumes eingespeist. Die eingehenden Audiosignale werden in den Vorrichtungen K1 bis Kn in der Datenrate zu den Signalen C1 bis Cn komprimiert. Die Datenströme C, I und SF werden dann in der Vorrichtung MX zu einem einzelnen Datenstrom US zusammengemischt. Der Datenstrom US kann dann entweder im Broadcasting-Format übertragen werden oder auch auf einem Speichermedium zwischengespeichert werden. Zur Ausgabe wird dieser Datenstrom dann auf eine Vorrichtung DX gegeben, die daraus wieder die Datenströme C1 bis Cn regeneriert sowie ISF1 bis ISFn erzeugt. ISFi entspricht dabei dem Datenstrom li, dem noch SF hinzugefügt ist. Die komprimierten Datenströme C1 bis Cn werden in den Vorrichtungen D1 bis Dn dekomprimiert. Die einzelnen dekomprimierten Datenströme werden dann jeweils zusammen mit ihrem zugehörigen Datenstrom ISFi sowie dem Signal BP auf die Vorrichtungen R1 bis Rn gegeben. Das Signal BP entspricht dabei einer Information über das Bildformat, der Position des Wiedergabegerätes sowie den vom Kunden gewählten Parametern zur Wiedergabe. In den Vorrichtungen Ri erfolgt dann eine Abbildung der dekodierten Audiosignale auf die Summensignale S1 bis Sk unter Berücksichtigung der in BP und ISFi vorhandenen Parameter. Die Anzahl der Summensignale k entspricht dabei der vom Kunden installierten Anzahl an Lautsprechern. Die von den einzelnen Vorrichtungen Ri erzeugten Summensignale S werden summiert und dann auf die Lautsprecher L1 bis Lk ausgegeben. -
- A
- Audiosignaleingang
- BP
- Information über Bildformat, Position der Klangquelle und Kundenparameter
- C
- Komprimierte Audiosignale
- D
- Vorrichtung zur Dekompression einzelner Audiosignale
- DX
- Vorrichtung zur Aufspaltung des Datenstromes
- I
- Eingang für Informationen zu einem Audiosignal
- ISF
- Information zu einem Audiosignal sowie Informationen über die Sichtwinkel der Klangquelle
- K
- Vorrichtung zur Kompression einzelner Audiosignale
- L
- Lautsprecherausgangssignal
- MX
- Vorrichtung zur Zusammenmischung einzelner Datenströme
- R
- Vorrichtung zur Abbildung eines Audiosignales auf die Lautsprechersignale
- S
- Summenkanäle für die Lautsprecher
- SF
- Informationen über die Sichtwinkel der Klangquellen
- US
- Übertragungsstrecke
Schließlich ist die zur Übertragung der Zusatzinformationen benötigte Datenmenge gegenüber der Datenmenge zur Codierung der einzelnen Audiokanäle vernachlässigbar gering.
Claims (14)
- Verfahren zur Codierung von Audiosignalen, wobei mehrere Audiosignale (A(1)-A(n)) mit einem an und für sich bekannten Kompressionsverfahren (K) komprimiert werden,
dadurch gekennzeichnet, dass
ähnliche zu einem Klangfeld gehörende Klangquellen so zusammengefasst
und die Kompressionsfaktoren so gewählt werden, dass die maximal zulässige Datenrate nicht überschritten wird,
zu jeder dieser zusammengefassten Klangquellen Informationen über die Art der Quelle sowie Positionsinformation, die angibt, wo sich das Objekt in Bezug auf den Betrachter befindet, beigefügt werden. - Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
Informationen über die Eigenschaften des nachzubildenden Raumes sowie Informationen über die aktuellen horizontalen und vertikalen Sichtwinkel in den erzeugten Datenstrom eingefügt werden. - Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
im Wiedergabegerät die Größe und Position der Bildprojektion ausgewertet und basierend darauf auf den Eigenschaften des nachzubildenden Raumes, auf den Informationen über die aktuellen horizontalen und vertikalen Sichtwinkeln sowie den Positionsinformationen und Informationen über die Arten und Abstrakteigenschaften der Quellen eine Abbildung der Klangquellen auf die vorhandenen Lautsprecher durchgeführt wird. - Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
zur Codierung das AC3-Verfahren, das DTS - Verfahren oder das MP3-Verfahren, oder das AAC-Verfahren, das WMA-Verfahren oder ein ähnliches Verfahren angewendet wird. - Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass
die Informationen über die Art der Quelle in Form von Algorithmen oder Parametern zu vorgegebenen Algorithmen angegeben wird. - Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass
die Informationen über die Eigenschaften des nachzubildenden Raumes in Form von Algorithmen oder Parametern zu vorgegebenen Algorithmen angegeben wird. - Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet, dass
eine Wiedergabe über Kopfhörer oder über Lautsprecher erfolgt. - Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet, dass
jeder Klangquelle eine Information über deren Abstrahleigenschaften zugewiesen werden kann - Verfahren nach Anspruch 8,
dadurch gekennzeichnet, dass
die Abstrahleigenschaften kugelförmig, kegelförmig, flächenförmig oder nierenförmig sind. - Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
im Wiedergabegerät die Eigenschaften des Abhörraumes, d.h. des Raumes in dem die Lautsprecher aufgestellt werden, einstellbar sind und/oder durch Messungen bestimmt werden können und diese bei der Wiedergabe berücksichtigt werden. - Verfahren nach Anspruch 10,
dadurch gekennzeichnet, dass
die Eigenschaften des Abhörraumes durch die Geometrie des Raumes und Beschaffenheit der Wände und des Bodens vorgegeben werden. - Verfahren nach einem der Ansprüche 1 bis 11,
dadurch gekennzeichnet, dass
eine beliebige Anzahl an Lautsprechern zur Wiedergabe verwendbar ist. - Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
die Lautsprecherpositionen dem Wiedergabegerät bekannt gemacht werden, so dass die bestmögliche Abbildung der einzelnen Kanäle auf die Lautsprecher vorgenommen wird. - Vorrichtung zur Durchführung des Verfahren nach einem oder mehreren der vorangehenden Ansprüche.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10154932 | 2001-11-08 | ||
DE10154932A DE10154932B4 (de) | 2001-11-08 | 2001-11-08 | Verfahren zur Audiocodierung |
Publications (3)
Publication Number | Publication Date |
---|---|
EP1318502A2 EP1318502A2 (de) | 2003-06-11 |
EP1318502A3 EP1318502A3 (de) | 2009-10-07 |
EP1318502B1 true EP1318502B1 (de) | 2010-06-09 |
Family
ID=7705086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP02024643A Expired - Lifetime EP1318502B1 (de) | 2001-11-08 | 2002-11-05 | Verfahren zur Audiocodierung |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1318502B1 (de) |
AT (1) | ATE470925T1 (de) |
DE (2) | DE10154932B4 (de) |
ES (1) | ES2347221T3 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2637427A1 (de) | 2012-03-06 | 2013-09-11 | Thomson Licensing | Verfahren und Vorrichtung zur Wiedergabe eines Ambisonic-Audiosignals höherer Ordnung |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2928216A1 (de) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren für bildschirmbezogene audioobjekt-neuabbildung |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
US6539357B1 (en) * | 1999-04-29 | 2003-03-25 | Agere Systems Inc. | Technique for parametric coding of a signal containing information |
JP3594854B2 (ja) * | 1999-11-08 | 2004-12-02 | 三菱電機株式会社 | 音声符号化装置及び音声復号化装置 |
-
2001
- 2001-11-08 DE DE10154932A patent/DE10154932B4/de not_active Expired - Lifetime
-
2002
- 2002-11-05 ES ES02024643T patent/ES2347221T3/es not_active Expired - Lifetime
- 2002-11-05 EP EP02024643A patent/EP1318502B1/de not_active Expired - Lifetime
- 2002-11-05 AT AT02024643T patent/ATE470925T1/de not_active IP Right Cessation
- 2002-11-05 DE DE50214481T patent/DE50214481D1/de not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2637427A1 (de) | 2012-03-06 | 2013-09-11 | Thomson Licensing | Verfahren und Vorrichtung zur Wiedergabe eines Ambisonic-Audiosignals höherer Ordnung |
EP2637428A1 (de) | 2012-03-06 | 2013-09-11 | Thomson Licensing | Verfahren und Vorrichtung zur Wiedergabe eines Ambisonics-Audiosignals höherer Ordnung |
EP4301000A2 (de) | 2012-03-06 | 2024-01-03 | Dolby International AB | Verfahren und vorrichtung zur wiedergabe eines ambisonics-audiosignals höherer ordnung |
Also Published As
Publication number | Publication date |
---|---|
ATE470925T1 (de) | 2010-06-15 |
EP1318502A3 (de) | 2009-10-07 |
DE10154932A1 (de) | 2003-06-12 |
EP1318502A2 (de) | 2003-06-11 |
ES2347221T3 (es) | 2010-10-27 |
DE10154932B4 (de) | 2008-01-03 |
DE50214481D1 (de) | 2010-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69214523T2 (de) | Dekodierer für variable anzahl von kanaldarstellungen mehrdimensionaler schallfelder | |
DE69210689T2 (de) | Kodierer/dekodierer für mehrdimensionale schallfelder | |
DE69933659T2 (de) | Verfahren und system zur räumlichen kodierung mit niedriger bitrate | |
EP1854334B1 (de) | Vorrichtung und verfahren zum erzeugen eines codierten stereo-signals eines audiostücks oder audiodatenstroms | |
DE60206390T2 (de) | Effiziente und skalierbare parametrische stereocodierung für anwendungen mit niedriger bitrate | |
DE602004008613T2 (de) | Treueoptimierte kodierung mit variabler rahmenlänge | |
DE602006000239T2 (de) | Energieabhängige quantisierung für effiziente kodierung räumlicher audioparameter | |
DE69431622T2 (de) | Verfahren und gerät zum kodieren von mit mehreren bits kodiertem digitalem ton durch subtraktion eines adaptiven zittersignals, einfügen von versteckten kanalbits und filtrierung, sowie kodiergerät zur verwendung bei diesem verfahren | |
DE3887493T2 (de) | Lautsprechersystem mit modusteilung zur erweiterten abbildung. | |
DE60312553T2 (de) | Verfahren zum kodieren und dekodieren von der breite einer schallquelle in einer audioszene | |
DE69325952T2 (de) | Kodierung und Dekodierung von Audio-information | |
DE102006053919A1 (de) | Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert | |
DE102005014477A1 (de) | Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung | |
EP1687809A1 (de) | Vorrichtung und verfahren zur wiederherstellung eines multikanal-audiosignals und zum erzeugen eines parameterdatensatzes hierfür | |
DE2244162B2 (de) | Verfahren zur Simulation der bei einer Lautsprecherbeschallung auftretenden Hörereignisse mittels Kopfhörern | |
EP1430750B1 (de) | Verfahren und vorrichtung zur auswahl eines klangalgorithmus | |
EP2457390A1 (de) | Vorrichtung und verfahren zur optimierung stereophoner oder pseudostereophoner audiosignale | |
DE10254470A1 (de) | Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks | |
DE112020006211T5 (de) | Steuervorrichtung, Signalverarbeitungsverfahren und Lautsprechervorrichtung | |
EP1318502B1 (de) | Verfahren zur Audiocodierung | |
WO2016206815A1 (de) | Verfahren zur schallwiedergabe in reflexionsumgebungen, insbesondere in hörräumen | |
EP4282162A1 (de) | Mikrophon, verfahren zum aufzeichnen eines akustischen signals, wiedergabevorrichtung für ein akustisches signal, oder verfahren zum wiedergeben eines akustischen signals | |
DE3734084C2 (de) | ||
DE68921899T2 (de) | Räumliches Schallwiedergabesystem. | |
DE9406140U1 (de) | Walkman-Mehrkanal-Tonwiedergabe-Versorgung für Raumklang-Kopfhörer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK RO SI |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: GRUNDIG MULTIMEDIA B.V. |
|
PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK RO SI |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G10H 7/02 20060101ALI20090903BHEP Ipc: G10H 1/00 20060101AFI20030408BHEP Ipc: H04S 7/00 20060101ALI20090903BHEP |
|
17P | Request for examination filed |
Effective date: 20090929 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
AKX | Designation fees paid |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REF | Corresponds to: |
Ref document number: 50214481 Country of ref document: DE Date of ref document: 20100722 Kind code of ref document: P |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20100609 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2347221 Country of ref document: ES Kind code of ref document: T3 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100910 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20101011 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 |
|
26N | No opposition filed |
Effective date: 20110310 |
|
BERE | Be: lapsed |
Owner name: GRUNDIG MULTIMEDIA B.V. Effective date: 20101130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20101130 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL Ref country code: DE Ref legal event code: R097 Ref document number: 50214481 Country of ref document: DE Effective date: 20110309 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20101130 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20101130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20101130 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 470925 Country of ref document: AT Kind code of ref document: T Effective date: 20101105 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20101105 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100609 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20101105 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20100909 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 14 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 15 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 16 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20211126 Year of fee payment: 20 Ref country code: ES Payment date: 20211201 Year of fee payment: 20 Ref country code: FR Payment date: 20211126 Year of fee payment: 20 Ref country code: DE Payment date: 20211125 Year of fee payment: 20 Ref country code: TR Payment date: 20211005 Year of fee payment: 20 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20211130 Year of fee payment: 20 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R071 Ref document number: 50214481 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20221125 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: PE20 Expiry date: 20221104 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20221104 Ref country code: ES Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20221106 |