DE60318835T2

DE60318835T2 - Parametrische darstellung von raumklang

Info

Publication number: DE60318835T2
Application number: DE2003618835
Authority: DE
Inventors: Dirk J. Breebaart; Steven L. Van De Par
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-04-22
Filing date: 2003-04-22
Publication date: 2009-01-22
Anticipated expiration: 2023-04-23
Also published as: WO2003090208A1; CN1307612C; ES2300567T3; JP2012161087A; BRPI0304540B1; CN1647155A; JP2005523480A; JP2009271554A; EP1881486A1; US8331572B2; US20130094654A1; KR20040102164A; US9137603B2; DE60318835D1; BR0304540A; AU2003219426A1; JP4714416B2; US20080170711A1; KR100978018B1; ATE385025T1

Description

Die vorliegende Erfindung bezieht sich auf die Codierung von Audiosignalen, insbesondere auf die Codierung von Mehrkanal-Audiosignalen.
Im Bereich der Audiocodierung ist es im Allgemeinen erwünscht, ein Audiosignal zu codieren, beispielsweise zum Reduzieren der Bitrate zur Kommunikation des Signals oder der Speicheranforderung zur Speicherung des Signals, ohne dass dabei die perzeptuelle Qualität des Audiosignals übermäßig beeinträchtigt wird. Dies ist ein wichtiger Punkt, wenn Audiosignale über Kommunikationskanäle begrenzter Kapazität übertragen werden müssen oder auf einem Speichermedium begrenzter Kapazität gespeichert werden müssen.
Bisherige Lösungen bei Audiocodierern die zur Reduktion der Bitrate von Stereo-Programmmaterial vorgeschlagen wurden, umfassen:

– "Intensitäts-Stereo". In diesem Algorithmus werden hohe Frequenzen (typischerweise über 5 kHz) durch ein einzelnes Audiosignal (d. h. Mono) dargestellt, und zwar kombiniert mit zeitvariablen und frequenzabhängigen Skalierungsfaktoren.
– "M/S Stereo". In diesem Algorithmus wird das Signal in ein Summensignal (oder Mittensignal oder gemeinsames Signal) und ein Differenzsignal (oder Nebensignal, oder nicht gemeinsames Signal) zerlegt. Diese Zerlegung wird manchmal mit einer Basisanteilanalyse oder zeitvariablen Skalierungsfaktoren kombiniert. Diese Signale werden danach unabhängig codiert, entweder durch einen Transformationscodierer oder durch einen Wellenformcodierer. Der Betrag an Informationsreduktion, erreicht durch diesen Algorithmus, ist stark abhängig von den räumlichen Eigenschaften des Quellenmaterials. Wenn beispielsweise das Quellenmaterial Mono ist, ist das Differenzsignal Null und kann abgelegt werden. Wenn aber die Korrelation des linken und des rechten Audiosignals niedrig ist (was oft der Fall ist), bietet dieses Schema nur wenig Vorteil.

Parametrische Beschreibungen von Audiosignalen sind in den letzten Jahren interessant geworden, insbesondere in dem Bereich der Audiocodierung. Es hat sich herausgestellt, dass Übertragung (quantisierter) Parameter, die Audiosignale beschreiben, nut wenig Übertragungskapazität erfordern um ein perzeptuell gleiches Signal am empfangenden Ende neu aufzubauen. Aktuelle parametrische Audiocodierer aber richten sich auf die Codierung von Monosignalen, und Stereosignale werden oft als doppelt mono verarbeitet.
Die Europäische Patentanmeldung EP 1 107 232 beschreibt ein Verfahren zum Codieren eines Stereosignals mit einem L und einem R Anteil, wobei das Stereosignal durch einen der Stereoanteile und die parametrische Informationserfassungsphase und Pegeldifferenzen des Audiosignals dargestellt wird. Beim Decoder wird der andere Stereoanteil auf Basis des codierten Stereoanteils und die parametrische Information wieder hergestellt.
Der Artikel "Efficient representation of spatial audio using perceptual parametrization" (Faller C u. a. "Proceedings of the 2001 IEEE Workshop an the Applications of Signal Processing to Audio and Acoustics") beschreibt die Erzeugung eines binauralen Signals durch räumliche Aufstellung der Quellen in einem monophonen Summensignal, wobei die Aufstellung auf einem Satz räumlicher Parameter in kritischen Bändern basiert. Der Artikel "Subband coding of stereophonic digital audio signals" (Van der Wall R G u. a., IEEE ICASSP 1991) beschreibt die Benutzung der Links-Rechtskorrelation in einem Teilbandcodec.
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, das Problem der Lieferung einer verbesserten Audiocodierung zu lösen, wobei eine hohe perzeptuelle Qualität des wiederhergestellten Signals erhalten wird.
Das oben stehende und andere Probleme werden gelöst durch ein Verfahren zum Codieren eines Audiosignals, wie in Anspruch 1 definiert.
Der Erfinder hat erkannt, dass durch Codierung eines Mahrkanal-Audiosignals, wie eines Mono-Audiosignals und einer Anzahl räumlicher Attribute mit einem Maß der Gleichheit der entsprechenden Wellenformen, das Mehrkanalsignal mit einer hohen perzeptuellen Qualität wiederhergestellt werden kann. Es ist ein weiterer Vorteil der vorliegenden Erfindung, dass diese eine effiziente Codierung eines Mehrkanalsignals schafft, d. h. eines Signals mit wenigstens einem ersten und einem zweiten Kanal, beispielsweise eines Stereosignals, eines quadrophonischen Signals, usw.
Folglich werden nach einem Aspekt der vorliegenden Erfindung räumliche Attribute von Mehrkanal-Audiosignalen parameterisiert. Für allgemeine Audio-Codierungsapplikationen reduziert die Übertragung dieser Parameter in Kombination mit nur einem einzigen Mono-Audiosignal die Übertragungskapazität, die notwendig ist um das Stereosignal zu übertragen im vergleich zu Audiocodierern, welche die Kanäle unabhängig voneinander verarbeiten, wesentlich, während der ursprüngliche räumliche Eindruck beibe halten wird. Ein wichtiger Punkt ist, dass obschon Menschen Wellenformen eines das Gehör betreffenden Projektes zweimal empfangen (einmal im linken Ohr und einmal im rechten Ohr), wird nur ein einziges das Gehör betreffendes Objekt an einer bestimmten Stelle und mit einer bestimmten Größe (oder mit einer räumlichen Unschärfe) erfahren.
Deswegen scheint es nicht notwendig, Audiosignale als zwei oder mehr (unabhängige) Wellenformen zu beschreiben und es wäre besser, Mehrkanal-Audio als einen Satz das Gehör betreffender Objekte, mit je einer eigenen räumlichen Eigenschaft, zu beschreiben. Eine unmittelbar auftretende Schwierigkeit ist die Tatsache, dass es fast unmöglich ist, einzelne das Gehör betreffende Objekte automatisch von einem bestimmten Gebilde das Gehör betreffender Objekte, beispielsweise einer Musikaufzeichnung, zu trennen. Dieses Problem kann dadurch umgangen werden, dass das Programmmaterial nicht in einzelne das Gehör betreffende Objekte aufgeteilt wird, sondern dass stattdessen die räumlichen Parameter in einer Art und Weise beschrieben werden, welche die effektive (periphere) Verarbeitung des akustischen Systems ähnlich ist. Wenn die räumlichen Attribute ein Maß von Gleichheit/Ungleichheit der entsprechenden Wellenformen aufweisen, wird eine effiziente Codierung erreicht, während ein hoher Pegel der perzeptuellen Qualität beibehalten wird.
Insbesondere bezieht sich die hier präsentierte parametrische Beschreibung von Mehrkanal-Audio auf das von Breebaart u. a. präsentierte binaurale Verarbeitungsmodell. Dieses Modell bezweckt die Beschreibung der effektiven Signalverarbeitung des binauralen akustischen Systems. Für eine Beschreibung des binauralen Verarbeitungsmodells durch Breebaart u. a. siehe: Breebaart, j., van de Par, S und Kohlrausch, A. (2001a). "Binaural Processing model based an contralateral inhibition. I. Model setup." "J. Acoust. Soc. Am., 110, 1074–1088; Breebaart, J., van de Par, S. und Kohlrausch, A. (2001b). "Binaural Processing model based an contralateral inhibition. II. "Dependance an spectral Parameters", J. Acoust. Soc. Am., 110, 1089–1104; und Breebaart, j., van de Par, S. und Kohlrausch, A. (2001c). "Binaural Processing model based an contralateral inhibition III. Dependance an temporal Parameters", J. Acoust. Soc. Am., 110, 1105–1117. Nachstehend folgt ein kurzer Eindruck, als Hilfe zum Verständnis der vorliegenden Erfindung.
In einer bevorzugten Ausführungsform umfasst der Satz räumlicher Parameter wenigstens einen Ortsbestimmungshinweis. Wenn die räumlichen Attribute einen oder mehrere, vorzugsweise zwei Ortsbestimmungshinweise sowie ein Maß der Gleichheit/Un gleichheit der entsprechenden Wellenformen aufweisen, wird eine besonders effiziente Codierung erreicht, während ein besonders hoher Pegel der perzeptuellen Qualität beibehalten wird.
Der Term Ortungshinweis umfasst jeden geeigneten Parameter, der Information über die Ortsbestimmung von akustischen Objekten befördert, die zu dem Audiosignal beitragen, beispielsweise die Orientierung eines akustischen Objektes und/oder der Abstand von demselben.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung umfasst der Satz räumlicher Parameter wenigstens zwei Ortsbestimmungshinweise, die eine Zwischenkanalpegeldifferenz (ILD) und eine Zwischenkanalzweitdifferenz (ITD) oder eine Zwischenkanalphasendifferenz (IPD) aufweisen. Interessant ist zu erwähnen, dass die Zwischenkanalpegeldifferenz und die Zwischenkanalzeitdifferenz als die wichtigsten Ortsbestimmungshinweise in der horizontalen Ebene betrachtet werden.
Das Maß der Gleichheit der Wellenformen, die dem ersten und dem zweiten Audiokanal entsprechen, entspricht einem Wert einer Kreuzkorrelationsfunktion bei einem Maximum der genannten Kreuzkorrelationsfunktion (auch als Kohärenz bekannt). Die maximale Zwischenkanalkreuzkorrelation ist stark relatiert an die perzeptuelle räumliche Diffusheit (oder Kompaktheit) einer Schallquelle, d. h. es wird zusätzliche Information geliefert, die nicht den oben genannten Ortsbestimmungshinweisen zugerechnet werden kann, wodurch ein Satz Parameter mit einem niedrigen Grad der Redundanz der dadurch beförderten Information geschaffen wird, wodurch auf diese Weise eine effiziente Codierung entsteht.
Nach einer bevorzugten Ausführungsform der vorliegenden Erfindung umfasst der Verfahrensschritt der Ermittlung eines Satzes räumlicher Parameter, hindeutend auf räumliche Eigenschaften, die Ermittlung eines Satzes räumlicher Parameter als eine Funktion der Zeit und der Frequenz.
Es ist eine Erkenntnis der vorliegenden Erfindung, dass es ausreicht, räumliche Attribute jedes beliebigen Mehrkanal-Audiosignals durch Spezifikation der ILD, der ITD (oder IPD) und der maximalen Korrelation als eine Funktion der Zeit und der Frequenz zu beschreiben.
Bei einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung umfasst der Verfahrensschritt der Ermittlung eines Satzes räumlicher Parameter, hin deutend auf räumliche Eigenschaften, Folgendes:

– das Aufteilen jedes der wenigstens zwei Eingangs-Audiokanäle in entsprechende Anzahlen Frequenzbänder,
– das für jedes der vielen Frequenzbänder Ermitteln des Satzes räumlicher Parameter, hindeutend auf räumliche Eigenschaften der wenigstens zwei Eingangs-Audiokanäle innerhalb des entsprechenden Frequenzbandes.

Folglich wird das eintreffende Audiosignal in verschiedene bandbegrenzte Signale aufgeteilt, die (vorzugsweise) linear in einem Abstand voneinander liegen, und zwar in einer ERB-Ratenskala. Vorzugsweise zeigen die Analysenfilter eine teilweise Überlappung in der Frequenz- und/oder Zeitdomäne. Die Bandbreite dieser Signale ist von der Mittenfrequenz abhängig, und zwar in Anlehnung an die ERB Rate. Daraufhin werden vorzugsweise für jedes Frequenzband die nachfolgenden Eigenschaften der eintreffenden Signale analysiert:

– Die Zwischenkanalpegeldifferenz, oder ILD, definiert durch die relativen Pegel des bandbegrenzten Signals, herrührend von dem linken und rechten Signal,
– Die Zwischenkanalzeitdifferenz (oder Phasendifferenz) (ITD oder IPD), definiert durch die Zwischenkanalverzögerung (oder Phasenverschiebung), entsprechend der Position der Spitze in der Zwischenkanalkreuzkorrelationsfunktion, und
– Die Gleichheit/Ungleichheit der Wellenformen, die nicht den ITD oder ILD zugerechnet werden kann, die durch die maximale Zwischenkanalkreuzkorrelation parameterisiert werden kann (d. h. der Wert der normalisierten Kreuzkorrelationsfunktion an der Stelle der maximalen Spitze, auch als Kohärenz bekannt).

Die drei oben beschriebenen Parameter variieren in der Zeit; da aber das binaurale akustische System sehr langsam in der Verarbeitung ist, ist die Aktualisierungsrate dieser Eigenschaften ziemlich niedrig (typischerweise einige Zehn Millisekunden).
Es kann an dieser Stelle vorausgesetzt werden, dass die oben genannten (langsam) in der Zeit variierenden Eigenschaften die einzigen räumlichen Signaleigenschaften sind, die das binaurale akustische System zur Verfügung hat, und dass aus diesen zeit- und frequenzabhängigen Parametern die wahrgenommene akustische Welt durch höhere Pegel des akustischen Systems neu konstruiert wird.
Ein wichtiger Punkt der Übertragung von Parameter ist die Genauigkeit der Parameterdarstellung (d. h. die Größe der Quantisierungsfehler), was unmittelbar mit der erforderlichen Übertragungskapazität zusammenhängt.
Nach wieder einer anderen bevorzugten Ausführungsform der vorliegenden Erfindung umfasst der Verfahrensschritt der Erzeugung eines codierten Signals, welches das Mono-Signal und den Satz quantisierter, räumlicher Parameter aufweist, die je einen entsprechenden Quantisierungsfehler in Bezug auf den entsprechenden ermittelten räumlichen Parameter einführen, wobei wenigstens einer der eingeführten Quantisierungsfehler derart gesteuert wird, dass er von einem Wert wenigstens eines der ermittelten räumlichen Parameter abhängig ist.
Folglich wird der durch die Quantisierung der Parameter eingeführte Quantisierungsfehler entsprechend der Empfindlichkeit des menschlichen Hörsystems für Änderungen in diesen Parameter gesteuert. Diese Empfindlichkeit ist stark abhängig von den Werten der Parameter selbst. Folglich wird durch eine derartige Steuerung, dass der Quantisierungsfehler von dem Wert der Parameter abhängig ist, eine verbesserte Codierung erzielt.
Es ist ein Vorteil der vorliegenden Erfindung, dass diese eine Entkopplung von Mono-Signalparametern und binauralen Signalparametern in Audiocodierern schafft. Folglich werden Schwiegigkeiten in Bezug auf Stereo-Audiocodierer weitgehend reduziert (wie die Hörbarkeit interaural nicht korrelierter Quantisierungsrauschanteile im Vergleich zu interaural korrelierten Quantisierungsrauschanteilen oder interauralen Phasenwidersprüchen in parametrischen Codierern, die in doppelter Mono-mode codieren).
Es ist ein weiterer Vorteil der vorliegenden Erfindung, dass eine starke Bitratenreduktion in Audiocodierern erreicht wird, und zwar wegen einer niedrigen Aktualisierungsrate und einer niedrigen Frequenzauflösung, erforderlich für die räumlichen Parameter. Die assoziierte Bitrate zum Codieren der räumlichen Parameter ist typischerweise 10 kBit/s oder weniger (siehe die nachstehend beschriebene Ausführungsform).
Es ist weiterhin ein Vorteil der vorliegenden Erfindung, dass sie auf einfache Art und Weise mit bestehenden Audiocodieren kombiniert werden kann. Das vorgeschlagene Schema erzeugt ein einziges Monosignal, das mit jeder beliebigen Codierungsstrategie codiert und decodiert werden kann. Nach monauraler Decodierung regeneriert das hier beschriebene System ein Stereo-Mehrkanalsignal mit den geeigneten räumlichen Attributen.
Der Satz räumlicher Parameter kann als Verbesserungsschicht in Audiocodierern verwendet werden. So wird beispielsweise ein Monosignal übertragen, wenn nur eine niedrige Bitrate erlaubt ist, während durch Einschließung der räumlichen Verbesserungsschicht der Decoder Stereo-Ton wiedergeben kann.
Wiedergabeschirm sei bemerkt, dass die vorliegende Erfindung sich nicht auf Stereosignale beschränkt, sondern auf jedes beliebige Mehrkanalsignal mit n Kanälen (n > 1) angewandt werden kann. Insbesondere kann die vorliegende Erfindung angewandt werden zum Erzeugen von n Kanälen aus einem Monosignal, wenn (n – 1) Sätze räumlicher Parameter übertragen werden. In diesem Fall beschreiben die räumlichen Parameter, wie die n verschiedenen Audiokanäle aus dem einzigen Monosignal gebildet werden können.
Es sei bemerkt, dass die Merkmale des oben und nachstehend beschriebenen Merkmale in Software implementiert und in einem Datenverarbeitungssystem oder in anderen Verarbeitungssystemen, verursacht durch die Durchführung von computerdurchführbaren Instruktionen durchgeführt werden können. Die Instruktionen können Programmcodemittel sein, die aus einem Speichermedium oder von einem anderen Computer über ein Computernetzwerk in einen Speicher, wie einen RAM, geladen sind. Auf alternative Weise können die beschriebenen Merkmale durch eine Hardware-Schaltung statt durch Software oder in Kombination mit Software, implementiert werden.
Die vorliegende Erfindung bezieht sich weiterhin auf einen Codierer zum Codieren eines Audiosignals, wie in Anspruch 8 definiert.
Es sei bemerkt, dass die oben genannten Mittel zum Erzeugen eines Monosignals, die Mittel zum Ermitteln eines Satzes räumlicher Parameter sowie Mittel zum Erzeugen eines codierten Signals durch jede beliebige geeignete Schaltungsanordnung oder Anordnung, wie beispielsweise durch programmierbare Allzweck- oder Spezialmikroprozessoren, implementiert werden können, wie digitale Signalprozessoren (DSP), Applikationsspezifische integrierte Schaltungen (ASIC), programmierbare logische Anordnungen (PLA), feldprogrammierbare Gatteranordnungen (FPGA), spezielle elektronische Schaltungsanordnungen usw. oder eine Kombination davon.
Die vorliegende Erfindung bezieht sich weiterhin auf eine Anordnung zum Liefern eines Audiosignals, wobei diese Anordnung Folgendes umfasst:

– einen Eingang zum Empfangen eines Audiosignals,
– einen Codierer, wie oben und nachstehend beschrieben, zum Codieren des Audiosignals zum Erhalten eines codierten Audiosignals, und
– einen Ausgang zum Liefern des codierten Audiosignals.

Die Anordnung kann jede beliebige elektronische Anordnung oder ein Teil einer derartigen Anordnung sein, wie eigenständige oder tragbare Computer, eigenständige oder tragbare Funkkommunikationsanordnungen oder andere Palmtop- oder tragbare Anordnungen, wie Mediaspieler, Aufzeichnungsanordnungen, usw. Der Ausdruck tragbare Funkkommunikationsanordnung umfasst alle Anordnungen, wie Mobiltelefone, Funkrufanordnungen, Kommunikatoren, d. h. elektronische Organizer, Smart Phones, PDAs, Palmtop-Computer, oder dergleichen.
Der Eingang kann jede beliebige geeignete Schaltungsanordnung oder Anordnung zum Empfangen eines Mehrkanalaudiosignals in analoger oder digitaler Form aufweisen, beispielsweise über eine verdrahtete Verbindung, wie einen Kabelstecker, über eine drahtlose Verbindung, beispielsweise ein Funksignal, oder auf eine andere Art und Weise.
Auf gleiche Weise kann der Ausgang jede beliebige geeignete Schaltungsanordnung oder Anordnung zum Liefern des codierten Signals aufweisen. Beispiele derartiger Ausgänge umfassen eine Netzwerkschnittstelle zum Liefern des Signals zu einem Computernetzwerk, wie ein LAN, ein Internet oder dergleichen, Kommunikationsschaltungen zur Übertragung des Signals über einen Kommunikationskanal, beispielsweise einen drahtlosen Kommunikationskanal usw. Bei anderen Ausführungsformen kann der Ausgang eine Anordnung zur Speicherung eines Signals auf einem Speichermedium aufweisen.
Die vorliegende Erfindung bezieht sich weiterhin auf ein codiertes Audiosignal, wie in Anspruch 10 definiert.
Die vorliegende Erfindung bezieht sich ferner auf ein Speichermedium, auf dem ein derartiges codiertes Signal gespeichert ist. In diesem Zusammenhang umfasst der Ausdruck Speichermedium ein Magnetband, eine optische Disk, eine digitale Videodisk (DVD), eine Kompaktdisk (CD oder CD-ROM), eine Minidisk, eine Festplatte, eine Floppy, einen ferroelektrischen Speicher, einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM), eine Flash-Speicherkarte, einen EPROM, einen Festwertspeicher (ROM), einen statischen RAM (SRAM), einen dynamischen RAM (DRAM), einen ferro magnetischen Speicher, einen optischen Speicher, ladungsgekoppelte Anordnungen, Chipkarten, eine PCMCIA-Karte, usw.
Die vorliegende Erfindung bezieht sich ebenfalls auf ein Verfahren zum Decodieren eines codierten Audiosignals, wie in Anspruch 12 definiert.
Die vorliegende Erfindung bezieht sich auch auf einen Decoder zum decodieren eines codierten Audiosignals, wie in Anspruch 13 definiert.
Es sei bemerkt, dass die oben stehenden Mittel durch jede beliebige geeignete Schaltungsanordnung oder Anordnung implementiert werden können, beispielsweise durch programmierbare Allzweck- oder Spezialmikroprozessoren, digitale Signalprozessoren (DSP), applikationsspezifische integrierte Schaltungen (ASIC), programmierbare logische Anordnungen (PLA), feldprogrammierbare Gatteranordnungen (FPGA), spezielle elektronische Schaltungsanordnungen usw. oder eine Kombination davon.
Die vorliegende Erfindung bezieht sich weiterhin auf eine Anordnung zum Liefern eines decodierten Audiosignal, wobei diese Anordnung Folgendes umfasst:

– einen Eingang zum Empfangen eines codierten Audiosignals,
– einen Decoder, wie oben und nachstehend beschrieben, zum Decodieren des codierten Audiosignals zum Erhalten eines Mehrkanal-Ausgangssignals,
– einen Ausgang zum Liefern oder Wiedergeben des Mehrkanal-Ausgangssignals.

Die Anordnung kann jede beliebige elektronische Anordnung oder ein Teil davon sein, wie oben beschrieben.
Der Eingang kann jede beliebige geeignete Schaltungsanordnung oder Anordnung zum Empfangen eines codierten Audiosignals umfassen. Beispiele derartiger Eingänge umfassen eine Netzwerkschnittstelle zum Empfangen des Signals über ein Computernetzwerk, wie ein LAN, ein Internet, oder dergleichen, eine Kommunikationsschaltung zum Empfangen des Signals über einen Kommunikationskanal, beispielsweise einen drahtlosen Kommunikationskanal, usw. Bei anderen Ausführungsformen kann der Eingang eine Anordnung zum Auslesen eines Signals aus einem Speichermedium umfassen.
Auf gleiche Weise kann der Ausgang jede beliebige geeignete Schaltungsanordnung oder Anordnung zum Liefern eines Mehrkanalsignals in digitaler oder analoger Form umfassen.
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 eins Flussdiagramm eines Verfahrens zum Codieren eines Audiosignals nach einer Ausführungsform der vorliegenden Erfindung,
2 ein schematisches Blockschaltbild eines Codierungssystems nach einer Ausführungsform der vorliegenden Erfindung,
3 ein Filterverfahren zur Anwendung beim Synthetisieren des Audiosignals, und
4 einen Dekorrelator zur Verwendung beim Synthetisieren des Audiosignals.
1 zeigt ein Flussdiagramm eines Verfahrens zum Codieren eines Audiosignals nach einer Ausführungsform der vorliegenden Erfindung.
In einem Anfangsschritt S1 werden die eintreffenden Signale L und R in Bandpasssignale L und R aufgeteilt (vorzugsweise mit einer Bandbreite, die mit der Frequenz zunimmt), angegeben durch das Bezugszeichen 101, so dass die Parameter als eine Funktion der Zeit analysiert werden können. Ein mögliches Verfahren zur Zeit/Frequenzslicing ist die Anwendung von Zeitfensterung mit einem nachfolgenden Transformationsvorgang, es könnten aber auch zeitkontinuierliche Verfahren angewandt werden (beispielsweise Filterbanken). Die Zeit- und Frequenzauflösung dieses Prozesses wird vorzugsweise an das Signal angepasst; für Übergangssignale wird eine feine Zeitauflösung (in der Größenordnung von einigen Millisekunden) bevorzugt, während für Nichtübergangssignale eine feinere Frequenzauflösung und eine gröbere Zeitauflösung (in der Größenordnung von einigen Zehn Millisekunden) bevorzugt wird. Daraufhin wird in dem Schritt S2 die Pegeldifferenz (ILD) entsprechender Teilbandsignale ermittelt; in dem Schritt S3 wird die Zeitdifferenz (ITD oder IPD) entsprechender Teilbandsignale ermittelt; und in dem Schritt S4 wird der Betrag an Gleichheit oder Ungleichheit der Wellenformen, die nicht den ILD oder ITD zugerechnet werden kann, beschrieben. Die Analyse dieser Parameter wird untenstehend beschrieben.
Schritt S2: Analyse von ILD
Die ILD wird durch die Pegeldifferenz der Signale zu einem bestimmten Zeitpunkt für ein bestimmtes Frequenzband ermittelt. Ein Verfahren zum Ermitteln der ILD ist den Effektivwert (rms) des entsprechenden Frequenzbandes der beiden Eingangskanäle zu ermitteln und das Verhältnis dieser Effektivwerte (vorzugsweise ausgedrückt in dB) zu berechnen.
Schritt S3: Analyse der ITD
Die ITD werden durch die Zeit- oder Phasenausrichtung ermittelt, was die beste Übereinstimmung zwischen den Wellenformen der beiden Kanäle ergibt. Ein Verfahren zum Erhalten der ITD ist das Berechnen der Kreuzkorrelationsfunktion zwischen zwei entsprechenden Teilbandsignalen und das Suchen nach dem Maximum. Die Verzögerung, die mit diesem Maximum in der Kreuzkorrelationsfunktion übereinstimmt, kann als ITD Wert verwendet werden. Ein zweites Verfahren ist das Berechnen der Analysensignale des linken und des rechten Teilbandes (d. h. das Berechnen die Phasen- und Umhüllendenwerte) und das Anwenden der (mittleren) Phasendifferenz zwischen den Kanälen als IPD Parameter.
Schritt S4: Analyse der Korrelation
Die Korrelation wird dadurch erhalten, dass zunächst die ILD und die ITD gefunden werden, welche die beste Übereinstimmung zwischen den entsprechenden Teilbandsignalen ergibt und dass danach die Gleichheit der Wellenformen gemessen wird, und zwar nach Kompensation der ITD und/oder ILD. Auf diese Weise wird in diesem Bezugssystem die Korrelation als "die Gleichheit oder Ungleichheit entsprechender Teilbandsignale, die nicht ILD und/oder ITD zugerechnet werden kann" definiert. Ein geeignetes Maß für diesen Parameter ist der Maximalwert der Kreuzkorrelationsfunktion (d. h. das Maximum über einen Satz von Verzögerungen). Es könnten aber, nicht nach der vorliegenden Erfindung, auch andere Maße angewandt werden, wie die relative Energie des Differenzsignals nach der ILD- und/oder der ITD-Kompensation im vergleich zu dem Summensignal entsprechender Teilbänder (vorzugsweise auch ILD- und/oder ITD-kompensiert). Dieser Differenzparameter ist im Grunde eine lineare Transformation der (maximalen) Korrelation.
In den nachfolgenden Schritten S5, S6 und S7 werden die ermittelten Parameter quantisiert. Ein wichtiger Punkt der Übertragung von Parametern ist die Genauigkeit der Parameterdarstellung (d. h. die Größe der Quantisierungsfehler), die sich unmittelbar auf die erforderliche Übertragungskapazität bezieht. In diesem Abschnitt werden verschiedene Punkte in Bezug auf die Quantisierung der räumlichen Parameter beschrieben. Der Grund gedanke ist, dass die Quantisierungsfehler auf sog. "gerade sprürbare Differenzen" der räumlichen Ortsbestimmungshinweise basiert werden. Um deutlicher zu sein, der Quantisierungsfehler wird durch die Empfindlichkeit des menschlichen Hörsystems für Änderungen in den Parametern ermittelt. Da die Empfindlichkeit für Änderungen in den Parameter stark abhängig ist von den Werten der Parameter selber, werden die nachfolgenden Verfahren zum Ermitteln der diskreten Quantisierungsschritte angewandt.
Schritt S5: Quantisierung von ILD
Aus der psychoakustischen Forschung ist es bekannt, dass die Empfindlichkeit für Änderungen in der ILD von der ILD selbst abhängig ist. Wenn die ILD in dB ausgedrückt wird, können Abweichungen von etwa 1 dB von einem Bezugswert von 0 dB detektiert werden, während Änderungen in der Größenordnung von 3 dB erforderlich sind, wenn die Bezugspegeldifferenz 20 dB beträgt. Deswegen "können Quantisierungsfehler größer sein, wenn die Signale des linken und rechten Kanals eine größere Pegeldifferenz haben". Dies kann beispielsweise dadurch angewandt werden, dass zunächst die Pegeldifferenz zwischen den Kanälen gemessen wird, und dass danach eine nicht lineare (kompressive) Transformation der erhaltenen Pegeldifferenz und daraufhin ein linearer Quantisierungsprozess durchgeführt wird, oder dadurch, dass eine Nachschlagtabelle für die verfügbaren ILD Werte verwendet wird, die eine nicht lineare Verteilung haben. Die nachstehende Ausführungsform gibt ein Beispiel einer derartigen Nachschlagtabelle.
Schritt S6: Quantisierung der ITD
Die Empfindlichkeit für Änderungen in den ITD menschlicher Subjekte kann als eine konstante Phasenschwelle gekennzeichnet werden. Dies bedeutet in Termen von Verzögerungszeiten, dass die Quantisierungsschritte für die ITD mit der Frequenz abnehmen sollen. Auf alternative Weise sollen, wenn die ITD in der Form von Phasendifferenzen dargestellt wird, die Quantisierungsschritte unabhängig von der Frequenz sein. Ein Verfahren um dies zu implementieren ist, dass eine feste Phasendifferenz als Quantisierungsschritt genommen wird und dass die entsprechende Zeitverzögerung für jedes Frequenzband ermittelt wird. Dieser ITD Wert wird danach als Quantisierungsschritt angewandt. Ein anderes Verfahren ist, die Phasendifferenzen zu übertragen, die einem frequenzunabhängigen Quantisierungsschema folgen. Es ist auch bekannt, dass über einer be stimmten Frequenz das menschliche Hörsystem für ITD in den fein strukturierten Wellenformen nicht empfindlich ist. Dieses Phänomen kann dadurch ausgenutzt werden, dass nur ITD Parameter bis an eine bestimmte Frequenz (typischerweise 2 kHz) übertragen werden.
Ein drittes Verfahren zur Bitstromreduktion ist, dass ITD Quantisierungsschritte, die von der ILD und/oder den Korrelationsparametern desselben Teilbandes abhängig sind, einverleibt werden. Für große ILD können die ITD weniger genau codiert werden. Weiterhin ist es bekannt, dass, wenn die Korrelation sehr gering ist, die menschliche Empfindlichkeit für Änderungen in der ITD reduziert wird. Folglich können größere ITD Quantisierungsfehler angewandt werden, wenn die Korrelation gering ist. Ein extremes Beispiel dieser Idee ist, dass, wenn die Korrelation unterhalb einer bestimmten Schwelle liegt und/oder wenn die ILD für dasselbe Teilband groß genug ist (typischerweise etwa 20 dB) überhaupt keine ITD übertragen werden.
Schritt S7: Quantisierung der Korrelation
Der Quantisierungsfehler der Korrelation ist abhängig von (1) dem Korrelationswert selber und möglicherweise von (2) der ILD. Korrelationswerte nahe bei +1 werden mit einer hohen Genauigkeit codiert (d. h. mit einem kleinen Quantisierungsschritt), während Korrelationswerte nahe bei 0 mit einer geringen Genauigkeit codiert werden (d. h. mit einem großen Quantisierungsschritt). Ein Beispiel eines Satzes nicht linear verteilter Korrelationswerte ist in der Ausführungsform gegeben. Eine zweite Möglichkeit ist, für die Korrelation Quantisierungsschritte zu verwenden, die von der gemessenen ILD desselben Teilbandes abhängig sind: für große ILD (d. h. ein Kanal ist in Termen der Energie dominant), werden die Quantisierungsfehler in der Korrelation größer. Ein extremes Beispiel dieses Prinzips wäre, dass Korrelationswerte für ein bestimmtes Teilband überhaupt nicht übertragen werden, wenn der Absolutwert der ILD für dieses Teilband eine bestimmte Schwelle übersteigt.
In dem Schritt S8 wird ein Mono-Signal S aus den eintreffenden Audiosignalen, beispielsweise als ein Summensignal der eintreffenden Signalanteile, erzeugt, und zwar durch Ermittlung eines dominanten Signals, durch Erzeugung eines wesentlichen Anteilsignals aus den eintreffenden Signalanteilen, oder dergleichen. Dieser Prozess benutzt vorzugsweise die extrahierten räumlichen Parameter zum Erzeugen des Monosignals, d. h. dadurch, dass vor der Kombination unter Verwendung der ITD oder der IPD zunächst die Teilbandwellenformen ausgerichtet werden.
Zum Schluss wird in dem Schritt S9 ein codiertes Signal 102 aus dem Mono-Signal und den ermittelten Parametern erzeugt. Auf alternative Weise können das Summensignal und die räumlichen Parameter als einzelne Signale über dieselben oder verschiedene Kanäle übertragen werden.
Es sei bemerkt, dass das oben genannte Verfahren durch eine entsprechende Anordnung implementiert werden kann, beispielsweise als programmierbare Allzweck- oder Spezialmikroprozessoren, digitale Signalprozessoren (DSP), applikationsspezifische integrierte Schaltungen (ASIC), programmierbare logische Anordnungen (PLA), feldprogrammierbare Gatteranordnungen (FPGA), spezielle elektronische Schaltungsanordnungen usw. oder eine Kombination davon.
2 zeigt ein schematisches Blockschaltbild eines Codierungssystems nach einer Ausführungsform der vorliegenden Erfindung. Das System umfasst einen Codierer 201 und einen entsprechenden Decoder 202. Der Codierer 201 empfängt ein Stereosignal mit zwei Komponenten L und R und erzeugt ein codiertes Signal 203 mit einem Summensignal S und mit räumlichen Parametern P, die dem Decoder 202 zugeführt werden. Das Signal 203 kann über jeden beliebigen geeigneten Kommunikationskanal 204 übertragen werden. Auf alternative oder zusätzliche Art und Weise kann das Signal auf einem entfernbaren Speichermedium 214, beispielsweise einer Speicherkarte, gespeichert werden, die von dem Codierer zu dem Decoder übertragen werden kann.
Der Codierer 201 umfasst Analysenmodule 205 und 206 zum Analysieren räumlicher Parameter der eintreffenden Signale L und R, vorzugsweise für jeden Zeit/Frequenzschlitz. Der Codierer umfasst weiterhin ein Parameterextraktionsmodul 207, das quantisierte räumliche Parameter erzeugt; und ein Kombiniermodul 208, das ein Summensignal (oder ein dominantes Signal) erzeugt, das aus einer bestimmten Kombination der wenigstens zwei Eingangssignale besteht. Der Codierer umfasst weiterhin ein Codierungsmodul 209, das ein resultierendes codiertes Signal 203 erzeugt, welches das Monosignal und die räumlichen Parameter umfasst. In einer Ausführungsform führt das Modul 209 weiterhin eine oder mehrere der nachfolgenden Funktionen durch: Bitratenzuordnung, Framing, verlustfreie Codierung usw.
Synthese (in dem Decoder 202) wird dadurch durchgeführt, dass die räumlichen Parameter dem Summensignal zugefügt werden, und zwar zum Erzeugen des linken und des rechten Ausgangssignals. Folglich umfasst der Decoder 202 ein Decodierungsmodul 210, das den invertierten Vorgang des Moduls 209 durchführt und das Summensignal S und die Parameter P aus dem codierten Signal 203 extrahiert. Der Decoder umfasst weiterhin ein Synthesemodul 211, das die Stereoanteile L und R aus dem Summensignal (oder dem dominanten Signal) und den räumlichen Parametern wiederherstellt.
In dieser Ausführungsform ist die räumliche Parameterbeschreibung mit einem monauralen (Einkanal) Audiocodierer kombiniert zum Codieren eines Stereo-Audiosignals. Es sei bemerkt, dass obschon die beschriebene Ausführungsform bei Stereosignalen funktioniert, die allgemeine Idee auf n-Kanal-Audiosignale, mit n > 1, angewandt werden kann.
In den Analysenmodulen 205 und 206 werden das linke und das rechte eintreffende Signal L und R in mehrere Zeitrahmen aufgeteilt (die beispielsweise je 2048 Abtastwerte bei einer Abtastrate von 44,1 kHz haben) und mit einem Quadratwurzel Hanning Fenster gefenstert. Daraufhin werden FFT berechnet. Die negativen FFT Frequenzen werden abgelegt und die resultierenden FFT werden in Gruppen (Teilbänder) von FFT Bins aufgeteilt. Die Anzahl FFT Bins, die in einem Teilband g kombiniert werden, ist von der Frequenz abhängig: bei höheren Frequenz werden mehr Bins kombiniert als bei niedrigeren Frequenzen. In einer Ausführungsform werden FFT Bins, die etwa 1,8 ERB ("Equivalent Rectangular Bandwidth") entsprechen, gruppiert, was zu 20 Teilbändern führt, um den ganzen hörbaren Frequenzbereich darzustellen. Die resultierende Anzahl FFT Bins S[g] jedes nachfolgenden Teilbandes (startend bei der niedrigsten Frequenz) ist:
S = [4 4 4 5 6 8 9 12 13 17 21 25 30 38 45 55 68 82 100 477]
Auf diese Weise enthalten die ersten drei Teilbänder 4 FFT Bins, das vierte Teilband enthält 5 FFT Bins, usw. Für jedes Teilband werden die entsprechende ILD, ITD und die Korrelation (r) berechnet. Die ITD und die Korrelation werden einfach dadurch berechnet, dass alle FFT Bins, die zu anderen Gruppen gehören, auf Null gesetzt werden, dass die resultierenden (bandbegrenzten) FFT aus dem linken und dem rechten Kanal multipliziert werden, wonach eine invertierte FFT Transformation durchgeführt wird. Die resultierende Kreuzkorrelationsfunktion wird für eine Spitze innerhalb der Zwischenkanalverzögerung zwischen –64 und +63 Abtastwerten abgetastet. Die interne Verzögerung ent sprechend der Spitze wird als ITD Wert verwendet und der Wert der Kreuzkorrelationsfunktion bei dieser Spitze wird als die Zwischenkanalkorrelation dieses Teilbandes verwendet. Zum Schluss wird die ILD einfach dadurch berechnet, dass das Leistungsgewicht des linken und des rechten Kanals für jedes Teilband genommen wird.
In dem Kombiniermodul 208 werden das linke und das rechte Teilband nach einer Phasenkorrektur (zeitliche Ausrichtung) summiert. Diese Phasenkorrektur folgt aus der berechneten ITD für dieses Teilband und besteht aus der Verzögerung des Linkskanal-Teilbandes um ITD/2 und des Rechtskanal-Teilbandes um –ITD/2. Die Verzögerung wird in der Frequenzdomäne durchgeführt, und zwar durch eine geeignete Modifikation der Phasenwinkel jedes FFT Bins. Daraufhin wird das Summensignal dadurch berechnet, dass die phasenmodifizierten Versionen des linken und des rechten Signals addier werden. Zum Schluss wird zum Kompensieren nicht korrelierter oder korrelierter Addierung jedes Teilband des Summensignals mit sqrt(2/(1 + r)) multipliziert, wobei r die Korrelation des entsprechenden Teilbandes ist. Nötigenfalls kann das Summensignal in die Zeitdomäne umgewandelt werden, und zwar durch (1) Einfügung konjugierter Zahlen bei negativen Frequenzen, (2) durch inverse FFT, (3) durch Fensterung, und (4) durch Überlappung-Hinzufügung.
In dem Parameterextraktionsmodul 207 werden die räumlichen Parameter quantisiert. ILD (in dB) werden quantisiert zu dem meist nahe liegenden Wert aus dem nachfolgenden Satz I:
I = [–19 –16 –13 –10 –8 –6 –4 –2 0 2 4 6 8 10 13 16 19]
ITD Quantisierungsschritte werden durch eine konstante Phasendifferenz in jedem Teilband von 0,1 rad ermittelt. Auf diese Weise wird für jedes Teilband die Zeitdifferenz, die dem Wert 0,1 rad der Mittenfrequenz des Teilbandes entspricht, als Quantisierungsschritt benutzt. Für Frequenzen über 2 kHz wird keine ITD Information übertragen.
Zwischenkanalkorrelationswerte r werden zu dem meist nahe liegenden Wert des nachfolgenden Gebildes R quantisiert:
R = [1 0,95 0,9 0,82 0,75 0,6 0,3 0]
Dies kostet wieder 3 Bits je Korrelationswert.
Wenn der Absolutwert der (quantisierten) ILD des aktuellen Teilbandes 19 dB beträgt, werden keine ITD und Korrelationswerte für dieses Teilband übertragen. Wenn der (quantisierte) Korrelationswert eines bestimmten Teilbandes Null beträgt, wird kein ITD Wert für dieses Teilband übertragen.
Auf diese Weise erfordert jedes Frame maximal 233 Bits um die räumlichen Parameter zu übertragen. Mit einer Framelänge von 1024 Frames beträgt die maximale Bitrate zur Übertragung 10,25 kbit/s. Es sei bemerkt, dass durch Anwendung von Entropiecodierung oder differenzieller Codierung diese Bitrate weiter reduziert werden kann.
Der Decoder umfasst ein Synthesemodul 211, wobei das Stereosignal aus dem empfangenen Summensignal und den räumlichen Parameter synthetisiert wird. Folglich wird zwecks der vorliegenden Beschreibung vorausgesetzt, dass das Synthesemodul eine Frequenzdomänendarstellung des Summensignals, wie oben beschrieben, empfangt. Diese Darstellung kann durch Fensterung und durch FFT Vorgänge der Zeitdomänen-Wellenform erhalten werden. Erstens wird das Summensignal zu dem linken und rechten Ausgangssignal kopiert. Daraufhin wird die Korrelation zwischen dem linken und dem rechten Signal mit einem Dekorrelator modifiziert. In einer bevorzugten Ausführungsform wird ein Dekorrelator, wie nachstehend beschrieben, verwendet. Daraufhin wird jedes Teilband des linken Signals um –ITD/2 verzögert, und das rechte Signal wird um ITD/2 verzögert, was die (quantifizierte) ITD ergibt, entsprechend diesem Teilband. Zum Schluss werden das linke und das rechte Teilband entsprechend der ILD für dieses Teilband skaliert. In einer Ausführungsform wird die oben genannte Modifikation durch ein Filter durchgeführt, wie nachstehen Beschrieben wird. Um die Ausgangssignale in die Zeitdomäne umzuwandeln werden die nachfolgenden Verfahrensschritte durchgeführt:
(1) das Einfügen konjugierter Zahlen bei negativen Frequenzen, (2) invertierte FTT, (3) Fensterung und (4) Überlappung-Addierung.
3 zeigt ein Filterverfahren zur Anwendung beim Synthetisieren des Audiosignals. In einem Anfangsschritt 301 wird das eintreffende Audiosignal x(t) in eine Anzahl Frames segmentiert. Der Segmentierungsschritt 301 spaltet das Signal in Frames x_n(t) einer geeigneten Länge auf, beispielsweise im Bereich von 500–5000 Abtastwerten, beispielsweise 1024 0der 2048 Abtastwerte.
Vorzugsweise wird die Segmentierung unter Anwendung von Überlappungsanalysen- und Synthesefensterfunktionen durchgeführt, wobei Artefakte unterdrückt werden, die an den Framerändern eingeführt werden können (siehe beispielsweise Princen, J. P. und Bradley, A. B.: "Analysis/synthesis filterbank design based an time domain alia sing cancellation", "IEEE transactions an Acoustics, Speech and Signal processing", Heft ASSP 34, 1986).
In dem Schritt 302 wird jedes der Frames x_n(t) in die Frequenzdomäne transformiert, und zwar durch Anwendung einer Fourier Transformation, vorzugsweise als eine schnelle Fourier Transformation (FFT) implementiert. Die resultierende Frequenzdarstellung des n. Frames x_n(t) umfasst eine Anzahl Frequenzanteile X(k, n), wobei der Parameter n die Framenummer und der Parameter k den Frequenzanteil oder das Frequenzbin angibt, entsprechend einer Frequenz ω_k, wobei 0 < k < K. Im Allgemeinen sind die Frequenzdomänenanteile X(k, n) komplexe Zahlen.
In dem Schritt 303 wird das gewünschte Filter für das aktuelle Frame ermittelt, und zwar entsprechend den empfangenen zeitvariablen räumlichen Parameter. Das gewünschte Filter wird als gewünschte Filterantwort mit einem Satz von K komplexen Gewichtungsfaktoren F(k, n), wobei 0 < k < K, für das n. Frame ausgedrückt. Die Filterantwort F(k, n) kann durch zwei reelle Zahlen dargestellt werden, d. h. die Amplitude a(k, n) und die Phase φ(k, n) entsprechend F(k, n) = a(k, n)·exp[j φ(k, n)].
In der Frequenzdomäne sind die gefilterten Frequenzanteile Y(k, n) = F(k, n)·X(k, n), d. h. sie sind das Ergebnis einer Multiplikation der Frequenzanteile X(k, n) des Eingangssignals mit der Filterantwort F(k, n). Wie es dem Fachmann einleuchten dürfte, entspricht diese Multiplikation in der Frequenzdomäne einer Faltung des Eingangssignalframes x_n(t) mit einem entsprechenden Filter f_n(t).
In dem Schritt 304 wird die gewünschte Filterantwort F(k, n) vor Anwendung auf das aktuelle Frame X(k, n) modifiziert. Insbesondere wird die aktuelle anzuwendende Filterantwort F'(k, n) als eine Funktion der gewünschten Filterantwort F(k, n) und der Information 308 über vorhergehende Frames ermittelt. Vorzugsweise umfasst diese Information die aktuelle und/oder die gewünschte Filterantwort eines oder mehrerer vorhergehender Frames, und zwar entsprechend: F'(k, n) = a'(k, n)·exp[j φ'(k, n)] = Φ[F(k, n), F(k, n – 1), F(k, n – 2), ..., F'(k, n–1), F'(k, n–2), ...].
Folglich können dadurch, dass die wirkliche Filterantwort von der Historie vorhergehender Filterantworten abhängig gemacht wird, Artefakte, die durch Änderungen in der Filterantwort zwischen aufeinander folgenden Frames eingeführt wurden, auf effiziente Art und Weise unterdrückt werden. Vorzugsweise wird die aktuelle Form der Transformationsfunktion Φ selektiert um Überlappungs-Additionsartefakte, herrührend aus dynamisch variierenden Filterantworten, zu reduzieren.
So kann beispielsweise die Transformationsfunktion Φ eine Funktion einer einzigen vorhergehenden Antwortfunktion sein, beispielsweise. F'(k, n) = Φ₁[F(k, n), F(k, n – 1)] oder F'(k, n) = Φ₂[F(k, n), F'(k, n – 1)]. In einer anderen Ausführungsform kann die Transformationsfunktion einen fließenden Mittelwert über eine Anzahl vorhergehender Antwortfunktionen aufweisen, beispielsweise eine gefilterte Version vorhergehender Antwortfunktionen oder dergleichen. Bevorzugte Ausführungsformen der Transformationsfunktion Φ werden nachstehend detailliert beschrieben.
In dem Schritt 305 wird die aktuelle Filterantwort F'(k, n) auf das aktuelle Frame angewandt, und zwar durch Multiplikation der Frequenzanteile X(k, n) der aktuellen Frames des Eingangssignals mit den entsprechenden Filterantwortfaktoren F'(k, n) entsprechend Y(k, n) = F'(k, n)·X(k, n).
In dem Schritt 306 werden die resultierenden verarbeiteten Frequenzanteile Y(k, n) in die Zeitdomäne zurück transformiert, was zu gefilterten Frames y_n(t) führt. Vorzugsweise wird die invertierte Transformation als eine invertierte schnelle Fourier Transformation (IFFT) implementiert.
Zum Schluss werden in dem Schritt 307 die gefilterten Frames zu einem gefilterten Signal y(t) neu kombiniert, und zwar durch ein Überlappungs-Addierungsverfahren. Eine effiziente Implementierung eines derartigen Verfahrens ist beschrieben in Bergmans, J. W. M.: "Digital baseband transmission and recording", Kluwer, 1996.
In einer Ausführungsform wird die Transformationsfunktion Φ des Schrittes 304 als einen Phasenänderungsbegrenzer zwischen dem aktuellen und dem vorhergehenden Frame implementiert. Nach dieser Ausführungsform wird die Phasenänderung δ(k) jedes Frequenzanteils F(k, n) im Vergleich zu der aktuellen Phasenmodifikation φ'(k, n – 1), angewandt auf den vorhergehenden Abtastwert des entsprechenden Frequenzanteils berechnet, d. h. δ(k) = φ(k, n) – φ'(k, n – 1).
Daraufhin wird der Phasenanteil des gewünschten Filters F(k, n) derart modifiziert, dass die Phasenänderung über Frames reduziert wird, wenn die Änderung zu Überlappungs-Additionsartefakten führen würde. Nach dieser Ausführungsform wird dies da durch erreicht, dass gewährleistet wird, dass die wirkliche Phasendifferenz eine vorbestimmte Schwelle c nicht übersteigt, beispielsweise durch einfache Beschneidung der Phasendifferenz, entsprechend:
Der Schwellenwert c kann eine vorbestimmte Konstante sein, beispielsweise zwischen π/8 und π/3 rad. In einer Ausführungsform kann die Schwelle c nicht eine Konstante sein, sondern beispielsweise eine Funktion der Zeit, der Frequenz und/oder dergleichen. Weiterhin können als Alternative gegenüber der oben stehenden harten Grenze für die Phasenänderung andere Phasenänderungsbegrenzungsfunktionen angewandt werden.
Im Allgemeinen wird in der oben stehenden Ausführungsform die gewünschte Phasenänderung über aufeinander folgende Zeitframes für einzelne Frequenzanteile durch eine Eingangs-Ausgangsfunktion P(δ(k)) und die aktuelle Filterantwort F'(k, n) wird gegeben durch: F'(k, n) = F'(k, n – 1)·exp[j P(δ(k))]. (2)
Folglich wird nach dieser Ausführungsform eine Transformationsfunktion P der Phasenänderung über aufeinander folgende Zeitframes eingeführt.
In einer anderen Ausführungsform der Transformation der Filterantword wird die Phasenbegrenzungsprozedur durch eine geeignete Maßnahme der Tonalität angetrieben, beispielsweise ein Prädiktionsverfahren, wie nachstehend beschrieben. Dies hat den Vorteil, dass Phasensprünge zwischen aufeinander folgenden Frames, die in rauschartigen Signalen auftreten, von der Phasenänderungsbegrenzungsprozedur nach der vorliegenden Erfindung ausgeschlossen werden können. Dies ist ein Vorteil, da Begrenzung derartiger Phasensprünge in rauschartigen Signalen dazu (ihren würden, dass die rauschartigen Signale mehr tonal klingen, was oft als synthetisch oder metallisch erfahren wird.
Nach dieser Ausführungsform wird ein vorhergesagter Phasenfehler δ(k) φ(k, n) – φ(k, n – 1) – ω_k·h berechnet. Hier bezeichnet ω_k die Frequenz entsprechend dem k. Frequenzanteil und h bezeichnet die Sprunggröße in Abtastwerten. Hier bezieht sich der Term Sprunggröße auf die Differenz zwischen zwei benachbarten Fenstermitten, d. h. die Analysenlänge für symmetrische Fenster. Nachstehend wird vorausgesetzt, dass der oben stehende Fehler bis an das Intervall [–n, +n] eingewickelt ist.
Daraufhin wird eine Prädiktionsmaßnahme P_k für den Betrag der Phasenvorhersagbarkeit in dem k. Frequenz-Bin berechnet, und zwar entsprechend: to P_k = (π – |θ(k)|)/π ∈ [0, 1], wobei |·| den Absolutwert bezeichnet.
Folglich ergibt die oben stehende Maßnahme P_k einen Wert zwischen 0 und 1, entsprechend dem Betrag an Phasenvorhersagbarkeit in dem k. Frequenz-Bin. Wenn P_k nahe bei 1 ist, kann vorausgesetzt werden, dass das unterliegende Signal einen hohen Tonalitätsgrad hat, d. h. eine im Wesentlichen sinusförmige Wellenform. Für ein derartiges Signal sind Phasensprünge leicht wahrnehmbar, beispielsweise von einem Zuhörer eines Audiosignals. Folglich sollten Phasensprünge vorzugsweise in diesem Fall entfernt werden. Andererseits kann, wenn der Wert von P_k nahe bei 0 liegt, das unterliegende Signal als rauschbehaftet vorausgesetzt werden. Für geräuschvolle Signale lassen sich Phasensprünge nicht leicht erfahren und können deswegen erlaubt werden.
Auf entsprechende Weise wird die Phasenbegrenzungsfunktion angewandt, wenn P_k eine vorbestimmte Schwelle übersteigt, d. h. P_k > A, was zu der aktuellen Filterantwort F'(k, n) führt, und zwar entsprechend:
Hier wird A durch die obere und untere Grenze von P begrenzt, wobei diese Grenzen +1 und 0 sind. Der genaue Wert von A ist von der wirklichen Implementierung abhängig. So kann beispielsweise A zwischen 0,6 und 0,9 selektiert werden.
Es dürfte einleuchten, dass auf alternative Weise jede andere beliebige geeignete Maßnahme zum Schätzen der Tonalität angewandt werden kann. In noch einer anderen Ausführungsform kann der oben beschriebene erlaubte Phasensprung c von einem geeigneten Maß der Tonalität abhängig gemacht werden, beispielsweise von dem oben genannten Maß P_k, wodurch größere Phasensprünge erlaubt werden, wenn P_k groß ist und umgekehrt.
4 zeigt einen Dekorrelator zur Verwendung bei der Synthetisierung des Audiosignals. Der Dekorrelator umfasst ein Allpassfilter 401, welches das Mono-Signal x und einen Satz räumlicher Parameter P einschließlich der Zwischenkanal-Kreuzkorrelation r und einen Parameter, der für die Kanaldifferenz c indikativ ist, empfängt. Es sei bemerkt, dass der Parameter c mit der Zwischenkanalpegeldifferenz relatiert ist durch ILD = k·log(c), wobei k eine Konstante ist, d. h. ILD ist proportional zu dem Logarithmus von c.
Vorzugsweise umfasst das Allpassfilter eine frequenzabhängige Verzögerung, die eine relativ geringere Verzögerung bei den hohen Frequenzen als bei niedrigen Frequenz schafft. Dies kann dadurch erreicht werden, dass eine feste Verzögerung des Allpassfilters durch ein Allpassfilter mit einer einzigen Periode eines Schroeder-Phasenkomplexes ersetzt wird (siehe beispielsweise M. R. Schroeder: "Synthesis of low-peak-factor signals and binary sequences with low autocorrelation", "IEEE Transact. Inf. Theor., 16: 85–89, 1970). Der Dekorrelator umfasst weiterhin eine Analysierschaltung 402, welche die räumlichen Parameter von dem Decoder empfängt und die Zwischenkanalkreuzkorrelation r und die Kanaldifferenz c extrahiert. Die Schaltungsanordnung 402 ermittelt eine Mischmatrix M(α, β), wie nachstehend noch näher beschrieben wird. Die Anteile der Mischmatrix werden in die Transformationsschaltung 403 eingegeben, die weiterhin das Eingangssignal x und das gefilterte Signal H⊎x empfängt. Die Schaltungsanordnung 403 führt einen Mischvorgang durch, und zwar wie folgt:
was zu den Ausgangssignalen L und R führt.
Die Korrelation zwischen den Signalen L und R kann als einen Winkel α zwischen Vektoren ausgedrückt werden, die das L bzw. das R Signal darstellen, in einem Raum überspannt durch die Signale x und H⊎x, entsprechend r = cos(α). Folglich hat jedes beliebige Vektorpaar, das den richtigen Winkelabstand zeigt, die spezifizierte Korrelation.
Folglich kann eine Mischmatrix M, welche die Signale x und H⊎x in Signale L und R mit einer vorbestimmten Korrelation r transformiert, wie folgt ausgedrückt werden:
Auf diese Weise ist der Betrag des allpassgefilterten Signals abhängig von der gewünschten Korrelation. Weiterhin ist die Energie des Allpass-Signalanteils in den beiden Ausgangskanälen die gleiche (aber mit einer 180° Phasenverschiebung). Es sei bemerkt, dass der Fall, in dem die Matrix M gegeben wird durch:
d. h. der Fall, in dem α = 90° entsprechend nicht korrelierten Ausgangssignalen (r = 0), entspricht einem Lauridsen Dekorrelator.
Um ein Problem mit der Matrix der Gleichung (5) zu illustrieren wird eine Situation mit einer extremen Amplitude, schwenkend in Richtung des linken Kanals vorausgesetzt, d. h. ein Fall, in dem ein bestimmtes Signal nur in dem linken Kanal vorhanden ist. Es wird weiterhin vorausgesetzt, dass die gewünschte Korrelation zwischen den Ausgängen Null ist. In diesem Fall ergibt der Ausgang des linken Kanals der Transformation der Gleichung (3) mit der Mischmatrix der Gleichung (5) Folgendes:
L = 1/√2(x + H⊎x). Auf diese Weise besteht der Ausgang aus dem ursprünglichen Signal x kombiniert mit der allpassgefilterten Version H⊎x.
Dies ist aber eine unerwünschte Situation, da das Allpassfilter meistens die Perzeptionsqualität des Signals verschlechtert. Weiterhin führt das Addieren des ursprünglichen Signals zu dem gefilterten Signal zu Kammfiltereffekten, wie erfahrener Kolorierung des Ausgangssignals. In diesem vorausgesetzten Extremfall wäre die beste Lösung, dass das linke Ausgangssignal aus dem Eingangssignal bestehen würde. Auf diese Weise wäre die Korrelation zwischen den zwei Ausgangssignalen dennoch Null.
In Situationen mit mehr gemäßigten Pegeldifferenzen ist die bevorzugte Situation, dass der lautere Ausgangskanal relativ mehr von dem Originalsignal enthält und der leisere Ausgangskanal enthält relativ mehr von dem gefilterten Signal. Folglich wird im Allgemeinen bevorzugt, den Betrag des Originalsignals in den zwei Ausgängen zusammen zu maximieren und den Betrag des gefilterten Signals zu minimieren.
Nach dieser Ausführungsform wird dies durch Einführung einer anderen Mischmatrix mit einer zusätzlichen gemeinsamen Drehung erreicht:
Hier ist β eine zusätzliche Drehung, und C ist eine Skalierungsmatrix, die gewährleistet, dass die relative Pegeldifferenz zwischen den Ausgangssignalen gleich c ist, d. h.:
Das Einfügen der Matrix der Gleichung (6) in die Gleichung (3) ergibt die Ausgangssignale, die durch den Matrizierungsvorgang entsprechend dieser Ausführungsform erzeugt worden sind:
Folglich haben die Ausgangssignale L und R dennoch eine Winkeldifferenz α, d. h. die Korrelation zwischen dem L und dem R Signal wird nicht durch die Skalierung der Signals L und R entsprechend der gewünschten Pegeldifferenz und die zusätzliche Drehung um einen Winkel β des L und des R Signals beeinträchtigt.
Wie oben erwähnt soll vorzugsweise der Betrag des ursprünglichen Signals x in dem summierten Ausgang von L und R maximiert werden. Diese Bedingung kann angewandt werden um den Winkel β zu ermitteln, und zwar entsprechend:
was die nachfolgende Bedingung ergibt:
Zusammengefasst beschreibt die vorliegende Erfindung eine psychoakustisch motivierte parametrische Beschreibung der räumlichen Attribute von Mehrkanal-Audiosignalen. Diese parametrische Beschreibung ermöglicht eine starke Bitratenreduktion in Audiocodierern, da nur ein einziges Mono-Signal übertragen zu werden braucht, dies kombiniert mit (quantisierten) Parameter, welche die räumlichen Eigenschaften des Signals beschreiben. Der Decoder kann den ursprünglichen Betrag der Audiokanäle dadurch formen, dass die räumlichen Parameter angewandt werden. Für nahezu CD-Qualitäts-Stereoaudio scheint eine Bitrate, assoziiert mit diesen räumlichen Parametern von 10 kbit/s oder weniger ausreichend zum Reproduzieren des richtigen räumlichen Eindrucks an dem empfangenden Ende. Diese Bitrate kann dadurch weiter herunter skaliert werden, dass die spektrale und/oder zeitliche Auflösung der räumlichen Parameter reduziert und/oder die räumlichen Parameter unter Anwendung verlustfreier Kompressionsalgorithmen verarbeitet werden.
Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung illustrieren statt begrenzen, und dass der Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche viele alternative Ausführungsformen zu entwerfen.
So ist beispielsweise die vorliegende Erfindung primär im Zusammenhang mit einer Ausführungsform beschrieben worden, wobei die zwei Ortsbestimmungshinweise ILD und ITD/IPB verwendet werden. Bei alternativen Ausführungsformen können andere Ortsbestimmungshinweise angewandt werden. Weiterhin können in einer Ausführungsform die ILD, die ITD/IPD, und die Zwischenkanalkreuzkorrelation wie oben beschriebenen ermittelt werden, aber nur die Zwischenkanalkreuzkorrelation wird zusammen mit dem Monosignal übertragen, wodurch weiterhin die erforderliche Bandbreite/Speicherkapazität zur Übertragung/Speicherung des Audiosignals reduziert wird. Auf alternative Art und Weise kann die Zwischenkanalkreuzkorrelation und die ILD oder die ITD/TPD übertragen werden. Bei diesen Ausführungsformen wird das Signal aus dem Monosignal auf Basis nur der übertragenen Parameter synthetisiert.
In den Patentansprüchen sollen eingeklammerte Bezugszeichen nicht als den Anspruch begrenzend betrachtet werden. Das Wort "umfassen" schließt das Vorhandensein von Elementen oder Verfahrensschritten anders als diejenigen, die in einem Anspruch genannt sind, nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus.
Die vorliegende Erfindung kann mit Hilfe von Hardware mit verschiedenen einzelnen Elementen, und mit Hilfe eines auf geeignete Art und weise programmierten Computers implementiert werden. In dem Anordnungsanspruch, in dem verschiedene Mittel nummeriert sind, können verschiedene dieser Mittel von ein und demselben Hardware-Item verkörpert werden. Die Tatsache, dass bestimmte Maßnahmen in unter einander verschiedenen Unteransprüchen genannt worden sind, gibt nicht an, das eine Kombination dieser Maßnahmen nicht mit Vorteil angewandt werden kann.

Claims

Verfahren zum Codieren eines Audiosignals, wobei das Verfahren Folgendes umfasst: – das Erzeugen (S8) eines Mono-Signals mit einer Kombination von wenigstens zwei Eingangs-Audiokanälen (L, R), – das Ermitteln (S2, S3, S4) eines Satzes räumlicher Parameter (ILD, ITD, C), hindeutend auf räumliche Eigenschaften der wenigstens zwei Eingangs-Audiokanäle, wobei der Satz räumlicher Parameter einen Parameter (C) aufweist, der ein Maß von Gleichheit von Wellenformen der wenigstens zwei Eingangs-Audiokanäle darstellt, – das Erzeugen (S5, S6, S7, S9) eines codierten Signals mit dem Mono-Signal und mit dem Satz räumlicher Parameter dadurch gekennzeichnet, dass das Maß von Gleichheit einem Wert einer Kreuzkorrelationsfunktion bei einem Maximum der genannten Kreuzkorrelationsfunktion entspricht.
Verfahren nach Anspruch 1, wobei der Verfahrensschritt der Ermittlung eines Satzes räumlicher Parameter, hindeutend auf räumliche Eigenschaften, die Ermittlung eines Satzes räumlicher Parameter als eine Funktion der Zeit und der Frequenz umfasst.
Verfahren nach Anspruch 2, wobei der Verfahrensschritt der Ermittlung eines Satzes räumlicher Parameter, hindeutend auf räumliche Eigenschaften Folgendes umfasst: – das Aufteilen jedes der wenigstens zwei Eingangs-Audiokanäle in entsprechende Anzahlen Frequenzbänder, – das für jedes der vielen Frequenzbänder Ermitteln des Satzes räumlicher Parameter, hindeutend auf räumliche Eigenschaften der wenigstens zwei Eingangs-Audiokanäle innerhalb des entsprechenden Frequenzbandes.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der Satz räumlicher Parameter wenigstens einen Ortsbestimmungshinweis aufweist.
Verfahren nach Anspruch 4, wobei der Satz räumlicher Parameter wenigstens zwei Ortsbestimmungshinweise aufweist, die eine Zwischenkanalpegeldifferenz und eine selektierte Zwischenkanalzeitdifferenz oder eine Zwischenkanalphasendifferenz aufweist.
Verfahren nach Anspruch 4 oder 5, wobei das Maß der Gleichheit Information aufweist, die nicht auf die Ortsbestimmungshinweise entfallen können.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der Verfahrensschritt der Erzeugung eines codierten Signals, welches das Mono-Signal umfasst und den Satz räumlicher Parameter, die Erzeugung eines Satzes quantisierter räumlicher Parameter umfasst, die je einen entsprechenden Quantisierungsfehler gegenüber dem entsprechenden ermittelten räumlichen Parameter einführt, wobei wenigstens einer der eingeführten Quantisierungsfehler gesteuert wird um von einem Wert wenigstens eines der ermittelten räumlichen Parameter abhängig zu sein.
Codierer zur Codierung eines Audiosignals, wobei der Codierer Folgendes umfasst: – Mittel zum Erzeugen eines Mono-Signals mit einer Kombination wenigstens zweier Eingangs-Audiosignale, – Mittel zum Ermitteln eines Satzes räumlicher Parameter, hinweisend auf räumliche Eigenschaften der wenigstens zwei Eingangs-Audiokanäle, wobei der Satz räumlicher Parameter einen Parameter aufweist, der ein Maß der Gleichheit von Wellenformen der wenigstens zwei Eingangs-Audiokanäle darstellt, und – Mittel zum Erzeugen eines codierten Signals mit dem Mono-Signal und dem Satz räumlicher Parameter, dadurch gekennzeichnet, dass das Maß der Gleichheit einem Wert einer Kreuzkorrelationsfunktion bei einem Maximum der genannten Kreuzkorrelationsfunktion entspricht.
Anordnung zum Liefern eines Audiosignals, wobei diese Anordnung Folgendes umfasst: – einen Eingang zum Empfangen eines Audiosignals, – einen Codierer nach Anspruch 8 zum Codieren des Audiosignals zum Erhalten eines codierten Audiosignals, und – einen Ausgang zum Liefern des codierten Audiosignals.
Codiertes Audiosignal, wobei das Signal Folgendes umfasst: – ein Mono-Signal mit einer Kombination wenigstens zweier Audiokanäle, und – einen Satz räumlicher Parameter, hindeutend auf räumliche Eigenschaften der wenigstens zwei Eingangs-Audiokanäle, wobei der Satz räumlicher Parameter einen Parameter aufweist, der ein Maß der Gleichheit von Wellenformen der wenigstens zwei Eingangs-Audiokanäle darstellt, dadurch gekennzeichnet, dass das Maß der Gleichheit einem Wert einer Kreuzkorrelationsfunktion bei einem Maximum der genannten Kreuzkorrelationsfunktion entspricht.
Speichermedium, auf dem ein codiertes Signal nach Anspruch 10 gespeichert ist.
Verfahren zum Decodieren eines codierten Audiosignals, wobei das Verfahren Folgendes umfasst: – das Erhalten (210) eines Mono-Signals (S) aus dem codierten Audiosignal (203), wobei das Mono-Signal eine Kombination wenigstens zweier Audiokanäle (L, R) aufweist, – das Erhalten (210) eines Satzes räumlicher Parameter (P) aus dem codierten Audiosignal, und – das Erzeugen (211) eines Mehrkanal-Ausgangssignals aus dem Mono-Signal und den räumlichen Parametern, wobei der Satz räumlicher Parameter einen Parameter aufweist, der ein Maß der Gleichheit von Wellenformen des Mehrkanal-Ausgangssignals darstellt, dadurch gekennzeichnet, dass das Maß der Gleichheit einem Wert einer Kreuzkorrelationsfunktion bei einem Maximum der genannten Kreuzkorrelationsfunktion des Mehrkanal-Ausgangssignals entspricht.
Decoder (202) zum Decodieren eines codierten Audiosignals, wobei der Decoder Folgendes umfasst: – Mittel (210) zum Erhalten eines Mono-Signals aus dem codierten Audiosignal, wobei das Mono-Signal (S) eine Kombination wenigstens zweier Audiokanäle (L, R) aufweist, und – Mittel (210) zum Erhalten eines Satzes räumlicher Parameter (P) aus dem codierten Audiosignal, und – Mittel zum Erzeugen (211) eines Mehrkanal-Ausgangssignals aus dem Mono-Signal und den räumlichen Parameter, wobei der Satz räumlicher Parameter einen Parameter aufweist, der ein Maß der Gleichheit von Wellenformen des Mehrkanal-Ausgangssignals darstellt dadurch gekennzeichnet, dass das Maß der Gleichheit einem Wert einer Kreuzkorrelationsfunktion bei einem Maximum der genannten Kreuzkorrelationsfunktion des Mehrkanal-Ausgangssignals entspricht.
Anordnung zum Liefern eines decodierten Audiosignals, wobei die Anordnung Folgendes umfasst: – einen Eingang zum Empfangen eines codierten Audiosignals, – eine Decoder nach Anspruch 13 zum Decodieren des codierten Audiosignals zum Erhalten eines Mehrkanal-Ausgangssignals, und – einen Ausgang zum Liefern oder Wiedergeben des Mehrkanal-Ausgangssignals.