EP2353305B1

EP2353305B1 - Verfahren zum erzeugen eines abwärtskompatiblen tonformates

Info

Publication number: EP2353305B1
Application number: EP09753036.4A
Authority: EP
Inventors: Gerhard Stoll; Jens Groh; Martin Link; Jörg DEIGMÖLLER; Bernfried Runow; Martin Keil
Original assignee: Institut fuer Rundfunktechnik GmbH
Current assignee: Institut fuer Rundfunktechnik GmbH
Priority date: 2008-11-11
Filing date: 2009-11-07
Publication date: 2016-03-23
Anticipated expiration: 2029-11-07
Also published as: KR101575185B1; US20120014526A1; JP5720897B2; DE102008056704A1; CN102217330B; DE102008056704B4; EP2353305A1; WO2010054780A1; JP2012508489A; KR20110104490A; US8942380B2; CN102217330A

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1. Ein derartiges Verfahren ist aus der Druckschrift Griesinger D.: "Progress in 5-2-5 Matrix Systems", URL: "http://www.lexicon.com/logic7/whitepapers.asp" bekannt.
Im Rundfunk, Internet und Heimbereich hat mittlerweile neben Zweikanal-Stereo und Mono auch das 5.1 Tonformat Einzug erhalten. Durch die Zunahme der verfügbaren Tonformate steigt somit auch der Aufwand der Audioproduktion, d.h. der Aufwand der Aufnahme und Abmischung in die entsprechenden Tonformate. Ebenso muss eine Kompatibilität zu den Wiedergabegeräten gewährleistet sein, damit diese unabhängig von der Anzahl der Audiokanäle, die sie wiedergeben können, jedes Tonformat trotzdem abspielen können.
Die eine Möglichkeit ist die Aussendung des Tonformats mit der größten Anzahl an Audiokanälen und - falls nötig - einer automatischen empfängerseitigen Konvertierung des Signals auf ein Tonformat mit geringerer Anzahl an Audiokanälen (automatischer Downmix).
Ebenso kann bereits in der Audioproduktion das Material in allen Formaten produziert werden und diese parallel (simulcast) ausgestrahlt werden. Hierbei kann die Erstellung jedes Tonformats einzeln erfolgen. Diese Art der Abmischung erfordert jedoch einen erheblichen Produktionsaufwand. Meistens sind hierzu entweder zusätzliche Arbeitskräfte, ein merklich höherer Zeitaufwand oder mehrfache Ausstattung (z.B. im Fall von Liveübertragungen) nötig. Der resultierende Produktionsumfang ist daher schwer tragbar. Alternativ kann - wie in voriger Vorgehensweise - ein automatischer Downmix erfolgen.
Solche Verfahren zur automatischen Umrechnung existieren bereits, allerdings sind weitere Verbesserungen notwendig, um für ein möglichst breites Spektrum an Ausgangsmaterial ein qualitativ zufriedenstellendes Ergebnis zu liefern.
Automatische Downmixverfahren können grob in aktive und passive Verfahren unterteilt werden. Aktive Verfahren adaptieren die automatische Umrechung je nach Ausgangsmaterial, wobei passive Verfahren signalunabhängig funktionieren. Ein bekanntes passives Downmixverfahren liegt der Rundfunkempfehlung ITU-R BS.775 zugrunde und ist in Figur 1 erläutert.
Ausgehend von einem fünfkanaligen Tonformat mit den Tonkanälen

Linkskanal (L)
Rechtskanal (R)
Centerkanal (C)
Linkshintenkanal (Ls)
Rechtshintenkanal (Rs),

Der um - 3dB abgesenkte Centerkanal wird über die Summationsfunktionen 10, bzw. 20 auf den Linkskanal L und den Rechtskanal R verteilt, unter Bildung eines ersten Summensignals (Ausgang Summationsfunktionen 10) und eines zweiten Summensignals (Ausgang Summationsfunktionen 20). Die im Pegel um -3dB abgesenkten Linkshinten- und Rechtshintensignale Ls, bzw. Rs werden über Summationsfunktionen 30, bzw. 40 auf das erste, bzw. zweite Summensignal verteilt, unter Bildung des Links- und Rechtskanäls L₀, R₀ des gewünschten zweikanaligen Tonformates.
Bei dem aktiven Verfahren werden in den Summationsfunktionen des Blockschaltbildes nach Figur 1 die Eigenschaften der zu summierenden Audiosignale überprüft und ggf. korrigiert, um unerwünschte Klangergebnisse zu vermeiden. Hierzu hat die Firma Coding Technologies einen Downmixalgorithmus vorgeschlagen bei welchem ausgehend von dem ITU-Downmix nach Figur 1 der Energiegehalt aller Summationssignale in 28 Frequenzbänder/Teilbänder analysiert und mit dem Energiegehalt des fünfkanaligen Audioformates verglichen wird. Auf diese Weise können Anhebungen und Absenkungen des Energiegehaltes ermittelt und durch Amplitudenkorrecktur in den betreffenden Teilbändern kompensiert werden. Eine Klangfarbenveränderung durch einen Kammfiltereffekt kann so begrenzt werden. Die Korrektur erfolgt aber nur zu einem sinnvollen Anteil, da ein vollständig sich auslöschendes Signal einen unendlich großen Korrekturfaktor hervorrufen würde. Indessen können bei dem Downmixalgorithmus der Firma Coding Technologies Verschiebungen der Phantomschallquelle zwischen den resultierenden Links- und Rechtskanälen des zweikanaligen Tonformates auftreten und zwar in Abhängigkeit von der ursprünglichen Position der Phantomschallquellen in dem fünfkanaligen Quellmaterial.
Zur Verringerung von derartigen Verschiebungen der Phantomschallquelle hat die Firma Lexicon das Verfahren Logic 7 vorgeschlagen, bei welchem neben dem Downmix auch die Möglichkeit zu einem Upmix besteht. Der Mehrkanalton kann sowohl auf ein Mono als auch ein Stereosignal downgemixt werden. Ferner können aus einem Stereodownmix, beispielsweise bis zu acht Kanäle dekodiert werden. Hierzu werden über variable Koeffizienten der Anteil des Centerkanals im Downmix geregelt und mit weiteren Koeffizienten der Anteile der Rechtshinten- und Linkshintenkanäle angepasst werden. Für den Linkskanal wird ein Anteil von 0.91 des Linkshintenkanals mit einem Anteil von -0.38 des Rechtshintenkanals. Die Mischung für den Rechtskanal erfolgt entsprechend. Mit dieser Vorgehensweise bleiben die Pegel der beiden Hintenkanäle erhalten. Durch die Phasendrehung von 90° wird die spätere Trennung der beiden Hintenkanäle von den Links- und Lechtskanälen möglich. Allerdings lassen sich bei dem Verfahren Logic 7 Klangfarbenveränderungen infolge von Kammfiltereffekten durch Phasendrehungen nicht begrenzen.
Die Aufgabe der Erfindung besteht darin, die Verschiebung der Phantomschallquellen, die Änderung der Pegeldifferenz zwischen kohärenten und inkohärenten Signalanteilen als auch Klangfarbenveränderungen weitgehend zu kompensieren.
Die Lösung dieser Aufgabe ergibt sich aus den Merkmalen des Patentanspruchs 1.
Der Erfindung liegt die Überlegung zugrunde, bei der Bildung des ersten (L') und zweiten (R') Summensignals jeweils eine dynamische Korrektur der Spektralwerte von überlappenden Zeitfenstern mit k Abtastwerten des Linkskanals (L) bzw. Rechtskanals (R) vorzunehmen. Desweiteren erfolgt bei der Bildung des dritten und vierten Summensignals jeweils eine dynamische Korrektur der Spektralwerte von überlappenden Zeitfenstern mit k Abtastwerten des ersten (L') bzw. zweiten (R') Summensignals.
Die Erfindung wird anhand eines in den Figuren 2 bis 6 gezeigten Ausführungsbeispiels näher erläutert. Es zeigt:

Figur 2 ein generelles Blockschaltbild zu einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens; Figuren 3 - 6 Ablaufdiagramme für die in den Analyse- und Korrekturblöcken vorgesehenen Funktionen.

Das in Figur 2 veranschaulichte Blockschalbild ist ähnlich aufgebaut, wie das Blockschaltbild in Figur 1, jedoch mit dem wesentlichen Unterschied, dass in den Summationsfunktionen 100 und 200 zur Bildung der ersten und zweiten Summensignale L' und R', sowie in den Summationsfunktionen 300 und 400 zur Bildung der Links- und Rechtssignale L_IRT und R_IRT des zweikanaligen Tonformates zusätzlich zur Summation eine Analyse und Korrektur 1-4 erfolgt. Die Pegelabsenkung des Centersignal C, sowie der Rechtshinten- und Linkshintensignale Ls, Rs erfolgt bei dem Blockschaltbild 2 in Übereinstimmung mit dem Blockschaltbild nach Figur 1 um beispielsweise - 3dB durch Dämpfungsfunktionen 50, 60, bzw. 70. Allerdings sind auch andere Dämpfungen als -3 dB denkbar insbesondere in Abhängigkeit von dem Genre bzw. Inhalt des fünfkanaligen Quellensignals.
Der funktionale Aufbau der Analyse und Korrekturblöcke 100, 200, 300, 400 in Figur 2 ist für den Block 100 anhand der Figur 3, für den Block 200 anhand der Figur 4, für den Block 300 anhand der Figur 5 und für den Block 400 anhand der Figur 6 erläutert.
Der in Figur 3 dargestellte Block 100 sieht zunächst eine Transformation der eingangsseitigen Links, bzw. Centersignal L bzw. C in Spektralwerte beispielsweise durch eine FFT 101 vor. Die gebildeten Spektralwerte l(k), c(k) werden in der Summierfunktion 102 addiert. Die Betragssumme S_l(k) der Spektralwerte wird anschließend in der Entscheidungsraute 103 dahingehend bewertet ob sie größer als ein Sollwert A_soll,l(k) ist. Der Sollwert A_Soll,l(k) bestimmt sich zu $A_{soll, l} (k) = \sqrt{{|l (k)|}^{2} + {|c (k)|}^{2}}$
Ist die Betragssumme größer als A_soll,l(k), so wird in Block 104 der Wert $lʹ (k) = A_{soll, l} (k) + (|l (k) + c (k)| - A_{soll, l} (k)) * n$
gebildet, wobei n ein Faktor größer 0.1 und kleiner 0.4 ist. Ist die Betragssumme nicht größer als der Sollwert A_soll,l(k), so werden in Block 105 die Spektralwerte l(k) des linken Kanals mit einem Faktor m_l(k) gewichtet. Der Faktor m_l(k) ist größer als eins und dient ebenso wie der vorgenannte Faktor n zur Pegelanpassung. Das Produkt m_l(k) * l(k) wird mit den Spektralwerten c(k) des Centerkanals addiert (m_l(k) * l + c).
Im Ergebnis wird in dem Block 100 mithilfe der Entscheidungsraute 103 das im Pegel angepasste Signal l'(k) entweder nach m_l(k) * l(k) + c(k) oder A_Soll,l(k) + (|l(k) + c(k)| - A_Soll,l(k)) * n gebildet, welches nach einer inversen Transformation 106 das erste Summensignal L' ergibt.
Der in Figur 4 dargestellte Block 200 sieht zunächst eine Transformation der eingangsseitigen Rechts, bzw. Centersignale R bzw. C in Spektralwerte beispielsweise durch eine FFT 201 vor. Die gebildeten Spektralwerte r(k), c(k) werden in der Summierfunktion 202 addiert. Die Betragssumme S_r(k) der Spektralwerte wird anschließend in der Entscheidungsraute 203 dahingehend bewertet ob sie größer als ein Sollwert A_Soll,r(k) ist. Der Sollwert A_Soll,r(k) bestimmt sich zu $A_{soll, r} (k) = \sqrt{{|r (k)|}^{2} + {|c (k)|}^{2}}$
Ist die Betragssumme größer als A_Soll,r(k), so wird in Block 204 der Wert $rʹ (k) = A_{soll, r} (k) + (|r (k) + c (k)| - A_{soll, r} (k)) * n$
gebildet, wobei n ein Faktor größer 0.1 und kleiner 0.4 ist. Ist die Betragssumme nicht größer als der Sollwert A_Soll,r(k), so werden in Block 205 die Spektralwerte r(k) des rechten Kanals mit einem Faktor m_r(k) gewichtet. Der Faktor m_r(k) ist größer als eins und dient ebenso wie der vorgenannte Faktor n zur Pegelanpassung. Das Produkt m_r(k) * r wird mit den Spektralwerten c(k) des Centerkanals addiert (m_r(k) * r(k) +c(k)).
Im Ergebnis wird in dem Block 200 mithilfe der Entscheidungsraute 203 das im Pegel angepasste Signal r'(k) entweder nach m_r(k) * r(k) + c(k) oder A_Soll,r(k) + (|r(k) + c(k)| - A_Soll,r(k)) * n gebildet, welches nach einer inversen Transformation 206 das zweite Summensignal R' ergibt.
Der in Figur 5 dargestellte Block 300 sieht die zunächst eine Transformation der eingangsseitigen Linkshintensignals, bzw. ersten Summensignals Ls bzw. L' in Spektralwerte beispielsweise durch eine FFT 301 vor. Die gebildeten Spektralwerte ls(k), l'(k) werden in der Summierfunktion 302 addiert. Die Betragssumme S_ls(k) der Spektralwerte wird anschließend in der Entscheidungsraute 304 dahingehend bewertet ob sie größer als ein Sollwert A_Soll,ls(k) ist. Der Sollwert A_Soll,ls(k) bestimmt sich zu $A_{soll, ls} (k) = \sqrt{{|ls (k)|}^{2} + {|lʹ (k)|}^{2}}$
Ist die Betragssumme größer als A_Soll,ls(k), so wird in Block 304 das Signal $l_{IRT} = A_{soll, ls} (k) + (|ls (k) + lʹ (k)| - A_{soll, ls} (k)) * n$
gebildet, wobei n ein Faktor größer 0.1 und kleiner 0.4 ist. Ist die Betragssumme nicht größer als der Sollwert A_Soll,ls(k), so werden in Block 305 die Spektralwerte l'(k) des ersten Summensignals mit dem Faktor m_ls(k) gewichtet. Der Faktor m_ls(k) ist größer als eins und dient ebenso wie der vorgenannte Faktor n zur Pegelanpassung. Das Produkt m_ls(k) * l'(k) wird mit den Spektralwerten ls(k) des Linkshintenkanals addiert (m_ls(k) * l'(k) + ls(k)). Im Ergebnis wird in dem Block 300 mithilfe der Entscheidungsraute 303 das im Pegel angepasste Signal entweder nach m_ls(k) * l'(k) + ls(k) oder A_Soll,ls(k) + (|l'(k) + ls(k)| - A_Soll,ls(k)) * n gebildet, welches nach einer inversen Transformation 306 das dritte Summensignal und somit das linke Ausgangssignal L ergibt.
Der in Figur 6 dargestellte Block 400 sieht die zunächst eine Transformation der eingangsseitigen Linkshintensignals, bzw. zweiten Summensignals Rs bzw. R' in Spektralwerte beispielsweise durch eine FFT 401 vor. Die gebildeten Spektralwerte rs(k), r'(k) werden in der Summierfunktion 402 addiert. Die Betragssumme S_rs(k) der Spektralwerte wird anschließend in der Entscheidungsraute 403 dahingehend bewertet ob sie größer als ein Sollwert A_Soll,rs(k) ist. Der Sollwert A_Soll,rs(k) bestimmt sich zu $A_{soll, rs} (k) = \sqrt{{|rs (k)|}^{2} + {|rʹ (k)|}^{2}}$
Ist die Betragssumme größer als A_Soll,ls(k), so wird das Signal $r_{IRT} = A_{soll, s} (k) + (|rs (k) + rʹ (k)| - A_{soll, rs} (k)) * n$
gebildet, wobei n ein Faktor größer 0.1 und kleiner 0.4 ist. Ist die Betragssumme nicht größer als der Sollwert A_Soll,rs(k), so werden in Block 405 die Spektralwerte r'(k) des ersten Summensignals mit dem Faktor m_rs(k) gewichtet. Der Faktor m_rs(k) ist größer als eins und dient ebenso wie der vorgenannte Faktor n zur Pegelanpassung. Das Produkt m_rs(k) * r'(k) wird mit den Spektralwerten rs(k) des Rechtshintenkanals addiert (m_rs(k) * r'(k) + rs(k)).
Im Ergebnis wird in dem Block 400 mithilfe der Entschedidungsraute 403 das im Pegel angepasste Signal entweder nach m_rs(k) * r'(k) + rs(k) oder A_Soll,rs(k) + (|r'(k) + rs(k)| - A_Soll,rs(k)) * n gebildet, welches nach einer inversen Transformation 406 das vierte Summensignal und somit das rechte Ausgangssignal R ergibt.
Es versteht sich, dass die Erfindung nicht auf einen Downmix eines fünfkanaligen Tonformates auf ein zweikanaliges Tonformat beschränkt ist.
Es ist ebenso gut im Rahmen der Erfindung möglich, ein zweikanaliges Tonformat (Stereo) auf ein einkanaliges Tonformat (Mono) kompatibel abzumischen.

Claims

Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates, insbesondere eines zweikanaligen Tonformates, mit Rechtskanal (R_IRT) und Linkskanal (L_IRT) aus einem mehrkanaligen Tonformat, insbesondere einem fünfkanaligen Tonformat, mit folgenden Tonkanälen:
- Linkskanal (L)

- Rechtskanal (R)

- Centerkanal (C)

- Linkshintenkanal (Ls)

- Rechtshintenkanal (Rs),
bei welcher
- der Centerkanal (C) im Pegel abgesenkt wird

- der im Pegel abgesenkte Centerkanal (C) auf den Linkskanal (L) verteilt wird unter Bildung eines ersten Summensignals (L')

- der Linkshintenkanal (Ls) im Pegel abgesenkt wird

- der im Pegel abgesenkte Linkshintenkanal (Ls) auf das erste Summensignal unter Bildung des dritten Summensignals verteilt wird, welches dem Linkskanal (L_IRT) des zweikanaligen Tonformates entspricht

- der im Pegel abgesenkte Centerkanal (C) auf den Rechtskanal (R) verteilt wird unter Bildung eines zweiten Summensignals (R'),

- der Rechtshintenkanal (Rs) im Pegel abgesenkt wird

- der im Pegel abgesenkte Rechtshintenkanal (Rs) auf das zweite Summensignal unter Bildung eines vierten Summensignals verteilt wird, welches dem Rechtskanal (R_IRT) des zweikanaligen Tonformates entspricht,
dadurch gekennzeichnet, dass bei der Bildung des ersten (L') und zweiten (R') Summensignals jeweils eine dynamische Korrektur der Spektralwerte von überlappenden Zeitfenstern mit k Abtastwerten des Linkskanals (L) bzw. Rechtskanals (R) erfolgt,
dass bei der Bildung des dritten und vierten Summensignals jeweils eine dynamische Korrektur der Spektralwerte von überlappenden Zeitfenstern mit k Abtastwerten des ersten (L') bzw. zweiten (R') Summensignals erfolgt,
dass vor jeder dynamischen Korrektur von Spektralwerten des Linkskanals (L) und Rechtskanals (R) jede Summe der Spektralwerte mit einem Sollwert (A_soll, mit $A_{soll} \in R$
) verglichen wird, welcher sich aus folgender Beziehung ergibt: $A_{soll, l} (k) = \sqrt{{|l (k)|}^{2} + {|c (k)|}^{2}}$
$A_{soll, s} (k) = \sqrt{{|r (k)|}^{2} + {|c (k)|}^{2}}$
in welcher
|l(k)| der Betrag eines Spektralwertes des transformierten Linkskanals (L) in der komplexen Zahlenebene C,

|c(k)| der Betrag des zugehörigen Spektralwertes des transformierten Centerkanals (C) in der komplexen Zahlenebene
,

|r(k)| der Betrag eines Spektralwertes des transformierten Rechtskanals (R) in der komplexen Zahlenebene
,
bedeuten,
dass vor jeder dynamischen Korrektur von Spektralwerten des ersten (L') bzw. zweiten (R') Summensignals jede Summe der Spektralwerte mit einem Sollwert (A_soll, mit $A_{soll} \in R$
) verglichen wird, welcher sich aus folgender Beziehung ergibt: $A_{Soll, ls} (k) = \sqrt{{|lʹ (k)|}^{2} + {|ls (k)|}^{2}}$
$A_{Soll, rs} (k) = \sqrt{{|rʹ (k)|}^{2} + {|rs (k)|}^{2}}$
in welcher
|r'(k)| der Betrag der Spektralwerte des transformierten dritten Summensignals (R') in der komplexen Zahlenebene
,

|l'(k)| der Betrag des zugehörigen Spektralwertes des transformierten ersten Summensignals (L') in der komplexen Zahlenebene
, |rs(k)| der Betrag des Spektralwertes des transformierten Rechtshintenkanals Rs in der komplexen Zahlenebene,

|ls(k)| der Betrag des zugehörigen Spektralwertes des transformierten Linkshintenkanals Ls in der komplexen Zahlenebene
, bedeuten, dass für
den Fall, dass der Sollwert (A_soll, mit $A_{soll} \in R$
) überschritten wird, die Frequenzkomponente aufaddiert und die daraus resultierende Betragssumme nach $S (k) = A_{Soll} (k) + (|A (k) + B (k)| - A_{Soll} (k) * n$
abgesenkt wird, wobei n ein Faktor größer 0.1 und kleiner 0.4 ist,
und
dass für den Fall, dass der Sollwert (A_soll, mit $A_{soll} \in R$
) unterschritten wird, die Spektralwerte der jeweils zu korrigierenden Signale mit folgendem Faktor (m(k), mit m(k) ∈
) multipliziert werden: $m (k) = \frac{- p + \sqrt{w \cdot p^{2} + {(|A (k)|)}^{4}}}{{|A (k)|}^{2}}$
wobei
A(k) der k-te Spektralwert von r', 1', 1 und r, mit $A (k) \in$
$p = ℜ (A (k)) \cdot ℜ (B (k)) + ℑ (A (k)) - ℑ (B (k)),$
B (k) der k-te Spektralwert von rs, ls, und c, mit $B (k) \in$
insbesondere dem Wert w ein Skalierungsfaktor im Bereich von -1 < w< 1 bedeuten, mit $w \in R .$
Anordnung zum Erzeugen eines abwärtskompatiblen Tonformates, einschliessend Mittel um die Schritte des Verfahrens nach Anspruch 1 auszuführen.