EP1410685A2 - Multichannel sound editing system - Google Patents

Abstract

The invention relates to a multichannel sound editing system for sound engineering and electroacoustic transmission applications for editing virtual-real acoustic environments on the basis of multi-loudspeaker standards. The inventive method is characterized by the dimensional representation of acoustic events by binaural and transaural editing and by controlling, in accordance with the desired sound positions, the signal level within a multi-loudspeaker environment.

Description

Mehr analiges TonbearbeitungssystemMore anal sound editing system

Stand der TechnikState of the art

Die 3-D Audiotechnik kann bereits auf eine lange Geschichte zurückblicken.3-D audio technology can look back on a long history.

Ziel der Forschung und Entwicklung in diesem Bereich ist es, die menschliche Fähigkeit des räumlichen Hörens für verschiedene Anwendungsfelder technisch nutzbar zu machen. Durch die Fähigkeit der räumlichen, dreidimensionalen Schallwahrnehmung ist der Mensch in der Lage die Position einer beliebigen Schallquelle auf ca. 5 Grad genau zu orten.The aim of research and development in this area is to make the human ability of spatial hearing technically usable for various fields of application. Due to the ability of spatial, three-dimensional sound perception, humans are able to locate the position of any sound source with an accuracy of approx. 5 degrees.

Die Grundlage für das räumliche Hören ist ein komplexes Kodiersystem, welches dem Schall in Abhängigkeit von seiner räumlichen Position mit einer zusätzlichen Rieh- tungsinformation versieht, die vom menschlichen Bewußtsein gezielt ausgewertet werden kann und dem kognitiven System konkrete Informationen über die exakte Position der Schallquelle liefert.The basis for spatial hearing is a complex coding system, which depending on its spatial position, the sound with an additional rattle provides information that can be specifically evaluated by human consciousness and provides the cognitive system with specific information about the exact position of the sound source.

Ergebnisse der Kognitivforschung in bezug auf das menschliche Hören, speziell der räumlichen Schallwahrnehmung, wurden bereits in einer Reihe von Verfahren für die gehörrichtige Aufnahme und Wiedergabe von Schall, wie z.B. in der Kunstkopfaufnahmetechnik, gezielt technisch anwendbar gemacht.The results of cognitive research in relation to human hearing, especially spatial sound perception, have already been used in a number of methods for the aurally correct recording and reproduction of sound, e.g. in artificial head recording technology, specifically made technically applicable.

Hierzu wurden bereits 1886 in den "Bell-Laboratories" Versuche zur Optimierung der Telephonübertragung mittels zweier Kohlekörnermikrophone, die in einen Puppentorso eingebaut wurden, unternommen, um so auf diese Weise die menschliche Hörwahrnehmung nachzubilden.To this end, attempts were already made in the "Bell Laboratories" in 1886 to optimize the telephone transmission by means of two carbon-grain microphones, which were built into a doll's torso, in order in this way to simulate human hearing perception.

Diese ersten Versuche zur Nutzbarmachung der menschlichen Hörwahrnehmung waren ebenso wenig erfolgreich, wie spätere Versuche in den Philips-Laboratorien von 1939, bei denen wiederum ein Puppentorso diesmal mit Kondensatormikrophonen bestückt wurde (vgl. DE BOER, K. und VERMEULEN, R. : Eine Anlage für einen Schwerhörigen. Philips Technische Rundschau Nr. 4, 1939, S. 329-332).These first attempts to harness human hearing were just as unsuccessful as later attempts in the Philips laboratories in 1939, in which a puppet's torso was fitted with condenser microphones this time (see DE BOER, K. and VERMEULEN, R.: A system for the hearing impaired, Philips Technische Rundschau No. 4, 1939, pp. 329-332).

Selbst ein nach Vorgaben von Plenge, Kürer und Wilkens in den siebziger Jahren von der Firma Neumann in Serie gefertigter und aus der DE 19 27 401 hervorgehen- der Kunstkopf konnte ebenfalls, trotz vergleichbar hochwertiger Komponenten, die bei der Realisation verwendet wurden, nicht überzeugen.Even a manufactured by the Neumann company in the 1970s according to the specifications of Plenge, Kürer and Wilkens and which emerged from DE 19 27 401 the artificial head could not convince either, despite comparable high-quality components that were used in the implementation.

Der Grund für die mitunter mangelhafte Arbeitsweise von KunstkopfSystemen bis Anfang der achtziger Jahre war einerseits die unzureichende technische Qualität der Komponenten innerhalb der Übertragungsstrecke des akustischen Signals, bishin zur Wiedergabe, anderseits die Nichtberücksichtigung diverser Parameter, die sich innerhalb des menschlichen Hörapparates für die gehörrichtige Kodierung eines Schalls verantwortlich zeichnen.The reason for the sometimes inadequate functioning of artificial head systems up to the early 1980s was, on the one hand, the insufficient technical quality of the components within the transmission path of the acoustic signal, up to the point of reproduction, on the other hand, the failure to take into account various parameters that are within the human hearing apparatus for the correct coding of an Responsible for sound.

Die Wirkungsweise eines 3-D-Audioprozessors basiert zum Teil auf den physikalischen Grundlagen der Kunstkopftechnik. Die Güte und somit die Qualität der dreidimensionalen Reproduktion des Klanggeschehens, welches mit Hilfe eines 3-D-Prozessors erstellt wird, ist deshalb auch in nicht unbedeutendem Maße abhängig von der sorgfältigen Ermittlung und Implementation der Transformationsprozesse, denen ein Schall durch den menschlichen Hörapparat unterzogen wird, der sog. binauralen Funktionen, die durch gehörrichtige Meßverfahren erfaßt werden.The way a 3-D audio processor works is based in part on the physical principles of artificial head technology. The quality and thus the quality of the three-dimensional reproduction of the sound process, which is created with the aid of a 3-D processor, is therefore to a not insignificant extent dependent on the careful determination and implementation of the transformation processes to which a sound is subjected by the human hearing apparatus , the so-called binaural functions, which are recorded by aurally correct measuring methods.

Wie wichtig die genaue Ermittelung der HRTF' s (Kopfübertragungsfunktionen) für die generelle Funktion von 3-D-Audio ist, zeigt die Geschichte der Kunstkopftechnologie, die erstmalig Anfang der achtziger Jahre durch die Entwicklung des "Aachener Kopfes" einen signifikan- ten Qualitätssprung vollzog und somit die Anwendung der Kunstkopfaufnähme als objektives Meßverfahren in der gehörrichtigen Diagnose von Schall ermöglichte.The history of artificial head technology shows how important the exact determination of HRTFs (head transmission functions) is for the general function of 3-D audio. For the first time in the early 1980s, the development of the "Aachen head" made a significant leap in quality and thus enabled the use of artificial head recordings as an objective measurement method in the aurally correct diagnosis of sound.

Den Ansatz zur fehlerfreien Ermittlung der in die Kopfübertragungsfunktion einfließende Außenohrübertragungs- funktion lieferte erstmalig 1975 PLATTE. (Anordnung zur genauen Reproduktion von Ohrsignalen; Fortschritte der Akustik; Physik Verlag Weinheim S. 361-363).In 1975, PLATTE first provided the approach for error-free determination of the outer ear transfer function that flows into the head transfer function. (Arrangement for the exact reproduction of ear signals; progress in acoustics; Physik Verlag Weinheim pp. 361-363).

Durch die verbesserte Ermittlung der Außenohrübertra- gungsfunktion konnte die Vorne-Hinten Unterscheidung, als kritischer Parameter innerhalb der künstlich substituierten räumlichen Hörwahrnehmung, entscheidend verbessert werden.Thanks to the improved determination of the outer ear transmission function, the front-rear distinction, as a critical parameter within the artificially substituted spatial hearing perception, was decisively improved.

Die objektive Ermittlung der KopfÜbertragungsfunktion mittles eines Kunstkopfes konnte erstmalig durch den Gebrauch des übertragungsoptimierten, rauscharmen "Aachener"-Kunstkopfes HMS 1 erfolgen. (Vgl. K. Genuit : Optimierung eines Kunstköpfaufnahmesystems, "Studio" Nr. 46, 1981, S.10-18) .The objective determination of the head transfer function by means of an artificial head was possible for the first time by using the transmission-optimized, low-noise "Aachener" artificial head HMS 1. (See K. Genuit: Optimization of an Artificial Head Recording System, "Studio" No. 46, 1981, pp. 10-18).

Bei der Aufnahme und Bearbeitung von Schall im modernen Tonstudio werden, im Gegensatz zur Kunstköpfaufnähme, bei der ein Schallfeld in seiner Gesamtheit mittels eines Kunstkopfes direkt zweikanalig (stereophon) aufgenommen wird, jedoch meist Schallsignale (Instrumente) abstrahiert, d.h. aus ihrer natürlichen akustischen Umgebung und von anderen Schallquellen isoliert, getrennt aufgenommen, um dann jeweils separat nachträglich in ihrer Dynamik und Klangfarbe bearbeitet werden zu können. (Mehrspuraufnahmeverfahren)When recording and processing sound in a modern recording studio, in contrast to artificial head recording, in which a sound field as a whole is recorded directly in two channels (stereophonic) using an artificial head, sound signals (instruments) are usually abstracted, i.e. from their natural acoustic environment and isolated from other sound sources, recorded separately, and then added separately in their dynamics and timbre can be edited. (Multi-track recording method)

Hierbei wird der fehlende akustische Kontext durch zusammenmischen der einzelnen Signale (Instrumente) wiederhergestellt und die akustische Umgebung mittels künstlich generiertem Nachhall geschaffen.The missing acoustic context is restored by mixing the individual signals (instruments) together and the acoustic environment is created using artificially generated reverberation.

Des weiteren hat man in der Studiopraxis auch mit elektrischen bzw. elektronischen Instrumenten wie Synthesizern, Elektrogitarren usw. zu tun, bei denen eine elektrische Schallwandlung durch ein Mikrophon nicht nötig ist, da solche Instrument bereits auf Ebene der Schwingungserzeugung elektrisch, bzw. elektronisch arbeiten.Furthermore, studio practice also deals with electrical or electronic instruments such as synthesizers, electric guitars, etc., in which electrical sound conversion by a microphone is not necessary, since such instruments already work electrically or electronically at the level of vibration generation.

Da der Hauptteil der gegenwärtigen Musikproduktion quasi abstrakt im Tonstudio unter nicht unbedeutendem Einsatz der genannten elektronischen Instrumente geschieht, sind in der Vergangenheit bereits Versuche unternommen worden, um die Prinzipien der Kunstkopftech- nologie auch für die Aufnahmeverfahren im modernen Tonstudio zu adaptieren mit dem Ziel, eine binaurale Nachbearbeitung von elektroakustischen Signalen für den Einsatz im Mehrspur-Aufnahmeverfahren zu ermöglichen. (Vgl.: WEIGEND, B. "Vom Hören zur Technik", Anwendung von binauraler Signalbearbeitung und Psychoakustikpro- zessoren im Studioalltag, Teil 3, STUDIO-Magazin, Nr. 3, '93, S.30-38) .Since the majority of the current music production takes place in the recording studio in a quasi-abstract manner using the aforementioned electronic instruments, attempts have already been made in the past to adapt the principles of artificial head technology to the recording methods in the modern recording studio with the aim of To enable binaural post-processing of electroacoustic signals for use in the multi-track recording process. (See: WEIGEND, B. "From listening to technology", application of binaural signal processing and psychoacoustic processors in everyday studio life, part 3, STUDIO-Magazin, No. 3, '93, pp. 30-38).

Die standardmäßige Wiedergabe von gehörrichtig aufbereitetem, räumlichem Klangmaterial erfolgt normalerwei- se über eigens entzerrte, hochwertige Kopfhörer, um Multiplikationseffekte der Kopf- und Außenohrübertra- gungsfunktion bei Wiedergabe über Lautsprecher zu vermeiden.The standard reproduction of properly prepared, spatial sound material is normally This is done using specially equalized, high-quality headphones to avoid multiplication effects of the head and outer ear transmission function when played through loudspeakers.

Diese Effekte treten bei der Lautsprecherwiedergabe von binauralem Tonmaterial in sofern auf, als daß diese beim Hören als Schallquelle von vorne geortet werden und das Tonmaterial somit erneut einer binauralen Kodierung durch das Ohr des Zuhörers unterliegt, was eine Verzerrung der räumlichen Information und eine Verminderung speziell der hoch- und tieffrequenten Signalanteile zur Folge hat.These effects occur in the loudspeaker reproduction of binaural sound material insofar as they are located from the front when listening as a sound source and the sound material is thus once again subject to binaural coding by the listener's ear, which distorts the spatial information and especially reduces it has high and low frequency signal components.

Ein weiteres Manko der Kunstkopftechnologie bei der Erstellung von Tonaufnahmensignalen ist, daß ein Kunstkopf nicht als Ersatz für ein herkömmliches Mikrophon angesehen werden kann.Another shortcoming of artificial head technology in the creation of sound recording signals is that an artificial head cannot be regarded as a replacement for a conventional microphone.

Bei einer Aufnahme eines klassischen Konzertes werden vom Tonmeister neben den Hauptmikrophonen, die den Orchesterklang in seiner Gesamtheit erfassen, mitunter mehrere Stützmikrophone zur Hervorhebung der Solisten verwendet. Die einzelnen Mikrophonsignale werden in ihrem Pegel reguliert und zusammengemischt, um so das letztlich vom Tonmeister gewünschte klangliche Resultat der Aufnahme zu erzielen. Im Gegensatz zu herkömmlichen Tonsignalen können KunstkopfSignale jedoch nicht gemischt werden, da der Zuhörer nach der Mischung quasi aus verschiedenen Positionen zugleich hören würde. Die Erzeugung von gehörrichtig aufbereitetem Tonmaterial auf elektronischem Wege nach der Schallwandlung durch das Mikrofon ist somit die Voraussetzung, um die Kunstkopftechnologie für die Anwendung in der Mehrspuraufnahmetechnik nutzbar zu machen (vgl. GIERLICH, H.W. und GENUIT, K. "Aufbau und Anwendung eines elektronischen Kunstkopfes", 13. Tonmeistertagung, München 1984, Berichtsband S. 103-110).When recording a classic concert, the sound engineer sometimes uses several supporting microphones to emphasize the soloists in addition to the main microphones, which capture the orchestral sound as a whole. The level of the individual microphone signals is regulated and mixed together in order to achieve the tonal result of the recording that is ultimately desired by the sound engineer. In contrast to conventional sound signals, artificial head signals cannot be mixed, as the listener would hear from different positions at the same time after mixing. The generation of sound material that has been properly prepared electronically after the sound has been converted by the microphone is therefore a prerequisite for making the artificial head technology usable for use in multi-track recording technology (see GIERLICH, HW and GENUIT, K. "Structure and application of an electronic artificial head ", 13th Tonmeistertagung, Munich 1984, report volume pp. 103-110).

Die Vorgehensweisen bei der Realisation von 3-D- Audioprozessoren sind mitunter stark verschieden, da diese für verschiedene Anwendungszwecke konzipiert werden. Es handelt sich einerseits um sogenannte "Stereobasisverbreiterer" ("Q-Sound®") , die eine räumliche Abbildung von Ton außerhalb der Stereoebene ermöglichen sollen, wobei hier der Ansatz zur Realisation solcher Systeme eher empirisch erfolgt, als auf Basis von streng wissenschaftlicher Forschung.The procedures for realizing 3-D audio processors are sometimes very different because they are designed for different applications. On the one hand, there are so-called "stereo base broadeners" ("Q-Sound®"), which are supposed to enable spatial imaging of sound outside of the stereo level, whereby the approach to realizing such systems takes place empirically rather than on the basis of strictly scientific research.

Anderseits erfolgt bei fundamentaleren Lösungsansätzen, die eine tatsächliche virtuell drei-dimensionale Plazierung von Schall zum Ziel haben, z.B. der des "elektronischen Kunstkopfes" bislang die Lösungsansätze nicht eloquent genug, um zu einem wirklich zufriedenstellenden Resultat zu kommen. Ferner haben derartige Systeme ebenfalls die Aufgabe eine Wiedergabe von binaural transformierten Audiosignalen auf Lautsprechern zu ermöglichen. 1.2 Probleme der Wiedergabe von binaural transformierten Signalen über Lautsprecher nach den Stand der TechnikOn the other hand, in the case of more fundamental solution approaches which aim at an actual virtual three-dimensional placement of sound, for example that of the "electronic artificial head", the solution approaches have so far not been eloquent enough to come to a really satisfactory result. Furthermore, such systems also have the task of making it possible to reproduce binaurally transformed audio signals on loudspeakers. 1.2 Problems of the reproduction of binaurally transformed signals via loudspeakers according to the prior art

Die bislang mitunter unbefriedigenden klanglichen Resultate der verfügbaren 3-D-Audioprozessoren für Lautsprecherwiedergabe nach dem in Fig. 1 dargestellten Stand der Technik und die eingeschränkte Verwendbarkeit im Rahmen der Mehrspuraufnahmetechnik in Tonstudios sind auf folgende Ursachen zurückzuführen:The sometimes unsatisfactory sound results of the available 3-D audio processors for loudspeaker reproduction according to the prior art shown in FIG. 1 and the limited usability in the context of multi-track recording technology in recording studios can be attributed to the following causes:

1. Ein Hauptgrund bislang ist u.a. die unzureichende Eliminierung von Störgrößen, die bei Lautsprecherwiedergabe entstehen.1. A main reason so far is the inadequate elimination of disturbances that occur during loudspeaker reproduction.

Aufgrund der Anfälligkeit von binaural aufbereitetem Tonmaterial in bezug auf Nichtlinearitäten innerhalb der Übertragungskette ist eine Eliminierung von Störgrößen, die durch die Übertragungseigenschaften der einzelnen Komponenten innerhalb des Bearbeitungs- und Übertagungssystems auftreten unverzichtbar, um ein bestmögliches und funktionelles klangliches Resultat zu erhalten.Due to the susceptibility of binaurally processed clay material with regard to non-linearities within the transmission chain, an elimination of disturbances that occur due to the transmission properties of the individual components within the processing and transmission system is essential in order to obtain the best possible and functional sound result.

Neben der präzisen Messung, Mittelung und Implementation der Kopfübertragungsfunktionen gilt dies speziell für die Ausschaltung von Störgrößen, die bei der Lautsprecherwiedergabe entstehen.In addition to the precise measurement, averaging and implementation of the head transmission functions, this applies especially to the elimination of disturbances that arise during loudspeaker reproduction.

Nichtlinearitäten im Frequenz- und Phasengang von Lautsprechern haben eine Auslöschung von Spektralkomponen- ten zur Folge, die die Ortungsschärfe bei der Lokalisation von Schallquellen innerhalb des binaural aufbereiteten Tonmaterials herabsetzen.Nonlinearities in the frequency and phase response of speakers have an extinction of spectral components This results in a reduction in the accuracy of location when localizing sound sources within the binaural sound material.

Somit ist eine Korrektur dieser naturgegebenen Störgrößen, die bei der Aufteilung von Frequenzgebieten durch Filterung bei Mehrwegelautspechern entstehen und bei der elektromechanischen Schallwandlung, unabdingbar, da eine hinreichende Konvergenz der einzelnen Spektralkomponenten hier nicht gewährleistet ist.It is therefore essential to correct these natural disturbances, which arise in the division of frequency areas by filtering multi-way loudspeakers and in electromechanical sound conversion, since sufficient convergence of the individual spectral components is not guaranteed here.

2. Aufgrund der diffizilen Bearbeitung eines Schalls, die, bedingt durch die anatomische Gestalt des menschlichen Hörapparates, vor der Wandlung in mechanische Schwingungen des Trommelfells ausgeführt wird, ist eine überaus störungsfreie und objektive Messung binauraler Parameter, wie der Kopf- und Außenohrübertragungsfunk- tion und deren sorgfältige Implementation auf ein rechnergestütztes Prozeßsystem notwendig.2. Due to the difficult processing of a sound, which, due to the anatomical shape of the human hearing apparatus, is carried out before it is converted into mechanical vibrations of the eardrum, an extremely trouble-free and objective measurement of binaural parameters such as the head and outer ear transmission function and their careful implementation on a computer-aided process system is necessary.

Hierbei hat jegliche Abweichung von den naturgegebenen Übertragungsfunktionen bzw. die Nichtberücksichtigung von kritischen Parametern eine Verminderung der Ortungsschärfe zur Folge.Any deviation from the natural transfer functions or failure to take critical parameters into account will result in a reduction in the location accuracy.

Dies gilt speziell für die Vorne-Hinten-Unterscheidung bei der Lokalisation eines binaural bearbeiteten Schallereignisses. Die Implementation von köpfbezogenen Übertragungsfunktionen mittels Kunstkopf-Meßverfahren, bei denen Kunstköpfe minderwertiger Qualität benutzt werden, haben zur Folge, daß die Lokalisationsschärfe des transformierten Klangmaterials bei abnehmender Dichte des Spektrums, speziell im Bereich oberhalb von 4 kHz nicht hinreichend ausgeprägt ist und demnach für die Applikation in Prozessoren für die professionelle Tonstudiotechnik ungeeignet sind. (Vgl.: MAJIMA, Y., IMAI, T. und KIKUMOTO, T.: "The RSS processor; Tree di- mensional sound generation from conventionally recorded two Channel sources", Roland Co., Japan, 1991, S.4).This applies especially to the front-back distinction when localizing a binaurally processed sound event. The implementation of head-related transfer functions by means of artificial head measuring methods, in which artificial heads of inferior quality are used, have the consequence that the localization sharpness of the transformed sound material with decreasing density of the spectrum, especially in the range above 4 kHz, is not sufficiently pronounced and is therefore unsuitable for application in processors for professional recording studio technology. (See: MAJIMA, Y., IMAI, T. and KIKUMOTO, T .: "The RSS processor; Tree dimensional sound generation from conventionally recorded two Channel sources", Roland Co., Japan, 1991, p.4) ,

3. Innerhalb der natürlichen Hörumgebung tritt ein Schallsignal fast niemals als reines Direktsignal auf. Ein Schallereignis setzt sich vielmehr aus einem Gemisch von Direktschall und reflektiertem Schall in einem besimmten Verhältnis zusammen.3. Within the natural listening environment, a sound signal almost never appears as a direct signal. Rather, a sound event consists of a mixture of direct sound and reflected sound in a specific ratio.

Anhand des Reflektionsmusters des Hallanteils werden dem Ohr zusätzliche Informationen in bezug auf Umgebung, Raumgröße, Beschaffenheit des Raumes und der relativen Entfernung der akustischen Hindernisse geliefert.On the basis of the reflection pattern of the reverb component, additional information is provided to the ear in relation to the environment, room size, nature of the room and the relative distance of the acoustic obstacles.

Der gebrochene und reflektierte Schall trifft hierbei aus unterschiedlichen Richtungen auf unser Gehör, wobei er wie der Direktschall binaural kodiert wird.The broken and reflected sound strikes our hearing from different directions, whereby it is binaurally coded like direct sound.

Bei der künstlichen Erzeugung von 3-D-Schallereignissen ist deswegen die Generierung von binauralem Nachhall erforderlich, um dem Ohr des Hörers zusätzliche Information für die Lokalisation und Definition des Schallereignisses zur Verfügung zu stellen. Grundsätzlich sind Signale nach der binauralen Transformation nicht mehr kompatibel zu herkömmlichen Mono- oder Stereosignalen.When artificially generating 3-D sound events, it is therefore necessary to generate binaural reverberation in order to provide the listener with additional information for the localization and definition of the sound event. Basically, signals after binaural transformation are no longer compatible with conventional mono or stereo signals.

Signale dieser drei Kategorien können deswegen nicht ohne weiteres miteinander gemischt werden.Therefore, signals from these three categories cannot easily be mixed together.

Es ist deshalb erforderlich, daß alle Komponenten, die bei der Tonmischung binaural gewandelten Signalen zusätzliche Signalanteile zufügen, wie z.B. künstlicher Nachhall, ebenfalls auf binauraler Ebene arbeiten.It is therefore necessary that all components that add additional signal components during the sound mixing of binaurally converted signals, e.g. artificial reverberation, also work on a binaural level.

Es ist wenig sinnvoll, binaurales Tonmaterial mit herkömmlichen, auf Stereobasis arbeitenden Signalprozessoren nachzubearbeiten, bzw. Signale zu erzeugen, die dann in der Tonmischung dem binauralen Material zugemischt werden, da diese nicht einer binauralen Kodierung obliegen und somit den gewünschten räumlichen Effekt verwässern.It does not make much sense to post-process binaural sound material with conventional, stereo-based signal processors, or to generate signals that are then mixed into the binaural material in the sound mix, since these are not responsible for binaural coding and thus dilute the desired spatial effect.

Es ist deswegen zwingend das innerhalb eines kompletten 3-D-Audioprozeßsystems alle Nachbearbeitungseffekte, die im Tonstudio verwendet ebenfalls auf binauraler Ebene arbeiten. Dies gilt insbesondere für künstlichen Nachhall.It is therefore imperative that within a complete 3-D audio process system all post-processing effects used in the recording studio also work on a binaural level. This applies in particular to artificial reverberation.

4. Durch die transaurale Bearbeitung bei 3-D- Audioprozessoren, die zur Wiedergabe von binaural transformiertem Tonmaterial über Stereolautsprecher notwendig ist, wird die Beliebigkeit der Position des Zuhörers in bezug auf die Position zu den Lautsprechern eingeschränkt.4. Through the transaural processing with 3-D audio processors, which is necessary for the reproduction of binaurally transformed sound material via stereo speakers, the arbitrariness of the position of the listener in limited in relation to the position of the speakers.

Das Maß der Ortbarkeit einer virtuellen Schallquelle hängt bei der stereophonen Wiedergabe von binauralem Tonmaterial auch letztlich von der idealen Position des Hörers zu den Lautsprechern ab.The extent to which a virtual sound source can be located in the stereophonic reproduction of binaural sound material ultimately also depends on the ideal position of the listener in relation to the speakers.

Schon eine geringfügige Veränderung der Position des Hörers aus dem Bereich der Idealanordnung Lautsprecher - Hörer hat Verluste bei der genauen Ortsbestimmung einer virtuellen Schallquelle zur Folge.Even a slight change in the position of the listener from the area of the ideal arrangement of loudspeaker - listener results in losses in the exact location of a virtual sound source.

2. Darstellung der Erfindung:2. Presentation of the invention:

In dem mehrkanaligen Tonbearbeitungssystem gemäß der Erfindung werden Verluste der Ortbarkeit bei der nicht idealen Position eines Hörers durch die Verknüpfung der verschiedenartigen Möglichkeiten der Schallokalisati- onssteuerung bei Mehrlautsprecherkonfigurationen (Surround) kompensiert.In the multi-channel sound processing system according to the invention, losses in positionability in the non-ideal position of a listener are compensated for by linking the various possibilities of sound localization control in multi-speaker configurations (surround).

"System zur Erzeugung von virtuellen dreidimensionalen Schallsituationenen auf Basis von Mehrlautsprecher- Systemen""System for the generation of virtual three-dimensional sound situations on the basis of multi-speaker systems"

Mehrlautsprecher-Standards, wie z.B. "Dolby-Digital" werden bislang bei der Realisation von 3-D-Audio- Prozessoren nicht berücksichtigt. Im Bereich Hi-Fi und bei der Filmvertonung spielen Mehrlautsprecherstandards jedoch bereits eine tragende Rolle. Die Verbindung von binauraler und transauraler Signalbearbeitung innerhalb einer Mehrkanalwiedergabekonfiguration wie "Dolby-Digital" wurde bislang nicht verwirklicht.Multi-speaker standards such as "Dolby Digital" have so far not been taken into account in the implementation of 3D audio processors. In the field of hi-fi and film dubbing, however, multi-speaker standards already play a major role. The combination of binaural and transaural signal processing within a multi-channel playback configuration such as "Dolby Digital" has not yet been realized.

Mehrlautsprecher-Standards bieten jedoch gegenüber der Stereophonie entscheidende Vorteile hinsichtlich eines homogeneren, den Hörer umgebenden Schallfeldes.However, multi-speaker standards offer decisive advantages over stereophony in terms of a more homogeneous sound field surrounding the listener.

Die Wiedergabe von Ton erfolgt z.B. bei "Dolby-Digital" über insgesamt sechs Lautsprecher, wobei einer ausschließlich zur Wiedergabe tieffrequenter Signalanteile dient, die vom menschlichen Gehör nicht in ihrer Richtung geortet werden können.Sound is reproduced e.g. with "Dolby-Digital" via a total of six loudspeakers, one of which is used exclusively for the reproduction of low-frequency signal components that cannot be located in their direction by the human ear.

Von den fünf Hauptlautsprechern befinden sich in Front des Hörers drei Lautsprecher (linker Kanal, Center- Kanal, rechter Kanal) und zwei in rückwärtiger Position (hinten-links-Kanal, hinten-rechts-Kanal) .Of the five main speakers, there are three speakers in the front of the listener (left channel, center channel, right channel) and two in the rear position (rear-left channel, rear-right channel).

Mithilfe von Produktionsapparaturen, die auf diesen Standard ausgelegt sind, können Schallquellen, analog zur bisherigen Stereowiedergabe, innerhalb der Lautsprecherebene gezielt plaziert werden.With the help of production equipment that is designed according to this standard, sound sources, analogous to the previous stereo reproduction, can be placed specifically within the loudspeaker level.

Wie bei der herkömmlichen Stereotonmischung geschieht dies durch Abstimmung der jeweiligen Pegelverhältnisse zwischen den einzelnen Wiedergabekanälen, wobei Schal- lereignisse zwischen den Lautsprechern als sog. Phantomschallquellen dargestellt werden.As with conventional stereo sound mixing, this is done by coordinating the respective level relationships between the individual playback channels. events between the speakers are represented as so-called phantom sound sources.

Im Gegensatz zur Stereo-Tonmischung ist hierbei durch die Anordnung von Lautsprechern hinter dem Hörer eine Plazierung von Klangquellen in der rückwärtigen Position des Zuhörers möglich.In contrast to stereo sound mixing, the arrangement of loudspeakers behind the listener enables sound sources to be placed in the rear position of the listener.

Obwohl so eine erweiterte räumliche Darstellung im Vergleich zur Stereophonie möglich wird, werden bei herkömmlichen Mehrlautsprecher-Aufnahmen jedoch die Lautsprecher stets noch als Schallquelle geortet.Although this enables an expanded spatial representation compared to stereophony, in conventional multi-speaker recordings the speakers are still located as a sound source.

Die Richtungsmanipulation des Toningenieurs bei der Erstellung einer Aufnahme ist bislang immer mit der Veränderung der Pegelverhältnisse innerhalb der Lautsprecherebene verbunden und somit mit der Gestaltung von Phantomschallquellen, die innerhalb dieser Ebene dadurch auftreten.The directional manipulation of the sound engineer when creating a recording has so far always been associated with changes in the level relationships within the loudspeaker level and thus with the design of phantom sound sources that occur as a result of this level.

Eine generelle Entkopplung des Schallereignisses von den physischen Übertragern (Lautsprechern) erfolgte bislang nicht. Ebenso ist eine Plazierung von Schallquellen außerhalb der Lautsprecherebene im Rahmen einer Mehrlautsprecheranwendung (speziell Darstellungen von oben und unten) bei der standardmäßigen Tonmischung nicht möglich.A general decoupling of the sound event from the physical transmitters (loudspeakers) has not yet taken place. Likewise, placement of sound sources outside the loudspeaker level in the context of a multi-loudspeaker application (especially representations from above and below) is not possible with the standard sound mixing.

Ziel der Erfindung ist es, ein Prozeßsystem für die Mehrspuraufnahme in Tonstudios zu schaffen, dessen klangliches Resultat nach der Bearbeitung sich nicht von der alltäglichen Schallwahrnehmung des Menschen innerhalb der natürlichen Umgebung unterscheidet.The aim of the invention is to create a process system for multi-track recording in recording studios, the sound result of which does not change after processing different from the everyday sound perception of humans within the natural environment.

Die Basis für die Wiedergabe des bearbeiteten Materials formen hierbei Mehrlautsprecherstandards wie z.B. "Dolby-Digital" oder andere "Surround"- Standards.The basis for the reproduction of the processed material is formed by multi-speaker standards such as "Dolby Digital" or other "Surround" standards.

Das zu patentierende System unterscheidet sich von bislang bekannten 3-D-Audioprozessoren in den folgenden Punkten:The system to be patented differs from previously known 3-D audio processors in the following points:

Die Parametrisierung bei der transauralen Bearbeitung innerhalb des Prozeßsystems setzt eine von vornherein festgelegte Abhörposition des Hörers voraus, sowie eine ideale Aufstellung der Lautsprecher.The parameterization for transaural processing within the process system requires a listening position of the listener that is defined from the start, as well as an ideal placement of the loudspeakers.

Abweichungen von der Idealposition Hörer - Lautsprecher, sowie ungünstige Plazierung der Lautsprecher, bei der in der Relation: rechter Lautsprecher - rechtes Ohr; linker Lautsprecher - linkes Ohr Laufzeitdifferen- zen zwischen dem rechten und linken Kanal auftreten, haben eine mitunter gravierende Verschlechterung der Ortbarkeit der Schallquellen innerhalb des binauralen Tonmaterials zur Folge.Deviations from the ideal position of the listener - loudspeaker, as well as unfavorable placement of the loudspeakers, in the relation: right loudspeaker - right ear; left loudspeaker - left ear Differences in transit time between the right and left channels result in a sometimes serious deterioration in the location of the sound sources within the binaural sound material.

Um dieses Manko zu beheben, verkoppelt das zu patentie^¬ rende System a) binaurale Bearbeitung, b) transaurale Bearbeitung, sowie c) Pegelstellung innerhalb der Wiedergabekanäle. Die Bearbeitungsebenen sind hierbei dy- namisch verkoppelt und erfolgen, gemäß den Erfordernissen für die Anwendung in der Mehspuraufnahmetechnik, für jede zu bearbeitende Schallquelle (Instrument, Stimme) getrennt.To remedy this shortcoming, the system to be patented ^couples a) binaural processing, b) transaural processing, and c) level adjustment within the playback channels. The processing levels are dynamic Namely coupled and take place separately for each sound source to be processed (instrument, voice) in accordance with the requirements for use in multi-track recording technology.

Als Stellglied dient ein Joystick, der in den drei räumlichen Ebenen arbeitet; die räumliche Position des Stellglieds entspricht hierbei der virtuellen räumlichen Position der jeweiligen Schallquelle (Instrument).A joystick, which works in the three spatial levels, serves as the actuator; the spatial position of the actuator corresponds to the virtual spatial position of the respective sound source (instrument).

Im Gegensatz zu 3-D-Audioprozessoren, die auf Stereo- Basis arbeiten, erfolgt die transaurale Bearbeitung von Schallquellen des zu patentierenden Systems nur dann, wenn eine Darstellung des jeweiligen Instrumentes außerhalb der Frontalebene der drei Frontkanäle (links, center, rechts) gewünscht ist, da z.B. der "Dolby- Digital"- Standard bereits die Möglichkeit einer hinreichend genauen Plazierung einer Schallquelle mittels Pegelstellung bietet.In contrast to 3-D audio processors, which work on a stereo basis, the transaural processing of sound sources of the system to be patented is only carried out if a representation of the respective instrument outside the frontal plane of the three front channels (left, center, right) is desired , e.g. the "Dolby Digital" standard already offers the possibility of a sufficiently precise placement of a sound source by means of level adjustment.

Die Stärke der transauralen Bearbeitung ist hierbei von der Stellung des Stellgliedes in bezug auf eine Abbildung außerhalb der Frontebene abhängig.The strength of the transaural processing depends on the position of the actuator in relation to an image outside the front level.

Die binaurale und transaurale Bearbeitung erfolgt hierbei gemäß den generellen Erfordernissen der Mehrlautsprecherkonfiguration des jeweiligen Mehrlautsprecher- Standards in Abhängigkeit der Position des Stellgliedes. Die transaurale Bearbeitung erfolgt nur dann, wenn eine Darstellung eines Schalls außerhalb der Lautsprecherebene der jeweiligen Anordnung gewünscht ist, ex- plizit zur Ermoglichung einer Oben-Unten-Lokalisation eines Schallereignisses, das nicht durch Veränderungen der Schallpegelverhaltnisse innerhalb der fünf Lautsprecher hervorgerufen werden kann.The binaural and transaural processing takes place in accordance with the general requirements of the multi-speaker configuration of the respective multi-speaker standard depending on the position of the actuator. The transaural processing takes place only if a representation of a sound outside the loudspeaker level of the respective arrangement is desired, ex- explicitly to allow top-down localization of a sound event that cannot be caused by changes in the sound level relationships within the five speakers.

2.Second

Zur Darstellung von dynamischen Schallbewegungseffekten ist eine Doppler-Effekt-Bearbeitung vorgesehen.A Doppler effect processing is provided to represent dynamic sound movement effects.

Die Effektbearbeitung ermöglicht die Darstellung von bewegungsbezogenen Dopplereffekten bei einer raschen dynamischen Positionierung eines Schallereignisses bei der Tonmischung.The effect processing enables the display of motion-related Doppler effects with a rapid dynamic positioning of a sound event in the sound mixing.

Eine rasch seine Position verändernde Schallquelle ändert bei ihrer Bewegung von Punkt A nach Punkt B ihre Tonhohe in Relation zu der Position des Hörers. Das Intervall der Tonhohenanderung ist hierbei abhangig von der Geschwindigkeit ihrer Bewegung. Zusammen mir der Tonhohe verandern sich die Spektralanteile und die Lautstarke in bezug auf die relative Position des Schallereignisses zum Hörer.A sound source rapidly changing its position changes its pitch in relation to the position of the listener as it moves from point A to point B. The interval of the pitch change depends on the speed of their movement. Together with the pitch, the spectral components and the volume change in relation to the relative position of the sound event to the listener.

In dem vorliegenden Tonbearbeitungssystem wird die virtuelle Position eines Schalles durch die Betätigung des Stellgliedes verändert. Die Bewegungsgeschwindigkeit des Stellgliedes von Punkt A nach Punkt B wird hierbei dekodiert; das zu bearbeitende Schallsignal wird von System dementsprechend m Echtzeit einer Doppler- Funktion unterworfen. Die Geschwindigkeit der Bewegung des Stellgliedes bestimmt hierbei die Größe des Intervalls A'-B', sowie die Art der spektralen Filterung und Pegelregulierung der Doppler-Bearbeitung.In the present sound processing system, the virtual position of a sound is changed by the actuation of the actuator. The speed of movement of the actuator from point A to point B is decoded; the sound signal to be processed is accordingly subjected to a Doppler function in real time by the system. The speed of the actuator movement determines the size of the interval A'-B ', as well as the type of spectral filtering and level control of the Doppler processing.

3.Third

Bisherige 3-D-Audioprozessoren, die für Lautsprecherwiedergabe ausgelegt sind, berücksichtigen in ihrer Arbeitsweise nicht die spezifischen Übertragungseigenschaften von Lautsprechern. Aufgrund der mechanischen und elektromagnetischen Eigenschaften des Schallwandlungsapparates (Auslenkungssystem, Membran, Aufhängung) sind einzelne Lautsprecher einer gewissen Größenordnung nur in der Lage ein gewisses Frequenzband linear zu reproduzieren.Previous 3-D audio processors that are designed for loudspeaker reproduction do not take into account the specific transmission properties of loudspeakers in their mode of operation. Due to the mechanical and electromagnetic properties of the sound conversion apparatus (deflection system, membrane, suspension), individual loudspeakers of a certain size are only able to linearly reproduce a certain frequency band.

In der Praxis werden deswegen Lautsprecher unterschiedlicher Größe zu einem Schallwandlungssystem verknüpft Das elektrische Schallsignal wird hierbei mittels Filterung in verschiedene Frequenzgebiete unterteilt und den verschiedenen Lautsprechern zugeordnet (Mehrwegeprinzip) .In practice, loudspeakers of different sizes are therefore linked to form a sound conversion system. The electrical sound signal is divided into different frequency ranges by filtering and assigned to the different loudspeakers (multi-way principle).

Bei der Filterung und Wiedergabe der Teilspektren entstehen systembedingte Phasendrehungs- und Übersprech- Effekte zwischen den einzelnen Wegen, die aus dem Prinzip der Filterung und den Schwingungseigenschaften der einzelnen Lautsprecher resultieren. Derartige negative Nebeneffekte resultieren in dynamisch auftretenden Frequenzauslöschungen und beeinflussen die Wiedergabequalität des Lautsprechersystems.When filtering and reproducing the sub-spectra, system-related phase rotation and crosstalk effects arise between the individual paths, which result from the principle of filtering and the vibration properties of the individual loudspeakers. Such negative side effects result in dynamically occurring frequency cancellations and influence the reproduction quality of the loudspeaker system.

Bei der Applikation von binauraler Signalbearbeitung erweisen Frequenzauslöschungen sich als fundamentale Störgrößen, die eine deutliche Abschwächung der Ortungsschärfe eines binaural bearbeiteten Schalls zur Folge haben. Zur Eliminierung dieser Störgrößen beinhaltet das zu patentierende System eine Lautsprecherkorrektur, indem a) die individuelle Frequenzcharakteristik des Lautsprechersystems korrigiert und somit eine lineare Übertragung sichergestellt wird, und b) die einzelnen Lautsprecher untereinander in ihrem Phasenverhalten optimiert werden. Hierdurch wird die gesamte Übertragungsstrecke zur bestmöglichen Wiedergabe und Umsetzung der binauralen und transauralen Bearbeitung linearisiert und somit optimiert.When applying binaural signal processing, frequency cancellations prove to be fundamental disturbances that result in a significant weakening of the location accuracy of a binaurally processed sound. To eliminate these disturbances, the system to be patented includes a loudspeaker correction by a) correcting the individual frequency characteristics of the loudspeaker system and thus ensuring a linear transmission, and b) optimizing the phase behavior of the individual loudspeakers. This linearizes and thus optimizes the entire transmission path for the best possible reproduction and implementation of binaural and transaural processing.

Es ist ferner neben dem eigentlichen 3-D-Transformation der einzelnen elektrischen Signalquellen eine Einheit zur Erzeugung von dreidimensionalem Hall vorgesehen. In der natürlichen Hörumgebung des Menschen tritt ein Schallereignis nie als isolierter Direktschall (Freifeld) auf. Die Lokalisation eines Schalls erfolgt immer in bezug auf seine räumliche Umgebung. Das Reflektionsmuster des Schalls anhand von Brechungen, Beugungen und Zeitverzögerungen durch physikalische Hindernisse spielt bei der Orientierung und Interpretation einer Schallsituation auf ihre Umgebung eine wesentliche Rolle.In addition to the actual 3-D transformation of the individual electrical signal sources, a unit for generating three-dimensional Hall is also provided. In a person's natural listening environment, a sound event never occurs as isolated direct sound (free field). A sound is always localized in relation to its spatial environment. The reflection pattern of the sound based on refractions, diffractions and time delays due to physical obstacles plays an important role in the orientation and interpretation of a sound situation in relation to its surroundings.

Bei Wahrnehmung des Schalls lassen sich demnach die Komponenten Direktschall und reflektierter Schall unterscheiden.When sound is perceived, the components of direct sound and reflected sound can be distinguished.

Zur Darstellung von natürlichen Hörumgebungen im Rahmen eines vollständigen 3-D-Audioprozeßsystems ist demnach auch eine binaurale und transaurale Transformation der Reflektionkomponenten erforderlich.A binaural and transaural transformation of the reflection components is therefore also required to represent natural listening environments in the context of a complete 3-D audio process system.

Der holophonische Hallprozessor bewirkt a] eine Erzeugung einer virtuellen dreidimensionalen Hörumgebung und b] die individuelle Plazierung von unterschiedlichen Signalquellen innerhalb dieses virtuellen Raums. Die Generierung der Raumsimulation erfolgt hierbei auf Mehrkanalbasis. Hierfür werden die frühen Reflektionen eines Schallereignisses innerhalb der Bearbeitung mit unterschiedlichen Richtungskoeffizienten in bezug auf das Reflektionsverhalten des virtuellen Raumes versehen und getrennt bearbeitet. Das Produkt der Hallbearbeitung der einzelnen Reflektion wird hierbei anhand der binauralen Außenohrübertragungsfunktion für die jeweilige virtuelle Schallrichtung bearbeitet.The holophonic Hall processor effects a] the generation of a virtual three-dimensional listening environment and b] the individual placement of different signal sources within this virtual space. The room simulation is generated on a multi-channel basis. For this purpose, the early reflections of a sound event within the processing are provided with different directional coefficients with regard to the reflection behavior of the virtual space and processed separately. The product of reverberation processing of the individual reflection is processed using the binaural outer ear transmission function for the respective virtual sound direction.

Die Generierung des jeweiligen Mehrkanalsignals erfolgt hierbei durch virtuelle Lautsprecher und Mikrophone, wobei die Lautsprecher die Eingänge und die Mikrophone die Ausgänge des Schalls innerhalb des virtuellen Raumes darstellen. Der jeweilige Ausgang des virtuellen Mikrophons kann in der Ausgangsebene (Matrizierung) einem physikalischen elektrischen Ausgangskanal zugeordnet werden, wodurch wird die Anpassung an verschiedene Lautsprecherkonfigurationen, bzw. -Standards, wie "Dolby-Digital" ermöglicht wird.The generation of the respective multichannel signal is carried out by virtual loudspeakers and microphones, the loudspeakers representing the inputs and the microphones representing the outputs of the sound within the virtual space. The respective output of the virtual microphone can be assigned in the output level (matrixing) to a physical electrical output channel, which enables adaptation to different loudspeaker configurations or standards, such as "Dolby Digital".

Eine zweite, parallele Signalverarbeitungsebene dient der Erzeugung eines künstlichen diffusen Schallfeldes, welches durch die wiederholte Brechung und Reflektion von Schall innerhalb eines Raumes erzeugt wird. Die einzelnen Diffuskomponenten sind im Gegensatz zu den frühen Reflektionen für das menschliche Ohr nicht mehr ortbar, sondern treten vielmehr als homogenes Tongemisch auf (Hallfahne) .A second, parallel signal processing level is used to generate an artificial diffuse sound field, which is generated by the repeated refraction and reflection of sound within a room. In contrast to the early reflections, the individual diffuse components can no longer be located by the human ear, but rather appear as a homogeneous mixture of tones (reverb tail).

Zeichnungdrawing

Weitere Vorteile und Merkmale der Erfindung sind Gegenstand der nachfolgenden Beschreibung sowie der zeichnerischen Darstellung eines Ausführungsbeispiels. Es zeigen:Further advantages and features of the invention are the subject of the following description and the drawing of an exemplary embodiment. Show it:

Fig.l ein Blockschaltbild der Signalbearbeitung eines 3-D Audioprozessors nach dem Stand derFig.l is a block diagram of the signal processing of a 3-D audio processor according to the prior art

Techniktechnology

Fig.2 ein Blockschaltbild der Signalbearbeitung der Erfindung. Beschreibung des Ausführungsbeispiels2 shows a block diagram of the signal processing of the invention. Description of the embodiment

Wie in Fig.l dargestellt ist, wird das Signal zunächst in einer Eingangsstufe 11 bearbeitet.As shown in Fig.l, the signal is first processed in an input stage 11.

Steht das Signal nicht auf digitaler Ebene zur Verfügung, so erfolgt eine A/D-Wandlung.If the signal is not available on a digital level, an A / D conversion takes place.

Das Signal wird auf digitaler Ebene einer binauralen Bearbeitung 13 unterzogen, wobei das monophone Signal in zwei gehörrichtig aufbereitete Signale verwandelt wird. Hierbei wird das Signal mit den Kopfübertragungsfunktionen (HRTF's) versehen, wobei die Art der Funktion anhand einer Kontrolleinheit vorgewählt wird. Eine transaurale Bearbeitung 14 sorgt durch Übersprech- kompensation für eine Dämpfung der Signalkomponenten, die bei der Stereowiedergabe vom rechten Lautsprecher auf das linke Ohr und vom linken Lautsprecher auf das rechte Ohr einfallen. Hierdurch wird eine kopfbezogene Entkopplung der beiden Kanäle in bezug auf ihre Signalquellen (Lautsprecher) und deren Anordnung vorgenommen, um eine Wiedergabe des binauralen Tonmaterials über Stereo-Lautsprecher zu ermöglichen.The signal is subjected to a binaural processing 13 at the digital level, the monophonic signal being converted into two aurally processed signals. Here the signal is provided with the head transmission functions (HRTF's), the type of function being preselected using a control unit. A transaural processing 14 uses crosstalk compensation to dampen the signal components that fall from the right speaker to the left ear and from the left speaker to the right ear during stereo playback. This results in a head-related decoupling of the two channels with respect to their signal sources (loudspeakers) and their arrangement, in order to enable the binaural sound material to be reproduced via stereo loudspeakers.

Im Signalnalausgang 15 wird, falls die Signale nicht auf digitaler Ebene weitergeleitet werden sollen, eine D/A-Wandlung vorgenommen, um die beiden transformierten Signale als Analogsignal an ein Mischpult oder an einen Schallspeicher weiterzugeben. Ein mehrkanaliges Tonbearbeitungssystem, dargestellt in Fig. 2, umfasst zwei Signalverarbeitungsebenen, eine Direktsignalverarbeitungsebene 2 und eine Raumsimulationsebene 3, die für das klangliche Resultat verantwortlich sind, sowie eine spezielle, mehrkanalige Korrektureinheit für Lautsprecher 4.If the signals are not to be forwarded on a digital level, a D / A conversion is carried out in signal output 15 in order to pass on the two transformed signals as an analog signal to a mixer or to a sound storage device. A multi-channel sound processing system, shown in FIG. 2, comprises two signal processing levels, a direct signal processing level 2 and a room simulation level 3, which are responsible for the sound result, as well as a special, multi-channel correction unit for loudspeakers 4.

Ein Stellglied 1 ist zur manuellen Einflußnahme auf die Bearbeitung des Systems vorgesehen, das in den drei räumlichen Ebenen arbeitet. Das zu bearbeitende Tonmaterial wird über die Ausspielwege eines Mischpultes den Eingangsstufen 18 und 20 der beiden Bearbeitungsebenen 2 und 3 zugeführt. Eine Mischstufe 19 ermöglicht die Weitergabe der Eingangssignale der Direktverarbeitung an die Raumsimulationsebene.An actuator 1 is provided for manually influencing the processing of the system, which works in the three spatial levels. The sound material to be processed is fed to the input stages 18 and 20 of the two processing levels 2 and 3 via the play paths of a mixer. A mixer stage 19 enables the input signals of the direct processing to be passed on to the room simulation level.

Signale, die nicht auf digitaler Ebene vorliegen, werden in den Eingangsstufen digital gewandelt. Die Eingangsstufen 18, 20 sind mehrkanalig ausgeführt, um a] in Verarbeitungsebene 2 eine unabhängige Bearbeitung und somit eine jeweils variable Position der einzelnen Tonsignale zu ermöglichen, b] auf der Ebene der Raumsimulation 3 eine unabhängige Bearbeitung und somit eine jeweils variable Position des einzelnen Tonsignals innerhalb eines virtuellen Raumes zu gewährleisten, und c] eine Erzeugung von unterschiedlichen virtuellen Räumen und Raumkombinationen, z.B. Raum im Raum für ein jeweiliges Signal zu ermöglichen.Signals that are not available on a digital level are converted digitally in the input stages. The input stages 18, 20 are multi-channel in order to enable a] independent processing in processing level 2 and thus a variable position of the individual sound signals, b] independent processing and thus a variable position of the individual sound signal at level 3 in room simulation to ensure within a virtual room, and c] a generation of different virtual rooms and room combinations, for example To allow space in space for a particular signal.

Die manuelle Steuerung des Systems erfolgt durch einen speziellen, in drei Dimensionen arbeitenden Stellmecha- nismus 16 des speziellen Stellgliedes 1 . Bei der Betätigung des Stellmechanismus 16 wird die Position und die Geschwindigkeit der Positionsänderung von einer Erkennungseinheit 17 in Steuerbefehle umgesetzt. Die vertikal verlaufenden Pfeile zeigen die Einflußnahme der Steuerbefehle auf die jeweiligen Signalbearbeitungsgruppen 21, 22, 23, 24 sowie 32, 33, 34 und 35.The system is controlled manually by a special actuating mechanism that works in three dimensions. mechanism 16 of the special actuator 1. When the actuating mechanism 16 is actuated, the position and the speed of the change in position are converted into control commands by a recognition unit 17. The vertical arrows show the influence of the control commands on the respective signal processing groups 21, 22, 23, 24 and 32, 33, 34 and 35.

Die der Direktsignalverarbeitungsebene 2 folgende Doppler-Bearbeitung 21 dient zur Darstellung von akustischen Bewegungseffekten, wie sie u.a. bei der Filmton- Gestaltung Verwendung finden. Die Doppler-Bearbeitung geschieht ebenfalls in Abhängigkeit des Stellgliedes 1, wobei hier von der Erkennungseinheit 17 die Geschwindigkeit der Betätigung des Stellmechanismus bei der Positionsveränderung eines Schallsignals ausgewertet wird. Die Doppler-Bearbeitung 21 umfaßt die Funktionen der Tonbeugung und der Filterung des Schallsignals, wobei die Stärke der Tonbeugung, sowie die Art der Filterfunktion durch die Ausgangs- und Endposition und der Geschwindigkeit der Positionänderung des Stellmechanismus 16 des Stellgliedes 1 vorgegeben wird.The Doppler processing 21 following the direct signal processing level 2 is used to represent acoustic movement effects such as find use in film sound design. The Doppler processing also takes place as a function of the actuator 1, with the recognition unit 17 evaluating the speed at which the actuating mechanism is actuated when a sound signal changes position. The Doppler processing 21 comprises the functions of sound diffraction and the filtering of the sound signal, the strength of the sound diffraction and the type of filter function being predetermined by the starting and end positions and the speed of the change in position of the actuating mechanism 16 of the actuator 1.

Die Direktsignalverarbeitungsebene 2 wird nach der Doppler-Bearbeitung einer binauralen Transformation unterzogen 22 , wobei, für jeden Kanal getrennt, das mo- nophone Signal gemäß den Kopfübertragungsfunktionen in ein zweikanaliges, binaurales Signal gewandelt wird. Die binaurale Bearbeitung des Signals erfolgt gemäß der Vorgabe des Stellgliedes 1, welches durch seine Position die Parameter der binauralen Bearbeitung bestimmt, um somit die virtuelle Plazierung eines Schallsignals in Relation zu der räumlichen Position des Stellmechanismus 16 zu ermöglichen. Die nachfolgende transaurale Bearbeitung 23 erfolgt, im Gegensatz zu der transauralen Bearbeitung nach dem Stand der Technik, ebenfalls in Abhängigkeit der Positionsvorgabe des Stellgliedes. Die Position bestimmt hier das Maß der transauralen Bearbeitung. Die transaurale Bearbeitung erfolgt zur Unterstützung der Pegelstellebene 24, durch die die Plazierung von Schallquellen innerhalb der Mehrlautsprecherebene (Surround-Ebene) erfolgt. Sie wird dann aktiviert, wenn Schallereignisse außerhalb dieser Ebene dargestellt werden sollen, aber auch, um das binaural transformierte Schallsignal von den Lautsprechern als ortbare Schallquelle zu entkoppeln. Raumsimulationsebene 3 dient zur virtuellen Gestaltung von Klangräumen, in denen die einzelnen Schallsignale, die durch die mehrkanalige Eingangsstufe 20 oder der Mischstufe 19 der Bearbeitung zugeführt werden, jeweils unabhängig voneinander positioniert werden können. Hierbei werden die Signale zwei unterschiedlichen Bearbeitungen unterzogen.The direct signal processing level 2 is subjected to a binaural transformation 22 after the Doppler processing, the monophonic signal being converted into a two-channel, binaural signal according to the head transmission functions, separately for each channel. The binaural processing of the signal is carried out in accordance with the specification of the actuator 1, which determines the parameters of the binaural processing by its position, in order to enable the virtual placement of a sound signal in relation to the spatial position of the adjusting mechanism 16. The subsequent transaural processing 23, in contrast to the transaural processing according to the prior art, also takes place as a function of the position specification of the actuator. The position determines the degree of transaural processing. The transaural processing is carried out to support the level control level 24, through which sound sources are placed within the multi-speaker level (surround level). It is activated when sound events outside this level are to be displayed, but also to decouple the binaurally transformed sound signal from the loudspeakers as a localizable sound source. Room simulation level 3 is used for the virtual design of sound spaces in which the individual sound signals, which are fed to the processing through the multi-channel input stage 20 or the mixing stage 19, can each be positioned independently of one another. The signals are subjected to two different processes.

Eine Bearbeitung 31 dient der elektronischen Erzeugung eines diffusen Schallfeldes, daß durch mannigfache Brechung und Reflektion innerhalb eines natürlichen Raums entsteht (Hallfahne) .A processing 31 is used to electronically generate a diffuse sound field that arises from multiple refraction and reflection within a natural space (reverb tail).

Bearbeitungen 32,33,34,35 dienen der Verräumlichung und unabhängigen Wahl der Einfallsrichtungen der frühen Reflektionen, die in Abhängigkeit der Position des Stell- mechanismus 16 des Stellgliedes 1 geschieht, sowie der jeweils unabhängigen Positionierung der einzelnen Schallquellen innerhalb des virtuellen Raumes. Die Form der Verarbeitung erfolgt hierbei nach dem gleichen Muster wie die innerhalb der Direktsignalverarbeitungsebene 2. Zur Beseitigung von Störgrößen dient eine speziell an die Bearbeitungsprozesse des Systems angepaßte, mehrkanalige Lautsprecherkorrektur 4, 40. Die zur Wiedergabe dienenden Lautsprecher werden hierbei einer Phasen- und Frequenzgangkorrektur unterzogen, um eine bestmögliche, lineare Wiedergabe des transformierten Tonmaterials zu ermöglichen. Processing 32,33,34,35 serve to spatialize and independently select the directions of incidence of the early reflections, which depend on the position of the Mechanism 16 of the actuator 1 happens, as well as the independent positioning of the individual sound sources within the virtual space. The form of processing is carried out according to the same pattern as that within the direct signal processing level 2. A multi-channel speaker correction 4, 40, which is specially adapted to the processing processes of the system, is used to eliminate interference variables. The speakers used for reproduction are subjected to a phase and frequency response correction to enable the best possible linear reproduction of the transformed sound material.

Claims

3. Patentansprüche 3. Claims

1. Mehrkanaliges Tonbearbeitungssystem für die Tonstudio- und elektroakustische Übertragungstechnik zur Gestaltung von virtuell-realen Hörumgebungen auf Basis von Mehrlautsprecherstandards, dadurch gekennzeichnet, daß die dimensionsgerechte Darstellung von Schallereignissen neben der binauralen und transauralen Bearbeitung durch eine den gewünschten Schallpositionen gemäßen Regulierung des Signalpegels innerhalb einer mehrkanaligen Lautsprecherumgebung erfolgt.1. Multi-channel sound processing system for the studio and electro-acoustic transmission technology for the design of virtual-real listening environments based on multi-speaker standards, characterized in that the dimensional representation of sound events in addition to the binaural and transaural processing through a regulation of the signal level within a multi-channel according to the desired sound positions Speaker environment takes place.

2. Tonbearbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die Steuerung Signalverarbeitungsstufen durch ein in drei räumlichen Ebenen (vorne, hinten; oben, unten; rechts, links) arbeitendes Stellglied (1) erfolgt und die Positionierung der einzelnen Schallquelle über einen in drei räumlichen Ebenen arbeitenden Stellmechanismus (16) erfolgt.2. Sound processing system according to claim 1, characterized in that the control signal processing stages by an in three spatial levels (front, rear; top, bottom; right, left) actuator (1) and the positioning of the individual sound source via one in three spatial Levels working adjusting mechanism (16) takes place.

3. Tonbearbeitungssystem nach Anspruch 2, dadurch gekennzeichnet, daß die relative räumliche Position des in den drei räumlichen Ebenen arbeitenden Stellmechanismus (16) des Stellgliedes (1) in bezug auf die Extrempositionen oben, unten; vorne, hinten; rechts, links mit der von einem Hörer wahrgenommenen virtuellen Position der Schallquelle in bezug auf die Extrempositionen oben, unten; vorne, hinten; rechts, links der akustischen Umgebung korrespondiert.3. Sound processing system according to claim 2, characterized in that the relative spatial position of the operating mechanism in the three spatial levels (16) of the actuator (1) with respect to the extreme positions above, below; front back; right, left with the virtual position of the sound source perceived by a listener in relation to the extreme positions above, below; front back; right, left corresponds to the acoustic environment.

4. Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die Positionierung der virtuellen Schallquellen, die anhand der Positionierung des Stellmechanismus (16) des Stellgliedes (1) erfolgt, neben der binauralen und transauralen Bearbeitung, eine Bearbeitung des Signalpegels (24) umfaßt.4. Sound processing system according to one of the preceding claims, characterized in that the positioning of the virtual sound sources, which takes place on the basis of the positioning of the adjusting mechanism (16) of the actuator (1), in addition to the binaural and transaural processing, includes a processing of the signal level (24) ,

5. Tonbearbeitungssystem nach Anspruch 4, dadurch gekennzeichnet, daß die Pegelbearbeitung (24, 35) eine Matrizierung der einzelnen binaural und transaural bearbeiteten Mehrkanalsignale umfaßt, die die Regulierung der Pegelverhältnisse jeder einzelnen zu positionierenden Signalquellen innerhalb einer Mehrlautsprecheranordnung ermöglicht .5. Sound processing system according to claim 4, characterized in that the level processing (24, 35) comprises a matrixing of the individual binaural and transaural processed multi-channel signals, which enables the level relationships of each individual signal source to be positioned within a multi-speaker arrangement.

6. Tonbearbeitungssystem nach Anspruch 5, dadurch gekennzeichnet, daß Matrizieungseinheiten zur Anpassung der Arbeitsweise des Systems an jegliche Mehrlautsprecherkonfigurationen vollständig konfigurierbar gestaltet ist.6. Sound processing system according to claim 5, characterized in that matrixing units for adapting the functioning of the system to any multi-speaker configurations is designed to be fully configurable.

7. Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die Stärke der Amplitudenbearbeitung der Direktsignal- Bearbeitung in Abhängigkeit von der richtungsbildenden binauralen Bearbeitung erfolgt. 7. Sound processing system according to one of the preceding claims, characterized in that the strength of the amplitude processing of the direct signal processing takes place as a function of the directional binaural processing.

8. Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die Stärke der binauralen Bearbeitung der Direktsignalverarbeitung in Abhängigkeit von der richtungsbildenden Pegelbearbeitung erfolgt.8. Sound processing system according to one of the preceding claims, characterized in that the strength of the binaural processing of the direct signal processing takes place in dependence on the direction-forming level processing.

9. Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß eine transaurale Bearbeitung (23) innerhalb der Direktsignal- Bearbeitungsebene nicht stetig erfolgt, sondern in ihrer Stärke als regulierbarer Parameter in Abhängigkeit von der Position des Stellgliedes erfolgt.9. Sound processing system according to one of the preceding claims, characterized in that a transaural processing (23) does not take place continuously within the direct signal processing plane, but takes place in its strength as an adjustable parameter depending on the position of the actuator.

10.Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß in die Bearbeitungsebene der Direktsignalbearbeitung eine Doppler-Bearbeitung (21) zur Simulation von bewegungsabhängigen akustischen Tonbeugungs- und Filtereffekten integriert ist.10. Sound processing system according to one of the preceding claims, characterized in that a Doppler processing (21) for simulating motion-dependent acoustic sound diffraction and filter effects is integrated in the processing level of the direct signal processing.

11.Tonbearbeitungssystem nach Anspruch 10, dadurch ge^¬ kennzeichnet, daß die Parametervorgabe der Doppler- Bearbeitung (21) mittels einer Analyseeinheit (17) zur Ermittlung der Geschwindigkeit der Positionsänderung des Stellmechanismus (16) des Stellgliedes (1) geschieht.11. sound processing system according to claim 10, characterized ^¬ indicates that the parameter specification of the Doppler processing (21) by means of an analysis unit (17) for determining the speed of the position change of the actuating mechanism (16) of the actuator (1).

12. Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die Generie^¬ rung der frühen Schallrückwürfe (32) innerhalb der elektronischen Raumsimulation einer binauralen einer transauralen und einer Signalpegel-Bearbeitung (33, 34) unterworfen werden.12. Sound processing system according to one of the preceding claims, characterized in that the generation ^¬ tion of the early sound discards (32) within the electronic room simulation of a binaural one Transaural and a signal level processing (33, 34) are subjected.

13. Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die individuelle virtuelle Einfallsrichtung jedes einzelnen Schallrückwurfes anhand der Position des Stellmechanismus (16) des Stellgliedes (1) bestimmt werden kann.13. Sound processing system according to one of the preceding claims, characterized in that the individual virtual direction of incidence of each individual sound return can be determined on the basis of the position of the adjusting mechanism (16) of the actuator (1).

14.Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die relative räumliche Position des in den drei räumlichen Ebenen arbeitenden Stellmechanismus (16) des Stellgliedes in bezug auf die Extrempositionen oben, unten; vorne, hinten; rechts, links mit der vom Hörer wahrgenommenen, virtuellen Einfallsrichtung des jeweiligen Schallrückwurfes in bezug auf die Extrempositionen oben, unten; vorne, hinten; rechts, links der akustischen Hörumgebung korrespondiert.14. Sound processing system according to one of the preceding claims, characterized in that the relative spatial position of the adjusting mechanism (16) of the actuator working in the three spatial planes with respect to the extreme positions above, below; front back; right, left with the virtual direction of incidence of the respective sound rejection perceived by the listener in relation to the extreme positions above, below; front back; right, left corresponds to the acoustic listening environment.

15.Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die transaurale Bearbeitung (34) der binaural bearbeiteten Schallrückwürfe innerhalb der Raumsimulationsebene nicht stetig, sondern in ihrer Stärke als regulierbarer Parameter in Abhängigkeit von der Position des Stellmechanismus (16) des Stellgliedes (1) erfolgt.15. Sound processing system according to one of the preceding claims, characterized in that the transaural processing (34) of the binaurally processed sound discards within the room simulation level is not continuous, but in its strength as an adjustable parameter as a function of the position of the adjusting mechanism (16) of the actuator (1 ) he follows.

16. onbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die Stärke der Pegelbearbeitung (35) bei der Positionierung der Erstreflektionen der Raumsimulation in Abhängigkeit von der richtungsbildenden binauralen Bearbeitung (33) geschieht.16. on machining system according to one of the preceding claims, characterized in that the strength the level processing (35) occurs when the initial reflections of the room simulation are positioned as a function of the direction-forming binaural processing (33).

17. onbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß die Stärke der binauralen Bearbeitung bei der Positionierung der Erstreflektionen der Raumsimulation in Abhängigkeit von der richtungsbildenden Pegelbearbeitung (35) geschieht.17. on machining system according to one of the preceding claims, characterized in that the strength of the binaural machining occurs in the positioning of the initial reflections of the room simulation in dependence on the direction-forming level machining (35).

18.Tonbearbeitungssystem nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, daß das System über eine speziell angepaßte, mehrkanalige Lautsprecherkorrektureinheit (4, 40) verfügt.18. Sound processing system according to one of the preceding claims, characterized in that the system has a specially adapted, multi-channel speaker correction unit (4, 40).

19. Tonbearbeitungssystem nach Anspruch 18, dadurch gekennzeichnet, daß die Lautsprecherkorrektureinheit (4, 40) vollständig kalibrierfähig ausgelegt ist und zur korrekten Arbeitsweise an alle Lautsprechertypen und Lautsprecherboxen anpaßbar ist.19. A sound processing system according to claim 18, characterized in that the loudspeaker correction unit (4, 40) is designed to be fully calibratable and can be adapted to all loudspeaker types and loudspeakers for correct operation.

20. Tonbearbeitungssystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Tonsignale für die Direktsignalverarbeitung (2) sowie für die Erzeugung von virtuellen Höhrräumen (3) einer jeweils physikalisch getrennten, unabhängigen, mehrkanaligen Eingangssufe zuführbar sind. 20. Sound processing system according to one of the preceding claims, characterized in that the sound signals for direct signal processing (2) and for the generation of virtual cavities (3) can be supplied to a physically separate, independent, multi-channel input stage.

21. Tonbearbeitungssystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Eingangssignale der Eingangsstufe der Direktsignal- Bearbeitung mittels einer Mischstufe (19) unabhängig voneinander in den Signalpfad der Raumsimulation geleitet werden können.21. Sound processing system according to one of the preceding claims, characterized in that the input signals of the input stage of the direct signal processing can be routed independently of one another into the signal path of the room simulation by means of a mixer stage (19).

22. Tonbearbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die Signalausgabe des Systems über eine mehrkanalig ausgeführte, kalibrierfähige Ausgangsstufe (36) erfolgt. 22. Sound processing system according to claim 1, characterized in that the signal output of the system via a multi-channel, calibratable output stage (36).