EP1851998B1 - Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System - Google Patents

Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System Download PDF

Info

Publication number
EP1851998B1
EP1851998B1 EP06707013A EP06707013A EP1851998B1 EP 1851998 B1 EP1851998 B1 EP 1851998B1 EP 06707013 A EP06707013 A EP 06707013A EP 06707013 A EP06707013 A EP 06707013A EP 1851998 B1 EP1851998 B1 EP 1851998B1
Authority
EP
European Patent Office
Prior art keywords
renderer
source
loudspeaker
active
loudspeakers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP06707013A
Other languages
English (en)
French (fr)
Other versions
EP1851998A1 (de
Inventor
Katrin Reichelt
Gabriel Gatzsche
Thomas Heimrich
Kai-Uwe Sattler
Sandra Brix
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Technische Universitaet Ilmenau
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Technische Universitaet Ilmenau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Technische Universitaet Ilmenau filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1851998A1 publication Critical patent/EP1851998A1/de
Application granted granted Critical
Publication of EP1851998B1 publication Critical patent/EP1851998B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Definitions

  • the present invention relates to wave-field synthesis concepts, and more particularly to efficient wave-field synthesis concept in conjunction with a multi-renderer system.
  • WFS Wave Field Synthesis
  • Applied to the acoustics can be simulated by a large number of speakers, which are arranged side by side (a so-called speaker array), any shape of an incoming wavefront.
  • a so-called speaker array any shape of an incoming wavefront.
  • the audio signals of each speaker must be fed with a time delay and amplitude scaling so that the radiated sound fields of each speaker properly overlap.
  • the contribution to each speaker is calculated separately for each source and the resulting signals added together. If the sources to be reproduced are in a room with reflective walls, reflections must also be reproduced as additional sources via the loudspeaker array. The cost of the calculation therefore depends heavily on the number of sound sources, the reflection characteristics of the recording room and the number of speakers.
  • the advantage of this technique is in particular that a natural spatial sound impression over a large area of the playback room is possible.
  • the direction and distance of sound sources are reproduced very accurately.
  • virtual sound sources can even be positioned between the real speaker array and the listener.
  • wavefield synthesis works well for environments whose characteristics are known, irregularities occur when the texture changes, or when wave field synthesis is performed based on environmental conditions that do not match the actual nature of the environment.
  • An environmental condition can be described by the impulse response of the environment.
  • the space compensation using wavefield synthesis would be to first determine the reflection of that wall to determine when a sound signal reflected from the wall will return to the loudspeaker and what amplitude this reflected sound signal will be Has. If the reflection from this wall is undesirable, then with the wave field synthesis it is possible to eliminate the reflection from this wall by impressing the loudspeaker with a signal of opposite amplitude to the reflection signal in addition to the original audio signal, so that the traveling compensating wave is the Extinguished reflection wave, thus, that the reflection from this wall in the environment being considered is eliminated. This can be done by first computing the impulse response of the environment and determining the nature and position of the wall based on the impulse response of that environment, the wall being interpreted as a source of mirrors, that is, a sound source reflecting an incident sound.
  • Wavefield synthesis (WFS or sound field synthesis), as developed at the TU Delft in the late 1980s, represents a holographic approach to sound reproduction. The basis for this is the Kirchhoff-Helmholtz integral. This states that any sound fields within a closed volume can be generated by means of a distribution of monopole and dipole sound sources (loudspeaker arrays) on the surface of this volume.
  • an audio signal that emits a virtual source at a virtual position becomes a synthesis signal for each speaker of the speaker array wherein the synthesis signals are configured in amplitude and phase such that a wave resulting from the superposition of the individual sound waves output by the speakers present in the loudspeaker array corresponds to the wave which would originate from the virtual source at the virtual position, if this virtual source at the virtual location was a real source with a real location.
  • multiple virtual sources exist at different virtual locations.
  • the computation of the synthesis signals is performed for each virtual source at each virtual location, typically resulting in one virtual source in multiple speaker synthesis signals. Seen from a loudspeaker, this loudspeaker thus receives several synthesis signals, which go back to different virtual sources. A superimposition of these sources, which is possible due to the linear superposition principle, then gives the reproduced signal actually emitted by the speaker.
  • the final-rendered and analog-to-digital converted reproduction signals for the individual loudspeakers could be transmitted, for example via two-wire lines, from the wave field synthesis central unit to the individual loudspeakers.
  • the wave field synthesis central unit could always be made only for a special reproduction room or for a reproduction with a fixed number of loudspeakers.
  • the German patent DE 10254404 B4 discloses a system as it is in Fig. 7 is shown.
  • One part is the central wave field synthesis module 10.
  • the other part is composed of individual speaker modules 12a, 12b, 12c, 12d, 12e which are connected to actual physical speakers 14a, 14b, 14c, 14d, 14e as shown in FIG Fig. 1 is shown.
  • the number of speakers 14a-14e in typical applications is in the range above 50 and typically even well above 100. If each loudspeaker is assigned its own loudspeaker module, the corresponding number of loudspeaker modules is also required. Depending on the application, however, it is preferred to address a small group of adjacent loudspeakers from a loudspeaker module.
  • a loudspeaker module connected to four loudspeakers for example, feeds the four loudspeakers with the same playback signal, or whether corresponding different synthesis signals are calculated for the four loudspeakers, so that such a loudspeaker module is actually off consists of several individual speaker modules, but which are physically combined in one unit.
  • each transmission link 16a-16e being coupled to the central wave field synthesis module and to a separate loudspeaker module.
  • a serial transmission format that provides a high data rate such as a so-called Firewire transmission format or a USB data format.
  • Data transfer rates in excess of 100 megabits per second are advantageous.
  • the data stream which is transmitted from the wave field synthesis module 10 to a loudspeaker module is thus correspondingly formatted according to the selected data format in the wave field synthesis module and provided with synchronization information which is provided in conventional serial data formats.
  • This synchronization information is extracted from the data stream by the individual loudspeaker modules and used to synchronize the individual loudspeaker modules with respect to their reproduction, that is, ultimately to the analog-to-digital conversion for obtaining the analog loudspeaker signal and the purpose of resampling.
  • the central wave-field synthesis module works as a master and all loudspeaker modules operate as clients, with the individual data streams across the different links 16a-16e all receiving the same synchronization information from the central module 10.
  • the rendering still determines the total capacity of the system. Is the central rendering unit therefore z.
  • the central rendering unit therefore z. For example, if it is able to render 32 virtual sources simultaneously, ie to compute the synthesis signals for these 32 virtual sources simultaneously, then serious capacity bottlenecks will occur if more than 32 sources are active at a time in an audio scene. This is sufficient for simple scenes. For more complex scenes, in particular with immersive sound impressions, ie when it rains and many raindrops are single sources, it is immediately obvious that the capacity with a maximum of 32 sources is no longer sufficient. A similar situation also occurs when you have a large orchestra and in fact want to process every orchestra player or at least each group of instruments as their own source in their own position. Here, 32 virtual sources can quickly become too little.
  • the object of the present invention is to provide a more efficient wave field synthesis concept.
  • the present invention is based on the finding that an efficient data processing concept for wave field synthesis is achieved by moving away from the central renderer approach and instead using a plurality of rendering units which, unlike a central rendering unit, do not now use the respective rendering units have to bear full processing load, but are controlled intelligently.
  • each renderer module in a multi-renderer system has only a limited allocated number of speakers that need to be serviced.
  • it is determined by a central data output device before rendering whether the loudspeakers associated with a renderer module are actually active for this virtual source.
  • this is already detected before the rendering, and only data is sent to the renderers that they actually need, ie the output side Have speakers that should represent the virtual source.
  • the amount of data transmission compared to the prior art is reduced because no more synthesis signals must be transmitted to speaker modules, but only a file for an audio object, from which only then decentralized the synthesis signals for each (many) speakers are derived.
  • the capacity of a system can be increased without problems that several renderer modules are used intelligently, it has been found that the provision of z.
  • two 32-source renderer modules can be implemented much less expensively and with less delay than if a 64-renderer module were developed centrally.
  • the renderer drive can be made adaptive to catch even larger transmission spikes.
  • a renderer module is not automatically addressed if at least one loudspeaker associated with that renderer module is active. Instead, a minimum threshold of active speakers is specified for a renderer, from which a renderer is first supplied with the audio file of a virtual source. This minimum number depends on the load of this renderer.
  • the data output device will only then control the already heavily loaded renderer with another virtual source, if for this further virtual source a number of loudspeakers is to be active which is above the variable minimum threshold.
  • This approach is based on introducing errors by omitting the rendering of a virtual source by a renderer, but due to the fact that this virtual source employs only a few speakers of the renderer, this introduced error is not so problematic in comparison to a situation where, if the renderer is busy with a relatively unimportant source, then a major source coming later would have to be completely rejected.
  • Fig. 1 shows an apparatus for providing data for wave field synthesis processing in a wave field synthesis system having a plurality of renderer modules connectable to outputs 20a, 20b, 20c.
  • Each renderer module has at least one speaker associated with it.
  • systems with typically more than 100 loudspeakers are used in total, so that a renderer module should be associated with at least 50 individual loudspeakers that can be attached at different positions in a display room as a loudspeaker array for the renderer module.
  • the apparatus according to the invention further comprises means for providing a plurality of audio files, indicated at 22 in FIG Fig. 1 is designated.
  • the device 22 is formed as a database for providing the audio files for virtual sources at different source positions.
  • the device according to the invention comprises a data output device 24 for selectively supplying the audio files to the renderers.
  • the data output device 24 is designed to supply the audio files to a renderer at most only if the renderer is assigned a loudspeaker which is to be active for a reproduction of a virtual position, while the data output device is also designed to be a other renderers will not deliver the audio if all speakers associated with the renderer are to be inactive to play the source.
  • a renderer may not receive an audio file even though it has a few active loudspeakers, but the number of active loudspeakers compared to the total number of active loudspeakers Speaker for this renderer is below a minimum threshold.
  • the inventive apparatus preferably further comprises a data manager 26 adapted to determine whether or not to render active a virtual source of the at least one speaker associated with a renderer. Depending on this, the data manager 26 drives the data output device 24 to distribute the audio files to the individual renderers or not. In one embodiment, the data manager 26 will effectively provide the control signal to a multiplexer in the data output device 24 such that the audio file is switched through to one or more outputs, but typically not all outputs 20a-20c.
  • the present invention is thus based on an object-oriented approach, that is to say that the individual virtual sources are understood as objects which are distinguished by an audio file and a virtual position in space and possibly by the manner of the source, So whether it should be a point source for sound waves or a source for plane waves or a source for differently shaped sources.
  • the calculation of the wave fields is very computationally intensive and tied to the capacities of the hardware used, such as sound cards and computers, in conjunction with the efficiency of the calculation algorithms. Even the best-equipped PC-based solution thus quickly reaches its limits in the calculation of wave field synthesis, when many sophisticated sound events are to be displayed simultaneously. Thus, the capacity limit of the software and hardware used dictates the limitation on the number of virtual sources in the mixdown and playback.
  • Fig. 6 shows such a limited in its known wave field synthesis concept that includes an authoring tool 60, a control renderer module 62, and an audio server 64, wherein the control renderer module is configured to provide a speaker array 66 with data for the speaker array 66 to generate a desired wavefront 68 by superimposing the single waves of the individual loudspeakers 70.
  • the authoring tool 60 allows the user to create scenes, edit and control the wave field synthesis based system.
  • a scene consists of information about the individual virtual audio sources as well as the audio data.
  • the properties of the audio sources and the references to the audio data are stored in an XML scene file.
  • the audio data itself is stored on the audio server 64 and transmitted from there to the renderer module.
  • the renderer module receives the control data from the authoring tool so that the control renderer module 62, which is centrally executed, can generate the synthesis signals for the individual loudspeakers.
  • This in Fig. 6 The concept shown in "Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik and C. Riegel, AES Convention Paper, 115th AES Assembly, October 10, 2003, New York.
  • each renderer is supplied with the same audio data, regardless of whether the renderer needs this data for playback or not because of the limited number of speakers assigned to it. Since each of the current computers is capable of calculating 32 audio sources, this is the limit for the system. On the other hand, the number of renderable sources in the overall system should be significantly increased efficiently. This is one of the essential requirements for complex applications, such as movies, scenes with immersive atmospheres, such as rain or applause or other complex audio scenes.
  • a reduction of redundant data transfer operations and data processing operations in a wave field synthesis multi-renderer system is achieved, which leads to an increase in the computing capacity or the number of simultaneously computable audio sources.
  • the audio server is extended by the data output device, which is able to determine which renderer needs which audio and metadata.
  • the data output device possibly supported by the data manager, requires a plurality of information in a preferred embodiment. This information is initially the audio data, then the source and position data of the sources, and finally the configuration of the renderers, that is, information about the connected speakers and their positions and their capacity.
  • an output schedule by the data output device with a temporal and spatial Arrangement of the audio objects generated. From the spatial arrangement, the time schedule and the renderer configuration, the data management module then calculates which source is relevant for which renderer at a particular time.
  • FIG. 5 A preferred overall concept is in Fig. 5 shown.
  • the database 22 is supplemented on the output side by the data output device 24, wherein the data output device is also referred to as a scheduler.
  • This scheduler then generates at its outputs 20a, 20b, 20c for the various renderers 50 the renderer input signals in order to power the corresponding loudspeakers of the loudspeaker arrays.
  • the scheduler 24 is still supported by a storage manager 52 in order to configure the database 22 by means of a RAID system and corresponding data organization specifications.
  • a data generator 54 On the input side is a data generator 54, which may be, for example, a sound engineer or an audio engineer who is to model or describe an audio scene in an object-oriented manner. In this case, he provides a scene description that includes corresponding output conditions 56, which are then optionally stored in the database 22 together with audio data after a transformation 58.
  • the audio data may be manipulated and updated using an insert / update tool 59.
  • FIG. 2 shows an exemplary reproduction room 50 with a reference point 52 which in a preferred embodiment of the present invention lies in the center of the playback room 50.
  • the reference point can also be arranged at any other arbitrary position of the playback room, ie z. B. in the front third or in the back third.
  • each loudspeaker array is coupled to its own renderer R1 54a, R2 54b, R3 54c and R4 54d.
  • Each renderer is connected to its loudspeaker array via a renderer loudspeaker array connection line 55a, 55b, 55c and 55d, respectively.
  • each renderer is connected to an output 20a, 20b, 20c, and 20d of the data output device 24, respectively.
  • the data output device receives on the input side, ie via its input IN, the corresponding audio files and control signals from a preferably provided data manager 26 (FIG. Fig. 1 ), which indicate whether or not a renderer should receive an audio file, ie whether speakers assigned to a renderer should be active or not.
  • the speakers of the speaker array 53a are associated with the renderer 54a, for example, but not the renderer 54d.
  • the renderer 54d has, as associated speakers, the speakers of the speaker array 53d as it is Fig. 2 is apparent.
  • the data traffic is limited.
  • the information about the virtual sources includes at least the source position and time information about the source, ie when the source starts, how long it lasts and / or when it is over.
  • further information relating to the type of virtual source is also transmitted, that is, whether the virtual source should be a point source or a source of plane waves or a source of otherwise "shaped" sound waves.
  • the renderers may also be provided with information about an acoustics of the playback room 50, information about actual properties of the loudspeakers in the loudspeaker arrays, etc. This information does not necessarily have to be transmitted over the lines 20a-20d, but may also be supplied to the renderers R1-R4 in some other way, so that they can calculate synthesis signals tailored to the reproduction room, which are then fed to the individual loudspeakers.
  • the synthesis signals computed by the individual speaker renderers are already superimposed synthesis signals when multiple virtual sources have been rendered simultaneously by a renderer since each virtual source results in a synthesis signal for a speaker of an array being, being the final speaker signal is then obtained after the superimposition of the synthesis signals of the individual virtual sources by adding the individual synthesis signals.
  • the preferred embodiment shown further includes utilization determination means 56 for, in response to a current actual renderer load or an estimated future renderer utilization, to post-process the driving of a renderer with an audio file.
  • each renderer 54a, 54b, 54c and 54d is limited.
  • each of these renderers is capable of processing a maximum of 32 audio sources, and the utilization determiner 56 determines that, e.g. B. the renderer R1 already z. For example, if 30 sources are rendered, then there is a problem that when two more virtual sources are to be rendered in addition to the other 30 sources, the capacity limit of the renderer 54a is reached.
  • the basic rule is that the renderer 54a will always receive an audio file when it is determined that at least one speaker is to be active for rendering a virtual source.
  • the case may arise that it is determined that only a small portion of the speakers in the loudspeaker array 53a are active for a virtual source, such as only 10% of all loudspeakers associated with the loudspeaker array.
  • the utilization determiner 56 would decide that this renderer is not being serviced with the audio file intended for that virtual source. This will introduce an error.
  • the error is not particularly serious since it is assumed that this virtual source is additionally rendered by adjacent arrays, probably with a much larger one for these arrays Number of speakers.
  • Fig. 3a a preferred embodiment of the data manager 26 of Fig. 1 which is configured to determine whether loudspeakers associated with an array should be active or not depending on a particular virtual position.
  • the data manager operates without complete rendering, but rather determines the active / non-active speakers and hence the active or inactive renderers without computing synthesis signals, but solely based on the source locations of the virtual sources and the position of the speakers Position of the speakers in an array-like design are already determined by the renderer identification, due to the renderer identification.
  • FIG. 3a various source positions Q1-Q9 are plotted, while in Fig. 3b in tabular form, which renderer A1-A4 is active for a certain source position Q1-Q9 (A) or is not active (NA) or z. B. is active or non-active depending on the current load.
  • the source position Q1 For example, if the source position Q1 is considered, it can be seen that this source position with respect to the observation point BP is behind the front loudspeaker array 53a. The listener at the observation point would like to experience the source at the source position Q1 in such a way that the Sound comes in a sense "from scratch". Therefore, due to the virtual source at the source position Q1, the loudspeaker arrays A2, A3, and A4 do not have to emit sound signals so that they are non-active (NA) as shown in the corresponding column in FIG Fig. 3b is drawn. Accordingly, for the other arrays, the situation is for sources Q2, Q3 and Q4.
  • NA non-active
  • the source Q5 is offset in both the x-direction and the y-direction with respect to the observation point. For this reason, both the array 53a and the array 53b are needed for the accurate reproduction of the source at the source position Q5, but not the arrays 53c and 53d.
  • the situation is for the source Q6, the source Q1 and, if there are no utilization problems, the source Q9. It is irrelevant whether, as can be seen, for example, by comparing the sources Q6 and Q5, there is a source behind an array (Q6) or in front of the array (Q5).
  • the source Q9 is located just short of the direct connection line between the reference point and the first array 53a. If the source Q9 were reproduced only by the array 53a, the observer at the reference point would experience the source Q9 on the connection line rather than just offset. This "tight offset" causes only a few loudspeakers to be active in the loudspeaker array 53b, or the loudspeakers to emit only signals of very low energy.
  • the data manager 26 will thus be configured to designate a speaker in an array as active if the source position is between the reference point and the speaker or the speaker is between the source position and the reference point.
  • the first situation is shown for the source Q5, while the second situation for the source Q1 is shown, for example.
  • Fig. 4 shows a further preferred embodiment for the determination of active or non-active speakers.
  • the source position 70 is the first source position and the source position 71 is the second source position (Q2).
  • a speaker array A1 having speakers having a main emission direction (HER), which is shown in FIG Fig. 4 shown embodiment is directed vertically away from an elongated extent of the array, as indicated by emission direction arrows 72.
  • HER main emission direction
  • a table is provided which receives on the input side a source position in a coordinate system related to the reference point and provides on the output side for each loudspeaker array an indication as to whether this loudspeaker array should be active for the current source position or not. This can be achieved by a simple and quick table lookup a very efficient and low-cost implementation of the data manager 26 and the data output device 24.
  • inventive concept will already lead to a significant improvement, if in one Play room z. B. only two speaker arrays are present, such as the two speaker arrays 53b and 53d of Fig. 2 ,
  • inventive concept is also applicable to differently shaped arrays, such as for hexagonal arrays, or for arrays that are not linear or planar, but that are curved, for example.
  • the method according to the invention can be implemented in hardware or in software.
  • the implementation may be on a digital storage medium, particularly a floppy disk or CD, with electronically readable control signals that may interact with a programmable computer system to perform the method.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Communication Control (AREA)

Description

    Beschreibung
  • Die vorliegende Erfindung bezieht sich auf Wellenfeldsynthese-Konzepte und insbesondere auf effiziente Wellenfeldsynthese-Konzept in Verbindung mit einem Multi-Renderer-System.
  • Es besteht ein steigender Bedarf an neuen Technologien und innovativen Produkten im Bereich der Unterhaltungselektronik. Dabei ist es eine wichtige Voraussetzung für den Erfolg neuer multimedialer Systeme, optimale Funktionalitäten bzw. Fähigkeiten anzubieten. Erreicht wird das durch den Einsatz digitaler Technologien und insbesondere der Computertechnik. Beispiele hierfür sind die Applikationen, die einen verbesserten realitätsnahen audiovisuellen Eindruck bieten. Bei bisherigen Audiosystemen liegt ein wesentlicher Schwachpunkt in der Qualität der räumlichen Schallwiedergabe von natürlichen, aber auch von virtuellen Umgebungen.
  • Verfahren zur mehrkanaligen Lautsprecherwiedergabe von Audiosignalen sind seit vielen Jahren bekannt und standardisiert. Alle üblichen Techniken besitzen den Nachteil, dass sowohl der Aufstellungsort der Lautsprecher als auch die Position des Hörers dem Übertragungsformat bereits eingeprägt sind. Bei falscher Anordnung der Lautsprecher im Bezug auf den Hörer leidet die Audioqualität deutlich. Ein optimaler Klang ist nur in einem kleinen Bereich des Wiedergaberaums, dem so genannten Sweet Spot, möglich.
  • Ein besserer natürlicher Raumeindruck sowie eine stärkere Einhüllung bei der Audiowiedergabe kann mit Hilfe einer neuen Technologie erreicht werden. Die Grundlagen dieser Technologie, die so genannte Wellenfeldsynthese (WFS; WFS = Wave-Field Synthesis), wurden an der TU Delft erforscht und erstmals in den späten 80er-Jahren vorgestellt (Berkhout, A.J.; de Vries, D.; Vogel, P.: Acoustic control by Wave-field Synthesis. JASA 93, 1993).
  • Infolge der enormen Anforderungen dieser Methode an Rechnerleistung und Übertragungsraten wurde die Wellenfeldsynthese bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen. Erste Produkte im professionellen Bereich werden nächstes Jahr erwartet. In wenigen Jahren sollen auch erste Wellenfeldsynthese-Anwendungen für den Konsumerbereich auf den Markt kommen.
  • Die Grundidee von WFS basiert auf der Anwendung des Huygens' schen Prinzips der Wellentheorie:
    • Jeder Punkt, der von einer Welle erfasst wird, ist Ausgangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet.
  • Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray), jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachsten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzögerung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für jede Quelle der Beitrag zu jedem Lautsprecher getrennt berechnet und die resultierenden Signale addiert. Befinden sich die wiederzugebenden Quellen in einem Raum mit reflektierenden Wänden, dann müssen auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergegeben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionseigenschaften des Aufnahmeraums und der Anzahl der Lautsprecher ab.
  • Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maβe können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden.
  • Obgleich die Wellenfeldsynthese für Umgebungen gut funktioniert, deren Beschaffenheiten bekannt sind, treten doch Unregelmäßigkeiten auf, wenn sich die Beschaffenheit ändert bzw. wenn die Wellenfeldsynthese auf der Basis einer Umgebungsbeschaffenheit ausgeführt wird, die nicht mit der tatsächlichen Beschaffenheit der Umgebung übereinstimmt.
  • Eine Umgebungsbeschaffenheit kann durch die Impulsantwort der Umgebung beschrieben werden.
  • Dies wird anhand des nachfolgenden Beispiels näher dargelegt. Es wird davon ausgegangen, dass ein Lautsprecher ein Schallsignal gegen eine Wand aussendet, deren Reflexion unerwünscht ist. Für dieses einfache Beispiel würde die Raumkompensation unter Verwendung der Wellenfeldsynthese darin bestehen, dass zunächst die Reflexion dieser Wand bestimmt wird, um zu ermitteln, wann ein Schallsignal, das von der Wand reflektiert worden ist, wieder beim Lautsprecher ankommt, und welche Amplitude dieses reflektierte Schallsignal hat. Wenn die Reflexion von dieser Wand unerwünscht ist, so besteht mit der Wellenfeldsynthese die Möglichkeit, die Reflexion von dieser Wand zu eliminieren, indem dem Lautsprecher ein zu dem Reflexionssignal gegenphasiges Signal mit entsprechender Amplitude zusätzlich zum ursprünglichen Audiosignal eingeprägt wird, so dass die hinlaufende Kompensationswelle die Reflexionswelle auslöscht, derart, dass die Reflexion von dieser Wand in der Umgebung, die betrachtet wird, eliminiert ist. Dies kann dadurch geschehen, dass zunächst die Impulsantwort der Umgebung berechnet wird und auf der Basis der Impulsantwort dieser Umgebung die Beschaffenheit und Position der Wand bestimmt wird, wobei die Wand als Spiegelquelle interpretiert wird, also als Schallquelle, die einen einfallenden Schall reflektiert.
  • Wird zunächst die Impulsantwort dieser Umgebung gemessen und wird dann das Kompensationssignal berechnet, das dem Audiosignal überlagert dem Lautsprecher eingeprägt werden muss, so wird eine Aufhebung der Reflexion von dieser Wand stattfinden, derart, dass ein Hörer in dieser Umgebung schallmäßig den Eindruck hat, dass diese Wand überhaupt nicht existiert.
  • Entscheidend für eine optimale Kompensation der reflektierten Welle ist jedoch, dass die Impulsantwort des Raums genau bestimmt wird, damit keine Über- oder Unterkompensation auftritt.
  • Die Wellenfeldsynthese ermöglicht somit eine korrekte Abbildung von virtuellen Schallquellen über einen großen Wiedergabebereich. Gleichzeitig bietet sie dem Tonmeister und Toningenieur neues technisches und kreatives Potential bei der Erstellung auch komplexer Klanglandschaften. Die Wellenfeldsynthese (WFS oder auch Schallfeldsynthese), wie sie Ende der 80-er Jahre an der TU Delft entwickelt wurde, stellt einen holographischen Ansatz der Schallwiedergabe dar. Als Grundlage hierfür dient das Kirchhoff-Helmholtz-Integral. Dieses besagt, dass beliebige Schallfelder innerhalb eines geschlossenen Volumens mittels einer Verteilung von Monopol- und Dipolschallquellen (Lautsprecherarrays) auf der Oberfläche dieses Volumens erzeugt werden können.
  • Bei der Wellenfeldsynthese wird aus einem Audiosignal, das eine virtuelle Quelle an einer virtuellen Position aussendet, eine Synthesesignal für jeden Lautsprecher des Lautsprecherarrays berechnet, wobei die Synthesesignale derart hinsichtlich Amplitude und Phase gestaltet sind, dass eine Welle, die sich aus der Überlagerung der einzelnen durch die im Lautsprecherarray vorhandenen Lautsprecher ausgegebenen Schallwelle ergibt, der Welle entspricht, die von der virtuellen Quelle an der virtuellen Position herrühren würde, wenn diese virtuelle Quelle an der virtuellen Position eine reale Quelle mit einer realen Position wäre.
  • Typischerweise sind mehrere virtuelle Quellen an verschiedenen virtuellen Positionen vorhanden. Die Berechnung der Synthesesignale wird für jede virtuelle Quelle an jeder virtuellen Position durchgeführt, so dass typischerweise eine virtuelle Quelle in Synthesesignalen für mehrere Lautsprecher resultiert. Von einem Lautsprecher aus betrachtet empfängt dieser Lautsprecher somit mehrere Synthesesignale, die auf verschiedene virtuelle Quellen zurückgehen. Eine Überlagerung dieser Quellen, die aufgrund des linearen Superpositionsprinzips möglich ist, ergibt dann das von dem Lautsprecher tatsächlich ausgesendete Wiedergabesignal.
  • Die Möglichkeiten der Wellenfeldsynthese können um so besser ausgeschöpft werden, je größer die Lautsprecherarrays sind, d. h. um so mehr einzelne Lautsprecher bereitgestellt werden. Damit steigt jedoch auch die Rechenleistung, die eine Wellenfeldsyntheseeinheit vollbringen muss, da typischerweise auch Kanalinformationen berücksichtigt werden müssen. Dies bedeutet im einzelnen, dass von jeder virtuellen Quelle zu jedem Lautsprecher prinzipiell ein eigener Übertragungskanal vorhanden ist, und dass prinzipiell der Fall vorhanden sein kann, dass jede virtuelle Quelle zu einem Synthesesignal für jeden Lautsprecher führt, bzw. dass jeder Lautsprecher eine Anzahl von Synthesesignalen erhält, die gleich der Anzahl von virtuellen Quellen ist.
  • Wenn insbesondere bei Kinoanwendungen die Möglichkeiten der Wellenfeldsynthese dahingehend ausgeschöpft werden sollen, dass die virtuellen Quellen auch beweglich sein können, so ist zu erkennen, dass aufgrund der Berechnung der Synthese-signale, der Berechnung der Kanalinformationen und der Erzeugung der Wiedergabesignale durch Kombination der Kanalinformationen und der Synthesesignale ganz erhebliche Rechenleistungen zu bewältigen sind.
  • Darüber hinaus sei an dieser Stelle angemerkt, dass die Qualität der Audiowiedergabe mit der Anzahl der zur Verfügung gestellten Lautsprecher steigt. Dies bedeutet, dass die Audiowiedergabequalität um so besser und realistischer wird, um so mehr Lautsprecher in dem bzw. den Lautsprecherarrays vorhanden sind.
  • Im obigen Szenario könnten die fertig gerenderten und analog-digital-gewandelten Wiedergabesignale für die einzelnen Lautsprecher beispielsweise über Zweidrahtleitungen von der Wellenfeldsynthese-Zentraleinheit zu den einzelnen Lautsprechern übertragen werden. Dies hätte zwar den Vorteil, dass nahezu sichergestellt ist, dass alle Lautsprecher synchron arbeiten, so dass hier zu Synchronisationszwecken keine weiteren Maßnahmen erforderlich wären. Andererseits könnte die Wellenfeldsynthese-Zentraleinheit immer nur für einen speziellen Wiedergaberaum bzw. für eine Wiedergabe mit einer festgelegten Anzahl von Lautsprechern hergestellt werden. Dies bedeutet, dass für jeden Wiedergaberaum eine eigene Wellenfeldsynthese-Zentraleinheit gefertigt werden müsste, die ein erhebliches Maß an Rechenleistung zu vollbringen hat, da die Berechnung der Audiowiedergabesignale insbesondere im Hinblick auf viele Lautsprecher bzw. viele virtuelle Quellen zumindest teilweise parallel und in Echtzeit erfolgen muss.
  • Das Deutsche Patent DE 10254404 B4 offenbart ein System, wie es in Fig. 7 dargestellt ist. Ein Teil ist das zentrale Wellenfeldsynthesemodul 10. Der andere Teil setzt sich aus einzelnen Lautsprechermodulen 12a, 12b, 12c, 12d, 12e zusammen, die mit tatsächlichen physikalischen Lautsprechern 14a, 14b, 14c, 14d, 14e derart verbunden sind, wie es in Fig. 1 gezeigt ist. Es sei darauf hingewiesen, dass die Anzahl der Lautsprecher 14a-14e bei typischen Anwendungen im Bereich über 50 und typischerweise sogar deutlich über 100 liegt. Wird jedem Lautsprecher ein eigenes Lautsprechermodul zugeordnet, so wird auch die entsprechende Anzahl von Lautsprecher-Modulen benötigt. Je nach Anwendung wird es jedoch bevorzugt, von einem Lautsprecher-Modul aus eine kleine Gruppe von nebeneinander liegenden Lautsprechern anzusprechen. In diesem Zusammenhang ist es beliebig, ob ein Lautsprecher-Modul, das mit vier Lautsprechern beispielsweise verbunden ist, die vier Lautsprecher mit demselben Wiedergabesignal speist, oder ob für die vier Lautsprecher entsprechende unterschiedliche Synthesesignale berechnet werden, so dass ein solches Lautsprecher-Modul eigentlich aus mehreren einzelnen Lautsprecher-Modulen besteht, die jedoch physikalisch in einer Einheit zusammengefasst sind.
  • Zwischen dem Wellenfeldsynthesemodul 10 und jedem einzelnen Lautsprecher-Modul 12a-12e befindet sich eine eigene Übertragungsstrecke 16a-16e, wobei jede Übertragungsstrecke mit dem zentralen Wellenfeldsynthesemodul und einem eigenen Lautsprecher-Modul gekoppelt ist.
  • Als Datenübertragungsmodus zum Übertragen von Daten von dem Wellenfeldsynthesemodul zu einem Lautsprecher-Modul wird ein serielles Übertragungsformat bevorzugt, das eine hohe Datenrate liefert, wie beispielsweise ein sogenanntes Firewire-Übertragungsformat oder ein USB-Datenformat. Datenübertragungsraten von über 100 Megabit pro Sekunde sind vorteilhaft.
  • Der Datenstrom, der von dem Wellenfeldsynthesemodul 10 zu einem Lautsprecher-Modul übertragen wird, wird somit je nach gewähltem Datenformat in dem Wellenfeldsynthesemodul entsprechend formatiert und mit einer Synchronisationsinformation versehen, die in üblichen seriellen Datenformaten vorgesehen ist. Diese Synchronisationsinformation wird von den einzelnen Lautsprecher-Modulen aus dem Datenstrom extrahiert und verwendet, um die einzelnen Lautsprecher-Module im Hinblick auf ihre Wiedergabe, also letztendlich auf die Analog-Digital-Wandlung zum Erhalten des analogen Lautsprechersignals und die dafür vorgesehene Abtastung (resampling) zu synchronisieren. Das zentrale Wellenfeldsynthesemodul arbeite als Master, und alle Lautsprecher-Module arbeiten als Clients, wobei die einzelnen Datenströme über die verschiedenen Übertragungsstrecken 16a-16e alle dieselben Synchronisationsinformationen von dem Zentralmodul 10 erhalten. Dies stellt sicher, dass alle Lautsprecher-Module synchron, und zwar synchronisiert von dem Master 10, arbeiten, was für das Audiowiedergabesystem wichtig ist, um keinen Verlust an Audioqualität zu erleiden, damit die vom Wellenfeldsynthesemodul berechneten Synthesesignale nicht zeitversetzt von den einzelnen Lautsprechern nach entsprechendem Audio-Rendering abgestrahlt werden.
  • Das beschriebene Konzept liefert zwar bereits eine deutliche Flexibilität im Hinblick auf ein Wellenfeldsynthese-System, das für verschiedene Anwendungsmöglichkeiten skalierbar ist. Es leidet jedoch nach wie vor an der Problematik, dass das zentrale Wellenfeldsynthese-Modul, das das eigentliche Haupt-Rendering durchführt, das also abhängig von den Positionen der virtuellen Quellen und abhängig von den Lautsprecherpositionen die einzelnen Synthese-Signale für die Lautsprecher berechnet, einen "Flaschenhals" für das gesamte System darstellt. Obgleich bei diesem System das "Nach-Rendering", also die Beaufschlagung der Synthese-signale mit Kanalübertragungsfunktionen, etc. bereits dezentral ausgeführt wird und somit bereits die notwendige Datenübertragungskapazität zwischen dem zentralen Renderer-Modul und den einzelnen Lautsprecher-Modulen durch Selektion von Synthesesignalen mit einer kleineren Energie als einer bestimmten Schwellenenergie reduziert worden ist, müssen jedoch dennoch alle virtuellen Quellen gewissermaßen für alle Lautsprechermodule gerendert werden, also in Synthesesignale umgerechnet werden, wobei die Ausselektion erst nach dem Rendering stattfindet.
  • Dies bedeutet, dass das Rendering nach wie vor die Gesamtkapazität des Systems bestimmt. Ist die zentrale Rendering-Einheit daher z. B. in der Lage, 32 virtuelle Quellen gleichzeitig zu rendern, also für diese 32 virtuellen Quellen die Synthesesignale gleichzeitig zu berechnen, so treten ernsthafte Kapazitätsengpässe auf, wenn mehr als 32 Quellen zu einem Zeitpunkt in einer Audioszene aktiv sind. Für einfache Szenen ist dies ausreichend. Für komplexere Szenen, insbesondere mit immersiven Klangeindrücken, also wenn es beispielsweise regnet und viele Regentropfen einzelne Quellen darstellen, ist es ummittelbar einsichtig, dass die Kapazität mit maximal 32 Quellen nicht mehr ausreicht. Eine entsprechende Situation findet auch dann statt, wenn man ein großes Orchester hat und tatsächlich jeden Orchesterspieler oder wenigstens jede Instrumentengruppe als eigene Quelle an ihrer eigenen Position verarbeiten möchte. Hier können 32 virtuelle Quellen sehr schnell zu wenig werden.
  • Eine Möglichkeit, mit diesem Problem fertig zu werden, besteht natürlich darin, die Kapazität des Renderers auf mehr als 32 Quellen zu erhöhen. Es hat sich jedoch herausgestellt, dass dies zu einer erheblichen Verteuerung des Gesamtsystems führen kann, da sehr viel in diese zusätzliche Kapazität gesteckt werden muss, und diese zusätzliche Kapazität dennoch innerhalb einer Audioszene normalerweise nicht dauernd, sondern nur zu bestimmten "Spitzenzeiten" benötigt wird. Eine solche Erhöhung der Kapazität führt daher zu einem höheren Preis, der jedoch einem Kunden nur schwer erklärbar ist, da der Kunde nur sehr selten von der erhöhten Kapazität Gebrauch macht.
  • Die Aufgabe der vorliegenden Erfindung besteht darin, ein effizienteres Wellenfeldsynthese-Konzept zu schaffen.
  • Diese Aufgabe wird durch eine Vorrichtung zum Liefern von Daten nach Patentanspruch 1, ein Verfahren zum Liefern von Daten nach Patentanspruch 14 oder ein Computer-Programm nach Patentanspruch 15 gelöst.
  • Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ein effizientes Datenverarbeitungskonzept für die Wellenfeldsynthese dadurch erreicht wird, dass von dem zentralen Renderer-Ansatz weggegangen wird und stattdessen mehrere Rendering-Einheiten eingesetzt werden, die im Gegensatz zu einer zentralen Rendering-Einheit nunmehr nicht jeweils die volle Verarbeitungslast tragen müssen, sondern intelligent angesteuert werden. In anderen Worten ausgedrückt hat jedes Renderer-Modul in einem Multi-Renderer-System nur eine begrenzte zugeordnete Anzahl von Lautsprechern, die versorgt werden müssen. Erfindungsgemäß wird von einer zentralen Datenausgabeeinrichtung bereits vor dem Rendern bestimmt, ob die Lautsprecher, die einem Renderer-Modul zugeordnet sind, für diese virtuelle Quelle überhaupt aktiv sind. Erst wenn bestimmt wird, dass die Lautsprecher für einen Renderer aktiv sind, wenn eine virtuelle Quelle aufbereitet wird, werden die Audiodaten für die virtuelle Quelle samt gegebenenfalls nötiger Zusatzinformationen zu diesem Renderer übertragen, während die Audiodaten zu einem anderen Renderer nicht übertragen werden, dessen Lautsprecher zum Aufbreiten dieser virtuellen Quelle nicht aktiv sind.
  • So hat sich herausgestellt, dass es sehr wenig virtuelle Quellen gibt, bei denen sämtliche Lautsprecher in einem einen Wiedergaberaum umspannenden Lautsprecherarraysystem aktiv sind, um eine virtuelle Quelle abzuspielen. So sind typischerweise für eine virtuelle Quelle, z. B. bei einem Vier-Array-System immer nur zwei benachbarte Lautsprecherarrays oder sogar nur ein einziges Lautsprecherarray aktiv, um diese virtuelle Quelle im Wiedergaberaum darzustellen.
  • Erfindungsgemäß wird dies bereits vor dem Rendering erkannt, und es werden nur Daten zu den Renderern geschickt, die sie tatsächlich auch brauchen, also die ausgangsseitig Lautsprecher haben, die die virtuelle Quelle darstellen sollen.
  • Damit wird die Menge der Datenübertragung im Vergleich zum Stand der Technik reduziert, da nicht mehr Synthesesignale zu Lautsprechermodulen übertragen werden müssen, sondern nur eine Datei für ein Audioobjekt, von der dann erst dezentral die Synthesesignale für die einzelnen (vielen) Lautsprecher abgeleitet werden.
  • Andererseits kann ohne Probleme die Kapazität eines Systems dahingehend erhöht werden, dass mehrere Renderer-Module intelligent eingesetzt werden, wobei sich herausgestellt hat, dass die Bereitstellung von z. B. zwei 32-Quellen-Renderer-Modulen wesentlich preisgünstiger und verzögerungsärmer implementiert werden kann, als wenn ein 64-Renderer-Modul an zentraler Stelle entwickelt werden würde.
  • Des weiteren hat sich herausgestellt, dass sich die effektive Kapazität des Systems durch Bereitstellung von z. B. zwei 32-Renderer-Modulen bereits um nahezu das Doppelte steigern lässt, da im Mittel virtuelle Quellen z. B. in einem vier-seitigen Arraysystem normalerweise nur die Hälfte der Lautsprecher beschäftigen, während die anderen Lautsprecher in diesem Fall mit jeweils anderen virtuellen Quellen ausgelastet werden können.
  • Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung kann die Renderer-Ansteuerung adaptiv gemacht werden, um noch größere Übertragungsspitzen abfangen zu können. Hier wird ein Renderer-Modul nicht automatisch angesteuert, wenn wenigstens ein diesem Renderer-Modul zugeordneter Lautsprecher aktiv ist. Stattdessen wird eine Minimalschwelle von aktiven Lautsprechern für einen Renderer vorgegeben, ab der ein Renderer erst mit der Audiodatei einer virtuellen Quelle versorgt wird. Diese Minimalzahl hängt von der Auslastung dieses Renderers ab. Stellt sich heraus, dass die Auslastung dieses Renderers bereits an der kritischen Grenze ist oder sehr wahrscheinlich bald an der kritischen Grenze sein wird, was anhand eines Look-Ahead-Konzepts zur Analyse in der Szenenbeschreibung erreicht werden kann, wird die erfindungsgemäße Datenausgabeeinrichtung den ohnehin bereits stark belasteten Renderer erst dann mit einer weiteren virtuellen Quelle ansteuern, wenn für diese weitere virtuelle Quelle eine Anzahl von Lautsprechern aktiv sein soll, die oberhalb der variablen Minimal-Schwelle ist. Diese Vorgehensweise basiert darauf, dass zwar durch Weglassen des Rendering einer virtuellen Quelle durch einen Renderer Fehler eingeführt werden, dass jedoch aufgrund der Tatsache, dass diese virtuelle Quelle nur einige Lautsprecher des Renderers beschäftigt, dieser eingeführte Fehler nicht so problematisch ist, und zwar im Vergleich zu einer Situation, bei der dann, wenn der Renderer mit einer relativ unwichtigen Quelle ausgelastet ist, eine später kommende wichtige Quelle komplett abgelehnt werden müsste.
  • Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
    • Fig. 1
    ein Blockschaltbild einer erfindungsgemäßen Vor- richtung zum Liefern von Daten für die Wellen- feldsynthese-Aufbereitung;
    Fig. 2
    ein Blockschaltbild eines erfindungsgemäßen Aus- führungsbeispiels mit vier Lautsprecherarrays und vier Renderer-Modulen;
    Fig. 3a und 3b
    eine schematische Darstellung eines Wieder- gaberaums mit einem Bezugspunkt und verschiedenen Quellenpositionen und aktiven bzw. nicht aktiven Lautsprecherarrays;
    Fig. 4
    ein schematisches Bild zur Ermittlung von aktiven Lautsprechern auf der Basis der Hauptemissions- richtung der Lautsprecher;
    Fig. 5
    eine Einbettung des erfindungsgemäßen Konzepts in ein Wellenfeldsynthese-Gesamtsystem;
    Fig. 6
    eine schematische Darstellung eines bekannten Wellenfeldsynthese-Konzepts; und
    Fig. 7
    eine weitere Darstellung eines bekannten Wellen- feldsynthese-Konzepts.
  • Fig. 1 zeigt eine Vorrichtung zum Liefern von Daten für die Wellenfeldsynthese-Aufbereitung in einem Wellenfeldsynthesesystem mit einer Mehrzahl von Renderer-Modulen, die an Ausgängen 20a, 20b, 20c anschließbar sind. Jedem Renderer-Modul ist wenigstens ein Lautsprecher zugeordnet. Vorzugsweise werden jedoch Systeme mit typischerweise mehr als 100 Lautsprechern insgesamt verwendet, sodass einem Renderer-Modul wenigstens 50 einzelne Lautsprecher zugeordnet sein dürften, die an unterschiedlichen Positionen in einem Wiedergaberaum als Lautsprecherarray für das Renderer-Modul anbringbar sind.
  • Die erfindungsgemäße Vorrichtung umfasst ferner eine Einrichtung zum Liefern einer Mehrzahl von Audiodateien, die mit 22 in Fig. 1 bezeichnet ist. Vorzugsweise ist die Einrichtung 22 als Datenbank zum Liefern der Audiodateien für virtuelle Quellen an unterschiedlichen Quellenpositionen ausgebildet. Ferner umfasst die erfindungsgemäße Vorrichtung eine Datenausgabeeinrichtung 24 zum selektiven Liefern der Audiodateien zu den Renderern. Insbesondere ist die Datenausgabeeinrichtung 24 ausgebildet, um die Audiodateien zu einem Renderer höchstens nur dann zu liefern, wenn dem Renderer ein Lautsprecher zugeordnet ist, der für eine Wiedergabe einer virtuellen Position aktiv sein soll, während die Datenausgabeeinrichtung ferner ausgebildet ist, um einem anderen Renderer die Audiodaten nicht zu liefern, wenn alle dem Renderer zugeordnete Lautsprecher zur Wiedergabe der Quelle nicht aktiv sein sollen. Wie später noch ausgeführt werden wird, kann je nach Implementierung und insbesondere im Hinblick auf eine dynamische Auslastungs-Begrenzung ein Renderer sogar dann eine Audiodatei nicht erhalten, wenn er zwar einige wenige aktive Lautsprecher hat, die Anzahl der aktiven Lautsprecher jedoch im Vergleich zur Gesamtanzahl der Lautsprecher für diesen Renderer unterhalb einer Minimalschwelle liegt.
  • Die erfindungsgemäße Vorrichtung umfasst ferner vorzugsweise einen Datenmanager 26, der ausgebildet ist, um zu bestimmen, ob zur Wiedergabe einer virtuellen Quelle der wenigstens eine Lautsprecher, der einem Renderer zugeordnet ist, aktiv sein soll oder nicht. Abhängig davon steuert der Datenmanager 26 die Datenausgabeeinrichtung 24 an, um die Audiodateien zu den einzelnen Renderern zu verteilen oder nicht. Bei einem Ausführungsbeispiel wird der Datenmanager 26 gewissermaßen das Steuersignal für einen Multiplexer in der Datenausgabeeinrichtung 24 liefern, sodass die Audiodatei an einen oder mehrere Ausgänge, jedoch typischerweise nicht alle Ausgänge 20a-20c durchgeschaltet wird.
  • Je nach Implementierung können der Datenmanager 26 bzw., wenn diese Funktionalität in der Datenausgabeeinrichtung 24 integriert ist, die Datenausgabeeinrichtung 24 aktiv sein, um auf der Basis der Lautsprecherpositionen oder, wenn die Lautsprecherpositionen bereits aus einer Rendereridentifikation heraus eindeutig sind, auf der Basis einer Rendereridentifikation aktive Renderer bzw. nicht-aktive Renderer herausfinden.
  • Die vorliegende Erfindung basiert somit auf einem objektorientierten Ansatz, dass also die einzelnen virtuellen Quellen als Objekte aufgefasst werden, die sich durch eine Audiodatei und eine virtuelle Position im Raum und möglicherweise durch die Art und Weise der Quelle auszeichnen, also ob sie eine Punktquelle für Schallwellen oder eine Quelle für ebene Wellen oder eine Quelle für anders geformte Quellen sein soll.
  • Wie es ausgeführt worden ist, ist die Berechnung der Wellenfelder sehr rechenzeitintensiv und an die Kapazitäten der verwendeten Hardware, wie beispielsweise Soundkarten und Rechner, im Zusammenspiel mit der Effizienz der Berechnungsalgorithmen gebunden. Auch die beste ausgestattete PCbasierte Lösung stößt somit bei der Berechnung der Wellenfeldsynthese schnell an ihre Grenzen, wenn viele anspruchsvolle Klangereignisse gleichzeitig dargestellt werden sollen. So gibt die Kapazitätsgrenze der verwendeten Soft- und Hardware die Beschränkung hinsichtlich der Anzahl der virtuellen Quellen bei der Abmischung und Wiedergabe vor.
  • Fig. 6 zeigt ein solches in seiner Kapazität begrenztes bekanntes Wellenfeldsynthese-Konzept, das ein Authoring-Werkzeug 60, ein Steuer-Renderer-Modul 62 und einen Audioserver 64 umfasst, wobei das Steuer-Renderer-Modul ausgebildet ist, um ein Lautsprecherarray 66 mit Daten zu versorgen, damit das Lautsprecher-Array 66 eine gewünschte Wellenfront 68 durch Überlagerung der Einzelwellen der einzelnen Lautsprecher 70 erzeugt. Das Authoring-Werkzeug 60 erlaubt es dem Nutzer, Szenen zu erstellen, zu editieren und das Wellenfeldsynthese-basierte System zu steuern. Eine Szene besteht sowohl aus Informationen zu den einzelnen virtuellen Audioquellen als auch aus den Audiodaten. Die Eigenschaften der Audioquellen und der Referenzen auf die Audiodaten werden in einer XML-Szenendatei gespeichert. Die Audiodaten selbst werden auf dem Audioserver 64 abgelegt und von dort aus an das Renderer-Modul übertragen. Gleichzeitig erhält das Renderer-Modul die Steuerdaten vom Authoring-Werkzeug, damit das Steuer-Renderer-Modul 62, das zentral ausgeführt ist, die Synthesesignale für die einzelnen Lautsprecher erzeugen kann. Das in Fig. 6 gezeigte Konzept ist in "Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik und C. Riegel, AES Convention Paper, 115. AES-Versammlung, 10. Oktober 2003, New York, beschrieben.
  • Wird dieses Wellenfeldsynthese-System mit mehreren Renderer-Modulen betrieben, so wird dabei jeder Renderer mit denselben Audiodaten versorgt, egal, ob der Renderer aufgrund der ihm zugeordneten begrenzten Zahl von Lautsprechern diese Daten für die Wiedergabe benötigt oder nicht. Da jeder der aktuellen Rechner in der Lage ist, 32 Audioquellen zu berechnen, stellt dies die Grenze für das System dar. Andererseits soll die Anzahl der im Gesamtsystem renderbaren Quellen effizient deutlich erhöht werden. Dies ist eine der wesentlichen Voraussetzungen für komplexe Anwendungen, wie beispielsweise Kinofilme, Szenen mit immersiven Atmosphären, wie beispielsweise Regen oder Applaus oder andere komplexe Audioszenen.
  • Erfindungsgemäß wird eine Reduktion redundanter Datenübertragungsvorgänge und Datenverarbeitungsvorgänge in einem Wellenfeldsynthese-Mehr-Renderer-System erreicht, was zu einer Erhöhung der Rechenkapazität bzw. der Anzahl von gleichzeitig berechenbaren Audioquellen erreicht.
  • Zur Reduktion der redundanten Übertragung und Verarbeitung von Audio- und Metadaten zum einzelnen Renderer des Mehr-Renderer-Systems wird der Audioserver um die Datenausgabeeinrichtung erweitert, welche in der Lage ist, zu ermitteln, welcher Renderer welche Audio- und Metadaten benötigt. Die Datenausgabeeinrichtung, gegebenenfalls unterstützt durch den Datenmanager benötigt bei einem bevorzugten Ausführungsbeispiel mehrere Informationen. Diese Informationen sind zunächst die Audiodaten, dann Zeit- und Positionsdaten der Quellen und schließlich die Konfiguration der Renderer, also Informationen über die verbundenen Lautsprecher und ihre Positionen sowie deren Kapazität. Mit Hilfe von Datenmanagementtechniken und der Definition von Ausgabebedingungen wird ein Ausgabe-Schedul durch die Datenausgabeeinrichtung mit einer zeitlichen und räumlichen Anordnung der Audioobjekte erzeugt. Aus der räumlichen Anordnung, dem zeitlichen Schedule und der Rendererkonfiguration berechnet das Datenmanagementmodul dann, welche Quelle für welche Renderer zu einem bestimmten Zeitpunkt von Relevanz sind.
  • Ein bevorzugtes Gesamtkonzept ist in Fig. 5 dargestellt. Die Datenbank 22 ist ausgangsseitig um die Datenausgabeeinrichtung 24 ergänzt, wobei die Datenausgabeeinrichtung auch als Scheduler bezeichnet wird. Dieser Scheduler erzeugt dann an seinen Ausgängen 20a, 20b, 20c für die verschiedenen Renderer 50 die Renderer-Eingangssignale, damit die entsprechenden Lautsprecher der Lautsprecherarrays versorgt werden.
  • Vorzugsweise wird der Scheduler 24 noch durch einen Storage-Manager 52 unterstützt, um mittels eines RAID-Systems und entsprechender Datenorganisationsvorgaben die Datenbank 22 zu konfigurieren.
  • Auf der Eingangsseite steht ein Daten-Erzeuger 54, welcher beispielsweise ein Tonmeister oder ein Audioingenieur sein kann, der eine Audioszene objektorientiert modellieren bzw. beschreiben soll. Hierbei gibt er eine Szenenbeschreibung vor, die entsprechende Ausgabebedingungen 56 umfasst, die dann gegebenenfalls nach einer Transformation 58 zusammen mit Audiodaten in der Datenbank 22 gespeichert werden. Die Audiodaten können mittels eines Insert/Update-Werkzeugs 59 manipuliert und aktualisiert werden.
  • Nachfolgend wird Bezug nehmend auf die Fig. 2 bis 4 auf bevorzugte Ausführungsformen der Datenausgabeeinrichtung 24 bzw. des Datenmanagers 26 eingegangen, um die erfindungsgemäße Selektion durchzuführen, dass also verschiedene Renderer nur die Audiodateien erhalten, die dann am Ende tatsächlich von den Lautsprecherarrays, welche den Renderern zugeordnet sind, ausgegeben werden. Fig. 2 zeigt hierzu einen beispielhaften Wiedergaberaum 50 mit einem Bezugspunkt 52, der bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung in der Mitte des Wiedergaberaums 50 liegt. Selbstverständlich kann der Bezugspunkt jedoch auch an jeder anderen beliebigen Stelle des Wiedergaberaums angeordnet werden, also z. B. im vorderen Drittel oder im hinteren Drittel. Hierbei kann beispielsweise darauf Rücksicht genommen werden, dass Zuschauer im vorderen Drittel des Wiedergaberaums einen höheren Eintrittspreis entrichtet haben, als Zuschauer im hinteren Drittel des Wiedergaberaums. In diesem Fall ist es sinnvoll, den Bezugspunkt im vorderen Drittel zu legen, da der Audioeindruck am Bezugspunkt am qualitativ hochwertigsten sein wird. Bei dem in Fig. 2 gezeigten bevorzugten Ausführungsbeispiel sind um den Wiedergaberaum 50 herum vier Lautsprecherarrays LSA1 (53a), LSA2 (53b), LSA3 (53c) und LSA4 (53d) angeordnet. Jedes Lautsprecherarray ist mit einem eigenen Renderer R1 54a, R2 54b, R3 54c und R4 54d gekoppelt. Jeder Renderer ist mit seinem Lautsprecherarray über eine Renderer-Lautsprecherarray-Verbindungsleitung 55a, 55b, 55c bzw. 55d verbunden.
  • Ferner ist jeder Renderer mit einem Ausgang 20a, 20b, 20c bzw. 20d der Datenausgabeeinrichtung 24 verbunden. Die Datenausgabeeinrichtung empfängt eingangsseitig, also über ihren Eingang IN, die entsprechenden Audiodateien sowie Steuersignale von einem vorzugsweise vorgesehenen Datenmanager 26 (Fig. 1), welche angeben, ob ein Renderer eine Audiodatei erhalten soll oder nicht, also ob für einen Renderer zugeordnete Lautsprecher aktiv sein sollen oder nicht. Im Einzelnen sind die Lautsprecher des Lautsprecherarrays 53a beispielsweise dem Renderer 54a zugeordnet, jedoch nicht dem Renderer 54d. Der Renderer 54d hat als zugeordnete Lautsprecher die Lautsprecher des Lautsprecherarrays 53d, wie es auf Fig. 2 ersichtlich ist.
  • Es sei darauf hingewiesen, dass die einzelnen Renderer über die Renderer/Lautsprecher-Verbindungsleitungen 55a, 55b, 55c und 55d Synthesesignale für die einzelnen Lautsprecher übermitteln. Da es sich hier um große Datenmengen handelt, wenn eine große Anzahl von Lautsprechern in einem Lautsprecherarray vorhanden ist, wird es bevorzugt, die Renderer und die Lautsprecher in enger räumlicher Nähe anzuordnen.
  • Dagegen ist diese Voraussetzung für die Anordnung der Datenausgabeeinrichtung 24 und der Renderer 54a, 54b, 54c, 54d zueinander nicht kritisch, da über die Ausgänge 20a, 20b, 20c, 20d und die diesen Ausgängen zugeordneten Datenausgabeeinrichtung/Renderer-Leitungen der Datenverkehr begrenzt ist. Im Einzelnen werden hier lediglich Audiodateien und Informationen über die virtuellen Quellen, die den Audiodateien zugeordnet sind, übertragen. Die Informationen über die virtuellen Quellen umfassen wenigstens die Quellenposition und zeitliche Angaben über die Quelle, also wann die Quelle beginnt, wie lange sie dauert und/oder wann sie wieder zu Ende ist. Vorzugsweise werden ferner weitere Informationen übertragen, die sich auf die Art der virtuellen Quelle beziehen, also ob die virtuelle Quelle eine Punktquelle sein soll oder eine Quelle für ebene Wellen oder eine Quelle für andersartig "geformte" Schallwellen.
  • Je nach Implementierung können den Renderern auch Informationen über eine Akustik des Wiedergaberaums 50 sowohl Informationen über tatsächliche Eigenschaften der Lautsprecher in den Lautsprecherarrays etc. zugeführt werden. Diese Informationen müssen nicht unbedingt über die Leitungen 20a-20d übertragen werden, sondern können auch auf andere Art und Weise den Renderern R1-R4 zugeführt werden, damit diese auf den Wiedergaberaum zugeschnittene Synthesesignale berechnen können, die dann den einzelnen Lautsprechern zugeführt werden. Ferner sei darauf hingewiesen, dass die Synthesesignale, die von den Renderern für die einzelnen Lautsprecher berechnet werden, bereits überlagerte Synthesesignale sind, wenn mehrere virtuelle Quellen gleichzeitig von einem Renderer aufbereitet worden sind, da jede virtuelle Quelle zu einem Synthesesignal für einen Lautsprecher eines Arrays führen wird, wobei das endgültige Lautsprechersignal dann nach der Überlagerung der Synthesesignale der einzelnen virtuellen Quellen durch Addition der einzelnen Synthesesignale gewonnen wird.
  • Das in Fig. 2 gezeigte bevorzugte Ausführungsbeispiel umfasst ferner eine Auslastungsermittlungseinrichtung 56, um abhängig von einer aktuellen tatsächlichen Renderer-Auslastung oder einer geschätzten bzw. vorhergesagten zukünftigen Renderer-Auslastung die Ansteuerung eines Renderers mit einer Audiodatei nachzubearbeiten.
  • So ist natürlich die Kapazität jedes Renderers 54a, 54b, 54c und 54d begrenzt. Ist jeder dieser Renderer beispielsweise in der Lage, maximal 32 Audioquellen zu verarbeiten, und stellt die Auslastungsermittlungseinrichtung 56 fest, dass z. B. der Renderer R1 bereits z. B. 30 Quellen rendert, so existiert ein Problem dahingehend, dass dann, wenn noch zwei weitere virtuelle Quellen zusätzlich zu den anderen 30 Quellen gerendert werden sollen, die Kapazitätsgrenze des Renderers 54a erreicht ist.
  • So lautet die Grundvorschrift eigentlich dahingehend, dass der Renderer 54a dann immer eine Audiodatei erhält, wenn festgestellt worden ist, dass wenigstens ein Lautsprecher zum Wiedergeben einer virtuellen Quelle aktiv sein soll. So könnte jedoch der Fall auftreten, dass bestimmt wird, dass lediglich ein kleiner Anteil der Lautsprecher in dem Lautsprecherarray 53a für eine virtuelle Quelle aktiv ist, wie beispielsweise nur 10% aller zu dem Lautsprecherarray gehörigen Lautsprecher. In diesem Fall würde die Auslastungsermittlungseinrichtung 56 entscheiden, dass dieser Renderer nicht mit der für diese virtuelle Quelle bestimmten Audiodatei versorgt wird. Damit wird zwar ein Fehler eingeführt. Allerdings ist der Fehler aufgrund der geringen Anzahl der Lautsprecher des Arrays 53a nicht besonders gravierend, da davon ausgegangen wird, dass diese virtuelle Quelle von benachbarten Arrays zusätzlich gerendert wird, und zwar wahrscheinlich mit einer für diese Arrays wesentlich größeren Anzahl von Lautsprechern. Die Unterdrückung der Aufbereitung bzw. Abstrahlung dieser virtuellen Quelle durch das Lautsprecherarray 53a wird somit zu einer Positionsverschiebung führen, die jedoch aufgrund der geringen Anzahl der Lautsprecher nicht so stark ins Gewicht fällt und auf jeden Fall wesentlich weniger bedeutsam ist, als wenn der Renderer 54a aufgrund einer Überlastung komplett gesperrt werden müsste, obgleich er eine Quelle rendern würde, die z. B. sämtliche Lautsprecher des Lautsprecherarrays 53a beschäftigt.
  • Nachfolgend wird Bezug nehmend auf Fig. 3a eine bevorzugte Ausführungsform des Datenmanagers 26 von Fig. 1 dargestellt, der ausgebildet ist, um zu bestimmen, ob einem Array zugeordnete Lautsprecher abhängig von einer bestimmten virtuellen Position aktiv sein sollen oder nicht. Vorzugsweise arbeitet der Datenmanager ohne eine komplette Aufbereitung, sondern bestimmt die aktiven/nicht-aktiven Lautsprecher und damit die aktiven bzw. nicht-aktiven Renderer ohne Berechnung von Synthesesignalen sondern allein aufgrund der Quellenpositionen der virtuellen Quellen und der Position der Lautsprecher bzw., da die Position der Lautsprecher bei einer arraymäßigen Gestaltung bereits durch die Renderer-Identifikation festgelegt sind, aufgrund der Renderer-Identifikation.
  • So sind in Fig. 3a verschiedene Quellenpositionen Q1-Q9 eingezeichnet, während in Fig. 3b tabellarisch angegeben wird, welcher Renderer A1-A4 für eine bestimmte Quellenposition Q1-Q9 aktiv ist (A) oder nicht-aktiv ist (NA) oder z. B. abhängig von der aktuellen Auslastung aktiv oder nicht-aktiv ist.
  • Wenn beispielsweise die Quellenposition Q1 betrachtet wird, so ist zu sehen dass diese Quellenposition bezüglich des Beobachtungspunkts BP hinter dem vorderen Lautsprecherarray 53a ist. Der Hörer am Beobachtungspunkt möchte die Quelle an der Quellenposition Q1 also derart erleben, dass der Schall gewissermaßen "von vorne" kommt. Daher müssen die Lautsprecherarrays A2, A3 und A4 aufgrund der virtuellen Quelle an der Quellenposition Q1 keine Schallsignale emittieren, sodass sie nicht-aktiv (NA) sind, wie es in der entsprechenden Spalte in Fig. 3b eingezeichnet ist. Entsprechend ist die Situation, jedoch für die anderen Arrays, für die Quellen Q2, Q3 und Q4.
  • Die Quelle Q5 ist jedoch bezüglich des Beobachtungspunkts sowohl in x-Richtung und y-Richtung versetzt. Aus diesem Grund werden zur ortsgenauen Wiedergabe der Quelle an der Quellenposition Q5 sowohl das Array 53a als auch das Array 53b benötigt, nicht jedoch die Arrays 53c und 53d.
  • Entsprechend ist die Situation für die Quelle Q6, die Quel-1e Q8 und, wenn keine Auslastungsprobleme existieren, die Quelle Q9. Hierbei ist es unerheblich, ob, wie es beispielsweise durch einen Vergleich der Quellen Q6 und Q5 ersichtlich ist, eine Quelle hinter einem Array ist (Q6) oder vor dem Array ist (Q5).
  • Fällt eine Quellenposition mit dem Bezugspunkt zusammen, wie es beispielsweise für die Quelle Q7 gezeichnet worden ist, so wird es bevorzugt, dass sämtliche Lautsprecherarrays aktiv sind. Für eine solche Quelle wird daher erfindungsgemäß im Vergleich zum Stand der Technik, bei dem alle Renderer mit allen Audiodateien angesteuert worden sind, kein Vorteil erhalten. Es stellt sich jedoch heraus, dass für alle anderen Quellenpositionen ein erheblicher Vorteil erreicht wird. So werden für die Quellen Q1, Q2, Q3 Rechenkapazitäts- und Datenübertragungseinsparungen von 75% erreicht, während für die innerhalb eines Quadranten angeordneten Quellen, wie beispielsweise Q5, Q6 und Q8 noch Einsparungen von 50% erhalten werden.
  • Aus Fig. 3a ist ferner zu sehen, dass die Quelle Q9 nur knapp von der direkten Verbindungslinie zwischen dem Bezugspunkt und dem ersten Array 53a angeordnet ist. Würde die Quelle Q9 nur durch das Array 53a wiedergegeben werden, so würde der Beobachter am Bezugspunkt die Quelle Q9 auf der Verbindungslinie erleben und nicht knapp versetzt. Diese nur "knappe Versetzung" führt dazu, dass im Lautsprecherarray 53b nur wenige Lautsprecher aktiv sein sollen, oder die Lautsprecher nur Signale mit einer sehr geringen Energie emittieren. Um den Renderer, der dem Array A2 zugeordnet ist, wenn er bereits stark ausgelastet ist, zu schonen bzw. dort noch Kapazitäten bereitzuhalten, falls eine Quelle kommt, wie beispielsweise die Quelle Q2 oder Q6, die auf jeden Fall vom Array A2 aufbereitet werden muss, wird es daher bevorzugt, wie es in der letzten Spalte von Fig. 3b dargestellt ist, das Array A2 nicht-aktiv zu schalten.
  • Erfindungsgemäß wird der Datenmanager 26 bei einem bevorzugten Ausführungsbeispiel somit ausgebildet sein, um einen Lautsprecher in einem Array als aktiv zu bestimmen, wenn die Quellenposition zwischen dem Bezugspunkt und dem Lautsprecher ist oder der Lautsprecher zwischen der Quellenposition und dem Bezugspunkt ist. Die erste Situation ist für die Quelle Q5 dargestellt, während die zweite Situation für die Quelle Q1 beispielsweise dargestellt ist.
  • Fig. 4 zeigt eine weitere bevorzugte Ausführungsform zur Bestimmung von aktiven bzw. nicht-aktiven Lautsprechern. Betrachtet werden zwei Quellenpositionen 70 und 71, wobei die Quellenposition 70 die erste Quellenposition ist und die Quellenposition 71 die zweite Quellenposition (Q2) ist. Ferner wird ein Lautsprecherarray A1 betrachtet, das Lautsprecher hat, die eine Hauptemissionsrichtung (HER) haben, welche bei dem in Fig. 4 gezeigten Ausführungsbeispiel senkrecht von einer länglichen Erstreckung des Arrays weg gerichtet ist, wie es durch Emissionsrichtungspfeile 72 angedeutet ist.
  • Um zu bestimmen, ob das Lautsprecherarray für Quellenpositionen aktiv sein soll oder nicht, wird nunmehr eine Strecke von der Quellenposition Q1 zum Bezugspunkt, die mit 73 bezeichnet ist, einer orthogonalen Zerlegung unterzogen, um eine zur Hauptemissionsrichtung 72 parallele Komponente 74a und eine zur Hauptemissionsrichtung orthogonale Komponente 74b der Strecke 73 zu finden. Aus Fig. 4 ist ersichtlich, dass für die Quellenposition Q1 eine solche zur Hauptemissionsrichtung parallele Komponente 74a existiert, während eine entsprechende in y-Richtung gerichtete Komponente der Quellenposition Q2, die mit 75a bezeichnet ist, nicht zur Hauptemissionsrichtung parallel sondern entgegengesetzt gerichtet ist. Das Array A1 wird somit für eine virtuelle Quelle an der Quellenposition 1 aktiv sein, während für eine Quelle an der Quellenposition Q2 das Array A1 nicht aktiv zu sein braucht und daher auch nicht mit einer Audiodatei versorgt werden muss.
  • Aus den beiden Ausführungsbeispielen in Fig. 3a und Fig. 4 ist ersichtlich, dass die einzigen Parameter, die variabel sind, die Quellenpositionen sind, während typischerweise der Bezugspunkt und die Hauptemissionsrichtung der Array-Lautsprecher bzw. die Positionierung der Arrays und damit die Positionierung der Lautsprecher in den Arrays fest sein werden. Es wird daher bevorzugt, nicht für jede Quellenposition eine komplette Berechnung gemäß Fig. 3 oder Fig. 4 durchzuführen. Stattdessen wird erfindungsgemäß eine Tabelle bereitgestellt, die eingangsseitig eine Quellenposition in einem auf den Bezugspunkt bezogenen Koordinatensystem bekommt und ausgangsseitig für jedes Lautsprecherarray eine Anzeige liefert, ob dieses Lautsprecherarray für die aktuelle Quellenposition aktiv sein soll oder nicht. Damit kann durch einen einfachen und schnellen Tabellennachschlag eine sehr effiziente und aufwandsarme Implementierung des Datenmanagers 26 bzw. der Datenausgabeeinrichtung 24 erreicht werden.
  • An dieser Stelle sei darauf hingewiesen, dass selbstverständlich auch andere Arraykonfigurationen vorhanden sein können. So wird das erfindungsgemäße Konzept bereits dann zu einer wesentlichen Verbesserung führen, wenn in einem Wiedergaberaum z. B. nur zwei Lautsprecherarrays vorhanden sind, wie beispielsweise die beiden Lautsprecherarrays 53b und 53d von Fig. 2. Das erfindungsgemäße Konzept ist ferner auch für anders geformte Arrays anwendbar, wie beispielsweise für sechseckig angeordnete Arrays, oder für Arrays, die nicht linear oder flächig sind, sondern die z. b. gekrümmt sind.
  • Ferner sei darauf hingewiesen, dass das erfindungsgemäße Konzept auch dann einsetzbar ist, wenn in einem Wiedergaberaum nur ein einziges lineares z. B. Frontarray existiert, wenn dieses Frontarray jedoch von verschiedenen Renderern angesteuert wird, wobei ein Renderer immer einen bestimmten Abschnitt des Arrays bedient. Auch in diesem Fall wird eine Situation eintreten, bei der beispielsweise eine Quelle mit einer virtuellen Position ganz links bezüglich des breiten Frontarrays es nicht erforderlich macht, dass die Lautsprecher ganz rechts des Frontarrays spielen.
  • Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD, mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims (15)

  1. Vorrichtung zum Liefern von Daten für die Wellenfeldsynthese-Aufbereitung in einem Wellenfeldsynthese-System mit einer Mehrzahl von Renderer-Modulen (53a-53d), wobei jedem Renderer-Modul wenigstens ein Lautsprecher (70) zugeordnet ist, und wobei die den Renderern zugewiesenen Lautsprecher an unterschiedlichen Positionen in einem Wiedergaberaum (50) anbringbar sind, mit folgenden Merkmalen:
    einer Einrichtung (22) zum Liefern einer Mehrzahl von Audiodateien, wobei einer Audiodatei eine virtuelle Quelle an einer Quellenposition (Q1) zugeordnet ist;
    gekennzeichnet durch
    eine Datenausgabeeinrichtung (24) zum Liefern der Audiodatei zu einem Renderer, dem ein Lautsprecher zugeordnet ist, der zur Wiedergabe der virtuellen Quelle aktiv sein soll, wobei die Datenausgabeeinrichtung (24) ferner ausgebildet ist, um einem anderen Renderer-Modul die Audiodatei nicht zu liefern, wenn dem anderen Renderer zugeordnete Lautsprecher zur Wiedergabe der Quelle nicht aktiv sein sollen.
  2. Vorrichtung nach Anspruch 1, die ferner folgendes Merkmal aufweist:
    einen Datenmanager (26) zum Bestimmen, ob zur Wiedergabe der virtuellen Quelle der wenigstens eine Lautsprecher, der einem Renderer-Modul zugeordnet ist, aktiv sein soll oder nicht, wobei der Datenmanager (26) ausgebildet ist, um die Bestimmung basierend auf der Quellenposition (Q1) und einer Lautsprecher-Position oder einer Renderer-Identifikation durchzuführen.
  3. Vorrichtung nach Anspruch 2, bei der der Wiedergaberaum (50) einen Bezugspunkt (52) aufweist, wobei der Datenmanager (26) ausgebildet ist,
    um einen Lautsprecher als aktiv zu bestimmen, wenn die Quellenposition (Q5) zwischen dem Bezugspunkt (52) und dem Lautsprecher (53a) ist, oder wenn der Lautsprecher (53a) zwischen der Quellenposition (Q1) und dem Bezugspunkt (52) ist.
  4. Vorrichtung nach Anspruch 2, bei der der Datenmanager (26) ausgebildet ist, um einen Lautsprecher als aktiv zu bestimmen, wenn ein Winkel zwischen einer ersten Linie (73) von der Quellenposition (Q1) zu dem Bezugspunkt (52) und einer zweiten Linie von dem Lautsprecher zu dem Bezugspunkt (52) zwischen 0° und 90° liegt.
  5. Vorrichtung nach einem der Ansprüche 2 bis 4, bei der der Datenmanager (26) ausgebildet ist, um einen Lautsprecher als nicht-aktiv zu bestimmen, wenn eine Verbindungslinie von der Quellenposition zu dem Bezugspunkt keine Richtungskomponente hat, die zu einer Hauptschallemissionsrichtung (72) des Lautsprechers parallel ist.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der einem Renderer-Modul (53a-53d) mehrere Lautsprecher zugeordnet sind, und bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um den Renderer nur dann mit der Audiodatei zu beliefern, wenn mehr als 10% der Lautsprecher, die dem Renderer-Modul zugeordnet sind, als aktiv bestimmt worden sind, oder wenn die Lautsprecher, die dem Renderer-Modul zugeordnet sind, für eine virtuelle Quelle ein Synthesesignal liefern würden, das eine Amplitude hat, die höher als eine Minimalschwelle ist.
  7. Vorrichtung nach einem der Ansprüche 1-5, bei der einem Renderer-Modul mehrere Lautsprecher zugeordnet sind, und bei dem dem Renderer-Modul nur dann die Audiodatei geliefert wird, wenn wenigsten ein Lautsprecher, der dem Renderer zugeordnet ist, als aktiv bestimmt worden ist.
  8. Vorrichtung nach einem der Ansprüche 1-5, bei der jedes Renderer-Modul eine bestimmte maximale Verarbeitungskapazität hat, und bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einem Renderer-Modul eine Audiodatei erst dann zu liefern, wenn ein Minimalanteil der Lautsprecher, die dem Renderer-Modul zugeordnet sind, als aktiv bestimmt worden ist, wobei der Minimalanteil variabel ist und von einer Auslastung des Renderer-Moduls, die durch eine Auslastungsermittlungseinrichtung (56) bestimmbar ist, abhängt.
  9. Vorrichtung nach Anspruch 8, bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einen Minimalanteil zu erhöhen, wenn die durch die Auslastungsermittlungseinrichtung (56) bestimmte Auslastung zunimmt.
  10. Vorrichtung nach Anspruch 8 oder 9, bei der die Auslastungsermittlungseinrichtung (56) ausgebildet ist, um eine aktuelle oder eine geschätzte zukünftige Auslastung zu ermitteln.
  11. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Datenausgabeeinrichtung (24) eine Nachschlagtabelle aufweist, die ausgebildet ist, um als Eingangsgröße eine Quellenposition zu erhalten, und die ausgebildet ist, um als Ausgangsgröße für die Renderer-Module eine Information zu liefern, ob ein Renderer-Modul für die eingangsseitig eingegebene Quellenposition aktiv sein soll oder nicht.
  12. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einem Renderer-Modul, dem ein aktiver Lautsprecher zugeordnet ist, die Audiodatei für eine virtuelle Quelle, eine Quellenposition für die virtuelle Quelle und Informationen über Beginn, Ende und/oder Dauer der virtuellen Quelle in einer Audioszene zu liefern.
  13. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Datenausgabeeinrichtung (24) ausgebildet ist, um einem Renderer-Modul ferner Informationen über eine Art der virtuellen Quelle, d. h. ob die virtuelle Quelle eine Punktquelle, eine Quelle für ebene Wellen oder eine Quelle für Wellen einer anderen Form ist, zu liefern.
  14. Verfahren zum Liefern von Daten für die Wellenfeldsynthese-Aufbereitung in einem Wellenfeldsynthese-System mit einer Mehrzahl von Renderer-Modulen (53a-53d), wobei jedem Renderer-Modul wenigstens ein Lautsprecher (70) zugeordnet ist, und wobei die den Renderern zugewiesenen Lautsprecher an unterschiedlichen Positionen in einem Wiedergaberaum (50) anbringbar sind, mit folgenden Schritten:
    Liefern (22) einer Mehrzahl von Audiodateien, wobei einer Audiodatei eine virtuelle Quelle an einer Quellenposition (Q1) zugeordnet ist;
    gekennzeichnet durch
    Liefern (24) der Audiodatei zu einem Renderer, dem ein Lautsprecher zugeordnet ist, der zur Wiedergabe der virtuellen Quelle aktiv sein soll, wobei einem anderen Renderer-Modul die Audiodatei nicht geliefert wird, wenn dem anderen Renderer zugeordnete Lautsprecher zur Wiedergabe der Quelle nicht aktiv sein sollen.
  15. Computer-Programm mit einem Programmcode zum Ausführen des Verfahrens gemäß Patentanspruch 14, wenn das Computer-Programm auf einem Rechner abläuft.
EP06707013A 2005-02-23 2006-02-16 Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System Active EP1851998B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005008343A DE102005008343A1 (de) 2005-02-23 2005-02-23 Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
PCT/EP2006/001412 WO2006089682A1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum liefern von daten in einem multi-renderer-system

Publications (2)

Publication Number Publication Date
EP1851998A1 EP1851998A1 (de) 2007-11-07
EP1851998B1 true EP1851998B1 (de) 2011-05-04

Family

ID=36194016

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06707013A Active EP1851998B1 (de) 2005-02-23 2006-02-16 Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System

Country Status (6)

Country Link
US (1) US7962231B2 (de)
EP (1) EP1851998B1 (de)
CN (2) CN101129090B (de)
AT (1) ATE508592T1 (de)
DE (2) DE102005008343A1 (de)
WO (1) WO2006089682A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2334514T3 (es) * 2005-05-12 2010-03-11 Ipg Electronics 504 Limited Metodo para sincronizar al menos un periferico multimedia de un dispositivo de comunicacion portatil con un archivo de audio, y dispositivo de comunicacion portatil correspondiente.
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
KR101517592B1 (ko) * 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법
WO2011054876A1 (en) * 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source
US8612003B2 (en) 2010-03-19 2013-12-17 Cardiac Pacemakers, Inc. Feedthrough system for implantable device components
KR101490725B1 (ko) * 2010-03-23 2015-02-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 디스플레이 장치, 오디오-비디오 시스템, 음향 재생을 위한 방법 및 로컬라이즈된 지각적 오디오를 위한 음향 재생 시스템
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
KR102394141B1 (ko) * 2011-07-01 2022-05-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
TWI543642B (zh) * 2011-07-01 2016-07-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
CN107454511B (zh) * 2012-08-31 2024-04-05 杜比实验室特许公司 用于使声音从观看屏幕或显示表面反射的扬声器
KR102160218B1 (ko) * 2013-01-15 2020-09-28 한국전자통신연구원 사운드 바를 위한 오디오 신호 처리 장치 및 방법
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
KR101632238B1 (ko) 2013-04-05 2016-06-21 돌비 인터네셔널 에이비 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더
US10313480B2 (en) 2017-06-22 2019-06-04 Bank Of America Corporation Data transmission between networked resources
US10511692B2 (en) 2017-06-22 2019-12-17 Bank Of America Corporation Data transmission to a networked resource based on contextual information
US10524165B2 (en) 2017-06-22 2019-12-31 Bank Of America Corporation Dynamic utilization of alternative resources based on token association

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07303148A (ja) 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 通信会議装置
JPH10211358A (ja) 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JPH1127800A (ja) 1997-07-03 1999-01-29 Fujitsu Ltd 立体音響処理システム
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
JP2002199500A (ja) 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
JP2003284196A (ja) 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
DE10215775B4 (de) 2002-04-10 2005-09-29 Institut für Rundfunktechnik GmbH Verfahren zur räumlichen Darstellung von Tonquellen
JP2004007211A (ja) 2002-05-31 2004-01-08 Victor Co Of Japan Ltd 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム
ES2283815T3 (es) * 2002-10-14 2007-11-01 Thomson Licensing Metodo para codificar y decodificar la anchura de una fuente de sonido en una escena de audio.
JP4578243B2 (ja) 2002-10-15 2010-11-10 韓國電子通信研究院 空間性が拡張された音源を有する３次元音響シーンの生成及び消費方法
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
DE10254404B4 (de) * 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
CN1717955B (zh) 2002-12-02 2013-10-23 汤姆森许可贸易公司 用于描述音频信号的合成的方法
JP4601905B2 (ja) 2003-02-24 2010-12-22 ソニー株式会社 デジタル信号処理装置およびデジタル信号処理方法
DE10321980B4 (de) 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10321986B4 (de) * 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
DE10328335B4 (de) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene

Also Published As

Publication number Publication date
CN102118680B (zh) 2015-11-25
ATE508592T1 (de) 2011-05-15
DE502006009435D1 (de) 2011-06-16
US7962231B2 (en) 2011-06-14
CN101129090A (zh) 2008-02-20
WO2006089682A1 (de) 2006-08-31
US20080019534A1 (en) 2008-01-24
EP1851998A1 (de) 2007-11-07
CN102118680A (zh) 2011-07-06
CN101129090B (zh) 2012-11-07
DE102005008343A1 (de) 2006-09-07

Similar Documents

Publication Publication Date Title
EP1851998B1 (de) Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
EP1844628B1 (de) Vorrichtung und verfahren zum ansteuern einer wellenfeldsynthese-renderer-einrichtung mit audioobjekten
DE10328335B4 (de) Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
EP1844627B1 (de) Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes
EP1723825B1 (de) Vorrichtung und verfahren zum steuern einer wellenfeldsynthese-rendering-einrichtung
EP1671516B1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
EP1872620B1 (de) Vorrichtung und verfahren zum steuern einer mehrzahl von lautsprechern mittels einer graphischen benutzerschnittstelle
EP1782658B1 (de) Vorrichtung und verfahren zum ansteuern einer mehrzahl von lautsprechern mittels eines dsp
EP1525776B1 (de) Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem
DE10254404B4 (de) Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
EP1800517A1 (de) Vorrichtung und verfahren zur ansteuerung einer beschallungsanlage und beschallungsanlage
EP1972181B1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
EP1652405A2 (de) Vorrichtung und verfahren zum erzeugen, speichern oder bearbeiten einer audiodarstellung einer audioszene
EP1789970B1 (de) Vorrichtung und verfahren zum speichern von audiodateien
DE10321980A1 (de) Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070808

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: GATZSCHE, GABRIEL

Inventor name: HEIMRICH, THOMAS

Inventor name: BRIX, SANDRA

Inventor name: SATTLER, KAI-UWE

Inventor name: REICHELT, KATRIN

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RTI1 Title (correction)

Free format text: DEVICE AND METHOD FOR DELIVERING DATA IN A MULTI-RENDERER SYSTEM

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502006009435

Country of ref document: DE

Date of ref document: 20110616

Kind code of ref document: P

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502006009435

Country of ref document: DE

Effective date: 20110616

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20110504

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502006009435

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110905

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110904

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110815

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110805

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20120207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502006009435

Country of ref document: DE

Effective date: 20120207

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20120228

Owner name: TU ILMENAU

Effective date: 20120228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120229

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120229

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120228

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 508592

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120216

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110804

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110504

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060216

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240216

Year of fee payment: 19

Ref country code: GB

Payment date: 20240222

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240222

Year of fee payment: 19