DE102018102743A1 - Real Sound Transmission - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen eines stereofonen Klangsignals, wobei ein virtueller Klangraum mit einer virtuellen Hörerposition (1) in dem Klangraum definiert wird, wobei mindestens eine Klangquelle (2a, b) relativ zu der virtuellen Hörerposition (1) in dem Klangraum definiert wird, von welcher eine jeweilige digitale Klangfolge ausgeht, wobei ein virtueller Schallempfänger (4) an der virtuellen Hörerposition (1) mit einer linken Empfängerseite (5a) und einer rechten Empfängerseite (5b) definiert wird, wobei Objekte (6a, b) an einer jeweiligen Objektposition (7a, b) definiert werden, wobei für jedes Objekt (6a, b) mindestens eine Klangeigenschaft zum Einflussverhalten auf Schall-wellen definiert wird, wobei ein linkes und ein rechtes Klangsignal eines Stereoklangsignals durch Simulation von Schallwegen (9a-f) der mindestens einen Klangfolge von der jeweiligen Klangquelle (2a, b) jeweils an die linke Empfängerseite (5a) und die rechte Empfängerseite (5b) unter Berücksichtigung der Objekte (6a, b) und ihrer jeweiligen mindestens einen Klangeigenschaft berechnet wird, wobei das linke und das rechte Klangsignal über eine jeweilige Kopfhörerlautsprecheranordnung ausgegeben wird. Das Verfahren ist dadurch gekennzeichnet, dass für die Objekte (6a, b) eine jeweilige Objektgeometrie (9a, b) mit mindestens einer objektgeometriebezogenen Klangeigenschaft definiert wird und dass die Simulation der Schallwege (9a-f) an die linke Empfängerseite (5a) und die rechte Empfängerseite (5b) jeweils unter Berücksichtigung der jeweiligen Objektgeometrie (10a, b) und der mindestens einen objektgeometriebezogenen Klangeigenschaft der Objekte (6a, b) erfolgt.The invention relates to a method for generating a stereophonic sound signal, wherein a virtual sound space with a virtual listener position (1) is defined in the sound space, wherein at least one sound source (2a, b) is defined relative to the virtual listener position (1) in the sound space from which originates a respective digital sound sequence, wherein a virtual sound receiver (4) at the virtual listener position (1) with a left receiver side (5a) and a right receiver side (5b) is defined, wherein objects (6a, b) at a respective Object position (7a, b) are defined, wherein for each object (6a, b) at least one sound property for influencing sound waves is defined, wherein a left and a right sound signal of a stereo sound signal by simulation of sound paths (9a-f) of at least a sound sequence from the respective sound source (2a, b) to the left receiver side (5a) and the right receiver side (5b), respectively it accounts for the objects (6a, b) and their respective at least one sound characteristic, the left and right sound signals being output via a respective headphone speaker assembly. The method is characterized in that for the objects (6a, b) a respective object geometry (9a, b) is defined with at least one object geometry-related sound characteristic and that the simulation of the sound paths (9a-f) to the left receiver side (5a) and the right receiver side (5b) takes place in each case taking into account the respective object geometry (10a, b) and the at least one object geometry-related sound property of the objects (6a, b).

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen eines stereofonen Klangsignals mit den Merkmalen des Oberbegriffs von Anspruch 1.The invention relates to a method for generating a stereophonic sound signal having the features of the preamble of claim 1.

Im Bereich der elektronischen Medien, welche insbesondere Filme und Videospiele umfassen, werden zunehmend bessere dreidimensionale Bild- und Videoeffekte erreicht. Die mit Computergrafik erreichbare Auflösung, die Simulation von Lichtverhältnissen sowie die Geschwindigkeit, in welcher Grafikberechnungen stattfinden, haben sich alle rasant verbessert. Mittlerweile sind Anwendungen der virtuellen Realität möglich, bei denen eine z. B. über eine VR-Brille wiedergegebene, dreidimensionale und sehr realistische grafische Darstellung schnell genug berechnet werden kann, um im Wesentlichen freie Drehbewegungen des Trägers der VR-Brille mit synchroner Bilderzeugung zu erlauben. Mit anderen Worten kann der Träger der VR-Brille im Wesentlichen frei und beliebig schnell seine Blickrichtung verändern, wobei ihm im Wesentlichen in Echtzeit eine entsprechende Darstellung angezeigt wird, welche ebenfalls in Echtzeit berechnet wurde. Für eine realistische dreidimensionale Benutzererfahrung sind aber nicht nur Bilder wichtig, sondern auch ein dreidimensionaler Klang. In Analogie zu einer computertechnisch berechneten und entsprechend dargestellten dreidimensionalen Ansicht einer Umgebung kann auch der Klang dieser Umgebung möglichst genau dreidimensional reproduziert werden. Der räumliche Klangeindruck - die Stereofonie - wird dabei unter Benutzung der menschlichen interauralen Wahrnehmung erreicht. Es geht dabei um das Vermögen des menschlichen Gehörs, die Lokalisation einer Klangquelle eines wahrgenommenen Signals mittels der Auswertung von Laufzeit-, Pegel- und Phasenunterschieden zwischen den beiden Ohren durchzuführen. Für einen möglichst realistischen Klangeindruck in einer virtuellen dreidimensionalen Umgebung muss also das stereofone Klangsignal so erzeugt werden, dass es der virtuellen Position der Klangquelle gegenüber der virtuellen Position des Hörers entspricht.In the field of electronic media, which in particular include films and video games, increasingly better three-dimensional image and video effects are achieved. The resolution achievable with computer graphics, the simulation of lighting conditions as well as the speed at which graphics calculations take place have all improved rapidly. Meanwhile, virtual reality applications are possible in which a z. For example, a three-dimensional and very realistic graphical representation rendered via VR glasses can be calculated quickly enough to allow substantially free rotation of the wearer of the VR glasses with synchronous imaging. In other words, the wearer of the VR glasses can essentially change his viewing direction freely and at any desired speed, with a corresponding representation being displayed essentially in real time, which has also been calculated in real time. For a realistic three-dimensional user experience, not only images are important, but also a three-dimensional sound. By analogy with a computationally calculated and correspondingly displayed three-dimensional view of an environment, the sound of this environment can also be reproduced as accurately as possible in three dimensions. The spatial sound impression - the stereophony - is thereby achieved using human interaural perception. It is about the ability of the human ear to perform the localization of a sound source of a perceived signal by means of the evaluation of time, level and phase differences between the two ears. For a realistic sound impression in a virtual three-dimensional environment, therefore, the stereophonic sound signal must be generated so that it corresponds to the virtual position of the sound source relative to the virtual position of the listener.

Die aus dem Stand der Technik bekannte DE 10 2010 060 940 A1 , von welcher die vorliegende Erfindung als nächstkommend ausgeht, beschreibt ein Verfahren zur computergestützten Erzeugung eines dreidimensionalen Klangeindrucks, wobei eine virtuelle Schallquelle in einem virtuellen Raum platziert und berechnet wird und wobei eine Instanz eines Audiosignals mit der virtuellen Schallquelle verknüpft wird. Auf diese Weise kann prinzipiell der Weg des Klangs von der Schallquelle zu dem Hörer berechnet werden. Dabei erfolgt auch eine Berücksichtigung von Objekten im virtuellen Raum, da diese Schallreflexionen und damit indirekte, also reflektierte Schallwege von der Schallquelle zu dem Hörer verursachen. In diesem Stand der Technik können zwar für die Objekte die Geometrie, die Oberflächenbeschaffenheit und/oder eine Materialeigenschaft festgelegt werden, da diese Merkmale alle für die Reflexion des Schalls bedeutsam sind. Doch kommt diese Festlegung der Abbildung der Wirklichkeit nicht so nahe, wie sie es vorteilhafterweise tun könnte.Those known from the prior art DE 10 2010 060 940 A1 , from which the present invention proceeds as closest, describes a method for computer-aided generation of a three-dimensional sound impression, where a virtual sound source is placed and computed in a virtual space, and an instance of an audio signal is linked to the virtual sound source. In this way, in principle, the path of the sound from the sound source to the listener can be calculated. In the process, consideration is also given to objects in the virtual space, since these cause sound reflections and thus indirect, ie reflected, sound paths from the sound source to the listener. In this prior art, although the geometry, the surface condition and / or a material property can be determined for the objects, since these features are all important for the reflection of the sound. But this definition of the picture of reality does not come as close as it could advantageously do.

Ausgehend von diesem Stand der Technik besteht die Aufgabe der Erfindung daher darin, das bekannte Verfahren zur Erzeugung eines dreidimensionalen Klangeindrucks so weiterzuentwickeln und zu verbessern, dass klangtechnisch eine noch realistischere Replikation einer realen Umgebung erreicht wird.Based on this prior art, the object of the invention therefore is to further develop and improve the known method for generating a three-dimensional sound impression in such a way that an even more realistic replication of a real environment is achieved by sound engineering.

Bezogen auf ein Verfahren zum Erzeugen eines stereofonen Klangsignals mit den Merkmalen des Oberbegriffs von Anspruch 1 wird diese Aufgabe durch die Merkmale des kennzeichnenden Teils von Anspruch 1 gelöst.Relative to a method for generating a stereophonic sound signal having the features of the preamble of claim 1, this object is solved by the features of the characterizing part of claim 1.

Wesentlich für die Erfindung ist die Erkenntnis, dass das unterschiedliche Reflexionsverhalten des Schalls an Objekten im Raum einen sehr wesentlichen Aspekt für eine lebensgetreue Nachbildung eines Klangeindrucks bildet. So ist mittlerweile bekannt, dass blinde Menschen eine recht genaue Ortung und Charakterisierung von Objekten alleine nach dem akustischen Reflexionsverhalten dieser Objekte vornehmen können. Bei einer solchen Wahrnehmung kommt nicht nur einer Oberflächenbeschaffenheit oder einer Materialeigenschaft des Objekts eine besondere Relevanz zu, sondern auch der Frage, wie sich diese Oberflächenbeschaffenheit oder Materialeigenschaft auf einzelne Bereiche der Objektgeometrie verteilt. Gerade wenn ein Objekt bereichsweise aus einem unterschiedlichen Material besteht, hat dies auch für das Reflexionsverhalten eine wichtige Bedeutung. Dies gilt umso mehr, wenn man die ggf. veränderliche Lage oder Ausrichtung des Objekts zwischen der Klangquelle und der Position des Hörers im Rechnung stellt. Durch einen Bezug von Klangeigenschaften wie der Oberflächenbeschaffenheit und des Materials nicht nur auf das Objekt insgesamt, sondern speziell auf die Geometrie des Objekts, kann die Wirklichkeitsnähe des Klangeindrucks nochmals wirksam verbessert werden.Essential to the invention is the recognition that the different reflection behavior of the sound to objects in space is a very important aspect of a life-like replica of a sound impression. It is now known that blind people can make a very accurate location and characterization of objects only after the acoustic reflection behavior of these objects. In such a perception, not only a surface texture or a material property of the object is of particular relevance, but also the question of how this surface texture or material property is distributed over individual regions of the object geometry. Even if an object is partially made of a different material, this also has an important meaning for the reflection behavior. This is all the more true if one takes into account the possibly variable position or orientation of the object between the sound source and the position of the listener. By referring sound properties such as the surface texture and the material not only to the object as a whole, but especially to the geometry of the object, the realism of the sound impression can be effectively improved again.

Das erfindungsgemäße Verfahren dient dem Erzeugen eines stereofonen Klangsignals. Gemäß dem erfindungsgemäßen Verfahren wird ein virtueller Klangraum mit einer virtuellen Hörerposition in dem virtuellen Klangraum definiert wird, wobei mindestens eine Klangquelle relativ zu der virtuellen Hörerposition in dem Klangraum definiert wird, von welcher Klangquelle eine jeweilige digitale Klangfolge ausgeht. Die Definition der virtuellen Hörerposition kann auch dadurch erfolgen, dass sie an den Ursprung im koordinatentechnischen Sinne des Klangraums gesetzt. Mit anderen Worten bildet dann die virtuelle Hörerposition den Fixpunkt, bezogen auf den alle anderen Positionen und/oder Bewegungen in dem virtuellen Klangraum relativ definiert werden.The method according to the invention serves to generate a stereophonic sound signal. According to the inventive method, a virtual sound space is defined with a virtual listener position in the virtual sound space, wherein at least one sound source relative to the virtual listener position in the sound space is defined, from which sound source a respective digital sound sequence emanates. The definition of the virtual listener position can also be done by placing it at the origin in the coordinate-technical sense of the sound space. In other words, then forms the virtual Listener position the fixed point, relative to all other positions and / or movements in the virtual sound space are relatively defined.

Bei dem erfindungsgemäßen Verfahren wird ein virtueller Schallempfänger an der virtuellen Hörerposition mit einer linken Empfängerseite und einer rechten Empfängerseite definiert, wobei Objekte an einer jeweiligen Objektposition, insbesondere im virtuellen Klangraum, definiert werden, wobei für jedes Objekt mindestens eine Klangeigenschaft zum Einflussverhalten auf Schallwellen definiert werden, wobei ein linkes und ein rechtes Klangsignal eines Stereoklangsignals durch Simulation von Schallwegen der mindestens einen Klangfolge von der jeweiligen Klangquelle jeweils an die linke Empfängerseite und die rechte Empfängerseite, insbesondere im virtuellen Klangraum, unter Berücksichtigung der Objekte und ihrer jeweiligen mindestens einen Klangeigenschaft berechnet wird. Die linke und die rechte Empfängerseite kann jeweils einen relativen Versatz zu der virtuellen Hörerposition aufweisen, so dass in Abbildung der Verhältnisse beim menschlichen Ohr zwischen der linken und der rechten Seite ein Abstand besteht. Ferner braucht die linke und die rechte Empfängerseite nicht nur durch eine einzelne Position definiert sein. Vielmehr kann für die linke und die rechte Empfängerseite eine Vielzahl von untereinander versetzten Empfängerpositionen definiert sein, welche dann zur Bestimmung des linken bzw. des rechten Klangsignals unterschiedlich stark gewichtet werden. Bei dem linken bzw. dem rechten Klangsignal handelt es sich also um dasjenige Signal, welches aus den vorstehenden Voraussetzungen als von dem linken bzw. dem rechten Ohr wahrgenommen ermittelt wurde.In the method according to the invention, a virtual sound receiver is defined at the virtual listener position with a left receiver side and a right receiver side, wherein objects are defined at a respective object position, in particular in the virtual sound space, wherein at least one sound characteristic for influencing sound waves is defined for each object wherein a left and a right sound signal of a stereo sound signal is calculated by simulating sound paths of the at least one sound sequence from the respective sound source respectively to the left receiver side and the right receiver side, particularly in the virtual sound space taking into account the objects and their respective at least one sound characteristic. The left and right receiver sides can each have a relative offset to the virtual listener position, so that there is a distance between the left and the right side in the image of the conditions in the human ear. Further, the left and right receiver sides need not be defined only by a single position. Rather, a plurality of mutually offset receiver positions can be defined for the left and the right receiver side, which are then weighted differently for determining the left and the right sound signal. The left or the right sound signal is therefore that signal which has been determined to be perceived by the left or the right ear as described above.

Gemäß dem erfindungsgemäßen Verfahren wird das linke und das rechte Klangsignal über eine jeweilige Kopfhörerlautsprecheranordnung ausgegeben. Jede Kopfhörerlautsprecheranordnung kann einen oder mehrere einzelne Lautsprecher umfassen. Der Gebrauch eines Kopfhörers ermöglicht eine besonders genaue Erzeugung eines Klangeindrucks mit möglichst wenig störenden Effekten.According to the method of the invention, the left and right sound signals are output through a respective headphone speaker assembly. Each headphone speaker assembly may include one or more individual speakers. The use of a headphone enables a particularly accurate generation of a sound impression with as few disturbing effects as possible.

Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass für die Objekte eine jeweilige Objektgeometrie mit mindestens einer objektgeometriebezogenen Klangeigenschaft definiert wird und dass die Simulation des Schallwegs an die linke und rechte Empfängerseite jeweils unter Berücksichtigung der jeweiligen Objektgeometrie und der mindestens einen objektgeometriebezogenen Klangeigenschaft der Objekte erfolgt. Bei dieser mindestens einen Klangeigenschaft handelt es sich vorzugsweise um Parameter und/oder Merkmale, welche einen ggf. wertabhängigen Einfluss auf die Simulation derjenigen Schallwege haben, welche eine Reflexion von dem jeweiligen Objekt aufweisen. Insbesondere kann es sein, dass die mindestens eine Klangeigenschaft mittelbar oder unmittelbar ein Reflexions- oder Schallabsorbierungsverhalten des Objekts beschreibt. Der Bezug der mindestens einen Klangeigenschaft auf die Objektgeometrie bedeutet, dass für ein Objekt nicht nur eine Geometrie und insofern eine globale, also auf das gesamte Objekt bezogene Klangeigenschaft wie z. B. ein Reflexionsverhalten, eine Steifigkeit, eine Oberflächenrauigkeit oder eine Materialbeschaffenheit definiert wird. Vielmehr wird die mindestens eine Klangeigenschaft auf die Geometrie bezogen. Dies kann auf im Grunde beliebige Art und Weise erfolgen. So kann es sein, dass bestimmte Klangeigenschaften nur für bestimmte Bereiche der Objektgeometrie bestimmt sind und für andere nicht. Die Klangeigenschaft kann auch als Funktion über der Oberfläche der Objektgeometrie definiert werden. Hier ist es bevorzugt, dass die mindestens eine Klangeigenschaft über die Objektgeometrie des jeweiligen Objekts variiert.The method according to the invention is characterized in that a respective object geometry with at least one object geometry-related sound characteristic is defined for the objects and that the simulation of the sound path to the left and right receiver side takes place taking into account the respective object geometry and the at least one object geometry-related sound property of the objects. These at least one sound characteristic are preferably parameters and / or features which have an optionally value-dependent influence on the simulation of those sound paths which have a reflection from the respective object. In particular, it may be that the at least one sound property directly or indirectly describes a reflection or sound absorption behavior of the object. The reference of the at least one sound property to the object geometry means that for an object not only a geometry and, to that extent, a global sound property, that is to say a reference to the entire object, such as, for example, B. a reflection behavior, stiffness, surface roughness or material properties is defined. Rather, the at least one sound characteristic is related to the geometry. This can be done in basically any way. So it may be that certain sound properties are intended only for certain areas of the object geometry and not for others. The sound characteristic can also be defined as a function above the surface of the object geometry. Here it is preferred that the at least one sound property varies over the object geometry of the respective object.

Eine bevorzugte Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass die Schallwege einen direkten und reflexionsfreien Schallweg von der Klangquelle zu der Hörerposition und mindestens einen indirekten Schallweg jeweils mit mindestens einer Schallreflexion an einem Objekt von der Klangquelle zu der Hörerposition umfassen. Dann gibt es für jede Klangquelle also mehrere Schallwege zu der Hörerposition. Insbesondere hinsichtlich der indirekten Schallwege kann es eine im Grunde beliebige Anzahl geben. Bevorzugt ist, dass die Schallwege durch ein Aussenden von Strahlen basierend auf der Hörerposition ermittelt werden. Die Schallwege entsprechen dann denjenigen ausgesendeten Strahlen, welche auf eine Klangquelle treffen. Das Aussenden von Strahlen kann auch von einer jeweiligen zur Hörerposition versetzten Position gemäß der linken und der rechten Empfängerseite erfolgen.A preferred embodiment of the method is characterized in that the sound paths comprise a direct and reflection-free sound path from the sound source to the listener position and at least one indirect sound path each having at least one sound reflection on an object from the sound source to the listener position. Then there are several sound paths for each sound source to the listener position. In particular with regard to the indirect sound paths, there may be an essentially arbitrary number. It is preferred that the sound paths are determined by emitting rays based on the listener position. The sound paths then correspond to those emitted rays which strike a sound source. The emission of rays may also be effected from a respective position offset to the listener position according to the left and the right receiver side.

Eine weitere bevorzugte Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass die mindestens eine Klangeigenschaft eine Reflexionseigenschaft für Schall umfasst. Damit ist eine beliebige Eigenschaft oder ein beliebiger Wert gemeint, welcher die Reflexion von Schall an dem Objekt bzw. an der Objektgeometrie beschreibt. Insbesondere kann es sein, dass der jeweiligen Objektgeometrie mindestens eine Oberflächeneigenschaft, bei der es sich vorzugsweise um einen Rauheitswert und/oder einen Starrheitswert handelt, zugeordnet ist, aus welcher die mindestens eine Reflexionseigenschaft bestimmt wird.A further preferred embodiment of the method is characterized in that the at least one sound characteristic comprises a reflection property for sound. This refers to any property or value that describes the reflection of sound on the object or on the object geometry. In particular, it may be that the respective object geometry is assigned at least one surface property, which is preferably a roughness value and / or a rigidity value, from which the at least one reflection property is determined.

Gemäß einer bevorzugten Ausführungsform des Verfahrens ist vorgesehen, dass der jeweiligen Objektgeometrie mindestens eine Materialeigenschaft zur Beschreibung eines Materials des Objekts zugeordnet ist und dass die mindestens eine Klangeigenschaft basierend auf der Materialeigenschaft bestimmt wird. Entsprechend kann auch die Reflexionseigenschaft basierend auf der Materialeigenschaft bestimmt werden. Es kann ebenso sein, dass ein Schwingungsverhalten des Objekts basierend auf der mindestens einen Materialeigenschaft bestimmt wird und dass die mindestens eine Klangeigenschaft basierend auf dem Schwingungsverhalten bestimmt wird.According to a preferred embodiment of the method it is provided that the respective object geometry is assigned at least one material property for describing a material of the object and that the at least one sound property is based on the Material property is determined. Accordingly, the reflection property can also be determined based on the material property. It may also be that a vibration behavior of the object is determined based on the at least one material property and that the at least one sound characteristic is determined based on the vibration behavior.

Wie bereits festgestellt, kann die Objektgeometriebezogenheit der mindestens einen Klangeigenschaft auf grundsätzlich beliebige Art und Weise gegeben sein. Eine diesbezüglich bevorzugte Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass die Objektgeometrie in eine Vielzahl von Objektbereichen, bei welchen es sich insbesondere um Objektoberflächen handeln kann, unterteilt ist und dass die mindestens eine Klangeigenschaft, vorzugsweise auch die mindestens eine Materialeigenschaft, separat für jeden Objektbereich definierbar ist. Vorzugsweise ist die mindestens eine Klangeigenschaft und/oder die mindestens eine Materialeigenschaft separat für jeden Objektbereich definiert. Weiter ist es bevorzugt, dass die mindestens eine Klangeigenschaft und/oder die mindestens eine Materialeigenschaft zwischen mindestens zwei Objektbereichen variiert. Mit anderen Worten ist die mindestens eine Klangeigenschaft und/oder die mindestens eine Objekteigenschaft nicht für alle Objektbereiche gleich.As already stated, the object geometry relatedness of the at least one sound property can be given in basically any manner. A preferred embodiment of the method in this respect is characterized in that the object geometry is subdivided into a plurality of object areas, which may be object surfaces in particular, and that the at least one sound property, preferably also the at least one material property, can be defined separately for each object area is. Preferably, the at least one sound property and / or the at least one material property is defined separately for each object area. Furthermore, it is preferred that the at least one sound property and / or the at least one material property varies between at least two object regions. In other words, the at least one sound property and / or the at least one object property is not the same for all object areas.

Gemäß einer bevorzugten Ausführungsform des Verfahrens ist vorgesehen, dass für jedes Objekt eine Ausrichtung zur Richtungsangabe der jeweiligen Objektgeometrie im virtuellen Klangraum definiert wird und dass basierend auf dem Schallweg und der Ausrichtung des Objektes die Berücksichtigung der Klangeigenschaft erfolgt. Auf diese Weise kann bestimmt werden, wie der Schallweg zur Objektgeometrie für eine Reflexion steht. Hier ist es weiter bevorzugt, dass basierend auf dem indirekten Schallweg und der Ausrichtung des Objekts der Objektbereich für die jeweilige Schallreflexion bestimmt wird und dass die für diesen Objektbereich definierte Klangeigenschaft und/oder Materialeigenschaft für die Simulation dieses indirekten Schallwegs angewandt wird. Es kann also derjenige Objektbereich ermittelt werden, an dem die Schallreflexion des indirekten Schallwegs stattfindet.According to a preferred embodiment of the method, it is provided that for each object an orientation for indicating the direction of the respective object geometry in the virtual sound space is defined and that based on the sound path and the orientation of the object, the consideration of the sound property. In this way, it can be determined how the sound path to the object geometry stands for a reflection. Here it is further preferred that, based on the indirect sound path and the orientation of the object, the object area is determined for the respective sound reflection and that the sound property and / or material property defined for this object area is used for the simulation of this indirect sound path. It is thus possible to determine the object area at which the sound reflection of the indirect sound path takes place.

Eine weitere bevorzugte Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass zumindest für einige Objekte die jeweilige Objektgeometrie durch einen Polyeder definiert wird. In diesem Fall ist es bevorzugt, dass die Flächen des Polyeders die Objektbereiche bilden. Weiter kann es sein, dass der Polyeder mit einer im Wesentlichen frei wählbaren Anzahl von Flächen definierbar ist. Auf diese Weise kann die Komplexität des Polyeders und damit auch die Anzahl der Kanten und Ecken beliebig ausgesucht werden. Grundsätzlich lässt sich durch einen hinreichend komplexen Polyeder jede beliebige dreidimensionale Form zumindest annähern.A further preferred embodiment of the method is characterized in that, for at least some objects, the respective object geometry is defined by a polyhedron. In this case, it is preferable that the surfaces of the polyhedron constitute the object regions. Further, it may be that the polyhedron is definable with a substantially arbitrary number of surfaces. In this way, the complexity of the polyhedron and thus the number of edges and corners can be arbitrarily selected. In principle, any arbitrary three-dimensional shape can at least be approximated by a sufficiently complex polyhedron.

Gemäß einer bevorzugten Ausführungsform des Verfahrens ist vorgesehen, dass zumindest für einige Objekte die jeweilige Objektgeometrie durch eine feste Zahl variabler Parameter definiert wird. Es handelt sich dann um eine parametrierbare Geometrie. Beispielsweise kann eine Quadergeometrie durch die Bestimmung der drei Kantenlängen als Parameter bestimmt werden. Auch komplexere Geometrien können auf diese Weise parametrierbar sein, insbesondere wenn nicht für jede potenziell einstellbare Größe auch tatsächlich ein einstellbarer Parameter vorgesehen ist. Bevorzugt ist weiter, dass die Parameter einen Granularitätsparameter zur Einstellung einer Auflösung der Objektgeometrie aufweisen. Beispielsweise kann eine Kugel durch den Parameter des Radius definiert werden. Wird die Kugel nun in der Berechnung durch einen entsprechenden Polyeder angenähert, so kann durch einen solchen Granularitätsparameter die Auflösung der an sich runden Kugeloberfläche in einzelne ebene Flächen angegeben werden. Solche parametrierbaren Geometrien sind häufig durch besonders wenige Parameter definierbar.According to a preferred embodiment of the method, it is provided that for at least some objects the respective object geometry is defined by a fixed number of variable parameters. It is then a parameterizable geometry. For example, a cuboid geometry can be determined by determining the three edge lengths as parameters. Even more complex geometries can be parameterized in this way, especially if an adjustable parameter is not actually provided for each potentially adjustable variable. It is further preferred that the parameters have a granularity parameter for setting a resolution of the object geometry. For example, a sphere can be defined by the parameter of the radius. If the sphere is now approximated in the calculation by a corresponding polyhedron, then the resolution of the per se spherical surface in individual flat surfaces can be specified by such a granularity parameter. Such parameterizable geometries are often definable by very few parameters.

Grundsätzlich kann die digitale Klangfolge von einer stationären Klangquelle aus ausgehen. Eine diesbezüglich bevorzugte Ausführungsform des Verfahrens ist jedoch dadurch gekennzeichnet, dass für die mindestens eine Klangquelle ein zeitlicher Verlauf einer Bewegung im virtuellen Klangraum definiert wird und dass bei der Berechnung des linken und des rechten Klangsignals der jeweilige Verlauf der Bewegung der Klangquelle zugrunde gelegt wird. Für eine Vielzahl von abzubildenden Szenarien findet eine Relativbewegung zwischen dem Hörer und der Klangquelle ab, sodass auf diese Weise für diese Fälle ein erhöhter Realismus erreicht werden kann. Insbesondere kann es sein, dass der zeitliche Verlauf der Bewegung für jede Klangquelle jeweils unabhängig voneinander definiert wird. Mit anderen Worten bewegen sich die Klangquellen dann nicht synchron, sondern in unterschiedliche und ggf. variable Richtungen mit ebenso unterschiedlichen Geschwindigkeiten. Vorzugsweise umfasst der Verlauf der Bewegung der Klangquelle eine translatorische Bewegung und/oder eine rotatorische Bewegung der Klangquelle. Insbesondere wenn für die Klangquelle, wie unten noch näher beschrieben wird, ein richtungsabhängiger Schallsender definiert wird, kann auch eine bloße Drehung der Klangquelle zu variierenden Klangsignalen führen.Basically, the digital sound sequence can emanate from a stationary sound source. A preferred embodiment of the method in this regard, however, is characterized in that a temporal course of a movement in the virtual sound space is defined for the at least one sound source and that the respective course of the movement of the sound source is used in the calculation of the left and the right sound signal. For a variety of scenarios to be mapped, a relative movement between the listener and the sound source takes place, so that in this way increased realism can be achieved for these cases. In particular, it may be that the temporal course of the movement for each sound source is defined independently of each other. In other words, the sound sources do not move synchronously, but in different and possibly variable directions with equally different speeds. Preferably, the course of movement of the sound source comprises a translational movement and / or a rotational movement of the sound source. In particular, if a directional sound transmitter is defined for the sound source, as described in more detail below, even a mere rotation of the sound source can lead to varying sound signals.

Neben den Klangquellen ist es aber auch möglich, dass sich die Objekte im Klangraum über die Zeit bewegen. Daher ist eine weitere bevorzugte Ausführungsform des Verfahrens dadurch gekennzeichnet, dass für die Objekte ein zeitlicher Verlauf einer Bewegung im virtuellen Klangraum definiert wird und dass bei der Berechnung des linken und des rechten Klangsignals der jeweilige Verlauf der Bewegung des Objekts zugrunde gelegt wird. In sinngemäß gleicher Entsprechung zu der unabhängigen Bewegung der Klangquellen kann es insbesondere sein, dass der zeitliche Verlauf der Bewegung für jedes Objekt jeweils unabhängig voneinander definiert wird. Ebenso ist es bevorzugt, dass der Verlauf der Bewegung des Objekts eine translatorische Bewegung und/oder eine rotatorische Bewegung des Objekts umfasst. Eine solche rotatorische Bewegung des Objekts umfasst auch eine entsprechende Veränderung der Ausrichtung des jeweiligen Objekts. Vor allem durch die objektgeometriebezogenen Klangeigenschaften der Objekte kommt auch ihrer rotatorischen Bewegung eine besondere Bedeutung zu, weil durch eine solche rotatorische Bewegung regelmäßig ein unterschiedlicher Teil der Geometrie des Objekts den Schall reflektiert.In addition to the sound sources, it is also possible that the objects in the sound space move over time. Therefore, another preferred embodiment of the method is thereby characterized in that for the objects, a temporal course of a movement in the virtual sound space is defined and that in the calculation of the left and the right sound signal, the respective course of the movement of the object is used. In analogy to the independent movement of the sound sources, it may be the case that the temporal course of the movement is defined independently of each other for each object. Likewise, it is preferred that the course of the movement of the object comprises a translatory movement and / or a rotational movement of the object. Such a rotational movement of the object also includes a corresponding change in the orientation of the respective object. Above all, due to the object-geometry-related sound properties of the objects, their rotational movement is also of particular importance, because such a rotational movement regularly reflects a different part of the geometry of the object to the sound.

Grundsätzlich kann die Definition der obigen Entitäten auf beliebige Art und Weise und durch eine beliebige Datenverarbeitungsvorrichtung erfolgen. Bevorzugt vorgesehen ist, dass aus dem linken und dem rechten Klangsignal ein digitales Audiosignal mit Stereodaten erzeugt wird und dass aus dem Audiosignal das linke und das rechte Klangsignal rekonstruiert wird. Ein solches Audiosignal kann übertragen werden, sodass die Erzeugung der Klangsignale und die Ausgabe der Klangsignale örtlich oder zeitlich beabstandet zueinander erfolgt.In principle, the definition of the above entities can be done in any manner and by any data processing device. It is preferably provided that a digital audio signal with stereo data is generated from the left and the right sound signal and that the left and the right sound signal are reconstructed from the audio signal. Such an audio signal can be transmitted so that the generation of the sound signals and the output of the sound signals are spatially or temporally spaced from each other.

Gemäß einer bevorzugten Ausführungsform des Verfahrens ist vorgesehen, dass die mindestens eine digitale Klangfolge, die mindestens eine Klangquelle,die Objekte, die Objektpositionen, die mindestens eine Klangeigenschaft und/oder die Objektgeometrien von einem Quell-Clientrechner, vorzugsweise über das Internet, auf einen Server übertragen werden, dass die Berechnung des linken und des rechten Klangsignals auf dem Server erfolgt und dass das Audiosignal an einen Ziel-Clientrechner, insbesondere über das Internet, übertragen wird. Auf diese Weise können die wesentlichen Berechnungen in der Cloud vorgenommen werden. Dies bietet sich deshalb an, weil einerseits die verfügbare Bandbreite zum Übertragen des digitalen Audiosignals regelmäßig hinreichend groß ist und umgekehrt durch die Verlagerung der Berechnung in die Cloud hinreichende Rechenleistung abgerufen werden kann. Grundsätzlich kann der Ziel-Clientrechner in einem beliebigen Verhältnis zu dem Quell-Clientrechner stehen. Bevorzugt ist es, dass der Ziel-Clientrechner der Quell-Clientrechner ist.According to a preferred embodiment of the method, it is provided that the at least one digital sound sequence, the at least one sound source, the objects, the object positions, the at least one sound property and / or the object geometries from a source client computer, preferably via the Internet, to a server be transmitted, that the calculation of the left and the right sound signal on the server and that the audio signal is transmitted to a target client computer, in particular via the Internet. In this way, the essential calculations can be made in the cloud. This is useful because, on the one hand, the available bandwidth for transmitting the digital audio signal is regularly sufficiently large and, conversely, sufficient computing power can be obtained by shifting the calculation to the cloud. Basically, the target client machine may be in any relation to the source client machine. It is preferred that the destination client computer is the source client computer.

Gemäß einer weiteren bevorzugten Ausführungsform des Verfahrens ist vorgesehen, dass das Audiosignal im Wesentlichen kontinuierlich als Streamingsignal an den Ziel-Clientrechner übertragen wird. Auf diese Weise kann eine durchgehende Klangsimulation über ein Netzwerk wie etwa das Internet bereitgestellt werden. Weiter ist es bevorzugt, dass die Berechnung des linken und des rechten Klangsignals im Wesentlichen in Echtzeit erfolgt.According to a further preferred embodiment of the method, it is provided that the audio signal is transmitted essentially continuously as a streaming signal to the destination client computer. In this way, a continuous sound simulation over a network such as the Internet can be provided. Further, it is preferable that the calculation of the left and right sound signals is substantially in real time.

Neben dem Bereitstellen des Audiosignals in kontinuierlicher Weise per Streaming von dem Server - also in Downstream-Richtung - kann in sinngemäß gleicher Weise auch die Definition der verschiedenen Parameter in ebenso kontinuierlicher Weise an den Server - also in Upstream-Richtung - bereitgestellt werden. Eine entsprechende bevorzugte Ausführungsform des vorschlagsgemäßen Verfahrens ist dadurch gekennzeichnet, dass die mindestens eine digitale Klangfolge, die mindestens eine Klangquelle, die Objekte, die Objektpositionen, die mindestens eine Klangeigenschaft und/oder die Objektgeometrien im Wesentlichen kontinuierlich als Streamingsignal an den Server übertragen wird. Auf diese Weise lassen sich alle Schritte zum Erzeugen des stereofonen Klangsignals kontinuierlich und in Echtzeit durchführen.In addition to providing the audio signal in a continuous manner by streaming from the server - that is, in the downstream direction - the definition of the various parameters can likewise be provided in a continuous manner to the server - that is, in the upstream direction. A correspondingly preferred embodiment of the proposed method is characterized in that the at least one digital sound sequence, the at least one sound source, the objects, the object positions, the at least one sound property and / or the object geometries are transmitted essentially continuously as a streaming signal to the server. In this way, all steps for generating the stereophonic sound signal can be performed continuously and in real time.

Grundsätzlich kann das Verfahren auch nur mit einer einzigen digitalen Klangfolge durchgeführt werden. Eine weitere bevorzugte Ausführungsform des vorschlagsgemäßen Verfahrens ist jedoch dadurch gekennzeichnet, dass eine Vielzahl von Klangquellen definiert wird, von denen eine jeweilige digitale Klangfolge ausgeht. Auf diese Weise können noch komplexere Klangszenarien realistisch simuliert werden. Sinngemäß gleich zu dem Szenario mit nur einer digitalen Klangfolge ist weiter bevorzugt, dass durch jeweilige Schallwege, welche einen direkten und reflexionsfreien Schallweg sowie indirekte Schallwege umfassen, von jeder Klangquelle zu der Hörerposition das linke und das rechte Klangsignal berechnet wird. Folglich wird das linke und das rechte Klangsignal jeweils durch eine Überlagerung der verschiedenen Schallwege von den verschiedenen Klagquellpositionen bestimmt.In principle, the method can also be carried out only with a single digital sound sequence. However, a further preferred embodiment of the proposed method is characterized in that a plurality of sound sources is defined, from which a respective digital sound sequence emanates. In this way even more complex sound scenarios can be simulated realistically. Analogously to the scenario with only one digital sound sequence, it is further preferred that the left and the right sound signal are calculated from each sound source to the listener position by respective sound paths which comprise a direct and reflection-free sound path as well as indirect sound paths. Consequently, the left and right sound signals are respectively determined by a superimposition of the different sound paths from the different complaint source positions.

Eine noch genauere Simulation lässt sich erreichen, wenn neben den Objekten auch die Quelle des Klangsignals selbst möglichst genau simuliert wird. Daher ist gemäß einer bevorzugten Ausführungsform des vorschlagsgemäßen Verfahrens vorgesehen, dass für jede Klangfolge an der jeweiligen Klangquelle ein Schallsender definiert wird, welcher eine Schallsendergeometrie mit mindestens einer schallsendergeometriebezogenen Schalleigenschaft aufweist und dass bei der Berechnung des linken und des rechten Klangsignals die Schallsender mit der Schallsendergeometrie und der mindestens einen Schalleigenschaft berücksichtigt werden. So kann etwa eine Dämpfung o.dgl. in bestimmte Richtungen vorliegen oder es können Reflexionsflächen am Schallsender selbst vorgesehen sein. Entsprechend kann es sein, dass die Schallsendergeometrie richtungsabhängige Schalleigenschaften aufweist.An even more precise simulation can be achieved if, in addition to the objects, the source of the sound signal itself is simulated as accurately as possible. Therefore, according to a preferred embodiment of the proposed method, it is provided that a sound transmitter is defined for each sound sequence at the respective sound source, which has a sound transmitter geometry with at least one sound transmitter geometry-related sound property and that in the calculation of the left and the right sound signal, the sound transmitter with the sound transmitter geometry and the at least one sound property are taken into account. For example, a damping or the like. are present in certain directions or it can be provided reflection surfaces on the sound transmitter itself. Accordingly, it may be that the sound transmitter geometry has directional sound properties.

Sinngemäß gleich gelten diese Überlegungen auch für den Empfänger des Schalls und damit für den Hörer. Gemäß einer weiteren bevorzugten Ausführungsform des vorschlagsgemäßen Verfahrens ist vorgesehen, dass für den Schallempfänger eine Schallempfängergeometrie mit mindestens einer schallempfängergeometriebezogenen Schalleigenschaft definiert wird und dass bei der Berechnung des linken und des rechten Klangsignals die Schallempfängergeometrie mit der mindestens einen Schalleigenschaft berücksichtigt wird.Analogously, these considerations also apply to the receiver of the sound and thus to the listener. According to a further preferred embodiment of the proposed method, it is provided that a sound receiver geometry with at least one sound receiver geometry-related sound property is defined for the sound receiver and that the sound receiver geometry with the at least one sound property is taken into account in the calculation of the left and the right sound signal.

Weitere vorteilhafte und bevorzugte Ausgestaltungen, Merkmale und Eigenschaften ergeben sich aus der nachfolgenden speziellen Beschreibung mit Bezug auf die Figuren. In der lediglich ein Ausführungsbeispiel wiedergebenden Zeichnung zeigt

• 1 eine Prinzipdarstellung eines virtuellen Klangraums im Zusammenhang mit der Ausführung des vorschlagsgemäßen Verfahrens und
• 2 eine Prinzipdarstellung eines Systems von Rechenvorrichtungen zur Ausführung des vorschlagsgemäßen Verfahrens.

Further advantageous and preferred embodiments, features and properties will become apparent from the following specific description with reference to the figures. In the only one embodiment reproducing drawing shows

• 1 a schematic representation of a virtual sound space in connection with the execution of the proposed method and
• 2 a schematic diagram of a system of computing devices for carrying out the proposed method.

Die 2 zeigt die Vorrichtungen bei der Ausführung des vorschlagsgemäßen Verfahrens zum Erzeugen des stereofonen Klangsignals. Dieses Verfahren basiert auf der Simulation eines virtuellen Klangraums, welcher wiederum in der 1 wiedergeben ist. In diesem virtuellen Klangraum, welcher hier durch ein kartesisches Koordinatensystem beschrieben wird, wird die virtuelle Hörerposition 1 an dem Ursprung des Koordinatensystems definiert. An dieser virtuellen Hörerposition ist ein virtueller Schallempfänger 4 mit einer linken Empfängerseite 5a und einer rechten Empfängerseite 5b definiert.The 2 shows the devices in the execution of the proposed method for generating the stereophonic sound signal. This method is based on the simulation of a virtual sound space, which in turn is in the 1 is playing. In this virtual sound space, which is described here by a Cartesian coordinate system, the virtual listener position 1 defined at the origin of the coordinate system. At this virtual listener position is a virtual sound receiver 4 with a left receiver side 5a and a right receiver side 5b Are defined.

Versetzt zu dieser virtuellen Hörerposition 1 sowie untereinander versetzt werden zwei Klangquellen 2a, b im virtuellen Klangraum definiert, von denen jeweils eine unterschiedliche digitale Klangfolge im virtuellen Klangraum ausgeht. Die Klangquellen 2a, b sind dabei nicht stationär, sondern bewegen sich über der Zeit in dem virtuellen Klangraum. Ein jeweiliger zeitlicher Verlauf 3a, b einer Bewegung für die Klangquellen ist in der 1 ebenfalls dargestellt.Posted to this virtual listener position 1 as well as with each other are offset two sound sources 2a . b defined in the virtual sound space, each of which emanates a different digital sound sequence in the virtual sound space. The sound sources 2a . b are not stationary, but move over time in the virtual sound space. A respective time course 3a . b a movement for the sound sources is in the 1 also shown.

Ferner sind zwei Objekte 6a, b an einer jeweiligen Objektposition 7a, b im virtuellen Klangraum definiert. Diese bewegen sich ebenfalls über der Zeit in dem virtuellen Klangraum, wobei ein entsprechender jeweiliger zeitlicher Verlauf 8a, b der Bewegung für die Objektpositionen 7a, b ebenfalls in der 1 dargestellt ist.Furthermore, there are two objects 6a . b at a respective object position 7a , b defined in the virtual sound space. These also move over time in the virtual sound space, with a respective respective temporal course 8a , b of the movement for the object positions 7a . b also in the 1 is shown.

Nachfolgend werden die Schallwege 9a-f von den Klangquellen 2a, b zu der virtuellen Hörerposition 1 beschrieben. Bezogen auf eine zeitliche Momentaufnahme, geht die jeweilige Klangfolge nun von einer der Klangquellen 2a, b aus und erreicht die virtuelle Hörerposition 1 auf einem von insgesamt zwölf Schallwegen 9a-f. Der übersichtlicheren Darstellung halber wird nicht zwischen den Schallwegen 9a-f jeweils für die linke Empfängerseite 2a und die rechte Empfängerseite 2b unterschieden, wobei diese Unterscheidung für das Ermitteln des linken und des rechten Klangsignals durchaus relevant sein kann und daher bei der eigentlichen Berechnung auch sehr wohl berücksichtigt wird. Nachfolgend werden daher sechs Schallwege 9a-f genannt, wobei unter jedem einzelnen dieser Schallwege 9a-f eigentlich und für die Berechnung zwei verschiedene Schallwege zu verstehen sind.The following are the sound paths 9a-f from the sound sources 2a , b to the virtual listener position 1 described. Relative to a temporal snapshot, the respective sound sequence now goes from one of the sound sources 2a , b and reaches the virtual listener position 1 on one of a total of twelve sound paths 9a-f , The clearer presentation is not between the sound paths 9a-f each for the left receiver side 2a and the right receiver side 2 B This distinction can be quite relevant for the determination of the left and the right sound signal and therefore also very well taken into account in the actual calculation. Below are therefore six sound paths 9a-f called, under each one of these sound paths 9a-f actually and for the calculation two different sound paths are to be understood.

Bezogen auf die von der ersten Klangquelle 2a ausgehende erste Klangfolge führt ein erster Schallweg 9a von der ersten Klangquelle 2a - gemäß ihrer Position auf dem Verlauf 3a zum fraglichen Zeitpunkt - in gerader Linie zu der virtuellen Hörerposition 1. Es handelt sich dabei also um einen direkten und reflexionsfreien Schallweg 9a. Ein zweiter Schallweg 9b der ersten Klangfolge führt ebenfalls von der ersten Klangquelle 2a - an der selben Position wie für den Schallweg 9a - zu dem ersten Objekt 6a an der ersten Objektposition 7a und nach einer Reflektion an dem ersten Objekt 6a weiter zu der virtuellen Hörerposition 1. Schließlich führt ein dritter Schallweg 9c der ersten Klangfolge von der ersten Klangquelle 2a - abermals an der selben Position entlang des Verlaufs 3a - zu dem zweiten Objekt 6b an der zweiten Objektposition 7b und nach der entsprechenden Reflektion an dem zweiten Objekt 6b weiter zu der virtuellen Hörerposition. Bei dem zweiten Schallweg 9b und dem dritten Schallweg 9c handelt es sich demnach um einen jeweiligen indirekten Schallweg 9b, c. Der vierte Schallweg 9d, der fünfte Schallweg 9e und der sechste Schallweg 9f verläuft nun sinngemäß gleich jeweils ausgehend von der zweiten Klangquelle 2b.Relative to that of the first sound source 2a outgoing first sound sequence leads a first sound path 9a from the first sound source 2a - according to their position on the course 3a at the time in question - in line with the virtual listener position 1 , It is therefore a direct and reflection-free sound path 9a , A second sound path 9b The first sound sequence also leads from the first sound source 2a - in the same position as for the sound path 9a - to the first object 6a at the first object position 7a and after reflection on the first object 6a on to the virtual listener position 1 , Finally, a third sound path leads 9c the first sound sequence from the first sound source 2a - again at the same position along the course 3a - to the second object 6b at the second object position 7b and after the corresponding reflection on the second object 6b on to the virtual listener position. At the second sound path 9b and the third sound path 9c it is therefore a respective indirect sound path 9b . c , The fourth sound path 9d , the fifth sound path 9e and the sixth sound path 9f is now proceeding mutatis mutandis, starting from the second sound source 2 B ,

Mit den zeitlichen Verläufen 3a, b der Klangquellen 2a, b sowie der Objektpositionen 7a, b und deren zeitlichen Verläufen 8a, b verändern sich auch die Schallwege 9a-f in der Zeit, wobei insbesondere die Längen der Schallwege 9a-f variieren. Auf dieser Grundlage wird nun das linke und das rechte Klangsignal des Stereoklangsignals durch Simulation der Schallwege 9a-f der Klangfolgen an die linke Empfängerseite 5a und die rechte Empfängerseite 5b berechnet. Neben der Signalverschiebung durch die unterschiedlichen und veränderlichen Laufzeiten entlang der Schallwege 9a- f ist dabei insbesondere die Reflektion der Klangsignale an den Objekten 6a, b von Bedeutung.With the time courses 3a . b the sound sources 2a . b as well as the object positions 7a . b and their temporal progressions 8a , b also change the sound paths 9a-f in time, in particular the lengths of the sound paths 9a-f vary. Based on this, the left and right sound signals of the stereo sound signal are simulated by simulating the sound paths 9a-f the sound sequences to the left receiver side 5a and the right receiver side 5b calculated. In addition to the signal shift due to the different and variable transit times along the sound paths 9a - f is in particular the reflection of the sound signals to the objects 6a . b significant.

Für die Berechnung der Reflektion an den Objekten 6a, b werden für die Objekte 6a, b eine jeweilige Objektgeometrie 10a, b, eine Ausrichtung im virtuellen Klangraum und eine Klangeigenschaft definiert, welche Ausrichtung und Klangeigenschaft wiederum auf die Objektgeometrie 10a, b bezogen sind. For the calculation of the reflection on the objects 6a , b will be for the objects 6a , b a respective object geometry 10a , b, an alignment in the virtual sound space and a sound property defines which alignment and sound characteristic in turn on the object geometry 10a , b are related.

Im vorliegenden Ausführungsbeispiel weist das erste Objekt 6a als Objektgeometrie 10a eine Kreiszylinderform auf. Die für das erste Objekt 6a definierte Ausrichtung gibt die in der 1 wiedergegebene Lage der Kreiszylinderform an. Eine solche Kreiszylinderform kann durch zwei Paramater definiert werden, nämlich durch den Radius der kreisförmigen Grundfläche und die Höhe der Mantelfläche. Diese Kreiszylinderform ist in einen ersten Objektbereich 11a entsprechend den Grundflächen und einen zweiten Objektbereich 11b entsprechend der Mantelfläche unterteilt. Dabei weist der erste Objektbereich 11a und der zweite Objektbereich 11b als zugeordnete Klangeigenschaft jeweils eine unterschiedliche Reflexionseigenschaft auf, welche hier beispielhaft als Dämpfung des reflektierten Schalls angenommen wird. Mit anderen Worten findet eine unterschiedliche Dämpfung des reflektierten Schalls in Abhängigkeit davon ab, ob die Reflektion an dem ersten Objektbereich 11a oder dem zweiten Objektbereich 11b stattfindet.In the present embodiment, the first object 6a as object geometry 10a a circular cylinder shape. The for the first object 6a Defined alignment gives the in the 1 reproduced position of the circular cylinder shape. Such a circular cylindrical shape can be defined by two parameters, namely by the radius of the circular base and the height of the lateral surface. This circular cylindrical shape is in a first object area 11a corresponding to the bases and a second object area 11b divided according to the lateral surface. In this case, the first object area 11a and the second object area 11b each having a different reflection property as an associated sound property, which is assumed here as an example as attenuation of the reflected sound. In other words, a different attenuation of the reflected sound depending on whether the reflection at the first object area 11a or the second object area 11b takes place.

Das zweite Objekt 6b wiederum weist als Objektgeometrie 10b einen Polyeder mit sechs Flächen auf. Hier gibt die für das zweite Objekt 6b definierte Ausrichtung die in der 1 wiedergegebene Lage des Polyeders an. Jeweils drei dieser Flächen bilden einen ersten Objektbereich 11a und einen zweiten Objektbereich 11b, wobei bei dem vorliegenden Ausführungsbeispiel für den ersten Objektbereich 11a und den zweiten Objektbereich 11b des zweiten Objekts 6b jeweils die selbe unterschiedliche Dämpfung vorliegt wie bei dem ersten Objekt 6a für den ersten Objektbereich 11a bzw. den zweiten Objektbereich 11b.The second object 6b turn points as object geometry 10b a polyhedron with six faces. Here's the one for the second object 6b defined orientation in the 1 reproduced position of the polyhedron. Three of these surfaces each form a first object area 11a and a second object area 11b in the present embodiment, for the first object area 11a and the second object area 11b of the second object 6b in each case the same different damping is present as in the first object 6a for the first object area 11a or the second object area 11b ,

Es liegt auf der Hand, dass der jeweilige Objektbereich IIa, b für die Reflektion auch von der Ausrichtung des jeweiligen Objekts 6a, b im virtuellen Klangraum abhängt. In der in der 1 dargestellten Situation umfasst hinsichtlich der ersten Klangfolge der zweite Schallweg 9b eine Reflektion an dem ersten Objektbereich 11a des ersten Objekts 6a und der dritte Schallweg 9c eine Reflektion an dem zweiten Objektbereich 11b des zweiten Objekts 6b, bei welcher Reflektion also die jeweils unterschiedliche Dämpfung in der Berechnung berücksichtigt wird. Hinsichtlich der zweiten Klangfolge umfasst der fünfte Schallweg 9e eine Reflektion an dem zweiten Objektbereich 11b des ersten Objekts 6a und der sechste Schallweg 9f eine Reflektion an dem ersten Objektbereich 11a des zweiten Objekts 6b, wobei ebenfalls die jeweils unterschiedliche Dämpfung in der Berechnung berücksichtigt wird.It is obvious that the respective object area IIa . b for the reflection also of the orientation of the respective object 6a . b depends on the virtual sound space. In the in the 1 The situation illustrated with respect to the first sound sequence comprises the second sound path 9b a reflection on the first object area 11a of the first object 6a and the third sound path 9c a reflection on the second object area 11b of the second object 6b in which reflection the respective different attenuation is taken into account in the calculation. With regard to the second sound sequence, the fifth sound path comprises 9e a reflection on the second object area 11b of the first object 6a and the sixth sound path 9f a reflection on the first object area 11a of the second object 6b , whereby also the respectively different damping is taken into account in the calculation.

Neben dem oben beschriebenen Einfluss der Objekte 6a, b auf die Klangsignale wird ferner die dem Schallempfänger 4 zugeordnete Schallempfängergeometrie 17 bei der Berechnung des rechten und des linken Klangsignals berücksichtigt. Im vorliegenden Beispiel wird je nach Winkel des Schallwegs 9a-f bezogen auf die Schallempfängergeometrie eine unterschiedliche Dämpfung angesetzt.In addition to the influence of the objects described above 6a . b on the sound signals is also the sound receiver 4 assigned sound receiver geometry 17 considered in the calculation of the right and left sound signal. In this example, depending on the angle of the sound path 9a-f based on the sound receiver geometry a different attenuation recognized.

Analog zu der Schallempfängergeometrie 17 wird auch für jede Klangquelle 2a, b ein Schallsender mit einer Schallsendergeometrie 16a, b definiert. Die Lage des jeweiligen Schallwegs 9a-f bezogen auf die jeweilige Schallsendergeometrie 16a, wird durch eine schallsendergeometriebezogene Schalleigenschaft bei der Berechnung berücksichtigt.Analogous to the sound receiver geometry 17 will also work for any sound source 2a . b a sound transmitter with a sound transmitter geometry 16a . b Are defined. The location of the respective sound path 9a-f based on the respective sound transmitter geometry 16a , is taken into account in the calculation by a sound transmitter geometry-related sound property.

Die Definition des virtuellen Klangraums wie für die 1 beschrieben erfolgt an dem in der 1 dargestellten Quell-Clientrechner 12, wobei die entsprechenden Daten über das Internet 13 an den Server 14 übertragen werden. Auf diesem findet die Berechnung des linken Klangsignals und des rechten Klangsignals statt. Aus diesen wird ein digitales Audiosignal erzeugt, welches wiederum über das Internet 13 an den Ziel-Clientrechner 15 im Wege des Streaming übertragen wird. Eine an den Ziel-Clientrechner 15 angeschlossene Kopfhöreranordnung gibt dann das linke und das rechte Klangsignal wieder.The definition of the virtual sound space as for the 1 is described at the in the 1 illustrated source client machine 12 , with the corresponding data via the Internet 13 to the server 14 be transmitted. On this the calculation of the left sound signal and the right sound signal takes place. From these a digital audio signal is generated, which in turn via the Internet 13 to the destination client machine 15 transmitted by streaming. One to the destination client machine 15 connected headphone arrangement then reproduces the left and right sound signals.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 102010060940 A1 [0003]DE 102010060940 A1 [0003]

Claims (15)

Verfahren zum Erzeugen eines stereofonen Klangsignals, wobei ein virtueller Klangraum mit einer virtuellen Hörerposition (1) in dem Klangraum definiert wird, wobei mindestens eine Klangquelle (2a, b) relativ zu der virtuellen Hörerposition (1) in dem Klangraum definiert wird, von welcher eine jeweilige digitale Klangfolge ausgeht, wobei ein virtueller Schallempfänger (4) an der virtuellen Hörerposition (1) mit einer linken Empfängerseite (5a) und einer rechten Empfängerseite (5b) definiert wird, wobei Objekte (6a, b) an einer jeweiligen Objektposition (7a, b) definiert werden, wobei für jedes Objekt (6a, b) mindestens eine Klangeigenschaft zum Einflussverhalten auf Schallwellen definiert wird, wobei ein linkes und ein rechtes Klangsignal eines Stereoklangsignals durch Simulation von Schallwegen (9a-f) der mindestens einen Klangfolge von der jeweiligen Klangquelle (2a, b) jeweils an die linke Empfängerseite (5a) und die rechte Empfängerseite (5b) unter Berücksichtigung der Objekte (6a, b) und ihrer jeweiligen mindestens einen Klangeigenschaft berechnet wird, wobei das linke und das rechte Klangsignal über eine jeweilige Kopfhörerlautsprecheranordnung ausgegeben wird, dadurch gekennzeichnet, dass für die Objekte (6a, b) eine jeweilige Objektgeometrie (9a, b) mit mindestens einer objektgeometriebezogenen Klangeigenschaft definiert wird und dass die Simulation der Schallwege (9a-f) an die linke Empfängerseite (5a) und die rechte Empfängerseite (5b) jeweils unter Berücksichtigung der jeweiligen Objektgeometrie (10a, b) und der mindestens einen objektgeometriebezogenen Klangeigenschaft der Objekte (6a, b) erfolgt.A method for generating a stereophonic sound signal, wherein a virtual sound space is defined with a virtual listener position (1) in the sound space, wherein at least one sound source (2a, b) relative to the virtual listener position (1) is defined in the sound space, one of which a digital sound sequence starts, wherein a virtual sound receiver (4) at the virtual listener position (1) with a left receiver side (5a) and a right receiver side (5b) is defined, wherein objects (6a, b) at a respective object position (7a, b), wherein for each object (6a, b) at least one sound characteristic for influencing sound waves is defined, wherein a left and a right sound signal of a stereo sound signal by simulation of sound paths (9a-f) of the at least one sound sequence from the respective sound source (2a, b) respectively to the left receiver side (5a) and the right receiver side (5b) taking into account the obj ects (6a, b) and their respective at least one sound characteristic is calculated, wherein the left and the right sound signal is output via a respective headphone speaker arrangement, characterized in that for the objects (6a, b) a respective object geometry (9a, b) with at least one object geometry-related sound characteristic is defined and that the simulation of the sound paths (9a-f) to the left receiver side (5a) and the right receiver side (5b) respectively taking into account the respective object geometry (10a, b) and the at least one object geometry-related sound property of the objects (6a, b) takes place. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schallwege (9a-f) einen direkten und reflexionsfreien Schallweg (9a, d) von der Klangquelle (2a, b) zu der Hörerposition (1) und mindestens einen indirekten Schallweg (9b, c, e, f) jeweils mit mindestens einer Schallreflexion an einem Objekt (6a, b) von der Klangquelle (2a, b) zu der Hörerposition (1) umfassen, vorzugsweise, dass die Schallwege (9a-f) durch ein Aussenden von Strahlen basierend auf der Hörerposition (1) ermittelt werden.Method according to Claim 1 , characterized in that the sound paths (9a-f) have a direct and reflection-free sound path (9a, d) from the sound source (2a, b) to the listener position (1) and at least one indirect sound path (9b, c, e, f) each comprising at least one sound reflection on an object (6a, b) from the sound source (2a, b) to the listener position (1), preferably that the sound paths (9a-f) are transmitted by emitting beams based on the listener position (1 ) be determined. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die mindestens eine Klangeigenschaft eine Reflexionseigenschaft für Schall umfassen, insbesondere, dass der jeweiligen Objektgeometrie (10a, b) mindestens eine Oberflächeneigenschaft, vorzugsweise ein Rauheitswert und/oder ein Starrheitswert, zugeordnet ist, aus welcher die mindestens eine Reflexionseigenschaft bestimmt werden.Method according to Claim 1 or 2 , characterized in that the at least one sound characteristic comprises a reflection property for sound, in particular that the respective object geometry (10a, b) is assigned at least one surface property, preferably a roughness value and / or a rigidity value, from which the at least one reflection property is determined , Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der jeweiligen Objektgeometrie (10a, b) mindestens eine Materialeigenschaft zur Beschreibung eines Materials des Objekts (6a, b) zugeordnet ist und dass die mindestens eine Klangeigenschaft basierend auf der Materialeigenschaft bestimmt wird, insbesondere, dass ein Schwingungsverhalten des Objekts (6a, b) basierend auf der mindestens einen Materialeigenschaft bestimmt wird und dass die mindestens eine Klangeigenschaft basierend auf dem Schwingungsverhalten bestimmt wird.Method according to Claim 3 , characterized in that the respective object geometry (10a, b) is assigned at least one material property for describing a material of the object (6a, b) and that the at least one sound property is determined based on the material property, in particular that a vibration behavior of the object ( 6a, b) is determined based on the at least one material property and that the at least one sound characteristic is determined based on the vibration behavior. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Objektgeometrie (10a, b) in eine Vielzahl von Objektbereichen (11a, b), insbesondere Objektoberflächen, unterteilt ist und dass die mindestens eine Klangeigenschaft, vorzugsweise auch die mindestens eine Materialeigenschaft, separat für jeden Objektbereich (11a, b) definierbar ist.Method according to Claim 4 , characterized in that the object geometry (10a, b) is subdivided into a plurality of object regions (11a, b), in particular object surfaces, and that the at least one sound property, preferably also the at least one material property, is separated for each object region (11a, b ) is definable. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass für jedes Objekt (6a, b) eine Ausrichtung zur Richtungsangabe der jeweiligen Objektgeometrie (10a, b) im virtuellen Klangraum definiert wird, dass basierend auf dem Schallweg (9a-f) und der Ausrichtung des Objektes (6a, b) die Berücksichtigung der Klangeigenschaft erfolgt, vorzugsweise, dass basierend auf dem indirekten Schallweg (9b, c, e, f) und der Ausrichtung des Objekts (6a) der Objektbereich (11a, b) für die jeweilige Schallreflexion bestimmt wird und dass die für diesen Objektbereich (11a, b) definierte Klangeigenschaft und/oder Materialeigenschaft für die Simulation dieses indirekten Schallwegs (9b, c, e, f) angewandt wird.Method according to one of Claims 1 to 5 , characterized in that for each object (6a, b) an orientation for indicating the direction of the respective object geometry (10a, b) in the virtual sound space is defined, that based on the sound path (9a-f) and the orientation of the object (6a, b ) taking into account the sound characteristic, preferably, that based on the indirect sound path (9b, c, e, f) and the orientation of the object (6a), the object area (11a, b) is determined for the respective sound reflection and that for this Object range (11a, b) defined sound property and / or material property for the simulation of this indirect sound path (9b, c, e, f) is applied. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zumindest für einige Objekte (6a, b) die jeweilige Objektgeometrie (10a, b) durch eine feste Zahl variabler Parameter definiert wird, vorzugsweise, dass die Parameter einen Granularitätsparameter zur Einstellung einer Auflösung der Objektgeometrie (10a, b) aufweisen.Method according to one of Claims 1 to 6 , characterized in that for at least some objects (6a, b) the respective object geometry (10a, b) is defined by a fixed number of variable parameters, preferably that the parameters have a granularity parameter for setting a resolution of the object geometry (10a, b) , Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass für die mindestens eine Klangquelle (2a, b) ein zeitlicher Verlauf (3a, b) einer Bewegung im virtuellen Klangraum, insbesondere jeweils unabhängig voneinander, definiert wird und dass bei der Berechnung des linken und des rechten Klangsignals der jeweilige Verlauf (3a, b) der Bewegung der Klangquelle (2a, b) zugrunde gelegt wird, vorzugsweise, dass der Verlauf (3a, b) der Bewegung der Klangquelle (2a, b) eine translatorische Bewegung und/oder eine rotatorische Bewegung der Klangquelle (2a, b) umfasst.Method according to one of Claims 1 to 7 , characterized in that for the at least one sound source (2a, b) a time course (3a, b) of a movement in the virtual sound space, in particular independently of each other, is defined and that in the calculation of the left and the right sound signal of the respective course (3a, b) is based on the movement of the sound source (2a, b), preferably that the course (3a, b) of the movement of the sound source (2a, b) is a translatory movement and / or a rotational movement of the sound source (2a , b). Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass für die Objekte (6a, b) ein zeitlicher Verlauf (8a, b) einer Bewegung im virtuellen Klangraum, vorzugsweise jeweils unabhängig voneinander, definiert wird und dass bei der Berechnung des linken und des rechten Klangsignals der jeweilige Verlauf (8a, b) der Bewegung des Objekts (6a, b) zugrunde gelegt wird, vorzugsweise, dass der Verlauf (8a, b) der Bewegung des Objekts (6a, b) eine translatorische Bewegung und/oder eine rotatorische Bewegung des Objekts (6a, b) umfasst.Method according to one of Claims 1 to 8th , characterized in that for the objects (6a, b) a time course (8a, b) of a movement in the virtual sound space, preferably each independently, is defined and that in the calculation of the left and the right sound signal of the respective course (8a , b) the movement of the object (6a, b), preferably that the course (8a, b) of the movement of the object (6a, b) comprises a translatory movement and / or a rotational movement of the object (6a, b). Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass aus dem linken und dem rechten Klangsignal ein digitales Audiosignal mit Stereodaten erzeugt wird und dass aus dem Audiosignal das linke und das rechte Klangsignal rekonstruiert wird, vorzugsweise, dass die mindestens eine digitale Klangfolge, die mindestens eine Klangquelle (2a, b), die Objekte (6a, b), die Objektpositionen (7a, b), die mindestens eine Klangeigenschaft und/oder die Objektgeometrien (10a, b) von einem Quell-Clientrechner (12), vorzugsweise über das Internet (13), auf einen Server (14) übertragen werden, dass die Berechnung des linken und des rechten Klangsignals auf dem Server (14) erfolgt und dass das Audiosignal an einen Ziel-Clientrechner (15), insbesondere über das Internet (13), übertragen wird, weiter vorzugsweise, dass der Ziel-Clientrechner (15) der Quell-Clientrechner ist (12).Method according to one of Claims 1 to 9 , characterized in that from the left and the right sound signal, a digital audio signal with stereo data is generated and that from the audio signal the left and the right sound signal is reconstructed, preferably, that the at least one digital sound sequence, the at least one sound source (2a, b ), the objects (6a, b), the object positions (7a, b), the at least one sound property and / or the object geometries (10a, b) from a source client computer (12), preferably via the Internet (13) a server (14) are transmitted, that the calculation of the left and the right sound signal on the server (14) and that the audio signal to a target client computer (15), in particular via the Internet (13) is transmitted, more preferably in that the destination client computer (15) is the source client computer (12). Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das Audiosignal im Wesentlichen kontinuierlich als Streamingsignal an den Ziel-Clientrechner (15) übertragen wird, vorzugsweise, dass die Berechnung des linken und des rechten Klangsignals im Wesentlichen in Echtzeit erfolgt.Method according to Claim 10 , characterized in that the audio signal is transmitted substantially continuously as a streaming signal to the target client computer (15), preferably that the calculation of the left and the right sound signal takes place substantially in real time. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die mindestens eine digitale Klangfolge, die mindestens eine Klangquelle (2a, b), die Objekte (6a, b), die Objektpositionen (7a, b), die mindestens eine Klangeigenschaft und/oder die Objektgeometrien (10a, b) im Wesentlichen kontinuierlich als Streamingsignal an den Server (14) übertragen wird.Method according to Claim 10 or 11 , characterized in that the at least one digital sound sequence, the at least one sound source (2a, b), the objects (6a, b), the object positions (7a, b), the at least one sound characteristic and / or the object geometries (10a, b ) is transmitted substantially continuously as a streaming signal to the server (14). Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Vielzahl von Klangquellen (2a, b) definiert wird, von denen eine jeweilige digitale Klangfolge ausgeht, vorzugsweise, dass durch jeweilige Schallwege (9a-f), welche einen direkten und reflexionsfreien Schallweg (9a, d) sowie indirekte Schallwege (9b, c, e, f) umfassen, von jeder Klangquelle (2a, b) zu der Hörerposition (1) das linke und das rechte Klangsignal berechnet wird.Method according to one of Claims 1 to 12 , characterized in that a plurality of sound sources (2a, b) is defined from which a respective digital sound sequence emanates, preferably through respective sound paths (9a-f) which provide a direct and reflection-free sound path (9a, d) as well as indirect sound paths Sound paths (9b, c, e, f) comprise calculating from each sound source (2a, b) to the listener position (1) the left and right sound signals. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass für jede Klangfolge an der jeweiligen Klangquelle (2a, b) ein Schallsender definiert wird, welcher eine Schallsendergeometrie (16a, b) mit mindestens einer schallsendergeometriebezogenen Schalleigenschaft aufweist und dass bei der Berechnung des linken und des rechten Klangsignals die Schallsender mit der Schallsendergeometrie (16a, b) und der mindestens einen Schalleigenschaft berücksichtigt werden.Method according to one of Claims 1 to 13 , characterized in that for each sound sequence at the respective sound source (2a, b) a sound transmitter is defined, which has a sound transmitter geometry (16a, b) with at least one sound transmitter geometry-related sound property and that in the calculation of the left and the right sound signal, the sound transmitter with the sound transmitter geometry (16a, b) and the at least one sound property are taken into account. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass für den Schallempfänger (4) eine Schallempfängergeometrie (17) mit mindestens einer schallempfängergeometriebezogenen Schalleigenschaft definiert wird und dass bei der Berechnung des linken und des rechten Klangsignals die Schallempfängergeometrie (17) mit der mindestens einen Schalleigenschaft berücksichtigt wird.Method according to one of Claims 1 to 14 , characterized in that for the sound receiver (4) a sound receiver geometry (17) is defined with at least one Schallgestängergeometriezogenen sound property and that in the calculation of the left and the right sound signal, the sound receiver geometry (17) is considered with the at least one sound property.

Images