DE10052992C2 - Process for the spatial reproduction of sound information in video conferences - Google Patents

Description

Die Erfindung bezieht sich auf das Gebiet der Wiedergabe von Toninformationen im Rahmen von Videokonferenzsystemen, die insbesondere auf eine größere Anzahl von Konferenzteilnehmern ausgerichtet sind.The invention relates to the field of reproduction of sound information in the Frameworks of video conference systems, in particular on a larger number of Conference participants are aligned.

Bei der Wiedergabe von Toninformationen im Rahmen der bekannten Videokonferenz­ einrichtungen ist zumeist festzustellen, dass die Tonqualität auf der jeweiligen Emp­ fangsseite mangelhaft bzw. instabil ist. Vor allem sind die optischen und die akusti­ schen Eindrücke in keiner Weise aufeinander abgestimmt, so dass eine Dissonanz zwi­ schen dem visuellen Eindruck und den Toninformationen festzustellen ist. Siehe bei­ spielsweise Arbeitskreis der bayrischen Rechenzentrumsleiter BRZL "Gruppenkonfe­ renz im virtuellen Raum" unter http://www.rrze.uni-erlangen.When playing sound information as part of the well-known video conference facilities is usually found that the sound quality on the respective Emp starting side is defective or unstable. Above all, the optical and acoustic impressions are in no way coordinated, so that a dissonance between between the visual impression and the sound information. See at for example working group of the Bavarian data center manager BRZL "group conferences renz im virtual Raum "at http: //www.rrze.uni-erlangen.

Die bekannten Verfahren und Anordnungen für Videokonferenzen arbeiten überwie­ gend in einem für die Sprachübermittlung eingeschränkten Frequenzbereich, da die Sprache Priorität hat. Zur Anwendung kommen fast immer Konferenzsysteme, die auf eine einkanalige Tonübertragung beschränkt sind. Die gegenseitige Bildinformation erfolgt über spezielle Kameras und Monitore. Siehe Produktbeschreibung VCON Raumsysteme Media Connect 6000/8000 Serie VTEL TC 1000/XX Galaxy Modell 775 unter http://www.bachert.deThe known methods and arrangements for video conferencing work predominantly in a frequency range restricted for voice transmission, since language has priority. Conference systems that are limited to single-channel audio transmission are almost always used. The mutual image information takes place via special cameras and monitors. See Product Description VCON Solutions MediaConnect 6000/8000 series VTEL TC 1000 / XX Galaxy Model 775 under http://www.bachert.de

Für die Verbesserung der Tonqualität bei Konferenzsystemen sind eine Vielzahl von Lösungen bekannt.There are a variety of ways to improve the sound quality of conference systems Known solutions.

Beispielsweise wird mittels Methoden der Echokompensation versucht, den störenden Einfluss des Echo-Signals zu verringern. Das vom fernen Teilnehmer eintreffende Emp­ fangssignal, das zumeist ein Sprachsignal ist, durchläuft den Echopfad (Lautsprecher- Raum-Mikrofon-System) und gelangt als unerwünschtes Echo in den Sendekanal zu­ rück. Um das Auftreten des unerwünschten Echos zu minimieren bzw. zu verhindern, wird beispielsweise ein adaptives Transversalfilter zur Echokompensation eingesetzt. Das adaptive Transversalfilter bildet den Echopfad nach und liefert an seinem Ausgang eine Echosignalnachbildung. Die Echosignalnachbildung wird im Sendesignalpfad vom wahren Echosignal subtrahiert. Bei einer guten Nachbildung verschwindet dadurch das Echo aus dem Sendepfad. Der Einfluss des Echopfades ist damit kompensiert. Siehe Heitkämper, Peter; Dissertation TH Darmstadt 1995 "Freisprechen mit Verstärkungs­ steuerung und Echokompensation".For example, methods of echo compensation are used to try to reduce the disruptive influence of the echo signal. The incoming signal from the distant participant, which is mostly a voice signal, passes through the echo path (loudspeaker-room-microphone system) and returns as an undesirable echo in the transmission channel. In order to minimize or prevent the occurrence of the unwanted echo, an adaptive transversal filter is used for echo cancellation, for example. The adaptive transversal filter simulates the echo path and provides an echo signal replica at its output. The echo signal replication is subtracted from the true echo signal in the transmission signal path. With a good replica, the echo disappears from the transmission path. This compensates for the influence of the echo path. See Heitkämper, Peter; Dissertation TH Darmstadt 1995 "Handsfree talking with gain control and echo cancellation".

Eine weitere Lösung für die Verbesserung bei der Wiedergabe von Toninformationen im Rahmen von Videokonferenzeinrichtungen beruht auf der getrennten Aufschaltung der jeweiligen signalgebenden Stelle (sprechende Stelle.) Diese Lösung wird durch eine Pegelwaage realisiert, deren Regelvorgänge sich nach der Auswertung der erzeugten Signale richten. Die Regelvorgänge mittels Pegelwaage sind äußerst diffizil und führen in vielen Fällen dazu, dass Signalteile bei nicht diszipliniertem Sprechen (gleichzeitiges Sprechen der Teilnehmer beider Gegenstellen) verloren gehen. Weiterhin können diese Regelvorgänge auch durch unbewusste Schallerzeugungsvorgänge provoziert werden, welche die Stabilität des gesamten Systems gefährden. Siehe Segschneider, Stephan: Diplomarbeit Fachhochschule Wiesbaden 1996 "Konzeption der Audiokomponenten zur Ausstattung eines Multiservice-Videokonferenzstudios unter den Möglichkeiten zweikanaliger Tonkommunikation mit Freisprech-Einrichtung".Another solution for the improvement in the reproduction of sound information in the context of video conference facilities is based on the separate connection of the respective signaling point (speaking point). This solution is implemented by a level balance, the control processes of which are based on the evaluation of the generated signals. The control processes using a level balance are extremely difficult and in many cases lead to signal parts being lost when the speech is not disciplined (simultaneous speech by the participants of both remote stations). Furthermore, these control processes can also be provoked by unconscious sound generation processes that endanger the stability of the entire system. See Segschneider, Stephan: Diploma thesis at the University of Applied Sciences Wiesbaden 1996 "Conception of the audio components for equipping a multiservice video conference studio under the possibilities of two-channel audio communication with hands-free facility".

Dynamikprozessoren, adaptive Filter, etc. werden ebenfalls für die Verbesserung der Tonqualität bei Videokonferenzsystemen eingesetzt. Derartige Lösungen führen jedoch auch nicht zu einem ausreichend befriedigendem Ergebnis. Wenn überhaupt, wird ein befriedigendes Ergebnis nur bei einzelnen Gegenstellen des Systems erreicht. Für das Gesamtsystem bleibt die Tonqualität nach wie vor unbefriedigend.Dynamic processors, adaptive filters, etc. are also used to improve the Sound quality used in video conference systems. However, such solutions lead also not to a sufficiently satisfactory result. If anything, one will satisfactory result only achieved with individual remote stations of the system. The sound quality remains unsatisfactory for the overall system.

Bei einer anderen bekannten Lösung wird mit Hilfe spezieller Mikrofon- und Lautspre­ cherlösungen und anderer aufeinander abgestimmter Aufnahme- und Wiedergabeein­ richtungen versucht, unliebsame Raumsignalanteile durch die Möglichkeit der unmittel­ baren Sprachaufnahme und der unmittelbaren Wiedergabe an die entsprechenden menschlichen Sinnesorgane zu vermeiden (z. B. Headset-Technologie). Siehe Bera­ tungszentrum für Videokonferenzsysteme 1. Workshop des BZVD; Videoübertragung im Multiservice-ATM-Netz der Charite Berlin (Dr. j. Stock, Bernd Haage - DeTeCon GmbH); Die Videokonferenzsysteme COVIS und OCTOPUS (Prof. Dr. H. König, M. Zühlke - BTU Cottbus, Lehrstuhl Rechnernetze und Kommunikati­ onssysteme; http:/ /bzvd.urz.tu-dresden.deIn another known solution, special microphone and loudspeaker solutions and other coordinated recording and reproduction devices are used to avoid unpleasant spatial signal components by the possibility of immediate speech recording and direct reproduction to the corresponding human senses (e.g. headset technology). See video conferencing systems advice center 1 . BZVD workshop; Video transmission in the multiservice ATM network of Charite Berlin (Dr. J. Stock, Bernd Haage - DeTeCon GmbH); The video conference systems COVIS and OCTOPUS (Prof. Dr. H. König, M. Zühlke - BTU Cottbus, Chair of Computer Networks and Communication Systems; http: / /bzvd.urz.tu-dresden.de

Aus DE 34 13 181 ist ein Großraumbeschallungssystem für die Beschallung beliebig großer Räume bekannt, bei dem die prinzipielle Funktion auf einer näherungsweisen Zeit- und soweit erforderlich Lautstärke getreuen Unterstützung bzw. Simulation der sich von der Quelle über den Aktionsbereich bis in den Rezeptionsbereich hinein aus­ breitenden Schallfelder mit einer zeitlichen Quellenpriorität erfolgt. Das bedeutet, dass die Schallstrahler jeweils erst nach dem Vorbeiziehen der Wellenfronten der Original­ schallquelle bzw. des diese simulierenden Schallstrahlers und der quellennäheren Schallstrahler abstrahlen, und dass die Zeitabstände bzw. Verstärkungen nach Leistung und Art der Quellen differenziert sind. Mittels dieser Lösung werden die Widersprüche zwischen der Laufzeit- und der Amplitudenlokalisation, auch in Übergangsgebieten, wo beim Vergleich meistens der zuerst hörbare Schallstrahler statt der Originalschallquelle geortet wurde, gelöst. Diese mit Deltastereophonie bezeichnete Lösung bezieht sich auf die Schallquelle, den Aktionsbereich und die Schallstrahlerorte und berücksichtigt die Schallquellenleistung.DE 34 13 181 is a large-scale public address system for public address large rooms known, in which the basic function on an approximate Time and, if necessary, volume support or simulation of the volume from the source through the action area to the reception area spreading sound fields with a temporal source priority. It means that the sound emitters only after the wave fronts of the original have passed sound source or the simulating sound emitter and those closer to the source Radiate sound emitters, and that the time intervals or reinforcements according to performance and type of sources are differentiated. By means of this solution the contradictions become between the runtime and the amplitude localization, also in transition areas, where when comparing mostly the first audible sound emitter instead of the original sound source was located, solved. This solution, called Delasterereophonie, refers to the sound source, the area of action and the sound beam locations and takes into account the Sound source performance.

Weiterhin ist in http/[email protected] von France Telecom Branche Developpment Leclere 1999 in La communication de ce document est soumise a l' au­ torisation du CNET unter " La visioconference VARESE"; eine Lösung beschrieben, die auf einer Dreiteilung der Signalzuordnung beruht. Dabei erfolgt jedoch eine strikte Zuordnung des linken, des mittleren und des rechten Kanals. Bei dieser Lösung muss das System sehr genau eingemessen werden. Da außerdem auch die Lautstärke begrenzt ist, ist diese Lösung für die Versorgung und Einbeziehung eines größeren Personenkrei­ ses unzureichend umsetzbar.Furthermore, in http/[email protected] of France Telecom Branch Developpment Leclere 1999 in La communication de ce document est soumise al 'au torisation du CNET under "La visioconference VARESE"; described a solution based on a three-way division of the signal assignment. However, the left, middle and right channels are strictly assigned. With this solution, the system has to be measured very precisely. Since the volume is also limited, this solution is insufficient for the supply and inclusion of a larger group of people.

Zusammenfassend ist festzustellen, dass für Videokonferenzen, bei denen die Gegen­ stellen aus größeren Räumen bestehen, überwiegend herkömmliche Videokonferenz­ systeme eingesetzt werden. Diese Videokonferenzsysteme werden dabei in bereits in diesen Räumen bestehende Schallversorgungsanlagen mit unterschiedlicher Qualität integriert.In summary, it should be noted that for video conferences in which the opponents consist of larger rooms, mostly conventional video conferencing systems are used. These video conference systems are already in existing sound supply systems of different quality in these rooms integrated.

Die technische Aufgabe ist auf ein Verfahren für die raumgerechte Wiedergabe von Toninformationen bei Videokonferenzen ausgerichtet, bei dem sowohl auf der/den Auf­ nahmeseite/n als auch auf der/den Wiedergabeseiten eine größtmögliche räumliche Übereinstimmung zwischen Bildinformationen, Sprachinformationen und Raumgeräu­ schen erreicht werden soll. Das Verfahren soll sich insbesondere für Videokonferenzen eignen, bei denen die Gegenstellen örtlich verteilt angeordnet sind, und bei denen min­ destens eine Gegenstelle ein größerer Raum ist, in dem sich räumlich verteilt ein größe­ rer, überwiegend aktiv an der Konferenz beteiligter Teilnehmerkreis befindet.The technical task is on a procedure for the spatial reproduction of Sound information aimed at video conferences, in which both on / the Auf recording side (s) as well as on the playback side (s) as large as possible Correspondence between image information, voice information and room noise to be achieved. The procedure is intended in particular for video conferencing are suitable, in which the remote sites are arranged locally, and in which min the opposite is a larger room in which a large area is distributed rer, mostly active participants in the conference.

Ausgangspunkt ist ein Videokonferenzsystem mit mindestens zwei miteinander kom­ munizierenden Gegenstellen, wobei jeder Gegenstelle ein Aufnahmesystem und ein Wiedergabesystem zugeordnet ist. Die Informationsübertragung zwischen den Gegen­ stellen erfolgt mittels geeigneter Übertragungsverfahren, beispielsweise über Kabel, Satellit, via ISDN, ATM, XDSL o. a.The starting point is a video conference system with at least two com communicating remote stations, with each remote station a recording system and a Playback system is assigned. The transfer of information between the opponents places by means of suitable transmission methods, for example by cable, Satellite, via ISDN, ATM, XDSL or the like

Erfindungsgemäß wird in jeder an der Videokonferenz beteiligten Gegenstelle vorzugs­ weise jedem Teilnehmerplatz mindestens ein Mikrofon mit Richtcharakteristik SM1-­ SMn zugeordnet. Diese Anordnung beinhaltet jedoch auch, dass beispielsweise ein Mik­ rofon mehr als einem Teilnehmer zugeordnet sein kann, und dass es auch Mikrofon­ standorte im Raum der betreffenden Gegenstelle gibt, die für wechselnde Diskussions­ redner vorgesehen sind.According to the invention, preference is given to every remote station involved in the video conference assign at least one microphone with directional characteristic SM1- Assigned to SMn. However, this arrangement also includes that, for example, a mic rofon can be assigned to more than one participant, and that it is also a microphone locations in the room of the remote station in question are there for changing discussions speakers are provided.

Jedes Mikrofon mit Richtcharakteristik zur Aufnahme der Sprachsignale SM1-SMn wird dabei in Bezug auf den konkreten Standort bzw. Teilnehmerplatz so angeordnet, dass es nur die Nutzsignale des/der betreffenden Teilnehmers, jedoch keine Raumsig­ nale und Nutzsignale anderer Teilnehmer aufnimmt. Durch die Anwendung von Mikro­ fonen mit Richtcharakteristik, wie beispielsweise Nahbesprechungsmikrofonen, welche jeweils an den für die Signalaufnahme günstigsten Plätzen im Raum angeordnet sind, wird damit bei der Aufnahme von Sprachsignalen eine quasi Ausschaltung des Raumes und damit der Raumgeräusche erreicht.Each microphone with directional characteristic for recording the voice signals SM1-SMn is arranged in relation to the specific location or participant place, that it is only the useful signals of the participant (s) concerned, but not spatial signals nale and useful signals of other participants. By using micro phones with directional characteristics, such as close-range microphones, which are arranged at the most convenient places in the room for signal recording, becomes a quasi turn-off of the room when recording voice signals and thus the room noise is reached.

Die aufgenommenen Nutzsignale/Sprachsignale werden über mindestens zwei Übertra­ gungskanäle PK1-PKn zu allen an der Videokonferenz beteiligten Gegenstellen über­ tragen und dort über die Lautsprecher für die Wiedergabe der Sprachsignale LSP1-­ LSPn wieder ausgegeben. The recorded useful signals / voice signals are transmitted via at least two transmissions channels PK1-PKn to all remote stations involved in the video conference wear and there over the speakers for the reproduction of the speech signals LSP1- LSPn issued again.  

Gleichzeitig zu den Sprachsignalen werden durch die in den einzelnen Gegenstellen getrennt angeordneten Mikrofone zur Aufnahme der Raumsignale RM1-RMn die Raumsignale der jeweiligen Gegenstelle aufgenommen. Die Raumsignale werden mit­ tels Signalsplitting getrennt von den Sprachsignalen über mindestens 2 Signalkanäle SK1-SKn übertragen. In den Gegenstellen werden die Raumsignale ebenfalls getrennt von den Nutzsignalen/Sprachsignalen über die Lautsprecher für die Wiedergabe von Raumsignalen LSr1-LSrn wieder ausgegeben.At the same time to the voice signals through the in the individual remote stations separately arranged microphones for recording the spatial signals RM1-RMn Room signals of the respective remote station recorded. The room signals are with by means of signal splitting separately from the speech signals via at least 2 signal channels Transfer SK1-SKn. The room signals are also separated in the remote stations of the useful signals / voice signals via the loudspeakers for the reproduction of Room signals LSr1-LSrn output again.

Die getrennte Aufnahme und Wiedergabe von Sprachsignalen und Raumsignalen er­ folgt dabei in jeder Gegenstelle separat. Das heißt, dass in jeder Gegenstelle die aktuel­ len Sprachsignale und die aktuellen Raumsignale aller anderen Gegenstellen synchron wieder ausgegeben werden können.The separate recording and playback of voice signals and spatial signals follows separately in each remote station. This means that the current in each remote station len voice signals and the current room signals of all other remote stations synchronously can be spent again.

Damit ist es möglich, eine Optimierung und Anpassung aller Gegenstellen in Bezug auf Bildinformationen, Sprachinformationen und Raumsignalen im Rahmen eines gemein­ samen virtuellen Raumes vorzunehmen. Damit entspricht die akustische Raumsituation weitestgehend der optischen Raumsituation des gemeinsamen virtuellen Raumes. Die erfindungsgemäße Lösung beinhaltet jedoch auch die Möglichkeit, für jede Gegenstelle eine individuelle Optimierung und Anpassung der raumakustischen Situation an die visuelle Raumsituation vorzunehmen. Ziel ist dabei immer die bestmögliche Überein­ stimmung zwischen visuellem und akustischem Eindruck des Sprechenden in Bezug auf den konkreten Raum zu erreichen.This makes it possible to optimize and adapt all remote stations with regard to Image information, voice information and spatial signals as part of a common to carry out the same virtual space. This corresponds to the acoustic room situation largely the optical spatial situation of the shared virtual space. The However, the solution according to the invention also includes the possibility for each remote station an individual optimization and adaptation of the room acoustic situation to the visual space situation. The goal is always the best possible agreement mood between the visual and acoustic impression of the speaker in relation to to reach the concrete space.

Wenn die Gegenstelle ein größerer Raum ist, ist es außerdem möglich, durch die direkte Signalaufnahme und -zuordnung auch im größeren Raum mit der verteilten Wiedergabe des eigenen Nutzsignals/Sprachsignals über die eigenen Lautsprecher für die Wiederga­ be der Sprachsignale LSp1-LSpn eine ausreichende Sprachverständlichkeit zu errei­ chen.If the remote site is a larger room, it is also possible to use the direct one Signal recording and assignment even in larger rooms with distributed playback your own useful signal / voice signal via your own speakers for playback be sufficient speech intelligibility of the speech signals LSp1-LSpn chen.

Das erfindungsgemäße Verfahren wird anhand eines Ausführungsbeispiels näher erläu­ tert.The method according to the invention is explained in more detail using an exemplary embodiment tert.

Fig. 1 zeigt das Wirkprinzip der Lösung anhand von zwei an der Konferenz beteiligten Gegenstellen. Fig. 1 shows the operating principle of the solution based on two in the conference participating remote stations.

Fig. 2 zeigt anhand der prinzipiellen Darstellung der elektroakustisch eingespielten Sig­ nale die Insertmöglichkeit für die Echokompensation. Fig. 2 shows the principle of the electro-acoustically recorded Sig signals the insert option for echo cancellation.

Fig. 3 zeigt die prinzipielle Darstellung der Signalfolge für einen Hörerplatz mit der Signalfolge der Gegenseite mit Raumsignalen. Fig. 3 shows the basic representation of the signal sequence for a listener position with the signal sequence of the opposite side with room signals.

In Fig. 1 ist das Wirkprinzip des Verfahrens abgebildet. Dabei ist von der sendenden Stelle sowohl das Aufnahmesystem als auch das Wiedergabesystem abgebildet. In der Praxis verfügt jedoch jede Gegenstelle bzw. jeder Raum einer Gegenstelle sowohl über ein Aufnahmesystem als auch über ein Wiedergabesystem. Der Informationsaustausch zwischen den einzelnen, an der Konferenz beteiligten Gegenstellen, erfolgt dabei ent­ weder über das konventionelle Telekommunikationsnetz oder via Satellit. Sowohl im Aufnahmesystem als auch im Wiedergabesystem erfolgt eine strikte Trennung bei der Aufnahme und bei der Wiedergabe von Sprachsignalen und von Raumsignalen. Jede Gegenstelle verfügt
In Fig. 1, the operating principle of the method is depicted. Both the recording system and the playback system are shown by the sending station. In practice, however, each remote station or each room of a remote station has both a recording system and a playback system. The exchange of information between the individual parties involved in the conference takes place either via the conventional telecommunications network or via satellite. Both in the recording system and in the playback system there is a strict separation in the recording and in the playback of voice signals and spatial signals. Each remote station has

• a) über ein Aufnahmesystem mit einer separaten Anordnung von Mikrofonen mit Richt­ charakteristik für die Aufnahme der Sprachsignale SM1-SMn und eine separate An­ ordnung von Mikrofonen zur Aufnahme der Raumsignale RM1-RMn unda) via a recording system with a separate arrangement of microphones with directional characteristic for recording the voice signals SM1-SMn and a separate An Order of microphones for recording the spatial signals RM1-RMn and
• b) über ein Wiedergabesystem mit einer separaten Anordnung von Lautsprechern für die Ausgabe von Sprachsignalen LSp1-LSpn und einer separaten Anordnung von Lautsprechern für die Ausgabe von Raumsignalen LSr1-LSrn.b) via a playback system with a separate arrangement of speakers for the output of speech signals LSp1-LSpn and a separate arrangement of Loudspeakers for the output of room signals LSr1-LSrn.

Die Mikrofonanordnung zur Aufnahme von Sprachsignalen SM1-SMn ist dabei im Idealfall so ausgebildet, dass jedem Teilnehmerplatz mindestens ein Mikrofon mit Richtcharakteristik SM1-SMn (nachfolgend nur mit Mikrofon bezeichnet) zugeordnet wird. Jedes Mikrofon zur Aufnahme der Sprachsignale SM1-SMn ist dabei in Bezug auf den konkreten Teilnehmerplatz so angeordnet, dass es nur die Nutzsignale/Sprach­ signale des betreffenden Teilnehmers aufnehmen kann. Durch die platzverteilte Auf­ nahme der Nutzsignale/Sprachsignale ist gewährleistet, dass auf der Wiedergabeseite die Möglichkeit der raumgerechten Wiedergabe der Nutzsignale/Sprachsignale gegeben ist.The microphone arrangement for recording voice signals SM1-SMn is in the Ideally designed so that each participant seat with at least one microphone Directional characteristic SM1-SMn (hereinafter referred to as microphone only) assigned becomes. Each microphone for recording the voice signals SM1-SMn is related arranged on the specific subscriber station so that it only contains the useful signals / voice can record signals of the participant concerned. Through the space-distributed Auf Acceptance of the useful signals / voice signals ensures that on the playback side the possibility of the space-appropriate reproduction of the useful signals / speech signals is.

Über die Mikrofone zur Aufnahme der Sprachsignale SM1-SMn werden die Nutzsig­ nale/Sprachsignale jedes einzelnen Teilnehmers getrennt aufgenommen und mindestens 2 Übertragungskanälen PK1-PKn zugeordnet. Die Pegelanpassung erfolgt über eine an sich bekannte Aufnahmestufe 1. Die Zuordnung zu den Übertragungskanälen erfolgt da­ bei nach den örtlichen Gegebenheiten jeder einzelnen Gegenstelle immer aus der Sicht der Kamera. Via the microphones for recording the voice signals SM1-SMn, the useful signals / voice signals of each individual subscriber are recorded separately and assigned to at least 2 transmission channels PK1-PKn. The level is adjusted via a recording stage 1 known per se. The assignment to the transmission channels is always made from the point of view of the camera according to the local conditions of each individual remote station.

Im Gegensatz dazu ist die Zuordnung der Nutzsignale zu den Wiedergabekanälen im eigenen Raum aus der Sicht der aktiven Teilnehmer in diesem Raum vorzunehmen.In contrast, the assignment of the useful signals to the playback channels is in the make your own room from the perspective of the active participants in this room.

Gleichzeitig zu den Nutzsignalen/Sprachsignalen werden die Raumsignale durch ge­ trennt zu den Mikrofonen zur Aufnahme der Sprachsignale SM1-SMn angeordnete Mikrofone zur Aufnahme der Raumsignale RM1-RMn aufgenommen und getrennt von den Nutzsignalen/Sprachsignalen über mindestens zwei Signalkanäle SK1-SKn an die betreffende Gegenstelle bzw. die betreffenden Gegenstellen gesendet. Die getrennte Bearbeitung von Nutzsignalen/Sprachsignalen und Raumsignalen wird durch Signal­ splitting in der Aufnahmestufe 1 erreicht.At the same time as the useful signals / voice signals, the spatial signals are picked up by microphones arranged separately from the microphones for recording the voice signals SM1-SMn for recording the spatial signals RM1-RMn and separated from the useful signals / voice signals via at least two signal channels SK1-SKn to the relevant remote station or the remote stations concerned. The separate processing of useful signals / voice signals and spatial signals is achieved by signal splitting in recording level 1 .

Nach der Übertragung über Kabel oder Satellit werden die gemeinsam übertragenen Signale durch Signalsplitting wieder in Nutzsignale/Sprachsignale und Raumsignale ge­ trennt. Die Nutzsignale/Sprachsignale werden über die Empfangsstufe für Sprachsignale 2, die Summierstufe 4 und die Matrix 5 zur Wiedergabestufe 6 übertragen. Die Raum­ signale werden von der Empfangsstufe für Raumsignale 3 über die Matrix 5 ebenfalls zur Wiedergabestufe 6 übertragen. Dabei werden die Raumsignale in der Matrix 5 einer Signalbearbeitung unterzogen, die entsprechend der Wiedergabeanordnung mit den an­ geschlossenen Lautsprechern für die Wiedergabe der Raumsignale LSr1-LSrn die Raumsignale im Pegel variiert und verzögert. Von der Wiedergabestufe 6 werden die Sprachsignale über die Lautsprecher für die Wiedergabe der Sprachsignale LSp1-LSpn und die Raumsignale über die Lautsprecher für die Wiedergabe der Raumsignale LSr1-­ LSrn ausgegeben.After transmission via cable or satellite, the signals transmitted together are separated again into useful signals / voice signals and spatial signals by signal splitting. The useful signals / speech signals are transmitted to the reproduction stage 6 via the reception stage for speech signals 2 , the summing stage 4 and the matrix 5 . The room signals are also transmitted from the reception stage for room signals 3 via the matrix 5 to the reproduction stage 6 . The spatial signals in the matrix 5 are subjected to signal processing which varies and delays the level of the spatial signals in accordance with the display arrangement with the loudspeakers connected to the speakers for reproducing the spatial signals LSr1-LSrn. From the reproduction stage 6 , the speech signals are output via the loudspeakers for the reproduction of the speech signals LSp1-LSpn and the room signals via the loudspeakers for the reproduction of the room signals LSr1-LSrn.

In der Summierstufe für Signalinsert 4 werden die empfangenen Nutzsignale/Sprach­ signale zusätzlich mit den eigenen aufgenommenen Signalen (abgehende Signale zur Gegenstelle), die ebenfalls im Pegel und in der Laufzeit bearbeitet sind, summiert. Die­ se Signalbearbeitung ist einerseits von der mit dem ankommenden Nutzsignal auftre­ tenden Echostörung durch das Einspiel auf der Gegenseite und andererseits von der Notwendigkeit, das eigene Nutzsignal/Sprachsignal, insbesondere bei großen Räumen, wieder zu verstärken und im eigenen Raum zur Verständigung der Mithörenden und beteiligten Personen über die Lautsprecher raumgerecht zu verteilen, abhängig. In the summing stage for signal insert 4 , the received useful signals / voice signals are also summed with the own recorded signals (outgoing signals to the remote station), which are also processed in terms of level and duration. This signal processing is on the one hand due to the echo interference occurring with the incoming useful signal due to the input on the other side, and on the other hand from the need to amplify your own useful signal / voice signal, especially in large rooms, and in your own room to communicate with the listeners and those involved To distribute people appropriately over the loudspeakers depending on the room.

In Fig. 2 ist durch eine prinzipielle Darstellung der elektroakustisch eingespielten Sig­ nale die Insertmöglichkeit in Form eines Diagramms abgebildet.In Fig. 2, the insert option is shown in the form of a diagram by a basic representation of the electro-acoustically recorded signals.

Das Einspielen des eigenen Nutzsignals/Sprachsignals in den eigenen Raum ermöglicht eine ausreichende Versorgung aller Beteiligten, die sich nicht in unmittelbarer Nähe des Sprechenden befinden.The import of your own useful signal / voice signal into your own room enables Adequate care for all participants who are not in the immediate vicinity of the Speaking.

Des Weiteren kann durch die Aufnahme des auf der Gegenstelle eingespielten eigenen Nutzsignals/Sprachsignals über die Mikrofone zur Aufnahme der Sprachsignale SM1-­ SMn der Gegenstelle dieses auf der eigenen Wiedergabeseite als störendes Echosignal auftreten. Dieses Signal ist aber immer mit einem Zeitversatz, geringem aber störendem Pegel und Klangfarbenänderungen verbunden. Um diese zeitliche Lücke zwischen dem eigenen Original Nutzsignal/Sprachsignal und dem störenden Echosignal zu verringern, wird das eigene Original Nutzsignal/Sprachsignal mit einem Zeitversatz und einer Pe­ geländerung noch einmal über die Lautsprecher LSp1-LSpn im eigenen Raum einge­ spielt.Furthermore, by recording your own recorded on the remote station Useful signal / voice signal via the microphones for recording the voice signals SM1- SMn the other side of this on its own playback side as a disturbing echo signal occur. However, this signal is always with a time offset, slight but annoying Level and timbre changes connected. To bridge this time gap between the to reduce own original useful signal / speech signal and the disruptive echo signal, is the own original useful signal / voice signal with a time offset and a Pe change again in the loudspeaker LSp1-LSpn in your own room plays.

Eine zweckmäßige Ausgestaltung beruht darauf, die Funktion des Signalinsert alternativ in die Matrix 5 zu integrieren.An expedient embodiment is based on alternatively integrating the function of the signal insert into the matrix 5 .

In Fig. 3 sind anhand eines Diagrammes Reflexionsfolgen dargestellt, die an den ein­ zelnen Plätzen der aktiven Teilnehmer der Videokonferenz als auch der weiteren Zuhö­ rer in dem jeweiligen Raum wahrgenommen werden und die sich zusammensetzen aus dem eigenen Originalsignal (gepunktete Linie), externen Signalen der Gegenstelle (durchgezogene dünne Linien), dem störenden Echosignal (gestrichelte Linie) als Rück­ antwort aus der Gegenstelle und in die zeitlichen Lücken eingefügten eigenen Nutzsig­ nalen (dicke Linien), die einmal zur Verringerung der Lücken zwischen dem eigenen Nutzsignal/Sprachsignal und Echosignal zeitlich dazwischen eingefügt werden, und die zum anderen als Nutzsignal/Sprachsignal zur Versorgung eigener Hörzonen dienen sollen, sowie den Raumsignalen, die gesondert in das Reflektogramm eingepasst wer­ den.In Fig. 3, a sequence of reflections are shown, which are perceived at the individual places of the active participants in the video conference as well as the other listeners in the respective room and which are composed of the original signal (dotted line), external signals of the Remote site (solid thin lines), the disruptive echo signal (dashed line) as a response from the remote site and own useful signals (thick lines) inserted into the time gaps, which once in order to reduce the gaps between your own useful signal / voice signal and echo signal are inserted, and which are also intended to serve as a useful signal / speech signal for supplying your own listening zones, as well as the room signals, which are fitted separately into the reflectogram.

In der Wiedergabestufe 6 erfolgt entsprechend der konkreten Anordnung der Lautspre­ cher für die Wiedergabe der Sprachsignale LSp1-LSpn bzw. der Lautsprecher für die Wiedergabe der Raumgeräusche LSr1-LSrn unter Berücksichtigung der räumlichen Ge­ gebenheiten der betreffenden Gegenstelle eine Anpassung der auszugebenden Sprachsignale und Raumsignale an die jeweilige Situation. Dabei wird die Mehrkanalität der Übertragung für die raumgerechte Wiedergabe ausgenutzt, so dass das Klangbild auf der Wiedergabeseite mit dem Klangbild auf der Aufnahmeseite übereinstimmt.In the playback stage 6 takes place according to the specific arrangement of the loudspeakers for the reproduction of the speech signals LSp1-LSpn or the loudspeakers for the reproduction of the room noises LSr1-LSrn, taking into account the spatial conditions of the remote station concerned, an adaptation of the speech signals and room signals to be output respective situation. The multi-channel transmission is used for the spatial reproduction, so that the sound image on the playback side matches the sound image on the recording side.

Eine zweckmäßige Ausgestaltung besteht darin, die voneinander getrennten Sprachsig­ nale und die Raumsignale nach den bereits bekannten Prinzipien der Deltastereophonie über die Lautsprecher auszugeben. Dadurch wird gewährleistet, dass eine weitestgehen­ de Übereinstimmung in Bezug auf die Signalzuordnung der Wiedergabekanäle zu den Aufnahmekanälen erfolgt und gleichzeitig die Signale mehrfach, jedoch mit unter­ schiedlichem Pegel und Laufzeit, den Wiedergabekanälen, entsprechend der Wiederga­ beanordnung, zugeordnet werden. Die Signalverteilung und Signalbearbeitung erfolgt dabei so, dass eine Rückkopplungssicherheit erreicht wird, ohne dass die einzelnen Mikrofonwege auf- und zugeregelt werden müssen.An expedient embodiment consists of the separate languages nale and the spatial signals according to the already known principles of delta stereophony output through the speakers. This ensures that you go as far as possible agreement regarding the signal assignment of the playback channels to the Channels and the signals occur several times, but with under different levels and duration, the playback channels, according to the playback order to be assigned. The signal distribution and signal processing takes place in such a way that feedback security is achieved without the individual Microphone paths must be opened and closed.

Die über die Empfangsstufe für Raumsignale 3 empfangenen Raumsignale werden in der Wiedergabestufe 6 mittels Deltastereophonie ebenfalls so angepasst und modifiziert, dass in Bezug auf die Raumsituation ebenfalls eine Übereinstimmung mit der räumli­ chen Situation auf der Aufnahmeseite erreicht wird.The spatial signals received via the reception stage for spatial signals 3 are also adapted and modified in the reproduction stage 6 by means of delta stereophony in such a way that a correspondence with the spatial situation on the recording side is also achieved with respect to the spatial situation.

Zusätzliche externe Toninformationen können gezielt über eine der Matrix 5 vorgeord­ nete Summier- und Verteilstufe 7 eingespielt werden. Die Verteilung der zusätzlichen Toninformationen und die Zuordnung zu den einzelnen Lautsprechern erfolgt ebenfalls über die Wiedergabestufe 6.Additional external sound information can be brought in specifically via a summing and distribution stage 7 which is pre-arranged in the matrix 5 . The distribution of the additional sound information and the assignment to the individual speakers is also carried out via the playback stage 6 .

Die erfindungsgemäße Lösung ist vorzugsweise für Videokonferenzeinrichtungen vor­ gesehen, die vorteilhaft über eine größere Übertragungsbandbreite verfügen, die für einen mittleren bis größeren Personenkreis ausgelegt und mit einer großflächigen Bild­ wiedergabe gekoppelt sind. Die Videokonferenzeinrichtungen können dabei auch über mehrere, an verschiedenen Orten stationierte Gegenstellen verfügen. Einzelne Gegen­ stellen können dabei als große Räume für einen dementsprechend größeren Teilnehmer­ kreis konzipiert sein. The solution according to the invention is preferably intended for video conference devices seen that advantageously have a larger transmission bandwidth that for designed for a medium to large group of people and with a large-scale image playback are coupled. The video conference facilities can also be used have several remote stations stationed in different locations. Single counter can pose as large rooms for a correspondingly larger participant be designed in a circle.  

BezugszeichenaufstellungREFERENCE NUMBERS

SM1-SMn Mirofone/Mikrofonanordnung zur Aufnahme der Sprach- Signale (Mikrofone mit Richtcharakteristik)
RM1-RMn Mikrofone/Mikrofonanordnung zur Aufnahme der Raum­ signale
PK1-PKn Übertragungskanäle
SK1-SKn Signalkanäle
LSp1-LSpn Lautsprecher für die Wiedergabe der Sprachsignale
LSr1-LSrn Lautsprecher für die Wiedergabe der Raumsignale
SM1-SMn Mirofone / microphone arrangement for recording the voice signals (microphones with directional characteristic)
RM1-RMn microphones / microphone arrangement for recording the room signals
PK1-PKn transmission channels
SK1-SKn signal channels
LSp1-LSpn loudspeaker for the reproduction of the speech signals
LSr1-LSrn loudspeaker for the reproduction of room signals

11

Aufnahmestufe
recording level

22

Empfangsstufe für Sprachsignale
Reception stage for speech signals

33

Empfangsstufe für Raumsignale
Reception stage for room signals

44

Summierstufe für Signalinsert
Summing stage for signal insert

55

Matrix
matrix

66

Wiedergabestufe
Rendering group

77

Summier- und Verteilstufe für externe Signale
Summing and distribution stage for external signals

Claims (4)

1. Verfahren für die raumgerechte Wiedergabe von Toninformationen bei Videokon­ ferenzen mit mindestens zwei Gegenstellen, wobei jeder Gegenstelle ein Aufnah­ mesystem und ein Wiedergabesystem zugeordnet ist, dadurch gekennzeichnet,
dass in jeder Gegenstelle die Nutzsignale/Sprachsignale der Konferenzteilnehmer getrennt von den Raumgeräuschen aufgenommen werden, wobei die Nutzsigna­ le/Sprachsignale über Mikrofone mit Richtcharakteristik zur Aufnahme der Sprach­ signale (SM1-SMn) und die Raumsignale über in der Gegenstelle angeordnete Mikrofone zur Aufnahme der Raumsignale (RM1-RMn) aufgenommen werden,
dass die von einer Gegenstelle aufgenommenen Nutzsignale/Sprachsignale jeweils über mindestens zwei Übertragungskanäle (PK1-n) und die aufgenommenen Raumsignale über jeweils mindestens 2 Signalkanäle (SK1-n) zu den anderen an der Videokonferenz beteiligten Gegenstellen übertragen werden,
dass die Nutzsignale/Sprachsignale und die Raumsignale in jeder Gegenstelle an die in der Gegenstelle ausgegebene optische Bildinformation angepasst und eben­ falls getrennt ausgegeben werden, wobei die empfangenen Nutzsignale/Sprach­ signale über die Lautsprecher für die Wiedergabe der Sprachsignale (LSp1-LSpn) und die empfangenen Raumsignale über die Lautsprecher für die Wiedergabe der Raumsignale (LSr1-LSrn) ausgegeben werden.1. A method for the spatial reproduction of sound information in videoconferences with at least two remote sites, each remote site being assigned a recording system and a playback system, characterized in that
that the useful signals / voice signals of the conference participants are recorded separately from the room noises in each remote station, the useful signals / speech signals via microphones with directional characteristics for recording the voice signals (SM1-SMn) and the room signals via microphones arranged in the remote station for recording the room signals (RM1-RMn) are added,
that the useful signals / voice signals recorded by a remote station are each transmitted via at least two transmission channels (PK1-n) and the recorded spatial signals via at least two signal channels (SK1-n) to the other remote stations involved in the video conference,
that the useful signals / voice signals and the spatial signals in each remote station are adapted to the optical image information output in the remote station and are also output separately, if necessary, the received useful signals / voice signals via the loudspeakers for reproducing the voice signals (LSp1-LSpn) and the received ones Room signals are output via the loudspeakers for the reproduction of the room signals (LSr1-LSrn). 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die in den Gegenstellen getrennt empfangenen Nutzsignale/Sprachsignale und Raumsignale nach den Prin­ zipien der Deltasterophonie an den bildlich in der jeweiligen Gegenstelle erzeugten virtuellen Konferenzraum angepasst werden, und dass die Nutzsignale/Sprachsig­ nale und die Raumsignale voneinander getrennt über die nach den Prinzipien der Deltastereophonie angeordneten Lautsprecher für die Wiedergabe von Sprachsig­ nalen (LSp1-LSpn) bzw. über die Lautsprecher für die Wiedergabe von Raumsig­ nalen (LSr1-LSrn) ausgegeben werden. 2. The method according to claim 1, characterized in that in the remote stations separately received useful signals / speech signals and spatial signals according to the Prin the delta stereophony on the image created in the opposite station virtual conference room can be adapted and that the useful signals / voice nale and the spatial signals separated from each other according to the principles of Delasterereophonie arranged loudspeakers for the playback of speech nals (LSp1-LSpn) or via the loudspeakers for the playback of Raumsig signals (LSr1-LSrn) are output.   3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die in der Summierstufe für Signalinsert (4) von den Gegenstellen empfangenen Nutzsignale/Sprachsignale mit den eigenen originalen Nutzsignalen/Sprachsignalen summiert werden und durch eine Pegelreduzierung und Laufzeitkorrektur so in das Summensignal inte­ griert werden, dass eine Lücke geschlossen wird, die durch ein beim Empfang und der Wiedergabe des Nuzsignals/Sprachsignals der Gegenseite auftretendes Echo bedingt ist.3. The method according to claim 1, characterized in that the useful signals / voice signals received in the summing stage for signal insert ( 4 ) from the remote sites are summed with the own original useful signals / voice signals and are integrated into the sum signal by a level reduction and delay correction, that a gap is closed, which is caused by an echo occurring during reception and reproduction of the user signal / speech signal of the opposite side. 4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Summierstufe für Signalinsert (4) das eigene Nutzsignal/Sprachsignal mit dem Nutzsinal/Sprachsig­ nal der Gegenstelle summiert und im eigenen Raum über die Lautsprecher für die Wiedergabe der Sprachsignale (LSp1-n) wieder ausgegeben wird, wobei im eige­ nen Raum eine Sprachverstärkung und raumbezogene Signalverteilung auch des eigenen erzeugten Signals erfolgt, so dass für alle im eigenen Raum anwesenden Teilnehmer eine gute Sprachverständlichkeit gewährleistet ist.4. The method according to claim 1, characterized in that in the summing stage for signal insert ( 4 ) the own useful signal / speech signal with the useful signal / speech signal of the remote station sums and in the own room via the loudspeaker for the reproduction of the speech signals (LSp1-n) is output again, with speech amplification and room-related signal distribution of the own generated signal taking place in its own room, so that good speech intelligibility is guaranteed for all participants present in their own room.