DE19503515A1 - Simultaneous multiplex video and audio signal transmission system for split-screen and multi-person video conference - Google Patents

Abstract

Two-channel stereophony at both conference sites requires at least two microphones, two loudspeakers and four echo compensators (EC). The microphone signals are sampled successively at a sufficient rate and transmitted together with the picture signal. At the receiver the microphone signals are sepd. from the picture signal, and loudspeakers are placed flanking the picture monitor so that the image of a speaker is approximately synchronised to the reproduced speech.

Description

Die Erfindung bezieht sich auf ein Übertragungssystem der im Oberbegriff des Patentanspruches 1 näher bezeichneten Art. Ein solches System ist in der DE-PS 44 20 212 beschrieben.The invention relates to a transmission system of designated in the preamble of claim 1 Art. Such a system is in DE-PS 44 20 212 described.

Bei Mehrpersonen-Videokonferenzen zwischen zwei Orten wer­ den in der Regel die Tonsignale mehrerer Sprecher über meh­ rere Mikrofone aufgenommen und einkanalig zusammengefaßt. Die Wiedergabe des einkanalig übertragenen Sprachsignals erfolgt jedoch häufig über zwei Lautsprecher recht und links vom Bildmonitor. Auf diese Weise ist es möglich, an jedem der zwei Konferenzorte mit einem Echokompensator auszukommen, eine räumliche Wirkung von Bild- und Tonsigna­ len kann aber nicht erzielt werden (Gerfen, W.: Videokonfe­ renz, Alternative für weltweite geschäftliche Kommunikation - ein Leitfaden für Anwender. Heidelberg: R. v. Decker′s Verlag, G. Schenck, 1986).In multi-person video conferences between two locations which usually the sound signals of several speakers over meh Other microphones recorded and summarized in one channel. The reproduction of the single-channel voice signal however, is often done through two speakers right and left of the image monitor. This way it is possible to each of the two conference locations with an echo canceller get along, a spatial effect of image and sound signa However, len cannot be achieved (Gerfen, W .: video conferences renz, alternative for worldwide business communication - a guide for users. Heidelberg: R. v. Decker's Verlag, G. Schenck, 1986).

In der Patentanmeldung P 4420212.1 ist ein Übertragungs­ system für gleichzeitige Mehrfachübertragung von mehreren Bild- und Tonsignalen beschrieben, bei dem die Bildfläche in Split-Screen-Technik in mindestens zwei Teilflächen unterteilt ist und bei dem die zugehörigen einkanaligen Tonsignale an eine stereophone Lautsprecheranordnung mit mindestens zwei Lautsprechern derart verteilt sind, daß den Kanälen der stereophonen Lautsprecheranordnung über eine Matrixschaltung bestimmte einkanalige Tonsignale in fester Zuordnung zugeführt sind und bei der die vertikale Unter­ teilung der horizontalen Bildfläche der Tonsignalverteilung angepaßt ist. In patent application P 4420212.1 there is a transmission system for simultaneous multiple transmission of several Image and sound signals described in which the image area using split-screen technology in at least two sub-areas is divided and in which the associated single-channel With audio signals to a stereophonic loudspeaker arrangement at least two speakers are distributed such that the Channels of the stereophonic loudspeaker arrangement via a Matrix switching determined single-channel sound signals in fixed Assignment are supplied and the vertical sub division of the horizontal image area of the sound signal distribution is adjusted.  

Bei einer solchen Mehrpunkt-Konferenz-Schaltung (Multi- Point-Arbeitskonferenz) erfolgt die gleichzeitige Mehrfach­ übertragung von mehreren Bild- und Tonsignalen so daß die einkanaligen Tonsignale der Bildwiedergabe seitenrichtig zugeordnet werden und eine richtungstreue Sprachwiedergabe bewirken.With such a multipoint conference circuit (multi- Point working conference) the simultaneous multiple takes place Transmission of several picture and sound signals so that the single-channel audio signals of image reproduction right-sided be assigned and a directional speech reproduction effect.

Obwohl bei diesem Übertragungssystem das eigene Bild und das eigene Sprachsignal der Teilnehmer jeweils nicht wiedergegeben werden, entstehen auch bei günstiger akusti­ scher Entkopplung Rückwirkungen, die zum Teil direkt und zum anderen Teil über Reflexionen des Wiedergaberaumes von dem vorhandenen Mikrofon aufgenommen werden. Solche aku­ stisch offenen Enden mit Lautsprechern und einem oder mehreren Mikrofonen befinden sich bei jedem Teilnehmer, so daß nur bis zu einer begrenzten Lautstärke ein sicherer Betrieb der Konferenzschleifen möglich ist. Bei größerer Lautstärke und damit Verstärkung kann es schon bei natür­ lichem Wiedergabepegel zur Selbsterregung oder pfeifenden Rückkopplung kommen, was den Betrieb der Konferenzschaltung empfindlich stört bzw. unmöglich macht.Although with this transmission system the own picture and each participant's own voice signal is not reproduced, arise even with cheaper acoustics shear decoupling, some of which are direct and the other part is about reflections of the playback space from the existing microphone. Such acu open ends with speakers and one or there are several microphones for each participant, so that only a safe up to a limited volume Operation of the conference loops is possible. Larger Volume and thus amplification can be natural playback level for self-excitation or whistling Feedback come what the operation of the conference call sensitively disturbs or makes impossible.

Auch merkliche Laufzeiten der Übertragungsstrecke, bzw. Verzögerungszeiten in der Signalverarbeitung (Bild-/Ton­ codec), können zu Störungen führen, da durch das geschil­ derte Übersprechen von den Lautsprechern zum Mikrofon hörbare Echos auftreten können.Noticeable transit times, or Delay times in signal processing (picture / sound codec), can lead to malfunctions, because of the schil crosstalk from the speakers to the microphone audible echoes may occur.

Aufgabe der Erfindung ist es, die aufgeführten Mängel in einem Maße zu reduzieren, daß in den Konferenzräumen natür­ liche Wiedergabepegel frei von den erwähnten Störungen bleiben.The object of the invention is to address the shortcomings listed to a degree that naturally in the conference rooms Liche playback levels free of the interference mentioned stay.

Die Erfindung löst diese Aufgabe auf die im Kennzeichen des Patentanspruch 1 beschriebene Art. The invention solves this problem in the characteristic of Claim 1 described type.  

Vorteilhafte weitere Ausgestaltungen der Erfindung sind in den Kennzeichen des Patentansprüche 2 und 3 aufgeführt.Advantageous further developments of the invention are shown in the characteristics of claims 2 and 3 listed.

Eine nähere Erklärung der Erfindung und deren Wirkungsweise erfolgt im nachstehenden Ausführungsbeispiel. In den zugehörenden Zeichnungen zeigt:A more detailed explanation of the invention and its mode of operation takes place in the following embodiment. In the associated drawings shows:

Fig. 1 eine stereophone Zweikanal-Konferenzanordnung mit einem Mikrofon M = 1, zwei Lautsprechern L = 2 und zwei Echokompensatoren EC = 2. Fig. 1 shows a stereophonic two-channel conference arrangement with a microphone M = 1, two speakers L = 2 and two echo cancellers EC = 2.

Fig. 2 eine stereophone Zweikanal-Konferenzanordnung mit zwei Mikrofonen M = 2, zwei Lautsprechern L = 2 und vier Echokompensatoren EC = 4. Fig. 2 is a two-channel stereophonic conference arrangement with two microphones M = 2, two speakers L = 2 and four echo cancellers EC = 4.

Fig. 3 Prinzipdarstellung einer Konferenzverbindung mit einer Anordnung gemäß Fig. 2 (EC = 4, nicht dargestellt). Fig. 3 Schematic representation of a conference call with an arrangement according to FIG. 2 (EC = 4, not shown).

Fig. 4 Prinzipdarstellung einer Konferenzverbindung mit M = 3, L = 2 (EC = 6, nicht dargestellt). Fig. 4 schematic diagram of a conference call with M = 3, L = 2 (EC = 6, not shown).

Fig. 5 Prinzipdarstellung einer Konferenzverbindung mit M = 3, L = 3 (EC = 9, nicht dargestellt). Fig. 5 schematic representation of a conference call with M = 3, L = 3 (EC = 9, not shown).

Bei gleichzeitiger Aktivität von zwei Lautsprechern und einem Mikrofon ("offene Enden") am jeweiligen Konferenzort sind zwei Echokompensatoren (EC) erforderlich, die die Rückwirkung von den Lautsprechern auf das Mikrofon unter­ binden.With simultaneous activity of two speakers and a microphone ("open ends") at the respective conference location two echo cancellers (EC) are required Feedback from the speakers to the microphone underneath tie.

Eine räumliche Wirkung im Sinne der bekannten Zweikanal- Stereofonie erfordert an jedem Konferenzort mindestens zwei Mikrofone, zwei Lautsprecher und zusätzlich vier Echokom­ pensatoren (Fig. 2). Die Echokompensatoren EC können auch noch weitere Merkmale enthalten, die den Betrieb des Echokompensators EC stabilisieren, wie wie Signaldetekto­ ren, eine Pegelwaage, bzw. Verstärkungsregelungen. A spatial effect in the sense of the known two-channel stereo requires at least two microphones, two loudspeakers and an additional four echo compensators at each conference location ( FIG. 2). The echo canceller EC can also contain other features that stabilize the operation of the echo canceller EC, such as signal detectors, a level balance, or gain controls.

Die Echokompensatoren EC sind erforderlich, um die Rückwir­ kung zu kompensieren, die von jedem Lautsprecher auf jedes Mikrofon ausgeübt wird. Dabei wird bei offenen Enden die Gefahr der pfeifenden Selbsterregung herabgesetzt, und es werden bei merklicher Laufzeit oder Verzögerung durch Signalverarbeitung - etwa bei der Bildverarbeitung - hörbare Echos vermieden.The echo cancellers EC are required to react compensation to compensate for that from each speaker to each Microphone is exercised. The ends are open Risk of wheezing self-excitement is reduced, and it are caused by a noticeable delay or delay Signal processing - for example in image processing - audible echoes avoided.

Die Übertragung der Sprachsignale erfolgt in einer digi­ talen Multiplextechnik so, daß die Mikrofonsignale nachein­ ander ausreichend oft abgetastet und zusammen mit dem Bildsignal übertragen werden. Auf der Empfangsseite werden sie vom Bildsignal getrennt und den Lautsprechern unmittel­ bar links und rechts vom Bildmonitor so zugeführt, daß das Bild des Sprechers und das Sprachsignal vom Lautsprecher nahezu zusammenfallen. Fig. 3 bis Fig. 5 zeigen im Prinzip, wie die Mikrofonsignale den Lautsprechern zugeordnet werden. Die Echokompensatoren EC, Verstärker, Übertragungs­ einrichtungen und der Bildmonitor sind dabei nicht darge­ stellt.The transmission of the voice signals takes place in a digital multiplexing technique so that the microphone signals are sampled one after the other sufficiently often and are transmitted together with the image signal. On the receiving side, they are separated from the image signal and fed to the loudspeakers immediately to the left and right of the image monitor so that the image of the speaker and the speech signal from the speaker almost coincide. Fig. 3 to Fig. 5 show in principle how the microphone signals are assigned to the loudspeakers. The echo cancellers EC, amplifiers, transmission devices and the image monitor are not Darge presents.

Eine Erweiterung auf drei Mikrofone bei zwei Lautsprechern erfordert sechs Echokompensatoren je Konferenzort. Das Sprachsignal des mittleren Mikrofons wird dann auf beide Lautsprecher verteilt (Fig. 4), so daß ein Mitteneindruck möglich wird. Bei drei Mikrofonen, drei Lautsprechern und neun Echokompensatoren gehört zu jedem Mikrofon ein Laut­ sprecher links, rechts und in der Mitte vom Bild (Fig. 5). Allgemein sind bei Verwendung von M Mikrofonen und L Laut­ sprechern M · L Echokompensatoren erforderlich.An expansion to three microphones with two speakers requires six echo cancellers per conference location. The speech signal of the middle microphone is then distributed to both speakers ( Fig. 4), so that a center impression is possible. With three microphones, three speakers and nine echo cancellers, each microphone has a speaker on the left, right and in the middle of the picture ( Fig. 5). In general, when using M microphones and L speakers, M · L echo cancellers are required.

Es ist aber zweckmäßig, die Zahl der Mikrofone (und Laut­ sprecher) und damit die Gefahr der Selbsterregung so gering wie möglich zu halten. Daher sollten sich beispielsweise N = 3 Teilnehmer auf M = N-1 Mikrofone verteilen, sofern M = 2, L = 2 gewählt wird (Fig. 3) oder N = 4 Teilnehmer die Anordnung M = 3, L = 2 nutzen (Fig. 4). Die Anordnung M = 3, L = 3 für N 4 (Fig. 5) bietet einen stärkeren Mitteneindruck infolge des zusätzlichen Lautsprechers.However, it is advisable to keep the number of microphones (and loudspeakers) and thus the risk of self-excitation as low as possible. Therefore, for example, N = 3 participants should be distributed among M = N-1 microphones, provided M = 2, L = 2 is selected ( Fig. 3) or N = 4 participants use the arrangement M = 3, L = 2 ( Fig. 4). The arrangement M = 3, L = 3 for N 4 ( Fig. 5) offers a stronger center impression due to the additional loudspeaker.

Die Zahl der bei Videokonferenzen bildmäßig nebeneinander sitzenden und durch die Kamera erfaßbaren und auf dem Bildschirm darstellbaren Personen liegt auch für das 16 : 9-Format höchstens bei N = 4. Beim herkömmlichen Split-Screen-Modus mit jeweils 3 + 3 auf dem Monitor übereinander angeordneten Konferenzteilnehmern, die im Studio nebeneinander sitzen, ist das vorgestellte Verfahren nicht anwendbar. Dagegen ist eine reine Audiokonferenz ohne Bildübertragung in der in Fig. 1 bis 5 vorgestellten Weise sinnvoll, weil der räumliche Eindruck eine bessere Sprachverständlichkeit ergibt.In 16: 9 format, the number of people sitting next to each other in the image and who can be captured by the camera and displayed on the screen is at most N = 4. In the conventional split-screen mode, each with 3 + 3 on top of the other on the monitor arranged participants, who sit next to each other in the studio, the method presented is not applicable. In contrast, a pure audio conference without image transmission in the manner shown in FIGS. 1 to 5 is useful because the spatial impression results in better speech intelligibility.

Claims (3)

1. Übertragungssystem für gleichzeitige Mehrfachübertragung von mehreren Bild- und Tonsignalen, bei dem die Bild­ fläche in Split-Screen-Technik in mindestens zwei Teil­ flächen unterteilt ist und bei dem die zugehörigen ein­ kanaligen Tonsignale an eine stereophone Lautsprecher­ anordnung mit mindestens zwei Lautsprechern bildgerecht richtungsgetreu verteilt sind und bei dem nach Patent 44 20 212 den Kanälen der stereophonen Lautsprecheran­ ordnung über eine Matrixschaltung bestimmte einkanalige Tonsignale in fester Zuordnung zugeführt sind und die vertikale Unterteilung der horizontalen Bildfläche der Tonsignalverteilung angepaßt ist, dadurch ge­ kennzeichnet, daß jedem ankommenden Kanal der stereophonen Lautsprecheranordnung ein Echokompen­ sator (EC) zugeordnet ist und in den bzw. die abgehen­ den Kanäle Verknüpfungsglieder entsprechender Anzahl eingefügt sind, in denen die ankommenden Signale gefal­ tet und kompensiert werden.1. Transmission system for simultaneous multiple transmission of several image and sound signals, in which the image area is divided into at least two partial areas using split-screen technology and in which the associated one-channel sound signals are arranged in a stereophonic loudspeaker arrangement with at least two loudspeakers true to the direction are distributed and in which according to patent 44 20 212 the channels of the stereophonic loudspeaker arrangement via a matrix circuit certain single-channel sound signals are supplied in a fixed assignment and the vertical subdivision of the horizontal image area is adapted to the sound signal distribution, characterized in that each incoming channel of the stereophonic loudspeaker arrangement an echo canceller (EC) is assigned and in the or the outgoing channels, links are inserted in a corresponding number, in which the incoming signals are folded and compensated. 2. Übertragungssystem nach Anspruch 1, dadurch gekennzeich­ net, daß für mehrkanalige Übertragung mit L ankommenden und M abgehenden Kanälen M · L Echokompensatoren (EC) eingesetzt sind.2. Transmission system according to claim 1, characterized net that incoming for L multi-channel transmission and M outgoing channels M · L echo cancellers (EC) are used. 3. Übertragungssystem nach Anspruch 1, dadurch gekennzeich­ net, daß die Echokompensatoren (EC) zusätzliche stabi­ lisierende Elemente wie Signaldetektoren, eine Pegelwaage, bzw. Verstärkungsregelungen enthalten.3. Transmission system according to claim 1, characterized net that the echo cancellers (EC) additional stabi elements such as signal detectors, a Level balance, or gain controls included.