-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Telefonkonferenzsystems und ein Telefonkonferenzsystem.
-
In Zuge einer Telefonkonferenz werden auf Sprache basierende Audiosignale der jeweiligen Gesprächsteilnehmer der Telefonkonferenz gemischt, so dass ein jeweiliger Gesprächsteilnehmer die anderen Gesprächsteilnehmer hören kann. Ein System, das mehrere Gesprächsteilnehmer derart zusammenschaltet, wird als Telefonkonferenzsystem bezeichnet.
-
Bei Telefonkonferenzsystemen, die zur Übertragung von auf Sprache basierenden Audiosignalen einkanalige (mono) Übertragungskanäle verwenden, sollte vermieden werden, dass mehrere Gesprächsteilnehmer gleichzeitig sprechen, da basierend auf dem überlagerten Audiosignal ein Separieren der Gesprächsteilnehmer nur schwer möglich ist.
-
In einer klassischen Telefonkonferenz basierend auf einkanaliger Audiosignalübertragung entscheidet daher typischer Weise ein Moderator darüber, wer gerade sprechen darf. In der Regel versuchen alle Gesprächsteilnehmer es zu vermeiden, anderen ins Wort zu fallen.
-
Eine technologisch anspruchsvolle Alternative um mit mehreren gleichzeitigen Gesprächsteilnehmern bzw. Sprechern umzugehen ist die Verwendung von Raumklang-, Surround- oder Stereoübertragungstechnologien. Ein Hörer kann nämlich Stimmen, die aus unterschiedlichen Richtungen kommen, separieren und sich auf eine fokussieren. Dies wird auch Cocktail-Party-Effekt genannt.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Betreiben eines Telefonkonferenzsystems und ein Telefonkonferenzsystem zur Verfügung zu stellen, die die Verwendung einkanaliger (mono) Übertragungskanäle bei gleichzeitiger Separierbarkeit der einzelnen Gesprächsanteile ermöglichen, ohne dass beispielweise ein Moderator entscheidet, wer gerade sprechen darf.
-
Die Erfindung löst diese Aufgabe durch ein Verfahren nach Anspruch 1 und ein Telefonkonferenzsystem nach Anspruch 2.
-
Das Verfahren dient zum Betreiben eines Telefonkonferenzsystems für mindestens zwei (Gesprächs-)Teilnehmer.
-
Das Verfahren weist folgende Schritte auf:
Es wird, insbesondere fortlaufend, eine sprachliche Aktivität eines jeweiligen Gesprächsteilnehmers ermittelt, d.h. es wird beispielsweise ermittelt, ob ein jeweiliger Gesprächsteilnehmer spricht oder schweigt.
-
Für den Fall, dass bei mehr als einem Gesprächsteilnehmer eine sprachliche Aktivität ermittelt wird, d.h. es sprechen mehrere Gesprächsteilnehmer gleichzeitig, wird nur eine einzelne sprachliche Aktivität (d.h. der Gesprächsbeitrag eines einzelnes Gesprächsteilnehmers) zu einem Zeitpunkt wiedergegeben und die verbleibenden sprachlichen Aktivitäten bzw. Gesprächsbeiträge werden zeitverzögert nacheinander wiedergegeben. Hierbei können die sprachlichen Aktivitäten in der Reihenfolge ihres zeitlichen Entstehens sequentiell wiedergegeben werden.
-
Die Ermittlung der sprachlichen Aktivität kann eine so genannte Voice Activity Detection (VAD) umfassen. Grundsätzlich wird im Zuge der VAD die Anwesenheit oder Abwesenheit menschlicher Sprache bzw. eines Gesprächsbeitrags ermittelt, d.h. es wird ermittelt, ob ein Gesprächsteilnehmer schweigt oder spricht. Mittels VAD kann folglich Stille und Sprachaktivität ermittelt bzw. erkannt werden. Ein Umschalten zwischen Gesprächsteilnehmern oder Gesprächsbeiträgen kann beispielsweise am Beginn einer Sprachpause durchgeführt werden. Im Übrigen sei auch auf die einschlägige Fachliteratur verwiesen.
-
Die Ermittlung der sprachlichen Aktivität kann weiter basierend darauf durchgeführt werden, ob es sich um wichtige oder unwichtige Sprachsegmente handelt. Für den Fall eines als wichtig klassifizierten Audiosignals bzw. Sprachsegments, wird eine sprachliche Aktivität ermittelt oder erkannt. Für den Fall eines als nicht wichtig klassifizierten Audiosignals bzw. Sprachsegments, wird keine sprachliche Aktivität ermittelt oder erkannt.
-
Audiosignale verschiedener Gesprächsteilnehmer, in denen mehrere Sprachsegmente präsent sind, die als unwichtig und somit nicht als sprachliche Aktivität klassifiziert sind, können miteinander gemischt und gleichzeitig wiedergegeben werden. Unwichtige Teile wären zum Beispiel Sprachsegmente, in denen sich Sprachmerkmale nicht verändern, beispielsweise während eines „aaah“.
-
Lediglich bei wichtigen Sprachsegmenten, d.h. bei ermittelter sprachlicher Aktivität, ist ein Mischen und gleichzeitiges Wiedergeben nicht empfehlenswert, da die unterschiedlichen und miteinander gemischten Gesprächsanteile von einem Hörer nur schwer wieder separierbar sind, so dass die wichtigen Gesprächsanteile nacheinander wiederzugeben sind, obwohl sie zumindest teilweise gleichzeitig entstehen. Wichtige Teile sind in der Regel die Anlaute (Onsets), sobald angefangen wird zu sprechen.
-
Wenn ein so genannter Codec verwendet wird, der mit variabler Bitrate ein Audiosignal in Form eines Audio-Stroms komprimiert, kann eine sprachliche Aktivität dann mit hoher Wahrscheinlichkeit ausgeschlossen werden, wenn der Codec einen komprimierten Datenstrom mit geringer Bitrate erzeugt.
-
Darüber hinaus ist es möglich, die Audiosignale in die Frequenzdomäne zu transformieren und zu untersuchen, ob sich die Audiosignale in einem oder mehreren Frequenzbändern überlagern. Wenn eine Überlagerung vorliegt, wird auf eine gleichzeitige sprachliche Aktivität geschlossen und es erfolgt keine gleichzeitige Wiedergabe. Wenn keine Überlagerung vorliegt, kann gemischt und gleichzeitig wiedergegeben werden. So würden zum Beispiel eine hohe und eine tiefe Stimme gleichzeitig wiedergegeben werden, wohingegen zwei gleichhohe Stimmen nicht gemischt und gleichzeitig wiedergegeben werden.
-
Eine Kombination der oben genannten Verfahren ist möglich.
-
Das Telefonkonferenzsystem ist für mindestens zwei Gesprächsteilnehmer vorgesehen und ist bevorzugt zur Durchführung des oben genannten Verfahrens ausgebildet.
-
Das Telefonkonferenzsystem umfasst mindestens zwei Audiosignalquellen, wobei eine jeweilige Audiosignalquelle einem Gesprächsteilnehmer zugeordnet und dazu ausgebildet ist, in Abhängigkeit von einer sprachlichen Aktivität des Gesprächsteilnehmers ein Audiosignal zu erzeugen. Das Audiosignal kann ein analoges Audiosignal sein. Typisch handelt es sich jedoch um ein digitales Audiosignal.
-
Weiter ist mindestens ein Puffer bzw. Zwischenspeicher vorgesehen, wobei der Zwischenspeicher dazu ausgebildet ist, zumindest einen Teil eines jeweiligen Audiosignals zwischenzuspeichern. Der Zwischenspeicher kann als First-In-First-Out-Speicher ausgebildet sein. Der Zwischenspeicher kann weiter als Ringspeicher ausgebildet sein. Weiter kann der Zwischenspeicher das (digitale) Audiosignal in Abhängigkeit von einem Steuersignal speichern, das von einer Steuereinrichtung bei Speicherungsbedarf erzeugt wird. Der Zwischenspeicher kann ein elektrischer Speicher, beispielsweise RAM, magnetischer Speicher, usw. sein. Es kann genau ein Zwischenspeicher vorgesehen sein oder es kann pro Audiosignal ein Zwischenspeicher vorgesehen sein.
-
Weiter ist mindestens eine Sprachaktivitätserkennungseinrichtung vorgesehen, die dazu ausgebildet ist, eine sprachliche Aktivität in einem jeweiligen Audiosignal zu ermitteln. Die Sprachaktivitätserkennungseinrichtung kann als Mikroprozessor ausgebildet sein, auf dem eine geeignete Sprachaktivitätserkennungssoftware abläuft. Es kann genau eine Sprachaktivitätserkennungseinrichtung vorgesehen sein oder es kann pro Audiosignal eine Sprachaktivitätserkennungseinrichtung vorgesehen sein.
-
Weiter ist eine (digitale) Audiosignalmischeinrichtung vorgesehen, die dazu ausgebildet ist, (digitale) Eingangsaudiosignale miteinander zu mischen und die gemischten Eingangsaudiosignale als Ausgangsaudiosignal auszugeben. Das Ausgangsaudiosignal kann gleichzeitig an mehreren Ausgängen der Audiosignalmischeinrichtung ausgegeben werden.
-
Weiter sind mindestens zwei Lautsprecher vorgesehen, wobei ein Lautsprecher einem Gesprächsteilnehmer zugeordnet ist, das Ausgangsaudiosignal der Audiosignalmischeinrichtung empfängt und als korrespondierendes Schallsignal ausgibt.
-
Eine Steuereinrichtung des Telefonkonferenzsystems ist dazu ausgebildet, für den Fall, dass in mehr als einem einzelnen der Audiosignale eine sprachliche Aktivität erkannt wird, nur ein einzelnes derjenigen Audiosignale, in denen eine sprachliche Aktivität erkannt wird, an die Audiosignalmischeinrichtung als Audioeingangssignal auszugeben und die nicht an die Audiosignalmischeinrichtung als Audioeingangssignal ausgegebenen Audiosignale, in denen eine sprachliche Aktivität erkannt wird, in dem Zwischenspeicher zwischenzuspeichern, d.h. beispielsweise den Zwischenspeicher zum Zwischenspeichern der Audiosignale anzusteuern, und zeitverzögert als Audioeingangssignal an den Audiosignalmischeinrichtung auszugeben, damit diese zeitverzögert wiedergegeben werden. Die Audiosignale können vor ihrer Wiedergabe ausschließlich während ihrer ermittelten sprachlichen Aktivität zwischengespeichert werden.
-
Die Steuereinrichtung kann dazu ausgebildet sein, für den Fall, dass in keinem der Audiosignale eine sprachliche Aktivität erkannt wird, zu überprüfen, ob zwischengespeicherte Audiosignale vorhanden sind, und falls zwischengespeicherte Audiosignale vorhanden sind, die zwischengespeicherten Audiosignale einzeln nacheinander oder gemischt so lange an den Audiosignalmischeinrichtung als Audioeingangssignale auszugeben, bis keine zwischengespeicherten Audiosignale mehr vorhanden sind.
-
Die Steuereinrichtung kann dazu ausgebildet sein, für den Fall, dass in keinem der Audiosignale eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, sämtliche Audiosignale als Audioeingangssignale an die Audiosignalmischeinrichtung auszugeben.
-
Die Steuereinrichtung kann dazu ausgebildet sein, für den Fall, dass nur in einem einzelnen der Audiosignale eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, nur das Audiosignal, in dem eine sprachliche Aktivität erkannt wird, als Audioeingangssignal an die Audiosignalmischeinrichtung auszugeben.
-
Die Audiosignale können Mono-Audiosignale sein.
-
Die Audiosignalquellen können Mikrofone von Headsets und/oder Telefonhörern sein und die Lautsprecher können die Lautsprecher der Headsets bzw. Telefonhörer sein, d.h. in die Headsets und/oder die Telefonhörer integriert sein.
-
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beschrieben. Hierbei zeigt schematisch:
-
1 ein Telefonkonferenzsystem für mehrere Gesprächsteilnehmer.
-
1 zeigt ein Telefonkonferenzsystem für mehrere Gesprächsteilnehmer.
-
Das Telefonkonferenzsystem weist exemplarisch zwei Audiosignalquellen in Form von Mikrofonen 1_1 und 1_2 von zwei Telefonhörern oder Headsets und zwei Lautsprecher 5_1 und 5_2 auf, die Teil der Telefonhörer bzw. Headsets sind.
-
Die Mikrofone 1_1 und 1_2 sind einem Gesprächsteilnehmer zugeordnet und dazu ausgebildet, in Abhängigkeit von einer sprachlichen Aktivität des jeweiligen Gesprächsteilnehmers ein Mono-Audiosignal AS_1 bzw. AS_2 zu erzeugen. Die Audiosignale AS_1 und AS_2 sind digitale Audiosignale, wobei die Digitalisierung der sprachlichen Aktivität in den Mikrofonen oder in einem nachgeschalteten, nicht näher dargestellten A/D-Wandler erfolgen kann.
-
Das Telefonkonferenzsystem weist weiter zwei Zwischenspeicher 2_1 und 2_2 auf, wobei ein jeweiliger Zwischenspeicher 2_1 und 2_2 dazu ausgebildet ist, ein zugehöriges Audiosignal AS_1 bzw. AS_2 in Abhängigkeit von einem von einer Steuereinrichtung 6a und 6b bei Speicherbedarf erzeugten Speichersteuersignal zwischenzuspeichern.
-
Das Telefonkonferenzsystem weist weiter eine Sprachaktivitätserkennungseinrichtung 3 auf, die dazu ausgebildet ist, eine sprachliche Aktivität in einem jeweiligen Audiosignal AS_1 und AS_2 zu ermitteln bzw. zu erkennen und das Ergebnis der Ermittlung an die Steuereinrichtung 6a und 6b zu übermitteln.
-
Weiter ist eine (digitale) Audiosignalmischeinrichtung 4 vorgesehen, die dazu ausgebildet ist, Eingangsaudiosignale miteinander zu mischen und die gemischten Eingangsaudiosignale als Ausgangsaudiosignal OS an exemplarisch zwei Ausgangsanschlüssen auszugeben.
-
Die Steuereinrichtung weist Komponenten 6a und 6b auf.
-
Die Steuereinrichtungskomponente 6a ist mit der Sprachaktivitätserkennungseinrichtung 3 in Datenverbindung und erhält von der Sprachaktivitätserkennungseinrichtung 3 Informationen betreffend die sprachliche Aktivität der Audiosignale AS_1 und AS_2. Die Steuereinrichtungskomponente 6a ist weiter mit den Zwischenspeichern 2_1 und 2_2 verbunden und steuert diese bei Bedarf zum Zwischenspeichern der zugehörigen Audiosignale AS_1 bzw. AS_2 an.
-
Die Steuereinrichtungskomponente 6b ist eingangsseitig mit den Mikrofonen 1_1 und 1_2 und den Zwischenspeichern 2_1 und 2_2 und ausgangsseitig mit der Audiosignalmischeinrichtung 4 verbunden. Die Steuereinrichtungskomponente 6b weist interne, nicht näher dargestellte Schaltlogik auf, deren Schaltstellungen von der Steuereinrichtungskomponente 6a bestimmt werden. Mittels der Schaltlogik wird bestimmt, welcher Eingang bzw. welche Eingänge auf die Audiosignalmischeinrichtung 4 durchgeschleift werden.
-
Die Steuereinrichtung bzw. deren Komponenten 6a und 6b ist/sind dazu ausgebildet, für den Fall, dass in beiden Audiosignalen AS_1 und AS_2 eine sprachliche Aktivität erkannt wird, d.h. beide Gesprächsteilnehmer sprechen, nur eines der beiden Audiosignale AS_1 oder AS_2 über die Steuereinrichtungskomponente 6b an die Audiosignalmischeinrichtung 4 als Audioeingangssignal auszugeben und das andere Audiosignal AS_1 oder AS_2 in dem zugehörigen Zwischenspeicher 2_1 bzw. 2_2 zwischenzuspeichern und dann zeitverzögert als Audioeingangssignal an den Audiosignalmischeinrichtung 4 auszugeben.
-
Das nicht ausgegebene Audiosignal AS_1 oder AS_2 kann so lange zeitverzögert werden, bis in dem anderen Audiosignal AS_1 oder AS_2 keine sprachliche Aktivität mehr ermittelt wird.
-
Die Entscheidung, welches der beiden Audiosignal AS_1 bzw. AS_2 zuerst an die Audiosignalmischeinrichtung 4 ausgegeben wird, kann darauf basieren, in welchem der Audiosignal AS_1 bzw. AS_2 zuerst eine sprachliche Aktivität erkannt worden ist.
-
Die Steuereinrichtung 6a und 6b ist weiter dazu ausgebildet, für den Fall, dass in keinem der Audiosignale AS_1 und AS_2 eine sprachliche Aktivität erkannt wird, zu überprüfen, ob zwischengespeicherte Audiosignale vorhanden sind, und falls zwischengespeicherte Audiosignale vorhanden sind, die zwischengespeicherten Audiosignale einzeln nacheinander so lange an den Audiosignalmischeinrichtung 4 als Audioeingangssignale auszugeben, bis keine zwischengespeicherten Audiosignale mehr vorhanden sind.
-
Für den Fall, dass in keinem der Audiosignale AS_1 und AS_2 eine sprachliche Aktivität erkannt wird, beispielsweise weil die Audiosignale AS_1 und AS_2 als unwichtig klassifiziert sind, und keine zwischengespeicherten Audiosignale (mehr) vorhanden sind, können sämtliche Audiosignale AS_1 und AS_2 als Audioeingangssignale an die Audiosignalmischeinrichtung 4 ausgegeben werden.
-
Für den Fall, dass nur in einem einzelnen der Audiosignale AS_1 oder AS_2 eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, kann nur das Audiosignal AS_1 oder AS_2, in dem eine sprachliche Aktivität erkannt wird, als Audioeingangssignal an die Audiosignalmischeinrichtung 4 ausgegeben werden.
-
Erfindungsgemäß ist eine Audiosignalmischeinrichtung 4 vorgesehen, die zwei oder mehr Audiosignale AS_1 und AS_2 mischt, um daraus ein oder mehrere gleiche Ausgangsaudiosignale OS zu erzeugen.
-
Zunächst wird überprüft, ob auf einem oder mehreren der Audiosignale AS_1 und AS_2 Geräusche vorliegen, die für die jeweilige Anwendung des Systems als relevant oder wichtig erachtet werden. Hierzu kann ein herkömmlicher Sprachaktivitätsdetektor verwenden werden, wie er bei Telefonsystem verwendet wird, um Phasen der Stille von Phasen des aktiven Sprechens zu unterscheiden.
-
Die Audiosignale AS_1 und AS_2 können zeitlich verzögert (wiedergegeben) werden. Das bedeutet, dass sie nicht direkt an die Lautsprecher 5_1 und 5_2 bzw. die Audiosignalmischeinrichtung 4 weiter geleitet werden, sondern für einen beliebigen Zeitraum zwischengespeichert werden können, um später an die Audiosignalmischeinrichtung 4 weitergeleitet zu werden.
-
Die Zwischenspeicher 2_1 und 2_2 können als FIFO-Speicher implementiert sein. Aus algorithmischen Effizienzgründen kann es sinnvoll sein, in den Zwischenspeichern 2_1 und 2_2 nicht nur die Audiosignale AS_1 und AS_2 zu speichern, sondern auch die zugehörigen sprachlichen Aktivitätsinformationen.
-
Die Steuereinrichtung 6a und 6b überwacht, ob die Sprachaktivitätserkennungseinrichtung 3 aktive bzw. relevante Signale erkennt und ob in den Zwischenspeichern 2_1 und 2_2 akustische Signale gespeichert sind.
-
Wenn kein aktives bzw. relevantes Audiosignal AS_1 und AS_2 vorliegt und in den Zwischenspeichern 2_1 und 2_2 keine Audiosignale gespeichert sind, können alle Audiosignale AS_1 und AS_2 in der Audiosignalmischeinrichtung 4 gemischt werden. Dies ist beispielsweise der Fall, wenn alle Konferenz- oder Gesprächsteilnehmer schweigen.
-
Wenn nur ein relevantes Audiosignal AS_1 bzw. AS_2 vorliegt, wird es an die Audiosignalmischeinrichtung 4 weitergeleitet. Dies ist beispielsweise der Fall, sobald ein Gesprächsteilnehmer zu reden beginnt.
-
Wenn nun weitere Audiosignale relevant bzw. aktiv werden, werden diese nicht unverzögert an die Audiosignalmischeinrichtung 4 weitergeleitet, sondern in den Zwischenspeichern 2_1 und 2_2 gespeichert. Man vermeidet somit, dass ein zweiter Gesprächsteilnehmer dem ersten Gesprächsteilnehmer ins Wort fällt.
-
Sobald das bislang wiedergegebene Audiosignal keine relevanten Informationen mehr enthält, d.h. sprachlich nicht mehr aktiv ist, wird eines der gespeicherten Audiosignale aus dem zugehörigen Zwischenspeicher 2_1 bzw. 2_2 abgerufen und zur Audiosignalmischeinrichtung 4 und somit zu den Lautsprechern 5_1 und 5_2 geleitet. Der zweite Gesprächsteilnehmer wird nun verzögert ausgespielt, nachdem der erste verstummt ist.
-
Dieser Prozess wird so lange fortgesetzt, bis kein Zwischenspeicher 2_1 und 2_2 mehr Audiosignale gespeichert hat.
-
Es versteht sich, dass die beiden Audiosignalquellen 1_1 und 1_2, die beiden Zwischenspeicher 2_1 und 2_2 und die beiden Lautsprecher 5_1 und 5_2 lediglich eine exemplarische Anzahl darstellen. Selbstverständlich können beliebig viele dieser Komponenten verwendet werden.
