DE69816294T2

DE69816294T2 - Dynamische selektion von mediaströmen für ihre darstellung

Info

Publication number: DE69816294T2
Application number: DE69816294T
Authority: DE
Inventors: M. Keith SMITH; W. Russell PRETTY
Original assignee: Nortel Networks Ltd
Current assignee: Nortel Networks Ltd
Priority date: 1997-06-02
Filing date: 1998-03-11
Publication date: 2004-07-01
Anticipated expiration: 2018-03-12
Also published as: CA2289504A1; US6128649A; DE69816294D1; WO1998056177A1; EP0986908B1; CA2289504C; EP0986908A1; JP2002501710A

Description

Technisches Gebiet und gewerbliche Anwendbarkeit
Die Erfindung bezieht sich auf Verfahren und Vorrichtungen zur Auswahl eines oder mehrerer Ströme aus einer Anzahl von Echtzeit-Medienströmen sowie auf entsprechende Software, Netzknoten und Endgeräte.
Stand der Technik
Heutige Computer- und Netzwerkarchitekturen unterstützen ohne weiteres die Übertragung von Text und Standgrafiken oder Standbildern. Die Unterstützung für die Echtzeit-Medienverarbeitung und Netzwerkhandhabung wurde jedoch bis in die neueste Zeit vollständig mit Überlagerungsnetzwerken und dienstespezifischen Endgeräteausrüstungen zur Anzeige derartiger Medien für den Benutzer realisiert. Sprache-Telefonie ist beispielsweise das am weitesten verbreitete medienspezifische Netzwerk. Rundsende-Video und Kabelfernsehen verwendet ebenfalls eine ausschließlich hierfür vorgesehene Übertragungs- und Vermittlungs-Infrastruktur. Im gleichen Sinne erfordern eine hohe Qualität aufweisende Videokonferenzen Mietleitungen und ausschließlich hierfür bestimmte Ausrüstungen.
Das kommerziell am erfolgreichsten Segment des Videokonferenz-Marktes waren die sogenannten „P × 64"-Systeme auf der Grundlage der ITU-Normen der H320-Serie. Derartige Systeme bündeln von von 2 bis 30 DSO-(64 kbps-)Kanäle über vermittelte oder Standleitungs-Zeitmultiplex-(TDM-)Netze zu einem Breitbandkanal (128 kbps–2 Mbps) zum Transport von Audio-, Video-, Daten- und Steuersignalen nach Art einer Punkt-zu-Punkt-Verbindung. Mehrpunkt-Konferenzen werden mit Hilfe einer zentralisierten Rundsende-Steuereinheit (MCU) erzielt, wie dies in 1 gezeigt ist, die typischerweise Tonsignale mischt und eine Rundsendung des einzelnen derartigen Sprechers an alle Standorte ausführt. Eine Alternative, eine verteilte Vermittlungs- und Mischanordnung wird unter Bezugnahme auf 2 beschrieben.
Ein schnelleres Wachstum dieses Marktes wurde sowohl durch hohe Ausrüstungskosten als auch hohe Dienstekosten behindert. Zusätzlich zu den Kosten der Video-Codier-/Decodier-(CODEC-)Hardware werden die Ausrüstungskosten bei derzeitigen Netzen oder Netzwerken durch die Notwendigkeit von inversen Multiplexern (I-MUX's) zur Bündelung vermittelter DSO-Verbindungen aufgrund des Fehlens einer Breitbandkanal-Vermittlung und von MCU's aufgrund des Fehlens einer Sammelsende-Vermittlung vergrößert. Dienstekosten wurden aufgrund der auf der Bandbreite beruhenden Tarifen, die zum Schutz der Einkünfte von der Sprache-Telefonie erforderlich sind, hoch gehalten, so dass eine hohe Bandbreite und eine hohe Qualität aufweisende Videokonferenz immer noch einen Luxus darstellt, den man sich selten leistet.
Weitere Einschränkungen ergeben sich am Benutzer-Endgerät. Echtzeit-Medien bedingen hohe Verarbeitungsforderungen, insbesondere dann, wenn der Medienstrom für die Anzeige dekomprimiert werden muss. Üblicherweise ist die Auflösung und die Größe von Anzeigemonitoren beschränkt.
1 zeigt in schematischer Form eine bekannte Videokonferenz-Anordnung. Die Verwendung einer Sammelsende-Steuereinheit (MCU) zum Multiplexieren oder Mischen und Verteilen aller Videoströme, die von dem Netz 2 zu und von Benutzern 3 übertragen werden, ergibt eine zentralisierte Topologie. Diese Topologie ist zur Verwendung mit einem Punkt-zu-Punkt-Netz, wie z. B. dem Telefonnetz geeignet. Die aufwändige ausschließlich für diesen Zweck bestimmte Video-Misch- oder Auswahl-Ausrüstung muss nur an lediglich einer Stelle bereitgestellt werden, wobei die in dem Netz 2 bereits vorgesehenen Vermittlungsfähigkeiten verwendet werden. Einer der Benutzer 3, ein Vorsitzender, hat Einrichtungen zur Steuerung der MCU 1.
Im Betrieb sendet jeder Benutzer seine eigenen Video- und Audio-Signale an die MCU. Der Vorsitzende steuert die MCU zur Auswahl eines der ankommenden Videoströme oder zum Addieren der Videoströme zusammen in getrennten Fenstern der einzelnen Ausgangs-Videoströme. Die Eingangs-Audioströme wurden alle miteinander gemischt, oder die Audioströme mit der größten Aktivität würden zum Mischen und zur Ausgabe ausgewählt werden. Die MCU dupliziert ihre Ausgangs-Video- und Audioströme und sendet sie an jeden der Benutzer. Derartige Anordnungen können hinsichtlich der Bandbreite oder der Anzahl der Benutzer durch die Fähigkeiten der MCU oder durch die Bandbreite der Telefonnetz-Verbindungen beschränkt sein.
Bei einer anderen bekannten Konferenzanordnung, die in 2 gezeigt ist, verbindet ein LAN-Netz (lokales Datennetz) 4 mit Sammelsende-Fähigkeiten die Benutzer 3. Hierdurch wird die Notwendigkeit einer ausschließlich für diesen Zweck bestimmten MCU vermieden. Benutzer 3 können steuern, welche anderen Benutzer sie sehen.
3 zeigt die Information, die zwischen einem Benutzer 10 und einem Netzwerk 11 übertragen werden kann, wie z. B. einem Paketnetzwerk, das andere Benutzer 3 für Videokonferenzen verbindet. Wahrnehmungsinformationen darüber, welche der Benutzer mit dem Netzwerk verbunden sind, werden von dem Netzwerk an den Benutzer 10 weitergeleitet. In Abhängigkeit von dieser Information kann ein Benutzer manuell auswählen, welche anderen Benutzer er sehen will. Videoauswahl-Anforderungsinformationen werden dann von dem Benutzer zum Netzwerk übertragen. Das Netzwerk hat die Fähigkeit, die Anforderung anzunehmen und geeignete Videoströme von anderen Benutzern 3 zu dem Benutzer 10 zu vermitteln.
Beschränkungen der Netzwerke haben in vielen Fällen ausgeschlossen, dass Ströme von allen Benutzern in einer Videokonferenz an alle anderen Benutzer gesandt wurden. Entsprechend beinhaltet die zentralisierte Vermittlungslösung nach 1 entweder die Auswahl eines der Ströme von den Benutzern 1, 2, 3 zur Anzeige oder die Schaffung eines einzigen Bildstromes, der eine zusammengesetzte Anzeige von zwei oder mehr eine reduzierte Größe aufweisenden Bildern oder Fenstern umfasst.
Das US-Patent 4 531 024 (Colton) beschreibt eine Möglichkeit für eine Lösung, wie ein einzelner Videostrom auszuwählen ist, der an alle anderen Konferenzstandorte übertragen wird. Die Auswahl wird automatisch durch eine zentralisierte Feststellung von entweder einem und nur einem „Sprecher" oder einer und nur einer Video-Grafikübertragungsanforderung bewirkt. Eine manuelle Übersteuerung ist an jeder Stelle möglich, um manuell die zu betrachtenden Videosignale auszuwählen.
Das US-Patent 5 003 532 (Ashida) zeigt ein Videokonferenzsystem mit einer zentralisierten Bildauswahleinrichtung, die in Abhängigkeit von Anforderungen von Benutzern oder entsprechend der Feststellung eines Sprechers arbeitet.
Das US-Patent 5 382 972 (Karres) beschreibt ein Konferenzsystem, das ein zusammengesetztes Signal mit spracheabhängigen Schalteinrichtungen zur Bewegung der Komponentenströme auf unterschiedliche Bereiche auf dem Bildschirm und mit unterschiedlichen Bildgrößen in Abhängigkeit davon, wer spricht, erzeugt. Ein Hauptbenutzer hat eine Übersteuerungsmöglichkeit.
Eine weitere Entwicklung ist in dem US-Patent 5 473 367 gezeigt, bei dem jeder Konferenzteilnehmer die Rolle des Vorsitzenden übernehmen kann und manuell das Bild manipulieren kann, das von allen gesehen wird. Zusätzlich kann jeder Konferenzteilnehmer seinen eigenen Bildinhalt auswählen oder die Rolle des Vorsitzenden übernehmen.
Das US-Patent 5 615 338 zeigt ein System, bei dem eine zentrale Steuerung die Übertragung von jedem Benutzer-Endgerät direkt steuert und zwei Benutzer für die Aussendung an alle anderen Benutzer entsprechend Benutzeranforderungen und einem vorgegebenen Prioritätsschema auswählt.
Das US-Patent 5 392 223 zeigt einen Kommunikationsprozessor zum Verknüpfen einer Gruppe von Arbeitsstationen mit einem Netzwerk für eine Videokonferenz. Eine Arbeitsstation initiiert eine Diensteanforderung, die die Art des Dienstes und das Ziel einschließt. Die Bandbreite, Auflösung und Übertragungsrate sind einstellbar. Eine künstliche Intelligenz aufweisende Software wird in dem Prozessor verwendet, der auf die momentanen Lasten reagiert und dem Benutzer anzeigt, was möglich ist, wenn die Diensteanforderung nicht erfüllt werden kann. Ein weiteres Beispiel eines dezentralisierten Videokonferenz-Netzwerkes ist in dem US-Patent 5 374 952 unter Verwendung eines Breitband-LAN gezeigt. Fernsehsignale von jedem Benutzer werden gleichzeitig mit unterschiedlichen Frequenzen übertragen. Der Computer jedes Benutzers überwacht den Status von Kanalzuteilungen und erzeugt die Kanalauswahl-Steuersignale. Derartige, ausschließlich für diesen Zweck bestimmte LAN's weisen von Natur aus eine Rundsende-Fähigkeit auf, was die Fähigkeit für eine Sammelsendung einschließt, d. h. zum Senden an eine ausgewählte Gruppe von Benutzern.
Keines der vorstehenden Systeme ist skalierbar, um große Konferenzen abzuwickeln, und zwar aufgrund der kognitiven Beschränkungen der Fähigkeiten des Menschen bei der Betrachtung eines Bildschirmes mit zu vielen gleichzeitig angezeigen Fenstern oder bei der manuellen Auswahl aus zu vielen verfügbaren Fenstern. Zusätzlich können die Benutzer-Endgeräte eine beschränkte Verarbeitungsleistung und eine begrenzte Anzeigefläche aufweisen, und die Netzwerk-Ressourcen können ohnehin eine Begrenzung dafür ergeben, wie viele Ströme gleichzeitig an den Benutzer gesandt werden können.
Die EP-0724362-A offenbart ein Verfahren, ein System und ein Gerät zur Übertragung von Multimedia-Strömen über Telekommunikationsleitungen, bei dem lediglich die Ströme mit den höchsten Prioritätsgraden aktiv an alle Benutzer übertragen werden. Das Verfahren der EP-0724362-A hat nicht die Fähigkeit, Multimedia-Ströme an einen Benutzer unabhängig davon zu senden, welche Ströme an andere Benutzer gesandt werden.
Offenbarung der Erfindung
Es ist ein Ziel der Erfindung, verbesserte Verfahren, eine Vorrichtung, Software, Knoten und Endgeräte zu schaffen.
Gemäß einem ersten Gesichtspunkt der Erfindung wird ein Verfahren nach den Ansprüchen 1 und 14 geschaffen.
Eine dynamische Auswahl aus mehrfachen Strömen ermöglicht es dem Benutzer, sich auf den Inhalt und nicht auf die Form der Darbietung zu konzentrieren. Eine individuelle Steuerung der Anzeigerichtlinien unabhängig davon, was andere Benutzer sehen, ermöglicht eine Anpassung an Ressourcen und den Bedarf eines Benutzers. Die Berücksichtigung der Bedingung ermöglicht eine bessere Ausnutzung der begrenzten Ressourcen. Zusammen ermöglicht dies eine einfachere Abwicklung von größeren Konferenzen.
Vorzugsweise wird festgestellt, ob die Auswahl durch die Bedingung beschränkt ist, wobei die Richtlinie eine Anzeige dafür umfasst, wie die Auswahl durchzuführen ist, wenn die Auswahl durch die Bedingung beschränkt ist. Dies ermöglicht die optimale Darbietung einer größeren Anzahl von Strömen durch eine bessere Ausnutzung begrenzter Ressourcen oder ermöglicht die Teilnahme von Benutzern mit unterschiedlichen Werten von örtlichen oder Netzwerk-Ressourcen.
In vorteilhafter Weise umfasst die Anzeige relative Prioritäten zwischen gewünschten Strömen. Dies ermöglicht es, dass dem Benutzer die wichtigeren Ströme dargeboten werden, wenn eine Auswahl getroffen werden muss, und ermöglicht es dem Benutzer, sich auf den Inhalt zu konzentrieren statt dauernd eine Auswahl zu treffen.
Vorzugsweise umfasst die Bedingung einen Grad der Verfügbarkeit von Netzwerk-Ressourcen. Dies ermöglicht eine optimalere Auswahl insbesondere für Netzwerke, bei denen eine Überlastung wahrscheinlich und veränderlich ist. Dies ermöglicht weiterhin eine Kostenbeschränkung für auf der Grundlage der Bandbreite gebührenbelastete Netze, um eine optimale Ausnutzung der verfügbaren Netzressourcen sicherzustellen.
In vorteilhafter Weise umfasst die Bedingung einen Grad der Verfügbarkeit von Benutzer-Endgeräte-Ressourcen. Dies ermöglicht eine bessere gemeinsame Nutzung von Ressourcen, insbesondere dann, wenn unterschiedliche Benutzer Endgeräte mit unterschiedlichen Beschränkungen haben. Die Integrität einer maximalen Anzahl von Medienströmen kann aufrecht erhalten werden.
In vorteilhafter Weise wird die Aktivität auf einem oder mehreren der Medienströme bestimmt, wobei die Anzeige eine Anzeige dafür umfasst, wie die Auswahl von der Aktivität abhängig gemacht werden kann. Dies ermöglicht es, dass die Auswahl die Ströme einschließt, die mit größter Wahrscheinlichkeit von Interesse sind, und Ströme von geringerem Interesse fortfallen lässt.
Vorzugsweise umfasst, wenn zwei oder mehr der Medienströme von einer einzigen Quelle ausgehen, die Anzeige, wie die Auswahl in Abhängigkeit von der Aktivität zu treffen ist, die Durchführung der Auswahl eines der von der gleichen Stelle ausgehenden Ströme in Abhängigkeit von der Aktivität auf dem anderen der von der gleichen Stelle ausgehenden Ströme. Dies ermöglicht es dem Benutzer, dass diesem automatisch Ströme dargeboten werden, die wahrscheinlich von Interesse sind, weil sie einem Strom zugeordnet sind, der eine Aktivität zeigt.
In vorteilhafter Weise wird der Schritt der Bestimmung der ausgewählten Ströme an dem Endgerät des ersten Benutzers ausgeführt. Dies ermöglicht es, dass das Verfahren mit weniger spezialisierten Ausrüstungen in dem Netzwerk verwendet wird.
Vorzugsweise umfasst das Verfahren weiterhin den Schritt der Anzeige an das Netzwerk, welches die ausgewählten Ströme sind, wobei der Schritt der Weiterleitung der ausgewählten Ströme die Aussendung lediglich der ausgewählten Ströme über das Netzwerk umfasst. Dies ermöglicht einen verringerten Bandbreitenbedarf in dem Netzwerk und an der Benutzer-Netzschnittstelle.
In vorteilhafter Weise sind die Medienströme durch Videoströme gebildet. Weil Video eine große Bandbreite aufweist, ist es von größerer Bedeutung, Ressourcen in einer effizienteren Weise zu nutzen und gemeinsam zu verwenden, wobei die menschlichen Wahrnehmungs- und Ressourcen-Beschränkungen berücksichtigt werden.
Vorzugsweise ist das Netzwerk ein für eine Sammelsendung geeignetes Netzwerk. Wenn das Netzwerk sammelsendefähig ist, so sind weniger spezialisierte Ausrüstungen in dem Netzwerk und am Endgerät des Benutzers erforderlich.
Vorzugsweise sendet der erste Benutzer ebenfalls zumindest einen Echtzeit-Medienstrom, um an einer Konferenz zwischen mehreren Benutzern über das Kommunikationsnetz teilzunehmen. Die dynamische Eigenart von Kommunikationen vom Konferenztyp ruft schwerere Belastungen des Netzwerkes und der Computerressourcen sowie der kognitiven Fähigkeiten des Menschen hervor, so dass eine bessere Verwaltung der Auswahl vorteilhafter ist.
Gemäß einem zweiten Gesichtspunkt der Erfindung wird eine gespeicherte Software gemäß Anspruch 13 geschaffen.
Gemäß einem dritten Gesichtspunkt der Erfindung wird eine Vorrichtung gemäß Anspruch 15 geschaffen.
Gemäß einem vierten Gesichtspunkt der Erfindung wird ein Netzknoten gemäß Anspruch 16 geschaffen.
Gemäß einem fünften Gesichtspunkt der Erfindung wird ein Endgerät gemäß Anspruch 17 geschaffen.
Um in Form eines Beispiels zu zeigen, wie die Erfindung praktisch ausgeführt werden kann, werden Ausführungsformen nunmehr unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Kurze Beschreibung der Zeichnungen
Die 1 bis 3 zeigen in schematischer Form bekannte Videokonferenz-Anordnungen;
4 zeigt in schematischer Form eine Ausführungsform der Erfindung;
5a zeigt einen Architektur-Überblick eines Konferenz-Endgerätes zur Verwendung bei der Anordnung nach 4;
5b zeigt die Architektur nach 5a mit weiteren Einzelheiten;
6 zeigt die Architektur der Elemente nach 5b, die das Mitgliedschafts-Entscheidungsmodul betreffen;
7 zeigt in schematischer Form einen GUI-Ereignis-Antwort-Pfad des MDM;
8 zeigt den Pfad nach 7 mit weiteren Einzelheiten;
9 zeigt in schematischer Form den Konsistenzprüfungs-Pfad des MDM;
10 zeigt den Konsistenzprüfungs-Pfad mit weiteren Einzelheiten;
11 zeigt den neuen T_Strom-Aktivitätsantwort-Pfad;
12 zeigt den Pfad nach 11 mit weiteren Einzelheiten;
13 und 14 zeigen den neuen T_Strom-Stille-Pfad in schematischer Form;
15 und 16 zeigen den D_Strom-Schließ-Pfad in schematischer Form;
17a(i) und 17a(ii) zeigen in schematischer Form die Betriebsweise der T_Strom-Aktivitätsüberwachung nach 6;
17b(i) und 17b(ii) zeigen die Betriebsweise der D_Strom-Integritätsüberwachung nach 6;
17c(i) und 17c(ii) zeigen die Betriebsweise der Arbeitsstations-Ressourcenüberwachung nach 6 in schematischer Form;
17d(i) zeigt in schematischer Form die Betriebsweise der Überlastungsanalyse-Überwachung nach 6;
17d(ii) und 17d(iii) zeigen ein ausführlicheres Beispiel in schematischer Form der in 17d(i) gezeigten Operationen;
17e zeigt in schematischer Form die Betriebsweise der Netzwerk-Rückführungsüberwachung nach 6;
18a zeigt in schematischer Form die Funktionen des Konferenz-Bewusstseins-Moduls nach 5b;
18b und 18c zeigen die Betriebsweise der Sende- und Empfangsprozesse des Konferenz-Bewussteins-Moduls nach 18a;
19 zeigt eine Ausführungsform der grafischen Benutzerschnittstelle nach 5b; und
20 und 21 zeigen in schematischer Form alternative Ausführungsformen der Erfindung.
Ausführungsformen der Erfindung
Zunächst wird eine Gesamtansicht beschrieben, gefolgt von ausführlicheren Beschreibungen der Funktionen bestimmter Teile. Dann werden einige Systemerwägungen zur Realisierung eines Konferenzsystems angegeben, gefolgt von einer Diskussion der Vorteile und alternativer Ausführungsform.
4 zeigt in schematischer Form, wie die Information, die zwischen dem Benutzer 10 und dem Netzwerk 12 weitergeleitet wird, durch die Bereitstellung einer dynamischen Auswahlsteuerung 13 geändert wird. Der Benutzer gibt eine Auswahlrichtlinie ein, die Kriterien zur Durchführung der Auswahl einschließt. Die dynamische Auswahlsteuerung bestimmt die aktuellen Auswahlanforderungen auf der Grundlage der Richtlinie und der Bedingungen. Das Netzwerk 12 leitet dann die ausgewählten Medienströme zu dem Benutzer auf der Grundlage der Anforderung, die von der dynamischen Auswahlsteuerung 13 gemacht wird. Die Auswahlrichtlinie kann gewünschte Anforderungen einschließen. Die dynamische Auswahlsteuerung kann Auswahlanforderungen auf einer Grundlage (besten Bemühens) abgeben, mit der versucht wird, die gewünschten Auswahlanforderungen der Auswahlrichtlinie zu erfüllen. Die Auswahlsteuerung 13 kann sich in dem Benutzer-Endgerät oder in dem Netzwerk befinden.
Das Netzwerk könnte ein Punkt-zu-Punkt-Netzwerk sein, wobei in diesem Fall eine oder mehrere MCU's erforderlich sein würden, um die Verteilung der Medienströme an mehrfache Benutzer zu ermöglichen. Vorzugsweise ist das Netzwerk für eine Sammelsendung geeignet. Wenn jeder Medienstrom als eine Sammelsendungs-Gruppe betrachtet wird, bei der Benutzer, die den Strom empfangen möchten, eine Mitgliedschaft der Gruppe beantragen können, manipuliert die Auswahlsteuerung 13 dynamisch die Mitgliedschaft. Dies ermöglicht es, eine skalierbare Lösung für große Mehrteilnehmer-Videokonferenzen zu erzielen. Beschränkungen der kognitiven Fähigkeiten des Menschen bei der Steuerung und beim Verständnis einer großen Anzahl von Videoeingängen sowie Ressourcen-Beschränkungen hinsichtlich der Übertragung einer großen Anzahl von eine große Bandbreite aufweisenden Medienströmen können verringert werden. Somit kann die dynamische Auswahlsteuerung als ein Empfänger-basierter reagierender Überlaststeuerungsmechanismus betrachtet werden.
Das Netzwerk 12 könnte ein lokales Netz allein oder eine Serie von miteinander verbundenen lokalen und Weltbereichs-Netzwerken umfassen. Beispielsweise könnte ein firmeneigenes Intranet oder das Internet oder das öffentliche Telefonnetz für eine globale Überdeckung verwendet werden.
Im Betrieb kann ein Benutzer seine gewünschte Ansicht einer Konferenz durch Auswahl eines Satzes von Konferenzteilnehmern auswählen, die er sehen möchte, oder durch Auswahl einer dynamischen Betrachtungs-Richtlinie, beispielsweise durch Prioritätsvergabe für Medienströme, oder eine Mischung hiervon. Die dynamische Auswahlsteuerung 13 macht die bestmögliche Anstrengung auf der Grundlage der Wünsche des Benutzers und der Ressourcenbedingungen, wie z. B. von Verlusten, die in den empfangenen Medienströmen festgestellt werden, und auf der Grundlage einer direkten Rückmeldung von dem Netzwerk und örtlichen Computerressourcen. Die Richtlinie kann Medienstrom-Aktivitätsperioden und die sich ändernde Konferenzumgebung berücksichtigen und kann ausdrücken, wie auf festgestellte Ressourcen-Einschränkungen zu reagieren ist. Der erste Schritt der Bestimmung der Richtlinie kann die Rückgewinnung einer gespeicherten Anzeige der Richtlinie oder die Aufforderung des Benutzers zur Eingabe von Richtlinien oder die Berechnung der Richtlinie aus vorhergehenden Vorlieben einschließen, um nur Beispiele zu nennen.
Weitere Einzelheiten der Struktur einer Ausführungsform eines Benutzer-Endgerätes werden nunmehr unter Bezugnahme auf die 5A und 5B erläutert.
5A zeigt in schematischer Form einen Überblick über die Architektur eines Konferenz-Endgerätes. Ein Medien-Eingangsteil 20 schließt beispielsweise Einrichtungen zur Durchführung von Video-Empfangsprozessen, Audio-Empfangsprozessen und die Netzwerküberwachung ein. Ein Medien-Ausgabeteil 21 schließt Einrichtungen zur Durchführung einer Video- und Audio-Aussendung an das Netzwerk 24 ein. Der Medien-Ausgabeteil kann fortgelassen werden, um ein Endgerät zu schaffen, das lediglich zum Empfang geeignet ist, beispielsweise zur Überwachung oder zu Unterhaltungszwecken. Ein Befehls- und Steuerteil 22 steht mit dem Medien-Eingabeteil und mit dem Medien-Ausgabeteil in Kommunikation. Es kann irgendeine direkte Verbindung zwischen dem Befehls- und dem Steuerteil 22 und dem Netzwerk 24 bestehen, beispielsweise zum Senden und Empfangen von Konferenz-Wahrnehmung-Mitteilungen, die sich auf jeden der Benutzer der Konferenz beziehen.
Eine Arbeitsstations-Ressourcenüberwachung 23 kann vorgesehen sein, um Informationen an den Befehls- und Steuerteil 22 zu liefern.
5B zeigt weitere Einzelheiten der in 5A gezeigten Konferenz-Endgeräte-Architektur. Jeder der Teile wird in Ausdrücken der Prozesse beschrieben, die gleichzeitig auf dem Benutzer-Endgerät ablaufen können, entweder durch Mehrprogrammbetrieb eines einzigen zentralen Prozessors oder durch Verteilung auf mehrfache Prozessoren in dem Endgerät. Die Hardware-Konfiguration ist eine Frage der Konstruktionsauswahl.
Als Teil des Medien-Eingabeabschnittes 20 sind mehrfache Video-Empfangsprozessoren 26 vorgesehen, einer für jeden ankommenden Videostrom. Jeder Video-Empfangsprozess 26 schließt eine Anzeigestrom-(D_Strom-) Integritätsüberwachung 27 zur Überwachung der Integrität des Anzeigestromes ein, beispielsweise der Anzahl oder der Rate der Pakete oder Rahmen, die verloren gehen oder verzögert sind. Jeder Video-Empfangsprozess schließt weiterhin ein D_Strom-Verarbeitungsmodul 28 zur Decodierung des ankommenden Medienstromes an. Dies kann den Aufbau von Video-Rahmen aus dem Strom von Paketen und die Durchführung irgendeiner erforderlichen Dekompression beinhalten.
Jeder Video-Empfangsprozess 26 schließt weiterhin ein Netzwerk-Signalisierungsmodul 29 zur Durchführung von Netzwerk-Signalisierungsfunktionen ein.
Eine Zwischenprozess-Kommunikations-(IPC-)Funktion ist für eine Kommunikation zwischen den Prozessoren, beispielsweise durch Mitteilungs-Weiterleitung oder unter Verwendung eines gemeinsam genutzten Speichers, vorgesehen.
Eine Netzwerk-Rückführungs-Überwachung 30 ist zur Überwachung von von dem Netzwerk empfangenen Mitteilungen vorgesehen. Eine Überlastungsanalyse-Überwachung 31 ist zur Bestimmung einer Netzwerküberlastung vorgesehen.
Ein einzelner Audio-Empfangsprozess 32 ist selbst dann vorgesehen, wenn mehrfache Eingangs-Audioströme vorliegen. Dies ist zweckmäßig, weil normalerweie lediglich ein einziger Audio-Ausgang dem Benutzer geliefert wird, der aus allen den Eingangs-Audioströmen zusammengemischt ist oder durch den aktivsten der Eingangs-Audioströme gebildet ist. Der Audio-Empfangsprozess 32 schließt eine Triggerstrom-(T-Strom-)Aktivitätsüberwachung 33, ein T_Strom-Verarbeitungsmodul 34 und ein Netzwerk-Signalisierungsmodul 35 ein. Das Audiosignal wird als Trigger-Strom bezeichnet, weil es in vielen Fällen zum Auslösen der Anzeige des Videostromes verwendet wird, der dem lautesten Audio-Eingangsstrom entspricht.
Ein Befehls- und Steuerprozess 36 schließt ein Konferenz-Wahrnehmungs-Modul 37, ein Mitgliedschafts-Entscheidungsmodul MDM 38 und eine grafische Benutzerschnittstelle GUI 39 ein. Das MDM befindet sich am Kern der dynamischen Auswahlsteuerungsfunktion und wird weiter unten ausführlicher erläutert.
Ein Video-Aussendungsprozess 40 ist für das abgehende Videosignal an andere Benutzer der Konferenz vorgesehen. Er umfasst ein D Strom-Verarbeitungsmodul 41 und ein Netzwerk-Signalisierungsmodul 42. Ein Audio-Sendeprozess 43 schließt ein T_Strom-Verarbeitungsmodul 44 und ein Netzwerk-Signalisierungsmodul 45 zur Abwicklung des abgehenden Audio-Stromes von dem Endgerät an die anderen Benutzer ein. Die Video-Sende- und Audio-Sende-Prozesse würden nicht erforderlich sein, wenn das Endgerät lediglich als ein Empfänger verwendet werden sollte.
Eine Arbeitsstations-Ressourcenüberwachung 46 ist zur Überwachung der örtlichen Ressourcen, wie z. B. der Verarbeitungsleistung, des Speichers und der Anzeigefähigkeiten vorgesehen.
Die Betriebsweise des MDM 38 und der damit verbundenen Prozessoren wird nunmehr unter Bezugnahme auf 6 beschrieben. Das MDM 38 empfängt Eingänge von der T_Strom-Aktivitätsüberwachung (TAM) 33, der Arbeitsstation-Ressourcenüberwachung (WRM) 46 und von der Überlastungs-Analyse-Überwachung (CAM) 31. Es empfängt weiterhin Eingänge von der grafischen Benutzerschnittstelle (GUI) 39 und gibt Auswahlanforderungen in Form von Verbindungs-Mitgliedschafts-Signalen an das Netzwerk ab. Auf diese Weise kann das MDM Verbindungs-Mitgliedschafts-Anforderungen auf der Grundlage der Betrachtungsrichtlinie des Benutzers und der derzeitigen Bedingungen auf der Grundlage besten Bemühens abgeben. Das MDM sollte so ausgebildet sein, dass es Eingänge von einer Teilmenge der Eingänge entsprechend den Notwendigkeiten empfängt. Wenn beispielsweise die Arbeitsstations-Ressource mit größter Wahrscheinlichkeit immer stärker beschränkend ist, als die Netzwerk-Ressourcen, so könnte das MDM in Abhängigkeit von Eingängen lediglich von der GUI und der WRM arbeiten, ohne dass es örtliche oder äußere Überlastungseingänge benötigt. Wenn die Netzwerküberlastung ein Problem darstellen kann, so ist es nützlich, sie in örtliche und äußere Überlastungsbedingungen zu unterteilen, um es dem MDM zu ermöglichen, passende Maßnahmen zu treffen. Wenn beispielsweise eine örtliche Überlastung auftritt, kann es zweckmäßig sein, anzufordern, dass weniger Medienströme ausgesandt werden. Wenn die Überlastung eine äußere Überlastung ist, so besteht eine größere Wahrscheinlichkeit darin, dass hier lediglich einige der Eingangsströme betroffen sind. Somit kann es zweckmäßig sein, nicht die Anzahl von angeforderten Medienströmen zu verringern sondern, lediglich Medienströme auszuwählen, die nicht durch die äußere Überlastung beeinflusst sind.
Die Betriebsweise des MDM 38 wird weiter unten in Form von fünf Strängen des Betriebs erläutert, die parallel ablaufen. Diese Stränge werden unter Bezugnahme auf die 7–16 erläutert. Die Betriebsweise jeder der in 6 gezeigten Überwachungen wird unter Bezugnahme auf die 17a bis 17e erläutert. Andere Elemente des Endgerätes werden danach beschrieben.
Die fünf Stränge des MDM betreffen die Antwort auf GUI-Ereignisse, eine periodische Konsistenzprüfung, um festzustellen, ob zusätzliche Ströme angezeigt werden können, und Antworten auf neue T_Strom-Aktivitäten oder die Stille und das Antworten auf das Schließen eines D-Stromes durch dessen Urheber.
MDM-Strang 1, Antwort auf GUI-Ereignisse, 7
7 erläutert in schematischer Form einen Überblick dieses Stranges. Bei Feststellung eines GUI-Ereignisses, 60, das dem MDM über die Interprozess-Kommunikation (IPC) zugeführt wird, wird festgestellt, ob sich das Ereignis auf eine Zustandsänderung oder auf das Verriegeln oder Entriegeln eines Stromes bezieht. Im ersteren Fall wird der Zustand bei 61 aktualisiert, während im letzteren Fall der Strom bei 62 verriegelt oder entriegelt wird, und eine Verletzung irgendwelcher vorgegebener Zwangsbedingungen wird bei 63 aufgelöst, bevor die Anzeige bei 64 aktualisiert wird. Die Verriegelung eines Stromes bedeutet, dass diesem die höchste Priorität gegeben wird, um sicherzustellen, dass er die gesamte Zeit angezeigt wird, unabhängig von der Aktivität auf dem entsprechenden Audio-Strom. Es ist zu erkennen, dass wenn zuviele Ströme verriegelt werden, eine Zwangsbedingung verletzt werden kann, wie z. B. eine Arbeitsstations-Ressourcen-Zwangsbedingung oder örtliche oder äußere Netzwerk-Zwangsbedingungen.
8 zeigt ein Beispiel, wie der Strang realisiert werden könnte, in weiteren Einzelheiten. Als Antwort auf das GUI-Ereignis 70 wird die Verriegelung oder Entriegelung oder die Einstellungsaktualisierung bei 71 bestimmt. Bei 72 wird die Verletzung einer Zwangsbedingung 1 festgestellt. Diese bezieht sich auf die Anzahl der Ströme, die gleichzeitig von dem Benutzer-Endgerät angezeigt werden können. Dies könnte eine vorgegebene Anzahl sein, könnte jedoch entsprechend den vom Benutzer definierten Fenstergrößen verändert werden, um ein Beispiel zu nennen. Wenn die Zwangsbedingungen nicht verletzt sind, wird eine Blockierungsflagge Flock bei 76 gelöscht und die Anzeige wird durch einen visuellen Verwaltungsprozess 77 aktualisiert. Wenn eine Verletzung der Zwangsbedingung 1 festgestellt wird, versucht bei 73 der Strang, Anzeigeströme zu entfernen, die einem stummen Audiokanal entsprechen, bis eine Einhaltung der Zwangsbedingungen erzielt ist. Dann wird die Verriegelungsflagge bei 76 gelöscht und die Anzeige wird bei 77 aktualisiert.
Wenn es unzureichende Stummelströme gibt, versucht der Strang bei 74, die Anzeigeströme zu entfernen, die dem am wenigsten aktiven Audiostrom entsprechen, bis die Einhaltung der Zwangsbedingung 1 erzielt ist. Wenn eine Einhaltung erzielt ist, wird die Verriegelungsflagge bei 76 gelöscht, anderenfalls wird die Flagge bei 75 gesetzt und die Anzeige aktualisiert.
Verletzungen anderer Zwangsbedingungen werden zweckmäßiger durch andere Stränge behandelt, um ein asynchrones oder synchrones Ansprechverhalten nach Wunsch zu erzielen. Dies kann die Aufrechterhaltung eines optimalen Kompromisses zwischen einem schnellen Ansprechverhalten auf Änderungen von Bedingungen und der gleichzeitigen Vermeidung eines störenden schwingenden Ansprechverhaltens unterstützen.
Die Feststellung, welche Ströme stumm oder weniger aktiv sind, erfolgt durch die T-Strom-Aktivitätsüberwachung 33, die in den 5b und 6 gezeigt ist und weiter unten ausführlicher erläutert wird. Die Arten der Einstellungen, die als Antwort auf ein GUI-Ereignis geändert werden können, wird ausführlicher unter Bezugnahme auf die ausführliche Beschreibung der GUI erläutert.
MDM-Strang 2 Konsistenzprüfung, 9
9 zeigt einen Überblick dieses Stranges in schematischer Form. Verletzungen einer Reihe von Zwangsbedingungen werden bei 100 festgestellt und bei 100 aufgelöst, bevor die angezeigten Ströme bei 103 aktualisiert werden. Wenn keine Verletzungen festgestellt werden, wird im Schritt 102 ein Versuch gemacht, zusätzliche Ströme anzuzeigen, wenn dies die Ressourcen zulassen.
Ein Beispiel, wie der Strang realisiert werden könnte, ist ausführlicher in 10 gezeigt. Dieser Strang wird periodisch wiederholt, und die Periode kann entsprechend der erforderlichen Ansprechgeschwindigkeit bestimmt werden. Es kann passend sein, diesen Strang beispielsweise alle 2 bis 10 Sekunden zu wiederholen.
Nach einer Warteperiode bei 105 wird die Verriegelungsflagge bei 106 geprüft. Wenn sie gelöscht ist, ist die erste zu prüfende Zwangsbedingung die Zwangsbedingung 3, die sich auf eine äußere Netzwerküberlastung bezieht. Wenn diese Zwangsbedingung kritisch ist, wie dies durch die Überlastungsanalyse-Überwachung (CAM) 31 bei 108 festgestellt wird, werden alle Anzeigeströme, die diese Zwangsbedingung verletzen, aus der Anzeige entfernt, und eine Flagge, die eine äußere Netzwerküberlastung anzeigt, wird bei 109 gesetzt. Nachdem die Anzeige bei 110 aktualisiert wurde, wird ein Alterungszähler für die Überlastungsflagge für das äußere Netzwerk bei 111 aktualisiert, so dass sich die Flagge selbst nach einer Zeitperiode löscht, um es zu ermöglichen, dass die betroffenen Ströme in dem Fall erneut angefordert werden können, dass die äußere Netzwerküberlastung lediglich ein vorübergehender Zustand war. Die anderen Zwangsbedingungen werden nicht geprüft, bevor nicht die Zwangsbedingung für die äußere Netzwerküberlastung erfüllt ist.
Wenn bei 112 die äußere Netzwerk-Überlastungs-Zwangsbedingung erfüllt ist, so besteht der nächste Schritt in der Feststellung einer Verletzung der Zwangsbedingung 4, was eine kritische örtliche Netzwerküberlastung anzeigt. Es wird versucht, von der Anzeige den D Strom zu entfernen, der in seinem entsprechenden Audiostrom am stärksten still ist, und zwar aus denen, die die Überlastung zeigen (Schritt 113). Wenn die Zwangsbedingung 2, die sich auf Bandbreiten- und Gebühren-Zwangsbedingungen in dem Netzwerk bezieht, oder die Zwangsbedingung 5, die sich auf örtliche Computerressourcen bezieht, verletzt sind, so wird im Schritt 113 ein Versuch gemacht, von der Anzeige den D Strom zu entfernen, der in seinem entsprechenden Audiostrom am stärksten still ist. Wenn keine stillen T_Ströme im Schritt 113 gefunden werden, so wird bei 114 der Strom mit der geringsten Aktivität von der Anzeige entfernt. Wenn keine T_Ströme mit Aktivität gefunden werden, so wird angenommen, dass zuviele Anzeigeströme blockiert sind, um eine von Zwangsbedingungen freie Anzeige zu erzielen, und bei 115 wird die Verriegelungsflagge gesetzt, um dies wiederzugeben. Der Strang wird erneut durchlaufen, nachdem die äußere Überlastungsflagge bei 111 gealtert ist.
Wenn keine der vorstehend genannten Zwangsbedingungen verletzt ist, so wird bei 118 eine Unterausnutzung der Ressourcen dadurch festgestellt, dass abgeschätzt wird, ob alle Zwangsbedingungen sich in einem sicheren Zustand befinden, was bedeutet, dass sie sich nicht in der Nähe eines kritischen Zustandes befinden. In diesem Fall wird bei 119 der aktivste der noch nicht angezeigten Anzeigeströme bei 119 ausgewählt. Wenn es keine aktiven T_Ströme gibt, erfolgt eine Suche nach einem T_Strom in dem Stillezustand, und der am wenigsten stille Strom wird angezeigt. Anderenfalls wird der Strang wiederholt.
MDM-Strang 3, Ansprechverhalten auf neue T-Strom-Aktivität
11 zeigt einen Überblick. Der Strang wird durch eine neue T_Strang-Aktivität ausgelöst oder getriggert, die dem MDM von der T_Strom-Aktivitätsüberwachung 33 unter Verwendung der IPC zugeführt wird. Wenn eine Zwangsbedingungs-Verletzung bei 141 festgestellt wird, wird bei 143 eine Testaussendung ohne Anzeige durchgeführt, um festzustellen, ob die verfügbaren Ressourcen einen weiteren Strom zulassen. Wenn der Test erfolgreich war, wird der neue Strom bei 142 angezeigt, andernfalls wird er bei 144 zurückgewiesen.
12 zeigt ein Beispiel, wie der Strang realisiert werden könnte. Nach dem Ereignis bei 140 wird eine Prüfung bei 148 durchgeführt, um festzustellen, ob die Verriegelungsflagge oder die Dateiüberlastungsflagge gesetzt ist. Wenn dies der Fall ist, wird der Strang beendet. Anderenfalls wird bei 149 die Zwangsbedingung 1, die sich auf die Anzeigefähigkeiten bezieht, geprüft. Wenn die Zwangsbedingung verletzt ist, wird bei 150 eine Suche nach dem am stärksten stillen D_Strom ausgeführt, der zu ersetzen ist. Wenn einer gefunden ist, so ersetzt der neue Anzeigestrom den stillen Strom bei 151, und die Verwaltung der Anzeige wird bei 152 abgeschlossen. Anderenfalls wird, wenn kein stiller Strom gefunden wird, der Strang beendet.
Wenn keine Verletzung der Zwangsbedingung 1 festgestellt wurde, so wird bei 153 eine Unterausnutzung der Ressourcen dadurch festgestellt, dass bestimmt wird, dass die Zwangsbedingungen 2, 4 und 5 sich in einem sicheren Zustand befinden. Dies ermöglicht es, dass der neue Anzeigestrom sofort bei 157 dargestellt wird. Wenn eine oder mehrere der Zwangsbedingungen nicht sicher sind, so erfolgt eine Suche nach einem stillen D_Strom, der fortgelassen werden kann, bei 150, und wenn keiner gefunden wird, überprüft der Strang, ob keine kritischen Zustände in den Zwangsbedingungen 2, 4 oder 5 bestehen, bei 154, und tritt dann in eine Testbetriebsart ein. Dies beinhaltet eine nicht sichtbare Anzeige des neuen aktiven D_Stromes, um eine Überwachung von kritischen Kurzzeit-Verletzungen durchzuführen, bei 155, bevor der anzuzeigende Strom aktiviert oder er bei 156 entfernt wird, wenn kritische Verletzungen gefunden werden.
MDM-Strang 4, Neue Stille bei T-Strömen
13 zeigt einen Überblick über diesen Strang. Wenn ein neues Stille-Ereignis bei 200 eintritt, so wird der am stärksten aktive nicht dargestellte D_Strom dazu verwendet, einen stillen Strom bei 201 zu ersetzen.
14 zeigt ein Beispiel mit weiteren Einzelheiten, wie dieser Strang realisiert werden könnte. Nach dem Ereignis bei 200 sucht der Strang nach dem aktivsten Anzeigestrom, vorausgesetzt, dass ausreichende Ressourcen zur Verfügung stehen und vorausgesetzt, dass die äußere Überlastungsflagge gelöscht ist. Wenn keiner gefunden wird, endet der Strang. Wenn irgendwelche Ströme gefunden werden, wird bei 206 der stille Strom entfernt und der aktive Strom wird zur Anzeige bei 206 ausgewählt. Der visuelle Verwaltungsprozess erfolgt bei 207.
MDM-Strang 5, Schließen eines D-Stromes
15 zeigt einen Überblick über diesen Strang. Bei 240 beginnt der Strang bei einem D_Strom-Schließereignis 240, das dem MDM von dem Verläßlichkeits-Wahrnehmungsmodul 37 oder von dem D_Strom-Verarbeitungsmodul 28 und dem Netzwerk-Signalisierungsmodul 29 mitgeteilt wird. Bei 241 wird der geschlossene D_Strom durch den aktivsten nicht angezeigten D_Strom ersetzt.
Ein Beispiel, wie der Strang realisiert werden könnte, ist mit weiteren Einzelheiten in 16 gezeigt. Bei Feststellung der D_Strom-Schließereignisse 240 endet der Strang, wenn dieser D_Strom derzeit nicht angezeigt wird. Wenn er verriegelt und angezeigt wird, so sendet bei 241 der Strang eine Kommunikation an die GUI, die anzeigt, dass dieser Strang entriegelt werden sollte. Wenn der betreffende D_Strom derzeit angezeigt und nicht verriegelt ist, wird der geschlossene Strom von der Anzeige bei 240 entfernt. Bei 243 wird eine Suche nach dem am stärksten aktiven anzuzeigenden D_Strom ausgeführt, vorausgesetzt, dass ausreichende Ressourcen zur Verfügung stehen, und vorausgesetzt, dass deren äußere Überlastungsflagge gelöscht ist. In diesem Fall wird bei 244 der neue Strang angezeigt, und bei 245 wird der visuelle Verwaltungs-Aufnahmeprozess ausgeführt. Wenn kein aktiver Strom für eine Anzeige gefunden wird, so erfolgt eine Suche für irgendwelche Ströme in einem stillen Zustand bei 246. Der am wenigsten stille Strom wird ausgewählt, wenn ausreichende Ressourcen zur Verfügung stehen und wenn die äußere Überlastungsflagge gelöscht ist. Dieser Strom wird bei 244 angezeigt, anderenfalls endet der Strang.
Betriebsweise der Überwachungen
Informationen an die vorstehend beschriebenen Stränge werden von den verschiedenen, in 6 gezeigten Überwachungen zugeführt. Diese schließen die T-Strom-Aktivitätsüberwachung (TAM), die D_Strom-Integritätsüberwachung (DIM), die Arbeitsstations-Ressourcenüberwachung (WRM), die Überlastungsanalyse-Überwachung (CAM) und die Netzwerk-Rückführungsüberwachung (NFM) ein. Für jede dieser Überwachungen folgt eine Beschreibung, die Einzelheiten von Zählern, Zuständen, Variablen und Schwellenwerten einschließt, sofern passend.
T-Strom-Aktivitätsüberwachung (TAM), 17a
Beschreibung
Die TAM liefert eine Anzeige hinsichtlich des Zustandes des T_Stromes (entweder still oder aktiv) sowie eines Grades der Stille oder Aktivität. Dies unterstützt das MDM bei der Auswahl zwischen zwei oder mehr Kandidatenströmen (zur Anzeige oder Beendigung der Anzeige).
Für jeden Zeitschlitz (der eine feste Dauer aufweist) wird, wenn eine Aktivität auf dem T_Strom vorhanden ist, der Zähler TAM_DEGREE nach oben weitergeschaltet, anderenfalls wird er nach unten weitergeschaltet, wenn keine Aktivität vorliegt. Damit ein AKTIVITÄTS-Ereignis eintritt, muss der TAM_HI_THR-Schwellenwert überschritten werden, und in ähnlicher Weise tritt ein STILLE-Ereignis ein, wenn TAM_LOW_THR unterschritten wird. Wenn eine Aktivität festgestellt wird, so wird das passende Ereignissignal abgegeben und die Zustandsanzeige TAM_STATE wird aktualisiert.
Wünschenswerte Eigenschaften
Es ist wünschenswert, ein relativ schnelles Ansprechverhalten auf eine NEW-Aktivität zu haben. Das System sollte jedoch nicht übermäßig empfindlich sein, was von der passenden Einstellung der verschiedenen Variablen abhängt. Das System sollte weiterhin nicht zu schwingen beginnen, was der Zweck des Toleranzbereiches ist.
Variablen

TAM_MIN = Minimaler Wert des Zählers (Null)
TAM_MAX = Maximaler Wert des Zählers (Auswirkungen auf die Speicher/Stilleperiode)
TAM_HI_THR = Schwellenwert, der die untere Begrenzung des Aktivitätsbereiches begrenzt
TAM_LOW_THR = Schwellenwert der die obere Begrenzung des Stillebereiches abgrenzt
TAM_STATE = {0 = Stille | 1 = Aktiv}
TAM_DEGREE = Bereich {TAM_MIN, TAM_MAX}
ZEITSCHLITZ = Feste Zeiteinheit, die einem Medientyp gemein ist.

17a(i) zeigt den Bereich von Werten, die der Zähler TAM_DEGREE zwischen minimalen und maximalen Werten annehmen kann. Ein Zähler kann bei jedem Zeitschlitz vergrößert oder verkleinert werden. Der Zählerzustand TAM_STATE kann entweder still oder aktiv sein, entsprechend dem Wert des Zählers. Ein Toleranzintervall ist vorgesehen, um eine gewisse Hysterese beim Übergang zwischen den stillen und aktiven Zuständen zu erzielen.
Die Betriebsweise der Überwachung ist in 17a(ii) gezeigt. Bei 250 wird die momentane T_Strom-Aktivität innerhalb des laufenden Zeitschlitzes festgestellt, und der Zähler wird bei 251 weitergeschaltet. Bei 252 wird festgestellt, ob der Zähler den Übergang von dem Toleranzbereich zu dem aktiven Bereich überquert. Wenn dies der Fall ist, so wird bei 253 das neue Aktivitätsereignis an das MDM übertragen. Wenn die schrittweise Änderung keinen Übergang von dem Toleranzbereich zu dem Aktivitätsbereich hervorruft, was durch eine Überquerung des TAM_HI_THR-Schwellenwertes in 17a(i) angezeigt wird, endet der Strang. Wenn keine Aktivität festgestellt wird, wird der Zähler bei 254 heruntergeschaltet, und bei 255 wird festgestellt, ob das Herunterschalten des Zählers zu einem Überqueren des Schwellenwertes TAM_LOW_THR geführt hat, wie dies in 17a(i) gezeigt ist. Wenn dies der Fall ist, so wird bei 256 eine Kommunikation an das MDM gesandt, um ein neues Stille-Ereignis anzuzeigen.
Es ist zu erkennen, dass die Schwellenwerte und die Zeitschlitz-Periode sowie die maximalen und minimalen Zählerwrerte eingestellt werden können, um ein in geeigneter Weise schnelles Ansprechverhalten auf die neue Aktivität zu erzielen, ohne dass das MDM mit zu vielen Mitteilungen überflutet wird, die durch unvermeidbare kurze Stille-Perioden beispielsweise während der Sprache hervorgerufen werden.
D-Strom-Integritätsüberwachung (DIM), 17b
Beschreibung
Die DIM liefert eine Kurzzeit-Anzeige hinsichtlich des Zustandes des D Stromes. Entweder ein Datenverlust oder verfehlte Zeitfristen stellen einen Integritätverlust (LOI) dar, der durch die DIM_Status-Variable angezeigt ist. Der DIM_DEGREE-Zähler wird auf eine Prozentzahl normalisiert, die den Grad der Integrität anzeigt, den der Strom aufweist. Die DIM unterstützt das MDM durch Anzeigen der Eigenart (entweder örtlich oder extern) des LOI sowie der Korrelation, die zwischen verschiedenen D Strömen vorhanden ist, die einen LOI erfahren. Für jeden Zeitschlitz (der eine feste Dauer aufweist) wird ein D_Strom auf einen momentanen LOI überwacht. Falls dieser festgestellt wird, wird DIM_DEGREE durch DIM_LOSS_FACTOR (DLF) weitergeschaltet. Der DLF ist nicht nur für einen Medientyp spezifisch, sondern auch für einen bestimmten Medienstrom. Er stellt die maximale zulässige Verlustrate dar, die nicht wesentlich die wahrgenommene Medienstrom-Darstellung beeinträchtigen sollte. Wenn beispielsweise angenommen wird, dass der D_Strom einen Videostrom mit 20 Rahmen pro Sekunde darstellt, wobei der Zeitschlitz äquivalent zu der Dauer eines Videorahmens ist (0,05 s), so sollte der DLF auf 10 gesetzt werden, um anzuzeigen, dass eine Verlustrate von einem Rahmen von 10 Rahmen akzeptabel ist.
Wenn kein momentaner LOI in einem Zeitschlitz festgestellt wird, so wird DIM_DEGREE heruntergeschaltet. Damit ein neues LOI-Ereignis eintritt, muss der DIM_HI_THR-Schwellenwert überschritten werden, und in ähnlicher Weise tritt ein neues Integritäts-Ereignis auf, wenn DIM_LOW-THR unterschritten wird. Wenn ein Ereignis festgestellt wird, wird das passende Ereignissignal abgegeben und die Zustandsanzeige DIM_STATE wird aktualisiert.
Wünschenswerte Eigenschaften
Es ist wünschenswert, eine gewisse Toleranz für vorübergehende LOI zu haben, doch sollte ein andauernder LOI festgestellt und in geeigneter Weise behandelt werden. Das System sollte jedoch nicht übermäßig empfindlich sein, was von einer geeigneten Einstellung der verschiedenen Variablen abhängt. Das System sollte außerdem nicht zu schwingen beginnen, was der Zweck des Toleranzbereiches ist.
Variablen

DIM_MIN = Minimaler Wert des Zählers DIM_DEGREE (Null)
DIM_MAX = Maximaler Wert des Zählers DIM_DEGREE (Auswirkungen auf die Speicher/Stille-Periode)
DIM_HI_THR = Schwellenwert, der die untere Begrenzung des LOI-Bereiches abgrenzt
DIM_LOW_THR = Schwellenwert, der die obere Begrenzung des Integritätsbereiches abgrenzt
DIM-STATE = {Integrität | LOI}
DIM_DEGREE = BEREICH [DIM_MIN, DIM_MAX] auf einen prozentualen Wert normalisiert
ZEITSCHLITZ = Feste Zeiteinheit, gemeinsam für einen Medientyp,
DIM_LOSS_FACTOR (DLF) = Medienstrom- und Typ-spezifische Verlusttoleranzzahl
DIM_INT = Konstanter Medientyp-Multiplikationsfaktor von DLF, ermöglicht einen Toleranzbereich für den Anfangsverlust
DIM_GRACE = Konstanter Medientyp-Multiplikationsfaktor von DLF. Dämpft Schwingungen.
DIM_LOI = Konstanter Medientyp-Multiplikationsfaktor von DLF. Bestimmt den Grad des „Kurzzeit"-Speichers.

17b(i) zeigt den Bereich des Zählers DIM_DEGREE zwischen minimalen und maximalen Werten. Der Zähler kann den Zustand des Integritätsverlustes (LOI) oder die Integrität zeigen. Ein Toleranzintervall ist vorgesehen, um eine Hysterese in den Übergängen zwischen Zuständen zu erzielen.
Wie dies in 17b(ii) bei 260 gezeigt ist, wird, wenn irgendein Verlust an Integrität momentan in dem D Strom festgestellt wird, auf den sich der Strang bezieht, der Zähler durch eine Anzahl von Einheiten entsprechend dem DLF aufwärts geschaltet. Durch Weiterschalten des Zählers um mehr als eine Einheit und gleichzeitiges Abwärtsschalten um eine Einheit pro Zeit wenn kein Integritätsverlust festgestellt wird, kann bei 264 das System gegenüber unterschiedlichen annehmbaren Rahmenverlustraten empfindlich gemacht werden.
Bei 262 wird festgestellt, ob der Schwellenwert DIM_HI_THR überschritten ist. Wenn dies der Fall ist, so wird bei 263 das MDM alarmiert. Anderenfalls endet der Strang. Wenn ein bekannter Verlust an Integrität festgestellt wird, wird der Zähler bei 264 heruntergeschaltet, und bei 265 wird festgestellt, ob der Zähler den Übergang zu dem Integritätszustand durchlaufen hat, in dem ein Vergleich mit dem Schwellenwert DIM_LOW_THR gemäß 17b(i) durchgeführt wird. Wenn dies der Fall ist, wird eine Anzeige eines neuen Integritätsereignisses an das MDM gesandt.
Arbeitsstations-Ressourcenüberwachung, WRM, 17c
Beschreibung
Die WRM ergibt eine Kurzzeit-Anzeige des Zustandes verschiedener Arbeitsstations-Ressourcen, wie z. B. der CPU, des Speichers und der Netzwerk-Bandbreitenbenutzung. Für jede Ressource wird eine Überwachung geschaffen, die sich in einer von drei möglichen Zuständen befinden kann, nämlich sicher, Warnung oder kritisch. Die WRM_WARN- und WRM_CRIT-Variablen können so eingestellt werden, dass sie die Nutzungswerte bestimmen, die diese Ereignisse auslösen. Wenn die Überwachung den Zustand ändert, wird ein Signal zum Alarmieren des MDM ausgesandt.
Die Variable WRM_NUM_SAMPLES_i wird dazu verwendet, die Anzahl der vergangenen Abtastproben zu bestimmen, die in die Mittelwertberechnung eingefügt werden sollten. Dies ergibt eine gewisse Abwehr von Sprüngen, führt jedoch dazu, dass die Überwachung langsamer auf eine Überausnutzung der Ressourcen anspricht. WRM_NUM_SAMPLES_i sollte auf der Grundlage der Granularität des Zeitschlitz-Wertes und der gewünschten Empfindlichkeit der Überwachung bemessen werden.
Die Variable WRM_DEGREE_i wird zur Beibehaltung absoluter Ressourcenmengen-Werte verwendet. Sie kann periodisch von dem MDM abgefragt werden. Ein Beispiel könnte die momentane Netzwerk-Bandbreitennutzung zu einem bestimmten Zeitpunkt sein, die zur Überwachung von vom Benutzer festgelegten Gebührengrenzen erforderlich sein kann.
Variablen

WRM_STATE_i = {SICHER | WARNUNG | KRITISCH}, Zustand der Ressourcenüberwachung i.
WRM_NUM_SAMPLES_i = (WNSi) = Anzahl der vorhergehenden Abtastproben, die den dem? Mittelwertbildungsprozess eingeschlossen werden sollen.
WRM_DEGREE_i = Ressourcenspezifische absolute Größe
ZEITSCHLITZ = Feste Zeiteinheit, die zur periodischen Abfrage von Ressourcen verwendet wird.
WRM_WARN = Bestimmt die Begrenzung zwischen den sicheren und Warn-Ereigniszuständen.
WRM_CRIT = Bestimmt die Begrenzung zwischen den Warn- und Kritisch-Ereigniszuständen.

17c(i) erläutert den Bereich von Werten von WRM_i, der durch einen Prozentsatz seines maximalen Wertes ausgedrückt ist. Die Schwellenwerte WRM_WARN und WRM_CRIT trennen den Bereich von möglichen Werten in sichere, Warn- und kritische Zustände.
Wie dies in 17c(ii) gezeigt ist, wird eine Abtastprobe der Ressourcen-Ausnutzung bei 270 genommen, bei 271 gemittelt, und der Zustand wird bei 272 aktualisiert. Wenn sich der Zustand geändert hat, wird das MDM bei 273 alarmiert.
Überlastungs-Analyse-Überwachung (CAM), 17d
Beschreibung
Die Überlastungs-Analyse-Überwachung (CAM) empfängt Eingangssignale von der oder den D_Strom-Integritätsüberwachungen (DIM's) und der Netzwerk-Rückführungs-Überwachung (NFM) die über irgendeinen LOI oder eine Überlastung informiert, die an den ankommenden D Strömen auftritt. Sie verarbeitet diese Eingänge in einer derartigen Weise, dass sie als Ausgang an das Mitgliedschafts-Entscheidungsmodul (MDM) eine Anzeige darüber liefern kann, bei welchen Strömen eine örtliche gegenüber einer äußeren oder externen Netzwerküberlastung auftritt. Die Ausgangsinformation wird in Form von zwei Paaren von {Setz-, Status-}-Variablen geliefert, die anzeigen, dass der spezielle D Strom entweder eine örtliche oder äußere Überlastung erfährt, bzw. einen Zustand, der das Ausmaß der Überlastung anzeigt.
Der zum Aufbau dieser zwei Paare von Variablen verwendete Prozess ist in 17d(i) im Überblick gezeigt. Die NFM wird als die Hauptanzeige für eine äußere Überlastung betrachtet, so dass diese Anzeigen unmittelbar dazu verwendet werden, um das Setzen der äußeren Überlastungsvariablen CAM_F_SET bei 300 zu schaffen. Wenn die DIM berichtet, dass eine Mehrzahl (CAM_CRIT_PER) von empfangenen D_Strömen irgendeine Form von LOI aufweist, so wird ein kritischer örtlicher Integritätsverlust bei 301 angenommen (was eine massive örtliche Überlastung in dem Netzwerk bedingt) und dies wird an das MDM übermittelt. Anderenfalls wird ein zweistufiger Prozess realisiert, um festzustellen, ob irgendeine Art von Korrelation zwischen den Ausmaßen des LOI besteht, der bei überlasteten D_Strömen auftritt. Der erste Schritt bei 302 versucht zu identifizieren, ob eine Teilmenge von überlasteten D_Strömen (mit zumindest CAM_MAJ_PER %) vorliegt, die DIM_DEGREE's innerhalb einer Standardabweichungszahl (CAM_MAJ_STD) von dem Mittelwert (μ) des vollständigen Satzes aufweisen. Der erste Schritt prüft auf eine sehr eng korrelierte Mehrzahl von D Strömen und würde daher einen kritischen Überlastungszustand anzeigen, der an das MDM übermittelt wird. Wenn diese Situation nicht festgestellt wird, wird das gleiche erneut versucht, jedoch mit lockereren Zwangsbedingungen (CAM_MINOR_PER, CAM_MINOR_STD) bei 303. Diese Situation würde lediglich eine Warn-Flagge an das MDM liefern. Wenn das Vorliegen eines der vorstehenden zwei Bedingungen festgestellt wird, werden die mit diesen Bedingungen übereinstimmenden Strom-Identifikationen zu dem CAM_L_SET hinzugefügt und die CAM_L_STATUS-Flagge wird passend gesetzt. Nach diesem Punkt werden irgendwelche überlasteten D Ströme, die verbleiben, bei 304 so betrachtet, als ob sie durch eine äußere Netzwerküberlastung hervorgerufen werden, und sie werden zu dem Satz von CAM_F_SET hinzugefügt. CAM_F_STATUS wird passend aktualisiert. Die Ergebnisse werden dann bei 305 an das MDM übertragen.
Akronyme
CAM: Überlastungsanalyse-Überwachung, DIM: D_Strom-Integritätsüberwachung, NFM: Netzwerk-Rückführungsüberwachung, MDM: Mitgliedschafts-Entscheidungsmodul.
Variablen

CAM_LOI_SET = {Satz von Strom-Identifikationen}: ein anfänglich leerer Satz, der mit allen den Strom-Identifikationen bevölkert wird, von denen die DIM anzeigt, dass sie irgendeinen LOI aufweisen (DIM_STATUS = LOI).
CAM_F SET = {Satz von Strom-Identifikationen}: ein anfänglich leerer Satz, der von den CAM_LOI_SET mit den Identifikationen der Ströme bevölkert wird, von denen die CAM annimmt, dass sie irgendeine Form einer äußeren Überlastung erleiden.
CAM_F_STATE = {SICHER | KRITISCH}: zeigt an, dass eine äußere Netzüberlastung vermutet wird.
CAM_L_SET = {Satz von Strom-Identifikationen}: ein anfänglich leerer Satz, der von dem CAM_LOI_SET mit den Identifikationen von Strömen bevölkert wird, von denen die CAM annimmt, dass sie irgendeine Form einer örtlichen Überlastung erleiden.
CAM_L_STATE = {SICHER | WARNUNG | KRITISCH}: zeigt den Grad der örtlichen Netzwerküberlastung an, der vermutet wird.
MITTELWERT (μ): der statistische Mittelwert der DIM GRAD-Werte von allen Strömen in dem Satz CAM LOI SET.
CAM_CRIT_PER: die minimale Prozentzahl aller Ströme, die einen LOI aufweisen, müssen, damit eine kritische örtliche Überlastung vorliegt (typischerweise ungefähr 90%).
CAM_MAJ_STD: ein Standardabweichungswert
CAM_MAJ_PER: der minimale prozentuale Teil aller Ströme in dem Satz CAM_LOI_SET, der einen DIM_GRAD innerhalb eines Bereiches von CAM_MAJ_STD um den Mittelwert (μ) aufweisen muss (typischerweise ungefähr 75%).
CAM_MINOR_STD: ein Standardabweichungswert.
CAM_MINOR_PER: der minimale prozentuale Teil aller Ströme in dem Satz
CAM_LOI_SET, der einen DIM_GRAD innerhalb eines Bereiches von CAM_MINOR_STD um den Mittelwert (μ) aufweisen muss (typischerweise ungefähr 50%).
ZEITSCHLITZ = Feste Zeiteinheit, die für periodische Zustandsberechnungen verwendet wird.

Die 17d(ii) und 17d(iii) zeigen die Betriebsweise der CAM mit weiteren Einzelheiten. Bei 310 wird der CAM_LOI_SET aufgebaut und zeigt alle überwachten Ströme, die einen Integritätsverlust aufweisen. Bei 311 wird der CAM_F_SET unter Bezugnahme auf die NFM für Informationen darüber aufgebaut, welche der Ströme in dem CAM_LOI_SET eine äußere Überlastung zeigen. Wenn der CAM_F_SET nicht leer ist, so wird eine Anzeige der Sätze und Zustände an das MDM bei 313 geliefert. Anderenfalls wird bei 314 die kritische örtliche Überlastung durch Bezugnahme auf Variable CAM_CRIT_PER festgestellt. Wenn eine kritische örtliche Überlastung besteht, so wird bei 315 der CAM_L_SET dadurch aufgebaut, dass alle Ströme von dem CAM_LOI_SET zu dem CAM_L_SET bewegt werden, selbst wenn es einen kleinen prozentualen Teil von Strömen gibt, die keinen Verlust an Integrität zeigen. Es wird angenommen, dass eine große Gefahr besteht, dass sie die Integrität verlieren.
Wenn keine kritische örtliche Überlastung bei 314 festgestellt wird, so wird bei 316 der vorbereitende Schritt der Berechnung des mittleren Grades eines Verlustes an Integrität aller der Ströme in dem Satz CAM_LOI_SET durchgeführt.
Bei 317 wird festgestellt, ob es einen großen prozentualen Teil der Ströme in dem CAM_LOI_SET gibt, die ein Ausmaß an Integrität ähnlich dem Mittelwert haben, wobei ein Standardabweichungswert verwendet wird. Wenn dies der Fall ist, wird der CAM_L_SET bei 318 aufgebaut, wobei angenommen wird, dass der Rest der Ströme eine äußere Überlastung als die Ursache des Integritätsverlustes hat, und zwar bei 321, und der neue Zustand und die neuen Sätze werden bei 322 an das MDM übertragen.
Wenn bei 319 keine größere Korrelation vorliegt, wird eine kleinere Korrelation unter Verwendung von CAM_MINOR_PER verwendet, um festzustellen, ob ein kleinerer prozentualer Teil der Ströme ein Ausmaß an Integritätsverlust in der Nähe des Mittelwertes hat. Wenn dies der Fall ist, wird der CAM_L_SET bei 320 aufgebaut, der Grad der örtlichen Netzwerküberlastung wird auf den wahren Zustand gesetzt, und es wird bei 321 angenommen, dass der verbleibende Verlust an Integrität durch eine äußere Netzwerküberlastung hervorgerufen wird. Wie vorher werden die neuen Sätze und Zustände an das MDM bei 322 übertragen.
Netzwerk-Rückführungs-Überwachung (NFM), 17e,
Beschreibung
Die Netzwerk-Rückführungs-Überwachung (NFM) liefert der Überlastungs-Analyse-Überwachung (CAM) eine Überlastungs-Zustands-Anzeige für alle ankommenden D_Ströme auf der Grundlage einer spezifischen Netzwerk-Rückführung. Diese Anzeigen ermöglichen es der NFM hauptsächlich, festzustellen, ob irgendein beobachteter LOI sich aufgrund von örtlichen Netzwerk-Beeinträchtigungen ergibt, oder ob sie an einer externen Stelle innerhalb des Netzwerkes auftreten. Die Netzwerk-Rückführung würde entweder durch Netzwerk-Bauteile, die eine Beeinträchtigung feststellen, oder durch andere Empfänger erzeugt, die ihre eigene persönliche Ansicht des Netzwerkes bereitstellen. Wie dies in 17e gezeigt ist, stellt die NFM bei 331 irgendeinen LOI in den empfangenen Netzwerk-Rückführungsmeldungen fest, die bei 330 verarbeitet werden und sich auf einen vorgegebenen D_Strom beziehen. Wenn dieser einen bestimmten Schwellenwert NFM_THR_i übersteigt, versucht sie, die angenäherte Position der Beeinträchtigung zu bestimmen. Wenn die Netzwerk-Rückführung anzeigt, dass zumindest NFM_CRIT_PER_i % aller anderen Benutzer, die diesen Strom empfangen, einen ähnlichen LOI feststellen (Schritt 232), so wird angenommen, dass sich die Beeinträchtigung in dem Netzwerk in der Nähe der Quelle des Stromes befindet. Somit wird sie als FOREIGN oder extern (Schritt 335) bezeichnet, anderenfalls wird sie als LOCAL (örtlich) (Schritt 333) bezeichnet. In jedem Fall versucht die NFM eine informierte Entscheidung über die Ursprünge des LOI zu machen. Die Variable NFM_STATE_i wird zur Aufzeichnung der derzeitigen Quelle der Beeinträchtigung verwendet, wenn diese vorhanden ist. In dem Fall, dass sich NFM_STATE_i ändert, wird ein Signal im Schritt 334 abgegeben, das die CAM über dieses neue Ereignis informiert.
Ein Beispiel einer möglichen Form einer Netzwerk-Rückführung sind Echtzeit-Steuerprotokoll-(RTCP-)Pakete, die einen Teil des IETF-Echtzeitprotokolls (RTP) bilden. In diesem Szenarium führen Teilnehmer eine Rundsendung von Statusmeldungen aus, die andere über die Einzelheiten der Medienströme informieren, die sie aussenden und empfangen. Dies informiert Teilnehmer nicht nur darüber, was sie empfangen sollten, sondern ergibt auch eine Anzeige über die Qualität, die von anderen empfangen wird.
Variablen

NFM_STATE_i = {NONE | ÖRTLICH | EXTERN} LOI-Quelle für den D_Strom_i
NFM_CRIT_PER_i (NCPi) = Minimal erforderlicher prozentualer Teil von Empfängern, die LOI aufweisen, um ein externes LOI-Ereignis zu bilden.
NFM_THR_i = Verlustschwellenwert, der überschritten werden muss, damit ein LOI-Ereignis vorliegt
ZEITSCHLITZ = Feste Zeiteinheit, die für periodische Zustandsberechnungen verwendet wird

Konferenz-Wahrnehmungsmodul, 18a,
Beschreibung
Das Konferenz-Wahrnehmungsmodul dient dazu, dem örtlichen Benutzer/Konferenzteilnehmer eine gleichförmige Ansicht der Konferenzumgebung zu liefern. Dies beinhaltet die Kenntnis darüber, wer an der Konferenz teilnimmt, sowie welche Medienströme sie für einen Empfang bieten. Drei Mitteilungen werden nachfolgend definiert, die dazu dienen, die Ansichten der Konferenzumgebung für alle Konferenzteilnehmer auf einen aktuellen Stand zu halten. Das Konferenz-Wahrnehmungsmodul führt eine Konferenz-Benutzer-Zustandsdatenbank (351). Diese Datenbank wird zum Beibehalten aller der gesammelten Information über andere Konferenzteilnehmer, die Medienströme, die sie anbieten und zusätzlich der GUI-Einstellungen des örtlichen Benutzers für den Empfang von Medienströmen verwendet. Die Datenbank ist daher auch für die grafische Benutzerschnittstelle sowie das Mitgliedscharts-Entscheidungsmodul für eine Aktualisierung zugänglich.
Wie dies in 18a gezeigt ist, können die Funktionen des Konferenz-Wahrnehmungsmoduls in eine Empfangsfunktion 350 und eine Sendefunktion 352 unterteilt werden. Die Empfangsfunktionen schließen das Horchen auf periodische KEEP_ALIVE_MSG-Mitteilungen, die Anforderung und den Empfang von INFORM MSG-Mitteilungen (siehe unten) und die Aktualisierung der Benutzer-Zustandsdatenbank ein.
Die Sendefunktionen schließen das Aussenden anfänglicher INFORM_MSG-Mitteilungen an alle Konferenzteilnehmer, das Senden periodischer KEEP_ALIVE_MSG-Mitteilungen an alle Konferenzteilnehmer, das erneute Aussenden von KEEP_ALIVE_MSG-Mitteilungen, wenn sich die GUI-Einstellungen ändern, das Antworten auf INFORM_MSG-Mitteilungs-Anforderungen und das Senden einer LEAVE_MSG-Mitteilung an alle Konferenzteilnehmer bei der Beendigung ein.
Mitteilungen:
INFORM_MSG: diese Mitteilung wird anfänglich rundgesendet, wenn ein Benutzer der Konferenz beitritt und wird dann nachfolgend in einer Punkt-zu-Punkt-Weise bei einer individuellen Anforderung ausgesandt. Sie liefert persönliche Informationen über einen Konferenzteilnehmer, wie z. B. Name, Standbild des Benutzers, Postadresse, Telefonnummern, usw., ist jedoch nicht erforderlich, um Medienströme zu empfangen. Das Format dieser Mitteilung ist wie folgt: {Inhaber-IP & Port-Adresse, Name, Alias, Bild, Postadresse, Telefon, E-Mail}.
KEEP_ALIVE_MSG: wird periodisch (oder jedesmal dann, wenn sich örtliche Einstellungen ändern) im Rundsendeverfahren ausgesandt, um andere über die Medienstrom-Angebote des örtlichen Konferenzteilnehmers zu informieren. Diese Mitteilung wirkt weiterhin als ein „Herzschlag", um andere über das Vorhandensein eines Konferenzteilnehmers zu informieren. Das Format dieser Mitteilung ist wie folgt:
{Inhaber-IP & Port-Adresse, Medium [Typ, ID, Name, Rundsende-IP und Port-Adresse], ..., Medien [...]}. Inhaber-IP & Port identifiziert einfach den Inhaber des Medienstromes oder der Medienströme und liefert gleichzeitig eine „Rückrufadresse", falls eine INFORM_MSG erforderlich ist. Ein Medien-Tupel ist für jeden Medienstrom erforderlich, der von dem Inhaber angeboten wird. Er besteht aus einer vorher zugeordneten „Typ"-Identifikation (wie z. B. CD-AUDIO), einer „ID", um dieses Medium eindeutig innerhalb einer Maschine zu identifizieren, einem „Namen", der innerhalb der grafischen Benutzerschnittstelle zu verwenden ist, und einer Medienstrom-Sammelsende-IP- und Port-Adresse, auf der dieser Strom zu empfangen ist. Es wird angenommen, dass ein Konferenzteilnehmer die Konferenzumgebung verlassen hat, wenn KEEP_ALIVE_MSG-Mitteilungen nicht nach einer Zeitablauf-Periode empfangen werden. Dies ist äquivalent dazu, dass ein Konferenzteilnehmer eine LEAVE_MSG-Mitteilung gesandt hat.
LEAVE_MSG: Diese Mitteilung wird zur Information anderer über die Absicht eines Konferenzteilnehmers verwendet, die Konferenzumgebung zu verlassen. Sobald sie rundgesendet wurde, bewirkt diese Mitteilung, dass alle anderen irgendeine Datenbankinformation bezüglich des Senders von ihrer Konferenzbenutzer-Zustandsdatenbank entfernen. Das Format dieser Mitteilung ist wie folgt: {Inhaber-IP & Port-Adresse, Schluss-Anzeige}.
Sende- und Empfangsprozesse
18b zeigt den Gesamt-Sendeprozess. Eine anfängliche INFORM_MSG-Mitteilung wird bei 360 ausgesandt. Bei 361 wartet der Prozess für den Ablauf eines Zeitintervalls oder eine Änderung in den GUI-Einstellungen, bevor eine KEEP_ALIVE_MSG-Mitteilung bei 362 rundgesendet wird. Bei 363 erfolgt ein Schleifenrücksprung zum Anfang des Schrittes 361, sofern kein Beendigungssignal empfangen wurde, wobei in diesem Fall eine LEAVE_MSG-Mitteilung bei 364 rundgesendet wird. Parallel spricht im Schritt 365 der Prozess auf eine INFORM_MSG-Anforderung an und sendet seine eigene INFORM_MSG-Mitteilung in einer Punkt-zu-Punkt-Weise auf Anforderung.
18c zeigt den Empfangsprozess für das Konferenz-Wahrnehmungsmodul. Bei 370 wartet der Prozess auf das Eintreffen von rundgesendeten KEEP_ALIVE_MSG-Mitteilungen oder INFORM_MSG-Mitteilungen 370. Bei 371 wird, wenn eine Notwendigkeit zur Anforderung einer INFORM_MSG-Mitteilung zum Gewinnen von Informationen über andere Benutzer besteht, die INFORM_MSG-Anforderung bei 374 ausgesandt, und eine Antwort wird bei 375 erwartet. Falls erforderlich, wird die Konferenzbenutzer-Zustandsdatenbank bei 372 aktualisiert, und die GUI und das MDM werden über die Aktualisierung bei 373 alarmiert, und die Schleife wird durch eine Rückkehr zum Schritt 370 fortgesetzt.
Andere Teile des in 5b gezeigten Endgerätes werden nunmehr beschrieben.
Grafische Benutzerschnittstelle, 19
Die grafische Benutzerschnittstelle (GUI) hat vier Hauptfunktionen, die es einem Benutzer ermöglichen, mit einer Konferenzumgebung in Wechselwirkung zu treten und diese zu steuern:

1. Sie bietet eine genaue Ansicht der Konferenzumgebung: die GUI liefert eine ausführliche Ansicht aller Konferenzteilnehmer, die an der Konferenzumgebung teilnehmen, über ein kleines Standbild des Benutzers, persönliche Informationen (wie z. B. Name und Postadresse) sowie über kleine Piktogramme, die die Medienströme darstellen, die sie anbieten (beispielsweise Audio-, Video- oder Standbild-Ströme). Wenn Benutzer der Konferenzumgebung beitreten oder diese verlassen oder die Medienströme ändern, die sie anbieten, aktualisiert die GUI diese Ansicht automatisch.
2. Sie ermöglicht es einem Benutzer, eine kundenspezifische Betrachtungs-Richtlinie festzulegen: es werden nicht nur Medienströme angeboten, die visuell über Piktogramme dargestellt werden, sondern diese können durch den örtlichen Benutzer manipuliert werden, um in verschiedenen Betriebsarten zu arbeiten. Das Video-Piktogramm, das durch eine kleine Kamera dargestellt ist, ist ein Dreizustands-Umschalter. Wenn auf dieses Piktogramm mit einer Maus geklickt wird, ist der Benutzer in der Lage, zwischen Stummschaltungs-, verriegelten und getriggerten Betriebsarten umzuschalten. Die Stummschaltungs-Betriebsart zeigt an, dass der Benutzer niemals diesen Videostrom sehen will. Die verriegelte Betriebsart zeigt an, dass der Benutzer immer diesen Videostrom sehen möchte, unabhängig von den verfügbaren Ressourcen. Die getriggerte Betriebsart zeigt an, dass der Benutzer lediglich dann diesen Videostrom sehen will, wenn der zugehörige Audio-Strom aktiv ist und die Ressourcen dies zulassen. Andere Medientypen können in einer ähnlichen Weise betrieben werden. Eine automatisierte Vorgabe-Strombetrachtungsrichtlinie wird angeboten, die wahlweise von dem Benutzer übersteuert werden kann.
3. Sie ermöglicht es einem Benutzer, das Ausmaß der Ressourcen-Beschränkungen zu steuern: eine Vielzahl von Ressourcen kann von dem System überwacht werden, um die optimale Konferenzansicht von getriggerten Strömen zu liefern. Diese schließen Netzwerk-Ressourcen, Computerressourcen, ausdrückliche Gebührenbeschränkungen und physikalische Anzeigeressourcen ein. Der Benutzer ist frei, diese Ressourcen-einstellungen so strikt oder locker zu konfigurieren, wie dies erwünscht ist, um die eigenen Anforderungen zu erfüllen.
4. Sie liefert eine visuelle Rückführung über die Ressourcen-Nutzung: die GUI liefert weiterhin eine Anzeige an den Benutzer hinsichtlich der Ressource oder der Ressourcen, die Beschränkungen hinsichtlich der ausgewählten Betrachtungsrichtlinie auferlegen. Die visuelle Alarmanzeige ermöglicht es dem Benutzer, zu erkennen, welche Ressourcen sich in einem kritischen Nutzungsgrad befinden und entsprechend die resultierende Anzeige beeinträchtigen. Benutzer können als Vorgabe wählen, dass das MDM weiterhin die Anzeige entsprechend der Verfügbarkeit der Ressourcen begrenzt oder sie können alternativ das Ressourcen-Begrenzungsmerkmal übersteuern, wodurch die resultierende Qualität und Treue der Mediendarstellung verringert wird. Der Alarmbericht liefert einen ausführlichen Bericht, der sich auf die beobachteten Alarme bezieht.

Wie dies in 19 gezeigt ist, kann es ein Bildfeld für die Videokonferenz-Steuerung geben, das kleine Standbilder der Benutzer einschließt. Andere (nicht gezeigte) Fenster auf der gleichen Anzeige können die ausgewählten Videoströme von anderen Benutzern zeigen. In Abhängigkeit von den Fähigkeiten des Endgerätes können diese Fenster in passender Weise bewegt und bemessen werden, und zwar unter Steuerung des Benutzers oder entsprechend einer von dem Benutzer kontrollierten Richtlinie, beispielsweise um gewählte Konferenzteilnehmer hervorzuheben.
Richtlinien-Beispiele für eine dynamische Sammelsende-Gruppen-Mitgliedschaft
Die Steuerung der Mehrteilnehmer-Videokonferenz-Umgebung, die auch als „geschaltete Anwesenheitskontrolle" bezeichnet wird, wird durch eine dynamische Mitgliedschaft innerhalb verschiedener Sammelsende-Gruppen erzielt. Ein Konferenzteilnehmer wählt eine gewünschte virtuelle Ansicht der Konferenzumgebung aus, was eine Richtlinie bedingt, die festlegt, welche Ereignisse die Teilnahme und das Verlassen von Sammelsende-Gruppen auf Netzwerkbasis triggern. Es können viele Richtlinien auf der Grundlage der Art der Konferenz definiert werden, wie z. B. einer Vorlesung, einem Gruppentreffen oder einer geführten Tour. Als Beispiel sei angenommen, dass ein Teilnahme-Ereignis durch eine Audio-Aktivität (regelmäßiger Dialog) ausgelöst wird, die länger als T_J Sekunden andauert, während ein Verlassen-Ereignis durch eine Stilleperiode ausgelöst wird, die länger als T_L Sekunden andauert. In den meisten Fällen, in denen die Videokonferenz aus einem natürlichen Dialog zwischen Teilnehmern besteht, wird der Stilleperioden-Schwellenwert (T_L) wesentlich größer als der Aktivitäts-Schwellenwert (T_J) sein. Typischerweise würden Werte von T_L in der Größenordnung von zehn oder Hunderten von Sekunden liegen, während T_J typischerweise kleiner als zehn Sekunden sein würde. Die folgenden Richtlinien könnten realisiert werden:

a) Betrachte Video der j letzten Sprecher Bei dieser Richtlinie werden die Audioströme aller Konferenzteilnehmer überwacht, um die j letzten Sprecher auf der Grundlage der Beitritts-Ereignisse zu bestimmen. Die jedem dieser Audioströme zugeordneten Videoströme werden örtlich dargestellt, was eine Netzwerk-Signalisierung seitens des Teilnehmers beinhaltet, um eine Mitgliedschaft innerhalb von Sammelsende-Gruppen einzuleiten. Audioströme werden kontinuierlich überwacht, um Verlassen-Ereignisse festzustellen, die ebenfalls eine Netzwerk-Signalisierung bedingen würden, um die Entfernung aus einer Sammelsende-Gruppe anzufordern. Dies ist ein dynamischer und fortlaufender Prozess, der garantiert, dass nicht mehr als j Videofenster zu irgendeiner Zeit dargestellt werden. Diese Richtlinie ist besonders für große Gruppentreffen nützlich, bei denen viele Konferenzteilnehmer in einer nicht koordinierten Weise teilnehmen.
b) Betrachte Video eines Satzes von k Sprechern sowie zusätzlich die j letzten Sprecher. Diese Richtlinie arbeitet in einer ähnlichen Weise wie die vorstehende, wobei der Benutzer jedoch einen statischen Satz von k Konferenzteilnehmern auswählt, die immer zu betrachten sind, zusätzlich zu den j letzten Sprechern. Diese Option ist insbesondere für große Vorlesungsfälle oder Podiumsdiskussionen nützlich, bei denen es eine Hauptmenge von Konferenzteilnehmern gibt, die über die gesamte Länge der Konferenz Beiträge liefern, wobei es weiterhin einen zufälligen Satz von Konferenzteilnehmern gibt, die periodisch Beiträge liefern können (beispielsweise um Fragen zu stellen).
c) Diavorführungs-/Anzeigetafel-Aktivitätspriorität Diese Richtlinie ergibt eine hohe Priorität für die Darstellung irgendeiner Aktivität, die auf einer Diavorführung oder einer Anzeigetafel auftritt. Ihr Triggerereignis beruht auf irgendeiner Art von Aktivität, wie z. B. dass ein neues Dia übertragen wird, eine Zeigerbewegung auf einem Dia oder irgendwelche festgestellten Änderungen auf der Anzeigetafel. Irgendwelche dieser Ereignisse würden dazu führen, dass das Dia/die Anzeigetafel im Vordergrund der Computeranzeige dargestellt wird, wodurch möglicherweise irgendwelche oder alle Videofenster verdeckt werden. Obwohl die Sammelsende-Gruppen-Mitgliedschaft für Dia-/Anzeigetafel-Daten statisch sein würde, könnte dies Auswirkungen auf die Video-Sammelsende- Gruppenmitgliedschaft auf der Grundlage der Dauer der Aktivität haben. Es kann sinnvoll sein, Videofenster während dieser Perioden einer Dia/Anzeigetafel-Aktivität zu schließen (Sammelsende-Gruppen-Mitgliedschaften zu beseitigen).
d) Steuerung des Vorsitzenden Es ist denkbar, dass ein bestimmter Konferenzteilnehmer als der Vorsitzende bezeichnet wird, um eine einheitliche Ansicht der Konferenz an alle Konferenzteilnehmer zu liefern. Der Vorsitzende würde irgendeine Kombination der vorstehenden oder anderer Richlinien realisieren und könnte dann eine außerhalb des Bandes liegende Kommunikationsverbindungsstrecke dazu verwenden, die Ansicht jedes Konferenzteilnehmers zu steuern. Dies würde in gewisser Weise an die zentralisierte Lösung einer Videokonferenz erinnern, könnte jedoch in manchen Fällen passend sein.

Die vorstehenden Richtlinien stellen lediglich Beispiele dar, sie zeigen jedoch die Vorteile der Realisierung von Sammelsende-Gruppen zum Transport einzelner Medienströme. Viele andere Richtlinien könnten realisiert werden, wie z. B. Strom-Prioritäten und/oder Strom-Vorgaben auf der Grundlage bestimmter Notwendigkeiten.
Andere Teile des in 5b gezeigten Endgerätes werden nunmehr beschrieben.
D/T-Strom (Empfang) Verarbeitungsmodule 28, 34
Die D- oder T_Strom-(Empfangs-)Verarbeitungsmodule haben die allgemeine Funktion des Empfangs eines Stromes von einer Netzwerkverbindung und der Durchführung aller der erforderlichen Schritte, die für die geeignete Darbietung des Stromes an den Benutzer erforderlich sind. Diese sind für die Art von Medium spezifisch, das den Strom bildet, doch gibt es viele gemeinsame Charakteristiken wie folgt:

1. Netzwerk-Empfang: dieser Schritt beinhaltet den Empfang von Datenblöcken, die Defragmentierung dieser Blöcke zur Erzeugung von Protokolldateneinheiten (PDU's) und die nachfolgende Verarbeitung dieser PDU's zur Rückgewinnung der tatsächlichen Nutzinformationsdaten, die den Strom bilden.
2. Decodierung: dieser zweite Schritt betrifft die medienspezifischen Decodierungsund/oder Dekomprimierungs-Algorithmen, die erforderlich sind, um die ausgesandten Daten auf ihr ursprüngliches Format zurückzuführen. Beispielsweise werden im Fall von Bewegt-Video irgendwelche Algorithmen, wie z. B. ISO/IEC-Bewegt-JPEG oder MPEG zur Kompression verwendet, um die erforderliche Übertragungsbandbreite zu verringern.
3. Vorverarbeitung: der dritte Schritt ist ebenfalls medienspezifisch und beinhaltet die Vorverarbeitung zur Umwandlung des Mediums in irgendeiner Weise oder zur Lieferung einer Inter-Strom- oder Intra-Strom-Synchronisation. Wenn erneut Bewegt-Video als ein Beispiel genommen wird, so könnte dies die Umwandlung der Auflösung oder des Farbraumes des ursprünglichen Stromes vor der Darbietung beinhalten, oder es kann alternativ eine Synchronisation mit einem Audio-Strom erforderlich sein.
4. Darbietung: dieser abschließende Schritt beinhaltet die Anzeige des resultierenden Stromes auf einem Darbietungs-Ausgabegerät. Im Fall von Bewegt-Video ist dies in naheliegender Weise irgendeine Art von Video-Anzeige, wie z. B. ein Computer-Bildschirm oder ein Fernsehgerät.

Die Realisierung des D/T_Strom-(Empfangs-)Verarbeitungsmoduls ist selbstverständlich medienspezifisch und eine Frage der konstruktiven Auswahl. In Abhängigkeit von der verarbeiteten Medien-Art kann dies sogar zu einem Hauptteil eines komplexen Endgerätes werden, doch können gut bekannte Prinzipien von einem Fachmann befolgt werden, um diesen Teil zu realisieren.
D/T-Strom (Aussendung) Verarbeitungsmodule 41, 44
Die D/T-Strom-(Sende-)Verarbeitungsmodule haben die allgemeine Funktion der Durchführung aller erforderlichen Schritte zur Erfassung eines direkt übertragenen Analogsignals, der Umwandlung dieses Signals in ein digitales Format und der nachfolgenden Aussendung dieses Signals über eine Netzwerk-Verbindung. Dies ist in gewisser Weise spezifisch für die Art von Medium, das den Strom bildet, doch gibt es einige gemeinsame Merkmale wie folgt:

1. Erfassungprozess: der Erfassungsprozess beinhaltet die Verwendung eines Analog-Eingabegerätes zur Aufzeichnung eines direkten Signals, dessen Digitalisierung und die Zuführung an die örtliche Rechner-Umgebung für die Verarbeitung. Ein sehr einfaches Beispiel ist das einer NTSC-Videokamera und einer zugehörigen digitalen Video-Erfassungskarte, mit der Computer typischerweise heute ausgerüstet sind.
2. Codierprozess: Nach der Digitalisierung des direkten Signals ist typischerweise ein Codierprozess erforderlich. Dieser weist üblicherweise die Form von Vorbearbeitungs- und Kompressionsfunktionen auf. Digitale Videosignale sind beispielsweise sehr umfangreich und erfordern daher eine Kompression. Eine Vorbearbeitungsfunktion kann beispielsweise für Audio-Signale erforderlich sein, um Lautstärkepegel zu ändern und um verschiedene Audio-Signale miteinander zu mischen, bevor die Kompression erfolgt.
3. Schaffung des Stromes: sobald das digitale Medium codiert wurde, muss ein Strom geschaffen werden. Dies wird üblicherweise dadurch erzielt, dass Medieneinheiten mit medienspezifischen Anfangsblöcken verschachtelt werden. Medien-Anfangsblöcke beinhalten üblicherweise absolute oder relative Zeitstempel, Folgennummern und Mediencodier-Identifikationen. Diese Anfangsblöcke dienen zur Identifikation der Art des Mediums innerhalb des Stromes, sie ermöglichen eine Synchronisation an dem Empfänger und ergeben eine gemeinsame Strom-Struktur, die an dem Empfänger oder den Empfängern erkannt werden kann.
4. Netzwerk-Aussendung: der abschließende Schritt in dem Prozess beinhaltet die Aussendung des neu gebildeten Stromes auf eine Netzwerk-Verbindung. Eine naheliegende Forderung vor dem Beginn des Sendeprozesses besteht in der Netzwerk-Signalisierung. Netzwerk-spezifische Signalisierungsmitteilungen müssen ausgetauscht werden, um das Netzwerk und den empfangenden Teilnehmer oder die empfangenden Teilnehmer über den Datentyp zu informieren, der auszusenden ist, sowie über die gewünschte Verbindungs-Topologie. Sobald ein Verbindungspfad erfolgreich ausgebildet wurde, kann der Medienstrom ausgesendet werden.

Die Realisierung des D/T_Strom-(Sende-)Verarbeitungsmoduls ist erkennbar medienspezifisch und eine Frage der konstruktiven Auswahl. Entsprechend des verarbeiteten Medientyps können gut bekannte Prinzipien von dem Fachmann befolgt werden, um diese Teile zu realisieren.
Netzwerk-Signalisierungsmodule 29, 35, 42, 45
Das Netzwerk-Signalisierungsmodul hat verschiedene Funktionen innerhalb der Audio-/Video-Empfangs-/Sende-Prozesse. Seine Hauptfunktion besteht in dem Antworten auf Anforderungen, die von dem Befehls- und Steuerprozess gemacht werden, um entweder ein Mitglied einer bestimmten Netzwerkverbindung (Hinzufügungs-Anforderung) zu werden oder um die Mitgliedschaft bei einer bestimmten Netzverbindung zu beenden (Verlassen-Anforderung). Die Kompliziertheit entsteht bei der Abbildung, die zwischen einfachen Hinzufügungs/Entfernungs-Anforderungen und den komplizierteren Netzwerkspezifischen Signalisierungsprotokollen erforderlich ist, die es heute gibt. Als Beispiel verwenden auf dem Internetprotokoll (IP) beruhende Netze eine vollständige Familie von Protokollen, die von der Internet Engineering Task Force (IETF) entwickelt wurden, zu denen das Internet Group Management Protocoll (IGMP), das Echtzeit-Steuerprotokoll (RTCP) und das Ressourcenreservierungsprotokoll (RSVP) gehören. Das IGMP wird dazu verwendet, es einem Hauptrechner zu ermöglichen, ein Mitglied einer IP-Sammelsendeverbindung zu werden, während RSVP zur Reservierung von Netzwerkressourcen für Netzwerkverbindungen zu verwendet wird. Somit würde es eine Befehls- und Steuerungs-Hinzufügungsanforderung erforderlich machen, dass das Netzwerk-Signalisierungsmodul eine IGMP_REPORT-Signalisierungsmitteilung sowie die passenden RSVP_RESERVATION-Signalisierungsmitteilungen abgibt. Während der Laufzeit dieser Verbindung würde das Netzwerk-Signalisierungsmodul weiterhin für die Aussendung und den Empfang der passenden RTCP-Mitteilungen und deren Beantwortung in passender Weise verantwortlich sein. Zusätzlich würde dieses Modul für die Behandlung irgendwelcher Ausnahmebedingungen verantwortlich sein, die entstehen können, und zwar entsprechend der Netzwerkumgebung, in der es arbeitet.
Weitere Systemerwägungen werden nunmehr erläutert.
Medienstrom-Synchronisation
Das einzelne wesentlichste Element jedes Echtzeit-Multimedia-Kommunikationssystems ist der Synchronisationsmechanismus, der verwendet werden muss, um eine zeitige und gefühlsmäßig angenehme Wiedergabe von Multimedienströmen für einen Benutzer zu garantieren. Eine Synchronisationsphilosophie beruht lose auf Konzepten, die in [Ref. 1 ], [Ref. 2] und [Ref. 3] (siehe später) erläutert sind. Die Philosophie kann als eine Master-/Slave-Synchronisation mit einer Verzögerungs/Unterdrückungspolitik verallgemeinert werden und diktiert das Folgende: unter der Annahme, dass n Echtzeit-Medienströme vorliegen, die an einer Arbeitsstation empfangen werden sollen und die nachfolgend synchronisiert und angezeigt werden sollen, so wird einer dieser Ströme als der Master klassifiziert und die verbleibenden n-1 Ströme werden als Slave-Ströme klassifiziert. Als Master-Strom wird üblicherweise derjenige gewählt, der die schärfsten QoS-Anforderungen erfüllen muss (üblicherweise Audiosignale aufgrund deren extremer Empfindlichkeit gegenüber Phasenschwankungen), und dieser Strom erhält daher die höchste Dienstepriorität in dem Endsystem. Alle Slave-Ströme werden unter Verwendung des Master-Stromes als Bezugswert synchronisiert. Weil der Master-Strom mit der höchsten Priorität verarbeitet wird, nehmen wir an, dass alle seine Darbietungs-Zeitpunkte in einer Ende-zu-Ende erfüllt werden. Die Slave-Ströme werden dann unter Verwendung des Masters als Zeitbezug verarbeitet und angezeigt, und dies mit einer geringeren Priorität. Unter der Annahme, dass eine Ressource (wie z. B. das Netzwerk oder das Endsystem) nicht in der Lage ist, einen Slave-Strom in einer ausreichend zeitigen Weise zu verarbeiten, so wird die Verzögerungs/Unterdrückungs-Politik realisiert. Im wesentlichen wird, wenn eine Dateneinheit eines Slave-Stromes spät ankommt und ihren Zeitrahmen verpasst, sie einfach unterdrückt. Wenn sie andererseits vor ihrer vorgesehenen Anzeigezeit ankommt, wird sie für eine spätere Anzeige verzögert.
Die vorstehende Philosophie kann sich aus den folgenden Gründen als brauchbar erweisen. Es gibt eine allgemeine Annahme, dass alle Komponenten (Netzwerk und Endsystem) in dem System eine ausreichende Betriebsleistung aufweisen, weitgehend fehlerfrei sind und hinsichtlich der Verzögerung und der Phasenschwankungen, die sie in den Medienstrom einführen, beschränkt sind. Daher besteht in den meisten Fällen nur eine geringe Notwendigkeit, den natürlichen Fluss des Medienstromes zu unterbrechen. Somit ist ein einfaches Synchronisationsschema wünschenswert. Weil hier weiterhin direkte Medienströme abgewickelt werden, ist weiterhin eine minimale Ende-zu-Ende-Verzögerung wünschenswert, um es Konferenzteilnehmern zu ermöglichen, sich in einer natürlichen Weise zu unterhalten. Eine Ende-zu-Ende-Betriebsleistung wird gegenüber einer absoluten Strom-Kontinuität bevorzugt, was die Notwendigkeit eines einfachen unkomplizierten Synchronisationsprotokolls unterstützt. Schließlich bedingt die vergrößerte Bandbreite, die neuere Netzwerke auf der Grundlage von ATM oder IP bieten, eine Verringerung des Verarbeitungsbedarfs aufgrund des verringerten Grades der erforderlichen Medienkompression. In Verbindung mit dem verringerten Verarbeitungs-Zusatzaufwand, der mit dem vereinfachten ATM-Protokollstapel verbunden ist, verringert dies beispielsweise insgesamt die Ende-zu- Ende-Latenz und damit die Notwendigkeit von komplizierten rechenintensiven Synchronisationsprotokollen. Diese Gesamtverringerung der Verarbeitungsanforderungen in einem Endsystem ist ein grundlegender Vorteil der Verwendung einer Netzwerktransporteinrichtung, wie z. B. IP oder ATM.
Plattform:
Der vorstehende Prozess könnte in vorteilhafter Weise unter Verwendung der C-Programmiersprache realisiert werden, weil diese in großem Umfang installiert ist, vielseitig und schnell ist. Motif/XWindows könnte zur Herstellung der GUI verwendet werden, und eine POSIX.4 erfüllende Bibliothek könnte zusammen mit Solaris-Strängen verwendet werden, um Echtzeit-Funktionen zu unterstützen. Geeignete Hardware könnte wie folgt sein:
Eine Sun SPARC 20-Arbeitsstation, die das Solaris 2.4 Betriebssystem verwendet: diese Arbeitsstations-Konfiguration eignet sich gut für die Entwicklung von Echtzeit-Multimedia-Anwendungen. Der SBus der Sun SPARC-Arbeitsstation wird von vielen weiteren Hardware-Herstellern unterstützt. Zusätzlich weist die SPARC-Arbeitsstation einige beeindruckende Verarbeitungs- und Bus-Bandbreitenwerte auf, die von Natur aus bei jeder Multimedia-Anwendung erforderlich sind. Solaris 2.4 hat eine ziemlich vollständige Unterstützung der IEEE POSIX.4-Echtzeit-Programmiernorm. Zusätzlich hat dies eine Unterstützung für Mehrstrang-Einrichtungen, die das Äquivalent der POSIX.4a-Norm ergeben. Solaris 2.4 definiert weiterhin eine Echtzeit-Verarbeitungsklasse, die es ermöglicht, dass Prozesse Echtzeitdienste und eine Abwicklung in einer im übrigen nicht deterministischen Ablaufsteuerungsumgebung erhalten.
Systemspezifischer Sun-Audio-CODEC: weil das systemeigene Audioelement von Sun mit dem Computer gebündelt ist, und alle Merkmale aufweist, stellt es im Wesentlichen einen „Einschub" dar. Der CODEC besitzt sowohl D/A- als auch A/D-Wandler, die in der Lage sind, mit einer Vielzahl von Codierraten und Formaten zu arbeiten, die von dem grundlegenden μ-Gesetz bis zur CD-Audio-Qualität reichen.
Das Gerät enthält ein Mikrofon und Leitungspegel-Eingänge sowie Kopfhörer und Leitungspegel-Ausgänge.
Parallax-PowerVideo-Card: Die Parallax-PowerVideo-Karte ist aufgrund ihres auf der Karte befindlichen Bewegt-JPEG-CODEC geeignet. Sie weist eine Video-Entwicklungsumgebung auf, die einen vollständigen Satz von X/Motif API-Einrichtungsbibliotheken einschließt, die eine vollständige Steuerung der CODEC-Hardware ermöglichen, so dass irgendwelche Kompressions-/Dekompressions-Funktionen von der Haupt-CPU entfernt werden. Die Video-Hardware ist in der Lage, die Codierung und Decodierung eines Bewegt-JPEG-Videostroms mit 640 × 480 Pixeln, 24 Bit-Farbe bei Rahmenraten von mehr als 25 Rahmen pro Sekunde in Echtzeit bereitzustellen. Wenn die Videoauflösung verringert wird, können zusätzliche Videoströme in Echtzeit verarbeitet werden.
Obwohl IP gegebenenfalls gegenüber ATM aufgrund der weiteren Verbreitung bevorzugt sein kann, würde, wenn ATM verwendet wird, eine geeignete Netzwerk-Schnittstellenkarte die Folgende sein: FORE SBA-200 ATM NIC: Nützliche Merkmale werden durch die gut bekannte UNI v4.0-Norm des ATM-Forums geboten. Diese schließen die Aushandlung der QoS-Parameter pro Verbindung sowie die dynamische Ausbildung von Punkt-zu-Mehrpunkt-ATM-Verbindungen unter Verwendung von SVC's ein. Der Vorteil der Verwendung der FORE Systems ATM NIC besteht darin, dass sie eine API-Bibliotheks-Schnittstelle für einen großen Teil dieser Funktionalität über ihr propriertäres SPANS-Signalisierungsprotokoll bietet. Diese Signalsierungsfunktionalität kann von großer Bedeutung sein.
Ausleglung im Hinblick auf Betriebsleistung und Erholungsfähigkeit
Die Konstruktion einer Echtzeit-Multimedia-Anwendung erfordert eine gewisse Wahrnehmung von Fragen, die berücksichtigt werden müssen, wenn Echtzeit-Zeitgrenzen behandelt werden müssen. Weiterhin bedingt der Multimedia-Aspekt einer derartigen Anwendung unmittelbar möglicherweise hohe Bandbreiten aufweisende Datenübertragungen gekoppelt mit der Notwendigkeit von Medien-Synchronisationstechniken. Schließlich ist ein gewisser Grad an Robustheit und Erholungsfähigkeit bei verletzten Zeit-Richtlinien eine Notwendigkeit. Einige dieser Fragen und die Verfahren, die zu ihrer Behandlung verwendet werden, werden nachfolgend näher erläutert:
Ausnutzung verfügbarer Echtzeit-Software-Einrichtungen
Der Fluch heutiger Arbeitsstationen besteht in ihren Zeitteilungs-Betriebssystemen (TS-OS). Ironischerweise weisen die meisten Arbeitsstationen Audio-Video-Einrichtungen, jedoch keine Unterstützung für harte Echtzeit-Verarbeitung auf. Eine harte Echtzeit-Verarbeitung unterscheidet sich von einer weichen Echtzeit-Verarbeitung dadurch, dass die Hardware und Software der Arbeitsstation speziell so ausgelegt wurde, dass sie es Prozessen ermöglicht, einen QoS-Vertrag auszuhandeln, den das Verarbeitungs-Teilsystem erfüllt. Weiche Echtzeit-Verarbeitung weist die Form von auf Software beruhenden Einrichtungen auf, die versuchen, gewisse Echtzeit-Verarbeitungscharakteristiken für ausführenden Prozesse zu bieten. Dies kann die Form eines präemptiven Betriebssystems aufweisen, eine Ablaufsteuerung, die eine Echtzeit-Klasse oder Programmierbibliotheken unterstützt, die einfache Prozesse oder Stränge ermöglichen. Alle diese weichen Lösungen wirken im Sinne einer Unterstützung des Konstrukteurs bei der Erzielung eines Echtzeit-Betriebsverhaltens und sollten daher ausgenutzt werden, doch sind sie nicht nahezu so effektiv, wie ein hartes Echtzeit-Betriebssystem (RT-OS).
Erholung von Medienstrom-Unterbrechungen
Der Verlust einer Medienstrom-Kontinuität wird üblicherweise stärker durch den Netzwerk-Transport als durch das örtliche Endsystem hervorgerufen. Wenn ATM für den Transport verwendet wird, sind Verluste möglich, weil ATM lediglich statistische Garantien für eine fehlerfreie Datenzustellung gibt. Selbst wenn Fehlerraten in einem ATM-Netzwerk ziemlich niedrig sein sollten, sollte sich die Anwendung darüber im Klaren sein, dass Verluste möglich sind, und die Anwendung sollte derartige Fälle in einer Weise behandeln, die die wahrgenommene Qualität der Mediendarbietung so wenig wie möglich unterbricht. Derartige Mechanismen werden unter Verwendung komplizierter Synchronisationsalgorithmen erzielt, die die Medienstrom-Diskontinuität behandeln.
Inter-Medien und Intra-Medien-Synchronisation
Jedes Multimedia-System erfordert von Natur aus sowohl eine Inter-Strom als auch eine Intea-Strom-Synchronisation, die von den dargebotenen Medienströmen abhängt. Wenn beispielsweise zugehörige Audio- und Video-Ströme dargeboten werden, so zeigen Studien, dass der maximale Inter-Strom-Zeitversatz auf 80 Millisekunden beschränkt werden sollte, und dass die Einweg-Verzögerung von einem Sender zum Empfänger auf 150 Millisekunden begrenzt werden sollte [Ref.4]. Damit die Multimedia-Anwendung als richtig ausgeführt wahrgenommen wird, müssen diese Echtzeit-Beschränkungen respektiert werden.
Geeignete Verwendung von Puffern
Puffer werden allgemein in Multimedia-Anwendungen verwendet, um Phasenschwankungen zu absorbieren, um einen Versatz zu beseitigen und um eine Medienstrom-Darbietung zu verzögern. Obwohl sie ziemlich nützlich sein können, muss der Konstrukteur Puffer sorgfältig so bemessen, dass sie keine negative Auswirkung auf das Gesamt-Betriebsverhalten haben. Kleine Puffer sind attraktiv, weil sie dazu neigen, Ende-zu-Ende-Verzögerungen zu verringern, doch neigen diese dazu, einen hohen Verarbeitungs-Zusatzaufwand in dem Betriebssystem hervorzurufen, was das Betriebsverhalten beeinträchtigen kann. Umgekehrt neigen große Puffer dazu, vom Standpunkt des Betriebssystems wirkungsvoller zu sein, doch erzwingen sie eine grobkörnigere Steuerung der Medieneinheiten und eine Vergrößerung der Sendelatenz, was für kontinuierliche Medien nicht ideal ist.
Ausnutzung der Hardware zur Erzielung von Betriebsleistungsgewinnen
Der Konstrukteur muss sich der Optionen bewusst sein, die in Form von Hardware-Modulen verfügbar sind. In der Mehrzahl der Fälle ergibt eine Realisierung in Hardware gegenüber Software für manche Funktionalitäten eine höhere Betriebsleistung und zwar in erheblicher Weise. Eine auf Hardware beruhende Bewegtbild-JPEG-CODEC, ein Audio-Digitalisierer und eine AAL5-SAR-Realisierung werden bevorzugt. Alle diese Hardware-Realisierungen beseitigen einen Teil der Verarbeitungslast der Haupt CPU des Endsystems, so dass dieses System eine höhere Betriebsleistung aufweisen kann.
Geringen Umfang aufweisende Software-Module
Der Schlüssel bei der Auslegung von Software-Modulen besteht darin, sie so einfach und wenig umfangreich wie möglich zu halten. Bestimmte Funktionen, wie z. B. Misch- und Synchronisationsalgorithmen können CPU-intensiv sein. Eine effiziente Auslegung, die jede Redundanz oder externe Funktionalität beseitigt, kann eine wesentliche Verbesserung darstellen. Ein Synchronisationsalgorithmus, wie der vorstehend erläuterte, bestätigen die Notwendigkeit eines Mehrebenen-Synchronisationsschemas. Eine sehr enge (CPU-intensive) Synchronisationsbetriebsart ist lediglich dann erforderlich, wenn die Synchronisation verlorengeht, was nicht häufig auftritt, so dass ein drei Ebenen aufweisendes Synchronisationsschema verwendet wird. Der Programmierstil kann ein wesentlicher Faktor bei der Reduzierung der CPU-Last durch ein bestimmtes Software-Modul sein. Verschiedene Code-Tuning- und Optimierungshinweise finden sich in vielen verfügbaren Programmier-Betriebsverhaltens- und Tuning-Veröffentlichungen.
Berücksichtigung von Oos-Zwangsbedingungen für Medienströme
Die Multimedia-Verarbeitung bedingt, dass Medienströme eine gewisse Dienstequalität in einer Ende-zu-Ende-Weise erhalten. Wenn der Netzwerk-Transport mit einem eine hohe Bandbreite und eine geringe Latenz aufweisenden Medium, wie z. B. ATM, erfolgt, und die Endsysteme weniger als eine ausreichende Verarbeitungsleistung besitzen, so funktioniert das System niemals gut genug, um die QoS-Anforderungen zu erfüllen, die sich aus den Medienströmen ergeben. Entsprechend ist ein komplexer Synchronisationsalgorithmus, der auf den Endsystemen abläuft, von geringem Nutzen und stellt häufig einen Nachteil für das Gesamt-Betriebsverhalten des Systems dar.
Auslegung für eine Skalierbarkeit und Robustheit
Das Multimedia-System muss so ausgelegt werden, dass es skalierbar ist und in einer Ende-zu-Ende-Weise robust ist. In einer Videokonferenz ist es ohne weiteres möglich, dass sechs oder acht Konferenzteilnehmer an einer Videokonferenz teilnehmen. Der Prototyp sollte in einer derartigen Weise ausgelegt werden, dass er in der Lage ist, als ein Minimum die Audio- und Videoströme von sechs Konferenzteilnehmern zu verarbeiten. Wenn der Bewegt-JPEG-CODEC nicht in der Lage ist, beispielsweise mehr als drei Videoströme zu verarbeiten, so wird hierdurch ein großer Teil der Funktionalität und Stärke verringert.
Veröffentlichungen
[1] Herng-Yow Chen, Ja-Ling Wu, MultiSync: A Synchronization Model for Multimedia Systems, IEEE Journal on Selected Areas in Communications, Band 14, Nr. 1, Januar 1996
[2] Cosmos Nicolaou, An Architecture für Real-Time Multimedia Communication Systems, IEEE Journal on Selected Areas in Communications, Band 8, Nr. 3, April 1990
[3] Xiabobao Chen, End-to-End Synchronization Control Support for Multiservice Applications, Computer laboratory, University of Cambridge, November 1995
[4] Ralf Steinmetz, Gerold Blakowski, A Media Synchronization Survey: Reference Model, Specification, and Case Studies, IEEE Journal on Selected Areas in Communications, Band 14, Nr. 1, Januar 1996
Vorteile der Erfindung
Es gibt viele Vorteile, die die Verwendung von für eine Sammelsendung geeigneten Netzwerken fördern, wie z. B. Paketnetzwerke auf IP-Basis oder ATM-Sammelsende-SVC's, um eine Mehrteilnehmer-Videokonferenz-Umgebung mit sich ändernder Beteiligung zu realisieren. Dies wird durch Fortschritte bei der Computerverarbeitungsleistung und der Netzwerk-Bandbreite unterstützt, die für übliche Desktop-Personalcomputer-Benutzer zur Verfügung stehen. Einige der Vorteile werden wie folgt hervorgehoben:

a) Konferenzteilnehmer können ihre eigene einzigartige Ansicht der Konferenzumgebung konstruieren. Im Gegensatz zu der zentralisierten „P × 64"-basierten Lösung für eine Videokonferenz ermöglicht es eine verteilte Lösung unter Verwendung von Sammelsende-Gruppen, dass Konferenzteilnehmer willkürlich bestimmte Audiound Videoströme auswählen, die sie empfangen (geschaltete Anwesenheitskontrolle). Jede(r) Konferenzteilnehmer(in) ist daher in der Lage, seine/ihre Ansicht der Konferenzumgebung auf eigene spezielle Vorlieben abzustimmen. Eine verteilte Lösung ergibt weiterhin einen zusätzlichen Grad an Robustheit aufgrund des Fehlens irgendeines zentralen Punktes, an dem ein Ausfall auftreten kann.
b) Verarbeitungs- und Netzwerk-Ressourcen werden nicht zu Beschränkungen In der Praxis besitzen nicht alle Konferenzteilnehmer die die größte Betriebsleistung aufweisende Hardware (wie z. B. Video-CODEC's) oder die erforderliche Netzwerk-Bandbreite, die erforderlich ist, um große Mengen an digitalen Daten zu verarbeiten. Die Lösung mit geschalteter Teilnahme ermöglicht es jedem Konferenzteilnehmer, seine eigene Konferenzansicht zu ändern, um eine Anpassung an die Beschränkungen ihrer technischen Ressourcen zu schaffen.
c) Lösung des Problems der kognitiven Skalierbarkeit des Menschen Die geschaltete Teilnahme befasst sich mit den Fragen der Skalierbarkeit, die große Mehrteilnehmer-Videokonferenzen begleiten. Fragen der Skalierbarkeit des menschlichen Erfassungsvermögens werden dadurch behandelt, dass die Anzahl von Medienströmen gesteuert wird, die dem Benutzer gleichzeitig zu irgendeinem Zeitpunkt dargeboten werden. Dies ist ein dynamischer Prozess, der die Tatsache berücksichtigt, dass sich der Hauptsprecher oder die Hauptsprecher in einer Gruppenkommunikation dauernd ändern können.
d) Anwendungsschicht, Empfänger-basierte reaktive Überlastvermeidungstechnik Die Lösung mit geschalteter Teilnahme stellt einen äußerst leistungsfähigen Mechanismus zur Behandlung einer vorübergehenden Netzwerk-Überlastung dar, besonders wenn diese nahe an dem Empfänger auftritt. Der Empfänger kann die Integrität der Medienströme auf der Anwendungsebene auf einen Verlust oder eine Beeinträchtigung überwachen. Wenn laufende Fehler in einer korrelierten Weise zwischen einer Mehrzahl von empfangenen Strömen festgestellt werden (was eine örtliche Überlastung anzeigt), so können Maßnahmen getroffen werden, um diese Überlastung dadurch zu verringern, dass der Empfang von eine geringere Priorität (auf der Grundlage des Anwendungskontextes) aufweisenden Strömen beendet wird. Diese reaktive Überlastung-Vermeidungstechnik würde besonders für Netzwerkumgebungen geeignet sein, wie z. B. IP, die keine QoS-Mechanismen aufweisen oder auf einer weichen QoS ruhen (beispielsweise das Ressourcenreservierungsprotokoll (RSVP)). Es ist zu erkennen, dass fortlaufende Fehler, die in einem einzelnen Strom festgestellt wurden, eine mögliche Überlastung in dem Netzwerk näher an dem Sender anzeigen, es kann jedoch immer noch wünschenswert sein, diesen Strom abzuschalten, wenn die wahrgenommene Qualität wesentlich beeinträchtigt wird. Unterschiedliche Formen von Netzwerk-basierten Rückführungen könnten sich bei der präziseren Identifikation der Quelle der Überlast als nützlich erweisen. Es wurden viele Mechanismen vorgeschlagen, wie z. B. Ressourcenverwaltungs(RM-) Zellen in ATM, RSVP-Pfad-/Reservierungsmitteilungen, und Echtzeit-Steuerprotokoll- (RTCP-) Pakete im Echtzeit-Protokoll (RTP). Keine dieser Lösungen hat sich vollständig als effektiver Rückführungsmechanismus erwiesen, der in großem Maßstab funktionsfähig ist und gleichzeitig in weitem Umfang durch Vertreiber realisiert wird, doch sind alle sehr vielversprechend.
e) Kosteneffektive Lösung für nach Bandbreite mit Gebühren belastete Netzwerke In dem Fall, in dem Netzwerk-Gebühren auf der Nutzung von Bandbreite beruhen, ermöglicht die geschaltete Teilnahme eine neuartige Möglichkeit zur Verringerung der Bandbreitenkosten, während ein befriedigendes und angenehmes Konferenzerlebnis aufrecht erhalten wird.
f) Ausnutzung von skalierbaren Video-Codieralgorithmen Bei manchen Mehrteilnehmer-Videokonferenzen können es die Konferenzteilnehmer wünschen, mit einer eine sehr hohe Qualität aufweisenden Videoauflösung zu senden, wobei ein skalierbarer Codieralgorithmus verwendet wird, wie z. B. hoch auflösendes Fernsehen (HDTV). Diese skalierbaren Codieralgorithmen ermöglichen es, dass ein eine geringere Qualität aufweisender Empfänger eine Decodierung bei weniger als der maximalen Auflösung durchführt. Der Codierprozess wird in mehreren Ebenen durchgeführt, wobei jede Ebene fortschreitend auf der vorhergehenden aufbaut, um die maximale Auflösung zu erzeugen. Unter der Annahme, dass jede Ebene zu einer anderen Sammelsende-Gruppe ausgesandt wird, kann jeder Konferenzteilnehmer eine Teilmenge der Sammelsende-Gruppen auswählen, die er auf der Grundlage der Auflösung, die er unterstützen kann, empfangen kann, ohne dass die ursprüngliche Videoqualität für andere beeinträchtigt wird. Dies stellt einen einzigartigen Vorteil der Verwendung einer Topologie mit geschalteter Teilnahme auf der Grundlage von Sammelsende-Gruppen dar.

Viele derzeit genormte Videokonferenz-Architekturen verwenden eine Rahmenbasierte gegenüber einer Paket-basierten Lösung für die digitale Medienübertragung. Bei der Lösung auf Rahmenbasis werden Medienströme an der Quelle verschachtelt, so dass diese Ströme eine bestimmte relative und positionsbezogene Bedeutung innerhalb des Rahmens beibehalten. Beispielsweise kennt der Empfänger bei Empfang eines ITU H.320-Rahmens den genauen Inhalt des Rahmens (beispielsweise Medienstrom-Typen), ihre Position innerhalb des Rahmens sowie ihre zeitliche Beziehung. Dies erleichtert die Last der Intea-Stromund Inter-Strom-Synchronisation an dem Empfänger, es zwingt jedoch alle Empfänger, die genau gleiche Qualität und Menge an Medienströmen zu empfangen, nämlich alles.
Weil Netzwerke immer weniger verbindungsorientiert sind (beispielsweise POTS, ISDN), und mehr und mehr Paket-basiert sind (d. h. herkömmliche LAN's und sogar ATM!) wird eine paketorientierte Lösung immer wünschenswerter. Eine Paketbasierte Lösung ermöglicht eine Medienstrom-Trennung, so dass Empfänger willkürlich einzelne Ströme auswählen können, während sie Nutzen aus Netzwerk- Einrichtungen, wie z. B. QoS und dynamischen Rundsende-Verbindungsfähigkeiten ziehen, die auf den einzelnen ausgesandten Medienstrom zugeschnitten werden können. Obwohl sie nicht in der Mehrzahl sind, werden Paket-basierte Videokonferenz-Architekturen entwickelt. Die ITU-Norm H.323 ist eine paketorientierte Konferenznorm, die eine Stromtrennung auf der Netzwerkebene ermöglicht.
Das Problem beim Einsatz von Konferenzumgebungen in großem Maßstab ist die Skalierbarkeit. Die Technologie und die menschliche Wahrnehmung sind zwei beschränkende Faktoren hinsichtlich der Anzahl von Teilnehmern, die an einer einzigen Konferenz teilnehmen können. Die Lösung mit geschalteter Teilnahme, die vorstehend erläutert wurde, behandelt diese beiden Faktoren.
Eine digitale Medienstrom-Trennung wird in einem Sammelsende-fähigen Netzwerk verwendet, um es Konferenzteilnehmern zu ermöglichen, gewünschte Medienströme anzuzapfen. Dies beseitigt nicht nur das Skalierbarkeitsproblem sondern ergibt zusätzliche Vorteile, wie z. B. die kosteneffektive Verwendung von Bandbreite und die Fähigkeit, skalierbare Video-Codieralgorithmen auszunutzen.
Obwohl die sich schnell fortschreitende Entwicklung der Technologie üblicherweise technische Skalierbarkeitsargumente als bedeutungslos erscheinen lässt, sind menschliche Wahrnehmungsfähigkeiten wahrscheinlich auch mit der Zeit nicht skalierbar. Dies fördert die geschaltete Teilnahme als eine Schlüssellösung für derartige Probleme.
Alternative Ausführungsformen
20 zeigt eine alternative Ausführungsform, bei der die dynamische Auswahlsteuerung 13 teilweise in dem Netzwerk 12 statt in dem Endgerät des Benutzers realisiert wurde. Sie könnte entfernt von dem Benutzer-Endgerät angeordnet sein und Informationen bezüglich der Netzwerk- und Benutzer- Endgeräte-Bedingungen (nicht gezeigt) und Benutzer-Auswahlrichtlinien unter Verwendung des Netzwerkes empfangen. Zusätzlich oder als Alternative könnte die Bildung des zusammengesetzten Videostromes für den Benutzer entfernt von dem Benutzer erfolgen, beispielsweise an einer örtlichen Vermittlung in dem Netzwerk. Dies würde den Nachteil haben, dass spezielle Ausrüstungen in der Vermittlung erforderlich sind, beispielsweise in der Leitungskarte, wenn das Netzwerk ein Telefonnetz ist, doch würde dies den Vorteil der Verringerung der Bandbreite haben, die auf der letzten Verbindungsstrecke erforderlich ist, der Teilnehmerleitung zu dem Benutzer-Endgerät, was einen kritischen Pfad darstellen könnte. Dies könnte weiterhin die Ausrüstungen am Ende des Teilnehmers vereinfachen, indem die Notwendigkeit einer Anzeigeverarbeitungfähigkeit zur Schaffung des zusammengesetzten Bildes aus mehrfachen empfangenen Videoströmen vermieden wird, wodurch eine schnelle Annahme durch die Verbraucher begünstigt würde und die Wartung und Aktualisierung einfacher gemacht würde, weil die Ausrüstungen zentral in der örtlichen Vermittlung angeordnet sind.
21 zeigt eine weitere alternative Ausführungsform, bei der die Medienströme von einem getrennten Medien-Netzwerk 14 an das Netzwerk 12 geliefert werden, das zur Weiterleitung von Zusatzaufwand, wie z. B. Wahrnehmungsinformationen und Auswahlanforderungen verwendet wird. Dieses Mediennetzwerk kann ein eine höhere Bandbreite aufweisendes Netzwerk, wie z. B. ein Kabelnetzwerk sein, das mehrfache Videoströme an den Benutzer liefern kann. Es kann Benutzer direkt miteinander und somit in einer Konferenzanordnung verbinden und direkt von jedem Benutzer für empfangene und ausgesandte Medienströme verwendet werden. Weil jedoch lediglich ein Videostrom ausgesandt werden muss, während mehrfache Ströme empfangen werden muss, kann es vorteilhaft sein, das eine höhere Bandbreite aufweisende Netzwerk 14 zum Empfang mehrfacher Ströme zu verwenden, während das eine geringere Bandbreite aufweisende Netzwerk 12 zur Aussendung des einzelnen Stromes verwendet wird. Das eine höhere Bandbreite aufweisende Netzwerk (beispielsweise ein vorhandenes Kabelnetzwerk, das ohnehin im Wesentlichen unidirektional oder asymmetrisch ist) würde jeden Benutzer mit dem eine geringere Bandbreite aufweisenden Netzwerk verbinden (beispielsweise mit dem örtlichen Telefonnetz), beispielsweise durch Datenmultiplexer an einem örtlichen Kabelknoten oder an Verteilungssteuerpunkten, die mit mehrfachen Telefonleitungen des Telefonnetzes verbunden sind. Ein weiterer Grund für die Verwendung eines getrennten Mediennetzwerkes zur Zuführung der mehrfachen Ströme könnte darin bestehen, dass höhere Qualitätsgrade erzielt werden, beispielsweise die Latenz, Zuverlässigkeit und Bandbreite. Benutzer könnten bereit sein, für derartige Vorteile zu zahlen, sofern sie nicht von anderen Netzwerken, wie z. B. dem Internet, zur Verfügung stehen.
Andere Abänderungen können innerhalb des Schutzumfanges der Erfindung in Betracht gezogen werden.

Claims

Verfahren zur Auswahl zur Anzeige eines oder mehrerer Ströme aus einer Mehrzahl von Echtzeit-Medienströmen, die für eine Übertragung über ein Kommunikationsnetz zur Anzeige auf jeweiligen Endgeräten eines ersten und zumindest eines anderen Benutzers verfügbar sind, wobei das Verfahren die folgenden Schritte umfaßt: Bestimmen einer Richtlinie des ersten Benutzers zur Durchführung der Auswahl, wobei die Richtlinie eine Anzeige umfaßt, wie die Auswahl gemacht werden sollte, wobei die Richtlinie von dem ersten Benutzer auswählbar ist; Bestimmen der jeweiligen Bedingungen des Kommunikationsnetzes und des Endgerätes des ersten Benutzers; dynamisches Bestimmen, welche Ströme für den ersten Benutzer auszuwählen sind, entsprechend den Bedingungen und entsprechend der Richtlinie des ersten Benutzers; und Bewirken der Weiterleitung lediglich der ausgewählten Ströme zur Anzeige auf dem Endgerät des ersten Benutzers unabhängig von einer Auswahl, die für die Weiterleitung an den oder jeden anderen Benutzer gemacht wird.
Verfahren nach Anspruch 1, das weiterhin den folgenden Schritt umfaßt: Feststellen, ob die Auswahl durch die Bedingung beschränkt ist, wobei die Richtlinie eine Anzeige umfaßt, wie die Auswahl durchgeführt werden soll, wenn die Auswahl durch die Bedingung beschränkt ist.
Verfahren nach Anspruch 1, bei dem die Anzeige relative Prioritäten zwischen gewünschten Strömen umfaßt.
Verfahren nach Anspruch 1, bei dem die Bedingung einen Verfügbarkeitsgrad von Netzressourcen umfaßt.
Verfahren nach Anspruch 1, bei dem die Bedingung einen Verfügbarkeitsgrad der Endgeräteressourcen eines Benutzers umfaßt.
Verfahren nach Anspruch 1, das weiterhin den folgenden Schritt umfaßt: Bestimmen der Aktivität auf einem oder mehreren der Medienströme, wobei die Anzeige eine Anzeige umfaßt, wie die Auswahl von der Aktivität abhängig zu machen ist.
Verfahren nach Anspruch 6, bei dem zwei oder mehr der Medienströme von einer einzigen Quelle ausgehen, und bei dem die Anzeige, wie die Auswahl von der Aktivität abhängig zu machen ist, das Abhängigmachen der Auswahl von einem der den gleichen Ursprung aufweisenden Ströme von der Aktivität auf einem anderen der von dem gleichen Ursprung ausgehenden Ströme umfaßt.
Verfahren nach Anspruch 1, bei dem der Schritt der Bestimmung der ausgewählten Ströme an dem Endgerät des ersten Benutzers ausgeführt wird.
Verfahren nach Anspruch 1, das weiterhin den Schritt der Anzeige an das Netzwerk, welches die ausgewählten Ströme sind, umfaßt, wobei der Schritt der Weiterleitung der ausgewählten Ströme die Übertragung lediglich der ausgewählten Ströme über das Netz umfaßt.
Verfahren nach Anspruch 1, bei dem die Medienströme Videoströme umfassen.
Verfahren nach Anspruch 1, bei das Netz ein für eine Sammelsendung geeignetes Netz ist.
Verfahren nach Anspruch 1, bei dem der erste Benutzer außerdem zumindest einen Echtzeit-Medienstrom sendet, um an einer Konferenz zwischen mehrfachen Benutzern über das Kommunikationsnetz teilzunehmen.
Auf computerlesbaren Medien gespeicherte Software, die Befehle umfaßt, die alle die Schritte des Verfahrens nach Anspruch 1 ausführen, wenn sie auf einem Computer ausgeführt werden.
Verfahren zur Auswahl zur Anzeige eines oder mehrerer Ströme aus einer Vielzahl von Echtzeit-Medienströmen, die für eine Aussendung über ein Kommunikationsnetz zur Anzeige auf jeweiligen Endgeräten eines ersten und zumindest eines weiteren Benutzers verfügbar sind, wobei das Verfahren die folgenden Schritte umfaßt: Bestimmen einer Richtlinie für jeden der Benutzer zur Durchführung ihrer jeweiligen Auswahl, wobei die Richtlinie eine Anzeige umfaßt, wie die Auswahl getroffen werden soll, wobei die Richtlinie von dem ersten Benutzer auswählbar ist; Bestimmen eines jeweiligen Zustandes des Kommunikationsnetzes und des Endgerätes jedes Benutzers; dynamisches Bestimmen, welche Ströme für jeden Benutzer auszuwählen sind, entsprechend den Bedingungen und entsprechend der jeweiligen Richtlinie; und Bewirken der Weiterleitung lediglich der ausgewählten Ströme zur Anzeige auf dem Endgerät jedes Benutzers unabhängig von der Auswahl, die für die Weiterleitung an den oder jeden anderen Benutzer gemacht werden.
Vorrichtung zur Auswahl zur Anzeige einer oder mehrerer Echtzeit-Medienströme, die für eine Aussendung über ein Kommunikationsnetz zur Anzeige auf Endgeräten eines ersten Benutzers und zumindest eines weiteren Benutzers verfügbar sind, wobei die Vorrichtung folgendes umfaßt: Einrichtungen zur Bestimmung einer Richtlinie des ersten Benutzers zur Durchführung der Auswahl, wobei die Richtlinie eine Anzeige umfaßt, wie die Auswahl durchgeführt werden sollte, wobei die Richtlinie von dem ersten Benutzer auswählbar ist; Einrichtungen zur Bestimmung der jeweiligen Bedingungen des Kommunikationsnetzes und des Endgerätes; Einrichtungen zur dynamischen Bestimmung, welche Ströme für den ersten Benutzer auszuwählen sind, entsprechend den Bedingungen und entsprechend der Richtlinie des ersten Benutzers; und Einrichtungen zum Bewirken der Weiterleitung lediglich der ausgewählten Ströme zur Anzeige auf dem Endgerät des ersten Benutzers unabhängig von der Auswahl, die für die Weiterleitung an den oder jeden anderen Benutzer gemacht wird.
Netzknoten zur Verwendung bei der Weiterleitung von Echtzeit-Medienströmen über ein Kommunikationsnetz zur Anzeige auf Endgeräten eines ersten Benutzers und anderer Benutzer, wobei der Knoten eine Vorrichtung zur Auswahl von Strömen zur Anzeige auf dem Endgerät des ersten Benutzers umfaßt, wobei die Vorrichtung folgendes umfaßt: Einrichtungen zur Bestimmung einer Richtlinie des ersten Benutzers zur Durchführung der Auswahl, wobei die Richtlinie eine Anzeige umfaßt, wie die Auswahl durchgeführt werden sollte, wobei die Richtlinie von dem ersten Benutzer auswählbar ist; Einrichtungen zur Bestimmung der jeweiligen Bedingungen des Kommunikationsnetzes und des Endgerätes des ersten Benutzers; Einrichtungen zur dynamischen Bestimmung, welche Ströme für den ersten Benutzer auszuwählen sind, entsprechend den Bedingungen und entsprechend der Richtlinie des ersten Benutzers; und Einrichtungen zum Bewirken der Weiterleitung lediglich der ausgewählten Ströme zur Anzeige auf dem Endgerät des ersten Benutzers unabhängig von der Auswahl, die für die Weiterleitung an den oder jeden anderen Benutzer getroffen wird.
Endgerät zur Anzeige von Echtzeit-Medienströmen, die für eine Übertragung über ein Kommunikationsnetz zur Anzeige auf dem Endgerät und einem oder mehreren anderen Endgeräten verfügbar sind, die mit dem Netz verbunden sind, wobei das Endgerät folgendes umfaßt: Einrichtungen zum Koppeln des Endgerätes mit dem Netz zum Empfang der Ströme von dem Netz; Einrichtungen zur Bestimmung jeweiliger Richtlinien eines Benutzers des Endgerätes und von Benutzern anderer Endgeräte zur Durchführung einer Auswahl aus den Strömen, wobei die Richtlinien eine Anzeige umfassen, wie die Auswahl durchgeführt werden sollte, wobei die Richtlinie des Benutzers von dem Benutzer auswählbar ist; Einrichtungen zur Bestimmung einer Bedingung des Kommunikationsnetzes und des Endgerätes; Einrichtungen zur dynamischen Bestimmung, welche Ströme für den Benutzer auszuwählen sind, entsprechend der Bedingung und entsprechend der Richtlinie des Benutzers; Einrichtungen zum Bewirken der Weiterleitung lediglich der ausgewählten Ströme zur Anzeige auf dem Endgerät des Benutzers unabhängig von der Auswahl, die für die Weiterleitung an den oder jeden Benutzer der jeweiligen anderen Endgeräte durchgeführt werden; und Einrichtungen zur Anzeige der ausgewählten Ströme.