DE69521369T2

DE69521369T2 - Anzeigeverfahren für einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens

Info

Publication number: DE69521369T2
Application number: DE69521369T
Authority: DE
Inventors: Hiroyuki Arita; Machio Moriuchi; Yumi Murakami; Yoshio Nagashima; Yasuhiro Nakajima; Shohei Sugawara; Gen Suzuki; Hiroya Tanigawa
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1994-08-03
Filing date: 1995-08-02
Publication date: 2002-01-10
Anticipated expiration: 2015-08-03
Also published as: DE69531009T2; CA2155254C; EP0696018A2; EP0696018A3; EP0942396B1; EP0696018B1; EP0942396A3; US5736982A; DE69521369D1; EP0942397A2; EP0942396A2; DE69531009D1; EP0942397A3; DE69525551D1; EP0942397B1; DE69525551T2

Description

Hintergrund der Erfindung

Die vorliegende Erfindung betrifft ein Verfahren zum Anzeigen eines virtuellen Raums, das es an ein Kommunikationsnetzwerk angeschlossenen Benutzerterminals ermöglicht, ihre Avatare an gewünschte Positionen in einem gemeinsam benutzen virtuellen Raum frei zu bewegen und die Benutzerterminals veranlaßt, Bilder in deren Gesichtsfeld im virtuellen Raum anzuzeigen. Die Erfindung betrifft auch eine Vorrichtung zum gemeinsamen Benutzen eines virtuellen Raums, die das vorgenannte Verfahren zum Anzeigen eines virtuellen Raums verwendet.
Als Systeme eines virtuellen Raums, bei denen eine Mehrzahl von Benutzerterminals über ein Kommunikationsnetzwerk über ihre an es angeschlossene Terminals in einen gemeinsam benutzten virtuellen Raum eintreten und miteinander kommunizieren oder zusammenarbeiten, wurden beispielsweise vorgeschlagen ein verteiltes Vielbenutzer-Echtzeit-Multimediakonferenz- System von Nihon IBM Co., Ltd. (Information Processing Society of Japan, 47th National Conference 2E-5, 1993), SIMNET von DARPA vom amerikanischen Verteidigungsministerium, ein Kommunikationsspiel "HABITAT", dessen Betrieb nun von Fujitsu Ltd, auf einem PC-Kommunikationsnetzwerk angeboten wird, und ein vernetztes System virtueller Realität von Nippon Electric Co., Ltd. (Shinohara, "Three Dimensional Configuration Control," Information Processing Society of Japan, Kyushu Symposium, Dez. 1991).
Bei diesen herkömmlichen Anzeigesystemen für einen virtuellen Raum wird der virtuelle Raum als Benutzer-Interface einer speziellen Anwendung wie beispielsweise einer Kampfsimulation, eines elektronischen Postsystems oder eines elektronischen Konferenzsystems angezeigt. Benutzer können ihre Avatare im virtuellen Raum bewegen, aber da Videobilder, welche die Benutzer auf ihren Terminalanzeigen wahrnehmen, Videobilder sind, die von ihren Avataren im virtuellen Raum aufgenommen wurden, der von außen beobachtet wird, weist der virtuelle Raum den Nachteil auf, daß die Benutzer kein vollständiges Gefühl der tatsächlichen Existenz im Raum erfahren können. Wenn sich die Avatare der Benutzer treffen und im virtuellen Raum miteinander sprechen, werden außerdem deren Stimmen lediglich zwischen ihnen gesendet und empfangen. Somit können sich die Benutzer auch in akustischer Hinsicht nicht in den virtuellen Raum völlig eingetaucht erfahren. Auch in visueller Hinsicht fehlt dem virtuellen Raum das Gefühl einer reellen Existenz oder der Realität, da die Avatare der Benutzer alle in der gleichen Größe angezeigt werden.
Das Dokument Proc. of IEEE Virtual Reality Ann. Internat. Symp. 18.-22. September 1993, Seiten 394-400, Carlson et al "DIVE - a Multi-User Virtual Reality System", XP457709 offenbart eine Vorrichtung und ein Verfahren zur gemeinsamen Benutzung eines virtuellen Raums, bei denen eine Mehrzahl von Terminals an ein Kommunikationsnetzwerk angeschlossen ist, wobei die Terminals einen vorbestimmten gemeinsamen virtuellen Raum gemeinsam benutzen und jedes Terminal ein Gesichtsfeldbild erzeugt und anzeigt, das sich ändert, wenn ein jeweiliger Avatar, der einen Benutzer des jeweiligen Terminals repräsentiert, sich in dem virtuellen Raum an dem jeweiligen Terminal bewegt.
Unter Bezug auf das gleiche DIVE-System beschreibt das Dokument Proc. of Human-Computer interaction, Band 2, 8.-13. August 1993, Seiten 694-698, Benford et al "Awareness, focus and aura: a spatial model of interaction in virtual world", XP607918, daß jeder Avatar eine "Aura" besitzt, die durch Größe und Form definiert ist und die das Potential für Avatarinteraktionen auf der Basis von quantifizierbaren Stufen von Wahrnehmung unter Avataren festlegt. Dieses schlägt vor, daß Konversation, visuelles Erkennen etc. auf der Basis von Positionsinformation gesteuert werden. Beispielsweise wird der Lautstärkepegel eines Audiokanals zwischen zwei Objekten auf der Basis von Wahmehmungsstufen gesteuert.
Das Dokument Proc. of IEEE Virtual Realty Ann. Internat. Symp., 18.-22. September 1993, Seiten 408-414, Ohya et al "Real-time Reproduction of 3D Human Images in Virtual Space Teleconferencing", XP457710, offenbart eine Vorrichtung zur gemeinsamen Benutzung eines virtuellen Raums, die eine Mehrzahl von an ein Netzwerk angeschlossenen Terminals, Mittel zum Senden und Empfangen von Videobilddaten von Benutzern, die von einer TV-Kamera gewonnen werden, und Videoverarbeitungsmittel zum Erzeugen von Avataren auf der Basis der Videobilddaten aufweist. Bei diesem Stand der Technik sind die Avatare in der Tat synthetische 3D-Modelle der Teilnehmer an dem System, die durch ein Drahtrahmenmodell aufgebaut sind, welches durch Farbtextur abgebildet ist. Auf der Sendeseite sind Klebebandmarkierungen an Gesichtsmuskeln befestigt, und die Markierungen werden von der TV-Kamera visuell nachverfolgt. Die Ergebnisse der Nachverfolgung repräsentieren die gesendeten Videobilddaten, die dazu verwendet werden, die Knoten des Drahtrahmenmodells des Gesichts zu bewegen.

Zusammenfassung der Erfindung

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Anzeige eines virtuellen Raums zu schaffen, das dem virtuellen Raum einen visuellen Realismus verschafft, eine Verstopfung des Kommunikationsnetzwerks vermeidet und die Belastung der Verarbeitung zum Empfangen von Videobildern an den Terminals vermindert. Eine weitere Aufgabe besteht darin, eine das Verfahren verwendende Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums zu schaffen.
Diese Aufgaben werden mit einer Vorrichtung gemäß Anspruch 1 bzw. 2 sowie einem Verfahren gemäß Anspruch 8 bzw. 9 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Erfindungsgemäß verwendet jedes Benutzerterminal die Beziehung zwischen Positionsinformation seines Avatars und derjenigen der anderen Avatare, um die Bildqualität der letztgenannten zu ermitteln, fordert dann von den anderen Terminals oder einem Server Videobilder der anderen Avatare an, von denen jedes die so ermittelte Qualität aufweist, und die anderen Terminals senden bzw. der Server sendet die angeforderten Bilder der Avatare an das anfordernde Terminal, nachdem sie in Videobilder der spezifizierten Qualität umgesetzt wurden.

Kurze Beschreibung der Zeichnungen

Fig. 1A ist ein Diagramm, das schematisch ein Beispiel eines Systems mit dezentralem Anschluß zeigt, auf das die vorliegende Erfindung angewendet wird;
Fig. 1B ist ein Diagramm, das schematisch ein anderes Beispiel des Systems mit dezentralem Anschluß zeigt, auf das die vorliegende Erfindung angewendet wird;
Fig. 2A ist ein Diagramm, das schematisch ein Beispiel eines Systems mit zentralem Anschluß zeigt, auf das die vorliegende Erfindung angewendet wird;
Fig. 2B ist ein Diagramm, das schematisch ein anderes Beispiel des Systems mit zentralem Anschluß zeigt, auf das die vorliegende Erfindung angewendet wird;
Fig. 3 ist ein Blockdiagramm, das den Aufbau eines Terminals gemäß einem ersten Beispiel darstellt;
Fig. 4A ist eine perspektivische Ansicht zur Erläuterung eines virtuellen Raums, der von den Terminals gemeinsam benutzt wird;
Fig. 4B ist ein Diagramm, das ein Gesichtsfeldbild an einem Betrachtungspunkt in dem in Fig. 4A dargestellten virtuellen Raum zeigt;
Fig. 4C ist ein Diagramm, das ein Gesichtsfeldbild an einem Betrachtungspunkt zeigt, der bezüglich dem von Fig. 4B versetzt ist;
Fig. 5 ist ein Blockschaltbild, das ein Beispiel eines Servers im ersten Beispiel darstellt;
Fig. 6 ist ein Diagramm, das ein Beispiel des Aufbaus einer Nachricht für die Übertragung zwischen einem Terminal und dem Server zeigt;
Fig. 7 ist ein Blockschaltbild, das ein Beispiel eines Terminalsteuerteils des in Fig. 3 gezeigten Terminals darstellt;
Fig. 8 ist eine Tabelle, die den Aufbau von Daten zeigt, die in einem Verwaltungstabellenspeicher in Fig. 7 gehalten werden;
Fig. 9A ist ein Diagramm, das in einem zweiten Beispiel die Beziehung zwischen Avataren zeigt, wenn eine Konversationsermöglichungsbedingung der Abstand zwischen ihnen ist;
Fig. 9B ist die Beziehung zwischen Avataren, wenn die Konversationsermöglichungsbedingung das Gesichtsfeld ist;
Fig. 9C ist ein Diagramm, das ein anderes Beispiel der Beziehung zwischen Avataren zeigt, wenn die Konversationsermöglichungsbedingung deren Gesichtsfelder sind;
Fig. 9D ist ein Diagramm, das die Beziehung zwischen drei Avataren zeigt, wenn die Konversationsermöglichungsbedingung der Abstand zwischen ihnen ist;
Fig. 9E ist ein Diagramm, das die Beziehung zwischen drei Avataren zeigt, wenn die Konversationsermöglichungsbedingung deren Gesichtsfelder sind;
Fig. 9F ist ein Diagramm, das ein anderes Beispiel der Beziehung zwischen drei Avataren zeigt, wenn die Konversationsermöglichungsbedingung deren Gesichtsfelder sind;
Fig. 10 ist ein Blockschaltbild, das ein Beispiel des Aufbaus des Servers im zweiten Beispiel darstellt;
Fig. 11 ist ein Blockschaltbild, das den Aufbau eines Abstandsermittlungsteils und eines Augenkontaktfeststeilungsteils in Fig. 10 darstellt;
Fig. 12 ist ein Diagramm, das die Positionsbeziehung zwischen Avataren zur Erläuterung der Prinzipien der Erfassung von deren Augenkontakt zeigt;
Fig. 13 ist ein Diagramm, das die Positionsbeziehung zwischen Avataren zur Erläuterung von Umgebungsgeräuschen zeigt;
Fig. 14 ist ein Diagramm, das den Zustand des Kanalanschlusses in einem Server eines dritten Beispiels zeigt, der die Umgebungsgeräusche im Fall von Fig. 13 erzeugt;
Fig. 15 ist ein Blockschaltbild, das den Aufbau des Servers im dritten Beispiel darstellt;
Fig. 16 ist ein Blockschaltbild, das den Aufbau eines Terminals zur Verwendung in dem Fall darstellt, in dem das dritte Beispiel als System mit dezentralem Anschluß realisiert ist;
Fig. 17 ist ein Diagramm, das ein Beispiel der Zuordnung vvn Prioritäten zu Avataren auf der Basis des Abstands zeigt;
Fig. 18 ist ein Diagramm, das ein Beispiel der Zuordnung von Prioritäten zu Avataren auf der Basis des Gesichtsfelds zeigt;
Fig. 19 ist ein Diagramm, das ein Beispiel der Zuordnung von Prioritäten zu Avataren auf der Basis der Augenrichtung zeigt;
Fig. 20 ist ein Diagramm, das ein Beispiel der Zuordnung von Prioritäten zu Avataren auf der Basis des Augenkontakts zeigt;
Fig. 21 ist ein Blockschaltbild, das einen Server in einem vierten Beispiel darstellt, der die Sprachqualität auf der Basis der den Avataren zugeordneten Prioritäten steuert;
Fig. 22 ist ein Blockschaltbild, das die Terminalkonfiguration im vierten Beispiel darstellt;
Fig. 23 ist ein Blockschaltbild, das die Terminalkonfiguration in einem Beispiel des Systems mit dezentralem Anschluß zeigt, das die Sprachqualität steuert;
Fig. 24 ist ein Blockschaltbild, das ein anderes Beispiel der Terminalkonfiguration in einem fünften Beispiel darstellt, das die Sprachqualität auf Anforderung steuert;
Fig. 25 ist ein Diagramm, das ein Beispiel des Klassifizierens der Bildqualität von Avataren auf der Basis des Abstands in einer Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 26 ist ein Diagramm, das ein Anzeigebild zeigt, das im Fall von Fig. 25 geliefert wird;
Fig. 27 ist ein Blockschaltbild, das den Aufbau des Servers in der Ausführungsform der Fig. 25 und 26 darstellt;
Fig. 28 ist ein Blockschaltbild, das die Terminalkonfiguration zur Verwendung im System mit zentralem Anschluß darstellt; und
Fig. 29 ist ein Blockschaltbild, das die Terminalkonfiguration zur Verwendung in dem System mit dezentralem Anschluß darstellt.

Beschreibung der bevorzugten Ausführungsformen

Bei der vorliegenden Erfindung nutzt eine Mehrzahl von über ein Kommunikationsnetz angeschlossenen Terminals gemeinsam einen virtuellen Raum, und sie können Avatare von Terminalbenutzern in dem virtuellen Raum frei bewegen und auf ihren Terminalanzeigen die Szenen anzeigen, die die Avatare im virtuellen Raum beobachten. Bilder, die die Avatare der Benutzer repräsentieren (die Symbole, Darstellungen der Benutzer oder Darstellungen mit Videobildern von Gesichtern von Benutzern, die in sie eingebettet sind, und die nachstehend einfach als Avatarbilder bezeichnet werden), sind an den Positionen der Avatare in dem virtuellen Raum gebildet. Demzufolge enthält die Szene in dem virtuellen Raum, die auf einer Anzeigeeinheit der einzelnen Benutzerterminals angezeigt wird, Avatarbilder der anderen Benutzer im Gesichtsfeld des Avatars der einzelnen Benutzer im virtuellen Raum. Das Anzeigesystem für einen virtuellen Raum der vorliegenden Erfindung kann auch so ausgelegt sein, daß die Benutzer vorbestimmte Dienste wie beispielsweise verschiedene Unterhaltungsspiele bzw. Entertainments, Einkaufssituationen und verschiedene Informationselemente empfangen, aber das System der vorliegenden Erfindung ist insbesondere so konfiguriert, daß der Avatar jedes Benutzers mit anderen Avataren sprechen kann, die er gerade im virtuellen Raum trifft.
Das System der vorliegenden Erfindung kann entweder als System mit dezentralem Anschluß oder als eines mit zentralem Anschluß ausgelegt sein. Bei dem in Fig. 1 A gezeigten System mit dezentralem Anschluß sind mehrere Terminals 10&sub1;, 10&sub2; und 10&sub3;, die an ein in dicken Linien gezeichnetes Kommunikationsnetzwerk wie beispielsweise ein LAN (Local Area Network) angeschlossen sind, jeweils so ausgebildet, daß sie einen gemeinsamen virtuellen Raum bilden und Daten an die anderen Terminals schicken und von ihnen empfangen, wie durch die in dünnen Linien gezeichneten Pfeile angegeben ist. Jedes Terminal sendet Daten, welche die Position des Avatars des Benutzers im virtuellen Raum repräsentieren, und Daten, welche die Richtung der Augen des Avatars repräsentieren (nachstehend als Positionsinformation bezeichnet), in regelmäßigen Zeitabständen oder bei Änderung der Positions- oder der Richtungsdaten an alle anderen Terminals. Bei Empfang der Positionsdaten und der Augenrichtungsdaten von anderen Terminals überprüft jedes Terminal die Daten, um zu sehen, ob sich die Avatare der anderen Terminalbenutzer im Gesichtsfeld des eigenen Avatars befinden, und wenn dem so ist, zeigt das Terminal die Avatarbilder der anderen Terminalbenutzer an den Positionen an, die durch die empfangenen Positionsdaten spezifiziert sind. Außerdem sendet, wie unter Bezug auf ein Beispiel später beschrieben wird, jeder Benutzer seine Stimme oder Sprache von seinem Terminal an alle anderen Terminals, und wie später unter Bezug auf eine Ausführungsform der Erfindung beschrieben wird, schickt der Benutzer erforderlichenfalls beispielsweise sein Gesichtsvideo auf Anforderung an andere Terminals.
Bei dem in Fig. 2A dargestellten System mit zentralem Anschluß sind die Terminals 10&sub1;, 10&sub2; und 10&sub3; alle über ein Kommunikationsnetzwerk wie beispielsweise ein LAN an einen Server 50 angeschlossen und führen eine Zwei-Wege-Kommunikation mit dem Server 50 aus, wie durch die Pfeile in dünnen Linien angegeben ist. In diesem Fall sendet jedes Terminal zumindest die Positionsinformation des Avatars seines Benutzers an den Server 50; der Server 50 führt die erforderliche Verarbeitung auf der Basis der von den einzelnen Terminals empfangenen Positionsinformation aus und sendet die verarbeitete Positionsinformation an alle anderen Terminals 10&sub1;, 10&sub2; und 103. Fig. 2B zeigt den Fall, in dem die Terminals 10&sub1;, 10&sub2; und 10&sub3; alle über beispielsweise ISDN an den Server 50 angeschlossen sind.
Vor der Beschreibung einer Ausführungsform der vorliegenden Erfindung werden einige Beispiele von Kommunikation in einem gemeinsamen virtuellen Raum erläutert.

Erstes Beispiel

Fig. 3 stellt schematisch ein Beispiel der Konfiguration jeder Terminaleinheit 10 dar, welche die Vorrichtung für die gemeinsame Benutzung des virtuellen Raums zur Verwendung bei dem System mit zentralem Anschluß bildet. Die Terminaleinheit 10 umfaßt einen an ein Netzwerk (LAN, ISDN oder ähnliches) angeschlossenen Kanalschnittstellen- bzw. Kanal-Interface-Teil 11, eine Terminalsteuervorrichtung 12, eine Anzeige 13, eine Steuervorrichtung 14, einen Lautsprecher SP, ein Mikrofon MC und eine Videokamera VC.
Fig. 4A stellt schematisch die Architektur eines virtuellen Raums VS, der vorab für die Terminalsteuervorrichtung 12 der Terminaleinheit 101 eines Benutzers U1 geschaffen wurde, Positionen P1 und P2 (als Koordinatenwerte angegeben) von Avataren A1 bzw. A2 von Benutzern in dem virtuellen Raum VS und die Augenrichtungen (durch die Pfeile ED1 und ED2 angegeben) der Avatare A1 bzw. A2 dar. Außerdem bezeichnet die Position P1' die Position des Avatars A1, der dorthin bewegt wurde, und die Augenrichtung an der Position P1' ist durch den Pfeil ED1' angegeben. Andererseits zeigt Fig. 4B ein Gesichtsfeldbild, das der Avatar A1 in der Richtung ED1 aus der Position P1 betrachtet; dieses Gesichtsfeldbild wird auf der Anzeige 13 der Terminaleinheit 10, des Benutzers U1 angezeigt. Fig. 4C zeigt ein Gesichtsfeldbild, das der Avatar A1 in Fig. 4A an der Position P1' betrachtet, nachdem er dorthin bewegt wurde, wobei seine Augenrichtung durch den Pfeil ED1' bezeichnet ist.
Wenn der Benutzer U1 durch einen Joystick oder eine ähnliche Steuervorrichtung 14 seines Terminals 10, seinen Avatar im virtuellen Raum VS anweist, sich aus der Position P1 nach rechts in die Position P1' zu bewegen, wie in Fig. 4A gezeigt, antwortet die Terminalsteuervorrichtung 12 auf die "Bewegen"-Anweisung damit, daß sie auf der Anzeige 13 das Gesichtsfeldbild im virtuellen Raum VS aus der neuen Position P1' (Fig. 4C) statt des bis dahin angezeigten Gesichtsfeldbilds aus der Position P1 (Fig. 4B) anzeigt, und die Steuervorrichtung 12 sendet die neue Position P1' vom Interface 11 über das Kommunikationsnetzwerk NW an den Server 50. Das den Benutzer U1 repräsentierende Bild des Avatars A1 im virtuellen Raum VS wird nicht auf der Anzeige 13 seines eigenen Terminals 10, angezeigt. In diesem Beispiel wird das Bild des Avatars A2 des anderen Benutzers U2 im Gesichtsfeldbild aus der Sicht des Betrachtungspunkts P1' (Fig. 4C) angezeigt.
Der Server 50 weist, wie in Fig. 5 gezeigt, einen Kanal-Interface-Teil 51, einen Anschlußsteuerteil 52 und einen Tabellenspeicher 53 auf. Der Kanal-Interface-Teil 51 ist über das Kommunikationsnetzwerk NW an die Terminaleinheiten 10&sub1; und 10&sub2; angeschlossen, empfängt von ihnen die Positionsinformation von deren Avataren, d. h., die Betrachtungspunkte P1 und P2 sowie die Augenrichtungen ED1 und ED2 der Avatare A1 bzw. A2, überträgt die Positionsinformation an alle Terminals mit Ausnahme des sendenden und steuert den Audio- und Videokanalanschluß zwischen den durch den Anschlußsteuerteil 52 spezifizierten Terminals. Der Anschlußsteuerteil 52 schreibt die empfangene Positionsinformation, d. h. die Koordinaten der Positionen (der virtuelle Raum ist dreidimensional, und die Position jedes Avatars wird durch dreidimensionale Koordinaten ausgedrückt, wird jedoch nachstehend nur durch zweidimensionale Koordinaten ausgedrückt.) (x, y) und die Augenrichtungen ED nach Maßgabe der jeweiligen Terminals in eine Positionsinformationstabelle 53A des Tabellenspeichers 53. Gemäß dem vorliegenden Beispiel werden, wenn die Beziehung zwischen zwei beliebigen Avataren nach der Aktualisierung der im Speicher 53 gespeicherten Daten eine vorbestimmte Bedingung erfüllt, die Terminals entsprechend den zwei Avataren über den Kanal-Interface-Teil 51 verbunden, um eine Kommunikation oder Konversation zwischen den Benutzern dieser Terminals zu ermöglichen. Die Konversationsermöglichungsbedingung besteht beispielsweise aus dem Abstand zwischen den Avataren und dem Grad des Augenkontakts zwischen ihnen, wie später unter Bezug auf andere Beispiele beschrieben wird. Der Anschlußsteuerteil 52 berechnet den Abstand d zwischen beispielsweise den Avataren A1 und A2 in der Tabelle 53A durch d² = (x&sub1; - x&sub2;)² + (y&sub1; - y&sub2;)² und wenn d < D gilt und der durch die Augenrichtungen ED1 und ED2 der Avatare A1 bzw. A2 definierte Grad an Augenkontakt eine vorbestimmte Bedingung erfüllt, weist der Anschlußsteuerteil 52 den Kanalfnterface-Teil 51 an, den Kanal zwischen den Terminals 10&sub1; und 10&sub2; entsprechend den Avataren A1 und A2 anzuschließen und schreibt den Anschlußzustand (durch einen weißen Kreis angegeben) der Avatare A1 und A2 in eine Anschlußzustandstabelle 53B.
Der Kanal-Interface-Teil 51 leitet verarbeitete Audio- und Videodaten zwischen den Terminals 10&sub1; und 10&sub2; weiter, d. h., er sendet die vom Terminal 10&sub1; empfangenen Daten an das Terminal 10&sub2; und die vom letzteren empfangenen Daten an das erstere.
Der Terminalsteuerteil 12 des Terminals 10&sub1; decodiert die vom Terminal 10&sub2; über den Kanal- Interface-Teil 51 empfangenen Audiodaten und gibt den Ton aus dem Lautsprecher SP aus, erzeugt das Avatarbild an der Position, die durch den in der vom Terminal 10&sub2; empfangenen Positionsinformation enthaltenen Koordinatenwert (x&sub2;, y&sub2;) spezifiziert ist, und gibt es zusammen mit dem Gesichtsfeldbild in dem gerade angezeigten virtuellen Raum an die Anzeige 13 aus. In ähnlicher Weise verarbeitet das Terminal 10&sub2; die vom Terminal 10&sub1; empfangenen Audio- und Videodaten und gibt sie aus.
Jedesmal dann, wenn der Benutzer eines Terminals seinen Avatar im virtuellen Raum bewegt und/oder dreht, wird die Positionsinformation von dem Terminal als Teil einer "Bewegen"- Nachricht mm mit einem in Fig. 6 gezeigten Format gesendet.
Die "Bewegen"-Nachricht mm setzt sich zusammen aus einem Avataridentifizierer AID, einem Nachrichtenidentifizierer MID, einem Raumidentifizierer SID, einem Koordinatenwert COV, der Augenrichtung ED und einem Zustands-Flag SFLG. Der Avataridentifizierer AID ist eine vorab zugeordnete eindeutige Zahl, die das Terminal repräsentiert, das die Nachricht gesendet hat. Der Nachrichtenidentifizierer MID ist eine vorbestimmte Zahl, welche die Nachricht zum Senden von Positionsinformation auf der Basis der Bewegung des Avatars repräsentiert. Der Koordinatenwert COV und die Augenrichtung ED sind ein Positionskoordinatenwert (x, y, z) bzw. ein Augenrichtungswert γ (Vektor) des Avatars im virtuellen Raum. Das Zustands-Flag SFLG ist ein Wert, der den Zustand des Avatars (bewegend, kommunizierend, auswählend oder im Leerlaufzustand) angibt. In diesem Fall wird der "auswählende" Zustand in einer Nachricht zum Empfang eines Dienstes verwendet, und ein Tastenwert zum Auswählen eines Gegenstands aus einem Dienstemenü durch die Steuervorrichtung 14 wird als das Flag verwendet. Der Tastenwert ist ein Wert, der anzeigt, welche Taste einer Eingabevorrichtung (eine Maus oder ein Joystick) gerade gedrückt ist. "Leerlaufzustand" bezeichnet den Zustand, in dem der Benutzer das Terminal nicht benutzt.
Fig. 7 stellt in Blockform die Konfiguration des Terminalsteuerteils 12 in jeder Terminaleinheit 10 von Fig. 3 in einem System mit zentralem Anschluß dar. Der Terminalsteuerteil 12 umfaßt: einen Videobilderzeugungsteil 12G, der ein CG-Gesichtsfeldbild, gesehen in der spezifizierten Augenrichtung aus der spezifizierten Koordinatenposition in dem dreidimensionalen virtuellen Raum, zur Anzeige auf der Anzeige 13 erzeugt; einen Steuereingabeverarbeitungsteil 12D, der die Eingabe aus der Steuervorrichtung 14 empfängt und sie zur Umsetzung des Koordinatenwerts und des Tastenwerts verarbeitet; ein Kommunikations-Interface 12A, das die Verarbeitung für das Senden zu dem Kommunikationsnetzwerk NW und das Empfangen von diesem ausführt; eine Dateieinheit 12F, die Anzeigedaten, Bilddaten für den virtuellen Raum, Software- und Benutzerdaten speichert; einen Verwaltungstabellenspeicher 12E; einen Audioausgabeverarbeitungsteil 12J, der Audiodaten empfängt und ein analoges Sprachsignal an das Mikrofon MC liefert; einen Audio/Video-Eingabeteil 12K, der eine digitale Verarbeitung der eingegebenen Sprache von dem Mikrofon MC und eines Videosignals von der Videokamera VC ausführt und sie an den Server 50 liefert; und eine CPU 12C, welche den Betrieb des Terminalsteuerteils 12 steuert. Diese Komponenten sind über einen Bus 12B untereinander verbunden.
In dem Verwaltungstabellenspeicher 12E sind, wie in Fig. 8 gezeigt, gespeichert: die Positionskoordinate COV und die Augenrichtung des Avatars des Benutzers, die von dem Steuereingabeverarbeitungsteil 12D durch die Manipulation der Steuervorrichtung 14 eingegeben wurden, die Positionskoordinaten COV und die Augenrichtung γ von anderen Avataren, Änderungs-Flags CFLG und Zustands-Flags SFLG, die von dem Server 50 (oder anderen Terminals) empfangen wurden; diese Informationselemente sind nach Maßgabe der jeweiligen Avataridentifizierer AID gespeichert. Der Avataridentifizierer AID, das Zustands-Flag SFLG, der Koordinatenwert COV und die Augenrichtung ED sind gleich wie jene, die in der in Fig. 6 dargestellten "Bewegen"-Nachricht verwendet wurden. Wenn diese Datenelemente über Avatare aktualisiert werden, wird das Änderungs-Flag CFLG auf "1" gesetzt. Nun wird eine Beschreibung des Betriebs des Terminalsteuerteils 12 im Terminal 10&sub1; des Benutzers U1 als Beispiel angegeben. Die CPU 12C liest aus dem Verwaltungstabellenspeicher 12E die Position (x, y, z) und die Augenrichtung γ&sub1; entsprechend dem Identifizierer AID&sub1; des Avatars A1 des Benutzers U1 aus, weist den Videobilderzeugungsteil 12G an, das Gesichtsfeldbild zu erzeugen, das in der Augenrichtung γ&sub1; von der Position (x, y, z) in dem virtuellen Raum betrachtet wird, die in der Dateieinheit 12F als Daten gespeichert sind, erfaßt andere Avatare, die in jenem Sehfeld vorhanden sind, aus deren im Tabellenspeicher 12E gespeicherten Koordinatenwerten, erzeugt Avatarbilder an den Positionen der erfaßten Avatare und weist die Anzeige 13 an, auf ihr die Avatarbilder zusammen mit dem Gesichtsfeldbild anzuzeigen. Die Avatarbilder, die auf der Anzeige 13 angezeigt werden, sind beispielsweise Videobilder von Gesichtern von Benutzern, die vom Server 50 empfangen wurden und in Größen erzeugt werden, die den Abständen vom Avatar A1 des Benutzers U1 zu den anderen anzuzeigenden Avataren entsprechen.
Die CPU 12C überwacht ständig das Änderungs-Flag CFLG im Verwaltungstabellenspeicher 12E und weist bei Erfassung einer Änderung in den entsprechend dem Avatar A1 des Benutzers U1 (CFLG = 1) gespeicherten Daten den Videobilderzeugungsteil 12G an, das Gesichtsfeldbild in dem virtuellen Feld, das anzuzeigen ist, und die in ihm enthaltenen anderen Avatarbilder gesondert zu erzeugen, und zeigt sie auf der Anzeige 13 an, wonach das Änderungs-Flag CFLG zurückgesetzt wird. Wenn erfaßt wird, daß das Änderungs-Flag eines anderen Avatars "1" ist, wird nur dessen Avatarbild auf der Basis der aktualisierten Koordinatenposition COV und Augenrichtung γ aktualisiert, wonach das Änderungs-Flag CFLG zurückgesetzt wird.
Während dieses Beispiel unter Bezug auf das System mit zentralem Anschluß beschrieben worden ist, ist das Konzept auch bei dem System mit dezentralem Anschluß einsetzbar. In einem solchen Fall sendet jedes Terminal an alle anderen Terminals die "Bewegen"-Nachricht mm mit dem Format von Fig. 6, das die Positionsinformation über den Avatar des betreffenden Terminals enthält, und schreibt gleichzeitig die Nachricht in den Verwaltungstabellenspeicher 12E des in Fig. 7 gezeigten Terminalsteuerteils 12. Andererseits schreibt jedes Terminal die von den anderen Terminals empfangenen "Bewegen"-Nachrichten MM des gleichen Formats in den Verwaltungstabellenspeicher 12E und bildet gleichzeitig die Bilder anderer Avatare, die im Gesichtsfeld aus der Position des Avatars seines Benutzers beobachtet werden, und zeigt sie an ihren spezifizierten Positionen in dem Gesichtsfeldbild an. Um das System mit dezentralem Anschluß zu implementieren, braucht der Terminalsteuerteil 12 jedes Terminals nur zwischen dem Kommunikations-Interface 12A und dem Bus 12B einen Teil zu enthalten, der dem Kanal-Interface-Teil 51 des Servers 50 in dem in Fig. 5 gezeigten System mit zentralem Anschluß entspricht. Die Funktionen des Anschlußsteuerteils 52 und des Tabellenspeichers 53 in Fig. 5 können von der CPU 12 bzw. dem Verwaltungstabellenspeicher 53 in Fig. 7 implementiert werden.

Zweites Beispiel

Obenstehend wurde eine kurze Beschreibung des Falls angegeben, daß der Audiokanal zwischen zwei Terminals geschaltet wurde, wenn der Abstand d zwischen Avataren ihrer Benutzer im virtuellen Raum kleiner als ein vorbestimmter Wert ist; es wird eine Beschreibung der Bedingungen, die eine Konversation zwischen solchen Avataren ermöglichen, und eines Beispiels einer Vorrichtung angegeben, welche den Sprachkanal zwischen ihnen auf der Sasis derartiger Bedingungen schaltet. Die Bedingungen sind der Abstand zwischen zwei Avataren und ihre Gesichtswinkel sowie Augenrichtungen.
(a) Wenn der Abstand d zwischen den Avataren A1 und A2 bei gegebenen Positionskoordinaten kleiner oder gleich einem vorbestimmten Wert Da ist, wie in Fig. 9A gezeigt, verbindet der Server 50 die Terminals 10&sub1; und 10&sub2; entsprechend den Avataren A1 bzw. A2, wodurch das Senden und Empfangen von Sprache zwischen ihnen ermöglicht wird. In einem derartigen System wird die Augenrichtung nicht berücksichtigt.
(b) Wenn der Abstand d zwischen den Avataren A1 und A2 kleiner oder gleich einem vorbestimmten Wert Db ist und zumindest einer der Avatare sich im Gesichtsfeld des anderen Avatars befindet, wie in Fig. 9B gezeigt, verbindet der Server 50 die zwei entsprechenden Terminals untereinander, wodurch das Senden und Empfangen von Sprache zwischen ihnen ermöglicht wird. Der Sehwinkel α ist ein vorbestimmter Wert. In dem Beispiel von Fig. 9B wird der Avatar A1 des Benutzers U1 nicht auf der Anzeigeeinheit 13 des Terminals 10&sub2; des Benutzers U2 angezeigt, aber der Avatar A2 des Benutzers U2 wird auf der Anzeigeeinheit 13 des Benutzers U1 angezeigt; demzufolge kann der Avatar A1 eine Konversation mit dem Avatar A2 beginnen, indem er ihn anspricht.
(c) Wenn der Abstand d zwischen den Avataren A1 und A2 kleiner oder gleich einem vorbestimmten Wert Dc ist und beide sich im Gesichtsfeld des jeweils anderen befinden, wie in Fig. 9C gezeigt, verbindet der Server die zwei entsprechenden Terminals untereinander, was das Senden und Empfangen von Sprache zwischen ihnen ermöglicht. Wenn sich die Avatare von zwei Terminalbenutzern im Gesichtsfeld des jeweils anderen befinden, wird übrigens angenommen, daß sie einen Augenkontakt herstellen.
(d) In einer in Fig. 9D gezeigten Situation, in der sich ein dritter Avatar A3 einem (beispielsweise A1) der Avatare A1 und A2 nähert, die sich bei einem System unter Verwendung der vorgenannten Bedingung (a) in einer Konversation miteinander befinden und außerdem eine Konversationsermöglichungsbedingung (d≤Dd) zwischen den Avataren A1 und A3 erfüllt ist, wie in Fig. 9D gezeigt, werden die Stimmen der Avatare A1 und A2 nach deren Mischung an das Terminal 10&sub3; des Avatars A3 gesendet, die Stimmen der Avatare A1 und A3 werden nach deren Mischung an das Terminal 10&sub2; des Avatars A2 gesendet, und die Stimmen der Avatare A2 und A3 werden nach deren Mischung an das Terminal 10&sub1; des Avatars A1 gesendet, um dadurch eine Konversation zwischen den Avataren A1, A2 und A3 der drei Terminalbenutzer zu ermöglichen.
(e) Auch in einer in Fig. 9E gezeigten Situation, bei der sich ein dritter Avatar A3 einem (A1) der zwei Avatare A1 und A2 nähert, die sich bei einem System unter Verwendung der vorgenannten Bedingung (b) in einer Konversation miteinander befinden, kann die gleiche Verarbeitung wie die unter (d) beschriebene ausgeführt werden.
(f) Auch bei einer in Fig. 9F gezeigten Situation, bei der der dritte Avatar A3 in das Gesichtsfeld eines (A2) der Avatare A1 und A2 eintritt, die sich bei einem System unter Verwendung der vorgenannten Bedingung (c) in einer Konversation miteinander befinden, kann die gleiche Verarbeitung wie die oben unter (d) beschriebene ausgeführt werden.
(g) Alternativ ist es möglich, die vorgenannte Bedingung (c) als Konversationsermöglichungsbedingung für die ersten zwei Avatare A1 und A2 und eine vorbestimmte der Bedingungen (a) und (b) als Bedingung für den dritten und weitere Avatare verwenden, um sich der Konversation zwischen den Avataren A1 und A2 anzuschließen.
Fig. 10 stellt ein Beispiel des Servers der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums zur Verwendung bei dem System mit zentralem Anschluß dar, das die Verarbeitung (f) ausführt. Dieses Beispiel wird mit drei Terminals dargestellt. Aus Gründen der Knappheit sind keine videobezogenen Teile gezeigt.
Der Server 50 tauscht Sprachdaten und Positionsinformation mit den Terminals über die Kanäle CH&sub1;, CH&sub2; und CH&sub3; aus. Zuerst werden die über die Kanäle CH&sub1;, CH&sub2; und CH&sub3; empfangenen Daten in Kanal-Interface-Teilen INF&sub1;, INF&sub2; bzw. INF&sub3; empfangen. Die Kanal-Interface-Teile INF&sub1; bis INF&sub3; analysieren die empfangenen Daten und senden sie im Fall von Sprachdaten an einen Sprachumschaltteil 52S. Wenn die empfangenen Daten Positionsdaten und Augenrichtungsdaten enthaltende Positionsinformation sind, schreiben die Kanal-Interface-Teile INF&sub1; bis INF&sub3; die Positionsdaten und die Augenrichtungsdaten in den Tabellenspeicher 53 und senden sie gleichzeitig zu einem Positionsinformationsverteilungsteil 52A. Der Positionsinformationsverteilungsteil 52A kopiert die vom Kanal-Interface-Teil INF&sub1; empfangene Positionsinformation und sendet sie an die Kanal- Interface-Teile INF&sub2; und INF&sub3; und kopiert die vom Kanal-Interface-Teil INF&sub2; empfangene Positionsinformation und sendet sie an die Kanal-Interface-Teile INF&sub1; und INF&sub3;. Außerdem kopiert der Positionsinformationsverteilungsteil 52A die vom Kanal-Interface-Teil INF&sub3; empfangene Positionsinformation und Augenrichtungsinformation und sendet sie an die Kanal-Interface-Teile INF&sub1; und INF&sub2;. Ein Abstandsermittlungsteil 52B liest die Positionsinformation aus dem Tabellenspeicher 53 aus und berechnet alle Abstände dij (i, j: 1, 2,3, i≠j) zwischen den Avataren Ai und Aj. Der Abstandsermittlungsteü 52B vergleicht jeden Abstand d; ~ mit einem vorgegebenen Schwellenwert D und stellt den Abstand dij auf einen Wert 1 oder 0 ein, abhängig davon, ob 0 < dij ≤ D gilt oder dij > 0, und sendet den Wert zu einem Mischobjektermittlungsteil 52D. Ein Augenkontaktfeststellungsteil 52C verwendet die Positionsdaten und die Augenrichtungsdaten, um einen Wert wij zu berechnen, der angibt, ob sich jeweilige Avatare im Gesichtsfeld des jeweils anderen befinden. D. h., der Augenkontaktfeststellungsteil 52C stellt den Wert wij auf "1" oder "0" abhängig davon, ob die Betrachtungspunkte (die Positionen von Avataren) von zwei Benutzern Ui und Uj sich jeweils im Gesichtsfeld des anderen befinden, und sendet den Wert wij an den Mischobjektermittlungsteil 52D. Der Mischobjektermittlungsteil 52D berechnet das Produkt pij = dijwij der Werte dij und wij und weist einen Umschalter 52S an, das Sprachsignal des Benutzers Ui, für das das obige Produkt "1" ist, mit dem Kanal CHi des Benutzers Uj und das Sprachsignal des Benutzers Uj mit dem Kanal CHi des Benutzers Ui zu verbinden.
Nun wird unter Bezug auf die Fig. 11 und 12 eine Beschreibung der Prinzipien bei der Ermittlung im Abstandsermittlungsteil 52B und im Augenkontaktfeststellungsteil 52C angegeben. Wie in Fig. 11 gezeigt, umfaßt der Abstandsermittlungsteil 52B einen Abstandsberechnungsteil 52B1 zum Berechnen des Abstands zwischen zwei Avataren und einen Vergleichsteil 52B2 zum Ausführen einer Überprüfung, um zu sehen, ob der berechnete Abstand unterhalb des Schwellenwerts D ist. Der Augenkontaktfeststellungsteil 52C umfaßt Avatarrichtungsberechnungsteile 52C1 und 52C3, von denen jeder die Richtung von einem, von zwei Avataren bezüglich des anderen berechnet, Vergleichsteile 52C2 und 52C4, die berechnete Richtungen θi und θj mit einem vorbestimmten Gesichtsfeldschwellenwert α vergleichen, um festzustellen, ob sich die Avatare im Gesichtsfeld des jeweils anderen befinden, und einen Koinzidenzermittlungslogikoperationsteil 52C5, der die zwei Vergleichsergebnisse verwendet, um festzustellen, ob die zwei Avatare einen Augenkontakt zueinander haben.
Wie in Fig. 12 gezeigt, sei eine Koordinatenachse im virtuellen Raum VS vorhanden; die Koordinaten der Position Pi des Avatars Ai seien (xi, yi), und die Koordinaten der Position Pj des Avatars Aj seien (xj, yi). Außerdem sei der Augenrichtungsvektor i des Avatars Ai (ix, iy), und der Augenrichtungsvektor j des Avatars Aj sei (jx, jy). Der Augenrichtungsvektor ist übrigens ein Einheitsvektor.
Der Abstand zwischen den Avataren Ai und Aj kann durch die folgende Gleichung auf der Basis der in den Abstandsberechnungsteil 52B1 eingegebenen Positionskoordinaten (xi, yj) und (xj, yi) berechnet werden.
dij = {(xj - xi)² + (yj - yi)²}1/2 (1)
Der Abstand dij wird mit dem vorbestimmten Schwellenwert D verglichen, und gemäß den obigen Ausführungen wird der Abstand dij auf einen Wert "1" oder "0" abhängig davon eingestellt, ob 0 < dij ≤ D gilt oder dij > D. Der so eingestellte Abstandswert dij; wird an den Mischobjektermittlungsteil 52D übertragen.
Der Koinzidenzermittlungslogikoperationsteil 52C5 berechnet auf der Basis der in die Avatarrichtungsberechnungsteife 52C1 und 52C3 eingegebenen Positionskoordinaten (xi, yi) und (xj, yj) sowie der Augenrichtungsvektoren (ix, iy) und (jx, jy) einen Wert w, der angibt, ob die Gesichtsfelder von Benutzern miteinander koinzidieren.
cos θj kann durch Berechnen des inneren Produkts des Vektors i und des Vektors Pij von der Koordinate Pi zu Pj ermittelt werden.
i · Pij = i · P cos θi = ix(xj - xi) + iy(yj - yi)
wobei i ein Einheitsvektor = 1 ist und Pij der Abstand dij zwischen den Positionen Pi und Pj ist, der durch Gleichung (1) ausgedrückt ist. Daher kann die Richtung θi, in der der Avatar Aj vom Avatar Ai aus wahrgenommen wird, durch die folgende Gleichung berechnet werden:
cos θi = {ix(xj - xi) + iy(yj - yi)} / {(xj - xi)² + (yj - yi)²}1/2
= {ix(xj - xi) + iy(yj - yi)}/dij (2)
Diese Berechnung kann auch unter Verwendung des Abstands dij ausgeführt werden, der im Abstandsberechnungsteil 52B1 berechnet wird.
Die durch den Avatarrichtungsberechnungsteil 52C1 so berechnete Richtung θi wird mit dem vorbestimmten Gesichtsfeldschwellenwert α im Vergleichsteil 52C2 verglichen, und sie wird auf einen Wert "1" oder "0" abhängig davon eingestellt, ob 0 < θi ≤ α gilt oder α < θj. Der so eingestellte Wert θi wird in den Koinzidenzermittlungslogikoperationsteil 52C5 eingegeben.
Auf ähnliche Weise kann die Richtung θj, in der der Avatar Ai vom Avatar Aj wahrgenommen wird, durch die folgende Gleichung ermittelt werden:
cosθj = {jx(xi - xj) + jy(yi - yj)}/{(xj - xi)² + (yj - yi)²}1/2
= {jx(xi - xj) + jy(yi - yj)}/dij (3)
Die im Rechenteil 52C3 so berechnete Richtung θj wird mit dem vorbestimmten Gesichtsfeldschwellenwert α verglichen, und sie wird auf einen Wert "1" oder "0" abhängig davon eingestellt, ob 0 < θj ≤ α gilt oder α ≤ θj. Der so eingestellte Wert θj wird in den Koinzidenzermittlungslogikoperationsteil 52C5 eingegeben. Fig. 12 zeigt, daß sich der Avatar Aj im Gesichtsfeld α des Avatars Ai befindet, während sich der Avatar Ai außerhalb des Gesichtsfelds α des Avatars Aj befindet und damit nicht wahrgenommen wird. Ein bevorzugter Wert des Sehwinkels α beträgt beispielsweise 45º.
Die Richtung θi des Avatars Aj aus der Sicht des Avatars Ai und die Richtung θj des Avatars Ai aus der Sicht des Avatars Aj, die aus den Vergleichsteilen 52C2 bzw. 52C4 ausgegeben werden, werden in den Koinzidenzermittlungslogikoperationsteil 51C5 eingegeben, in dem ein logisches Produkt Wij = θi · θj bestimmt wird. Somit gibt der Logikoperationsteif 52C5 einen Wert wij = 1, der die Koinzidenz der Gesichtsfelder der Benutzer ausdrückt, nur dann aus, wenn θi · θj = 1, was angibt, daß jeder der Avatare sich im Gesichtsfeld des jeweils anderen befindet. Wenn einer der Werte θi und θj "0" ist, gibt der Logikoperationsteil 52C5 einen Wert wij = 0 aus. Die Ausgabe wij; aus dem Logikoperationsteil 52C5 wird an den Mischobjektermittlungsteil 52D übertragen. Der Mischobjektermittlungsteil 52D verwendet den eingestellten Wert d aus dem Abstandsermittlungsteil 52B und den eingestellten Wert wij aus dem Augenkontaktfeststellungsteil 52C, um pij = dij · wij zu berechnen, wie oben ausgeführt, und liefert es an den Umschaltteil 52S.
Der Umschaltteil 52S antwortet auf die Anweisung des Mischobjektermittlungsteils 52D und wählt aus den von den Kanal-Interface-Teilen INF&sub2; und INF&sub3; empfangenen Stimmen jene Stimmen aus, die eine Bedingung p&sub2;&sub3; = 1 erfüllen, d. h. jene Stimmen, die mit dem im Kanal-Interface-Teil INF&sub1; untergebrachten Kanal CH&sub1; zu verbinden sind; die so ausgewählten Stimmen werden von einem Mischer 52M&sub1; gemischt, und die Mischausgabe wird an den Kanal-Interface-Teil INF&sub1; geliefert. Von den Stimmen, die von den Kanal-Interface-Teilen INF&sub1; und INF&sub3; empfangen wurden, werden jene Stimmen, die eine Bedingung p&sub1;&sub3; = 1 erfüllen, d. h. jene Stimmen, die mit dem im Kanal-Interface-Teil INF&sub2; untergebrachten Kanal CH&sub2; zu verbinden sind, ausgewählt und von einem Mischer 52M&sub2; gemischt, wonach sie an den Kanal-Interface-Teil INF&sub2; übertragen werden. Auf ähnliche Weise werden von den Stimmen, die von den Kanal-Interface-Teilen INF&sub1; und INF&sub2; empfangen wurden, jene Stimmen, die eine Bedingung p&sub1;&sub2; = 1 erfüllen, d. h. jene Stimmen, die mit dem im Kanal-Interface-Teil INF&sub3; untergebrachten Kanal CH&sub3; zu verbinden sind, ausgewählt und von einem Mischer 52M&sub3; gemischt, wonach sie an den Kanal-Interface-Teil INF&sub3; übertragen werden.
Die Kanal-Interface-Teile INF&sub1;, INF&sub2; und INF&sub3; liefern auf den Kanälen CH&sub1;, CH&sub2; bzw. CH&sub3; die vom Positionsinformationsverteilungsteil 52 gelieferte Positionsinformation, welche die Positionsdaten und die Augenrichtungsdaten enthält, und die von den Mischern 52M&sub1;, 52M&sub2; bzw. 52M&sub3; empfangenen Sprachdaten.
Im Fall eines Systems, das die vorgenannten Konversationsermöglichungsbedingungen (a) und (d) implementiert, braucht das Augenkontaktfeststellungsteil 52C in Fig. 10 nicht vorgesehen zu sein, und das Mischobjektermittlungsteil 52D steuert den Umschaltteil 525 allein auf der Basis des Abstands dij. Die Konversationsermöglichungsbedingungen (b) und (e) können durch eine ODER-Verknüpfung, wij = θi + θj, im Koinzidenzlogikoperationsteil 52C5 in Fig. 11 implementiert werden.

Drittes Beispiel

Bei den obigen Beispielen können, selbst wenn die Anzahl an Avataren, die sich an einer Konversation beteiligen, drei oder mehr ist, sie jeweils die Stimmen aller anderen Avatare in jener Gruppe hören, können jedoch nicht Stimmen eines Avatars hören, der sich außerhalb der Gruppe befindet. Dies wird in Bezug auf eine in Fig. 13 gezeigte Party beschrieben, bei der im virtuellen Raum VS sieben Avatare A1 bis A7 entsprechend Benutzern von sieben Terminals 10&sub1; bis 10&sub7; teilnehmen. Wie gezeigt, sprechen die Benutzer der Avatare A1 und A2 miteinander, und auch die Benutzer der Avatare A3 bis A5 sprechen miteinander, jedoch sind die Benutzer der Avatare A6 und A7 nicht an der Konversation in einer der beiden Gruppen beteiligt. Wenn die Benutzer der Avatare A6 und A7 Stimmen der beiden Gruppen als Umgebungston hören könnten, könnten sie das Vorhandensein der anderen Avatare im virtuellen Raum VS wie in der realen Welt fühlen. Auf ähnliche Weise könnten auch die Benutzer der in einer Konversation befindlichen Avatare A1 und A2 einen verbesserten Realismus des virtuellen Raums VS erfahren, wenn sie als Umgebungsgeräusche die Stimmen der Avatare A3 bis A5 und von den Avataren A6 und A7 erzeugte Geräusche hören könnten.
Nun wird eine Beschreibung eines Beispiels der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums angegeben, die es allen Benutzern in einem gemeinsam benutzten virtuellen Raum ermöglicht, durch dynamisches Umschalten der Einstellung eines Sprachwegumschalters von ihnen erzeugte Geräusche und von ihnen ausgehende Stimmen als Umgebungsgeräusche zu hören.
Fig. 14 zeigt, wie der Sprachwegumschalter 525 und der Mischer 52M im Server 50 der Vorrichtung dieses Beispiels im Fall von Fig. 13 verbunden sind. Es sei angenommen, daß die Terminals 10&sub1; bis 10&sub7; der sieben Benutzer im gleichen virtuellen Raum vorhanden sind und daß die Gruppe von zwei Benutzern entsprechend den Terminals 10&sub1; und 10&sub2; und die Gruppe von drei Benutzern entsprechend den Terminals 10&sub3;, 10&sub4; und 10&sub5; unabhängig voneinander in eine Konversation miteinander vertieft sind. Bei diesem Beispiel ist der Mischer 52M adaptiv in die Mischerteile 52MA und 52MB entsprechend den zwei Konversationsgruppen und einen Mischerteil 52MC für alle Avatare im virtuellen Raum VS unterteilt.
Der Umschalter 52S weist einen Aufbau auf, der eine Ein-Wege-Verbindung für Geräusche und Stimmen herstellt, die von all den Terminals 10&sub1; bis 10&sub7; zum Mischerteil 52MC empfangen wurden. Geräusche SC, die durch Mischen der Geräusche und Sprachdaten D1 bis D7 erzeugt wurden und somit in Ein-Wege-Richtung von all den Terminals 10&sub1; bis 10&sub7; gesendet wurden, werden durch einen Verlusteinbringteil 5LC auf ein Niveau gedämpft, das geeignet ist für Umgebungsgeräusche, und an die Terminals 10&sub6; und 10&sub7; der Benutzer übertragen, die nicht an der Konversation teilnehmen. Auf diese Weise können die Benutzer der Terminals 10&sub6; und 10&sub7; als Umgebungsgeräusche die von allen Benutzern, die in dem gemeinsam benutzten virtuellen Raum vorhanden sind, erzeugten Geräusche und ausgehenden Stimmen hören.
Andererseits stellt der Umschalter 52S eine Zwei-Wege-Verbindung für dis von den Terminals 10&sub1; und 10&sub2; an den Mischerteil 52 MA gesendeten Sprachdaten SD&sub1; bzw. SD&sub2; her, und gleichzeitig stellt er eine Ein-Wege-Verbindung für die Mischgeräusche SC, die über den Verlusteinbringteil 5LC vom Mischerteil 52MC eingegeben wurden, zu einem Verlusteinbringteil 5LA her, um einen derartigen Schalldruckpegel so zu dämpfen, daß er die Konversation nicht behindert, wonach die Mischgeräusche SC an den Mischerteil 52MA geliefert werden. Der Mischerteil 52MA mischt die Sprachdaten SD&sub2; vom Terminal 10&sub2; und die Umgebungsgeräusche SC und sendet die Mischgeräusche über den Umschalter 52S an das Terminal 10&sub1;; des weiteren mischt der Mischerteil 52MA die Sprachdaten SD, vom Terminal 10&sub1; und die Umgebungsgeräusche SC und sendet die Mischgeräusche über den Umschalter 52S an das Terminal 102. Somit können die Benutzer der Terminals 10&sub1; und 10&sub2; die Umgebungsgeräusche SC mit reduziertem Schalldruckpegel hören, während sie gleichzeitig eine Zwei-Wege-Konversation wie im Fall des Sprechens miteinander über Telefon ausführen. Was die Gruppe der Terminals 10&sub3; bis 10&sub5; angeht, wird die Ausgabe aus dem Mischerteil 52MC ebenfalls auf ähnliche Weise über die Verlusteinbringteile 5LC und 5LB an den Mischerteil 52 MB angeschlossen, und der Mischerteil 52MB erzeugt an jedes Terminal zu sendende Sprachdaten durch Mischen von Sprachdaten von allen anderen Terminals und den Umgebungsgeräuschen SC und sendet sie über den Umschalter 52S an die Terminals, wodurch die Benutzer der Terminals die Umgebungsgeräusche SC mit abgesenktem Schalldruckpegel hören können, während eine Zwei-Wege-Konversation ausgeführt wird.
Anhand von Fig. 15 wird der Server 50, der mit dem Umschalter 525 und dem Mischer 52M versehen ist, die in Fig. 14 gezeigt sind, weiter beschrieben. Es sei aus Gründen der Knappheit angenommen, daß die Anzahl an Terminals drei ist und daß die Benutzer der Terminals 10&sub1; und 10&sub2; miteinander sprechen und den Benutzer des Terminals 103 alleine lassen. In Fig. 14 sind das Interface INF und der Umschalter 52S in Zwei-Wege-Richtung verbunden, aber in Fig. 15 sind die Kanal-Interface-Teile INF&sub1; bis INF&sub3; und der Umschalter 525 so dargestellt, daß sie in Ein-Wege- Richtung verbunden sind, um die Arten von Sprachdaten, die zwischen ihnen gesendet und empfangen werden, zu zeigen. In Fig. 15 übertragen der virtuelle Raum und jeweilige Terminals Audiodaten und Positionsinformationsdaten über ein hochentwickeltes Informationssystem-INS- Netzwerk und die Kanäle CH&sub1; bis CH&sub3; in den Server 50. Zuerst werden über die Kanäle CH&sub1; bis CH&sub3; empfangene Datenelemente in den jeweiligen der Kanal-Interface-Teile INF&sub1; bis INF&sub3; empfangen. Der Kanal-Interface-Teil INF&sub1; analysiert die empfangenen Daten und, wenn sie Sprachdaten SD&sub1; sind, überträgt sie an den Umschalter 52S. Auf ähnliche Weise analysieren die Kanal-Interface-Teile INF&sub2; und INF&sub3; die empfangenen Daten und, wenn sie Sprachdaten SD&sub2; bzw. SD&sub3; sind, übertragen sie an den Umschalter 52S.
Wenn die empfangenen Daten Positionsdaten und Augenrichtungsdaten sind, übertragen die Kanal-Interface-Teile INF&sub1; bis INF&sub3; diese Datenelemente an den Positionsinformationsverteilungsteil 52A und schreiben sie in den Tabellenspeicher 53. Der Positionsinformationsverteilungsteil 52A kopiert die vom Kanal-Interface-Teil INF&sub1; empfangenen Positionsdaten und Richtungsdaten und überträgt sie an die Kanal-Interface-Teile INF&sub2; und INF&sub3;. Auf ähnliche Weise kopiert der Positionsinformationsverteilungsteil 52A die vom Kanal-Interface-Teil INF&sub2; empfangenen Positionsdaten und Richtungsdaten und überträgt sie an die Kanal-Interface-Teile INF&sub1; und INF&sub3;, und er kopiert die vom Kanal-Interface-Teil INF&sub3; empfangenen Positionsdaten und Richtungsdaten und überträgt sie an die Kanal-Interface-Teile INF&sub1; und INF&sub2;.
Ein Konversationsüberwachungsteil 52D diskriminiert auf der Basis der aus dem Tabellenspeicher 53 ausgelesenen Positionsdaten und Augenrichtungsdaten eine Gruppe von Avataren, die die vorgenannten vorbestimmten Konversationsermöglichungsbedingungen erfüllen und definiert oder spezifiziert im Mischer 52M den Mischerteil 52MA, der Sprachdaten von den Terminals entsprechend den Avataren der Gruppe mischt, und den Mischerteil 52MB, der Umgebungsgeräusche aus Sprachdaten von den Terminals entsprechend allen Avataren im virtuellen Raum erzeugt. Der Konversationsüberwachungsteil 52D steuert den Umschalter 52S, um den Mischerteil 52MA mit den von den Terminals 10&sub1; und 10&sub2; empfangenen Sprachdaten SD&sub1; bzw. SD&sub2; entsprechend den Avataren der diskriminierten Gruppe und den Mischerteil 52MB mit den Sprachdaten SD&sub1;, SD&sub2; und SD&sub3; von allen Avataren zu versorgen. Somit überträgt der Umschalter 52S die von den Kanal-Interface-Teifen INF&sub1; bis INF&sub3; empfangenen Sprachdaten SD&sub1; bis SD&sub3; an den Mischerteil 52MB. Der Mischerteil 52MB mischt die Sprachdaten SD&sub1; bis SD&sub3; und überträgt die Mischgeräusche SB als Umgebungsgeräusche über einen Verlusteinbringteil 5LB an den Umschalter 52S. Der Umschalter 52S sendet die Umgebungsgeräusche SB an den Kanal-Interface-Teil INF&sub3; entsprechend dem Terminal 10&sub3; des nicht an der Konversation beteiligten Benutzers und liefert gleichzeitig die Geräusche SB über einen Verlusteinbringteil 5LA an den Mischerteil 52MA. Der Mischerteil 52MA mischt die Geräusche SB mit den Sprachdaten SD&sub1; und SD&sub2; von den Kanal-Interface-Teilen INF&sub1; bzw. INF&sub3; und sendet die Mischgeräusche SD&sub1; + SB sowie SD&sub2; + SB an die Kanal-Interface- Teile INF&sub2; bzw. INF&sub1; von denen sie an die Terminals 10&sub2; bzw. 10&sub1; gesendet werden.
Als Konversationsermöglichungsbedingung für den Konversationsüberwachungsteil 52D zum Identifizieren der Avatare der Konversationsgruppe ist es möglich, die vorgenannten Bedingungen wie beispielsweise den Abstand zwischen den Avataren der Benutzer, ihr gegenseitiges Vorhandensein im Gesichtsfeld des jeweils anderen oder eine Kombination aus diesen zu verwenden. Wenn die Avatare der Konversationsgruppe die Konversation beenden und in einen Zustand eintreten, in dem die Konversationsermöglichungsbedingung nicht erfüllt ist, unterbricht der Konversationsüberwachungsteil 52D die Wege von den Kanal-Interface-Teilen INF&sub1; und INF&sub2; zum Mischerteil 52MA und steuert den Umschalter 52S, die Umgebungsgeräusche SB vom Mischerteil 52MB über den Verlusteinbringteil 5LB an die Kanal-Interface-Teile INF&sub1; bis INF&sub3; zu senden.
Das Beispiel von Fig. 15 wurde in Anwendung auf das System mit zentralem Anschluß beschrieben; im Fall des Systems mit dezentralem Anschluß, wie es in Fig. 16 dargestellt ist (wobei keine videobezogenen Teile gezeigt sind), wird von jeweiligen Terminals empfangene Positionsinformation von Avataren in einen Tabellenspeicher 12E geschrieben. Ein Konversationsüberwachungsteil 12T steuert einen Umschalter 12W, um einen Mischerteil 2MA mit Stimmdaten zu versorgen, die von den Terminals entsprechend anderen Avataren empfangen wurden, welche von ihrer aus dem Tabellenspeicher 12E ausgelesenen Positionsinformation erfaßt wurden. Hierdurch werden aus dem Mischerteil 2MA Mischstimmdaten aus den Stimmdaten aller Avatare gewonnen, und die Mischstimmdaten werden an einen Veriusteinbringteil 2L geliefert, in dem ein vorbestimmter Verlust in sie eingebracht wird, um die Umgebungsgeräusche SB zu erzeugen, die an einen Mischerteil 2MB geliefert werden. Andererseits erfaßt der Konversationsüberwachungsteil 12T andere Avatare, welche die Konversationsbedingung mit dem Avatar des betreffenden Terminals erfüllen, direkt oder indirekt auf der Basis der Positionsinformation der anderen Avatare und der Positionsinformation des betreffenden Avatars, die durch die Steuervorrichtung 14 eingestellt wurden, und steuert den Umschalter 12W, den Mischerteil 2MB mit Stimmdaten zu versorgen, die von den Terminals entsprechend den vorgenannten anderen Avataren empfangen wurden, welche die Konversationsermöglichungsbedingungen erfüllen. Als Ergebnis hiervon mischt der Mischerteil 2MB die Stimmen der anderen Avatare, die sich in einer Konversation mit dem Avatar des betreffenden Terminalbenutzers befinden, mit den Umgebungsgeräuschen SB, und das Mischausgangssignal wird an den Lautsprecher SP geliefert.
Wie oben beschrieben, verleiht die Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums dieses Beispiels dem virtuellen Raum mehr Realismus, indem die Umgebungsgeräusche an alle Avatare unabhängig davon, ob sie an einer Konversation beteiligt sind oder nicht, geliefert wird.

Viertes Beispiel

Bei der Vorrichtung des obigen Beispiels ist es möglich, den Realismus des virtuellen Raums zu verbessern, indem die Umgebungsgeräusche an alle Avatare im virtuellen Raum geliefert werden, aber da die Stimmen anderer Avatare, die in den Umgebungsgeräuschen enthalten sind, den gleichen Pegel aufweisen, kann kein Avatar ein Gefühl für den Abstand von den anderen Avataren entwickeln. Außerdem stellt das Mischen von Stimmen von allen Terminals ein Rauschproblem dar, wenn die Anzahl an Terminals groß ist. Das gleiche Problem tritt auch bei der gleichen Konversationsgruppe auf, da die Stimmen der anderen Avatare den gleichen Pegel aufweisen. Nun wird eine Beschreibung eines Beispiels der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums angegeben, die so ausgebildet ist, daß sie die Qualität von zu mischenden Stimmen auf der Basis der Positionsinformation der einzelnen Avatare dynamisch ändert.
Bei diesem Beispiel werden die Stimmen anderer Avatare, die für die einzelnen Avatare zu mischen sind, auf der Basis der nachstehenden Information abgestuft oder in einige Qualitätsstufen klassifiziert.
(a) Die Positionsinformation des Avatars der einzelnen Benutzer wird dazu verwendet, die Stimme eines anderen Avatars nach Maßgabe der Länge einer die Positionskoordinaten der beiden Benutzer verbindenden geraden Linie abzustufen.
(b) Die Positionsinformation und Augenrichtungsinformation des Avatars der einzelnen Benutzer werden dazu verwendet, die Stimme eines anderen Avatars abhängig davon, ob sich dieser andere Benutzer im Gesichtsfeld des betroffenen Benutzers befindet oder nicht, abzustufen.
(c) Die Positionsinformation und die Augenrichtungsinformation des Avatars der einzelnen Benutzer werden dazu verwendet, die Stimme eines anderen Benutzers nach Maßgabe des Winkels zwischen einer die Positionskoordinaten der beiden Benutzer verbindenden geraden Linie und der Augenrichtung des betreffenden Benutzers abzustufen.
(d) Die Positionsinformation und Augenrichtungsinformation des Avatars der einzelnen Benutzer werden dazu verwendet, die Augenrichtungen des Benutzers und eines anderen Benutzers auf eine Gerade zu verdrehen, welche deren Positionskoordinaten verbindet, um die Stimme eines anderen Benutzers nach Maßgabe der Summe der beiden Drehwinkel abzustufen.
(e) Einige der Bedingungen (a) bis (d) werden kombiniert, um die Stimmen der Benutzer abzustufen.
Die Fig. 17 bis 20 sind Ansichten von virtuellen Räumen in Vogelschau, die Beispiele der Abstufung von Stimmen in einige Qualitätsstufen nach Maßgabe der Beziehung zwischen dem Avatar A1 und den anderen Avataren zeigen. Aus Gründen der Knappheit wird dieses Beispiel in Verbindung mit dem Fall der Klassifizierung der Stimmen der anderen Avatare hinsichtlich des Schalldruckpegels beschrieben.
Im Beispiel von Fig. 17 sind konzentrische Kreise um den Avatar A1 gezogen, und die Stimmen von Avataren in Kreisen kleinerer Radien sind zu höheren Qualitätsstufen hochgestuft. Dieses Beispiel verwendet fünf Qualitätsstufen. D. h., die Stimme des Avatars A2, der sich am nächsten am Avatar A1 befindet, wird auf die höchste Stufe hochgestuft (Verlustrate: 0 dB), und die Stimme des Avatars A3 wird in die zweithöchste Stufe eingestuft (Verlustrate: -10 dB). Die Stimmen der Avatare A4 und A5 (Verlustrate: -13 dB), die Stimme des Avatars A6 (Verlustrate: - 16 dB) und die Stimmen der Avatare A7 und A8 (Verlustrate: -19 dB) werden somit in dieser Reihenfolge nach unten gestuft. Diese Verarbeitung wird für jeden der verbleibenden Avatare im virtuellen Raum ausgeführt. Während dieses Beispiel das einfachste Abstufungsverfahren einsetzt, das konzentrische Kreise verwendet, können verschiedene andere Verfahren verwendet werden. Beispielsweise kann die Stimme eines Avatars vor dem mit A1 bezeichneten in eine höhere Stufe eingestuft werden als die Stimme eines Avatars hinter diesem, indem menschliche Hör- oder Gehöreigenschaften verwendet werden.
Bei dem Beispiel von Fig. 18 wird das Gesichtsfeld des Avatars A1 aus dessen Augenrichtung berechnet, und die Stimmen von Avataren in jenem Gesichtsfeld werden vorzugsweise auf höhere Stufen hinaufgestuft. Dieses Beispiel verwendet zwei Qualitätsstufen. D. h., die Schalldruckpegel der Stimmen der Avatare A2, A4 und A7 werden erhöht (Verlustrate: 0 dB), während die Schalldruckpegel der Stimmen der Avatare A3, A5, A6 und A8, die sich nicht im Gesichtsfeld befinden, vermindert werden (Verlustrate: -19 dB). Diese Verarbeitung wird für jeden der anderen verbleibenden Avatare im virtuellen Raum ausgeführt. In diesem Fall ist der Sehwinkel jedes Avatars in dem System vorherbestimmt.
Das Beispiel von Fig. 19 verwendet den Winkel θ zwischen der Augenrichtung oder Sehlinie EL des Avatars A1 und einer jeweiligen Geraden, die den Avatar A1 und jeden der anderen Avatare verbindet. Die Stimmen von den Avataren kleineren Winkels werden vorzugsweise auf höhere Qualitätsstufen hochgestuft. Dieses Beispiel verwendet fünf Qualitätsstufen. D. h., der Schalldruckpegel der Stimme des Avatars A4 (θ = 0) auf der Sehlinie EL des Avatars A1 wird erhöht (Verlustrate: 0 dB); die Stimmen der Avatare A7 und A5 mit -45º ≤ θ ≤ 90º werden auf eine Verlustrate von -10 dB eingestellt; die Stimmen der Avatare A3 und A6 mit -90º ≤ θ < -45º oder 45º < θ ≤ 90º werden auf eine Verlustrate von -13 dB eingestellt; die Stimmen der Avatare A9 und A2 mit -135º ≤ θ < -90º oder 90º < θ ≤ 135º werden auf eine Verlustrate von -16 dB eingestellt; und die Stimme des Avatars mit -180ºC ≤ θ < -135º oder 135º < θ ≤ 180º wird auf eine Verlustrate von -19 dB eingestellt. Diese Verarbeitung wird für jeden der anderen verbleibenden Avatare ausgeführt.
Bei dem Beispiel von Fig. 20 ist der Avatar A1 mit jedem der anderen Avatare durch eine Gerade verbunden, die jeweils mit einer gestrichelten Linie angegeben ist, und die Sehlinie des Avatars A1 wird gedreht, bis sie in Ausrichtung mit der Geraden kommt, und der Drehwinkel α wird berechnet. Die Drehrichtung ist in diesem Fall diejenige Richtung, in der der Winkel α abnimmt. Auf ähnliche Weise wird die Sehlinie des anderen Avatars gedreht, bis sie in Ausrichtung mit der Geraden kommt, und der Drehwinkel β wird berechnet. Die Drehrichtung in diesem Fall ist diejenige Richtung, in der der Winkel β abnimmt. Dann wird die Summe der beiden Drehwinkel, α + β = A, berechnet. Die Stimmen der Avatare kleinerer Winkel werden in eine höhere Qualitätsstufe hochgestuft. Dieses Beispiel verwendet fünf Qualitätsstufen. D. h., der Schalldruckpegel für den Avatar A4, für den sich die Sehlinie des Avatars A1 in Übereinstimmung befindet (θ = 0º), wird erhöht, während die Verlustraten für den Avatar A3 mit 0º< θ ≤ 45º, den Avatar A5 mit 45º < θ ≤ 90º, den Avatar A6 mit 90º < θ < 135º und den Avatar A2 mit 135º < θ ≤ 180º auf -10 dB, -13 dB, -16 dB bzw. -19 dB eingestellt werden. Diese Verarbeitung wird für jeden der anderen Avatare im virtuellen Raum ausgeführt.
Die Verfahren zur Ermittlung der Verlustrate, wie sie oben unter Bezug auf die Fig. 17 bis 20 beschrieben wurden, können einzeln oder in Kombination verwendet werden. Bei kombinierter Verwendung der Verfahren von Fig. 17, 18 und 20 ist es beispielsweise möglich, die Stimme des Avatars im Gesichtsfeld des Avatars A1 mit abnehmendem Abstand zwischen ihnen und mit zunehmendem Maß an Koinzidenz ihrer Augenrichtungen lauter zu machen.
Fig. 21 stellt ein Beispiel der Konfiguration des Servers 50 dar, der die oben beschriebene Stimmqualitätssteuerung bei der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums beim System mit zentralem Anschluß ausführt. Aus Gründen der Knappheit ist der Server 50 mit drei Terminals gezeigt. Der Server 50 ist an die Terminals 10&sub1;, 10&sub2; und 10&sub3; (vgl. Fig. 2A und 2B) über die Kanäle CH&sub1;, CH&sub2; bzw. CH&sub3; angeschlossen und empfängt von ihnen Daten in den Kanal- Interface-Teilen INF&sub1;, INF&sub2; bzw. INF&sub3;.
Wenn die empfangenen Daten Positionsdaten und Augenrichtungsdaten sind, übertragen die Kanal-Interface-Teüe INF&sub1; bis INF&sub3; sie an den Positionsinformationsverteilungsteil 52A und schreiben sie gleichzeitig in den Tabellenspeicher 53.
Wie im Fall des Beispiels von Fig. 10 kopiert der Positionsinformationsverteilungsteil 52A die vom Kanal-Interface-Teil INF&sub1; empfangenen Positionsdaten und Augenrichtungsdaten und überträgt sie an die Kanal-Interface-Teile INF&sub2; und INF&sub3;, kopiert die vom Kanal-Interface-Teil INF&sub2; empfangenen Positionsdaten und Augenrichtungsdaten und überträgt sie an jene INF&sub1; und INF&sub3;, und kopiert die vom Kanal-Interface-Teil INF&sub3; empfangenen Positionsdaten und Augenrichtungsdaten und überträgt sie an jene INF&sub1; und INF&sub2;.
Ein Verlustermittlungsteil 52E&sub1; verwendet die aus dem Tabellenspeicher 53 ausgelesenen Positionsdaten und Augenrichtungsdaten, um mittels der zuvor unter Bezug auf die Fig. 17 bis 20 beschriebenen Verfahren die Verlustraten der Stimmen anderer Benutzer zu berechnen, die an den Benutzer des im Kanal-Interface-Teil INF&sub1; untergebrachten Terminals geliefert werden. Auf der Basis der so bestimmten Verlustraten sendet der Verlustermittlungsteil 52E, Verlusteinbringanweisungen an Verlusteinbringteile 5L&sub1;&sub2; und 5L&sub1;&sub3; entsprechend den Benutzern der in den Kanal- Interface-Teilen INF&sub2; und INF&sub3; untergebrachten Terminals. Auf ähnliche Weise sendet ein Verlustermittlungsteil 52E&sub2; Verlusteinbringanweisungen an Verlusteinbringteile 5L&sub2;&sub1; und 5L&sub2;&sub3; entsprechend den Benutzern der in den Kanal-Interface-Teilen INF&sub1; und INF&sub3; untergebrachten Terminals. Auch ein Verlustermittlungsteil 52&sub3; sendet auf ähnliche Weise Verlusteinbringanweisungen an Verlusteinbringteile 5L&sub3;&sub1; und 5L&sub3;&sub2; entsprechend den Benutzern der in den Kanal- Interface-Teilen INF&sub1; und INF&sub2; untergebrachten Terminals.
Der Kanal-Interface-Teil INF&sub1; analysiert empfangene Daten, und wenn sie Sprachdaten sind, überträgt er die Sprachdaten SD&sub1; an die Verlusteinbringteile 5L&sub2;&sub1; und 5L&sub3;&sub1;. Auf ähnliche Weise analysiert der Kanal-Interface-Teil INF&sub2; empfangene Daten, und wenn sie Sprachdaten sind, überträgt er die Sprachdaten SD&sub2; an die Verlusteinbringteile 5L&sub1;&sub2; und 5L&sub3;&sub2;. Auch der Kanal- Interface-Teil 1NF3 analysiert auf ähnliche Weise empfangene Daten, und wenn sie Sprachdaten sind, überträgt er die Sprachdaten SD&sub3; an die Verlusteinbringteile 5L&sub1;&sub3; und 5L&sub2;&sub3;. Hierdurch kann der obengenannte Verlust in die Sprachdaten eingebracht werden, die an die einzelnen Verlusteinbringteile geliefert werden.
Ein Sprachmischerteil 52M&sub1; mischt die Sprachdaten mit den von den Verlusteinbringteilen 5L&sub1;&sub2; und 5L&sub1;&sub3; in sie eingebrachten Verlusten und überträgt das Mischausgangssignal an den Kanal- Interface-Teil INF&sub1;, aus dem es über den Kanal CH&sub1; an das Terminal 10&sub1; gesendet wird. Ein Sprachmischerteil 52M&sub2; mischt die Sprachdaten mit den von den Verlusteinbringteilen 5L&sub2;&sub1; und 5L&sub2;&sub3; in sie eingebrachten Verlusten und überträgt das Mischausgangssignal an den Kanal- Interface-Teil INF&sub2;, aus dem es über den Kanal CH&sub2; an das Terminal 10&sub2; gesendet wird. Auf ähnliche Weise mischt auch ein Sprachmischerteil 52M&sub3; Sprachdaten mit durch die Verlusteinbringteile 5L&sub3;&sub1; und 5L&sub3;&sub2; in sie eingebrachten Verlusten und überträgt das Mischausgangssignal an den Kanal-Interface-Teil INF&sub3;, aus dem es über den Kanal CH&sub3; an das Terminal 10&sub3; gesendet wird.
Fig. 22 stellt in Blockform ein Beispiel eines Terminals 10 dar, das an den in Fig. 21 gezeigten Server 50 angeschlossen ist. Die Teile, die jenen in Fig. 3 und 7 entsprechen, sind mit den gleichen Bezugszahlen und -zeichen bezeichnet.
Der Kanal-Interface-Teil 12A des Terminalsteuerteils 12 ist über das Kommunikationsnetzwerk NW an den in Fig. 21 dargestellten Server 50 angeschlossen. Der Steuereingabeverarbeitungsteil 12D sendet Positionsdaten und Augenrichtungsdaten des Avatars des Benutzers, die von der Steuervorrichtung 14 über den Kanal-Interface-Teil 12A und das Kommunikationsnetzwerk NW in den Server 50 eingegeben werden, und sendet gleichzeitig die gleichen Daten an einen Betrachtungspunktverschiebungsverarbeitungsteil 12Gv des Videobilderzeugungsteils 12G.
Der Betrachtungspunktverschiebungsverarbeitungsteil 12Gv des Videobilderzeugungsteils 12G verwendet die vom Steuereingabeverarbeitungsteil 12D empfangenen Positionsdaten und Augenrichtungsdaten des Avatars, um den Betrachtungspunkt im virtuellen Raum zu verschieben und auf einer Anzeige 13 Videobilder anzuzeigen, die in das Gesichtsfeld kommen. Ein Fremdavatarverschiebungsverarbeitungsteil 12Gm bildet Avatarbilder anderer Benutzer an spezifizierten Positionen und in spezifizierten Richtungen im Gesichtsfeldbild nach Maßgabe von Positionsdaten und Augenrichtungsdaten der Avatare anderer Benutzer, die über den Kanal-Interface-Teil 12A vom Server 50 empfangen wurden, und zeigt sie auf der Anzeige 13 an.
Die im Kanal-Interface-Teil 12A empfangene Stimme wird am Lautsprecher SP ausgegeben. Die Stimme des Benutzers dieses Terminals, die am Mikrofon MC eingegeben wird, wird über den Kanal-Interface-Teil 12A an den Server 50 gesendet.
Während die Fig. 21 und 22 Beispiele des Aufbaus des Servers und des Terminals zur Verwendung bei der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums im System mit zentralem Anschluß zeigen, können die oben beschriebenen Prinzipien in gleicher Weise auch bei der Vorrichtung zur gemeinsamen Benutzung im System mit dezentralem Anschluß eingesetzt werden.
Fig. 23 stellt ein Beispiel der Konfiguration eines Terminals 10 zur Verwendung bei der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums im System mit dezentralem Anschluß dar, die die oben genannte Sprachqualitätssteuerung ausführt. Bei diesem Beispiel ist die Anzahl an Terminals anderer Benutzer 3. Beim System mit zentralem Anschluß sendet das Terminal 10 von Fig. 22 Positionsdaten, Augenrichtungsdaten und Sprachdaten an den Server 50 von Fig. 21 und empfängt sie von ihm, und Stimmen werden in dem Server 50 nach Maßgabe jeweiliger Benutzer gemischt. Im Gegensatz dazu ist beim System mit dezentralem Anschluß von Fig. 23 ein Sprachqualitätssteuerteil 12Q im Terminalsteuerteil 12 jedes Benutzerterminals vorgesehen, und auf der Basis der von den anderen Terminals empfangenen und im Tabellenspeicher 12E gespeicherten Positionsdaten und/oder Augenrichtungsdaten wird der Schalldruckpegel für jeden der Avatare anderer Benutzer in einem Verlustermittlungsteil 2E durch ein gewünschtes der oben zuvor unter Bezug auf die Fig. 17 bis 20 beschriebenen Verfahren ermittelt; die so ermittelten Verluste werden in Verlusteinbringteilen 2L&sub1;, 2L&sub2; bzw. 2L&sub3; eingestellt. Die von den anderen Terminals empfangenen Sprachdatenelemente werden durch die in den Verlusteinbringteilen 2L&sub1; bis 2L&sub3; eingestellten Verluste gedämpft und dann von einem Mischer 2M gemischt, wonach sie am Lautsprecher SP ausgegeben werden. Die grundlegenden Prinzipien und Operationen sind gleich wie die zuvor beschriebenen.
Wie oben beschrieben, wird bei diesem Beispiel zum Zeitpunkt des Mischens von Stimmen von Benutzern, die von jeweiligen Terminaleinheiten empfangen wurden, deren Sprachqualität nach Maßgabe des Abstands zwischen den jeweiligen Avataren der Benutzer und demjenigen des Benutzers des betreffenden Terminals, dem Grad an Augenkontakt zwischen ihnen oder einer ähnlichen Bedingung, durch Verwendung der Positionsdaten und Augenrichtungsdaten der jeweiligen Avatare der Benutzer geändert, die zusammen mit ihren Stimmen empfangen werden; es ist daher möglich, im virtuellen Raum eine Umgebung zu schaffen, in der alle Benutzer Geräusche und Stimmen um sie herum klar hören können, die Richtungen von Geräuschen und Stimmen unmittelbar wahrnehmen können und sich untereinander selbst dann verstehen können, wenn sich deren Avatare im virtuellen Raum bewegen.

Fünftes Beispiel

Während das Beispiel von Fig. 23 dem virtuellen Raum Realismus verleiht, indem die Schalldruckpegel von Stimmen von Benutzern, die nach Maßgabe der Abstände und/oder Augenrichtungen der entsprechenden Avatare relativ zu denjenigen des Benutzers des betreffenden der Terminals geändert wird, ist es auch möglich, das Sprachdaten sendende Terminal oder den Server aufzufordern, die Sprachdaten mit spezifizierter Qualität zu senden.
Fig. 24 stellt ein anderes Beispiel des Terminals bei dem System mit dezentralem Anschluß dar, wie es bei dem Beispiel von Fig. 23 der Fall ist. Bei diesem Beispiel fordert jedes Benutzerterminal die anderen Benutzerterminals auf, ihre Stimmen mit einer spezifizierten Sprachqualität auf der Basis der Positions- und/oder Augenrichtungsbeziehung zwischen ihren Avataren in Fig. 23 zu senden. Die aufgeforderten Terminals senden jeweils Sprachdaten mit der spezifizierten Qualität an die anfordernden Terminals - dies verbessert das Hörgefühl der Realität der gemischten Sprache besser als bei den oben beschriebenen Beispielen und verleiht ihnen mehr Realismus im virtuellen Raum. Außerdem kann, da die Qualität der zu sendenden Sprachdaten nach Maßgabe der Umstände gemindert werden kann, die durchschnittliche Menge an gesendeter Information reduziert werden; somit kann eine Verstopfung des Kommunikationsnetzwerks auf einfache Weise vermieden werden.
Das Beispiel von Fig. 24 weist einen Aufbau auf, bei dem zusätzlich zum Aufbau des Beispiels von Fig. 23 ein Sprachqualitätsanforderungsteil 12R, ein Sprachqualitätsanforderungsanalysierteil 12S und ein Sprachverarbeitungsteil 12K vorgesehen sind. Dem Sprachqualitätsanforderungsteil 12R werden Sprachqualitätsparameter für jeweilige Avatare geliefert, die aus deren Positionsdaten und/oder Augenrichtungsdaten in einem Verlustermittlungsteil 2E berechnet werden, um Verluste zu ermitteln, wie beispielsweise Abstände von einzelnen Avataren zu den anderen; der Sprachqualitätsermittlungsteil 12R ermittelt die jedem Abstand entsprechende erforderliche Sprachqualität und liefert die Information zu einem Paketzusammenstellungs- und -aufteilungsteil 12H. Der Paketzusammenstellungs- und -aufteilungsteil 12H stellt ein Signal, das jedes Terminal auffordert, die Sprache mit der ermittelten Qualität zu senden, zu einem Paket zusammen und sendet das Paket über den Kanal-Interface-Teil 12A an die einzelnen Terminals. Die Sprachqualität, die abhängig vom Abstand definiert ist, kann beispielsweise durch Ändern der Übertragungsrate von Sprachdaten erzielt werden. Beispielsweise werden vier Abstandsschwellenwerte D&sub1; bis D&sub4; vorbestimmt, die in der Beziehung D&sub1; < D&sub2; < D&sub3; < D&sub4; zueinander stehen. Jeder Avatar fordert einen anderen Avatar innerhalb des Abstands d im Bereich von d ≤ D&sub1; auf, Sprachdaten mit einer Übertragungsrate von 64 Kb/s zu senden, einen anderen Avatar mit dem Abstand d im Bereich von D&sub1; < d ≤ D&sub2; Sprachdaten mit einer Übertragungsrate von 32 Kb/s zu senden, einen anderen Avatar mit dem Abstand d im Bereich von D&sub3; < d ≤ D&sub4;, Sprachdaten mit einer Übertragungsrate von 16 Kb/s zu senden, und einen weiteren Avatar mit dem Abstand d im Bereich von D&sub4; < d, Sprachdaten mit einer Übertragungsrate von 8 Kb/s zu senden.
Andererseits werden die von anderen Terminals empfangenen Sprachqualitätsanforderungen im Sprachqualitätsanforderungsanalysierteil 12S analysiert, um die Sprachübertragungsraten zu identifizieren, die von den einzelnen Terminals angefordert werden, und er liefert die Information an den Sprachverarbeitungsteil 12K. Der Sprachverarbeitungsteil 12K verarbeitet ein vom Mikrofon MC eingegebenes Sprachsignal digital, um es in Sprachdaten mit den angeforderten Bitraten umzusetzen, die an den Paketzusammenstellungs- und -aufteilungsteil 12H geliefert werden. Der Paketzusammenstellungs- und -aufteilungsteil 12H sendet die Sprachdaten mit den jeweiligen Bitraten über den Kanal-Interface-Teil 12A als Pakete, die an die anfordernden Terminals adressiert werden.
In dem Paketzusammenstellungs- und -aufteilungsteil 12H werden die von den jeweiligen Terminals in Antwort auf die Anforderungen von den betreffenden Terminals empfangenen Sprachdatenpakete in Sprachdaten mit den angeforderten Bitraten aufgetrennt, die an die Verlusteinbringteile 2L&sub1;, 2L&sub2; bzw. 2L&sub3; geliefert werden, in denen sie der gleichen Verarbeitung unterzogen werden, wie sie unter Bezug auf das Beispiel von Fig. 23 beschrieben wurde, wonach sie vom Mischer 2M gemischt werden und an den Lautsprecher SP geliefert werden.
Somit nimmt bei diesem Beispiel die Bitrate (und demzufolge die Sprachqualität in Bezug auf die Frequenzcharakteristik) zu, wenn sich der betreffende Avatar nähert - dies schafft ein verbessertes Gefühl von Realität, das besser ist als beim Beispiel von Fig. 23. Andererseits nimmt die Bitrate der Sprachdaten mit zunehmendem Abstand des betreffenden Avatars ab. Somit wird die gesendete Informationsmenge als Ganzes reduziert, und demzufolge wird die Verstopfung des Kommunikationsnetzwerks entsprechend vermieden. Dieses Beispiel wurde in Anwendung auf das System mit dezentralem Anschluß beschrieben; im Fall des Systems mit zentralem Anschluß könnten die gleichen Ergebnisse wie oben beschrieben erzielt werden, indem ein Aufbau eingesetzt wird, bei dem das betreffende Terminal den Server auffordert, die Sprachdaten mit der spezifizierten Qualität zu senden und der Server auf die Anforderung antwortet, indem er die von den jeweiligen Terminals empfangenen Sprachdaten nach Änderung der Sprachqualität ider Übertragungsrate) der Sprachdaten an das anfordernde Terminal sendet. Alternativ ist es möglich, einen Aufbau zu verwenden, bei dem der Server selbst die Übertragungsrate der an die einzelnen Terminals zu sendenden Sprachdaten auf der Basis der für den Avatar des Terminals ermittelten Sprachqualität ermittelt, wie zuvor unter Bezug auf Fig. 21 beschrieben, und die Sprachdaten mit der ermittelten Bitrate sendet.

Ausführungsform

Während die obigen Beispiele beschrieben wurden, um den Benutzern des virtuellen Raums ein gehörmäßiges Gefühl von Realität zu geben, indem die Sprachqualität anderer Avatare auf der Basis der Positionsbeziehung zwischen jedem Avatar und den verbleibenden gesteuert wird, ist es auch möglich, dem virtuellen Raum auch visuell Realität zu verleihen, indem die Bildqualität anderer Avatare auf der Basis der vorgenannten Positionsbeziehung gesteuert wird. Beispielsweise wird die Bildqualität von Gesichtsvideos von Benutzern verbessert, wenn sich der Avatar des betreffenden Terminals nähert; d. h., je näher der Avatar des betreffenden Terminalbenutzers ist, desto höher ist die Bildqualität von Gesichtsvideos anderer Benutzer. Eine Beschreibung von Ausführungsformen auf der Basis dieses Konzepts wird angegeben.
Es wird eine Ausführungsform unter Einsatz des Systems mit zentralem Anschluß beschrieben. Wie zuvor erwähnt, benutzen alle Terminals den virtuellen Raum gemeinsam und besitzen somit das gleiche Modell des virtuellen Raums, und jeder Benutzer kann sich frei in dem virtuellen Raum bewegen. Andere Benutzer können sich ebenso im gleichen virtuellen Raum bewegen; um dies zu erkennen, stellt jeder Benutzer Avatare von anderen Benutzern in seinem virtuellen Raum her und sendet sein Gesichtsvideo und Positionsinformation seines Avatars (Positionskoordinaten und Augenrichtung im virtuellen Raum) an andere Terminals. Auf der Basis der Positionsinformation der Avatare anderer Benutzer, die von ihnen empfangen wurde, erzeugt jeder Benutzer deren Avatare an spezifizierten Positionen in seinem virtuellen Raum und paßt in diese die Gesichtsvideos in Größen ein, die den Abständen von dem Avatar des betreffenden Terminals zu den anderen Avataren entsprechen.
Es wird eine Beschreibung mit einer Auf-Anforderung-Konfiguration unter Verwendung eines in Fig. 2A oder 2B gezeigten Systems mit zentralem Anschluß angegeben. Jedes Benutzerterminal nimmt ein qualitativ hochwertiges Bild des Benutzers mit einer Videokamera auf, digitalisiert es für jeden Rahmen und sendet es an den Server. Der Server weist einen Bildspeicher entsprechend jedem Benutzer auf und überschreibt ihn bei jedem Empfang eines Benutzerbilds und speichert dieses im Bildspeicher. Die Qualität des Videobilds wird durch die Anzahl an Rahmen pro Sekunde, die Auflösung (Zeilen/mm) oder eine Kombination daraus definiert. Die Anzahl an Rahmen pro Sekunde trägt zur Flüssigkeit von Bewegungen des Videobilds bei, und die Auflösung trägt zu dessen Definition bzw. Schärfe bei. Nach Maßgabe des Abstands und/oder des Grades an Augenkontakt zwischen seinem Avatar und den einzelnen Avataren der anderen Benutzer im virtuellen Raum spezifiziert jedes Terminal, für jeden Benutzer, ein anderes Intervall, mit dem sein Videobild vom Server zu senden ist (die Anzahl an Rahmen pro Sekunde) oder eine unterschiedliche Auflösung des Videobilds. Der Server sendet dem anfordernden Terminal das Videobild des spezifizierten Benutzers mit der spezifizierten Auflösung und/oder der Anzahl an Rahmen pro Sekunde - dies ermöglicht eine Reduzierung der Informationsmenge, die durch das ganze System gesendet wird.
Fig. 25 ist ein Diagramm des von oben gesehenen virtuellen Raums, das zeigt, wie das Terminal die Qualität des Videobilds spezifiziert, das es den Server auffordert zu senden. In Fig. 25 ist das Gesichtsfeld des Avatars A1 im sichtbaren Raum dargestellt. Der Avatar A2 ist dem Avatar A1 am nächsten und unterhält einen Augenkontakt mit ihm; somit fordert das Terminal des Avatars A1 für den Avatar A2 den Server auf, ein Videobild mit der höchsten Qualität zu senden. Da der Avatar A5 dem Avatar A1 zugewandt ist, jedoch ein wenig außer Augenkontakt mit letzterem steht, fordert das Terminal vom Server ein Videobild niedrigerer Qualität an. Was den Avatar A3 angeht, fordert das Terminal des Avatars A1 vom Server ein Videobild der niedrigsten Qualität an, da kein Augenkontakt zwischen ihnen besteht. Der Avatar A6 befindet sich außerhalb des Gesichtsfelds des Avatars A1, und demzufolge fordert das Terminals A1 vom Server keinerlei Videobild des Avatars A6 an. Fig. 26 zeigt Anzeigebilder des Gesichtsfeldbilds, das der Avatar A1 in dem in Fig. 25 dargestellten virtuellen Raum wahrnimmt. Die gestrichelten Linien geben Abstandsschwellenwerte D&sub1;, D&sub2;, D&sub3; und D&sub4; bezüglich des Avatars A1 an (die in der Praxis nicht angezeigt werden). Die durch diese Schwellenwerte definierten Avatarbilder in jeweiligen Bereichen werden jeweils in der Qualität angezeigt, die wie vorstehend beschrieben ermittelt wurde.
Fig. 27 stellt ein Beispiel der Konfiguration des Servers 50 in der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums mit System mit zentralem Anschluß dar. Aus Gründen der Knappheit wird der Server 50 so dargestellt, daß er drei Terminals aufnimmt, und es sind keine audiobezogenen Teile gezeigt.
Der Server 50 sendet Positionsinformation (Positionskoordinaten und Augenrichtung) und Videobilder über Kanäle CH&sub1;, CH&sub2; und CH&sub3; zu den Terminals und empfängt sie von ihnen. Die von den Kanälen CH&sub1;, CH&sub2; und CH&sub3; empfangenen Daten werden in den Kanal-Interface-Teilen INF&sub1;, INF&sub2; bzw. INF&sub3; empfangen. Die Kanal-Interface-Teile INF&sub1; bis INF&sub3; analysieren jeweils die empfangenen Daten und, wenn sie Videobilddaten sind, übertragen sie an einen Videospeicherteil 52K. Der Videospeicherteil 52K schreibt das empfangene Videobild in einen Speicher, der Videobilder nach Maßgabe von untergebrachten Terminals speichert. Wenn die empfangenen Daten Positionsinformation (Positionskoordinaten und Augenrichtung) sind, übertragen die Kanal- Interface-Teile INF&sub1; bis INF&sub3; sie jeweils an einen Positionsinformationsverteilungsteil 52A. Der Positionsinformationsverteilungsteil 52A kopiert die vom Kanal-Interface-Teil INF&sub1; empfangene Positionsinformation und überträgt sie an die Kanal-Interface-Teile INF&sub2; und INF&sub3;; der Positionsinformationsverteilungsteil 52A kopiert die vom Kanal-Interface-Teil INF&sub2; empfangene Positionsinformation und überträgt sie an INF&sub1; und INF&sub3;; und der Positionsinformationsverteilungsteil 52A kopiert die vom Kanal-Interface-Teil INF&sub3; empfangene Positionsinformation und überträgt sie an die Kanal-Interface-Teile INF&sub1; und INF&sub2;. Wenn die empfangenen Daten Bildanforderungsinformation sind, übertragen die Kanal-Interface-Teile INF&sub1; bis INF&sub3; sie jeweils an einen Bildanforderungsanalysierteil 52J. Der Bildanforderungsanalysierteil 52J analysiert die empfangene Anforderung und informiert den Bildspeicherteil 52K über das angeforderte Bild und informiert gleichzeitig den Videoverarbeitungsteil 52N über die angeforderte Auflösung und/oder die Anzahl an Rahmen pro Sekunde und das anfordernde Terminal. Der Videospeicherteil 52K liest aus seinem Speicher das vom Bildanforderungsanalysierteil 52N spezifizierte angeforderte Bild aus und überträgt es an den Videoverarbeitungsteil 52N. Der Videoverarbeitungsteil 52N setzt das vom Videospeicherteil 52K empfangene Videobild auf die Auflösung und/oder die Anzahl an Rahmen pro Sekunde um, die von dem Videobildanforderungsanalysierteil 52J spezifiziert wurden, und sendet auf der Basis der spezifizierten Information des anfordernden Terminals das Videobild über den Kanal-Interface-Teil INF&sub1; und den Kanal CH&sub1;, den Kanal-Interface-Teil INF&sub2; und den Kanal CH&sub2; oder den Kanal- Interface-Teü INF&sub3; und den Kanal CH&sub3; an das anfordernde Terminal.
Fig. 28 stellt ein Beispiel des Aufbaus des Terminals bei der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums des Systems mit zentralem Anschluß dar. Es sind keine audiobezogenen Teile gezeigt. Das Terminal 10 sendet Videobilder und Positionsinformation über ein Kommunikationsnetzwerk NW und einen Kanal CH an den Server 50 und empfängt sie von ihm. Zuerst nimmt das Terminal 10 das Videobild des Benutzers durch die Videokamera VC auf und überträgt es an einen digitalen Videoverarbeitungsteil 12J. Der digitale Videoverarbeitungsteil 12J digitalisiert das empfangene Videobild Rahmen für Rahmen und sendet es über den Kanal- Interface-Teil 12A und den Kanal CH an den Server 50. Wenn der Benutzer die Position des Betrachtungspunkts durch die Steuervorrichtung 14 ändert, wird eine aktualisierte Positionsinformation (Koordinaten und Augenrichtung) an den Steuereingabeverarbeitungsteil 12D geliefert. Der Steuereingabeverarbeitungsteil 12D sendet die Positionsinformation über den Kanal-Interface- Teil 12A und den Kanal CH an den Server 50. Gleichzeitig sendet der Steuereingabeverarbeitungsteil 12D die Positionsinformation auch an den Betrachtungspunktverschiebungsverarbeitungsteil 12Gv. Der Betrachtungspunktverschiebungsverarbeitungsteil 12Gv antwortet auf die aktualisierte Positionsinformation, indem er das dem Benutzer zu präsentierende Gesichtsfeldbild im virtuellen Raum ändert und es auf der Anzeige 13 anzeigt. Der Steuereingabeverarbeitungsteil 12D sendet Bewegungsinformation an einen Abstand/Augenkontaktfeststellungsteil 12N. Andererseits überträgt, wenn die empfangenen Daten Positionsinformation sind, der Kanal- Interface-Teil 12A sie an einen Fremdavatarpositions- und -augenrichtungsanalysierteil 12L. Der Fremdavatarpositions- und -augenrichtungsanalysierteil 12L überträgt Positionskoordinaten und Augenrichtungen anderer Avatare an einen Fremdavatarverschiebungsverarbeitungsteil 12 Gm bzw. an den Abstand/Augenkontaktfeststellungsteil 12N. Der Abstand/Augenkontaktfeststellungsteil 12N arbeitet auf gleiche Weise wie der Abstandsermittlungsteil 52B und der Augenkontaktfeststellungsteil 52C, die zuvor unter Bezug auf die Fig. 10 und 11 beschrieben wurden. D. h., auf der Basis der vom Steuereingabeverarbeitungsteil 12D empfangenen Positionsinformation des Avatars des Benutzers und der vom Fremdavatarpositions- und -augenrichtungsanalysierteil 12L empfangenen Bewegungsinformation des Fremdavatars ermittelt der Abstand/Augenkontaktfeststellungsteil 12N den Abstand und/oder den Augenkontakt zwischen dem Benutzer und jedem der anderen Avatare, ermittelt dann die Bildqualität für den Avatar durch das zuvor unter Bezug auf Fig. 25 beschriebene Verfahren und fordert den Server 50 über den Kanal-lnterface- Teil 12A und den Kanal CH auf, das Videobild mit der spezifizierten Qualität zu senden. In diesem Fall ist es auch möglich, das zuvor unter Bezug auf Fig. 19 beschriebene Verfahren einzusetzen; d. h., mit zunehmendem Winkel θ zwischen der Augenrichtung EL des Avatars des Benutzers und einem jeweiligen anderen Avatar wird die Auflösung und/oder die Anzahl an Rahmen pro Zeiteinheit reduziert. Alternativ kann auch das unter Bezug auf Fig. 20 beschriebene Verfahren verwendet werden; d. h., mit zunehmender Summe der Winkel α und β zwischen den Augenrichtungen der zwei Avatare und der sie verbindenden Geraden wird die Auflösung und/oder die Anzahl an Rahmen pro Zeiteinheit reduziert.
Wenn die empfangenen Daten Videodaten sind, überträgt der Kanal-Interface-Teü 12A sie an den Fremdavatarbewegungsverarbeitungsteil 12 Gm. Auf der Basis der vom Fremdavatarpositions- und -augenrichtungsanalysierteil 12L empfangenen Positionsinformation anderer Avatare ändert der Fremdavatarverschiebungsverarbeitungsteil 12Dm die Position und Augenrichtung jedes Avatars, paßt dann das vom Kanal-Interface-Teil 12A empfangene Videobild (Gesichtsvideos) in den entsprechenden Avatar in einer Größe entsprechend dem Abstand von dem Betrachtungspunkt des Benutzers zum betreffenden Avatar ein, setzt danach das Avatarbild in die Position aus der Sicht vom Betrachtungspunkt des Benutzers um und zeigt es auf der Anzeige 13 an.
Fig. 29 stellt ein Beispiel der Konfiguration des Terminals bei der Vorrichtung zur gemeinsamen Benutzung des virtuellen Raums im System mit dezentralem Anschluß dar. Dieses Beispiel unterscheidet sich von dem Beispiel in Fig. 28 dadurch, daß das Terminal 12 Videodaten und Positionsinformation (Positionskoordinaten und Augenrichtung) über das Kommunikationsnetzwerk NW und den Kanal CH direkt an andere Terminals sendet und von ihnen empfängt. Um Videodaten mit der von anderen Terminals spezifizierten Qualität zu senden, ist jedes Terminal mit einem Videospeicher- und -verarbeitungsteil 12Q und einem Videoanforderungsanalysierteil 12R anstatt des digitalen Videoverarbeitungsteils 12J versehen. Die Videokamera VC nimmt ein Video des Benutzers auf und überträgt es an den Videospeicher- und -verarbeitungsteil 12Q. Der Videospeicher- und -verarbeitungsteil 12Q digitalisiert das empfangene Videobild Rahmen für Rahmen und speichert es. Wenn die empfangenen Daten Videobildanforderungsinformation sind, überträgt der Kanal-Interface-Teil 12A die Anforderungsinformation an den Videoanforderungsanalysierteil 12R. Der Videoanforderungsanalysierteil 12R analysiert die empfangene Anforderung und informiert den Videospeicher- und -verarbeitungsteil 12Q über die angeforderte Auflösung und das anfordernde Terminal. Der Videospeicher- und -verarbeitungsteil 12Q setzt sein gespeichertes Videobild in die spezifizierte Auflösung und/oder Anzahl von Rahmen pro Zeiteinheit um und sendet es über den Kanal-Interface-Teil 12A und den Kanal CH an das anfordernde Terminal. Die anderen Anordnungen und Operationen sind gleich wie beim Beispiel von Fig. 27, weshalb deren Beschreibung unterbleibt.
Wie oben beschrieben, speichert gemäß den Ausführungsformen der Fig. 27, 28 und 29 jedes Terminal in dem System mit dezentralem Anschluß oder der Server im System mit zentralem Anschluß qualitativ hochwertige Videodaten jedes Benutzers in seinem Speicher und sendet nur auf Anforderung von den einzelnen Terminals die Videodaten in spezifizierter Qualität. Somit vermeiden diese Ausführungsformen in effektiver Weise eine Verstopfung des Kommunikationsnetzwerks und vermindern die Belastung der Verarbeitung des Empfangens von Videobildern im Terminal, was eine Verschlechterung der Bildqualität verhindert.
Oben wurde das Auf-Anforderung-System beschrieben, aber wenn das Auf-Anforderung-System nicht verwendet wird, werden, da in den Systemen mit zentralem Anschluß der Fig. 27 und 28 die neueste Positionsinformation von Avataren aller Terminals in dem Positionsinformationsverteilungsteil 52A des Servers 50 in Fig. 27 gespeichert wird, die Abstände zwischen jedem Avatar eines Terminals und den Avataren der anderen Terminals durch Verwendung der gespeicherten Positionsinformation berechnet, wonach die Niveaus der Auflösung und/oder die Anzahlen an Rahmen pro Sekunde der an die einzelnen Terminals von den anderen zu sendenden Videobilder nach Maßgabe der Abstände zwischen ihnen ermittelt werden, und die Videobilder werden in dem Videoverarbeitungsteil 52K entsprechend verarbeitet. In diesem Fall braucht der Abstand/Augenkontaktfeststellungsteil 12N nicht im Terminal von Fig. 28 vorgesehen zu sein. Im Fall des Systems mit dezentralem Anschluß werden die Niveaus der Bildqualität des Avatars jedes Terminalbenutzers bezüglich den Avataren der anderen Benutzer in dem Abstand/Augenkontaktfeststellungsteil 12N auf der Basis der Beziehung zwischen der im Terminal von Fig. 29 von den anderen Terminals empfangenen Positionsinformation der Avatare der anderen Benutzer und der Positionsinformation des Avatars des Benutzers dieses Terminals ermittelt, und das Videobild des Terminalbenutzers wird in den ermittelten Qualitätsstufen vom Videospeicher- und - verarbeitungsteil 12Q an die jeweiligen der anderen Terminals gesendet. Auch in diesem Fall wird der Videobildanforderungsanalysierteil 12R nicht benötigt, und wie durch die gestrichelte Linie angegeben, informiert der Abstand/Augenkontaktfeststellungsteil 12N den Videospeicher- und - verarbeitungsteil 12Q über die ermittelte Bildqualität.

Claims

1. Vorrichtung zur gemeinsamen Benutzung eines virtuellen Raums, die eine Mehrzahl von mit einem Kommunikationsnetzwerk (NW) verbundenen Terminals (10&sub1; - 10&sub3;) und eine durch das Kommunikationsnetzwerk an die jeweiligen Terminals angeschlossene Server-Anordnung (50) aufweist, wobei die Terminals einen vorbestimmten gemeinsamen virtuellen Raum gemeinsam benutzen und jedes Terminal ein Gesichtsfeldbild erzeugt und anzeigt, das sich ändert, wenn ein jeweiliger Avatar (A1-A3), der einen Benutzer des jeweiligen Terminals repräsentiert, sich in dem virtuellen Raum an dem jeweiligen Terminal bewegt, wobei

jedes Terminal umfaßt:

- eine Sende- und Empfangsanordnung (12A), die Videobilddaten des Benutzers des jeweiligen Terminals und Positionsinformation des jeweiligen Avatars an die Server-Anordnung (50) sendet und Videobilddaten der Benutzer der anderen Terminals sowie Positionsinformation von deren Avataren von der Server-Anordnung empfängt;

- eine Kameraanordnung (VC), die das Videobild des Benutzers des jeweiligen Terminals aufnimmt und ein Videosignal ausgibt;

- eine Videoverarbeitungsanordnung (12J), die das Videosignal digital verarbeitet und es über die Sende- und Empfangsanordnung an die Server-Anordnung (50) sendet;

- eine Qualitätsspezifizierungs- und Videoanforderungsanordnung (12N), welche die Bildqualität für den Avatar jedes der anderen Terminalbenutzer auf der Basis der Beziehung zwischen der Positionsinformation jenes Avatars und der Positionsinformation des jeweiligen Avatars ermittelt und über die Sende- und Empfangsanordnung an die Server-Anordnung (50) ein Videoanforderungssignal sendet, mit dem ein Videobild mit der ermittelten Qualität angefordert wird; und

- eine Anordnung (12Gm), die ein Avatarbild auf der Basis der von der Server-Anordnung empfangenen Videobilddaten jedes der anderen Terminalbenutzer erzeugt und es in einem Gesichtsfeldbild des Benutzers des jeweiligen Terminals an einer Position anzeigt, die durch die Positionsinformation des Avatars des entsprechenden anderen Terminalbenutzers spezifiziert ist; und

die Server-Anordnung (50) umfaßt:

- eine Positionsinformationsverteilungsanordnung (52A), die von dem jeweiligen Terminal empfangene Positionsinformation des jeweiligen Avatars an alle anderen Terminals sendet;

- eine Videospeicheranordnung (52K), die Videobilddaten entsprechend den Terminals (10&sub1; - 10&sub3;) speichert;

- eine Anordnung, die empfangene Videobilddaten in die Videospeicheranordnung schreibt; und

- eine Qualitätsverarbeitungsanordnung (52J, 52N), die ein jeweiliges Videobildanforderungssignafanalysiert, das von den einzelnen anderen Terminals empfangen wurde, dann die angeforderten Videobilddaten aus der Videospeicheranordnung ausliest und sie an das anfordernde Terminal sendet, nachdem sie so bearbeitet wurden, daß sie die spezifizierte Qualität aufweisen.

2. Vorrichtung zur gemeinsamen Benutzung eines virtuellen Raums, die eine Mehrzahl von über ein Kommunikationsnetzwerk (NW) untereinander verbundenen Terminals (10&sub1;-10&sub3;) aufweist, wobei die Terminals einen vorbestimmten gemeinsamen virtuellen Raum gemeinsam benutzen und jedes Terminal ein Gesichtsfeldbild erzeugt und anzeigt, das sich ändert, wenn ein jeweiliger Avatar (A1-A3), der einen Benutzer des jeweiligen Terminals repräsentiert, sich in dem virtuellen Raum an dem jeweiligen Terminal bewegt, wobei jedes Terminal umfaßt:

- eine Sende- und Empfangsanordnung (12A), die Videobilddaten des Benutzers des jeweiligen Terminals und Positionsinformation des jeweiligen Avatars an die anderen Terminals sendet und Videobilddaten der Benutzer der anderen Terminals sowie Positionsinformation von deren Avataren empfängt;

- eine Qualitätsspezifizierungs- und Videoanforderungsanordnung (12N), welche die Bildqualität für den Avatar jedes der anderen Terminalbenutzer auf der Basis der Beziehung zwischen der von dem entsprechenden anderen Terminal empfangenen Positionsinformation jenes Avatars und der Positionsinformation des jeweiligen Avatars ermittelt und über die Sende- und Empfangsanordnung an jedes der anderen Terminals ein Videoanforderungssignal sendet, mit dem ein Videobild mit der ermittelten Qualität angefordert wird;

- eine Videospeicheranordnung (12Q), die Videodaten speichert;

- eine Kameraanordnung (VC), die das Videobild des Benutzers des jeweiligen Terminals aufnimmt;

- eine Videoverarbeitungsanordnung (12Q), die das Videosignal digital verarbeitet und es in die Videospeicheranordnung schreibt;

- eine Anordnung (12R, 12Q), die ein von einem anderen Terminal empfangenes Videobildanforderungssignal analysiert, dann die angeforderten Videobilddaten aus der Videospeicheranordnung ausliest und sie an das anfordernde Terminal sendet, nachdem sie so bearbeitet worden sind, daß sie die spezifizierte Qualität aufweisen; und

- eine Anordnung (12 Gm), die ein Avatarbild auf der Basis der von den anderen Terminals empfangenen Videobilddaten jedes der anderen Terminalbenutzer erzeugt und es in einem Gesichtsfeldbild des Benutzers des jeweiligen Terminals an einer Position anzeigt, die durch die vom entsprechenden anderen Terminal empfangenen Positionsinformation spezifiziert ist.

3. Vorrichtung nach Anspruch 1 oder 2, bei der die Bildqualität die Auflösung des Videobilds ist.

4. Vorrichtung nach Anspruch 1 oder 2, bei der die Bildqualität die Anzahl an Rahmen der Videobilddaten pro Zeiteinheit ist.

5. Vorrichtung nach Anspruch 1 oder 2, bei der die Positionsinformation eines Avatars (A1-A3) dessen Positionskoordinaten umfaßt und die Qualitätsspezifizierungs- und Videoanforderungsanordnung eine Anordnung umfaßt, welche die Bildqualität jedes der anderen Terminalbenutzer so ermittelt, daß dessen Bildqualität mit zunehmender Länge einer geraden Linie abnimmt, welche die Positionskoordinaten des jeweiligen Avatars und die Positionskoordinaten des Avatars des entsprechenden anderen Terminalbenutzers im Gesichtsfeld des erstgenannten verbindet.

6. Vorrichtung nach Anspruch 1 oder 2, bei der die Positionsinformation eines Avatars (A1-A3) dessen Positionskoordinaten umfaßt und die Qualitätsspezifizierungs- und Videoanforderungsanordnung eine Anordnung umfaßt, welche die Bildqualität jedes der anderen Terminafbenutzer so ermittelt, daß die Bildqualität mit einer Zunahme des Winkels zwischen der Augenrichtung des jeweiligen Avatars und der Position des Avatars des entsprechenden anderen Terminalbenutzers im Gesichtsfeld des erstgenannten abnimmt.

7. Vorrichtung nach Anspruch 1 oder 2, bei der die Positionsinformation eines Avatars (A1-A3) dessen Positionskoordinaten und die Augenrichtung umfaßt und die Qualitätsspezifizierungs- und Videobildanforderungsanordnung eine Anordnung umfaßt, welche die Bildqualität jedes der anderen Terminalbenutzer so ermittelt, daß die Bildqualität mit einer Zunahme der Summe des Drehwinkels der Augenrichtung des jeweiligen Avatars und desjenigen des Avatars des entsprechenden anderen Terminalbenutzers im Gesichtsfeld des jeweiligen Avatars zu einer geraden Linie abnimmt, welche deren Koordinaten verbindet.

8. Anzeigeverfahren für einen virtuellen Raum, der durch eine Mehrzahl von Terminals (101-103) definiert ist, die über ein Kommunikationsnetzwerk (NW) mit einer Server-Anordnung (50) verbundenen sind und einen vorbestimmten gemeinsamen virtuellen Raum gemeinsam benutzen, wobei jedes Terminal ein Gesichtsfeldbild erzeugt und anzeigt, das sich ändert, wenn ein jeweiliger Avatar (A1-A3), der einen Benutzer des jeweiligen Terminals repräsentiert, sich in dem virtuellen Raum an dem jeweiligen Terminal bewegt,

wobei jedes Terminal folgende Schritte ausführt:

(a) Aufnehmen des Videobilds des Benutzers des jeweiligen Terminals, digitales Verarbeiten des Videosignals und Senden der Videobilddaten des Benutzers an die Server-Anordnung (50);

(b) Senden von Positionsinformation des jeweiligen Avatars des jeweiligen Terminals an die Server-Anordnung (50);

(c) Empfangen von Positionsinformation des Avatars jedes Benutzers der anderen Terminals von der Server-Anordnung;

(d) Ermitteln der Bildqualität für den Avatar jedes der anderen Terminalbenutzer auf der Basis der Beziehung zwischen der Positionsinformation des Avatars eines jeweiligen anderen Terminalbenutzers und der Positionsinformation des jeweiligen Avatars;

(e) Senden eines Videoanforderungssignals, mit dem ein Videobild mit der ermittelten Qualität angefordert wird, an die Server-Anordnung (50); und

(f) Erzeugen eines Avatarbilds auf der Basis der von der Server-Anordnung (50) empfangenen Videobilddaten jedes der anderen Terminalbenutzer und dessen Anzeige in einem Gesichtsfeldbild des Benutzers des jeweiligen Terminals an der durch die Positionsinformation des Avatars der entsprechenden anderen Terminalbenutzer spezifizierten Position; und

wobei die Server-Anordnung (50) folgende Schritte ausführt:

(g) Schreiben von Videobilddaten, die von den einzelnen Terminals empfangen wurden, diesen zugeordnet, in eine Videospeicheranordnung (52K);

(h) Senden von Positionsinformation des Avatars des jeweiligen Benutzers, die von den einzelnen Terminals empfangen wurde, an alle anderen Terminals; und

(i) Analysieren eines von jedem der anderen Terminals empfangenen Videobildanforderungssignals, anschließendes Auslesen der angeforderten Videobilddaten aus der Videospeicheranordnung und deren Senden an das anfordernde Terminal, nachdem sie so verarbeitet worden sind, daß sie die spezifizierte Qualität aufweisen.

9. Anzeigeverfahren für einen virtuellen Raum, der durch eine Mehrzahl von Terminals (10&sub1; - 10&sub3;) definiert ist, die über ein Kommunikationsnetzwerk (NW) untereinander verbunden sind und einen vorbestimmten gemeinsamen virtuellen Raum gemeinsam benutzen, wobei jedes Terminal ein Gesichtsfeldbild erzeugt und anzeigt, das sich ändert, wenn ein jeweiliger Avatar (A1-A3), der einen Benutzer des jeweiligen Terminals repräsentiert, sich in dem virtuellen Raum an dem jeweiligen Terminal bewegt, wobei jedes Terminal folgende Schritte ausführt:

(a) Aufnehmen des Videobilds des Benutzers des jeweiligen Terminals, digitales Verarbeiten des Videosignals und dessen Schreiben in eine Videospeicheranordnung;

(b) Senden von Positionsinformation des jeweiligen Avatars an die anderen Terminals;

(c) Empfangen von Positionsinformation des Avatars des jeweiligen Benutzers jedes der anderen Terminals;

(d) Ermitteln der Bildqualität für den Avatar jedes der anderen Terminalbenutzer auf der Basis der Beziehung zwischen der Positionsinformation des Avatars des entsprechenden anderen Terminalbenutzers und der Positionsinformation des jeweiligen Avatars;

(e) Senden eines Videoanforderungssignals, mit dem ein Videobild mit der ermittelten Qualität angefordert wird, an jedes der anderen Terminals;

(f) Empfangen des Videoanforderungssignals von jedem der anderen Terminals;

(g) Senden der aus der Videospeicheranordnung ausgelesenen Videodaten an die anfordernden Terminals, nachdem sie so bearbeitet worden sind, daß sie die von dem Videoanforderungssignal spezifizierte Qualität aufweisen; und

(h) Erzeugen eines Avatarbilds auf der Basis der Videobilddaten jedes der anderen Terminalbenutzer, die von ihnen empfangen wurden, und dessen Anzeige in einem Gesichtsfeldbild des Benutzers des jeweiligen Terminals an der durch die Positionsinformation des Avatars des entsprechenden anderen Terminalbenutzers spezifizierten Position.

10. Verfahren nach Anspruch 8 oder 9, bei dem die Bildqualität die Auflösung des Videobilds ist.

11. Verfahren nach Anspruch 8 oder 9, bei dem die Bildqualität die Anzahl an Rahmen der Videobilddaten pro Zeiteinheit ist.

12. Verfahren nach Anspruch 8 oder 9, bei dem die Positionsinformation eines Avatars (A1-A3) dessen Positionskoordinaten umfaßt und Schritt (d) einen Schritt der Bestimmung der Bildqualität jedes der anderen Terminalbenutzer so umfaßt, daß dessen Bildqualität mit zunehmender Länge einer geraden Linie abnimmt, welche die Positionskoordinaten des jeweiligen Avatars und die Positionskoordinaten des Avatars des entsprechenden anderen Terminalbenutzers im Gesichtsfeld des erstgenannten verbindet.

13. Verfahren nach Anspruch 8 oder 9, bei dem die Positionsinformation eines Avatars (A1-A3) dessen Positionskoordinaten und die Augenrichtung umfaßt und Schritt (d) einen Schritt der Bestimmung der Bildqualität jedes der anderen Terminalbenutzer so umfaßt, daß die Bildqualität mit einer Zunahme des Winkels zwischen der Augenrichtung des jeweiligen Avatars und der Position des Avatars des entsprechenden anderen Terminalbenutzers im Gesichtsfeld des erstgenannten abnimmt.

14. Verfahren nach Anspruch 8 oder 9, bei dem die Positionsinformation eines Avatars (A1-A3) dessen Positionskoordinaten und die Augenrichtung umfaßt und Schritt (d) einen Schritt der Bestimmung der Bildqualität jedes der anderen Terminalbenutzer so umfaßt, daß die Bildqualität mit einer Zunahme der Summe des Drehwinkels der Augenrichtung des jeweiligen Avatars und desjenigen des Avatars des entsprechenden anderen Terminalbenutzers im Gesichtsfeld des jeweiligen Avatars zu einer geraden Linie abnimmt, welche deren Koordinaten verbindet.