DE112019005617T5

DE112019005617T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm

Info

Publication number: DE112019005617T5
Application number: DE112019005617.4T
Authority: DE
Inventors: Daisuke Miki; Takahiro Sakamoto; Katsunari Fukuya
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2018-11-09
Filing date: 2019-10-16
Publication date: 2021-08-19
Also published as: US20210400234A1; CN113170075A; WO2020095639A1; US11589001B2; JP7452434B2; CN113170075B; JPWO2020095639A1

Abstract

Es wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die eine Anzeigesteuereinheit zum Steuern einer in einem zweiten Raum vorhandenen zweiten Anzeigevorrichtung enthält, die ein erstes aufgenommenes Bild anzeigt, das durch Aufnehmen eines Bildes von mindestens einem oder mehreren ersten Benutzern erhalten wird, die in einem ersten Raum anwesend sind, wobei die Anzeigesteuereinheit ein zweites Benutzerobjekt, das mindestens einem oder mehreren zweiten Benutzern entspricht, die im zweiten Raum anwesend sind, gemäß sichtlinienbezogenen Informationen des ersten Benutzers auf dem ersten aufgenommenen Bild überlagert und anzeigt. Dies ermöglicht, eine realistischere Kommunikation zu erreichen.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Stand der Technik
Bei der Videofernkommunikation, bei der ein erster Benutzer und ein zweiter Benutzer an verschiedenen Fernstandorten anwesend sind, kann die Positionsbeziehung zwischen dem ersten Benutzer, der auf einer Anzeigevorrichtung angezeigt wird, und einer Kamera, die den ersten Benutzer bildlich erfasst, dazu führen, dass eine Sichtlinie des ersten Benutzers, der auf der Anzeigevorrichtung angezeigt wird, verschoben ist. Diese verschobene Sichtlinie führt manchmal zu einem Versagen des Augenkontakts oder dergleichen. Dementsprechend wurde eine Vielzahl von Techniken entwickelt, um einen solchen Anlass zu vermeiden und es dem ersten Benutzer und dem zweiten Benutzer zu ermöglichen, eine realistische Kommunikation mit Augenkontakt zueinander zu erfahren.
Zum Beispiel offenbart PTL 1 eine Technik, die in einem Fall verwendet wird, in dem mehrere Benutzer, die an verschiedenen Orten anwesend sind, eine Kommunikation durchführen. Gemäß der Technik in PTL 1 dreht ein angerufener Benutzer eine Bildgebungsvorrichtung, die einen anrufenden Benutzer bildlich erfasst, und eine Anzeigevorrichtung gemäß der Blickrichtung des angerufenen Benutzers, wodurch eine realistischere Kommunikation erreicht wird.
Zitatliste
Patentliteratur
PTL 1: Veröffentlichung der japanischen ungeprüften Patentanmeldung Nr. 2009-65490
Kurzdarstellung der Erfindung
Durch die Erfindung zu lösende Probleme
Die in PTL 1 beschriebene Technik stellt jedoch keinen Augenkontakt zwischen dem angerufenen Benutzer und dem anrufenden Benutzer her. Abhängig von der Position des anrufenden Benutzers ist es schwierig, eine realistische Kommunikation zu erreichen.
Angesichts der oben beschriebenen Umstände ist es erwünscht, eine Technik zu entwickeln, die eine realistischere Kommunikation erreicht.
Mittel zur Lösung der Probleme
Gemäß der vorliegenden Offenbarung ist eine Informationsverarbeitungseinrichtung bereitgestellt, die einen Anzeigesteuerungsabschnitt enthält, der eine zweite Anzeigevorrichtung steuert, die in einem zweiten Raum vorhanden ist. Die zweite Anzeigevorrichtung zeigt ein erstes aufgenommenes Bild an, das erhalten wird, indem mindestens ein oder mehrere erste Benutzer bildlich erfasst werden, die in einem ersten Raum anwesend sind. Der Anzeigesteuerungsabschnitt überlagert und zeigt ein zweites Benutzerobjekt auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer an. Das zweite Benutzerobjekt entspricht jedem von mindestens einem oder mehreren zweiten Benutzern, die im zweiten Raum anwesend sind.
Zusätzlich ist gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, das Folgendes beinhaltet: Steuern einer zweiten Anzeigevorrichtung, die in einem zweiten Raum vorhanden ist und ein erstes aufgenommenes Bild anzeigt, das durch bildliches Erfassen mindestens eines oder mehrerer erster Benutzer, die in einem ersten Raum anwesend sind, erhalten wird; und Überlagern und Anzeigen eines zweiten Benutzerobj ekts auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer. Das zweite Benutzerobj ekt entspricht jedem von mindestens einem oder mehreren zweiten Benutzern, die im zweiten Raum anwesend sind.
Zusätzlich ist gemäß der vorliegenden Offenbarung ein Programm bereitgestellt, um zu bewirken, dass ein Computer so funktioniert, dass er einen Anzeigesteuerungsabschnitt enthält, der eine zweite Anzeigevorrichtung steuert, die in einem zweiten Raum vorhanden ist. Die zweite Anzeigevorrichtung zeigt ein erstes aufgenommenes Bild an, das erhalten wird, indem mindestens ein oder mehrere erste Benutzer bildlich erfasst werden, die in einem ersten Raum anwesend sind. Der Anzeigesteuerungsabschnitt überlagert und zeigt ein zweites Benutzerobjekt auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer an. Das zweite Benutzerobjekt entspricht jedem von mindestens einem oder mehreren zweiten Benutzern, die im zweiten Raum anwesend sind.
Figurenliste

[1] 1 ist ein schematisches Diagramm, das einen Überblick über eine Technologie der vorliegenden Offenbarung veranschaulicht.
[2] 2 ist ein schematisches Diagramm, das den Überblick über die Technologie der vorliegenden Offenbarung veranschaulicht.
[3] 3 ist ein schematisches Diagramm, das ein herkömmliches Beispiel zum Beschreiben des Überblicks über die Technologie der vorliegenden Offenbarung veranschaulicht.
[4] 4 ist ein schematisches Diagramm, das den Überblick über die Technologie der vorliegenden Offenbarung veranschaulicht.
[5] 5 ist ein Diagramm, das ein Beispiel der Anordnung einer Vielzahl von Einrichtungen eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
[6] 6 ist ein Blockdiagramm, das eine interne Konfiguration des Informationsverarbeitungssystems gemäß der Ausführungsform veranschaulicht.
[7] 7 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von einer Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[8] 8 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von der Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[9] 9 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von der Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[10] 10 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von der Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[11] 11 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von der Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[12] 12 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von der Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[13] 13 ist ein Diagramm, das ein Beispiel eines Prozesses veranschaulicht, der von der Steuereinheit des Informationsverarbeitungssystems gemäß der Ausführungsform durchgeführt wird.
[14] 14 ist ein Diagramm, das ein Beispiel eines Verarbeitungsflusses des Informationsverarbeitungssystems gemäß der Ausführungsform veranschaulicht.
[15] 15 ist ein Diagramm, das ein Beispiel eines Modifikationsbeispiels des Informationsverarbeitungssystems gemäß der Ausführungsform veranschaulicht.
[16] 16 ist ein Diagramm, das ein Beispiel eines Modifikationsbeispiels des Informationsverarbeitungssystems gemäß der Ausführungsform veranschaulicht.
[17] 17 ist ein Diagramm, das ein Beispiel eines Modifikationsbeispiels des Informationsverarbeitungssystems gemäß der Ausführungsform veranschaulicht.
[18] 18 ist ein Diagramm, das ein Beispiel eines Konfigurationsbeispiels von Hardware des Informationsverarbeitungssystems gemäß der Ausführungsform veranschaulicht.

Ausführungsweisen der Erfindung
Das Folgende beschreibt eine bevorzugte Ausführungsform der vorliegenden Offenbarung im Detail unter Bezugnahme auf die beigefügten Zeichnungen. Es ist anzumerken, dass in dieser Beschreibung und den Zeichnungen Komponenten, die im Wesentlichen dieselbe Funktionskomponente aufweisen, durch dieselben Zeichen gekennzeichnet sind und eine redundante Beschreibung davon daher weggelassen wird.
Es wird angemerkt, dass die Beschreibung in der folgenden Reihenfolge gegeben ist.

1. Bezüglich der Technologie der vorliegenden Offenlegung
- 1.1. Überblick über die Technologie
- 1.2. Anordnung der Rückansicht
- 1.3. Effekte
2. Konfiguration
- 2.1. Externe Konfiguration
- 2.2. Interne Konfiguration
3. Betriebsablauf
4. Modifikationsbeispiele
- 4.1. Priorität der visuellen Distanz
- 4.2. Verwendung des Distanzmessungssensors
- 4.3. Verwendung einer Brillenanzeigevorrichtung
5. Hardwarekonfigurationsbeispiel

(1. Bezüglich der Technologie der vorliegenden Offenlegung)
(1,1. Überblick über die Technologie)
Mit Bezug auf 1 wird ein Überblick über die Technologie der vorliegenden Offenbarung beschrieben. Die Technologie der vorliegenden Offenbarung bezieht sich auf eine Technologie, die in einem Fall verwendet wird, in dem Benutzer, die an verschiedenen Orten anwesend sind, eine Kommunikation unter Verwendung eines Video-Chats oder dergleichen durchführen.
In 1 führt ein Benutzer 4, der an einem ersten Ort anwesend ist, eine Kommunikation mit einem Benutzer 1, einem Benutzer 2 und einem Benutzer 3, die an einem zweiten Ort anwesend sind, über eine Anzeigevorrichtung D durch. In der Anzeigevorrichtung D ist eine Rückansicht S₄ des Benutzers 4 angeordnet. Die Rückansicht S₄ des Benutzers 4 ist vor einer Sichtlinie 1v des Benutzers 1, einer Sichtlinie 2v des Benutzers 2 und einer Sichtlinie 3v des Benutzers 3 angeordnet, die in der Anzeigevorrichtung D angezeigt werden. Dies gibt dem Benutzer 4 das Gefühl, als ob die Rückansicht S₄ des Benutzers 4 mit dem Benutzer 1, dem Benutzer 2 und dem Benutzer 3 in Augenkontakt zueinander kommuniziert, und ermöglicht eine realistischere Kommunikation.
(1,2. Anordnung der Rückansicht)
Mit Bezug auf 2 wird eine weitere Beschreibung gegeben, indem als ein Beispiel die Kommunikation zwischen einem Benutzer A1 und einem Benutzer B1 verwendet wird. Der Benutzer A1 ist an einem Punkt A anwesend, der als der erste Ort dient. Der Benutzer B1 ist an einem Punkt B anwesend, der als der zweite Ort dient. Der linke Teil von 2 veranschaulicht schematisch die Anordnungsbeziehung zwischen dem Benutzer A1 und einer Anzeigevorrichtung D₁ und einer Kamera VC₁ für einen Chat am Punkt A und die Anordnungsbeziehung zwischen dem Benutzer B1 und einer Anzeigevorrichtung D₂ und einer Kamera VC₂ für einen Chat am Punkt B.
Der am Punkt A anwesende Benutzer A1 erkennt visuell die am Punkt A vorhandene Anzeigevorrichtung D₁ und kommuniziert mit dem Benutzer B1 am Punkt B. Die Kamera VC₁ für einen Chat erfasst bildlich A1 im Bereich eines Feldwinkels VCθ₁. Die Kamera VC₁ für einen Chat wird der am Punkt A vorhandenen Anzeigevorrichtung D₁ zur Verfügung gestellt.
Ähnlich wie der am Punkt A anwesende Benutzer A1 erkennt der am Punkt B anwesende Benutzer B1 visuell die am Punkt B vorhandene Anzeigevorrichtung D₂ und kommuniziert mit dem am Punkt A anwesenden Benutzer A1. Die Kamera VC₂ für einen Chat erfasst bildlich B 1 im Bereich eines Feldwinkels VCθ₂. Die Kamera VC₂ für einen Chat wird der am Punkt B vorhandenen Anzeigevorrichtung D₂ zur Verfügung gestellt.
Der rechte Teil von 2 veranschaulicht aufgenommene Bilder nebeneinander. Die aufgenommenen Bilder werden von der Kamera VC₁ für einen Chat und der Kamera VC₂ für einen Chat aufgenommen. Die Kamera VC₁ für einen Chat wird der am Punkt A vorhandenen Anzeigevorrichtung D₁ zur Verfügung gestellt. Die Kamera VC₂ für einen Chat wird der am Punkt B vorhandenen Anzeigevorrichtung D₂ zur Verfügung gestellt.
In einem in der obersten Zeile veranschaulichten aufgenommenen Bild erkennt der Benutzer A1 visuell die Richtung einer Sichtlinie G1_A1 im rechten Endgebiet der Anzeigevorrichtung D₁ vom Benutzer A1 zur Anzeigevorrichtung D₁. Das in der obersten Zeile veranschaulichte aufgenommene Bild wird erhalten, indem der am Punkt A anwesende Benutzer A1 bildlich erfasst wird. Eine Rückansicht S_B1 des am Punkt B anwesenden Benutzers B1 wird überlagert und vor der Sichtlinie G1_A1 im aufgenommenen Bild in der obersten Zeile angeordnet.
In einem in der mittleren Zeile veranschaulichten aufgenommenen Bild erkennt der Benutzer A1 visuell die Richtung einer Sichtlinie G2_A1 im mittleren Endgebiet der Anzeigevorrichtung D₁ vom Benutzer A1 zur Anzeigevorrichtung D₁. Das in der mittleren Zeile veranschaulichte aufgenommene Bild wird erhalten, indem der am Punkt A anwesende Benutzer A1 bildlich erfasst wird. Die Rückansicht S_B1 des am Punkt B anwesenden Benutzers B1 wird überlagert und vor der Sichtlinie G2_A1 im aufgenommenen Bild in der mittleren Zeile angeordnet.
In einem in der untersten Zeile veranschaulichten aufgenommenen Bild erkennt der Benutzer A1 visuell die Richtung einer Sichtlinie G3_A1 im linken Endgebiet der Anzeigevorrichtung D₁ vom Benutzer A1 zur Anzeigevorrichtung D₁. Das in der untersten Zeile veranschaulichte aufgenommene Bild wird erhalten, indem der am Punkt A anwesende Benutzer A1 bildlich erfasst wird. Die Rückansicht S_B1 des am Punkt B anwesenden Benutzers B1 wird überlagert und vor der Sichtlinie G3_A1 im aufgenommenen Bild in der untersten Zeile angeordnet.
Gleiches gilt für ein aufgenommenes Bild, das durch Durchführen von Bilderfassung am Punkt B erhalten wird. In einem in der obersten Zeile veranschaulichten aufgenommenen Bild erkennt der Benutzer B 1 visuell die Richtung einer Sichtlinie G1_B1 im rechten Endgebiet der Anzeigevorrichtung D₂ vom Benutzer B1 zur Anzeigevorrichtung D₂. Das in der obersten Zeile veranschaulichte aufgenommene Bild wird erhalten, indem der am Punkt B anwesende Benutzer B1 bildlich erfasst wird. Eine Rückansicht S_A1 des am Punkt A anwesenden Benutzers A1 wird überlagert und vor der Sichtlinie G1_B1 im aufgenommenen Bild in der obersten Zeile angeordnet.
In einem in der mittleren Zeile veranschaulichten aufgenommenen Bild erkennt der Benutzer B 1 visuell die Richtung einer Sichtlinie G2_B1 im mittleren Endgebiet der Anzeigevorrichtung D₂ vom Benutzer B1 zur Anzeigevorrichtung D₂. Das in der mittleren Zeile veranschaulichte aufgenommene Bild wird erhalten, indem der am Punkt B anwesende Benutzer B1 bildlich erfasst wird. Die Rückansicht S_A1 des am Punkt A anwesenden Benutzers A1 wird überlagert und vor der Sichtlinie G2_B1 im aufgenommenen Bild in der mittleren Zeile angeordnet.
In einem in der untersten Zeile veranschaulichten aufgenommenen Bild erkennt der Benutzer B1 visuell die Richtung einer Sichtlinie G3_B1 im linken Endgebiet der Anzeigevorrichtung D₂ vom Benutzer B1 zur Anzeigevorrichtung D₂. Das in der untersten Zeile veranschaulichte aufgenommene Bild wird erhalten, indem der am Punkt B anwesende Benutzer B1 bildlich erfasst wird. Die Rückansicht S_A1 des am Punkt A anwesenden Benutzers A1 wird überlagert und vor der Sichtlinie G3_B1 im aufgenommenen Bild in der untersten Zeile angeordnet.
Auf diese Weise wird einem Benutzer, der in einem aufgenommenen Bild am Punkt A angezeigt wird, eine Rückansicht eines Benutzers am Punkt B überlagert und vor der Sichtlinie im aufgenommenen Bild angezeigt. Auf diese Weise kann der Benutzer am Punkt B eine Erfahrung simulieren, bei der der Benutzer am Punkt B in Augenkontakt mit dem Benutzer am Punkt A kommuniziert, der im aufgenommenen Bild angezeigt wird.
(1,3. Effekte)
Ein Gegenstand und Effekte der Technologie der vorliegenden Offenbarung sind speziell unter Bezugnahme auf die 3 und 4 beschrieben. 3 veranschaulicht einen Fall, in dem mehrere Benutzer eine Kommunikation in demselben Raum ohne irgendwelche Anzeigevorrichtungen oder dergleichen durchführen. In einem realen Meeting wie in 3 teilen sich ein Benutzer 5, ein Benutzer 6, ein Benutzer 7 und ein Benutzer 8 den gleichen Raum. Der Benutzer 5 erkennt visuell den Benutzer 7, der ein Sprecher ist, und der Benutzer 6 erkennt visuell den Benutzer 8, der ein anderer Sprecher ist. Der Benutzer 7 und der Benutzer 8 kommunizieren in Augenkontakt zueinander. Jeder Benutzer ist dann in der Lage, die Sichtlinien der jeweiligen Benutzer zu erfassen.
Im Gegensatz dazu veranschaulicht 4 ein Beispiel eines Video-Chats zur Kommunikation zwischen verschiedenen Orten über eine Anzeigevorrichtung. Der Benutzer 5, der Benutzer 6 und der Benutzer 8 haben ein Meeting mit dem Benutzer 7 über eine Anzeigevorrichtung. Der Benutzer 7 ist an einem anderen Ort anwesend. Der Benutzer 5 erkennt den Benutzer 7 visuell, der Benutzer 6 erkennt den Benutzer 8 visuell und der Benutzer 8 erkennt den Benutzer 7 visuell. Es ist hier denkbar, dass der Benutzer 7 einen beliebigen des Benutzers 5, des Benutzers 6 und des Benutzers 8 visuell erkennt, die in der vom Benutzer 7 visuell erkannten Anzeigevorrichtung angezeigt werden. Es ist jedoch schwierig zu erfassen, welcher des Benutzers 5, des Benutzers 6 und des Benutzers 8 vom Benutzer 7 bei der Kommunikation über die Anzeigevorrichtung visuell erkannt wird. Mit anderen Worten, in einem solchen Video-Chat schaut der Benutzer 7 auf einem aufgenommenen Bild häufig direkt in eine Kamera. Der Mona-Lisa-Effekt bewirkt manchmal, dass der Benutzer 5, der Benutzer 6 und der Benutzer 8 jeweils erkennen, dass der Benutzer 7 den Benutzer 5, den Benutzer 6 und den Benutzer 8 visuell erkennt.
Die Anwendung der Technologie der vorliegenden Offenbarung ermöglicht es, eine Rückansicht eines beliebigen des Benutzers 5, des Benutzers 6 und des Benutzers 8 zur visuellen Erkennung vor der Sichtlinie des Benutzers 7 auf dem aufgenommenen Bild zu überlagern und anzuordnen. Dies ermöglicht es dem Benutzer 5, dem Benutzer 6 und dem Benutzer 8, zu bestimmen, welcher des Benutzers 5, des Benutzers 6 und des Benutzers 8 vom Benutzer 7 visuell erkannt wird, und ein realistischeres Meeting zu erleben.
(2. Konfiguration)
(2,1. Externe Konfiguration)
Mit Bezug auf die 5 und 6 wird ein Beispiel einer Konfiguration eines Informationsverarbeitungssystems beschrieben. Das Informationsverarbeitungssystem beinhaltet eine Informationsverarbeitungseinrichtung, die es ermöglicht, ein realistisches Meeting zu erleben. 5 ist ein Überblickdiagramm, das einen Überblick über das Informationsverarbeitungssystem veranschaulicht, und 6 ist ein Blockdiagramm, das eine interne Konfiguration des Informationsverarbeitungssystems veranschaulicht.
Gemäß 5 ist der Benutzer A1 am Punkt A anwesend, und eine Anzeigevorrichtung D_A , eine Kamera VC_A für einen Chat und eine Kamera SC_A für eine Rückansicht sind am Punkt A angeordnet. Der Benutzer B1 und ein Benutzer B2 sind an dem Punkt B anwesend, und eine Anzeigevorrichtung D_B , eine Kamera VC_B für einen Chat und eine Kamera SCB für eine Rückansicht sind an dem Punkt B angeordnet.
An dem Punkt A zeigt die Anzeigevorrichtung D_A ein aufgenommenes Bild an, das von der Kamera VC_B für einen Chat am Punkt B aufgenommen wird. Der Benutzer A1 ist in der Lage, den Benutzer B1 und den Benutzer B2 für die Kommunikation über die Anzeigevorrichtung D_A visuell zu erkennen. An dem Punkt B zeigt die Anzeigevorrichtung D_B ein aufgenommenes Bild an, das von der Kamera VC_A für einen Chat an dem Punkt A aufgenommen wird. Der Benutzer B1 und der Benutzer B2 sind in der Lage, den Benutzer A1 für die Kommunikation über die Anzeigevorrichtung D_B visuell zu erkennen.
Die Anzeigevorrichtung D_A überlagert und zeigt die Rückansicht S_A1 des Benutzers A1 auf dem aufgenommenen Bild an, das von der Kamera VC_B für einen Chat am Punkt B aufgenommen wird. Die Rückansicht S_A1 wird aus dem aufgenommenen Bild erstellt, das von der Kamera SC_A für eine Rückansicht aufgenommen wird. Währenddessen überlagert und zeigt die Anzeigevorrichtung D_B die Rückansicht S_B1 des Benutzers B1 und eine Rückansicht S_B2 des Benutzers B2 auf dem aufgenommenen Bild an, das von der Kamera VC_A für einen Chat am Punkt A aufgenommen wird. Die Rückansicht S_B1 und die Rückansicht S_B2 werden aus den aufgenommenen Bildern erstellt, die von der Kamera SCB für eine Rückansicht aufgenommen werden.
Der Benutzer A1 erkennt visuell den Benutzer B2, der auf der Anzeigevorrichtung D_A in Richtung einer Sichtlinie A1v angezeigt wird. Die Anzeigevorrichtung D_B zeigt die Rückansicht S_B2 des Benutzers B2 in Richtung der Sichtlinie A1v des Benutzers A1 an. Dies ermöglicht es B1 und B2, die am Punkt B anwesend sind, zu erkennen, dass der Benutzer A1 den Benutzer B2 für die Kommunikation visuell erkennt.
(2,2. Interne Konfiguration)
Gemäß 6 beinhaltet ein Informationsverarbeitungssystem 1000 die Rückansichtskamera SC_A , die Chat-Kamera VC_A , die Anzeigevorrichtung D_A , die Rückansichtskamera SC_B, die Chat-Kamera VC_B , die Anzeigevorrichtung D_B und eine Steuereinheit 100. Die Rückansichtskamera SC_A , die Chat-Kamera VC_A und die Anzeigevorrichtung D_A sind am Punkt A bereitgestellt. Die Rückansichtskamera SC_B, die Chat-Kamera VC_B und die Anzeigevorrichtung D_B sind am Punkt B bereitgestellt.
Die Chat-Kameras VC_A und VC_B weisen Funktionen zur Durchführung von Bilderfassung an den jeweiligen Punkten auf. Jede der Chat-Kameras VC_A und VC_B ist eine Bildgebungsvorrichtung wie etwa eine RGB-Kamera oder eine Thermografiekamera, die ein Bild (Standbild oder Bewegtbild) aufnimmt. Jede der Chat-Kameras VC_A und VC_B kann ein Linsensystem, ein Antriebssystem und ein Bildgebungselement enthalten. Aufgenommene Bilder, die von den Chat-Kameras SC_A und SC_B erhalten werden, können zur Bildverarbeitung verwendet werden oder können zur Anzeige auf den Anzeigevorrichtungen D_A und D_B verwendet werden.
Die Rückansichtskameras SC_A und SC_B weisen Funktionen zur Bilderfassung von Rückansichten von Benutzern an den jeweiligen Punkten auf. Die Rückansichtskameras SC_A und SCB können Bildgebungsvorrichtungen sein, die den Chat-Kameras VC_A und VC_B ähnlich sind.
Die Anzeigevorrichtungen D_A und D_B weisen Funktionen zum Anzeigen von aufgenommenen Bildern an den jeweiligen Punkten und zum Anzeigen von Rückansichten von Benutzern gemäß einer Anweisung der Steuereinheit 100 auf. Die aufgenommenen Bilder werden von den Chat-Kameras VC_A und VC_B an verschiedenen Orten aufgenommen. Die Rückansichten werden von den Rückansichtskameras SC_A und SCB bildlich erfasst, die an den Orten der Anzeigevorrichtungen D_A und D_B vorhanden sind. Insbesondere beinhaltet jede der Anzeigevorrichtungen D_A und D_B eine Vorrichtung, die in der Lage ist, einen Benutzer visuell über ein von der Steuereinheit 100 erzeugtes Anzeigebild zu benachrichtigen. Zu einem Beispiel für eine solche Vorrichtung gehören Anzeigevorrichtungen, wie etwa eine CRT(Kathodenstrahlröhren)-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung und eine EL(Elektrolumineszenz)-Anzeigevorrichtung, ein Laserproj ektor, ein LED-Proj ektor und eine Lampe.
Die Steuereinheit 100 weist Funktionen zum Erfassen verschiedener Arten von Daten von einer Vielzahl von Vorrichtungen, die am Punkt A und am Punkt B bereitgestellt sind, und zum Steuern von Anzeigevorrichtungen auf. Die Steuereinheit beinhaltet einen Erfassungsabschnitt 110, einen Personenerkennungsabschnitt 120, einen 3D-Umwandlungsabschnitt 130 und einen Anzeigesteuerungsabschnitt 140.
Der Erfassungsabschnitt 110 erfasst aufgenommene Bilder von den Rückansichtskameras SC_A und SC_B. Zusätzlich erfasst der Erfassungsabschnitt 110 aufgenommene Bilder von den Chat-Kameras VC_A und VC_B . Der Erfassungsabschnitt 110 erfasst ein aufgenommenes Bild beispielsweise durch Kommunikation. Die Kommunikation kann kontinuierlich oder gegebenenfalls diskontinuierlich durchgeführt werden. Der Erfassungsabschnitt 110 gibt ein erfasstes aufgenommenes Bild an den Personenerkennungsabschnitt 120 aus.
Der Personenerkennungsabschnitt 120 weist eine Funktion zum Identifizieren der Positionen von Benutzern durch Verarbeiten aufgenommener Bilder, die von den Chat-Kameras VC_A und VC_B erfasst werden, auf. Die Beschreibung erfolgt unter Bezugnahme auf 7. 7 ist ein Diagramm, das veranschaulicht, dass der Personenerkennungsabschnitt 120 den Benutzer A1 an dem Punkt A erkennt und verschiedene Arten von Informationen am Punkt A erfasst. An dem in 7 veranschaulichten Punkt A liegen die Anzeigevorrichtung D_A und der Benutzer A1 einander gegenüber. Der linke Teil von 7 ist eine Draufsicht, die die Anzeigevorrichtung D_A und den Benutzer A1 direkt von oben veranschaulicht, und der rechte Teil von 7 ist eine Seitenansicht, die die Anzeigevorrichtung D_A und den Benutzer A1 von der Seite veranschaulicht. Die Anzeigevorrichtung D_A weist eine Horizontalrichtungslänge H_A und eine Vertikalrichtungslänge V_A auf. Wie in 7 veranschaulicht, ist der obere Teil der Anzeigevorrichtung D_A mit der Chat-Kamera VC_A versehen. Die Chat-Kamera VC_A weist einen horizontalen Bilderfassungsfeldwinkel θ_A in der horizontalen Richtung und einen vertikalen Bilderfassungsfeldwinkel φ_A in der vertikalen Richtung innerhalb eines beliebigen Bereichs von der Chat-Kamera VC_A auf.
Der Personenerkennungsabschnitt 120 erkennt die Position in einem dreidimensionalen Raum, an der der Benutzer A1 innerhalb des horizontalen Bilderfassungsfeldwinkels θ_A und des Vertikalrichtung-Bilderfassungsfeldwinkels φ_A anwesend ist, aus einem aufgenommenen Bild, das durch die Chat-Kamera VC_A aufgenommen wird. Der Personenerkennungsabschnitt 120 kann die Position des Benutzers A1 in Bezug auf die Anzeigevorrichtung D_A erkennen.
Ferner weist der Personenerkennungsabschnitt 120 eine Funktion zum Erfassen von sichtlinienrelevanten Informationen eines Benutzers aus einem aufgenommenen Bild, das von der Chat-Kamera VC_A aufgenommen wird, auf. Die sichtlinienrelevanten Informationen eines Benutzers enthalten Informationen bezüglich der Sichtlinie und der visuellen Distanz des Benutzers. Die Sichtlinie eines Benutzers beinhaltet die Sichtlinienrichtung und die Sichtlinienposition des Benutzers in Bezug auf die Anzeigevorrichtung D_A . Die visuelle Distanz eines Benutzers kann die horizontale Distanz von den Augen des Benutzers zur Anzeigevorrichtung D_A sein. In einem Fall, in dem eine Beschreibung unter Bezugnahme auf den linken Teil von 7 gegeben ist, schaut der Benutzer A1 mit der Sichtlinie A1v zur Anzeigevorrichtung D_A , und der Benutzer A1 erkennt visuell die Anzeigevorrichtung D_A innerhalb einer visuellen Distanz d_A1. Die visuelle Distanz d_A1 ist die horizontale Distanz von den Augen eines Benutzers zur Anzeigevorrichtung D_A . In einem Fall, in dem eine Beschreibung unter Bezugnahme auf den rechten Teil von 7 gegeben ist, schaut der Benutzer A1, der aufrecht auf dem Fußboden F steht, mit der Sichtlinie A1v zur Anzeigevorrichtung D_A , und der Benutzer A1 erkennt die Anzeigevorrichtung D_A visuell innerhalb einer visuellen Distanz d_A1. Die visuelle Distanz d_A1 ist die horizontale Distanz von den Augen eines Benutzers zur Anzeigevorrichtung D_A . Auf diese Weise erkennt der Personenerkennungsabschnitt 120 die horizontale Distanz von den Augen eines Benutzers zur Anzeigevorrichtung D_A als die visuelle Distanz.
Der Personenerkennungsabschnitt 120 weist eine Funktion zum Detektieren von Benutzern aus aufgenommenen Bildern, die von den Chat-Kameras VC_A und VC_B aufgenommen werden, auf. In einem Fall, in dem eine Beschreibung unter Bezugnahme auf 8 gegeben ist, detektiert der Personenerkennungsabschnitt 120 am Punkt B Personen wie etwa die Benutzer B 1 und B2 von den Objekten, die in dem Raum am Punkt B vorhanden sind, und identifiziert jeden der Benutzer B1 und B2 durch Durchführen einer Bildverarbeitung an einem aufgenommenen Bild am Punkt B.
Der Personenerkennungsabschnitt 120 weist eine Funktion zum Detektieren von Rückansichten von Benutzern aus aufgenommenen Bildern auf, die von den Rückansichtskameras SC_A und SCB aufgenommen werden, um auf ähnliche Weise Benutzer aus aufgenommenen Bildern zu detektieren, die von den Chat-Kameras VC_A und VC_B aufgenommen werden. Der Personenerkennungsabschnitt 120 kann erkennen, dass der Benutzer A1, der von der Chat-Kamera SC_A am Punkt A bildlich erfasst wird, und der Benutzer A1, der von der Rückansichtskamera SC_A am Punkt A bildlich erfasst wird, sich auf denselben Benutzer beziehen, und kann den Benutzer A1, der von der Chat-Kamera SC_A am Punkt A bildlich erfasst wird, und den Benutzer A1, der von der Rückansichtskamera SC_A am Punkt A bildlich erfasst wird, verknüpfen. Eine solche Verknüpfung ermöglicht es, eine Rückansicht des Benutzers A1 an der Position des Benutzers A1, der von der Chat-Kamera VC_A am Punkt A bildlich erfasst wird, in einem virtuellen 3D-Raum anzuordnen, das unten beschrieben wird.
Der 3D-Umwandlungsabschnitt 130 weist Funktionen zum Erzeugen eines virtuellen aufgenommenen Bildes unter Verwendung verschiedener Arten von Informationen, die von dem Personenerkennungsabschnitt 120 erfasst wurden, und zum Ausgeben des erzeugten virtuellen aufgenommenen Bildes an den Anzeigesteuerungsabschnitt 140 auf. Das virtuelle aufgenommene Bild dient zur Steuerung eines Anzeigebildes, das von einer Anzeigevorrichtung am Punkt B angezeigt wird. In einem Fall, in dem eine Beschreibung unter Bezugnahme auf 9 gegeben ist, ordnet der 3D-Umwandlungsabschnitt 130 die Anzeigevorrichtung D_A und die Anzeigevorrichtung D_Q in einem virtuellen 3D-Raum an, wodurch die Anzeigepositionen der Rückansicht S_B1 des Benutzers B1 und der Rückansicht S_B2 des Benutzers B2 unter Verwendung der visuellen Distanz d_A1 des Benutzers A1 bestimmt werden. Die Rückansicht S_B1 des Benutzers B1 und die Rückansicht S_B2 des Benutzers B2 sind Benutzerobjekte.
Mit Bezug auf die 10 und 11 wird ein durch den 3D-Umwandlungsabschnitt 130 durchgeführter Prozess ausführlich beschrieben. 10 veranschaulicht einen virtuellen 3D-Raum 200. In dem virtuellen 3D-Raum 200 wird die Positionsbeziehung zwischen der Anzeigevorrichtung D_A und dem Benutzer A1 am Punkt A simuliert. Eine virtuelle erste Anzeigevorrichtung D_A ist im virtuellen 3D Raum 200 angeordnet. Die virtuelle erste Anzeigevorrichtung D_A bezeichnet die gleiche Größe wie die der Anzeigevorrichtung D_A , die am Punkt A in einem realen Raum angeordnet ist. Hier bezeichnet die virtuelle erste Anzeigevorrichtung die gleiche Größe wie die der Anzeigevorrichtung D_A und wird somit mit dem gleichen Zeichen gekennzeichnet.
Eine virtuelle zweite Anzeigevorrichtung D_Q ist an der Position angeordnet, die der virtuellen ersten Anzeigevorrichtung D_A gegenüberliegt. Die Anordnungsposition der virtuellen zweiten Anzeigevorrichtung D_Q wird auf Basis der Positionsbeziehung zwischen der Anzeigevorrichtung D_A und dem Benutzer A1 am Punkt A bestimmt. Insbesondere ist die virtuelle zweite Anzeigevorrichtung D_Q so angeordnet, dass sie von von der virtuellen ersten Anzeigevorrichtung D_A mit der gleichen Distanz beabstandet ist wie die visuelle Distanz d_A1 zwischen der Anzeigevorrichtung D_A und dem Benutzer A1 am Punkt A.
Die virtuelle erste Anzeigevorrichtung D_A zeigt die Benutzer B 1 und B2, die von der Chat-Kamera VC_B bildlich erfasst werden, als am Punkt A an und die virtuelle zweite Anzeigevorrichtung D_Q zeigt den Benutzer A1, der von der Chat-Kamera VC_A als am Punkt B bildlich erfasst wird, als am Punkt A an.
Die vertikale und horizontale Größe der virtuellen zweiten Anzeigevorrichtung D_Q in einem virtuellen 3D-Raum wird auf Basis der visuellen Distanz und des Feldwinkels der ersten Bildgebungsvorrichtung bestimmt, die das erste aufgenommene Bild aufnimmt. Mit anderen Worten wird eine horizontale Größe H_Q der virtuellen zweiten Anzeigevorrichtung D_Q auf Basis der visuellen Distanz d_A1 und des horizontalen Bilderfassungsfeldwinkels θ_A der virtuellen ersten Anzeigevorrichtung D_A bestimmt. Es ist möglich, die horizontale Größe H_Q der virtuellen zweiten Anzeigevorrichtung D_Q als H_Q = 2d_A1tan(θ_A/2) auszudrücken. Im Gegensatz dazu wird eine vertikale Größe V_Q der virtuellen zweiten Anzeigevorrichtung D_Q auf Basis der visuellen Distanz d_A1 und des vertikalen Bilderfassungsfeldwinkels φ_A der virtuellen ersten Anzeigevorrichtung D_A bestimmt. Es ist möglich, die vertikale Größe V_Q der virtuellen zweiten Anzeigevorrichtung D_Q als V_Q = 2d_A1tan(φ_A/2) auszudrücken.
Der 3D-Umwandlungsabschnitt 130 wandelt ein Bild unter Verwendung der Anordnung der jeweiligen virtuellen Anzeigevorrichtungen, die in 10 veranschaulicht sind, und des Benutzers A1, des Benutzers B1 und des Benutzers B2, die auf den virtuellen Anzeigevorrichtungen angezeigt werden, um. Der 3D-Umwandlungsabschnitt 130 gibt Informationen an den Anzeigesteuerungsabschnitt 140 aus. Die Informationen dienen zum Erzeugen eines Bildes, das auf der Anzeigevorrichtung D_B am Punkt B angezeigt wird.
Der 3D-Umwandlungsabschnitt 130 ordnet ferner einen Anzeigestartpunkt in dem oben beschriebenen virtuellen 3D-Raum an und erzeugt ein Bild unter Verwendung eines virtuellen aufgenommenen Bildes, das von einer virtuellen Bildgebungsvorrichtung (nicht veranschaulicht) vom Anzeigestartpunkt aufgenommen wird. Das Bild wird auf der Anzeigevorrichtung D_B am Punkt B angezeigt. 11 ist ein Diagramm, das einen Anzeigestartpunkt P bei der Anordnung einer virtuellen ersten Anzeigevorrichtung und einer virtuellen zweiten Anzeigevorrichtung in 10 zusätzlich veranschaulicht. Der Anzeigestartpunkt P befindet sich an einer Position auf derselben Seite wie die Position, an der eine erste Anzeigevorrichtung angeordnet ist, indem der erste Benutzer A1, der auf der virtuellen zweiten Anzeigevorrichtung D_Q angezeigt wird, als ein Startpunkt verwendet wird. Die Position des Anzeigestartpunkts P ist weiter entfernt als die Position der virtuellen ersten Anzeigevorrichtung. Ein Bild, das auf der Anzeigevorrichtung D_B am Punkt B in einem realen Raum angezeigt wird, wird auf Basis der virtuellen ersten Anzeigevorrichtung D_A , der virtuellen zweiten Anzeigevorrichtung D_Q und eines virtuellen aufgenommenen Bildes, das von dem Anzeigestartpunkt P aus aufgenommen wird, gesteuert. Insbesondere ist ein virtuelles aufgenommenes Bild Pv ein Bild, das vom Anzeigestartpunkt P aus aufgenommen wird und durch bildliches Erfassen eines Objekts innerhalb eines Feldwinkelbereichs erhalten wird, der vom Anzeigestartpunkt P visuell erkannt wird. Das virtuelle aufgenommene Bild Pv ist ein Bild, das bezeichnet, dass die virtuelle erste Anzeigevorrichtung und die virtuelle zweite Anzeigevorrichtung in einem Fall überlagert sind, in dem eine Person oder dergleichen die Richtung der virtuellen ersten Anzeigevorrichtung vom Anzeigestartpunkt P aus visuell erkennt.
Der Anzeigesteuerungsabschnitt 140 steuert ein Bild unter Verwendung eines virtuellen aufgenommenen Bildes, das durch den 3D-Umwandlungsabschnitt 130 erzeugt wird. Das Bild wird auf der Anzeigevorrichtung D_B am Punkt B in einem realen Raum angezeigt.
Mit Bezug auf die 12 und 13 sind ein virtuelles aufgenommenes Bild und eine Anzeigesteuerung beschrieben. Jede der 12 und 13 ist ein Diagramm, das ein Beispiel veranschaulicht, in dem ein Bild, das auf der Anzeigevorrichtung D_B angezeigt wird, auf Basis des virtuellen aufgenommenen Bildes Pv gesteuert wird, das vom Anzeigestartpunkt P aus aufgenommen wird. 12 veranschaulicht das virtuelle aufgenommene Bild Pv. Demnach werden der Benutzer A1, der auf der virtuellen zweiten Anzeigevorrichtung angezeigt wird, und die Benutzer B1 und B2, die auf der virtuellen zweiten Anzeigevorrichtung D_Q angezeigt werden, in dem virtuellen aufgenommenen Bild Pv angezeigt, und der Benutzer A1 und eine Rückansicht des Benutzers B1 werden überlagert und angezeigt.
In einem Fall, in dem eine Rückansicht des Benutzers B1 oder B2 überlappend mit dem Benutzer A1 in dem virtuellen aufgenommenen Bild Pv angezeigt wird, wie im oberen Teil von 12 veranschaulicht, ändert der Anzeigesteuerungsabschnitt 140 die Größe der Rückansicht des Benutzers B1 oder B2 und verhindert, dass die Rückansicht des Benutzers B1 oder B2 den Benutzer A1 überlappt, wie im unteren Teil von 12 veranschaulicht. Es kann gegebenenfalls von einem das Informationsverarbeitungssystem 1000 verwendenden Benutzer bestimmt werden, inwieweit die Rückansicht überlappt. Zum Beispiel ist es ausreichend, falls der Anzeigesteuerungsabschnitt 140 die Größe der Rückansicht ändert, um zu verhindern, dass die Rückansicht mindestens ein Auge des Benutzers A1 überlappt. Der Anzeigesteuerungsabschnitt 140 kann somit die Größe der Rückansicht des Benutzers B 1 oder B2 ändern, um die Rückansicht außerhalb eines gewissen Abstands von der Position eines erkannten Auges des Benutzers A1 anzuordnen. Zusätzlich kann beispielsweise der Anzeigesteuerungsabschnitt 140 bestimmen, ob die Größe der Rückansicht des Benutzers B1 oder B2 geändert werden soll oder nicht, basierend darauf, ob die Rückansicht des Benutzers B1 oder B2 den Umriss des Gesichts des Benutzers A1 überlappt oder nicht. Falls die Rückansicht des Benutzers B1 oder B2 den Umriss des Gesichts des Benutzers A1 überlappt, kann der Anzeigesteuerungsabschnitt 140 die Größe der Rückansicht des Benutzers B 1 oder B2 ändern, um zu verhindern, dass die Rückansicht den Umriss des Gesichts des Benutzers A1 überlappt. Dies ermöglicht es den Benutzern B1 und B2, die Sichtlinie des Benutzers A1 mit Gewissheit zu erfassen, und ermöglicht eine komfortablere Kommunikation.
In einem Fall, in dem eine Rückansicht des Benutzers B 1 oder B2 aus dem Rahmen in dem virtuellen aufgenommenen Bild Pv fällt, wie in 13 veranschaulicht, kann der Anzeigesteuerungsabschnitt 140 zusätzlich den Bereich des virtuellen aufgenommenen Bildes Pv ändern, um zu bewirken, dass das virtuelle aufgenommene Bild Pv den Benutzer B1 oder B2 enthält, der aus dem Rahmen fällt. Diese Änderung wird durch die Bewegung des Anzeigestartpunkts P vorgenommen. Beispielsweise können der Anzeigestartpunkt P und die virtuelle zweite Anzeigevorrichtung D_Q so angeordnet sein, dass sie weiter voneinander beabstandet sind, um zu bewirken, dass das virtuelle aufgenommene Bild Pv den Benutzer B1 oder B2 enthält, der aus dem Rahmen fällt. Dies ermöglicht es, die Größe der virtuellen ersten Anzeigevorrichtung D_A und der virtuellen zweiten Anzeigevorrichtung D_Q in dem virtuellen aufgenommenen Bild Pv zu verringern, wie im unteren Teil von 13 veranschaulicht, und ermöglicht es, den Benutzer A1 und die Benutzer B1 und B2 deutlich anzuzeigen.
Eine solche Anzeigesteuerung ermöglicht es, ein Anzeigebild anzuzeigen, ohne Fremdheit zu verursachen. Darüber hinaus ist es auch möglich, die Anzeigesteuerung durch einen Umwandlungsprozess mit reduzierter Verarbeitungslast zu erreichen.
Ferner kann in einem Fall, in dem der Benutzer B 1 oder B2 aus dem Rahmen in dem virtuellen aufgenommenen Bild Pv fällt, der Anzeigesteuerungsabschnitt 140 auch die Anzeigeposition einer Rückansicht des Benutzers B 1 oder B2 ändern, um zu bewirken, dass das virtuelle aufgenommene Bild Pv die Rückansicht des Benutzers B1 oder B2 einschließt, der aus dem Rahmen fällt. Die Anzeigeposition kann innerhalb eines Bereichs geändert werden, in dem die Sichtlinie des Benutzers A1 und die Position der Rückansicht einander entsprechen. Es ist anzumerken, dass der Anzeigesteuerungsabschnitt 140 eine Position ändert, an der eine Rückansicht eines Benutzers in einem aufgenommenen Bild angeordnet ist, das in der vorliegenden Ausführungsform von einem Benutzer am Punkt B visuell erkannt wird, aber dieses Beispiel ist nicht einschränkend. Der Anzeigesteuerungsabschnitt 140 kann eine Position, an der eine Rückansicht eines Benutzers am Punkt B angeordnet ist, im Voraus bestimmen, die Sichtlinie eines Benutzers am Punkt A an der Position verarbeiten, an der die Rückansicht des Benutzers am Punkt B angeordnet ist, und die Sichtlinien so verarbeiten, als ob die Sichtlinie des Benutzers am Punkt A mit der Sichtlinie der Rückansicht des Benutzers am Punkt B übereinstimmt. Die jeweiligen Rückansichten der Benutzer am Punkt B können dann mit Tags versehen und verarbeitet werden, um die Identifizierung der jeweiligen Benutzer zu ermöglichen. Die jeweiligen Rückansichten der Benutzer am Punkt B sind vor der Sichtlinie des Benutzers am Punkt A angeordnet, der am Punkt B visuell erkannt wird.
In einem Fall, in dem eine Rückansicht des Benutzers B1 oder B2 überlappend mit dem Benutzer A1 in dem virtuellen aufgenommenen Bild Pv angezeigt wird, wie im oberen Teil von 12 veranschaulicht, kann der Anzeigesteuerungsabschnitt 140 die visuelle Erkennbarkeit des Benutzers A1 und der Rückansicht beibehalten, indem die Transmissivität der Rückansicht geändert wird. Insbesondere kann der Anzeigesteuerungsabschnitt 140 die Transmissivität eines Teils der Rückansicht, der den Benutzer A1 überlappt, weiter erhöhen und kann die Transmissivität eines Teils der Rückansicht verringern, der den Benutzer A1 nicht überlappt. Dies ermöglicht es dem Anzeigesteuerungsabschnitt 140, die visuelle Erkennbarkeit des Benutzers A1 und auch die visuelle Erkennbarkeit der Rückansicht beizubehalten.
(3. Betriebsablauf)
Der bisher beschriebene und von den jeweiligen Vorrichtungen und den jeweiligen Komponenten durchgeführte Betriebsablauf (S100) ist unter Bezugnahme auf 14 beschrieben.
Zunächst nimmt die Chat-Kamera VC_A am Punkt A ein Bild am Punkt A auf (S102). Zusätzlich nimmt die Rückansichtskamera SC_A am Punkt A ein Bild einer Rückansicht des Benutzers A1 auf (S104). Im Gegensatz dazu nimmt die Chat-Kamera VC_B am Punkt B ein Bild am Punkt B auf (S106). Zusätzlich nimmt die Rückansichtskamera SCB am Punkt B Bilder von Rückansichten der Benutzer B 1 und B2 auf (S108).
Diese Operationen können gleichzeitig oder nacheinander gestartet werden. Die Operationen können in beliebiger Reihenfolge durchgeführt werden.
Als Nächstes erfasst der Erfassungsabschnitt aufgenommene Bilder von den Chat-Kameras VC_A und VC_B und den Rückansichtskameras SC_A und SC_B (S110).
Als Nächstes erkennt der Personenerkennungsabschnitt 120 Benutzer aus den aufgenommenen Bildern und detektiert verschiedene Arten von Informationen (S111).
Der Personenerkennungsabschnitt 120 detektiert die visuelle Distanz des Benutzers A1 (S112). Der Personenerkennungsabschnitt 120 detektiert und identifiziert dann den Benutzer A1 aus den aufgenommenen Bildern und detektiert die visuelle Distanz zwischen der Chat-Kamera VC_A und dem Benutzer A1.
Der Personenerkennungsabschnitt 120 identifiziert die Positionen der Benutzer in den aufgenommenen Bildern aus den aufgenommenen Bildern (S113). Der Personenerkennungsabschnitt 120 detektiert und identifiziert dann die Benutzer B1 und B2 aus den aufgenommenen Bildern und identifiziert die Positionen in den aufgenommenen Bildern. Es ist zu beachten, dass die Positionen in den aufgenommenen Bildern Positionen in einem realen Raum am Punkt B sein können.
Der Personenerkennungsabschnitt 120 extrahiert Rückansichten aus den aufgenommenen Bildern der Rückansichtskameras (S114). Der Personenerkennungsabschnitt 120 detektiert und identifiziert dann die Teile der Personen der Benutzer B 1 und B2 aus dem aufgenommenen Bild. Der Personenerkennungsabschnitt 120 trennt die Rückansichten der Benutzer B 1 und B2 in den aufgenommenen Bildern vom Hintergrund und extrahiert die Rückansichten der Benutzer B 1 und B2.
Als Nächstes ordnet der 3D-Umwandlungsabschnitt die virtuelle erste Anzeigevorrichtung und die virtuelle zweite Anzeigevorrichtung in einem virtuellen 3D-Raum auf Basis der Positionsbeziehung zwischen einer Anzeigevorrichtung und dem Benutzer A1 am Punkt A an (S116).
Als Nächstes steuert der Anzeigesteuerungsabschnitt ein Bild, das von einer Anzeigevorrichtung B am Punkt B angezeigt wird, auf Basis der Positionsbeziehung zwischen der virtuellen ersten Anzeigevorrichtung und der virtuellen zweiten Anzeigevorrichtung, die angeordnet wurden, und eines virtuellen aufgenommenen Bildes, das vom Anzeigestartpunkt aufgenommen wird (S120).
Die jeweiligen Komponenten führen den oben beschriebenen Betriebsablauf durch, wodurch es möglich wird, ein Anzeigebild ohne Fremdheit anzuzeigen, die ohne Korrektur des Gesichts des Benutzers A1, Durchführen einer Bildverarbeitung am Gesicht des Benutzers A1 oder dergleichen verursacht wird. Darüber hinaus ist es auch möglich, die Anzeigesteuerung durch einen 3D-Umwandlungsprozess mit reduzierter Verarbeitungslast zu erreichen.
(4. Modifikationsbeispiele)
Die Informationsverarbeitungseinrichtung und das Informationsverarbeitungsverfahren gemäß der vorliegenden Ausführungsform wurden bisher beschrieben. In diesem Abschnitt wird unter Bezugnahme auf die 15 und 16 ein Beispiel eines Modifikationsbeispiels der Informationsverarbeitungseinrichtung und des Informationsverarbeitungsverfahrens gemäß der vorliegenden Ausführungsform beschrieben.
(4,1. Priorität der visuellen Distanz)
In der oben beschriebenen Ausführungsform wurde das Beispiel beschrieben, in dem der Benutzer A1 am Punkt A anwesend ist, die Benutzer B 1 und B2 am Punkt B anwesend sind und die Kommunikation zwischen dem Punkt A und dem Punkt B durchgeführt wird. Unter Bezugnahme auf 15 wird als ein Modifikationsbeispiel der oben beschriebenen Ausführungsform ein Beispiel eines Falls beschrieben, in dem sich mehrere Benutzer am Punkt A befinden. 15 ist ein Diagramm, das ein Beispiel eines Falls veranschaulicht, in dem sich mehrere Benutzer am Punkt A befinden.
Der in 15 veranschaulichte Punkt A weist den Benutzer A1 und einen Benutzer A2 auf. Der Benutzer A1 und der Benutzer A2 stehen aufrecht auf dem Fußboden F und erkennen visuell die Anzeigevorrichtung D_A . Der Benutzer A1 und der Benutzer A2 weisen unterschiedliche Distanzen zu der Anzeigevorrichtung D_A auf. Die Distanzen zwischen dem Benutzer A1 und dem Benutzer A2 und der Anzeigevorrichtung D_A können die visuellen Distanzen des Benutzers A1 und des Benutzers A2 zur Anzeigevorrichtung D_A sein. Die visuelle Distanz kann die horizontale Distanz von den Augen eines Benutzers zur Anzeigevorrichtung D_A sein.
Auf diese Weise kann in einem Fall, in dem mehrere Benutzer am Punkt A anwesend sind, die Steuereinheit 100 vorzugsweise eine Anzeigesteuerung an der visuellen Distanz des Benutzers mit der kleinsten visuellen Distanz durchführen. Die Richtung einer Sichtlinie variiert in einem größeren Bereich, wenn eine Chat-Kamera näher liegt. Es ist daher möglich, den Variationsbereich zu unterdrücken, indem wie beschrieben die visuelle Distanz des Benutzers mit der kleinsten visuellen Distanz priorisiert wird. Zusätzlich kann die Steuereinheit 100 einen Sprecher aus einer Vielzahl von Benutzern am Punkt A identifizieren und vorzugsweise eine Anzeigesteuerung an der visuellen Distanz des identifizierten Sprechers durchführen.
(4,2. Verwendung des Distanzmessungssensors)
Als ein Beispiel eines anderen Modifikationsbeispiels der oben beschriebenen Ausführungsform wird eine Technologie unter Bezugnahme auf 16 beschrieben, bei der ein Distanzmessungssensor anstelle einer Rückansichtskamera verwendet wird, der Informationen zum Erstellen einer Rückansicht erfasst.
16 veranschaulicht ein Beispiel, in dem die Anzeigevorrichtung D_A und die Anzeigevorrichtung D_B Distanzmessungssensorvorrichtungen Kn_A und Kn_B beinhalten. Die Anzeigevorrichtung D_A und die Anzeigevorrichtung D_B sind in 5 veranschaulicht. Die Distanzmessungssensorvorrichtungen sind an Positionen angeordnet, an denen es möglich ist, die Distanzen von den Distanzmessungssensorvorrichtungen zu einem Körperteil eines Benutzers zu messen. Beispiele für Distanzmessungssensorvorrichtungen beinhalten einen ToF(Laufzeit)-Sensor. Beispielsweise misst ein ToF-Sensor die Distanz zum Körper eines Benutzers unter Verwendung eines Verfahrens (dToF-Verfahrens), bei dem der Körper eines Benutzers mit pulsierendem Infrarotlicht bestrahlt wird und die Zeit direkt gemessen wird, die vergeht, bevor das auf der Körperoberfläche reflektierte Infrarotlicht zurückkehrt, eines Verfahrens (iToF-Verfahrens), bei dem Infrarotlicht moduliert wird und eine Berechnung auf Basis der Phasendifferenz zwischen der Phase des Bestrahlungslichts und der Phase des reflektierten und zurückkehrenden Lichts durchgeführt wird, oder dergleichen.
Die Steuereinheit 100 kann Informationen bezüglich einer Bewegung eines Benutzers unter Verwendung der Distanzmessungssensorvorrichtungen Kn_A und Kn_B erfassen und einen Avatar oder ein Benutzerobjekt erzeugen, das durch teilweises Verarbeiten des Avatars auf Basis der Informationen erhalten wird. In einem Fall, in dem es mehrere Benutzer gibt, kann die Steuereinheit 100 Benutzer, die von den Chat-Kameras VC_A und VC_B identifiziert werden, und Benutzer, für die Informationen bezüglich Bewegungen von Benutzern von den Distanzmessungssensorvorrichtungen Kn_A und Kn_B erfasst werden, verknüpfen. Die Steuereinheit 100 kann Bewegungen oder dergleichen der Skelettstrukturen der Benutzer in Echtzeit erfassen und die Bewegungen oder dergleichen in Benutzerobjekten widerspiegeln. In einem Fall, in dem es mehrere Benutzer gibt, kann der Anzeigesteuerungsabschnitt 140 die visuellen Charakteristiken der jeweiligen Benutzer in Benutzerobjekten widerspiegeln. Die Benutzerobjekte entsprechen den jeweiligen Benutzern. Dies führt dazu, dass die jeweiligen Benutzerobjekte Unterschiede aufweisen, und ermöglicht es, die Benutzerobjekte zu identifizieren. Die visuellen Charakteristiken können beispielsweise die Textur von Kleidung, Frisuren oder dergleichen sein.
Es ist anzumerken, dass das Beispiel in dem vorliegenden Modifikationsbeispiel beschrieben wurde, in dem eine Distanzmessungssensorvorrichtung anstelle einer Rückansichtskamera verwendet wird. Eine Chat-Kamera und eine Distanzmessungssensorvorrichtung können jedoch dieselbe Vorrichtung sein. Demnach ist es möglich, eine Distanz zu messen, indem eine Bilderkennung und Bildverarbeitung für ein aufgenommenes Bild durchgeführt wird, das von einer Chat-Kamera aufgenommen wird, und die Anzahl der installierten Vorrichtungen zu unterdrücken.
(4,3. Verwendung einer Brillenanzeigevorrichtung)
Als ein Beispiel eines anderen Modifikationsbeispiels der oben beschriebenen Ausführungsform wird eine Technologie unter Bezugnahme auf 17 beschrieben, in der ein Benutzer eine Brillenanzeigevorrichtung zur visuellen Erkennung trägt, in einem Fall, in dem eine Anzeigesteuerung an einem Benutzerobjekt durchgeführt wird. 17 veranschaulicht ein Beispiel, in dem das Beispiel des Überblicks über die Technologie der vorliegenden Offenbarung, die in 1 veranschaulicht ist, auf eine Brillenanzeigevorrichtung angewendet wird. Gemäß 17 trägt der Benutzer 4 eine transmissive Brille 300. Der Benutzer 4 erkennt visuell ein Benutzerobjekt S₄, das von der transmissiven Brille 300 überlagert und auf einem auf einer Anzeigevorrichtung D angezeigten, aufgenommenen Bild angezeigt wird. Dies ermöglicht es, die Anzeigeposition des Benutzerobjekts S₄ gemäß der Position eines Benutzers selbst in einem Fall zu ändern, in dem sich der Benutzer bewegt, was den Komfort weiter erhöht.
(5. Hardwarekonfigurationsbeispiel)
Mit Bezug auf 18 wird ein Beispiel einer Hardwarekonfiguration der Steuereinheit der Informationsverarbeitungseinrichtung beschrieben, die in dem Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform enthalten ist. 18 ist ein Blockdiagramm, das ein Beispiel der Hardwarekonfiguration der Steuereinheit gemäß der vorliegenden Ausführungsform veranschaulicht.
Wie in 18 veranschaulicht, beinhaltet eine Informationsverarbeitungseinrichtung 900 eine CPU (Zentralverarbeitungseinheit) 901, einen ROM (Nur-Lese-Speicher) 902, einen RAM (Direktzugriffsspeicher) 903 und einen Host-Bus 904a. Zusätzlich dazu beinhaltet die Informationsverarbeitungseinrichtung 900 eine Bridge 904, einen externen Bus 904b, eine Schnittstelle 905, eine Eingabevorrichtung 906, eine Anzeigevorrichtung 907, eine Speicherungsvorrichtung 908, ein Laufwerk 909, einen Kopplungsport 911 und eine Kommunikationsvorrichtung 913. Die Informationsverarbeitungseinrichtung 900 kann eine Verarbeitungsschaltung wie etwa eine elektrische Schaltung, einen DSP oder eine ASIC anstelle der CPU 901 oder zusammen mit der CPU 901 enthalten.
Die CPU 901 fungiert als eine arithmetische Verarbeitungsvorrichtung und eine Steuervorrichtung. Die CPU 901 steuert den Gesamtbetrieb in der Informationsverarbeitungseinrichtung 900 gemäß einer Vielzahl von Programmen. Außerdem kann die CPU 901 ein Mikroprozessor sein. Der ROM 902 speichert ein Programm, einen arithmetischen Parameter und dergleichen, die von der CPU 901 verwendet werden sollen. Der RAM 903 speichert temporär ein Programm, das bei der Ausführung der CPU 901 verwendet wird, einen Parameter, die zweckmäßig bei der Ausführung geändert wird, und dergleichen. Die CPU 901 kann zum Beispiel die in 6 veranschaulichte Steuereinheit bilden.
Die CPU 901, der ROM 902 und der RAM 903 sind durch den Host-Bus 904a einschließlich eines CPU-Busses und dergleichen miteinander gekoppelt. Der Host-Bus 904a ist über die Bridge 904 mit dem externen Bus 904b, wie etwa einem PCI(Peripheral Component Interconnect/Interface)-Bus, gekoppelt. Es ist anzumerken, dass der Host-Bus 904a, die Bridge 904 und der externe Bus 904b nicht notwendigerweise separat enthalten sein müssen, sondern dass die Funktionen davon in einem Bus implementiert werden können.
Die Eingabeeinrichtung 906 wird durch eine Einrichtung, durch die ein Benutzer Informationen eingibt, erreicht, wie etwa beispielsweise eine Maus, eine Tastatur, ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel. Zusätzlich kann die Eingabevorrichtung 906 beispielsweise eine Fernsteuervorrichtung sein, die Infrarotstrahlen oder andere elektrische Wellen verwendet. Alternativ kann die Eingabevorrichtung 906 eine externe Kopplungsvorrichtung wie etwa ein Mobiltelefon oder ein PDA sein, die einen Betrieb der Informationsverarbeitungseinrichtung 900 unterstützen. Ferner kann die Eingabevorrichtung 906 beispielsweise eine Eingangssteuerschaltung oder dergleichen enthalten, die ein Eingangssignal auf Basis von Informationen erzeugt, die vom Benutzer unter Verwendung der oben beschriebenen Eingabemittel eingegeben wurden, und das erzeugte Eingangssignal an die CPU 901 ausgibt. Der Benutzer der Informationsverarbeitungseinrichtung 900 ist in der Lage, verschiedene Arten von Daten in die Informationsverarbeitungseinrichtung 900 einzugeben oder die Informationsverarbeitungseinrichtung 900 anzuweisen, eine Verarbeitungsoperation durch Betreiben dieser Eingabevorrichtung 906 durchzuführen.
Die Anzeigevorrichtung 907 wird unter Verwendung einer Vorrichtung gebildet, die in der Lage ist, den Benutzer visuell oder akustisch über erfasste Informationen zu informieren. Zu Beispielen für eine solche Vorrichtung gehören Anzeigevorrichtungen, wie etwa eine CRT-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung, eine EL-Anzeigevorrichtung, ein Laserprojektor, ein LED-Projektor und eine Lampe, und Tonausgabevorrichtungen, wie etwa ein Lautsprecher oder ein Kopfhörer. Die Anzeigevorrichtung 907 gibt beispielsweise Ergebnisse aus, die durch eine Vielzahl von Prozessen erhalten werden, die von der Informationsverarbeitungseinrichtung 900 durchgeführt werden. Insbesondere zeigt die Anzeigevorrichtung 907 visuell die Ergebnisse, die durch eine Vielzahl von Prozessen erhalten werden, die von der Informationsverarbeitungseinrichtung 900 durchgeführt werden, in einer Vielzahl von Formaten wie etwa Text, Bildern, Tabellen und Graphen an. In einem Fall, in dem die Tonausgabevorrichtung verwendet wird, wandelt währenddessen die Tonausgabevorrichtung Audiosignale einschließlich reproduzierter Tondaten, akustischer Daten oder dergleichen in analoge Signale um und gibt die analogen Signale akustisch aus. Die Anzeigevorrichtung 907 ist beispielsweise die in 6 veranschaulichte Anzeigevorrichtung D_A oder Anzeigevorrichtung D_B .
Die Speicherungsvorrichtung 908 ist eine Einrichtung zur Datenspeicherung, die als ein Beispiel einer Speicherungseinheit der Informationsverarbeitungsvorrichtung 900 gebildet wird. Die Speicherungsvorrichtung 908 wird zum Beispiel durch eine magnetische Speicherungseinheitsvorrichtung wie etwa eine HDD, eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung, eine magnetooptische Speicherungsvorrichtung oder dergleichen erreicht. Die Speicherungsvorrichtung 908 kann ein Speicherungsmedium, eine Aufzeichnungsvorrichtung, die Daten auf dem Speicherungsmedium aufzeichnet, eine Lesevorrichtung, die Daten aus dem Speicherungsmedium liest, eine Löschvorrichtung, die im Speicherungsmedium gespeicherte Daten löscht, und dergleichen beinhalten. Diese Speicherungsvorrichtung 908 speichert ein Programm, das von der CPU 901 ausgeführt werden soll, verschiedene Arten von Daten, verschiedene Arten von Daten, die von außen erfasst werden, und dergleichen. Die Speicherungsvorrichtung 908 speichert beispielsweise ein virtuelles aufgenommenes Bild, eine Vielzahl von Parametern oder dergleichen. Das virtuelle aufgenommene Bild wird in einem Fall verwendet, in dem der Anzeigesteuerungsabschnitt 140 die Anzeigevorrichtung D_A und die Anzeigevorrichtung D_B in der in 6 veranschaulichten Steuereinheit 100 steuert. Die Vielzahl von Parametern wird verwendet, um das virtuelle aufgenommene Bild zu erzeugen.
Das Laufwerk 909 ist ein Lese-/Schreibgerät für ein Speicherungsmedium. Das Laufwerk 909 ist in die Informationsverarbeitungseinrichtung 900 eingebaut oder extern daran angeschlossen. Das Laufwerk 909 liest Informationen aus, die in einem entfernbaren Speicherungsmedium aufgezeichnet sind, wie etwa einer magnetischen Platte, einer optischen Platte, einer magnetooptischen Platte oder einem daran montierten Halbleiterspeicher, und gibt die Informationen an den RAM 903 aus. Darüber hinaus ist das Laufwerk 909 auch in der Lage, Informationen in das entfernbare Speicherungsmedium zu schreiben.
Der Kopplungsport 911 ist eine Schnittstelle, die mit einer externen Einrichtung gekoppelt ist. Der Kopplungsport 911 ist ein Kopplungsport mit einer externen Einrichtung, der beispielsweise in der Lage ist, Daten über USB (Universal Serial Bus) und dergleichen zu übertragen.
Die Kommunikationsvorrichtung 913 ist eine Kommunikationsschnittstelle einschließlich beispielsweise einer Kommunikationsvorrichtung und dergleichen zum Koppeln mit einem Netzwerk 920. Die Kommunikationsvorrichtung 913 ist beispielsweise eine Kommunikationskarte oder dergleichen für drahtgebundenes oder drahtloses LAN (lokales Netzwerk), LTE (Long Term Evolution), Bluetooth (eingetragenes Markenzeichen) oder WUSB (Drahtlos-USB). Zusätzlich kann die Kommunikationsvorrichtung 913 ein Router für eine optische Kommunikation, ein Router für ADSL (Asymmetric Digital Subscriber Line), ein Modem für verschiedene Arten von Kommunikation oder dergleichen sein. Beispielsweise ist diese Kommunikationsvorrichtung 913 in der Lage, Signale und dergleichen zum und vom Internet und einer anderen Kommunikationsvorrichtung gemäß einem vorbestimmten Protokoll wie etwa beispielsweise TCP/IP zu übertragen und zu empfangen. Die Kommunikationsvorrichtung 913 wird zum Übertragen und Empfangen verschiedener Arten von Informationen verwendet, beispielsweise zwischen der in 6 veranschaulichten Steuereinheit 100 und einer Vielzahl von Vorrichtungen am Punkt A und am Punkt B. Eine Vorrichtung wie etwa die Kommunikationsvorrichtung 913 kann für dieses Übertragen und Empfangen verwendet werden.
Es sei angemerkt, dass das Netzwerk 920 ein drahtgebundener oder drahtloser Übertragungspfad für Informationen ist, die von einer mit dem Netzwerk 920 gekoppelten Einrichtung übertragen werden. Beispielsweise kann das Netzwerk 920 ein öffentliches Netzwerk wie etwa das Internet, ein Telefonnetz oder ein Satellitenkommunikationsnetz und verschiedene LANs (lokale Netzwerke) beinhalten, einschließlich Ethernet (eingetragenes Markenzeichen), WAN (Wide Area Network - großflächiges Netzwerk) und dergleichen. Zusätzlich kann das Netzwerk 920 ein privates Netzwerk wie etwa IP-VPN (Internet Protocol-Virtual Private Network - virtuelles privates Internetprotokoll-Netzwerk) enthalten.
Zusätzlich ist es in der Informationsverarbeitungseinrichtung 900 möglich, ein Computerprogramm zu erzeugen, um zu bewirken, dass die in dem Informationsverarbeitungssystem 1000 eingebaute Hardware wie etwa CPU, ROM und RAM Funktionen aufweist, die denen der jeweiligen Komponenten des Informationsverarbeitungssystems 1000 gemäß der oben beschriebenen vorliegenden Ausführungsform äquivalent sind. Zusätzlich kann ein Aufzeichnungsmedium, auf dem das Computerprogramm gespeichert ist, auch in den Schutzumfang der Technologie gemäß der vorliegenden Offenbarung aufgenommen werden.
Die bevorzugte Ausführungsform der vorliegenden Offenbarung wurde oben ausführlich unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, jedoch ist der technische Schutzumfang der vorliegenden Offenbarung nicht auf die Ausführungsform beschränkt. Ein Fachmann kann verschiedene Abänderungen und Modifikationen innerhalb des Schutzumfangs der angehängten Ansprüche finden und es versteht sich, dass sie natürlich in dem technischen Schutzumfang der vorliegenden Offenbarung liegen werden.
Darüber hinaus sind die hierin beschriebenen Effekte lediglich veranschaulichend und beispielhaft, jedoch nicht einschränkend. Mit anderen Worten kann die Technologie gemäß der vorliegenden Offenbarung zusätzlich zu den oben beschriebenen Effekten oder anstelle der oben beschriebenen Effekte andere Effekte ausüben, die für einen Fachmann aus der Beschreibung hier ersichtlich sind.
Es wird angemerkt, dass die folgenden Konfigurationen auch in den technischen Schutzumfang der vorliegenden Offenbarung fallen.
(1)
Eine Informationsverarbeitungseinrichtung, die Folgendes beinhaltet:

einen Anzeigesteuerungsabschnitt, der eine in einem zweiten Raum vorhandene zweite Anzeigevorrichtung steuert, wobei die zweite Anzeigevorrichtung ein erstes aufgenommenes Bild anzeigt, das durch bildliches Erfassen mindestens eines oder mehrerer in einem ersten Raum anwesender erster Benutzer erhalten wird, wobei
der Anzeigesteuerungsabschnitt ein zweites Benutzerobjekt auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer überlagert und anzeigt, wobei das zweite Benutzerobjekt jedem von mindestens einem oder mehreren zweiten Benutzern entspricht, die im zweiten Raum anwesend sind.

(2)
Die Informationsverarbeitungseinrichtung nach (1), wobei
die sichtlinienrelevanten Informationen Informationen bezüglich einer visuellen Distanz von dem ersten Benutzer, der in dem ersten Raum anwesend ist, zu einer ersten Anzeigevorrichtung, die vom ersten Benutzer visuell erkannt wird, beinhalten, und
der Anzeigesteuerungsabschnitt eine Anzeigeposition des zweiten Benutzerobjekts auf Basis der Informationen bezüglich der visuellen Distanz steuert, wobei das zweite Benutzerobjekt dem zweiten Benutzer entspricht.
(3)
Die Informationsverarbeitungseinrichtung nach (2), wobei der Anzeigesteuerungsabschnitt eine Größe des ersten aufgenommenen Bildes auf Basis der Informationen bezüglich der visuellen Distanz steuert.
(4)
Die Informationsverarbeitungseinrichtung nach (3), die ferner einen 3D-Umwandlungsabschnitt beinhaltet, der einen virtuellen 3D-Raum erzeugt, der durch virtuelles Ausdrücken in demselben Raum einer Positionsbeziehung zwischen dem ersten Benutzer, der ersten Anzeigevorrichtung, der zweiten Anzeigevorrichtung und dem zweiten Benutzer erhalten wird, wobei
der Anzeigesteuerungsabschnitt die Anzeigeposition des zweiten Benutzerobjekts und die Größe des ersten aufgenommenen Bildes auf Basis einer Positionsbeziehung zwischen dem ersten Benutzer, der im virtuellen 3D-Raum angeordnet ist, und der ersten Anzeigevorrichtung, die im virtuellen 3D-Raum und einem virtuellen aufgenommenen Bild angeordnet ist, steuert, wobei die erste Anzeigevorrichtung so angeordnet ist, dass sie mit der visuellen Distanz vom ersten Benutzer beabstandet ist, wobei das virtuelle aufgenommene Bild virtuell von einem Anzeigestartpunkt aufgenommen wird, der an einer Position auf derselben Seite wie eine Seite der ersten Anzeigevorrichtung angeordnet ist, in einem Fall, in dem der erste Benutzer als ein Startpunkt verwendet wird, wobei die Position weiter entfernt ist als eine Position der ersten Anzeigevorrichtung.
(5)
Die Informationsverarbeitungseinrichtung nach (4), wobei
die zweite Anzeigevorrichtung, die im zweiten Raum vorhanden ist, an derselben Position wie eine Position des ersten Benutzers in Verbindung mit dem ersten Benutzer im virtuellen 3D-Raum angeordnet ist, und
der Anzeigesteuerungsabschnitt die Anzeigeposition des zweiten Benutzerobjekts und die Größe des ersten aufgenommenen Bildes unter Verwendung einer Positionsbeziehung zwischen der zweiten Anzeigevorrichtung und der ersten Anzeigevorrichtung im virtuellen 3D-Raum steuert.
(6)
Die Informationsverarbeitungseinrichtung nach einem der Punkte (2) bis (5), wobei eine Größe des ersten aufgenommenen Bildes auf Basis der visuellen Distanz und eines Feldwinkels einer ersten Bildgebungsvorrichtung bestimmt wird, wobei das erste aufgenommene Bild auf der zweiten Anzeigevorrichtung angezeigt wird, wobei die erste Bildgebungsvorrichtung das erste aufgenommene Bild aufnimmt.
(7)
Die Informationsverarbeitungseinrichtung nach einem der Punkte (1) bis (6), wobei der Anzeigesteuerungsabschnitt eine Größe des zweiten Benutzerobjekts ändert, um zu verhindern, dass sich der erste Benutzer und das zweite Benutzerobjekt überlagern, wobei der erste Benutzer im ersten aufgenommenen Bild angezeigt wird.
(8)
Die Informationsverarbeitungseinrichtung nach einem der Punkte (2) bis (7), wobei das zweite Benutzerobjekt, das dem zweiten Benutzer entspricht, auf Basis eines Bildes des zweiten Benutzers erzeugt wird, wobei das Bild aus einem aufgenommenen Bild der Rückansicht des zweiten Benutzers extrahiert wird, das durch bildliches Erfassen einer Rückansicht des zweiten Benutzers erhalten wird.
(9)
Die Informationsverarbeitungseinrichtung nach (6), wobei die Informationsverarbeitungseinrichtung die erste Bildgebungsvorrichtung und die erste Anzeigevorrichtung enthält, die miteinander integriert sind.
(10)
Die Informationsverarbeitungseinrichtung nach einem der Punkte (2) bis (9), wobei das zweite Benutzerobjekt unter Verwendung von Informationen erzeugt wird, die von Infrarotlicht erfasst werden, wobei der zweite Benutzer mit dem Infrarotlicht bestrahlt wird, wobei das Infrarotlicht von dem zweiten Benutzer reflektiert wird.
(11)
Die Informationsverarbeitungseinrichtung nach einem der Punkte (1) bis (10), wobei der Anzeigesteuerungsabschnitt ferner eine in einem ersten Raum vorhandene erste Anzeigevorrichtung steuert und ein erstes Benutzerobjekt auf einem zweiten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen von jedem von mindestens einem oder mehreren zweiten Benutzern, die im zweiten Raum anwesend sind, überlagert und anzeigt, wobei die erste Anzeigevorrichtung das zweite aufgenommene Bild anzeigt, das durch bildliches Erfassen des zweiten Benutzers erhalten wird, wobei das erste Benutzerobjekt jedem der mindestens einen oder mehreren ersten Benutzer entspricht, die im ersten Raum anwesend sind.
(12)
Ein Informationsverarbeitungsverfahren, das Folgendes beinhaltet:

Steuern einer in einem zweiten Raum vorhandenen zweiten Anzeigevorrichtung, wobei die zweite Anzeigevorrichtung ein erstes aufgenommenes Bild anzeigt, das durch bildliches Erfassen mindestens eines oder mehrerer in einem ersten Raum anwesender erster Benutzer erhalten wird, und
Überlagern und Anzeigen eines zweiten Benutzerobjekts auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer, wobei das zweite Benutzerobjekt jedem von mindestens einem oder mehreren zweiten Benutzern entspricht, die im zweiten Raum anwesend sind.

(13)
Ein Programm zum Bewirken, dass ein Computer so funktioniert, dass er Folgendes beinhaltet:

Bezugszeichenliste

DA, DB: Anzeigevorrichtung
VCA, VCB: Kamera für einen Chat
SCA, SCB: Kamera für eine Rückansicht
100: Steuereinheit
110: Erfassungsabschnitt
120: Personenerkennungsabschnitt
130: Umwandlungsabschnitt
140: Anzeigesteuerungsabschnitt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 200965490 [0004]

Claims

Informationsverarbeitungseinrichtung, die Folgendes umfasst: einen Anzeigesteuerungsabschnitt, der eine zweite in einem zweiten Raum vorhandene Anzeigevorrichtung steuert, wobei die zweite Anzeigevorrichtung ein erstes aufgenommenes Bild anzeigt, das durch bildliches Erfassen mindestens eines oder mehrerer in einem ersten Raum anwesender erster Benutzer erhalten wird, wobei der Anzeigesteuerungsabschnitt ein zweites Benutzerobjekt auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer überlagert und anzeigt, wobei das zweite Benutzerobjekt jedem von mindestens einem oder mehreren zweiten Benutzern entspricht, die im zweiten Raum anwesend sind.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die sichtlinienrelevanten Informationen Informationen bezüglich einer visuellen Distanz von dem ersten Benutzer, der in dem ersten Raum anwesend ist, zu einer ersten Anzeigevorrichtung, die vom ersten Benutzer visuell erkannt wird, beinhalten, und der Anzeigesteuerungsabschnitt eine Anzeigeposition des zweiten Benutzerobjekts auf Basis der Information bezüglich der visuellen Distanz steuert, wobei das zweite Benutzerobjekt dem zweiten Benutzer entspricht.
Informationsverarbeitungseinrichtung nach Anspruch 2, wobei der Anzeigesteuerungsabschnitt eine Größe des ersten aufgenommenen Bildes auf Basis der Information bezüglich der visuellen Distanz steuert.
Informationsverarbeitungseinrichtung nach Anspruch 3, die ferner einen 3D-Umwandlungsabschnitt umfasst, der einen virtuellen 3D-Raum erzeugt, der durch virtuelles Ausdrücken in demselben Raum einer Positionsbeziehung zwischen dem ersten Benutzer, der ersten Anzeigevorrichtung, der zweiten Anzeigevorrichtung und dem zweiten Benutzer erhalten wird, wobei der Anzeigesteuerungsabschnitt die Anzeigeposition des zweiten Benutzerobjekts und die Größe des ersten aufgenommenen Bildes auf Basis einer Positionsbeziehung zwischen dem ersten Benutzer, der im virtuellen 3D-Raum angeordnet ist, und der ersten Anzeigevorrichtung, die im virtuellen 3D-Raum und einem virtuellen aufgenommenen Bild angeordnet ist, steuert, wobei die erste Anzeigevorrichtung so angeordnet ist, dass sie mit der visuellen Distanz vom ersten Benutzer beabstandet ist, wobei das virtuelle aufgenommene Bild virtuell von einem Anzeigestartpunkt aufgenommen wird, der an einer Position auf derselben Seite wie eine Seite der ersten Anzeigevorrichtung angeordnet ist, in einem Fall, in dem der erste Benutzer als ein Startpunkt verwendet wird, wobei die Position weiter entfernt ist als eine Position der ersten Anzeigevorrichtung.
Informationsverarbeitungseinrichtung nach Anspruch 4, wobei die zweite Anzeigevorrichtung, die im zweiten Raum vorhanden ist, an derselben Position wie eine Position des ersten Benutzers in Verbindung mit dem ersten Benutzer im virtuellen 3D-Raum angeordnet ist, und der Anzeigesteuerungsabschnitt die Anzeigeposition des zweiten Benutzerobjekts und die Größe des ersten aufgenommenen Bildes unter Verwendung einer Positionsbeziehung zwischen der zweiten Anzeigevorrichtung und der ersten Anzeigevorrichtung im virtuellen 3D-Raum steuert.
Informationsverarbeitungseinrichtung nach Anspruch 5, wobei eine Größe des ersten aufgenommenen Bildes auf Basis der visuellen Distanz und eines Feldwinkels einer ersten Bildgebungsvorrichtung bestimmt wird, wobei das erste aufgenommene Bild auf der zweiten Anzeigevorrichtung angezeigt wird, wobei die erste Bildgebungsvorrichtung das erste aufgenommene Bild aufnimmt.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Anzeigesteuerungsabschnitt eine Größe des zweiten Benutzerobjekts ändert, um zu verhindern, dass sich der erste Benutzer und das zweite Benutzerobjekt überlagern, wobei der erste Benutzer im ersten aufgenommenen Bild angezeigt wird.
Informationsverarbeitungseinrichtung nach Anspruch 2, wobei das zweite Benutzerobjekt, das dem zweiten Benutzer entspricht, auf Basis eines Bildes des zweiten Benutzers erzeugt wird, wobei das Bild aus einem aufgenommenen Bild der Rückansicht des zweiten Benutzers extrahiert wird, das durch bildliches Erfassen einer Rückansicht des zweiten Benutzers erhalten wird.
Informationsverarbeitungseinrichtung nach Anspruch 6, wobei die Informationsverarbeitungseinrichtung die erste Bildgebungsvorrichtung und die erste Anzeigevorrichtung enthält, die miteinander integriert sind.
Informationsverarbeitungseinrichtung nach Anspruch 2, wobei das zweite Benutzerobjekt unter Verwendung von Informationen erzeugt wird, die von Infrarotlicht erfasst werden, wobei der zweite Benutzer mit dem Infrarotlicht bestrahlt wird, wobei das Infrarotlicht von dem zweiten Benutzer reflektiert wird.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Anzeigesteuerungsabschnitt ferner eine in einem ersten Raum vorhandene erste Anzeigevorrichtung steuert und ein erstes Benutzerobjekt auf einem zweiten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen von jedem von mindestens einem oder mehreren zweiten Benutzern, die im zweiten Raum anwesend sind, überlagert und anzeigt, wobei die erste Anzeigevorrichtung das zweite aufgenommene Bild anzeigt, das durch bildliches Erfassen des zweiten Benutzers erhalten wird, wobei das erste Benutzerobjekt jedem der mindestens einen oder mehreren ersten Benutzer entspricht, die im ersten Raum anwesend sind.
Informationsverarbeitungsverfahren, das Folgendes aufweist: Steuern einer in einem zweiten Raum vorhandenen zweiten Anzeigevorrichtung, wobei die zweite Anzeigevorrichtung ein erstes aufgenommenes Bild anzeigt, das durch bildliches Erfassen mindestens eines oder mehrerer in einem ersten Raum anwesender erster Benutzer erhalten wird, und Überlagern und Anzeigen eines zweiten Benutzerobjekts auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer, wobei das zweite Benutzerobjekt jedem von mindestens einem oder mehreren zweiten Benutzern entspricht, die im zweiten Raum anwesend sind.
Programm zum Bewirken, dass ein Computer so funktioniert, dass er Folgendes umfasst: einen Anzeigesteuerungsabschnitt, der eine in einem zweiten Raum vorhandene zweite Anzeigevorrichtung steuert, wobei die zweite Anzeigevorrichtung ein erstes aufgenommenes Bild anzeigt, das durch bildliches Erfassen mindestens eines oder mehrerer in einem ersten Raum anwesender erster Benutzer erhalten wird, wobei der Anzeigesteuerungsabschnitt ein zweites Benutzerobjekt auf dem ersten aufgenommenen Bild gemäß sichtlinienrelevanten Informationen jedes der ersten Benutzer überlagert und anzeigt, wobei das zweite Benutzerobjekt jedem von mindestens einem oder mehreren zweiten Benutzern entspricht, die im zweiten Raum anwesend sind.