JP2024059030A - 端末装置、画像表示方法、及びプログラム - Google Patents
端末装置、画像表示方法、及びプログラム Download PDFInfo
- Publication number
- JP2024059030A JP2024059030A JP2022166511A JP2022166511A JP2024059030A JP 2024059030 A JP2024059030 A JP 2024059030A JP 2022166511 A JP2022166511 A JP 2022166511A JP 2022166511 A JP2022166511 A JP 2022166511A JP 2024059030 A JP2024059030 A JP 2024059030A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- display
- terminal device
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000008859 change Effects 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 claims description 51
- 230000004044 response Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくする。【解決手段】端末装置は、仮想3次元空間内に配置された、仮想光源と、第1ディスプレイ36に対応する表示オブジェクトと、第1ディスプレイ36に表示された第1画像11を操作する第1ユーザ61に対応するユーザオブジェクトとの間の位置関係に基づき、ユーザオブジェクトの影の画像を第2画像12として生成し、第2ユーザ62に向けて第2ディスプレイ46に第1画像11を表示するとともに第2ディスプレイ46で第1画像11に第2画像12を重畳し、第1ユーザ61の相対位置の変化を検知すると、検知した変化に応じて、ユーザオブジェクトの相対位置を調整し、調整の結果として生じる位置関係の変化に基づき、第2画像12を更新し、第2画像12の更新を第2ディスプレイ46に反映する制御部を備える。【選択図】図2
Description
本開示は、端末装置、画像表示方法、及びプログラムに関する。
特許文献1には、仮想空間に配置したアバターオブジェクトの視点を他のアバターオブジェクトに共有させるプログラムが開示されている。
生徒が遠隔地にいる教師から、書道レッスンなど、身体動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用することが考えられる。しかしながら、従来のシステムでは、生徒に教師の身体動作を認識させにくい。
本開示の目的は、ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくすることである。
本開示の一態様に係る端末装置は、
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える。
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える。
本開示の別の態様に係る端末装置は、
仮想3次元空間内に配置された、仮想カメラと、第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える。
仮想3次元空間内に配置された、仮想カメラと、第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える。
本開示に係る画像表示方法は、
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想3次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成することと、
前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示することと、
前記第2ディスプレイで前記第1画像に前記第2画像を重畳することと、
前記第1ディスプレイに対する前記第1ユーザの相対位置の変化、又は前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第2画像を更新することと、
前記第2画像の更新を前記第2ディスプレイに反映することと
を含む。
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想3次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成することと、
前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示することと、
前記第2ディスプレイで前記第1画像に前記第2画像を重畳することと、
前記第1ディスプレイに対する前記第1ユーザの相対位置の変化、又は前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第2画像を更新することと、
前記第2画像の更新を前記第2ディスプレイに反映することと
を含む。
本開示によれば、ユーザに、別の空間にいる他のユーザの身体動作を認識させやすくなる。
以下、本開示の幾つかの実施形態について、図を参照して説明する。
各図中、同一又は相当する部分には、同一符号を付している。各実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
図1を参照して、本開示の第1実施形態及び第2実施形態に係る通信システム10の構成を説明する。
通信システム10は、サーバ装置20と、第1端末装置30と、第2端末装置40とを備える。サーバ装置20は、ネットワーク50を介して第1端末装置30及び第2端末装置40と通信可能である。第1端末装置30は、ネットワーク50を介して第2端末装置40と通信可能であってもよい。
サーバ装置20は、データセンタなどの施設に設置され、サービス事業者によって運用される。サーバ装置20は、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバコンピュータである。
第1端末装置30は、図2又は図5に示すような第1空間60内に設置され、第1空間60にいる第1ユーザ61によって使用される。第1端末装置30は、例えば、PCなどの汎用コンピュータ、又は特定の計算に特化した専用コンピュータである。「PC」は、personal computerの略語である。
第2端末装置40は、図2又は図5に示すような、第1空間60とは別個の第2空間70内に設置され、第2空間70にいる第2ユーザ71によって使用される。第2端末装置40は、例えば、PCなどの汎用コンピュータ、又は特定の計算に特化した専用コンピュータである。
ネットワーク50は、インターネット、少なくとも1つのWAN、少なくとも1つのMAN、又はこれらの任意の組合せを含む。「WAN」は、wide area networkの略語である。「MAN」は、metropolitan area networkの略語である。ネットワーク50は、少なくとも1つの無線ネットワーク、少なくとも1つの光ネットワーク、又はこれらの任意の組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線LAN、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。「LAN」は、local area networkの略語である。
図1を参照して、第1実施形態及び第2実施形態に係る第1端末装置30の構成を説明する。
第1端末装置30は、制御部31と、記憶部32と、通信部33と、入力部34と、出力部35とを備える。
制御部31は、少なくとも1つのプロセッサ、少なくとも1つのプログラマブル回路、少なくとも1つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、CPU若しくはGPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「CPU」は、central processing unitの略語である。「GPU」は、graphics processing unitの略語である。プログラマブル回路は、例えば、FPGAである。「FPGA」は、field-programmable gate arrayの略語である。専用回路は、例えば、ASICである。「ASIC」は、application specific integrated circuitの略語である。制御部31は、第1端末装置30の各部を制御しながら、第1端末装置30の動作に関わる処理を実行する。
記憶部32は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、RAM、ROM、又はフラッシュメモリである。「RAM」は、random access memoryの略語である。「ROM」は、read only memoryの略語である。RAMは、例えば、SRAM又はDRAMである。「SRAM」は、static random access memoryの略語である。「DRAM」は、dynamic random access memoryの略語である。ROMは、例えば、EEPROMである。「EEPROM」は、electrically erasable programmable read only memoryの略語である。フラッシュメモリは、例えば、SSDである。「SSD」は、solid-state driveの略語である。磁気メモリは、例えば、HDDである。「HDD」は、hard disk driveの略語である。記憶部32は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部32には、第1端末装置30の動作に用いられるデータと、第1端末装置30の動作によって得られたデータとが記憶される。
通信部33は、少なくとも1つの通信用インタフェースを含む。通信用インタフェースは、例えば、Ethernet(登録商標)などの有線LAN通信規格、IEEE802.11などの無線LAN通信規格、又はLTE、4G規格、若しくは5G規格などの移動通信規格に対応したインタフェースである。「IEEE」は、Institute of Electrical and Electronics Engineersの略称である。「LTE」は、Long Term Evolutionの略語である。「4G」は、4th generationの略語である。「5G」は、5th generationの略語である。通信部33は、サーバ装置20と通信を行う。通信部33は、第2端末装置40とも通信を行ってよい。通信部33は、第1端末装置30の動作に用いられるデータを受信し、また第1端末装置30の動作によって得られるデータを送信する。
入力部34は、少なくとも1つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、図2又は図5に示すような第1ディスプレイ36などのディスプレイと一体的に設けられたタッチスクリーン、可視光カメラ、深度カメラ、LiDAR、又はマイクロフォンである。「LiDAR」は、light detection and rangingの略語である。入力部34は、第1端末装置30の動作に用いられるデータを入力する操作を受け付ける。入力部34は、第1端末装置30に備えられる代わりに、外部の入力機器として第1端末装置30に接続されてもよい。接続用インタフェースとしては、USB、HDMI(登録商標)、又はBluetooth(登録商標)などの規格に対応したインタフェースを用いることができる。「USB」は、Universal Serial Busの略語である。「HDMI(登録商標)」は、High-Definition Multimedia Interfaceの略語である。
出力部35は、少なくとも1つの出力用インタフェースを含む。出力用インタフェースは、例えば、第1ディスプレイ36などのディスプレイ、又はスピーカである。ディスプレイは、例えば、LCD又は有機ELディスプレイである。「LCD」は、liquid crystal displayの略語である。「EL」は、electro luminescentの略語である。第1ディスプレイ36は、任意の形状のディスプレイでよいが、第1実施形態及び第2実施形態では、垂直方向に延びる垂直表示面と、垂直表示面の下端に隣接し、水平方向に延びる水平表示面38とを有する側面視L字状のディスプレイである。出力部35は、第1端末装置30の動作によって得られるデータを出力する。出力部35は、第1端末装置30に備えられる代わりに、外部の出力機器として第1端末装置30に接続されてもよい。接続用インタフェースとしては、USB、HDMI(登録商標)、又はBluetooth(登録商標)などの規格に対応したインタフェースを用いることができる。
第1端末装置30の機能は、第1実施形態又は第2実施形態に係るプログラムを、制御部31としてのプロセッサで実行することにより実現される。すなわち、第1端末装置30の機能は、ソフトウェアにより実現される。プログラムは、第1端末装置30の動作をコンピュータに実行させることで、コンピュータを第1端末装置30として機能させる。すなわち、コンピュータは、プログラムに従って第1端末装置30の動作を実行することにより第1端末装置30として機能する。
プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はROMである。プログラムの流通は、例えば、プログラムを記憶したSDカード、DVD、又はCD-ROMなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「SD」は、Secure Digitalの略語である。「DVD」は、digital versatile discの略語である。「CD-ROM」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるASP型のサービスによって処理を実行してもよい。「ASP」は、application service providerの略語である。プログラムは、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
第1端末装置30の一部又は全ての機能が、制御部31としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、第1端末装置30の一部又は全ての機能が、ハードウェアにより実現されてもよい。
図1を参照して、第1実施形態及び第2実施形態に係る第2端末装置40の構成を説明する。
第2端末装置40は、制御部41と、記憶部42と、通信部43と、入力部44と、出力部45とを備える。
制御部41は、少なくとも1つのプロセッサ、少なくとも1つのプログラマブル回路、少なくとも1つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、CPU若しくはGPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。プログラマブル回路は、例えば、FPGAである。専用回路は、例えば、ASICである。制御部41は、第2端末装置40の各部を制御しながら、第2端末装置40の動作に関わる処理を実行する。
記憶部42は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、RAM、ROM、又はフラッシュメモリである。RAMは、例えば、SRAM又はDRAMである。ROMは、例えば、EEPROMである。フラッシュメモリは、例えば、SSDである。磁気メモリは、例えば、HDDである。記憶部42は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部42には、第2端末装置40の動作に用いられるデータと、第2端末装置40の動作によって得られたデータとが記憶される。
通信部43は、少なくとも1つの通信用インタフェースを含む。通信用インタフェースは、例えば、Ethernet(登録商標)などの有線LAN通信規格、IEEE802.11などの無線LAN通信規格、又はLTE、4G規格、若しくは5G規格などの移動通信規格に対応したインタフェースである。通信部43は、サーバ装置20と通信を行う。通信部43は、第1端末装置30とも通信を行ってよい。通信部43は、第2端末装置40の動作に用いられるデータを受信し、また第2端末装置40の動作によって得られるデータを送信する。
入力部44は、少なくとも1つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、図2又は図5に示すような第2ディスプレイ46などのディスプレイと一体的に設けられたタッチスクリーン、可視光カメラ、深度カメラ、LiDAR、又はマイクロフォンである。入力部44は、第2端末装置40の動作に用いられるデータを入力する操作を受け付ける。入力部44は、第2端末装置40に備えられる代わりに、外部の入力機器として第2端末装置40に接続されてもよい。接続用インタフェースとしては、USB、HDMI(登録商標)、又はBluetooth(登録商標)などの規格に対応したインタフェースを用いることができる。
出力部45は、少なくとも1つの出力用インタフェースを含む。出力用インタフェースは、例えば、第2ディスプレイ46などのディスプレイ、又はスピーカである。ディスプレイは、例えば、LCD又は有機ELである。第2ディスプレイ46は、任意の形状のディスプレイでよいが、第1実施形態及び第2実施形態では、垂直方向に延びる垂直表示面47と、垂直表示面47の下端に隣接し、水平方向に延びる水平表示面48とを有する側面視L字状のディスプレイである。出力部45は、第2端末装置40の動作によって得られるデータを出力する。出力部45は、第2端末装置40に備えられる代わりに、外部の出力機器として第2端末装置40に接続されてもよい。接続用インタフェースとしては、USB、HDMI(登録商標)、又はBluetooth(登録商標)などの規格に対応したインタフェースを用いることができる。
第2端末装置40の機能は、第1実施形態又は第2実施形態に係る別のプログラムを、制御部41としてのプロセッサで実行することにより実現される。すなわち、第2端末装置40の機能は、ソフトウェアにより実現される。プログラムは、第2端末装置40の動作をコンピュータに実行させることで、コンピュータを第2端末装置40として機能させる。すなわち、コンピュータは、プログラムに従って第2端末装置40の動作を実行することにより第2端末装置40として機能する。
第2端末装置40の一部又は全ての機能が、制御部41としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、第2端末装置40の一部又は全ての機能が、ハードウェアにより実現されてもよい。
図1のほかに、図2及び図3を参照して、第1実施形態の概要を説明する。
図2では、説明の便宜上、第1空間60と第2空間70とが互いに隣接しているが、実際には、第1空間60と第2空間70とは互いに離れた場所に存在する。第1ユーザ61は、第1ディスプレイ36に表示された第1画像11を操作する。第1画像11は、本実施形態では、第1ユーザ61が手書きする文字の画像を含むが、文字の画像に代えて又は加えて、第1ユーザ61が描く絵の画像など、他の画像を含んでもよい。第1ユーザ61は、例えば、遠隔地にいる教師であり、第1画像11をタッチスクリーンで操作することで、書道レッスンなど、身体動作を伴うレッスンをすることができる。第2ユーザ62は、第1ユーザ61による第1画像11の操作を視認する。第2ユーザ62は、例えば、生徒であり、第1画像11の操作を視認することで、書道レッスンなど、身体動作を伴うレッスンを受けることができる。
第2端末装置40は、図3に示すような仮想3次元空間80内に、仮想光源81と、第1ディスプレイ36に対応する表示オブジェクト82と、第1ユーザ61に対応するユーザオブジェクト83とを配置する。ユーザオブジェクト83は、本実施形態では、第1ユーザ61の腕を表すオブジェクトを含むが、腕を表すオブジェクトに代えて又は加えて、第1ユーザ61の頭を表すオブジェクトなど、他のオブジェクトを含んでもよい。第2端末装置40は、仮想光源81と表示オブジェクト82とユーザオブジェクト83との間の位置関係に基づき、表示オブジェクト82にできるユーザオブジェクト83の影84の画像を第2画像12として生成する。第2画像12は、本実施形態では、第1ユーザ61の腕を表すオブジェクトの影の画像を含むが、腕を表すオブジェクトの影の画像に代えて又は加えて、第1ユーザ61の頭を表すオブジェクトの影の画像など、他のオブジェクトの影の画像を含んでもよい。第2端末装置40は、第2ユーザ62に向けて第2ディスプレイ46に第1画像11を表示するとともに第2ディスプレイ46で第1画像11に第2画像12を重畳する。
第2端末装置40は、第1ディスプレイ36に対する第1ユーザ61の相対位置の変化を検知すると、検知した変化に応じて、表示オブジェクト82に対するユーザオブジェクト83の相対位置を調整する。第2端末装置40は、調整の結果として生じる位置関係の変化に基づき、第2画像12を更新する。第2端末装置40は、第2画像12の更新を第2ディスプレイ46に反映する。
本実施形態では、第1ユーザ61に対応するユーザオブジェクト83の影84が第2ディスプレイ46に表示されるため、第2ユーザ62が第1ユーザ61になったかのように第1画像11の操作を視認することが可能となる。すなわち、本実施形態によれば、第2ユーザ62に第1ユーザ61の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の影を表示し、この影を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。
本実施形態は、ビデオ会議など、ユーザが対話相手の映像を見ながら対話可能な遠隔対話システムに適用することができる。例えば、生徒が遠隔地にいる教師から、書道レッスンなど、腕の動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用する場合、それぞれ机タイプのディスプレイを有する2台の遠隔対話端末装置をオンラインで接続する。教師側のディスプレイにできる教師の腕の影を模した画像を生徒側のディスプレイに表示することで、生徒が自分の腕の動作と教師の腕の動作との差異を間接的に視認可能となる。
第1端末装置30は、2台の遠隔対話端末装置のうちの一方に相当する。第1端末装置30は、第1ディスプレイ36の水平表示面38に第1画像11を表示する。第1端末装置30は、可視光カメラを用いて第1ユーザ61の可視光画像を生成する。第1端末装置30は、深度カメラを用いて第1ユーザ61の深度画像を生成する。
第2端末装置40は、2台の遠隔対話端末装置のうちの他方に相当する。第2端末装置40は、可視光画像及び深度画像を第1端末装置30から受信する。第2端末装置40は、受信した可視光画像及び深度画像に基づき、対話相手の3Dオブジェクトを仮想3次元空間80内に配置する。第2端末装置40は、仮想3次元空間80における仮想光源81の位置に基づき、第1ディスプレイ36の水平表示面38に対応する仮想3次元空間80内の平面にできる、3Dオブジェクトの影の画像を第2画像12として生成する。第2端末装置40は、第2ディスプレイ46の水平表示面48に、第1ディスプレイ36に表示されている第1画像11を表示するとともに、第1画像11に第2画像12を重畳する形で第2ディスプレイ46の水平表示面48に第2画像12を表示する。そのため、第2ユーザ62に、対話相手になったかのように錯覚させることが可能となる。例えば、生徒は、対話相手である教師と同時に文字を書こうとする際に、自分の腕の実際の影と、机タイプのディスプレイの天面に表示される教師の腕の影とを見比べることで、両者の腕の動作の差異を間接的に視認することができる。
第2端末装置40は、第2ディスプレイ46の垂直表示面47にも画像を表示してよい。例えば、第2端末装置40は、垂直表示面47に、仮想3次元空間80内でユーザオブジェクト83を正面から捉える位置に配置された仮想カメラで捉えられるユーザオブジェクト83の画像を表示してもよい。
本実施形態では、第2ディスプレイ46の水平表示面48に光を照射可能な光源72が、第2空間70内に設置されている。第2端末装置40は、第2空間70内の光源72の位置に対応する仮想3次元空間80内の位置に仮想光源81を配置する。そのため、第2ユーザ62が自分の身体動作を第1ユーザ61の身体動作と比較しやすくなる。例えば、生徒と教師との間で腕の動作の差異がない場合には、生徒の腕の実際の影と、机タイプのディスプレイの天面に表示される教師の腕の影とが一致するので、生徒は、自分の腕の動作が適切かどうかを簡単に判断することができる。
図4を参照して、本実施形態に係る第2端末装置40の動作を説明する。この動作は、本実施形態に係る画像表示方法に相当する。
図4に示したフローは、第1ユーザ61及び第2ユーザ71がそれぞれ第1端末装置30及び第2端末装置40を使用してウェブ会議など、映像を使ったコミュニケーションを行っている間、繰り返し実行される。
ステップS101において、第2端末装置40の制御部41は、第1画像11と第1ユーザ61の可視光画像及び深度画像とを、通信部43を介してサーバ装置20から受信するとともに、第2ユーザ62の可視光画像及び深度画像を、通信部43を介してサーバ装置20に送信する。第1画像11は、第1ユーザ61が手書きする文字の画像を含む。第1画像11は、具体的には、紙の画像と、第1ユーザ61がタッチスクリーンで紙の画像に手書きした黒い文字の画像とを含む。制御部41は、第1ユーザ61の音声を、通信部43を介してサーバ装置20から更に受信してもよい。制御部41は、第2ユーザ71の音声を、通信部43を介してサーバ装置20に更に送信してもよい。ステップS101の処理は、具体的には以下の手順で実行される。
第1端末装置30の制御部31は、第1画像11を出力部35としての第1ディスプレイ36の水平表示面38に表示する。制御部31は、入力部34としての可視光カメラ及び深度カメラを用いて第1ユーザ61の可視光画像及び深度画像をそれぞれ撮影する。制御部31は、表示した第1画像11と、撮影した可視光画像及び深度画像とを、通信部33を介してサーバ装置20に送信する。制御部31は、入力部34としてのマイクロフォンを介して第1ユーザ61の音声を取得し、取得した音声を、通信部33を介してサーバ装置20に更に送信してもよい。サーバ装置20は、第1画像11と第1ユーザ61の可視光画像及び深度画像とを、ネットワーク50を介して第1端末装置30から受信する。サーバ装置20は、受信した第1画像11と第1ユーザ61の可視光画像及び深度画像とを、ネットワーク50を介して第2端末装置40に送信する。サーバ装置20は、第1ユーザ61の音声を第1端末装置30から受信した場合は、受信した音声を、ネットワーク50を介して第2端末装置40に送信する。第2端末装置40の制御部41は、第1画像11と第1ユーザ61の可視光画像及び深度画像とを、通信部43を介してサーバ装置20から受信する。制御部41は、第1ユーザ61の音声を、通信部43を介してサーバ装置20から更に受信してもよい。
第2端末装置40の制御部41は、入力部44としての可視光カメラ及び深度カメラを用いて第2ユーザ71の可視光画像及び深度画像をそれぞれ撮影する。制御部41は、撮影した可視光画像及び深度画像を、通信部43を介してサーバ装置20に送信する。制御部41は、入力部44としてのマイクロフォンを介して第2ユーザ71の音声を取得し、取得した音声を、通信部43を介してサーバ装置20に更に送信してもよい。サーバ装置20は、第2ユーザ71の可視光画像及び深度画像を、ネットワーク50を介して第2端末装置40から受信する。サーバ装置20は、受信した可視光画像及び深度画像を、ネットワーク50を介して第1端末装置30に送信する。サーバ装置20は、第2ユーザ71の音声を第2端末装置40から受信した場合は、受信した音声を、ネットワーク50を介して第1端末装置30に送信する。第1端末装置30の制御部31は、第2ユーザ71の可視光画像及び深度画像を、通信部33を介してサーバ装置20から受信する。制御部31は、第2ユーザ71の音声を、通信部33を介してサーバ装置20から更に受信してもよい。
ステップS102において、第2端末装置40の制御部41は、仮想3次元空間80内に、仮想光源81と、第1ディスプレイ36に対応する表示オブジェクト82と、第1ユーザ61に対応するユーザオブジェクト83とを配置する。ユーザオブジェクト83は、第1ユーザ61の腕を表すオブジェクトを含む。ユーザオブジェクト83は、具体的には、第1ユーザ61の両腕及び頭など、第1ユーザ61の上半身の各身体部位を表すオブジェクトを含む。制御部41は、仮想光源81と表示オブジェクト82とユーザオブジェクト83との間の位置関係に基づき、表示オブジェクト82にできるユーザオブジェクト83の影84の画像を第2画像12として生成する。第2画像12は、第1ユーザ61の腕を表すオブジェクトの影の画像を含む。第2画像12は、具体的には、第1ユーザ61の上半身の各身体部位を表すオブジェクトの影の画像を含む。ステップS102の処理は、具体的には以下の手順で実行される。
第2端末装置40の制御部41は、ステップS101で受信した第1ユーザ61の深度画像を参照して、第1ディスプレイ36に対する第1ユーザ61の相対位置を特定する。制御部41は、第1ユーザ61の深度画像に加えて、第1ディスプレイ36と、第1ユーザ61の深度画像の撮影に用いられる深度カメラとの間の距離に関する情報を参照して、第1ユーザ61の相対位置を特定してもよい。この距離に関する情報は、第2端末装置40の記憶部42に予め記憶されていてもよいし、又は第1端末装置30から第2端末装置40に適宜通知されてもよい。深度カメラが第1ディスプレイ36と一体化されているか、又は第1ディスプレイ36の近傍に設置されている場合は、制御部41は、第1ユーザ61の深度画像のみを参照して、第1ユーザ61の相対位置を特定してもよい。制御部41は、特定した相対位置に応じて、表示オブジェクト82に対するユーザオブジェクト83の相対位置を設定する。より具体的には、制御部41は、表示オブジェクト82に対する、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトの相対位置が、第1ディスプレイ36に対する、第1ユーザ61の上半身の各身体部位の相対位置と一致するように、仮想3次元空間80内に表示オブジェクト82及びユーザオブジェクト83を配置する。
第2端末装置40の制御部41は、第2ディスプレイ46に対する、第2空間70内に設置された光源72の相対位置に応じて、表示オブジェクト82に対する仮想光源81の相対位置を設定する。より具体的には、制御部41は、表示オブジェクト82に対する仮想光源81の相対位置が第2ディスプレイ46に対する光源72の相対位置と一致するように、仮想3次元空間80内に仮想光源81及び表示オブジェクト82を配置する。あるいは、制御部41は、表示オブジェクト82に対する仮想光源81の相対位置が予め設定された相対位置になるように、仮想3次元空間80内に仮想光源81及び表示オブジェクト82を配置してもよい。
第2端末装置40の制御部41は、仮想3次元空間80における仮想光源81の位置に基づき、第1ディスプレイ36の水平表示面38に対応する、表示オブジェクト82の表面にできる、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトの影を演算する。影を演算する方法としては、既知の3Dコンピュータグラフィックスと同じ方法を用いることができる。制御部41は、演算した影の画像を第2画像12として生成する。
ステップS103において、第2端末装置40の制御部41は、第2ユーザ62に向けて、出力部45としての第2ディスプレイ46に、ステップS101で受信した第1画像11を表示するとともに、第2ディスプレイ46で、第1画像11に、ステップS102で生成した第2画像12を重畳する。ステップS103の処理は、具体的には以下の手順で実行される。
第2端末装置40の制御部41は、第2ディスプレイ46の水平表示面48に第1画像11を表示するとともに、第1画像11に第2画像12を重畳する形で第2ディスプレイ46の水平表示面48に第2画像12を表示する。制御部41は、ステップS101で受信した第1ユーザ61の可視光画像を参照して、ユーザオブジェクト83のレンダリングを行った上で、第2ディスプレイ46の垂直表示面47に、仮想3次元空間80内でユーザオブジェクト83を正面から捉える位置に配置された仮想カメラで捉えられるユーザオブジェクト83の画像を表示してもよい。制御部41は、ステップS101で第1ユーザ61の音声を受信した場合は、受信した音声を、出力部45としてのスピーカから出力してもよい。
第2端末装置40の制御部41は、第2ディスプレイ46に第1画像11を表示する際に、第1画像11に含まれる文字の画像をそのまま表示してもよいが、本実施形態では、文字の画像を、朱色など、黒以外の色で表示する。より具体的には、制御部41は、第1画像11の経時変化に基づき、第1画像11に含まれる紙の画像上の不変部分を文字部分として特定する。制御部41は、特定した文字部分の色を、朱色など、黒以外の色に変換する。制御部41は、第2ディスプレイ46の水平表示面48に第1画像11を表示する際に、文字部分の色を変換した後の画像を表示する。本実施形態によれば、文字部分を、朱色など、黒以外の色で表示することで、手の影が文字部分にかかることによる文字の誤認識を回避することが可能となる。文字部分の特定、又は文字部分の特定及び文字部分の色の変換は、第2端末装置40の制御部41の代わりに、第1端末装置30の制御部31が行ってもよい。
ステップS104において、第2端末装置40の制御部41は、最新の第1画像11と第1ユーザ61の最新の可視光画像及び深度画像とを、通信部43を介してサーバ装置20から受信するとともに、第2ユーザ62の最新の可視光画像及び深度画像を、通信部43を介してサーバ装置20に送信する。制御部41は、第1ユーザ61の最新の音声を、通信部43を介してサーバ装置20から更に受信してもよい。制御部41は、第2ユーザ71の最新の音声を、通信部43を介してサーバ装置20に更に送信してもよい。ステップS104の処理の具体的な手順については、ステップS101の処理と同様であるため、説明を省略する。
ステップS104の処理は、第1画像11が送信される度に実行される。第1画像11は、本実施形態では、自動的に変更されるか、又は文字を書くなど、何らかの操作が第1ユーザ61により行われて変更された場合に第1端末装置30から送信されるが、変更されたかどうかに関わらず、定期的に第1端末装置30から送信されてもよい。
ステップS105において、第2端末装置40の制御部41は、ステップS104で受信した第1ユーザ61の最新の深度画像を参照して、第1ディスプレイ36に対する第1ユーザ61の相対位置が変化したかどうかを判定する。制御部41は、第1ユーザ61の深度画像に加えて、第1ディスプレイ36と、第1ユーザ61の深度画像の撮影に用いられる深度カメラとの間の距離に関する情報を参照して、第1ユーザ61の相対位置が変化したかどうかを判定してもよい。深度カメラが第1ディスプレイ36と一体化されているか、又は第1ディスプレイ36の近傍に設置されている場合は、制御部41は、第1ユーザ61の深度画像のみを参照して、第1ユーザ61の相対位置が変化したかどうかを判定してもよい。
ステップS105で第1ユーザ61の相対位置が変化していないと判定された場合、すなわち、第1ユーザ61の相対位置の変化が検知されなかった場合は、ステップS106の処理が実行される。一方、ステップS105で第1ユーザ61の相対位置が変化したと判定された場合、すなわち、第1ユーザ61の相対位置の変化が検知された場合は、ステップS107の処理が実行される。
ステップS106において、第2端末装置40の制御部41は、第1画像11の更新のみを、出力部45としての第2ディスプレイ46に反映する。具体的には、制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を、ステップS104で受信した最新の第1画像11に置き換えるとともに、その最新の第1画像11に、第2ディスプレイ46の水平表示面48に表示している第2画像12を重畳する。制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を最新のものに置き換える際に、ステップS103と同様に、文字の画像を、朱色など、黒以外の色で表示する。
ステップS106の後は、ステップS104以降の処理が再び実行される。
第1画像11が、変更されたかどうかに関わらず、定期的に第1端末装置30から送信される場合は、ステップS104で受信された最新の第1画像11が、前回受信された第1画像11と同一の場合がある。そのような場合は、ステップS106の処理が省略されてもよい。
ステップS107において、第2端末装置40の制御部41は、ステップS105で検知した変化に応じて、表示オブジェクト82に対するユーザオブジェクト83の相対位置を調整する。具体的には、制御部41は、ステップS105で検知した変化後の相対位置に応じて、表示オブジェクト82に対するユーザオブジェクト83の相対位置の設定を更新する。より具体的には、制御部41は、第1ユーザ61の上半身の身体部位のうち、第1ディスプレイ36に対する相対位置が変化した身体部位について、表示オブジェクト82に対する、ユーザオブジェクト83に含まれる、当該身体部位を表すオブジェクトの相対位置が、第1ディスプレイ36に対する、当該身体部位の変化後の相対位置と一致するように、仮想3次元空間80内でユーザオブジェクト83に含まれる、当該身体部位を表すオブジェクトを移動する。
ステップS108において、第2端末装置40の制御部41は、ステップS107の調整の結果として生じる、仮想光源81と表示オブジェクト82とユーザオブジェクト83との間の位置関係の変化に基づき、第2画像12を更新する。具体的には、制御部41は、ステップS102と同様に、仮想3次元空間80における仮想光源81の位置に基づき、第1ディスプレイ36の水平表示面38に対応する、表示オブジェクト82の表面にできる、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトの影を演算する。制御部41は、演算した影の画像で第2画像12を更新する。
ステップS109において、第2端末装置40の制御部41は、第1画像11の更新と、ステップS108による第2画像12の更新とを、出力部45としての第2ディスプレイ46に反映する。具体的には、制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を、ステップS104で受信した最新の第1画像11に置き換えるとともに、その最新の第1画像11に、ステップS108で演算した最新の影の画像を重畳する形で、第2ディスプレイ46の水平表示面48に表示している第2画像12を、その最新の影の画像に置き換える。制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を最新のものに置き換える際に、ステップS103と同様に、文字の画像を、朱色など、黒以外の色で表示する。制御部41は、ステップS104で受信した第1ユーザ61の最新の可視光画像を参照して、ユーザオブジェクト83のレンダリングを行った上で、第2ディスプレイ46の垂直表示面47に、仮想3次元空間80内でユーザオブジェクト83を正面から捉える位置に配置された仮想カメラで捉えられるユーザオブジェクト83の画像を表示してもよい。制御部41は、ステップS104で第1ユーザ61の最新の音声を受信した場合は、受信した音声を、出力部45としてのスピーカから出力してもよい。
ステップS109の後は、ステップS104以降の処理が再び実行される。
第1画像11が、変更されたかどうかに関わらず、定期的に第1端末装置30から送信される場合は、ステップS104で受信された最新の第1画像11が、前回受信された第1画像11と同一の場合がある。そのような場合は、ステップS109において第1画像11の更新の反映が省略されてもよい。
本実施形態では、上述のような動作により、第2ユーザ62が第1ユーザ61になったかのように第1画像11の操作を視認することが可能となる。すなわち、本実施形態によれば、第2ユーザ62に第1ユーザ61の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の影を表示し、この影を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。
図1のほかに、図5及び図6を参照して、第2実施形態の概要を説明する。
図5では、図3と同様に、説明の便宜上、第1空間60と第2空間70とが互いに隣接しているが、実際には、第1空間60と第2空間70とは互いに離れた場所に存在する。第1ユーザ61は、第1ディスプレイ36に表示された第1画像11を操作する。第1画像11は、本実施形態では、第1ユーザ61が手書きする文字の画像を含むが、文字の画像に代えて又は加えて、第1ユーザ61が描く絵の画像など、他の画像を含んでもよい。第1ユーザ61は、例えば、遠隔地にいる教師であり、第1画像11をタッチスクリーンで操作することで、書道レッスンなど、身体動作を伴うレッスンをすることができる。第2ユーザ62は、第1ユーザ61による第1画像11の操作を視認する。第2ユーザ62は、例えば、生徒であり、第1画像11の操作を視認することで、書道レッスンなど、身体動作を伴うレッスンを受けることができる。
第2端末装置40は、図6に示すような仮想3次元空間80内に、第1仮想カメラ85と、第1ユーザ61に対応するユーザオブジェクト83とを配置する。ユーザオブジェクト83は、本実施形態では、第1ユーザ61の腕を表すオブジェクトを含むが、他のオブジェクトを含んでもよい。第1仮想カメラ85は、本実施形態では、第1ユーザ61の腕を表すオブジェクトを上から捉える位置に配置されるが、他の位置に配置されてもよい。第2端末装置40は、第1仮想カメラ85とユーザオブジェクト83との間の位置関係、及び第1仮想カメラ85の方向に基づき、第1仮想カメラ85で捉えられるユーザオブジェクト83の画像を第2画像13として生成する。第2画像13は、本実施形態では、第1ユーザ61の腕を表すオブジェクトの影の画像を含むが、他のオブジェクトの影の画像を含んでもよい。第2端末装置40は、第2ユーザ62に向けて第2ディスプレイ46に第1画像11を表示するとともに第2ディスプレイ46で第1画像11に第2画像13を重畳する。
第2端末装置40は、第2ユーザ62の視線の変化を検知すると、検知した変化に応じて、第1仮想カメラ85の方向を調整する。第2端末装置40は、調整後の第1仮想カメラ85の方向に基づき、第2画像13を更新する。第2端末装置40は、第2画像13の更新を第2ディスプレイ46に反映する。
本実施形態では、第1ユーザ61に対応するユーザオブジェクト83の画像が第2ディスプレイ46に表示されるため、第2ユーザ62が第1ユーザ61になったかのように第1画像11の操作を視認することが可能となる。すなわち、本実施形態によれば、第2ユーザ62に第1ユーザ61の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の3D画像を表示し、この3D画像を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。
本実施形態では、第2端末装置40は、仮想3次元空間80内に、第1ディスプレイ36に対応する表示オブジェクト82を更に配置する。第2端末装置40は、第1ディスプレイ36に対する第1ユーザ61の相対位置の変化を検知すると、検知した変化に応じて、表示オブジェクト82に対するユーザオブジェクト83の相対位置を調整する。第2端末装置40は、調整の結果として生じる位置関係の変化に基づき、第2画像12を更新する。第2端末装置40は、第2画像12の更新を第2ディスプレイ46に反映する。
本実施形態は、第1実施形態と同様に、ビデオ会議など、ユーザが対話相手の映像を見ながら対話可能な遠隔対話システムに適用することができる。例えば、生徒が遠隔地にいる教師から、書道レッスンなど、腕の動作を伴うレッスンを受けるサービスを実現するために遠隔対話システムを利用する場合、それぞれ机タイプのディスプレイを有する2台の遠隔対話端末装置をオンラインで接続する。教師側のディスプレイにできる教師の腕のホログラムなどの3D画像を擬似的な一人称視点でレンダリングし、その3D画像を生徒側のディスプレイに表示することで、生徒が自分の腕の動作のように教師の腕の動作を視認可能となる。
第1端末装置30は、2台の遠隔対話端末装置のうちの一方に相当する。第1端末装置30は、第1ディスプレイ36の水平表示面38に第1画像11を表示する。第1端末装置30は、可視光カメラを用いて第1ユーザ61の可視光画像を生成する。第1端末装置30は、深度カメラを用いて第1ユーザ61の深度画像を生成する。
第2端末装置40は、2台の遠隔対話端末装置のうちの他方に相当する。第2端末装置40は、可視光画像及び深度画像を第1端末装置30から受信する。第2端末装置40は、受信した可視光画像及び深度画像に基づき、対話相手の3Dオブジェクトを仮想3次元空間80内に配置する。第2端末装置40は、可視光カメラを用いて第2ユーザ62の可視光画像を生成する。第2端末装置40は、深度カメラを用いて第2ユーザ62の深度画像を生成する。第2端末装置40は、可視光画像、深度画像、又はこれらの両方に基づき、第2ユーザ62の視線を検知する。第2端末装置40は、仮想3次元空間80における第1仮想カメラ85の方向を第2ユーザ62の視線に連動させる。第2端末装置40は、第1仮想カメラ85を用いて3Dオブジェクトのレンダリング画像を第2画像13として生成する。第2端末装置40は、第2ディスプレイ46の水平表示面48に、第1ディスプレイ36に表示されている第1画像11を表示するとともに、第1画像11に第2画像13を重畳する形で第2ディスプレイ46の水平表示面48に第2画像13を表示する。そのため、第2ユーザ62に、対話相手になったかのように錯覚させることが可能となる。例えば、生徒は、机タイプのディスプレイの天面に、対話相手である教師の3Dモデルを一人称視点で眺めたかのようなレンダリング画像が表示されるので、教師が実際に文字を書いているときの腕の動作を、あたかも教師自身になったかのように視認することができる。
本実施形態では、第2端末装置40は、第2ディスプレイ46の垂直表示面47にも画像を表示する。具体的には、第2端末装置40は、垂直表示面47に、仮想3次元空間80内でユーザオブジェクト83を正面から捉える位置に配置された第2仮想カメラ86で捉えられるユーザオブジェクト83の画像を第3画像14として表示する。そのため、第2ユーザ62は、垂直表示面47で第1ユーザ61の様子を確認しつつ、水平表示面48で第1ユーザ61の動作を確認することができる。
図7を参照して、本実施形態に係る第2端末装置40の動作を説明する。この動作は、本実施形態に係る画像表示方法に相当する。
図7に示したフローは、第1ユーザ61及び第2ユーザ71がそれぞれ第1端末装置30及び第2端末装置40を使用してウェブ会議など、映像を使ったコミュニケーションを行っている間、繰り返し実行される。
ステップS201の処理については、第1実施形態のステップS101の処理と同様であるため、説明を省略する。
ステップS202において、第2端末装置40の制御部41は、仮想3次元空間80内に、第1仮想カメラ85と、第2仮想カメラ86と、第1ディスプレイ36に対応する表示オブジェクト82と、第1ユーザ61に対応するユーザオブジェクト83とを配置する。ユーザオブジェクト83は、第1ユーザ61の腕を表すオブジェクトを含む。ユーザオブジェクト83は、具体的には、第1ユーザ61の両腕及び頭など、第1ユーザ61の上半身の各身体部位を表すオブジェクトを含む。第1仮想カメラ85は、第1ユーザ61の腕を表すオブジェクトを上から捉える位置に配置される。第1仮想カメラ85は、具体的には、第1ユーザ61の腕を表すオブジェクトを擬似的な一人称視点で捉える位置に配置される。第2仮想カメラ86は、仮想3次元空間80内でユーザオブジェクト83を正面から捉える位置に配置される。制御部41は、第1仮想カメラ85とユーザオブジェクト83との位置関係、及び第1仮想カメラ85の方向に基づき、第1仮想カメラ85で捉えられるユーザオブジェクト83の画像を第2画像13として生成する。第2画像13は、第1ユーザ61の腕を表すオブジェクトを上から見た画像を含む。第2画像13は、具体的には、第1ユーザ61の腕を一人称視点で見たかのような画像を含む。制御部41は、第2仮想カメラ86とユーザオブジェクト83との位置関係、及び第2仮想カメラ86の方向に基づき、第2仮想カメラ86で捉えられるユーザオブジェクト83の画像を第3画像14として更に生成する。第3画像14は、第1ユーザ61の上半身の各身体部位を表すオブジェクトを正面から見た画像を含む。第3画像14は、具体的には、第1ユーザ61の上半身全体を正面から見たかのような画像を含む。ステップS202の処理は、具体的には以下の手順で実行される。
第2端末装置40の制御部41は、ステップS201で受信した第1ユーザ61の深度画像を参照して、第1ディスプレイ36に対する第1ユーザ61の相対位置を特定する。制御部41は、第1ユーザ61の深度画像に加えて、第1ディスプレイ36と、第1ユーザ61の深度画像の撮影に用いられる深度カメラとの間の距離に関する情報を参照して、第1ユーザ61の相対位置を特定してもよい。この距離に関する情報は、第2端末装置40の記憶部42に予め記憶されていてもよいし、又は第1端末装置30から第2端末装置40に適宜通知されてもよい。深度カメラが第1ディスプレイ36と一体化されているか、又は第1ディスプレイ36の近傍に設置されている場合は、制御部41は、第1ユーザ61の深度画像のみを参照して、第1ユーザ61の相対位置を特定してもよい。制御部41は、特定した相対位置に応じて、表示オブジェクト82に対するユーザオブジェクト83の相対位置を設定する。より具体的には、制御部41は、表示オブジェクト82に対する、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトの相対位置が、第1ディスプレイ36に対する、第1ユーザ61の上半身の各身体部位の相対位置と一致するように、仮想3次元空間80内に表示オブジェクト82及びユーザオブジェクト83を配置する。
第2端末装置40の制御部41は、ユーザオブジェクト83に含まれる、第1ユーザ61の頭、顔、又は目を表すオブジェクトの近傍に第1仮想カメラ85を配置する。制御部41は、ユーザオブジェクト83に含まれる、第1ユーザ61の腕を表すオブジェクトと、表示オブジェクト82とが第1仮想カメラ85の撮影範囲に入るように、第1仮想カメラ85の方向を設定する。
第2端末装置40の制御部41は、ユーザオブジェクト83の正面に第2仮想カメラ86を配置する。制御部41は、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトが第2仮想カメラ86の撮影範囲に入るように、第2仮想カメラ86の方向を設定する。
第2端末装置40の制御部41は、仮想3次元空間80において第1仮想カメラ85で撮影される、ユーザオブジェクト83に含まれる、第1ユーザ61の腕を表すオブジェクトの3D画像を第2画像13として生成する。3D画像を生成する方法としては、既知の3Dコンピュータグラフィックスと同じ方法を用いることができる。制御部41は、第2画像13を生成する際に、ステップS201で受信した第1ユーザ61の可視光画像を参照して、第1ユーザ61の腕を表すオブジェクトのレンダリングを行ってもよい。
第2端末装置40の制御部41は、仮想3次元空間80において第2仮想カメラ86で撮影される、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトの3D画像を第3画像14として生成する。3D画像を生成する方法としては、既知の3Dコンピュータグラフィックスと同じ方法を用いることができる。制御部41は、第3画像14を生成する際に、ステップS201で受信した第1ユーザ61の可視光画像を参照して、第1ユーザ61の上半身の各身体部位を表すオブジェクトのレンダリングを行ってもよい。
ステップS203において、第2端末装置40の制御部41は、第2ユーザ62に向けて、出力部45としての第2ディスプレイ46に、ステップS201で受信した第1画像11を表示するとともに、第2ディスプレイ46で、第1画像11に、ステップS202で生成した第2画像13を重畳する。制御部41は、第2ユーザ62に向けて、第2ディスプレイ46に、ステップS202で生成した第3画像14も表示する。ステップS203の処理は、具体的には以下の手順で実行される。
第2端末装置40の制御部41は、第2ディスプレイ46の水平表示面48に第1画像11を表示するとともに、第1画像11に第2画像13を重畳する形で第2ディスプレイ46の水平表示面48に第2画像13を表示する。制御部41は、第2ディスプレイ46の垂直表示面47に第3画像14を表示する。制御部41は、ステップS201で第1ユーザ61の音声を受信した場合は、受信した音声を、出力部45としてのスピーカから出力してもよい。
第2端末装置40の制御部41は、第2ディスプレイ46に第1画像11を表示する際に、第1画像11に含まれる文字の画像をそのまま表示してもよいが、本実施形態では、第1実施形態と同様に、文字の画像を、朱色など、黒以外の色で表示する。より具体的には、制御部41は、第1画像11の経時変化に基づき、第1画像11に含まれる紙の画像上の不変部分を文字部分として特定する。制御部41は、特定した文字部分の色を、朱色など、黒以外の色に変換する。制御部41は、第2ディスプレイ46の水平表示面48に第1画像11を表示する際に、文字部分の色を変換した後の画像を表示する。本実施形態によれば、文字部分を、朱色など、黒以外の色で表示することで、手の影が文字部分にかかることによる文字の誤認識を回避することが可能となる。文字部分の特定、又は文字部分の特定及び文字部分の色の変換は、第2端末装置40の制御部41の代わりに、第1端末装置30の制御部31が行ってもよい。
ステップS204及びステップS205の処理については、それぞれ第1実施形態のステップS104及びステップS105の処理と同様であるため、説明を省略する。
ステップS205で第1ユーザ61の相対位置が変化していないと判定された場合、すなわち、第1ユーザ61の相対位置の変化が検知されなかった場合は、ステップS206の処理が実行される。一方、ステップS205で第1ユーザ61の相対位置が変化したと判定された場合、すなわち、第1ユーザ61の相対位置の変化が検知された場合は、ステップS208の処理が実行される。
ステップS206において、第2端末装置40の制御部41は、入力部44としての可視光カメラ及び深度カメラを用いて第2ユーザ71の可視光画像及び深度画像をそれぞれ撮影する。制御部41は、撮影した可視光画像、深度画像、又はこれらの両方を参照して、第2ユーザ62の視線が変化したかどうかを判定する。画像認識により視線を検知する方法としては、既知の方法を用いることができる。深層学習などの機械学習が用いられてもよい。
ステップS206で第2ユーザ62の視線が変化していないと判定された場合、すなわち、第2ユーザ62の視線の変化が検知されなかった場合は、ステップS207の処理が実行される。一方、ステップS206で第2ユーザ62の視線が変化したと判定された場合、すなわち、第2ユーザ62の視線の変化が検知された場合は、ステップS210の処理が実行される。
ステップS207において、第2端末装置40の制御部41は、第1画像11の更新のみを、出力部45としての第2ディスプレイ46に反映する。具体的には、制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を、ステップS204で受信した最新の第1画像11に置き換えるとともに、その最新の第1画像11に、第2ディスプレイ46の水平表示面48に表示している第2画像13を重畳する。制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を最新のものに置き換える際に、ステップS203と同様に、文字の画像を、朱色など、黒以外の色で表示する。
ステップS207の後は、ステップS204以降の処理が再び実行される。
第1画像11が、変更されたかどうかに関わらず、定期的に第1端末装置30から送信される場合は、ステップS204で受信された最新の第1画像11が、前回受信された第1画像11と同一の場合がある。そのような場合は、ステップS207の処理が省略されてもよい。
ステップS208の処理については、第1実施形態のステップS107の処理と同様であるため、説明を省略する。
ステップS208の後は、ステップS209の処理が実行される。ステップS209の処理については、ステップS206の処理と同様であるため、説明を省略する。
ステップS209で第2ユーザ62の視線が変化していないと判定された場合、すなわち、第2ユーザ62の視線の変化が検知されなかった場合は、ステップS211の処理が実行される。一方、ステップS209で第2ユーザ62の視線が変化したと判定された場合、すなわち、第2ユーザ62の視線の変化が検知された場合は、ステップS210の処理が実行される。
ステップS210において、第2端末装置40の制御部41は、ステップS206又はステップS209で検知した変化に応じて、第1仮想カメラ85の方向を調整する。具体的には、制御部41は、第1仮想カメラ85の方向を、ステップS206又はステップS209で検知した変化と同じ方角に同じ量だけ変更する。
ステップS211において、第2端末装置40の制御部41は、ステップS208の処理が実行されていた場合は、ステップS208の調整の結果として生じる、第1仮想カメラ85とユーザオブジェクト83との位置関係の変化に基づき、第2画像13を更新する。制御部41は、ステップS210の処理が実行されていた場合は、ステップS210の調整後の第1仮想カメラ85の方向に基づき、第2画像13を更新する。制御部41は、ステップS208及びステップS210の両方の処理が実行されていた場合は、第1仮想カメラ85とユーザオブジェクト83との位置関係の変化と、調整後の第1仮想カメラ85の方向とに基づき、第2画像13を更新する。具体的には、制御部41は、ステップS202と同様に、仮想3次元空間80において第1仮想カメラ85で撮影される、ユーザオブジェクト83に含まれる、第1ユーザ61の腕を表すオブジェクトの3D画像で第2画像13を更新する。制御部41は、第2画像13を更新する際に、ステップS204で受信した第1ユーザ61の最新の可視光画像を参照して、第1ユーザ61の腕を表すオブジェクトのレンダリングを行ってもよい。
第2端末装置40の制御部41は、ステップS208の処理が実行されていた場合は、ステップS208の調整の結果として生じる、第2仮想カメラ86とユーザオブジェクト83との位置関係の変化に基づき、第3画像14も更新する。具体的には、制御部41は、ステップS202と同様に、仮想3次元空間80において第2仮想カメラ86で撮影される、ユーザオブジェクト83に含まれる、第1ユーザ61の上半身の各身体部位を表すオブジェクトの3D画像で第3画像14を更新する。制御部41は、第3画像14を更新する際に、ステップS204で受信した第1ユーザ61の最新の可視光画像を参照して、第1ユーザ61の上半身の各身体部位を表すオブジェクトのレンダリングを行ってもよい。
ステップS212において、第2端末装置40の制御部41は、第1画像11の更新と、ステップS211による第2画像13の更新とを、出力部45としての第2ディスプレイ46に反映する。具体的には、制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を、ステップS204で受信した最新の第1画像11に置き換えるとともに、その最新の第1画像11に、ステップS211で得られた、第1仮想カメラ85で撮影された3D画像を重畳する形で、第2ディスプレイ46の水平表示面48に表示している第2画像13を、その3D画像に置き換える。制御部41は、第2ディスプレイ46の水平表示面48に表示している第1画像11を最新のものに置き換える際に、ステップS203と同様に、文字の画像を、朱色など、黒以外の色で表示する。制御部41は、ステップS204で第1ユーザ61の最新の音声を受信した場合は、受信した音声を、出力部45としてのスピーカから出力してもよい。
第2端末装置40の制御部41は、ステップS211で第3画像14も更新された場合は、ステップS211による第3画像14の更新も第2ディスプレイ46に反映する。具体的には、制御部41は、第2ディスプレイ46の垂直表示面47に表示している第3画像14を、ステップS211で得られた、第2仮想カメラ86で撮影された3D画像に置き換える。
ステップS212の後は、ステップS204以降の処理が再び実行される。
第1画像11が、変更されたかどうかに関わらず、定期的に第1端末装置30から送信される場合は、ステップS204で受信された最新の第1画像11が、前回受信された第1画像11と同一の場合がある。そのような場合は、ステップS212において第1画像11の更新の反映が省略されてもよい。
本実施形態では、上述のような動作により、第2ユーザ62が第1ユーザ61になったかのように第1画像11の操作を視認することが可能となる。すなわち、本実施形態によれば、第2ユーザ62に第1ユーザ61の身体動作を認識させやすくなる。例えば、生徒に向けて、遠隔地にいる教師の腕などの身体部位の3D画像を表示し、この3D画像を教師の実際の身体動作に連動させることで、書道レッスンなど、身体動作を伴うレッスンの際に、生徒に教師の身体動作を認識させやすくなる。
以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
[付記1]
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える端末装置。
[付記2]
前記第1ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第1ユーザの深度画像を受信し、受信した深度画像を参照して、前記第1ディスプレイに対する前記第1ユーザの相対位置を特定する付記1に記載の端末装置。
[付記3]
前記制御部は、前記第2ディスプレイに対する、前記第2空間内に設置された光源の相対位置に応じて、前記表示オブジェクトに対する前記仮想光源の相対位置を設定する付記1又は付記2に記載の端末装置。
[付記4]
前記ユーザオブジェクトは、前記第1ユーザの腕を表すオブジェクトを含む付記1から付記3のいずれか1項に記載の端末装置。
[付記5]
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第2ディスプレイに相当する側面視L字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第1画像及び前記第2画像を表示する付記1から付記4のいずれか1項に記載の端末装置。
[付記6]
前記第1画像は、前記第1ユーザが手書きする文字の画像を含む付記1から付記5のいずれか1項に記載の端末装置。
[付記7]
前記制御部は、前記第2ディスプレイに前記第1画像を表示する際に、前記文字の画像を黒以外の色で表示する付記6に記載の端末装置。
[付記8]
前記制御部は、前記文字の画像を朱色で表示する付記7に記載の端末装置。
[付記9]
仮想3次元空間内に配置された、仮想カメラと、第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える端末装置。
[付記10]
前記制御部は、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化に応じて、前記仮想3次元空間内に配置された、前記第1ディスプレイに対応する表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する付記9に記載の端末装置。
[付記11]
前記第1ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第1ユーザの深度画像を受信し、受信した深度画像を参照して、前記第1ディスプレイに対する前記第1ユーザの相対位置を特定する付記10に記載の端末装置。
[付記12]
前記ユーザオブジェクトは、前記第1ユーザの腕を表すオブジェクトを含み、
前記仮想カメラは、前記第1ユーザの腕を表すオブジェクトを上から捉える位置に配置される付記9から付記11のいずれか1項に記載の端末装置。
[付記13]
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第2ディスプレイに相当する側面視L字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第1画像及び前記第2画像を表示する付記9から付記11のいずれか1項に記載の端末装置。
[付記14]
前記制御部は、前記仮想カメラを第1仮想カメラ、前記仮想3次元空間内で前記ユーザオブジェクトを正面から捉える位置に配置された他の仮想カメラを第2仮想カメラとしたとき、前記第2仮想カメラと前記ユーザオブジェクトとの位置関係、及び前記第2仮想カメラの方向に基づき、前記第2仮想カメラで捉えられる前記ユーザオブジェクトの画像を第3画像として生成し、前記垂直表示面に前記第3画像を表示する付記13に記載の端末装置。
[付記15]
前記第1画像は、前記第1ユーザが手書きする文字の画像を含む付記9から付記14のいずれか1項に記載の端末装置。
[付記16]
前記制御部は、前記第2ディスプレイに前記第1画像を表示する際に、前記文字の画像を黒以外の色で表示する付記15に記載の端末装置。
[付記17]
前記制御部は、前記文字の画像を朱色で表示する付記16に記載の端末装置。
[付記18]
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想3次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成することと、
前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示することと、
前記第2ディスプレイで前記第1画像に前記第2画像を重畳することと、
前記第1ディスプレイに対する前記第1ユーザの相対位置の変化、又は前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第2画像を更新することと、
前記第2画像の更新を前記第2ディスプレイに反映することと
を含む画像表示方法。
[付記19]
付記18に記載の画像表示方法に相当する動作をコンピュータに実行させるプログラム。
[付記1]
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える端末装置。
[付記2]
前記第1ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第1ユーザの深度画像を受信し、受信した深度画像を参照して、前記第1ディスプレイに対する前記第1ユーザの相対位置を特定する付記1に記載の端末装置。
[付記3]
前記制御部は、前記第2ディスプレイに対する、前記第2空間内に設置された光源の相対位置に応じて、前記表示オブジェクトに対する前記仮想光源の相対位置を設定する付記1又は付記2に記載の端末装置。
[付記4]
前記ユーザオブジェクトは、前記第1ユーザの腕を表すオブジェクトを含む付記1から付記3のいずれか1項に記載の端末装置。
[付記5]
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第2ディスプレイに相当する側面視L字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第1画像及び前記第2画像を表示する付記1から付記4のいずれか1項に記載の端末装置。
[付記6]
前記第1画像は、前記第1ユーザが手書きする文字の画像を含む付記1から付記5のいずれか1項に記載の端末装置。
[付記7]
前記制御部は、前記第2ディスプレイに前記第1画像を表示する際に、前記文字の画像を黒以外の色で表示する付記6に記載の端末装置。
[付記8]
前記制御部は、前記文字の画像を朱色で表示する付記7に記載の端末装置。
[付記9]
仮想3次元空間内に配置された、仮想カメラと、第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える端末装置。
[付記10]
前記制御部は、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化に応じて、前記仮想3次元空間内に配置された、前記第1ディスプレイに対応する表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する付記9に記載の端末装置。
[付記11]
前記第1ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第1ユーザの深度画像を受信し、受信した深度画像を参照して、前記第1ディスプレイに対する前記第1ユーザの相対位置を特定する付記10に記載の端末装置。
[付記12]
前記ユーザオブジェクトは、前記第1ユーザの腕を表すオブジェクトを含み、
前記仮想カメラは、前記第1ユーザの腕を表すオブジェクトを上から捉える位置に配置される付記9から付記11のいずれか1項に記載の端末装置。
[付記13]
垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第2ディスプレイに相当する側面視L字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第1画像及び前記第2画像を表示する付記9から付記11のいずれか1項に記載の端末装置。
[付記14]
前記制御部は、前記仮想カメラを第1仮想カメラ、前記仮想3次元空間内で前記ユーザオブジェクトを正面から捉える位置に配置された他の仮想カメラを第2仮想カメラとしたとき、前記第2仮想カメラと前記ユーザオブジェクトとの位置関係、及び前記第2仮想カメラの方向に基づき、前記第2仮想カメラで捉えられる前記ユーザオブジェクトの画像を第3画像として生成し、前記垂直表示面に前記第3画像を表示する付記13に記載の端末装置。
[付記15]
前記第1画像は、前記第1ユーザが手書きする文字の画像を含む付記9から付記14のいずれか1項に記載の端末装置。
[付記16]
前記制御部は、前記第2ディスプレイに前記第1画像を表示する際に、前記文字の画像を黒以外の色で表示する付記15に記載の端末装置。
[付記17]
前記制御部は、前記文字の画像を朱色で表示する付記16に記載の端末装置。
[付記18]
仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想3次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成することと、
前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示することと、
前記第2ディスプレイで前記第1画像に前記第2画像を重畳することと、
前記第1ディスプレイに対する前記第1ユーザの相対位置の変化、又は前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第2画像を更新することと、
前記第2画像の更新を前記第2ディスプレイに反映することと
を含む画像表示方法。
[付記19]
付記18に記載の画像表示方法に相当する動作をコンピュータに実行させるプログラム。
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の2つ以上のブロックを統合してもよいし、又は1つのブロックを分割してもよい。フローチャートに記載の2つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
10 通信システム
11 第1画像
12,13 第2画像
14 第3画像
20 サーバ装置
30 第1端末装置
31 制御部
32 記憶部
33 通信部
34 入力部
35 出力部
36 第1ディスプレイ
38 水平表示面
40 第2端末装置
41 制御部
42 記憶部
43 通信部
44 入力部
45 出力部
46 第2ディスプレイ
47 垂直表示面
48 水平表示面
50 ネットワーク
60 第1空間
61 第1ユーザ
70 第2空間
71 第2ユーザ
72 光源
80 仮想3次元空間
81 仮想光源
82 表示オブジェクト
83 ユーザオブジェクト
84 影
85 第1仮想カメラ
86 第2仮想カメラ
11 第1画像
12,13 第2画像
14 第3画像
20 サーバ装置
30 第1端末装置
31 制御部
32 記憶部
33 通信部
34 入力部
35 出力部
36 第1ディスプレイ
38 水平表示面
40 第2端末装置
41 制御部
42 記憶部
43 通信部
44 入力部
45 出力部
46 第2ディスプレイ
47 垂直表示面
48 水平表示面
50 ネットワーク
60 第1空間
61 第1ユーザ
70 第2空間
71 第2ユーザ
72 光源
80 仮想3次元空間
81 仮想光源
82 表示オブジェクト
83 ユーザオブジェクト
84 影
85 第1仮想カメラ
86 第2仮想カメラ
Claims (19)
- 仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える端末装置。
- 前記第1ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第1ユーザの深度画像を受信し、受信した深度画像を参照して、前記第1ディスプレイに対する前記第1ユーザの相対位置を特定する請求項1に記載の端末装置。 - 前記制御部は、前記第2ディスプレイに対する、前記第2空間内に設置された光源の相対位置に応じて、前記表示オブジェクトに対する前記仮想光源の相対位置を設定する請求項1に記載の端末装置。
- 前記ユーザオブジェクトは、前記第1ユーザの腕を表すオブジェクトを含む請求項1に記載の端末装置。
- 垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第2ディスプレイに相当する側面視L字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第1画像及び前記第2画像を表示する請求項1に記載の端末装置。 - 前記第1画像は、前記第1ユーザが手書きする文字の画像を含む請求項1に記載の端末装置。
- 前記制御部は、前記第2ディスプレイに前記第1画像を表示する際に、前記文字の画像を黒以外の色で表示する請求項6に記載の端末装置。
- 前記制御部は、前記文字の画像を朱色で表示する請求項7に記載の端末装置。
- 仮想3次元空間内に配置された、仮想カメラと、第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成し、前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示するとともに前記第2ディスプレイで前記第1画像に前記第2画像を重畳し、前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記仮想カメラの方向を調整し、調整後の前記仮想カメラの方向に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する制御部を備える端末装置。
- 前記制御部は、前記第1ディスプレイに対する前記第1ユーザの相対位置の変化に応じて、前記仮想3次元空間内に配置された、前記第1ディスプレイに対応する表示オブジェクトに対する前記ユーザオブジェクトの相対位置を調整し、調整の結果として生じる前記位置関係の変化に基づき、前記第2画像を更新し、前記第2画像の更新を前記第2ディスプレイに反映する請求項9に記載の端末装置。
- 前記第1ユーザが使用する他の端末装置と通信を行う通信部を更に備え、
前記制御部は、前記通信部を介して前記第1ユーザの深度画像を受信し、受信した深度画像を参照して、前記第1ディスプレイに対する前記第1ユーザの相対位置を特定する請求項10に記載の端末装置。 - 前記ユーザオブジェクトは、前記第1ユーザの腕を表すオブジェクトを含み、
前記仮想カメラは、前記第1ユーザの腕を表すオブジェクトを上から捉える位置に配置される請求項9に記載の端末装置。 - 垂直方向に延びる垂直表示面と、前記垂直表示面の下端に隣接し、水平方向に延びる水平表示面とを有し、前記第2ディスプレイに相当する側面視L字状のディスプレイを更に備え、
前記制御部は、前記水平表示面に前記第1画像及び前記第2画像を表示する請求項9に記載の端末装置。 - 前記制御部は、前記仮想カメラを第1仮想カメラ、前記仮想3次元空間内で前記ユーザオブジェクトを正面から捉える位置に配置された他の仮想カメラを第2仮想カメラとしたとき、前記第2仮想カメラと前記ユーザオブジェクトとの位置関係、及び前記第2仮想カメラの方向に基づき、前記第2仮想カメラで捉えられる前記ユーザオブジェクトの画像を第3画像として生成し、前記垂直表示面に前記第3画像を表示する請求項13に記載の端末装置。
- 前記第1画像は、前記第1ユーザが手書きする文字の画像を含む請求項9に記載の端末装置。
- 前記制御部は、前記第2ディスプレイに前記第1画像を表示する際に、前記文字の画像を黒以外の色で表示する請求項15に記載の端末装置。
- 前記制御部は、前記文字の画像を朱色で表示する請求項16に記載の端末装置。
- 仮想3次元空間内に配置された、仮想光源と、第1ディスプレイに対応する表示オブジェクトと、前記第1ディスプレイに表示された第1画像を操作する第1ユーザに対応するユーザオブジェクトとの間の位置関係、又は前記仮想3次元空間内に配置された、仮想カメラと、前記ユーザオブジェクトとの位置関係、及び前記仮想カメラの方向に基づき、前記表示オブジェクトにできる前記ユーザオブジェクトの影の画像、又は前記仮想カメラで捉えられる前記ユーザオブジェクトの画像を第2画像として生成することと、
前記第1ユーザがいる第1空間とは別個の第2空間にいる第2ユーザに向けて第2ディスプレイに前記第1画像を表示することと、
前記第2ディスプレイで前記第1画像に前記第2画像を重畳することと、
前記第1ディスプレイに対する前記第1ユーザの相対位置の変化、又は前記第2ユーザの視線の変化を検知すると、検知した変化に応じて、前記表示オブジェクトに対する前記ユーザオブジェクトの相対位置、又は前記仮想カメラの方向を調整することと、
調整の結果として生じる前記位置関係の変化、又は調整後の前記仮想カメラの方向に基づき、前記第2画像を更新することと、
前記第2画像の更新を前記第2ディスプレイに反映することと
を含む画像表示方法。 - 請求項18に記載の画像表示方法に相当する動作をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022166511A JP2024059030A (ja) | 2022-10-17 | 2022-10-17 | 端末装置、画像表示方法、及びプログラム |
US18/485,620 US20240126495A1 (en) | 2022-10-17 | 2023-10-12 | Terminal apparatus, image display method, and non-transitory computer readable medium |
CN202311329859.2A CN117912095A (zh) | 2022-10-17 | 2023-10-13 | 终端装置、图像显示方法以及非暂时性计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022166511A JP2024059030A (ja) | 2022-10-17 | 2022-10-17 | 端末装置、画像表示方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024059030A true JP2024059030A (ja) | 2024-04-30 |
Family
ID=90626214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022166511A Pending JP2024059030A (ja) | 2022-10-17 | 2022-10-17 | 端末装置、画像表示方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240126495A1 (ja) |
JP (1) | JP2024059030A (ja) |
CN (1) | CN117912095A (ja) |
-
2022
- 2022-10-17 JP JP2022166511A patent/JP2024059030A/ja active Pending
-
2023
- 2023-10-12 US US18/485,620 patent/US20240126495A1/en active Pending
- 2023-10-13 CN CN202311329859.2A patent/CN117912095A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117912095A (zh) | 2024-04-19 |
US20240126495A1 (en) | 2024-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11366516B2 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
US11423509B2 (en) | Method and apparatus for displaying face of virtual role, computer device, and readable storage medium | |
US11962930B2 (en) | Method and apparatus for controlling a plurality of virtual characters, device, and storage medium | |
WO2018077206A1 (zh) | 增强现实场景生成方法、装置、***及设备 | |
US9613286B2 (en) | Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal | |
JP2011258204A (ja) | 仮想環境におけるオブジェクトの選択方法 | |
CN113426117B (zh) | 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质 | |
US20220375258A1 (en) | Image processing method and apparatus, device and storage medium | |
CN105389090A (zh) | 游戏交互界面显示的方法及装置、移动终端和电脑终端 | |
JP2024059030A (ja) | 端末装置、画像表示方法、及びプログラム | |
JP2020080049A (ja) | 推定システム、及び推定装置 | |
US20230316612A1 (en) | Terminal apparatus, operating method of terminal apparatus, and non-transitory computer readable medium | |
US20230377252A1 (en) | Terminal apparatus, non-transitory computer readable medium, and image display method | |
US20240121359A1 (en) | Terminal apparatus | |
US20240127769A1 (en) | Terminal apparatus | |
US20230377166A1 (en) | Non-transitory computer readable medium and communication method | |
US20240119674A1 (en) | Terminal apparatus | |
CN116760941A (zh) | 信息处理装置、方法以及非临时的计算机可读取的介质 | |
CN118264785A (zh) | 控制装置 | |
CN116956943A (zh) | 基于翻译场景的词对齐方法、装置、设备及介质 | |
JP2024044908A (ja) | 方法、プログラム、及び端末装置 | |
CN118264789A (zh) | 终端装置 | |
CN113033506A (zh) | 一种人像识别交互方法、装置及电子设备 | |
CN115885316A (zh) | 身高检测方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240305 |