JP2024095389A - 端末装置 - Google Patents
端末装置 Download PDFInfo
- Publication number
- JP2024095389A JP2024095389A JP2022212662A JP2022212662A JP2024095389A JP 2024095389 A JP2024095389 A JP 2024095389A JP 2022212662 A JP2022212662 A JP 2022212662A JP 2022212662 A JP2022212662 A JP 2022212662A JP 2024095389 A JP2024095389 A JP 2024095389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- terminal device
- control unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】仮想の対面通話のリアリティを向上させる。【解決手段】端末装置は、画像を前方のユーザに向け表示可能な表示部と、前記表示部の周囲に設けられる第1の撮像部と、前記表示部の後方に設けられる複数の第2の撮像部と、通信部と、前記通信部により通信を行う制御部と、を有し、前記制御部は、前記第1の撮像部の撮像画像に含まれるユーザの位置に対応する前記第2の撮像部の撮像画像に基づいて前記ユーザを表すモデル画像を生成するための情報を、他の端末装置が前記モデル画像を表示するために当該他の端末装置へ送る。【選択図】図3A
Description
本開示は、端末装置に関する。
異なる地点のユーザがコンピュータを用いてネットワークを介して通信を行い、お互いの画像及び音声を送受して仮想的な対面通話を行う方法が知られている。そうしたネットワーク上での対面通話を支援する技術が種々提案されている。例えば特許文献1には、画面に対する通話者の位置と向きに関する情報を用いて通話者の撮像画像を選択する技術が開示されている。
仮想の対面通話のリアリティを更に向上させる余地がある。
以下では、仮想の対面通話のリアリティ向上を可能にする端末装置等を開示する。
本開示における端末装置は、画像を前方のユーザに向け表示可能な表示部と、前記表示部の周囲に設けられる第1の撮像部と、前記表示部の後方に設けられる複数の第2の撮像部と、通信部と、前記通信部により通信を行う制御部と、を有する端末装置であって、 前記制御部は、前記第1の撮像部の撮像画像に含まれるユーザの位置に対応する前記第2の撮像部の撮像画像に基づいて前記ユーザを表すモデル画像を生成するための情報を、他の端末装置が前記モデル画像を表示するために当該他の端末装置へ送る。
本開示における端末装置等によれば、仮想の対面通話におけるリアリティ向上が可能となる。
以下、実施の形態について説明する。
図1、図2により、一実施形態における通話システム1の構成例を説明する。図1は、通話システム全体の構成例を示し、図2は、通話システム1に含まれる端末装置12の構成例を示す。
通話システム1は、ネットワーク11を介して互いに情報通信可能に接続される、サーバ装置10と複数の端末装置12を有する。通話システム1は、ユーザが端末装置12を用いて参加可能な仮想空間における通話イベントを提供するためのシステムである。仮想空間における通話イベントでは、各ユーザはそれぞれを表すモデル画像によって表現される。
サーバ装置10は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置10は、情報通信可能に接続されて連携動作する二以上のサーバコンピュータにより構成されてもよい。サーバ装置10は、通話イベントの提供に必要な情報の送受及び情報処理を実行する。
端末装置12は、情報処理、情報通信が可能で、画像の表示及び入力機能、撮像機能、音声の入出力通信機能を備えた装置であって、サーバ装置10が提供する仮想空間での通話に参加するユーザにより使用される。端末装置12は、例えば、透過型タッチディスプレイ、カメラ、マイクロフォン及びスピーカを備えるディスプレイ装置と、通信インタフェースを備えるパーソナルコンピュータ等の情報処理装置とを含んで構成される。
端末装置12は、例えば図2に示すように、ユーザ25、26に向け通話相手の画像を表示可能な透過型のディスプレイ22と、ディスプレイ22に重畳して一体的に設けられ、タッチ入力を可能にする透過型のタッチパネル23とを有する。ディスプレイ22は、例えば、LCD(Liquid Crystal Display)又は有機EL(Electro-Luminescence)ディスプレイである。ディスプレイ22及びタッチパネル23は、複数のユーザ25、26が並んで同時に画像を視聴するとともに描画が可能な、例えば高さ100センチメートル、幅150センチメートル程度といったサイズを有する。このサイズは一例であり、ここに示す数値に限られない。また、端末装置12は、ディスプレイ22の周囲、例えば上部に設けられ、ユーザ25、26が位置するディスプレイ22の前方領域を撮像する俯瞰カメラ20を有する。また、端末装置12は、ディスプレイ22及びタッチパネル23の後方の例えば十数センチメートル~数十センチメートルの位置に設けられ、ディスプレイ22及びタッチパネル23を透過してディスプレイ22の前方領域を撮像可能な、二以上の任意の個数の画面内カメラ21を有する。複数の画面内カメラ21は、例えば、水平方向に任意の間隔をおいて、ユーザ25、26の上半身を撮像可能な高さ、例えば床面又は地面から100センチメートル~150センチメートルの高さに設置される。
ネットワーク11は、例えばインターネットであるが、アドホックネットワーク、LAN(Local Area Network)、MAN(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。
本実施形態において、端末装置12は俯瞰カメラ20の撮像画像に含まれるユーザ25、26の位置に対応する画面内カメラ21の撮像画像に基づいてユーザ25、26を表すモデル画像を生成するための情報を、他の端末装置12が各モデル画像を表示するために他の端末装置12へ送る。モデル画像は、ユーザ25、26の画面内カメラ21からの距離に応じて、2Dモデル又は3Dモデルが切替らえる。よって、比較的大型のディスプレイ22が複数のユーザ25、26により同時に使用されるような場合であっても、俯瞰カメラ20による撮像画像に基づきユーザ25、26に最寄の画面内カメラ21を特定し、その撮像画像を用いることで、各ユーザをより精細に表す画像モデルを生成するための情報を得ることが可能となる。かかる情報を端末装置12同士が送受しあうことによって、仮想空間における対面通話のリアリティ向上が可能となる。
サーバ装置10と端末装置12のそれぞれの構成について詳述する。
サーバ装置10は、通信部101、記憶部102、及び制御部103を有する。これらの構成は、サーバ装置10が二以上のサーバコンピュータで構成される場合には、二以上のコンピュータに適宜に配置される。
通信部101は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、LANインタフェースである。通信部101は、サーバ装置10の動作に用いられる情報を受信し、またサーバ装置10の動作によって得られる情報を送信する。サーバ装置10は、通信部101によりネットワーク11に接続され、ネットワーク11経由で端末装置12と情報通信を行う。
記憶部102は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも2種類の組み合わせを含む。半導体メモリは、例えば、RAM(Random Access Memory)又はROM(Read Only Memory)である。RAMは、例えば、SRAM(Static RAM)又はDRAM(Dynamic RAM)である。ROMは、例えば、EEPROM(Electrically Erasable Programmable ROM)である。記憶部102は、制御部103の動作に用いられる情報と、制御部103の動作によって得られた情報とを格納する。
制御部103は、一以上のプロセッサ、一以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、CPU(Central Processing Unit)などの汎用プロセッサ、又は特定の処理に特化したGPU(Graphics Processing Unit)等の専用プロセッサである。専用回路は、例えば、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等である。制御部103は、サーバ装置10の各部を制御しながら、サーバ装置10の動作に係る情報処理を実行する。
サーバ装置10の機能は、制御プログラムを、制御部103に含まれるプロセッサが実行することにより実現される。制御プログラムは、コンピュータをサーバ装置10として機能させるためのプログラムである。また、サーバ装置10の一部又は全ての機能が、制御部103に含まれる専用回路により実現されてもよい。また、制御プログラムは、サーバ装置10に読取り可能な非一過性の記録・記憶媒体に格納され、サーバ装置10が媒体から読み取ってもよい。
端末装置12は、通信部111、記憶部112、制御部113、入力部115、表示・出力部116、及び撮像部117を有する。入力部115は、タッチパネル23を含む。表示・出力部116は、ディスプレイ22を含む。撮像部117は、俯瞰カメラ20及び画面内カメラ21を含む。
通信部111は、有線又は無線LAN規格に対応する通信モジュール、LTE、4G、5G等の移動体通信規格に対応するモジュール等を有する。端末装置12は、通信部111により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク11に接続され、ネットワーク11経由でサーバ装置10等と情報通信を行う。
記憶部112は一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも2種類の組み合わせを含む。半導体メモリは、例えば、RAM又はROMである。RAMは、例えば、SRAM又はDRAMである。ROMは、例えば、EEPROMである。記憶部112は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部112は、制御部113の動作に用いられる情報と、制御部113の動作によって得られた情報とを格納する。
制御部113は、例えば、CPU、MPU(Micro Processing Unit)等の一以上の汎用プロセッサ、又は特定の処理に特化したGPU等の一以上の専用プロセッサを有する。あるいは、制御部113は、一以上の、FPGA、ASIC等の専用回路を有してもよい。制御部113は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置12の動作を統括的に制御する。そして、制御部113は、通信部111を介してサーバ装置10等と各種情報を送受し、本実施形態にかかる動作を実行する。
入力部115は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、ディスプレイ22に重畳し又は一体的に設けられたタッチパネル23である。また、入力用インタフェースは、物理キー、静電容量キー、ポインティングデバイス、音声入力を受け付けるマイクロフォンを含む。さらに、入力用インタフェースは、画像コードをスキャンするスキャナ又はカメラ、ICカードリーダを含んでもよい。入力部115は、制御部113の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部113に送る。
表示・出力部116は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ22である。また、出力用インタフェースはスピーカを含む。表示・出力部116は、制御部113の動作によって得られる情報を出力する。
撮像部117は、俯瞰カメラ20と複数の画面内カメラ21とを含む。俯瞰カメラ20及び画面内カメラ21は、それぞれ、可視光による被写体の撮像画像を撮像する可視光カメラと、被写体までの距離を測定して距離画像を取得する測距センサとを含む。可視光カメラは、例えば毎秒15~30フレームで被写体を撮像して連続した撮像画像からなる動画像を生成する。測距センサは、ToF(Time Of Flight)カメラ、LiDAR(Light Detection And Ranging)、ステレオカメラを含み、距離情報を含んだ被写体の距離画像を生成する。俯瞰カメラ20は、撮像画像(以下、俯瞰画像という)と距離画像(以下、俯瞰距離画像という)を制御部113へ送る。また、各画面内カメラ21は、撮像画像(以下、接近画像という)と距離画像(以下、接近距離画像という)とを制御部113へ送る。
制御部113の機能は、制御部113に含まれるプロセッサが制御プログラムを実行することにより実現される。制御プログラムは、プロセッサを制御部113として機能させるためのプログラムである。また、制御部113の一部又は全ての機能が、制御部113に含まれる専用回路により実現されてもよい。また、制御プログラムは、端末装置12に読取り可能な非一過性の記録・記憶媒体に格納され、端末装置12が媒体から読み取ってもよい。
図3A、3Bは、通話イベントの実施に係る端末装置12の動作手順を説明するフローチャート図である。ここに示す手順は、複数の端末装置12がサーバ装置10を介して相互に接続を確立した後、それぞれのユーザのモデル画像を表示するための情報及び音声情報を送受するときに、制御部113により実行される。
図3Aは、各端末装置12が、その端末装置12を用いる自ユーザのモデル画像を生成するための情報等を送出するときの、制御部113の動作手順に関する。
ステップS300において、制御部113は、撮像部117の俯瞰カメラ20に、任意に設定されるフレームレートでの自ユーザの俯瞰画像の撮像及び俯瞰距離画像の取得を行わせ、入力部115により自ユーザの発話の音声の集音を行わせる。制御部113は、撮像部117から、俯瞰画像と距離画像とを取得し、入力部115から音声情報を取得する。
ステップS301において、制御部113は、俯瞰画像及び俯瞰距離画像に基づき各ユーザの位置を導出する。制御部113は、俯瞰画像からパターン認識等の画像処理によりユーザを検出する。また、制御部113は、検出した各ユーザの、例えば顔の中心の位置における、俯瞰カメラ20からの距離及び方向を導出する。顔の中心は、顔の中でさらに検出される両眼の中心であってもよいし、顔として検出される幾何学的な領域の中心若しくは重心であってもよい。そして、制御部113は、予め記憶部112に格納される俯瞰カメラ20の空間座標を用いて、各ユーザの空間座標を導出する。
ステップS302において、制御部113は、各ユーザの最寄の画面内カメラ21にそれぞれ接近画像の撮像と接近距離画像の取得を行わせる。制御部113は、予め記憶部112に格納される各画面内カメラ21の空間座標と、各ユーザの空間座標とを用いて、ユーザごとに最寄の画面内カメラ21を導出する。制御部113は、例えば、各ユーザの顔の中心と各画面内カメラ21のレンズの位置との組合せの距離を導出し、最短のものを検索することで、各ユーザに最寄の画面内カメラ21を選択する。そして、制御部113は、選択した画面内カメラ21を起動して、任意に設定されるフレームレートで接近画像の撮像と接近距離画像の取得とを行わせる。選択されない画面内カメラ21は、動作を停止させておくことで、電力消費を低減することが可能となる。
ステップS303において、制御部113は、各ユーザを表すモデル画像の種別を決定する。制御部113は、各ユーザと最寄の画面内カメラ21との距離に応じてモデル画像の種別を2Dモデル又は3Dモデルに決定する。制御部113は、予め記憶部112に格納される任意の基準を用い、各ユーザと最寄の画面内カメラ21との距離が基準未満のときは2Dモデル、基準以上のときは3Dモデルに決定する。基準は、例えば、数十センチメートル~百数十センチメートルである。
ステップS304において、制御部113は、接近画像、接近距離画像、モデル情報及び音声情報を符号化し、符号化情報を生成する。モデル情報は、各ユーザのモデル画像の種別と、各ユーザの配置を示す情報である。各ユーザの配置を示す情報は、例えば、接近画像を撮像した画面内カメラ21の位置の情報である。制御部113は、符号化に際して、撮像画像等に対して任意の加工処理(例えば解像度変更及びトリミング等)を行ってもよい。
ステップS305において、制御部113は、通信部111により符号化情報をパケット化し、他の端末装置12に向けてサーバ装置10へ送出する。
制御部113は、撮像・集音を中断するための操作又は通話イベントを退出するための、自ユーザによる操作に対応して入力される情報を取得すると(S306のYes)、図3Aの処理手順を終了する。制御部113は、中断又は退出のための操作に対応する情報を取得しない間は(S306のNo)ステップS300~S305を実行して、自ユーザを表すモデル画像を生成するための情報と音声を出力するための情報を他の端末装置12に向けて送出する。
図3Bは、端末装置12が他ユーザの画像と音声を出力するときの、制御部113の動作手順に関する。制御部113は、他の端末装置12が図3Aの手順を実行することで送出するパケットを、サーバ装置10を介して受けると、ステップS310~S316を実行する。
ステップS310において、制御部113は、他の端末装置12から受けたパケットに含まれる符号化情報を復号して接近画像、接近距離画像、モデル情報及び音声情報を取得する。
ステップS312において、制御部113は、他ユーザを表すモデル画像を生成する。制御部113は、モデル情報に基づいて、2Dモデルを生成するか、3Dモデルを生成するかを判定する。そして、制御部113は、接近画像に基づいて、又は接近画像と接近距離画像に基づいて、各ユーザを表す2Dモデル又は3Dモデルを生成する。制御部113は、3Dモデルの生成に際し、制御部113は、他ユーザの距離画像を用いてポリゴンモデルを生成し、他ユーザの撮像画像を用いたテクスチャマッピングをポリゴンモデルに施すことにより、他ユーザの3Dモデルを生成する。ただし、3Dモデルの生成には、ここに示す例に限られず任意の手法が採用可能である。
ステップS313において、制御部113は、通話イベントが開催される仮想空間に各ユーザを表すモデルを配置する。制御部113は、仮想空間内の座標に、生成した他ユーザのモデルを配置する。制御部113は、モデル情報に含まれるモデルの配置を示す情報を用いて、対応する仮想空間内の座標に各モデルを配置する。例えば、表示画像における各モデルに対応する画面内カメラ21の位置に、各モデルが配置される。
ステップS314において、制御部113は、仮想空間に配置したユーザ毎のモデルを仮想の視点から撮像した仮想空間画像を、レンダリングして生成する。
ステップS316において、制御部113は、表示・出力部116により表示用画像を表示するとともに音声を出力する。すなわち、制御部113は、2Dモデル又は3Dモデルを仮想空間に配置した仮想空間の画像を表示するための情報を表示・出力部116に出力する。表示・出力部116は、仮想空間の画像をディスプレイ22に表示するとともに音声を出力する。
制御部113がステップS310~S316を繰り返し実行することで、自ユーザは、他ユーザの2Dモデル又は3Dモデルを含んだ仮想空間画像の動画を見ながら、他ユーザの発話の音声を聞くことができる。
ユーザが画面内カメラ21に比較的近づいているときにはユーザの前面寄りの部分を捉えた2Dモデルを表示させることで、端末装置12は、制御部113の処理負荷を軽減できる。一方、端末装置12は、ユーザが画面内カメラ21から離れると、奥行きと立体感とを伴った3Dモデルを表示することで、仮想の対面通話のリアリティ向上が可能となる。
図4は、変形例における端末装置12の構成を示す。変形例では、端末装置12は、透過型のディスプレイ22の代わりに、投影機40と、投影機40による投影光を受ける透過型スクリーン22´を有する。投影機40は、スクリーン22´の前方のユーザ43に対し、スクリーン22´の後方に設置される。かかる構成の場合、投影機40による投影光に画面内カメラ21又は画面内カメラとその配線等の周辺構造が干渉し、スクリーン22´に投影される画像41に陰影が生じ、ユーザ43に違和感を与える可能性がある。よって、制御部113は、投影される画像41´において、画面内カメラ21に対応する位置にマスク画像42を形成する。マスク画像42は、周辺の画像より低輝度であって、陰影との差が小さくなるように形成される。そうすることで、違和感を軽減することが可能となる。また、制御部113は、マスク画像42を、画面内カメラ21の数に応じた個数、それぞれの画面内カメラ21に対応させて生成する。さらに、制御部113は、マスク画像42が生成される位置を記憶部112に格納し、マスク画像42以外の箇所への描画操作を受け付け、マスク画像42の位置に対する描画操作を受け付けないという制御をしてもよい。
さらなる変形例では、端末装置12は、透過型スクリーン22´の代わりにホワイトボード等の不透明なスクリーンを用い、ユーザ43の背後に投影機を設け、スクリーンに画像を投影する構成としてもよい。その場合、スクリーンの画面内カメラ21に対応する位置に孔を設け、画面内カメラ21から孔を通じてユーザ43を撮像するような構成としてもよい。
接近画像に基づきモデル画像を生成するステップは、適宜、図3Aの手順と図3Bの手順に分散してもよい。例えば、図3AのステップS303とS304の間に、制御部113が自ユーザのモデル画像を生成するステップを挿入し、生成したモデル画像のデータを、モデルの配置の情報及び音声情報とともに符号化して送出してもよい。制御部113は、かかる符号化情報を他の端末装置12から受ける場合、モデル画像のデータを復号し、配置の情報に従って仮想空間に配置することができる。
上述の実施形態において、端末装置12の制御部113の動作を規定する処理・制御プログラムは、サーバ装置10または他のサーバ装置の記憶部に格納されていてネットワーク11経由で各端末装置12にダウンロードされてもよいし、各端末装置12に読取り可能な記録・記憶媒体に格納され、各端末装置12が媒体から読み取ってもよい。
上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
1 通話システム
10 サーバ装置
11 ネットワーク
12 端末装置
101、111 通信部
102、112 記憶部
103、113 制御部
115 入力部
116 表示・出力部
117 撮像部
20 俯瞰カメラ
21 画面内カメラ
22 ディスプレイ
23 タッチパネル
10 サーバ装置
11 ネットワーク
12 端末装置
101、111 通信部
102、112 記憶部
103、113 制御部
115 入力部
116 表示・出力部
117 撮像部
20 俯瞰カメラ
21 画面内カメラ
22 ディスプレイ
23 タッチパネル
Claims (5)
- 画像を前方のユーザに向け表示可能な表示部と、
前記表示部の周囲に設けられる第1の撮像部と、
前記表示部の後方に設けられる複数の第2の撮像部と、
通信部と、
前記通信部により通信を行う制御部と、を有する端末装置であって、
前記制御部は、前記第1の撮像部の撮像画像に含まれるユーザの位置に対応する前記第2の撮像部の撮像画像に基づいて前記ユーザを表すモデル画像を生成するための情報を、他の端末装置が前記モデル画像を表示するために当該他の端末装置へ送る、
端末装置。 - 請求項1において、
前記ユーザを表すモデル画像は、前記ユーザが前記表示部から第1の距離に位置するときには2Dモデル、前記第1の距離より大きい第2の距離に位置するときに3Dモデルである、
端末装置。 - 請求項1において、
前記表示部が、前記複数の第2の撮像部の後方に位置する投影機から投影される投影画像を表示するスクリーンであり、
前記制御部は、前記投影機に、前記投影画像における前記複数の第2の撮像部の陰影が干渉する位置にマスク画像を投影させる、
端末装置。 - 請求項3において、
前記制御部は、前記マスク画像の輝度を前記投影画像における前記マスク画像の周囲の画像の輝度より小さくする、
端末装置。 - 請求項1において、
前記制御部は、第1の撮像部の撮像画像に含まれるユーザの顔を当該ユーザの位置として検出し、当該ユーザの位置に対応する前記第2の撮像部に当該ユーザを撮像させ、他の前記第2の撮像部に撮像を停止させる、
端末装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022212662A JP2024095389A (ja) | 2022-12-28 | 2022-12-28 | 端末装置 |
US18/530,894 US20240220176A1 (en) | 2022-12-28 | 2023-12-06 | Terminal apparatus |
CN202311819465.5A CN118264789A (zh) | 2022-12-28 | 2023-12-27 | 终端装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022212662A JP2024095389A (ja) | 2022-12-28 | 2022-12-28 | 端末装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024095389A true JP2024095389A (ja) | 2024-07-10 |
Family
ID=91603241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022212662A Pending JP2024095389A (ja) | 2022-12-28 | 2022-12-28 | 端末装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240220176A1 (ja) |
JP (1) | JP2024095389A (ja) |
CN (1) | CN118264789A (ja) |
-
2022
- 2022-12-28 JP JP2022212662A patent/JP2024095389A/ja active Pending
-
2023
- 2023-12-06 US US18/530,894 patent/US20240220176A1/en active Pending
- 2023-12-27 CN CN202311819465.5A patent/CN118264789A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240220176A1 (en) | 2024-07-04 |
CN118264789A (zh) | 2024-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10148909B2 (en) | Immersive telepresence anywhere | |
EP3054424B1 (en) | Image rendering method and apparatus | |
US20210312696A1 (en) | Method and apparatus for displaying personalized face of three-dimensional character, device, and storage medium | |
US20160231809A1 (en) | Information processing device, information processing method, and program | |
JP2014164537A (ja) | 仮想現実サービス提供システム、仮想現実サービス提供方法 | |
JP2024095389A (ja) | 端末装置 | |
EP3848894A1 (en) | Method and device for segmenting image, and storage medium | |
JP2023137374A (ja) | 表示方法、表示システムおよびプログラム | |
US20240221549A1 (en) | Terminal apparatus | |
US20240127769A1 (en) | Terminal apparatus | |
JP2024059439A (ja) | 端末装置 | |
JP2024055599A (ja) | 端末装置 | |
JP2024101886A (ja) | 端末装置 | |
JP2024095409A (ja) | 端末装置 | |
US20230247383A1 (en) | Information processing apparatus, operating method of information processing apparatus, and non-transitory computer readable medium | |
US20230386096A1 (en) | Server apparatus, system, and operating method of system | |
US20230196680A1 (en) | Terminal apparatus, medium, and method of operating terminal apparatus | |
JP2024055596A (ja) | 端末装置 | |
US20240220010A1 (en) | Terminal apparatus and method of operating terminal apparatus | |
US20230247127A1 (en) | Call system, terminal apparatus, and operating method of call system | |
JP2024044908A (ja) | 方法、プログラム、及び端末装置 | |
US11776227B1 (en) | Avatar background alteration | |
JP2024053273A (ja) | 三次元ビデオ通話システム | |
CN116264596A (zh) | 终端装置、终端装置的动作方法以及*** | |
CN116319695A (zh) | 终端装置、终端装置的动作方法以及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240312 |