JP7196856B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7196856B2 JP7196856B2 JP2019556103A JP2019556103A JP7196856B2 JP 7196856 B2 JP7196856 B2 JP 7196856B2 JP 2019556103 A JP2019556103 A JP 2019556103A JP 2019556103 A JP2019556103 A JP 2019556103A JP 7196856 B2 JP7196856 B2 JP 7196856B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- dimensional image
- image information
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
1.本開示の一実施形態による情報処理システムの概要
2.構成
2-1.情報処理端末1の構成
2-2.サーバ2の構成
3.動作処理
4.ハードウェア構成
5.まとめ
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムは、サーバ2と、情報処理端末1Aと、情報処理端末1Bとを含む。
ここで、情報処理端末1Aを装着するユーザAおよび情報処理端末1Bを装着するユーザBが同じ空間内に存在し、サーバ2から受信したデータに基づいて、同じ仮想オブジェクトを共有して閲覧する場合を想定する。複数ユーザが同時に共通の仮想オブジェクトを閲覧し、その場でコミュニケーションを取る場合、データのダウンロードに時間が掛かると待機時間が生じ、ユーザの自由なコミュニケーションが阻害されてしまう。
<2-1.情報処理端末1の構成>
図2は、本実施形態による情報処理端末1の構成の一例を示すブロック図である。図2に示すように、情報処理端末1は、センサ部11、制御部12、表示部13、スピーカー14、通信部15、操作入力部16、および記憶部17を有する。
センサ部11は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部11は、外向きカメラ110、内向きカメラ111、マイク112、ジャイロセンサ113、加速度センサ114、方位センサ115、位置測位部116、および生体センサ117を含む。なお、ここで挙げるセンサ部11の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
制御部12は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末1内の動作全般を制御する。制御部12は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部12は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
表示部13は、例えばホログラム光学技術を用いて表示を行うレンズ部(透過型表示部の一例)、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現される。また、表示部13は、透過型、半透過型、または非透過型であってもよい。
スピーカー14は、制御部12の制御に従って、音声信号を再生する。
通信部15は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部15は、例えば有線LAN(Local Area Network)、無線LAN、Wi-Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
操作入力部16は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
記憶部17は、上述した制御部12の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。本実施形態による記憶部17には、例えば各種センサ情報、認識結果、接続情報等が記憶されてもよい。
図3は、本実施形態によるサーバ2の構成の一例を示すブロック図である。図3に示すように、サーバ2(情報処理装置)は、制御部20、通信部21、および記憶部22を有する。
制御部20は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ2内の動作全般を制御する。制御部20は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部20は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
通信部21は、有線または無線によりネットワークと接続し、ネットワークを介して各情報処理端末1とデータの送受信を行う。通信部21は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(Wireless Fidelity、登録商標)等により情報処理端末1と通信接続する。
記憶部22は、制御部20の処理に用いられるプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMにより実現される。例えば本実施形態による記憶部22は、3Dモデルデータ、およびユーザ情報を記憶する。ユーザ情報には、情報処理端末1から送信された自己位置情報および視線情報が含まれる。また、記憶部22は、3Dモデルデータに関連付けて、当該3Dモデルデータを閲覧したユーザの履歴(閲覧履歴および操作履歴。閲覧履歴には、閲覧時の位置および視線方向の履歴が含まれる)を蓄積してもよい。
次いで、上述したダウンロード開始点決定部201によるダウンロード開始点の決定処理について、具体例を用いて説明する。
図4は、本実施形態によるダウンロード開始点の第1の決定手法の概要について説明する図である。図4に示すように、ダウンロード開始点決定部201は、同じ3Dモデルデータ30を共有して閲覧する複数のユーザの位置v1、v2および視線方向と、実空間における3Dモデルデータ30の表示位置とに基づいて、各ユーザの3Dモデル上の注視点41a、41bを推定し、その重心(ユーザ基準点42)をダウンロード開始点としてもよい。この場合、ダウンロード開始点(ユーザ基準点42)の周辺データから優先的にダウンロードされ表示されることで、ユーザAおよびユーザBの見える部分からダウンロードが完了して高精細な3Dモデルデータが表示される。なお、ダウンロード開始点決定部201は、複数のユーザがある程度近い距離に居ることを条件としてもよい。
続いて、本実施形態によるダウンロード開始点の第2の決定手法について、図7~図8を参照して説明する。
本実施形態による送信データ決定部202は、決定されたダウンロード開始点から順次送信(ダウンロード)するデータを決定するが、その際のダウンロード進行方向は、例えばダウンロード開始点から放射状に均等に広げる方向であってもよい。
以上、本実施形態によるダウンロード開始点決定部201により、複数ユーザの位置および視線方向と、共有して閲覧する3Dモデルデータの表示位置とに基づいてダウンロード開始点を決定する処理について説明した。かかる処理は、複数のユーザがある程度近い距離に居ること(複数のユーザの距離が一定の範囲内であること)、若しくは各ユーザの注視点が所定の距離内にあること、各ユーザの注視点を含むパーツが同じであること、又は各ユーザの注視点が3Dモデルデータの同方向(前方、側面、又は後方等)にあること等を条件としてもよい。すなわち、例えば図11に示すように、同じ3Dモデルデータ30を共有して閲覧する複数のユーザの位置v1、v2や視線方向が大きく異なる場合、3Dモデルデータの見える範囲に共通部分が無く(若しくは少なく)、複数のユーザの注視点44a、44bの重心をダウンロード開始点としても、共通して見える部分を待ち時間無く快適な閲覧するといった効果は生じ難い。そこで、本実施形態によるダウンロード開始点決定部201は、上記条件を満たさない場合は、図11に示すように、複数のユーザの注視点44a、44bを、それぞれダウンロード開始点に決定してもよい。これにより、各注視点からダウンロードが開始される。
続いて、本実施形態による情報処理システムの動作処理について図12を用いて具体的に説明する。図12は、本実施形態による情報処理システムの処理の流れを示すシーケンス図である。
・アクセスURLのフォーマット例
https://・・・?offset x =100 &offset y =200
&angle v =125 &angle h=90 &multipoint=0
次に、本開示の一実施形態に係る情報処理端末1およびサーバ2に共通する情報処理装置のハードウェア構成例について説明する。図13は、本開示の一実施形態に係る情報処理端末1またはサーバ2を実現する情報処理装置のハードウェア構成例を示すブロック図である。図13を参照すると、情報処理装置800は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記3次元画像情報の送信開始点を決定する制御を行う制御部を備える、情報処理装置。
(2)
前記制御部は、
前記決定した前記送信開始点から優先的に前記3次元画像情報を情報処理端末に送信する制御を行う、前記(1)に記載の情報処理装置。
(3)
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心を、前記送信開始点に決定する、前記(1)または(2)に記載の情報処理装置。
(4)
前記三次元画像情報は、サイズ概要情報を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に最も近い前記三次元画像情報の頂点を、前記送信開始点に決定する、前記(1)または(2)に記載の情報処理装置。
(5)
前記三次元画像情報は、予め設定された基準点を有し、
前記制御部は、
前記第1の注視点と前記第2の注視点の重心に、前記基準点が最も近くなるよう前記三次元画像情報を回転させた上で、前記重心を前記送信開始点に決定する、前記(3)または(4)に記載の情報処理装置。
(6)
前記三次元画像情報は、予め設定された複数の送信開始可能点を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記三次元画像情報のサイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記複数の送信開始可能点のうち、前記第1の注視点と前記第2の注視点の重心に最も近い送信開始可能点を、前記送信開始点に決定する、前記(1)または(2)に記載の情報処理装置。
(7)
前記制御部は、
前記決定した前記送信開始点から放射状に均等に広げる方向に順次前記3次元画像情報を情報処理端末に送信する制御を行う、前記(1)~(6)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、
前記決定した前記送信開始点から、前記三次元画像情報に予め設定された、前記送信開始点の周辺の複数の送信開始可能点を含む方向に順次前記3次元画像情報を情報処理端末に送信する制御を行う、前記(1)~(6)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記三次元画像情報に関連する他ユーザの閲覧履歴又は操作履歴の少なくともいずれかに基づいて、前記三次元画像情報における第3の注視点を推定し、
前記決定した前記送信開始点から前記第3の注視点を含む方向に順次前記3次元画像情報を情報処理端末に送信する制御を行う、
前記(1)~(6)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、
前記第1のユーザの第1の情報処理端末および前記第2のユーザの第2の情報処理端末に送信するデータの配分を算出し、
前記決定した前記送信開始点から優先的に前記3次元画像情報を前記第1の情報処理端末と前記第2の情報処理端末に送信する際に、それぞれ異なるデータを送信する制御を行う、
前記(1)~(6)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、
前記第1のユーザと前記第2のユーザの距離が所定範囲内であるか否かを判断し、
所定距離内である場合、前記第1のユーザの位置情報および視線情報と、前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の表示位置情報とに基づく前記送信開始点の決定制御を行う、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
プロセッサが、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記3次元画像情報の送信開始点を決定する制御を行うこと、
を含む、情報処理方法。
(13)
コンピュータを、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記3次元画像情報の送信開始点を決定する制御を行う制御部、
として機能させるための、プログラム。
2 サーバ
11 センサ部
12 制御部
13 表示部
14 スピーカー
15 通信部
16 操作入力部
17 記憶部
20 制御部
21 通信部
22 記憶部
110 外向きカメラ
111 内向きカメラ
112 マイク
113 ジャイロセンサ
114 加速度センサ
115 方位センサ
116 位置測位部
117 生体センサ
120 視線検出部
122 自己位置特定部
124 シェア制御部
126 表示処理部
201 ダウンロード開始点決定部
202 送信データ決定部
203 データ送信制御部
Claims (13)
- 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記三次元画像情報は、サイズ概要情報を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に最も近い前記三次元画像情報の頂点を、前記送信開始点に決定する、情報処理装置。 - 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記三次元画像情報は、予め設定された基準点を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に、前記基準点が最も近くなるよう前記三次元画像情報を回転させた上で、前記重心を前記送信開始点に決定する、情報処理装置。 - 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記三次元画像情報は、予め設定された複数の送信開始可能点を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記三次元画像情報のサイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記複数の送信開始可能点のうち、前記第1の注視点と前記第2の注視点の重心に最も近い送信開始可能点を、前記送信開始点に決定する、情報処理装置。 - 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記制御部は、
前記決定した前記送信開始点から、前記三次元画像情報に予め設定された、前記送信開始点の周辺の複数の送信開始可能点を含む方向に順次前記三次元画像情報を情報処理端末に送信する制御を行う、情報処理装置。 - 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記制御部は、
前記三次元画像情報に関連する他ユーザの閲覧履歴又は操作履歴の少なくともいずれかに基づいて、前記三次元画像情報における第3の注視点を推定し、
前記決定した前記送信開始点から前記第3の注視点を含む方向に順次前記三次元画像情報を情報処理端末に送信する制御を行う、情報処理装置。 - 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記制御部は、
前記第1のユーザの第1の情報処理端末および前記第2のユーザの第2の情報処理端末に送信するデータの配分を算出し、
前記決定した前記送信開始点から優先的に前記三次元画像情報を前記第1の情報処理端末と前記第2の情報処理端末に送信する際に、それぞれ異なるデータを送信する制御を行う、情報処理装置。 - 第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部を備え、
前記制御部は、
前記第1のユーザと前記第2のユーザの距離が所定範囲内であるか否かを判断し、
所定距離内である場合、前記第1のユーザの位置情報および視線情報と、前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の表示位置情報とに基づく前記送信開始点の決定制御を行う、情報処理装置。 - プロセッサが、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行うこと、
を含み、
前記三次元画像情報は、サイズ概要情報を有し、
前記送信開始点を決定する制御を行うことは、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に最も近い前記三次元画像情報の頂点を、前記送信開始点に決定することを含む、情報処理方法。 - プロセッサが、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行うこと、
を含み、
前記三次元画像情報は、予め設定された基準点を有し、
前記送信開始点を決定する制御を行うことは、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に、前記基準点が最も近くなるよう前記三次元画像情報を回転させた上で、前記重心を前記送信開始点に決定することを含む、情報処理方法。 - プロセッサが、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行うこと、
を含み、
前記三次元画像情報は、予め設定された複数の送信開始可能点を有し、
前記送信開始点を決定する制御を行うことは、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記三次元画像情報のサイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記複数の送信開始可能点のうち、前記第1の注視点と前記第2の注視点の重心に最も近い送信開始可能点を、前記送信開始点に決定することを含む、情報処理方法。 - コンピュータを、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部、
として機能させるための、プログラムであって、
前記三次元画像情報は、サイズ概要情報を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に最も近い前記三次元画像情報の頂点を、前記送信開始点に決定する、プログラム。 - コンピュータを、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部、
として機能させるための、プログラムであって、
前記三次元画像情報は、予め設定された基準点を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報における前記第2のユーザの第2の注視点を推定し、
前記第1の注視点と前記第2の注視点の重心に、前記基準点が最も近くなるよう前記三次元画像情報を回転させた上で、前記重心を前記送信開始点に決定する、プログラム。 - コンピュータを、
第1のユーザの位置情報および視線情報と、
第2のユーザの位置情報および視線情報と、
前記第1のユーザと前記第2のユーザが共有して視認する三次元画像情報の表示位置情報とに基づいて、
前記三次元画像情報の送信開始点を決定する制御を行う制御部、
として機能させるための、プログラムであって、
前記三次元画像情報は、予め設定された複数の送信開始可能点を有し、
前記制御部は、
前記第1のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記三次元画像情報のサイズ概要情報における前記第1のユーザの第1の注視点を推定し、
前記第2のユーザの位置情報および視線情報と、前記三次元画像情報の前記表示位置情報とに基づいて、前記三次元画像情報または前記サイズ概要情報における前記第2のユーザの第2の注視点を推定し、
前記複数の送信開始可能点のうち、前記第1の注視点と前記第2の注視点の重心に最も近い送信開始可能点を、前記送信開始点に決定する、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223491 | 2017-11-21 | ||
JP2017223491 | 2017-11-21 | ||
PCT/JP2018/032247 WO2019102676A1 (ja) | 2017-11-21 | 2018-08-30 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019102676A1 JPWO2019102676A1 (ja) | 2020-12-24 |
JP7196856B2 true JP7196856B2 (ja) | 2022-12-27 |
Family
ID=66631408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556103A Active JP7196856B2 (ja) | 2017-11-21 | 2018-08-30 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11240482B2 (ja) |
JP (1) | JP7196856B2 (ja) |
CN (1) | CN111344776B (ja) |
DE (1) | DE112018005954T5 (ja) |
WO (1) | WO2019102676A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113138734A (zh) * | 2020-01-20 | 2021-07-20 | 北京芯海视界三维科技有限公司 | 用于显示的方法、装置和产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149581A (ja) | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | 複数のユーザによる仮想空間共有システム |
JP2002279449A (ja) | 2001-03-19 | 2002-09-27 | Mitsubishi Electric Corp | 3次元空間データ送信表示装置、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2006054830A (ja) | 2004-08-16 | 2006-02-23 | Sony Corp | 画像圧縮通信方法及び装置 |
US20120105473A1 (en) | 2010-10-27 | 2012-05-03 | Avi Bar-Zeev | Low-latency fusing of virtual and real content |
CN106997281A (zh) | 2017-04-10 | 2017-08-01 | 北京小米移动软件有限公司 | 共享虚拟对象的方法及智能设备 |
WO2017138458A1 (ja) | 2016-02-09 | 2017-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | 映像表示システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10275247A (ja) * | 1997-02-03 | 1998-10-13 | Fujitsu Ltd | 仮想世界記述データ表示方法 |
JPH11237867A (ja) * | 1998-02-20 | 1999-08-31 | Shimadzu Corp | 仮想空間表示装置 |
JP4704558B2 (ja) * | 2000-12-25 | 2011-06-15 | 三菱電機株式会社 | 3次元空間データ送信表示システム、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、3次元空間データ送信表示方法、及び3次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2005050081A (ja) * | 2003-07-28 | 2005-02-24 | Matsushita Electric Ind Co Ltd | 3次元仮想空間情報を共有する通信装置 |
JP2011066507A (ja) * | 2009-09-15 | 2011-03-31 | Toshiba Corp | 画像処理装置 |
US10955665B2 (en) * | 2013-06-18 | 2021-03-23 | Microsoft Technology Licensing, Llc | Concurrent optimal viewing of virtual objects |
JP6610546B2 (ja) * | 2014-07-03 | 2019-11-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6298432B2 (ja) * | 2015-10-19 | 2018-03-20 | 株式会社コロプラ | 画像生成装置、画像生成方法、及び画像生成プログラム |
CN106445129A (zh) * | 2016-09-14 | 2017-02-22 | 乐视控股(北京)有限公司 | 全景图像信息显示方法、装置及*** |
-
2018
- 2018-08-30 JP JP2019556103A patent/JP7196856B2/ja active Active
- 2018-08-30 DE DE112018005954.5T patent/DE112018005954T5/de active Pending
- 2018-08-30 CN CN201880073831.8A patent/CN111344776B/zh active Active
- 2018-08-30 US US16/764,217 patent/US11240482B2/en active Active
- 2018-08-30 WO PCT/JP2018/032247 patent/WO2019102676A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149581A (ja) | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | 複数のユーザによる仮想空間共有システム |
JP2002279449A (ja) | 2001-03-19 | 2002-09-27 | Mitsubishi Electric Corp | 3次元空間データ送信表示装置、3次元空間データ送信方法、3次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2006054830A (ja) | 2004-08-16 | 2006-02-23 | Sony Corp | 画像圧縮通信方法及び装置 |
US20120105473A1 (en) | 2010-10-27 | 2012-05-03 | Avi Bar-Zeev | Low-latency fusing of virtual and real content |
WO2017138458A1 (ja) | 2016-02-09 | 2017-08-17 | 株式会社ソニー・インタラクティブエンタテインメント | 映像表示システム |
CN106997281A (zh) | 2017-04-10 | 2017-08-01 | 北京小米移动软件有限公司 | 共享虚拟对象的方法及智能设备 |
Also Published As
Publication number | Publication date |
---|---|
DE112018005954T5 (de) | 2020-08-20 |
US11240482B2 (en) | 2022-02-01 |
US20200396438A1 (en) | 2020-12-17 |
CN111344776B (zh) | 2023-06-02 |
CN111344776A (zh) | 2020-06-26 |
JPWO2019102676A1 (ja) | 2020-12-24 |
WO2019102676A1 (ja) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112400150B (zh) | 基于预测扫视着陆点的动态图形渲染 | |
CN104423584B (zh) | 可佩戴的装置及其输出内容的方法 | |
JP2015095802A (ja) | 表示制御装置、表示制御方法、およびプログラム | |
US10521013B2 (en) | High-speed staggered binocular eye tracking systems | |
JP2016045874A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20170066054A (ko) | 오디오 제공 방법 및 그 장치 | |
US10685465B2 (en) | Electronic device and method for displaying and generating panoramic image | |
US10771707B2 (en) | Information processing device and information processing method | |
US11151804B2 (en) | Information processing device, information processing method, and program | |
CN118103799A (zh) | 与远程设备的用户交互 | |
WO2019102680A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7196856B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPWO2019087513A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2019054037A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019021573A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11487355B2 (en) | Information processing apparatus and information processing method | |
WO2016151958A1 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
US20230221566A1 (en) | Vr headset with integrated thermal/motion sensors | |
US11448884B2 (en) | Image based finger tracking plus controller tracking | |
CN110766129A (zh) | 一种神经网络训练***及显示数据的方法 | |
US20230078189A1 (en) | Adaptive rendering of game to capabilities of device | |
US11176375B2 (en) | Smart glasses lost object assistance | |
WO2023179369A1 (zh) | 控制装置的定位方法、装置、设备、存储介质及计算机程序产品 | |
CN116048241A (zh) | 一种提示方法、扩展现实设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7196856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |