JP7400721B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7400721B2 JP7400721B2 JP2020540171A JP2020540171A JP7400721B2 JP 7400721 B2 JP7400721 B2 JP 7400721B2 JP 2020540171 A JP2020540171 A JP 2020540171A JP 2020540171 A JP2020540171 A JP 2020540171A JP 7400721 B2 JP7400721 B2 JP 7400721B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- user
- information processing
- image quality
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 192
- 238000003672 processing method Methods 0.000 title claims description 15
- 230000033001 locomotion Effects 0.000 claims description 74
- 230000008859 change Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 239000000872 buffer Substances 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims 23
- 238000004891 communication Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 22
- 210000003128 head Anatomy 0.000 description 20
- 238000005259 measurement Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000985694 Polypodiopsida Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0414—Vertical resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0421—Horizontal resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
<<本開示の実施形態に係る情報処理装置の概要構成>>
まず、本開示の実施形態に係る情報処理装置の概要について、図1を参照して説明する。図1は、本実施形態に係る情報処理装置1の概要構成を説明するための図である。図1に示すように、本実施形態に係る情報処理装置1は、例えば、ユーザ700の頭部に装着される眼鏡型のHMDにより実現される。すなわち、情報処理装置1は、ユーザ700に装着されるウェアラブル装置である。装着時にユーザ700の眼前に位置する眼鏡レンズ部分に相当する表示部16は、眼鏡レンズ部分の外側を視認することができる透過型、又は、眼鏡レンズ部分の外側を視認することができない非透過型ディスプレイであってもよい。なお、以下の説明においては、透過型ディスプレイの表示部16を持つHMDを「スマートアイグラス」と呼ぶ。
以上、本実施形態に係る情報処理装置1の概要について説明した。続いて、このような情報処理装置1における技術的背景を説明する。
先に説明したように、本実施形態に係る情報処理装置1は、実空間に仮想オブジェクトを重畳表示する。そして、仮想オブジェクトの解像度を高くすることで、実空間に仮想オブジェクトをよりリアルに表現することができる。
以上、本開示の技術的背景について説明した。続いて、本開示の実施形態について説明する。本実施形態においては、情報処理装置1は、ユーザであるユーザ700の動き情報(例えば、ユーザ700の位置又は姿勢の変動)を取得し、取得した動き情報に基づいて、仮想オブジェクトの画質(例えば解像度)を決定し、決定した画質に基づいて、仮想オブジェクトの表示を制御する。
まずは、本実施形態に係る情報処理装置1の詳細構成について図2を参照して説明する。図2は、本実施形態に係る情報処理装置1の詳細構成の一例を示すブロック図である。
図2に示すように、情報処理装置1は、制御部10、センサ部12、記憶部14、表示部16、スピーカ18、通信部20、及び操作入力部22を主に有する。以下に、情報処理装置1の各機能部の詳細について説明する。
制御部10は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。制御部10は、例えばCPU、GPUといったマイクロプロセッサの電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)等を含んでいてもよい。例えば、制御部10は、ユーザ700の位置や姿勢の変動に応じて仮想オブジェクトの表示解像度等を動的に変化させるように制御する。詳細には、本実施形態に係る制御部10は、図2に示すように、情報取得部100、解像度決定部102、描画部104及び表示制御部106として機能することができる。以下に、制御部10の各ブロックの詳細について説明する。
情報取得部100は、後述するセンサ部12により検知された検知結果を用いてユーザ700又は当該ユーザ700の周囲の各種状態に関する情報を取得することができる。具体的には、情報取得部100は、例えば、ユーザ700の位置や姿勢、状態を認識するユーザ位置・姿勢認識エンジン、ユーザ700の位置を同定するSLAM(Simultaneous Localization And Mapping)認識エンジン、ユーザ700周辺の実空間におけるデプス情報を認識するデプス認識エンジンを含むことができる。
解像度決定部102は、情報取得部100により取得されたユーザ700の自己の位置及び姿勢の情報に基づいて、ユーザ700の位置や姿勢の変動(例えば前フレームと現フレーム間の自己位置又は姿勢の差分、単位時間当たりの自己位置又は姿勢の差分、すなわち変動速度)を算出する。
例えば、解像度決定部102は、第1のタイミングで表示した仮想オブジェクト800の第1の表示位置と第1のタイミングよりも後の第2のタイミングで表示した仮想オブジェクト800の第2の表示位置との差に基づいて、ユーザ700のユーザ700の自己の位置及び姿勢の変動の情報を取得する。別言すると、例えば、解像度決定部102は、表示部16に表示された過去の表示フレームと現在の表示フレームの差分を監視し、監視結果に基づいてユーザ700の位置や姿勢の変動を算出する。より詳細には、例えば、解像度決定部102は、表示部16に表示された1つ前の表示フレーム内の仮想オブジェクト800の位置と現在の表示フレーム内の仮想オブジェクト800の位置との差分、例えば単位時間あたり仮想オブジェクト800が移動したpixelの値を監視し、その単位時間あたりのpixelの値をユーザ700の位置や姿勢の変動速度とする。
本実施形態に係る解像度決定部102は、ユーザ700の位置や姿勢の変動(前フレームの自己位置と又は姿勢の差分)に基づいて、第1の解像度(1280×720pixel)、第2の解像度(960×540pixel)、第3の解像度(640×360pixel)から仮想オブジェクト800の解像度を決定する。1280×720pixel、960×540pixel及び640×360pixelは、表示部16の座標上、つまりスクリーン座標上の解像度を示している。解像度決定部102は、ユーザ700が静止しているときには高解像である第1の解像度(例えば1280×720pixel)とし、ユーザ700が動いているときには、その速度に応じて中解像度である第2の解像度(例えば960×540pixel)又は低解像度である第3の解像度(例えば640×360pixel)を選択する。なお、2次元表示だけでなく、3次元表示の場合についても同様に解像度を制御してもよい。
詳細には、記憶部14の閾値テーブルには、第1の閾値α1、第2の閾値α2、第3の閾値β1、第4の閾値β2が記憶されている。解像度決定部102は、算出したユーザ700の位置や姿勢の変動と記憶部14に記憶された閾値(α1、α2、β1、β2)との比較により、解像度を決定する。
描画部104は、フレームバッファを有し、解像度決定部102が指定した解像度に基づいてフレームバッファに描画を実行する。
表示制御部106は、解像度決定部102が指定した解像度に基づいて、上記のフレームバッファの読み出し領域を表示部16のサイズに拡大又は縮小し、表示部16への表示を制御する。これにより、表示部16には解像度決定部102で決定された解像度に応じた仮想オブジェクト800が表示される。
センサ部12は、ユーザ700又はユーザ700の周辺環境(実空間)に関する各種情報を取得する機能を有する。例えば、センサ部12は、図2に示されるように、外向きカメラ120、内向きカメラ122、マイク124、慣性計測装置126、赤外線センサ128、方位センサ130、位置測位部132、及び生体センサ134を主に含む。なお、上述したセンサは一例であり、本実施形態はこれに限定されるものではない。また、上述した各種センサは、センサ部12にそれぞれ複数設けられていてもよい。以下に、センサ部12に含まれる各センサの詳細について説明する。
先に説明したように、外向きカメラ120はユーザ700の周囲の実空間を撮像し、内向きカメラ122はユーザ700の表情等を撮像し、撮像情報を上述の制御部10に出力する。詳細には、外向きカメラ120及び内向きカメラ122は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。更に、外向きカメラ120及び内向きカメラ122は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
マイク124は、ユーザ700の音声や周囲の環境音を収音し、収音した音声情報を制御部10に出力する。例えば、マイク124は、ユーザ700が発声した指示を収音し、制御部10に出力する。例えば、制御部10は、マイク124から出力された音声情報を解析することにより、ユーザ700の指示を認識することができる。
慣性計測装置126は、3軸ジャイロと3軸加速度計によって3次元の角速度と加速度を求める。この慣性計測装置126により検知されたユーザ700の加速度の時系列データを比較することで、加速度の変動を算出できる。制御部10はこの加速度の変動に基づきユーザ700の位置や姿勢の変動を求めることができる。
赤外線センサ128は、赤外線を検知する。例えば、赤外線センサ128の時系列データを比較することで、ユーザ700の位置や姿勢の変動を推定できる。なお、レーザレンジスキャン(図示を省略)によっても同様に、時系列データを比較することで、ユーザ700の位置や姿勢の変動を推定できる。そして、制御部10はこれらのユーザ700の位置や姿勢の変動に基づきユーザ700の位置や姿勢の変動を求めることができる。
方位センサ130は、例えば、3軸地磁気センサ(コンパス)により実現され、絶対方向(方位)を検知する。なお、ここで、絶対方位とは、実空間における世界座標系(東西南北)における方位のことをいう。
生体センサ134は、ユーザ700の各種生体情報を検知する。具体的には、生体センサ134は、例えば、ユーザ700の身体の一部に直接的又は間接的に装着され、ユーザ700の心拍数、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する1つ又は複数のセンサを含む。これら生体センサ134は、検知された生体情報を制御部10に出力する。
更に、本実施形態に係るセンサ部12は、上述したセンサの他に、ユーザ700の周囲の環境温度を検知する温度センサ(図示省略)、ユーザ700の周囲の環境の明るさを検知する照度センサ(図示省略)等を含んでもよい。更に、センサ部12は、ユーザ700の周囲の環境の大気圧を検知する気圧センサ(図示省略)、電波を検知する電波センサ(図示省略)等、様々なセンサを含んでもよい。
記憶部14は、上述した制御部10が各機能を実行するためのプログラムやパラメータを格納する。例えば、記憶部14は、情報取得部100、解像度決定部102、描画部104及び表示制御部106での処理に用いる認識アルゴリズムや、解像度決定部102で用いる閾値等を閾値テーブルに格納する。
表示部16は、例えば、ホログラム光学技術を用いて表示を行うレンズ部(シースルータイプのディスプレイの一例)、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現される。
スピーカ18は、上述した制御部10の制御に従って、音声信号等を再生する。例えば、スピーカ18は、ユーザ700の左右の耳に対応する1対のイヤホンスピーカ(図示省略)により実現されることができる。
通信部20は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部20は、例えば、有線LAN(Local Area Network)、無線LAN、Wi-Fi(登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接又はネットワークアクセスポイント(図示省略)を介して通信することができる。なお、通信部20は、電波を検知する電波センサとして用いられてもよい。
操作入力部22は、スイッチ、ボタン、又は、レバー等の物理的な構造を有する操作部材(図示省略)により実現される。例えば、ユーザ700は、操作入力部22に対して操作を行うことで、情報処理装置1に対して所望の入力を行うことができる。また、操作入力部22により入力された操作の内容は、上述した表示部16によって表示されてもよい。
以上、本実施形態に係る情報処理装置1の構成について具体的に説明したが、本実施形態に係る情報処理装置1の詳細構成は図2に示す例に限定されるものではない。例えば、情報処理装置1の制御部10の少なくとも一部の処理は、通信部20を介して接続するクラウド上のサーバ(図示省略)において行われてもよい。
以上、本実施形態に係る情報処理装置1の詳細構成について説明した。続いて、このような情報処理装置1による仮想オブジェクトの表示例について、図5から図7を参照して説明する。
以上、本実施形態に係る仮想オブジェクト800の表示例について説明した。続いて、本実施形態に係る情報処理方法について、図8を参照して説明する。図8は本実施形態に係る処理フローを示すフローチャートである。図8に示すように、本実施形態に係る情報処理方法には、ステップS100からステップS109までの複数のステップが含まれている。以下に、本実施形態に係る方法に含まれる各ステップの詳細を説明する。なお、情報処理装置1は、以下に示すフロー(ステップ102からステップ116)を、表示する仮想オブジェクト800の表示フレーム毎に行い、表示フレームが変わるごとに繰り返さすこととなる。
解像度決定部102は、記憶部14に記憶された閾値テーブルより第1の閾値α1、第2の閾値α2、第3の閾値β1、第4の閾値β2を読み込む。
情報取得部100は、センサ部12のステレオカメラである外向きカメラ120及び後述する慣性計測装置(IMU)126から取得したデータからユーザ700の自己位置・姿勢を算出し、推定する。自己位置・姿勢の算出は、例えば外向きカメラ120の画像データから現実世界を認識し、ステレオカメラである外向きカメラ120による測距結果及び慣性計測装置(IMU)126の計測結果から算出することができる。
解像度決定部102は、ステップ102で算出したユーザ700の自己の位置・姿勢の前フレームとの差分、すなわちユーザ700の自己の位置・姿勢の変動がステップ100で読み込んだ解像度低下閾値(α1、α2)を超えているかを判断する。自己の位置・姿勢の前フレームとの差分が解像度低下閾値(α1、α2)を超えている場合には、ステップ108に進み、超えていない場合には、ステップ106に進む。
解像度決定部102は、ステップ102で算出したユーザ700の自己の位置・姿勢の前フレームとの差分、すなわちユーザ700の自己の位置・姿勢の変動がステップ100で読み込んだ解像度向上閾値(β1、β2)未満であるかを判断する。自己の位置・姿勢の前フレームとの差分が解像度向上閾値(β1、β2)未満である場合には、ステップ110に進み、そのでない場合には、ステップ116に進む。
解像度決定部102は、前フレームの解像度が第1の解像度(1280×720pixelであって、自己の位置・姿勢の前フレームとの差分が解像度低下閾値α1を超えている場合には、第1の解像度(1280×720pixel)から第2の解像度(960×540pixel)に解像度を下げる決定をし、前フレームの解像度が第1の解像度(1280×720pixel又は第2の解像度(960×540pixel)であって、自己の位置・姿勢の前フレームとの差分が解像度低下閾値α2を超えている場合には第1の解像度(1280×720pixel又は第2の解像度(960×540pixel)から第3の解像度(640×360pixel)に解像度を下げる決定をし、ステップ112に進む。
解像度決定部102は、前フレームの解像度が第2の解像度(960×540pixel)又は第3の解像度(640×360pixel)であって、自己の位置・姿勢の前フレームとの差分が解像度向上閾値β1未満となった場合には、第2の解像度(960×540pixel)又は第3の解像度(640×360pixel)から第1の解像度(1280×720pixel)に解像度を上げる決定をし、前フレームの解像度が第3の解像度(640×360pixel)であって自己の位置・姿勢の前フレームとの差分が解像度向上閾値β2を超えている場合には第3の解像度(640×360pixel)から第2の解像度(960×540pixel)に解像度を上げる決定をし、ステップ112に進む。
解像度決定部102は、描画部104及び表示制御部106にステップ108又はステップ110で決定した解像度を通知する。描画部104は、解像度決定部102が指定した解像度に基づいてフレームバッファに描画を実行する。表示制御部106は、解像度決定部102が指定した解像度に基づいてフレームバッファの読み出し領域を表示部16のサイズに拡大又は縮小し、表示部16への表示を制御する。
なお、上述したが、情報処理装置1は、以上に示すフロー(ステップ102からステップ116)を、表示する仮想オブジェクト800の表示フレーム毎に行い、表示フレームが変わるごとに繰り返さすこととなる。
この種の情報処理装置では、リアルな表現をしようとするほど描画負荷が増す。従って、リアルな表現ほど単位時間当たりの描画時間が長くなり、フレームレートの低下を引き起こし、例えばアニメーションのコマ落ちなどの品位低下を招く。更に、リアルな表現ほどプロセッサのリソースを多く要求するので発熱量が多くなり、例えばプロセッサが停止し、或いはユーザが火傷するリスクが高まる。また、プロセッサのリソースを多く要求するので、単位時間当たりの電力消費量が多くなり、バッテリの消耗が激しくなる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
また、上記実施形態では、HMDがスタンドアローンで動作する例を示したが、例えばHMDとスマートフォンが連携して本開示に係る技術を実現してもよい。例えば、例えばHMDには透過表示部があり、HMDに無線又は有線で接続されたスマートフォンの制御部がユーザの位置や姿勢の変動の検出、更に解像度の決定等を行うようにしてもよい。
図9は、本開示の一実施形態に係る情報処理装置900のハードウェア構成の一例を示したブロック図である。図9では、情報処理装置900は、上述の情報処理装置1のハードウェア構成の一例を示している。
CPU950は、例えば、CPU、GPU等の演算回路で構成される、1又は2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する制御部(例えば、上述の制御部10)として機能する。具体的には、CPU950は、情報処理装置900において、例えば、上述の情報取得部100、情報取得部100、解像度決定部102、描画部104及び表示制御部106等の機能を果たす。
ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する
記録媒体956は、上述の記憶部14として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
入出力インタフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
ことも可能であることは、言うまでもない。
通信インタフェース968は、例えば通信ネットワーク(図示省略)を介して(あるいは、直接的に)、他の外部装置と、無線または有線で通信を行うための通信部20として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナ及びRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
センサ980は、上述のセンサ部12として機能する。更に、センサ980は、照度センサ等の各種のセンサを更に含んでもよい。
また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
前記取得部により取得された動き情報に基づいて、仮想オブジェクトの画質を決定する決定部と、
前記決定部により決定された画質に基づいて、前記仮想オブジェクトの表示を制御する表示制御部と
を具備する情報処理装置
前記取得部は、前前記仮想オブジェクトの表示位置の変動を、前記ユーザの動き情報として取得する
情報処理装置
前記取得部は、第1のタイミングで表示した前記仮想オブジェクトの第1の表示位置と前記第1のタイミングよりも後の第2のタイミングで表示した前記仮想オブジェクトの第2の表示位置との差に基づいて、前記ユーザの動き情報を取得する
情報処理装置
前記取得部は、計測されたユーザの位置情報又は姿勢情報に基づいて、前記ユーザの動き情報を取得する
情報処理装置
前記決定部は、前記動き情報に基づいて、前記仮想オブジェクトの画質として前記仮想オブジェクトの解像度を決定する
情報処理装置
前記決定部は、前記動き情報に基づいて、前記仮想オブジェクトの画質として前記仮想オブジェクトのテクスチャ、表示濃度、透明度、明度、又は色数を決定する
(7)(5)に記載の情報処理装置であって、
前記決定部により決定された仮想オブジェクトの解像度に基づいて、フレームバッファに描画を実行する描画部と、を更に有し、
前記表示制御部は、前記決定部により決定された解像度に基づいて、前記フレームバッファに描画された前記仮想オブジェクトの表示の大きさを制御する
情報処理装置
前記決定部は、前記取得部により取得された動き情報に基づいて、前記仮想オブジェクトの縦方向の解像度又は横方向の解像度を決定する
情報処理装置
同一の画像で画質の異なる複数の前記仮想オブジェクトを予め保持する仮想オブジェクト保持テーブルを更に具備し、
前記決定部は、前記取得部により取得された動き情報に基づいて、前記仮想オブジェクト保持テーブルに保持された複数の前記仮想オブジェクトから1つの仮想オブジェクトを選択し、
前記表示制御部は、前記決定部により選択された仮想オブジェクトの表示を制御する
情報処理装置
前記仮想オブジェクト保持テーブルは、前記仮想オブジェクトをミップマッピング(Mipmapping)したミップマップ(MIP map)を予め保持する
情報処理装置
前記仮想オブジェクトテーブルは、前記仮想オブジェクトから生成した複数種類の圧縮テクスチャ画像を予め保持する
情報処理装置
前記決定部で前記仮想オブジェクトを第1の画質から第2の画質に下げる決定をするために用いられる前記動き情報に対する第1の閾値と、前記決定部で前記仮想オブジェクトを前記第2の画質から前記第1の画質に上げる決定をするために用いられる、前記第1の閾値より小さい前記動き情報に対する第2の閾値とを保持する閾値テーブルを更に有し、
前記決定部は、前記取得部により取得された動き情報と前記第1の閾値及び前記第2の閾値との比較に基づいて、前記仮想オブジェクトの画質を決定する
情報処理装置
前記表示制御部により表示が制御された前記仮想オブジェクトを表示する透過型表示部
を更に具備する情報処理装置
前記表示制御部により表示が制御された前記仮想オブジェクトを他の画像と重畳して表示する非透過型表示部
を更に具備する情報処理装置
前記取得部は、HMD(Head Mounted Display)に備えられたセンサの出力データに基づき、前記HMDの動きの情報を前記ユーザの動き情報として取得し、
前記表示制御部は前記HMDに備えられた表示部上の前記仮想オブジェクトの表示を制御する
情報処理装置(16)ユーザの動き情報を取得し、
前記取得した動き情報に基づいて、仮想オブジェクトの画質を決定し、
前記決定した画質に基づいて、前記仮想オブジェクトの表示を制御する
情報処理方法
前記取得した動き情報に基づいて、仮想オブジェクトの画質を決定するステップと、
前記決定した画質に基づいて、前記仮想オブジェクトの表示を制御するステップと
をコンピュータに実行させるプログラム。
10 :制御部
12 :外向きカメラ
12 :センサ部
14 :記憶部
16 :表示部
100 :情報取得部
100 :ステップ
102 :解像度決定部
104 :描画部
106 :表示制御部
120 :外向きカメラ
126 :慣性計測装置
128 :赤外線センサ
700 :ユーザ
800 :仮想オブジェクト
900 :情報処理装置
S100 :ステップ
S102 :ステップ
S109 :ステップ
α1 :第1の閾値(解像度低下閾値)
α2 :第2の閾値(解像度低下閾値)
β1 :第3の閾値(解像度向上閾値)
β2 :第4の閾値(解像度向上閾値)
Claims (16)
- ユーザの動き情報を取得する取得部と、
前記取得部により取得された前記ユーザの動き情報に基づいて、仮想空間内にて静止している仮想オブジェクトである静止仮想オブジェクトの画質を決定する決定部と、
前記決定部により決定された画質に基づいて、前記静止仮想オブジェクトの表示を制御する表示制御部と
を具備し、
前記取得部は、
実空間における前記ユーザ又は前記ユーザの周辺環境に関する情報を検知するセンサ部の検知結果に基づいて、前記ユーザの動き情報を取得し、
前記センサ部の検知結果に基づく前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトを表示する表示部の表示座標における前記静止仮想オブジェクトの表示位置を算出し、
前記静止仮想オブジェクトの表示位置の変動を、前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報として取得し、
前記決定部は、前記取得部により取得された前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトの画質を決定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記取得部は、第1のタイミングで表示した前記静止仮想オブジェクトの第1の表示位置と前記第1のタイミングよりも後の第2のタイミングで表示した前記静止仮想オブジェクトの第2の表示位置との差に基づいて、前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報を取得する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記決定部は、前記静止仮想オブジェクトに対する画質として、前記静止仮想オブジェクトの表示位置が変動していない場合は相対的に高い画質を決定し、前記静止仮想オブジェクトの表示位置が変動している場合は相対的に低い画質を決定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記決定部は、前記静止仮想オブジェクトに対する画質として、前記表示位置の変動速度が遅い場合は相対的に高い画質を決定し、前記表示位置の変動速度が速い場合は相対的に低い画質を決定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記決定部は、前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトの画質として前記静止仮想オブジェクトの解像度を決定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記決定部は、前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトの画質として前記静止仮想オブジェクトのテクスチャ、表示濃度、透明度、明度、又は色数を決定する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記決定部により決定された前記静止仮想オブジェクトの解像度に基づいて、フレームバッファに描画を実行する描画部を更に具備し、
前記表示制御部は、前記決定部により決定された解像度に基づいて、前記フレームバッファに描画された前記静止仮想オブジェクトの表示の大きさを制御する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記決定部は、前記取得部により取得された前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトの縦方向の解像度又は横方向の解像度を決定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
同一の画像で画質の異なる複数の前記静止仮想オブジェクトを予め保持する仮想オブジェクト保持テーブルを更に具備し、
前記決定部は、前記取得部により取得された前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記仮想オブジェクト保持テーブルに保持された複数の前記静止仮想オブジェクトから1つの前記静止仮想オブジェクトを選択し、
前記表示制御部は、前記決定部により選択された前記静止仮想オブジェクトの表示を制御する
情報処理装置。 - 請求項9に記載の情報処理装置であって、
前記仮想オブジェクト保持テーブルは、前記静止仮想オブジェクトをミップマッピング(Mipmapping)したミップマップ(MIP map)を予め保持する
情報処理装置。 - 請求項9に記載の情報処理装置であって、
前記仮想オブジェクト保持テーブルは、前記静止仮想オブジェクトから生成した複数種類の圧縮テクスチャ画像を予め保持する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記決定部で前記静止仮想オブジェクトを第1の画質から第2の画質に下げる決定をするために用いられる前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に対する第1の閾値と、前記決定部で前記静止仮想オブジェクトを前記第2の画質から前記第1の画質に上げる決定をするために用いられる、前記第1の閾値より小さい前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に対する第2の閾値とを保持する閾値テーブルを更に有し、
前記決定部は、前記取得部により取得された前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報と前記第1の閾値及び前記第2の閾値との比較に基づいて、前記静止仮想オブジェクトの画質を決定する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部により表示が制御された前記静止仮想オブジェクトを表示する透過型表示部
を更に具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部により表示が制御された前記静止仮想オブジェクトを他の画像と重畳して表示する非透過型表示部
を更に具備する情報処理装置。 - コンピュータにより実行される情報処理方法であって、
ユーザの動き情報を取得する取得ステップと、
前記取得した前記ユーザの動き情報に基づいて、仮想空間内にて静止している仮想オブジェクトである静止仮想オブジェクトの画質を決定する決定ステップと、
前記決定した画質に基づいて、前記静止仮想オブジェクトの表示を制御する表示制御ステップと
を含み、
前記取得ステップは、
実空間における前記ユーザ又は前記ユーザの周辺環境に関する情報を検知するセンサ部の検知結果に基づいて、前記ユーザの動き情報を取得し、
前記センサ部の検知結果に基づく前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトを表示する表示部の表示座標における前記静止仮想オブジェクトの表示位置を算出し、
前記静止仮想オブジェクトの表示位置の変動を、前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報として取得し、
前記決定ステップは、前記取得ステップにより取得された前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトの画質を決定する
情報処理方法。 - コンピュータに情報処理方法を実行させるプログラムであって、
前記情報処理方法は、
ユーザの動き情報を取得する取得ステップと、
前記取得した前記ユーザの動き情報に基づいて、仮想空間内にて静止している仮想オブジェクトである静止仮想オブジェクトの画質を決定する決定ステップと、
前記決定した画質に基づいて、前記静止仮想オブジェクトの表示を制御する表示制御ステップと
を含み、
前記取得ステップは、
実空間における前記ユーザ又は前記ユーザの周辺環境に関する情報を検知するセンサ部の検知結果に基づいて、前記ユーザの動き情報を取得し、
前記センサ部の検知結果に基づく前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトを表示する表示部の表示座標における前記静止仮想オブジェクトの表示位置を算出し、
前記静止仮想オブジェクトの表示位置の変動を、前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報として取得し、
前記決定ステップは、前記取得ステップにより取得された前記静止仮想オブジェクトの画質を決定するための前記ユーザの動き情報に基づいて、前記静止仮想オブジェクトの画質を決定する
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018160161 | 2018-08-29 | ||
JP2018160161 | 2018-08-29 | ||
PCT/JP2019/029783 WO2020044916A1 (ja) | 2018-08-29 | 2019-07-30 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020044916A1 JPWO2020044916A1 (ja) | 2021-09-24 |
JP7400721B2 true JP7400721B2 (ja) | 2023-12-19 |
Family
ID=69642694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020540171A Active JP7400721B2 (ja) | 2018-08-29 | 2019-07-30 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11726320B2 (ja) |
EP (1) | EP3846161A4 (ja) |
JP (1) | JP7400721B2 (ja) |
CN (1) | CN112585673A (ja) |
WO (1) | WO2020044916A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6716004B1 (ja) * | 2019-09-30 | 2020-07-01 | 株式会社バーチャルキャスト | 記録装置、再生装置、システム、記録方法、再生方法、記録プログラム、再生プログラム |
CN113706720A (zh) * | 2021-09-06 | 2021-11-26 | 联想(北京)有限公司 | 图像显示方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000348201A (ja) | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | 画像処理方法、その装置および記憶媒体 |
JP2005275797A (ja) | 2004-03-24 | 2005-10-06 | Namco Ltd | プログラム、情報記憶媒体、及び画像生成システム |
JP2011091789A (ja) | 2009-09-24 | 2011-05-06 | Brother Industries Ltd | ヘッドマウントディスプレイ |
WO2015145541A1 (ja) | 2014-03-24 | 2015-10-01 | 日立マクセル株式会社 | 映像表示装置 |
JP2016527536A (ja) | 2013-06-07 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
US20170178408A1 (en) | 2015-12-22 | 2017-06-22 | Google Inc. | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
WO2017135129A1 (ja) | 2016-02-02 | 2017-08-10 | 株式会社コロプラ | 仮想空間画像提供方法、及びそのプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10514541B2 (en) * | 2012-12-27 | 2019-12-24 | Microsoft Technology Licensing, Llc | Display update time reduction for a near-eye display |
KR102458124B1 (ko) * | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9256987B2 (en) * | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
KR102161510B1 (ko) * | 2013-09-02 | 2020-10-05 | 엘지전자 주식회사 | 포터블 디바이스 및 그 제어 방법 |
JP2015114905A (ja) * | 2013-12-12 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6646361B2 (ja) | 2015-04-27 | 2020-02-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
CN108027652B (zh) * | 2015-09-16 | 2021-06-22 | 索尼公司 | 信息处理设备、信息处理方法以及记录介质 |
CN108604388B (zh) * | 2015-10-17 | 2023-07-04 | 卡尔蔡司显微镜软件中心罗斯托克有限公司 | 虚拟现实和/或扩增现实中的直接体渲染 |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
JP6310898B2 (ja) * | 2015-11-17 | 2018-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、情報処理装置、および画像処理方法 |
US10078218B2 (en) * | 2016-01-01 | 2018-09-18 | Oculus Vr, Llc | Non-overlapped stereo imaging for virtual reality headset tracking |
JP2016157458A (ja) | 2016-03-31 | 2016-09-01 | ソニー株式会社 | 情報処理装置 |
GB2553744B (en) * | 2016-04-29 | 2018-09-05 | Advanced Risc Mach Ltd | Graphics processing systems |
DE202017104928U1 (de) * | 2016-08-23 | 2017-11-24 | Google Inc. | Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen |
CA3078895A1 (en) * | 2017-10-27 | 2019-05-02 | Magic Leap, Inc. | Virtual reticle for augmented reality systems |
US20190130631A1 (en) * | 2017-11-01 | 2019-05-02 | Tsunami VR, Inc. | Systems and methods for determining how to render a virtual object based on one or more conditions |
JP7059662B2 (ja) * | 2018-02-02 | 2022-04-26 | トヨタ自動車株式会社 | 遠隔操作システム、及びその通信方法 |
WO2019178566A1 (en) * | 2018-03-16 | 2019-09-19 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
-
2019
- 2019-07-30 EP EP19853647.6A patent/EP3846161A4/en active Pending
- 2019-07-30 US US17/260,088 patent/US11726320B2/en active Active
- 2019-07-30 CN CN201980054725.XA patent/CN112585673A/zh active Pending
- 2019-07-30 JP JP2020540171A patent/JP7400721B2/ja active Active
- 2019-07-30 WO PCT/JP2019/029783 patent/WO2020044916A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000348201A (ja) | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | 画像処理方法、その装置および記憶媒体 |
JP2005275797A (ja) | 2004-03-24 | 2005-10-06 | Namco Ltd | プログラム、情報記憶媒体、及び画像生成システム |
JP2011091789A (ja) | 2009-09-24 | 2011-05-06 | Brother Industries Ltd | ヘッドマウントディスプレイ |
JP2016527536A (ja) | 2013-06-07 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
WO2015145541A1 (ja) | 2014-03-24 | 2015-10-01 | 日立マクセル株式会社 | 映像表示装置 |
US20170178408A1 (en) | 2015-12-22 | 2017-06-22 | Google Inc. | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
WO2017135129A1 (ja) | 2016-02-02 | 2017-08-10 | 株式会社コロプラ | 仮想空間画像提供方法、及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11726320B2 (en) | 2023-08-15 |
EP3846161A4 (en) | 2021-10-20 |
JPWO2020044916A1 (ja) | 2021-09-24 |
US20210271075A1 (en) | 2021-09-02 |
WO2020044916A1 (ja) | 2020-03-05 |
EP3846161A1 (en) | 2021-07-07 |
CN112585673A (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12008151B2 (en) | Tracking and drift correction | |
CN111602140B (zh) | 分析由头戴式设备的相机记录的图像中的对象的方法 | |
JP6844542B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3195595B1 (en) | Technologies for adjusting a perspective of a captured image for display | |
EP2813922B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
US10412379B2 (en) | Image display apparatus having live view mode and virtual reality mode and operating method thereof | |
US20190026864A1 (en) | Super-resolution based foveated rendering | |
US11244496B2 (en) | Information processing device and information processing method | |
KR20180082253A (ko) | 영상 출력 방법 및 이를 지원하는 전자 장치 | |
WO2016157677A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111095364A (zh) | 信息处理装置、信息处理方法和程序 | |
US11320667B2 (en) | Automated video capture and composition system | |
JP7400721B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017182247A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11004273B2 (en) | Information processing device and information processing method | |
KR20180045644A (ko) | 머리 착용형 디스플레이 장치 및 그의 제어 방법 | |
CN117837162A (zh) | 低功率的动态捕获参数处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220617 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7400721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |