JP7465133B2 - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP7465133B2 JP7465133B2 JP2020056622A JP2020056622A JP7465133B2 JP 7465133 B2 JP7465133 B2 JP 7465133B2 JP 2020056622 A JP2020056622 A JP 2020056622A JP 2020056622 A JP2020056622 A JP 2020056622A JP 7465133 B2 JP7465133 B2 JP 7465133B2
- Authority
- JP
- Japan
- Prior art keywords
- environment map
- image
- polyhedron
- information processing
- mapped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims 4
- 239000013598 vector Substances 0.000 claims description 107
- 238000013507 mapping Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 52
- 238000003384 imaging method Methods 0.000 description 29
- 238000009877 rendering Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 22
- 238000012545 processing Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 230000007613 environmental effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- User Interface Of Digital Computer (AREA)
Description
環境マッピングにおいて、仮想物体における現実空間の映り込みの位置が正確に表現されない主な原因は、主に次の2点である。つまり、計算を省略するために、周囲の空間の形状を球体あるいは立方体などの多面体で近似することと、多面体の大きさを映り込みが発生する物体に対し十分に大きく設定することにある。これらの原因によって、特に仮想物体の近傍の周囲の現実空間の映り込みは誤差が大きくなることが多い。本実施形態を含む以下の各実施形態では、複合現実感において上記問題を低減するために、周囲の現実空間の形状や、現実空間に存在する特定物体までの距離や位置を計測し、この情報を利用して近似の精度を向上させる。
本実施形態を含む以下の各実施形態では、第1の実施形態との差分について説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。一般的な環境マッピングでは、環境マップに利用する立方体や球体などの多面体に対して、映り込みが発生する仮想物体を十分に大きく設定し、またユーザの視線ベクトルと仮想物体との交点が環境マップの多面体の中心に存在するものと仮定する。これにより、交点での反射ベクトルから、環境マップにおけるどの画素の色を交点における映り込みの色としてサンプリングするかを簡易な計算で求めることができる。
第1,2の実施形態では、RGB-Dセンサを用いて、環境マップの色画像を取得する取得デバイス(つまり該RGB-Dセンサ)から現実物体までの距離を直接的に計測している。しかし、環境マップの色画像を取得する取得デバイスと現実物体までの距離を計測することができれば、取得デバイスとして利用可能なデバイスはRGB-Dセンサに限らない。たとえば、色画像の取得デバイスとして広角カメラを用いてもよい。広角カメラは一般にRGB-Dセンサよりも入手性が高く、視野角も広いため、より簡便にシステムを構築・運用できると考えられる。本実施形態では、HMDの撮像部には複数のカメラもしくは深度センサが搭載されており、HMDからの深度情報を取得することで、環境マップの色画像を取得する広角カメラと現実物体までの距離情報を取得する場合について説明する。
上記の各実施形態では、HMDはビデオシースルー型のHMDであるものとして説明したが、光学シースルー方式のHMDであってもよい。後者の場合、合成部1240は、仮想物体画像をHMDの表示部に出力することになる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (13)
- 背景用の色画像をマッピングした多面体を第1環境マップとして生成する第1生成手段と、
現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第2環境マップとして生成する第2生成手段と、
仮想物体の画像を生成する第3生成手段と
を備え、
前記第3生成手段は、前記仮想物体の画像の画素値を、前記第1環境マップと、前記第2環境マップと、に基づいて決定する
ことを特徴とする情報処理装置。 - 前記第1生成手段は、現実空間に対応する多面体を、該現実空間の距離画像に基づいて生成し、該多面体に該現実空間の色画像をマッピングしたマッピング済み多面体を、前記第1環境マップとして生成することを特徴とする請求項1に記載の情報処理装置。
- 前記第2生成手段は、前記デバイスの位置を中心とし且つ前記距離に応じたサイズを有する多面体を設定し、該設定した多面体に前記デバイスが取得した移動体の色画像をマッピングしたマッピング済み多面体を、前記第2環境マップとして生成することを特徴とする請求項1または2に記載の情報処理装置。
- 前記第3生成手段は、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の位置への視線ベクトルの、該位置における反射ベクトルを求める手段と、
前記第2環境マップにおいて前記反射ベクトルとの交点位置が、該第2環境マップにマッピングされている移動体の画像領域内であれば、前記第2環境マップの前記反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定し、前記第2環境マップにおいて前記反射ベクトルとの交点位置が、該第2環境マップにマッピングされている移動体の画像領域外であれば、前記第1環境マップの前記反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定する手段と
を備えることを特徴とする請求項1ないし3の何れか1項に記載の情報処理装置。 - 背景用の色画像をマッピングした多面体を第1環境マップとして生成する第1生成手段と、
移動体を含む現実空間の色画像をマッピングした多面体を第2環境マップとして生成する第2生成手段と、
仮想物体の画像を生成する第3生成手段と
を備え、
前記第3生成手段は、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の対応位置への視線ベクトルの、該対応位置における反射ベクトルを求め、該反射ベクトルを前記第1環境マップおよび前記第2環境マップのそれぞれについて補正した補正反射ベクトルと、前記第1環境マップと、前記第2環境マップと、に基づいて、前記着目画素の画素値を決定する
ことを特徴とする情報処理装置。 - 前記第1生成手段は、現実空間の色画像を、該現実空間よりも大きいサイズの多面体にマッピングしたマッピング済み多面体を、前記第1環境マップとして生成することを特徴とする請求項5に記載の情報処理装置。
- 前記第2生成手段は、移動体を含む現実空間の色画像を、該現実空間よりも大きいサイズの多面体にマッピングしたマッピング済み多面体を、前記第2環境マップとして生成することを特徴とする請求項5または6に記載の情報処理装置。
- 前記第3生成手段は、
前記反射ベクトルを、前記第1環境マップの中心位置から前記対応位置へのベクトルに基づいて補正した第1補正反射ベクトルを求める手段と、
前記反射ベクトルを、前記第2環境マップの中心位置から前記対応位置へのベクトルに基づいて補正した第2補正反射ベクトルを求める手段と、
前記第2環境マップにおいて前記第2補正反射ベクトルとの交点位置が、該第2環境マップにマッピングされている移動体の画像領域内であれば、前記第2環境マップの前記第2補正反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定し、前記第2環境マップにおいて前記第2補正反射ベクトルとの交点位置が、該第2環境マップにマッピングされている移動体の画像領域外であれば、前記第1環境マップの前記第1補正反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定する手段と
を備えることを特徴とする請求項5ないし7の何れか1項に記載の情報処理装置。 - 前記第3生成手段は、
前記仮想物体の画像を、頭部装着型表示装置によって撮像された現実空間の画像と合成して該頭部装着型表示装置に出力することを特徴とする請求項1ないし8の何れか1項に記載の情報処理装置。 - 前記現実空間は、複合現実空間を体感する空間であることを特徴とする請求項1ないし9の何れか1項に記載の情報処理装置。
- 情報処理装置が行う情報処理方法であって、
前記情報処理装置の第1生成手段が、背景用の色画像をマッピングした多面体を第1環境マップとして生成する第1生成工程と、
前記情報処理装置の第2生成手段が、現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第2環境マップとして生成する第2生成工程と、
前記情報処理装置の第3生成手段が、仮想物体の画像を生成する第3生成工程と
を備え、
前記第3生成工程では、前記仮想物体の画像の画素値を、前記第1環境マップと、前記第2環境マップと、に基づいて決定する
ことを特徴とする情報処理方法。 - 情報処理装置が行う情報処理方法であって、
前記情報処理装置の第1生成手段が、背景用の色画像をマッピングした多面体を第1環境マップとして生成する第1生成工程と、
前記情報処理装置の第2生成手段が、移動体を含む現実空間の色画像をマッピングした多面体を第2環境マップとして生成する第2生成工程と、
前記情報処理装置の第3生成手段が、仮想物体の画像を生成する第3生成工程と
を備え、
前記第3生成工程では、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の対応位置への視線ベクトルの、該対応位置における反射ベクトルを求め、該反射ベクトルを前記第1環境マップおよび前記第2環境マップのそれぞれについて補正した補正反射ベクトルと、前記第1環境マップと、前記第2環境マップと、に基づいて、前記着目画素の画素値を決定する
ことを特徴とする情報処理方法。 - コンピュータを、請求項1ないし10の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056622A JP7465133B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置、情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056622A JP7465133B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021157458A JP2021157458A (ja) | 2021-10-07 |
JP2021157458A5 JP2021157458A5 (ja) | 2023-03-29 |
JP7465133B2 true JP7465133B2 (ja) | 2024-04-10 |
Family
ID=77917934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020056622A Active JP7465133B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置、情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7465133B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033531A (ja) | 2006-07-27 | 2008-02-14 | Canon Inc | 情報処理方法 |
JP2020535557A (ja) | 2017-09-29 | 2020-12-03 | 株式会社ソニー・インタラクティブエンタテインメント | 自律型パーソナルコンパニオンのモジュール階層視覚システム |
-
2020
- 2020-03-26 JP JP2020056622A patent/JP7465133B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033531A (ja) | 2006-07-27 | 2008-02-14 | Canon Inc | 情報処理方法 |
JP2020535557A (ja) | 2017-09-29 | 2020-12-03 | 株式会社ソニー・インタラクティブエンタテインメント | 自律型パーソナルコンパニオンのモジュール階層視覚システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021157458A (ja) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928838B2 (en) | Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display | |
CN107209950B (zh) | 从现实世界材料自动生成虚拟材料 | |
JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
US11379948B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
WO2018116790A1 (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
KR102359978B1 (ko) | 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 | |
JP4804256B2 (ja) | 情報処理方法 | |
JP5818773B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4667111B2 (ja) | 画像処理装置、画像処理方法 | |
KR20180101496A (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
US20180018791A1 (en) | Computer program, head-mounted display device, and calibration method | |
JP2020514908A (ja) | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 | |
JP2018511098A (ja) | 複合現実システム | |
JP2004062758A (ja) | 情報処理装置および方法 | |
CN108885342A (zh) | 用于低延迟渲染的宽基线立体 | |
JP2020052790A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
CN110969706B (zh) | 增强现实设备及其图像处理方法、***以及存储介质 | |
US20220300120A1 (en) | Information processing apparatus, and control method | |
JP7465133B2 (ja) | 情報処理装置、情報処理方法 | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
WO2018173205A1 (ja) | 情報処理システム、その制御方法、及びプログラム | |
JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
JP6503098B1 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP7175715B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7465133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |