JP2022030844A - 情報処理プログラム、情報処理装置及び情報処理方法 - Google Patents
情報処理プログラム、情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP2022030844A JP2022030844A JP2020135131A JP2020135131A JP2022030844A JP 2022030844 A JP2022030844 A JP 2022030844A JP 2020135131 A JP2020135131 A JP 2020135131A JP 2020135131 A JP2020135131 A JP 2020135131A JP 2022030844 A JP2022030844 A JP 2022030844A
- Authority
- JP
- Japan
- Prior art keywords
- information
- light source
- user terminal
- virtual
- reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
図1は、本発明の少なくとも1つの実施形態における情報処理装置の構成の例を示すブロック図である。図1に示すように、本発明の第1の実施形態における情報処理装置10は、位置情報取得部11と、時刻情報取得部12と、天候情報取得部13と、天然光源推定部14と、現実対応オブジェクト情報取得部15と、撮影画像取得部16と、第一光源影響演算部17と、仮想オブジェクト情報取得部18と、第二光源影響演算部19と、重畳表示部20と、記憶部21とを備える。図1の各構成の詳細については後述する。
第1の実施形態においては、周辺の現実のオブジェクトとの整合性を考慮した仮想オブジェクトのAR表示を行うために、現実対応オブジェクトを配置した仮想空間上に仮想オブジェクトを配置してから、推定した天然光源の影響を演算するようにしていたが、この第2の実施の形態においては、現実対応オブジェクトに対する天然光源の影響を演算してその状況を仮想カメラで撮影して仮想撮影画像を得ることで、ユーザが実際に撮影した撮影画像に映るオブジェクトを特定するためのトラッキング処理に利用する例について説明する。
第1及び第2の実施形態においては、ユーザ端末による撮影方向は、ユーザ端末が備える方位センサによって取得するものとして説明を行ったが、撮影画像に映るオブジェクトトとその影の伸びる方向に基づいて、ソーラーコンパスの原理によって撮影方向を特定するようにしてもよい。
11 位置情報取得部
12 時刻情報取得部
13 天候情報取得部
14 天然光源推定部
15 現実対応オブジェクト情報取得部
16 撮影画像取得部
17 第一光源影響演算部
18 仮想オブジェクト情報取得部
19 第二光源影響演算部
20 重畳表示部
21 記憶部
22 仮想撮影画像生成部
23 撮影オブジェクト特定部
30 サーバ装置
40、401~40n ユーザ端末
50 通信ネットワーク
Claims (8)
- ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理をコンピュータに実現させるための情報処理プログラムであって、
前記コンピュータに、
前記ユーザ端末の位置情報を取得する位置情報取得機能と、
現在時刻情報を取得する時刻取得機能と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得機能と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定機能と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト(現実対応オブジェクト)の情報を取得する現実対応オブジェクト情報取得機能と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得機能と、
推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算機能と、
前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得機能と、
前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算機能と、
前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示機能と
を実現させる情報処理プログラム。 - 前記天然光源推定機能は、日時と前記ユーザ端末の位置情報とから推定される太陽の方向の情報を取得し、また、内側に位置する全てのオブジェクトに対して拡散アンビエントカラーを追加するアンビエントライトとして機能する半球状の光源を定義して、前記時刻情報及び前記天候情報から推測される空の色を半球状の光源に設定されるアンビエントカラーとする
請求項1記載の情報処理プログラム。 - 前記第二光源影響演算機能は、前記現実対応オブジェクトの中に前記仮想オブジェクトを配置した状態において前記天然光源の影響を考慮したレンダリング処理を実行した結果から、前記第一光源影響演算機能における演算結果を減算することで、前記仮想オブジェクトに対する天然光源の影響のみを抽出する
請求項1又は2に記載の情報処理プログラム。 - ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理を行うための情報処理装置であって、
前記ユーザ端末の位置情報を取得する位置情報取得部と、
現在時刻情報を取得する時刻取得部と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定部と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト(現実対応オブジェクト)の情報を取得する現実対応オブジェクト情報取得部と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得部と、
推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算部と、
前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得部と、
前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算部と、
前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示部と
を備える情報処理装置。 - ユーザが所持するユーザ端末によって撮影された撮影画像に対して、現実空間の所定位置と対応付けて記憶させた仮想オブジェクトを重畳表示させる処理をコンピュータに実行させるための情報処理方法であって、
前記ユーザ端末の位置情報を取得する位置情報取得手順と、
現在時刻情報を取得する時刻取得手順と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定手順と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト(現実対応オブジェクト)の情報を取得する現実対応オブジェクト情報取得手順と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得手順と、
推定した前記天然光源状況における前記現実対応オブジェクトに対する光源の影響を演算する第一光源影響演算手順と、
前記ユーザ端末の位置周辺に配置され前記カメラ装置の撮影範囲内に位置する可能性のある前記仮想オブジェクトの情報を取得する仮想オブジェクト情報取得手順と、
前記現実対応オブジェクトに対する天然光源の影響を考慮しつつ、推定した前記天然光源状況における前記仮想オブジェクトに対する光源の影響を演算する第二光源影響演算手順と、
前記撮影画像上における前記仮想オブジェクトの接地位置を特定し、前記仮想オブジェクト及び演算した光源影響を前記撮影画像上の特定した接地位置に対して重畳表示させる重畳表示手順と
を含む情報処理方法。 - ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト(現実対応オブジェクト)とを照合して撮影画像に映るオブジェクトを特定する処理をコンピュータに実現させるための情報処理プログラムであって、
前記コンピュータに、
前記ユーザ端末の位置情報を取得する位置情報取得機能と、
現在時刻情報を取得する時刻取得機能と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得機能と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定機能と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト(現実対応オブジェクト)の情報を取得する現実対応オブジェクト情報取得機能と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得機能と、
前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも1パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成機能と、
前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定機能と
を実現させる情報処理プログラム。 - ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト(現実対応オブジェクト)とを照合して撮影画像に映るオブジェクトを特定する処理を行うための情報処理装置であって、
前記ユーザ端末の位置情報を取得する位置情報取得部と、
現在時刻情報を取得する時刻取得部と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得部と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定部と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト(現実対応オブジェクト)の情報を取得する現実対応オブジェクト情報取得部と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得部と、
前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも1パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成部と、
前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定部と
を備える情報処理装置。 - ユーザが所持するユーザ端末によって撮影された撮影画像に映る現実のオブジェクトと、現実のオブジェクトに予め対応させて記憶させた仮想空間上のオブジェクト(現実対応オブジェクト)とを照合して撮影画像に映るオブジェクトを特定する処理をコンピュータに実行させるための情報処理方法であって、
前記ユーザ端末の位置情報を取得する位置情報取得手順と、
現在時刻情報を取得する時刻取得手順と、
ユーザ端末の位置情報に基づいて当該位置の天候情報を取得する天候情報取得手順と、
取得した前記位置情報、前記時刻情報及び前記天候情報に基づいて、前記ユーザ端末の位置における天然光源の状況を推定する天然光源推定手順と、
前記位置情報に基づいて前記ユーザ端末の周辺に存在する現実のオブジェクトに予め対応させた仮想空間上のオブジェクト(現実対応オブジェクト)の情報を取得する現実対応オブジェクト情報取得手順と、
前記ユーザ端末が備えるカメラ装置によって現実空間を撮影することで得られた前記撮影画像及び撮影方向情報を取得する撮影画像取得手順と、
前記撮影画像と概略同一位置かつ概略同一撮影方向と推定される少なくとも1パターンについて仮想カメラを設置して仮想空間上を撮影する条件において、推定した前記天然光源の状況における現実対応オブジェクトに対する光源の影響を考慮したレンダリングを実行して仮想撮影画像を生成する仮想撮影画像生成手順と、
前記撮影画像と前記仮想撮影画像とについて視覚的特徴の一致箇所を特定して、両者の一致度に基づいて撮影画像に映るオブジェクトを特定する撮影オブジェクト特定手順と
を含む情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135131A JP7125963B2 (ja) | 2020-08-07 | 2020-08-07 | 情報処理プログラム、情報処理装置及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135131A JP7125963B2 (ja) | 2020-08-07 | 2020-08-07 | 情報処理プログラム、情報処理装置及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022030844A true JP2022030844A (ja) | 2022-02-18 |
JP7125963B2 JP7125963B2 (ja) | 2022-08-25 |
Family
ID=80324289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020135131A Active JP7125963B2 (ja) | 2020-08-07 | 2020-08-07 | 情報処理プログラム、情報処理装置及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7125963B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117424970A (zh) * | 2023-10-23 | 2024-01-19 | 神力视界(深圳)文化科技有限公司 | 灯光控制方法、装置、移动终端及存储介质 |
CN117424969A (zh) * | 2023-10-23 | 2024-01-19 | 神力视界(深圳)文化科技有限公司 | 灯光控制方法、装置、移动终端及存储介质 |
WO2024071208A1 (ja) * | 2022-09-27 | 2024-04-04 | 株式会社Jvcケンウッド | 表示装置、表示方法及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002117413A (ja) * | 2000-10-10 | 2002-04-19 | Univ Tokyo | 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 |
JP2009134681A (ja) * | 2007-11-07 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2009163610A (ja) * | 2008-01-09 | 2009-07-23 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2013517579A (ja) * | 2010-03-25 | 2013-05-16 | ビズモードライン カンパニー リミテッド | 拡張現実システム |
JP2013149029A (ja) * | 2012-01-18 | 2013-08-01 | Sharp Corp | 情報処理装置、情報処理方法 |
JP2013196616A (ja) * | 2012-03-22 | 2013-09-30 | Sharp Corp | 情報端末装置、情報処理方法 |
-
2020
- 2020-08-07 JP JP2020135131A patent/JP7125963B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002117413A (ja) * | 2000-10-10 | 2002-04-19 | Univ Tokyo | 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 |
JP2009134681A (ja) * | 2007-11-07 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2009163610A (ja) * | 2008-01-09 | 2009-07-23 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2013517579A (ja) * | 2010-03-25 | 2013-05-16 | ビズモードライン カンパニー リミテッド | 拡張現実システム |
JP2013149029A (ja) * | 2012-01-18 | 2013-08-01 | Sharp Corp | 情報処理装置、情報処理方法 |
JP2013196616A (ja) * | 2012-03-22 | 2013-09-30 | Sharp Corp | 情報端末装置、情報処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024071208A1 (ja) * | 2022-09-27 | 2024-04-04 | 株式会社Jvcケンウッド | 表示装置、表示方法及びプログラム |
CN117424970A (zh) * | 2023-10-23 | 2024-01-19 | 神力视界(深圳)文化科技有限公司 | 灯光控制方法、装置、移动终端及存储介质 |
CN117424969A (zh) * | 2023-10-23 | 2024-01-19 | 神力视界(深圳)文化科技有限公司 | 灯光控制方法、装置、移动终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7125963B2 (ja) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109643465B (zh) | 用于创建混合现实环境的***、方法、显示装置、介质 | |
US10573067B1 (en) | Digital 3D model rendering based on actual lighting conditions in a real environment | |
CN111462311B (zh) | 全景图生成方法及装置、存储介质 | |
JP2022030844A (ja) | 情報処理プログラム、情報処理装置及び情報処理方法 | |
US8290294B2 (en) | Dehazing an image using a three-dimensional reference model | |
JP7007348B2 (ja) | 画像処理装置 | |
US20110234631A1 (en) | Augmented reality systems | |
CN112419472B (zh) | 一种基于虚拟阴影图的增强现实实时阴影生成方法 | |
US20130342713A1 (en) | Cloud service based intelligent photographic method, device and mobile terminal | |
CN112870707B (zh) | 虚拟场景中的虚拟物体展示方法、计算机设备及存储介质 | |
US20100066750A1 (en) | Mobile virtual and augmented reality system | |
CN111260769B (zh) | 一种基于动态光照变化的实时渲染方法及装置 | |
CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
US8619071B2 (en) | Image view synthesis using a three-dimensional reference model | |
CN114387445A (zh) | 对象关键点识别方法及装置、电子设备和存储介质 | |
CN106203279B (zh) | 一种增强现实中目标对象的识别方法、装置及移动终端 | |
EP3848894B1 (en) | Method and device for segmenting image, and storage medium | |
CN115861503A (zh) | 虚拟物体的渲染方法、装置、设备及存储介质 | |
CN113822936A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN116152075A (zh) | 光照估计方法、装置以及*** | |
CN112884909A (zh) | Ar特效的显示方法、装置、计算机设备及存储介质 | |
Ha et al. | DigiLog Space: Real-time dual space registration and dynamic information visualization for 4D+ augmented reality | |
JP5363256B2 (ja) | 情報端末装置 | |
CN117011446B (zh) | 一种动态环境光照的实时渲染方法 | |
CN113507560B (zh) | 图像处理的方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200817 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7125963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |