JP2019045997A - 情報処理装置及びその方法、プログラム - Google Patents
情報処理装置及びその方法、プログラム Download PDFInfo
- Publication number
- JP2019045997A JP2019045997A JP2017166108A JP2017166108A JP2019045997A JP 2019045997 A JP2019045997 A JP 2019045997A JP 2017166108 A JP2017166108 A JP 2017166108A JP 2017166108 A JP2017166108 A JP 2017166108A JP 2019045997 A JP2019045997 A JP 2019045997A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- reliability
- information processing
- virtual object
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】 情報処理装置に、現実空間を撮像した撮像画像を取得する画像取得手段と、現実物体の位置姿勢情報を取得する情報取得手段と、前記位置姿勢情報の信頼度を算出する算出手段と、前記画像から仮想物体を配置する3次元位置を設定する設定手段と、前記3次元位置に仮想物体を配置する配置手段と、体験者が前記3次元位置を確定すると、前記信頼度が閾値以上かを判断する第一の判断手段と、前記信頼度について前記第一の判断手段とは異なる条件で判断する第二の判断手段と、前記第一の判断手段で前記信頼度が閾値未満と判断され、前記第二の判断手段で前記条件が満たされていると判断された場合に、イベントを実行する実行手段とを備える。
【選択図】 図1
Description
図1は、本実施形態に係るシステムの機能構成例を示すブロック図である。図1に示すように、本実施形態に係るシステムは、情報処置装置100と、入力受付部130と、頭部装着型表示装置の一例としてのHMD120で構成されている。また、情報処理装置100は、位置姿勢信頼度判断部101、位置姿勢信頼度算出部102、位置姿勢取得部103、3次元ポイント計算部104、3次元ポイント変更部105を備える。情報処理装置100は、さらに、仮想物体データベース106、3次元ポイント確定部107、イベント実施部108、仮想物体描画部109、合成部110を備える。ここで、情報処理装置100とHMD120とはデータ通信が可能なように接続されている。情報処理装置100とHMD120との間の接続は、有線、無線の何れであっても構わない。
(1)マーカが画面上で小さく映っている場合
(2)撮像部121とマーカの間に遮蔽物が入ってマーカが隠される場合
(3)マーカが撮像部121の視野外で映らない場合
また、仮想物体の位置姿勢を位置姿勢センサにより計測する場合であっても、環境ノイズや計測範囲外になるなど、信頼性が低下する状況が考えられる。そこで、信頼度は例えば、マーカが認識されていれば1、認識されていなければ0、マーカ領域が撮像画像装置画像上を占める割合の10パーセントを下回った場合は0.5と定義する。
上記実施形態1では、位置姿勢の信頼度が閾値未満になった場合には即座に3次元ポインタの仮想物体の色を変更し、体験者へ提示をした。本実施形態では位置姿勢の信頼度の第一の閾値判定をする第一の判断とは異なる条件で判断する第二の判断を追加する。第二の判断は、例えば第二の閾値以上の間、位置姿勢の信頼度が第二の閾値未満になった場合に体験者はイベントを実施できなくする。第二の判断手段を使う場合を実施形態1に追加して示す。
上記実施形態1、2では、位置姿勢の信頼度が低下したときには操作を実施させないようにする装置であった。本実施形態では、位置姿勢の信頼度が低下したときには過去の値から計算によって、位置姿勢値を決定する方法について実施形態1、2に追加して示す。本実施形態に係るシステムについて、図6のブロック図を用いて説明する。図6において、図1と同じ構成要素には同じ参照番号を付けており、その説明は省略する。
上記実施形態3では、位置姿勢の信頼度が低下したときには過去の値から予測をして、位置姿勢値を決定していた。本実施形態では、位置姿勢の信頼度が低下したときには付近にある特徴のある場所を予測値として3次元ポインタ位置を決定する方法について実施形態1、2、3に追加して示す。本実施形態に係るシステムについて、図8のブロック図を用いて説明する。図8において、図1、6と同じ構成要素には同じ参照番号を付けており、その説明は省略する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 位置姿勢信頼度判断部
102 位置姿勢信頼度算出部
103 位置姿勢取得部
104 3次元ポイント計算部
105 3次元ポイント変更部
106 仮想物体データベース
107 3次元ポイント確定部
108 イベント実施部
109 仮想物体描画部
110 合成部
120 HMD
121 撮像部
122 表示部
130 入力受付部
Claims (18)
- 現実空間を撮像した撮像画像を取得する画像取得手段と、
現実物体の位置姿勢情報を取得する情報取得手段と、
前記位置姿勢情報の信頼度を算出する算出手段と、
前記画像から仮想物体を配置する3次元位置を設定する設定手段と、
前記3次元位置に仮想物体を配置する配置手段と、
体験者が前記3次元位置を確定すると、前記信頼度が閾値以上かを判断する第一の判断手段と、
前記信頼度について前記第一の判断手段とは異なる条件で判断する第二の判断手段と、
前記第一の判断手段で前記信頼度が閾値未満と判断され、前記第二の判断手段で前記条件が満たされていると判断された場合に、イベントを実行する実行手段と
を有することを特徴とする情報処理装置。 - 前記第二の判断手段は、前記信頼度が閾値未満である時間が第二の閾値以内のときに前記条件を満たすと判断することを特徴とする請求項1に記載の情報処理装置。
- 前記第二の判断手段は、前記体験者が操作する現実物体の移動速度から判断される移動距離が第二の閾値以内のときに前記条件を満たすと判断することを特徴とする請求項1または2に記載の情報処理装置。
- 前記3次元位置が確定されたときにイベントを発行する発行手段を備え、
前記実行手段は、前記イベントが発行された状態で、前記前記第一の判断手段で前記信頼度が閾値未満と判断され、前記第二の判断手段で前記条件が満たされていると判断された場合に、当該イベントを実行する請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記3次元位置を予測する予測手段を備え、
前記実行手段は、前記イベントが発行された状態で、前記第一の判断手段で閾値未満と判断された場合に、前記予測手段で予測された3次元位置を利用してイベントを実行することを特徴とする請求項4に記載の情報処理装置。 - 前記予測手段は、前記第一の判断手段で閾値以上と判断された時の前記3次元位置とその時刻を保存する保存手段を備え、前記保存手段で保存された情報から、前記3次元位置を計算によって予測することを特徴とする請求項5に記載の情報処理装置。
- 前記予測手段は、前記保存手段で保存された3次元位置を取得する位置取得手段を備え、前記位置取得手段で取得した3次元位置から閾値の範囲内の特徴点を、予測した3次元位置として用いることを特徴とする請求項6に記載の情報処理装置。
- 前記特徴点は、仮想物体のポリゴンの頂点であることを特徴とする請求項7に記載の情報処理装置。
- 前記特徴点は、仮想物体のポリゴンの辺の中心であることを特徴とする請求項7に記載の情報処理装置。
- 前記特徴点は、仮想物体のポリゴンの面の中心であることを特徴とする請求項7に記載の情報処理装置。
- 前記特徴点は、前記撮像手段で撮像された現実空間の画像の特徴点であることを特徴とする請求項7に記載の情報処理装置。
- 前記配置手段は、前記第一及び第二の判断手段の判断結果を視覚的に示すことを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
- 前記判断結果を視覚的に示す方法として、前記仮想物体の色を変更することを特徴とする請求項12に記載の情報処理装置。
- 前記判断結果を視覚的に示す方法として、前記仮想物体の透明度を変更することを特徴とする請求項12に記載の情報処理装置。
- 前記判断結果を視覚的に示す方法として、前記仮想物体の形状を変更することを特徴とする請求項12に記載の情報処理装置。
- 前記判断結果を視覚的に示す方法として、前記仮想物体に補助的な情報を追加することを特徴とする請求項12に記載の情報処理装置。
- 現実空間を撮像した撮像画像を取得する画像取得工程と、
現実物体の位置姿勢情報を取得する情報取得工程と、
前記位置姿勢情報の信頼度を算出する算出工程と、
前記画像から仮想物体を配置する3次元位置を設定する設定工程と、
前記3次元位置に仮想物体を配置する配置工程と、
体験者が前記3次元位置を確定すると、前記信頼度が閾値以上かを判断する第一の判断工程と、
前記信頼度について前記第一の判断工程とは異なる条件で判断する第二の判断工程と、
前記第一の判断手段で前記信頼度が閾値未満と判断され、前記第二の判断手段で前記条件が満たされていると判断された場合に、イベントを実行する実行工程と
を備えることを特徴とする情報処理方法。 - コンピュータを請求項1乃至16のいずれか1項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166108A JP7039216B2 (ja) | 2017-08-30 | 2017-08-30 | 情報処理装置及びその方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166108A JP7039216B2 (ja) | 2017-08-30 | 2017-08-30 | 情報処理装置及びその方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019045997A true JP2019045997A (ja) | 2019-03-22 |
JP7039216B2 JP7039216B2 (ja) | 2022-03-22 |
Family
ID=65812745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017166108A Active JP7039216B2 (ja) | 2017-08-30 | 2017-08-30 | 情報処理装置及びその方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7039216B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022153910A1 (ja) * | 2021-01-12 | 2022-07-21 | 日本電気株式会社 | 検出システム、検出方法、及びプログラム |
WO2023195301A1 (ja) * | 2022-04-04 | 2023-10-12 | ソニーグループ株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005147894A (ja) * | 2003-11-17 | 2005-06-09 | Canon Inc | 計測方法、計測装置 |
JP2015211363A (ja) * | 2014-04-28 | 2015-11-24 | 富士通株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP2017016376A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2017142785A (ja) * | 2016-02-05 | 2017-08-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2017
- 2017-08-30 JP JP2017166108A patent/JP7039216B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005147894A (ja) * | 2003-11-17 | 2005-06-09 | Canon Inc | 計測方法、計測装置 |
JP2015211363A (ja) * | 2014-04-28 | 2015-11-24 | 富士通株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP2017016376A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2017142785A (ja) * | 2016-02-05 | 2017-08-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022153910A1 (ja) * | 2021-01-12 | 2022-07-21 | 日本電気株式会社 | 検出システム、検出方法、及びプログラム |
JP7444292B2 (ja) | 2021-01-12 | 2024-03-06 | 日本電気株式会社 | 検出システム、検出方法、及びプログラム |
WO2023195301A1 (ja) * | 2022-04-04 | 2023-10-12 | ソニーグループ株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7039216B2 (ja) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6618681B2 (ja) | 情報処理装置及びその制御方法及びプログラム、並びに、情報処理システム | |
US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
US7292240B2 (en) | Virtual reality presentation device and information processing method | |
US9007399B2 (en) | Information processing apparatus and method for generating image of virtual space | |
JP6978701B2 (ja) | 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム | |
US20150199850A1 (en) | Information processing apparatus and information processing method | |
CN110956695B (zh) | 信息处理装置、信息处理方法和存储介质 | |
JP6290754B2 (ja) | 仮想空間表示装置、仮想空間表示方法及びプログラム | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP7039216B2 (ja) | 情報処理装置及びその方法、プログラム | |
JP2021135776A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017016376A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6882147B2 (ja) | 操作案内システム | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP2013092888A (ja) | データ処理装置 | |
US20200258193A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2018124746A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
WO2023054661A1 (ja) | 注視位置分析システム及び注視位置分析方法 | |
JP2019040357A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP6741939B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP6482307B2 (ja) | 情報処理装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220309 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7039216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |