JP2016115268A - 情報処理方法、情報処理プログラム、及び情報処理装置 - Google Patents
情報処理方法、情報処理プログラム、及び情報処理装置 Download PDFInfo
- Publication number
- JP2016115268A JP2016115268A JP2014255356A JP2014255356A JP2016115268A JP 2016115268 A JP2016115268 A JP 2016115268A JP 2014255356 A JP2014255356 A JP 2014255356A JP 2014255356 A JP2014255356 A JP 2014255356A JP 2016115268 A JP2016115268 A JP 2016115268A
- Authority
- JP
- Japan
- Prior art keywords
- reference object
- information
- marker
- position information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
図1は、情報処理システムの概略構成の一例を示す図である。図1に示す情報処理システム10は、サーバ11と、情報処理装置の一例としての1又は複数の端末装置12−1〜12−n(以下、必要に応じて「端末装置12」と総称する)とを有する。サーバ11及び端末装置12は、例えば通信ネットワーク13によりデータの送受信が可能な状態で接続されている。
次に、上述した端末装置12の機能構成例について、図を用いて説明する。図2は、端末装置の機能構成の一例を示す図である。端末装置12は、通信部21と、撮像部22と、記憶部23と、表示部24と、操作部25と、判定部26と、認識部27と、コンテンツ生成部28と、環境マップ生成部(環境情報生成部)29と、画面生成部30と、制御部31とを有する。
次に、端末装置12のハードウェア構成例について図を用いて説明する。図3は、端末装置のハードウェア構成の一例を示す図である。図3の例において、端末装置12は、マイクロフォン(以下、「マイク」という)41と、スピーカ42と、カメラ43と、表示部44と、操作部45と、センサ部46と、電力部47と、無線部48と、近距離通信部49と、補助記憶装置50と、主記憶装置51と、CPU52と、ドライブ装置53とを有し、これらはシステムバスBで相互に接続されている。
次に、本実施形態における情報処理(オーサング処理)の一例についてフローチャートを用いて説明する。図4は、オーサリング時における情報処理の一例を示すフローチャートである。図4の例において、端末装置12は、オーサリングプログラム等の対応するアプリケーションを起動し(S01)、例えば撮像部22等による撮影により実空間における画像(動画像でも静止画像でもよい)を取得する(S02)。なお、S02の処理で取得される画像は、端末装置12以外の装置から撮影された画像であってもよい。
次に、上述したS08における環境マップ生成処理の一例について、フローチャートを用いて説明する。図5は、環境マップ生成処理の一例を示すフローチャートである。図5の例において、環境マップ生成部29は、認識部27がARマーカを認識したか否かを判断し(S21)、ARマーカを認識した場合(S21において、YES)、第1視点の画像を取得する(S22)。次に、環境マップ生成部29は、第1視点と異なる視点の第2視点の画像を取得する(S23)。S22の処理において2視点の画像を取得する場合には、三角測量が可能な視点位置を取得する必要がある。また、S23の処理において、この2視点の画像の特徴点を対応付けることでオブジェクトトラッキング処理におけるロストしたARマーカの座標値が取得可能となる。
次に、本実施形態における運用時の情報処理(表示制御処理)の一例についてフローチャートを用いて説明する。図6は、運用時における情報処理の一例を示すフローチャートである。図6の例において、端末装置12は、運用プログラム等の対応するアプリケーションを起動し(S31)、例えば撮像部22等による撮影により実空間における画像(動画像でも静止画像でもよい)を取得する(S32)。なお、S32の処理で取得される画像は、端末装置12以外の装置から撮影された画像であってもよい。
図7は、環境マップの一例を示す図である。なお、以下の説明では、環境マップをXML形式で示しているが、これに限定されるものではない。また、説明の便宜上、左側には行番号を付している。
次に、オブジェクトトラッキングの利用シーン例について、図を用いて説明する。図10は、オブジェクトトラッキングの利用シーンの一例を示す図である。図10の例では、工場や施設等の実空間上に存在する物体60−1,60−2のうち、物体60−2に基準物の一例であるARマーカ61が設置されている。物体の例としては、例えば配管やバルブ、操作パネル、椅子、机、建物、車両、機械等であるが、これらに限定されるものではなく、実空間上に存在するあらゆる物体でもよい。また、物体そのものを基準物としてよい。
次に、複数マーカ認識における動作例について、図を用いて説明する。図11は、複数マーカ認識における動作例を説明するための図である。図11の例では、物体60−2に2つのARマーカ61−1,61−2が設置されている。また、図11の例では、ARマーカ61−1にマーカID「1」を設定し、ARマーカ61−2にID「2」を設定している。
図13は、本実施形態におけるARコンテンツの表示例を示す図である。図13(A)は、ARマーカ認識時のARコンテンツの表示例を示し、図13(B)は、オブジェクトトラッキング実施時におけるARコンテンツ表示例を示している。
(付記1)
取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物が検出不能となった場合に、前記第1の基準物に対応する前記環境情報と前記相対位置情報とを用いて、前記第2の基準物の位置情報を生成する、
処理をコンピュータが実行することを特徴とする情報処理方法。
(付記2)
取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物の一方が検出不能となった場合に、検出可能な一方の基準物に対する前記環境情報と前記相対位置情報とを用いて、前記検出不能となった基準物の位置情報を生成する、
処理をコンピュータが実行することを特徴とする情報処理方法。
(付記3)
前記環境情報と前記相対位置情報とを用いて、前記取得画像の特徴点情報と前記環境情報に含まれる特徴点情報とを比較を行い、特徴点情報の一致率が閾値以上である場合に、前記相対位置情報に基づく前記基準物の位置情報を生成することを特徴とする付記1又は2に記載の情報処理方法。
(付記4)
前記検出不能となった基準物に対応付けられたコンテンツを画面に表示することを特徴とする付記1乃至3の何れか1項に記載の情報処理方法。
(付記5)
前記基準物が検出不能となった場合に、現在の取得画像より所定フレーム前まで検出済みであったか否かを判断し、
検出済みであった場合に前記相対位置情報に基づく前記基準物の位置情報を生成することを特徴とする付記1乃至4の何れか1項に記載の情報処理方法。
(付記6)
取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物が検出不能となった場合に、前記第1の基準物に対応する前記環境情報と前記相対位置情報とを用いて、前記第2の基準物の位置情報を生成する、
処理をコンピュータに実行させる情報処理プログラム。
(付記7)
取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物の一方が検出不能となった場合に、検出可能な一方の基準物に対する前記環境情報と前記相対位置情報とを用いて、前記検出不能となった基準物の位置情報を生成する、
処理をコンピュータに実行させる情報処理プログラム。
(付記8)
取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成する環境情報生成部と、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物が検出不能となった場合に、前記第1の基準物に対応する前記環境情報と前記相対位置情報とを用いて、前記第2の基準物の位置情報を生成する認識部とを有することを特徴とする情報処理装置。
(付記9)
取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成する環境情報生成部と、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物の一方が検出不能となった場合に、検出可能な一方の基準物に対する前記環境情報と前記相対位置情報とを用いて、前記検出不能となった基準物の位置情報を生成する認識部とを有することを特徴とする情報処理装置。
11 サーバ
12 端末装置(情報処理装置)
13 通信ネットワーク
21 通信部
22 撮像部
23 記憶部
24 表示部
25 操作部
26 判定部
27 認識部
28 コンテンツ生成部
29 環境マップ生成部
30 画面生成部
31 制御部
41 マイク
42 スピーカ
43 カメラ
44 表示部
45 操作部
46 センサ部
47 電力部
48 無線部
49 近距離通信部
50 補助記憶装置
51 主記憶装置
52 CPU
53 ドライブ装置
54 記録媒体
60 物体
61 ARマーカ
62 ユーザ
63 画面
64 遮蔽物
70 ARコンテンツ
Claims (8)
- 取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物が検出不能となった場合に、前記第1の基準物に対応する前記環境情報と前記相対位置情報とを用いて、前記第2の基準物の位置情報を生成する、
処理をコンピュータが実行することを特徴とする情報処理方法。 - 取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物の一方が検出不能となった場合に、検出可能な一方の基準物に対する前記環境情報と前記相対位置情報とを用いて、前記検出不能となった基準物の位置情報を生成する、
処理をコンピュータが実行することを特徴とする情報処理方法。 - 前記環境情報と前記相対位置情報とを用いて、前記取得画像の特徴点情報と前記環境情報に含まれる特徴点情報とを比較を行い、特徴点情報の一致率が閾値以上である場合に、前記相対位置情報に基づく前記基準物の位置情報を生成することを特徴とする請求項1又は2に記載の情報処理方法。
- 前記検出不能となった基準物に対応付けられたコンテンツを画面に表示することを特徴とする請求項1乃至3の何れか1項に記載の情報処理方法。
- 取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物が検出不能となった場合に、前記第1の基準物に対応する前記環境情報と前記相対位置情報とを用いて、前記第2の基準物の位置情報を生成する、
処理をコンピュータに実行させる情報処理プログラム。 - 取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、
前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成し、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物の一方が検出不能となった場合に、検出可能な一方の基準物に対する前記環境情報と前記相対位置情報とを用いて、前記検出不能となった基準物の位置情報を生成する、
処理をコンピュータに実行させる情報処理プログラム。 - 取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成する環境情報生成部と、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物が検出不能となった場合に、前記第1の基準物に対応する前記環境情報と前記相対位置情報とを用いて、前記第2の基準物の位置情報を生成する認識部とを有することを特徴とする情報処理装置。 - 取得画像において第1の基準物の画像及び第2の基準物の画像を検出した場合、前記取得画像に基づき、前記第1の基準物及び前記第2の基準物が設置されている環境に関する環境情報を、前記第1の基準物及び前記第2の基準物のそれぞれについて生成し、前記取得画像における前記第1の基準物及び前記第2の基準物の位置情報に基づいて、前記第1の基準物及び前記第2の基準物間の相対位置情報を生成する環境情報生成部と、
前記相対位置情報を生成した後の取得画像において、前記第1の基準物及び前記第2の基準物の一方が検出不能となった場合に、検出可能な一方の基準物に対する前記環境情報と前記相対位置情報とを用いて、前記検出不能となった基準物の位置情報を生成する認識部とを有することを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014255356A JP6543924B2 (ja) | 2014-12-17 | 2014-12-17 | 情報処理方法、情報処理プログラム、及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014255356A JP6543924B2 (ja) | 2014-12-17 | 2014-12-17 | 情報処理方法、情報処理プログラム、及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016115268A true JP2016115268A (ja) | 2016-06-23 |
JP6543924B2 JP6543924B2 (ja) | 2019-07-17 |
Family
ID=56141878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014255356A Active JP6543924B2 (ja) | 2014-12-17 | 2014-12-17 | 情報処理方法、情報処理プログラム、及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6543924B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180050913A (ko) * | 2016-11-07 | 2018-05-16 | (주) 인하씨엔티 | 가상 위치 매칭 방법 |
JP2018533121A (ja) * | 2015-09-11 | 2018-11-08 | スリーディーキューアール ゲーエムベーハー3DQR GmbH | 現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びに携帯デバイス |
JP2020513604A (ja) * | 2016-11-08 | 2020-05-14 | スリーディーキューアール ゲーエムベーハー3DQR GmbH | 現実シーンの複製物に仮想画像及び音声データを重ね合わせるための方法及び装置、並びに携帯デバイス |
WO2021156977A1 (ja) * | 2020-02-05 | 2021-08-12 | マクセル株式会社 | 空間認識システム、空間認識方法、情報端末、およびサーバ装置 |
JP7443938B2 (ja) | 2020-06-01 | 2024-03-06 | コニカミノルタ株式会社 | 物品の認識方法、プログラム、および情報処理装置 |
JP7491770B2 (ja) | 2020-08-06 | 2024-05-28 | エヌ・ティ・ティ・コムウェア株式会社 | 端末装置、情報処理方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008214832A (ja) * | 2007-03-07 | 2008-09-18 | Unitica Fibers Ltd | 複合糸及び織編物 |
JP2013141049A (ja) * | 2010-03-24 | 2013-07-18 | Hitachi Ltd | 世界座標系データベースを利用したサーバ及び端末 |
-
2014
- 2014-12-17 JP JP2014255356A patent/JP6543924B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008214832A (ja) * | 2007-03-07 | 2008-09-18 | Unitica Fibers Ltd | 複合糸及び織編物 |
JP2013141049A (ja) * | 2010-03-24 | 2013-07-18 | Hitachi Ltd | 世界座標系データベースを利用したサーバ及び端末 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018533121A (ja) * | 2015-09-11 | 2018-11-08 | スリーディーキューアール ゲーエムベーハー3DQR GmbH | 現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びに携帯デバイス |
KR20180050913A (ko) * | 2016-11-07 | 2018-05-16 | (주) 인하씨엔티 | 가상 위치 매칭 방법 |
KR101976837B1 (ko) | 2016-11-07 | 2019-05-09 | (주)인하씨엔티 | 가상 위치 매칭 방법 |
JP2020513604A (ja) * | 2016-11-08 | 2020-05-14 | スリーディーキューアール ゲーエムベーハー3DQR GmbH | 現実シーンの複製物に仮想画像及び音声データを重ね合わせるための方法及び装置、並びに携帯デバイス |
JP7096569B2 (ja) | 2016-11-08 | 2022-07-06 | スリーディーキューアール ゲーエムベーハー | 現実シーンの複製物に仮想画像及び音声データを重ね合わせるための方法及び装置、並びに携帯デバイス |
WO2021156977A1 (ja) * | 2020-02-05 | 2021-08-12 | マクセル株式会社 | 空間認識システム、空間認識方法、情報端末、およびサーバ装置 |
JPWO2021156977A1 (ja) * | 2020-02-05 | 2021-08-12 | ||
JP7502346B2 (ja) | 2020-02-05 | 2024-06-18 | マクセル株式会社 | 空間認識システム、情報端末、および空間認識方法 |
JP7443938B2 (ja) | 2020-06-01 | 2024-03-06 | コニカミノルタ株式会社 | 物品の認識方法、プログラム、および情報処理装置 |
JP7491770B2 (ja) | 2020-08-06 | 2024-05-28 | エヌ・ティ・ティ・コムウェア株式会社 | 端末装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6543924B2 (ja) | 2019-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10430655B2 (en) | Augmented reality information processing system and augmented reality display control method with space information conversion and display control features | |
JP6244954B2 (ja) | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム | |
CN111417028B (zh) | 信息处理方法、装置、存储介质及电子设备 | |
US10319110B2 (en) | Display control method and system | |
US10163266B2 (en) | Terminal control method, image generating method, and terminal | |
JP6424601B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
JP6421670B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
JP6543924B2 (ja) | 情報処理方法、情報処理プログラム、及び情報処理装置 | |
US20160012612A1 (en) | Display control method and system | |
JP6217437B2 (ja) | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム | |
JP2014197317A (ja) | 情報処理装置、情報処理方法および記録媒体 | |
JP6524706B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
KR20130117303A (ko) | 증강 현실 이미지를 디스플레이하기 위한 방법 및 그 전자 장치 | |
CN113936699B (zh) | 音频处理方法、装置、设备及存储介质 | |
JP6481456B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
CN108965861B (zh) | 定位摄像头的方法和装置、存储介质和智能交互设备 | |
CN110213205B (zh) | 验证方法、装置及设备 | |
JP6413521B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
US8970483B2 (en) | Method and apparatus for determining input | |
US20240203068A1 (en) | Method and system for providing augmented reality object based on identification code |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6543924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |