JP2023045010A - 情報処理システム、及び、情報処理方法 - Google Patents
情報処理システム、及び、情報処理方法 Download PDFInfo
- Publication number
- JP2023045010A JP2023045010A JP2021153179A JP2021153179A JP2023045010A JP 2023045010 A JP2023045010 A JP 2023045010A JP 2021153179 A JP2021153179 A JP 2021153179A JP 2021153179 A JP2021153179 A JP 2021153179A JP 2023045010 A JP2023045010 A JP 2023045010A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- data
- model data
- server
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 30
- 239000000284 extract Substances 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 45
- 238000000605 extraction Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
<情報処理システムの構成>
図1は、本実施の形態に係る情報処理システムの構成例を示すブロック図である。図2は、本実施の形態に係る空間モデルデータの一例を示す模式図である。図3は、本実施の形態に係る3Dスキャンデータの一例を示す模式図である。
図4は、本実施の形態に係る端末100のハードウェア構成例を示すブロック図である。
図5は、本実施の形態に係るサーバ200のハードウェア構成例を示すブロック図である。
図6は、本実施の形態に係る情報処理システム1の動作例を示すフローチャートである。
図7は、部分空間モデル抽出処理の詳細例を示すフローチャートである。次に、図7を参照して、図6に示すステップS104の部分空間モデル抽出処理について詳細に説明する。
図8は、移動体除去処理の詳細例を示すフローチャートである。次に、図8を参照して、図6に示すステップS109の移動体除去処理について詳細に説明する。
図9は、マッチング処理の詳細例を示すフローチャートである。次に、図9を参照して、図6に示すステップS110のマッチング処理について詳細に説明する。
図10は、モデル内端末位置姿勢算出処理の詳細例を示すフローチャートである。次に、図10を参照して、図6に示すステップS111のモデル内端末位置姿勢算出処理について詳細に説明する。
サーバ200は、ステップS109において、3Dスキャンデータ120から移動体240を除去する処理に代えて、3Dスキャンデータ120から移動体240を検出し、その検出した移動体240に対して移動体情報を付与してもよい。この場合、サーバ200は、ステップS110において、3Dスキャンデータ120の移動体情報が付与されている部分をマッチング処理の対象外として、マッチング処理を行う。これによっても、上述同様、マッチングのロバスト性が向上する。
本開示は以下のように表現できる。
本開示に係る情報処理システム1は、端末100及びサーバ200を備える。端末100は、現実空間における端末100の位置を測定し、現実空間を3Dスキャンし、端末100の位置の測定結果を含む端末位置姿勢情報121と現実空間の3Dスキャンの結果を含む3Dスキャンデータ120とをサーバ200へ送信する。サーバ200は、端末100から端末位置姿勢情報121及び3Dスキャンデータ120を受信し、端末位置姿勢情報121に基づいて、現実空間を3Dモデル化したデータである空間モデルデータ220の一部を部分空間モデルデータ221として抽出し、部分空間モデルデータ221から3Dスキャンデータとマッチングする部分を検出することにより、空間モデルデータ220内における端末100の位置を特定し、空間モデルデータ220内における端末100の位置を示すモデル内端末位置姿勢情報222を端末100に送信する。
このように、サーバ200は、端末100から送信された端末位置姿勢情報121に基づいて、空間モデルデータ200から部分空間モデルデータ221を抽出し、その部分空間モデルデータ221を3Dスキャンデータ120のマッチング対象とする。これにより、空間モデルデータ200をそのまま3Dスキャンデータ120のマッチング対象とする場合と比較して、マッチング対象のデータ量が小さくなるので、サーバ200は、マッチング処理にかかる時間を短縮できる。よって、サーバ200は、端末100の位置を推定する処理にかかる時間を短縮できる。
項目1に記載の情報処理システム1において、端末100は、現実空間における端末100の姿勢を測定し、端末100の姿勢の測定結果を端末位置姿勢情報121に含めてよい。
これにより、サーバ200は、端末100から送信された端末位置姿勢情報121に基づいて、端末100の姿勢を認識できるので、端末100の姿勢に応じた部分空間モデルデータ221を抽出できる。
項目2に記載の情報処理システム1において、サーバ200は、空間モデルデータ220における、端末位置姿勢情報121が示す端末100の位置を含み、かつ、端末位置姿勢情報121が示す端末100の姿勢の方向に延びる所定の領域から、部分空間モデルデータ221を抽出してよい。
これにより、サーバ200は、空間モデルデータ220における、主に端末100の前方に延びる領域から部分空間モデルデータ221を抽出できるので、端末100を中心とする領域から部分空間モデルデータ221を抽出する場合と比較して、部分空間モデルデータ221のデータ量を抑制できる。
項目2又は3に記載の情報処理システム1において、端末位置姿勢情報121は、現実空間における端末100の位置を示す緯度及び経度と、端末100の姿勢を示す方位角及び仰俯角とを含み、モデル内端末位置姿勢情報222は、空間モデルデータ220内における端末100の位置を示す経度、緯度及び高度と、端末100の姿勢を示す方位角及び仰俯角とを含んでよい。
これにより、サーバ200は、端末100から送信された端末位置姿勢情報121に基づいて、現実空間における端末100が位置する経度及び緯度と、端末100が向いている方位角及び仰俯角とを認識できる。また、端末100は、サーバ200から送信されたモデル内端末位置姿勢情報222に基づいて、現実空間において端末100が位置する経度、緯度及び高度と、端末が向いている方位角及び仰俯角とを精度良く認識できる。
項目1から4のいずれか1項に記載の情報処理システム1において、3Dスキャンデータ120、及び、空間モデルデータ220は、3D点群データによって構成されてよい。
これにより、サーバ200は、3D点群データ同士のマッチング処理により、部分空間モデルデータ221と3Dスキャンデータ120とのマッチングを行うことができる。
項目5に記載の情報処理システム1において、サーバ200は、部分空間モデルデータ221に含まれる3D点群データの特徴点と、3Dスキャンデータ120に含まれる3D点群データの特徴点とのマッチングを行うことにより、空間モデルデータ220における端末100の位置を特定してよい。
これにより、サーバ200は、3D点群データの特徴点のマッチング処理により、空間モデルデータ220における端末100の位置を特定することができる。
項目1から6のいずれか1項に記載の情報処理システム1において、サーバ200は、部分空間モデルデータ221における、3Dスキャンデータ120の移動体を除くデータにマッチングする部分を特定することにより、空間モデルデータ220における端末100の位置を特定してよい。
これにより、マッチング処理おける、移動体除去後の3Dスキャンデータ120と部分空間モデルデータ221とのマッチング精度が向上すると共に、マッチングのロバスト性が向上する。
項目1から7のいずれか1項に記載の情報処理システム1において、端末100は、3Dスキャンと共通の方向を撮像する撮像部104をさらに備え、モデル内端末位置姿勢情報222に基づいて、撮像部104によって撮像された撮像画像に対する所定の仮想オブジェクト画像の重畳位置を特定し、撮像画像の当該重畳位置に仮想オブジェクト画像を重畳した画像を所定の表示部106に表示してよい。
これにより、端末100は、モデル内端末位置姿勢情報222に基づいて、仮想オブジェクト画像を精度良く撮像画像に重畳することができる。
項目1から7のいずれか1項に記載の情報処理システム1において、端末100は、3Dスキャンと共通の方向を透視可能な表示部106を備え、モデル内端末位置姿勢情報222に基づいて、表示部106における所定の仮想オブジェクト画像の表示位置を特定し、表示部106の表示位置に仮想オブジェクト画像を表示してよい。
これにより、端末100は、モデル内端末位置姿勢情報222に基づいて、表示部106から透視して視認される現実空間に、仮想オブジェクト画像を精度良く重畳表示することができる。
端末100及びサーバ200による情報処理方法は次の通りである。端末100は、現実空間における端末100の位置を測定し、現実空間を3Dスキャンし、端末100の位置の測定結果を含む端末位置姿勢情報121と、現実空間の3Dスキャンの結果を含む3Dスキャンデータ120とをサーバ200へ送信する。、サーバ200は、端末100から端末位置姿勢情報121及び3Dスキャンデータ120を受信し、端末位置姿勢情報121に基づいて、現実空間を3Dモデル化したデータである空間モデルデータ220の一部を部分空間モデルデータ221として抽出し、部分空間モデルデータ221から前記3Dスキャンデータとマッチングする部分を特定することにより、空間モデルデータ220内における端末100の位置を特定し、特定した空間モデルデータ220内における端末100の位置を示すモデル内端末位置姿勢情報222を端末100に送信する。
このように、サーバ200は、端末100から送信された端末位置姿勢情報121に基づいて、空間モデルデータ200から部分空間モデルデータ221を抽出し、その部分空間モデルデータ221を3Dスキャンデータ120のマッチング対象とする。これにより、空間モデルデータ200をそのまま3Dスキャンデータのマッチング対象とする場合と比較して、マッチング対象のデータ量が小さくなるので、サーバ200は、マッチング処理にかかる時間を短縮できる。よって、サーバ200は、端末100の位置を推定する処理にかかる時間を短縮できる。
3 通信ネットワーク
100 端末
101 位置計測部
102 姿勢計測部
103 3Dスキャン部
104 撮像部
105 入力部
106 表示部
107 メモリ
108 ストレージ
109 通信部
110 プロセッサ
120 3Dスキャンデータ
121 端末位置姿勢情報
122 高精度端末位置姿勢情報
131 モデル内端末位置
200 サーバ
201 入力部
202 表示部
203 メモリ
204 ストレージ
205 通信部
206 プロセッサ
220 空間モデルデータ
221 部分空間モデルデータ
222 モデル内端末位置姿勢情報
230 抽出領域
240 移動体
Claims (10)
- 端末及びサーバを備える情報処理システムであって、
前記端末は、
現実空間における前記端末の位置を測定し、
前記現実空間を3Dスキャンし、
前記端末の位置の測定結果を含む端末位置姿勢情報と前記現実空間の3Dスキャンの結果を含む3Dスキャンデータとを前記サーバへ送信し、
前記サーバは、
前記端末から前記端末位置姿勢情報及び前記3Dスキャンデータを受信し、
前記端末位置姿勢情報に基づいて、前記現実空間を3Dモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、
前記部分空間モデルデータから前記3Dスキャンデータとマッチングする部分を検出することにより、前記空間モデルデータ内における前記端末の位置を特定し、
前記空間モデルデータ内における前記端末の位置を示すモデル内端末位置姿勢情報を前記端末に送信する、
情報処理システム。 - 前記端末は、
前記現実空間における前記端末の姿勢を測定し、
前記端末の姿勢の測定結果を前記端末位置姿勢情報に含める、
請求項1に記載の情報処理システム。 - 前記サーバは、
前記空間モデルデータにおける、前記端末位置姿勢情報が示す前記端末の位置を含み、かつ、前記端末位置姿勢情報が示す前記端末の姿勢の方向に延びる所定の領域から、前記部分空間モデルデータを抽出する、
請求項2に記載の情報処理システム。 - 前記端末位置姿勢情報は、前記現実空間における前記端末の位置を示す緯度及び経度と、前記端末の姿勢を示す方位角及び仰俯角とを含み、
前記モデル内端末位置姿勢情報は、前記空間モデルデータ内における前記端末の位置を示す経度、緯度及び高度と、前記端末の姿勢を示す方位角及び仰俯角とを含む、
請求項2又は3に記載の情報処理システム。 - 前記3Dスキャンデータ、及び、前記空間モデルデータは、3D点群データによって構成される、
請求項1から4のいずれか1項に記載の情報処理システム。 - 前記サーバは、
前記部分空間モデルデータに含まれる3D点群データの特徴点と、前記3Dスキャンデータに含まれる3D点群データの特徴点とのマッチングを行うことにより、前記空間モデルデータにおける前記端末の位置を特定する、
請求項5に記載の情報処理システム。 - 前記サーバは、
前記部分空間モデルデータにおける、前記3Dスキャンデータの移動体を除くデータにマッチングする部分を特定することにより、前記空間モデルデータにおける前記端末の位置を特定する、
請求項1から6のいずれか1項に記載の情報処理システム。 - 前記端末は、
前記3Dスキャンと共通の方向を撮像する撮像部をさらに備え、
前記モデル内端末位置姿勢情報に基づいて、前記撮像部によって撮像された撮像画像に対する所定の仮想オブジェクト画像の重畳位置を特定し、
前記撮像画像の前記重畳位置に前記仮想オブジェクト画像を重畳した画像を所定の表示部に表示する、
請求項1から7のいずれか1項に記載の情報処理システム。 - 前記端末は、
前記3Dスキャンと共通の方向を透視可能な表示部を備え、
前記モデル内端末位置姿勢情報に基づいて、前記表示部における所定の仮想オブジェクト画像の表示位置を特定し、
前記表示部の前記表示位置に前記仮想オブジェクト画像を表示する、
請求項1から7のいずれか1項に記載の情報処理システム。 - 端末及びサーバによる情報処理方法であって、
前記端末は、
現実空間における前記端末の位置を測定し、
前記現実空間を3Dスキャンし、
前記端末の位置の測定結果を含む端末位置姿勢情報と、前記現実空間の3Dスキャンの結果を含む3Dスキャンデータとを前記サーバへ送信し、
前記サーバは、
前記端末から前記端末位置姿勢情報及び前記3Dスキャンデータを受信し、
前記端末位置姿勢情報に基づいて、前記現実空間を3Dモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、
前記部分空間モデルデータから前記3Dスキャンデータとマッチングする部分を特定することにより、前記空間モデルデータ内における前記端末の位置を特定し、
特定した前記空間モデルデータ内における前記端末の位置を示すモデル内端末位置姿勢情報を前記端末に送信する、
情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021153179A JP7075090B1 (ja) | 2021-09-21 | 2021-09-21 | 情報処理システム、及び、情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021153179A JP7075090B1 (ja) | 2021-09-21 | 2021-09-21 | 情報処理システム、及び、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7075090B1 JP7075090B1 (ja) | 2022-05-25 |
JP2023045010A true JP2023045010A (ja) | 2023-04-03 |
Family
ID=81746635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021153179A Active JP7075090B1 (ja) | 2021-09-21 | 2021-09-21 | 情報処理システム、及び、情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7075090B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2018014579A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | カメラトラッキング装置および方法 |
JP2020042447A (ja) * | 2018-09-07 | 2020-03-19 | Kddi株式会社 | 不動物体情報から端末位置を推定する装置、プログラム及び方法 |
-
2021
- 2021-09-21 JP JP2021153179A patent/JP7075090B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2018014579A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | カメラトラッキング装置および方法 |
JP2020042447A (ja) * | 2018-09-07 | 2020-03-19 | Kddi株式会社 | 不動物体情報から端末位置を推定する装置、プログラム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7075090B1 (ja) | 2022-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106993181B (zh) | 多vr/ar设备协同***及协同方法 | |
CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
US9996936B2 (en) | Predictor-corrector based pose detection | |
KR101570195B1 (ko) | 실내 포지셔닝을 위한 로고 검출 | |
CN110617821B (zh) | 定位方法、装置及存储介质 | |
KR102016636B1 (ko) | 카메라와 레이더의 캘리브레이션 장치 및 방법 | |
TW202208879A (zh) | 位姿確定方法、電子設備及電腦可讀儲存介質 | |
WO2018140107A1 (en) | System for 3d image filtering | |
JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
JP6589636B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
WO2015134795A2 (en) | Method and system for 3d capture based on structure from motion with pose detection tool | |
CN113160327A (zh) | 一种点云补全的实现方法和*** | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
Irmisch et al. | Simulation framework for a visual-inertial navigation system | |
KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
JP7075090B1 (ja) | 情報処理システム、及び、情報処理方法 | |
Bakuła et al. | Capabilities of a smartphone for georeferenced 3dmodel creation: An evaluation | |
CN111862146A (zh) | 一种目标对象的定位方法及装置 | |
JP7140710B2 (ja) | 情報端末装置及びプログラム | |
CN114429515A (zh) | 一种点云地图构建方法、装置和设备 | |
KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
Jonas et al. | IMAGO: Image-guided navigation for visually impaired people | |
JP2010107224A (ja) | 位置特定装置及び異動建物検出装置 | |
CN110617800A (zh) | 基于民航客机的应急遥感监测方法、***及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7075090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |