JP6849256B1 - 3次元モデル構築システム、および3次元モデル構築方法 - Google Patents
3次元モデル構築システム、および3次元モデル構築方法 Download PDFInfo
- Publication number
- JP6849256B1 JP6849256B1 JP2020082477A JP2020082477A JP6849256B1 JP 6849256 B1 JP6849256 B1 JP 6849256B1 JP 2020082477 A JP2020082477 A JP 2020082477A JP 2020082477 A JP2020082477 A JP 2020082477A JP 6849256 B1 JP6849256 B1 JP 6849256B1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional model
- shooting
- evaluation
- data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012854 evaluation process Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011157 data evaluation Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Studio Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
3次元モデル構築システムであって、
複数の移動体それぞれと、ユーザとを対応付けて管理する管理手段と、
前記複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、
前記収集手段にて収集された撮影データを用いて3次元モデルを生成する生成手段と、
前記収集手段にて収集した新たな撮影データを用いて生成された3次元モデルを1または複数の評価基準に基づく評価値により評価する評価手段と、
前記生成手段により撮影データを用いて生成された前記3次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段と
を有し、
前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の3次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される3次元モデルのうちの前記評価手段による評価にて一定の評価値を与えられた3次元モデルを用いて前記既存の3次元モデルの更新を行う。
以下、本願発明の第1の実施形態について説明を行う。
図1は、本実施形態に係る3次元モデル構築システムの全体構成の例を示す概要図である。本実施形態に係る3次元モデル構築システムは、3次元モデル生成サーバ1、携帯端末2、および表示装置3を含んで構成される。各装置は、ネットワーク4を介して通信可能に接続される。ネットワーク4の通信規格や有線/無線は特に限定するものではなく、複数の通信規格が組み合わせて実現されてもよい。また、図1においては、各装置はそれぞれ1つずつが示されているが、複数の装置が含まれてよい。特に撮影装置として機能する携帯端末2は、1または複数の利用者(ユーザ)に携帯されており、複数の携帯端末2が含まれてよい。以下の説明において、携帯端末2について個別に説明を要する場合には添え字n(≧2)を付して説明するが、包括的に説明する場合には添え字を省略する。
図2は、本実施形態に係る各装置の機能構成の例を示す図である。
図2(a)に示すように、本実施形態に係る3次元モデル生成サーバ1は、データ収集部101、3次元モデル生成部102、3次元モデル管理部103、データ評価部104、ユーザ管理部105、インセンティブ付与部106、通信制御部107、および表示制御部108を含んで構成される。
図2(b)に示すように、本実施形態に係る携帯端末2は、撮像部201、センサ群202、記憶部203、制御部204、および通信部205を含んで構成される。撮像部201は、携帯端末2の周辺の画像を取得するための撮像部であり、不図示のレンズや撮像素子などを備える。センサ群202は、自端末の状態などの情報(例えば、位置情報や向きなど)を検出するための検出部であり、磁気センサ、加速度センサ、ジャイロセンサ、GPS(Global Positioning System)センサなどが含まれる。本実施形態では、撮像部201にて画像が撮影された際の情報として、センサ群202にて検出された各種情報が対応付けて保持されてよい。
図2(c)に示すように、本実施形態に係る表示装置3は、3次元モデル表示部301、操作受付部302、および通信制御部303を含んで構成される。3次元モデル表示部301は、3次元モデル生成サーバ1から提供された表示データを表示装置3のディスプレイ(不図示)に表示する。3次元モデルの表示は、プロジェクタなどの投影により表示されてもよいし、仮想現実(VR:Virtual Reality)として表示されてもよい。操作受付部302は、表示装置3の操作部(不図示)を介してユーザからの操作を受け付ける。ここでの操作は、ディスプレイ上に表示している3次元モデルの表示の切り替えなどの操作が挙げられる。通信制御部303は、外部装置との通信を行うための部位であり、有線/無線や通信規格などは特に限定するものではない。なお、表示装置3において、本実施形態に係る機能を実現する各部位は、表示装置3にインストールされたアプリケーションにより実現されてよい。
図3は、本実施形態に係る装置間の連携を示す処理シーケンスを示す。各工程は、例えば、処理主体となる各装置のCPUが記憶装置に記憶されたプログラムを読み出して実行することにより実現されてよい。また、複数の携帯端末2−1〜2−nはそれぞれが処理を行うものとするが、図3では包括的に説明を行う。
図4は、本実施形態に係る3次元モデル構築システムにおいて用いられるデータの構成例を示す図である。図4に示す各データは、例えば、3次元モデル生成サーバ1にて管理されるデータベースの各テーブルに格納される。
以下、本実施形態に係る3次元モデル生成サーバ1(3次元モデル生成部102)にて生成する3次元モデルについて説明する。3次元モデルの生成方法は公知の方法を用いてよく、特に限定するものではない。ここでは、3次元モデルの生成方法の一例について説明する。
本実施形態に係る3次元モデルの評価について説明する。本実施形態では、既存の3次元モデルと、新たに収集した撮影データから生成される3次元モデルとの差分に基づいて、新たに生成した3次元モデルおよびその生成に用いられた撮影データの評価を行う。
図5を用いて、本実施形態に係る3次元モデル生成サーバ1の処理フローについて説明する。以下に示す処理は、例えば、3次元モデル生成サーバ1が備えるCPU(不図示)が記憶装置に記憶されたプログラムを読み出して実行することにより実現される。以下に示す処理は、図3に示した3次元モデル生成サーバ1の処理(S306〜S309、S311〜S312)の処理に対応する。なお、3次元モデルの提供(図3のS310)は、表示装置3からの要求に応じて行われるものとし、図5では省略する。
以下、本願発明の第2の実施形態について説明する。第1の実施形態では、撮影データの提供元(撮影装置)は、スマートフォンなどの携帯端末を例に挙げて説明した。本実施形態では、撮影データの提供元として、撮影部を備える移動体を用いた構成について説明する。携帯端末以外の移動体としては、例えば、自動車やバイクなどの車両や小型無人航空機(ドローン)などが挙げられる。以下では、撮影データの提供元として車両を例に挙げて説明する。なお、第1の実施形態と重複する構成については説明を省略し、差分に着目して説明を行う。
(車両)
図6は、本実施形態に係る車両600の機能構成の例を示す。車両600は、1または複数の利用者(ユーザ)に利用されており、複数の車両600が含まれてよい。以下の説明において、車両600について個別に説明を要する場合には添え字n(≧2)を付して説明するが、包括的に説明する場合には添え字を省略する。
図7は、本実施形態に係る3次元モデル構築システムにおいて用いられるデータの構成例を示す図である。図7に示す各データは、例えば、3次元モデル生成サーバ1にて管理されるデータベースの各テーブルに格納される。なお、インセンティブ管理テーブルの構成は、第1の実施形態にて示した図4(c)の構成と同様であるものとし、ここでの説明は省略する。
本願発明の第3の実施形態として、生成された3次元モデルの表示の形態について説明する。カメラ等により撮影された撮影画像には、固定物体(例えば、建築物)と移動物体(例えば、車両)が混在して含まれていることが想定される。そこで、本実施形態では、撮影画像から3次元モデルを生成する際に、撮影画像に含まれる物体が移動物体か固定物体かを識別し、それぞれの特性に応じて3次元モデルに反映させる。また、撮影データの評価においても、移動物体か固定物体かの基準を設け、これに応じて評価を行う。
撮影画像から移動物体と固定物体を識別する方法は公知の方法を用いることができ、特に限定するものではない。ここでは、一例として機械学習による手法を用いた識別方法について説明する。
図8を用いて、本実施形態に係る3次元モデル生成サーバ1の処理フローについて説明する。以下に示す処理は、例えば、3次元モデル生成サーバ1が備えるCPU(不図示)が記憶装置に記憶されたプログラムを読み出して実行することにより実現される。第1の実施形態にて図5を用いて説明した処理フローとの差異に着目して説明し、同じ内容の処理については、図5と同じ参照番号を付す。
本実施形態では、図8に示すような処理により、3次元モデルが生成される。また、図8のS804にて示したように、3次元モデルと、その3次元モデルが示す領域に移動物体を示す3次元オブジェクトとが対応付けられている。そのため、本実施形態では、3次元モデル生成サーバ1は、表示装置3に3次元モデルを提供する場合(図3のS310)、その3次元モデルに対応付けられた3次元オブジェクトの情報を併せて提供する。
2 携帯端末
3 表示装置
4 ネットワーク
101 データ収集部
102 3次元モデル生成部
103 3次元モデル管理部
104 データ評価部
105 ユーザ管理部
106 インセンティブ付与部
107 通信制御部
108 表示制御部
201 撮像部
202 センサ群
203 記憶部
204 制御部
205 通信部
301 3次元モデル表示部
302 操作受付部
303 通信制御部
Claims (12)
- 複数の移動体それぞれと、ユーザとを対応付けて管理する管理手段と、
前記複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、
前記収集手段にて収集された撮影データを用いて3次元モデルを生成する生成手段と、
前記収集手段にて収集した新たな撮影データを用いて生成された3次元モデルを1または複数の評価基準に基づく評価値により評価する評価手段と、
前記生成手段により撮影データを用いて生成された前記3次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段と
を有し、
前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の3次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される3次元モデルのうちの前記評価手段による評価にて一定の評価値を与えられた3次元モデルを用いて前記既存の3次元モデルの更新を行うことを特徴とする3次元モデル構築システム。 - 複数の撮影データに含まれる複数の撮影画像を前記付帯情報に基づいて1または複数のグループに分類する分類手段をさらに有し、
前記生成手段は、前記1または複数のグループそれぞれに対応する1または複数の3次元モデルを生成し、当該1または複数の3次元モデルそれぞれと前記既存の3次元モデルとの差分に応じて、前記既存の3次元モデルの更新を行うことを特徴とする請求項1に記載の3次元モデル構築システム。 - 前記評価手段は、前記新たな撮影データの画質、前記新たな撮影データに対応する前記3次元モデルの領域の更新履歴、および、前記新たな撮影データから生成される3次元モデルと前記既存の3次元モデルとの差分の少なくともいずれかの評価基準に基づいて、前記新たな撮影データを用いて生成された3次元モデルの評価を行うことを特徴とする請求項1または2に記載の3次元モデル構築システム。
- 前記報酬は、前記評価手段による前記1または複数の評価基準に基づく評価値に応じて決定されることを特徴とする請求項3に記載の3次元モデル構築システム。
- 前記報酬は、電子マネー、仮想通貨、または、ポイントサービスにおけるポイントであることを特徴とする請求項1乃至4のいずれか一項に記載の3次元モデル構築システム。
- 前記撮影データに含まれる撮影画像から所定の領域を抽出する抽出手段をさらに有し、
前記生成手段は、前記抽出手段にて抽出した所定の領域の情報を用いて3次元モデルを生成することを特徴とする請求項1乃至5のいずれか一項に記載の3次元モデル構築システム。 - 前記所定の領域は、固定物体を示す領域であり、
前記抽出手段は、撮影画像から固定物体を示す領域を抽出するための学習が行われることで生成された学習済みモデルを用いて、撮影画像から前記所定の領域を抽出することを特徴とする請求項6に記載の3次元モデル構築システム。 - 前記抽出手段は更に、撮影画像から移動物体を示す領域を抽出するための学習が行われることで生成された学習済みモデルを用いて、撮影画像から移動物体を示す領域を抽出し、
前記生成手段は更に、前記移動物体を示す領域の情報を用いて、3次元モデルを表示する際に表示可能な3次元オブジェクトを生成することを特徴とする請求項6または7に記載の3次元モデル構築システム。 - 前記撮影データは、撮影動画を含み、
前記撮影動画を構成する複数のフレームそれぞれの付帯情報は、前記撮影動画に対して付与された付帯情報から導出される情報により補完されることを特徴とする請求項1乃至8のいずれか一項に記載の3次元モデル構築システム。 - 前記複数の移動体は、携帯端末、車両、および無人航空機の少なくともいずれかを含むことを特徴とする請求項1乃至9のいずれか一項に記載の3次元モデル構築システム。
- 前記付帯情報は、撮影時の緯度、経度、高度、方角、仰角、俯角、および日時の少なくともいずれかを含むことを特徴とする請求項1乃至10のいずれか一項に記載の3次元モデル構築システム。
- 複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集工程と、
前記収集工程にて収集された撮影データを用いて3次元モデルを生成する生成工程と、
前記収集工程にて収集した新たな撮影データを用いて生成された3次元モデルを1または複数の評価基準に基づく評価値により評価する評価工程と、
前記生成工程にて撮影データを用いて生成された前記3次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与工程と
を有し、
前記生成工程において、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の3次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される3次元モデルのうちの前記評価工程における評価にて一定の評価値が与えられた3次元モデルを用いて前記既存の3次元モデルの更新を行うことを特徴とする3次元モデル構築方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020082477A JP6849256B1 (ja) | 2020-05-08 | 2020-05-08 | 3次元モデル構築システム、および3次元モデル構築方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020082477A JP6849256B1 (ja) | 2020-05-08 | 2020-05-08 | 3次元モデル構築システム、および3次元モデル構築方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6849256B1 true JP6849256B1 (ja) | 2021-03-24 |
JP2021177317A JP2021177317A (ja) | 2021-11-11 |
Family
ID=74879307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020082477A Active JP6849256B1 (ja) | 2020-05-08 | 2020-05-08 | 3次元モデル構築システム、および3次元モデル構築方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6849256B1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023214510A1 (ja) * | 2022-05-02 | 2023-11-09 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
JP7414918B1 (ja) | 2022-09-20 | 2024-01-16 | 楽天グループ株式会社 | 画像収集システム、画像収集方法、及びプログラム |
WO2024062602A1 (ja) * | 2022-09-22 | 2024-03-28 | 日本電気株式会社 | 3次元化システム、3次元化方法及びプログラムを記録する記録媒体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016012168A (ja) * | 2014-06-27 | 2016-01-21 | 株式会社デジタル | 情報共有化システム |
CN114627664A (zh) * | 2016-08-26 | 2022-06-14 | 松下电器(美国)知识产权公司 | 三维信息处理方法以及三维信息处理装置 |
JP7341652B2 (ja) * | 2018-01-12 | 2023-09-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム、およびシステム |
-
2020
- 2020-05-08 JP JP2020082477A patent/JP6849256B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021177317A (ja) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6849256B1 (ja) | 3次元モデル構築システム、および3次元モデル構築方法 | |
Raneri | Enhancing forensic investigation through the use of modern three-dimensional (3D) imaging technologies for crime scene reconstruction | |
CN207117844U (zh) | 多vr/ar设备协同*** | |
CN104641399B (zh) | 用于创建环境并用于共享环境中基于位置的体验的***和方法 | |
US8107677B2 (en) | Measuring a cohort'S velocity, acceleration and direction using digital video | |
US20130095855A1 (en) | Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
US9583074B2 (en) | Optimization of label placements in street level images | |
JP2018106696A (ja) | 移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステム | |
CN105659304A (zh) | 视觉增强导航 | |
CN106233371A (zh) | 选择用于显示的时间分布的全景图像 | |
US20190213790A1 (en) | Method and System for Semantic Labeling of Point Clouds | |
US11805236B2 (en) | Generating stereo image data from monocular images | |
KR20190141892A (ko) | 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 | |
JP2018049623A (ja) | 空間オブジェクト検索並べ替え方法及びクラウドシステム | |
JP2010039583A (ja) | 電子地図上での写真表示方法及びシステム、並びにその電子地図 | |
JP6600674B2 (ja) | 移動オブジェクト仮想情報遠隔管理方法及び移動オブジェクト仮想情報遠隔管理システム | |
CN106289180A (zh) | 运动轨迹的计算方法及装置、终端 | |
JP2018049624A (ja) | ロケーションベース空間オブジェクト遠隔管理方法及びロケーションベース空間オブジェクト遠隔管理システム | |
KR102106029B1 (ko) | 간판 검출 성능 향상을 위한 방법 및 시스템 | |
Galvin | Crime Scene Documentation: Preserving the Evidence and the Growing Role of 3D Laser Scanning | |
JP7001149B2 (ja) | データ提供システムおよびデータ収集システム | |
WO2020095541A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016218626A (ja) | 画像管理装置、画像管理方法およびプログラム | |
KR20190035316A (ko) | 정보 공유 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200508 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201012 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6849256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |