JP7479322B2 - 点群管理装置及びプログラム - Google Patents
点群管理装置及びプログラム Download PDFInfo
- Publication number
- JP7479322B2 JP7479322B2 JP2021053264A JP2021053264A JP7479322B2 JP 7479322 B2 JP7479322 B2 JP 7479322B2 JP 2021053264 A JP2021053264 A JP 2021053264A JP 2021053264 A JP2021053264 A JP 2021053264A JP 7479322 B2 JP7479322 B2 JP 7479322B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- points
- point
- image
- management device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Description
特徴抽出部12は、初期登録時と同様の処理により、新規画像Pic(j)から2次元画像座標の特徴点px(j)及び特徴量F(j)(特徴情報)を抽出して照合部13へと出力する。照合部13では、この特徴情報をクエリとして点群DB3に対して照合を行い、クエリの特徴量F(j)が、既に登録されているリファレンスの特徴量F(i)のいずれに一致するかを判定することで、クエリの2次元画像座標の特徴点px(j)がリファレンスの3次元座標Pos(i)を有する3次元世界座標点p(i)のいずれに該当するものであるかを判定する。(なお、リファレンス側及びクエリ側の両方に関して、該当なしとなる点も存在しうる。)この際、クエリの特徴点px(j)及び特徴量F(j)は複数存在し、リファレンスの点p(i)及び特徴量F(i)も複数存在するため、これら照合対象となる複数の点の位置関係も考慮した幾何学的整合性も考慮して照合を行うようにしてもよく、初期構築時と同様のSfMやバンドル調整等の任意の既存手法を用いて照合を行うことができる。なお、点の一致は前述した3次元座標(及び観測方向)を持たずに登録されている点p(i)とも行い、結果としてPos(i)が計算される場合もある。
ステップS3ではまた、照合部13は、新規のクエリ画像Pic(j)においてリファレンスにマッチしなかった特徴点px(j)に関して、点群DB3には未登録の新たなオブジェクトに対応する新規の点p(j)に該当するものとして判別したうえで、図4に示した各情報を抽出する。この抽出は、クエリとリファレンスとのマッチング処理の結果としてカメラ位置C(j)等が既に求まっているので、当該結果からさらに抽出することが可能となる。なお、3次元の座標Pos(j)については、新規画像がRGB-D(RGBチャネル等の通常画像に、深度カメラ等による深度画像が紐づいたもの)等で深度情報を有する場合には、この深度情報とカメラ位置C(j)から求めるようにしてもよい。同様に、クエリ画像Pic(j)は2枚ペアで構成される1枚のステレオ画像として取得しておくことで、各特徴点px(j)の深度情報を有するように構成しておくことで、3次元の座標Pos(j)を取得してもよい。
(n1) ステップS3でリファレンスにマッチしなかったことによりクエリ画像Pic(j)における新規の点p(j)として判別された点(その個数は任意となりうるものであり、0個の場合もありうる)を、図4の情報の形式で、点群DB3に対して新規に登録する。この際、重要度W(j)については、ステップS1で割り当てたのと同様の初期値を設定すればよい。なお、前述の通り、新規の点p(j)には、図4に示す全ての情報が取得されているものと、これら全ての情報のうち3次元位置Pos(j)及び観測方向D(j)が算出できずに空となっているものとの2種類がありうる。ステップS1と同様に、前者に関しては全ての情報を登録し、後者に関しては位置及び観測方向を空の状態で登録すればよい。
管理部2はまた、[A]当該新規3次元座標が登録された点p(j)、及び[B]クエリ画像Pic(j)とマッチした点p(i)に応じて、既に登録されている点p(i)の情報を更新するため、以下の手順1~3を実施する。なお、[A]の新規3次元座標が登録された点p(j)とは、上記(n1),(n2)の新規に登録された点のうち、3次元座標が求まっているものを指す。また、[B]のPic(j)とマッチした点p(i)とは、前述の探索処理で、(当該新規の登録をする前の)点群DB3に登録されている点のうち、当該クエリ画像Pic(j)の特徴点とマッチした点を指す。この[B]の点には前述の(n3)の情報更新が適用される。
当該[A]の新たに3次元座標が登録された点p(j)、及び[B]のPic(j)とマッチした点p(i)の周囲rの範囲(これら[A],[B]の点p(j),p(i)のいずれかに該当する任意の点をp(n)とする)で、角度α内の観測方向ベクトルを持つ、マッチしていない登録済みの点p(m)を探す。(この点p(n)は、前述の通りクエリ画像Pic(j)の各点に相当するものである。)すなわち、以下の式(1),(2),(3)に該当する登録済みの点p(m)を探す。
distance(Pos(n), Pos(m))≦r …(1)
diff_angle(D(n), D(m))≦α …(2)
p(m)∈not_match(Pic(j)) …(3)
上記探索により3次元座標Pos(i)が近傍範囲rにあり且つカメラ方向D(i)も近傍範囲αにあるがリファレンスしては未使用だったと判定された登録済みの点p(i)に関して、記録されている重要度W(i)を指定値または指定割合だけ減少させることで、点群DB3の情報を更新する。例えば、重要度W(i)の初期値が1であるものとして、指定値として0.1だけ減少させてもよいし、指定割合として1/2倍することで値を半減させてもよい。(なお、条件に未該当の点p(i)に関して、重要度W(i)は更新されず、そのままの値となる。)
また、前述の[B]に該当する、クエリ画像Pic(j)に参照された点p(i)の重要度W(i)は維持、または指定値だけ増加、指定割合だけ増加させて良い。参照されたことにより重要度を増やし、削除されることを防ぐ。増加させる場合、上限値を設けておき、この上限値よりは増加させないようにしてもよい。
上記の手順3で更新された重要度W(i)を参照し、重要度W(i)が所定の閾値TH以下となった点p(i)については、点群DB3からその情報を削除する。
1…画像処理部、11…画像受信部、12…特徴抽出部、13…照合部、2…管理部、3…点群DB、21…撮像部、22…表示部
Claims (8)
- フィールドの地図情報として構築された点群をデータベースに記録して管理する点群管理装置であって、
前記フィールドの各所において既に撮像されて得られている画像より前記フィールドの地図情報として点群を構築したうえで、前記点群の各点について、3次元座標と特徴量と重要度とを少なくとも前記データベースに記録する第1処理と、
前記フィールドで新規に撮像された画像である新規画像より新規特徴点及び対応する新規特徴量を抽出する第2処理と、
前記新規特徴量を照合することで前記データベースからマッチする点を探索する第3処理と、
前記新規特徴点のうち前記マッチしなかった点を、少なくともその3次元座標と特徴量と重要度と共に前記データベースに追加登録する第4処理と、
前記データベースに記録されている点であって前記マッチしなかった点のうち、前記新規特徴点であって前記マッチした点の近傍の点の重要度を低めるよう更新する第5処理と、
前記更新された重要度が閾値判定で低い点について、前記データベースから削除する第6処理と、を実行することを特徴とする点群管理装置。 - 前記第2処理ないし第6処理を、前記第2処理における前記新規画像が得られる都度実行することを特徴とする請求項1に記載の点群管理装置。
- 前記第5処理では、前記近傍の点を、3次元座標の距離が近いことから判定することを特徴とする請求項1または2に記載の点群管理装置。
- 前記第1処理では、各点についてさらに、当該点の3次元座標から、当該点に対応する画像を撮像したカメラ位置へと向かう方向として定義される観測方向を前記データベースに記録し、
前記第5処理では、前記近傍の点を、観測方向の向きが近いことから判定することを特徴とする請求項1ないし3のいずれかに記載の点群管理装置。 - 前記第5処理では、前記データベースに記録されている点群のうち、前記新規特徴点がマッチした点の重要度を高めるよう更新することを特徴とする請求項1ないし4のいずれかに記載の点群管理装置。
- 前記第1処理及び前記第4処理で3次元座標を前記データベースにそれぞれ記録及び追加登録する際に、欠損値が許容され、
前記第3処理において、前記データベースに記録されている点群において3次元座標が欠損値である点がマッチするものとして探索された際に、当該点の3次元座標を計算することで欠損値の状態を解消することを特徴とする請求項1ないし5のいずれかに記載の点群管理装置。 - 前記第1処理における前記特徴量及び前記第2処理における前記新規特徴量はそれぞれ、前記第1処理における前記既に撮像して得られている画像及び前記第2処理における前記新規画像から局所特徴量として抽出されるものであることを特徴とする請求項1ないし6のいずれかに記載の点群管理装置。
- コンピュータを請求項1ないし7のいずれかに記載の点群管理装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021053264A JP7479322B2 (ja) | 2021-03-26 | 2021-03-26 | 点群管理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021053264A JP7479322B2 (ja) | 2021-03-26 | 2021-03-26 | 点群管理装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022150594A JP2022150594A (ja) | 2022-10-07 |
JP2022150594A5 JP2022150594A5 (ja) | 2023-04-24 |
JP7479322B2 true JP7479322B2 (ja) | 2024-05-08 |
Family
ID=83464474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021053264A Active JP7479322B2 (ja) | 2021-03-26 | 2021-03-26 | 点群管理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7479322B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157576A (ja) | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
JP2002189412A (ja) | 2000-12-19 | 2002-07-05 | Toshiba Corp | 地図作成システム及び地図作成方法 |
JP2011215052A (ja) | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | 風景画像認識を用いた自車位置検出システム |
WO2018221455A1 (ja) | 2017-05-31 | 2018-12-06 | パイオニア株式会社 | 更新装置、制御方法、プログラム及び記憶媒体 |
US20190266772A1 (en) | 2017-02-22 | 2019-08-29 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for editing road element on map, electronic device, and storage medium |
-
2021
- 2021-03-26 JP JP2021053264A patent/JP7479322B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157576A (ja) | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
JP2002189412A (ja) | 2000-12-19 | 2002-07-05 | Toshiba Corp | 地図作成システム及び地図作成方法 |
JP2011215052A (ja) | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | 風景画像認識を用いた自車位置検出システム |
US20190266772A1 (en) | 2017-02-22 | 2019-08-29 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for editing road element on map, electronic device, and storage medium |
WO2018221455A1 (ja) | 2017-05-31 | 2018-12-06 | パイオニア株式会社 | 更新装置、制御方法、プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2022150594A (ja) | 2022-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210248816A1 (en) | Embedded urban design scene emulation method and system | |
Bosché | Plane-based registration of construction laser scans with 3D/4D building models | |
Bosche et al. | Automated retrieval of 3D CAD model objects in construction range images | |
Golparvar-Fard et al. | D4AR–a 4-dimensional augmented reality model for automating construction progress monitoring data collection, processing and communication | |
Golparvar-Fard et al. | Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques | |
JP4926891B2 (ja) | 地理情報システム及び地理情報管理方法 | |
KR101260132B1 (ko) | 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체 | |
CN111540005B (zh) | 基于二维栅格地图的回环检测方法 | |
JP7240573B2 (ja) | 施工支援システムおよび施工支援装置 | |
CN111339600B (zh) | 建筑物倾斜模型中分层分户三维显示方法、***及存储介质 | |
US20190051029A1 (en) | Annotation Generation for an Image Network | |
KR20040024624A (ko) | 영상정보를 이용한 지리정보 구축 및 브라우징 시스템과그 방법 | |
Kaiser et al. | Automatic co-registration of photogrammetric point clouds with digital building models | |
CN112396701A (zh) | 卫星图像的处理方法、装置、电子设备和计算机存储介质 | |
JP7479322B2 (ja) | 点群管理装置及びプログラム | |
JP5707238B2 (ja) | 画像検索装置及び画像検索システム | |
JP7219143B2 (ja) | 撮影計画立案装置およびその方法 | |
WO2023116327A1 (zh) | 基于多类型地图的融合定位方法及电子设备 | |
KR102198775B1 (ko) | 이동단말, 이를 포함하는 견적 생성 시스템 및 방법 | |
JP3809985B2 (ja) | 属性データ管理方法 | |
Mengiste et al. | Automated integration of as-is point cloud information with as-planned BIM for interior construction | |
CN114245333A (zh) | 室内基站部署方法、装置及计算机可读存储介质 | |
KR101028767B1 (ko) | 지리 영상정보 갱신방법 | |
JP6259864B2 (ja) | 多面的機能支払支援装置、多面的機能支払支援方法、およびプログラム | |
JAMAL et al. | Scan-to-BIM approach towards producing quantity take-off of heritage buildings in Malaysia |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7479322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |