JP7473914B2 - 自己位置推定システム、及び建設機械位置推定システム - Google Patents
自己位置推定システム、及び建設機械位置推定システム Download PDFInfo
- Publication number
- JP7473914B2 JP7473914B2 JP2020128342A JP2020128342A JP7473914B2 JP 7473914 B2 JP7473914 B2 JP 7473914B2 JP 2020128342 A JP2020128342 A JP 2020128342A JP 2020128342 A JP2020128342 A JP 2020128342A JP 7473914 B2 JP7473914 B2 JP 7473914B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- rectangular area
- rectangular
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 144
- 238000004364 calculation method Methods 0.000 claims description 91
- 238000010801 machine learning Methods 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims 2
- 206010047571 Visual impairment Diseases 0.000 claims 1
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005056 compaction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 208000037805 labour Diseases 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000009430 construction management Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001684 chronic effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
(1)他の移動体がある環境であっても画像を用いた空間演算によって、従来に比して高い精度で自己位置を推定することができる。
(2)衛星測位システムのように環境に制約されることなく、屋内を含め様々な環境で自己位置を推定することができる。
(3)比較的廉価なセンサー(カメラ等)を利用することができ、すなわち従来に比して実施に係るコストを抑えることができる。
本願発明の実施形態の例を説明するにあたって、はじめにここで用いる用語の定義を示しておく。
本願発明は、カメラやビデオカメラといった光学センサー(以下、「画像取得手段」という。)を搭載した移動体が移動しながら画像を取得し、この画像を用いて移動体の自己位置を推定することを特徴の一つとしている。ただし、画像取得手段を搭載した移動体が移動する環境には他の移動体も移動しており、取得される画像内には他の移動体が含まれることがある。つまり、本願発明を説明するうえでは、自己位置を推定する(画像取得手段を搭載した)移動体と、画像に含まれる他の移動体の2種類の移動体が混在することとなる。便宜上ここでは、自己位置を推定する移動体のことを「移動主体」と、移動主体とは異なる他の移動体のことを「移動客体」ということとする。なお本願発明における「移動体」には、平面上を移動する自動車や建設機械、船舶、歩行者など、あるいは空中を移動する航空機やドローンといった飛行体、そのほか水中を移動する潜水体など、移動可能なあらゆるものが含まれる。
本願発明は、取得した画像内に移動客体が含まれるとき、この移動客体の領域(以下、「移動客体領域」という。)を除いた画像を用いることも特徴の一つとしている。そして、移動客体領域を設定するにあたっては、矩形によって設定する手法と、画素の集合によって設定する手法が適宜用いられる。例えば、図1(a)に示すように移動客体である建設機械CM(振動ローラ)が画像内に含まれる場合、図1(b)に示すように建設機械CM(移動客体)を包含する矩形によって移動客体領域を設定し、あるいは図1(c)に示すように画像内で建設機械CM(移動客体)に対応する画素の集合によって移動客体領域を設定する。便宜上ここでは、移動客体を包含する矩形によって設定された領域のことを「矩形領域SR(図1(b))」と、移動客体に対応する(移動客体を構成する)画素の集合によって設定された領域のことを「形状領域CR(図1(c))」ということとする。
矩形領域SRと形状領域CRのうち移動客体領域として採用された領域、つまり画像から除外する領域のことを、便宜上ここでは「マスク領域」ということとする。また画像のうちマスク領域が除かれた領域、つまり後続の演算処理に利用する領域のことを、便宜上ここでは「演算用領域」、さらに演算用領域内に含まれる画素の集合のことを「演算用画像」ということとする。
矩形領域SRや形状領域CRを設定するにあたっては、まずは画像内にある移動客体を認識する必要があり、この認識技術には機械学習を利用することができる。すなわち、機械学習によって構築された学習済みモデルを用いることによって、その画像内に既に学習した移動客体が含まれるか否かを判定する。そして、学習済みモデルを用いて移動客体を認識した場合、その移動客体に対して矩形領域SRや形状領域CRを設定し、さらに振動ローラや乗用車、ドローンといった移動客体の種別を推定することもできる。便宜上ここでは、推定された移動客体の種別のことを「客体種別」ということとする。
学習済みモデルによって移動客体を認識する場合、その確度によっては誤って抽出されることもある。そこで、その移動客体が移動した距離に基づいて、移動体か否かを判断することが考えられる。便宜上ここでは、移動客体が移動した距離のことを「移動量」ということとする。移動量を求めるにあたっては、同一の移動客体を含む異なる2枚の画像を用いることができる。以下、移動量を求める一例について説明する。
次に、本願発明の自己位置推定システムについて詳しく説明する。なお、本願発明の建設機械位置推定システムは、本願発明の自己位置推定システムを利用して建設機械の自己位置を推定するものである。したがって、まずは本願発明の自己位置推定システムについて説明し、その後に本願発明の建設機械位置推定システムについて説明することとする。
既述したとおり移動主体110は、自己位置を推定しようとする移動体であり、平面上を移動するものに限らず空中や水中を移動するものなど、移動可能なあらゆるものが対象となる。
矩形領域設定手段102(図3)は、画像に含まれる移動客体を認識するとともに、認識した移動客体に対して矩形領域SRを設定する手段である。より詳しくは、第1モデル記憶手段113(図3)から機械学習によって構築された学習済みモデル(以下、「第1学習モデル」という。)を読み出し、この第1学習モデルを用いて画像内の移動客体を認識し、さらに画像内の移動客体を包含するように矩形領域SRを設定する。また矩形領域設定手段102は、既述したように第1学習モデルを用いることによって矩形領域SRに含まれる移動客体の客体種別を推定することもできる。
矩形領域判定手段105(図3)は、矩形領域割合を算出するとともに、矩形領域SRを適正領域か大領域のいずれかに判定する手段である。より詳しくは、画素数や面積に基づいて矩形領域割合(例えば、矩形領域SRを構成する画素数/画像全体を構成する画素数)を求め、この矩形領域割合が割合閾値を下回るときは矩形領域SRを適正領域と判定し、矩形領域割合が割合閾値を超えるときは矩形領域SRを大領域と判定する。
移動量算出手段108(図3)は、移動客体の移動量を算出する手段である。既述したとおり移動量は、選出された変化前画像と変化後画像を用いて算出することができる。すなわち、変化前画像の矩形領域SRから変化前特徴点を抽出するとともに、変化後画像の矩形領域SRから変化後特徴点を抽出し、それぞれ変化前特徴点と変化後特徴点の3次元座標を求めて、変化前特徴点と変化後特徴点の距離(つまり、移動量)を求める。
演算用領域設定手段103(図3)は、マスク対象判定手段109によってマスク対象とされた矩形領域SRや形状領域CR(以下、「マスク領域」という。)を、画像から除くことによって演算用領域を設定するとともに演算用画像を設定する手段である。
続いて本願発明の建設機械位置推定システムについて図を参照しながら説明する。なお、本願発明の建設機械位置推定システムは、ここまで説明した自己位置推定システム100を利用して建設機械の自己位置を推定するものであり、したがって自己位置推定システム100で説明した内容と重複する説明は避け、本願発明の建設機械位置推定システムに特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「1.定義
」を含め「2.自己位置推定システム」で説明したものと同様である。
100A 解析システム
101 画像取得手段
102 矩形領域設定手段
103 演算用領域設定手段
104 演算手段
105 矩形領域判定手段
106 形状領域設定手段
107 条件設定手段
108 移動量算出手段
109 マスク対象判定手段
110 移動主体
111 出力手段
112 画像記憶手段
113 第1モデル記憶手段
114 第2モデル記憶手段
200 本願発明の建設機械位置推定システム
201 当該建設機械
202 送受信手段
CM 建設機械
CR 形状領域
SR 矩形領域
Claims (5)
- 移動可能な移動主体に搭載され、定期的又は断続的に画像を取得する画像取得手段と、
前記画像に前記移動主体とは異なる移動可能な移動客体が含まれるとき、該移動客体を包含する矩形領域を該画像内で設定する矩形領域設定手段と、
前記矩形領域をマスク領域とするとともに、前記画像から該マスク領域を除いた領域を演算用領域として設定する演算用領域設定手段と、
前記画像のうち前記矩形領域が占める矩形領域割合を算出するとともに、該矩形領域割合が割合閾値を超えるときは該矩形領域を大領域として判定する矩形領域判定手段と、
前記矩形領域判定手段によって前記大領域として判定された前記矩形領域に係る前記移動客体に対して、前記画像内における該移動客体に対応する画素の集合である形状領域を設定する形状領域設定手段と、
複数の前記画像に基づいて、前記移動主体の自己位置を算出する演算手段と、を備え、
前記矩形領域設定手段は、機械学習によって構築された学習済みモデルを用いて前記矩形領域を設定し、
前記形状領域設定手段は、機械学習によって構築された学習済みモデルを用いて前記形状領域を設定し、
前記演算用領域設定手段は、前記形状領域が設定された前記画像に対しては、前記矩形領域に代えて該形状領域を前記マスク領域とし、
前記演算手段は、前記画像のうち前記演算用領域を用いて空間演算を行う、
ことを特徴とする自己位置推定システム。 - 異なる2つの前記画像である変化前画像と変化後画像に含まれる前記矩形領域に基づいて、該矩形領域の移動量を算出する移動量算出手段と、
前記矩形領域の移動量が距離閾値を超えるときは該矩形領域に係る前記移動客体をマスク対象として判定し、該矩形領域の移動量が該距離閾値を下回るときは該矩形領域に係る該移動客体をマスク非対象として判定するマスク対象判定手段と、をさらに備え、
前記演算手段は、前記変化前画像内の前記矩形領域に含まれる特徴点の位置を算出するとともに、前記変化後画像内の該矩形領域に含まれる該特徴点の位置を算出し、
前記移動量算出手段は、前記演算手段によって算出された前記特徴点の位置に基づいて前記矩形領域の移動量を算出し、
前記演算用領域設定手段は、前記マスク対象判定手段によって前記マスク対象と判定された前記移動客体に係る前記矩形領域、又は前記形状領域を、前記マスク領域とする、
ことを特徴とする請求項1記載の自己位置推定システム。 - 前記矩形領域に係る前記移動客体の種別に応じて、画像間隔又は/及び前記距離閾値を設定する条件設定手段を、さらに備え、
前記矩形領域設定手段は、前記矩形領域に係る前記移動客体の前記種別を推定し、
前記移動量算出手段は、前記条件設定手段によって設定された前記画像間隔に基づいて前記変化前画像と前記変化後画像を選出し、
前記マスク対象判定手段は、前記条件設定手段によって設定された前記距離閾値に基づいて前記マスク対象又は前記マスク非対象を判定する、
ことを特徴とする請求項2記載の自己位置推定システム。 - 同一の施工範囲内で他の建設機械と同時に稼働する建設機械の自己位置を推定するシステムであって、
自己位置を推定する当該建設機械に搭載され、定期的又は断続的に画像を取得する画像取得手段と、
前記画像に前記他の建設機械が含まれるとき、該他の建設機械を包含する矩形領域を該画像内で設定する矩形領域設定手段と、
前記矩形領域をマスク領域とするとともに、前記画像から該マスク領域を除いた領域を演算用領域として設定する演算用領域設定手段と、
複数の前記画像に基づいて、前記当該建設機械の自己位置を算出する演算手段と、
前記当該建設機械に搭載され、前記当該建設機械によって行われる作業の状況を計測する作業用センサーと、
複数の分割領域によって構成される基盤図を出力する出力手段と、を備え、
前記矩形領域設定手段は、機械学習によって構築された学習済みモデルを用いて前記矩形領域を設定し、
前記演算手段は、前記画像のうち前記演算用領域を用いて空間演算を行い、
前記出力手段は、前記作業用センサーによって計測された計測結果と、前記当該建設機械の自己位置と、に基づいて、前記分割領域を作業状況に応じた表示に変更して前記基盤図を出力する、
ことを特徴とする建設機械位置推定システム。 - 同一の施工範囲内で同時に稼働する2以上の前記当該建設機械に、それぞれ前記画像取得手段が搭載され、
前記演算手段は、前記当該建設機械ごとにそれぞれ自己位置を算出する、
ことを特徴とする請求項4記載の建設機械位置推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020128342A JP7473914B2 (ja) | 2020-07-29 | 2020-07-29 | 自己位置推定システム、及び建設機械位置推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020128342A JP7473914B2 (ja) | 2020-07-29 | 2020-07-29 | 自己位置推定システム、及び建設機械位置推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022025497A JP2022025497A (ja) | 2022-02-10 |
JP7473914B2 true JP7473914B2 (ja) | 2024-04-24 |
Family
ID=80264725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020128342A Active JP7473914B2 (ja) | 2020-07-29 | 2020-07-29 | 自己位置推定システム、及び建設機械位置推定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7473914B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042447A (ja) | 2018-09-07 | 2020-03-19 | Kddi株式会社 | 不動物体情報から端末位置を推定する装置、プログラム及び方法 |
WO2020091002A1 (ja) | 2018-10-31 | 2020-05-07 | 住友建機株式会社 | ショベル、ショベル支援システム |
-
2020
- 2020-07-29 JP JP2020128342A patent/JP7473914B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042447A (ja) | 2018-09-07 | 2020-03-19 | Kddi株式会社 | 不動物体情報から端末位置を推定する装置、プログラム及び方法 |
WO2020091002A1 (ja) | 2018-10-31 | 2020-05-07 | 住友建機株式会社 | ショベル、ショベル支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP2022025497A (ja) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220036574A1 (en) | System and method for obstacle avoidance | |
US11906983B2 (en) | System and method for tracking targets | |
JP3833786B2 (ja) | 移動体の3次元自己位置認識装置 | |
US11430087B2 (en) | Using maps comprising covariances in multi-resolution voxels | |
KR102195179B1 (ko) | 항공사진을 이용한 정사영상 구축방법 | |
CN106066645A (zh) | 在操作推土机的同时测量和绘制地形的方法和控制*** | |
US11288861B2 (en) | Maps comprising covariances in multi-resolution voxels | |
EP3799618B1 (en) | Method of navigating a vehicle and system thereof | |
JP2024088665A (ja) | データ処理方法、記録媒体、プログラム、及びシステム | |
Teixeira et al. | Autonomous aerial inspection using visual-inertial robust localization and mapping | |
KR20230082497A (ko) | 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치 | |
JP7473914B2 (ja) | 自己位置推定システム、及び建設機械位置推定システム | |
CN110178157B (zh) | 自身位置估计装置、自身位置估计方法、程序及图像处理装置 | |
Golovnin et al. | Video processing method for high-definition maps generation | |
CN114581603A (zh) | 一种无人机建模方法及装置 | |
CN109489678B (zh) | 用于监控导航的定位方法及*** | |
CN113936209A (zh) | 巡逻机器人的协同作业方法及相关设备 | |
CN114868154A (zh) | 包括多分辨率体素中的协方差的地图 | |
CN112433193A (zh) | 一种基于多传感器的模位置定位方法及*** | |
Gupta et al. | Challenges in Capturing and Processing UAV based Photographic Data From Construction Sites | |
CN113011212A (zh) | 图像识别方法、装置及车辆 | |
Trusheim et al. | Cooperative localisation using image sensors in a dynamic traffic scenario | |
Hösch et al. | High Definition Mapping for Inland Waterways: Techniques, Challenges and Prospects | |
Grinstead et al. | Mobile scanning system for the fast digitization of existing roadways and structures | |
Cieśluk et al. | A stereovision system for real time obstacle avoidance by unmanned aerial vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7473914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |