JP7316052B2 - 作業機械を含むシステム、およびコンピュータによって実行される方法 - Google Patents
作業機械を含むシステム、およびコンピュータによって実行される方法 Download PDFInfo
- Publication number
- JP7316052B2 JP7316052B2 JP2019013405A JP2019013405A JP7316052B2 JP 7316052 B2 JP7316052 B2 JP 7316052B2 JP 2019013405 A JP2019013405 A JP 2019013405A JP 2019013405 A JP2019013405 A JP 2019013405A JP 7316052 B2 JP7316052 B2 JP 7316052B2
- Authority
- JP
- Japan
- Prior art keywords
- position estimation
- angle
- estimation model
- computer
- work implement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
- E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2221—Control of flow rate; Load sensing arrangements
- E02F9/2225—Control of flow rate; Load sensing arrangements using pressure-compensating valves
- E02F9/2228—Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2221—Control of flow rate; Load sensing arrangements
- E02F9/2232—Control of flow rate; Load sensing arrangements using one or more variable displacement pumps
- E02F9/2235—Control of flow rate; Load sensing arrangements using one or more variable displacement pumps including an electronic controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Fluid Mechanics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operation Control Of Excavators (AREA)
Description
画像処理部61は、撮像装置(カメラ)50から、撮像装置50により撮像された撮像画像の入力を受ける。画像処理部61は、入力された撮像画像を画像処理する。
Claims (12)
- 作業機械本体と、
前記作業機械本体に取り付けられた作業機と、
前記作業機を操作するための操作部材と、
コンピュータとを備え、
前記コンピュータは、前記作業機のうち、位置を推定する対象の部位である位置推定対象部の現在位置を求めるための、学習済み位置推定モデルを有し、
前記コンピュータは、前記操作部材の操作によって前記作業機を動作させる操作指令値を取得し、前記学習済み位置推定モデルに前記操作指令値を入力することで前記位置推定対象部の基準位置からの変位量を推定した出力を得て、前記基準位置および前記変位量から前記位置推定対象部の現在位置を推定した第1推定位置を出力する、作業機械を含むシステム。 - 前記学習済み位置推定モデルは、前記操作指令値が入力されると、前記位置推定対象部の前記基準位置からの前記変位量を推定して、前記基準位置および前記変位量から前記位置推定対象部の位置を推定した前記第1推定位置を出力するように、学習用データセットを用いた学習処理がなされている、請求項1に記載のシステム。
- 前記学習済み位置推定モデルは、学習用データセットを用いた学習処理により生成され、前記学習用データセットは、前記操作指令値に対して、前記位置推定対象部の前記基準位置からの前記変位量をラベル付けした学習用データを複数含む、請求項1に記載のシステム。
- 前記コンピュータは、前記学習済み位置推定モデルを用いて、前記作業機のうち前記位置推定対象部以外の部位の位置をさらに推定する、請求項1~3のいずれか1項に記載のシステム。
- 前記コンピュータは、前記操作指令値から、前記位置推定対象部以外の部位の位置をさらに推定する、請求項4に記載のシステム。
- 前記作業機は、前記作業機械本体に連結されたブームと、前記ブームに連結されたアームと、前記アームに連結されたバケットとを有し、
前記位置推定対象部は、前記バケットであり、
前記位置推定対象部以外の部位は、前記アームまたは前記ブームである、請求項4または5に記載のシステム。 - 前記システムは、前記作業機を撮像する撮像装置をさらに備え、
前記コンピュータは、前記位置推定対象部の位置を求めるための他の学習済み位置推定モデルをさらに有し、前記撮像装置によって撮像される前記作業機の撮像画像を取得し、前記他の学習済み位置推定モデルを用いて前記撮像画像から前記位置推定対象部の位置を推定した第2推定位置を出力するものであり、
前記コンピュータは、前記他の学習済み位置推定モデルを用いて前記撮像画像から前記第2推定位置を求める推定の精度を検出し、その精度が所定値よりも低いとき、前記学習済み位置推定モデルを用いて前記操作指令値から前記第1推定位置を推定する、請求項1~6のいずれか1項に記載のシステム。 - 前記基準位置は、前記撮像画像から前記第2推定位置を求める推定の精度が所定値よりも低下する直前の前記位置推定対象部の前記第2推定位置である、請求項7に記載のシステム。
- 前記コンピュータは、前記他の学習済み位置推定モデルを用いて、前記撮像画像から、前記作業機のうち前記位置推定対象部以外の部位の位置をさらに推定する、請求項7または8に記載のシステム。
- 前記作業機を動作させる油圧シリンダをさらに備え、
前記コンピュータは、前記油圧シリンダのストロークエンドで前記変位量を較正する、請求項1~9のいずれか1項に記載のシステム。 - 前記作業機の位置は、前記作業機械本体に対する前記作業機の相対位置である、請求項1~10のいずれか1項に記載のシステム。
- コンピュータによって実行される方法であって、
作業機械本体に設けられた作業機を動作させる操作指令値を取得する工程と、
前記作業機の現在位置を求めるための学習済み位置推定モデルに前記操作指令値を入力することで前記作業機の基準位置からの変位量を推定した出力を得る工程と、
前記基準位置および前記変位量から前記作業機の現在位置を推定した推定位置を求める工程と、
を備える方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019013405A JP7316052B2 (ja) | 2019-01-29 | 2019-01-29 | 作業機械を含むシステム、およびコンピュータによって実行される方法 |
DE112020000142.3T DE112020000142T5 (de) | 2019-01-29 | 2020-01-23 | System mit einer Arbeitsmaschine, computerimplementiertes Verfahren, Verfahren zur Erzeugung eines gelernten Positionsschätzmodells, und Lerndaten |
CN202080006250.XA CN113167054B (zh) | 2019-01-29 | 2020-01-23 | 包括作业机械的***、由计算机执行的方法及学习用数据 |
KR1020217014429A KR102590855B1 (ko) | 2019-01-29 | 2020-01-23 | 작업 기계를 포함하는 시스템, 작업 기계를 포함하는 시스템이 컴퓨터에 의해 실행되는 방법, 작업 기계를 포함하는 시스템에 사용되는 학습된 위치 추정 모델의 생성 방법 |
PCT/JP2020/002251 WO2020158557A1 (ja) | 2019-01-29 | 2020-01-23 | 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの位置推定モデルの製造方法、および学習用データ |
US17/296,314 US12024863B2 (en) | 2019-01-29 | 2020-01-23 | System including work machine, computer implemented method, method for producing trained position estimation model, and training data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019013405A JP7316052B2 (ja) | 2019-01-29 | 2019-01-29 | 作業機械を含むシステム、およびコンピュータによって実行される方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020122283A JP2020122283A (ja) | 2020-08-13 |
JP7316052B2 true JP7316052B2 (ja) | 2023-07-27 |
Family
ID=71842035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019013405A Active JP7316052B2 (ja) | 2019-01-29 | 2019-01-29 | 作業機械を含むシステム、およびコンピュータによって実行される方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US12024863B2 (ja) |
JP (1) | JP7316052B2 (ja) |
KR (1) | KR102590855B1 (ja) |
CN (1) | CN113167054B (ja) |
DE (1) | DE112020000142T5 (ja) |
WO (1) | WO2020158557A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7472034B2 (ja) * | 2018-10-31 | 2024-04-22 | 住友建機株式会社 | ショベル、ショベル支援システム |
JP7079896B2 (ja) * | 2019-05-24 | 2022-06-02 | 川崎重工業株式会社 | 学習機能付き建設機械 |
US20210087777A1 (en) * | 2019-09-25 | 2021-03-25 | Deere & Company | Work implement linkage system having automated features for a work vehicle |
JP7127715B2 (ja) * | 2020-09-28 | 2022-08-30 | 日本精機株式会社 | 作業支援システムの制御方法、作業支援システムの制御プログラム |
US11352769B1 (en) * | 2021-06-25 | 2022-06-07 | Built Robotics Inc. | Online machine learning for calibration of autonomous earth moving vehicles |
DE102022203962A1 (de) | 2022-04-25 | 2023-10-26 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Lageschätzung einer Arbeitskinematik einer Arbeitsmaschine und Arbeitsmaschine |
DE102022213440A1 (de) | 2022-12-12 | 2024-06-13 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln eines Gelenkwinkels einer Arbeitsmaschine, Verfahren zum Kalibrieren einer Sensorvorrichtung einer Arbeitsmaschine, Steuergerät und Arbeitsmaschine |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001142506A (ja) | 1999-11-16 | 2001-05-25 | Hitachi Ltd | 操作支援機能付き車両 |
WO2014167732A1 (ja) | 2013-04-12 | 2014-10-16 | 株式会社小松製作所 | 油圧シリンダのストローク動作校正制御装置及び油圧シリンダのストローク動作校正制御方法 |
JP2015063864A (ja) | 2013-09-26 | 2015-04-09 | 住友建機株式会社 | ショベル、及びショベル用管理装置 |
JP2016156193A (ja) | 2015-02-25 | 2016-09-01 | 株式会社日立製作所 | 操作支援システムおよび操作支援システムを備えた作業機械 |
WO2017010212A1 (ja) | 2015-07-15 | 2017-01-19 | 株式会社日立製作所 | 作業機械の操作システムおよび作業機械の操作システムを備えた作業機械 |
JP2018190241A (ja) | 2017-05-09 | 2018-11-29 | オムロン株式会社 | タスク実行システム、タスク実行方法、並びにその学習装置及び学習方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06336747A (ja) | 1993-05-26 | 1994-12-06 | Shin Caterpillar Mitsubishi Ltd | シヨベル系建設機械の作業部制御装置 |
JPH09328785A (ja) * | 1996-04-10 | 1997-12-22 | Komatsu Ltd | 建設機械の作業機制御装置 |
JP2005194825A (ja) * | 2004-01-09 | 2005-07-21 | Shin Caterpillar Mitsubishi Ltd | 建設機械における作業機制御装置 |
KR101715940B1 (ko) | 2010-06-23 | 2017-03-13 | 두산인프라코어 주식회사 | 티칭 및 플레이백을 이용한 건설기계의 작업궤적 제어 장치 및 그 방법 |
WO2011162561A2 (ko) | 2010-06-23 | 2011-12-29 | 두산인프라코어 주식회사 | 건설기계의 작업궤적 제어 장치 및 그 방법 |
US10032117B2 (en) * | 2014-09-17 | 2018-07-24 | Caterpillar Inc. | Method for developing machine operation classifier using machine learning |
US10471610B2 (en) * | 2015-06-16 | 2019-11-12 | Samsung Electronics Co., Ltd. | Robot arm having weight compensation mechanism |
JP6532797B2 (ja) | 2015-10-08 | 2019-06-19 | 日立建機株式会社 | 建設機械 |
JP7001350B2 (ja) * | 2017-02-20 | 2022-01-19 | 株式会社小松製作所 | 作業車両および作業車両の制御方法 |
JP2018135679A (ja) | 2017-02-21 | 2018-08-30 | 株式会社小松製作所 | 作業車両および作業車両の制御方法 |
JP7253949B2 (ja) * | 2019-03-25 | 2023-04-07 | 株式会社小松製作所 | 作業機械、システムおよび作業機械の制御方法 |
JP7491858B2 (ja) * | 2021-02-22 | 2024-05-28 | 株式会社小松製作所 | 作業機モーメントを推定する方法 |
-
2019
- 2019-01-29 JP JP2019013405A patent/JP7316052B2/ja active Active
-
2020
- 2020-01-23 DE DE112020000142.3T patent/DE112020000142T5/de active Pending
- 2020-01-23 CN CN202080006250.XA patent/CN113167054B/zh active Active
- 2020-01-23 WO PCT/JP2020/002251 patent/WO2020158557A1/ja active Application Filing
- 2020-01-23 US US17/296,314 patent/US12024863B2/en active Active
- 2020-01-23 KR KR1020217014429A patent/KR102590855B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001142506A (ja) | 1999-11-16 | 2001-05-25 | Hitachi Ltd | 操作支援機能付き車両 |
WO2014167732A1 (ja) | 2013-04-12 | 2014-10-16 | 株式会社小松製作所 | 油圧シリンダのストローク動作校正制御装置及び油圧シリンダのストローク動作校正制御方法 |
JP2015063864A (ja) | 2013-09-26 | 2015-04-09 | 住友建機株式会社 | ショベル、及びショベル用管理装置 |
JP2016156193A (ja) | 2015-02-25 | 2016-09-01 | 株式会社日立製作所 | 操作支援システムおよび操作支援システムを備えた作業機械 |
WO2017010212A1 (ja) | 2015-07-15 | 2017-01-19 | 株式会社日立製作所 | 作業機械の操作システムおよび作業機械の操作システムを備えた作業機械 |
JP2018190241A (ja) | 2017-05-09 | 2018-11-29 | オムロン株式会社 | タスク実行システム、タスク実行方法、並びにその学習装置及び学習方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112020000142T5 (de) | 2021-07-29 |
US12024863B2 (en) | 2024-07-02 |
JP2020122283A (ja) | 2020-08-13 |
US20220049477A1 (en) | 2022-02-17 |
KR102590855B1 (ko) | 2023-10-17 |
CN113167054B (zh) | 2022-10-04 |
CN113167054A (zh) | 2021-07-23 |
WO2020158557A1 (ja) | 2020-08-06 |
KR20210075157A (ko) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7316052B2 (ja) | 作業機械を含むシステム、およびコンピュータによって実行される方法 | |
US11530920B2 (en) | Controlling movement of a machine using sensor fusion | |
JP7177608B2 (ja) | 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの位置推定モデルの製造方法、および学習用データ | |
JP6068730B2 (ja) | 作業機械、及び作業機械の作業機パラメータ補正方法 | |
JP2020035380A (ja) | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット | |
CN111032962B (zh) | 工程机械 | |
JP7376264B2 (ja) | 作業機械を含むシステム、および作業機械 | |
US20220307226A1 (en) | Method for producing trained work type estimation model, training data, computer-implemented method, and system comprising work machine | |
US20220298743A1 (en) | Method for automatically controlling cyclical operations of an earthmoving machine | |
JP7481908B2 (ja) | 掘削計画作成装置、作業機械および掘削計画作成方法 | |
US20230339402A1 (en) | Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle | |
JP6912687B2 (ja) | 油圧ショベル | |
CN114787455B (zh) | 作业机械的控制***、作业机械以及作业机械的控制方法 | |
WO2024135603A1 (ja) | ショベルの施工支援システム | |
US20230129397A1 (en) | Work vehicle implement joint orientation system and method | |
US20240247462A1 (en) | System and method of automated setting of elevation reference for continuous grade control | |
AU2023202519A1 (en) | A work machine with an adaptive control system and method for grade control | |
JP2023150952A (ja) | 作業機械 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230714 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7316052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |