JP7503370B2 - 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム - Google Patents
学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム Download PDFInfo
- Publication number
- JP7503370B2 JP7503370B2 JP2019123018A JP2019123018A JP7503370B2 JP 7503370 B2 JP7503370 B2 JP 7503370B2 JP 2019123018 A JP2019123018 A JP 2019123018A JP 2019123018 A JP2019123018 A JP 2019123018A JP 7503370 B2 JP7503370 B2 JP 7503370B2
- Authority
- JP
- Japan
- Prior art keywords
- task classification
- work machine
- task
- estimation model
- boom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000004519 manufacturing process Methods 0.000 title claims description 19
- 238000012549 training Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 description 81
- 238000012545 processing Methods 0.000 description 54
- 238000009412 basement excavation Methods 0.000 description 49
- 230000036544 posture Effects 0.000 description 34
- 238000003860 storage Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 18
- 230000007935 neutral effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 239000010720 hydraulic oil Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000003921 oil Substances 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/308—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working outwardly
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/431—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/431—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
- E02F3/434—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like providing automatic sequences of movements, e.g. automatic dumping or loading, automatic return-to-dig
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2041—Automatic repositioning of implements, i.e. memorising determined positions of the implement
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
- E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Operation Control Of Excavators (AREA)
- Image Analysis (AREA)
Description
実施形態においては、作業機械の一例としてホイールローダ1について説明する。図1は、実施形態に基づく作業機械の一例としてのホイールローダ1の側面図である。
本実施形態のホイールローダ1は、土砂などの掘削対象物100をバケット6に掬い取る掘削動作と、バケット6内の荷(掘削対象物100)をダンプトラック110などの運搬機械に積み込む積込動作とを実行する。
図5は、作業機械を含むシステムに含まれる、コンピュータ102Aの構成を示す模式図である。実施形態に係るシステムは、図4を参照して説明したテーブルによらずに、ホイールローダ1による掘削積込作業中の作業分類を実行するためのシステムである。図5に示されるコンピュータ102Aは、図2に示される第1処理装置30の一部構成を成すものである。コンピュータ102Aは、実施形態に係るシステム用に専用に設計されたものであってもよく、または汎用のPC(Personal Computer)であってもよい。
図7は、学習済みの作業分類推定モデル180の製造方法を示すフローチャートである。図8および図9は、作業分類推定モデル180を学習させるための処理を示す概略図である。図6について説明した内容と一部重複もあるが、図7~9を参照して、作業分類を推定する作業分類推定モデル180を学習させるための処理について、以下に説明する。
図10は、工場出荷されるホイールローダ1のシステム構成を示すブロック図である。工場出荷されるホイールローダ1は、図6に示されるコンピュータ102Aに替えて、コンピュータ102Bを備えている。コンピュータ102Bは、プロセッサ103と記憶装置104とを有している。
図12は、作業分類推定モデル180の学習に関する変形例を示す概略図である。図6~9の説明においては、ホイールローダ1の工場出荷前に作業分類推定モデル180を学習させる例について説明した。作業分類推定モデル180を学習させるための学習用データは、複数のホイールローダ1から収集されてもよい。
Claims (9)
- 学習済みの作業分類推定モデルの製造方法であって、
作業機械の作業中の立体形状を示す3次元モデルを特定の視点位置から見た2次元画像と、前記2次元画像に対してラベル付けされた、前記作業機械の動作の内容を示す作業分類と、を含む学習用データを取得することと、
前記学習用データにより前記作業分類推定モデルを学習させることと、を備える、製造方法。 - 前記作業機械は、作業機械本体と、前記作業機械本体に取り付けられた作業機とを有し、
前記作業機械本体に対する前記作業機の姿勢を示す姿勢データを取得することと、
前記姿勢データに基づいて前記3次元モデルを作成することと、をさらに備える、請求項1に記載の製造方法。 - 前記作業機は、前記作業機械本体に連結されたブームと、前記ブームに連結されたアタッチメントとを含む、請求項2に記載の製造方法。
- 前記姿勢データは、前記作業機械本体に対する前記ブームの角度と、前記ブームに対する前記アタッチメントの角度とを含む、請求項3に記載の製造方法。
- 前記学習用データは、前記作業機械の動作に関する操作データをさらに含む、請求項1~4のいずれか1項に記載の製造方法。
- 前記操作データは、前記作業機械の走行に関するデータを含む、請求項5に記載の製造方法。
- 前記学習させることは、
前記作業分類推定モデルを用いて、前記2次元画像から、前記作業分類を推定した推定作業分類を求めることと、
前記推定作業分類が前記作業分類と一致しているか否かを判定することと、
前記判定の結果に基づいて、前記作業分類推定モデルを更新することと、を含む、請求項1~6のいずれか1項に記載の製造方法。 - コンピュータによって実行される方法であって、
作業機械を表示する画像データを取得することと、
請求項1~6のいずれか1項に記載の製造方法によって製造された学習済みの前記作業分類推定モデルに、前記画像データを入力して、前記作業分類を推定することと、
を備える方法。 - 作業機械と、
コンピュータとを備え、
前記コンピュータは、請求項1~6のいずれか1項に記載の製造方法によって製造された学習済みの作業分類推定モデルを有し、
前記コンピュータは、前記作業機械を表示する画像データを取得し、前記作業分類推定モデルを用いて前記画像データから前記作業分類を推定した推定作業分類を出力する、作業機械を含むシステム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019123018A JP7503370B2 (ja) | 2019-07-01 | 2019-07-01 | 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム |
PCT/JP2020/024714 WO2021002249A1 (ja) | 2019-07-01 | 2020-06-24 | 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム |
CN202080035665.XA CN113825879B (zh) | 2019-07-01 | 2020-06-24 | 学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的*** |
US17/608,817 US20220307226A1 (en) | 2019-07-01 | 2020-06-24 | Method for producing trained work type estimation model, training data, computer-implemented method, and system comprising work machine |
EP20834552.0A EP3940153A4 (en) | 2019-07-01 | 2020-06-24 | METHOD FOR PRODUCING A TRAINED WORK CLASSIFICATION ESTIMATING MODEL, DATA FOR LEARNING, COMPUTER IMPLEMENTED METHOD, AND SYSTEM INCLUDING A CONSTRUCTION MACHINE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019123018A JP7503370B2 (ja) | 2019-07-01 | 2019-07-01 | 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021008747A JP2021008747A (ja) | 2021-01-28 |
JP7503370B2 true JP7503370B2 (ja) | 2024-06-20 |
Family
ID=74100272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019123018A Active JP7503370B2 (ja) | 2019-07-01 | 2019-07-01 | 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220307226A1 (ja) |
EP (1) | EP3940153A4 (ja) |
JP (1) | JP7503370B2 (ja) |
CN (1) | CN113825879B (ja) |
WO (1) | WO2021002249A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3919687A4 (en) * | 2019-04-04 | 2022-11-16 | Komatsu Ltd. | WORK MACHINE SYSTEM, COMPUTER-EXECUTED METHOD, METHOD OF PRODUCTION FOR TRAINED POSITION ESTIMATION MODELS AND LEARNING DATA |
JP7124852B2 (ja) * | 2020-07-30 | 2022-08-24 | カシオ計算機株式会社 | 教師データの生成方法、教師データの生成装置及びプログラム |
US12024173B2 (en) * | 2020-11-04 | 2024-07-02 | Deere & Company | System and method for work state estimation and control of self-propelled work vehicles |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216075A1 (ja) | 2017-05-22 | 2018-11-29 | 株式会社Fuji | 画像処理装置、多重通信システム及び画像処理方法 |
WO2019093152A1 (ja) | 2017-11-10 | 2019-05-16 | 株式会社小松製作所 | 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8485822B2 (en) * | 2006-05-31 | 2013-07-16 | Caterpillar Inc. | Simulation system implementing historical machine data |
ATE452379T1 (de) * | 2007-10-11 | 2010-01-15 | Mvtec Software Gmbh | System und verfahren zur 3d-objekterkennung |
CN102262736B (zh) * | 2011-07-21 | 2012-11-21 | 西北工业大学 | 空间目标图像分类与识别方法 |
EP2602588A1 (en) * | 2011-12-06 | 2013-06-12 | Hexagon Technology Center GmbH | Position and Orientation Determination in 6-DOF |
CN105224947B (zh) * | 2014-06-06 | 2018-11-13 | 株式会社理光 | 分类器训练方法和*** |
EP3086196B1 (en) * | 2015-04-21 | 2017-04-05 | Hexagon Technology Center GmbH | Method and control system for surveying and mapping a terrain while operating a bulldozer |
WO2017061515A1 (ja) * | 2015-10-05 | 2017-04-13 | 株式会社小松製作所 | 建設機械及び施工管理システム |
CN106339722A (zh) * | 2016-08-25 | 2017-01-18 | 国网浙江省电力公司杭州供电公司 | 一种线路刀闸状态监测方法及装置 |
EP3340106B1 (en) * | 2016-12-23 | 2023-02-08 | Hexagon Technology Center GmbH | Method and system for assigning particular classes of interest within measurement data |
JP7001350B2 (ja) | 2017-02-20 | 2022-01-19 | 株式会社小松製作所 | 作業車両および作業車両の制御方法 |
CN109919036B (zh) * | 2019-01-18 | 2022-09-27 | 南京理工大学 | 基于时域分析深度网络的工人作业姿势分类方法 |
WO2020204007A1 (ja) * | 2019-03-30 | 2020-10-08 | 住友建機株式会社 | ショベル及び施工システム |
-
2019
- 2019-07-01 JP JP2019123018A patent/JP7503370B2/ja active Active
-
2020
- 2020-06-24 EP EP20834552.0A patent/EP3940153A4/en active Pending
- 2020-06-24 WO PCT/JP2020/024714 patent/WO2021002249A1/ja unknown
- 2020-06-24 US US17/608,817 patent/US20220307226A1/en active Pending
- 2020-06-24 CN CN202080035665.XA patent/CN113825879B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216075A1 (ja) | 2017-05-22 | 2018-11-29 | 株式会社Fuji | 画像処理装置、多重通信システム及び画像処理方法 |
WO2019093152A1 (ja) | 2017-11-10 | 2019-05-16 | 株式会社小松製作所 | 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 |
Non-Patent Citations (1)
Title |
---|
村井 浩一 KOICHI MURAI,製造現場の作業分析結果を利用したカメラと深層学習による作業手順のリアルタイム監視システム Real-time work procedure monitoring system by deep learning and web camera using results of work analysis at manufacturing,情報処理学会 研究報告 コンシューマ・デバイス&システム(CDS) 2019-CDS-026 [online] ,日本,情報処理学会 |
Also Published As
Publication number | Publication date |
---|---|
WO2021002249A1 (ja) | 2021-01-07 |
US20220307226A1 (en) | 2022-09-29 |
JP2021008747A (ja) | 2021-01-28 |
EP3940153A1 (en) | 2022-01-19 |
CN113825879A (zh) | 2021-12-21 |
EP3940153A4 (en) | 2023-01-11 |
CN113825879B (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7376264B2 (ja) | 作業機械を含むシステム、および作業機械 | |
JP7503370B2 (ja) | 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム | |
JP7419348B2 (ja) | 作業機械を含むシステム、コンピュータによって実行される方法、および学習済みの姿勢推定モデルの製造方法 | |
JP7166108B2 (ja) | 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット | |
WO2020158557A1 (ja) | 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの位置推定モデルの製造方法、および学習用データ | |
JP7365122B2 (ja) | 画像処理システムおよび画像処理方法 | |
JP2019178599A (ja) | 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 | |
US20220298743A1 (en) | Method for automatically controlling cyclical operations of an earthmoving machine | |
US20230106835A1 (en) | Working system, computer implemented method, method for producing trained posture estimation model, and training data | |
EP3783156A1 (en) | Display system for wheel loader, and control method for display system | |
EP3779073A1 (en) | Display system for work machine, and method for controlling display system | |
EP3770345B1 (en) | Display system of work machine and method of controlling the same | |
AU2022202839A1 (en) | System and method for assisted positioning of transport vehicles for material discharge in a worksite | |
JP2020103084A (ja) | 作業車両 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7503370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |