JP2023010052A - 作業機械の制御システム、作業機械、及び作業機械の制御方法 - Google Patents
作業機械の制御システム、作業機械、及び作業機械の制御方法 Download PDFInfo
- Publication number
- JP2023010052A JP2023010052A JP2021113849A JP2021113849A JP2023010052A JP 2023010052 A JP2023010052 A JP 2023010052A JP 2021113849 A JP2021113849 A JP 2021113849A JP 2021113849 A JP2021113849 A JP 2021113849A JP 2023010052 A JP2023010052 A JP 2023010052A
- Authority
- JP
- Japan
- Prior art keywords
- target
- revolving body
- revolving
- azimuth angle
- dimensional position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 137
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 16
- 230000005855 radiation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 14
- 238000009412 basement excavation Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/267—Diagnosing or detecting failure of vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/02—Means for marking measuring points
- G01C15/06—Surveyors' staffs; Movable markers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/53—Determining attitude
- G01S19/54—Determining attitude using carrier phase measurements; using long or short baseline interferometry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/40—Special vehicles
- B60Y2200/41—Construction vehicles, e.g. graders, excavators
- B60Y2200/412—Excavators
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
Abstract
【課題】GNSSの測位不良が発生した場合において、作業機械の位置及び方位角を算出すること。【解決手段】走行体及び旋回体を備える作業機械の制御システムは、作業機械の外部に設置された複数のターゲットの画像と、旋回体の傾斜角とに基づいて、旋回体の位置及び方位角を算出する位置方位算出部を備える。【選択図】図6
Description
本開示は、作業機械の制御システム、作業機械、及び作業機械の制御方法に関する。
作業機械に係る技術分野において、特許文献1に開示されているような、目標施工面に基づいて掘削対象を掘削する技術が知られている。目標施工面に基づいて掘削対象を掘削する技術として、目標施工面と作業機との相対位置を示すガイダンス画像を作業機械のオペレータに提示するマシンガイダンス技術と、目標施工面に従って作業機が動作するようにオペレータの操作をアシスト制御するマシンコントロール技術とが知られている。
目標施工面に基づいて掘削対象を掘削する場合、作業機械の位置及び方位角を算出する必要がある。作業機械の位置及び方位角は、全球測位衛星システム(GNSS:Global Navigation Satellite System)を利用して算出される。GNSSの測位不良が発生すると、作業機械の位置及び方位角を算出することが困難となる。
本開示は、GNSSの測位不良が発生した場合において、作業機械の位置及び方位角を算出することを目的とする。
本開示に従えば、走行体及び旋回体を備える作業機械の制御システムであって、作業機械の外部に設置された複数のターゲットの画像と、旋回体の傾斜角とに基づいて、旋回体の位置及び方位角を算出する位置方位算出部を備える、作業機械の制御システムが提供される。
本開示によれば、GNSSの測位不良が発生した場合において、作業機械の位置及び方位角が算出される。
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
[作業機械]
図1は、実施形態に係る作業機械1を示す斜視図である。図2は、実施形態に係る作業機械1を示す模式図である。図3は、実施形態に係る作業機械1の運転室2を示す図である。
図1は、実施形態に係る作業機械1を示す斜視図である。図2は、実施形態に係る作業機械1を示す模式図である。図3は、実施形態に係る作業機械1の運転室2を示す図である。
作業機械1は、作業現場において稼働する。実施形態において、作業機械1は、油圧ショベルである。以下の説明において、作業機械1を適宜、油圧ショベル1、と称する。
油圧ショベル1は、走行体3と、旋回体4と、作業機5と、油圧シリンダ6と、操作装置7と、車載モニタ8と、位置センサ9と、傾斜センサ10と、撮像装置11と、制御装置12とを備える。
図2に示すように、作業現場に3次元の現場座標系(Xg,Yg,Zg)が規定される。旋回体4に3次元の車体座標系(Xm,Ym,Zm)が規定される。撮像装置11に3次元のカメラ座標系(Xc,Yc,Zc)が規定される。
現場座標系は、作業現場に規定された現場基準点Ogから南北に伸びるXg軸、現場基準点Ogから東西に伸びるYg軸、及び現場基準点Ogから上下に伸びるZg軸により構成される。
車体座標系は、旋回体4に規定された代表点Omから旋回体4の前後方向に伸びるXm軸、代表点Omから旋回体4の左右方向に伸びるYm軸、及び代表点Omから旋回体4の上下方向に伸びるZm軸により構成される。旋回体4の代表点Omを基準として、+Xm方向は旋回体4の前方であり、-Xm方向は旋回体4の後方であり、+Ym方向は旋回体4の左方であり、-Ym方向は旋回体4の右方であり、+Zm方向は旋回体4の上方であり、-Zm方向は旋回体4の下方である。
カメラ座標系は、撮像装置11を構成する1つのカメラ13の光学中心Ocからカメラ13の幅方向に伸びるXc軸、光学中心Ocからカメラ13の上下方向に伸びるYc軸、及び光学中心Ocからカメラ13の光学系の光軸に平行な方向に伸びるZc軸により構成される。
走行体3は、旋回体4を支持した状態で走行する。走行体3は、一対の履帯3Aを有する。履帯3Aの回転により、走行体3は、走行動作する。走行体3の走行動作は、前進動作及び後進動作を含む。油圧ショベル1は、走行体3により作業現場を移動することができる。
旋回体4は、走行体3に支持される。旋回体4は、走行体3よりも上方に配置される。旋回体4は、走行体3に支持された状態で旋回軸RXを中心に旋回動作する。旋回軸RXは、Zm軸に平行である。旋回体4の旋回動作は、左旋回動作及び右旋回動作を含む。運転室2は、旋回体4に設けられる。
作業機5は、旋回体4に支持される。作業機5は、作業を実施する。実施形態において、作業機5により実施される作業は、掘削対象を掘削する掘削作業及び掘削物を積込対象に積み込む積込作業を含む。
作業機5は、ブーム5Aと、アーム5Bと、バケット5Cとを含む。ブーム5Aの基端部は、旋回体4の前部に回動可能に連結される。アーム5Bの基端部は、ブーム5Aの先端部に回動可能に連結される。バケット5Cの基端部は、アーム5Bの先端部に回動可能に連結される。
油圧シリンダ6は、作業機5を動作させる。油圧シリンダ6は、ブームシリンダ6Aと、アームシリンダ6Bと、バケットシリンダ6Cとを含む。ブームシリンダ6Aは、ブーム5Aを上げ動作及び下げ動作させる。アームシリンダ6Bは、アーム5Bを掘削動作及びダンプ動作させる。バケットシリンダ6Cは、バケット5Cを掘削動作及びダンプ動作させる。ブームシリンダ6Aの基端部は、旋回体4に連結される。ブームシリンダ6Aの先端部は、ブーム5Aに連結される。アームシリンダ6Bの基端部は、ブーム5Aに連結される。アームシリンダ6Bの先端部は、アーム5Bに連結される。バケットシリンダ6Cの基端部は、アーム5Bに連結される。バケットシリンダ6Cの先端部は、バケット5Cに連結される。
図3に示すように、操作装置7は、運転室2に配置される。操作装置7は、走行体3、旋回体4、及び作業機5の少なくとも一つを動作させるために操作される。操作装置7は、運転室2に搭乗したオペレータに操作される。オペレータは、運転室2に配置された運転シート14に着座した状態で、操作装置7を操作することができる。
操作装置7は、旋回体4及び作業機5の動作のために操作される左作業レバー7A及び右作業レバー7Bと、走行体3の動作のために操作される左走行レバー7C及び右走行レバー7Dと、左フットペダル7E及び右フットペダル7Fとを含む。
左作業レバー7Aが前後方向に操作されることにより、アーム5Bがダンプ動作又は掘削動作する。左作業レバー7Aが左右方向に操作されることにより、旋回体4が左旋回動作又は右旋回操作する。右作業レバー7Bが左右方向に操作されることにより、バケット5Cが掘削動作又はダンプ動作する。右作業レバー7Bが前後方向に操作されることにより、ブーム5Aが下げ動作又は上げ動作する。なお、左作業レバー7Aが前後方向に操作されたときに旋回体4が右旋回動作又は左旋回動作し、左作業レバー7Aが左右方向に操作されたときにアーム5Bがダンプ動作又は掘削動作してもよい。
左走行レバー7Cが前後方向に操作されることにより、走行体3の左側の履帯3Aが前進動作又は後進動作する。右走行レバー7Dが前後方向に操作されることにより、走行体3の右側の履帯3Aが前進動作又は後進動作する。
左フットペダル7Eは、左走行レバー7Cと連動する。右フットペダル7Fは、右走行レバー7D連動する。左フットペダル7E及び右フットペダル7Fが操作されることにより、走行体3が前進動作又は後進動作されてもよい。
車載モニタ8は、運転室2に配置される。車載モニタ8は、運転シート14の右前方に配置される。車載モニタ8は、表示装置8Aと、入力装置8Bとを有する。
表示装置8Aは、規定の表示データを表示する。表示装置8Aとして、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイが例示される。
入力装置8Bは、オペレータに操作されることにより入力データを生成する。入力装置8Bとして、ボタンスイッチ、コンピュータ用キーボード、及びタッチパネルが例示される。
位置センサ9は、現場座標系における位置を検出する。位置センサ9は、全球測位衛星システム(GNSS:Global Navigation Satellite System)を利用して現場座標系における位置を検出する。全地球航法衛星システムは、全地球測位システム(GPS:Global Positioning System)を含む。全地球航法衛星システムは、緯度、経度、及び高度の座標データで規定される位置を検出する。位置センサ9は、GNSS衛星からGNSS電波を受信するGNSS受信機を含む。位置センサ9は、旋回体4に配置される。実施形態において、位置センサ9は、旋回体4のカウンタウエイトに配置される。
位置センサ9は、第1位置センサ9Aと、第2位置センサ9Bとを含む。第1位置センサ9Aと第2位置センサ9Bとは、旋回体4の異なる位置に配置される。実施形態において、第1位置センサ9Aと第2位置センサ9Bとは、旋回体4において左右方向に間隔をあけて配置される。第1位置センサ9Aは、第1位置センサ9Aが配置されている位置を示す第1測位位置を検出する。第2位置センサ9Bは、第2位置センサ9Bが配置されている位置を示す第2測位位置を検出する。
傾斜センサ10は、旋回体4の加速度及び角速度を検出する。傾斜センサ10は、慣性計測装置(IMU:Inertial Measurement Unit)を含む。傾斜センサ10は、旋回体4に配置される。実施形態において、傾斜センサ10は、運転室2の下方に設置される。
撮像装置11は、旋回体4の前方を撮像する。撮像装置11は、旋回体4に配置される。実施形態において、撮像装置11は、運転室2の上部に配置される。撮像装置11は、複数のカメラ13を含む。カメラ13は、光学系と、光学系を介して光を受光するイメージセンサとを含む。イメージセンサとして、CCD(Charge Coupled Device)センサ又はCMOS(Complementary Metal Oxide Semiconductor)センサが例示される。
実施形態において、カメラ13は、4つ設けられる。カメラ13は、カメラ13Aと、カメラ13Bと、カメラ13Cと、カメラ13Dとを含む。1組のカメラ13によりステレオカメラ15が構成される。実施形態において、1組のカメラ13A,13Cにより第1のステレオカメラ15Aが構成される。1組のカメラ13B,13Dにより第2のステレオカメラ15Bが構成される。
ステレオカメラ15Aのカメラ13Aとカメラ13Cとは、旋回体4の左右方向に間隔をあけて配置される。ステレオカメラ15Bのカメラ13Bとカメラ13Dとは、旋回体4の左右方向に間隔をあけて配置される。カメラ13A,13Cの光学系の光軸は、Xg軸に実質的に平行である。カメラ13B,13Dの光学系の光軸は、旋回体4の前方に向かって下方に傾斜する。
[制御システム]
図4は、実施形態に係る作業機械1の制御システム30を示すブロック図である。油圧ショベル1は、制御システム30を備える。制御システム30は、車載モニタ8と、位置センサ9と、傾斜センサ10と、撮像装置11と、制御装置12とを有する。制御装置12は、油圧ショベル1を制御する。制御装置12は、コンピュータシステムを含む。
図4は、実施形態に係る作業機械1の制御システム30を示すブロック図である。油圧ショベル1は、制御システム30を備える。制御システム30は、車載モニタ8と、位置センサ9と、傾斜センサ10と、撮像装置11と、制御装置12とを有する。制御装置12は、油圧ショベル1を制御する。制御装置12は、コンピュータシステムを含む。
制御装置12は、記憶部16と、第1位置方位算出部17と、第2位置方位算出部18と、傾斜角算出部19と、切換部20と、3次元データ算出部21と、表示制御部22と、補正部23とを有する。
記憶部16は、規定の記憶データを記憶する。記憶部16は、後述するターゲット24に係るターゲットデータを記憶する。ターゲット24は、油圧ショベル1の外部に複数設置される。ターゲットデータは、複数のターゲット24のそれぞれの3次元位置を含む。ターゲットデータは、ターゲット24の識別マーク27により規定される識別データとターゲット24の3次元位置との関係を示す相関データを含む。
第1位置方位算出部17は、位置センサ9の検出データに基づいて、現場座標系における旋回体4の位置及び方位角を算出する。上述のように、位置センサ9は、GNSS電波を受信するGNSS受信機を含む。第1位置方位算出部17は、GNSS電波に基づいて、旋回体4の位置及び方位角を算出する。旋回体4の方位角は、例えばXg軸を基準とする旋回体4の方位角である。
第1位置方位算出部17は、第1位置センサ9Aにより検出される第1測位位置及び第2位置センサ9Bにより検出される第2測位位置の少なくとも一方に基づいて、旋回体4の位置を算出する。第1位置方位算出部17は、第1位置センサ9Aにより検出される第1測位位置と第2位置センサ9Bにより検出される第2測位位置との相対位置に基づいて、旋回体4の方位角を算出する。
第2位置方位算出部18は、撮像装置11により取得された画像に基づいて、現場座標系における旋回体4の位置及び方位角を算出する。上述のように、油圧ショベル1の外部に複数のターゲット24が設置される。撮像装置11は、ターゲット24を撮像する。第2位置方位算出部18は、撮像装置11から複数のターゲット24の画像を取得する。第2位置方位算出部18は、油圧ショベル1の外部に設置された複数のターゲット24の画像に基づいて、旋回体4の位置及び方位角を算出する。
傾斜角算出部19は、傾斜センサ10の検出データに基づいて、旋回体4の傾斜角を算出する。旋回体4の傾斜角は、旋回体4のロール角及びピッチ角を含む。ロール角とは、Xg軸を中心とする傾斜方向における旋回体4の傾斜角をいう。ピッチ角とは、Yg軸を中心とする傾斜方向における旋回体4の傾斜角をいう。傾斜角算出部19は、傾斜センサ10の検出データに基づいて、旋回体4のロール角及びピッチ角を算出する。
切換部20は、第1位置方位算出部17により旋回体4の位置及び方位角を算出する第1算出モードと、第2位置方位算出部18により旋回体4の位置及び方位角を算出する第2算出モードとを切り換える。
3次元データ算出部21は、ステレオカメラ15により撮像された1組の画像に基づいて、ステレオカメラ15と撮像対象との距離を算出する。撮像対象として、作業機5により掘削される掘削対象が例示される。3次元データ算出部21は、ステレオカメラ15の1組のカメラ13が撮像した同一の撮像対象の画像をステレオ処理することにより、撮像対象の3次元データを算出する。3次元データ算出部21は、カメラ座標系における3次元データを算出する。
表示制御部22は、車載モニタ8の表示装置8Aを制御する。表示制御部22は、規定の表示データを表示装置8Aに表示させる。
補正部23は、傾斜センサ10の誤差を補正する。
[算出モード]
図5は、実施形態に係る旋回体4の位置及び方位角の算出モードを説明するための模式図である。実施形態において、旋回体4の位置及び方位角は、第1算出モード及び第2算出モードの少なくとも一方により算出される。旋回体4の位置は、現場座標系における旋回体4の代表点Omの位置を含む。旋回体4の方位角は、現場座標系における旋回体4の代表点Omを基準とする車体座標系の方位角を含む。
図5は、実施形態に係る旋回体4の位置及び方位角の算出モードを説明するための模式図である。実施形態において、旋回体4の位置及び方位角は、第1算出モード及び第2算出モードの少なくとも一方により算出される。旋回体4の位置は、現場座標系における旋回体4の代表点Omの位置を含む。旋回体4の方位角は、現場座標系における旋回体4の代表点Omを基準とする車体座標系の方位角を含む。
第1算出モードは、GNSS電波に基づいて、旋回体4の位置及び方位角を算出する算出モードである。第1算出モードにおいて、第1位置方位算出部17は、位置センサ9の検出データに基づいて、旋回体4の位置及び方位角を算出する。
第2算出モードは、複数のターゲット24の画像に基づいて、旋回体4の位置及び方位角を算出する算出モードである。第2算出モードにおいて、第2位置方位算出部18は、撮像装置11により撮像されたターゲット24の画像に基づいて、旋回体4の位置及び方位角を算出する。
GNSSの測位不良が発生すると、第1位置方位算出部17による旋回体4の位置及び方位角の算出が困難になる可能性がある。GNSSの測位不良は、GNSSの測位精度の低下及び測位不能を含む。GNSSの測位不良として、位置センサ9が受信するGNSS電波の強度不足又はGNSS電波のマルチパスが例示される。GNSS電波のマルチパスとは、GNSS衛星から送信されたGNSS電波が、地面や建造物などで反射したり、電離層において反射又は屈折したりして、位置センサ9が複数の伝送経路からGNSS電波を受信することにより、検出される位置に誤差が発生する現象をいう。
GNSSの測位不良が発生していない場合、旋回体4の位置及び方位角は、第1算出モードで算出される。GNSSの測位不良が発生した場合、旋回体4の位置及び方位角は、第2算出モードで算出される。
切換部20は、GNSS電波の受信状況に基づいて、第1算出モードと第2算出モードとを切り換える。第1位置方位算出部17は、GNSS電波の受信状況の良否を判定することができる。第1位置方位算出部17は、例えばGNSS電波の強度を判定することができる。切換部20は、位置センサ9によるGNSS電波の受信状況に基づいて、第1算出モードと第2算出モードとを切り換える。また、切換部20は、第1位置方位算出部17による旋回体4の位置及び方位角の算出の可否に基づいて、第1算出モードと第2算出モードとを切り換える。例えばGNSS電波の強度が不足し、GNSS電波の受信状況が不良である場合、第1位置方位算出部17は、旋回体4の位置及び方位角を算出不可能な状態になる可能性が高い。一方、GNSS電波の強度が充足し、GNSS電波の受信状況が良好である場合、第1位置方位算出部17は、旋回体4の位置及び方位角を算出可能な状態になる可能性が高い。
切換部20は、GNSS電波の受信状況が良好な状態から不良な状態に変化した場合、第1算出モードから第2算出モードに切り換える。また、切換部20は、第1位置方位算出部17が旋回体4の位置及び方位角を算出可能な状態から算出不可能な状態に変化した場合、第1算出モードから第2算出モードに切り換える。
切換部20は、GNSS電波の受信状況が不良な状態から良好な状態に変化した場合、第2算出モードから第1算出モードに切り換える。また、切換部20は、第1位置方位算出部17が旋回体4の位置及び方位角を算出不可能な状態から算出可能な状態に変化した場合、第2算出モードから第1算出モードに切り換える。
実施形態において、表示制御部22は、GNSS電波の受信状況を表示装置8Aに表示させる。図5に示すように、GNSS電波の受信状況が良好な状態から不良な状態に変化した場合、表示制御部22は、GNSS電波の受信状況が不良であることを表示装置8Aに表示させてもよい。オペレータは、表示装置8Aに表示された表示データに基づいて、GNSS電波の受信状況が不良であることを認識することができる。実施形態において、第1算出モードから第2算出モードへの切り換えは、オペレータによる入力装置8Bの操作に基づいて実施されてもよい。GNSS電波の受信状況が不良であることを認識したオペレータは、入力装置8Bを操作して、第1算出モードから第2算出モードへの切り換えを実施するための入力データを生成する。切換部20は、入力装置8Bからの入力データに基づいて、第1算出モードから第2算出モードに切り換える。
第1算出モードから第2算出モードに切り換えられた場合、表示制御部22は、第1算出モードから第2算出モードに切り換えられたことを表示装置8Aに表示させてもよい。これにより、オペレータは、第1算出モードから第2算出モードに切り換えられたことを認識することができる。
一方、GNSS電波の受信状況が不良な状態から良好な状態に変化した場合、表示制御部22は、GNSS電波の受信状況が良好であることを表示装置8Aに表示させる。オペレータは、表示装置8Aに表示された表示データに基づいて、GNSS電波の受信状況が良好であることを認識することができる。第2算出モードから第1算出モードへの切り換えは、オペレータによる入力装置8Bの操作に基づいて実施されてもよい。GNSS電波の受信状況が良好であることを認識したオペレータは、入力装置8Bを操作して、第2算出モードから第1算出モードへの切り換えを実施するための入力データを生成する。切換部20は、入力装置8Bからの入力データに基づいて、第2算出モードから第1算出モードに切り換える。
第2算出モードから第1算出モードに切り換えられた場合、表示制御部22は、第2算出モードから第1算出モードに切り換えられたことを表示装置8Aに表示させてもよい。これにより、オペレータは、第2算出モードから第1算出モードに切り換えられたことを認識することができる。
[ターゲット]
図6は、実施形態に係る作業現場に設置されたターゲット24を示す図である。図6に示すように、ターゲット24は、作業現場において油圧ショベル1の外部に配置される。ターゲット24は、作業現場において油圧ショベル1の周囲に複数配置される。ターゲット24は、表示板25に描かれたマークを含む。実施形態において、表示板25の下端部に接地板26が固定される。表示板25は、接地板26を介して作業現場の地面に置かれる。なお、表示板25は、作業現場に固定されていればよい。ターゲット24は、例えば作業現場の構造物に貼り付けられてもよい。ターゲット24は、杭のような部材を用いて作業現場に立てられてもよい。
図6は、実施形態に係る作業現場に設置されたターゲット24を示す図である。図6に示すように、ターゲット24は、作業現場において油圧ショベル1の外部に配置される。ターゲット24は、作業現場において油圧ショベル1の周囲に複数配置される。ターゲット24は、表示板25に描かれたマークを含む。実施形態において、表示板25の下端部に接地板26が固定される。表示板25は、接地板26を介して作業現場の地面に置かれる。なお、表示板25は、作業現場に固定されていればよい。ターゲット24は、例えば作業現場の構造物に貼り付けられてもよい。ターゲット24は、杭のような部材を用いて作業現場に立てられてもよい。
図7は、実施形態に係るターゲット24を示す図である。ターゲット24は、識別マーク27と、識別マーク27の周囲に配置される放射マーク28とを含む。識別マーク27は、ターゲット24を識別するための識別データを含む。実施形態において、識別マーク27は、ターゲット24を識別する2次元バーコードを含む。ターゲット24に基準点Otが規定される。放射マーク28は、ターゲット24の基準点Otから放射方向に伸びる。放射マーク28は、ターゲット24の基準点Otから放射方向に伸びる複数のライン28Aを有する。ライン28Aは、放射マーク28のエッジを含む。複数のライン28Aの交点にターゲット24の基準点Otが規定される。
ターゲット24が作業現場に設置された後、ターゲット24の位置が測量機により測量される。測量機は、現場座標系におけるターゲット24の3次元位置を測定する。ターゲット24の3次元位置は、基準点Otの3次元位置を含む。測量機は、基準点Otの3次元位置を測定する。測量機により測定された複数のターゲット24のそれぞれの3次元位置は、記憶部16に記憶される。記憶部16は、識別マーク27により規定されるターゲット24の識別データと、測量機により測定されたターゲット24の3次元位置との関係を示す相関データを記憶する。識別マーク27に基づいてターゲット24が特定されることにより、特定されたターゲット24の3次元位置が特定される。
[第2算出モード]
次に、第2算出モードによる旋回体4の位置及び方位角の算出方法について説明する。図8は、実施形態に係る旋回体4の位置及び方位角の算出方法を示すフローチャートである。図9は、実施形態に係る旋回体4の位置及び方位角の算出方法を説明するための模式図である。
次に、第2算出モードによる旋回体4の位置及び方位角の算出方法について説明する。図8は、実施形態に係る旋回体4の位置及び方位角の算出方法を示すフローチャートである。図9は、実施形態に係る旋回体4の位置及び方位角の算出方法を説明するための模式図である。
旋回体4の位置及び方位角を第1算出モードで算出できなくなった場合、旋回体4の位置及び方位角は、第2算出モードで算出される。実施形態において、第2位置方位算出部18は、複数のターゲット24の画像と、旋回体4の傾斜角とに基づいて、旋回体4の位置及び方位角を算出する。第2位置方位算出部18は、撮像装置11から複数のターゲット24の画像を取得する。第2位置方位算出部18は、傾斜角算出部19から旋回体4の傾斜角を取得する。上述のように、旋回体4の傾斜角は、旋回体4のロール角及びピッチ角を含む。
複数のターゲット24が撮像装置11により撮像される。撮像装置11は、複数のターゲット24を同時に撮像する。図9に示すように、3つのターゲット24が撮像装置11により同時に撮像される。第2位置方位算出部18は、撮像装置11により撮像された3つのターゲット24の画像29を取得する(ステップSA1)。
図9に示すように、1つの画像29に3つのターゲット24が配置される。
第2位置方位算出部18は、ターゲット24の識別マーク27により規定される識別データに基づいて、ターゲット24を識別する(ステップSA2)。
第2位置方位算出部18は、画像29における識別マーク27に基づいて、ターゲット24を特定する。第2位置方位算出部18は、画像29における識別マーク27と、記憶部16に記憶されている相関データとに基づいて、記憶部16からターゲット24の3次元位置を取得する(ステップSA3)。
上述のように、ターゲット24の3次元位置は、測量機により事前に測定され、記憶部16に記憶されている。また、記憶部16には、ターゲット24の識別マーク27により規定される識別データとターゲット24の3次元位置との関係を示す相関データが予め記憶されている。したがって、第2位置方位算出部18は、画像29における識別マーク27と、記憶部16に記憶されている相関データとに基づいて、ターゲット24の3次元位置を取得することができる。
第2位置方位算出部18は、画像29におけるターゲット24の2次元位置を取得する(ステップSA4)。
画像29におけるターゲット24の2次元位置は、ターゲット24に規定された基準点Otの2次元位置を含む。上述のように、ターゲット24は、ライン28Aを含む放射マーク28を有する。第2位置方位算出部18は、画像29における放射マーク28に基づいて、画像29における基準点Otの2次元位置を算出する。第2位置方位算出部18は、ターゲット24の画像29を画像処理することにより、放射マーク28に基づいて、画像29における基準点Otの2次元位置を高精度に算出することができる。以下の説明において、画像29における基準点Otを適宜、基準点Oti、と称する。
傾斜角算出部19は、ターゲット24が撮像されているときの傾斜センサ10の検出データを取得して、ターゲット24が撮像されているときの旋回体4のピッチ角及びロール角を算出する。第2位置方位算出部18は、ターゲット24が撮像されているときの旋回体4のロール角及びピッチ角を傾斜角算出部19から取得する(ステップSA5)。
第2位置方位算出部18は、ステップSA3において取得した3つのターゲット24の3次元位置と、ステップSA4において取得した画像29におけるターゲット24の2次元位置と、ステップSA5において取得した旋回体4のロール角及びピッチ角とに基づいて、現場座標系におけるカメラ13の位置及び方位角を算出する(ステップSA6)。
実施形態において、第2位置方位算出部18は、空中三角測量におけるブロック調整法の一種であるバンドル法に基づいて、現場座標系におけるカメラ13の位置及び方位角を算出する。空中三角測量(Aerial Triangulation)とは、光の直進性を示す共線条件及び空中写真の幾何学的性質及びを利用して、既知の基準点Otの座標に基づいて、複数のカメラ13による複数の画像29のそれぞれの撮像位置及び撮像方向を算出する方法をいう。
第2位置方位算出部18は、バンドル法に基づいてカメラ13の位置及び方位角を算出するために、3つの基準点Otの3次元位置と、画像29における基準点Otiの2次元位置と、旋回体4のロール角及びピッチ角とを取得する。基準点Otの3次元位置は、現場座標系における3次元位置である。基準点Otiの2次元位置は、画像29に規定される画像座標系における2次元位置である。画像座標系は、画像29の左上のコーナーを原点とし横方向をu軸とし縦方向をv軸とするuv座標系で表される。基準点Otiの2次元位置は、複数の画像29の重複部分を結合するためのパスポイントとして機能する。
例えば、現場座標系における基準点Otの3次元位置をP(X,Y,Z)、カメラ座標系における基準点Otの3次元位置をPc(Xc,Yc,Zc)、画像座標系における基準点Otiの2次元位置をp(x、y)、現場座標系における光学中心Ocの位置をO(Xo,Yo,Zo)、現場座標系におけるカメラ13の姿勢を示す回転行列をR、内部パラメータ行列をkとした場合、以下の(1)式、2(式)、及び(3)式の条件が成立する。
p = k・Pc …(1)
P = R・PC+O …(2)
P = R・(k-1・p) …(3)
P = R・PC+O …(2)
P = R・(k-1・p) …(3)
第2位置方位算出部18は、バンドル法に基づいて、3つの基準点Otの3次元位置と、画像29における基準点Otiの2次元位置と、旋回体4のロール角及びピッチ角とを収束計算することにより、現場座標系におけるカメラ13の位置及び方位角を算出することができる。
第2位置方位算出部18は、ステップSA6において算出したカメラ13の位置及び方位角に基づいて、現場座標系における旋回体4の位置及び方位角を算出する(ステップSA7)。
カメラ13の光学中心Ocと旋回体4の代表点Omとの相対位置は、既知である。また、旋回体4に規定された代表点Omを基準とする車体座標系とカメラ13の光学中心Ocを基準とするカメラ座標系とを変換する変換行列は、既知である。したがって、第2位置方位算出部18は、ターゲット24を撮像した画像29を用いてバンドル法に基づいて現場座標系におけるカメラ13の位置及び方位角を算出し、変換行列に基づいてカメラ13の位置及び方位角を座標変換することにより、現場座標系における旋回体4の位置及び方位角を算出することができる。
上述のステップSA1からステップSA7の処理は、ターゲット24が撮像された場合に実施される。走行体3が走行動作した後に、旋回体4の位置及び方位角を算出する場合、上述のステップSA1からステップSA7の処理が再度実行される。
なお、上述のステップSA1からステップSA7の処理において、3つのターゲット24が撮像されなくてもよく、少なくとも2つのターゲット24が撮像されればよい。
[旋回動作後の位置及び方位の算出]
旋回体4の位置及び方位角が算出された後、走行体3が走行動作した場合、旋回体4の位置及び方位角を算出するために、ターゲット24が撮像される。ターゲット24が撮像された場合、上述のステップSA1からステップSA7の処理が再度実行される。
旋回体4の位置及び方位角が算出された後、走行体3が走行動作した場合、旋回体4の位置及び方位角を算出するために、ターゲット24が撮像される。ターゲット24が撮像された場合、上述のステップSA1からステップSA7の処理が再度実行される。
一方、上述のステップSA1からステップSA7の処理により旋回体4の位置及び方位角を算出した後において、走行体3が走行動作せずに旋回体4が旋回動作した場合、第2位置方位算出部18は、少なくとも2つのターゲット24を用いること無く、少なくとも1つのターゲット24の画像29に基づいて、旋回体4の位置及び方位角を算出することができる。
図10は、実施形態に係る旋回体4の位置及び方位角の算出方法を説明するための模式図である。旋回体4が第1方向D1を向いている状態において、少なくとも2つのターゲット24が撮像されることにより、上述のステップSA1からステップSA7の処理に従って、旋回体4の位置及び方位が算出される。
旋回体4の位置及び方位角が算出された後、旋回体4が第1方向D1から第2方向D2を向くように旋回して、撮像装置11により少なくとも1つのターゲット24が撮像された場合、旋回体4が第2方向D2を向いているときの旋回体4の方位角は、少なくとも1つのターゲット24の画像29に基づいて算出される。第2位置方位算出部18は、少なくとも2つのターゲット24を用いて旋回体4の位置及び方位角を算出した後において、旋回体4が第1方向D1から第2方向D2を向くように旋回軸RXを中心に旋回動作した場合、撮像装置11により撮像された少なくとも1つのターゲット24の画像29に基づいて、旋回体4の位置及び方位角を算出することができる。
すなわち、第2位置方位算出部18は、第1方向D1に存在する少なくとも2つのターゲット24を用いて算出した旋回動作する前の旋回体4の方位角と、第2方向D2に存在する1つのターゲット24の画像29と、旋回動作する前の旋回体4のロール角及びピッチ角と、旋回動作した後の旋回体4のロール角及びピッチ角とに基づいて、旋回角θを算出する。第2位置方位算出部18は、旋回角θを算出することにより、少なくとも2つのターゲット24を用いて算出した旋回体4の方位角と旋回角θとに基づいて、旋回動作した後の旋回体4の方位角を算出することができる。また、走行体3が走行動作していない場合、旋回軸RXの位置は変化しないので、第2位置方位算出部18は、算出した旋回角θに基づいて、旋回体4の位置を算出することができる。
また、第2位置方位算出部18は、旋回体4が旋回動作する前に撮像装置11により撮像された少なくとも2つのターゲット24の画像29と、旋回体4が旋回動作する前の旋回体4のロール角及びピッチ角と、旋回体4が旋回動作した後に撮像装置11により撮像された少なくとも1つのターゲット24の画像29と、旋回体4が旋回動作した後の旋回体4のロール角及びピッチ角とに基づいて、旋回軸RXの位置と、旋回体4が旋回動作する前の旋回体4の方位角と、旋回体4が旋回動作した後の旋回体4の方位角とを、同時に算出してもよい。
なお、第2位置方位算出部18は、傾斜センサ10の検出データに基づいて、旋回角θを算出することができる。上述のように、傾斜センサ10は、慣性計測装置(IMU)を含む。慣性計測装置(IMU)は、旋回体4の旋回を検出する旋回センサとして機能する。第2位置方位算出部18は、慣性計測装置(IMU)の検出データに基づいて、旋回角θを算出することができる。したがって、第2位置方位算出部18は、3つのターゲット24を用いて旋回体4の位置及び方位角を算出した後において、走行体3が走行動作せずに旋回体4が旋回動作した場合、旋回体4の旋回を検出する傾斜センサ10の検出データに基づいて、旋回動作した後の旋回体4の位置及び方位角を算出することができる。
図11は、実施形態に係る旋回体4が旋回動作した後の旋回体4の位置及び方位角の算出方法を示すフローチャートである。旋回体4が旋回動作した後、第2位置方位算出部18は、撮像装置11がターゲット24を撮像できたか否かを判定する。すなわち、第2位置方位算出部18は、旋回体4が旋回動作した後に、少なくとも1つのターゲット24の画像を取得できたか否かを判定する(ステップSB1)。
ステップSB1において、少なくとも1つのターゲット24の画像を取得できたと判定した場合(ステップSB1:Yes)、第2位置方位算出部18は、少なくとも1つのターゲット24の画像29と、旋回動作する前の旋回体4のロール角及びピッチ角と、旋回動作した後の旋回体4のロール角及びピッチ角とに基づいて、旋回動作した後の旋回体4の方位角を算出する(ステップSB2)。
ステップSB1において、少なくとも1つのターゲット24の画像を取得できないと判定した場合(ステップSB1:No)、第2位置方位算出部18は、旋回体4の旋回を検出する傾斜センサ10の検出データに基づいて、旋回動作した後の旋回体4の位置及び方位角を算出する(ステップSB3)。
このように、第1位置方位算出部17が旋回体4の位置及び方位角を算出不可能な状態、且つ、旋回体4が旋回動作する前に撮像装置11が少なくとも2つのターゲット24を撮像した場合において、第2位置方位算出部18は、少なくとも2つのターゲット24の画像29と旋回体4の傾斜角とに基づいて、旋回体4の位置及び方位角を算出する。第1位置方位算出部17が旋回体4の位置及び方位角を算出不可能な状態、且つ、走行体3が走行動作せずに旋回体4が旋回動作した場合において、第2位置方位算出部18は、旋回体4が旋回動作した後に撮像装置11により取得された少なくとも1つのターゲット24の画像29又は旋回体4が旋回動作した後の傾斜センサ10の検出データに基づいて、旋回体4の位置及び方位角を算出することができる。
[補正部の処理]
次に、補正部23の処理について説明する。補正部23は、傾斜センサ10の誤差を補正する。上述のように、走行体3が走行動作せずに旋回体4が旋回動作した後において、位置センサ9の検出データに基づいて旋回体4の位置及び方位角を算出できず、且つ、少なくとも1つのターゲット24の画像29に基づいて旋回体4の位置及び方位角を算出できない場合、第2位置方位算出部18は、IMUを含む傾斜センサ10の検出データに基づいて、旋回動作した後の旋回体4の位置及び方位角を算出することができる。傾斜センサ10の検出データを用いて旋回動作した後の旋回体4の位置及び方位角を算出する場合、傾斜センサ10により検出された加速度が時間で2重積分されることにより、旋回体4の位置が算出され、傾斜センサ10により検出された角速度が時間で積分されることにより、旋回体4の方位角が算出される。傾斜センサ10の検出データが積分されると、積分加算により旋回体4の位置及び方位角の算出結果に累積誤差が発生する可能性がある。すなわち、加速度又は角速度の積分による誤差が蓄積して、旋回体4の位置及び方位角の算出精度が低下する可能性がある。
次に、補正部23の処理について説明する。補正部23は、傾斜センサ10の誤差を補正する。上述のように、走行体3が走行動作せずに旋回体4が旋回動作した後において、位置センサ9の検出データに基づいて旋回体4の位置及び方位角を算出できず、且つ、少なくとも1つのターゲット24の画像29に基づいて旋回体4の位置及び方位角を算出できない場合、第2位置方位算出部18は、IMUを含む傾斜センサ10の検出データに基づいて、旋回動作した後の旋回体4の位置及び方位角を算出することができる。傾斜センサ10の検出データを用いて旋回動作した後の旋回体4の位置及び方位角を算出する場合、傾斜センサ10により検出された加速度が時間で2重積分されることにより、旋回体4の位置が算出され、傾斜センサ10により検出された角速度が時間で積分されることにより、旋回体4の方位角が算出される。傾斜センサ10の検出データが積分されると、積分加算により旋回体4の位置及び方位角の算出結果に累積誤差が発生する可能性がある。すなわち、加速度又は角速度の積分による誤差が蓄積して、旋回体4の位置及び方位角の算出精度が低下する可能性がある。
GNSS電波の受信状況が良好であり、第1位置方位算出部17が旋回体4の位置及び方位角を算出可能な状態において、補正部23は、第1位置方位算出部17の算出結果に基づいて、旋回体4の位置及び方位角の誤差を補正することができる。
一方、GNSS電波の受信状況が不良であり、第1位置方位算出部17が旋回体4の位置及び方位角を算出不可能な状態において、補正部23は、第2位置方位算出部18の算出結果に基づいて、旋回体4の位置及び方位角の誤差を補正することができる。
図12は、実施形態に係る旋回体4の位置及び方位角の算出結果の補正方法を示すフローチャートである。切換部20は、第1位置方位算出部17が旋回体4の方位角を算出可能な状態か否かを判定する(ステップSC1)。
ステップSC1において、第1位置方位算出部17が旋回体4の方位角を算出可能な状態であると判定された場合(ステップSC1:Yes)、補正部23は、第1位置方位算出部17により算出された旋回体4の方位角に基づいて、旋回体4の位置及び方位角の誤差を補正する(ステップSC2)。
ステップSC1において、第1位置方位算出部17が旋回体4の方位角を算出不可能な状態であると判定された場合(ステップSC1:No)、補正部23は、第2位置方位算出部18により算出された旋回体4の方位角に基づいて、旋回体4の位置及び方位角の誤差を補正する(ステップSC3)。
[コンピュータシステム]
図13は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述の制御装置12は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置12の機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
図13は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述の制御装置12は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置12の機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
コンピュータプログラム又はコンピュータシステム1000は、上述の実施形態に従って、走行体3及び旋回体4を備える油圧ショベル1の外部に設置された複数のターゲット24の画像を取得することと、旋回体4の傾斜角を取得することと、複数のターゲット24の画像と旋回体4の傾斜角とに基づいて、旋回体4の位置及び方位角を算出することと、を実行することができる。
[効果]
以上説明したように、実施形態によれば、油圧ショベル1の外部に設置された複数のターゲット24の画像が取得される。また、旋回体4の傾斜角であるロール角及びピッチ角が取得される。複数のターゲット24の画像と旋回体4の傾斜角とに基づいて、旋回体4の位置及び方位角が算出される。GNSSの測位不良が発生した場合においても、ターゲット24の画像に基づいて、油圧ショベル1の位置及び方位角が算出される。したがって、GNSSの測位不良が発生した場合においても、油圧ショベル1は、マシンガイダンス技術又はマシンコントロール技術に基づいて、作業を実施することができる。
以上説明したように、実施形態によれば、油圧ショベル1の外部に設置された複数のターゲット24の画像が取得される。また、旋回体4の傾斜角であるロール角及びピッチ角が取得される。複数のターゲット24の画像と旋回体4の傾斜角とに基づいて、旋回体4の位置及び方位角が算出される。GNSSの測位不良が発生した場合においても、ターゲット24の画像に基づいて、油圧ショベル1の位置及び方位角が算出される。したがって、GNSSの測位不良が発生した場合においても、油圧ショベル1は、マシンガイダンス技術又はマシンコントロール技術に基づいて、作業を実施することができる。
ターゲット24の3次元位置が測量機により取得され、記憶部16に予め記憶される。ターゲット24の画像29に基づいて、画像29におけるターゲット24の2次元位置が第2位置方位算出部18により算出される。これにより、第2位置方位算出部18は、ターゲット24の3次元位置と、ターゲット24の2次元位置と、旋回体4の傾斜角とに基づいて、旋回体4の位置及び方位角を算出することができる。
実施形態において、ターゲット24の3次元位置と、ターゲット24の2次元位置と、旋回体4の傾斜角とに基づいて、現場座標系におけるカメラ13の位置及び方位角が算出される。現場座標系におけるカメラ13の位置及び方位角が算出された後、カメラ13の位置及び方位角が座標変換されることにより、旋回体4の位置及び方位角が算出される。これにより、第2位置方位算出部18は、カメラ13の位置及び方位角が算出された後、カメラ13の位置及び方位角に基づいて、旋回体4の位置及び方位角を適正に算出することができる。
ターゲット24の3次元位置は、ターゲット24に規定された基準点Otの3次元位置である。画像29におけるターゲット24の2次元位置は、ターゲット24に規定された画像29における基準点Otiの2次元位置である。基準点Ot及び基準点Otiが用いられることにより、旋回体4の位置及び方位角の算出精度の低下が抑制される。
ターゲット24は、ターゲット24の基準点Otから放射方向に伸びる放射マーク28を含む。放射マーク28により、基準点Otiの2次元位置の算出精度の低下が抑制される。
ターゲット24は、ターゲット24を識別する識別マーク27を含む。識別マーク27により規定されるターゲット24の識別データと測量機により測定されたターゲット24の3次元位置との関係を示す相関データが記憶部16に予め記憶される。これにより、第2位置方位算出部18は、画像29における識別マーク27に基づいて、記憶部16に記憶されている相関データを参照することにより、画像29に写っているターゲット24の3次元位置を取得することができる。
旋回体4の傾斜角は、旋回体4に配置された傾斜センサ10の検出データに基づいて算出される。これにより、旋回体4の傾斜角が高精度に算出される。
3つのターゲット24を用いて第2位置方位算出部18により旋回体4の位置及び方位角が算出された後、走行体3が走行動作せずに旋回体4が旋回動作した場合、少なくとも1つのターゲット24の画像を取得すれば、第2位置方位算出部18は、旋回体4の位置及び方位角を効率良く算出することができる。
3つのターゲット24を用いて第2位置方位算出部18により旋回体4の位置及び方位角が算出された後、走行体3が走行動作せずに旋回体4が旋回動作した場合、第2位置方位算出部18は、ターゲット24を用いずに、旋回角θを検出可能な傾斜センサ10の検出データに基づいて、旋回体4の位置及び方位角を効率良く算出することができる。
[その他の実施形態]
上述の実施形態において、第2位置方位算出部18は、3つの基準点Otに基づいて、現場座標系におけるカメラ13の位置及び方位角を算出することとした。第2位置方位算出部18は、少なくとも2つの基準点Otに基づいて、現場座標系におけるカメラ13の位置及び方位角を算出してもよい。すなわち、第2位置方位算出部18は、少なくとも2つの基準点Otの3次元位置と、画像29における基準点Otiの2次元位置と、旋回体4のロール角及びピッチ角とを収束計算することにより、現場座標系におけるカメラ13の位置及び方位角を算出してもよい。
上述の実施形態において、第2位置方位算出部18は、3つの基準点Otに基づいて、現場座標系におけるカメラ13の位置及び方位角を算出することとした。第2位置方位算出部18は、少なくとも2つの基準点Otに基づいて、現場座標系におけるカメラ13の位置及び方位角を算出してもよい。すなわち、第2位置方位算出部18は、少なくとも2つの基準点Otの3次元位置と、画像29における基準点Otiの2次元位置と、旋回体4のロール角及びピッチ角とを収束計算することにより、現場座標系におけるカメラ13の位置及び方位角を算出してもよい。
上述の実施形態において、第2位置方位算出部18は、現場座標系におけるカメラ13の位置及び方位角を算出し、現場座標系における旋回体4の位置及び方位角を算出することとした。第2位置方位算出部18は、車体座標系におけるカメラ13の位置及び方位角を算出してもよいし、カメラ座標系におけるカメラ13の位置及び方位角を算出してもよい。また、第2位置方位算出部18は、車体座標系における旋回体4の位置及び方位角を算出してもよいし、カメラ座標系における旋回体4の位置及び方位角を算出してもよい。
上述の実施形態において、ターゲット24は、ステレオカメラ15により撮像されることとした。ターゲット24は、単眼カメラにより撮像されてもよい。
上述の実施形態において、車載モニタ8が表示装置8A及び入力装置8Bを有することとした。例えばタブレット端末が表示装置8A及び入力装置8Bを有してもよい。すなわち、表示装置8A及び入力装置8Bは、油圧ショベル1から分離されてもよい。また、上述の実施形態において、表示装置8A及び入力装置8Bは、運転室2に配置されることとした。表示装置8A及び入力装置8Bの一方又は両方が運転室2の外部に配置されてもよい。
上述の実施形態において、GNSS電波の受信状況が表示装置8Aに表示されることとした。表示制御部22は、例えば第1算出モードと第2算出モードとの切り換えを推奨するリコメンド表示データを表示装置8Aに表示させてもよい。例えば、GNSS電波の受信状況が良好な状態から不良な状態に変化した場合、表示制御部22は、例えば「第1算出モードから第2算出モードに切り換えることを推奨します」のような文字データを表示装置8Aに表示させてもよい。GNSS電波の受信状況が不良な状態から良好な状態に変化した場合、表示制御部22は、例えば「第2算出モードから第1算出モードに切り換えることを推奨します」のような文字データを表示装置8Aに表示させてもよい。
上述の実施形態において、第1算出モードと第2算出モードとの切換が、オペレータによる入力装置8Bの操作に基づいて実施されることとした。GNSS電波の受信状況が表示装置8Aに表示されなくてもよい。また、第1算出モードと第2算出モードとの切換は、制御装置12により自動的に実施されてもよい。例えば、GNSS電波の受信状況が良好な状態から不良な状態に変化した場合、切換部20は、入力装置8Bからの入力データによらずに、第1算出モードから第2算出モードに自動的に切り換えてもよい。また、GNSS電波の受信状況が不良な状態から良好な状態に変化した場合、切換部20は、入力装置8Bからの入力データによらずに、第2算出モードから第1算出モードに自動的に切り換えてもよい。第1算出モードと第2算出モードとが自動的に切り換えられた場合、表示制御部22は、第1算出モードと第2算出モードとが切り換えられたことを表示装置8Aに表示させてもよい。
上述の実施形態において、記憶部16、第1位置方位算出部17、第2位置方位算出部18、傾斜角算出部19、切換部20、3次元データ算出部21、表示制御部22、及び補正部23のそれぞれが、別々のハードウエアにより構成されてもよい。
上述の実施形態において、作業機械1が走行体3及び旋回体4を有する油圧ショベルであることとした。作業機械1は走行体3及び旋回体4を有しなくてもよい。作業機械1は、作業機を有していればよく、例えばブルドーザでもよいしホイールローダでもよい。
1…油圧ショベル(作業機械)、2…運転室、3…走行体、3A…履帯、4…旋回体、5…作業機、5A…ブーム、5B…アーム、5C…バケット、6…油圧シリンダ、6A…ブームシリンダ、6B…アームシリンダ、6C…バケットシリンダ、7…操作装置、7A…左作業レバー、7B…右作業レバー、7C…左走行レバー、7D…右走行レバー、7E…左フットペダル、7F…右フットペダル、8…車載モニタ、8A…表示装置、8B…入力装置、9…位置センサ、9A…第1位置センサ、9B…第2位置センサ、10…傾斜センサ、11…撮像装置、12…制御装置、13…カメラ、13A…カメラ、13B…カメラ、13C…カメラ、13D…カメラ、14…運転シート、15…ステレオカメラ、15A…ステレオカメラ、15B…ステレオカメラ、16…記憶部、17…第1位置方位算出部、18…第2位置方位算出部、19…傾斜角算出部、20…切換部、21…3次元データ算出部、22…表示制御部、23…補正部、24…ターゲット、25…表示板、26…接地板、27…識別マーク、28…放射マーク、28A…ライン、29…画像、30…制御システム、1000…コンピュータシステム、1001…プロセッサ、1002…メインメモリ、1003…ストレージ、1004…インターフェース、D1…第1方向、D2…第2方向、Oc…光学中心、Ot…基準点、Og…現場基準点、Om…代表点、Oti…基準点、RX…旋回軸、θ…旋回角。
Claims (20)
- 走行体及び旋回体を備える作業機械の制御システムであって、
前記作業機械の外部に設置された複数のターゲットの画像と、前記旋回体の傾斜角とに基づいて、前記旋回体の位置及び方位角を算出する位置方位算出部を備える、
作業機械の制御システム。 - 複数の前記ターゲットのそれぞれの3次元位置を記憶する記憶部を備え、
前記位置方位算出部は、前記ターゲットの3次元位置と、前記画像における前記ターゲットの2次元位置と、前記旋回体の傾斜角とに基づいて、前記旋回体の位置及び方位角を算出する、
請求項1に記載の作業機械の制御システム。 - 前記旋回体に配置され前記ターゲットを撮像する撮像装置を備え、
前記位置方位算出部は、前記撮像装置から前記画像を取得する、
請求項2に記載の作業機械の制御システム。 - 前記位置方位算出部は、前記ターゲットの3次元位置と、前記ターゲットの2次元位置と、前記旋回体の傾斜角とに基づいて、現場座標系における前記撮像装置の位置及び方位角を算出し、前記撮像装置の位置及び方位角に基づいて、前記旋回体の位置及び方位角を算出する、
請求項3に記載の作業機械の制御システム。 - 前記ターゲットの3次元位置及び2次元位置のそれぞれは、前記ターゲットに規定された基準点の3次元位置及び2次元位置を含む、
請求項2から請求項4のいずれか一項に記載の作業機械の制御システム。 - 前記ターゲットは、前記ターゲットの基準点から放射方向に伸びる放射マークを含み、
前記位置方位算出部は、前記放射マークに基づいて、前記基準点の2次元位置を算出する、
請求項5に記載の作業機械の制御システム。 - 前記ターゲットは、識別マークを含み、
前記記憶部は、前記識別マークにより規定される識別データと前記ターゲットの3次元位置との関係を示す相関データを記憶し、
前記位置方位算出部は、前記画像における前記識別マークに基づいて、前記記憶部から前記ターゲットの3次元位置を取得する、
請求項2から請求項6のいずれか一項に記載の作業機械の制御システム。 - 前記旋回体に配置された傾斜センサと、
前記傾斜センサの検出データに基づいて前記旋回体の傾斜角を算出する傾斜角算出部と、を備え、
前記位置方位算出部は、前記傾斜角算出部から前記旋回体の傾斜角を取得する、
請求項1から請求項7のいずれか一項に記載の作業機械の制御システム。 - 前記位置方位算出部は、前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、少なくとも1つのターゲットの画像に基づいて、前記旋回体の位置及び方位角を算出する、
請求項1から請求項8のいずれか一項に記載の作業機械の制御システム。 - 前記位置方位算出部は、前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、前記旋回体の旋回を検出する旋回センサの検出データに基づいて、前記旋回体の位置及び方位角を算出する、
請求項1から請求項8のいずれか一項に記載の作業機械の制御システム。 - 請求項1から請求項10のいずれか一項に記載の作業機械の制御システムを備える、
作業機械。 - 走行体及び旋回体を備える作業機械の制御方法であって、
前記作業機械の外部に設置された複数のターゲットの画像を取得することと、
前記旋回体の傾斜角を取得することと、
複数の前記ターゲットの画像と前記旋回体の傾斜角とに基づいて、前記旋回体の位置及び方位角を算出することと、を含む、
作業機械の制御方法。 - 前記ターゲットの3次元位置を取得することと、
前記画像に基づいて前記画像における前記ターゲットの2次元位置を算出することと、を含み、
前記旋回体の位置及び方位角は、前記ターゲットの3次元位置と、前記ターゲットの2次元位置と、前記旋回体の傾斜角とに基づいて、算出される、
請求項12に記載の作業機械の制御方法。 - 複数の前記ターゲットの画像は、前記旋回体に配置された撮像装置により取得され、
前記ターゲットの3次元位置と、前記ターゲットの2次元位置と、前記旋回体の傾斜角とに基づいて、現場座標系における前記撮像装置の位置及び方位角を算出することを含み、
前記旋回体の位置及び方位角は、前記撮像装置の位置及び方位角に基づいて、算出される、
請求項13に記載の作業機械の制御方法。 - 前記ターゲットの3次元位置及び2次元位置のそれぞれは、前記ターゲットに規定された基準点の3次元位置及び2次元位置を含む、
請求項12から請求項14のいずれか一項に記載の作業機械の制御方法。 - 前記ターゲットは、前記ターゲットの基準点から放射方向に伸びる放射マークを含み、
前記放射マークに基づいて、前記基準点の2次元位置が算出される、
請求項15に記載の作業機械の制御方法。 - 前記ターゲットは、識別マークを含み、
前記画像における前記識別マークと、前記識別マークにより規定される識別データと前記ターゲットの3次元位置との関係を示す相関データとに基づいて、前記ターゲットの3次元位置が取得される、
請求項12から請求項16のいずれか一項に記載の作業機械の制御方法。 - 前記旋回体の傾斜角は、前記旋回体に配置された傾斜センサの検出データに基づいて算出される、
請求項12から請求項16のいずれか一項に記載の作業機械の制御方法。 - 前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、少なくとも1つのターゲットの画像に基づいて、前記旋回体の位置及び方位角が算出される、
請求項12から請求項18のいずれか一項に記載の作業機械の制御方法。 - 前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、前記旋回体の旋回を検出する旋回センサの検出データに基づいて、前記旋回体の位置及び方位角が算出される、
請求項12から請求項18のいずれか一項に記載の作業機械の制御方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021113849A JP2023010052A (ja) | 2021-07-08 | 2021-07-08 | 作業機械の制御システム、作業機械、及び作業機械の制御方法 |
KR1020237039543A KR20230171035A (ko) | 2021-07-08 | 2022-07-01 | 작업 기계의 제어 시스템, 작업 기계, 및 작업 기계의 제어 방법 |
DE112022002116.0T DE112022002116T5 (de) | 2021-07-08 | 2022-07-01 | Steuersystem für arbeitsmaschine, arbeitsmaschine und verfahren zur steuerung einer arbeitsmaschine |
PCT/JP2022/026479 WO2023282203A1 (ja) | 2021-07-08 | 2022-07-01 | 作業機械の制御システム、作業機械、及び作業機械の制御方法 |
CN202280039151.0A CN117396653A (zh) | 2021-07-08 | 2022-07-01 | 作业机械的控制***、作业机械、以及作业机械的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021113849A JP2023010052A (ja) | 2021-07-08 | 2021-07-08 | 作業機械の制御システム、作業機械、及び作業機械の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023010052A true JP2023010052A (ja) | 2023-01-20 |
Family
ID=84801682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021113849A Pending JP2023010052A (ja) | 2021-07-08 | 2021-07-08 | 作業機械の制御システム、作業機械、及び作業機械の制御方法 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2023010052A (ja) |
KR (1) | KR20230171035A (ja) |
CN (1) | CN117396653A (ja) |
DE (1) | DE112022002116T5 (ja) |
WO (1) | WO2023282203A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09107717A (ja) * | 1995-10-24 | 1997-04-28 | Kubota Corp | 作業機械の姿勢制御装置 |
JP2003064725A (ja) * | 2001-08-28 | 2003-03-05 | Maeda Corp | 無人化機械土工システム |
JP2005003445A (ja) * | 2003-06-10 | 2005-01-06 | Shimizu Corp | 移動体装置の位置同定システムおよびその位置同定方法 |
US10145088B2 (en) | 2015-05-29 | 2018-12-04 | Komatsu Ltd. | Control system of work machine and work machine |
WO2018143151A1 (ja) * | 2017-01-31 | 2018-08-09 | 三井住友建設株式会社 | 測量用マーカ、及び測量システム |
CN106886037B (zh) * | 2017-02-27 | 2018-07-27 | 立得空间信息技术股份有限公司 | 适用于弱gnss信号条件的pos数据纠偏方法 |
JP7037529B2 (ja) * | 2019-09-25 | 2022-03-16 | 日立建機株式会社 | 作業機械 |
-
2021
- 2021-07-08 JP JP2021113849A patent/JP2023010052A/ja active Pending
-
2022
- 2022-07-01 WO PCT/JP2022/026479 patent/WO2023282203A1/ja active Application Filing
- 2022-07-01 CN CN202280039151.0A patent/CN117396653A/zh active Pending
- 2022-07-01 KR KR1020237039543A patent/KR20230171035A/ko unknown
- 2022-07-01 DE DE112022002116.0T patent/DE112022002116T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE112022002116T5 (de) | 2024-04-11 |
KR20230171035A (ko) | 2023-12-19 |
WO2023282203A1 (ja) | 2023-01-12 |
CN117396653A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6925816B2 (ja) | 位置計測システム、作業機械、及び位置計測方法 | |
US7831362B2 (en) | Position measuring system for working machine | |
JP6867132B2 (ja) | 作業機械の検出処理装置及び作業機械の検出処理方法 | |
CN110249203B (zh) | 作业机械的测量***、作业机械以及作业机械的测量方法 | |
JP2008144379A (ja) | 遠隔操縦作業機の画像処理システム | |
JP6918716B2 (ja) | 建設機械 | |
JP7386592B2 (ja) | 建設機械の操作補助システム | |
JP2003064725A (ja) | 無人化機械土工システム | |
JP2002310652A (ja) | 走行式建設機械の位置計測システム | |
KR20230002979A (ko) | 정보 취득 시스템 및 정보 취득 방법 | |
AU2020320149B2 (en) | Display system, remote operation system, and display method | |
JP2020002708A (ja) | 作業機械 | |
JP6887229B2 (ja) | 施工管理システム | |
JP2021038649A (ja) | 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の画像表示方法 | |
CN114787456A (zh) | 工程机械的作业辅助装置及作业现场的施工面识别方法 | |
WO2023282203A1 (ja) | 作業機械の制御システム、作業機械、及び作業機械の制御方法 | |
WO2023282204A1 (ja) | 作業機械の制御システム、作業機械、及び作業機械の制御方法 | |
JP2009042175A (ja) | 施工位置測定システム及び丁張りレスシステム | |
JP2020197044A (ja) | マップ生成システム及びマップ生成方法 | |
JP7065002B2 (ja) | 作業機械 | |
JP2022173478A (ja) | 建設機械の自動制御システム | |
JP2024047125A (ja) | 作業機械の測定システム、作業機械、及び作業機械の測定方法 | |
JP2020197045A (ja) | 表示システムおよび表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240605 |