JP2022157472A - Construction machine - Google Patents

Abstract

To provide a construction machine allowing a boundary of a work area to be displayed at a correct position even upon rotation motion when the boundary of the work area is set on an overview image.SOLUTION: In a construction machine, a hydraulic shovel 1 is provided with: a plurality of cameras 71, 72, 73 attached on a rotation body 3; a controller 34 preventing at least one of a traveling body 4, a rotation body and a work device 2 from deviating from a predetermined work area 59 and generating a composite image 701 viewed from right above the rotation body based on acquired images of the plurality of cameras to generate a boundary line 60 of the work area on the composite image; a monitor 110 displaying the composite image and the boundary line generated by the controller; and a rotational angle sensor 40S detecting a relative angle φ between the rotation body and the traveling body. The controller displays the boundary line on the monitor by correcting a position of the boundary line on the composite image.SELECTED DRAWING: Figure 3

Description

本発明は，複数のカメラ画像を建設機械を中心とする俯瞰画像に変換してモニタに表示できる建設機械に関する。 The present invention relates to a construction machine capable of converting a plurality of camera images into a bird's-eye view image centering on the construction machine and displaying the image on a monitor.

近年，建設機械には，さらなる安全性が求められており，安全補助システムの搭載が注目されている。安全補助システムの１つとしてとして，領域制限システムがある。このシステムは，フロント作業装置や旋回体などに取り付けた姿勢センサにより車体の姿勢をモニタリングし，事前に決めた作業領域から車体がはみ出ないようにフロント作業装置や旋回体や走行体を制御（領域制限制御とも言う）してそれらの動作を制限するものである。ただし，作業領域の境界をオペレータが目視することは不可能である。そこで，領域制限システム使用時に作業領域の境界と建設機械の位置関係をオペレータが把握するために，建設機械のキャブ内に搭載されたモニタが利用されることがある。 In recent years, construction machinery has been required to be even safer, and attention has been paid to the installation of safety assistance systems. One of the safety assistance systems is an area restriction system. This system monitors the posture of the vehicle body using attitude sensors attached to the front working equipment and the rotating body, and controls the front working equipment, the rotating body, and the traveling body so that the vehicle body does not protrude from the predetermined working area (area (also called limit control) to limit their operations. However, it is impossible for the operator to see the boundaries of the work area. Therefore, a monitor mounted inside the cab of the construction machine is sometimes used so that the operator can grasp the positional relationship between the boundary of the work area and the construction machine when using the area restriction system.

作業領域の境界を表示する技術ではないものの，上部旋回体からの距離を示す線（ガイドライン）をモニタに表示するものがある。例えば特許文献１には，上部旋回体に取り付けた複数のカメラ（撮像手段）の画像を合成して俯瞰画像（各カメラの画像をショベルの接地面に投影して合成した画像）を生成し，その俯瞰画像上において上部旋回体から所定の距離にガイドラインを表示するモニタ（表示手段）を備えたショベルが開示されている。つまり，特許文献１のガイドラインは上部旋回体を基準に設定されている。 Although it is not a technology that displays the boundaries of the work area, there is a technique that displays a line (guideline) indicating the distance from the upper rotating body on the monitor. For example, in Patent Document 1, images of a plurality of cameras (imaging means) attached to an upper revolving body are synthesized to generate an overhead image (an image synthesized by projecting the images of each camera onto the ground surface of the excavator), A shovel is disclosed that includes a monitor (display means) that displays a guideline at a predetermined distance from an upper revolving body on the bird's-eye view image. In other words, the guideline of Patent Document 1 is set based on the upper revolving structure.

特開２０１６－６５４４９号公報JP 2016-65449 A

特許文献１を参考にして，上部旋回体を基準にして俯瞰画像上にガイドラインに代えて作業領域の境界線を設定した場合には，上部旋回体を旋回させたときにその旋回動作に伴って境界線もモニタ上で回転してしまう。つまり，モニタ画面上の境界と実際の境界が異なってしまい，モニタ画面上の境界が意味をなさない
本発明は上記事情に鑑みてなされたものであり，その目的は俯瞰画像上に作業領域の境界線を設定した場合に旋回動作を行っても作業領域の境界を正しい位置に表示できる建設機械を提供することにある。 With reference to Patent Document 1, when the boundary line of the work area is set on the bird's-eye view image instead of the guideline based on the upper rotating body, when the upper rotating body is rotated, The border also rotates on the monitor. In other words, the boundary on the monitor screen is different from the actual boundary, and the boundary on the monitor screen does not make sense. To provide a construction machine capable of displaying the boundary of a work area at a correct position even if a turning motion is performed when the boundary line is set.

本願は上記課題を解決する手段を複数含んでいるが，その一例を挙げるならば，走行体と，前記走行体の上部に旋回可能に取り付けられた旋回体と，前記旋回体に取り付けられた作業装置と，作業領域を前記旋回体を基準にして設定する作業領域設定装置と，前記走行体，前記旋回体及び前記作業装置のうち少なくともいずれか１つが前記作業領域から逸脱することを防止するコントローラとを備えた建設機械において，モニタと，前記旋回体に取り付けられ前記旋回体の周囲の画像を撮影する複数のカメラと，前記旋回体と前記走行体の相対角度を検出する角度センサとを備え，前記コントローラは，前記複数のカメラの撮影画像に基づいて前記旋回体を真上から見た合成画像を生成し，前記作業領域設定装置により設定された前記作業領域の境界線を前記合成画像と重ねて前記モニタに表示させると共に，前記作業領域設定装置による前記作業領域の設定後は，前記モニタに表示されている前記合成画像上の前記境界線の位置を，前記角度センサにより検出された前記相対角度に基づいて補正する。 The present application includes a plurality of means for solving the above problems. a device, a work area setting device that sets a work area with reference to the revolving body, and a controller that prevents at least one of the traveling body, the revolving body, and the work device from deviating from the work area. A construction machine comprising a monitor, a plurality of cameras attached to the revolving body for capturing images of the surroundings of the revolving body, and an angle sensor for detecting the relative angle between the revolving body and the running body. , the controller generates a synthesized image of the revolving structure viewed from directly above based on the images captured by the plurality of cameras, and defines a boundary line of the work area set by the work area setting device as the synthesized image. After the work area is set by the work area setting device, the position of the boundary line on the composite image displayed on the monitor is detected by the angle sensor. Correct based on relative angle.

本発明によれば，旋回体を旋回させても作業領域の境界線が旋回体と走行体の相対角度に基づいてモニタ画像上における境界線の位置が補正されるので，オペレータは建設機械と境界線の位置関係を正確に把握できる。 According to the present invention, even if the revolving structure is revolved, the position of the boundary line of the work area on the monitor image is corrected based on the relative angle of the revolving structure and the traveling body. You can accurately grasp the positional relationship of the lines.

本発明の実施形態に係る油圧ショベル１の側面図である。1 is a side view of a hydraulic excavator 1 according to an embodiment of the present invention; FIG. 図１の油圧ショベル１の上面図である。FIG. 2 is a top view of the hydraulic excavator 1 of FIG. 1; 図１の油圧ショベル１に搭載された油圧制御システムのシステム構成図である。2 is a system configuration diagram of a hydraulic control system mounted on the hydraulic excavator 1 of FIG. 1; FIG. メインコントローラ３４の構成図である。3 is a configuration diagram of a main controller 34; FIG. モニタ１１０の表示画面の一例を示す図である。4 is a diagram showing an example of a display screen of monitor 110. FIG. ３つのカメラ７１，７２，７３の撮像画像が重複する重複領域１１の説明図である。FIG. 11 is an explanatory diagram of an overlapping area 11 where captured images of three cameras 71, 72, and 73 overlap; 旋回体３と走行体４の相対角度φが０の位置と相対角度φの正負を説明した図である。FIG. 2 is a diagram illustrating a position where the relative angle φ between the revolving body 3 and the traveling body 4 is 0 and whether the relative angle φ is positive or negative; 旋回体３と走行体４の相対角度φが初期角度φ０から変更された場合におけるモニタ画像の一例を示す図である。FIG. 8 is a diagram showing an example of a monitor image when the relative angle φ between the revolving body 3 and the traveling body 4 is changed from the initial angle φ0; モニタ１１０に表示される画面の一例を示す図である。4 is a diagram showing an example of a screen displayed on monitor 110. FIG. モニタ１１０に表示される画面の他の一例を示す図である。FIG. 10 is a diagram showing another example of a screen displayed on monitor 110. FIG. メインコントローラ３４が実行する処理（主にモニタ１１０の画面制御）のフローチャートである。3 is a flowchart of processing (mainly screen control of monitor 110) executed by main controller 34. FIG.

以下，本発明の実施の形態について図面を用いて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.

＜対象装置＞
図１は，本発明の実施形態に係る油圧ショベル（建設機械）１の側面図であり，図２はその上面図である。油圧ショベル１は，走行体４と，その上部に取り付けられた旋回体３と，複数のフロント部材２０，２１，２２を連結して構成され旋回体３に回動可能に取り付けられた多関節型のフロント作業装置２とを備えている。 <Target device>
FIG. 1 is a side view of a hydraulic excavator (construction machine) 1 according to an embodiment of the present invention, and FIG. 2 is a top view thereof. The hydraulic excavator 1 is an articulated type in which a traveling body 4, a revolving body 3 attached to the top thereof, and a plurality of front members 20, 21, and 22 are connected to each other, and are rotatably attached to the revolving body 3. and a front working device 2.

旋回体３は，走行体４に対して左右方向に旋回可能に取り付けられており，旋回油圧モータ（図示せず）によって旋回駆動される。 The revolving body 3 is attached to the traveling body 4 so as to be able to revolve in the horizontal direction, and is driven to revolve by a revolving hydraulic motor (not shown).

旋回体３には，図２の上面図に示すように，油圧ショベル１の周囲の画像（映像）を撮影するカメラとして，左側方カメラ７１，右側方カメラ７２，後方カメラ７３が設置されている。左側方カメラ７１は，旋回体３の左側方領域Ｓ１（図６参照）の画像を撮影するためのもので，旋回体３の左側方に設置されている。右側方カメラ７２は，旋回体３の右側方領域Ｓ２（図６参照）の画像を撮影するためのもので，旋回体３の右側方に設置されている。後方カメラ７３は，旋回体３の後方領域Ｓ３（図６参照）の画像を撮影するためのもので，旋回体３の後方に設置されている。各カメラ７１，７２，７３は油圧ショベル１の接地面における旋回体３の近傍を撮影するために所定の俯角θ（図１参照）を付けて設置されている。なお，本実施形態では存在しないが，旋回体３の前方領域の画像を撮影するカメラとして，旋回体３の前方の例えばブーム２０の真下に前方カメラを設置しても良い。詳細は後述するが，メインコントローラ３４は，３台のカメラ７１，７２，７３が撮影した画像（撮影画像）に基づいて旋回体３を真上から見た１つの合成画像を生成し，当該合成画像上に作業領域の境界線（後述）を生成する。なお，メインコントローラ３４は，３台のカメラ７１，７２，７３が撮影した画像に基づいて油圧ショベル１の周囲に存在する障害物（移動体）を検出する障害物検出処理を実行可能に構成しても良い。 As shown in the top view of FIG. 2, the revolving body 3 is provided with a left side camera 71, a right side camera 72, and a rear camera 73 as cameras for capturing images (video) around the hydraulic excavator 1. . The left side camera 71 is for taking an image of the left side region S1 (see FIG. 6) of the revolving body 3, and is installed on the left side of the revolving body 3. As shown in FIG. The right side camera 72 is for capturing an image of the right side region S2 (see FIG. 6) of the revolving body 3, and is installed on the right side of the revolving body 3. As shown in FIG. The rear camera 73 is for taking an image of the rear region S3 (see FIG. 6) of the revolving body 3, and is installed behind the revolving body 3. As shown in FIG. Each camera 71 , 72 , 73 is installed with a predetermined depression angle θ (see FIG. 1 ) in order to photograph the vicinity of the revolving body 3 on the ground surface of the hydraulic excavator 1 . Although not present in the present embodiment, a front camera may be installed in front of the revolving body 3, for example, just below the boom 20, as a camera for capturing an image of the area in front of the revolving body 3. Although the details will be described later, the main controller 34 generates one composite image of the revolving body 3 viewed from directly above based on the images (captured images) captured by the three cameras 71, 72, and 73, and Create a work area border (described later) on the image. The main controller 34 is configured to be able to execute obstacle detection processing for detecting obstacles (moving bodies) existing around the hydraulic excavator 1 based on the images captured by the three cameras 71, 72, and 73. can be

フロント作業装置２は，基端側が旋回体３に回動可能に連結されたブーム２０と，基端側がブーム２０の先端側に回動可能に連結されたアーム２１と，基端側がアーム２１の先端側に回動可能に連結されたバケット２２と，先端側がブーム２０に連結され，基端側が旋回体３に連結されたブームシリンダ２０Ａと，先端側がアーム２１に連結され，基端側がブーム２０に連結されたアームシリンダ２１Ａと，先端側がバケット２２に回動可能に連結された第１リンク部材２２Ｂと，先端側が第１リンク部材２２Ｂの基端側に回動可動に連結された第２リンク部材２２Ｃと，２つのリンク部材２２Ｂ，２２Ｃの連結部とアーム２１との間に掛け渡されたバケットシリンダ２２Ａを備えている。これらの油圧シリンダ２０Ａ，２１Ａ，２２Ａはそれぞれ連結部分を中心に，上下方向に回動可能に構成されている。 The front working device 2 includes a boom 20 whose base end is rotatably connected to the revolving body 3, an arm 21 whose base end is rotatably connected to the tip of the boom 20, and a base end of the arm 21. A bucket 22 rotatably connected to the tip side, a boom cylinder 20A having the tip side connected to the boom 20 and the base end side connected to the revolving body 3, and the tip side connected to the arm 21 and the base end side to the boom 20. , a first link member 22B whose tip side is rotatably connected to the bucket 22, and a second link whose tip side is rotatably connected to the base end side of the first link member 22B A member 22C and a bucket cylinder 22A that spans between the connecting portion of the two link members 22B and 22C and the arm 21 are provided. These hydraulic cylinders 20A, 21A, and 22A are configured so as to be vertically rotatable about their connecting portions.

ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａは，油圧ポンプ３６ｂ（図３参照）から吐出される作動油を給排することによりそれぞれ伸縮可能な構造となっており，伸縮することによりそれぞれブーム２０，アーム２１，バケット２２を回動（動作）させることができる。バケット２２は，グラップル，ブレーカ，リッパ，マグネット等の図示しないアタッチメントに任意に交換可能である。 The boom cylinder 20A, the arm cylinder 21A, and the bucket cylinder 22A have a structure that can be expanded and contracted by supplying and discharging hydraulic oil discharged from the hydraulic pump 36b (see FIG. 3). , the arm 21 and the bucket 22 can be rotated (operated). The bucket 22 can be arbitrarily replaced with an attachment (not shown) such as a grapple, breaker, ripper, magnet, or the like.

ブーム２０にはブーム２０の姿勢を検出するための慣性計測ユニットセンサ（以下，ＩＭＵセンサと称する）（ブーム）２０Ｓが取り付けられており，アーム２１にはアーム２１の姿勢を検出するためのＩＭＵセンサ（アーム）２１Ｓが取り付けられている。第２リンク部材２２Ｃには，バケット２２の姿勢を検出するためのＩＭＵセンサ（バケット）２２Ｓが取り付けられている。ＩＭＵセンサ（ブーム）２０Ｓ，ＩＭＵセンサ（アーム）２１Ｓ，ＩＭＵセンサ（バケット）２２Ｓは，それぞれ角速度センサと加速度センサから構成されており，各フロント部材２０，２１，２２の傾斜角度，角速度及び加速度の検出が可能である。本稿では，３つのフロント部材２０，２１，２２の姿勢をそれぞれ検出するこれら３つのＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓを第３姿勢センサと称することがある。 An inertial measurement unit sensor (hereinafter referred to as an IMU sensor) (boom) 20S for detecting the attitude of the boom 20 is attached to the boom 20, and an IMU sensor for detecting the attitude of the arm 21 is attached to the arm 21. (Arm) 21S is attached. An IMU sensor (bucket) 22S for detecting the posture of the bucket 22 is attached to the second link member 22C. The IMU sensor (boom) 20S, the IMU sensor (arm) 21S, and the IMU sensor (bucket) 22S are each composed of an angular velocity sensor and an acceleration sensor, and detect the inclination angle, angular velocity, and acceleration of each front member 20, 21, 22. detection is possible. In this paper, these three IMU sensors 20S, 21S, 22S that respectively detect the attitudes of the three front members 20, 21, 22 are sometimes referred to as third attitude sensors.

旋回体３はメインフレーム３１を有する。メインフレーム３１上には，旋回体３の傾斜角度を検出するためのＩＭＵセンサ（旋回体）３０Ｓと，オペレータが搭乗する運転室３２と，油圧ショベル１内の複数の油圧アクチュエータの駆動制御を司るメインコントローラ（駆動制御用コントローラ）３４と，エンジン３６ａ及びエンジン３６ａによって駆動される油圧ポンプ３６ｂを有する原動装置３６と，メインコントローラ３４からの信号に応じて油圧ポンプ３６ｂから油圧アクチュエータ（例えば，油圧シリンダ２０Ａ，２１Ａ，２２Ａ）に供給される作動油（油圧）の流量及び流通方向を制御する複数の方向切替弁３５ｂを有する油圧制御装置３５と，作業中の油圧ショベル１のバランスをとるための重りであり旋回体３における後側に位置するカウンタウェイト３７と，旋回体３を左右方向のいずれかに旋回駆動する旋回用モータ３８とが搭載されている。 The revolving body 3 has a main frame 31 . On the main frame 31, there are an IMU sensor (revolving structure) 30S for detecting the tilt angle of the revolving structure 3, an operator's cab 32, and a plurality of hydraulic actuators in the hydraulic excavator 1. A main controller (drive control controller) 34, a prime mover 36 having an engine 36a and a hydraulic pump 36b driven by the engine 36a, and a hydraulic actuator (for example, a hydraulic cylinder 20A, 21A, and 22A), and a weight for balancing the hydraulic excavator 1 during operation. A counterweight 37 positioned on the rear side of the revolving body 3 and a revolving motor 38 for revolving the revolving body 3 in either the left or right direction are mounted.

ＩＭＵセンサ（旋回体）３０Ｓは，加速度センサと角速度センサから構成されており，旋回体３の水平面に対する傾き（傾斜角）や，角速度及び加速度を検出することができる。本稿では，旋回体３の姿勢を検出するＩＭＵセンサ３０Ｓを第１姿勢センサと称することがある。 The IMU sensor (revolving body) 30S is composed of an acceleration sensor and an angular velocity sensor, and can detect the inclination (inclination angle) of the revolving body 3 with respect to the horizontal plane, the angular velocity, and the acceleration. In this paper, the IMU sensor 30S that detects the attitude of the revolving body 3 may be referred to as a first attitude sensor.

運転室３２には，オペレータが操作を入力するための操作入力装置３３と，走行体４，旋回体３及びフロント作業装置２のうち少なくとも１つの逸脱が防止される作業領域の境界線の位置（言い換えると，走行体４，旋回体３及びフロント作業装置２のうち少なくとも１つの侵入が禁止される稼働制限領域の境界線の位置）をメインコントローラ３４に記憶させるための装置である作業領域設定装置１００と，作業領域の境界線の位置を含め，油圧ショベル１に関する各種情報が表示されるモニタ（表示装置）１１０とが備えられている。作業領域の境界線は，例えば旋回体３を基準に設定された２次元座標系（車体座標系）上に設定できる。すなわち，例えば旋回体３の前後方向，左右方向を座標軸とする座標系に設定できる。なお，図１に示した例では，作業領域設定装置１００とモニタ１１０を兼用する装置としてタッチパネルを有するタブレット端末（タブレットコンピュータ）を利用しており，その関係で１つのシンボルに２つの符号１００，１１０が付されている。なお，作業領域設定装置１００としては，タブレット端末に代えて，入力デバイスを含むコントローラ（メモリとプロセッサを備えるコンピュータ）を利用しても良い。 In the operator's cab 32, there are an operation input device 33 for an operator to input an operation, and a boundary line position ( In other words, a work area setting device for causing the main controller 34 to store the position of the boundary line of the restricted operation area into which at least one of the traveling body 4, revolving body 3 and front working device 2 is prohibited from entering. 100 and a monitor (display device) 110 for displaying various information about the excavator 1 including the position of the boundary line of the work area. The boundary line of the work area can be set, for example, on a two-dimensional coordinate system (vehicle body coordinate system) based on the revolving body 3 . That is, for example, a coordinate system can be set in which the front-rear direction and the left-right direction of the revolving body 3 are used as coordinate axes. In the example shown in FIG. 1, a tablet terminal (tablet computer) having a touch panel is used as a device that serves both as the work area setting device 100 and the monitor 110. Therefore, one symbol has two codes 100, 110 is attached. As the work area setting device 100, a controller including an input device (a computer including a memory and a processor) may be used instead of the tablet terminal.

操作入力装置３３は，オペレータの操作に応じてフロント作業装置２（ブーム２０，アーム２１，バケット２２）の回動動作と旋回体３の旋回動作を指示するための２本の操作レバー３３ａ（図示は１本にまとめている）と，オペレータの操作に応じて走行体４に係る左右の履帯４５の走行動作を指示するための２本の走行操作レバー３３ｃ（図示は１本にまとめている）と，各操作レバー３３ａ，３３ｃが倒された量（操作量）を検出する複数の操作センサ３３ｂ（図示は１つにまとめている）により構成されている。複数の操作センサ３３ｂは，オペレータが４本の操作レバー３３ａ，３３ｃのそれぞれを倒す量を検出することで，オペレータが各フロント部材２０，２１，２２，旋回体３及び走行体４に要求する動作速度を電気信号（操作信号）に変換してメインコントローラ３４に出力する。なお，操作入力装置３３（操作レバー３３ａ,３３ｃ）は，操作量に応じた圧力に調整された作動油を操作信号として出力する油圧パイロット方式によるものでもよい。その場合には，操作センサ３３ｂとして圧力センサを利用して，当該圧力センサで検出した信号をメインコントローラ３４に出力して操作量を検出する。 The operation input device 33 includes two operation levers 33a (illustrated) for instructing the rotation of the front work device 2 (boom 20, arm 21, bucket 22) and the rotation of the revolving body 3 according to the operator's operation. are combined into one), and two travel control levers 33c (illustrated are combined into one) for instructing the running operation of the left and right crawler belts 45 related to the traveling body 4 according to the operator's operation. , and a plurality of operation sensors 33b (collected as one sensor in the drawing) for detecting the amount (operation amount) of each operation lever 33a, 33c pushed down. A plurality of operation sensors 33b detects the amount by which the operator pushes down each of the four operation levers 33a and 33c, thereby detecting the motions requested by the operator to the front members 20, 21, 22, the revolving body 3, and the traveling body 4. The speed is converted into an electric signal (operation signal) and output to the main controller 34 . The operation input device 33 (operating levers 33a, 33c) may be of a hydraulic pilot type that outputs hydraulic oil whose pressure is adjusted according to the amount of operation as an operation signal. In that case, a pressure sensor is used as the operation sensor 33b, and a signal detected by the pressure sensor is output to the main controller 34 to detect the amount of operation.

油圧制御装置３５は，メインコントローラ３４から出力される動作指令値（指令電流）に応じた圧力の作動油（パイロット圧）を発生させる複数の電磁制御弁３５ａと，対応する電磁制御弁３５ａから出力される作動油（パイロット圧）によって駆動され，油圧ショベル１に搭載された複数の油圧アクチュエータに供給される作動油の流量と流通方向をそれぞれ制御する複数の方向切替弁３５ｂとから構成される。コントローラ３４から出力される動作指令値は，操作レバー３３ａ，３３ｃに入力されるオペレータ操作を基に生成されるが，後述する領域制限制御が機能している場合には，その条件に従ってオペレータ操作の無い油圧アクチュエータに関する動作指令値（停止指令値も含む）も生成され得る。メインコントローラ３４から電磁制御弁３５ａに対して動作指令値を出力すると，それに対応する方向切替弁３５ｂが動作して，当該方向切替弁３５ｂに対応する油圧アクチュエータ（例えば，油圧シリンダ２０Ａ，２１Ａ，２２Ａ）が動作する。油圧アクチュエータには，上記に含まれないアタッチメントや機器を駆動するものも含めてもよい。 The hydraulic control device 35 includes a plurality of electromagnetic control valves 35a that generate hydraulic oil (pilot pressure) at a pressure corresponding to an operation command value (command current) output from the main controller 34, and output from the corresponding electromagnetic control valves 35a. It is driven by hydraulic oil (pilot pressure) applied to the hydraulic excavator 1, and is composed of a plurality of direction switching valves 35b for controlling the flow rate and flow direction of the hydraulic oil supplied to the plurality of hydraulic actuators mounted on the hydraulic excavator 1, respectively. The operation command value output from the controller 34 is generated based on the operator's operation input to the operation levers 33a and 33c. Operation command values (including stop command values) for non-existent hydraulic actuators may also be generated. When an operation command value is output from the main controller 34 to the electromagnetic control valve 35a, the corresponding direction switching valve 35b is operated, and the hydraulic actuator (for example, the hydraulic cylinders 20A, 21A, 22A) corresponding to the direction switching valve 35b is operated. ) works. Hydraulic actuators may include those that drive attachments and equipment not included above.

原動装置３６は，エンジン（原動機）３６ａと，エンジン３６ａによって駆動される少なくとも１台の油圧ポンプ３６ｂとから構成され，油圧シリンダ２０Ａ，２１Ａ，２２Ａと，２つの走行用モータ４１と，旋回用モータ３８とを駆動するために必要な圧油（作動油）を供給する。原動装置３６はこの構成に限らず，電動ポンプなどの他の動力源を用いても良い。 The prime mover 36 comprises an engine (prime mover) 36a and at least one hydraulic pump 36b driven by the engine 36a. 38 is supplied with pressure oil (hydraulic oil) necessary for driving the . The driving device 36 is not limited to this configuration, and other power sources such as an electric pump may be used.

旋回角度センサ４０Ｓは，旋回体３と走行体４の相対角度φを検出するセンサ（第２姿勢センサ）であり，当該相対角度φを検出できるように油圧ショベル１に搭載されている。旋回角度センサ４０Ｓとしては望ましくはポテンショメータが利用可能である。 The turning angle sensor 40S is a sensor (second attitude sensor) for detecting the relative angle φ between the turning body 3 and the traveling body 4, and is mounted on the hydraulic excavator 1 so as to detect the relative angle φ. A potentiometer can preferably be used as the turning angle sensor 40S.

走行体４は，トラックフレーム４０と，トラックフレーム４０に取り付けられた左右の履帯４５Ｌ，４５Ｒ（（図２参照）以下，履帯４５と総称することがある）と，トラックフレーム４０を周回するように左右の履帯４５のそれぞれを駆動する左右の走行用モータ４１とを備えている。オペレータは２本の走行操作レバー３３ｃを適宜操作することにより，左右の走行油圧モータ（油圧アクチュエータ）４１の回転速度を調整することで油圧ショベル１を走行させることができる。走行体４は，履帯４５を備えたものに限定されることなく，走行輪や脚（アウトリガー）を備えたものであってもよい。 The traveling body 4 includes a track frame 40, left and right crawler belts 45L and 45R (see FIG. 2) attached to the track frame 40 (hereinafter sometimes collectively referred to as the crawler belts 45), and the track frame 40. Left and right driving motors 41 for driving left and right crawler belts 45 are provided. The operator can make the hydraulic excavator 1 travel by adjusting the rotation speed of the left and right travel hydraulic motors (hydraulic actuators) 41 by appropriately operating the two travel control levers 33c. The running body 4 is not limited to one having crawler belts 45, and may be one having running wheels or legs (outriggers).

＜システム構成＞
図３は本実施形態の油圧ショベル１に搭載された油圧制御システムのシステム構成図である。なお，上記で既に説明した部分については適宜説明を省略することがある。 <System configuration>
FIG. 3 is a system configuration diagram of a hydraulic control system mounted on the hydraulic excavator 1 of this embodiment. It should be noted that the description of the parts that have already been described above may be omitted as appropriate.

この図に示すように，メインコントローラ３４は，作業領域設定装置１００と，モニタ１１０と，複数の操作センサ３３ｂと，ＩＭＵセンサ３０Ｓ（第１姿勢センサ）と，複数のＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓ（第３姿勢センサ）と，旋回角度センサ４０Ｓ（第２姿勢センサ）と，３つのカメラ７１，７２，７３と，複数の電磁制御弁３５ａと電気的に接続されており，これらと通信可能に構成されている。 As shown in this figure, the main controller 34 includes a work area setting device 100, a monitor 110, a plurality of operation sensors 33b, an IMU sensor 30S (first attitude sensor), and a plurality of IMU sensors 20S, 21S, 22S. (third attitude sensor), turning angle sensor 40S (second attitude sensor), three cameras 71, 72, 73, and a plurality of electromagnetic control valves 35a are electrically connected to enable communication with them. It is configured.

作業領域設定装置１００は，オペレータが設定した作業領域５９（稼働制限領域６１）の境界線６０（図５参照）の位置データをメインコントローラ３４に出力する。作業領域５９の境界線６０は，例えば旋回体３に設定した車体座標系に設定可能である。作業領域５９の境界線６０の位置データは，作業領域設定装置１００を介してオペレータが直接入力しても良いし，地理座標系や現場座標系等の上に予め作成しておいた設計データを作業領域設定装置１００を介して適宜座標変換を加えて入力しても良い。図５に示すように，作業領域５９は，油圧ショベル１に対して任意の位置に設定することができる。また，作業領域５９の形状としては任意の形状を選択でき，例えば多角形や曲線であっても良い。作業領域設定装置１００によって作業領域５９の境界線６０を旋回体３を基準にして設定しても良い。 The work area setting device 100 outputs the position data of the boundary line 60 (see FIG. 5) of the work area 59 (operation restricted area 61) set by the operator to the main controller . A boundary line 60 of the work area 59 can be set, for example, in the vehicle body coordinate system set in the revolving body 3 . The position data of the boundary line 60 of the work area 59 may be directly input by the operator via the work area setting device 100, or may be input by design data prepared in advance on a geographic coordinate system, a field coordinate system, or the like. Via the work area setting device 100, coordinate transformation may be added as appropriate and input may be performed. As shown in FIG. 5, the work area 59 can be set at any position with respect to the hydraulic excavator 1 . Moreover, any shape can be selected as the shape of the work area 59, and may be, for example, a polygon or a curved line. The work area setting device 100 may set the boundary line 60 of the work area 59 with the revolving body 3 as a reference.

なお，作業領域設定装置１００は，予め設定した作業領域５９の境界線６０の位置データの記憶機能を具備していれば良く，例えば半導体メモリ等の記憶装置にも代替可能である。そのため作業領域５９の境界線６０の位置データを例えばメインコントローラ３４内の記憶装置や油圧ショベルに搭載された記憶装置に記憶した場合には省略可能である。 The work area setting device 100 only needs to have a function of storing position data of the boundary line 60 of the work area 59 set in advance, and can be replaced by a storage device such as a semiconductor memory. Therefore, if the position data of the boundary line 60 of the work area 59 is stored in, for example, a storage device within the main controller 34 or a storage device mounted on the hydraulic excavator, it can be omitted.

モニタ１１０は，３つのカメラ７１，７２，７３の撮影画像に基づいて生成された旋回体３を真上から見た合成画像７０１上に，作業領域５９の境界線６０の位置や，旋回体３や走行体４の姿勢（フロント作業装置２やバケット２２の姿勢も含んでも良い）などの情報を表示可能な表示装置である。図５はモニタ１１０の表示画面の一例を示す図である。合成画像（俯瞰映像）７０１とは，例えば油圧ショベル１の旋回中心に基準点を設定し，作業現場を当該基準点の真上（すなわち油圧ショベル１の真上）の位置から見たときに得られる平面図に相当する映像のことを示し，本実施の形態では３つのカメラ７１，７２，７３の映像を変換及び合成することで作成される。図５の合成画像７０１の中心には旋回体３及び走行体４の上面図を模式的に示した画像である旋回体アイコン７０３及び走行体アイコン７０４が配置されている。旋回体アイコン７０３と走行体アイコン７０４の姿勢は実際の旋回体３と走行体４の姿勢に一致する。なお，本実施形態では，モニタ画面上の旋回体アイコン７０３の位置は固定されているため，旋回角度センサ４０Ｓによって検出される実際の旋回体３と走行体４の相対角度φに応じて走行体アイコン７０４が旋回体３の旋回中心を中心にして回転するように表示される（図７参照）。 The monitor 110 displays the position of the boundary line 60 of the work area 59 and the position of the revolving body 3 on a synthesized image 701 viewed from directly above the revolving body 3 generated based on the captured images of the three cameras 71 , 72 , 73 . and the attitude of the traveling body 4 (which may also include the attitudes of the front working device 2 and the bucket 22). FIG. 5 is a diagram showing an example of the display screen of the monitor 110. As shown in FIG. The synthesized image (overhead image) 701 is obtained when a reference point is set at the turning center of the hydraulic excavator 1, for example, and the work site is viewed from a position directly above the reference point (that is, directly above the hydraulic excavator 1). In this embodiment, it is created by converting and synthesizing the images of the three cameras 71, 72, and 73. FIG. A revolving body icon 703 and a running body icon 704, which are images schematically showing top views of the revolving body 3 and the running body 4, are arranged at the center of the synthesized image 701 in FIG. The postures of the revolving body icon 703 and the running body icon 704 match the actual postures of the revolving body 3 and the running body 4 . In this embodiment, since the position of the revolving structure icon 703 on the monitor screen is fixed, the running body is detected according to the actual relative angle φ between the revolving body 3 and the running body 4 detected by the turning angle sensor 40S. An icon 704 is displayed to rotate around the center of rotation of the rotating body 3 (see FIG. 7).

モニタ１１０には，旋回体３の幅方向（左右方向）と直交し旋回体３の旋回中心を通過する直線５８上において，所定の位置から境界線６０までの距離を演算し，当該距離を距離表示部６５に表示しても良い。当該所定の位置としては，例えば，１）旋回中心，２）当該直線５８上において最も境界線６０に近い旋回体３上の点，３）当該直線５８上において最も境界線６０に近い走行体４上の点（例えば前端）等がある。図５の距離表示部６５に表示された「１．８ｍ」は直線５８における走行体４の前端から境界線６０までの距離Ｌ１である。なお，図中のＬ２は旋回体３の前端から境界線６０までの距離を示している。これらの距離は，旋回体３や走行体４の寸法データや相対角度φと，境界線６０の位置データなどからメインコントローラ３４により演算できる。 On the monitor 110, the distance from a predetermined position to the boundary line 60 is calculated on a straight line 58 that is orthogonal to the width direction (horizontal direction) of the revolving structure 3 and passes through the center of revolving of the revolving structure 3. It may be displayed on the display unit 65 . The predetermined positions are, for example, 1) the turning center, 2) the point on the rotating body 3 closest to the boundary line 60 on the straight line 58, 3) the traveling body 4 closest to the boundary line 60 on the straight line 58. There is a top point (eg front end) and so on. "1.8 m" displayed on the distance display portion 65 in FIG. Note that L2 in the drawing indicates the distance from the front end of the revolving body 3 to the boundary line 60. As shown in FIG. These distances can be calculated by the main controller 34 from the dimensional data and the relative angle φ of the revolving body 3 and the traveling body 4, the position data of the boundary line 60, and the like.

また，作業領域５９の外側は，走行体４，旋回体３及びフロント作業装置２のうち少なくとも１つの侵入が禁止される稼働制限領域６１である。境界線６０は作業領域５９と稼働制限領域６１の境界となる。 Further, the outside of the working area 59 is an operation restricted area 61 in which at least one of the traveling body 4, the revolving body 3 and the front working device 2 is prohibited from entering. A boundary line 60 serves as a boundary between the work area 59 and the restricted operation area 61 .

メインコントローラ３４は，油圧ショベル１に関する各種制御を司るコントローラである。本実施形態のメインコントローラ３４が実行可能な特徴的な制御は２つある。 The main controller 34 is a controller that manages various controls related to the hydraulic excavator 1 . There are two characteristic controls that can be executed by the main controller 34 of this embodiment.

第１に，メインコントローラ３４は，作業領域５９（図５参照）の境界線６０を超えて走行体４，旋回体３，フロント作業装置２の少なくともいずれか１つが作業領域５９を逸脱しないように（稼働制限領域６１に侵入しないように）該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の目標速度ベクトル（例えば，当該目標速度ベクトルは，走行体４，旋回体３又はフロント作業装置２と当該境界線６０との距離が小さくなるほど小さくなるように演算され，当該距離が所定の値（例えばゼロ）に達した場合には当該目標速度ベクトルとしてゼロが演算される）を演算し，その演算した目標速度ベクトルに従って走行体４，旋回体３又はフロント作業装置２が動作するように該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１を制御するため動作指令値を演算及び出力することで領域制限制御を実行できる。すなわちこの領域制限制御によれば，例えばフロント作業装置２が稼働制限領域６１の近傍に位置する状態でオペレータがアームクラウド操作を入力しても，フロント作業装置２が稼働制限領域６１の外側（すなわち作業領域５９内）に継続して位置するようにフロント作業装置２が半自動的に制御されるため（例えば，稼働制限領域６１に近づくとフロント作業装置２が半自動的に停止する），オペレータの技量に依らずフロント作業装置２の稼働制限領域６１内への侵入（すなわち作業領域５９からの逸脱）を確実に防止できる。 First, the main controller 34 prevents at least one of the traveling structure 4, the rotating structure 3, and the front working device 2 from deviating from the work area 59 beyond the boundary line 60 of the work area 59 (see FIG. 5). Target velocity vectors of the relevant hydraulic actuators 20A, 21A, 22A, 38, 41 (for example, the target velocity vectors are the traveling body 4, the revolving body 3, or the front work device 2) When the distance to the boundary line 60 becomes smaller, the distance becomes smaller, and when the distance reaches a predetermined value (for example, zero), zero is calculated as the target velocity vector). By calculating and outputting operation command values for controlling the corresponding hydraulic actuators 20A, 21A, 22A, 38, and 41 so that the traveling body 4, revolving body 3, or front work device 2 operates according to the target velocity vector obtained, the region Limit control can be performed. That is, according to this area restriction control, for example, even if the operator inputs an arm cloud operation while the front work device 2 is positioned near the operation restriction area 61, the front work apparatus 2 is positioned outside the operation restriction area 61 (i.e., Since the front working device 2 is semi-automatically controlled so as to continue to be positioned within the working area 59 (for example, the front working device 2 semi-automatically stops when approaching the operation restricted area 61), the operator's skill Intrusion of the front working device 2 into the restricted operation area 61 (that is, deviation from the working area 59) can be reliably prevented.

第２に，メインコントローラ３４は，旋回角度センサ４０Ｓの出力に基づいて走行体４と旋回体３の相対角度φを演算し，その相対角度φに基づいてモニタ１１０の画面上の境界線６０の表示位置を補正する処理を実行できる。これにより旋回体３を基準に境界線６０の位置を定義した場合に旋回体３を旋回させた際にも，境界線６０の位置をモニタ画面上に正確に表示できる
＜操作入力装置＞
一般に油圧ショベルでは操作レバー３３ａ，３３ｃが倒された量（傾倒量）が大きいほど，各油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の動作速度が速くなるように設定されており，オペレータは操作レバー３３ａ，３３ｃを倒す量を変更することにより，各油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の動作速度を変更して油圧ショベル１を動作させる。 Secondly, the main controller 34 calculates the relative angle φ between the traveling structure 4 and the swing structure 3 based on the output of the turning angle sensor 40S, and the boundary line 60 on the screen of the monitor 110 based on the relative angle φ. A process for correcting the display position can be executed. Thus, when the position of the boundary line 60 is defined with reference to the revolving structure 3, the position of the boundary line 60 can be displayed accurately on the monitor screen even when the revolving structure 3 is revolved <Operation input device>
In general, hydraulic excavators are set so that the larger the amount of tilting of the operating levers 33a and 33c (tilting amount), the faster the operating speed of each of the hydraulic actuators 20A, 21A, 22A, 38 and 41. By changing the amount of tilting the levers 33a, 33c, the operating speed of each hydraulic actuator 20A, 21A, 22A, 38, 41 is changed to operate the hydraulic excavator 1.

操作センサ３３ｂには，ブーム２０，アーム２１，バケット２２（ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａ）及び旋回体３（旋回用モータ３８）に対する操作レバー３３ａの操作量（傾倒量）を電気的に検出するセンサが含まれており，操作センサ３３ｂの検出信号に基づいて，オペレータが要求するブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａ，旋回体３の動作速度をそれぞれ検出することができる。また，操作センサ３３ｂには，走行用モータ４１に対する操作レバー３３ｃの操作量（傾倒量）を電気的に検出するセンサが含まれており，操作センサ３３ｂの検出信号に基づいて，オペレータが要求する走行体４の動作速度を検出することができる。操作センサとしては，操作レバー３３ａ，３３ｃが倒された量を直接検出するものに限らず，操作レバー３３ａ，３３ｃの操作によって出力される作動油の圧力（操作パイロット圧）を検出する方式であってもよい。 The operation sensor 33b electrically detects the operation amount (tilt amount) of the operation lever 33a with respect to the boom 20, arm 21, bucket 22 (boom cylinder 20A, arm cylinder 21A, bucket cylinder 22A) and swing body 3 (swing motor 38). The operation speed of the boom cylinder 20A, the arm cylinder 21A, the bucket cylinder 22A, and the swing body 3 requested by the operator can be detected based on the detection signal of the operation sensor 33b. . Further, the operation sensor 33b includes a sensor that electrically detects the operation amount (tilt amount) of the operation lever 33c with respect to the traveling motor 41. Based on the detection signal of the operation sensor 33b, the operator makes a request. The operating speed of the running body 4 can be detected. The operation sensor is not limited to the one that directly detects the amount by which the operation levers 33a and 33c are tilted, but it is a method that detects the hydraulic oil pressure (operation pilot pressure) output by the operation of the operation levers 33a and 33c. may

＜姿勢センサ＞
メインコントローラ３４に接続されている姿勢センサとしては，旋回体３の姿勢を検出するためのＩＭＵセンサ３０Ｓ（第１姿勢センサ）と，フロント作業装置２の姿勢を検出するための３つのＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓ（第３姿勢センサ）と，旋回体３と走行体４の相対角度φを検出するための旋回角度センサ４０Ｓ（第２姿勢センサ）とがある。このうちＩＭＵセンサ（旋回体）３０Ｓ，ＩＭＵセンサ（ブーム）２０Ｓ，ＩＭＵセンサ（アーム）２１Ｓ，ＩＭＵセンサ（バケット）２２Ｓは，それぞれ角速度センサと加速度センサと傾斜角センサとして機能し得る。これらのＩＭＵセンサによりそれぞれの設置位置における角速度と加速度データと傾斜角データを得ることができる。ブーム２０，アーム２１，バケット２２，ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａ，第１リンク部材２２Ｂ，第２リンク部材２２Ｃ，および旋回体３は，それぞれ回動（旋回）できるように取り付けられているので，各部の寸法と機械的なリンク関係とから，ブーム２０，アーム２１，バケット２２，および旋回体３の車体座標系における姿勢や位置を算出することができる。なお，ここで示した姿勢及び位置の検出方法は一例であり，フロント作業装置２の各部の相対角度を直接計測するものや，ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａのストロークを検出して油圧ショベル１の各部の姿勢及び位置を算出してもよい。 <Attitude sensor>
The attitude sensors connected to the main controller 34 include an IMU sensor 30S (first attitude sensor) for detecting the attitude of the revolving structure 3 and three IMU sensors 20S for detecting the attitude of the front working device 2. , 21S, 22S (third attitude sensors), and a turning angle sensor 40S (second attitude sensor) for detecting the relative angle φ between the revolving body 3 and the traveling body 4. FIG. Of these, the IMU sensor (revolving body) 30S, IMU sensor (boom) 20S, IMU sensor (arm) 21S, and IMU sensor (bucket) 22S can function as an angular velocity sensor, an acceleration sensor, and an inclination angle sensor, respectively. Angular velocity, acceleration data, and tilt angle data at each installation position can be obtained from these IMU sensors. The boom 20, the arm 21, the bucket 22, the boom cylinder 20A, the arm cylinder 21A, the bucket cylinder 22A, the first link member 22B, the second link member 22C, and the revolving body 3 are mounted so as to be able to rotate (revolve). Therefore, the attitudes and positions of the boom 20, the arm 21, the bucket 22, and the revolving body 3 in the vehicle body coordinate system can be calculated from the dimensions of each part and the mechanical link relationship. The posture and position detection method shown here is just an example, and a method that directly measures the relative angle of each part of the front work device 2, or a method that detects the strokes of the boom cylinder 20A, the arm cylinder 21A, and the bucket cylinder 22A. The posture and position of each part of the hydraulic excavator 1 may be calculated.

＜メインコントローラ＞
図４はメインコントローラ３４の構成図である。メインコントローラ３４は，例えば図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と，ＣＰＵによる処理を実行するための各種プログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの記憶装置と，ＣＰＵがプログラムを実行する際の作業領域となるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むハードウェアを用いて構成されている。このように記憶装置に格納されたプログラムを実行することで，姿勢演算部７１０，作業領域演算部７２０，表示補正部７３０，合成画像生成部９１０，画像合成処理部９３０，動作指令部３１０として機能する。次に各部が行う処理の詳細について説明する。 <Main controller>
FIG. 4 is a configuration diagram of the main controller 34. As shown in FIG. The main controller 34 includes, for example, a CPU (Central Processing Unit) (not shown), a storage device such as a ROM (Read Only Memory) or an HDD (Hard Disc Drive) that stores various programs for executing processing by the CPU, and the CPU. It is configured using hardware including a RAM (Random Access Memory) that serves as a work area when executing a program. By executing the programs stored in the storage device in this way, the functions of the posture calculation unit 710, the work area calculation unit 720, the display correction unit 730, the synthesized image generation unit 910, the image synthesis processing unit 930, and the motion command unit 310 are performed. do. Next, the details of the processing performed by each unit will be described.

＜姿勢演算部７１０＞
姿勢演算部７１０は，旋回角度センサ４０Ｓ（第２姿勢センサ）から出力される検出信号に基づいて旋回体３と走行体４の相対角度φを演算する。演算された相対角度φは表示補正部７３０に出力される。 <Posture calculation unit 710>
The attitude calculation unit 710 calculates the relative angle φ between the revolving body 3 and the traveling body 4 based on the detection signal output from the turning angle sensor 40S (second attitude sensor). The calculated relative angle φ is output to the display corrector 730 .

また，姿勢演算部７１０は，ＩＭＵセンサ（ブーム）２０Ｓ，ＩＭＵセンサ（アーム）２１Ｓ，ＩＭＵセンサ（バケット）２２Ｓ，ＩＭＵセンサ（旋回体）３０Ｓから得られる加速度信号と角速度信号を検出し，ブーム２０，アーム２１，バケット２２，および旋回体３の姿勢（傾斜角度）をそれぞれ演算する。この姿勢の演算結果に各フロント部材２０,２１,２２の寸法を加味すればフロント作業装置２の位置も演算できる。３つのＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓ（第３姿勢センサ）から演算できるブーム２０，アーム２１及びバケット２２の姿勢からは車体座標系におけるフロント作業装置２の位置を演算できる。 In addition, the attitude calculation unit 710 detects acceleration signals and angular velocity signals obtained from the IMU sensor (boom) 20S, the IMU sensor (arm) 21S, the IMU sensor (bucket) 22S, and the IMU sensor (swivel body) 30S. , the arm 21, the bucket 22, and the revolving body 3 (inclination angle) are calculated. If the dimensions of the front members 20, 21, and 22 are added to the result of calculation of the posture, the position of the front working device 2 can also be calculated. The position of the front working device 2 in the vehicle body coordinate system can be calculated from the attitudes of the boom 20, arm 21 and bucket 22 that can be calculated from three IMU sensors 20S, 21S, 22S (third attitude sensors).

＜作業領域演算部７２０＞
作業領域演算部７２０は，作業領域設定装置１００から入力される作業領域５９の位置データに基づいて作業領域５９の境界線６０の位置を演算する。ここで演算される境界線６０の位置は，作業領域設定装置１００を介して作業領域５９が設定されたときの旋回体３の位置を基準とした境界線６０の位置であり，以下では作業領域５９が設定されたときの旋回体３に係る位置を「初期位置」と称することがある。例えば，図５のように走行体４の前方向と旋回体３の前方向が一致した姿勢（相対角度φ＝０の姿勢）で作業領域５９が設定された場合には，そのときの旋回体３の姿勢を基準にして作業領域５９が設定される。初期位置における旋回体３と走行体４の相対角度φを初期角度φ０と定義すると，作業領域演算部７２０は初期角度φ０を表示補正部７３０に出力する。 <Work area calculator 720>
The work area calculator 720 calculates the position of the boundary line 60 of the work area 59 based on the position data of the work area 59 input from the work area setting device 100 . The position of the boundary line 60 calculated here is the position of the boundary line 60 based on the position of the rotating body 3 when the work area 59 is set via the work area setting device 100. The position of the revolving body 3 when 59 is set is sometimes referred to as the "initial position". For example, as shown in FIG. 5, when the work area 59 is set in a posture in which the front direction of the traveling structure 4 and the front direction of the revolving structure 3 are aligned (posture with a relative angle φ=0), the revolving structure at that time A working area 59 is set with reference to the posture of No. 3 . When the relative angle φ between the revolving structure 3 and the traveling structure 4 at the initial position is defined as an initial angle φ0, the work area calculation unit 720 outputs the initial angle φ0 to the display correction unit 730 .

＜合成画像生成部９１０＞
合成画像生成部９１０は，３つのカメラ７１，７２，７３から出力される３つの撮像画像から１枚の合成画像（俯瞰画像）７０１を生成する部分である。図６に示すように，３つのカメラ７１，７２，７３は，それぞれ，隣り合う２つのカメラによる撮像画像が重複する重複領域１１が形成されるように配置されている。 <Synthetic image generator 910>
The composite image generation unit 910 is a part that generates one composite image (bird's-eye view image) 701 from three captured images output from the three cameras 71 , 72 , and 73 . As shown in FIG. 6, the three cameras 71, 72, and 73 are arranged so that an overlapping area 11 is formed in which images taken by two adjacent cameras overlap each other.

合成画像生成部９１０は，各カメラ７１，７２，７３の撮像画像を，各カメラ７１，７２，７３の設置位置と画角等の関係から油圧ショベル１の接地面に投影して合成画像７０１を生成する。そのため，各カメラ７１，７２，７３は図１に示すように水平方向に対して所定の俯角θだけ傾けて設置される。これにより油圧ショベル１の接地面が撮像画像内に含まれることになる。２つの撮像画像が重なる重複領域１１は，それぞれ合成画像７０１の生成時に欠落部分がないように既知の手法を用いて画像境界処理を行う。合成画像７０１の中央部には旋回体３を真上から見下ろした旋回体アイコン７０３が配置される。これにより油圧ショベル１及びその周囲の状況を画像を切り替えることなく１画面でモニタ１１０に表示できる。 A composite image generation unit 910 projects the captured images of the cameras 71, 72, and 73 onto the ground surface of the hydraulic excavator 1 based on the relationship between the installation positions and the angles of view of the cameras 71, 72, and 73, and generates a composite image 701. Generate. Therefore, each camera 71, 72, 73 is installed at a predetermined depression angle θ with respect to the horizontal direction, as shown in FIG. As a result, the ground contact surface of the hydraulic excavator 1 is included in the captured image. The overlapping area 11 where the two captured images overlap each other is subjected to image boundary processing using a known method so that there is no missing portion when generating the combined image 701 . A revolving body icon 703 that looks down on the revolving body 3 from directly above is arranged in the center of the synthesized image 701 . As a result, the hydraulic excavator 1 and its surroundings can be displayed on the monitor 110 on one screen without switching images.

＜表示補正部７３０＞
表示補正部７３０は，作業領域演算部７２０から出力された初期角度φ０と，姿勢演算部７１０から出力された相対角度φとに基づいて，旋回体３と走行体４の相対角度φが初期角度φ０から変更されているか否か（すなわち「相対角度φ－初期角度φ０＝Δφ≠０」が成立して差分が生じているか否か）を判定する。旋回体３と走行体４の相対角度φが初期角度φ０から変更されている場合（旋回体３が初期位置から旋回した場合）には，表示補正部７３０は，モニタ画面上における作業領域５９の境界線６０と走行体アイコン７０４の位置（回転角度）の補正を行う。具体的には，表示補正部７３０は，旋回体３の旋回中心回りに境界線６０と走行体アイコン７０４を当該差分が生じた方向と逆方向に回転させる（つまり，－Δφだけ回転させる）。一方，相対角度φが初期角度φ０から変更されていない場合（Δφ＝０の場合）には，これらの補正を行わない（すなわち境界線６０と走行体４の位置は初期位置のまま保持される）。このように初期角度φ０からの相対角度φの変化の有無は，境界線６０と走行体４の位置の補正の有無に一致する。 <Display correction unit 730>
The display correction unit 730 adjusts the relative angle φ between the revolving structure 3 and the traveling structure 4 to the initial angle based on the initial angle φ0 output from the work area calculation unit 720 and the relative angle φ output from the attitude calculation unit 710. It is determined whether or not φ0 has been changed (that is, whether or not “relative angle φ−initial angle φ0=Δφ≠0” is established and a difference is generated). When the relative angle φ between the revolving structure 3 and the traveling structure 4 is changed from the initial angle φ0 (when the revolving structure 3 turns from the initial position), the display correction unit 730 changes the working area 59 on the monitor screen. The position (rotational angle) of the boundary line 60 and the moving object icon 704 is corrected. Specifically, the display correction unit 730 rotates the boundary line 60 and the traveling object icon 704 around the turning center of the turning object 3 in a direction opposite to the direction in which the difference occurs (that is, rotates by -Δφ). On the other hand, when the relative angle φ is not changed from the initial angle φ0 (when Δφ=0), these corrections are not performed (i.e., the positions of the boundary line 60 and the traveling body 4 are kept at their initial positions). ). Thus, whether or not the relative angle φ changes from the initial angle φ0 coincides with whether or not the positions of the boundary line 60 and the traveling body 4 are corrected.

なお，旋回体３の旋回中心を点Ｃｓとすると，相対角度φが０の位置と相対角度φの正負は図７のように決めることができる。すなわち，図７のように走行体４の前進方向とフロント作業装置２が伸びる方向が一致した状態の旋回体３と走行体４の相対角度φを０度とする。旋回体３が右方向に旋回した場合の相対角度φの符号を正とし，左方向に旋回した場合の符号を負とする。なお，括弧内の数値は相対角度φが負の場合の角度を示す。 Assuming that the turning center of the turning body 3 is a point Cs, the position where the relative angle φ is 0 and the sign of the relative angle φ can be determined as shown in FIG. That is, as shown in FIG. 7, the relative angle φ between the revolving body 3 and the traveling body 4 is assumed to be 0 degree when the advancing direction of the traveling body 4 and the extending direction of the front working device 2 are aligned. The sign of the relative angle φ is positive when the revolving body 3 turns to the right, and the sign is negative when it turns to the left. Numerical values in parentheses indicate angles when the relative angle φ is negative.

＜画像合成処理部９３０＞
画像合成処理部９３０は，合成画像生成部９１０で生成された旋回体アイコン７０３を含む合成画像７０１の上に，表示補正部７３０で補正された境界線６０と走行体アイコン７０４を表示して画像の合成処理を行う。ただし，操作センサ３３ｂを介して走行体４の走行が検出された場合には，これらに図１０のメッセージ７５（後述）が追加されることがある。ここで合成処理が行われた画像はモニタ１１０の画面上に表示される。なお，合成画像７０１（モニタ１１０の画面）上における境界線６０の位置の補正は，モニタ１１０への境界線６０の表示後に行っても良いし，モニタ１１０への境界線６０の表示前や表示と同時に行っても良い。また，合成画像７０１上における境界線６０の位置の補正の実行は，作業領域設定装置１００による作業領域５９の設定後に行っても良い。 <Image Synthesis Processing Unit 930>
The image synthesizing unit 930 displays the boundary line 60 and the traveling object icon 704 corrected by the display correcting unit 730 on the synthetic image 701 including the rotating object icon 703 generated by the synthetic image generating unit 910 . are synthesized. However, when the traveling of the traveling body 4 is detected via the operation sensor 33b, a message 75 (described later) of FIG. 10 may be added to these. The image that has undergone the synthesis processing here is displayed on the screen of the monitor 110 . The correction of the position of the boundary line 60 on the synthesized image 701 (screen of the monitor 110) may be performed after the boundary line 60 is displayed on the monitor 110, or before or after the boundary line 60 is displayed on the monitor 110. You can go at the same time. Also, the correction of the position of the boundary line 60 on the composite image 701 may be performed after the work area setting device 100 sets the work area 59 .

図８は旋回体３と走行体４の相対角度φが初期角度φ０から変更された場合におけるモニタ画像の一例を示す図である。旋回体３が旋回した場合には，この図に示すようにその旋回角度に応じて境界線６０と走行体アイコン７０４の位置が補正される。これにより旋回体３に旋回操作を加えた場合にも，モニタ画面上の正しい位置に境界線６０と走行体アイコン７０４を表示できる。 FIG. 8 is a diagram showing an example of a monitor image when the relative angle φ between the revolving structure 3 and the traveling structure 4 is changed from the initial angle φ0. When the revolving body 3 turns, the positions of the boundary line 60 and the running body icon 704 are corrected according to the turning angle as shown in this figure. As a result, the boundary line 60 and the traveling object icon 704 can be displayed at the correct positions on the monitor screen even when the turning operation is applied to the turning object 3 .

＜動作指令部３１０＞
動作指令部３１０は，フロント作業装置２，旋回体３又は走行体４と境界線６０との最短距離ｄと，操作センサ３３ｂの出力とに基づいて，該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１に係る電磁制御弁３５ａの駆動に必要な動作指令値を演算する。最短距離ｄは，表示補正部７３０から出力される境界線６０の位置（初期位置または補正位置）に基づいて演算される。すなわち，相対角度φが初期角度φ０から変化した場合には境界線６０の補正位置に基づいて演算され，相対角度φが初期角度φ０で保持されている場合には境界線６０の初期位置に基づいて演算される。 <Operation command unit 310>
The operation command unit 310 controls the corresponding hydraulic actuators 20A, 21A, 22A, and 38 based on the shortest distance d between the front work device 2, revolving body 3, or traveling body 4 and the boundary line 60 and the output of the operation sensor 33b. , 41, which are required to drive the electromagnetic control valves 35a, are calculated. The shortest distance d is calculated based on the position (initial position or corrected position) of the boundary line 60 output from the display corrector 730 . That is, when the relative angle φ changes from the initial angle φ0, the calculation is based on the corrected position of the boundary line 60, and when the relative angle φ is held at the initial angle φ0, it is calculated based on the initial position of the boundary line 60. calculated as

動作指令部３１０は，油圧ショベル１が稼働している間（または領域制限制御が有効とされている間），フロント作業装置２，旋回体３又は走行体４と境界線６０との最短距離ｄが所定値（閾値）よりも小さいか否かを判定する。当該最短距離ｄが当該所定値よりも小さくなった場合には，動作指令部３１０は，操作センサ３３ｂから出力に関わらず，フロント作業装置２，旋回体３又は走行体４が停止するために，該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の目標動作速度をゼロに設定する。そして，動作指令部３１０は，当該目標動作速度に従って各電磁制御弁３５ａの駆動に必要な動作指令値を生成し，生成した動作指令値を対応する電磁制御弁３５ａに出力することで，対応する方向切替弁（コントロールバルブ）３５ｂを駆動する。これによりフロント作業装置２，旋回体３又は走行体４が境界線６０に接近した場合には当該装置２，３，４の動作が停止され，当該装置２，３，４が作業領域５９から逸脱することが防止される。 While the hydraulic excavator 1 is operating (or while the area restriction control is valid), the motion command unit 310 determines the shortest distance d is smaller than a predetermined value (threshold). When the shortest distance d becomes smaller than the predetermined value, the operation command unit 310 causes the front work device 2, the swing body 3, or the traveling body 4 to stop regardless of the output from the operation sensor 33b. The target operating speeds of the relevant hydraulic actuators 20A, 21A, 22A, 38, 41 are set to zero. Then, the operation command unit 310 generates an operation command value necessary for driving each electromagnetic control valve 35a according to the target operation speed, and outputs the generated operation command value to the corresponding electromagnetic control valve 35a, thereby The direction switching valve (control valve) 35b is driven. As a result, when the front working device 2, the revolving body 3, or the traveling body 4 approaches the boundary line 60, the devices 2, 3, and 4 are stopped, and the devices 2, 3, and 4 deviate from the working area 59. is prevented.

なお，各装置２，３，４と境界線６０の距離ｄが所定値以上の場合には，操作センサ３３ｂの出力に従って，該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の目標速度が演算され，オペレータの操作に即して各装置２，３，４が動作する。 When the distance d between each device 2, 3, 4 and the boundary line 60 is greater than or equal to a predetermined value, the target speed of the corresponding hydraulic actuators 20A, 21A, 22A, 38, 41 is calculated according to the output of the operation sensor 33b. Each device 2, 3, 4 operates according to the operator's operation.

＜モニタ１１０＞
モニタ１１０は，図５や図８に示したように作業領域５９の境界線６０と油圧ショベル（建設機械）１の位置関係を画面に表示する。 <Monitor 110>
The monitor 110 displays the positional relationship between the boundary line 60 of the working area 59 and the hydraulic excavator (construction machine) 1 on the screen as shown in FIGS.

図９はモニタ１１０に表示される画面の一例を示す図である。この例では，３つのカメラ７１，７２，７３によって撮影された旋回体３の左側，右側，及び後側の撮影画像に基づいて合成画像７０１を生成し，その合成画像７０１において撮影画像が存在しない旋回体３の前側の領域７０５に表示される境界線６２を強調表示している。強調表示の方法としては，線種の変更，線の色変更，線の太さ変更などがある。図９の例では領域７０５の境界線６２の線種を二重線に変更している。 FIG. 9 is a diagram showing an example of a screen displayed on the monitor 110. As shown in FIG. In this example, a composite image 701 is generated based on the photographed images of the left side, the right side, and the rear side of the revolving body 3 photographed by the three cameras 71, 72, and 73, and the photographed image does not exist in the composite image 701. The boundary line 62 displayed in the area 705 on the front side of the revolving body 3 is highlighted. Methods of highlighting include changing the line type, changing the color of the line, and changing the thickness of the line. In the example of FIG. 9, the line type of the boundary line 62 of the area 705 is changed to a double line.

図１０はモニタ１１０に表示される画面の他の一例を示す図である。例えば操作センサ３３ｂによって走行操作レバー３３ｃに対するオペレータ操作が検出され走行体４が動作することが検出された場合には，メインコントローラ３４はオペレータに作業領域設定装置１００を介した作業領域５９の再設定を促すメッセージ７５をモニタ１１０に表示する。 FIG. 10 is a diagram showing another example of the screen displayed on the monitor 110. As shown in FIG. For example, when the operation sensor 33b detects the operator's operation on the traveling control lever 33c and the traveling body 4 moves, the main controller 34 instructs the operator to reset the working area 59 via the working area setting device 100. is displayed on the monitor 110.

＜メインコントローラの制御手順＞
図１１は，図４でメインコントローラ３４内に示した各部のうち主にモニタ１１０の画面制御の流れの一例を説明したメインコントローラ３４が実行する処理のフローチャートである。以下では，図４に示したメインコントローラ３４内の各部を主語として各処理（ステップＳ１００－Ｓ２００）を説明する場合があるが，各処理を実行するハードウェアはメインコントローラ３４である。また，各部の処理の詳細な説明は上記の各部の説明箇所に記載されていることがある。 <Control procedure of the main controller>
FIG. 11 is a flow chart of processing executed by the main controller 34, mainly explaining an example of the screen control flow of the monitor 110 among the units shown in the main controller 34 in FIG. In the following, each process (steps S100 to S200) may be described with each part in the main controller 34 shown in FIG. Further, detailed explanations of the processing of each unit may be described in the descriptions of the above units.

メインコントローラ３４は，油圧ショベル１の運転室３２に搭乗したオペレータがキーオン操作を行うと図１１に示した処理を開始する。まずＳ１００において，作業領域演算部７２０は，オペレータによる作業領域設定装置１００の操作に基づいて，旋回体３を基準にして作業領域５９の境界線６０を設定する。旋回体３を基準とした境界線６０の設定方法としては，例えば，旋回体３に設定された座標系（車体座標系）上に境界線６０を設定するものがある。 The main controller 34 starts the processing shown in FIG. 11 when an operator in the operator's cab 32 of the hydraulic excavator 1 performs a key-on operation. First, in S100, the work area calculation unit 720 sets the boundary line 60 of the work area 59 with the rotating body 3 as a reference based on the operation of the work area setting device 100 by the operator. As a method of setting the boundary line 60 with the revolving structure 3 as a reference, for example, there is a method of setting the boundary line 60 on a coordinate system (vehicle body coordinate system) set on the revolving structure 3 .

Ｓ１１０では，作業領域演算部７２０は，Ｓ１００で境界線６０が設定されたときの旋回体３と走行体４の相対角度φを旋回角度センサ４０Ｓを利用して検出し，その相対角度を初期相対角度φ０としてメインコントローラ３４内の記憶装置に記憶する。 At S110, the work area computing unit 720 detects the relative angle φ between the rotating body 3 and the traveling body 4 when the boundary line 60 is set at S100 using the turning angle sensor 40S, and detects the relative angle from the initial relative angle. It is stored in the storage device within the main controller 34 as the angle φ0.

Ｓ１２０では，画像合成処理部９３０は，操作センサ３３ｂのうち走行操作レバー３３ｃの操作を検出する操作センサの出力に基づいて走行体４の走行の有無を判定する。走行操作レバー３３ｃの操作が検出された場合（すなわち走行体４の走行が検出された場合）にはＳ１９０に進み，走行操作レバー３３ｃの操作が検出されなかった場合にはＳ１３０に進む。 In S120, the image synthesis processing unit 930 determines whether or not the traveling body 4 is traveling based on the output of the operation sensor that detects the operation of the traveling operation lever 33c among the operation sensors 33b. If the operation of the travel control lever 33c is detected (that is, the travel of the traveling body 4 is detected), the process proceeds to S190, and if the operation of the travel control lever 33c is not detected, the process proceeds to S130.

Ｓ１９０では，画像合成処理部９３０は，モニタ１１０にメッセージ７５（図１０参照）を表示し，オペレータに作業領域５９（境界線６０）の再設定を促して処理を終了する。 In S190, the image synthesizing unit 930 displays a message 75 (see FIG. 10) on the monitor 110 to prompt the operator to reset the work area 59 (boundary line 60), and terminates the process.

Ｓ１３０では，姿勢演算部７１０は，旋回体３と走行体４の相対角度φを検出して表示補正部７３０に出力する。 At S<b>130 , the attitude calculation unit 710 detects the relative angle φ between the revolving structure 3 and the traveling structure 4 and outputs it to the display correction unit 730 .

Ｓ１４０では，表示補正部７３０は，Ｓ１１０の初期相対角度φ０を記憶装置から読み出し，これをＳ１３０で検出された相対角度φから減じることでΔφを演算する。 In S140, the display correction unit 730 reads the initial relative angle φ0 of S110 from the storage device and subtracts it from the relative angle φ detected in S130 to calculate Δφ.

Ｓ１５０では，表示補正部７３０はΔφがゼロかどうかを判定し，Δφ≠０の場合にはＳ１６０に進み，Δφ＝０の場合には境界線６０と走行体アイコン７０４の位置の補正は行わずにＳ２００に進む。 In S150, the display correction unit 730 determines whether or not Δφ is zero. If Δφ≠0, the process proceeds to S160. to S200.

Ｓ１６０では，表示補正部７３０は，境界線６０と走行体アイコン７０４を旋回中心Ｃｓを基準に－Δφだけ回転して補正する。 In S160, the display correcting unit 730 corrects the boundary line 60 and the traveling object icon 704 by rotating them by -Δφ with respect to the turning center Cs.

Ｓ１７０では，画像合成処理部９３０は，合成画像生成部９１０で生成された合成画像７０１と旋回体アイコン７０３の上に，Ｓ１６０で補正した境界線６０と走行体アイコン７０４を表示してモニタ１１０の画面に表示される画像を生成し，Ｓ１８０に進む。 In S170, the image synthesis processing unit 930 displays the boundary line 60 and the traveling object icon 704 corrected in S160 on the synthetic image 701 and the rotating object icon 703 generated by the synthetic image producing unit 910, and displays the image on the monitor 110. An image to be displayed on the screen is generated, and the process proceeds to S180.

Ｓ２００では，画像合成処理部９３０は，合成画像生成部９１０で生成された合成画像７０１と旋回体アイコン７０３の上に，補正前の境界線６０と走行体アイコン７０４を表示してモニタ１１０の画面に表示される画像を生成し，Ｓ１８０に進む。 In S200, the image synthesis processing unit 930 displays the pre-correction boundary line 60 and the traveling object icon 704 on the synthesized image 701 generated by the synthesized image generating unit 910 and the rotating object icon 703 on the screen of the monitor 110. generates an image to be displayed in , and proceeds to S180.

Ｓ１８０では，メインコントローラ３４は，運転室３２に搭乗したオペレータからキーオフ操作が入力されたか否かを判定する。キーオフ操作の入力がない場合にはＳ１２０に戻り，キーオフ操作の入力があった場合には処理を終了する。 At S180, the main controller 34 determines whether or not the operator in the cab 32 has input a key-off operation. If there is no key-off operation input, the process returns to S120, and if there is a key-off operation input, the process ends.

＜効果＞
（１）上記のように構成した油圧ショベル１には，旋回体３を走行体４の相対角度φを検出する旋回角度センサ４０Ｓと，旋回角度センサ４０Ｓによって検出される相対角度φに基づいてモニタ画面上の合成画像７０１上における作業領域５９の境界線６０の位置を補正するメインコントローラ３４とが備えられている。これにより旋回体３を旋回させても，旋回角度センサ４０Ｓによって検出される相対角度φに基づいて境界線６０のモニタ画面上の位置が補正されるので，オペレータは油圧ショベル１と境界線６０の位置関係をモニタ画面上で正確に把握できる。 <effect>
(1) The hydraulic excavator 1 configured as described above includes a turning angle sensor 40S for detecting the relative angle φ of the traveling body 4, and a monitor based on the relative angle φ detected by the turning angle sensor 40S. A main controller 34 is provided for correcting the position of the boundary line 60 of the work area 59 on the composite image 701 on the screen. As a result, even if the revolving structure 3 is revolved, the position of the boundary line 60 on the monitor screen is corrected based on the relative angle φ detected by the revolving angle sensor 40S. The positional relationship can be accurately grasped on the monitor screen.

なお，作業領域５９の境界線６０は油圧ショベル１の障害物（例えば建物の壁）の外形に沿って設定されることが多く，例えば走行体４の走行動作により油圧ショベル１が初期位置から移動した場合には境界線６０と当該障害物の外形とのズレがモニタ画面上で視認できる。当該ズレはオペレータがモニタ画面を見る度に違和感となるため，その違和感によりオペレータに作業領域５９の再設定を促すことができる。 Note that the boundary line 60 of the work area 59 is often set along the outline of an obstacle (for example, a wall of a building) of the hydraulic excavator 1. In this case, the deviation between the boundary line 60 and the outer shape of the obstacle can be visually recognized on the monitor screen. Since the deviation causes discomfort every time the operator looks at the monitor screen, the operator can be prompted to reset the work area 59 due to the discomfort.

（２）境界線６０の具体的な補正方法として，本実施形態のメインコントローラ３４は，旋回体３の旋回中心Ｃｓを中心にして境界線６０をΔφ分だけ逆回転させることでモニタ１１０における境界線６０の位置を補正している。これによりオペレータは旋回操作後も油圧ショベル１と境界線６０の位置関係をモニタ画面上で正確に把握できる。 (2) As a specific method of correcting the boundary line 60, the main controller 34 of the present embodiment reversely rotates the boundary line 60 by Δφ about the turning center Cs of the turning body 3, so that the boundary on the monitor 110 is corrected. The position of line 60 is corrected. As a result, the operator can accurately grasp the positional relationship between the hydraulic excavator 1 and the boundary line 60 on the monitor screen even after the turning operation.

（３）上記の油圧ショベル１は，走行体４の動作の有無を検出する動作センサとして走行操作レバー３３ｃの操作センサ３３ｂを備えており，メインコントローラ３４は，当該操作センサ３３ｂによって走行体４が動作することが検出された場合には，モニタ１１０に作業領域５９の再設定を促すメッセージ７５を表示する（図１０参照）。これにより走行後は作業領域５９の再設定勧告をオペレータに確実に通知でき，作業領域５９の再設定が速やかに行われることが期待できる。 (3) The hydraulic excavator 1 is equipped with an operation sensor 33b for the traveling control lever 33c as a motion sensor for detecting whether or not the traveling body 4 is operating. When the operation is detected, the monitor 110 displays a message 75 prompting resetting of the work area 59 (see FIG. 10). As a result, the recommendation to reset the work area 59 can be reliably notified to the operator after traveling, and it can be expected that the work area 59 will be reset quickly.

なお，走行体４の動作センサとしては，操作センサ３３ｂの他に，走行用モータ４１の速度センサや，油圧ショベル１の位置を計測する衛星測位システム（例えばＧＮＳＳ）などを利用しても良い。また，オペレータに作業領域５９の再設定を促す手段はモニタ１１０に限らず，その他の報知装置を介した方法も可能である。例えば，スピーカー（音声出力装置）から音声を出力しても良いし，ランプ（警告灯）を点灯／点滅させても良い。 In addition to the operation sensor 33b, a speed sensor for the traveling motor 41, a satellite positioning system (for example, GNSS) for measuring the position of the hydraulic excavator 1, or the like may be used as the motion sensor for the traveling body 4. FIG. Further, the means for prompting the operator to reset the work area 59 is not limited to the monitor 110, and a method via another notification device is also possible. For example, a sound may be output from a speaker (audio output device), or a lamp (warning light) may be turned on/blink.

（４）上記の油圧ショベル１は，旋回体３の左側，右側，及び後側を撮影する３つのカメラ７１，７２，７３を備えており，メインコントローラ３４は，当該の３つのカメラ７１，７２，７３によって撮影された旋回体３の左側，右側，及び後側の撮影画像に基づいて合成画像７０１を生成し，合成画像７０１において撮影画像が存在しない旋回体３の前側の領域７０５に表示される境界線６２をモニタ上で強調表示することとした（図９参照）。旋回体３の前側の領域７０５は，カメラの撮影画像が存在しないため，作業領域５９の境界線までの距離の把握が合成画像７０１上の他の領域に比較して一般的に困難である。しかし，このように境界線６２を強調表示すれば，領域７０５における距離把握に必要なオペレータの注意を喚起できる。 (4) The hydraulic excavator 1 is equipped with three cameras 71, 72, and 73 for photographing the left side, right side, and rear side of the revolving body 3. The main controller 34 controls the three cameras 71, 72 , 73 to generate a composite image 701 based on the photographed images of the left, right, and rear sides of the revolving body 3. A boundary line 62 between the two is highlighted on the monitor (see FIG. 9). An area 705 on the front side of the revolving body 3 does not have an image captured by the camera, so it is generally difficult to grasp the distance to the boundary line of the work area 59 compared to other areas on the composite image 701 . However, by highlighting the boundary line 62 in this manner, the operator's attention necessary for grasping the distance in the area 705 can be called.

（５）上記の油圧ショベル１において，メインコントローラ３４は，旋回体３の幅方向と直交し旋回体３の旋回中心を通過する直線５８上において，所定の位置（例えば，運転室３２の前窓）から作業領域５９の境界線６０までの距離を演算してモニタ１１０に表示させている（図５参照）。これによりオペレータが境界線６０までの距離を客観的に把握することができる。特に，カメラの撮影画像が存在しない旋回体３の前側の領域７０５における境界線６０までの距離を表示した場合には，合成画像７０１上の物体との対比に基づく距離把握が難しい領域７０５における境界線６０までの距離をオペレータに正確に伝達できる。 (5) In the hydraulic excavator 1 described above, the main controller 34 is positioned at a predetermined position (for example, the front window of the operator's cab 32) on a straight line 58 that is perpendicular to the width direction of the revolving structure 3 and passes through the center of revolving of the revolving structure 3. ) to the boundary line 60 of the work area 59 and displayed on the monitor 110 (see FIG. 5). This allows the operator to objectively grasp the distance to the boundary line 60 . In particular, when displaying the distance to the boundary line 60 in the area 705 on the front side of the revolving body 3 where there is no captured image of the camera, the boundary in the area 705 where it is difficult to grasp the distance based on the comparison with the object on the synthesized image 701 The distance to line 60 can be accurately communicated to the operator.

（６）上記の油圧ショベル１において，メインコントローラ３４は，旋回角度センサ４０Ｓによって検出される相対角度φに基づいてモニタ画面上の合成画像７０１上における走行体４の画像（走行体アイコン）７０４の位置を補正し，その補正した画像７０４をモニタ１１０に表示させている（図８－１０参照）。これによりオペレータがモニタ１１０を見た際に旋回体３と走行体４との相対的な位置関係を一目で把握できる。 (6) In the hydraulic excavator 1 described above, the main controller 34 changes the image (running body icon) 704 of the running body 4 on the synthetic image 701 on the monitor screen based on the relative angle φ detected by the turning angle sensor 40S. The position is corrected, and the corrected image 704 is displayed on the monitor 110 (see FIGS. 8-10). Accordingly, when the operator looks at the monitor 110, the relative positional relationship between the revolving structure 3 and the traveling structure 4 can be grasped at a glance.

＜その他＞
上記では旋回体３を基準にして作業領域５９の境界線６０を設定したが，走行体４を基準にして作業領域５９の境界線６０を設定しても良い。 <Others>
In the above description, the boundary line 60 of the work area 59 is set with the rotating body 3 as a reference, but the boundary line 60 of the work area 59 may be set with the traveling body 4 as a reference.

なお，本発明は，上記の実施の形態に限定されるものではなく，その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば，本発明は，上記の実施の形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施の形態に係る構成の一部を，他の実施の形態に係る構成に追加又は置換することが可能である。 It should be noted that the present invention is not limited to the above-described embodiments, and includes various modifications without departing from the scope of the invention. For example, the present invention is not limited to those having all the configurations described in the above embodiments, but also includes those with some of the configurations omitted. Also, it is possible to add or replace part of the configuration according to one embodiment with the configuration according to another embodiment.

また，上記のメインコントローラ３４に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記のメインコントローラ３４に係る構成は，演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該メインコントローラ３４の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。 In addition, each configuration related to the main controller 34 and the functions and execution processing of each configuration are implemented partially or entirely by hardware (for example, logic for executing each function is designed in an integrated circuit). You can Further, the configuration related to the main controller 34 may be a program (software) that implements each function related to the configuration of the main controller 34 by being read and executed by an arithmetic processing unit (for example, CPU). Information related to the program can be stored, for example, in a semiconductor memory (flash memory, SSD, etc.), a magnetic storage device (hard disk drive, etc.), a recording medium (magnetic disk, optical disk, etc.), or the like.

また，上記の各実施の形態の説明では，制御線や情報線は，当該実施の形態の説明に必要であると解されるものを示したが，必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。 In addition, in the description of each of the above embodiments, the control lines and information lines have been shown as necessary for the description of the embodiments, but not necessarily all the control lines and information lines related to the product does not necessarily indicate In reality, it can be considered that almost all configurations are interconnected.

１…油圧ショベル（建設機械），２…フロント作業装置，３…旋回体，４…走行体，２０…ブーム，２０Ａ…ブームシリンダ，２０Ｓ…ＩＭＵセンサ（ブーム），２１…アーム，２１Ａ…アームシリンダ，２１Ｓ…ＩＭＵセンサ（アーム），２２…バケット，２２Ａ…バケットシリンダ，２２Ｂ…第１リンク部材，２２Ｃ…第２リンク部材，２２Ｓ…ＩＭＵセンサ（バケット），３０Ｓ…ＩＭＵセンサ（旋回体），３２…運転室，３３ａ…操作レバー，３３ｂ…操作センサ，３３ｃ…走行操作レバー，３４…メインコントローラ，３５ａ…電磁制御弁，３５ｂ…方向切替弁（コントロールバルブ），３６ａ…エンジン（原動機），３６ｂ…油圧ポンプ，３７…カウンタウェイト，３８…旋回用モータ，４０Ｓ…旋回角度センサ，４１…走行用モータ，４５…履帯，５８…直線，５９…作業領域，６０…境界線，６１…稼働制限領域，６５…距離表示部，７１…左側方カメラ，７２…右側方カメラ，７３…後方カメラ，７５…メッセージ，１００…作業領域設定装置，１１０…モニタ，７０１…合成画像（俯瞰映像），７０３…旋回体アイコン，７０４…走行体アイコン，７０５…カメラ画像の無い領域，７１０…姿勢演算部，７２０…作業領域演算部，７３０…表示補正部，９１０…合成画像生成部，９３０…画像合成処理部 DESCRIPTION OF SYMBOLS 1... Hydraulic excavator (construction machine), 2... Front working device, 3... Revolving body, 4... Traveling body, 20... Boom, 20A... Boom cylinder, 20S... IMU sensor (boom), 21... Arm, 21A... Arm cylinder , 21S... IMU sensor (arm), 22... Bucket, 22A... Bucket cylinder, 22B... First link member, 22C... Second link member, 22S... IMU sensor (bucket), 30S... IMU sensor (rotating body), 32 Driver's cab 33a Operating lever 33b Operating sensor 33c Traveling operating lever 34 Main controller 35a Electromagnetic control valve 35b Direction switching valve (control valve) 36a Engine (motor) 36b Hydraulic pump 37 Counterweight 38 Turning motor 40S Turning angle sensor 41 Traveling motor 45 Crawler 58 Straight line 59 Work area 60 Boundary 61 Limited operation area 65 Distance display unit 71 Left side camera 72 Right side camera 73 Rear camera 75 Message 100 Work area setting device 110 Monitor 701 Composite image (bird's eye view image) 703 Turn Body icon 704 Running body icon 705 Area without camera image 710 Attitude calculation unit 720 Work area calculation unit 730 Display correction unit 910 Synthetic image generation unit 930 Image composition processing unit

Claims (6)

走行体と，
前記走行体の上部に旋回可能に取り付けられた旋回体と，
前記旋回体に取り付けられた作業装置と，
作業領域を前記旋回体を基準にして設定する作業領域設定装置と，
前記走行体，前記旋回体及び前記作業装置のうち少なくともいずれか１つが前記作業領域から逸脱することを防止するコントローラとを備えた建設機械において，
モニタと，
前記旋回体に取り付けられ前記旋回体の周囲の画像を撮影する複数のカメラと，
前記旋回体と前記走行体の相対角度を検出する角度センサとを備え，
前記コントローラは，前記複数のカメラの撮影画像に基づいて前記旋回体を真上から見た合成画像を生成し，前記作業領域設定装置により設定された前記作業領域の境界線を前記合成画像と重ねて前記モニタに表示させると共に，前記作業領域設定装置による前記作業領域の設定後は，前記モニタに表示されている前記合成画像上の前記境界線の位置を，前記角度センサにより検出された前記相対角度に基づいて補正する
ことを特徴とする建設機械。 a running body;
a revolving body rotatably attached to the upper part of the running body;
a working device attached to the revolving body;
a work area setting device for setting a work area with reference to the revolving body;
A construction machine comprising a controller that prevents at least one of the traveling body, the revolving body, and the working device from deviating from the working area,
a monitor;
a plurality of cameras attached to the revolving body for capturing images around the revolving body;
an angle sensor for detecting the relative angle of the revolving body and the running body,
The controller generates a synthetic image of the rotating body viewed from directly above based on the images captured by the plurality of cameras, and superimposes the boundary line of the work area set by the work area setting device on the synthetic image. After setting the work area by the work area setting device, the position of the boundary line on the composite image displayed on the monitor is displayed on the monitor, and the position of the boundary line on the composite image displayed on the monitor is detected by the angle sensor. A construction machine characterized by correction based on an angle. 請求項１の建設機械において，
前記コントローラは，前記旋回体の旋回中心を中心にして前記境界線を前記相対角度の分だけ前記相対角度が生じた方向と反対側に回転させることで前記モニタにおける前記境界線の位置を補正する
ことを特徴とする建設機械。 The construction machine of claim 1,
The controller corrects the position of the boundary line on the monitor by rotating the boundary line about the turning center of the turning body by the amount of the relative angle in a direction opposite to the direction in which the relative angle is generated. A construction machine characterized by: 請求項１の建設機械において，
前記走行体の動作の有無を検出する動作センサを備え，
前記コントローラは，前記動作センサによって前記走行体が動作することが検出された場合には，前記モニタに前記作業領域の再設定を促す旨を表示する
ことを特徴とする建設機械。 The construction machine of claim 1,
a motion sensor for detecting the presence or absence of motion of the running body;
A construction machine according to claim 1, wherein said controller displays on said monitor a prompt to reset said work area when said motion sensor detects that said running body moves. 請求項１の建設機械において，
前記複数のカメラは，それぞれ，前記旋回体の左側，右側，及び後側を撮影しており，
前記コントローラは，前記複数のカメラによって撮影された前記旋回体の左側，右側，及び後側の撮影画像に基づいて前記合成画像を生成し，前記合成画像において前記撮影画像が存在しない前記旋回体の前側の領域に表示される前記境界線を前記モニタ上で強調表示する
ことを特徴とする建設機械。 The construction machine of claim 1,
the plurality of cameras photograph the left side, the right side, and the rear side of the revolving body, respectively;
The controller generates the composite image based on the photographed images of the left side, the right side, and the rear side of the revolving body photographed by the plurality of cameras, and the revolving body without the photographed images in the composite image. A construction machine characterized in that the boundary line displayed in the front area is highlighted on the monitor. 請求項１の建設機械において，
前記コントローラは，前記旋回体の幅方向と直交し前記旋回体の旋回中心を通過する直線上において，所定の位置から前記境界線までの距離を演算し，前記モニタに表示させる
ことを特徴とする建設機械。 The construction machine of claim 1,
The controller calculates the distance from a predetermined position to the boundary line on a straight line that is orthogonal to the width direction of the revolving body and passes through the center of revolving of the revolving body, and displays it on the monitor. construction machinery. 請求項１の建設機械において，
前記コントローラは，前記相対角度に基づいて前記合成画像上における前記走行体の画像の位置を補正した前記モニタに前記走行体の画像を表示させる
ことを特徴とする建設機械。 The construction machine of claim 1,
The construction machine, wherein the controller causes the monitor to display the image of the running body on the synthesized image in which the position of the image of the running body is corrected based on the relative angle.

Images