WO2021153182A1 - 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル - Google Patents

作業機械の誤操作を防止するためのシステム、制御方法、およびショベル Download PDF

Info

Publication number
WO2021153182A1
WO2021153182A1 PCT/JP2021/000335 JP2021000335W WO2021153182A1 WO 2021153182 A1 WO2021153182 A1 WO 2021153182A1 JP 2021000335 W JP2021000335 W JP 2021000335W WO 2021153182 A1 WO2021153182 A1 WO 2021153182A1
Authority
WO
WIPO (PCT)
Prior art keywords
operating member
operator
image
controller
unintentional
Prior art date
Application number
PCT/JP2021/000335
Other languages
English (en)
French (fr)
Inventor
松本　潤
優樹 小林
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN202180006632.7A priority Critical patent/CN114729519A/zh
Priority to KR1020227016081A priority patent/KR20220080182A/ko
Priority to US17/781,481 priority patent/US20230018377A1/en
Priority to DE112021000207.4T priority patent/DE112021000207T5/de
Publication of WO2021153182A1 publication Critical patent/WO2021153182A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2004—Control mechanisms, e.g. control levers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2004—Control mechanisms, e.g. control levers
    • E02F9/2012—Setting the functions of the control levers, e.g. changing assigned functions among operations levers, setting functions dependent on the operator or seat orientation
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G5/00—Means for preventing, limiting or returning the movements of parts of a control mechanism, e.g. locking controlling member
    • G05G5/005—Means for preventing, limiting or returning the movements of parts of a control mechanism, e.g. locking controlling member for preventing unintentional use of a control mechanism
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks

Definitions

  • the work machine is provided with an operation member such as a lever for the operator to operate the work machine.
  • an operation member such as a lever for the operator to operate the work machine.
  • the operator operates the operating member by grasping the operating member by hand.
  • the operator's body or clothes may accidentally touch the operation member. In that case, the work machine operates contrary to the intention of the operator.
  • Patent Document 1 discloses an erroneous operation prevention device.
  • a tactile sensor is mounted on the entire surface of the grip of the operation lever.
  • the controller determines that the grip of the operating lever has been detected and releases the hydraulic lock mechanism.
  • the method of operating the operating member by the operator differs from operator to operator. Therefore, in the above-mentioned erroneous operation prevention device, the tactile sensor may not accurately detect the grip by the operator. Further, in the above-mentioned erroneous operation prevention device, the controller determines whether the pressure detected by the tactile sensor continues for a predetermined time. Therefore, it takes time to release the hydraulic lock mechanism. As a result, the operability of the work machine during normal operation is lowered.
  • the purpose of this disclosure is to accurately detect erroneous operation of work machines.
  • the system is a system for preventing erroneous operation of a work machine.
  • the system includes an operating member, a camera, and a controller.
  • the operating member can be operated by the operator.
  • the camera takes an image of a region including at least a part of the operating member and generates image data showing the image.
  • the controller acquires image data from the camera.
  • the controller determines whether the operation of the operation member by the operator is an intentional operation or an unintentional operation based on the image. When the operation of the operation member by the operator is an intentional operation, the controller controls the work machine according to the operation of the operation member.
  • the controller invalidates the operation of the operating member when the operation of the operating member by the operator is an unintentional operation.
  • the method according to another aspect of the present disclosure is a control method for preventing erroneous operation of the work machine.
  • the control method includes the following processing.
  • the first process is to acquire image data showing an image of a region including at least a part of the operating member.
  • the second process is to determine whether the operation of the operating member by the operator is an intentional operation or an unintentional operation based on the image.
  • the third process is to control the work machine according to the operation of the operation member when the operation of the operation member by the operator is an intentional operation.
  • the fourth process is to invalidate the operation of the operating member when the operation of the operating member by the operator is an unintentional operation.
  • the controller determines whether the operation of the operation member by the operator is an intentional operation or an unintentional operation based on the image.
  • the controller controls at least one operation of the traveling body, the turning body, and the working machine according to the operation of the operating member.
  • the controller invalidates the operation of the operating member when the operation of the operating member by the operator is an unintentional operation.
  • the operation of the operation member by the operator is an intentional operation or an unintentional operation based on an image of an area including at least a part of the operation member. Therefore, it is possible to accurately detect an erroneous operation regardless of the individual operation method of the operator. In addition, it is possible to quickly determine whether or not the operation of the operating member by the operator is a normal operation. Therefore, the deterioration of the operability of the work machine during normal operation can be suppressed.
  • FIG. 1 is a side view of the work machine 1.
  • the work machine 1 is a hydraulic excavator.
  • the work machine 1 includes a vehicle body 2 and a work machine 3.
  • the work machine 3 is attached to the front portion of the vehicle body 2.
  • the vehicle body 2 includes a turning body 4, a traveling body 5, and a cab 6.
  • the swivel body 4 is attached to the traveling body 5 so as to be swivelable.
  • the cab 6 is arranged on the swivel body 4.
  • the traveling body 5 includes tracks 6a and 6b. By driving the tracks 6a and 6b, the work machine 1 runs.
  • the work machine 3 includes a boom 11, an arm 12, and a bucket 13.
  • the boom 11 is attached so as to be movable in the vertical direction with respect to the swivel body 4.
  • the arm 12 is operably attached to the boom 11.
  • the bucket 13 is operably attached to the arm 12.
  • the working machine 3 includes a boom cylinder 14, an arm cylinder 15, and a bucket cylinder 16.
  • the boom cylinder 14, the arm cylinder 15, and the bucket cylinder 16 are hydraulic cylinders, and are driven by hydraulic oil from a hydraulic pump 22, which will be described later.
  • the boom cylinder 14 operates the boom 11.
  • the arm cylinder 15 operates the arm 12.
  • the bucket cylinder 16 operates the bucket 13.
  • FIG. 2 is a block diagram showing the configuration of the control system of the work machine 1.
  • the work machine 1 includes an engine 21, a hydraulic pump 22, a power transmission device 23, and a controller 24.
  • the engine 21 is controlled by a command signal from the controller 24.
  • the hydraulic pump 22 is driven by the engine 21 and discharges hydraulic oil.
  • the hydraulic oil discharged from the hydraulic pump 22 is supplied to the boom cylinder 14, the arm cylinder 15, and the bucket cylinder 16.
  • the work machine 1 includes a swivel motor 25.
  • the swivel motor 25 is a hydraulic motor and is driven by hydraulic oil from the hydraulic pump 22.
  • the swivel motor 25 swivels the swivel body 4. Although one hydraulic pump 22 is shown in FIG. 2, a plurality of hydraulic pumps may be provided.
  • the hydraulic pump 22 is a variable displacement pump.
  • a pump control device 26 is connected to the hydraulic pump 22.
  • the pump control device 26 controls the tilt angle of the hydraulic pump 22.
  • the pump control device 26 includes, for example, a solenoid valve, and is controlled by a command signal from the controller 24.
  • the controller 24 controls the capacity of the hydraulic pump 22 by controlling the pump control device 26.
  • the work machine 1 includes a control valve 27.
  • the hydraulic pump 22, the cylinder 14-16, and the swivel motor 25 are connected by a hydraulic circuit via a control valve 27.
  • the control valve 27 is controlled by a command signal from the controller 24.
  • the control valve 27 controls the flow rate of the hydraulic oil supplied from the hydraulic pump 22 to the cylinder 14-16 and the swivel motor 25.
  • the controller 24 controls the operation of the work machine 3 by controlling the control valve 27.
  • the controller 24 controls the swivel of the swivel body 4 by controlling the control valve 27.
  • the controller 24 is programmed to control the work machine 1 based on the acquired data.
  • the controller 24 runs the work machine 1 by controlling the engine 21, the traveling body 5, and the power transmission device 23.
  • the controller 24 operates the work machine 3 by controlling the hydraulic pump 22 and the control valve 27.
  • the controller 24 swivels the swivel body 4 by controlling the hydraulic pump 22 and the control valve 27.
  • the controller 24 includes a processor 31 such as a CPU.
  • the processor 31 performs a process for controlling the work machine 1.
  • the controller 24 includes a storage device 32.
  • the storage device 32 includes a memory such as RAM or ROM, and an auxiliary storage device such as an HDD (Hard Disk Drive) or SSD (Solid State Drive).
  • the storage device 32 stores data and a program for controlling the work machine 1.
  • the work machine 1 includes a first operation member 33, a second operation member 34, a third operation member 35, and a fourth operation member 36.
  • FIG. 3 is a perspective view showing the inside of the cab 6. As shown in FIG. 3, the first operating member 33, the second operating member 34, the third operating member 35, and the fourth operating member 36 are arranged in the cab 6.
  • a seat 37 is arranged in the cab 6.
  • the first operating member 33 is arranged on one side of the seat 37.
  • the second operating member 34 is arranged on the other side of the seat 37.
  • the first operating member 33 and the second operating member 34 are operated by the operator's hand.
  • the first operating member 33 is a lever.
  • the first operating member 33 can be tilted back and forth and left and right from the neutral position.
  • the first operating member 33 outputs a signal indicating the operating direction and operating amount of the first operating member 33.
  • the controller 24 receives the signal from the first operating member 33.
  • the controller 24 operates the work machine 3 in response to the operation of the first operation member 33 by the operator. Alternatively, the controller 24 rotates the swivel body 4 in response to the operation of the first operating member 33 by the operator.
  • the second operating member 34 is a lever.
  • the second operating member 34 can be tilted back and forth and left and right from the neutral position.
  • the second operating member 34 outputs a signal indicating the operating direction and operating amount of the second operating member 34.
  • the controller 24 receives the signal from the second operating member 34.
  • the controller 24 operates the work machine 3 in response to the operation of the second operation member 34 by the operator.
  • the third operating member 35 is arranged in front of the seat 37.
  • the third operating member 35 is a lever.
  • the third operating member 35 can be tilted back and forth.
  • the third operating member 35 outputs a signal indicating the operating direction and operating amount of the third operating member 35.
  • the controller 24 receives the signal from the third operating member 35.
  • the controller 24 runs the work machine 1 in response to the operation of the third operation member 35 by the operator.
  • the work machine 1 includes a lock member 38.
  • the lock member 38 is arranged in the cab 6.
  • the lock member 38 is arranged on the side of the seat 37.
  • the lock member 38 can be moved between the lock position and the release position.
  • the controller 24 invalidates the operation by the first operation member 33 and the second operation member 34. That is, when the lock member 38 is in the locked position, the controller 24 prohibits the operation of the work machine 3 regardless of the operation of the first operation member 33 and the second operation member 34.
  • the controller 24 prohibits the swivel body 4 from swiveling regardless of the operation of the first operating member 33.
  • control valve 27 when the control valve 27 is an electric pilot type, when the lock member 38 is in the locked position, the controller 24 gives a command to the control valve 27 regardless of the operation of the first operation member 33 and the second operation member 34. No signal is output.
  • the controller 24 stops supplying the pilot pressure to the control valve 27 when the lock member 38 is in the locked position.
  • the controller 24 controls the working machine 3 or the swivel body 4 according to the operation of the first operating member 33 and the second operating member 34. That is, when the lock member 38 is in the unlocked position, the controller 24 operates the work machine 3 in response to the operation of the first operation member 33 and the second operation member 34. When the lock member 38 is released, the controller 24 rotates the swivel body 4 in response to the operation of the first operating member 33.
  • the work machine 1 includes a camera 39.
  • the camera 39 captures an image of the area in the cab 6 including the first operating member 33, the second operating member 34, and the seat 37.
  • the number of cameras 39 is not limited to one, and a plurality of cameras may be arranged in the cab 6.
  • the camera 39 generates image data indicating the captured image.
  • the camera 39 communicates with the controller 24 by wire or wirelessly.
  • the controller 24 receives image data from the camera 39.
  • the image indicated by the image data may be a still image or a moving image.
  • the controller 24 detects an erroneous operation of the first operating member 33 and the second operating member 34 by the operator based on the image.
  • a process for detecting an erroneous operation by the controller 24 will be described. In the following description, the case where the first operating member 33 is operated will be described. However, the same process may be performed when the second operating member 34 is operated.
  • step S102 the controller 24 acquires image data.
  • the controller 24 acquires image data indicating an image including the first operating member 33 from the camera 39.
  • step S103 the controller 24 determines whether the operation of the first operating member 33 is being performed.
  • the controller 24 determines whether or not the operation of the first operating member 33 is being performed based on the signal from the first operating member 33.
  • the lock is maintained in step S106.
  • the process proceeds to step S104.
  • step S104 the controller 24 determines whether the operation of the first operation member 33 by the operator is an intentional operation or an unintentional operation.
  • the controller 24 makes a determination based on the image indicated by the image data.
  • Image data D11 is input to the input layer 121.
  • Output data D12 indicating the classification of the operation detected in the image is output to the output layer 123.
  • Classification includes intentional and unintentional operations.
  • the image recognition model 41 has been trained to output the output data D12 indicating the classification of the operations detected in the image when the image data D11 is input.
  • the trained parameters of the image recognition model 41 obtained by learning are stored in the controller 24.
  • the learned parameters include, for example, the number of layers of the neural network, the number of neurons in each layer, the connection relationship between neurons, the weight of the connection between each neuron, and the threshold value of each neuron.
  • the image recognition model 41 learns to output output data D12 indicating an intentional operation with respect to an image indicating that the operator 100 is holding the first operation member 33 by hand. It's done. Therefore, when the image taken by the camera 39 indicates that the operator 100 is holding the first operating member 33 by hand, the image recognition model 41 outputs the output data D12 indicating the intentional operation. .. In this case, the controller 24 determines that the operation by the operator 100 is an intentional operation.
  • the image recognition model 41 outputs output data D12 indicating an unintentional operation with respect to an image showing that the foot of the operator 100 is in contact with the first operation member 33. I have learned to do it.
  • the image recognition model 41 outputs output data D12 indicating an unintentional operation with respect to an image showing that the body of the operator 100 is in contact with the first operation member 33. It has been learned in.
  • the image recognition model 41 outputs the output data D12 indicating an unintentional operation with respect to the image showing that the clothes of the operator 100 are caught on the first operation member 33. It has been learned. Therefore, when the image taken by the camera 39 indicates that a part other than the operator 100's hand is in contact with the operating member, the controller 24 determines that the operation by the operator 100 is an unintentional operation. It can be judged appropriately.
  • step S104 When it is determined in step S104 that the operation by the operator 100 is an intentional operation, the process proceeds to step S105.
  • step S105 the controller 24 permits the operation by the first operating member 33. That is, the controller 24 operates the working machine 3 or the swivel body 4 in response to the operation of the first operating member 33.
  • step S104 When it is determined in step S104 that the operation by the operator 100 is an unintentional operation, the process proceeds to step S106.
  • step S106 the controller 24 maintains the lock. That is, the controller 24 invalidates the operation of the first operating member 33 and does not operate the working machine 3 or the swivel body 4 regardless of the operation of the first operating member 33.
  • the operation of the first operation member 33 by the operator 100 is intentional based on the image of the area including at least a part of the first operation member 33. It is determined whether the operation is an intentional operation or an unintentional operation. Therefore, erroneous operation can be detected accurately regardless of the operation method of the first operation member 33 by the operator 100. In addition, it is possible to quickly determine whether or not the operation of the first operation member 33 by the operator 100 is a normal operation. Therefore, deterioration of the operability of the work machine 1 during normal operation can be suppressed. The same effect as described above can be obtained when the second operating member 34 is operated.
  • the work machine 1 is not limited to the hydraulic excavator, and may be another type of work machine such as a wheel loader, a bulldozer, or a motor grader.
  • the configuration of the work machine 1 is not limited to that described above, and may be changed.
  • the swivel motor 25 may be an electric motor.
  • the field of view of the camera 39 may include only one of the first operating member 33 and the second operating member 34.
  • the field of view of the camera 39 does not have to include the sheet 37. Cameras may be provided individually for each of the first operating member 33 and the second operating member 34.
  • the field of view of the camera 39 may include a third operating member 35 or a fourth operating member 36.
  • the controller 24 may execute a process for detecting an erroneous operation similar to the above for the operation of the third operation member 35 or the fourth operation member 36.
  • the controller 24 may include a plurality of processors such as a CPU or a GPU.
  • the above processing may be distributed and executed by a plurality of processors 31.
  • the number of controllers 24 is not limited to one, and the above processing may be distributed and executed by a plurality of controllers.
  • FIG. 12 is a diagram showing a control system of the work machine 1 according to the modified example.
  • the control system of the work machine 1 may include a first controller 24a and a second controller 24b.
  • the first controller 24a has the same configuration as the controller 24 of the above embodiment.
  • the second controller 24b like the first controller 24a, includes a processor 31b and a storage device 32b.
  • the second controller 24 may have a processing capacity suitable for image recognition by AI. Among the above-mentioned processes, the operation determination process by image recognition may be executed by the second controller 24b.
  • the first controller 24a may execute processing related to control of the work machine 1, such as output of a command signal to the control valve 27.
  • the order of processing described above may be changed. Some of the above-mentioned processes may be changed or omitted.
  • the determination between intentional operation and unintentional operation is not limited to deep learning, and may be performed by other AI image recognition technology such as a support vector machine.
  • the determination between an intentional operation and an unintentional operation may be performed not only by AI but also by a rule-based image recognition technique such as pattern matching.
  • the controller 24 is operated by the operator 100 intentionally. It may be determined that. For example, the operator 100 may operate the first operating member 33 while standing in order to confirm the situation around the work machine 1. Therefore, the controller 24 can appropriately determine that the operator's operation as shown in FIG. 13 is an intentional operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Mechanical Control Devices (AREA)

Abstract

カメラは、操作部材の少なくとも一部を含む領域の画像を撮影し、画像を示す画像データを生成する。コントローラは、カメラから画像データを取得する。コントローラは、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかを判定する。コントローラは、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて作業機械を制御する。コントローラは、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とする。

Description

作業機械の誤操作を防止するためのシステム、制御方法、およびショベル
　本発明は、作業機械の誤操作を防止するためのシステム、制御方法、およびショベルに関する。
　一般的に、作業機械には、オペレータが作業機械を操作するためのレバーなどの操作部材が設けられている。例えば、オペレータは、操作部材を手で握ることによって、操作部材を操作する。しかし、オペレータが作業機械の操作以外の動作を行うときに、オペレータの身体や衣服が操作部材に誤って触れてしまうことがある。その場合、作業機械がオペレータの意図に反する動作を行ってしまう。
　上記のような誤操作を防止するために、例えば特許文献１は、誤操作防止装置を開示している。この誤操作防止装置では、操作レバーのグリップ全面に触覚センサが装着されている。触覚センサによって検出された圧力が、所定時間継続したときに、コントローラは、操作レバーの把持を検出したと判定して、油圧ロック機構を解除する。
特開２０１０－２５０４５９号
　オペレータによる操作部材の操作方法（例えば、持ち方、或いは触り方）は、オペレータによって個々に異なる。そのため、上記の誤操作防止装置では、触覚センサがオペレータによる把持を正確に検出しない可能性がある。また、上記の誤操作防止装置では、コントローラは、触覚センサによって検出された圧力が、所定時間継続したかを判定する。そのため、油圧ロック機構の解除に時間がかかってしまう。それにより、正常な操作時における作業機械の操作性が低くなる。
　本開示の目的は、作業機械の誤操作を精度よく検出することにある。
　本開示の一態様に係るシステムは、作業機械の誤操作を防止するためのシステムである。当該システムは、操作部材と、カメラと、コントローラとを備える。操作部材は、オペレータによって操作可能である。カメラは、操作部材の少なくとも一部を含む領域の画像を撮影し、画像を示す画像データを生成する。コントローラは、カメラから画像データを取得する。コントローラは、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかを判定する。コントローラは、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて作業機械を制御する。コントローラは、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とする。
　本開示の他の態様に係る方法は、作業機械の誤操作を防止するための制御方法である。当該制御方法は、以下の処理を含む。第１の処理は、操作部材の少なくとも一部を含む領域の画像を示す画像データを取得することである。第２の処理は、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかを判定することである。第３の処理は、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて作業機械を制御することである。第４の処理は、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とすることである。
　本開示の他の態様に係るショベルは、走行体と、旋回体と、作業機と、キャブと、操作部材と、カメラと、コントローラとを備える。旋回体は、走行体に旋回可能に取り付けられる。作業機は、旋回体に取り付けられる。キャブは、旋回体に設けられる。操作部材は、キャブ内に配置される。操作部材は、走行体と、旋回体と、作業機との少なくとも１つを動作させるために、オペレータによって操作可能である。カメラは、操作部材の少なくとも一部を含む領域の画像を撮影する。カメラは、画像を示す画像データを生成する。コントローラは、カメラから画像データを取得する。コントローラは、画像に基づいて、オペレータによる操作部材の操作が、意図的な操作か非意図的な操作であるかを判定する。コントローラは、オペレータによる操作部材の操作が、意図的な操作であるときには、操作部材の操作に応じて、走行体と、旋回体と、作業機との少なくとも１つの動作を制御する。コントローラは、オペレータによる操作部材の操作が、非意図的な操作であるときには、操作部材の操作を無効とする。
　本開示によれば、操作部材の少なくとも一部を含む領域の画像に基づいて、オペレータによる操作部材の操作が、意図的な操作であるか、非意図的な操作であるかが判定される。そのため、オペレータの個々の操作方法によらず、誤操作を精度よく検出することができる。また、オペレータによる操作部材の操作が、正常な操作であるか否かを迅速に判定することができる。そのため、正常な操作時における作業機械の操作性の低下が抑えられる。
作業機械の側面図である。 作業機械の制御システムの構成を示すブロック図である。 キャブの内部を示す斜視図である。 誤操作を検出するための処理を示すフローチャートである。 AIの画像認識モデルの構成を示す図である。 AIの画像認識モデルの構成を示す図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。 変形例に係る作業機械の制御システムの構成を示すブロック図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。 操作状態の画像の一例を示す図である。
　以下、実施形態に係る作業機械１の制御システムについて、図面を参照しながら説明する。図１は、作業機械１の側面図である。本実施形態において、作業機械１は油圧ショベルである。
　図１に示すように、作業機械１は、車両本体２と作業機３とを含む。作業機３は、車両本体２の前部に取り付けられている。車両本体２は、旋回体４と、走行体５と、キャブ６とを含む。旋回体４は、走行体５に対して旋回可能に取り付けられている。キャブ６は、旋回体４に配置されている。走行体５は、履帯６ａ，６ｂを含む。履帯６ａ，６ｂが駆動されることで、作業機械１は走行する。
　作業機３は、ブーム１１と、アーム１２と、バケット１３とを含む。ブーム１１は、旋回体４に対して上下方向に動作可能に取り付けられている。アーム１２は、ブーム１１に対して動作可能に取り付けられている。バケット１３は、アーム１２に対して動作可能に取り付けられている。作業機３は、ブームシリンダ１４と、アームシリンダ１５と、バケットシリンダ１６とを含む。ブームシリンダ１４と、アームシリンダ１５と、バケットシリンダ１６とは、油圧シリンダであり、後述する油圧ポンプ２２からの作動油によって駆動される。ブームシリンダ１４は、ブーム１１を動作させる。アームシリンダ１５は、アーム１２を動作させる。バケットシリンダ１６は、バケット１３を動作させる。
　図２は、作業機械１の制御システムの構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、コントローラ２４とを含む。エンジン２１は、コントローラ２４からの指令信号により制御される。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、ブームシリンダ１４と、アームシリンダ１５と、バケットシリンダ１６とに供給される。
　作業機械１は、旋回モータ２５を含む。旋回モータ２５は、油圧モータであり、油圧ポンプ２２からの作動油によって駆動される。旋回モータ２５は、旋回体４を旋回させる。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。
　油圧ポンプ２２は可変容量ポンプである。油圧ポンプ２２にはポンプ制御装置２６が接続されている。ポンプ制御装置２６は、油圧ポンプ２２の傾転角を制御する。ポンプ制御装置２６は、例えば電磁弁を含み、コントローラ２４からの指令信号により制御される。コントローラ２４は、ポンプ制御装置２６を制御することで、油圧ポンプ２２の容量を制御する。
　作業機械１は、制御弁２７を含む。油圧ポンプ２２とシリンダ１４－１６と旋回モータ２５とは、制御弁２７を介して油圧回路によって接続されている。制御弁２７は、コントローラ２４からの指令信号によって制御される。制御弁２７は、油圧ポンプ２２からシリンダ１４－１６及び旋回モータ２５に供給される作動油の流量を制御する。コントローラ２４は、制御弁２７を制御することで、作業機３の動作を制御する。コントローラ２４は、制御弁２７を制御することで、旋回体４の旋回を制御する。
　動力伝達装置２３は、エンジン２１の駆動力を走行体５に伝達する。履帯６ａ，６ｂは、動力伝達装置２３からの駆動力によって駆動されて、作業機械１を走行させる。動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。或いは、動力伝達装置２３は、HST（Hydro Static Transmission）、或いはHMT（Hydraulic Mechanical Transmission）などの他の形式のトランスミッションであってもよい。
　コントローラ２４は、取得したデータに基づいて作業機械１を制御するようにプログラムされている。コントローラ２４は、エンジン２１と走行体５と動力伝達装置２３とを制御することで、作業機械１を走行させる。コントローラ２４は、油圧ポンプ２２と制御弁２７とを制御することで、作業機３を動作させる。コントローラ２４は、油圧ポンプ２２と制御弁２７とを制御することで、旋回体４を旋回させる。
　コントローラ２４は、CPUなどのプロセッサ３１を含む。プロセッサ３１は、作業機械１の制御のための処理を行う。コントローラ２４は、記憶装置３２を含む。記憶装置３２は、RAM或いはROMなどのメモリ、及び、HDD（Hard Disk Drive）或いはSSD（Solid State Drive）などの補助記憶装置を含む。記憶装置３２は、作業機械１の制御のためのデータ及びプログラムを記憶している。
　作業機械１は、第１操作部材３３と、第２操作部材３４と、第３操作部材３５と、第４操作部材３６とを含む。図３は、キャブ６の内部を示す斜視図である。図３に示すように、第１操作部材３３と、第２操作部材３４と、第３操作部材３５と、第４操作部材３６とは、キャブ６内に配置されている。キャブ６内には、シート３７が配置されている。第１操作部材３３は、シート３７の一側方に配置されている。第２操作部材３４は、シート３７の他側方に配置されている。第１操作部材３３と第２操作部材３４とは、オペレータの手で操作される。
　第１操作部材３３は、レバーである。第１操作部材３３は、中立位置から前後左右に傾動可能である。第１操作部材３３は、第１操作部材３３の操作方向及び操作量を示す信号を出力する。コントローラ２４は、第１操作部材３３からの信号を受信する。コントローラ２４は、オペレータによる第１操作部材３３の操作に応じて、作業機３を動作させる。或いは、コントローラ２４は、オペレータによる第１操作部材３３の操作に応じて、旋回体４を旋回させる。
　第２操作部材３４は、レバーである。第２操作部材３４は、中立位置から前後左右に傾動可能である。第２操作部材３４は、第２操作部材３４の操作方向及び操作量を示す信号を出力する。コントローラ２４は、第２操作部材３４からの信号を受信する。コントローラ２４は、オペレータによる第２操作部材３４の操作に応じて、作業機３を動作させる。
　第３操作部材３５は、シート３７の前方に配置されている。第３操作部材３５は、レバーである。第３操作部材３５は、前後に傾動可能である。第３操作部材３５は、第３操作部材３５の操作方向及び操作量を示す信号を出力する。コントローラ２４は、第３操作部材３５からの信号を受信する。コントローラ２４は、オペレータによる第３操作部材３５の操作に応じて、作業機械１を走行させる。
　第４操作部材３６は、ペダルである。第４操作部材３６は、第３操作部材３５に連結されている。第４操作部材３６は、第３操作部材３５と一体に動作する。コントローラ２４は、オペレータによる第３操作部材３５、或いは第４操作部材３６の操作に応じて、作業機械１を走行させる。
　作業機械１は、ロック部材３８を含む。ロック部材３８は、キャブ６内に配置されている。ロック部材３８は、シート３７の側方に配置されている。ロック部材３８は、ロック位置と解除位置とに移動可能である。ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３及び第２操作部材３４による操作を無効とする。すなわち、ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３及び第２操作部材３４の操作に関わらず、作業機３の動作を禁止する。ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３の操作に関わらず、旋回体４の旋回を禁止する。
　例えば、制御弁２７が電気パイロット式である場合には、ロック部材３８がロック位置では、コントローラ２４は、第１操作部材３３及び第２操作部材３４の操作に関わらず、制御弁２７への指令信号を出力しない。或いは、制御弁２７が油圧パイロット式である場合には、ロック部材３８がロック位置では、コントローラ２４は、制御弁２７へのパイロット圧の供給を停止する。
　コントローラ２４は、ロック部材３８が解除位置では、第１操作部材３３及び第２操作部材３４の操作に応じて、作業機３、或いは旋回体４を制御する。すなわち、コントローラ２４は、ロック部材３８が解除位置では、第１操作部材３３および第２操作部材３４の操作に応じて作業機３を動作させる。コントローラ２４は、ロック部材３８が解除位置では、第１操作部材３３の操作に応じて旋回体４を旋回させる。
　作業機械１は、カメラ３９を含む。カメラ３９は、第１操作部材３３と第２操作部材３４とシート３７とを含むキャブ６内の領域の画像を撮影する。なお、カメラ３９は１台に限らず、複数のカメラがキャブ６に配置されてもよい。カメラ３９は、撮影した画像を示す画像データを生成する。カメラ３９は、有線、或いは無線により、コントローラ２４と通信する。コントローラ２４は、カメラ３９から画像データを受信する。画像データが示す画像は、静止画像であってもよく、或いは、動画であってもよい。
　コントローラ２４は、画像に基づいて、オペレータによる第１操作部材３３および第２操作部材３４の誤操作を検出する。以下、コントローラ２４による誤操作を検出するための処理について説明する。なお、以下の説明では、第１操作部材３３が操作される場合について説明する。ただし、第２操作部材３４が操作される場合についても同様の処理が行われてもよい。
　図４は、誤操作を検出するための処理を示すフローチャートである。ステップＳ１０１では、コントローラ２４は、ロックが解除されているか否かを判定する。コントローラ２４は、ロック部材３８がロック位置に位置しているときには、ロックが解除されていないと判定する。ロックが解除されていないときには、ステップＳ１０６において、コントローラ２４はロックを維持する。コントローラ２４は、ロック部材３８が解除位置に位置しているときには、ロックが解除されていると判定する。ロックが解除されているときには、処理はステップＳ１０２に進む。
　ステップＳ１０２において、コントローラ２４は、画像データを取得する。コントローラ２４は、カメラ３９から、第１操作部材３３を含む画像を示す画像データを取得する。
　ステップＳ１０３では、コントローラ２４は、第１操作部材３３の操作が行われているかを判定する。コントローラ２４は、第１操作部材３３からの信号により、第１操作部材３３の操作が行われているかを判定する。第１操作部材３３の操作が行われていないときには、ステップＳ１０６においてロックが維持される。第１操作部材３３の操作が行われているときには、処理はステップＳ１０４に進む。
　ステップＳ１０４では、コントローラ２４は、オペレータによる第１操作部材３３の操作が意図的な操作であるか、非意図的な操作であるかを判定する。コントローラ２４は、画像データが示す画像に基づいて、判定を行う。
　コントローラ２４は、AI（Artificial Intelligence）を用いた画像認識技術により、画像に示される操作が、意図的な操作か非意図的な操作であるかを判定する。図５に示すように、コントローラ２４は、学習済みの画像認識モデル４１を含む。画像認識モデル４１は、コントローラ２４に実装されている。画像認識モデル４１は、画像解析のための人工知能モデルである。画像認識モデル４１は、入力された画像データＤ１１を解析して、画像データＤ１１が示す画像中に、特定の操作を示す画像が含まれているかを判定する。
　画像認識モデル４１は、ディープラーニングにより画像解析を行う。画像認識モデル４１は、図６に示すニューラルネットワークを含む。例えば、画像認識モデル４１は、畳み込みニューラルネットワーク（CNN）などのディープニューラルネットワークを含む。図６に示すように、ニューラルネットワーク１２０は、入力層１２１、中間層１２２、及び出力層１２３を含む。各層１２１，１２２，１２３は、１又は複数のニューロンを備えている。互いに隣接する層のニューロン同士は結合されており、各結合には重みが設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力データＤ１２が決定される。
　入力層１２１には、画像データＤ１１が入力される。出力層１２３には、画像において検出された操作の分類を示す出力データＤ１２が出力される。分類は、意図的な操作と、非意図的な操作とを含む。画像認識モデル４１は、画像データＤ１１が入力されると、画像において検出された操作の分類を示す出力データＤ１２を出力するように学習済みである。学習によって得られた画像認識モデル４１の学習済みパラメータは、コントローラ２４に記憶されている。学習済みパラメータは、例えば、ニューラルネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
　画像認識モデル４１は、図７に示すように、オペレータ１００が第１操作部材３３を手で握っていることを示す画像に対して、意図的な操作を示す出力データＤ１２を出力するように学習済みである。従って、カメラ３９によって撮影された画像が、オペレータ１００が第１操作部材３３を手で握っていることを示しているときには、画像認識モデル４１は、意図的な操作を示す出力データＤ１２を出力する。この場合、コントローラ２４は、オペレータ１００による操作が意図的な操作であると判定する。
　また、画像認識モデル４１は、図８に示すように、オペレータ１００による第１操作部材３３の様々な握り方の画像に対して、意図的な操作を示す出力データＤ１２を出力するように学習済みである。例えば、画像５１は、一部の指が第１操作部材３３から離れており、他の指で第１操作部材３３を握っている状態を示している。画像５２は、全体の手で第１操作部材３３を握っている状態を示している。画像５３は、手の平が第１操作部材３３を押している状態を示している。画像５４は、指先で第１操作部材３３に触れている状態を示している。従って、カメラ３９によって撮影された画像が様々な握り方を示していても、コントローラ２４は、オペレータ１００による操作が意図的な操作であると適切に判定することができる。
　一方、図９から図１１に示すように、オペレータ１００の手以外の部分が操作部材に接触していることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。従って、カメラ３９によって撮影された画像が、オペレータ１００の手以外の部分が操作部材に接触していることを示しているときには、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力する。この場合、コントローラ２４は、オペレータ１００による操作が非意図的な操作であると判定する。
　例えば、図９に示すように、オペレータ１００の足が第１操作部材３３に接触していることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。図１０に示すように、オペレータ１００の胴体が第１操作部材３３に接触していることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。図１１に示すように、オペレータ１００の衣服が第１操作部材３３に引っ掛かっていることを示す画像に対して、画像認識モデル４１は、非意図的な操作を示す出力データＤ１２を出力するように学習済みである。従って、カメラ３９によって撮影された画像が、オペレータ１００の手以外の部分が操作部材に接触していることを示しているときには、コントローラ２４は、オペレータ１００による操作が非意図的な操作であると適切に判定することができる。
　ステップＳ１０４において、オペレータ１００による操作が意図的な操作であると判定されたときには、処理はステップＳ１０５に進む。ステップＳ１０５では、コントローラ２４は、第１操作部材３３による操作を許可する。すなわち、コントローラ２４は、第１操作部材３３の操作に応じて、作業機３、或いは旋回体４を動作させる。
　ステップＳ１０４において、オペレータ１００による操作が非意図的な操作であると判定されたときには、処理はステップＳ１０６に進む。ステップＳ１０６では、コントローラ２４は、ロックを維持する。すなわち、コントローラ２４は、第１操作部材３３の操作を無効として、第１操作部材３３の操作に関わらず、作業機３、或いは旋回体４を動作させない。
　以上説明した本実施形態に係る作業機械１の制御システムによれば、第１操作部材３３の少なくとも一部を含む領域の画像に基づいて、オペレータ１００による第１操作部材３３の操作が、意図的な操作であるか、非意図的な操作であるかが判定される。そのため、オペレータ１００による第１操作部材３３の操作方法によらず、誤操作を精度よく検出することができる。また、オペレータ１００による第１操作部材３３の操作が、正常な操作であるか否かを迅速に判定することができる。そのため、正常な操作時における作業機械１の操作性の低下が抑えられる。第２操作部材３４が操作される場合についても、上記と同様の効果を得ることができる。
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　作業機械１は、油圧ショベルに限らず、ホイールローダ、ブルドーザ、或いはモータグレーダなどの他の種類の作業機械であってもよい。作業機械１の構成は上述したものに限らず変更されてもよい。例えば、旋回モータ２５は、電動モータであってもよい。
　第１～第４操作部材３３－３６は、上記の実施形態のものに限らず、変更されてもよい。例えば、第１～第４操作部材３３－３６は、レバーに限らず、スイッチであってもよい。第１～第４操作部材３３－３６の一部が省略、或いは変更されてもよい。或いは、ステアリングホイールなどの他の操作部材が設けられてもよい。コントローラ２４は、ステアリングホイールに対して、上記と同様の誤操作を検出するための処理を実行してもよい。作業機械１は、操舵機構を有してもよい。コントローラ２４は、オペレータによる操作部材の操作に応じて、作業機械１を操舵させてもよい。
　カメラ３９の視野は、第１操作部材３３と第２操作部材３４との一方のみを含んでもよい。カメラ３９の視野は、シート３７を含まなくてもよい。第１操作部材３３と第２操作部材３４とのそれぞれに対して個別にカメラが設けられてもよい。カメラ３９の視野は、第３操作部材３５、或いは第４操作部材３６を含んでもよい。コントローラ２４は、第３操作部材３５、或いは第４操作部材３６の操作に対して、上記と同様の誤操作を検出するための処理を実行してもよい。
　コントローラ２４は、CPU、或いはGPUなどの複数のプロセッサを備えてもよい。複数のプロセッサ３１によって上記の処理が分散して実行されてもよい。コントローラ２４は１台に限らず、複数のコントローラによって上記の処理が分散して実行されてもよい。例えば、図１２は、変形例に係る作業機械１の制御システムを示す図である。
　図１２に示すように、作業機械１の制御システムは、第１コントローラ２４ａと第２コントローラ２４ｂとを含んでもよい。第１コントローラ２４ａは、上記の実施形態のコントローラ２４と同様の構成を有する。第２コントローラ２４ｂは、第１コントローラ２４ａと同様に、プロセッサ３１ｂと記憶装置３２ｂとを含む。第２コントローラ２４は、AIによる画像認識に適した処理能力を有してもよい。上述した処理のうち、画像認識による操作の判定処理が、第２コントローラ２４ｂによって実行されてもよい。第１コントローラ２４ａは、制御弁２７への指令信号の出力など作業機械１の制御に関する処理を実行してもよい。
　上述した処理の順番が変更されてもよい。上述した処理の一部が、変更、或いは省略されてもよい。例えば、意図的な操作と非意図的な操作との判定は、ディープラーニングに限らず、サポートベクターマシンなどのAIの他の画像認識技術によって行われてもよい。或いは、意図的な操作と非意図的な操作との判定は、AIに限らず、パターンマッチングなどのルールベースの画像認識技術によって行われてもよい。
　コントローラ２４は、図１３に示すように、オペレータ１００が第１操作部材３３を手で握ろうとしているときに、オペレータ１００の操作が意図的な操作であると判定してもよい。それにより、作業機械１の操作性をさらに向上させることができる。
　図１４に示すように、カメラ３９によって撮影された画像が、オペレータ１００が、立って第１操作部材３３を握っていることを示すときに、コントローラ２４は、オペレータ１００の操作が意図的な操作であると判定してもよい。例えば、オペレータ１００は、作業機械１の周囲の状況を確認するために、立ったまま第１操作部材３３を操作することがある。従って、コントローラ２４は、図１３に示すようなオペレータの操作が意図的な操作であると適切に判定することができる。
　図１５に示すように、オペレータ１００が手で第１操作部材３３を握っておらず、腕が第１操作部材３３に接触しているときに、コントローラ２４は、オペレータ１００の操作が非意図的な操作であると判定してもよい。図１６に示すように、オペレータ１００のヘルメットなどの着用物１０１によって操作部材が隠れることで、操作部材が画像に表れていないときには、コントローラ２４は、判定不能と判定してもよい。或いは、オペレータ１００の体によって操作部材が隠れることで、操作部材が画像に表れていないときには、コントローラ２４は、判定不能と判定してもよい。この場合、コントローラ２４は、ロックを維持してもよい。
　本開示によれば、作業機械の誤操作を精度よく検出することができる。
１　　作業機械
２４　コントローラ
３３　第１操作部材
３９　カメラ
４１　画像認識モデル
 

Claims (17)

  1. 　作業機械の誤操作を防止するためのシステムであって、
    　オペレータによって操作可能な操作部材と、
    　前記操作部材の少なくとも一部を含む領域の画像を撮影し、前記画像を示す画像データを生成するカメラと、
    　前記カメラから前記画像データを取得するコントローラと、
    を備え、
    　前記コントローラは、
    　　前記画像に基づいて、オペレータによる前記操作部材の操作が、意図的な操作か非意図的な操作であるかを判定し、
    　　オペレータによる前記操作部材の操作が、前記意図的な操作であるときには、前記操作部材の操作に応じて前記作業機械を制御し、
    　　オペレータによる前記操作部材の操作が、前記非意図的な操作であるときには、前記操作部材の操作を無効とする、
    システム。
  2. 　前記操作部材は、オペレータの手で操作される部材であり、
    　前記画像が、オペレータの手が前記操作部材を握っていることを示しているときには、前記コントローラは、オペレータによる前記操作部材の操作が、前記意図的な操作であると判定する、
    請求項１に記載のシステム。
  3. 　前記画像が、オペレータの手以外の部分が前記操作部材に接触していることを示しているときには、前記コントローラは、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定する、
    請求項２に記載のシステム。
  4. 　前記画像が、オペレータの衣服が前記操作部材に引っ掛かっていることを示しているときには、前記コントローラは、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定する、
    請求項２又は３に記載のシステム。
  5. 　前記操作部材は、レバーである、
    請求項２から４のいずれかに記載のシステム。
  6. 　前記操作部材は、ステアリングホイールである、
    請求項２から４のいずれかに記載のシステム。
  7. 　前記コントローラは、学習済みの人工知能による画像認識モデルを有し、
    　前記画像を、前記画像認識モデルに適用して、オペレータによる前記操作部材の操作が、前記意図的な操作か前記非意図的な操作であるかを判定する、
    請求項１から６のいずれかに記載のシステム。
  8. 　前記作業機械は、ショベルである、
    請求項１から７のいずれかに記載のシステム。
  9. 　操作部材を備える作業機械の誤操作を防止するための作業機械の制御方法であって、
    　前記操作部材の少なくとも一部を含む領域の画像を示す画像データを取得することと、
    　前記画像に基づいて、オペレータによる前記操作部材の操作が、意図的な操作か非意図的な操作であるかを判定することと、
    　オペレータによる前記操作部材の操作が、前記意図的な操作であるときには、前記操作部材の操作に応じて前記作業機械を制御することと、
    　オペレータによる前記操作部材の操作が、前記非意図的な操作であるときには、前記操作部材の操作を無効とすること、
    を備える制御方法。
  10. 　前記操作部材は、オペレータの手で操作される部材であり、
    　前記画像が、オペレータの手が前記操作部材を握っていることを示しているときに、オペレータによる前記操作部材の操作が、前記意図的な操作であると判定することをさらに備える、
    請求項９に記載の制御方法。
  11. 　前記画像が、オペレータの手以外の部分が前記操作部材に接触していることを示しているときに、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定することをさらに備える、
    請求項１０に記載の制御方法。
  12. 　前記画像が、オペレータの衣服が前記操作部材に引っ掛かっていることを示しているときには、オペレータによる前記操作部材の操作が、前記非意図的な操作であると判定することをさらに備える、
    請求項１０又は１１に記載の制御方法。
  13. 　前記操作部材は、レバーである、
    請求項１０から１２のいずれかに記載の制御方法。
  14. 　前記操作部材は、ステアリングホイールである、
    請求項１０から１２のいずれかに記載の制御方法。
  15. 　前記画像を、学習済みの人工知能による画像認識モデルに適用して、オペレータによる前記操作部材の操作が、前記意図的な操作か前記非意図的な操作であるかを判定することをさらに備える、
    請求項９から１４のいずれかに記載の制御方法。
  16. 　前記作業機械は、ショベルである、
    請求項９から１５のいずれかに記載の制御方法。
  17. 　走行体と、
    　前記走行体に旋回可能に取り付けられた旋回体と、
    　前記旋回体に取り付けられた作業機と、
    　前記旋回体に設けられたキャブと、
    　前記キャブ内に配置され、前記走行体と、前記旋回体と、前記作業機との少なくとも１つを動作させるために、オペレータによって操作可能な操作部材と、
    　前記操作部材の少なくとも一部を含む領域の画像を撮影し、前記画像を示す画像データを生成するカメラと、
    　前記カメラから前記画像データを取得するコントローラと、
    を備え、
    　前記コントローラは、
    　　前記画像に基づいて、オペレータによる前記操作部材の操作が、意図的な操作か非意図的な操作であるかを判定し、
    　　オペレータによる前記操作部材の操作が、前記意図的な操作であるときには、前記操作部材の操作に応じて、前記走行体と、前記旋回体と、前記作業機との少なくとも１つの動作を制御し、
    　　オペレータによる前記操作部材の操作が、前記非意図的な操作であるときには、前記操作部材の操作を無効とする、
    ショベル。
     
PCT/JP2021/000335 2020-01-31 2021-01-07 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル WO2021153182A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180006632.7A CN114729519A (zh) 2020-01-31 2021-01-07 用于防止作业机械的误操作的***、控制方法以及挖掘机
KR1020227016081A KR20220080182A (ko) 2020-01-31 2021-01-07 작업 기계의 오조작을 방지하기 위한 시스템, 제어 방법, 및 셔블
US17/781,481 US20230018377A1 (en) 2020-01-31 2021-01-07 System and control method for preventing erroneous operation of work machine, and excavator
DE112021000207.4T DE112021000207T5 (de) 2020-01-31 2021-01-07 System und Steuerverfahren zur Verhinderung einer Fehlbetätigung einer Arbeitsmaschine und ein Bagger

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-015440 2020-01-31
JP2020015440A JP7291645B2 (ja) 2020-01-31 2020-01-31 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル

Publications (1)

Publication Number Publication Date
WO2021153182A1 true WO2021153182A1 (ja) 2021-08-05

Family

ID=77078703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000335 WO2021153182A1 (ja) 2020-01-31 2021-01-07 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル

Country Status (6)

Country Link
US (1) US20230018377A1 (ja)
JP (1) JP7291645B2 (ja)
KR (1) KR20220080182A (ja)
CN (1) CN114729519A (ja)
DE (1) DE112021000207T5 (ja)
WO (1) WO2021153182A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072629A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2015108860A (ja) * 2013-12-03 2015-06-11 本田技研工業株式会社 車両制御装置
JP2018079707A (ja) * 2016-11-14 2018-05-24 本田技研工業株式会社 停車制御装置
JP2019176401A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械の遠隔操作システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004019127A (ja) * 2002-06-12 2004-01-22 Shin Caterpillar Mitsubishi Ltd 建設機械における誤作動防止装置
US7726048B2 (en) * 2006-11-30 2010-06-01 Caterpillar Inc. Automated machine repositioning in an excavating operation
US7634863B2 (en) * 2006-11-30 2009-12-22 Caterpillar Inc. Repositioning assist for an excavating operation
WO2009011631A1 (en) * 2007-07-13 2009-01-22 Volvo Construction Equipment Ab A method for providing an operator of a vehicle with operating information
JP5087359B2 (ja) * 2007-10-01 2012-12-05 日立建機株式会社 作業車両のペダルロック制御装置
JP5147778B2 (ja) * 2009-04-14 2013-02-20 キャタピラー エス エー アール エル 建設機械における誤作動防止装置
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US9363441B2 (en) * 2011-12-06 2016-06-07 Musco Corporation Apparatus, system and method for tracking subject with still or video camera
US20150004566A1 (en) * 2013-06-26 2015-01-01 Caterpillar Inc. Camera Based Scene Recreator for Operator Coaching
JP6292617B2 (ja) * 2014-04-16 2018-03-14 キャタピラー エス エー アール エル 作業機械用タッチパネルモニタの入力制御方法
JPWO2015125979A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
US9790660B1 (en) * 2016-03-22 2017-10-17 Caterpillar Inc. Control system for a machine
WO2019039522A1 (ja) * 2017-08-23 2019-02-28 住友建機株式会社 ショベル
CN207277400U (zh) * 2017-09-15 2018-04-27 宜昌鄂奥图机械制造有限公司 远程操控的挖掘式装载机
GB2574213B (en) * 2018-05-30 2021-02-10 Caterpillar Inc Work machine with travel mode and secondary steering controls
EP3960937A4 (en) * 2019-04-26 2022-06-22 Sumitomo Construction Machinery Co., Ltd. SHOVEL AND SAFETY EQUIPMENT CONFIRMATION SYSTEM FOR WORKSITE
WO2020218455A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 ショベル
KR20220002343A (ko) * 2019-04-26 2022-01-06 스미토모 겐키 가부시키가이샤 표시장치, 쇼벨, 정보처리장치
WO2020218453A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 ショベル
US20230134855A1 (en) * 2021-11-03 2023-05-04 Caterpillar Inc. System and method for controlling travel of work machine
US20230183942A1 (en) * 2021-11-17 2023-06-15 Yanmar Holdings Co., Ltd. Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
EP4242386A1 (en) * 2022-03-07 2023-09-13 Yanmar Holdings Co., Ltd. Work machine control system, work machine, work machine control method, and work machine control program
EP4242385A3 (en) * 2022-03-07 2023-11-22 Yanmar Holdings Co., Ltd. Work machine control system, work machine, work machine control method, and work machine control program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072629A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2015108860A (ja) * 2013-12-03 2015-06-11 本田技研工業株式会社 車両制御装置
JP2018079707A (ja) * 2016-11-14 2018-05-24 本田技研工業株式会社 停車制御装置
JP2019176401A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械の遠隔操作システム

Also Published As

Publication number Publication date
KR20220080182A (ko) 2022-06-14
CN114729519A (zh) 2022-07-08
US20230018377A1 (en) 2023-01-19
JP2021123862A (ja) 2021-08-30
JP7291645B2 (ja) 2023-06-15
DE112021000207T5 (de) 2022-09-08

Similar Documents

Publication Publication Date Title
US11697916B2 (en) Excavator and method of controlling the same
US11299867B2 (en) Shovel
KR101952819B1 (ko) 작업 기계의 유압 시스템
JP3759961B2 (ja) ２ピースブーム式油圧ショベルの干渉防止装置
CN108951732B (zh) 挖土机
US20220364333A1 (en) Work machine
WO2021153182A1 (ja) 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル
CN110291254B (zh) 挖土机
WO2022176991A1 (ja) 作業機械の制御システム、作業機械の制御方法、および作業機械
JP6706094B2 (ja) 作業機械および作業機械の干渉回避方法
CN111032967B (zh) 作业机械
WO2023100689A1 (ja) 建設機械の駆動装置、これを備えた建設機械及び建設機械システム
JPH09242110A (ja) 油圧式建設機械の干渉防止装置
JP7405187B1 (ja) 作業機械用監視装置
JP3615361B2 (ja) 建設機械の干渉防止装置
JPH1193199A (ja) 多関節建設機械のフロント制御装置
JP7251148B2 (ja) 建設機械の操作制御装置
WO2023074458A1 (ja) 作業機械を制御するためのシステム及び方法
JP2021050548A (ja) 建設機械
JP7062445B2 (ja) ショベル
JP3739441B2 (ja) 作業機の干渉防止装置
JP2024094841A (ja) ショベル
JP2024089856A (ja) ショベル
JP2022145032A (ja) 建設機械
JP2019060162A (ja) 油圧ショベル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21748094

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227016081

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21748094

Country of ref document: EP

Kind code of ref document: A1