WO2020170599A1 - 作業機械の目標位置推定装置 - Google Patents

作業機械の目標位置推定装置 Download PDF

Info

Publication number
WO2020170599A1
WO2020170599A1 PCT/JP2019/050518 JP2019050518W WO2020170599A1 WO 2020170599 A1 WO2020170599 A1 WO 2020170599A1 JP 2019050518 W JP2019050518 W JP 2019050518W WO 2020170599 A1 WO2020170599 A1 WO 2020170599A1
Authority
WO
WIPO (PCT)
Prior art keywords
target position
area
information
operator
work machine
Prior art date
Application number
PCT/JP2019/050518
Other languages
English (en)
French (fr)
Inventor
耕治 山下
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP19916476.5A priority Critical patent/EP3901382B1/en
Priority to CN201980091912.5A priority patent/CN113396257B/zh
Priority to US17/428,459 priority patent/US11959256B2/en
Publication of WO2020170599A1 publication Critical patent/WO2020170599A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles

Definitions

  • the present invention relates to a target position estimating device for a work machine, which estimates a work target position of an operator of the work machine.
  • Patent Document 1 describes a technique for estimating a region the driver is gazing at.
  • the technology described in the document estimates the area (target position) that the driver is gazing based on the direction of the driver's line of sight.
  • the accuracy of estimating the target position may be insufficient only from the direction of the operator's line of sight.
  • An object of the present invention is to provide a work machine target position estimation device capable of accurately estimating a work target position of an operator of a work machine.
  • the present invention provides an operator in a working machine having a machine body including a cab that allows an operator to board, an attachment mounted on the machine body, and a tip device provided at a tip portion of the attachment. It is a target position estimation device for a work machine that estimates an assumed target position.
  • the target position estimation device for the work machine includes a posture detection unit that detects posture information that is information about a posture of the work machine, and an operation detection unit that detects operation information that is information for an operator to operate the work machine.
  • a line-of-sight detection unit that detects line-of-sight information that is information about the line-of-sight of the operator, a distance information detection unit that detects distance information in the front area of the work machine, and an operator operates the work machine to set the tip device.
  • a controller that estimates a target position of the tip device assumed by the operator when moving. The controller is an area including a predicted trajectory that is a trajectory predicted to pass by the tip device based on the posture information detected by the posture detection unit and the operation information detected by the operation detection unit. Based on the line-of-sight information detected by the line-of-sight detection unit, and a trajectory region setting unit that sets a predicted trajectory region that is a region associated with the distance information.
  • a gazing area setting unit that sets a gazing area that is an area associated with information, an area in which the predicted trajectory area set by the trajectory area setting unit and the gazing area set by the gazing area setting unit overlap each other
  • a target position estimation unit that estimates the target position of the tip device.
  • FIG. 1 is a side view of a work machine including a target position estimation device according to an embodiment of the present invention.
  • FIG. 2 is a plan view of the work machine according to the embodiment of the present invention.
  • FIG. 3 is a block diagram of a target position estimation device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the target position estimation device according to the embodiment of the present invention.
  • FIG. 5 is a figure which shows the distribution of the gaze point of the operator referred by the target position estimation apparatus which concerns on one Embodiment of this invention.
  • a target position estimation device 30 used in the work machine 1 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 5.
  • the work machine 1 is a machine that performs work using the tip device 25.
  • the work machine 1 is, for example, a construction machine that performs construction work, and more specifically, is a shovel or the like.
  • the work machine 1 includes a lower traveling body 11 and an upper swing body 15 (machine body).
  • the lower traveling body 11 is a portion that causes the work machine 1 to travel.
  • the upper revolving structure 15 is revolvable with respect to the lower traveling structure 11, and is arranged above the lower traveling structure 11.
  • the upper swing body 15 includes a cab 16 that allows an operator to board.
  • the cab 16 is a cab operated by an operator O who operates the work machine 1.
  • the cab 16 includes a seat 17 and an operation unit 18.
  • the seat 17 is a seat on which the operator O sits.
  • the operation unit 18 is a device for operating the work machine 1, and is operated by the operator O.
  • the operations performed through the operation unit 18 include an operation of traveling the lower traveling body 11, an operation of revolving the upper revolving body 15 with respect to the lower traveling body 11, and an operation of operating the attachment 20.
  • the operation unit 18 may include, for example, a lever or a pedal.
  • the attachment 20 is a device that is attached to the upper revolving structure 15 and performs work.
  • the attachment 20 is driven by, for example, a hydraulic cylinder.
  • the attachment 20 includes a boom 21, an arm 23, and a tip device 25.
  • the boom 21 is attached to the upper swing body 15 so as to be rotatable (raised).
  • the arm 23 is rotatably attached to the boom 21.
  • the tip device 25 is a device that comes into contact with a work target (such as earth and sand).
  • the tip device 25 is provided at the tip of the attachment 20.
  • the tip device 25 is rotatably attached to the arm 23.
  • the tip device 25 may be, for example, a bucket for scooping earth and sand, a scissors-like device (nibler, cutter, etc.) (not shown), or a breaker (not shown).
  • the position associated with the tip device 25 is a specific position 25t (details will be described later).
  • the target position estimation device 30 is a device that estimates a position (work target position) where the operator O shown in FIG. 2 is going to perform work.
  • the target position estimation device 30 calculates the target position T based on predetermined information.
  • the target position estimation device 30 estimates the target position of the tip device 25 assumed by the operator O when the operator O is operating the work machine 1 to move the tip device 25 (more specifically, the specific position 25t). To do.
  • the target position estimation device 30 is used for the work machine 1 and is arranged (attached or mounted) on the work machine 1. Note that some of the constituent elements of the target position estimation device 30 may be arranged outside the work machine 1. As shown in FIG.
  • the target position estimation device 30 includes a posture detection unit 31, an operation detection unit 32, a line-of-sight detection unit 33, a distance information detection unit 34, a type information acquisition unit 35, and an operator information acquisition unit. 36, an exclusion area acquisition unit 37, and a controller 40.
  • the posture detection unit 31 detects posture information that is information about the posture of the work machine 1 shown in FIG. Specifically, the posture detection unit 31 (see FIG. 3) detects the swing angle of the upper swing body 15 with respect to the lower traveling body 11 and the posture of the attachment 20.
  • the attitude of the attachment 20 includes, for example, the rotation angle of the boom 21 with respect to the upper swing body 15, the rotation angle of the arm 23 with respect to the boom 21, and the rotation angle of the tip device 25 with respect to the arm 23.
  • the posture detection unit 31 may include a rotation angle sensor that detects a rotation angle.
  • the posture detection unit 31 may include a camera and may detect the posture of at least a part of the work machine 1 (for example, the attachment 20) based on image information acquired by the camera.
  • the “camera” may also be used as the distance information detection unit 34.
  • the posture detection unit 31 may detect the movement speed of the tip device 25 by detecting the posture of the attachment 20 at predetermined time intervals.
  • the operation detection unit 32 detects operation information that is information related to the operation of the work machine 1 by the operator O.
  • the operation detection unit 32 detects the operation of the operation unit 18 by the operator O, and specifically detects, for example, the operation amount and the operation direction of the operation received by the operation unit 18.
  • the line-of-sight detection unit 33 detects the line-of-sight B0 of the operator O (line-of-sight information that is information about the line of sight).
  • the line-of-sight detection unit 33 includes a camera directed toward the seat 17, and detects the line-of-sight B0 by photographing the eyes of the operator O.
  • the distance information detection unit 34 detects distance information in the front area of the work machine 1, and more specifically, detects distance information in front of the upper swing body 15.
  • the “front of the work machine 1” is the side (direction) on which the tip device 25 is arranged when viewed from the center of rotation of the upper swing body 15.
  • the distance information detection unit 34 detects distance information of a region around the work machine 1 and including a field of view of the operator O.
  • the distance information detected by the distance information detection unit 34 is three-dimensional information including the direction (angle) and the distance of a surrounding object viewed from a predetermined reference point such as the operator O, and an image including depth information ( Video) information.
  • the distance information detection unit 34 may include, for example, a TOF (Time of Flight) camera or a compound eye camera. The distance information detected by the distance information detection unit 34 can be converted into predetermined three-dimensional coordinates.
  • the type information acquisition unit 35 acquires information about the type of the tip device 25 (type information).
  • the type information acquisition unit 35 may acquire the type information of the distal end device 25 based on information manually input by the operator O or the like through an input unit (not shown) in the cab 16.
  • the type information acquisition unit 35 acquires the type information of the tip device 25 by automatically determining the type of the tip device 25 based on the image acquired by the camera (for example, the distance information detection unit 34). Good.
  • the operator information acquisition unit 36 acquires information regarding the operator O operating the work machine 1 (operator O information).
  • the operator O information may include information about the operator O (unique information, personal information).
  • the operator O information may include information related to setting of at least one of a predicted trajectory area A2 (see FIG. 2) and a gazing point area B2 (see FIG. 2) described later.
  • the operator information acquisition unit 36 (see FIG. 3) may acquire the operator O information based on the information manually input by the operator himself through the input unit.
  • the operator information acquisition unit 36 may acquire the operator O information from a device (for example, a wireless tag or the like) possessed by the operator O.
  • the operator information acquisition unit 36 may acquire the operator O information (who is it) from the image of the operator O captured by the camera.
  • the exclusion area acquisition unit 37 acquires information regarding an exclusion area D that is an area to be excluded from the target position T shown in FIG. 2 (details will be described later).
  • the controller 40 performs signal input/output, information storage, and calculation (calculation, determination, etc.).
  • the controller 40 estimates the target position T of the tip device 25 by performing calculations related to the estimation of the target position T (see FIG. 2).
  • the controller 40 has a locus area setting unit, a gaze area setting unit, a target position estimation unit, and a determination unit.
  • the trajectory area setting unit includes a predicted trajectory A1 that is a trajectory predicted to pass by the tip device 25 based on the posture information detected by the posture detection unit 31 and the operation information detected by the operation detection unit 32.
  • a predicted trajectory area A2 which is an area associated with the distance information, is set.
  • the gaze area setting unit based on the gaze information detected by the gaze detection unit 33, is an area including the gaze point B1 of the operator and an area associated with the distance information (gaze area) B2 (gaze area).
  • the target position estimation unit determines the target position T of the tip device 25 based on the region where the predicted trajectory region A2 set by the trajectory region setting unit and the gazing point region B2 set by the gazing region setting unit overlap each other. presume.
  • the determining unit determines whether the tip device 25 has reached the target position T within a predetermined time after the target position estimating unit estimates the target position T of the tip device 25.
  • the “area associated with the distance information” may be an area represented by the three-dimensional coordinates based on the distance information.
  • the target position estimation device 30 operates as follows.
  • the configuration of the controller 40 will be mainly described with reference to FIG. 3, and the steps (S10 to S43) performed by the target position estimation device 30 will be described with reference to FIG.
  • the outline of the operation of the target position estimation device 30 shown in FIG. 2 is as follows.
  • the controller 40 (trajectory area setting unit) calculates the predicted trajectory area A2 of the tip device 25 based on the posture of the attachment 20 and the operation received by the operation unit 18 (step S20).
  • the controller 40 (gazing area setting unit) calculates the gazing area B2 from the line of sight B0 of the operator O (step S30).
  • the controller 40 sets the target position T as a region excluding the exclusion region D from the overlapping region C where the predicted trajectory region A2 and the gazing point region B2 overlap.
  • the details of the operation of the target position estimation device 30 are as follows.
  • the controller 40 calculates the predicted trajectory area A2 based on the posture information detected by the posture detection unit 31 (see FIG. 3) and the operation information detected by the operation detection unit 32 (see FIG. 3) (step S20).
  • the details of the calculation of the predicted trajectory area A2 are as follows.
  • the attitude of the work machine 1 detected by the attitude detector 31 is input to the controller 40 (step S21).
  • the controller 40 (trajectory area setting unit) calculates the position of the tip device 25 based on the posture of the work machine 1 (step S22). At this time, the controller 40 calculates the position of the tip device 25 with respect to a predetermined reference position, for example.
  • the “reference position” may be, for example, the position of the distance information detection unit 34 or a specific position of the upper swing body 15 (for example, of the cab 16). Note that information necessary for calculating the position of the tip device 25 with respect to the reference position and other than the posture of the work machine 1 is set in the controller 40 in advance (before calculating the position of the tip device 25).
  • information such as the position of the base end portion of the boom 21 with respect to the reference position, the size and shape of each of the boom 21, the arm 23, and the tip device 25 is set in the controller 40 in advance (in the controller 40). Will be stored in the storage section).
  • the controller 40 associates the position information of the tip device 25 with the distance information (step S23). More specifically, the controller 40 associates (associates or superimposes) the information on the actual position of the tip device 25 with respect to the reference position with the position on the data (coordinates) of the distance information.
  • the information necessary for this association is set in the controller 40 in advance as in the above. Specifically, for example, information such as the position and detection direction of the distance information detection unit 34 with respect to the reference position is set in the controller 40 in advance.
  • step S24 The operation detected by the operation detection unit 32 (see FIG. 3) is input to the controller 40 (step S24).
  • the controller 40 calculates the predicted trajectory A1 based on the detection results of the posture detection unit 31 (see FIG. 3) and the operation detection unit 32 (see FIG. 3) (step S25).
  • the predicted trajectory A1 is a trajectory predicted to pass (pass) the tip device 25 (more specifically, the specific position 25t). More specifically, the controller 40 predicts that the operation detected by the operation detecting unit 32 will continue until a certain time elapses from the present time (current time), and the predicted trajectory A1 predicted to be passed by the tip device 25. To detect.
  • FIG. 2 when the arm 23 is folded with respect to the boom 21, the upper swing body 15 is rotated leftward with respect to the lower traveling body 11 while the arm 23 is opened with respect to the boom 21. , The predicted trajectory A1 is shown. In this case, the predicted trajectory A1 is placed in the air.
  • the controller 40 may change the predicted trajectory A1 according to some condition.
  • the controller 40 may change (set) the predicted trajectory A1 according to the type information of the tip device 25 acquired by the type information acquisition unit 35.
  • the details are as follows.
  • the position where the operator O is supposed to gaze at the time of work varies depending on the type of the tip device 25. Specifically, for example, when the tip device 25 is a bucket, the operator O is assumed to gaze at the tip of the bucket (specific position 25t). Further, for example, when the tip device 25 is a scissors-like device, it is assumed that the operator O is gazing at the space between the open scissors.
  • a position related to the tip device 25, which is assumed to be watched by the operator O during work, is defined as a specific position 25t. Then, the controller 40 calculates (sets) the trajectory predicted to pass the specific position 25t as the predicted trajectory A1.
  • the controller 40 calculates (estimates) the predicted trajectory area A2 (step S27).
  • the predicted trajectory area A2 is an area including the predicted trajectory A1 and is calculated based on the predicted trajectory A1.
  • the predicted trajectory area A2 is an area (range of position on data) in the distance information. In other words, the predicted trajectory area A2 is associated with the distance information.
  • the distance from the predicted trajectory A1 to the outer end (boundary) of the predicted trajectory region A2 is defined as the distance L.
  • the distance L in the first direction is defined as the distance La
  • the distance L in the second direction different from the first direction is defined as the distance Lb.
  • the predicted trajectory area A2 is an area that is a candidate for the target position T. Therefore, as the predicted trajectory area A2 is narrower (the distance L is shorter), the area that is a candidate for the target position T is narrower, and the accuracy of the target position T can be improved. On the other hand, the narrower the predicted trajectory area A2, the higher the possibility that the gazing point area B2 (details will be described later) is not included in the predicted trajectory area A2 and the target position T cannot be specified.
  • the wider the predicted trajectory area A2 (the longer the distance L), the wider the area that is a candidate for the target position T, so that the gazing point area B2 is likely to be included in the predicted trajectory area A2.
  • the wider the predicted trajectory area A2 the worse the accuracy of the target position T (however, depending on the size of the gazing point area B2).
  • the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 can be set in various ways.
  • the width of the predicted trajectory area A2 and the deviation (shift) of the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 can be set variously.
  • the predicted trajectory area A2 may be within a fixed distance L from the predicted trajectory A1 (the distance L may be a constant value). In this case, there is no bias in the range of the predicted trajectory region A2 corresponding to the predicted trajectory A1.
  • the distance L may be zero.
  • the predicted trajectory area A2 may match the predicted trajectory A1 or may be a linear area.
  • the distance L When the distance L is a constant value, the distance L may be a positive number.
  • the predicted trajectory area A2 may be a range having a spatial extent.
  • the distance L does not have to be constant.
  • the distance L may be set differently (may be changed) depending on the direction corresponding to the predicted trajectory A1. Specifically, for example, the distance La in the first direction (for example, the distance La on the work machine 1 side with respect to the predicted trajectory A1) and the distance Lb in the second direction (for example, the work machine 1 with respect to the predicted trajectory A1) May be different from the distance Lb) on the opposite side.
  • the distance L may be different depending on the distance from the specific position of the work machine 1. For example, the distance L may be set larger as the distance from the cab 16 increases. For example, the distance L may be set larger as the position is farther from the current position of the tip device 25.
  • the range of the predicted trajectory area A2 may be changed (set) according to some condition.
  • the range of the predicted trajectory area A2 may be set based on the information (for example, the value of the distance L) input by the operator O or the like.
  • the controller 40 may change the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 in accordance with the moving speed of the tip device 25.
  • the moving speed of the tip device 25 is calculated, for example, as the amount of change per unit time of the position of the tip device 25 calculated in step S22. Then, the faster the moving speed of the tip device 25 is, the larger the deviation between the actual work target position of the operator O and the predicted trajectory A1 becomes, and the possibility that the gazing point area B2 is not included in the predicted trajectory area A2 becomes higher. There is a high possibility that the target position T cannot be specified. Therefore, the controller 40 may set the predicted trajectory area A2 to be wider as the moving speed of the tip device 25 is higher. Note that this example is merely an example (the same applies to the following specific examples), and the controller 40 may set the predicted trajectory area A2 to be narrower as the moving speed of the tip device 25 is higher.
  • the controller 40 may change the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 according to the attitude of the attachment 20 (attachment attitude information) detected by the attitude detection unit 31. More specifically, the predicted trajectory A1 is calculated based on the attitude of the attachment 20 (steps S21 to S25), and the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 changes according to the attitude of the attachment 20. The range may be changed. For example, as the length of the attachment 20 in the horizontal direction (for example, the distance from the cab 16 to the tip device 25) increases, the deviation between the actual work target position of the operator O and the predicted trajectory A1 increases, and the target position T is specified. There is a high possibility that you cannot do it. Therefore, the controller 40 may set the predicted trajectory region A2 to be wider (the distance L may be longer) as the length of the attachment 20 in the horizontal direction is longer.
  • the controller 40 may change the range of the predicted trajectory area A2 according to the information on the type of the tip device 25 acquired by the type information acquisition unit 35.
  • the controller 40 may change the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 according to the operator O information acquired by the operator information acquisition unit 36.
  • the degree of deviation between the actual trajectory of the tip device 25 and the predicted trajectory A1 varies depending on the skill level of the operator O.
  • the more skilled the operator O is the more the operator can move the tip device 25 while maintaining the current operating state of the operation unit 18, and therefore the deviation between the actual trajectory of the tip device 25 and the predicted trajectory A1 is large. small.
  • the less skilled the operator O is the more wasteful operations are performed, the more easily the operating state of the operating unit 18 changes, and the larger the deviation between the actual trajectory of the tip device 25 and the predicted trajectory A1.
  • the controller 40 may set the predicted trajectory area A2 narrower as the skill level of the operator O is higher, and may set the predicted trajectory area A2 wider as the skill level of the operator O is lower.
  • the tendency (habit) of the operation may differ depending on the operator O.
  • the tendency of the deviation between the actual trajectory of the tip device 25 and the predicted trajectory A1 may differ depending on the operator O.
  • the tendency of the deviation between the gazing point region B2 and the predicted trajectory A1 may differ depending on the operator O. Therefore, the controller 40 may change the predicted trajectory area A2 according to the operator O.
  • the controller 40 may change (adjust) the range of the predicted trajectory area A2 by learning.
  • the determination unit of the controller 40 estimates the target position T (after step S43 described below), and then the tip device 25 (more specifically, the specific position 25t) reaches the target position T within the first predetermined time. It can be determined whether or not. Then, the controller 40 (trajectory area setting unit) can change the range of the predicted trajectory area A2 according to the determination result. Specifically, for example, at the start of work by the work machine 1, the predicted trajectory area A2 is set to be as wide as possible to facilitate the inclusion of the gazing point area B2 in the predicted trajectory area A2. Then, the target position T is estimated during the work.
  • the controller 40 narrows the predicted trajectory area A2 in order to improve the accuracy of the target position T. For example, the controller 40 may narrow the predicted trajectory area A2 when the number of times that the target position T is estimated exceeds a predetermined number.
  • the tip device 25 does not move to the target position T within the first predetermined time after the target position T is estimated, it means that the estimation of the target position T is not valid. In this case, by widening the predicted trajectory area A2, the area that is a candidate for the target position T is expanded. As a result, the actual work target position of the operator O is likely to be included in the target position T.
  • the controller 40 calculates (estimates) the gazing point region B2 based on the detection result of the line-of-sight detection unit 33 (see FIG. 3) (step S30). Details of calculation of the gazing point area B2 are as follows.
  • the controller 40 associates the information of the line of sight B0 with the distance information (step S33). More specifically, the controller 40 associates (associates or superimposes) the actual position of the line of sight B0 (for example, the position and direction of the passing point of the line of sight B0) with the position on the data of the distance information.
  • the information required for this association is set in the controller 40 in advance. Specifically, for example, information such as the position and detection direction of the line-of-sight detection unit 33 with respect to the reference position is set in the controller 40 in advance.
  • the controller 40 calculates the gazing point B1 (eye point position) based on the detection result of the line-of-sight detection unit 33 (step S35).
  • the gazing point B1 is a position (position on data) in the distance information corresponding to the actual position where the operator O is gazing.
  • the gazing point B1 is a portion where the line of sight of the operator O and the ground intersect.
  • the gazing point B1 may be a portion where an object (object) crushed by the tip device 25, the line of sight of the operator O, and the ground intersect.
  • the controller 40 calculates the gazing point area B2 based on the detection result of the line-of-sight detection unit 33 (step S37).
  • the gazing point area B2 is an area (range of position) on the data in the distance information, and is an area based on the gazing point B1.
  • the gazing point area B2 is an area that is a candidate for the target position T.
  • the gazing point region B2 is narrower, the region that is a candidate for the target position T is narrower, and the accuracy of the target position T can be improved.
  • the narrower the gazing point area B2 is, the higher the possibility that the gazing point area B2 is not included in the predicted trajectory area A2, and the higher the possibility that the target position T cannot be specified.
  • the wider the gazing point area B2 the wider the area that is a candidate for the target position T, and the more likely the gazing point area B2 is included in the predicted trajectory area A2.
  • the wider the gazing point region B2 the worse the accuracy of the target position T (however, depending on the size of the predicted trajectory region A2).
  • the range of the gazing point area B2 corresponding to the gazing point B1 (also simply referred to as the “range of the gazing point area B2”) (for example, the size) can be set variously.
  • the gazing point region B2 may coincide with the gazing point B1.
  • the gazing point area B2 may be a dot-shaped or linear area.
  • the current (at a certain moment) gazing point B1 may be set as the gazing point area B2.
  • the locus of the gazing point B1 within a certain time may be set as the gazing point region B2.
  • the gazing point area B2 may be an area having a spread.
  • an area having a spread including the current (one point) gazing point B1 may be set as the gazing point area B2.
  • a region having a spread including the locus of the gazing point B1 within a certain time may be set as the gazing point area B2.
  • the gazing point B1 of the operator O is constantly swaying, and the area presumed to be particularly seen by the operator O may be the gazing point area B2. More specifically, as shown in FIG. 5, the controller 40 may set the gazing point region B2 based on the distribution of the gazing points B1 including the frequency within a certain time (second predetermined time). Note that, in FIG. 5, only some of the gazing points B1 shown by dots are denoted by reference numerals.
  • the gazing area setting unit divides the distance information into a plurality of areas, and measures the number of times the gazing point B1 is included in each area to calculate the frequency distribution of the gazing points B1. It can be calculated.
  • the controller 40 sets, as the gazing area B2, an area in which the frequency of the gazing point B1 is greater than the threshold th1 (gazing area setting threshold) among the plurality of areas in the distance information.
  • the gazing area setting unit may divide the distance information into a plurality of areas in a mesh shape, and calculate the distribution of the frequencies of the gazing points B1 in each area.
  • the frequency distribution of the gazing points B1 in the horizontal direction in FIG. 5 is shown.
  • the frequency distribution of the gazing points B1 in the vertical direction in FIG. 5 may be calculated.
  • the time (second predetermined time) for acquiring the distribution of the gazing point B1 may be a fixed time.
  • the threshold value th1 for determining the gazing point region B2 may be a constant value.
  • the range of the gazing point area B2 corresponding to the gazing point B1 may be changed (set) according to some condition. Specifically, at least one of the second predetermined time period and the threshold value th1 may be changed according to some condition. The longer the second predetermined time is, the wider the gazing point area B2 becomes. The smaller the threshold th1 is, the wider the gazing point area B2 is.
  • the relationship between the gazing point B1 and the gazing point region B2 may be changed according to the information input by the operator O or the like.
  • the controller 40 may change (set) the range of the gazing area B2 according to the moving speed of the tip device 25 shown in FIG.
  • the moving speed of the tip device 25 is calculated, for example, as the amount of change per unit time of the position of the tip device 25 calculated in step S22. For example, it is considered that the faster the moving speed of the tip device 25 is, the shorter the time for the operator O to see the actual work target position is. Therefore, the controller 40 may set the second predetermined time to be shorter as the moving speed of the tip device 25 is higher. Note that this example is merely an example (the same applies to the following specific examples), and the controller 40 may set the second predetermined time longer as the speed of the tip device 25 increases.
  • the controller 40 may change the range of the gazing point area B2 according to the posture of the attachment 20 detected by the posture detection unit 31.
  • the controller 40 may change the range of the gazing point region B2 according to the type information of the tip device 25 acquired by the type information acquisition unit 35.
  • the controller 40 may change the gazing point area B2 in accordance with the operator O information acquired by the operator information acquiring section 36, that is, sets the range of the gazing point area B2 corresponding to the gazing point. May be. Specifically, for example, the operator O has a different time to gaze at the actual work target position and the degree of the swaying movement of the gazing point B1. For example, it is considered that the more skilled the operator O is, the less the wobbling movement of the gazing point B1 is. Therefore, the controller 40 may set the gazing point region B2 narrower as the skill level of the operator O is higher, and may set the gazing point region B2 wider as the skill level of the operator O is lower. Specifically, for example, in this case, the controller 40 may shorten the second predetermined time and may increase the threshold th1.
  • the controller 40 may change (adjust) the range of the gazing point area B2 by learning. For example, the determination unit of the controller 40 determines that the tip device 25 (more specifically, the specific position 25t) is the target position within the third predetermined time after the target position estimation unit estimates the target position T (after step S43). It can be determined whether T has been reached. Then, the controller 40 changes the gazing point area B2 according to the determination result. Specifically, for example, as in the case of [Example 3f] described above, by setting the gazing point area B2 as wide as possible at the start of the work of the work machine 1, the gazing point area B2 is easily included in the predicted trajectory area A2. To do.
  • the target position T is estimated during the work of the work machine 1. If the tip device 25 actually reaches the target position T within a certain time (third predetermined time) after the target position T is estimated, the estimation of the target position T is valid. In this case, the controller 40 may narrow the gazing point region B2 in order to improve the accuracy of the target position T. In addition, the controller 40 may narrow the gazing point region B2 when the number of times that the estimation of the target position T is valid exceeds a predetermined number. On the other hand, if the tip device 25 does not move to the target position T within the third predetermined time after the target position T is estimated, it means that the estimation of the target position T is not valid. In this case, the controller 40 may widen the target position T candidate region by setting the gazing point region B2 wide. As a result, the actual work target position of the operator O is likely to be included in the target position T.
  • the gazing point area B2 is usually one place. In the example shown in FIG. 2, there is one gazing point area B2.
  • a plurality of regions that satisfy the condition of the gazing point region B2 may be used as the gazing point region B2 as they are.
  • a range that includes the “plurality of areas” and is wider than the current gazing point area B2 may be set as the new gazing point area B2.
  • Step S40 The controller 40 calculates (estimates) the target position T based on the predicted trajectory area A2 and the gazing point area B2 (step S40). The details of this calculation are as follows.
  • the controller 40 calculates the overlapping area C that is within the range of the predicted trajectory area A2 and within the area of the gazing point area B2 (step S41). If the overlapping area C does not exist, the target position T is not calculated. In this case, for example, it is desirable to set at least one of the predicted trajectory area A2 and the gazing point area B2 wider than the current time (current processing) from the next processing.
  • the exclusion area D acquired by the exclusion area acquisition unit 37 is input to the controller 40.
  • the exclusion area D is an area to be excluded from the target position T. Specifically, for example, when the work machine 1 performs the work of excavating the earth and sand, the area where the earth and sand transport vehicle exists, the area where the building exists, and the like are not the actual work target positions of the operator O. Therefore, the area that does not become the actual work target position is set as the exclusion area D. Then, the controller 40 excludes the exclusion area D from the overlap area C (step S42).
  • the exclusion area D may be acquired based on the information input by the operator O or the like, for example.
  • the exclusion area D may be automatically set based on the distance information of the distance information detection unit 34, or automatically set based on an image acquired by a detection unit (camera or the like) other than the distance information detection unit 34. May be done.
  • the controller 40 sets the area excluding the exclusion area D from the overlapping area C as the target position T (step S43).
  • the target position T is updated, for example, every predetermined time.
  • the target position T can be used in various ways, for example, for assisting operation, guidance for operation, training for operation, automation of operation (for example, operation by the line of sight B0), and the like.
  • the driving target position of the driver of the vehicle is usually on the determined driving lane.
  • various positions can be the work target position of the operator O.
  • the operator O determines the work target position within a certain degree of freedom by taking into consideration the current state and shape of the soil and the shape of the soil to be formed. Therefore, it is difficult to estimate the work target position from only the information of the line of sight B0 of the operator O.
  • the work target position of the operator O of the work machine 1 can be estimated as follows.
  • the target position estimation device 30 is used for the work machine 1 including the tip device 25 provided at the tip of the attachment 20.
  • the target position estimation device 30 includes a posture detection unit 31, an operation detection unit 32, a line-of-sight detection unit 33, a distance information detection unit 34, and a controller 40.
  • the posture detection unit 31 detects the posture of the work machine 1 shown in FIG.
  • the operation detector 32 (see FIG. 3) detects an operation of the work machine 1.
  • the sight line detection unit 33 detects the sight line B0 of the operator O who operates the work machine 1.
  • the distance information detection unit 34 (see FIG. 3) detects distance information in the front area of the work machine 1.
  • the controller 40 estimates the target position T of the operator O.
  • the controller 40 shown in FIG. 3 calculates the predicted trajectory area A2 shown in FIG. 2 based on the detection results of the posture detection unit 31 and the operation detection unit 32.
  • the predicted trajectory area A2 is an area based on the predicted trajectory A1, which is a trajectory predicted to pass by the tip device 25, and is an area in the distance information.
  • the controller 40 calculates the gazing point region B2 based on the detection result of the line-of-sight detection unit 33.
  • the gazing point area B2 is an area based on the gazing point B1 of the operator O and is an area in the distance information.
  • the condition of the target position T includes that it is within the range of the predicted trajectory region A2 and within the range of the gazing point region B2 (overlap region C).
  • the condition of the target position T is that the target position T is within the range of the gazing point region B2 based on the gazing point B1 of the operator O and within the range of the predicted trajectory region A2 of the tip device 25. Therefore, the accuracy of the target position T with respect to the actual work target position of the operator O can be increased as compared with the case where the target position T is estimated based only on the information regarding the gazing point B1 of the operator O. Therefore, the work target position of the operator O of the work machine 1 can be accurately estimated.
  • controller 40 changes the predicted trajectory A1 according to the information regarding the type of the tip device 25.
  • the position (specific position 25t) that the operator O sets as the work target position differs depending on the type of the tip device 25. Therefore, the appropriate predicted trajectory A1 differs depending on the type of the tip device 25. Therefore, the target position estimation device 30 has the above configuration. Therefore, the appropriate predicted trajectory A1 based on the type of the tip device 25 can be calculated, and as a result, the predicted trajectory area A2 can be set to an appropriate region (position, range) based on the type of the tip device 25.
  • controller 40 changes the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 according to the moving speed of the tip device 25.
  • the predicted trajectory area A2 can be set to an appropriate area based on the moving speed of the tip device 25.
  • the controller 40 narrows the predicted trajectory area A2 (shortens the distance L), the accuracy of the target position T with respect to the actual work target position of the operator O can be further improved.
  • the controller 40 widens the predicted trajectory area A2 (lengthens the distance L), the actual work target position of the operator O can be easily included in the predicted trajectory area A2 (area that is a candidate for the target position T). ..
  • controller 40 changes the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 according to the posture of the attachment 20.
  • the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 can be set to an appropriate area based on the posture of the attachment 20. As a result, it is possible to obtain the same effect as in the case of the above moving speed.
  • controller 40 changes the range of the predicted trajectory area A2 corresponding to the predicted trajectory A1 according to the information about the operator O who is operating the work machine 1.
  • the predicted trajectory area A2 can be set to an appropriate area based on the information regarding the operator O. As a result, it is possible to obtain the same effect as in the case of the above moving speed.
  • the controller 40 determines the range of the predicted trajectory region A2 corresponding to the predicted trajectory A1 depending on whether the tip device 25 has moved to the target position T within the first predetermined time. change.
  • the tip device 25 reaches the target position T within the first predetermined time after the controller 40 (target position estimation unit) estimates the target position T, it can be said that the estimation of the target position T was appropriate. On the other hand, if the tip device 25 does not reach the target position T within the first predetermined time after the target position T is estimated, it can be said that the estimation of the target position T was not valid. Therefore, by providing the target position estimation device 30 with the above configuration, the predicted trajectory area A2 can be set to an appropriate area based on whether or not the estimation of the target position T was appropriate. As a result, the same effect as in the case of the above moving speed can be obtained.
  • the controller 40 also sets the gazing point area B2 based on the distribution including the frequency of the gazing point B1 within the second predetermined time.
  • the gazing point B1 of the operator O does not always coincide with the actual work target position of the operator O. Therefore, by providing the target position estimation device 30 with the above configuration, an area that is highly likely to be the actual work target position of the operator O can be set as the gazing point area B2.
  • the controller 40 widens the gazing area B2, the accuracy of the target position T with respect to the actual work target position of the operator O can be further improved.
  • the controller 40 narrows the gazing point area B2, the actual work target position of the operator O can be easily included in the gazing point area B2 (area that is a candidate for the target position T).
  • controller 40 changes the range of the gazing point area B2 corresponding to the gazing point B1 according to the moving speed of the tip device 25.
  • the range of the gazing area B2 can be set to an appropriate range according to the moving speed of the tip device 25. As a result, the same effect as in the case of the distribution of the gazing points B1 can be obtained.
  • controller 40 can change the range of the gazing point area B2 corresponding to the gazing point B1 according to the information about the operator O who is operating the work machine 1.
  • the gazing point area B2 can be set to an appropriate area based on the information regarding the operator O. As a result, it is possible to obtain the same effect as the case of the point of regard B1.
  • the controller 40 determines the range of the gazing point region B2 corresponding to the gazing point B1 depending on whether the tip device 25 has moved to the target position T within the third predetermined time. change.
  • the gazing point area B2 can be set to an appropriate area based on whether or not the estimation of the target position T was valid. As a result, the same effect as the case of the point of regard B1 can be obtained.
  • the controller 40 also acquires an exclusion area D, which is an area to be excluded from the target position T.
  • the condition of the target position T includes being outside the exclusion area D.
  • Modification For example, the connections of the circuits in the block diagram shown in FIG. 3 may be changed. For example, the order of the steps of the flowchart shown in FIG. 4 may be changed and some of the steps may not be performed. For example, the number of constituent elements of the above-described embodiment may be changed, and some of the constituent elements may not be provided. For example, what has been described as a plurality of different parts (components) may be regarded as one part. For example, what has been described as one portion may be provided separately in a plurality of different portions.
  • the controller 40 may be arranged outside the work machine 1.
  • the operator O may remotely control the work machine 1 outside the work machine 1.
  • the seat 17, the operation unit 18, the operation detection unit 32 (see FIG. 4), and the line-of-sight detection unit 33 are arranged outside the work machine 1.
  • the operator O operates while looking at the screen on which the image around the work machine 1 is displayed, and the line-of-sight detection unit 33 detects the line-of-sight B0 of the operator O (where on the screen is seen).
  • the predicted trajectory area A2 may match the predicted trajectory A1 (may be a linear area), and the gazing point area B2 may match the gazing point B1 (dotted or linear. But it may be). At least one of the predicted trajectory area A2 and the gazing point area B2 is preferably an area having a spatial spread.
  • the example in which the prediction trajectory A1, the prediction trajectory area A2, the gazing point B1, and the gazing point area B2 are changed according to some condition is shown, but only a part of each example may be performed.
  • the exclusion area D may not be set. Further, only some of the plurality of processes described above may be executed.
  • the attachment 20 operates (posture (Changed) mode.
  • the book is The target position T can be estimated in advance by the target position estimation device 30 according to the invention.
  • the present invention provides an operator in a working machine having a machine body including a cab that allows an operator to board, an attachment mounted on the machine body, and a tip device provided at a tip portion of the attachment.
  • This is a device for estimating an assumed target position.
  • the target position estimation device includes a posture detection unit that detects posture information that is information regarding the posture of the work machine, an operation detection unit that detects operation information that is information for an operator to operate the work machine, and an operator.
  • Line-of-sight detection unit that detects line-of-sight information that is information regarding the line-of-sight of the work machine, a distance information detection unit that detects distance information in the front region of the work machine, and an operator operates the work machine to move the tip device.
  • the controller that estimates a target position of the tip device assumed by the operator.
  • the controller is an area including a predicted trajectory that is a trajectory predicted to pass by the tip device based on the posture information detected by the posture detection unit and the operation information detected by the operation detection unit.
  • a trajectory region setting unit that sets a predicted trajectory region that is a region associated with the distance information.
  • a gazing area setting unit that sets a gazing area that is an area associated with information, an area in which the predicted trajectory area set by the trajectory area setting unit and the gazing area set by the gazing area setting unit overlap each other
  • a target position estimating unit that estimates the target position of the tip device.
  • a type information acquisition unit that acquires type information that is information related to the type of the tip device is further provided, and the locus region setting unit is the type information acquisition unit according to the type information acquired by the type information acquisition unit. It is desirable to set the forecasted trajectory.
  • the trajectory area setting unit changes the range of the predicted trajectory area corresponding to the predicted trajectory according to the moving speed of the tip device.
  • the posture detection unit it is possible to detect the attachment posture information is information about the posture of the attachment with respect to the machine body, the trajectory region setting unit, according to the attachment posture information, It is desirable to change the range of the predicted trajectory area corresponding to the predicted trajectory.
  • the controller includes a determination unit that determines whether the tip device has reached the target position within a predetermined time after the target position estimation unit estimates the target position of the tip device. Further, it is preferable that the trajectory area setting unit changes the range of the predicted trajectory area corresponding to the predicted trajectory according to the determination result of the determination unit.
  • the gaze area setting unit sets the gaze area based on the distribution of the frequency of the gaze points within a predetermined time.
  • the gaze area setting unit changes the range of the gaze area corresponding to the gaze point according to the moving speed of the tip device.
  • the gaze area setting unit changes the range of the gaze area corresponding to the gaze point according to the operator information. Is desirable.
  • the controller includes a determination unit that determines whether the tip device has reached the target position within a predetermined time after the target position estimation unit estimates the target position of the tip device. It is preferable that the locus region setting unit changes the range of the gaze region corresponding to the gaze point according to the determination result of the determination unit.
  • the target position estimation unit further includes an exclusion area acquisition unit that acquires information about an exclusion area that is an area that should be excluded from the target position, and the target position estimation unit is the predicted trajectory set by the trajectory area setting unit. It is desirable that the target position of the tip device be estimated based on an area where the area and the gazing area set by the gazing area setting unit overlap each other and excluding the exclusion area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業機械のオペレータが想定する先端装置の作業目標位置を精度良く推定する。コントローラ（４０）は、姿勢検出部（３１）および操作検出部（３２）のそれぞれの検出結果に基づいて、予測軌跡領域Ａ２を算出する。予測軌跡領域Ａ２は、先端装置２５が通ると予測される軌跡である予測軌跡Ａ１に基づく領域である。コントローラ（４０）は、視線検出部３３の検出結果に基づいて、注視点領域Ｂ２を算出する。注視点領域Ｂ２は、オペレータＯの注視点Ｂ１に基づく領域である。コントローラ（４０）は、目標位置Ｔを、予測軌跡領域Ａ２と注視点領域Ｂ２とが重なる領域内に設定する。

Description

作業機械の目標位置推定装置
　本発明は、作業機械のオペレータの作業目標位置を推定する、作業機械の目標位置推定装置に関する。
　特許文献１には、運転者が注視している領域を推定する技術が記載されている。
特開２０１８－１８５７６３号公報
　同文献に記載の技術は、運転者の視線の方向に基づき、運転者が注視している領域（目標位置）を推定する。しかし、例えば車道を走行する自動車の運転者などに比べ、作業機械のオペレータは、様々な位置を目標として見る。そのため、オペレータの視線の方向のみからでは、目標位置の推定の精度が不十分となるおそれがある。
　本発明の目的は、作業機械のオペレータの作業目標位置を精度良く推定することが可能な作業機械の目標位置推定装置を提供することにある。
　本発明によって提供されるのは、オペレータが搭乗することを許容するキャブを含む機械本体と前記機械本体に装着されるアタッチメントと前記アタッチメントの先端部に設けられる先端装置とを有する作業機械においてオペレータにより想定される目標位置を推定する作業機械の目標位置推定装置である。当該作業機械の目標位置推定装置は、前記作業機械の姿勢に関する情報である姿勢情報を検出する姿勢検出部と、オペレータが前記作業機械を操作するための情報である操作情報を検出する操作検出部と、オペレータの視線に関する情報である視線情報を検出する視線検出部と、前記作業機械の前方領域の距離情報を検出する距離情報検出部と、オペレータが前記作業機械を操作して前記先端装置を移動させる際にオペレータが想定する前記先端装置の目標位置を推定するコントローラと、を備える。前記コントローラは、前記姿勢検出部によって検出される前記姿勢情報および前記操作検出部によって検出される前記操作情報に基づいて、前記先端装置が通過すると予測される軌跡である予測軌跡を含む領域であって前記距離情報に関連付けられた領域である予測軌跡領域を設定する軌跡領域設定部と、前記視線検出部によって検出される前記視線情報に基づいて、オペレータの注視点を含む領域であって前記距離情報に関連付けられた領域である注視領域を設定する注視領域設定部と、前記軌跡領域設定部によって設定される前記予測軌跡領域と前記注視領域設定部によって設定される前記注視領域とが互いに重なる領域に基づいて、前記先端装置の前記目標位置を推定する目標位置推定部と、を備える。
図１は、本発明の一実施形態に係る目標位置推定装置を備える作業機械の側面図である。 図２は、本発明の一実施形態に係る作業機械の平面図である。 図３は、本発明の一実施形態に係る目標位置推定装置のブロック図である。 図４は、本発明の一実施形態に係る目標位置推定装置の作動を示すフローチャートである。 図５は、本発明の一実施形態に係る目標位置推定装置によって参照されるオペレータの注視点の分布を示す図である。
　図１～図５を参照して、本発明の一実施形態に係る、作業機械１に用いられる目標位置推定装置３０について説明する。
　作業機械１は、先端装置２５を用いて作業を行う機械である。作業機械１は、例えば、建設作業を行う建設機械であり、より詳しくはショベルなどである。作業機械１は、下部走行体１１と、上部旋回体１５（機械本体）と、を備える。下部走行体１１は、作業機械１を走行させる部分である。上部旋回体１５は、下部走行体１１に対して旋回可能であり、下部走行体１１の上方に配置される。上部旋回体１５は、オペレータが搭乗することを許容するキャブ１６を備える。
　キャブ１６は、作業機械１を操作するオペレータＯが操作を行う運転室である。キャブ１６は、座席１７と、操作部１８と、を備える。座席１７は、オペレータＯが座るための席である。操作部１８は、作業機械１を操作するための装置であり、オペレータＯによって操作される。操作部１８を通じて行われる操作には、下部走行体１１を走行させる操作、下部走行体１１に対して上部旋回体１５を旋回させる操作、および、アタッチメント２０を作動させる操作が含まれる。操作部１８は、例えばレバーを備えてもよく、ペダルを備えてもよい。
　アタッチメント２０は、上部旋回体１５に取り付けられ、作業を行う装置である。アタッチメント２０は、例えば油圧シリンダにより駆動される。アタッチメント２０は、ブーム２１と、アーム２３と、先端装置２５と、を備える。ブーム２１は、上部旋回体１５に回動（起伏）可能に取り付けられる。アーム２３は、ブーム２１に回動可能に取り付けられる。
　先端装置２５は、作業対象（例えば土砂など）に接触する装置である。先端装置２５は、アタッチメント２０の先端部に設けられる。例えば、先端装置２５は、アーム２３に回動可能に取り付けられる。先端装置２５は、例えば、土砂をすくうバケットでもよく、ハサミ状装置（ニブラ、カッターなど）（図示なし）でもよく、ブレーカ（図示なし）などでもよい。先端装置２５に関連付けられた位置として、特定位置２５ｔがある（詳細については後述される）。
　本実施形態に係る目標位置推定装置３０は、図２に示すオペレータＯが作業を行おうとしている位置（作業目標位置）を推定する装置である。目標位置推定装置３０は、所定の情報に基づいて前記目標位置Ｔを算出する。目標位置推定装置３０は、オペレータＯが作業機械１を操作して先端装置２５（さらに詳しくは特定位置２５ｔ）を移動させようとしている際に、オペレータＯが想定する先端装置２５の目標位置を推定する。目標位置推定装置３０は、作業機械１に用いられ、作業機械１に配置（取り付け、搭載）される。なお、目標位置推定装置３０の構成要素の一部は、作業機械１の外部に配置されてもよい。図３に示すように、目標位置推定装置３０は、姿勢検出部３１と、操作検出部３２と、視線検出部３３と、距離情報検出部３４と、種類情報取得部３５と、オペレータ情報取得部３６と、除外領域取得部３７と、コントローラ４０と、を備える。
　姿勢検出部３１は、図１に示す作業機械１の姿勢に関する情報である姿勢情報を検出する。具体的には、姿勢検出部３１（図３参照）は、下部走行体１１に対する上部旋回体１５の旋回角度、およびアタッチメント２０の姿勢を検出する。アタッチメント２０の姿勢には、例えば、上部旋回体１５に対するブーム２１の回動角度、ブーム２１に対するアーム２３の回動角度、および、アーム２３に対する先端装置２５の回動角度が含まれる。姿勢検出部３１は、回動角度を検出する回転角度センサを備えてもよい。姿勢検出部３１は、カメラを含み、作業機械１の少なくとも一部（例えばアタッチメント２０）の姿勢を前記カメラで取得した画像情報に基づいて検出してもよい。上記「カメラ」は、距離情報検出部３４と兼用されてもよい。姿勢検出部３１は、アタッチメント２０の姿勢を所定の時間間隔で検出することで、先端装置２５の移動速度を検出してもよい。
　操作検出部３２（図３参照）は、オペレータＯによる作業機械１の操作に関する情報である操作情報を検出する。操作検出部３２は、オペレータＯによる操作部１８の操作を検出し、具体的には例えば、操作部１８が受ける操作の操作量および操作方向を検出する。
　視線検出部３３（図２、図３参照）は、オペレータＯの視線Ｂ０（視線に関する情報である視線情報）を検出する。視線検出部３３は、座席１７に向けられたカメラを備え、オペレータＯの目を撮影することで前記視線Ｂ０を検出する。
　距離情報検出部３４（図２、図３参照）は、作業機械１の前方領域の距離情報を検出し、より詳しくは上部旋回体１５の前方の距離情報を検出する。上記「作業機械１の前方」は、上部旋回体１５の旋回中心から見て先端装置２５が配置される側（方向）である。距離情報検出部３４は、作業機械１の周囲の領域であって、オペレータＯの視界を含む領域の距離情報を検出する。距離情報検出部３４に検出される距離情報は、オペレータＯなどの所定の基準点から見た周囲の物体の方向（角度）および距離を含む三次元の情報であり、奥行きの情報を含む画像（映像）情報である。距離情報検出部３４は、例えばＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラを備えてもよく、複眼カメラを備えてもよい。距離情報検出部３４に検出される距離情報は、所定の三次元座標に変換可能とされる。
　種類情報取得部３５（図３参照）は、先端装置２５の種類に関する情報（種類情報）を取得する。種類情報取得部３５は、例えばキャブ１６内の不図示の入力部を通じてオペレータＯなどにより手作業によって入力された情報に基づいて、先端装置２５の種類情報を取得してもよい。種類情報取得部３５は、カメラ（例えば距離情報検出部３４）などによって取得された画像に基づいて、先端装置２５の種類を自動的に判別することで、先端装置２５の種類情報を取得してもよい。
　オペレータ情報取得部３６（図３参照）は、作業機械１を操作しているオペレータＯに関する情報（オペレータＯ情報）を取得する。オペレータＯ情報は、オペレータＯが誰であるかの情報（固有情報、個人情報）を含んでもよい。オペレータＯ情報は、後述する予測軌跡領域Ａ２（図２参照）および注視点領域Ｂ２（図２参照）の少なくともいずれかの設定に関する情報を含んでもよい。オペレータ情報取得部３６（図３参照）は、前記入力部を通じてオペレータ自身によって手作業で入力された情報に基づいてオペレータＯ情報を取得してもよい。オペレータ情報取得部３６は、オペレータＯが所持する装置（例えば無線タグなど）からオペレータＯ情報を取得してもよい。オペレータ情報取得部３６は、カメラで撮影したオペレータＯの画像からオペレータＯ情報（誰であるか）を取得してもよい。
　除外領域取得部３７（図３参照）は、図２に示す目標位置Ｔから除外されるべき領域である除外領域Ｄに関する情報を取得する（詳細は後述される）。
　コントローラ４０は、図３に示すように、信号の入出力、情報の記憶、演算（算出、判定など）を行う。コントローラ４０は、目標位置Ｔ（図２参照）の推定に関する演算を行うことで、先端装置２５の目標位置Ｔを推定する。コントローラ４０は、軌跡領域設定部と、注視領域設定部と、目標位置推定部と、判定部と、を有する。軌跡領域設定部は、姿勢検出部３１によって検出される前記姿勢情報および操作検出部３２によって検出される前記操作情報に基づいて、先端装置２５が通過すると予測される軌跡である予測軌跡Ａ１を含む領域であって前記距離情報に関連付けられた領域である予測軌跡領域Ａ２を設定する。注視領域設定部は、視線検出部３３によって検出される前記視線情報に基づいて、オペレータの注視点Ｂ１を含む領域であって前記距離情報に関連付けられた領域である注視点領域Ｂ２（注視領域）を設定する。目標位置推定部は、前記軌跡領域設定部によって設定される予測軌跡領域Ａ２と前記注視領域設定部によって設定される注視点領域Ｂ２とが互いに重なる領域に基づいて、先端装置２５の目標位置Ｔを推定する。判定部は、前記目標位置推定部が先端装置２５の目標位置Ｔを推定してから所定時間内に先端装置２５が目標位置Ｔに到達したか否かを判定する。なお、上記において「前記距離情報に関連づけられた領域」は、前記距離情報に基づく前記三次元座標によって表現された領域であってもよい。
（作動）
　目標位置推定装置３０は、以下のように作動する。以下では、主に、コントローラ４０の構成については図３を参照し、目標位置推定装置３０が実行する各ステップ（Ｓ１０～Ｓ４３）については図４を参照して説明する。図２に示す目標位置推定装置３０の作動の概要は次の通りである。コントローラ４０（軌跡領域設定部）は、アタッチメント２０の姿勢および操作部１８が受ける操作に基づいて、先端装置２５の予測軌跡領域Ａ２を算出する（ステップＳ２０）。次に、コントローラ４０（注視領域設定部）は、オペレータＯの視線Ｂ０から注視点領域Ｂ２を算出する（ステップＳ３０）。更に、コントローラ４０（目標位置推定部）は、予測軌跡領域Ａ２と注視点領域Ｂ２とが重なる重複領域Ｃから除外領域Ｄを除いた領域を、目標位置Ｔとする。目標位置推定装置３０の作動の詳細は、以下の通りである。
　距離情報検出部３４（図３参照）に検出された距離情報が、コントローラ４０に入力される（ステップＳ１０）。
　（予測軌跡領域Ａ２の算出（ステップＳ２０）について）
　コントローラ４０は、姿勢検出部３１（図３参照）によって検出される前記姿勢情報および操作検出部３２（図３参照）によって検出される前記操作情報に基づいて、予測軌跡領域Ａ２を算出する（ステップＳ２０）。予測軌跡領域Ａ２の算出の詳細は、次の通りである。
　姿勢検出部３１（図３参照）によって検出された作業機械１の姿勢が、コントローラ４０に入力される（ステップＳ２１）。コントローラ４０（軌跡領域設定部）は、作業機械１の姿勢に基づいて、先端装置２５の位置を算出する（ステップＳ２２）。このとき、コントローラ４０は、例えば、所定の基準位置に対する先端装置２５の位置を算出する。上記「基準位置」は、例えば距離情報検出部３４の位置でもよく、上部旋回体１５の（例えばキャブ１６の）特定の位置でもよい。なお、基準位置に対する先端装置２５の位置の算出に必要な情報であって、作業機械１の姿勢以外の情報は、予め（先端装置２５の位置の算出前に）コントローラ４０に設定される。具体的には例えば、基準位置に対するブーム２１の基端部の位置、ブーム２１、アーム２３、および先端装置２５のそれぞれの寸法および形状などの情報は、予めコントローラ４０に設定される（コントローラ４０内の記憶部に記憶される）。
　コントローラ４０は、先端装置２５の位置の情報を前記距離情報に関連付ける（ステップＳ２３）。さらに詳しくは、コントローラ４０は、基準位置に対する先端装置２５の現実の位置の情報を距離情報のデータ（座標）上の位置に関連付ける（対応付ける、重畳させる）。なお、この関連付けに必要となる情報は、上記と同様に予めコントローラ４０に設定される。具体的には例えば、基準位置に対する距離情報検出部３４の位置および検出方向などの情報は、予めコントローラ４０に設定される。
　操作検出部３２（図３参照）に検出された操作が、コントローラ４０に入力される（ステップＳ２４）。
　コントローラ４０は、姿勢検出部３１（図３参照）および操作検出部３２（図３参照）のそれぞれの検出結果に基づいて、予測軌跡Ａ１を算出する（ステップＳ２５）。予測軌跡Ａ１は、先端装置２５（さらに詳しくは特定位置２５ｔ）が通る（通過する）と予測される軌跡である。さらに詳しくは、コントローラ４０は、操作検出部３２で検出されている操作が、現在（現時刻）からある時間経過後まで継続すると仮定した場合に、先端装置２５が通ると予測される予測軌跡Ａ１を検出する。なお、図２には、ブーム２１に対してアーム２３が畳まれた状態から、ブーム２１に対してアーム２３が開きながら、下部走行体１１に対して上部旋回体１５が左に旋回する場合の、予測軌跡Ａ１が示されている。この場合、予測軌跡Ａ１は、空中に配置される。
　なお、コントローラ４０（軌跡領域設定部）は、何らかの条件に応じて予測軌跡Ａ１を変えてもよい。例えば、コントローラ４０は、種類情報取得部３５によって取得された先端装置２５の種類情報に応じて予測軌跡Ａ１を変えてもよい（設定してもよい）。この詳細は次の通りである。作業時にオペレータＯが注視すると想定される位置は、先端装置２５の種類によって異なる。具体的には例えば、先端装置２５がバケットの場合、オペレータＯは、バケットの先端（特定位置２５ｔ）を注視すると想定される。また、例えば、先端装置２５がハサミ状装置の場合、オペレータＯは、開いたハサミの間の空間を注視すると想定される。先端装置２５に関する位置であって、作業時にオペレータＯが注視すると想定される位置が特定位置２５ｔと定義される。そして、コントローラ４０は、この特定位置２５ｔが通ると予測される軌跡を、予測軌跡Ａ１として算出する（設定する）。
　更に、コントローラ４０は、予測軌跡領域Ａ２を算出する（推定する）（ステップＳ２７）。予測軌跡領域Ａ２は、予測軌跡Ａ１を含む領域であり、予測軌跡Ａ１に基づいて算出される。予測軌跡領域Ａ２は、距離情報における領域（データ上の位置の範囲）である。換言すれば、予測軌跡領域Ａ２は、距離情報に関連づけられている。予測軌跡Ａ１から、予測軌跡領域Ａ２の外側端部（境界）までの距離を、距離Ｌとする。第１の向きにおける距離Ｌが距離Ｌａと定義され、第１の向きとは異なる第２の向きにおける距離Ｌが距離Ｌｂと定義される。
　予測軌跡領域Ａ２の広さについて説明する。コントローラ４０が推定しようとしている目標位置Ｔは、予測軌跡領域Ａ２と注視点領域Ｂ２との重複領域Ｃの範囲内であることが条件となる。よって、予測軌跡領域Ａ２は、目標位置Ｔの候補となる領域である。このため、予測軌跡領域Ａ２が狭い（距離Ｌが短い）ほど、目標位置Ｔの候補となる領域が狭くなり、目標位置Ｔの精度が向上し得る。一方、予測軌跡領域Ａ２が狭いほど、注視点領域Ｂ２（詳細は後述）が予測軌跡領域Ａ２に含まれず目標位置Ｔを特定できない可能性が高くなる。また、予測軌跡領域Ａ２が広い（距離Ｌが長い）ほど、目標位置Ｔの候補となる領域が広くなるので、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれやすくなる。一方、予測軌跡領域Ａ２が広いほど、目標位置Ｔの精度は悪くなり得る（ただし、注視点領域Ｂ２の広さによる）。
　予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲（以下、単に「予測軌跡領域Ａ２の範囲」とも言う）は、様々に設定可能である。例えば、予測軌跡領域Ａ２の広さ、および、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲の偏り（ずれ）などは、様々に設定可能である。［例１］予測軌跡領域Ａ２は、予測軌跡Ａ１から一定の距離Ｌ以内の範囲でもよい（距離Ｌは一定値でもよい）。この場合、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲の偏りはない。［例１ａ］距離Ｌは０でもよい。予測軌跡領域Ａ２は、予測軌跡Ａ１と一致してもよく、線状の領域でもよい。［例１ｂ］距離Ｌが一定値の場合、距離Ｌは、正の数でもよい。予測軌跡領域Ａ２は、空間的広がりを有する範囲でもよい。
　［例２］距離Ｌは、一定でなくてもよい。［例２ａ］距離Ｌは、予測軌跡Ａ１に対応する向きに応じて異なるように設定されてもよい（変えてもよい）。具体的には例えば、第１の向きの距離Ｌａ（例えば予測軌跡Ａ１に対して作業機械１側の距離Ｌａ）と、第２の向きの距離Ｌｂ（例えば予測軌跡Ａ１に対して作業機械１とは反対側の距離Ｌｂ）と、が異なってもよい。［例２ｂ］距離Ｌは、作業機械１の特定の位置からの距離に応じて異なってもよい。例えば、キャブ１６から遠いほど、距離Ｌが大きく設定されてもよい。例えば、現在の先端装置２５の位置から遠い位置ほど、距離Ｌが大きく設定されてもよい。
　［例３］予測軌跡領域Ａ２の範囲は、何らかの条件に応じて変えられても（設定されても）よい。［例３ａ］予測軌跡領域Ａ２の範囲は、オペレータＯなどが入力した情報（例えば距離Ｌの値など）に基づいて設定されてもよい。
　［例３ｂ］コントローラ４０は、先端装置２５の移動速度に応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲が変化するようにその範囲を変えてもよい。先端装置２５の移動速度は、例えば、ステップＳ２２で算出される先端装置２５の位置の単位時間当たりの変化量として算出される。そして、先端装置２５の移動速度が速いほど、オペレータＯの実際の作業目標位置と予測軌跡Ａ１とのずれが大きくなり注視点領域Ｂ２が予測軌跡領域Ａ２に含まれない可能性が高くなるため、目標位置Ｔを特定できない可能性が高くなることがある。したがって、コントローラ４０は、先端装置２５の移動速度が速いほど、予測軌跡領域Ａ２を広く設定してもよい。なお、この例はあくまで一例であり（以下の具体例も同様）、コントローラ４０は、先端装置２５の移動速度が速いほど予測軌跡領域Ａ２を狭く設定してもよい。
　［例３ｃ］コントローラ４０は、姿勢検出部３１によって検出されたアタッチメント２０の姿勢（アタッチメント姿勢情報）に応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を変えてもよい。さらに詳しくは、アタッチメント２０の姿勢に基づいて予測軌跡Ａ１が算出され（ステップＳ２１～Ｓ２５）、さらに、アタッチメント２０の姿勢に応じて予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲が変化するように当該範囲が変えられてもよい。例えば、アタッチメント２０の水平方向における長さ（例えばキャブ１６から先端装置２５までの距離）が長いほど、オペレータＯの実際の作業目標位置と予測軌跡Ａ１とのずれが大きくなり、目標位置Ｔを特定できない可能性が高くなることがある。したがって、コントローラ４０は、アタッチメント２０の水平方向における長さが長いほど、予測軌跡領域Ａ２を広く（距離Ｌを長く）設定してもよい。
　［例３ｄ］コントローラ４０は、種類情報取得部３５によって取得された先端装置２５の種類に関する情報に応じて、予測軌跡領域Ａ２の範囲を変えてもよい。
　［例３ｅ］コントローラ４０は、オペレータ情報取得部３６に取得されたオペレータＯ情報に応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を変えてもよい。具体的には例えば、オペレータＯの熟練度によって、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれの大きさが異なる。例えば、オペレータＯが熟練者であるほど、現在の操作部１８の操作状態が維持されたまま先端装置２５を移動させることができるので、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれが小さい。一方、オペレータＯが非熟練者であるほど、無駄な操作が多く、操作部１８の操作状態が変化しやすく、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれが大きい。したがって、コントローラ４０は、オペレータＯの熟練度が高いほど予測軌跡領域Ａ２を狭く設定してもよく、オペレータＯの熟練度が低いほど予測軌跡領域Ａ２を広く設定してもよい。また、オペレータＯによって操作の傾向（癖）が異なることがある。例えば、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれの傾向（ずれの大きさ、向きなど）がオペレータＯによって異なる場合がある。また、注視点領域Ｂ２と予測軌跡Ａ１とのずれの傾向がオペレータＯによって異なる場合がある。したがって、コントローラ４０は、オペレータＯに応じて予測軌跡領域Ａ２を変えてもよい。
　［例３ｆ］コントローラ４０は、予測軌跡領域Ａ２の範囲を、学習により変えてもよい（調整してもよい）。例えば、コントローラ４０の判定部は、目標位置Ｔを推定した後（後述するステップＳ４３の後）、第１所定時間内に、先端装置２５（さらに詳しくは特定位置２５ｔ）が目標位置Ｔに到達したか否かを判定することができる。そして、コントローラ４０（軌跡領域設定部）は、当該判定結果に応じて、予測軌跡領域Ａ２の範囲を変えることができる。具体的には例えば、作業機械１による作業の開始時には、予測軌跡領域Ａ２をできるだけ広く設定しておくことで、予測軌跡領域Ａ２に注視点領域Ｂ２が含まれやすくする。そして、作業中に、目標位置Ｔの推定が行われる。目標位置Ｔが推定され、ある時間（第１所定時間）内に、先端装置２５が目標位置Ｔに実際に移動した場合は、目標位置Ｔの推定が妥当であったことになる。この場合、コントローラ４０は、目標位置Ｔの精度を向上させるために、予測軌跡領域Ａ２を狭くする。例えば、コントローラ４０は、目標位置Ｔの推定が妥当であった回数が所定回数を超えた場合に、予測軌跡領域Ａ２を狭くしてもよい。一方、目標位置Ｔが推定された後、第１所定時間内に、先端装置２５が目標位置Ｔに移動しなかった場合は、目標位置Ｔの推定が妥当ではなかったことになる。この場合、予測軌跡領域Ａ２を広くすることで、目標位置Ｔの候補となる領域を広げる。これにより、オペレータＯの実際の作業目標位置が、目標位置Ｔに含まれやすくなる。
　（注視点領域Ｂ２の算出（ステップＳ３０）について）
　コントローラ４０は、視線検出部３３（図３参照）の検出結果に基づいて、注視点領域Ｂ２を算出する（推定する）（ステップＳ３０）。注視点領域Ｂ２の算出の詳細は、次の通りである。
　視線検出部３３に検出されたオペレータＯの視線Ｂ０の情報（向き）が、視線検出部３３からコントローラ４０に入力される（ステップＳ３１）。
　コントローラ４０は、視線Ｂ０の情報を、距離情報に関連付ける（ステップＳ３３）。さらに詳しくは、コントローラ４０は、視線Ｂ０の現実の位置（例えば、視線Ｂ０の通過点の位置および方向）を、距離情報のデータ上の位置に関連付ける（対応付ける、重畳させる）。なお、この関連付けに必要となる情報は、予めコントローラ４０に設定される。具体的には例えば、基準位置に対する視線検出部３３の位置および検出方向などの情報は、予めコントローラ４０に設定される。
　コントローラ４０は、視線検出部３３の検出結果に基づいて、注視点Ｂ１（アイポイント位置）を算出する（ステップＳ３５）。注視点Ｂ１は、オペレータＯが注視している現実の位置に対応する、距離情報における位置（データ上の位置）である。換言すれば、注視点Ｂ１は、オペレータＯの視線と地面とが交差する部分である。なお、他の実施形態において、注視点Ｂ１は、先端装置２５によって破砕される物体（対象物）とオペレータＯの視線と地面とが交差する部分でもよい。
　コントローラ４０は、視線検出部３３の検出結果に基づいて、注視点領域Ｂ２を算出する（ステップＳ３７）。注視点領域Ｂ２は、距離情報におけるデータ上の領域（位置の範囲）であり、注視点Ｂ１に基づく領域である。予測軌跡領域Ａ２と同様に、注視点領域Ｂ２は、目標位置Ｔの候補となる領域である。注視点領域Ｂ２が狭いほど、目標位置Ｔの候補となる領域が狭くなり、目標位置Ｔの精度が向上し得る。一方、注視点領域Ｂ２が狭いほど、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれない可能性が高くなり、目標位置Ｔを特定できない可能性が高くなる。また、注視点領域Ｂ２が広いほど、目標位置Ｔの候補となる領域が広くなり、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれやすくなる。一方、注視点領域Ｂ２が広いほど、目標位置Ｔの精度は悪くなり得る（ただし、予測軌跡領域Ａ２の広さによる）。
　注視点Ｂ１に対応する注視点領域Ｂ２の範囲（単に「注視点領域Ｂ２の範囲」とも言う）（例えば広さ）は、様々に設定可能である。［例４］注視点領域Ｂ２は、注視点Ｂ１と一致してもよい。注視点領域Ｂ２は、点状または線状の領域でもよい。［例４ａ］この場合、現在の（ある瞬間の）注視点Ｂ１を注視点領域Ｂ２としてもよい。［例４ｂ］ある時間内での注視点Ｂ１の軌跡を注視点領域Ｂ２としてもよい。この「ある時間」は、一定時間でもよく、下記の第２所定時間などと同様に様々に設定されてもよい（下記の［例５ｂ］の「ある時間」も同様）。［例５］注視点領域Ｂ２は、広がりを有する領域でもよい。［例５ａ］この場合、現在の（ある瞬間の、１点の）注視点Ｂ１を含む、広がりを有する領域を、注視点領域Ｂ２としてもよい。［例５ｂ］また、ある時間内での注視点Ｂ１の軌跡を含む、広がりを有する領域を注視点領域Ｂ２としてもよい。
　［例６］オペレータＯの注視点Ｂ１は常時揺れ動いているところ、オペレータＯが特に見ていると推定される領域を、注視点領域Ｂ２としてもよい。さらに詳しくは、コントローラ４０は、図５に示すように、ある時間（第２所定時間）内での頻度を含む注視点Ｂ１の分布に基づいて、注視点領域Ｂ２を設定してもよい。なお、図５では、点で示す複数の注視点Ｂ１のうち、一部の注視点Ｂ１にのみ符号を付した。［例６ａ］具体的には、注視領域設定部は、前記距離情報を複数の領域に分け、注視点Ｂ１が含まれた回数を各領域で計測することで、注視点Ｂ１の頻度の分布を算出することができる。コントローラ４０（注視領域設定部）は、前記距離情報における複数の領域の中で、注視点Ｂ１の頻度が、閾値ｔｈ１（注視点領域設定閾値）よりも大きい領域を注視点領域Ｂ２とする。［例６ａ１］例えば、注視領域設定部は、前記距離情報をメッシュ状に複数の領域に分け、各領域での注視点Ｂ１の頻度の分布を算出してもよい。［例６ａ２］図５に示す例では、図５における左右方向の注視点Ｂ１の頻度の分布が示されている。［例６ａ３］図５における上下方向の注視点Ｂ１の頻度の分布が算出されてもよい。
　［例７ａ］上記［例６］において、注視点Ｂ１の分布を取得する時間（第２所定時間）は、一定時間でもよい。［例７ｂ］上記［例６］において、注視点領域Ｂ２を決定するための閾値ｔｈ１は、一定値でもよい。
　［例８］注視点Ｂ１に対応する注視点領域Ｂ２の範囲（以下、単に「注視点領域Ｂ２の範囲」とも言う）は、何らかの条件に応じて変えられても（設定されても）よい。具体的には、上記の第２所定時間および閾値ｔｈ１の少なくともいずれかは、何らかの条件に応じて変えられてもよい。第２所定時間を長くするほど注視点領域Ｂ２は広くなる。閾値ｔｈ１を小さくするほど、注視点領域Ｂ２は広くなる。［例８ａ］注視点Ｂ１と注視点領域Ｂ２との関係は、オペレータＯなどが入力した情報に応じて変えられてもよい。
　［例８ｂ］コントローラ４０は、図２に示す先端装置２５の移動速度に応じて、注視点領域Ｂ２の範囲を変えてもよい（設定してもよい）。先端装置２５の移動速度は、例えば、ステップＳ２２で算出される先端装置２５の位置の単位時間当たりの変化量として算出される。例えば、先端装置２５の移動速度が速いほど、オペレータＯが実際の作業目標位置を見る時間が短いと考えられる。したがって、コントローラ４０は、先端装置２５の移動速度が速いほど、第２所定時間を短く設定してもよい。なお、この例はあくまで一例であり（以下の具体例も同様）、コントローラ４０は、先端装置２５の速度が速いほど第２所定時間を長く設定してもよい。
　［例８ｃ］コントローラ４０は、姿勢検出部３１に検出されたアタッチメント２０の姿勢に応じて、注視点領域Ｂ２の範囲を変えてもよい。［例８ｄ］コントローラ４０は、種類情報取得部３５に取得された先端装置２５の種類情報に応じて、注視点領域Ｂ２の範囲を変えてもよい。
　［例８ｅ］コントローラ４０は、オペレータ情報取得部３６に取得されたオペレータＯ情報に応じて、注視点領域Ｂ２を変えてもよい、すなわち、注視点に対応する注視点領域Ｂ２の範囲を設定してもよい。具体的には例えば、オペレータＯによって、実際の作業目標位置を注視する時間、および注視点Ｂ１の揺れ動きの度合いが相違する。例えば、オペレータＯが熟練者であるほど、注視点Ｂ１の揺れ動きが少ないと考えられる。そこで、コントローラ４０は、オペレータＯの熟練度が高いほど注視点領域Ｂ２を狭く設定してもよく、また、オペレータＯの熟練度が低いほど注視点領域Ｂ２を広く設定してもよい。具体的には例えば、この場合、コントローラ４０は、第２所定時間を短くしてもよく、閾値ｔｈ１を高くしてもよい。
　［例８ｆ］コントローラ４０は、注視点領域Ｂ２の範囲を、学習により変えてもよい（調整してもよい）。例えば、コントローラ４０の判定部は、前記目標位置推定部が目標位置Ｔを推定した後（ステップＳ４３の後）、第３所定時間内に、先端装置２５（さらに詳しくは特定位置２５ｔ）が目標位置Ｔに到達したか否かを判定することができる。そして、コントローラ４０は、その判定結果に応じて、注視点領域Ｂ２を変える。具体的には例えば、上記［例３ｆ］と同様に、作業機械１の作業の開始時には、注視点領域Ｂ２をできるだけ広くしておくことで、予測軌跡領域Ａ２に注視点領域Ｂ２が含まれやすくする。そして、作業機械１の作業中に、目標位置Ｔの推定が行われる。目標位置Ｔが推定された後、ある時間（第３所定時間）内に、先端装置２５が目標位置Ｔに実際に到達した場合は、目標位置Ｔの推定が妥当であったことになる。この場合、コントローラ４０は、目標位置Ｔの精度を向上させるために、注視点領域Ｂ２を狭くしてもよい。また、コントローラ４０は、目標位置Ｔの推定が妥当であった回数が所定回数を超えた場合に、注視点領域Ｂ２を狭くしてもよい。一方、目標位置Ｔが推定されたのち、第３所定時間内に先端装置２５が目標位置Ｔに移動しなかった場合には、目標位置Ｔの推定が妥当ではなかったことになる。この場合、コントローラ４０は、注視点領域Ｂ２を広く設定することで、目標位置Ｔの候補となる領域を広げてもよい。これにより、オペレータＯの実際の作業目標位置が、目標位置Ｔに含まれやすくなる。
　オペレータＯの実際の作業目標位置は、通常１か所であるため、注視点領域Ｂ２は通常１か所である。図２に示す例では、注視点領域Ｂ２は１か所である。一方、注視点領域Ｂ２の条件を満たす領域が複数箇所に存在する（互いに離れた位置に存在する）場合も考えられる。この場合は、注視点領域Ｂ２の条件を満たす複数の領域を、そのまま注視点領域Ｂ２としてもよい。また、この場合は、上記「複数の領域」を含むような範囲であって、現在の注視点領域Ｂ２よりも広い１か所の範囲を、新たな注視点領域Ｂ２としてもよい。
　（目標位置Ｔの算出（ステップＳ４０））
　コントローラ４０は、予測軌跡領域Ａ２および注視点領域Ｂ２に基づいて、目標位置Ｔを算出する（推定する）（ステップＳ４０）。この算出の詳細は次の通りである。
　コントローラ４０は、予測軌跡領域Ａ２の範囲内かつ注視点領域Ｂ２の範囲内である重複領域Ｃを算出する（ステップＳ４１）。なお、重複領域Ｃが存在しない場合は、目標位置Ｔは算出されない。この場合は、例えば、次回の処理から、予測軌跡領域Ａ２および注視点領域Ｂ２の少なくともいずれかを、現在（今回の処理）よりも広く設定することが望ましい。
　次に、除外領域取得部３７（図３参照）によって取得された除外領域Ｄが、コントローラ４０に入力される。除外領域Ｄは、目標位置Ｔから除外されるべき領域である。具体的には例えば、作業機械１が土砂を掘削する作業を行う場合、土砂の運搬車両が存在する領域、および、建物が存在する領域などは、オペレータＯの実際の作業目標位置ではない。そこで、実際の作業目標位置とはならない当該領域が除外領域Ｄに設定される。そして、コントローラ４０は、重複領域Ｃから除外領域Ｄを除外する（ステップＳ４２）。除外領域Ｄは、例えばオペレータＯなどが入力した情報に基づいて取得されてもよい。除外領域Ｄは、距離情報検出部３４の距離情報に基づいて自動的に設定されてもよく、距離情報検出部３４以外の検出部（カメラなど）に取得された画像に基づいて自動的に設定されてもよい。
　コントローラ４０（目標位置推定部）は、重複領域Ｃから除外領域Ｄを除いた領域を、目標位置Ｔとして設定する（ステップＳ４３）。目標位置Ｔは、例えば所定の時間ごとに更新される。目標位置Ｔは、様々に利用可能であり、例えば操作のアシスト、操作のガイダンス、操作の訓練、操作の自動化（例えば視線Ｂ０による操作）などに利用できる。
　（背景の例）
　建設現場での人手不足が問題となっており、特に、熟練オペレータ不足による建設現場の生産性の低下が問題となっている。さらに詳しくは、非熟練オペレータは、熟練オペレータに比べて、無駄な操作が多く安定した作業を行うことが難しいため、生産性の低下の要因になっている。さらに具体的には、非熟練オペレータは、作業目標位置を特定しても、その位置に素早く無駄なく先端装置２５を移動させ停止させるなどの技量がないことがある。また、作業機械１の種類（大きさや、後方小旋回機であるか否かなど）によって、上部旋回体１５やアタッチメント２０の慣性力や特性が変わる。このため、ある機種の操作に慣れたオペレータでも、作業機械１の種類が変わるごとに、作業機械１の特性を理解して操作できるようになるまでに時間がかかる。上記の問題を改善するには、操作のアシスト、操作のガイダンス、操作の訓練、操作の自動化などが考えられるところ、これらには、具体的な目標位置Ｔの特定が必要である。なお、この背景の例に関する問題点は、本実施形態によって必ずしも解決されなくてもよい。
　また、自動車の運転者の走行目標位置は、通常、決められた走行車線上である。一方、作業機械１では、様々な位置がオペレータＯの作業目標位置となり得る。例えば、作業機械１では、成形しようとする土の形状に対して、現状の土の状態や形状などを加味して、ある程度自由な範囲でオペレータＯが作業目標位置を決める。このため、オペレータＯの視線Ｂ０の情報のみから作業目標位置を推定することは困難である。一方、本実施形態では、以下のように作業機械１のオペレータＯの作業目標位置を推定できる。
　（効果）
　図２に示す目標位置推定装置３０による効果は次の通りである。なお、コントローラ４０については図３を参照する。
　目標位置推定装置３０は、アタッチメント２０の先端部に設けられる先端装置２５を備える作業機械１に用いられる。図３に示すように、目標位置推定装置３０は、姿勢検出部３１と、操作検出部３２と、視線検出部３３と、距離情報検出部３４と、コントローラ４０と、を備える。姿勢検出部３１は、図２に示す作業機械１の姿勢を検出する。操作検出部３２（図３参照）は、作業機械１の操作を検出する。視線検出部３３（図３参照）は、作業機械１を操作するオペレータＯの視線Ｂ０を検出する。距離情報検出部３４（図３参照）は、作業機械１の前方領域の距離情報を検出する。コントローラ４０は、オペレータＯの目標位置Ｔを推定する。
　図３に示すコントローラ４０は、姿勢検出部３１および操作検出部３２のそれぞれの検出結果に基づいて、図２に示す予測軌跡領域Ａ２を算出する。予測軌跡領域Ａ２は、先端装置２５が通ると予測される軌跡である予測軌跡Ａ１に基づく領域であって、距離情報における領域である。コントローラ４０は、視線検出部３３の検出結果に基づいて、注視点領域Ｂ２を算出する。注視点領域Ｂ２は、オペレータＯの注視点Ｂ１に基づく領域であって、距離情報における領域である。目標位置Ｔの条件には、予測軌跡領域Ａ２の範囲内かつ注視点領域Ｂ２の範囲（重複領域Ｃ）内であることが含まれる。
　上記の構成では、オペレータＯの注視点Ｂ１に基づく注視点領域Ｂ２の範囲内、かつ、先端装置２５の予測軌跡領域Ａ２の範囲内であることが、目標位置Ｔの条件に含まれる。よって、オペレータＯの注視点Ｂ１に関する情報のみに基づいて目標位置Ｔを推定する場合に比べて、オペレータＯの実際の作業目標位置に対する、目標位置Ｔの精度を高くすることができる。したがって、作業機械１のオペレータＯの作業目標位置を精度良く推定できる。
　また、コントローラ４０は、先端装置２５の種類に関する情報に応じて、予測軌跡Ａ１を変える。
　オペレータＯが作業目標位置とする位置（特定位置２５ｔ）は、先端装置２５の種類によって異なる。このため、先端装置２５の種類によって適切な予測軌跡Ａ１が異なる。そこで、目標位置推定装置３０は、上記の構成を備える。よって、先端装置２５の種類に基づいた適切な予測軌跡Ａ１を算出でき、この結果、予測軌跡領域Ａ２を、先端装置２５の種類に基づいた適切な領域（位置、範囲）に設定できる。
　更に、コントローラ４０は、先端装置２５の移動速度に応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を変える。
　上記の構成により、予測軌跡領域Ａ２を、先端装置２５の移動速度に基づいた適切な領域に設定できる。
　例えば、コントローラ４０が予測軌跡領域Ａ２を狭くした（距離Ｌを短くした）場合は、オペレータＯの実際の作業目標位置に対する目標位置Ｔの精度をより向上させることができる。また、コントローラ４０が予測軌跡領域Ａ２を広くした（距離Ｌを長くした）場合は、オペレータＯの実際の作業目標位置を予測軌跡領域Ａ２（目標位置Ｔの候補となる領域）に含まれやすくできる。
　また、コントローラ４０は、アタッチメント２０の姿勢に応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を変える。
　上記の構成により、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を、アタッチメント２０の姿勢に基づいた適切な領域に設定できる。その結果、上記の移動速度の場合と同様の効果を得ることができる。
　また、コントローラ４０は、作業機械１を操作しているオペレータＯに関する情報に応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を変える。
　上記の構成により、予測軌跡領域Ａ２を、オペレータＯに関する情報に基づいた適切な領域に設定できる。その結果、上記の移動速度の場合と同様の効果を得ることができる。
　また、コントローラ４０は、目標位置Ｔを推定した後、第１所定時間内に、先端装置２５が目標位置Ｔに移動したか否かに応じて、予測軌跡Ａ１に対応する予測軌跡領域Ａ２の範囲を変える。
　コントローラ４０（目標位置推定部）が目標位置Ｔを推定した後、第１所定時間内に、先端装置２５が目標位置Ｔに到達した場合は、目標位置Ｔの推定が妥当であったと言える。一方、目標位置Ｔを推定した後、第１所定時間内に、先端装置２５が目標位置Ｔに到達しなかった場合は、目標位置Ｔの推定が妥当でなかったと言える。そこで、目標位置推定装置３０が上記の構成を備えることで、予測軌跡領域Ａ２を、目標位置Ｔの推定が妥当であったか否かに基づいて適切な領域に設定できる。その結果、上記の移動速度の場合と同様の効果を得られる。
　また、コントローラ４０は、第２所定時間内での注視点Ｂ１の頻度を含む分布に基づいて、注視点領域Ｂ２を設定する。
　オペレータＯの視点は揺れ動くので、オペレータＯの注視点Ｂ１が、必ずしもオペレータＯの実際の作業目標位置に一致するとは限らない。そこで、目標位置推定装置３０が上記の構成を備えることで、オペレータＯの実際の作業目標位置である可能性が高い領域を、注視点領域Ｂ２として設定できる。
　例えば、コントローラ４０が注視点領域Ｂ２を広くした場合は、オペレータＯの実際の作業目標位置に対する目標位置Ｔの精度をより向上させることができる。また、コントローラ４０が注視点領域Ｂ２を狭くした場合は、オペレータＯの実際の作業目標位置を注視点領域Ｂ２（目標位置Ｔの候補となる領域）に含まれやすくできる。
　また、コントローラ４０は、先端装置２５の移動速度に応じて、注視点Ｂ１に対応する注視点領域Ｂ２の範囲を変える。
　上記の構成により、注視点領域Ｂ２の範囲を、先端装置２５の移動速度に応じた適切な範囲に設定できる。その結果、上記の注視点Ｂ１の分布の場合と同様の効果を得ることができる。
　また、コントローラ４０は、作業機械１を操作しているオペレータＯに関する情報に応じて、注視点Ｂ１に対応する注視点領域Ｂ２の範囲を変えることができる。
　上記の構成により、注視点領域Ｂ２を、オペレータＯに関する情報に基づいた適切な領域に設定できる。その結果、上記の注視点Ｂ１の場合と同様の効果を得ることができる。
　また、コントローラ４０は、目標位置Ｔを推定した後、第３所定時間内に、先端装置２５が目標位置Ｔに移動したか否かに応じて、注視点Ｂ１に対応する注視点領域Ｂ２の範囲を変える。
　上記の構成により、注視点領域Ｂ２を、目標位置Ｔの推定が妥当であったか否かに基づいて適切な領域に設定できる。その結果、上記の注視点Ｂ１の場合と同様の効果を得られる。
　また、コントローラ４０は、目標位置Ｔから除外する領域である除外領域Ｄを取得する。目標位置Ｔの条件には、除外領域Ｄの外部であることが含まれる。
　上記の構成により、オペレータＯの作業目標位置ではないと想定される領域を除外領域Ｄに設定した場合、目標位置Ｔの精度をより向上させることができる。
　（変形例）
　例えば、図３に示されるブロック図における回路の接続は変更されてもよい。例えば、図４に示されるフローチャートのステップの順序が変更されてもよく、ステップの一部が行われなくてもよい。例えば、上記実施形態の構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部分（構成要素）として説明したものが、一つの部分とされてもよい。例えば、一つの部分として説明したものが、互いに異なる複数の部分に分けて設けられてもよい。
　例えば、目標位置推定装置３０（図２、図３を参照）の構成要素の一部が、図２に示す作業機械１の外部に配置されてもよい。例えば、コントローラ４０が、作業機械１の外部に配置されてもよい。オペレータＯは、作業機械１の外部で作業機械１を遠隔操縦してもよい。この場合、座席１７、操作部１８、操作検出部３２（図４参照）、および視線検出部３３は、作業機械１の外部に配置される。この場合、オペレータＯは、作業機械１の周囲の画像が映された画面を見ながら操作し、視線検出部３３は、このオペレータＯの視線Ｂ０（画面のどこを見ているか）を検出する。
　例えば、上記のように、予測軌跡領域Ａ２は予測軌跡Ａ１と一致してもよく（線状の領域でもよく）、注視点領域Ｂ２は注視点Ｂ１と一致してもよい（点状または線状でもよい）。予測軌跡領域Ａ２および注視点領域Ｂ２の少なくともいずれかは、空間的広がりを有する領域であることが好ましい。
　例えば、何らかの条件に応じて予測軌跡Ａ１、予測軌跡領域Ａ２、注視点Ｂ１および注視点領域Ｂ２を変える例を示したが、各例の一部のみが行われてもよい。例えば、除外領域Ｄは設定されなくてもよい。また、上記の複数の処理のうちの一部の処理のみが実行されてもよい。
　更に、上記の実施形態では、作業機械１の上部旋回体１５の旋回動作を前提とする態様にて説明したが、上部旋回体１５が旋回動作を行わずに、アタッチメント２０のみが作動する（姿勢変更する）態様でもよい。たとえば、図１においてオペレータＯがブーム、アームを上部旋回体１５の手前に回動させ、点Ｂ１よりも更に手前に先端装置２５（バケット先端）を着地させるような作業を行う場合にも、本発明に係る目標位置推定装置３０によって目標位置Ｔを予め推定することができる。
　本発明によって提供されるのは、オペレータが搭乗することを許容するキャブを含む機械本体と前記機械本体に装着されるアタッチメントと前記アタッチメントの先端部に設けられる先端装置とを有する作業機械においてオペレータにより想定される目標位置を推定する装置である。当該目標位置推定装置は、前記作業機械の姿勢に関する情報である姿勢情報を検出する姿勢検出部と、オペレータが前記作業機械を操作するための情報である操作情報を検出する操作検出部と、オペレータの視線に関する情報である視線情報を検出する視線検出部と、前記作業機械の前方領域の距離情報を検出する距離情報検出部と、オペレータが前記作業機械を操作して前記先端装置を移動させる際にオペレータが想定する前記先端装置の目標位置を推定するコントローラと、を備える。前記コントローラは、前記姿勢検出部によって検出される前記姿勢情報および前記操作検出部によって検出される前記操作情報に基づいて、前記先端装置が通過すると予測される軌跡である予測軌跡を含む領域であって前記距離情報に関連付けられた領域である予測軌跡領域を設定する軌跡領域設定部と、前記視線検出部によって検出される前記視線情報に基づいて、オペレータの注視点を含む領域であって前記距離情報に関連付けられた領域である注視領域を設定する注視領域設定部と、前記軌跡領域設定部によって設定される前記予測軌跡領域と前記注視領域設定部によって設定される前記注視領域とが互いに重なる領域に基づいて、前記先端装置の前記目標位置を推定する目標位置推定部と、を有する。
　上記の構成において、前記先端装置の種類に関する情報である種類情報を取得する種類情報取得部を更に備え、前記軌跡領域設定部は、前記種類情報取得部によって取得される前記種類情報に応じて前記予測軌跡を設定することが望ましい。
　上記の構成において、前記軌跡領域設定部は、前記先端装置の移動速度に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変えることが望ましい。
　上記の構成において、前記姿勢検出部は、前記機械本体に対する前記アタッチメントの姿勢に関する情報であるアタッチメント姿勢情報を検出することが可能であり、前記軌跡領域設定部は、前記アタッチメント姿勢情報に応じて、前記予測軌跡に対応する前記予測軌跡領域の範囲を変えることが望ましい。
　上記の構成において、オペレータに関する情報であるオペレータ情報を取得するオペレータ情報取得部を更に備え、前記軌跡領域設定部は、前記オペレータ情報取得部によって取得される前記オペレータ情報に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変えることが望ましい。
　上記の構成において、前記コントローラは、前記目標位置推定部が前記先端装置の前記目標位置を推定してから所定時間内に前記先端装置が前記目標位置に到達したか否かを判定する判定部を更に有し、前記軌跡領域設定部は、前記判定部の判定結果に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変えることが望ましい。
　上記の構成において、前記注視領域設定部は、所定時間内における前記注視点の頻度の分布に基づいて前記注視領域を設定することが望ましい。
　上記の構成において、前記注視領域設定部は、前記先端装置の移動速度に応じて前記注視点に対応する前記注視領域の範囲を変えることが望ましい。
　上記の構成において、オペレータに関する情報であるオペレータ情報を取得するオペレータ情報取得部を更に備え、前記注視領域設定部は、前記オペレータ情報に応じて前記注視点に対応する前記注視点領域の範囲を変えることが望ましい。
　上記の構成において、前記コントローラは、前記目標位置推定部が前記先端装置の前記目標位置を推定してから所定時間内に前記先端装置が前記目標位置に到達したか否かを判定する判定部を有し、前記軌跡領域設定部は、前記判定部の判定結果に応じて前記注視点に対応する前記注視領域の範囲を変えることが望ましい。
　上記の構成において、前記目標位置から除外されるべき領域である除外領域に関する情報を取得する除外領域取得部を更に備え、前記目標位置推定部は、前記軌跡領域設定部によって設定される前記予測軌跡領域と前記注視領域設定部によって設定される前記注視領域とが互いに重なる領域であってかつ前記除外領域を除いた領域に基づいて、前記先端装置の前記目標位置を推定することが望ましい。

Claims (11)

  1. 　オペレータが搭乗することを許容するキャブを含む機械本体と前記機械本体に装着されるアタッチメントと前記アタッチメントの先端部に設けられる先端装置とを有する作業機械においてオペレータにより想定される目標位置を推定する作業機械の目標位置推定装置であって、
    　前記作業機械の姿勢に関する情報である姿勢情報を検出する姿勢検出部と、
    　オペレータが前記作業機械を操作するための情報である操作情報を検出する操作検出部と、
    　オペレータの視線に関する情報である視線情報を検出する視線検出部と、
    　前記作業機械の前方領域の距離情報を検出する距離情報検出部と、
    　オペレータが前記作業機械を操作して前記先端装置を移動させる際にオペレータが想定する前記先端装置の目標位置を推定するコントローラと、
    　を備え、
    　前記コントローラは、
    　前記姿勢検出部によって検出される前記姿勢情報および前記操作検出部によって検出される前記操作情報に基づいて、前記先端装置が通過すると予測される軌跡である予測軌跡を含む領域であって前記距離情報に関連付けられた領域である予測軌跡領域を設定する軌跡領域設定部と、
    　前記視線検出部によって検出される前記視線情報に基づいて、オペレータの注視点を含む領域であって前記距離情報に関連付けられた領域である注視領域を設定する注視領域設定部と、
    　前記軌跡領域設定部によって設定される前記予測軌跡領域と前記注視領域設定部によって設定される前記注視領域とが互いに重なる領域に基づいて、前記先端装置の前記目標位置を推定する目標位置推定部と、
    を備える、作業機械の目標位置推定装置。
  2. 　請求項１に記載の作業機械の目標位置推定装置であって、
    　前記先端装置の種類に関する情報である種類情報を取得する種類情報取得部を更に備え、
    　前記軌跡領域設定部は、前記種類情報取得部によって取得される前記種類情報に応じて前記予測軌跡を設定する、作業機械の目標位置推定装置。
  3. 　請求項１または２に記載の作業機械の目標位置推定装置であって、
    　前記軌跡領域設定部は、前記先端装置の移動速度に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変える、作業機械の目標位置推定装置。
  4. 　請求項１～３のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　前記姿勢検出部は、前記機械本体に対する前記アタッチメントの姿勢に関する情報であるアタッチメント姿勢情報を検出することが可能であり、
    　前記軌跡領域設定部は、前記アタッチメント姿勢情報に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変える、作業機械の目標位置推定装置。
  5. 　請求項１～４のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　オペレータに関する情報であるオペレータ情報を取得するオペレータ情報取得部を更に備え、
    　前記軌跡領域設定部は、前記オペレータ情報取得部によって取得される前記オペレータ情報に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変える、作業機械の目標位置推定装置。
  6. 　請求項１～５のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　前記コントローラは、前記目標位置推定部が前記先端装置の前記目標位置を推定してから所定時間内に前記先端装置が前記目標位置に到達したか否かを判定する判定部を更に有し、
    　前記軌跡領域設定部は、前記判定部の判定結果に応じて前記予測軌跡に対応する前記予測軌跡領域の範囲を変える、作業機械の目標位置推定装置。
  7. 　請求項１～６のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　前記注視領域設定部は、所定時間内における前記注視点の頻度の分布に基づいて前記注視領域を設定する、作業機械の目標位置推定装置。
  8. 　請求項１～７のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　前記注視領域設定部は、前記先端装置の移動速度に応じて前記注視点に対応する前記注視領域の範囲を変える、作業機械の目標位置推定装置。
  9. 　請求項１～８のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　オペレータに関する情報であるオペレータ情報を取得するオペレータ情報取得部を更に備え、
    　前記注視領域設定部は、前記オペレータ情報に応じて前記注視点に対応する前記注視領域の範囲を変える、作業機械の目標位置推定装置。
  10. 　請求項１～９のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　前記コントローラは、前記目標位置推定部が前記先端装置の前記目標位置を推定してから所定時間内に前記先端装置が前記目標位置に到達したか否かを判定する判定部を有し、
    　前記軌跡領域設定部は、前記判定部の判定結果に応じて前記注視点に対応する前記注視領域の範囲を変える、作業機械の目標位置推定装置。
  11. 　請求項１～１０のいずれか１項に記載の作業機械の目標位置推定装置であって、
    　前記目標位置から除外されるべき領域である除外領域に関する情報を取得する除外領域取得部を更に備え、
    　前記目標位置推定部は、前記軌跡領域設定部によって設定される前記予測軌跡領域と前記注視領域設定部によって設定される前記注視領域とが互いに重なる領域であってかつ前記除外領域を除いた領域に基づいて、前記先端装置の前記目標位置を推定する、作業機械の目標位置推定装置。
PCT/JP2019/050518 2019-02-19 2019-12-24 作業機械の目標位置推定装置 WO2020170599A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19916476.5A EP3901382B1 (en) 2019-02-19 2019-12-24 Work machine target position estimation device
CN201980091912.5A CN113396257B (zh) 2019-02-19 2019-12-24 工程机械的目标位置推定装置
US17/428,459 US11959256B2 (en) 2019-02-19 2019-12-24 Work machine target position estimation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-027435 2019-02-19
JP2019027435A JP7159903B2 (ja) 2019-02-19 2019-02-19 目標位置推測装置

Publications (1)

Publication Number Publication Date
WO2020170599A1 true WO2020170599A1 (ja) 2020-08-27

Family

ID=72144319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050518 WO2020170599A1 (ja) 2019-02-19 2019-12-24 作業機械の目標位置推定装置

Country Status (5)

Country Link
US (1) US11959256B2 (ja)
EP (1) EP3901382B1 (ja)
JP (1) JP7159903B2 (ja)
CN (1) CN113396257B (ja)
WO (1) WO2020170599A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113646487B (zh) * 2019-04-04 2023-07-07 株式会社小松制作所 包含作业机械的***、由计算机执行的方法、学习完成的姿态推断模型的制造方法、以及学习用数据
KR20230047091A (ko) 2020-08-05 2023-04-06 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 무선통신 장치 및 무선통신 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145787A1 (ja) * 2016-02-23 2017-08-31 ソニー株式会社 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム
JP2018185763A (ja) 2017-04-27 2018-11-22 トヨタ自動車株式会社 注視領域推定装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10458099B2 (en) * 2004-08-26 2019-10-29 Caterpillar Trimble Control Technologies Llc Auto recognition of at least one standoff target to determine position information for a mobile machine
US8473166B2 (en) * 2009-05-19 2013-06-25 Topcon Positioning Systems, Inc. Semiautomatic control of earthmoving machine based on attitude measurement
JP6258582B2 (ja) * 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
CN105425967B (zh) * 2015-12-16 2018-08-28 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位***
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
AU2016402225B2 (en) * 2016-04-04 2022-02-10 Topcon Positioning Systems, Inc. Method and apparatus for augmented reality display on vehicle windscreen
WO2018029927A1 (ja) * 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
WO2018179384A1 (ja) * 2017-03-31 2018-10-04 株式会社小松製作所 作業車両の制御システム、作業機の軌跡設定方法、及び作業車両
JP7074432B2 (ja) * 2017-06-26 2022-05-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145787A1 (ja) * 2016-02-23 2017-08-31 ソニー株式会社 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム
JP2018185763A (ja) 2017-04-27 2018-11-22 トヨタ自動車株式会社 注視領域推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3901382A4

Also Published As

Publication number Publication date
US11959256B2 (en) 2024-04-16
JP2020133229A (ja) 2020-08-31
EP3901382A1 (en) 2021-10-27
EP3901382A4 (en) 2022-04-06
CN113396257A (zh) 2021-09-14
CN113396257B (zh) 2022-07-08
EP3901382B1 (en) 2023-05-03
US20220106774A1 (en) 2022-04-07
JP7159903B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
US8498806B2 (en) Hydraulic shovel positional guidance system and method of controlling same
KR101815268B1 (ko) 건설 기계의 표시 시스템 및 그 제어 방법
JP5706050B1 (ja) 作業車両
CN105121751B (zh) 作业车辆
KR102606049B1 (ko) 건설 기계
JP2017179961A (ja) 建設機械
JP7408761B2 (ja) 作業機械の制御装置および制御方法
WO2020170599A1 (ja) 作業機械の目標位置推定装置
JP7439053B2 (ja) ショベル及びショベルの管理装置
US20140156125A1 (en) Autonomous electronic apparatus and navigation method thereof
KR102154581B1 (ko) 작업 기계
KR102659076B1 (ko) 쇼벨
JP6454383B2 (ja) 建設機械の表示システムおよびその制御方法
JP2021008776A (ja) ショベル
JP2024514793A (ja) 機械状態を決定するための方法およびシステム
US20220002970A1 (en) Excavator
CN112601867B (zh) 作业机械
US20210395982A1 (en) System and method for work machine
US20230339402A1 (en) Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
US20210372079A1 (en) Shovel and system
JP2007002429A (ja) 自走式の作業機械及び自走式の作業機械の遠隔操縦システム
JPWO2020202393A1 (ja) 作業機械
US20230383496A1 (en) Systems and methods for determining poor implement penetration
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
WO2024135603A1 (ja) ショベルの施工支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916476

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019916476

Country of ref document: EP

Effective date: 20210719

NENP Non-entry into the national phase

Ref country code: DE