WO2021117285A1 - 作業機械の遠隔操作支援システム - Google Patents

作業機械の遠隔操作支援システム Download PDF

Info

Publication number
WO2021117285A1
WO2021117285A1 PCT/JP2020/028110 JP2020028110W WO2021117285A1 WO 2021117285 A1 WO2021117285 A1 WO 2021117285A1 JP 2020028110 W JP2020028110 W JP 2020028110W WO 2021117285 A1 WO2021117285 A1 WO 2021117285A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
operator
moving body
distance
work machine
Prior art date
Application number
PCT/JP2020/028110
Other languages
English (en)
French (fr)
Inventor
龍一 廣瀬
佐々木　均
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/778,917 priority Critical patent/US20220412055A1/en
Priority to CN202080083150.7A priority patent/CN114729521B/zh
Priority to EP20900452.2A priority patent/EP4050162B1/en
Publication of WO2021117285A1 publication Critical patent/WO2021117285A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • the present invention relates to a remote control support system that supports remote control of a work machine.
  • a device for detecting an intruding moving object that detects the invasion of an intruding moving object within a predetermined range such as a working range of a remotely operated construction machine is disclosed (see, for example, Patent Document 1).
  • Patent Document 1 discloses an intruding mobile detection device that detects the intrusion of a moving mobile M that invades a predetermined range such as a working range of a remotely controlled construction machine.
  • a third party may interfere with the operator who remotely controls the work machine. If the third party interferes with the operator, the operator is required to interrupt the operation.
  • an object of the present invention is to provide a remote control support system used to support an operator who remotely controls a work machine.
  • the present invention relates to a remote control support system used to support remote control of a work machine using a remote control device by an operator.
  • the present invention is provided at a predetermined position of the remote control device, and is acquired by a distance acquisition unit that acquires information on a distance to a moving body, an attribute acquisition unit that acquires an attribute to which the moving body belongs, and a distance acquisition unit. Based on the information about the distance obtained and the attributes acquired by the attribute acquisition unit, the obstacle determination unit that determines the high or low possibility that the remote operation will be interrupted, and the remote control according to the determination result of the obstacle determination unit. It is characterized by having a support control unit that performs control for supporting the operation.
  • the remote control support system is used to support an operator who remotely controls a work machine.
  • the hindrance determination unit determines the high or low possibility that the remote control will be hindered based on the information regarding the distance detected by the distance acquisition unit and the attributes acquired by the attribute acquisition unit. Then, since the support control unit performs control according to the determination result, the operator can receive support for remote control of the work machine.
  • the block diagram of the remote control support system as one Embodiment of this invention.
  • the figure of the remote control device as one Embodiment of this invention.
  • the figure of the working machine as one Embodiment of this invention.
  • the flowchart of the remote control support system as one Embodiment of this invention.
  • the block diagram of the remote control support system as another embodiment of this invention.
  • the remote control support system S as an embodiment of the present invention shown in FIG. 1 is composed of at least a remote control device 20 and a remote control device 200 included in the remote control device 20.
  • the details of the remote control device 20 and the remote control device 200 will be described later.
  • the remote control device 200 may be provided in the server 30 on the cloud. The details of the server 30 will be described later. Further, the remote control support system S may be a concept including a work machine 40 that is remotely controlled by the remote control device 20.
  • remote control is a concept in which the operator OP operates the work machine from a position away from the work machine 40 without boarding the work machine 40.
  • the operator OP can operate the work machine 40 from a position away from the work machine 40 by using the remote control device 20.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, a remote output interface 220, a distance detection device 230, a remote control imaging device 240, and an attribute database 250.
  • the remote control device 200 includes a distance acquisition unit 201, an attribute acquisition unit 202, a trouble determination unit 203, and a support control unit 204. Further, the remote control device 200 is composed of an arithmetic processing unit (single core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data. Performs arithmetic processing according to the software.
  • arithmetic processing unit single core processor or multi-core processor or a processor core constituting the same
  • the distance acquisition unit 201 acquires information on the distance from the operator OP to the moving body M located around the operator OP.
  • the distance from the operator OP to the moving body M is detected by the distance detecting device 230.
  • the details of the distance detection device 230 will be described later.
  • the attribute acquisition unit 202 acquires the attribute to which the mobile body M belongs from the attribute database 250.
  • the attribute acquisition unit 202 analyzes the captured image captured by the remote-controlled imaging device 240 using a known technique to analyze the size and shape of the moving body M included in the captured image. Can be recognized. Further, the attribute acquisition unit 202 extracts a mobile M candidate having an attribute (for example, a shape) most similar to the mobile M from the mobile M candidates stored in advance in the attribute database 250. Further, the attribute acquisition unit 202 refers to the attribute possessed by the extracted candidate of the moving body M, and acquires the attribute to which the moving body M belongs. The details of the remote-controlled imaging device 240 and the attribute database 250 will be described later.
  • the attribute is a concept that includes at least information on the activity of the mobile body M. Further, as the concept of the attribute, information representing the type, name, age, gender of the mobile body M and the characteristics of the mobile body M may be included.
  • the information on the activity of the mobile body M is the information that the activity is high because the mobile body M is an animal, the information that the activity is lower than that of the animal because the mobile body M is a human, and the mobile body M is. Information that the activity is higher than that of an adult because it is a child, information that the activity is higher than that of a single mobile body M because it is an animal and exists in a plurality of animals.
  • the attribute may include the image data of the moving body M. For example, it is image data of a face photograph in the moving body M.
  • the information on the activity of the mobile body M includes the information on the character of the mobile body M.
  • the moving body M has a high activity because it has a character that likes mischief, and there is a high possibility that the operator OP will be mischievous and interfere with the remote control of the work machine 40.
  • This example is only an example, and since the moving body M has no relationship with the operator OP, the activity is high in the relationship with the operator, which interferes with the remote control performed by the operator OP and hinders the remote control.
  • the information representing the characteristics of the moving body M may be information that there is a high possibility that the remote control of the work machine 40 will be hindered because it is unknown when the moving body M will jump to the operator because the moving body M is a dog.
  • the hindrance determination unit 203 has attributes based on the information regarding the distance from the operator OP to the moving body M acquired by the distance acquisition unit 201 and the information regarding the attributes of the moving body M acquired by the attribute acquisition unit 202. With reference to the table stored in the database 250, it is determined whether or not the mobile body M is likely to interfere with the remote operation performed by the operator OP.
  • the determination performed by the obstacle determination unit 203 there is an example in which the determination is performed based on the information regarding the time series of the moving body M.
  • the obstacle determination unit 203 uses the moving body M. Judges that there is a high possibility that the remote operation performed by the operator OP will be hindered.
  • the obstacle determination unit 203 indicates that the moving body M is the operator OP. Judge that it is unlikely to interfere with the remote operation to be performed.
  • the obstacle determination unit 203 is based on the information on the distance from the operator OP to the moving body M acquired by the distance acquisition unit 201 and the information on the attributes of the moving body M acquired by the attribute acquisition unit 202. , The determination may be made by calculating the high or low possibility that the mobile body M will interfere with the remote operation performed by the operator OP by using the function stored in the attribute database 250.
  • the function used in this case is a function that is output based on the value of X in which Y is input by using a function in which X is the main variable and Y is the dependent variable.
  • this function is just one example of a function for making a decision.
  • the table and the like are stored in the attribute database 250 described later.
  • the obstacle determination unit 203 determines that the shorter the distance from the operator OP to the moving body M, the higher the possibility that the moving body M will cause an obstacle to the remote control performed by the operator OP.
  • the obstacle determination unit 203 determines that the farther the distance from the operator OP to the moving body M is, the less likely it is that the moving body M will interfere with the remote control performed by the operator OP.
  • the obstacle determination unit 203 determines that the faster the moving body M approaches the operator OP, the higher the possibility that the moving body M will interfere with the remote control performed by the operator OP.
  • the obstacle determination unit 203 determines that the slower the speed at which the moving body M approaches the operator OP, the lower the possibility that the moving body M will interfere with the remote control performed by the operator OP.
  • the obstacle determination unit 203 determines that the farther the moving body M is from the operator OP, the less likely it is that the moving body M will interfere with the remote control performed by the operator OP.
  • the obstacle determination unit 203 determines that the higher the activity of the moving body M, the higher the possibility that the moving body M will cause an obstacle to the remote control performed by the operator OP.
  • the obstacle determination unit 203 determines that the lower the activity of the moving body M, the lower the possibility that the moving body M will interfere with the remote control performed by the operator OP.
  • the obstacle determination unit 203 sets a risk threshold value of 10 for determining that the moving body M is likely to cause an obstacle to the remote control performed by the operator, and the risk threshold value is set to 10 or more. If this is the case, it is determined that the moving body M is likely to interfere with the remote control performed by the operator OP.
  • the risk threshold is set in advance using a table or a function.
  • the case where the operator's pet (dog) is 1 meter behind the operator will be described.
  • the distance from the operator OP acquired by the distance acquisition unit 201 to the moving body M is 1 meter, it is determined that the danger index value is 5 in light of a preset table.
  • the moving body M acquired by the attribute acquisition unit 202 is a pet dog and has a higher activity than a human, it is determined that the danger index value is 5 in light of a preset table.
  • the risk index value is preset using a table or a function.
  • the danger threshold value of 10 is reached, and the obstacle determination unit 203 determines that there is a high possibility that the dog will interfere with the remote control performed by the operator OP.
  • the instructor who gives the operator guidance on the operation is 1 meter behind the operator.
  • the distance from the operator OP acquired by the distance acquisition unit 201 to the moving body M is 1 meter, it is determined that the danger index value is 5 in light of a preset table.
  • the moving body M acquired by the attribute acquisition unit 202 is a leader of the operator OP and has a low activity, it is determined that the danger index value is 0 in light of a preset table.
  • the obstacle determination unit 203 determines that it is unlikely that the instructor will interfere with the remote control performed by the operator OP.
  • the attribute acquisition unit 202 compares the table stored in the attribute database 250 with the moving body M (suspicious person). If the attribute to which the mobile object M (suspicious person) belongs cannot be acquired, it is determined that the danger index value of the moving body M (suspicious person) is 10.
  • the attribute database 250 will be described later.
  • the obstacle determination unit 203 determines the moving body M (suspicious person). Judges that there is a high possibility that the remote control performed by the operator OP will be hindered.
  • the remote input interface 210 includes a remote control mechanism 211 described later.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 450 of the work machine 40.
  • the traveling lever may also serve as a traveling pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • the right operating lever 2111 functions as a boom lever when operated in the front-rear direction and as a bucket lever when operated in the left-right direction.
  • the left operating lever 2112 functions as a swivel lever when operated in the front-rear direction.
  • the lever pattern may be arbitrarily changed according to an operator's operation instruction.
  • the support control unit 204 is composed of a computer unit or the like including a CPU, a RAM, a ROM, and a flash memory.
  • the ROM of the support control unit 204 stores a program for causing the computer unit to function as the support control unit 204. That is, when the CPU executes the program stored in the ROM, the computer unit functions as the support control unit 204.
  • the support control unit 204 has a function of controlling the operation of the work machine 40 according to the determination result of the obstacle determination unit 203. More specifically, when the obstacle determination unit 203 determines that there is a high possibility of causing an obstacle to the remote operation performed by the operator (for example, when the danger index value is 10 or more), the support control unit 204 determines. By controlling the torque of the engine of the work machine 40, the operation lever, the brake, and the like, the work machine 40 is stopped, decelerated, and the like with respect to the operation.
  • the support control unit 204 determines that there is a high possibility of hindering the remote operation performed by the operator, for example, the traveling operation device and the turning operation device input to the remote operation mechanism 211 by the operation of the operator OP. , The transmission of the operation amount of the boom operation device, the arm operation device, the bucket operation device, etc. to the work machine 40 is stopped, and the actuator operating in the work machine 40 is automatically stopped.
  • the support control unit 204 determines that it is unlikely to interfere with the remote operation performed by the operator, for example, the traveling operation device and the turning operation device input to the remote control mechanism 211 by the operation of the operator OP. Operates on the work machine 40 by limiting the amount of operation (limited to the maximum value of the amount of operation) of the operation device, boom operation device, arm operation device, bucket operation device, etc. and transmitting it to the work machine 40. Automatically decelerates the operating actuator.
  • the support control unit 204 controls to notify the operator OP of the detected information on the moving body M regardless of the high or low possibility of interfering with the remote control performed by the operator.
  • the notification control for example, the image output device 221 of the remote output interface 220 displays that the moving body M has been detected.
  • the information stored in the attribute database 250 may be displayed, and an alarm sound may be accompanied by the display.
  • the notification content may be changed according to the attribute and the distance of the moving body M. The work machine 40 will be described later.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222, which will be described later.
  • the image output device 221 is provided on the remote control device 20 and is arranged diagonally forward to the right, forward, and diagonally forward to the left of the seat St on which the operator OP is seated. It is composed of an image output device 2211, a front image output device 2212, and a left diagonal front image output device 2213.
  • the image output devices 2211 to 2213 may include speakers (audio output devices) (not shown).
  • the work machine 40 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the distance detection device 230 may be any device that can detect the distance from the operator OP output from the distance detection device 230 to the moving body M.
  • the distance detection device 230 is a TOF (Time Of Flight) sensor. This example is only an example, and the distance detection device 230 may be a proximity sensor or a stereo camera.
  • the distance detection device 230 can appropriately set a detection area (detection distance, detection width) which is an area for detecting the distance from the distance detection device 230 to the moving body M.
  • a detection area detection distance, detection width
  • the distance detection device 230 is provided at a predetermined position of the remote control device 20. Of course, only one distance detection device 230 may be provided in the remote control device 20, or a plurality of distance detection devices 230 may be provided.
  • the distance detection device 230 is provided with the distance detection device 230 on the seat St, and the direction of the distance detection device 230 is directed to the rear of the operator OP. Then, the distance from the back of the operator OP seated on the seat St to the moving body M (suspicious person) approaching the operator OP is detected.
  • the direction of the distance detection device 230 may be any direction as long as the distance from the operator OP to the moving body M can be measured.
  • the distance detection device 230 detects the distance from the operator OP to the moving body M with reference to the position of the seat St.
  • the distance detection device 230 does not need to point the distance detection device 230 at the wall surface.
  • the detection area of the distance detection device 230 is set excluding the right direction of the operator.
  • the distance detection device 230 sets the area to the right of the operator OP from the detection area. Exclude from the detection area in advance.
  • the distance detection device 230 does not detect the distance to the operator OP for the moving body M approaching the operator OP from the right direction of the operator OP.
  • the remote-controlled imaging device 240 has a function of imaging the surroundings of the operator OP.
  • the remote-controlled imaging device 240 preferably has a function of imaging the rear and left-right directions of the operator OP.
  • the remote-controlled imaging device 240 images the suspicious person when the suspicious person approaches the operator OP from behind the operator OP.
  • the remote control image pickup device 240 constantly images the door of the remote control room and monitors whether or not a suspicious person enters. It may be a camera.
  • the remote-controlled imaging device 240 does not necessarily have to image the operator OP, and for example, an area excluding the sheet St is set as a detection area.
  • the remote-controlled imaging device 240 is a video camera, which is installed above the image output device 221 and images the rear of the operator OP.
  • the remote-controlled imaging device 240 may be a zenith camera.
  • the remote control imaging device 240 is installed on the ceiling of the remote control room and images 360 ° around the operator OP.
  • the remote-controlled imaging device 240 may be a stereo camera. In this case, since the remote-controlled imaging device 240 can detect the distance from the operator OP to the moving body M (suspicious person), it can also function as the distance detecting device 230.
  • the attribute database 250 may be any storage device capable of storing the candidates of the mobile body M and the attributes (information) of the mobile body M.
  • the storage device is an HDD (Hard Disk Drive).
  • the storage device includes SD (registered trademark) memory card (Secure Digital memory card), CF (Compact Flash), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versaille Disk). It may be a portable storage medium such as.
  • the attribute database 250 stores a table in which information on the activity of the mobile body and the risk index value for the mobile body are associated with each other. A risk index regarding the activity of each moving body is set in advance in this table.
  • the attribute database 250 may store a function for calculating the risk index value of the moving object based on the information on the activity of the moving object.
  • a function for calculating the risk index value of the moving object is a function that is output based on the value of X in which Y is input using a function in which X is the principal variable and Y is the slave variable.
  • this function is just one example of a function for making a decision.
  • the work machine 40 is, for example, a work machine that can be operated at a construction site.
  • the work machine 40 includes at least one of a construction machine capable of pushing or excavating earth and sand and a transport vehicle capable of transporting earth and sand.
  • Construction machinery includes at least one of a hydraulic excavator with a bucket and a bulldozer with blades.
  • the transport vehicle includes a dump truck having a vessel and the like.
  • the construction machine may be a demolition machine, a crane, a wheel loader, a motor grader, or the like.
  • the work machine 40 has, as components, an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, a swivel mechanism 430, an operating mechanism (work attachment) 440, a lower traveling body 450, and an upper swivel body. It includes a 460, a driver's cab 470, and a machine room 480 (FIG. 3). Of course, not all of these configurations are required as needed.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the actual machine control device 400 performs the above-mentioned arithmetic processing, and controls at least one of stopping and decelerating operations (running, turning, undulation, gripping, crushing, cutting, suction, winding, excavation, etc.) in the work machine 40. I do.
  • the actual machine input interface 410 includes an actual machine operation mechanism 411 and a work site imaging device 412.
  • the actual machine operation mechanism 411 includes a plurality of actual machine operation levers (not shown) arranged in the same manner as the remote control mechanism 211 around the driver's cab seat arranged inside the driver's cab 470.
  • a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever (not shown) based on the signal reception is provided in the driver's cab 470.
  • the driver's cab 470 will be described later.
  • the work site imaging device 412 is installed inside the driver's cab 470, for example, and images an environment including at least a part of the operating mechanism 440 through the front window of the driver's cab 470.
  • the actual device output interface 420 includes an actual device wireless communication device 421.
  • the work machine 40 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the swivel mechanism 430 is arranged between the lower frame 451 of the lower traveling body 450 and the upper frame 461 of the upper swivel body 460.
  • the swivel mechanism 430 connects the upper frame 461 to the lower frame 451 so as to be swivel around the horizontal axis with the swivel axis a as the axis.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 460, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443.
  • the tip attachment 445 which is connected to the above, is provided.
  • the tip attachment 445 is a bucket.
  • the tip attachment 445 is a crushing device.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a tip cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the lower traveling body 450 includes a lower frame 451 and a pair of crawlers 452 provided on both sides of the lower frame 451.
  • the crawler 452 is driven by a traveling hydraulic motor (not shown) which is a hydraulic actuator.
  • the lower traveling body 450 is not limited to the traveling body composed of the lower frame 451 and the crawler 452, and may be capable of mounting the turning mechanism 430 and the work attachment 440 and traveling. Just do it.
  • the traveling body may be a traveling body that moves on wheels or a leg-type traveling body.
  • the traveling body may be a pontoon or the like.
  • the upper swivel body 460 is provided with an upper frame 461, and the upper frame 461 is provided with a work attachment 440, a driver's cab 470, and a machine room 480.
  • the driver's cab 470 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the signal reception. Further, in the driver's cab 470, the driver who actually gets on the work machine 40 operates the work machine 40 (running, turning, undulation, gripping, crushing, suction, winding, excavation, etc.), turning the upper turning body 460, and so on. In addition, various devices (for example, emergency stop switch, monitor, etc.) for operating the work machine 40, such as an actual machine operation lever (not shown) for operating the movement of the lower traveling body 450, may be provided.
  • various devices for example, emergency stop switch, monitor, etc.
  • the machine room 480 contains an oil tank (not shown) and a hydraulic circuit device (not shown).
  • the distance acquisition unit 201 acquires information on the distance from the predetermined position (for example, the seat St on which the operator OP sits) to the moving body M (suspicious person).
  • the attribute acquisition unit 202 acquires the attribute to which the mobile body M belongs from the attribute database 250. If NO is determined in STEP2, the process proceeds to STEP6.
  • the obstacle determination unit 203 determines whether the attribute of the moving body M interferes with the remote control. Specifically, the risk threshold value is calculated based on the distance acquired by the distance acquisition unit 201 and the attribute acquired by the attribute acquisition unit 202, and the high or low possibility of the trouble is determined.
  • the support control unit 204 controls to stop or decelerate the operation of the work machine 40.
  • the operation of the work machine 40 is stopped when there is a high possibility that the trouble will occur, and the operation of the work machine 40 is decelerated when there is a low possibility that the trouble will occur. If there is no possibility that the problem will occur (if NO is determined in STEP2), the process proceeds to STEP6.
  • control is performed to notify the operator OP of the existence of the moving body M.
  • a part of the above flowchart may be modified in such a manner that the operator can receive support for remote control according to the determination result of the obstacle determination unit 203.
  • the high or low possibility that the remote control will be hindered is determined based on the distance detected by the distance acquisition unit 201, and then the remote control is hindered based on the attributes acquired by the attribute acquisition unit 202.
  • Control to support remote control can also be performed by determining the magnitude of the possibility that That is, it may have two or more determination units for determining the high or low possibility of hindering remote control.
  • the remote control support system according to the present invention can also be applied to such a case.
  • the attribute acquisition unit 202 has described an example of acquiring the attributes of the mobile body M from the attribute database 250, but the present invention is not limited to such an example.
  • the moving body M is a pet (dog, etc.)
  • a collar is attached to the neck of the pet
  • an identifier for identifying the pet is attached to the collar
  • the identifier is read by a reader to obtain an attribute acquisition unit.
  • 202 may acquire the attribute of the moving body M.
  • the identifier is a QR code (registered trademark)
  • the QR code registered trademark
  • the QR code registered trademark
  • the QR code registered trademark
  • the unit 202 may acquire the attribute of the moving body M.
  • an IC tag RFID
  • the IC tag RFID
  • the attribute acquisition unit 202 may acquire the attributes of the pet.
  • IC codes As other examples of identifiers, IC codes, barcodes, matrix barcodes, data matrix codes, dedicated codes, triangle codes, numeric barcodes, alphanumeric barcodes, two-dimensional barcodes, symbols, figures, handwritten characters, etc. Examples include letters, numbers, alphanumeric characters, elephant characters, pictograms, syllable characters, barcode characters, and groups consisting of combinations thereof.
  • a code reader or the like can be mentioned as a device for reading an identifier.
  • the characters (pet name) can be directly read, the characters (pet name) can be read by using a known technique (OCR or the like).
  • the obstacle determination unit 203 determines the possibility of causing trouble for each moving body M.
  • the risk threshold value is set to 10 in advance, and when the obstacle determination unit 203 acquires the information that there are a plurality of mobile bodies M, each mobile body M causes a trouble. It may be determined that there is a high possibility of causing it.
  • the distance between the operator OP and each of the plurality of moving bodies M does not matter.
  • the obstacle determination unit 203 may determine that each dog is likely to cause an obstacle when it acquires the information that there are two pets (dogs) behind the operator OP.
  • each dog can interfere with the remote control performed by the operator OP. Judged as having high sex.
  • the obstacle determination unit 203 does not need to determine the possibility of causing an obstacle.
  • the danger threshold is 0, and it can be determined that the moving body M is unlikely to cause any trouble. In this case, the operation of the work machine is not stopped or decelerated.
  • the present invention is not limited to such an example.
  • the attribute database 250 stores in advance information that the relationship between the operator OP and his / her colleague is incompatible. Further, in the attribute database 250, information that the risk threshold value of the colleague is 0 and information that the risk threshold value of the colleague is 5 when the operator OP is performing remote control are stored in advance. ..
  • the obstacle determination unit 203 determines that the danger threshold value is 5 because the distance from the operator OP acquired by the distance acquisition unit 201 to the moving body M is 1 meter. Further, the attribute acquisition unit 202 acquires information that the risk threshold value of the colleague is 5 when the operator OP is performing remote control. Then, since the risk thresholds are 10 in total, the obstacle determination unit 203 determines that there is a high possibility that the colleague will interfere with the remote control performed by the operator OP.
  • the remote control device 200 is included in the remote control device 20, but the remote control device 200 is not limited to such an example.
  • the remote control device 200 may be provided in the server 30 by using cloud technology (FIG. 5).
  • the remote control device 20, the server 30, and the work machine 40 are connected via a network, and remote control via the network becomes possible.
  • the attribute database 250 may be provided in the server 30 or the remote control device 200.
  • the remote control device 200 is included in the remote control device 20, but the remote control device 200 is not limited to such an example.
  • the remote control device 200 may be mounted on the work machine 40 (not shown).
  • the attribute database 250 is included in the remote control device 20, but the present invention is not limited to such an example.
  • the attribute database 250 may be provided in the server 30 by using cloud technology.
  • the remote control device 20, the server 30, and the work machine 40 are connected via a network, and remote control via the network becomes possible.
  • another server (not shown) different from the server 30 may include the attribute database 250.
  • the attribute database 250 is included in the remote control device 20, but the present invention is not limited to such an example.
  • the attribute database 250 may be mounted on the work machine 40 (not shown).
  • the support control unit controls the operation of the work machine to be stopped when the obstacle determination unit determines that the remote operation performed by the operator is likely to interfere.
  • the support control unit controls to stop the operation of the work machine.
  • the operation of the work machine can be stopped before the operator interrupts the remote control.
  • the support control unit controls the operation of the work machine to be decelerated when the obstacle determination unit determines that the remote operation performed by the operator is unlikely to be disturbed.
  • the support control unit controls to decelerate the operation of the work machine. As a result, it is possible to prevent the operator from being unnecessarily careful and prevent the workability from becoming too poor.
  • S Remote control support system
  • 20 Remote control device
  • 30 Server
  • 40 Work machine
  • 200 Remote control device
  • 201 Distance acquisition unit
  • 202 Attribute acquisition unit
  • 203 Obstacle judgment unit
  • 204 Support control Department
  • 250 ... Attribute database.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

作業機械を遠隔操作するオペレータＯＰを支援するために用いられる遠隔操作支援システムを提供することを目的とする。係る目的を達成するため、本発明の遠隔操作支援システムは、オペレータＯＰから移動体Ｍまでの距離に関する情報を取得する距離取得部２０１と、移動体Ｍが属する属性を取得する属性取得部２０２と、距離取得部２０１が取得した距離と属性取得部２０２が取得した属性とに基づいて、遠隔操作に支障が出る可能性の高低を判定する支障判定部２０３と、支障判定部２０３の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部２０４と、を有する。

Description

作業機械の遠隔操作支援システム
　本発明は、作業機械の遠隔操作を支援する遠隔操作支援システムに関する。
　遠隔操作される建設機械の作業範囲などの所定範囲内への侵入移動体の侵入を検出する侵入移動体検出装置が開示されている（例えば、特許文献１参照）。
特開平１０－７２８５１号公報
　特許文献１においては、遠隔操作される建設機械の作業範囲などの所定範囲内への侵入する移動体Ｍの侵入を検出する侵入移動体検出装置が開示されている。
　ところで、作業機械を遠隔操作するオペレータに対して、第三者が干渉してくる場合がある。当該第三者がオペレータに干渉してくる場合には、オペレータは操作を中断することが求められる。
　そこで、本発明は、作業機械を遠隔操作するオペレータを支援するために用いられる遠隔操作支援システムを提供することを目的とする。
　本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムに関する。
　本発明は、前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、前記移動体が属する属性を取得する属性取得部と、前記距離取得部が取得した距離に関する情報と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有することを特徴とする。
　本発明に係る遠隔操作支援システムは、作業機械を遠隔操作するオペレータを支援するために用いられる。本発明によれば、支障判定部は、距離取得部が検出した距離に関する情報と、属性取得部が取得した属性とに基づいて、遠隔操作に支障が出る可能性の高低を判定する。そして、支援制御部が前記判定結果に応じた制御を行うので、オペレータは、作業機械の遠隔操作の支援を受けることができる。
本発明の一実施形態としての遠隔操作支援システムのブロック図。 本発明の一実施形態としての遠隔制御装置の図。 本発明の一実施形態としての作業機械の図。 本発明の一実施形態としての遠隔操作支援システムのフローチャート図。 本発明の他の実施形態としての遠隔操作支援システムのブロック図。
　図１に示されている本発明の一実施形態としての遠隔操作支援システムＳは、少なくとも遠隔操作装置２０、遠隔操作装置２０が備える遠隔制御装置２００により構成されている。なお、遠隔操作装置２０及び遠隔制御装置２００の詳細については、後述する。
　また、遠隔制御装置２００は、クラウド上のサーバ３０に備えられていてもよい。なお、サーバ３０の詳細については、後述する。また、遠隔操作支援システムＳは、さらに、遠隔操作装置２０によって、遠隔操作される作業機械４０を含む概念としてもよい。
　ここで、遠隔操作とは、オペレータＯＰが、作業機械４０に搭乗せずに、作業機械４０と離れた位置から作業機械を操作する概念である。本発明において、オペレータＯＰは、遠隔操作装置２０を使用して、作業機械４０と離れた位置から当該作業機械４０を操作することができる。
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、距離検出装置２３０と、遠隔操作撮像装置２４０、属性データベース２５０と、を備えている。
　遠隔制御装置２００は、距離取得部２０１と、属性取得部２０２と、支障判定部２０３と、支援制御部２０４と、を備えている。また、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　距離取得部２０１は、オペレータＯＰからオペレータＯＰの周辺に位置する移動体Ｍまでの距離に関する情報を取得する。オペレータＯＰから移動体Ｍまでの距離は、距離検出装置２３０によって、検出される。なお、距離検出装置２３０の詳細については、後述する。
　属性取得部２０２は、属性データベース２５０から、移動体Ｍが属する属性を取得する。例えば、属性取得部２０２は、遠隔操作撮像装置２４０が撮像した撮像画像を、公知の技術を用いて、画像解析をすることにより、その撮像画像に含まれる移動体移動体Ｍの大きさ、形状を認識することができる。また、属性取得部２０２は、属性データベース２５０に予め記憶された移動体Ｍの候補の中から、その移動体Ｍに最も類似する属性（例えば、形状）を有する移動体Ｍ候補を抽出する。また、属性取得部２０２は、抽出された移動体Ｍの候補が有する属性を参照し、その移動体Ｍが属する属性を取得する。なお、遠隔操作撮像装置２４０及び属性データベース２５０の詳細については、後述する。
　属性とは、少なくとも移動体Ｍの活性度に関する情報を含む概念である。また、属性の概念として、移動体Ｍの種類、氏名、年齢、性別及び移動体Ｍの特徴を表す情報を含んでもよい。移動体Ｍの活性度に関する情報とは、その移動体Ｍが動物であるから活性度が高いという情報、その移動体Ｍが人間であるから活性度が動物より低いという情報、その移動体Ｍが子供であるから活性度が成人より高いという情報、その移動体Ｍが動物であり、複数存在するから、単体で存在する場合よりも活性度が高いという情報等である。勿論、属性は、移動体Ｍの画像データを含んでもよい。例えば、移動体Ｍにおける顔写真の画像データである。
　また、移動体Ｍの活性度に関する情報とは、その移動体Ｍの性格に関する情報を含む。例えば、その移動体Ｍは、いたずらが好きな性格なので活性度が高く、オペレータＯＰにいたずらをして、作業機械４０の遠隔操作に支障をきたす可能性が高いという情報である。この例は一例に過ぎず、その移動体Ｍは、そのオペレータＯＰと不仲なので、そのオペレータとの関係において活性度が高く、そのオペレータＯＰが行う遠隔操作の邪魔をして、その遠隔操作に支障をきたす可能性が高いという情報でもよいし、その移動体Ｍは、おとなしい性格なので活性度が低く、そのオペレータＯＰが行う遠隔操作の邪魔をすることなく、作業機械の遠隔操作に支障をきたす可能性が低いという情報でもよい。
　勿論、移動体Ｍの特徴を表す情報は、その移動体Ｍは犬なので、いつオペレータに飛び掛かるか不明であるから、作業機械４０の遠隔操作に支障をきたす可能性が高いという情報でもよい。
　支障判定部２０３は、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離に関する情報と、属性取得部２０２にて取得された移動体Ｍの属性に関する情報と、に基づき、属性データベース２５０に記憶されたテーブルを参照して、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性の高低を判定する。
　また、支障判定部２０３が行う判定の他の例として、移動体Ｍの時系列に関する情報に基づいて、判定を行う例が挙げられる。
　例えば、この場合、所定の時刻に関する時刻情報と、その時刻における移動体の位置に関する位置情報と、を取得し、移動体がオペレータＯＰに接近している場合、支障判定部２０３は、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　他方、所定の時刻に関する時刻情報と、その時刻における移動体の位置に関する位置情報と、を取得し、移動体がオペレータＯＰに遠ざかっている場合、支障判定部２０３は、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
　勿論、支障判定部２０３は、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離に関する情報と、属性取得部２０２にて取得された移動体Ｍの属性に関する情報と、に基づき、属性データベース２５０に記憶された関数を用いて移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性の高低を算出することにより、判定をしてもよい。なお、この場合に用いられる関数は、Ｘを主変数、Ｙを従変数とする関数を用いてＹが入力されたXの値に基づいて、出力される関数である。勿論、この関数は、判定を行うための関数の一例に過ぎない。
　また、前記テーブル等は、後述する属性データベース２５０に記憶されている。
　例えば、支障判定部２０３は、オペレータＯＰから移動体Ｍまでの距離が短ければ短いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　他方、支障判定部２０３は、オペレータＯＰから移動体Ｍまでの距離が遠ければ遠いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
　また、例えば、支障判定部２０３は、移動体ＭがオペレータＯＰに接近する速度が速ければ速いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　また、例えば、支障判定部２０３は、移動体ＭがオペレータＯＰに接近する速度が遅ければ遅いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。勿論、支障判定部２０３は、移動体ＭがオペレータＯＰに遠ざかれば遠ざかるほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
　また、例えば、支障判定部２０３は、移動体Ｍの活性度が高ければ高いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　他方、支障判定部２０３は、移動体Ｍの活性度が低ければ低いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
　具体的には、支障判定部２０３は、移動体Ｍがオペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定するための危険閾値を１０と設定し、その危険閾値が１０以上となる場合、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。なお、危険閾値は、テーブルや関数を用いて、予め設定されている。
　ここで、オペレータのペット（犬）が、オペレータの後方１メートルにいる場合について説明する。この場合、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離は１メートルであるから、予め設定されたテーブルに照らして、危険指標値は５であると判定する。また、属性取得部２０２にて取得された移動体Ｍは、ペットの犬であり、活性度は人間より高いので、予め設定されたテーブルに照らして、危険指標値は５であると判定する。なお、危険指標値は、テーブルや関数を用いて、予め設定されている。
　そうすると、危険指標値は合わせて１０になるので、危険閾値の１０に達し、支障判定部２０３は、その犬がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　一方、オペレータに対して操作の指導を行う指導者が、オペレータの後方1メートルにいる場合について説明する。この場合、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離は1メートルであるから、予め設定されたテーブルに照らして、危険指標値は５であると判定する。また、属性取得部２０２にて取得された移動体Ｍは、オペレータＯＰの指導者であり活性度が低いので、予め設定されたテーブルに照らして、危険指標値は０であると判定する。
　そうすると、危険指標値は合わせても５にしかならないので、支障判定部２０３は、その指導者がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性は低いと判定する。
　支障判定部２０３における判定の他の例として、以下の例が挙げられる。
　例えば、移動体Ｍが属性データベース２５０に予め記憶されていない不審者の場合であって、属性取得部２０２が、属性データベース２５０に記憶されたテーブルに照らして、から、移動体Ｍ（不審者）が属する属性を取得することができなかった場合、その移動体Ｍ（不審者）の危険指標値は１０であると判定する。なお、属性データベース２５０については、後述する。
　そうすると、オペレータＯＰからその移動体Ｍ（不審者）までの距離に関わらず、危険指標値は１０になり、危険閾値の１０に達するので、支障判定部２０３は、その移動体Ｍ（不審者）がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　遠隔入力インターフェース２１０は、後述する遠隔操作機構２１１を備えている
　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４５０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部又は下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モーターを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が、左右横並びに配置されている。右側操作レバー２１１１は、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能する。左側操作レバー２１１２は、前後方向に操作された場合に旋回レバーとして機能する。なお、レバーパターンは、オペレータの操作指示により任意に変更されてもよい。
　支援制御部２０４は、ＣＰＵと、ＲＡＭと、ＲＯＭと、フラッシュメモリと、を備えたコンピュータユニット等によって構成されている。
　支援制御部２０４のＲＯＭには、当該コンピュータユニットを支援制御部２０４として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＯＭに記憶されたプログラムを実行することにより、当該コンピュータユニットは、支援制御部２０４として機能する。
　例えば、支援制御部２０４は、支障判定部２０３の判定結果に応じて、作業機械４０の動作を制御する機能を有する。より具体的には、支障判定部２０３が、オペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定した場合（例えば、危険指標値が１０以上の場合）、支援制御部２０４は、作業機械４０のエンジンのトルク、操作レバー及びブレーキ等を制御することにより、作業機械４０の動作に対する停止、減速等を実行する。
　支援制御部２０４は、オペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定した場合、例えば、オペレータＯＰの操作により遠隔操作機構２１１に入力される走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置、バケット用操作装置等の操作量の作業機械４０への伝達を停止するとともに、作業機械４０で動作しているアクチュエータを自動停止させる。
　また、支援制御部２０４は、オペレータの行う遠隔操作に対して支障をきたす可能性が低いと判定した場合、例えば、オペレータＯＰの操作により遠隔操作機構２１１に入力される走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置、バケット用操作装置等の操作量に制限（操作量の最大値に制限）をかけて作業機械４０への伝達することで、作業機械４０で動作しているアクチュエータを自動減速させる。
　また、支援制御部２０４は、オペレータの行う遠隔操作に対して支障をきたす可能性の高低に関わらず検出した移動体Ｍに関する情報をオペレータＯＰに報知する制御を行う。報知制御は、例えば、遠隔出力インターフェース２２０の画像出力装置２２１に移動体Ｍが検出されたことに関する表示がされる。当該表示と同時に属性データベース２５０に記憶されている情報の表示が行われてもよく、警報音が付随して鳴るようにしてもよい。また、移動体Ｍの属性や距離に応じて報知内容を変更してもよい。なお、作業機械４０については、後述する。
　遠隔出力インターフェース２２０は、後述する画像出力装置２２１及び遠隔無線通信機器２２２を備えている
　画像出力装置２２１は、例えば図２に示されているように、遠隔操作装置２０に設けられオペレータＯＰが着座するシートＳｔの右斜め前方、前方及び左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２及び左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカー（音声出力装置）（不示図）を備えていてもよい。
　遠隔無線通信機器２２２は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　距離検出装置２３０は、距離検出装置２３０から出力されるオペレータＯＰから移動体Ｍまでの距離を検出することができる装置であればよい。例えば、距離検出装置２３０は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサである。この例は一例に過ぎず、距離検出装置２３０は、近接センサでもよいし、ステレオカメラでもよい。
　また、距離検出装置２３０は、距離検出装置２３０から移動体Ｍまでの距離を検出するエリアである検出エリア（検出距離、検出幅）を適宜設定可能である。
　また、距離検出装置２３０は、遠隔操作装置２０の所定箇所に設けられる。勿論、距離検出装置２３０は、遠隔操作装置２０に１個だけ設けてもよいし、複数個設けてもよい。
　例えば、距離検出装置２３０は、シートＳｔに距離検出装置２３０を設け、距離検出装置２３０の向きは、オペレータＯＰの後方に向ける。そして、シートＳｔに着座したオペレータＯＰの背後から当該オペレータＯＰに近づいてくる移動体Ｍ（不審者）までの距離を検出する。勿論、距離検出装置２３０の向きは、当該オペレータＯＰから移動体Ｍまでの距離を測ることができる方向であればよい。
　すなわち、距離検出装置２３０は、シートＳｔの位置を基準として、オペレータＯＰから移動体Ｍまでの距離を検出する。
　なお、距離検出装置２３０は、オペレータＯＰから遠隔操作装置２０が設置されている遠隔操作室（図示せず）の壁面までの距離が短い場合、距離検出装置２３０を当該壁面に向ける必要はない。
　例えば、シートＳｔの背もたれからシートＳｔの右方向にある壁面までの距離が１０ｃｍである場合、距離検出装置２３０の検出エリアについては、オペレータの右方向を除外して設定する。
　すなわち、シートＳｔから壁面までの距離が短く、移動体ＭがオペレータＯＰの右方向からオペレータＯＰに近づくことができない場合、距離検出装置２３０は、その検出エリアから、オペレータＯＰの右方向のエリアを予め検出エリアから除外する。
　換言すると、距離検出装置２３０は、オペレータＯＰの右方向からオペレータＯＰに近づいてくる移動体Ｍについては、オペレータＯＰまでの距離を検出しない。
　遠隔操作撮像装置２４０は、オペレータＯＰの周囲を撮像する機能を有する。特に、遠隔操作撮像装置２４０は、オペレータＯＰの後方及び左右方向を撮像する機能を有することが好ましい。例えば、遠隔操作撮像装置２４０は、オペレータＯＰの背後から不審者が、当該オペレータＯＰに接近してきた場合、当該不審者を撮像する。勿論、遠隔操作装置２０が遠隔操作室の室内に設置されている場合、遠隔操作撮像装置２４０は、常時、遠隔操作室のドアを撮像し、不審者が入ってくるか否かを監視する監視カメラであってもよい。なお、遠隔操作撮像装置２４０は、オペレータＯＰを必ずしも撮像する必要はなく、例えば、シートＳｔを除外したエリアが検出エリアとして設定される。
　例えば、遠隔操作撮像装置２４０は、ビデオカメラであり、画像出力装置２２１の上方に設置され、オペレータＯＰの後方を撮像する。勿論、遠隔操作撮像装置２４０は、天頂カメラでもよい。この場合、遠隔操作撮像装置２４０は、遠隔操作室の天井に設置され、オペレータＯＰの周囲３６０°を撮像する。勿論、遠隔操作撮像装置２４０は、ステレオカメラでもよい。この場合、遠隔操作撮像装置２４０は、オペレータＯＰから移動体Ｍ（不審者）までの距離を検出することができるので、距離検出装置２３０としての機能を兼ねることができる。
　属性データベース２５０は、移動体Ｍの候補及び当該移動体Ｍの属性（情報）を記憶することができる記憶装置であればよい。例えば、記憶装置は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、記憶装置は、ＳＤ（登録商標）メモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌメモリカード）、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体であってもよい。
　また、属性データベース２５０は、移動体の活性度に関する情報と、その移動体についての危険指標値と、が関連付けられたテーブルが記憶されている。このテーブルに予め各移動体の活性度に関する危険指標が設定されている。
　勿論、属性データベース２５０は、移動体の活性度に関する情報に基づいて、その移動体の危険指標値を算出するための関数を記憶していてもよい。その関数の例として、Xを主変数、Ｙを従変数とする関数を用いてＹが入力されたXの値に基づいて、出力される関数が挙げられる。勿論、この関数は、判定を行うための関数の一例に過ぎない。
　作業機械４０は、例えば、施工現場において稼働可能な作業機械である。作業機械４０は、土砂を押土又は掘削を実施可能な建設機械、及び土砂を運搬可能な運搬車両の少なくとも一方を含む。建設機械は、バケットを有する油圧ショベル及びブレードを有するブルドーザの少なくとも一方を含む。運搬車両は、ベッセルを有するダンプトラック等を含む。なお、建設機械は、解体機、クレーン、ホイールローダ、モータグレーダ等でもよい。
　作業機械４０は、構成要素として、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、旋回機構４３０と、作動機構（作業アタッチメント）４４０と、下部走行体４５０と、上部旋回体４６０と、運転室４７０と、機械室４８０と、を備えている（図３）。勿論、必要に応じて、これらの構成が全て必要となるわけではない。
　実機制御装置４００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、実機制御装置４００は、前記演算処理を行い、作業機械４０における動作（走行、旋回、起伏、把持、破砕、切断、吸着、巻取り、掘削等）の停止及び減速のうち少なくとも一方に関する制御を行う。
　実機入力インターフェース４１０は、実機操作機構４１１と、作業現場撮像装置４１２と、を備えている。
　実機操作機構４１１は、運転室４７０の内部に配置された運転室内シートの周囲に遠隔操作機構２１１と同様に配置された複数の実機操作レバー（不図示）を備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作レバー（不図示）を動かす駆動機構、又はロボットが、運転室４７０に設けられている。なお、運転室４７０については、後述する。
　作業現場撮像装置４１２は、例えば、運転室４７０の内部に設置され、運転室４７０のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。
　実機出力インターフェース４２０は、実機無線通信機器４２１を備えている。
　実機無線通信機器４２１は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　旋回機構４３０は、下部走行体４５０のロアフレーム４５１と上部旋回体４６０のアッパーフレーム４６１との間に配置されている。旋回機構４３０は、旋回軸線ａを軸線として、ロアフレーム４５１に対してアッパーフレーム４６１を水平軸回りに旋回可能に連結している。
　作動機構としての作業アタッチメント４４０は、上部旋回体４６０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されている先端アタッチメント４４５と、を備えている。例えば、作業機械４０が、掘削作業を行う場合、先端アタッチメント４４５は、バケットである。また、例えば、作業機械４０が、解体作業を行う場合、先端アタッチメント４４５は、破砕装置である。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４及び先端シリンダ４４６が装着されている。
　下部走行体４５０は、ロアフレーム４５１と、ロアフレーム４５１の両側に設けられた一対のクローラ４５２と、を備えている。クローラ４５２は、油圧アクチュエータである走行用油圧モータ（不示図）によって駆動される。
　なお、下部走行体４５０は、ロアフレーム４５１と、クローラ４５２と、によって構成された走行体に限定されるものではなく、旋回機構４３０及び作業アタッチメント４４０を搭載可能であり、走行可能なものであればよい。例えば、走行体は、車輪で移動する走行体、又は、脚式の走行体であってもよい。また、作業機械が水上で使用されるものである場合には、走行体は、台船等であってもよい。
　上部旋回体４６０は、アッパーフレーム４６１を備えており、アッパーフレーム４６１には、作業アタッチメント４４０、運転室４７０、及び機械室４８０が設けられている。
　運転室４７０は、遠隔操作レバーの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作レバーを動かす駆動機構、又はロボットが、設けられている。また、運転室４７０には、作業機械４０に実搭乗する運転者が作業機械４０の動作（走行、旋回、起伏、把持、破砕、吸着、巻取り、掘削等）、上部旋回体４６０の旋回、及び、下部走行体４５０の移動を操作するための実機操作レバー（不図示）等、作業機械４０を操作するための各種機器（例えば、非常停止スイッチ、モニター等）が設けられていてもよい。
　機械室４８０には、油タンク（不示図）及び油圧回路装置（不示図）が収容されている。
　前記構成の遠隔操作支援システムＳの機能について、図４に示されているフローチャートを参照して、説明する。
　ＳＴＥＰ１において、距離取得部２０１は、所定位置（例えば、オペレータＯＰが着座するシートＳｔ）から移動体Ｍ（不審者）までの距離に関する情報を取得する。
　ＳＴＥＰ２において、ＳＴＥＰ１にて取得した距離が基準値以下であるかを判定する。
　ＳＴＥＰ３（ＳＴＥＰ２においてＹＥＳと判定された場合）において、属性取得部２０２は、属性データベース２５０から、移動体Ｍが属する属性を取得する。また、ＳＴＥＰ２においてＮＯと判定された場合、ＳＴＥＰ６に進む。
　ＳＴＥＰ４において、支障判定部２０３は、移動体Ｍの属性が遠隔操作に支障が出るものかを判定する。具体的には、距離取得部２０１が取得した距離と、属性取得部２０２が取得した属性とに基づいて危険閾値を演算し、当該支障が出る可能性の高低を判定する。
　ＳＴＥＰ５（ＳＴＥＰ４においてＹＥＳと判定された場合）において、支援制御部２０４は、作業機械４０の動作を停止又は減速させるための制御を行う。特に、当該支障が出る可能性の高い場合には作業機械４０の動作を停止させ、当該支障が出る可能性は低いが可能性としてある場合には作業機械４０の動作を減速させる。また、当該支障が出る可能性ない場合（ＳＴＥＰ２においてＮＯと判定された場合）、ＳＴＥＰ６に進む。
　最後に、ＳＴＥＰ６において、移動体Ｍの存在をオペレータＯＰに報知するための制御を行う。上記フローチャートの一部は、オペレータが支障判定部２０３の判定結果に応じた遠隔操作の支援を受けることができる態様において、変更されてもよい。
　（本発明の他の実施形態）
　前記実施形態において、距離取得部２０１が取得した距離に関する情報と、属性取得部２０２が取得した属性と、に基づいて、遠隔操作に支障が出る可能性の高低を判定する例を説明したが、そのような例に限定されない。
　例えば、まず、距離取得部２０１が検出した距離に基づいて、前記遠隔操作に支障が出る可能性の高低を判定し、その後、属性取得部２０２が取得した属性に基づいて、前記遠隔操作に支障が出る可能性の大小を判定することによっても、遠隔操作の支援をするための制御を行うことができる。すなわち、遠隔操作に支障が出る可能性の高低を判定する判定部を２以上有してもよい。このようなケースにも、本発明に係る遠隔操作支援システムを適用することができる。
　前記実施形態において、属性取得部２０２は、属性データベース２５０から、移動体Ｍの属性を取得する例を説明したが、そのような例に限定されない。例えば、移動体Ｍがペット（犬等）である場合、ペットの首に首輪を付け、その首輪にそのペットを識別するための識別子を付し、その識別子をリーダーで読み込むことにより、属性取得部２０２が、移動体Ｍの属性を取得することとしてもよい。例えば、識別子はＱＲコード（登録商標）であり、そのＱＲコード（登録商標）にそのペットを識別するための情報を保持させ、そのＱＲコード（登録商標）をコードリーダーで読み取ることにより、属性取得部２０２が移動体Ｍの属性を取得することとしてもよい。
　勿論、ペットの首に首輪が付けられている場合、その首輪にＩＣタグ（ＲＦＩＤ）を付
し、そのＩＣタグ（ＲＦＩＤ）に、そのペットを識別するための情報を保持させ、そのＩＣタグをＩＣタグリーダー（ＲＦＩＤリーダー）で読み取ることにより、属性取得部２０２が、ペットの属性を取得することとしてもよい。
　なお、識別子の他の例として、ＩＣコード、バーコード、マトリックスバーコード、データマトリックスコード、専用コード、トライアングルコード、数字バーコード、英数字バーコード、２次元バーコード、シンボル、図形、手書き文字、文字、数字、英数字、象形文字、絵文字、音節表記文字、表語文字、及びこれらの組み合わせからなる群等が挙げられる。
　なお、識別子を読み取る装置として、コードリーダー等が挙げられる。また、文字等（ペット名）を直接読み取る場合は、公知の技術（ＯＣＲ等）を用いてその文字（ペット名）を読み取ることができる。
　前記実施形態において、移動体Ｍの存在数が１である場合における支障判定部２０３の例を説明したが、そのような例に限定されない。
　例えば、移動体Ｍが複数存在する場合、支障判定部２０３は、各移動体Ｍについて、支障をきたす可能性を判定する。
　また、例えば、移動体Ｍが複数存在する場合の危険閾値を１０と予め設定し、支障判定部２０３は、移動体Ｍが複数いるという情報を取得した時点で、それぞれの移動体Ｍが支障をきたす可能性が高いと判定してもよい。ここで、オペレータＯＰと、複数存在する移動体Ｍのそれぞれとの距離は問わない。
　具体的には、支障判定部２０３は、ペット（犬）がオペレータＯＰの後方に２匹いるという情報を取得した時点で、それぞれの犬が支障をきたす可能性が高いと判定してもよい。ここで、オペレータＯＰと、各犬との距離が１０メートルであっても、犬がオペレータＯＰの後方に２匹いるので、それぞれの犬が、オペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
　また、例えば、移動体Ｍが一つも存在しない場合、支障判定部２０３は、支障をきたす可能性を判定する必要がない。ここで、移動体Ｍは一つも存在しないので危険閾値は０となり、移動体Ｍが支障をきたす可能性がないと判定することができる。この場合は作業機械の動作を停止させたり、減速させたりしない。
　前記実施形態において、移動体ＭがオペレータＯＰの指導者であり、その指導者がオペレータＯＰの後方1メートルにいる場合における支障判定部２０３の例を説明したが、そのような例に限定されない。
　移動体Ｍが、オペレータＯＰと不仲の同僚であり、その同僚が、オペレータＯＰの右方向1メートルに存在する場合について説明する。この場合、属性データベース２５０には、オペレータＯＰとその同僚との関係性が不仲であるという情報が予め記憶されている。また、属性データベース２５０には、その同僚の危険閾値は０であるという情報と、そのオペレータＯＰが遠隔操作を行っている際におけるその同僚の危険閾値は５であるという情報が予め記憶されている。
　この場合、支障判定部２０３は、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離は1メートルであるから、危険閾値は５であると判定する。また、属性取得部２０２は、そのオペレータＯＰが遠隔操作を行っている際におけるその同僚の危険閾値は５であるという情報を取得する。そうすると、危険閾値は合わせて１０になるので、支障判定部２０３は、その同僚がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性は大きいと判定する。
　前記実施形態において、遠隔制御装置２００が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、クラウド技術を用いて、遠隔制御装置２００をサーバ３０に備えてもよい（図５）。この場合、遠隔操作装置２０と、サーバ３０と、作業機械４０とが、ネットワークを介して接続され、ネットワークを介した遠隔操作が可能となる。この場合、属性データベース２５０は、サーバ３０に備えてられてもよいし、遠隔制御装置２００に備えられてもよい。
　前記実施形態において、遠隔制御装置２００が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、遠隔制御装置２００は、作業機械４０に実装してもよい（不示図）。
　前記実施形態において、属性データベース２５０が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、クラウド技術を用いて、属性データベース２５０をサーバ３０に備えてもよい。この場合、遠隔操作装置２０と、サーバ３０と、作業機械４０とが、ネットワークを介して接続され、ネットワークを介した遠隔操作が可能となる。勿論、サーバ３０とは異なる他のサーバ（不示図）が、属性データベース２５０を備えていてもよい。
　前記実施形態において、属性データベース２５０が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、属性データベース２５０は、作業機械４０に実装してもよい（不示図）。
　本発明において、前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、前記作業機械の動作を停止させる制御を行うことが好ましい。
　本発明によれば、支障判定部において、オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、支援制御部は、作業機械の動作を停止させる制御を行う。これにより、オペレータが遠隔操作を中断する前に作業機械の動作を停止させることができる。
　遠隔操作に支障が出る可能性が高いと判定された場合には作業機械の動作が確実に停止され、そのように判定されない場合には作業機械の動作が継続されるので、オペレータの作業性を確保することができる。
　本発明において、前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合、前記作業機械の動作を減速させる制御を行うことが好ましい。
　本発明によれば、支障判定部において、オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合には、支援制御部は、作業機械の動作を減速させる制御を行う。これにより、オペレータの操作が必要以上に慎重なることを抑止し、作業性が悪くなりすぎることを防止することができる。
Ｓ‥遠隔操作支援システム、２０‥遠隔操作装置、３０‥サーバ、４０‥作業機械、２００‥遠隔制御装置、２０１‥距離取得部、２０２‥属性取得部、２０３‥支障判定部、２０４‥支援制御部、２５０‥属性データベース。
 

Claims (3)

  1. 　オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
    　前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
    　前記移動体が属する属性を取得する属性取得部と、
    　前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
    　前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有する
    　ことを特徴とする遠隔操作支援システム。
  2. 　請求項１に記載の遠隔操作支援システムであって、
    　前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、前記作業機械の動作を停止させる制御を行う
    　ことを特徴とする遠隔操作支援システム。
  3. 　請求項１に記載の遠隔操作支援システムであって、
    　前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合、前記作業機械の動作を減速させる制御を行う
    　ことを特徴とする遠隔操作支援システム。
     
PCT/JP2020/028110 2019-12-10 2020-07-20 作業機械の遠隔操作支援システム WO2021117285A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/778,917 US20220412055A1 (en) 2019-12-10 2020-07-20 Remote operation assistance system for work machine
CN202080083150.7A CN114729521B (zh) 2019-12-10 2020-07-20 作业机械的远程操作辅助***
EP20900452.2A EP4050162B1 (en) 2019-12-10 2020-07-20 Remote operation assistance system for work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-223255 2019-12-10
JP2019223255A JP7400425B2 (ja) 2019-12-10 2019-12-10 作業機械の遠隔操作支援システム

Publications (1)

Publication Number Publication Date
WO2021117285A1 true WO2021117285A1 (ja) 2021-06-17

Family

ID=76313054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028110 WO2021117285A1 (ja) 2019-12-10 2020-07-20 作業機械の遠隔操作支援システム

Country Status (5)

Country Link
US (1) US20220412055A1 (ja)
EP (1) EP4050162B1 (ja)
JP (1) JP7400425B2 (ja)
CN (1) CN114729521B (ja)
WO (1) WO2021117285A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2015226094A (ja) * 2014-05-26 2015-12-14 住友建機株式会社 作業機械用遠隔操作システム
JP2017080845A (ja) * 2015-10-28 2017-05-18 株式会社デンソーウェーブ ロボット制御システム
EP3414982A1 (de) * 2017-06-16 2018-12-19 PÖTTINGER Landtechnik GmbH Verfahren und vorrichtung zum erkennen von tieren in der fahrgasse einer landwirtschaftlichen feldbearbeitungsmaschine
JP2018202531A (ja) * 2017-06-01 2018-12-27 オムロン株式会社 安全制御装置、安全制御装置の制御方法、情報処理プログラム、および記録媒体
KR20190108530A (ko) * 2019-09-04 2019-09-24 엘지전자 주식회사 이동 로봇 및 그의 구동 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2631374B1 (en) * 2010-10-22 2020-09-30 Hitachi Construction Machinery Co., Ltd. Work machine peripheral monitoring device
SE539699C2 (en) * 2016-04-21 2017-10-31 Construction Tools Pc Ab Safety system, method and computer program for remotely controlled work vehicles
JP6729146B2 (ja) * 2016-08-03 2020-07-22 コベルコ建機株式会社 障害物検出装置
WO2018146782A1 (ja) * 2017-02-09 2018-08-16 株式会社小松製作所 作業車両及び表示装置
JP6752168B2 (ja) * 2017-02-27 2020-09-09 日立建機株式会社 ダンプトラック及び後退支援装置
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP7252137B2 (ja) * 2017-12-04 2023-04-04 住友重機械工業株式会社 周辺監視装置
EP3770334B1 (en) * 2018-03-23 2024-03-13 Sumitomo Heavy Industries, Ltd. Shovel

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2015226094A (ja) * 2014-05-26 2015-12-14 住友建機株式会社 作業機械用遠隔操作システム
JP2017080845A (ja) * 2015-10-28 2017-05-18 株式会社デンソーウェーブ ロボット制御システム
JP2018202531A (ja) * 2017-06-01 2018-12-27 オムロン株式会社 安全制御装置、安全制御装置の制御方法、情報処理プログラム、および記録媒体
EP3414982A1 (de) * 2017-06-16 2018-12-19 PÖTTINGER Landtechnik GmbH Verfahren und vorrichtung zum erkennen von tieren in der fahrgasse einer landwirtschaftlichen feldbearbeitungsmaschine
KR20190108530A (ko) * 2019-09-04 2019-09-24 엘지전자 주식회사 이동 로봇 및 그의 구동 방법

Also Published As

Publication number Publication date
JP7400425B2 (ja) 2023-12-19
EP4050162A4 (en) 2023-01-18
JP2021092071A (ja) 2021-06-17
CN114729521A (zh) 2022-07-08
EP4050162B1 (en) 2023-11-15
EP4050162A1 (en) 2022-08-31
US20220412055A1 (en) 2022-12-29
CN114729521B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
JP7407178B2 (ja) ショベル
JP6678142B2 (ja) 作業員接近通知システム
JP7463354B2 (ja) ショベル
US20220074171A1 (en) Display device, shovel, and information processing apparatus
JP7203640B2 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
KR20220041075A (ko) 쇼벨, 정보처리장치
US20210270013A1 (en) Shovel, controller for shovel, and method of managing worksite
US20220042283A1 (en) Shovel
US11643795B2 (en) Work machine information processing device, information management system, and work machine information processing program
WO2021200798A1 (ja) 検出システムおよび検出方法
WO2021117285A1 (ja) 作業機械の遠隔操作支援システム
WO2022070872A1 (ja) 物体検出システム及び物体検出方法
US20230133175A1 (en) Object detection system and method for a work machine using work implement masking
JP7492203B1 (ja) 監視装置及び監視方法
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
US20220306218A1 (en) Work vehicle undercarriage clearance system and method
JP6671273B2 (ja) 作業装置を装備した作業車
JP2023074040A (ja) 監視エリア設定システム
JP2023141789A (ja) 作業機械の安全システム、作業機械、及びサーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20900452

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020900452

Country of ref document: EP

Effective date: 20220524

NENP Non-entry into the national phase

Ref country code: DE