WO2021161693A1 - 遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム - Google Patents

遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム Download PDF

Info

Publication number
WO2021161693A1
WO2021161693A1 PCT/JP2021/000396 JP2021000396W WO2021161693A1 WO 2021161693 A1 WO2021161693 A1 WO 2021161693A1 JP 2021000396 W JP2021000396 W JP 2021000396W WO 2021161693 A1 WO2021161693 A1 WO 2021161693A1
Authority
WO
WIPO (PCT)
Prior art keywords
peripheral
remote control
worker
operator
work machine
Prior art date
Application number
PCT/JP2021/000396
Other languages
English (en)
French (fr)
Inventor
祐介 澤田
佐々木　均
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Publication of WO2021161693A1 publication Critical patent/WO2021161693A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a remote control support device and a remote control support system that support the work of peripheral workers who work in the vicinity of a remotely controlled work machine.
  • Patent Document 1 A construction machine capable of suppressing a decrease in work efficiency is disclosed (see, for example, Patent Document 1).
  • Patent Document 1 discloses a slave-side device provided in a construction machine main body and a master-side device for remotely controlling the slave-side device.
  • peripheral workers work around the work machine at the same time as working with the work machine.
  • Peripheral workers work outside, for example, partitions such as cones installed around the work machine.
  • the operability of the work machine is lower than when the operator directly boards the work machine. Therefore, when the operator remotely controls the work machine at a position away from the work machine, it is necessary to raise the degree of attention to peripheral workers. This reduces the workability of the work machine.
  • the present invention provides a system for ensuring the workability of an operator by controlling a peripheral worker existing in the vicinity of the work machine to give a signal by an operator who remotely controls the work machine. The purpose.
  • the present invention A remote control support system that has a remote control device that remotely controls a work machine.
  • An image acquisition unit that acquires an image captured by an image pickup device that images the surroundings of the work machine, and an image acquisition unit.
  • a peripheral worker determination unit that determines whether or not the peripheral worker is included in the captured image, and a peripheral worker determination unit.
  • a notification operation for determining whether or not the operator operating the remote control device has performed a predetermined notification operation.
  • a notification unit that performs a notification operation to the peripheral workers by the signal, Have.
  • the operator when a peripheral worker is included in the captured image presented to the operator who remotely controls the work machine, the operator performs a predetermined notification operation to notify the peripheral worker by the notification unit. It is possible to perform a notification operation. As a result, for example, the operator can notify the peripheral workers, and the workability can be improved as compared with the case where the work is performed without the notification.
  • an operator who remotely controls a work machine can perform a notification operation to call attention to a peripheral worker working in the vicinity of the work machine, and the peripheral worker can be notified. It is possible to work with a work machine without unnecessarily raising the degree of attention.
  • the remote control support system S as an embodiment of the present invention shown in FIG. 1 includes a remote control support device 10, a remote control device 20, a server 30, a work machine 40, a terminal device 50, and a peripheral worker database 60. Have. The details of each component will be described later. Of course, the present invention may not include some of these components, if desired.
  • the remote operation support device 10 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data with the software. Executes the arithmetic processing according to.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the remote control support device 10 includes, at least, the captured image acquisition unit 101, the peripheral worker determination unit 102, the notification operation determination unit 103, and the notification signal as components for executing the arithmetic processing.
  • the generation unit 104 is provided.
  • the remote control support device 10 may include a visual recognition determination unit 105 and a target setting unit 106 as components for executing the arithmetic processing.
  • the captured image acquisition unit 101 has a function of acquiring at least an captured image (image data) captured by the work site imaging device 430 that images the periphery of the work machine 40.
  • the captured image acquisition unit 101 acquires a captured image of a peripheral worker captured by the work site imaging device 430.
  • the captured image acquisition unit 101 acquires information on the distance from the work machine 40 (for example, a hydraulic excavator) to the surrounding workers together with the captured image captured by the stereo camera. It may have a function to perform.
  • the peripheral worker determination unit 102 determines whether or not the peripheral worker is included in the captured image based on the captured image (image data) acquired by the captured image acquisition unit 101.
  • the peripheral worker database 60 stores the image data of the peripheral workers as a reference image in advance.
  • the image data is, for example, a photograph of the whole body of a peripheral worker, an outline extracted from a photograph of a peripheral worker, or the like.
  • a helmet or the like worn by a peripheral worker may be stored as a reference image. The details of the peripheral worker database 60 will be described later.
  • the captured image captured by the work site imaging device 430 is compared with the reference image stored in the peripheral worker database 60, and image analysis (for example, the captured image, the reference image, and the reference image) is performed using a known technique.
  • image analysis for example, the captured image, the reference image, and the reference image
  • the imaged peripheral worker determines whether or not there is an image that matches the reference image stored in the peripheral worker database 60.
  • the peripheral worker determination unit 102 sets a threshold value in advance so as to determine that the captured image includes a peripheral worker when the captured image is compared with the reference image and matches 70% or more. There is.
  • the peripheral worker determines that the captured image includes the peripheral worker.
  • the peripheral worker determination unit 102 is located 5 meters from the work machine 40 (hydraulic excavator) by the peripheral worker based on the distance information acquired by the stereo camera. In addition to the distance information of being in the camera, it may be determined whether or not the captured image includes peripheral workers. Of course, the distance information that the peripheral workers are at a position 5 meters from the work machine 40 (hydraulic excavator) is only an example of the distance information.
  • the notification operation determination unit 103 has a function of determining whether or not the operator operating the remote control device 20 has performed a predetermined notification operation.
  • the notification operation is a concept including an operation for notifying peripheral workers that the operator wants the operator to recognize the existence of the work machine 40.
  • a predetermined time for example, 3 seconds
  • the operator gazing at a specific peripheral worker for 3 seconds or longer is only an example of a notification operation.
  • the notification operation determination unit 103 has a function of determining whether or not the operator is performing an operation (hereinafter, appropriately referred to as a notification operation) for notifying that he / she wants the operator to recognize the existence of the work machine 40. For example, the notification operation determination unit 103 makes the determination based on the detection result of the line-of-sight detection sensor 231. The details of the line-of-sight detection sensor 231 will be described later.
  • the notification signal generation unit 104 notifies peripheral workers that the operator wants the operator to recognize the existence of the work machine 40 when the determination result of the notification operation determination unit 103 is positive ( Hereinafter, it has a function of generating a notification signal as appropriate.
  • the notification signal generation unit 104 may be configured to receive the externally generated notification signal without actively generating the notification signal.
  • the notification signal generation unit 104 When the determination result of the notification operation determination unit is positive, the notification signal generation unit 104 generates a notification signal with the target worker set by the target setting unit 106 as a peripheral worker.
  • the notification signal generation unit 104 may be configured to receive the externally generated notification signal without actively generating the notification signal. The details of the target setting unit 106 will be described later.
  • the peripheral worker determination unit 102 determines that the captured image includes a peripheral worker
  • the visual recognition determination unit 105 determines whether or not a display unit for displaying the peripheral worker is included in the operator's field of view. By detecting, the operator has a function of determining whether or not the image of a peripheral worker displayed on the display unit is visually recognized.
  • the peripheral worker determination unit 102 may be configured to receive the determination result determined externally without actively performing the determination.
  • the visual recognition determination unit 105 is a notification device of the remote output interface 220 that displays the peripheral worker in the operator's field of view when the peripheral worker determination unit 102 determines that the peripheral worker is included in the captured image. It is determined whether or not the image of the peripheral operator shown in 221 is visually recognized.
  • the visual recognition determination unit 105 may be configured to receive the determination result determined externally without actively performing the determination. The details of the remote output interface 220 and the notification device 221 will be described later.
  • a known technique for example, the line-of-sight detection sensor 231 of the remote imaging device 230
  • the line-of-sight detection sensor 231 of the remote imaging device 230 is used to determine whether or not the operator is visually recognizing the image of the peripheral worker shown on the notification device 221. , The determination is made by detecting the line of sight of the operator.
  • the target setting unit 106 determines that at least one peripheral worker is included in the captured image. It has a function to set a worker as a target worker.
  • the target setting unit 106 determines in the visual recognition determination unit 105 whether the operator is visually recognizing any of the images of the plurality of peripheral workers displayed on the notification device 221 to determine at least one peripheral area. It has a function to set a worker as a target worker. At least one peripheral worker is targeted by determining whether the operator's viewpoint detected by using a known technique is located at any of the display positions of the images of the plurality of peripheral workers displayed on the notification device 221. Set as a worker. Further, the image displayed on the notification device 221 of the peripheral worker set as the target worker by the target setting unit 106 may be highlighted (example: the cursor is superimposed and displayed).
  • the setting of the target worker by the target setting unit 106 is not limited to the viewpoint of the operator, and may be an operation other than the viewpoint of the operator (example: operation of a button provided on the operating mechanism). Further, once the target worker is set from the images of a plurality of peripheral workers by the target setting unit 106, a confirmation function for confirming the target worker is provided, and when the confirmation function is effective, a new confirmation function is provided. Other peripheral workers may not be set as target workers.
  • the positional relationship between the target worker and the work machine 40 set by the target setting unit 106 is recognized. For example, when the target worker is on the right side of the work machine 40, the right side is recognized.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, a remote output interface 220, a remote imaging device 230, and a remote wireless communication device 240 as components.
  • the remote control device 20 does not need to have all of these configurations.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the remote control device 200 tells the actual machine output interface 420 that "the operator is requesting recognition. You (peripheral worker) have recognized the existence of the work machine 40" based on the acquired information on the notification operation. Please let this operator know. " Of course, the text message is just one example of a text message. The details of the work machine 40 and the actual machine output interface 420 will be described later.
  • the recognition request is a concept including requesting the peripheral worker to recognize the existence of the work machine 40 remotely controlled by the operator (the operator) from the peripheral worker. ..
  • the remote input interface 210 tells the actual machine output interface 420 that "the operator is requesting recognition. Please inform this operator that you (peripheral worker) have recognized the existence of the work machine 40". It has a function of receiving an operation (hereinafter, appropriately referred to as a notification operation) for outputting a signal (hereinafter, appropriately referred to as a recognition output). Of course, the signal is only an example of a signal for the operator to request recognition from peripheral workers.
  • the remote input interface 210 is a work light switch 211 that lights the work light 421 included in the work machine 40.
  • the work light is turned on.
  • the peripheral worker who has been requested to recognize by the operator can know that he / she (the peripheral worker) has been requested to recognize by the operator.
  • the work light 421 is lit also in the normal work of the work machine 40, the normal work is to be more reliably notified to the peripheral workers that there is a recognition request from the operator. It is desirable that the work light 421 is lit differently (eg, blinking) from the way the work light 421 is lit (eg, keep lit).
  • the presence or absence of lighting is determined by the positional relationship between the target worker and the work machine 40. For example, there are a work light 421 that illuminates the left side and a work light 421 that illuminates the right side, and when the target worker is on the right side of the work machine 40, only the work light 421 that illuminates the right side is lit. You may do so. The details of the work light 421 will be described later.
  • the remote input interface 210 is a swivel flasher switch 212 that lights the swivel flasher 422 that the work machine 40 has and lights up when turning.
  • the swivel flasher switch when the operator who wants the peripheral workers to recognize the existence of the work machine 40 presses the swivel flasher switch, the swivel flasher lights up.
  • the peripheral worker who has made the recognition request can know that he / she (the peripheral worker) has been requested to be recognized by the operator. Since the turning flasher 422 is also lit in the normal work of the work machine 40, the normal work is performed in order to more reliably notify the peripheral workers that there is a recognition request from the operator.
  • the swivel flasher 422 it is desirable to light the swivel flasher 422 in a different way (eg, keep it on) and a different way (eg, blink).
  • a different way eg, keep it on
  • a different way eg, blink
  • the presence or absence of lighting is determined by the positional relationship between the target worker and the work machine 40.
  • the remote input interface 210 is an external monitor switch 213 that displays a text message on the external monitor 423 included in the work machine 40.
  • the external monitor switch 2113 displays a text message on the external monitor 423 included in the work machine 40.
  • a text message stating "Be careful of the work machine" is output to the external monitor 423. ..
  • the peripheral worker who has made the recognition request can know that the operator has made the recognition request to himself / herself (the peripheral worker).
  • the text message is only an example of a message for the operator to request recognition from peripheral workers.
  • the remote input interface 210 is a speaker switch 214 that sends voice guidance from an external speaker 424 included in the work machine 40.
  • the speaker switch 214 when the operator who wants the peripheral workers to recognize the existence of the work machine 40 presses the speaker switch 214, the speaker outputs a voice guidance saying "Be careful of the work machine.”
  • the peripheral worker who has made the recognition request can know that the operator has made the recognition request to himself / herself (the peripheral worker).
  • the voice guidance is only an example of voice guidance for the operator to request recognition from peripheral workers.
  • each switch is, for example, a push-type push button, and when each button is pressed, the work light 421 lights (blinks), the swivel flasher 422 lights (blinks), or an external monitor included in the work machine 40. A text message is displayed on the 423, or voice guidance is played from the external speaker 424 included in the work machine 40.
  • the configuration of the switch is only an example of the remote input interface 210.
  • the notification device 221 has a touch panel function
  • the operator touches the screen of the notification device 221 to output a signal to the actual machine output interface 420 stating "Be careful of the work machine.” May be.
  • the notification operation detection unit 2100 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data with the software. Executes the arithmetic processing according to.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the notification operation detection unit 2100 has a function of being mounted on the remote control device 20 and receiving an operation.
  • the notification operation detection unit 2100 is provided to cause the work machine 40 to perform a notification operation at a timing desired by the operator OP after the selection of the target worker is completed. Further, the notification operation detection unit 2100 has a function of detecting an operation by the operator OP.
  • the notification operation detection unit 2100 can select a peripheral worker of the target whose recognition output is made by the actual machine output interface 420, and the recognition output is made to the peripheral worker of the target selected by the selection. Has the function of.
  • the notification operation detection unit 2100 is mounted on the remote control device 20 and receives an electric signal related to an operation in which the operator OP presses the work light switch 211. Further, the notification operation detection unit 2100 detects that the operator OP has pressed the work light switch 211 by receiving the electric signal.
  • the notification operation detection unit 2100 can select the peripheral worker of the target to which the blinking output by the work light 421 is made, and the peripheral worker of the target selected by the selection can be selected.
  • the work light 421 is made to blink.
  • the remote input interface 210 may have an operating lever for operating the operating mechanism (for example, boom, arm, bucket, etc.) of the work machine 40 as an operating mechanism.
  • the operating mechanism for example, boom, arm, bucket, etc.
  • the remote input interface 210 may have a traveling lever for traveling the work machine 40 as an operating mechanism.
  • the remote input interface 210 may have a swivel lever for swiveling the upper swivel body of the work machine 40 as an operation mechanism.
  • the remote output interface 220 is composed of at least the notification device 221.
  • the remote output interface 220 may have a function of notifying the notification device 221 of information about peripheral workers who have responded to the recognition request from the operator OP.
  • the notification device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left diagonally forward image output device 2211 arranged diagonally forward to the right, forward, and diagonally forward to the left of the seat St. It is a liquid crystal monitor composed of an oblique forward image output device 2213.
  • the image output devices 2211 to 2213 may include speakers (audio output devices) (not shown).
  • the LCD monitor displays the peripheral workers who are responding to the operator OP who made the recognition request.
  • the display is displayed on the front image output device 2212.
  • the front image output device 2212 may sound a notification sound at the same time as the display.
  • the forward image output device 2212 displays a text message to the effect that "a peripheral worker who requested recognition by you (operator OP) has recognized the existence of the work machine 40."
  • the text message is only an example of a response message from a peripheral worker to the operator OP.
  • the speaker may output a warning sound to the operator OP in order to notify the operator OP that the peripheral workers are aware of the existence of the work machine 40.
  • the voice guidance is only an example of a response message from a peripheral worker to the operator OP.
  • the notification device 221 is used as a speaker, and a message to the effect that "the peripheral worker who requested recognition by you (operator OP) has recognized the existence of the work machine 40" is provided by voice guidance. good.
  • notification device 221 as a speaker, only a notification sound (warning sound) to the effect that "a peripheral worker who requested recognition by you (operator OP) has recognized the existence of the work machine 40" is output. It may be configured.
  • the notification device 221 may be used as a sheet St to transmit a vibration to the effect that "a peripheral worker who requested recognition by you (operator OP) recognized the existence of the work machine 40."
  • the seat St includes a vibration motor (not shown).
  • the image output device emphasizes and displays, for example, peripheral workers who have responded to a recognition request from the operator OP on the image output device.
  • the cursor is superimposed and displayed on the peripheral workers. If there are multiple peripheral workers who have made the response, display them individually. If the target worker has already been highlighted, the recognition request from the operator OP is continuously responded to by ending the highlighting of the peripheral workers who have responded to the recognition request from the operator OP. Continue to highlight only the target workers who have not.
  • the operator OP is informed that the existence of the work machine 40 has been recognized by the peripheral workers. Further, the necessity of the notification operation again can be recognized by the operator OP depending on the presence or absence of the target worker who has not responded to the recognition request from the operator OP. This prompts peripheral workers to confirm the work machine 40, and thus avoids actions that reduce the workability of the operator OP due to the remote control of the work machine 40.
  • the remote imaging device 230 is installed inside the remote control device 20, for example, and images the environment including the surroundings of the operator OP.
  • the remote imaging device 230 may be configured to image the operator OP from the outside of the remote control device 20.
  • the remote imaging device 230 has a line-of-sight detection sensor 231 as a device for detecting the line of sight with respect to the display screen of the notification device 221.
  • the line-of-sight detection sensor 231 may have an independent configuration that is not built in the remote imaging device 230.
  • the line-of-sight detection sensor 231 is provided on the upper surface side of the display screen of the notification device 221 as shown in FIG. 4, for example, and detects the line of sight with respect to the display screen of the notification device 221. Then, the line-of-sight detection sensor 231 outputs information indicating the line-of-sight detection result.
  • the detection target for which the line-of-sight detection sensor 231 detects the line of sight is, for example, the operator OP.
  • the line-of-sight detection sensor 231 targets the operator OP as a detection target
  • the line-of-sight detection sensor 231 performs a face detection process for detecting a face set from an image captured by a stereo camera, for example, to detect the operator OP. Identify. Then, the line-of-sight detection sensor 231 detects the line-of-sight of the specified operator OP and outputs information indicating the line-of-sight detection result.
  • the information indicating the line-of-sight detection result includes, for example, data indicating the position of the line-of-sight on the display screen of the notification device 221 (for example, plane coordinates represented with an arbitrary point such as the upper left of the display screen of the notification device 221 as the origin. Data).
  • the line-of-sight detection sensor 231 obtains, for example, the position of the intersection of the line-of-sight vector corresponding to the detected line-of-sight and the plane corresponding to the display screen of the set notification device 221.
  • the line-of-sight detection sensor 231 sets the position of the obtained intersection as the position of the line of sight on the display screen of the notification device 221 and uses data indicating the position of the line of sight on the display screen of the notification device 221. , Output as information indicating the detection result of the line of sight.
  • the information indicating the line-of-sight detection result may be data (for example, flag data) indicating that the line-of-sight is not on the display screen of the notification device 221.
  • the line-of-sight detection sensor 231 outputs data indicating that the line-of-sight is not on the display screen of the notification device 221 as information indicating the line-of-sight detection result.
  • the method of specifying the position of the line of sight on the display screen of the notification device 221 is not limited to the above example. Further, the process of specifying the position of the line of sight on the display screen of the notification device 221 may be performed by an external device (for example, a control device (not shown)) of the line of sight detection sensor 231.
  • an external device for example, a control device (not shown) of the line of sight detection sensor 231.
  • the remote image pickup device 230 may have a function of transmitting the captured image of the operator OP to the terminal device 50. The details of the terminal device 50 will be described later.
  • the operator OP and the peripheral worker can have a conversation using the remote wireless communication device 240 described later while observing each other's situation. can do.
  • the work machine 40 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the remote wireless communication device 240 acquires the determination result of whether or not the recognition request has been made by the operator OP, and if the determination is affirmative, the operator OP recognizes the existence of the work machine to the peripheral workers who have made the recognition request.
  • a recognition request signal for notifying the peripheral workers of what they want to do is transmitted (hereinafter, appropriately referred to as recognition request control).
  • the remote wireless communication device 240 sends a signal for turning on (blinking) the work light 421 to the work machine 40 (actual machine wireless communication device 440) via the network.
  • the work light 421 of the work machine 40 is turned on (blinks).
  • the actual wireless communication device 440 will be described later.
  • the signal transmitted by the remote wireless communication device 240 may be a signal for lighting (blinking) the swivel flasher 422.
  • the signal transmitted by the remote wireless communication device 240 may be a signal for displaying a text message "Be careful of the work machine" on the external monitor 423 included in the work machine 40.
  • the signal transmitted by the remote wireless communication device 240 may be a signal for outputting a voice guidance with the content "Be careful of the work machine” to the external speaker 424 included in the work machine 40.
  • the peripheral worker and the operator OP communicate wirelessly with each other by using a known technique. It may have a function to execute.
  • the terminal wireless communication device 540 is built in the terminal device 50 owned by a peripheral worker.
  • the terminal device 50 owned by a peripheral worker is a wearable terminal device, a notebook computer, a tablet terminal device, a smartphone, a smart watch, or the like. The details of the terminal device 50 and the terminal wireless communication device 540 will be described later.
  • the operator OP when the operator OP operates the remote input interface 210, the text message "Be careful of the work machine" is displayed on the terminal output interface 520 of the terminal device 50 owned by the peripheral worker, and the peripheral worker , It can be recognized that the operator OP recognizes the existence of the peripheral worker himself / herself. The details of the terminal output interface 520 will be described later.
  • the work machine 40 is a work vehicle that can be operated at the work site.
  • the work machine 40 includes at least one of the construction machines capable of pushing or excavating the earth and sand.
  • Construction machinery includes at least one of a hydraulic excavator with a bucket and a bulldozer with blades.
  • the work machine 40 includes an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, a work site imaging device 430, and an actual machine wireless communication device 440.
  • an operating mechanism work attachment including a boom, an arm, and a tip attachment may be provided.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the actual machine control device 400 performs the above-mentioned arithmetic processing, and based on the notification signal generated by the notification signal generation unit 104, the actual machine output interface 420 (work light 421, swivel flasher 422, external monitor 423, external) of the work machine 40. Controls the speaker 424 etc.).
  • the operator OP can make the peripheral workers recognize the existence of the work machine 40.
  • the actual machine input interface 410 includes at least the actual machine operation mechanism 411.
  • the actual machine operation mechanism 411 includes a plurality of actual machine operation switches (not shown) arranged in the same manner as the remote control mechanism around the cab seats arranged inside the cab of the work machine 40.
  • a drive mechanism or a robot that receives a signal according to the operation mode of each operation switch and moves an actual machine operation switch (not shown) based on the signal reception is provided in the driver's cab.
  • the actual machine output interface 420 has a function for the operator OP to make peripheral workers recognize the existence of the work machine 40.
  • a work light 421, a swivel flasher 422, an external monitor 423, an external speaker 424, etc. provided in the work machine 40 are used.
  • These actual machine output interfaces 420 are used for the operator OP to notify the peripheral workers that they want the peripheral workers to recognize the existence of the work machine 40.
  • the work site imaging device 430 has a function of imaging the environment including the surroundings of the work machine 40.
  • the work site imaging device 430 is installed inside the work machine 40 and images the environment including the surroundings of the work machine 40.
  • the work site imaging device 430 may be provided outside the driver's cab in the work machine.
  • the operator OP can recognize whether there is a peripheral worker who may not recognize the existence of the work machine 40 around the work machine 40.
  • the stereo camera remotely controls information on the distance from the work machine 40 to peripheral workers (hereinafter, appropriately referred to as distance information) together with the captured image. It may have a function of transmitting to the device 20.
  • the work machine 40 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the actual wireless communication device 440 receives a signal for turning on (blinking) the work light via the network, and turns on (blinks) the work light 421. ).
  • the signal received by the actual wireless communication device 440 may be a signal for lighting (blinking) the swivel flasher 422.
  • the signal received by the actual wireless communication device 440 is a text message on the external monitor 423 of the work machine 40, "The operator OP recognizes the existence of you (peripheral worker who requested recognition)." It may be a signal for display.
  • the terminal device 50 includes a terminal control device 500, a terminal input interface 510, a terminal output interface 520, a terminal imaging device 530, and a terminal wireless communication device 540.
  • the terminal device 50 is a device used by a peripheral worker and an operator OP to execute wireless communication with each other.
  • the terminal device 50 is a wearable terminal device, a notebook computer, a tablet terminal device, a smartphone, a smart watch, and a head-mounted display.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and reads the data. Performs arithmetic processing according to the software.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the terminal control device 500 controls to display a text message "Be careful of the work machine" on the display of the terminal device 50 based on the recognition operation of the operator OP. conduct.
  • the text message is just one example of a text message.
  • the terminal control device 500 indicates that the display of the terminal device 50 "recognizes the existence of the work machine" based on the response of the peripheral worker to the recognition request from the operator OP. Control to display the text message of.
  • the text message is just one example of a text message.
  • the terminal input interface 510 is used to input a response to the operator OP from a peripheral worker.
  • a response signal for responding is input by a peripheral worker touching the display.
  • the response signal is generated by the peripheral worker inputting voice to the operator OP that he / she wants the operator OP to recognize the existence of himself / herself (the peripheral worker). It may be an input configuration.
  • the terminal output interface 520 is used to output a recognition request from the operator OP to peripheral workers.
  • the terminal device 50 is a smartphone and has a touch panel type display
  • the operator OP operates the remote input interface 210
  • a text message stating "Be careful of the work machine" is displayed on the display. ..
  • the text message is just one example of a text message.
  • the terminal device 50 is a smartphone and has a speaker
  • the operator OP operates the remote input interface 210
  • a voice guidance saying "Be careful of the work machine” is output from the speaker. May be good.
  • the voice guidance is only an example of voice guidance.
  • the vibration motor vibrates, which means a signal "Be careful of the work machine.” May be output. That is, the recognition request may be made by the so-called vibration function.
  • the terminal imaging device 530 has at least a function of imaging peripheral workers.
  • the peripheral worker responds to the recognition request from the operator OP, if the terminal imaging device 530 is imaging the peripheral worker, the image of the peripheral worker may be output to the remote output interface 220. good.
  • the operator OP can recognize the response from the peripheral worker while observing the state of the peripheral worker who actually made the recognition request.
  • the terminal wireless communication device 540 in a state where communication between the terminal device 50 and the remote control device 20 is established, the terminal device 50 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the terminal wireless communication device 540 displays "Be careful of the work machine" on the display of the terminal device 50 (for example, a smartphone).
  • a signal for displaying a text message to the effect of "" is received via the network, and a text message to the effect of "Be careful of the work machine” is displayed on the display.
  • the text message is just one example of a text message.
  • the signal received by the terminal wireless communication device 540 may be a signal for outputting voice guidance from the speaker of the terminal device 50 (for example, a smartphone).
  • the signal received by the terminal wireless communication device 540 may be a signal for vibrating the vibration motor included in the terminal device 50 (for example, a smartphone).
  • the peripheral worker can recognize that the operator OP recognizes the existence of himself / herself (the peripheral worker who requested the recognition).
  • the terminal wireless communication device 540 uses a known technique in a state where communication between the terminal device 50 (for example, a smartphone) and the remote control device 20 is established, and the peripheral worker, the operator OP, and the operator OP May have the ability to perform wireless communication with each other. As a result, the peripheral worker and the operator OP can have a conversation while observing each other's situation.
  • the peripheral worker database 60 may be any storage device that can store at least image data of a peripheral worker's face photograph as a reference image in advance.
  • the storage device is an HDD (Hard Disk Drive).
  • the storage device includes SD (registered trademark) memory card (Secure Digital memory card), CF (CompactFlash), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versaille Disk), and the like. It may be a portable storage medium.
  • the peripheral worker database 60 may store an image or the like of the peripheral worker wearing a work helmet as a reference image in advance.
  • the captured image acquisition unit 101 acquires the captured image captured by the work site imaging device 430 that images the periphery of the work machine 40.
  • the peripheral worker determination unit 102 determines whether or not the peripheral worker is included in the captured image. If No is determined in STEP2, the process returns to STEP1.
  • the notification operation determination unit 103 determines whether or not the operator OP operating the remote control device 20 has performed a predetermined notification operation. If No is determined in STEP3, the process returns to STEP1.
  • the notification signal generation unit 104 In STEP4 (when YES is determined in STEP3), the notification signal generation unit 104 generates a notification signal for notifying peripheral workers of the recognition request from the operator OP. If No is determined in STEP 4, the process returns to STEP 1.
  • the actual machine output interface 420 notifies the recognition request from the operator OP to the peripheral workers based on the reception of the notification signal.
  • the remote control device 10 can be provided with the remote control support device 10 to support the work of the operator OP.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the remote control support device 10 is independently provided, but the present invention is not limited to such an example.
  • the remote control support device 10 can be provided in the system on the cloud to support the work of the operator OP.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the remote control support device 10 is independently provided, but the present invention is not limited to such an example.
  • the work machine 40 can be provided with the remote control support device 10 to support the work of peripheral workers who work in the vicinity of the work machine that is remotely controlled.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the flowcharts from STEP 1 to STEP 5 are shown, but the present invention is not limited to such an example.
  • the operator OP is output to the remote output interface 220 by detecting whether or not the visual field of the operator OP includes the remote output interface 220 that outputs an image of a peripheral worker.
  • STEP 6 for determining whether or not the image of the peripheral operator is visually recognized may be included.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the order of STEP may be changed as appropriate in the embodiment of the present invention.
  • the flowcharts from STEP 1 to STEP 5 are shown, but when the determination result of the visual recognition determination unit 105 is positive, the operator OP in which the notification operation determination unit 103 operates the remote control device 20 is predetermined. STEP 7 for determining whether or not the notification operation has been performed may be included.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the order of STEP may be changed as appropriate in the embodiment of the present invention.
  • the flowcharts from STEP 1 to STEP 5 are shown, but when the peripheral worker determination unit 102 determines that the captured image includes peripheral workers, the target setting unit 106 captures the image.
  • the target setting unit 106 captures the image.
  • STEP 8 may be included in which at least one peripheral worker is set as the target worker.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the order of STEP may be changed as appropriate in the embodiment of the present invention.
  • STEP 9 may be included to generate a notification signal with the target worker set by the target setting unit 106 as a peripheral worker.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the order of STEP may be changed as appropriate in the embodiment of the present invention.
  • the target setting unit 106 determines in the visual recognition determination unit 105 whether the operator is visually recognizing any of the images of the plurality of peripheral workers displayed on the remote output interface 220, thereby determining at least one peripheral area.
  • STEP 10 that sets the worker as the target worker may be included.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • the order of STEP may be changed as appropriate in the embodiment of the present invention.
  • the peripheral worker determination unit 102 determines whether or not the peripheral worker is included in the captured image based on the captured image (image data) acquired by the captured image acquisition unit 101. Although shown, it is not limited to such an example. For example, the peripheral worker determination unit 102 does not have to make the determination when the peripheral worker does not enter the working radius of the work machine 40.
  • the remote control support system S according to the present invention can also be applied to such a case.
  • a working range is set in advance, and a known distance measuring device (TOF sensor, stereo camera, etc.) is used to perform peripheral work. The distance between the person and the work machine 40 is measured to determine whether or not there is a peripheral worker within the work range.
  • TOF sensor TOF sensor, stereo camera, etc.
  • the remote control support device 10 includes a display unit for displaying the peripheral worker in the operator's field of view.
  • the visual field determination unit 105 for determining whether or not the visual field is present and the determination result of the visual field determination unit 105 is positive whether the operator operating the remote control device 20 has performed a predetermined notification operation on the notification operation determination unit 103. It is configured to determine whether or not it is.
  • the peripheral worker determination unit determines that the captured image contains peripheral workers, and if the captured image contains multiple peripheral workers, at least one peripheral worker is set as the target worker.
  • the notification signal generation unit 104 is made to generate a signal with the target worker set by the target setting unit 106 as a peripheral worker. It is configured as follows.
  • At least one peripheral worker can be set as the target worker. As a result, for example, it is possible to perform the notification operation only to the peripheral workers who should be notified.
  • the target setting unit 106 targets at least one peripheral worker by determining whether the visual determination unit operator is visually recognizing any of the images of the plurality of peripheral workers displayed on the display unit. It is configured to be set as a person.
  • a peripheral worker who determines the operator's field of view and the operator is visually recognizing the image is set as the target worker. This makes it possible for the operator to easily select the peripheral workers to be notified.
  • the notification signal control unit is configured to perform processing for outputting information including that the operator recognizes the existence of the peripheral worker to the terminal output interface 520 of the terminal device 50 owned by the peripheral worker. There is.
  • a terminal device individually held by peripheral workers functions as a notification unit. This informs the peripheral workers of the notification target that the notification operation has been performed reliably, and also avoids deterioration of workability due to unnecessary caution because the notification operation is not performed to the peripheral workers who are not the notification target. Make it possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

オペレータの作業性を確保するシステムを提供することができる遠隔操作支援装置を提供することを目的とする。遠隔操作支援装置１０は、撮像画像取得部１０１と、周辺作業者判定部１０２と、報知動作判定部１０３と、報知信号生成部１０４と、を有する。報知信号生成部１０４は、周辺作業者判定部１０２において、周辺作業者が作業機械周辺に存在すると判定し、報知動作判定部１０３において、オペレータが報知動作を行ったと判定した場合、前記周辺作業者に前記作業機械の存在を認識させるための認識報知信号を生成し、前記認識報知信号を外部に出力する。

Description

遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム
　本発明は、遠隔操作されている作業機械の周辺で作業を行う周辺作業者の作業を支援する遠隔操作支援装置、および遠隔操作支援システムに関する。
　作業効率の低下を抑制することが可能な建設機械が開示されている（例えば、特許文献１参照）。
特開２０１９－１６７７３３号公報
　特許文献１においては、建設機械本体に設けられたスレーブ側装置と、このスレーブ側装置を遠隔操作するマスタ側装置と、が開示されている。
　ところで、作業機械で作業を行うのと同時に作業機械の周辺において周辺作業者が作業を行うような工事現場がある。周辺作業者は、例えば、作業機械の周囲に設置されたコーン等の仕切りの外で作業を行う。ここで、オペレータが作業機械と離れた位置で作業機械を遠隔操作する場合には、オペレータが作業機械に直接搭乗する場合と比べて、作業機械の操作性が低いことが懸念される。このため、オペレータが作業機械と離れた位置で作業機械を遠隔操作する場合には、周辺作業者に対しての注意度を上げる必要がある。このことは作業機械の作業性を低下させてしまう。
　そこで、本発明は、作業機械を遠隔操作するオペレータにより作業機械の周辺に存在する周辺作業者に合図を出させるための制御を行うことにより、オペレータの作業性を確保するシステムを提供することを目的とする。
　本発明は、
　作業機械を遠隔操作する遠隔操作装置を有する遠隔操作支援システムであって、
　前記作業機械の周辺を撮像する撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
　前記撮像画像に前記周辺作業者が含まれているか否かを判定する周辺作業者判定部と、
　前記周辺作業者判定部において、前記撮像画像に前記周辺作業者が含まれていると判定された場合、前記遠隔操作装置を操作するオペレータが所定の報知動作を行ったか否かを判定する報知動作判定部と、
　前記報知動作判定部の判定結果が肯定的である場合に、前記周辺作業者に対して、報知するための信号を生成する報知信号生成部と、
　前記信号により前記周辺作業者に対して報知動作を行う報知部と、
を有する。
　本発明によれば、作業機械を遠隔操作するオペレータに提示される撮像画像に周辺作業者が含まれている場合に、オペレータが所定の報知動作を行うことで報知部により周辺作業者に対して報知動作を行うことが可能となる。これにより、例えば、オペレータが周辺作業者に対して報知をすることが可能となり、報知をしないまま作業をする場合と比べて作業性を向上させることができる。
　本発明によれば、作業機械を遠隔操作しているオペレータが、前記作業機械の周辺で作業をする周辺作業者に対して注意を促す報知動作をすることが可能となり、周辺作業者に対しての注意度を不必要の上げることなく作業機械による作業を行うことが可能となる。
本発明の一実施形態としての作業支援システムの構成に関する説明図。 本発明の一実施形態としての作業支援システムのブロック図。 本発明の一実施形態としての作業支援システムのブロック図。 本発明の他の実施形態としての作業支援システムのフローチャート図。 本発明の他の実施形態としての作業支援システムのブロック図。
　図１に示されている本発明の一実施形態としての遠隔操作支援システムＳは、遠隔操作支援装置１０、遠隔操作装置２０、サーバ３０、作業機械４０、端末装置５０および周辺作業者データベース６０を有する。なお、各構成要素の詳細については、後述する。勿論、本発明は、必要に応じて、これらの構成要素の一部を備えなくてもよい。
　遠隔操作支援装置１０は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　図２に示すように、遠隔操作支援装置１０は、少なくとも、当該演算処理を実行する構成要素として、撮像画像取得部１０１と、周辺作業者判定部１０２と、報知動作判定部１０３とおよび報知信号生成部１０４を備えている。
　また、遠隔操作支援装置１０は、当該演算処理を実行する構成要素として、視認判定部１０５と、対象設定部１０６を備えていてもよい。
　撮像画像取得部１０１は、少なくとも作業機械４０の周辺を撮像する作業現場撮像装置４３０が撮像した撮像画像（画像データ）を取得する機能を有する。例えば、撮像画像取得部１０１は、作業現場撮像装置４３０が撮像した周辺作業者の撮像画像を取得する。
　また、作業現場撮像装置４３０がステレオカメラである場合、撮像画像取得部１０１は、ステレオカメラが撮像した撮像画像と共に、作業機械４０（例えば、油圧ショベル）から周辺作業者までの距離に関する情報を取得する機能を有してもよい。
　周辺作業者判定部１０２は、撮像画像取得部１０１が取得した撮像画像（画像データ）に基づいて、当該撮像画像に周辺作業者が含まれているか否かを判定する。
　例えば、周辺作業者データベース６０に、予め参照画像として、周辺作業者の画像データを記憶させておく。画像データは、例えば、周辺作業者の全身を写した写真や、周辺作業者の写真から輪郭を抽出したもの等である。ヘルメットなど周辺作業者が着用するものを参照画像として記憶させてもよい。なお、周辺作業者データベース６０の詳細については、後述する。
　そして、作業現場撮像装置４３０が撮像した撮像画像を、周辺作業者データベース６０が記憶している参照画像に照らして、公知の技術を用いて、画像解析（例えば、撮像画像と、参照画像と、における特徴点の一致度の抽出）を行うことにより、撮像された周辺作業者が、周辺作業者データベース６０が記憶している参照画像に一致している画像があるか否かを判定する。
　ここで、周辺作業者判定部１０２は、撮像画像を参照画像に照らして、７０パーセント以上一致する場合は、撮像画像に周辺作業者が含まれていると判定するように閾値が予め設定されている。
　そして、撮像画像が、参照画像のいずれかに７０パーセント以上一致するのであれば、周辺作業者が、撮像画像に周辺作業者が含まれていると判定する。
　また、作業現場撮像装置４３０が、ステレオカメラである場合、周辺作業者判定部１０２は、ステレオカメラが取得した距離情報に基づいて、周辺作業者が作業機械４０（油圧ショベル）から５メートルの位置にいるという距離情報と合わせて、撮像画像に周辺作業者が含まれているか否かを判定してもよい。勿論、周辺作業者が作業機械４０（油圧ショベル）から５メートルの位置にいるという距離情報は、距離情報の一例に過ぎない。
　報知動作判定部１０３は、遠隔操作装置２０を操作するオペレータが所定の報知動作を行ったか否かを判定する機能を有する。
　ここで、報知動作とは、周辺作業者に対して、オペレータが作業機械４０の存在を認識して欲しい旨を報知するための動作を含む概念である。例えば、オペレータは遠隔出力インターフェース２２０に表示されている特定の周辺作業者を所定時間（例えば、３秒）以上注視すること等である。勿論、オペレータが特定の周辺作業者を３秒以上注視することは、報知動作の一例に過ぎない。
　報知動作判定部１０３は、オペレータが作業機械４０の存在を認識して欲しい旨を報知するための動作（以下、適宜、報知動作という。）をしているか判定する機能を有する。例えば、報知動作判定部１０３は、視線検出センサ２３１の検出結果に基づいて、当該判定を行う。なお、視線検出センサ２３１の詳細については、後述する。
　報知信号生成部１０４は、報知動作判定部１０３の判定結果が肯定的である場合に、周辺作業者に対して、オペレータが作業機械４０の存在を認識して欲しい旨を報知するための信号（以下、適宜、報知信号という。）を生成する機能を有する。勿論、報知信号生成部１０４は、能動的に報知信号を生成せずに、外部で生成された報知信号を受信する構成としてもよい。
　報知信号生成部１０４は、報知動作判定部の判定結果が肯定的である場合に、対象設定部１０６が設定した対象作業者を周辺作業者として報知信号を生成する。勿論、報知信号生成部１０４は、能動的に報知信号を生成せずに、外部で生成された報知信号を受信する構成としてもよい。なお、対象設定部１０６の詳細については、後述する。
　視認判定部１０５は、周辺作業者判定部１０２において、撮像画像に周辺作業者が含まれていると判定された場合、オペレータの視野に周辺作業者を表示する表示部が含まれるか否かを検出することにより、オペレータが、表示部に表示された周辺作業者の画像を視認しているか否かを判定する機能を有する。勿論、周辺作業者判定部１０２は、能動的に当該判定を行わず、外部で判定された判定結果を受信する構成としてもよい。
　例えば、視認判定部１０５は、周辺作業者判定部１０２において、撮像画像に周辺作業者が含まれていると判定された場合、オペレータの視野に周辺作業者を表示する遠隔出力インターフェース２２０の報知装置２２１に示された周辺作業者の画像を視認しているか否かを判定する。勿論、視認判定部１０５は、能動的に当該判定を行わず、外部で判定された判定結果を受信する構成としてもよい。なお、遠隔出力インターフェース２２０および報知装置２２１の詳細については、後述する。
　また、オペレータが、報知装置２２１に示された周辺作業者の画像を視認しているか否かの判定については、公知の技術（例えば、遠隔撮像装置２３０が有する視線検出センサ２３１等）を用いて、オペレータの視線を検出することによって、当該判定が行われる。
　対象設定部１０６は、周辺作業者判定部１０２において、撮像画像に周辺作業者が含まれていると判定された場合に、撮像画像に周辺作業者が複数含まれる場合には少なくとも一人の前記周辺作業者を対象作業者として設定する機能を有する。
　例えば、対象設定部１０６は、視認判定部１０５において、オペレータが報知装置２２１に表示された複数の周辺作業者の画像の中からいずれかを視認しているかを判定することにより、少なくとも一人の周辺作業者を対象作業者として設定する機能を有する。公知の技術を用いて検出されるオペレータの視点が報知装置２２１に表示された複数の周辺作業者の画像のいずれかの表示位置に位置するかを判定することにより少なくとも一人の周辺作業者を対象作業者として設定する。また、対象設定部１０６により対象作業者として設定した周辺作業者の報知装置２２１に表示される画像を強調表示（例：カーソルを重畳表示させる）させてもよい。対象設定部１０６による対象作業者の設定はオペレータの視点によるものに限られず、オペレータの視点以外の操作（例：作動機構に設けたボタンの操作）によるものでもよい。また、いったん対象設定部１０６により複数の周辺作業者の画像の中から対象作業者が設定された場合に当該対象作業者を確定させる確定機能を設け、当該確定機能が有効な場合には新たに他の周辺作業者は対象作業者として設定されないようにしてもよい。
　そして、対象設定部１０６により設定された対象作業者と作業機械４０との位置関係が認識される。例えば、対象作業者が作業機械４０の右側に存在している場合には、右側が認識される。
　図３および図４に示すように、遠隔操作装置２０は、構成要素として、遠隔制御装置２００、遠隔入力インターフェース２１０、遠隔出力インターフェース２２０、遠隔撮像装置２３０および遠隔無線通信機器２４０を有する。勿論、必要に応じて、遠隔操作装置２０は、これらすべての構成を備える必要はない。
　遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、遠隔制御装置２００は、取得した報知動作に関する情報に基づいて、実機出力インターフェース４２０に、「オペレータが認識要求をしています。あなた（周辺作業者）が作業機械４０の存在を認識したことを、このオペレータに知らせてください」という趣旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。なお、作業機械４０および実機出力インターフェース４２０の詳細については、後述する。
　ここで、認識要求とは、オペレータが周辺作業者に対して、自身（当該オペレータ）が遠隔操作する作業機械４０の存在を周辺作業者に認識して欲しい旨を要求することを含む概念である。
　遠隔入力インターフェース２１０は、実機出力インターフェース４２０に、「オペレータが認識要求をしています。あなた（周辺作業者）が作業機械４０の存在を認識したことを、このオペレータに知らせてください」という旨の合図を出力（以下、適宜、認識出力という。）するための操作（以下、適宜、報知操作という。）を受ける機能を有する。勿論、当該合図は、オペレータが、周辺作業者に対して認識要求をするための合図の一例に過ぎない。
　例えば、遠隔入力インターフェース２１０は、作業機械４０が備える作業灯４２１を点灯させる作業灯スイッチ２１１である。この場合、認識要求をした周辺作業者の存在を認識したオペレータが、作業灯スイッチを押すと、作業灯が点灯する。これにより、オペレータから認識要求をされた周辺作業者は、自身（当該周辺作業者）が、オペレータに認識要求されたことを知ることができる。作業灯４２１が灯されることは作業機械４０における通常作業においてもなされることであるので、周辺作業者に対してより確実にオペレータからの認識要求があることを通知するために、当該通常作業における作業灯４２１の灯り方（例：点灯し続ける）と異なる灯り方（例：点滅する）をさせることが望ましい。作業灯４２１が複数設けられる場合、対象作業者と作業機械４０との位置関係により、点灯の有無が定まる。例えば、左方を照らす作業灯４２１と右方を照らす作業灯４２１とがあり、対象作業者が作業機械４０の右側に存在している場合には、右方を照らす作業灯４２１のみが点灯されるようにしてもよい。なお、作業灯４２１の詳細については、後述する。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備え旋回時に灯らせる旋回フラッシャ４２２を点灯させる旋回フラッシャスイッチ２１２である。この場合、周辺作業者に作業機械４０の存在を認識して欲しいオペレータが、旋回フラッシャスイッチを押すと、旋回フラッシャが点灯する。これにより、認識要求をされた周辺作業者は、自身（当該周辺作業者）が、オペレータに認識要求されたことを知ることができる。旋回フラッシャ４２２が灯されることは作業機械４０における通常作業においてもなされることであるので、周辺作業者に対してより確実にオペレータからの認識要求があることを通知するために、当該通常作業における旋回フラッシャ４２２の灯り方（例：点灯し続ける）と異なる灯り方（例：点滅する）をさせることが望ましい。旋回フラッシャ４２２が複数設けられる場合、対象作業者と作業機械４０との位置関係により、点灯の有無が定まる。例えば、作業機械４０の左側に設置される旋回フラッシャ４２２Lと作業機械４０の右側に設置される旋回フラッシャ４２２Rとがあり、対象作業者が作業機械４０の右側に存在している場合には、右側に設置される旋回フラッシャ４２２Rのみが点灯されるようにしてもよい。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備える外部モニタ４２３にテキストメッセージを表示させる外部モニタスイッチ２１３である。この場合、周辺作業者に作業機械４０の存在を認識して欲しいオペレータが、外部モニタスイッチ２１３を押すと、外部モニタ４２３に「作業機械に注意してください。」という旨のテキストメッセージを出力する。これにより、認識要求をされた周辺作業者は、オペレータが自身（当該周辺作業者）に対して認識要求をしていることを知ることができる。勿論、当該テキストメッセージは、オペレータが周辺作業者に対して認識要求をするためのメッセージの一例に過ぎない。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備える外部スピーカー４２４から音声案内を流すスピーカースイッチ２１４である。この場合、周辺作業者に作業機械４０の存在を認識して欲しいオペレータが、スピーカースイッチ２１４を押すと、スピーカーから「作業機械に注意してください。」という旨の音声案内を出力する。これにより、認識要求をされた周辺作業者は、オペレータが自身（当該周辺作業者）に対して認識要求をしていることを知ることができる。勿論、当該音声案内は、オペレータが周辺作業者に対して認識要求をするための音声案内の一例に過ぎない。
　また、各スイッチは、例えば、プッシュ型の押しボタンであり、各ボタンを押すと作業灯４２１が点灯（点滅）したり、旋回フラッシャ４２２が点灯（点滅）したり、作業機械４０が備える外部モニタ４２３にテキストメッセージが表示されたり、作業機械４０が備える外部スピーカー４２４から音声案内が流れたりする。勿論、当該スイッチの構成は、遠隔入力インターフェース２１０の一例に過ぎない。例えば、報知装置２２１がタッチパネル機能を有する場合、オペレータが、報知装置２２１の画面をタッチすることにより、実機出力インターフェース４２０に「作業機械に注意してください。」という旨の合図が出力される構成としてもよい。
　報知操作検知部２１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　また、報知操作検知部２１００は、遠隔操作装置２０に搭載され操作を受ける機能を有する。報知操作検知部２１００は、対象作業者の選択の完了後にオペレータＯＰが所望するタイミングで作業機械４０に報知動作をさせるために設けられる。また、報知操作検知部２１００は、オペレータＯＰによる操作を検知する機能を有する。
　また、報知操作検知部２１００は、実機出力インターフェース４２０により認識出力がなされる対象の周辺作業者を選択可能であり、当該選択により選択された対象の周辺作業者に対して認識出力がなされるための機能を有する。
　例えば、報知操作検知部２１００は、遠隔操作装置２０に搭載され、オペレータＯＰが作業灯スイッチ２１１を押す操作に関する電気信号を受ける。また、報知操作検知部２１００は、当該電気信号を受けることにより、オペレータＯＰが作業灯スイッチ２１１を押したことを検知する。
　例えば、周辺作業者が複数存在する場合、報知操作検知部２１００は、作業灯４２１による点滅出力がなされる対象の周辺作業者を選択可能であり、当該選択により選択された対象の周辺作業者に対して、作業灯４２１を点滅させる。
　勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０の作動機構（例えば、ブーム、アーム、バケット等）を作動させる作動レバーを有していてもよい。
　勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０を走行させる走行レバーを有していてもよい。
　勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０の上部旋回体を旋回させる旋回レバーを有していてもよい。
　遠隔出力インターフェース２２０は、少なくとも、報知装置２２１により構成される。
　また、遠隔出力インターフェース２２０は、報知装置２２１にオペレータＯＰからの認識要求に返答した周辺作業者に関する情報を報知する機能を有してもよい。
　図４に示されているように、例えば、報知装置２２１は、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成された液晶モニタである。当該画像出力装置２２１１～２２１３は、スピーカー（音声出力装置）（不示図）を備えていてもよい。
　この場合、液晶モニタは、認識要求をしたオペレータＯＰに対して応答している周辺作業者表示する。例えば、当該表示は、前方画像出力装置２２１２に表示される。
　また、この場合、前方画像出力装置２２１２は、当該表示と同時に通知音を鳴らしてもよい。例えば、前方画像出力装置２２１２は、「あなた（オペレータＯＰ）が認識要求をした周辺作業者は、作業機械４０の存在を認識しました。」という趣旨のテキストメッセージを表示する。勿論、当該テキストメッセージは、周辺作業者からオペレータＯＰに対する応答メッセージの一例に過ぎない。
　また、前方画像出力装置２２１２が備えるスピーカーを用いて、「あなた（オペレータＯＰ）が認識要求をした周辺作業者は、作業機械４０の存在を認識しました。」という趣旨のメッセージを音声案内してもよい。勿論、当該スピーカーは、オペレータＯＰに対して、周辺作業者が作業機械４０の存在を認識していることを当該オペレータＯＰに報知するためであれば、警告音を出力してもよい。
　勿論、当該音声案内は、周辺作業者からオペレータＯＰに対する応答メッセージの一例に過ぎない。
　また、報知装置２２１をスピーカーとして、「あなた（オペレータＯＰ）が認識要求をした周辺作業者は、作業機械４０の存在を認識しました。」という趣旨のメッセージを音声案内するだけの構成にしてもよい。
　また、報知装置２２１をスピーカーとして、「あなた（オペレータＯＰ）が認識要求をした周辺作業者は、作業機械４０の存在を認識しました。」という趣旨の報知音（警告音）を出力するだけの構成にしてもよい。
　また、報知装置２２１をシートＳｔとして、「あなた（オペレータＯＰ）が認識要求をした周辺作業者は、作業機械４０の存在を認識しました。」という趣旨の振動を伝える構成にしてもよい。なお、この場合、シートＳｔは、振動モーター（不示図）を備える。
　また、報知装置２２１を画像出力装置とする場合、当該画像出力装置は、例えば、画像出力装置上で、オペレータＯＰからの認識要求に応答を行った周辺作業者を強調して表示する。この場合、例えば、周辺作業者にカーソルを重畳表示さて表示する。当該応答を行った周辺作業者が複数存在する場合にはそれぞれ個別に表示する。また、既に対象作業者を強調する表示を行っている場合には、オペレータＯＰからの認識要求に応答を行った周辺作業者の強調表示を終了させることで、引き続きオペレータＯＰからの認識要求に応答をしていない対象作業者のみを強調表示し続ける。
　このような応答報知により、作業機械４０の存在が、周辺作業者に認識されたことがオペレータＯＰに伝達される。また、オペレータＯＰからの認識要求に応答をしていない対象作業者の有無により、再度の報知操作の必要性がオペレータＯＰに認識されうる。このことは周辺作業者に作業機械４０の確認を促すことになるので、作業機械４０が遠隔操作されていることに起因するオペレータＯＰの作業性を低下させる行動を回避させることにつながる。
　遠隔撮像装置２３０は、例えば、遠隔操作装置２０の内部に設置され、オペレータＯＰの周囲を含む環境を撮像する。勿論、遠隔撮像装置２３０は、遠隔操作装置２０の外部から、オペレータＯＰを撮像する構成としてもよい。
　また、遠隔撮像装置２３０は、報知装置２２１の表示画面に対する視線を検出するための装置として、視線検出センサ２３１を有する。勿論、視線検出センサ２３１は、遠隔撮像装置２３０に内蔵されない独立の構成としてもよい。
　視線検出センサ２３１は、例えば図４に示すように報知装置２２１の表示画面の上面側に設けられ、報知装置２２１の表示画面に対する視線を検出する。そして、視線検出センサ２３１は、視線の検出結果を示す情報を出力する。
　視線検出センサ２３１が視線を検出する検出対象は、例えば、オペレータＯＰである。視線検出センサ２３１がオペレータＯＰを検出対象とする場合、視線検出センサ２３１は、例えば、ステレオカメラにより撮像された撮像画像から設定されている顔を検出する顔検出処理を行うことによって、オペレータＯＰを特定する。そして、視線検出センサ２３１は、特定されたオペレータＯＰの視線を検出して、視線の検出結果を示す情報を出力する。
　視線の検出結果を示す情報としては、例えば、報知装置２２１の表示画面上の視線の位置を示すデータ（例えば、報知装置２２１の表示画面の左上などの任意の点を原点として表される平面座標データ）が、挙げられる。視線検出センサ２３１は、例えば、検出された視線に対応する視線ベクトルと、設定されている報知装置２２１の表示画面に対応する平面との交点の位置を求める。上記交点の位置が求まった場合、視線検出センサ２３１は、求められた交点の位置を報知装置２２１の表示画面上の視線の位置とし、報知装置２２１の表示画面上の視線の位置を示すデータを、視線の検出結果を示す情報として出力する。
　また、視線の検出結果を示す情報は、視線が報知装置２２１の表示画面上にないことを示すデータ（例えばフラグデータなど）であってもよい。上記交点の位置が求まらなかった場合、視線検出センサ２３１は、視線が報知装置２２１の表示画面上にないことを示すデータを、視線の検出結果を示す情報として出力する。
　なお、報知装置２２１の表示画面上の視線の位置を特定する方法が、上記に示す例に限られないことは、言うまでもない。また、報知装置２２１の表示画面上の視線の位置を特定する処理は、視線検出センサ２３１の外部装置（例えば、制御装置（不示図）など）で行われてもよい。
　また、遠隔撮像装置２３０は、撮像したオペレータＯＰの画像を、端末装置５０に送信する機能を有していてもよい。なお、端末装置５０の詳細については、後述する。
　これにより、例えば、周辺作業者の有する端末装置５０がスマートフォンである場合、オペレータＯＰと、周辺作業者と、が、互いの様子を見ながら、後述する遠隔無線通信機器２４０を用いて、会話をすることができる。
　遠隔無線通信機器２４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　遠隔無線通信機器２４０は、オペレータＯＰにより、認識要求がなされたかの判定結果を取得し、当該判定が肯定的である場合、認識要求をされた周辺作業者に、オペレータＯＰが作業機械の存在を認識して欲しいと思っていることを、当該周辺作業者に報知するための認識要求信号を送信（以下、適宜、認識要求制御という。）する。
　例えば、オペレータＯＰが、作業灯スイッチ２１１を押した場合、遠隔無線通信機器２４０は、作業灯４２１を点灯（点滅）させるための信号を、ネットワークを介して作業機械４０（実機無線通信機器４４０）へ送信し、作業機械４０の作業灯４２１を点灯（点滅）させる。なお、実機無線通信機器４４０については、後述する。
　勿論、遠隔無線通信機器２４０が送信する信号は、旋回フラッシャ４２２を点灯（点滅）させるための信号でもよい。
　勿論、遠隔無線通信機器２４０が送信する信号は、作業機械４０が備える外部モニタ４２３に「作業機械に注意してください。」という内容のテキストメッセージを表示するための信号でもよい。
　勿論、遠隔無線通信機器２４０が送信する信号は、作業機械４０が備える外部スピーカー４２４に「作業機械に注意してください。」という内容の音声案内を出力するための信号でもよい。
　また、遠隔無線通信機器２４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。
　この場合、端末無線通信機器５４０は、周辺作業者が有する端末装置５０に内蔵される。例えば、周辺作業者が有する端末装置５０とは、ウェアラブル端末装置、ノートパソコン、タブレット端末装置、スマートフォン、スマートウォッチ等である。なお、端末装置５０および端末無線通信機器５４０の詳細については、後述する。
　これにより、オペレータＯＰが遠隔入力インターフェース２１０を操作した場合、周辺作業者が有する端末装置５０の端末出力インターフェース５２０に「作業機械に注意してください。」というテキストメッセージが表示され、周辺作業者は、オペレータＯＰが当該周辺作業者自身の存在を認識していることを認識することができる。なお、端末出力インターフェース５２０の詳細については、後述する。
　作業機械４０とは、作業現場において稼働可能な作業車両をいう。作業機械４０は、土砂を押土または掘削を実施可能な建設機械の少なくとも一方を含む。建設機械は、バケットを有する油圧ショベルおよびブレードを有するブルドーザの少なくとも一方を含む。
　図４および図５に示すように、作業機械４０は、実機制御装置４００、実機入力インターフェース４１０と、実機出力インターフェース４２０、作業現場撮像装置４３０、実機無線通信機器４４０を備えている。これ以外にも、ブームと、アームと、先端アタッチメントと、から構成される作動機構（作業アタッチメント）等を備えていてもよい。
　実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、実機制御装置４００は、前記演算処理を行い、報知信号生成部１０４が生成した報知信号に基づいて、作業機械４０の実機出力インターフェース４２０（作業灯４２１、旋回フラッシャ４２２、外部モニタ４２３、外部スピーカー４２４等）に関する制御を行う。
　この報知制御により、オペレータＯＰは、周辺作業者に作業機械４０の存在を認識させることができる。
　実機入力インターフェース４１０は、少なくとも実機操作機構４１１を備えている。
　実機操作機構４１１は、作業機械４０の運転室の内部に配置された運転室内シートの周囲に遠隔操作機構と同様に配置された複数の実機操作スイッチ（不図示）を備えている。各操作スイッチの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作スイッチ（不図示）を動かす駆動機構、またはロボットが、運転室に設けられている。
　実機出力インターフェース４２０は、オペレータＯＰが、周辺作業者に作業機械４０の存在を認識させるための機能を有する。
　例えば、実機出力インターフェース４２０の例として、作業機械４０が備える作業灯４２１、旋回フラッシャ４２２、外部モニタ４２３、外部スピーカー４２４等）が用いられる。これらの実機出力インターフェース４２０は、オペレータＯＰが、周辺作業者に作業機械４０の存在を認識して欲しいことを報知するために用いられる。
　作業現場撮像装置４３０は、作業機械４０の周囲を含む環境を撮像する機能を有する。
例えば、作業現場撮像装置４３０は、作業機械４０の内部に設置され、作業機械４０の周囲を含む環境を撮像する。勿論、作業現場撮像装置４３０は、作業機械における運転室の外部に備えられてもよい。
　これにより、オペレータＯＰは、作業機械４０の周囲に当該作業機械４０の存在を認識していない可能性がある周辺作業者が存在するかを認識することができる。
　また、作業現場撮像装置４３０がステレオカメラである場合、当該ステレオカメラは、撮像した撮像画像と共に、作業機械４０から周辺作業者までの距離に関する情報（以下、適宜、距離情報という。）を遠隔操作装置２０に送信する機能を有してもよい。
　実機無線通信機器４４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　例えば、オペレータＯＰが、作業灯スイッチ２１１を押した場合、実機無線通信機器４４０は、作業灯を点灯（点滅）させるための信号を、ネットワークを介して受信して、作業灯４２１を点灯（点滅）させる。
　勿論、実機無線通信機器４４０が受信する信号は、旋回フラッシャ４２２を点灯（点滅）させるための信号でもよい。
　勿論、実機無線通信機器４４０が受信する信号は、作業機械４０が備える外部モニタ４２３に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージを表示するための信号でもよい。
　図６に示すように、端末装置５０は、端末制御装置５００、端末入力インターフェース５１０、端末出力インターフェース５２０、端末撮像装置５３０および端末無線通信機器５４０を備える。
　端末装置５０とは、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行するために用いられる装置である。例えば、端末装置５０は、ウェアラブル端末装置、ノートパソコン、タブレット端末装置、スマートフォン、スマートウォッチ、ヘッドマウントディスプレイである。
　端末制御装置５００は、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、端末制御装置５００は、オペレータＯＰが認識動作をしたことに基づいて、端末装置５０が有するディスプレイに、「作業機械に注意してください。」という旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　また、端末制御装置５００は、周辺作業者が、オペレータＯＰからの認識要求に応答をしたことに基づいて、端末装置５０が有するディスプレイに、「作業機械の存在を認識しています。」という旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　端末入力インターフェース５１０は、周辺作業者からオペレータＯＰに対する応答を入力するために用いられる。例えば、端末装置５０がスマートフォンであり、タッチパネル式のディスプレイを有する場合、周辺作業者が当該ディスプレイをタッチすることにより、応答をするための応答信号が入力される。勿論、端末装置５０がスマートフォンであり、マイクを有する場合、周辺作業者が、オペレータＯＰに対して自身（当該周辺作業者）の存在を認識して欲しい旨を音声入力することにより、応答信号が入力される構成としてもよい。
　端末出力インターフェース５２０は、オペレータＯＰから周辺作業者に対する認識要求を出力するために用いられる。例えば、端末装置５０がスマートフォンであり、タッチパネル式のディスプレイを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該ディスプレイに「作業機械に注意してください。」という旨のテキストメッセージを表示する。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　勿論、端末装置５０がスマートフォンであり、スピーカーを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該スピーカーから「作業機械に注意してください。」という旨の音声案内が出力される構成としてもよい。勿論、当該音声案内は、音声案内の一例に過ぎない。
　勿論、端末装置５０がスマートフォンであり、振動モーターを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該振動モーターが振動し、「作業機械に注意してください。」という合図を意味する振動が出力される構成としてもよい。すなわち、いわゆるバイブレーション機能により、認識要求が行われてもよい。
　端末撮像装置５３０は、少なくとも周辺作業者を撮像する機能を有する。周辺作業者がオペレータＯＰからの認識要求に応答する場合、端末撮像装置５３０が、当該周辺作業者を撮像しているのであれば、当該周辺作業者の画像を遠隔出力インターフェース２２０に出力してもよい。これにより、オペレータＯＰは、実際に認識要求をした周辺作業者の様子を見ながら、周辺作業者からの応答を認識することができる。
　端末無線通信機器５４０は、端末装置５０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、端末装置５０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯スイッチ２１１を押した場合、端末無線通信機器５４０は、端末装置５０（例えば、スマートフォン）のディスプレイに「作業機械に注意してください。」という旨のテキストメッセージを表示させるための信号を、ネットワークを介して受信して、当該ディスプレイに「作業機械に注意してください。」という旨のテキストメッセージを表示する。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　勿論、端末無線通信機器５４０が受信する信号は、端末装置５０（例えば、スマートフォン）のスピーカーから音声案内を出力させるための信号でもよい。
　勿論、端末無線通信機器５４０が受信する信号は、端末装置５０（例えば、スマートフォン）が備える振動モーターを振動させるための信号でもよい。これにより、周辺作業者は、オペレータＯＰが、自身（認識要求をした周辺作業者）の存在を認識していることを認識することができる。
　また、端末無線通信機器５４０は、端末装置５０（例えば、スマートフォン）と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。これにより、周辺作業者と、オペレータＯＰと、が互いの様子を見ながら会話をすることができる。
　周辺作業者データベース６０は、予め参照画像として、少なくとも周辺作業者の顔写真における画像データを記憶させておくことができる記憶装置であれば、何でもよい。例えば、記憶装置は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、記憶装置は、ＳＤ（登録商標）メモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌメモリカード）、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体であってもよい。
　勿論、周辺作業者データベース６０は、予め参照画像として、周辺作業者が作業用ヘルメットを被っている画像等を記憶していてもよい。
　当該構成の遠隔操作支援システムＳの機能について、図７に示されているフローチャートを参照して説明する。
　ＳＴＥＰ１において、撮像画像取得部１０１は、作業機械４０の周辺を撮像する作業現場撮像装置４３０が撮像した撮像画像を取得する。
　ＳＴＥＰ２において、周辺作業者判定部１０２は、撮像画像に周辺作業者が含まれているか否かを判定する。なお、ＳＴＥＰ２においてＮｏと判定された場合は、ＳＴＥＰ１に戻る。
　ＳＴＥＰ３（ＳＴＥＰ２においてＹＥＳと判定された場合）において、報知動作判定部１０３は、遠隔操作装置２０を操作するオペレータＯＰが所定の報知動作を行ったか否かを判定する。なお、ＳＴＥＰ３においてＮｏと判定された場合は、ＳＴＥＰ１に戻る。
　ＳＴＥＰ４（ＳＴＥＰ３においてＹＥＳと判定された場合）において、報知信号生成部１０４は、周辺作業者に対して、オペレータＯＰからの認識要求を報知するための報知信号を生成する。なお、ＳＴＥＰ４においてＮｏと判定された場合は、ＳＴＥＰ１に戻る。
　ＳＴＥＰ５において、実機出力インターフェース４２０は、報知信号を受信したことに基づいて、オペレータＯＰから周辺作業者に対する認識要求を報知する。
　（本発明の他の実施形態）
　前記実施形態において、遠隔操作支援装置１０が独立して設けられる例を説明したが、そのような例に限定されない。例えば、遠隔操作装置２０に遠隔操作支援装置１０を備えて、オペレータＯＰの作業を支援することができる。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。
　前記実施形態において、遠隔操作支援装置１０が独立して設けられる例を説明したが、そのような例に限定されない。例えば、クラウド上のシステムに遠隔操作支援装置１０を備えて、オペレータＯＰの作業を支援することができる。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。
　前記実施形態において、遠隔操作支援装置１０が独立して設けられる例を説明したが、そのような例に限定されない。例えば、作業機械４０に遠隔操作支援装置１０を備えて、遠隔操作されている作業機械の周辺で作業を行う周辺作業者の作業を支援することができる。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。
　前記実施形態において、ＳＴＥＰ１からＳＴＥＰ５までの、フローチャートを示したが、そのような例に限定されない。例えば、ＳＴＥＰ６として、視認判定部が、オペレータＯＰの視野に周辺作業者の画像を出力する遠隔出力インターフェース２２０が含まれるか否かを検出することにより、オペレータＯＰが、遠隔出力インターフェース２２０に出力された前記周辺作業者の画像を視認しているか否かを判定するＳＴＥＰ６を、含めてもよい。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。勿論、ＳＴＥＰの順序は、本発明が実施可能な態様において適宜入れ替えてもよい。
　前記実施形態において、ＳＴＥＰ１からＳＴＥＰ５までの、フローチャートを示したが、視認判定部１０５の判定結果が肯定的である場合に、報知動作判定部１０３が遠隔操作装置２０を操作するオペレータＯＰが所定の報知動作を行ったか否かを判定するＳＴＥＰ７を含めてもよい。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。勿論、ＳＴＥＰの順序は、本発明が実施可能な態様において適宜入れ替えてもよい。
　前記実施形態において、ＳＴＥＰ１からＳＴＥＰ５までの、フローチャートを示したが、周辺作業者判定部１０２において、撮像画像に周辺作業者が含まれていると判定された場合に、対象設定部１０６が、撮像画像に周辺作業者が複数含まれる場合には少なくとも一人の周辺作業者を対象作業者として設定するＳＴＥＰ８を含めてもよい。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。勿論、ＳＴＥＰの順序は、本発明が実施可能な態様において適宜入れ替えてもよい。
　前記実施形態において、ＳＴＥＰ１からＳＴＥＰ５までの、フローチャートを示したが、
報知信号生成部１０４が、報知動作判定部１０３の判定結果が肯定的である場合に、対象設定部１０６が設定した対象作業者を周辺作業者として報知信号を生成するＳＴＥＰ９を含めてもよい。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。勿論、ＳＴＥＰの順序は、本発明が実施可能な態様において適宜入れ替えてもよい。
　前記実施形態において、ＳＴＥＰ１からＳＴＥＰ５までの、フローチャートを示したが、
対象設定部１０６は、視認判定部１０５において、オペレータが、遠隔出力インターフェース２２０に表示された複数の周辺作業者の画像の中からいずれかを視認しているかを判定することにより、少なくとも一人の周辺作業者を対象作業者として設定するＳＴＥＰ１０を含めてもよい。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。勿論、ＳＴＥＰの順序は、本発明が実施可能な態様において適宜入れ替えてもよい。
　前記実施形態において、周辺作業者判定部１０２は、撮像画像取得部１０１が取得した撮像画像（画像データ）に基づいて、当該撮像画像に周辺作業者が含まれているか否かを判定する例を示したが、そのような例に限定されない。例えば、周辺作業者判定部１０２は、周辺作業者が、作業機械４０の作業半径に入らない場合、当該判定をしなくてもよい。このようなケースにも、本発明に係る遠隔操作支援システムＳを適用することができる。
　なお、周辺作業者が、作業機械４０の作業半径に入るか否かの判定は、予め作業範囲を設定しておき、公知の測距装置（ＴＯＦセンサ、ステレオカメラ等）を用いて、周辺作業者と作業機械４０との距離を測距して、当該作業範囲内に周辺作業者がいるか否かを判定する。
　遠隔操作支援装置１０が、オペレータの視野に周辺作業者を表示する表示部が含まれるか否かを検出することにより、オペレータが、表示部に表示された周辺作業者の画像を視認しているか否かを判定する視認判定部１０５を有し、視認判定部１０５の判定結果が肯定的である場合に、報知動作判定部１０３に遠隔操作装置２０を操作するオペレータが所定の報知動作を行ったか否かを判定させるように構成されている。
　この構成によれば、オペレータの視線を検出することにより、オペレータが、周辺作業者が撮像された画像を視認している場合に、オペレータが周辺作業者に対して報知をすることが可能となる。このことは、オペレータが周辺作業者の存在を確認しないままに報知動作を行うことを回避することができる。
　周辺作業者判定部において、撮像画像に周辺作業者が含まれていると判定された場合に、撮像画像に周辺作業者が複数含まれる場合には少なくとも一人の周辺作業者を対象作業者として設定する対象設定部１０６を有し、報知動作判定部１０３の判定結果が肯定的である場合に、対象設定部１０６が設定した対象作業者を周辺作業者として報知信号生成部１０４に信号を生成させるように構成されている。
　この構成によれば、報知動作の対象となる周辺作業者の候補が複数存在する場合に、少なくとも一人の周辺作業者を対象作業者として設定することが出来る。これにより、例えば、報知をすべき周辺作業者に対してのみ報知動作を行うことが可能となる。
　対象設定部１０６は、視認判定部オペレータが、表示部に表示された複数の周辺作業者の画像の中からいずれかを視認しているかを判定することにより、少なくとも一人の周辺作業者を対象作業者として設定するように構成されている。
　この構成によれば、オペレータの視野を判定してオペレータが画像を視認している周辺作業者が対象作業者として設定される。このことは、オペレータが所望する報知対象の周辺作業者の選択を容易にすることが可能にする。
　報知信号制御部は、周辺作業者が有する端末装置５０の端末出力インターフェース５２０にオペレータが当該周辺作業者の存在を認識していることを含む情報を出力するための処理を行うように構成されている。
　この構成によれば、周辺作業者に個別に保持される端末装置が報知部として機能する。このことは、報知対象の周辺作業者に確実に報知動作があったことを伝達するとともに、報知対象ではない周辺作業者には報知動作しないので不要な注意を要することによる作業性の低下を避けることを可能にする。
１０‥遠隔操作支援装置、２０‥遠隔操作装置、３０‥サーバ、４０‥作業機械、５０‥端末装置、６０‥周辺作業者データベース、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、２３０‥遠隔撮像装置、２４０‥遠隔無線通信機器、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４３０‥作業現場撮像装置、４４０‥実機無線通信機器、５００‥端末制御装置、５１０‥端末入力インターフェース、５２０‥端末出力インターフェース、５３０‥端末撮像装置、５４０‥端末無線通信機器。
 

Claims (7)

  1. 　遠隔操作装置を用いて遠隔操作される作業機械の遠隔操作を支援するための遠隔操作支援装置であって、
    　前記作業機械が作業を行う作業現場の環境に関する撮像画像を取得する撮像画像取得部と、
    　前記撮像画像取得部が取得した撮像画像に基づいて、前記作業機械周辺に存在する周辺作業者が含まれるか否かを判定する周辺作業者判定部と、
    　前記周辺作業者判定部の判定結果が肯定的である場合、前記遠隔操作装置を操作するオペレータが前記周辺作業者に前記作業機械の存在を認識させる旨の情報である認識情報を報知するために行われる所定の報知動作を行ったか否かを判定する報知動作判定部と、
    　前記報知動作判定部の判定結果が肯定的である場合、前記認識情報を前記周辺作業者に報知するための信号である認識報知信号を生成し、前記認識報知信号を外部に出力するための処理を行う報知信号生成部と、を有する、
    　ことを特徴とする遠隔操作支援装置。
  2. 　請求項１に記載の遠隔操作支援装置であって、
    　前記遠隔操作支援装置は、前記オペレータの視野に前記周辺作業者を表示する表示部が含まれるか否かを検出することにより、前記オペレータが、前記遠隔操作装置が備える遠隔出力インターフェースに出力された前記周辺作業者の画像を視認しているか否かを判定する視認判定部を有し、
    　前記視認判定部の判定結果が肯定的である場合に、報知動作判定部が前記遠隔操作装置を操作するオペレータが所定の報知動作を行ったか否かを判定する
    　ことを特徴とする遠隔操作支援装置。
  3. 　請求項１または２に記載の遠隔操作支援装置であって、
    　前記周辺作業者判定部において、前記撮像画像に前記周辺作業者が含まれていると判定された場合に、前記撮像画像に前記周辺作業者が複数含まれる場合には少なくとも一人の前記周辺作業者を対象作業者として設定する対象設定部を有し、
    　前記報知動作判定部の判定結果が肯定的である場合に、前記対象設定部が設定した前記対象作業者を前記周辺作業者として前記報知信号生成部が前記信号を生成する
    　ことを特徴とする遠隔操作支援装置。
  4. 　請求項３に記載の遠隔操作支援装置であって、
    　前記対象設定部は、前記オペレータが、前記周辺作業者を表示する表示部に表示された複数の前記周辺作業者の画像の中からいずれかを視認しているかを判定することにより、少なくとも一人の前記周辺作業者を前記対象作業者として設定する
    　ことを特徴とする遠隔操作支援装置。
  5. 　請求項１～４のうちいずれか１項に記載の遠隔操作支援装置であって、
    　前記報知信号制御部は、前記周辺作業者が有する端末装置の端末出力インターフェースに前記オペレータが前記周辺作業者の存在を認識していることを含む情報を出力するための処理を行う
    　ことを特徴とする遠隔操作支援装置。
  6. 　請求項１～５のうちいずれか１項に記載の遠隔操作支援装置を備える遠隔操作支援システムであって、
    　前記遠隔操作装置と、
    　前記作業機械と、
    　を備えることを特徴とする遠隔操作支援システム。
  7. 　遠隔操作装置を用いて遠隔操作される作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
    　前記作業機械が作業を行う作業現場の環境に関する撮像画像を取得する撮像画像取得工程と、
    　前記撮像画像取得工程において取得した撮像画像に基づいて、前記作業機械周辺に存在する周辺作業者が含まれるか否かを判定する周辺作業者判定工程と、
    　前記周辺作業者判定工程における判定結果が肯定的である場合、前記遠隔操作装置を操作するオペレータが前記周辺作業者に前記作業機械の存在を認識させる旨の情報である認識情報を報知するために行われる所定の報知動作を行ったか否かを判定する報知動作判定工程と、
    　前記報知動作判定工程における判定結果が肯定的である場合、前記認識情報を前記周辺作業者に報知するための信号である認識報知信号を生成し、前記認識報知信号を外部に出力するための処理を行う報知信号生成工程と、を含む、
    　ことを特徴とする遠隔操作支援方法。
     
PCT/JP2021/000396 2020-02-15 2021-01-07 遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム WO2021161693A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-023890 2020-02-15
JP2020023890A JP2021127641A (ja) 2020-02-15 2020-02-15 作業機械の遠隔操作支援装置、及び遠隔操作支援システム

Publications (1)

Publication Number Publication Date
WO2021161693A1 true WO2021161693A1 (ja) 2021-08-19

Family

ID=77291459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000396 WO2021161693A1 (ja) 2020-02-15 2021-01-07 遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム

Country Status (2)

Country Link
JP (1) JP2021127641A (ja)
WO (1) WO2021161693A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
JP2019167733A (ja) * 2018-03-23 2019-10-03 コベルコ建機株式会社 建設機械

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
JP2019167733A (ja) * 2018-03-23 2019-10-03 コベルコ建機株式会社 建設機械

Also Published As

Publication number Publication date
JP2021127641A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
WO2019111859A1 (ja) 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
JP5369057B2 (ja) 作業機械の周囲監視装置
JP6394281B2 (ja) 車載注意喚起システム、報知制御装置
JP6439667B2 (ja) 車載警告システム
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
US6985085B1 (en) Safety view blind finder for a crane
KR20160071070A (ko) 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
EP3960938A1 (en) Excavator
EP3960543A1 (en) Display device, shovel, information processing device
KR101998300B1 (ko) 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법
EP3960937A1 (en) Shovel, and safety equipment confirmation system for worksite
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
EP3751845A1 (en) Working machine control device
JP7287262B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2018111981A (ja) 作業機械用周辺監視システム
JP2014126997A (ja) 操作装置、及び操作検出方法
WO2021161693A1 (ja) 遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム
WO2021161692A1 (ja) 作業機械の遠隔操作支援システム
JP6980391B2 (ja) 作業機械用周辺監視システム
JP7283070B2 (ja) 作業機械用周辺監視装置
CN109189068B (zh) 泊车控制方法、装置及存储介质
JP7171208B2 (ja) 建設機械の作業支援装置
US11885101B2 (en) Remote operation system and remote operation server
KR20190058111A (ko) 진동을 제공하기 위한 장치 및 방법
JP2020109894A (ja) 電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21753309

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21753309

Country of ref document: EP

Kind code of ref document: A1