WO2021161692A1 - 作業機械の遠隔操作支援システム - Google Patents

作業機械の遠隔操作支援システム Download PDF

Info

Publication number
WO2021161692A1
WO2021161692A1 PCT/JP2021/000336 JP2021000336W WO2021161692A1 WO 2021161692 A1 WO2021161692 A1 WO 2021161692A1 JP 2021000336 W JP2021000336 W JP 2021000336W WO 2021161692 A1 WO2021161692 A1 WO 2021161692A1
Authority
WO
WIPO (PCT)
Prior art keywords
peripheral
remote control
work machine
worker
remote
Prior art date
Application number
PCT/JP2021/000336
Other languages
English (en)
French (fr)
Inventor
祐介 澤田
佐々木　均
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Publication of WO2021161692A1 publication Critical patent/WO2021161692A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a system that supports remote control of a work machine.
  • Patent Document 1 A construction machine capable of suppressing a decrease in work efficiency is disclosed (see, for example, Patent Document 1).
  • Patent Document 1 discloses a slave-side device provided in a construction machine main body and a master-side device for remotely controlling the slave-side device.
  • peripheral workers work around the work machine at the same time as working with the work machine.
  • Peripheral workers work outside, for example, partitions such as cones installed around the work machine.
  • partitions such as cones installed around the work machine.
  • peripheral workers may take actions such as avoiding work near the partition when the work machine is remotely controlled, or paying more attention to the operation of the work machine than necessary. There is. Taking such an action reduces the workability of peripheral workers.
  • an object of the present invention is to provide a system for ensuring the workability of peripheral workers by controlling the peripheral workers existing around the work machine to give a signal to the operator of the work machine. And.
  • a remote control support device having a remote control device for remotely controlling a work machine.
  • An environmental image acquisition unit that acquires an environmental image including peripheral workers existing around the work machine, and Based on the environment image acquired by the environment image acquisition unit, a specific operation determination unit that determines whether the peripheral worker is performing a specific operation, and a specific operation determination unit.
  • the specific operation notification control unit that controls the remote output interface included in the remote control device to notify that the peripheral worker is performing a specific operation. And have.
  • the environmental image acquisition unit acquires an environmental image including peripheral workers existing around the work machine.
  • a camera provided in the work machine or a camera installed in the vicinity thereof captures the environmental image.
  • the specific operation determination unit determines whether or not the peripheral worker is performing a specific operation based on the environment image acquired by the environment image acquisition unit.
  • the specific operation includes a gesture performed by the peripheral worker to the operator, and causes the operator to recognize that he / she (the peripheral worker himself / herself) exists in the vicinity of the work machine. It is a concept that includes gestures that are performed for (to make a recognition request).
  • the notification control unit confirms that the peripheral worker exists in the vicinity of the work machine in the remote output interface included in the remote control device. Control for notification.
  • the remote output interface of the remote control device is notified to confirm that the peripheral worker is present in the vicinity of the work machine. Information is displayed.
  • the peripheral worker requests the operator to recognize the peripheral worker, the specific action is performed, so that the operator is informed that the specific action has been performed. Since this prompts the operator to confirm the peripheral workers, it is possible to avoid actions that reduce the workability of the peripheral workers due to the remote control of the work machine.
  • a peripheral worker existing around a work machine performs a predetermined operation (gesture) when requesting a recognition request from an operator who remotely controls the work machine, thereby performing a remote control device. Notify the operator who operates the machine to urge peripheral workers to confirm that they are in the vicinity of the work machine. Since information regarding the recognition request from the peripheral worker is output to the remote output interface included in the remote control device, it is transmitted to the operator that a specific action (gesture) has been performed, so that the work machine. It is possible to avoid actions that reduce the workability of peripheral workers due to remote control of the interface.
  • the peripheral worker refers to a person existing in the vicinity of the work machine 40.
  • the remote control means that the operator OP operates the work machine 40 from a position away from the work machine 40 without boarding the work machine 40.
  • the operator OP can operate the work machine 40 from a position away from the work machine 40 by using the remote control device 20.
  • the work machine 40 will be described later.
  • the operator OP means a person who remotely controls the work machine 40.
  • the specific operation refers to an operation for requesting the operator OP to recognize the existence of itself (peripheral worker) (recognition request).
  • the specific operation means an operation in which a peripheral worker waves his / her hand toward the work site imaging device 430 of the work machine 40.
  • this operation is only an example of a specific operation.
  • Another example of a specific action is the action of a peripheral worker moving his face. For example, a peripheral worker frowns.
  • the remote control support system S as an embodiment of the present invention shown in FIG. 1 is composed of at least a remote control support device 10, a remote control device 20, a work machine 40, a terminal device 50, and a specific operation database 60. ing. Further, the remote control support system S may include a server 30 as needed.
  • the remote control support device 10 is based on an environment image acquisition unit 11 that acquires an environment image including peripheral workers existing around the work machine and an environment image acquired by the environment image acquisition unit.
  • the peripheral worker is connected to the remote output interface 220 included in the remote control device.
  • a notification control unit 13 that controls for notifying that the work machine 40 exists in the vicinity of the work machine 40 is provided as a component.
  • the remote control support device 10 becomes an actual machine output interface 420 (see FIG. 8) included in the work machine 40 in response to a designated operation being performed on the remote input interface 210 included in the remote control device 20.
  • the operator OP includes a recognition notification control unit 14 that controls to output information for notifying that the operator OP has recognized the presence of a peripheral worker.
  • the remote control support device 10 includes a peripheral worker information acquisition unit 15 having a function of acquiring information about peripheral workers existing around the work machine 40.
  • the remote operation support device 10 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data with the software. Executes the arithmetic processing according to.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the environment image acquisition unit 11 has a function of acquiring an environment image including peripheral workers existing around the work machine 40.
  • the environmental image means an image of the environment related to the work site around the work machine 40.
  • the environment image acquisition unit 11 has at least a function of acquiring an image (image data) captured by the work site image pickup device 430 that images the environment related to the work site around the work machine 40.
  • the specific operation determination unit 12 has a function of determining whether or not peripheral workers existing around the work machine 40 are performing a specific operation.
  • the specific motion determination unit 12 has a function of determining whether or not the peripheral worker is performing a specific motion based on the presence or absence of a preset specific motion accompanied by at least a motion of the peripheral worker.
  • the specific operation determination unit 12 has a function of determining whether or not the peripheral workers are performing a specific operation when a plurality of peripheral workers are present around the work machine 40.
  • the specific operation determination unit 12 may specify the peripheral workers who have performed a specific operation.
  • a plurality of peripheral works are performed by determining whether or not a specific operation has been performed for each position including the peripheral workers determined to include the peripheral workers on the specified captured image. Individually judge the person.
  • the specific operation determination unit 12 has a function of determining whether or not a peripheral worker is performing a specific operation based on the acquired captured image (image data).
  • the image data of peripheral workers is stored in advance in the specific operation database 60 as a reference image.
  • the image data is, for example, a photograph of the whole body of a peripheral worker, an outline extracted from a photograph of a peripheral worker, or the like.
  • a helmet or the like worn by peripheral workers may be stored as a reference image.
  • the specific operation database 60 will be described later.
  • the captured image captured by the work site imaging device 430 that captures the environment of the work site is compared with the reference image stored in the specific operation database 60, and image analysis (for example, the captured image) is performed using a known technique.
  • image analysis for example, the captured image
  • the specific operation determination unit 12 sets a threshold value in advance so as to illuminate the captured image with the reference image and determine that the captured image includes peripheral workers when most of the images match. ing.
  • the case where most of them match is, for example, a case where the captured image matches the reference image by 70% or more.
  • the peripheral worker determines that the captured image includes the peripheral worker.
  • peripheral worker information acquisition unit 15 has a function of acquiring information on peripheral workers existing around the work machine 40.
  • the peripheral worker information acquisition unit 15 identifies, for example, a position on the captured image that includes the peripheral worker determined to include the peripheral worker, and acquires information on that position. For example, information about the vertical and horizontal positions on the captured image is acquired.
  • the specific operation determination unit 12 allows peripheral workers to work on the work machine 40 based on the information regarding the distance acquired by the stereo camera (hereinafter, appropriately referred to as distance information). It may be determined whether or not a peripheral worker is included in the captured image together with the distance information of being at a position of, for example, 5 meters. Of course, the distance information that the peripheral worker is at a position of, for example, 5 meters from the work machine 40 is only an example of the distance information.
  • the peripheral worker information acquisition unit 15 may perform the peripheral worker. Is located far away, so it is determined that the captured image does not include peripheral workers.
  • this example is only an example of an example in which the peripheral worker information acquisition unit 15 determines that the peripheral worker is not included in the captured image because the peripheral worker is located far away.
  • the specific operation determination unit 12 determines whether the peripheral worker acquired by the environment image acquisition unit 11 is performing a specific operation.
  • the specific operation determination unit 12 determines that the acquired environment image includes peripheral workers, and identifies the position of the peripheral workers based on the information about the peripheral workers acquired by the peripheral worker information acquisition unit 15. If so, it is determined whether or not the peripheral workers are performing a specific operation.
  • the specific motion determination unit 12 makes the determination by a known technique for recognizing the movements of the limbs and the like of the specified peripheral workers.
  • the specific operation determination unit 12 determines, for example, whether or not there is an input operation to the terminal device 50 (for example, a smartphone) possessed by the peripheral worker, so that the peripheral worker can perform a specific action (for example, a smartphone). It may be determined whether or not the peripheral worker is touching the screen of the smartphone possessed by the peripheral worker.
  • the terminal device 50 will be described later.
  • the specific motion determination unit 12 may determine an action (gesture) in which a peripheral worker moves his / her face.
  • the specific operation determination unit 12 determines whether or not the peripheral worker is performing a specific operation based on, for example, whether or not the peripheral worker gazes at the camera lens of the work site imaging device 430 for a predetermined time or longer. For example, when a peripheral worker gazes at the camera lens of the work site imaging device 430 for a predetermined time (for example, 3 seconds or more), it is determined that a specific operation has been performed.
  • the determination of whether or not a specific operation is being performed may determine the facial expression of a peripheral worker.
  • image data data such as a frowning facial expression
  • the captured image captured by the work site imaging device 430 is compared with the reference image stored in the specific operation database 60, and image analysis (for example, the captured image and the reference image) is performed using a known technique.
  • image analysis for example, the captured image and the reference image
  • the specific operation database 60 will be described later.
  • the image data when a person feels anxiety is hereinafter appropriately referred to as anxiety image data.
  • the notification control unit 13 includes a remote output interface 220 included in the remote control device 20 (for example, the notification device 221 (right monitor 2211, center monitor 2212, left monitor).
  • the monitor used as 2213) (see FIG. 6)) has a function of controlling to notify that a peripheral worker confirms that it is present in the vicinity of the work machine 40.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, a remote output interface 220, and a remote wireless communication device 240. Each component will be described later.
  • the remote control device 200 has at least a function of acquiring an appraisal result as to whether or not notification control has been performed for peripheral workers. Further, the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data. Performs arithmetic processing according to the software.
  • an arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the remote control device 200 tells the remote output interface 220 that "there is a peripheral worker making a recognition request. You (operator OP) recognize the existence of the peripheral worker" based on the acquired information about the recognition request. Control to display a text message to the effect that "Please let the surrounding workers know that you have done this.” Of course, the text message is just one example of a text message.
  • the remote input interface 210 outputs a signal to the actual machine output interface 420 stating that "the operator OP recognizes the existence of you (peripheral worker who requested recognition)" (hereinafter, appropriately referred to as recognition output). It has a function of receiving an operation for performing (hereinafter, appropriately referred to as a notification operation).
  • the signal is only an example of a signal for notifying (recognizing output) that the operator OP recognizes the existence of a peripheral worker who has requested recognition.
  • the actual output interface 420 will be described later.
  • the remote input interface 210 is a work light switch 211 that lights (blinks) the work light 421 included in the work machine 40.
  • the work light switch when the operator OP who recognizes the existence of the peripheral worker who requested the recognition presses the work light switch, the work light turns on or blinks.
  • the peripheral worker who made the recognition request can know that the existence of himself / herself (the peripheral worker who made the recognition request) has been recognized by the operator OP.
  • the lighting of the work light 421 is also performed in the normal work of the work machine 40. Therefore, in order to more reliably notify the peripheral workers that the existence has been recognized by the operator OP, a lighting method different from the normal lighting method (for example, continuous lighting, etc.) of the work light 421 (for example, 0). It is desirable to make it blink every 5 seconds, etc.).
  • the presence or absence of lighting may be determined depending on the positional relationship between the target worker and the work machine 40. For example, there is a work light 421 that illuminates the left side and a work light 421 that illuminates the right side, and when the target worker is on the right side of the work machine 40, only the work light 421 that illuminates the right side is lit ( It may be made to blink).
  • the remote input interface 210 is a swivel flasher switch 212 that lights (blinks) the swivel flasher 422 that the work machine 40 has and lights up when turning.
  • the swivel flasher 422 lights up.
  • the peripheral worker who made the recognition request can know that the existence of himself / herself (the peripheral worker who made the recognition request) has been recognized by the operator OP.
  • the remote input interface 210 is a swivel flasher switch 212 that lights (blinks) the swivel flasher 422 that the work machine 40 has and lights up when turning.
  • the swivel flasher 422 lights up.
  • the peripheral worker who made the recognition request can know that the existence of himself / herself (the peripheral worker who made the recognition request) has been recognized by the operator OP.
  • the turning flasher is lit, which is also done in the normal work of the work machine 40. Therefore, in order to more reliably notify the peripheral workers that the existence has been recognized by the operator OP, the lighting method different from the normal lighting method (for example, blinking every second) in the swivel flasher 422 (for example, blinking every second). For example, it is desirable to make it blink every 0.5 seconds.
  • the presence or absence of lighting may be determined depending on the positional relationship between the target worker and the work machine 40. For example, there are a swivel flasher 422L that illuminates the left side and a swivel flasher 422R that illuminates the right side, and when the target worker is on the right side of the work machine 40, only the swivel flasher 422R that illuminates the right side lights up ( It may be made to blink).
  • the remote input interface 210 is an external monitor switch 213 that displays a text message on the external monitor 423 included in the work machine 40.
  • the external monitor switch 213 "The operator OP recognizes the existence of you (the peripheral worker who made the recognition request).
  • a text message stating "I am doing it.” Is output.
  • the peripheral worker who made the recognition request can know that the existence of himself / herself (the peripheral worker who made the recognition request) has been recognized by the operator OP.
  • the text message is only an example of a message for notifying that the operator OP recognizes the existence of a peripheral worker who has requested recognition.
  • the remote input interface 210 is a speaker switch 214 that sends voice guidance from an external speaker 424 included in the work machine 40.
  • the speaker switch 214 when the operator OP who recognizes the existence of the peripheral worker who made the recognition request presses the speaker switch 214, the speaker "The operator OP recognizes the existence of you (the peripheral worker who made the recognition request). A voice guidance to the effect of ".” Is output.
  • the peripheral worker who made the recognition request can know that his / her existence has been recognized by the operator OP.
  • the voice guidance is only an example of voice guidance for notifying that the operator OP recognizes the existence of a peripheral worker who has requested recognition.
  • each switch is, for example, a push-type push button, and when each button is pressed, the work light is lit (blinking), the swivel flasher is lit (blinking), and text is displayed on the external monitor provided in the work machine 40. A message is displayed, or voice guidance is played from a speaker (not shown) provided in the work machine 40.
  • the configuration of the switch is only an example of the remote input interface 210.
  • the operator OP touches the screen of the notification device 221 to inform the actual machine output interface 420 that "the operator OP is aware of you (a peripheral worker who has made a recognition request). It may be configured to output a signal to the effect that "Masu.”
  • the notification operation detection unit 2100 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data with the software. Executes the arithmetic processing according to.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the notification operation detection unit 2100 has a function of being mounted on the remote control device 20 and receiving an operation when the peripheral worker information acquisition unit 15 detects that the peripheral worker is performing a specific operation. Further, the notification operation detection unit 2100 has a function of detecting an operation by the operator OP.
  • the notification operation detection unit 2100 can automatically select a target peripheral worker whose recognition output is made by the actual machine output interface 420 as the target worker, and recognizes the target peripheral worker selected by the selection. It has a function for producing output. For example, when there are a plurality of peripheral workers, it is assumed that there are workers who have performed a specific operation and workers who have not performed the specific operation at the same time.
  • the notification operation detection unit 2100 determines whether or not each peripheral worker is performing a specific operation. Then, the peripheral worker who has performed a specific operation is automatically selected as the target worker.
  • the notification operation detection unit 2100 automatically selects the target worker, the image displayed on the notification device 221 of the peripheral worker set as the target worker may be highlighted (example: the cursor is superimposed and displayed). .. Then, the positional relationship between the set target worker and the work machine 40 is recognized. For example, when the target worker is on the right side of the work machine 40, the right side is recognized.
  • the notification operation detection unit 2100 is mounted on the remote control device 20 and receives an electric signal related to an operation in which the operator OP presses the work light switch 211. Further, the notification operation detection unit 2100 detects that the operator OP has pressed the work light switch 211 by receiving the electric signal. If the notification operation detection unit 2100 does not detect the operation by the operator OP, it is surely output to the remote output interface 220 that the peripheral workers are performing a specific operation until the operation by the operator OP is detected. Make the operator OP of the work machine give a signal.
  • the notification operation detection unit 2100 can select the peripheral worker of the target to which the blinking output by the work light 421 is made, and the peripheral worker of the target selected by the selection can be selected.
  • the work light 421 is made to blink.
  • the remote input interface 210 may have an operating lever for operating the operating mechanism (for example, boom, arm, bucket, etc.) of the work machine 40 as an operating mechanism.
  • the operating mechanism for example, boom, arm, bucket, etc.
  • the remote input interface 210 may have a traveling lever for traveling the work machine 40 as an operating mechanism.
  • the remote input interface 210 may have a swivel lever for swiveling the upper swivel body of the work machine 40 as an operation mechanism.
  • the remote output interface 220 is composed of at least the notification device 221. Further, the notification device 221 has a recognition request display unit 2214, and has a function of notifying the recognition request by the recognition request display unit 2214.
  • the remote output interface 220 has a function of notifying the notification device 221 of information about peripheral workers performing a specific operation.
  • the recognition request display unit 2214 has a function of outputting a recognition request to the remote output interface 220 of the remote control device 20 when the determination result by the peripheral worker information acquisition unit 15 is positive.
  • the notification device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left, which are arranged diagonally forward to the right, forward, and diagonally forward to the left of the seat St. It is a liquid crystal monitor composed of an oblique forward image output device 2213.
  • the image output devices 2211 to 2213 may include speakers (audio output devices) (not shown).
  • the LCD monitor displays the recognition request caused by the peripheral worker performing a specific operation.
  • the display is displayed on the front image output device 2212.
  • the front image output device 2212 may sound a notification sound at the same time as the display.
  • the forward image output device 2212 has the purpose of "There is a peripheral worker requesting recognition. Please inform this peripheral worker that you (operator OP) have recognized the existence of the peripheral worker.” Display the text message of.
  • the speaker may output a warning sound as long as it notifies the operator OP that the peripheral worker is aware of the presence of the peripheral worker.
  • the text message is only an example of a message used for notifying the operator OP that the peripheral worker is aware of the existence of the peripheral worker.
  • the purpose is "There is a peripheral worker requesting recognition. Please inform this peripheral worker that you (operator OP) have recognized the existence of the peripheral worker.”
  • the message may be configured to provide voice guidance.
  • the purpose is "There is a peripheral worker requesting recognition. Please inform this peripheral worker that you (operator OP) have recognized the existence of the peripheral worker.”
  • the configuration may be such that only the notification sound (warning sound) of is output.
  • the volume of the voice guidance and the notification sound may be gradually increased.
  • the notification device 221 as a sheet St, "There is a peripheral worker requesting recognition. Please inform this peripheral worker that you (operator OP) have recognized the existence of the peripheral worker.” It may be configured to convey the vibration of the purpose.
  • the seat St includes a vibration motor (not shown).
  • the image output device emphasizes and displays, for example, peripheral workers who have performed a specific operation on the image output device.
  • peripheral workers are circled and displayed. If there are multiple peripheral workers who have performed a specific operation, each is displayed individually.
  • the operator OP is informed that a specific operation has been performed by such a recognition request. This prompts the operator OP to confirm the peripheral workers, and thus avoids actions that reduce the workability of the peripheral workers due to the remote control of the work machine.
  • this system has a function of notifying peripheral workers by receiving an operation by the operator OP when a specific operation is transmitted to the operator OP.
  • the remote imaging device 230 is installed inside the remote control device 20, for example, and images the environment including the surroundings of the operator OP.
  • the remote imaging device 230 may be configured to image the operator OP from the outside of the remote control device 20.
  • the remote image pickup device 230 has a function of transmitting the captured image of the operator OP to the terminal device 50.
  • the terminal device 50 will be described later.
  • the operator OP and the peripheral worker can have a conversation using the remote wireless communication device 240 described later while observing each other's situation. Can be done.
  • the work machine 40 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the remote wireless communication device 240 acquires a determination result as to whether or not a notification operation has been performed by the operator OP, and if the determination is affirmative, the operator OP itself (recognition request is sent to a peripheral worker who has made a recognition request. A notification signal for notifying that the peripheral worker) is recognized is transmitted (hereinafter, appropriately referred to as notification control).
  • the remote wireless communication device 240 sends a signal for lighting (blinking) the work light via the network. It is transmitted to the work machine 40 (actual machine wireless communication device 440), and the work light of the work machine 40 is turned on (blinks).
  • the actual wireless communication device 440 will be described later.
  • the signal transmitted by the remote wireless communication device 240 may be a signal for lighting (blinking) the swivel flasher.
  • the signal transmitted by the remote wireless communication device 240 is a text message on the external monitor of the work machine 40 stating, "The operator OP recognizes the existence of you (peripheral worker who requested recognition)." It may be a signal for displaying.
  • the peripheral worker and the operator OP communicate wirelessly with each other by using a known technique. It may have a function to execute.
  • the remote wireless communication device 240 is built in the terminal device 50 owned by the peripheral worker.
  • the terminal device 50 owned by a peripheral worker is a wearable terminal device, a notebook computer, a tablet terminal device, a smartphone, a smart watch, or the like.
  • the terminal device 50 will be described later.
  • the text message "The operator OP recognizes the existence of you (the peripheral worker who requested the recognition)" is sent to the terminal device 50 owned by the peripheral worker. Is displayed, and the peripheral worker can recognize that the operator OP recognizes the existence of the peripheral worker himself / herself.
  • the work machine 40 includes at least an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, a work site imaging device 430 for imaging the work site environment, and an actual machine wireless communication device 440.
  • the work machine 40 may include an operating mechanism (work attachment) including a boom, an arm, and a tip attachment.
  • the work machine 40 is a work vehicle that can be operated at the work site.
  • the work machine 40 includes a construction machine capable of pushing or excavating earth and sand.
  • Construction machinery includes at least one of a hydraulic excavator with a bucket and a bulldozer with blades.
  • the construction machine may be a demolition machine, a crane, a wheel loader, or a motor grader.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the actual machine control device 400 performs the arithmetic processing, and at least controls the actual machine output interface 420 of the work machine 40.
  • the operator OP can notify the peripheral worker that he / she is aware of the existence of the peripheral worker. Then, the peripheral worker who has performed a specific operation can recognize that the operator OP has been surely recognized, and the workability of the peripheral worker due to the remote control of the work machine is reduced. It is possible to surely avoid the action to cause.
  • the actual machine input interface 410 is composed of the actual machine operation mechanism 411.
  • the actual machine operation mechanism 411 includes a plurality of actual machine operation switches (not shown) arranged in the same manner as the remote control mechanism around the cab seat (not shown) arranged inside the cab of the work machine. There is. A drive mechanism or a robot that receives a signal according to the operation mode of each operation switch and moves an actual machine operation switch (not shown) based on the signal reception is provided in the driver's cab.
  • the actual machine output interface 420 uses a work light 421, a swivel flasher 422, an external monitor 423, an external speaker 424, and the like. These actual machine output interfaces 420 indicate that the operator OP who received the recognition request from the peripheral worker recognizes the existence of the peripheral worker himself (the operator OP who received the recognition request from the peripheral worker). , Used to notify the surrounding workers.
  • the work site imaging device 430 is installed inside the work machine 40, for example, and images the environment including the surroundings of the work machine 40.
  • the work site imaging device 430 may be provided outside the driver's cab in the work machine.
  • the work site imaging device 430 has a function of detecting the line of sight by using a known technique. Further, the work site imaging device 430 has a function of detecting the time when the camera lens of the work site imaging device 430 is gazed by using the timer built in the work site imaging device 430.
  • the work site imaging device 430 can detect the line of sight of the peripheral worker. Further, the work site imaging device 430 uses a timer built in the work site imaging device 430, for example, when the camera lens of the work site imaging device 430 is gazed at for a predetermined time or longer (for example, 3 seconds or longer). Further, when the work site imaging device 430 is a stereo camera, the stereo camera captures the captured image and information on the distance from the work machine 40 to the surrounding workers (hereinafter, appropriately, distance information). It may have a function of transmitting ()) to the remote control device 20.
  • the work machine 40 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the actual wireless communication device 440 receives a signal for turning on (blinking) the work light via the network. , The work light 421 is turned on (blinking).
  • the signal received by the actual wireless communication device 440 may be a signal for lighting (blinking) the swivel flasher 422.
  • the signal received by the actual wireless communication device 440 is a text message on the external monitor 423 of the work machine 40, "The operator OP recognizes the existence of you (peripheral worker who requested recognition)." It may be a signal for display.
  • the peripheral worker and the operator OP communicate wirelessly with each other by using a known technique. It may have a function to execute.
  • the terminal wireless communication device 540 is built in the terminal device 50 owned by the peripheral worker.
  • the terminal device 50 owned by a peripheral worker is a wearable terminal device or the like. The terminal device 50 will be described later.
  • the terminal device 50 owned by the peripheral worker is notified, for example, "The operator OP recognizes the existence of you (the peripheral worker who requested the recognition)." Is displayed, and the peripheral worker can recognize that the operator OP recognizes the existence of the peripheral worker himself / herself.
  • the terminal device 50 includes a terminal control device 500, a terminal input interface 510, a terminal output interface 520, a terminal imaging device 530, and a terminal wireless communication device 540.
  • the terminal device 50 is a device used by a peripheral worker and an operator OP to execute wireless communication with each other.
  • the terminal device 50 is a wearable terminal device, a notebook computer, a tablet terminal device, a smartphone, a smart watch, and a head-mounted display.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and reads the data. Performs arithmetic processing according to the software.
  • arithmetic processing unit single-core processor or multi-core processor or a processor core constituting the same
  • the terminal control device 500 recognizes the existence of you (peripheral worker who requested recognition) on the display of the terminal device 50 based on the acquired information on the notification operation. Controls to display a text message stating "Masu.” Of course, the text message is just one example of a text message.
  • the terminal input interface 510 is used to input a recognition request to the operator OP from a peripheral worker.
  • a recognition request is input by a peripheral worker touching the display.
  • the recognition request is made by the peripheral worker inputting voice to the operator OP that he / she wants the operator OP to recognize the existence of himself / herself (the peripheral worker). It may be an input configuration.
  • the terminal output interface 520 is used to output notification control from the operator OP to peripheral workers.
  • the terminal device 50 is a smartphone and has a touch panel type display
  • the operator OP operates the remote input interface 210
  • "self (operator OP) is you (peripheral worker who made a recognition request)” on the display.
  • a text message stating "I am aware of the existence of.” Is displayed.
  • the terminal device 50 is a smartphone and has a speaker
  • the operator OP operates the remote input interface 210
  • "itself (operator OP) is aware of the existence of you (peripheral worker who requested recognition)" from the speaker. It may be configured to output a voice guidance saying "I am recognizing.”
  • the vibration motor vibrates, and "the self (operator OP) is the peripheral work that requested recognition.
  • the person may be configured to output a vibration that means a signal of "recognizing the existence of the person.” That is, the notification control may be performed by the so-called vibration function.
  • the terminal imaging device 530 has at least a function of imaging peripheral workers.
  • the peripheral worker makes a recognition request
  • the terminal imaging device 530 is imaging the peripheral worker
  • the image of the peripheral worker may be output to the remote output interface 220.
  • the operator OP can operate the remote input interface 210 while observing the state of the peripheral workers who are actually making the recognition request.
  • the terminal wireless communication device 540 in a state where communication between the terminal device 50 and the remote control device 20 is established, the terminal device 50 and the remote control device 20 communicate wirelessly with each other by using a known technique. Has the ability to execute.
  • the terminal wireless communication device 540 displays on the display of the terminal device 50 (for example, a smartphone), "You (operator OP) is you.
  • a signal for displaying / displaying a text message stating "I am aware of the existence of (peripheral workers who requested recognition)" is received via the network, and "self (operator OP)" is displayed on the display. Is aware of the existence of you (the peripheral worker who requested the recognition).
  • the text message is just one example of a text message.
  • the signal received by the terminal wireless communication device 540 may be a signal for outputting voice guidance from the speaker of the terminal device 50 (for example, a smartphone).
  • the signal received by the terminal wireless communication device 540 may be a signal for vibrating the vibration motor included in the terminal device 50 (for example, a smartphone).
  • the peripheral worker can recognize that the operator OP recognizes the existence of himself / herself (the peripheral worker who requested the recognition).
  • the terminal wireless communication device 540 uses a known technique in a state where communication between the terminal device 50 (for example, a smartphone) and the remote control device 20 is established, and the peripheral worker, the operator OP, and the operator OP May have the ability to perform wireless communication with each other. As a result, the peripheral worker and the operator OP can have a conversation while observing each other's situation.
  • the specific operation database 60 shown in FIG. 1 is a storage device that can store human image data (data such as a frowning facial expression) as a reference image in advance.
  • the storage device is an HDD (Hard Disk Drive).
  • the storage device includes SD (registered trademark) memory card (Secure Digital memory card), CF (CompactFlash), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versaille Disk), and the like. It may be a portable storage medium.
  • the HDD stores anxiety images of peripheral workers.
  • the environment image acquisition unit 11 acquires an environment image including peripheral workers existing around the work machine 40.
  • the peripheral worker information acquisition unit 15 may acquire information on the peripheral worker.
  • the specific operation determination unit 12 determines whether or not the peripheral worker is performing a specific operation.
  • the notification control unit 13 In STEP3 (when YES is determined in STEP2), the notification control unit 13 notifies the remote output interface 220 of the remote control device 20 that a peripheral worker confirms that it exists in the vicinity of the work machine 40. Control for If No is determined in STEP2, the process returns to STEP1.
  • the recognition notification control unit 14 determines whether or not a designated operation has been performed on the remote input interface (notification operation detection unit 2100) included in the remote control device 20.
  • the recognition notification control unit 14 notifies the actual machine output interface 420 included in the work machine 40 that the operator OP has recognized the presence of peripheral workers. Controls to output. If No is determined in STEP 5, the process returns to STEP 3.
  • the remote control support device 10 may be provided on the server 30.
  • the remote control support device 10 may be provided on the work machine 40.
  • the remote control support device 10 may be provided in the terminal device 50.
  • the remote control device 200 may be provided in the server 30.
  • the actual machine control device 400 may be provided in the server 30.
  • the terminal control device 500 may be provided in the server 30.
  • the specific operation database 60 may be provided in the remote control device 20.
  • the specific operation database 60 may be provided in the server 30.
  • the specific operation database 60 may be provided in the work machine 40.
  • the specific operation database 60 may be provided in the terminal device 50.
  • the present invention is not limited to such an example.
  • a safe image database is used as a database.
  • a safe image for example, image data of a face where a peripheral worker is laughing
  • the remote operation support device 10 compares the image data related to the facial photographs of the peripheral workers captured by the work site imaging device 430 with the safe image database, and the image data that approximates the captured image data is the safe image database. If it is not remembered in, there is an example in which the peripheral worker determines that he / she feels anxiety.
  • the remote control support device 10 determines whether or not the peripheral worker feels uneasy about the remotely controlled work machine 40 based on the acquired information on the facial expressions of the peripheral worker.
  • the example of determining whether or not the peripheral worker feels anxiety about the remotely controlled work machine 40 is not limited to this.
  • the remote control support device 10 determines whether or not the peripheral worker feels uneasy about the remotely controlled work machine 40 based on the acquired information on the orientation of the peripheral worker's face. For example, in the remote control support device 10, using a known technique (face image detection sensor), the peripheral workers are based on whether or not the direction of the face is oriented in the direction in which the work site imaging device 430 is present. For example, it is determined whether or not the worker feels uneasy about the remotely controlled work machine 40.
  • face image detection sensor face image detection sensor
  • the remote control support device in response to a designated operation being performed on the remote input interface included in the remote control device, the operator performs the operation on the actual machine output interface included in the work machine. It is preferable that it is configured to have a recognition notification control unit that controls to output information for notifying that the presence of a peripheral worker has been recognized.
  • a process is performed to output (recognize output) information regarding the fact that the operator recognizes the existence of peripheral workers to the actual machine output interface 420 included in the work machine 40. That is, it is configured so that the recognition output is performed by the actual machine output interface 420 in response to the designated operation by the operator.
  • the specific motion determination unit 12 is configured to determine whether or not the peripheral worker is performing a specific motion based on the presence or absence of a preset specific motion accompanied by at least a motion of the peripheral worker.
  • the peripheral worker can recognize in advance what kind of specific operation should be performed to request recognition from the operator. Further, since the motion captured by the image recognition by the camera is determined as the specific motion, a determination means having high recognition accuracy can be adopted.
  • the recognition notification control unit 14 causes the recognition request display unit 2214 included in the remote output interface 220 to display information for prompting the operator to notify that the presence of a peripheral worker is recognized. It is preferably configured to perform control.
  • the recognition request is displayed on the image output device visually recognized by the operator who remotely controls the work machine 40. Therefore, it is possible to make the operator surely recognize that there is a recognition request.
  • the specific operation determination unit 12 is configured to determine whether or not the peripheral workers are performing specific operations when a plurality of peripheral workers are present around the work machine 40.
  • the recognition notification control unit 14 is configured to control the remote output interface 220 to notify information about peripheral workers performing a specific operation.
  • the recognition notification control unit 14 is configured to control the terminal output interface 520 of the terminal device 50 owned by a peripheral worker to output recognition.
  • an output interface is provided in the terminal device 50 to be held by peripheral workers.
  • the recognition output can be output to the peripheral workers that the operator wants to recognize and output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • General Factory Administration (AREA)

Abstract

作業機械４０を遠隔操作する遠隔操作装置２０を有する遠隔操作支援装置１０は、作業機械４０の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部１１と、環境画像取得部１１が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する特定動作判定部１２と、特定動作判定部１２の判定結果が肯定的な場合、遠隔操作装置２０に含まれる遠隔出力インターフェース２２０に前記周辺作業者が特定動作をしていることを通知するため制御を行う通知制御部１３と、を有する。

Description

作業機械の遠隔操作支援システム
　本発明は、作業機械の遠隔操作を支援するシステムに関する。
　作業効率の低下を抑制することが可能な建設機械が開示されている（例えば、特許文献１参照）。
特開２０１９－１６７７３３号公報
　特許文献１においては、建設機械本体に設けられたスレーブ側装置と、このスレーブ側装置を遠隔操作するマスタ側装置と、が開示されている。
　ところで、作業機械で作業を行うのと同時に作業機械の周辺において周辺作業者が作業を行うような工事現場がある。周辺作業者は、例えば、作業機械の周囲に設置されたコーン等の仕切りの外で作業を行う。ここで、作業機械が作業機械と離れた位置いるオペレータにより遠隔操作されている場合には、作業機械に直接オペレータが搭乗している場合と比べて、オペレータによる作業機械の操作性が低いことが懸念される。このため、周辺作業者は、作業機械が遠隔操作されている場合に仕切りに近い場所での作業を避けたり、必要以上に作業機械の動作に注意するようにしたり、などの行動をとる可能性がある。このような行動をとることは周辺作業者の作業性を低下させてしまう。
　そこで、本発明は、作業機械の周辺に存在する周辺作業者により作業機械のオペレータに合図を出させるための制御を行うことにより、周辺作業者の作業性を確保するシステムを提供することを目的とする。
　係る目的を達成するために、本発明は、
　作業機械を遠隔操作する遠隔操作装置を有する遠隔操作支援装置であって、
　前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部と、
　前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する特定動作判定部と、
　前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が特定動作をしていることを報知するため制御を行う特定動作報知制御部と、を有する。
　環境画像取得部は、前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する。この場合、前記作業機械に備えられたカメラまたはその周辺に設置されたカメラが、前記環境画像を撮像する。
　特定動作判定部は、前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する。
　また、特定動作とは、前記周辺作業者が前記オペレータに対して行うジェスチャーを含み、自身（前記周辺作業者自身）が、前記作業機械の周辺に存在することを、前記オペレータに対して認識させるために行われる（認識要求をするために行われる）ジェスチャーを含む概念である。
　通知制御部は、前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための制御を行う。
　本発明により、前記周辺作業者が特定の動作（ジェスチャー）を行うと、前記遠隔操作装置の遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための情報が表示される。
　したがって、周辺作業者がオペレータに対して当該周辺作業者の認識を求める際に特定動作を行うことで、当該特定動作が行われたことがオペレータに伝達される。このことはオペレータに周辺作業者の確認を促すことになるので、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を回避させることができる。
　（作用効果）
　本発明によれば、作業機械の周囲に存在する周辺作業者が、前記作業機械を遠隔操作しているオペレータに対して認識要求を求める際に所定動作（ジェスチャー）をすることで、遠隔操作装置を操作するオペレータに対して、周辺作業者が作業機械の周辺に存在することについて確認することを促すための通知をする。前記遠隔操作装置に含まれる遠隔出力インターフェースに対して、前記周辺作業者からの認識要求に関する情報が出力されるため、特定動作（ジェスチャー）が行われたことがオペレータに伝達されるので、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を回避させることができる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 本発明の一実施形態としての作業支援装置のブロック図。 本発明の一実施形態としての遠隔操作装置のブロック図。 本発明の一実施形態としての作業機械のブロック図。 本発明の一実施形態としての端末装置のブロック図。 本発明の一実施形態としての遠隔操作装置の図。 本発明の一実施形態としての作業機械の図。 本発明の一実施形態としての作業支援処理を示すフローチャート。
　本明細書において、周辺作業者とは、作業機械４０の周辺に存在する者を指す。
　本明細書において、遠隔操作とは、オペレータＯＰが、作業機械４０に搭乗せずに、作業機械４０と離れた位置から作業機械４０を操作することを指す。本発明に係る遠隔操作支援システムＳにおいて、オペレータＯＰは、遠隔操作装置２０を使用して、作業機械４０と離れた位置から作業機械４０を操作することができる。なお、作業機械４０については、後述する。
　本明細書において、オペレータＯＰとは、作業機械４０の遠隔操作を行う者をいう。
　本明細書において、特定動作とは、周辺作業者が、オペレータＯＰに対して、自身（周辺作業者）の存在を認識して欲しいことを要求（認識要求）するための動作を指す。例えば、特定動作とは、周辺作業者が、作業機械４０が有する作業現場撮像装置４３０に向かって、手を振る動作等をいう。勿論、当該動作は、特定動作の一例に過ぎない。
　特定動作の他の例として、周辺作業者が顔を動かす動作が挙げられる。例えば、周辺作業者が、眉をひそめる動作等である。
　図１に示されている本発明の一実施形態としての遠隔操作支援システムＳは、少なくとも、遠隔操作支援装置１０、遠隔操作装置２０、作業機械４０、端末装置５０及び特定動作データベース６０により構成されている。また、遠隔操作支援システムＳは、必要に応じて、サーバ３０を備えていてもよい。
　図２に示すように、遠隔操作支援装置１０は、作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部１１と、環境画像取得部が取得した環境画像に基づいて、周辺作業者が特定動作をしているかを判定する特定動作判定部１２と、特定動作判定部の判定結果が肯定的な場合、遠隔操作装置に含まれる遠隔出力インターフェース２２０に、周辺作業者が作業機械４０の周辺に存在することについて確認することを通知するための制御を行う通知制御部１３と、を構成要素として備える。
　また、遠隔操作支援装置１０は、遠隔操作装置２０に含まれる遠隔入力インターフェース２１０に対して指定操作が行われたことに応じて、作業機械４０に含まれる実機出力インターフェース４２０（図８参照）に、オペレータＯＰが周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部１４を有する。
　また、遠隔操作支援装置１０は、作業機械４０の周辺に存在する周辺作業者に関する情報を取得する機能を有する周辺作業者情報取得部１５を備える。
　遠隔操作支援装置１０は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　また、環境画像取得部１１は、作業機械４０の周辺に存在する周辺作業者を含む環境画像を取得する機能を有する。環境画像とは、作業機械４０の周辺の作業現場に関する環境を撮像した画像の意味である。
　また、環境画像取得部１１は、少なくとも、作業機械４０の周辺の作業現場に関する環境を撮像する作業現場撮像装置４３０が撮像した撮像画像（画像データ）を取得する機能を有する。
　また、特定動作判定部１２は、作業機械４０の周辺に存在する周辺作業者が特定動作をしているか否かを判定する機能を有する。
　また、特定動作判定部１２は、周辺作業者の少なくとも動きを伴うあらかじめ設定した特定動作の有無に基づき前記周辺作業者が特定動作をしているかを判定する機能を有する。
　また、特定動作判定部１２は、作業機械４０の周辺に周辺作業者が複数存在している場合に周辺作業者が特定動作をしているかをそれぞれ判定する機能を有する。
　例えば、特定動作判定部１２は、周辺作業者が複数存在する場合に、特定の動作を行った周辺作業者を特定してもよい。この場合、特定した撮像画像上で周辺作業者が含まれていると判定した周辺作業者が含まれている位置それぞれに対して特定の動作がなされたか否かを判定することにより複数の周辺作業者を個別に判定する。
　また、特定動作判定部１２は、取得した撮像画像（画像データ）に基づいて、周辺作業者が特定動作を行っている否かを判定する機能を有する。
　例えば、特定動作データベース６０に、予め参照画像として、周辺作業者の画像データを記憶させておく。画像データは、例えば、周辺作業者の全身を写した写真や、周辺作業者の写真から輪郭を抽出したもの等である。また、周辺作業者が着用するヘルメット等を参照画像として記憶させてもよい。なお、特定動作データベース６０については、後述する。
　そして、作業現場の環境を撮像する作業現場撮像装置４３０が撮像した撮像画像を、特定動作データベース６０が記憶している参照画像に照らして、公知の技術を用いて、画像解析（例えば、撮像画像と、参照画像と、における特徴点の一致度の抽出）を行うことにより、撮像された周辺作業者が、特定動作データベース６０が記憶している参照画像に一致している画像があるか否かを判定する。
　ここで、特定動作判定部１２は、前記撮像画像を前記参照画像に照らして、大部分が一致する場合は、撮像画像に周辺作業者が含まれていると判定するように閾値が予め設定されている。ここで、大部分が一致する場合とは、例えば、前記撮像画像が、前記参照画像に７０パーセント以上一致する場合等である。
　そして、前記撮像画像を前記参照画像に照らして、大部分が一致する場合、周辺作業者が、前記撮像画像に周辺作業者が含まれていると判定する。
　また、周辺作業者情報取得部１５は、作業機械４０の周辺に存在する周辺作業者に関する情報を取得する機能を有する。
　また、周辺作業者情報取得部１５は、例えば、撮像画像上で周辺作業者が含まれていると判定した周辺作業者が含まれている位置を特定し、その位置に関する情報を取得する。例えば、撮像画像上における縦方向及び横方向の位置に関する情報を取得する。
　また、作業現場撮像装置４３０がステレオカメラである場合、特定動作判定部１２は、ステレオカメラが取得した距離に関する情報（以下、適宜、距離情報という。）に基づいて、周辺作業者が作業機械４０から例えば５メートルの位置にいるという距離情報と合わせて、撮像画像に周辺作業者が含まれているか否かを判定してもよい。勿論、周辺作業者が作業機械４０から例えば５メートルの位置にいるという距離情報は、距離情報の一例に過ぎない。
　ステレオカメラが取得した距離情報が過大な場合（周辺作業者が作業機械４０の最大作業半径から更に離れた位置に存在する場合等）は、周辺作業者が作業機械４０の遠方に位置しているので撮像画像に周辺作業者が含まれていないと判定する。例えば、周辺作業者が作業機械４０から所定距離（作業機械４０の最大作業半径に余裕を持たせた距離）離れた場所に位置している場合、周辺作業者情報取得部１５は、周辺作業者が遠方に位置しているので撮像画像に周辺作業者が含まれていないと判定する。勿論、この例は、周辺作業者情報取得部１５において、周辺作業者が遠方に位置しているので撮像画像に周辺作業者が含まれていないと判定する例の一例に過ぎない。
　特定動作判定部１２は、環境画像取得部１１が取得した周辺作業者が特定の動作を行っているかを判定する。特定動作判定部１２は、取得した環境画像に周辺作業者が含まれていると判定し、周辺作業者情報取得部１５が取得した周辺作業者に関する情報に基づいて、周辺作業者の位置を特定した場合に、周辺作業者が特定の動作をしているか否かを判定する。例えば、特定動作判定部１２は、特定した周辺作業者の手足等の動きを認識する公知技術により当該判定を行う。
　特定動作判定部１２は、例えば、周辺作業者が所持する端末装置５０（例えば、スマートフォン）に対しての入力動作があるか否かを判定することで、周辺作業者が特定の動作（例えば、周辺作業者が所持するスマートフォンの画面をタッチする動作等）をしているか否かを判定するようにしてもよい。なお、端末装置５０については、後述する。
　特定動作判定部１２は、周辺作業者が顔を動かす動作（ジェスチャー）を判定するものでもよい。特定動作判定部１２は、例えば、周辺作業者が作業現場撮像装置４３０のカメラレンズを所定時間以上、注視したか否かに基づいて、周辺作業者が特定の動作を行っているかを判定する。例えば、周辺作業者が作業現場撮像装置４３０のカメラレンズを所定時間（例えば、３秒以上）注視した場合、特定の動作がなされたと判定する。
　特定の動作をしているかの判定は、周辺作業者の表情を判定するものでもよい。例えば、特定動作データベース６０に、予め参照画像として、人間が不安を感じている場合の画像データ（眉をひそめている表情等のデータなど）を記憶させておく。そして、作業現場撮像装置４３０が撮像した撮像画像を、特定動作データベース６０が記憶している参照画像に照らして、公知の技術を用いて、画像解析（例えば、撮像画像と、参照画像と、における特徴点の一致度の抽出）を行うことにより、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する。なお、特定動作データベース６０については、後述する。なお、人間が不安を感じている場合の画像データのことを、以下、適宜、不安画像データという。
　また、通知制御部１３は、特定動作判定部１２の判定結果が肯定的な場合、遠隔操作装置２０に含まれる遠隔出力インターフェース２２０（例えば、報知装置２２１（右モニタ２２１１、中央モニタ２２１２、左モニタ２２１３）として用いられるモニタ（図６参照））に、周辺作業者が作業機械４０の周辺に存在することについて確認することを通知するための制御を行う機能を有する。
　図３に示すように、遠隔操作装置２０は、遠隔制御装置２００、遠隔入力インターフェース２１０、遠隔出力インターフェース２２０及び遠隔無線通信機器２４０を備えている。なお、各構成要素については、後述する。
　遠隔制御装置２００は、少なくとも周辺作業者に対する報知制御が行われたか否かの鑑定結果を取得する機能を有する。また、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、遠隔制御装置２００は、取得した認識要求に関する情報に基づいて、遠隔出力インターフェース２２０に、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　遠隔入力インターフェース２１０は、実機出力インターフェース４２０に、「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨の合図を出力（以下、適宜、認識出力という。）するための操作（以下、適宜、報知操作という。）を受ける機能を有する。勿論、当該合図は、オペレータＯＰが、認識要求をした周辺作業者の存在を認識していることを報知（認識出力）するための合図の一例に過ぎない。なお、実機出力インターフェース４２０については、後述する。
　例えば、遠隔入力インターフェース２１０は、作業機械４０が備える作業灯４２１を点灯（点滅）させる作業灯スイッチ２１１である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、作業灯スイッチを押すと、作業灯が点灯したり、点滅したりする。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。
　作業灯４２１が灯されることは作業機械４０における通常作業においてもなされることである。従って、周辺作業者に対してより確実にオペレータＯＰにより存在が認識されたことを通知するために、作業灯４２１における通常の灯り方（例えば、点灯し続ける等）と異なる灯り方（例えば、０．５秒おきに点滅する等）をさせることが望ましい。
　また、作業機械４０に作業灯４２１が複数設けられる場合、対象作業者と作業機械４０との位置関係により、点灯（点滅）の有無が決定されてもよい。例えば、左方を照らす作業灯４２１と右方を照らす作業灯４２１とがあり、対象作業者が作業機械４０の右側に存在している場合には、右方を照らす作業灯４２１のみが点灯（点滅）されるようにしてもよい。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備え旋回時に灯らせる旋回フラッシャ４２２を点灯（点滅）させる旋回フラッシャスイッチ２１２である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、旋回フラッシャスイッチを押すと、旋回フラッシャ４２２が点灯する。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備え旋回時に灯らせる旋回フラッシャ４２２を点灯（点滅）させる旋回フラッシャスイッチ２１２である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、旋回フラッシャスイッチを押すと、旋回フラッシャ４２２が点灯する。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。
　旋回フラッシャが灯されることは作業機械４０における通常作業においてもなされることである。従って、周辺作業者に対してより確実にオペレータＯＰにより存在が認識されたことを通知するために、旋回フラッシャ４２２における通常の灯り方（例えば、１秒おきに点滅する等）と異なる灯り方（例えば、０．５秒おきに点滅する等）をさせることが望ましい。
　また、作業機械４０に旋回フラッシャ４２２が複数設けられる場合、対象作業者と作業機械４０との位置関係により、点灯（点滅）の有無が決定されてもよい。例えば、左方を照らす旋回フラッシャ４２２Lと右方を照らす旋回フラッシャ４２２Rとがあり、対象作業者が作業機械４０の右側に存在している場合には、右方を照らす旋回フラッシャ４２２Rのみが点灯（点滅）されるようにしてもよい。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備える外部モニタ４２３にテキストメッセージを表示させる外部モニタスイッチ２１３である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、外部モニタスイッチ２１３を押すと、外部モニタ４２３に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを出力する。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。勿論、当該テキストメッセージは、オペレータＯＰが、認識要求をした周辺作業者の存在を認識していることを報知するためのメッセージの一例に過ぎない。
　また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備える外部スピーカー４２４から音声案内を流すスピーカースイッチ２１４である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、スピーカースイッチ２１４を押すと、スピーカーから「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨の音声案内を出力する。これにより、認識要求をした周辺作業者は、自身の存在が、オペレータＯＰに認識されたことを知ることができる。勿論、当該音声案内は、オペレータＯＰが、認識要求をした周辺作業者の存在を認識していることを報知するための音声案内の一例に過ぎない。
　また、各スイッチは、例えば、プッシュ型の押しボタンであり、各ボタンを押すと作業灯が点灯（点滅）したり、旋回フラッシャが点灯（点滅）したり、作業機械４０が備える外部モニタにテキストメッセージが表示されたり、作業機械４０が備えるスピーカー（不示図）から音声案内が流れたりする。勿論、当該スイッチの構成は、遠隔入力インターフェース２１０の一例に過ぎない。例えば、報知装置２２１がタッチパネル機能を有する場合、オペレータＯＰが、報知装置２２１の画面をタッチすることにより、実機出力インターフェース４２０に「オペレータＯＰは、あなた（認識要求をした周辺作業者）に気づいています。」という旨の合図が出力される構成としてもよい。
　報知操作検知部２１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　また、報知操作検知部２１００は、周辺作業者情報取得部１５により周辺作業者が特定動作をしていることが検出された場合に、遠隔操作装置２０に搭載され操作を受ける機能を有する。また、報知操作検知部２１００は、オペレータＯＰによる操作を検知する機能を有する。
　また、報知操作検知部２１００は、実機出力インターフェース４２０により認識出力がなされる対象の周辺作業者を対象作業者として自動選択可能であり、当該選択により選択された対象の周辺作業者に対して認識出力がなされるための機能を有する。例えば、周辺作業者が複数存在する場合において、特定動作をした作業者としていない作業者が同時に存在することが想定される。報知操作検知部２１００は、各周辺作業者が特定の動作をしているか否かを判定する。そして、特定動作をした周辺作業者を対象作業者として自動選択する。報知操作検知部２１００が対象作業者を自動選択した場合に、対象作業者として設定した周辺作業者の報知装置２２１に表示される画像を強調表示（例：カーソルを重畳表示させる）させてもよい。そして、設定された対象作業者と作業機械４０との位置関係が認識される。例えば、対象作業者が作業機械４０の右側に存在している場合には、右側が認識される。
　例えば、報知操作検知部２１００は、遠隔操作装置２０に搭載され、オペレータＯＰが作業灯スイッチ２１１を押す操作に関する電気信号を受ける。また、報知操作検知部２１００は、当該電気信号を受けることにより、オペレータＯＰが作業灯スイッチ２１１を押したことを検知する。報知操作検知部２１００によりオペレータＯＰによる操作が検出されない場合には、オペレータＯＰによる操作を検知するまで、周辺作業者が特定動作をしていることを遠隔出力インターフェース２２０に繰り返し出力することで確実に作業機械のオペレータＯＰに合図を出させるようにする。
　例えば、周辺作業者が複数存在する場合、報知操作検知部２１００は、作業灯４２１による点滅出力がなされる対象の周辺作業者を選択可能であり、当該選択により選択された対象の周辺作業者に対して、作業灯４２１を点滅させる。
　勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０の作動機構（例えば、ブーム、アーム、バケット等）を作動させる作動レバーを有していてもよい。
　勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０を走行させる走行レバーを有していてもよい。
　勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０の上部旋回体を旋回させる旋回レバーを有していてもよい。
　遠隔出力インターフェース２２０は、少なくとも、報知装置２２１により構成される。また、報知装置２２１は、認識要求表示部２２１４を有し、当該認識要求表示部２２１４により認識要求が報知される機能を有する。
　また、遠隔出力インターフェース２２０は、報知装置２２１に特定動作をしている周辺作業者に関する情報を報知する機能を有する。
　認識要求表示部２２１４は、周辺作業者情報取得部１５による判定結果が肯定的な場合に、遠隔操作装置２０の遠隔出力インターフェース２２０に対して認識要求を出力する機能を有する。
　図７に示されているように、例えば、報知装置２２１は、シートＳｔの右斜め前方、前方及び左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２及び左斜め前方画像出力装置２２１３により構成された液晶モニタである。当該画像出力装置２２１１～２２１３は、スピーカー（音声出力装置）（不示図）を備えていてもよい。
　この場合、液晶モニタは、周辺作業者が特定動作を行ったことに起因する認識要求を表示する。例えば、当該表示は、前方画像出力装置２２１２に表示される。
　また、この場合、前方画像出力装置２２１２は、当該表示と同時に通知音を鳴らしてもよい。例えば、前方画像出力装置２２１２は、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のテキストメッセージを表示する。
　また、前方画像出力装置２２１２が備えるスピーカーを用いて、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のメッセージを音声案内してもよい。勿論、当該スピーカーは、オペレータＯＰに対して、周辺作業者の存在に気づいていることを当該周辺作業者に報知させるための報知を行うのであれば、警告音を出力してもよい。
　当該テキストメッセージは、オペレータＯＰに対して、周辺作業者の存在を認識していることを当該周辺作業者に報知させるための報知に用いるメッセージの一例に過ぎない。
　また、報知装置２２１をスピーカーとして、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のメッセージを音声案内するだけの構成にしてもよい。
　また、報知装置２２１をスピーカーとして、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨の報知音（警告音）を出力するだけの構成にしてもよい。
　なお、オペレータＯＰが、周辺作業者からの認識要求に対して応答しない場合、当該音声案内及び報知音の音量が次第に大きくなる構成にしてもよい。
　また、報知装置２２１をシートＳｔとして、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨の振動を伝える構成にしてもよい。なお、この場合、シートＳｔは、振動モーター（不示図）を備える。
　また、報知装置２２１を画像出力装置とする場合、当該画像出力装置は、例えば、画像出力装置上で特定の動作を行った周辺作業者を強調して表示する。この場合、例えば、周辺作業者を○で囲って表示する。特定の動作を行った周辺作業者が複数存在する場合にはそれぞれ個別に表示する。
　このような認識要求により特定の動作が行われたことがオペレータＯＰに伝達される。このことはオペレータＯＰに周辺作業者の確認を促すことになるので、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を回避させることにつながる。
　さらに、特定の動作が行われたことがオペレータＯＰに伝達された場合に、オペレータＯＰにより操作を受けることにより周辺作業者に対する報知を行う機能を本システムでは有している。
　遠隔撮像装置２３０は、例えば、遠隔操作装置２０の内部に設置され、オペレータＯＰの周囲を含む環境を撮像する。勿論、遠隔撮像装置２３０は、遠隔操作装置２０の外部から、オペレータＯＰを撮像する構成としてもよい。
　また、遠隔撮像装置２３０は、撮像したオペレータＯＰの画像を、端末装置５０に送信する機能を有する。なお、端末装置５０については、後述する。
　これにより、例えば、周辺作業者の有する端末装置５０がスマートフォンである場合、オペレータＯＰと周辺作業者と、が互いの様子を見ながら、後述する遠隔無線通信機器２４０を用いて、会話をすることができる。
　遠隔無線通信機器２４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　遠隔無線通信機器２４０は、オペレータＯＰにより、報知操作がなされたかを判定結果を取得し、当該判定が肯定的である場合、認識要求をした周辺作業者に、オペレータＯＰが、自身（認識要求をした周辺作業者）を認識していることを報知するための報知信号を送信（以下、適宜、報知制御という。）する。
　例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯点灯（点滅）スイッチを押した場合、遠隔無線通信機器２４０は、作業灯を点灯（点滅）させるための信号を、ネットワークを介して作業機械４０（実機無線通信機器４４０）へ送信し、作業機械４０の作業灯を点灯（点滅）させる。なお、実機無線通信機器４４０については、後述する。
　勿論、遠隔無線通信機器２４０が送信する信号は、旋回フラッシャを点灯（点滅）させるための信号でもよい。
　勿論、遠隔無線通信機器２４０が送信する信号は、作業機械４０が備える外部モニタに「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という内容のテキストメッセージを表示するための信号でもよい。
　また、遠隔無線通信機器２４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。
　この場合、遠隔無線通信機器２４０は、周辺作業者が有する端末装置５０に内蔵される。例えば、周辺作業者が有する端末装置５０とは、ウェアラブル端末装置、ノートパソコン、タブレット端末装置、スマートフォン、スマートウォッチ等である。なお、端末装置５０については、後述する。
　これにより、オペレータＯＰがメッセージ送信スイッチを押した場合、周辺作業者が有する端末装置５０に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージが表示され、周辺作業者は、オペレータＯＰが当該周辺作業者自身の存在を認識していることを認識することができる。
　図５に示すように、作業機械４０は、少なくとも、実機制御装置４００、実機入力インターフェース４１０、実機出力インターフェース４２０、作業現場の環境を撮像する作業現場撮像装置４３０及び実機無線通信機器４４０を備えている。なお、作業機械４０は、ブームと、アームと、先端アタッチメントと、から構成される作動機構（作業アタッチメント）等を備えていてもよい。
　作業機械４０とは、作業現場において稼働可能な作業車両をいう。作業機械４０は、土砂を押土または掘削を実施可能な建設機械を含む。建設機械は、バケットを有する油圧ショベル及びブレードを有するブルドーザの少なくとも一方を含む。なお、建設機械は、解体機、クレーン、ホイールローダ、モータグレーダでもよい。
　実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、実機制御装置４００は、当該演算処理を行い、少なくとも、作業機械４０が有する実機出力インターフェース４２０に関する制御を行う。
　この報知制御により、オペレータＯＰは、自身が周辺作業者の存在を認識していることを、当該周辺作業者に報知することができる。すると、特定の動作を行った周辺作業者自身がオペレータＯＰに確実に認識がなされたことを認識することができ、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を確実に回避させることができる。
　実機入力インターフェース４１０は、実機操作機構４１１から構成される。
　実機操作機構４１１は、作業機械が有する運転室の内部に配置された運転室内シート（不示図）の周囲に遠隔操作機構と同様に配置された複数の実機操作スイッチ（不図示）を備えている。各操作スイッチの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作スイッチ（不図示）を動かす駆動機構、またはロボットが、運転室に設けられている。
　実機出力インターフェース４２０は、作業灯４２１、旋回フラッシャ４２２、外部モニタ４２３、外部スピーカー４２４等が用いられる。これらの実機出力インターフェース４２０は、周辺作業者から認識要求を受けたオペレータＯＰが、自身（当該周辺作業者から認識要求を受けたオペレータＯＰ）が当該周辺作業者の存在を認識していることを、当該周辺作業者に報知するために用いられる。
　作業現場撮像装置４３０は、例えば、作業機械４０の内部に設置され、作業機械４０の周囲を含む環境を撮像する。勿論、作業現場撮像装置４３０は、作業機械における運転室の外部に備えられてもよい。
　また、作業現場撮像装置４３０は、公知の技術を用いて、視線を検出する機能を有する。また、作業現場撮像装置４３０は、作業現場撮像装置４３０に内蔵されるタイマーを用いて、作業現場撮像装置４３０のカメラレンズが注視された時間を検出する機能を有する。
　例えば、周辺作業者が、認識要求をするために作業現場撮像装置４３０のカメラレンズを注視した場合、作業現場撮像装置４３０は、当該周辺作業者の視線を検出することができる。また、作業現場撮像装置４３０は、作業現場撮像装置４３０に内蔵されるタイマーを用いて、例えば、作業現場撮像装置４３０のカメラレンズが注視された時間が所定時間以上（例えば、３秒以上）であったことを検出する
　また、作業現場撮像装置４３０がステレオカメラである場合、当該ステレオカメラは、撮像した撮像画像と共に、作業機械４０から周辺作業者までの距離に関する情報（以下、適宜、距離情報という。）を遠隔操作装置２０に送信する機能を有してもよい。
　実機無線通信機器４４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯スイッチ２１１を押した場合、実機無線通信機器４４０は、作業灯を点灯（点滅）させるための信号を、ネットワークを介して受信して、作業灯４２１を点灯（点滅）させる。
　勿論、実機無線通信機器４４０が受信する信号は、旋回フラッシャ４２２を点灯（点滅）させるための信号でもよい。
　勿論、実機無線通信機器４４０が受信する信号は、作業機械４０が備える外部モニタ４２３に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージを表示するための信号でもよい。
　また、実機無線通信機器４４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。
　この場合、端末無線通信機器５４０が、周辺作業者が有する端末装置５０に内蔵される。例えば、周辺作業者が有する端末装置５０とは、ウェアラブル端末装置等である。なお、端末装置５０については、後述する。
　これにより、オペレータＯＰがメッセージ送信スイッチを押した場合、周辺作業者が有する端末装置５０に、例えば、「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージを表示され、周辺作業者は、オペレータＯＰが当該周辺作業者自身の存在を認識していることを認識することができる。
　図５に示すように、端末装置５０は、端末制御装置５００、端末入力インターフェース５１０、端末出力インターフェース５２０、端末撮像装置５３０及び端末無線通信機器５４０を備える。
　端末装置５０とは、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行するために用いられる装置である。例えば、端末装置５０は、ウェアラブル端末装置、ノートパソコン、タブレット端末装置、スマートフォン、スマートウォッチ、ヘッドマウントディスプレイである。
　端末制御装置５００は、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　例えば、端末制御装置５００は、取得した報知操作に関する情報に基づいて、端末装置５０が有するディスプレイに、「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　端末入力インターフェース５１０は、周辺作業者からオペレータＯＰに対する認識要求を入力するために用いられる。例えば、端末装置５０がスマートフォンであり、タッチパネル式のディスプレイを有する場合、周辺作業者が当該ディスプレイをタッチすることにより、認識要求が入力される。勿論、端末装置５０がスマートフォンであり、マイクを有する場合、周辺作業者が、オペレータＯＰに対して自身（当該周辺作業者）の存在を認識して欲しい旨を音声入力することにより、認識要求が入力される構成としてもよい。
　端末出力インターフェース５２０は、オペレータＯＰから周辺作業者に対する報知制御を出力するために用いられる。例えば、端末装置５０がスマートフォンであり、タッチパネル式のディスプレイを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該ディスプレイに「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示する。
　勿論、端末装置５０がスマートフォンであり、スピーカーを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該スピーカーから「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨の音声案内が出力される構成としてもよい。
　勿論、端末装置５０がスマートフォンであり、振動モーターを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該振動モーターが振動し、「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という合図を意味する振動が出力される構成としてもよい。すなわち、いわゆるバイブレーション機能により、報知制御が行われてもよい。
　端末撮像装置５３０は、少なくとも周辺作業者を撮像する機能を有する。周辺作業者が認識要求をした場合、端末撮像装置５３０が、当該周辺作業者を撮像しているのであれば、当該周辺作業者の画像を遠隔出力インターフェース２２０に出力してもよい。これにより、オペレータＯＰは、実際に認識要求をしている周辺作業者の様子を見ながら、遠隔入力インターフェース２１０を操作することができる。
　端末無線通信機器５４０は、端末装置５０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、端末装置５０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
　例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯スイッチ２１１を押した場合、端末無線通信機器５４０は、端末装置５０（例えば、スマートフォン）のディスプレイに「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示する／させるための信号を、ネットワークを介して受信して、当該ディスプレイに「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示する。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
　勿論、端末無線通信機器５４０が受信する信号は、端末装置５０（例えば、スマートフォン）のスピーカーから音声案内を出力させるための信号でもよい。
　勿論、端末無線通信機器５４０が受信する信号は、端末装置５０（例えば、スマートフォン）が備える振動モーターを振動させるための信号でもよい。これにより、周辺作業者は、オペレータＯＰが、自身（認識要求をした周辺作業者）の存在を認識していることを認識することができる。
　また、端末無線通信機器５４０は、端末装置５０（例えば、スマートフォン）と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。これにより、周辺作業者と、オペレータＯＰと、が互いの様子を見ながら会話をすることができる。
　図１に示した特定動作データベース６０は、予め参照画像として、人間の画像データ（眉をひそめている表情等のデータ）を記憶させておくことができる記憶装置である。例えば、記憶装置は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、記憶装置は、ＳＤ（登録商標）メモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌメモリカード）、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体であってもよい。
　例えば、特定動作データベース６０がＨＤＤである場合、当該ＨＤＤは、周辺作業者の不安画像を記憶する。
　当該構成の遠隔操作支援装置１０及び遠隔操作支援システムＳの機能について、図９に示されているフローチャートを用いて、説明する。
　ＳＴＥＰ１において、環境画像取得部１１は、作業機械４０の周辺に存在する周辺作業者を含む環境画像を取得する。勿論、これと併せて、周辺作業者情報取得部１５が、周辺作業者に関する情報を取得してもよい。
　ＳＴＥＰ２において、特定動作判定部１２は、周辺作業者が特定動作をしているか否かを判定する。
　ＳＴＥＰ３（ＳＴＥＰ２においてＹＥＳと判定された場合）において、通知制御部１３は、遠隔操作装置２０の遠隔出力インターフェース２２０に、周辺作業者が作業機械４０の周辺に存在することについて確認することを通知するための制御を行う。なお、ＳＴＥＰ２においてＮｏと判定された場合は、ＳＴＥＰ１に戻る。
　ＳＴＥＰ４において、認識報知制御部１４は、遠隔操作装置２０に含まれる遠隔入力インターフェース（報知操作検知部２１００）に対して指定操作が行われたか否かを判定する。
　ＳＴＥＰ５（ＳＴＥＰ４においてＹＥＳと判定された場合）において、認識報知制御部１４は、作業機械４０に含まれる実機出力インターフェース４２０に、オペレータＯＰが周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う。なお、ＳＴＥＰ５においてＮｏと判定された場合は、ＳＴＥＰ３に戻る。
　（本発明の他の実施形態）
　本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、遠隔操作装置２０に設けられてもよい。
　本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、サーバ３０に設けられてもよい。
　本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、作業機械４０に設けられてもよい。
　本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、端末装置５０に設けられてもよい。
　本発明の実施形態として、遠隔制御装置２００が遠隔操作装置２０に存在する例を示したが、遠隔制御装置２００は、サーバ３０に設けられてもよい。
　本発明の実施形態として、実機制御装置４００が作業機械４０に存在する例を示したが、実機制御装置４００は、サーバ３０に設けられてもよい。
　本発明の実施形態として、端末制御装置５００が端末装置５０に存在する例を示したが、端末制御装置５００は、サーバ３０に設けられてもよい。
　本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、遠隔操作装置２０に設けられてもよい。
　本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、サーバ３０に設けられてもよい。
　本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、作業機械４０に設けられてもよい。
　本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、端末装置５０に設けられてもよい。
　当該実施形態において、データベースとして特定動作データベース６０が用いられる例を示したが、そのような例に限定されない。例えば、データベースとして安心画像データベースが用いられる例が挙げられる。
　例えば、この場合、予め安心画像データベースに、参照画像として、安心画像(例えば、周辺作業者が笑っている顔の画像データ)を記憶しておく。そして、遠隔操作支援装置１０は、作業現場撮像装置４３０が撮像した周辺作業者の顔写真に関する画像データを、安心画像データベースに照らして、当該撮像された画像データに近似する画像データが安心画像データベースに記憶されていなければ、当該周辺作業者は、不安を感じていると判定する例が挙げられる。
　当該実施形態において、遠隔操作支援装置１０は、取得した周辺作業者の表情に関する情報に基づいて、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例を示したが、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例は、これに限定されない。
　例えば、遠隔操作支援装置１０は、取得した周辺作業者の顔の向きに関する情報に基づいて、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例が挙げられる。例えば、遠隔操作支援装置１０において、公知の技術（顔画像検出センサ）を用いて、周辺作業者が作業現場撮像装置４３０の存在する方向に顔の方向が向いていたか否かに基づいて、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例が挙げられる。
　本発明において、前記遠隔操作支援装置は、前記遠隔操作装置に含まれる遠隔入力インターフェースに対して指定操作が行われたことに応じて、前記作業機械に含まれる実機出力インターフェースに、前記オペレータが前記周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部と、を有することを特徴とするように構成されていることが好ましい。
　また、認識報知制御部１４において、オペレータが周辺作業者の存在を認識していることに関する情報を、作業機械４０が備える実機出力インターフェース４２０に出力（認識出力）するための処理が行われる。すなわち、オペレータによる指定操作があったことに応じて、実機出力インターフェース４２０により認識出力がなされるように構成されている。
　当該構成により、オペレータが指定操作を行った場合、実機出力インターフェース４２０に認識出力がなされる。したがって、特定動作を行った周辺作業者自身がオペレータに確実に認識がなされたことを認識することができ、作業機械４０が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を確実に回避させることができる。
　特定動作判定部１２は、周辺作業者の少なくとも動きを伴う予め設定した特定動作の有無に基づき周辺作業者が特定動作をしているかを判定するように構成されている。
　当該構成により、予め設定した特定動作を周辺作業者自身が行うことを周辺作業者が特定動作をしていると定めることができる。これにより、周辺作業者は、どのような特定動作をすれば、オペレータに対して認識要求ができるのかについて予め認識することが可能となる。また、カメラによる画像認識等で捉えられる動作を特定動作として判定するので認識精度の高い判定手段を採用することができる。
　認識報知制御部１４は、遠隔出力インターフェース２２０に含まれる含む認識要求表示部２２１４に、オペレータに対して周辺作業者の存在を認識していることを報知すること促すための情報を表示させるための制御を行うように構成されていることが好ましい。
　当該構成により、作業機械４０を遠隔操作するオペレータが視認する画像出力装置に認識要求が表示される。したがって、オペレータに認識要求があることを確実に認識させることができる。
　特定動作判定部１２は、作業機械４０の周辺に周辺作業者が複数存在している場合に周辺作業者が特定動作をしているかをそれぞれ判定するように構成されている。
　当該構成により、作業機械４０の周辺に存在する複数の周辺作業者それぞれが特定動作をしているかを判定することが可能となる。これにより、複数の周辺作業者のうち特定動作をしていない周辺作業者と特定動作をしている周辺作業者とが同時に存在する場合であっても、オペレータに認識要求があることを確実に認識させることができる。
　認識報知制御部１４は、遠隔出力インターフェース２２０に特定動作をしている周辺作業者に関する情報を報知するための制御を行うように構成されている。
　当該構成により、作業機械４０の周辺に存在する複数の周辺作業者のうち特定動作をした周辺作業者に関する情報を表示することができる。これにより、オペレータに対して特定動作をした周辺作業者について、特定動作をしていない周辺作業者よりも注意を向けさせることができる。
　認識報知制御部１４は、周辺作業者が有する端末装置５０の端末出力インターフェース５２０に認識出力をするための制御を行うように構成されている。
　当該構成により、周辺作業者に保持させる端末装置５０に出力インターフェースが設けられる。これにより、周辺作業者に保持させる端末装置５０ごとに認識出力がなされるようにすることで、オペレータが認識出力させたい周辺作業者に向けて認識出力をすることができる。
１０‥遠隔操作支援装置、１１‥環境画像取得部、１２‥特定動作判定部、１３‥通知制御部、１４‥認識報知制御部、１５‥周辺作業者情報取得部、２０‥遠隔操作装置、３０‥サーバ、４０‥作業機械、５０‥端末装置、６０‥特定動作データベース、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、２３０‥遠隔撮像装置、２４０‥遠隔無線通信機器、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４３０‥作業現場撮像装置、４４０‥実機無線通信機器、５００‥端末制御装置、５１０‥端末入力インターフェース、５２０‥端末出力インターフェース、５３０‥端末撮像装置、５４０‥端末無線通信機器。
 

Claims (8)

  1. 　作業機械を遠隔操作する遠隔操作装置を有する遠隔操作支援装置において、
    　前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部と、
    　前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する特定動作判定部と、
    　前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための制御を行う通知制御部と、を有する、
    　ことを特徴とする遠隔操作支援装置。
  2. 　請求項１に記載の遠隔操作支援装置において、
    　前記遠隔操作支援装置は、前記遠隔操作装置に含まれる遠隔入力インターフェースに対して指定操作が行われたことに応じて、前記作業機械に含まれる実機出力インターフェースに、前記作業機械を遠隔操作するオペレータが前記周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部を有する、
    　ことを特徴とする遠隔操作支援装置。
  3. 　請求項１または２に記載の遠隔操作支援装置において、
    　前記特定動作判定部は、前記周辺作業者の少なくとも動きを伴う予め設定した特定動作の有無に基づき前記周辺作業者が特定動作をしているかを判定する、
    　ことを特徴とする遠隔操作支援装置。
  4. 　請求項２に記載の遠隔操作支援装置において、
    　前記認識報知制御部は、前記遠隔出力インターフェースに含まれる含む認識要求表示部に、前記作業機械を遠隔操作するオペレータに対して前記周辺作業者の存在を認識していることを報知すること促すための情報を表示させるための制御を行う、
    　ことを特徴とする遠隔操作支援装置。
  5. 　請求項１から４のいずれか１項に記載の遠隔操作支援装置において、
    　前記特定動作判定部は、前記作業機械の周辺に周辺作業者が複数存在している場合に前記周辺作業者が前記特定動作をしているかをそれぞれ判定する、
    　ことを特徴とする遠隔操作支援装置。
  6. 　請求項２に記載の遠隔操作支援装置において、
    　前記認識報知制御部は、前記遠隔出力インターフェースに前記特定動作をしている周辺作業者に関する情報を報知するための制御を行う、
    　ことを特徴とする遠隔操作支援装置。
  7. 　請求項２に記載の遠隔操作支援装置において、
    　前記認識報知制御部は、前記周辺作業者が有する端末装置の端末出力インターフェースに認識出力をするための処理を行う、
    　ことを特徴とする遠隔操作支援装置。
  8. 　請求項２～６のうちいずれか１項に記載の遠隔操作支援装置を用いた遠隔操作支援システムであって、
    　前記作業機械を遠隔操作するオペレータが前記周辺作業者の存在を認識していることを含む情報を報知する対象となる前記周辺作業者を選択するために用いられる遠隔入力インターフェースと、
    　前記遠隔入力インターフェースが操作されたことに応じて、前記オペレータが前記周辺作業者の存在を認識していることを含む情報が出力される実機出力インターフェースと、を有する、
    　ことを特徴とする遠隔操作支援システム。
     
     
PCT/JP2021/000336 2020-02-15 2021-01-07 作業機械の遠隔操作支援システム WO2021161692A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-023889 2020-02-15
JP2020023889A JP7476558B2 (ja) 2020-02-15 2020-02-15 作業機械の遠隔操作支援システム

Publications (1)

Publication Number Publication Date
WO2021161692A1 true WO2021161692A1 (ja) 2021-08-19

Family

ID=77292293

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000336 WO2021161692A1 (ja) 2020-02-15 2021-01-07 作業機械の遠隔操作支援システム

Country Status (2)

Country Link
JP (1) JP7476558B2 (ja)
WO (1) WO2021161692A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102604A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018008504A1 (ja) * 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP6427597B2 (ja) * 2015-04-28 2018-11-21 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019187660A1 (ja) * 2018-03-29 2019-10-03 コベルコ建機株式会社 作業機械の遠隔操作システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7009063B2 (ja) 2017-01-11 2022-01-25 住友建機株式会社 作業機械用周辺監視システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6427597B2 (ja) * 2015-04-28 2018-11-21 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2017102604A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018008504A1 (ja) * 2016-07-04 2018-01-11 住友建機株式会社 ショベル
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019187660A1 (ja) * 2018-03-29 2019-10-03 コベルコ建機株式会社 作業機械の遠隔操作システム

Also Published As

Publication number Publication date
JP7476558B2 (ja) 2024-05-01
JP2021127640A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
KR101797261B1 (ko) 작업 기계의 주위 감시 장치
JP5369057B2 (ja) 作業機械の周囲監視装置
JP2019005819A (ja) 遠隔操作型移動ロボットおよびロボット制御システム
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
KR101998300B1 (ko) 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
JP7287262B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
JP2021150931A (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2021161692A1 (ja) 作業機械の遠隔操作支援システム
WO2021161693A1 (ja) 遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム
JP6980391B2 (ja) 作業機械用周辺監視システム
CN113039094A (zh) 工程机械用周边监视装置
JP2014150343A (ja) 作業補助システム及び作業装置
CN109189068B (zh) 泊车控制方法、装置及存储介质
JP7123573B2 (ja) 周辺監視装置、作業機械、周辺監視の制御方法及び表示装置
JP7171208B2 (ja) 建設機械の作業支援装置
US11885101B2 (en) Remote operation system and remote operation server
JP2020109894A (ja) 電子機器
EP4279667A1 (en) Remote operation assistance server and remote operation assistance system
JP7367486B2 (ja) 作業支援サーバおよび作業支援システム
WO2021131136A1 (ja) 建設機械の遠隔操縦システム
WO2023171711A1 (ja) 操作支援装置、作業機械、遠隔操作支援装置、プログラム
US20240218632A1 (en) Work machine and remote operation support device
JP2023149157A (ja) 操作支援装置、作業機械、遠隔操作支援装置、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21753188

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21753188

Country of ref document: EP

Kind code of ref document: A1