WO2019111859A1 - 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム - Google Patents

周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム Download PDF

Info

Publication number
WO2019111859A1
WO2019111859A1 PCT/JP2018/044427 JP2018044427W WO2019111859A1 WO 2019111859 A1 WO2019111859 A1 WO 2019111859A1 JP 2018044427 W JP2018044427 W JP 2018044427W WO 2019111859 A1 WO2019111859 A1 WO 2019111859A1
Authority
WO
WIPO (PCT)
Prior art keywords
shovel
alarm
work machine
unit
operation restriction
Prior art date
Application number
PCT/JP2018/044427
Other languages
English (en)
French (fr)
Inventor
芳永 清田
俊介 大槻
晋 相澤
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Priority to CN201880072820.8A priority Critical patent/CN111344460B/zh
Priority to KR1020207012768A priority patent/KR102627093B1/ko
Priority to JP2019558202A priority patent/JP7252137B2/ja
Priority to EP18884878.2A priority patent/EP3722519B1/en
Publication of WO2019111859A1 publication Critical patent/WO2019111859A1/ja
Priority to US16/891,334 priority patent/US11365527B2/en
Priority to JP2023047187A priority patent/JP2023083299A/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller

Definitions

  • the present invention relates to a periphery monitoring device and the like mounted on a working machine such as a shovel.
  • a perimeter monitoring device is known (see, for example, Patent Document 1).
  • a perimeter monitoring device or the like capable of suppressing a decrease in operability. The purpose is to
  • a detection unit that detects a predetermined monitoring target around the work machine; And a control unit that outputs an alarm or restricts the operation of the work machine when the detection unit detects the monitoring target existing within a predetermined first range in the height direction of the work machine.
  • a perimeter monitoring device is provided.
  • An information processing terminal provided outside the work machine and capable of communicating with the work machine or an information processing apparatus capable of communicating with the work machine, And a release permission notification unit that notifies the work machine of an alarm output from the work machine or release of an operation restriction performed by the work machine.
  • An information processing terminal is provided.
  • An information processing apparatus provided outside the working machine and capable of communicating with the working machine, And a release permission notification unit that notifies the work machine of an alarm output from the work machine or release of an operation restriction performed by the work machine.
  • An information processing apparatus is provided.
  • the periphery monitoring device etc. which can control the fall of workability. Can be provided.
  • limiting It is a figure which shows the specific example of the monitoring object remove
  • FIG. 1 is a schematic view showing an example of the configuration of a periphery monitoring system 1000. As shown in FIG. 1
  • the perimeter monitoring system 1000 includes a shovel 500, a management terminal 700, a release device 750, a management terminal 800, and a management server 900.
  • the shovel 500 is an example of a working machine.
  • the shovel 500 outputs an alarm or performs operation restriction when it detects a predetermined monitoring target within a predetermined range (in a monitoring area described later) around the shovel 500 as described later.
  • the shovel 500 receives predetermined conditions, for example, predetermined operations by the operator (operation on the release switch 60 described later), the management terminal 700, etc.
  • the alarm or the operation restriction (hereinafter collectively referred to as “alarm etc”) is cancelled.
  • the shovel 500 uses a predetermined communication method, for example, communication based on the Bluetooth (registered trademark) communication standard (hereinafter referred to as “BT communication”) or radio waves in an RF (Radio Frequency) band of about 300 Hz to 3 THz (
  • BT communication” Bluetooth (registered trademark) communication standard
  • RF communication Radio Frequency
  • RF communication RF communication
  • the shovel 500 can receive various information (for example, the cancellation
  • the shovel 500 can transmit various information (for example, an alarm output notification, an operation restriction notification, a cancellation request notification, etc. described later) to the management terminal 700 and the like.
  • the shovel 500 is communicably connected to the management server 900 through, for example, a predetermined communication network NW such as a mobile communication network or an internet network with the base station at the end. Thereby, the shovel 500 can receive various information (for example, a cancellation permission notification etc.) from the management server 900. In addition, the shovel 500 can transmit various information (for example, an alarm output notification, an operation restriction notification, a cancellation request notification, and the like) to the management server 900.
  • NW a predetermined communication network
  • NW such as a mobile communication network or an internet network with the base station at the end.
  • the shovel 500 can receive various information (for example, a cancellation permission notification etc.) from the management server 900.
  • the shovel 500 can transmit various information (for example, an alarm output notification, an operation restriction notification, a cancellation request notification, and the like) to the management server 900.
  • the management terminal 700 (an example of the information processing terminal) is a portable terminal possessed by the worker W around the shovel 500, for example, various information at the work site input by the worker W and the work by the built-in camera function The captured image etc. of the site is appropriately uploaded to the management server 900.
  • the management terminal 700 may be, for example, a general-purpose mobile terminal such as a mobile phone owned by the worker W, a smartphone, or a tablet terminal.
  • the management terminal 700 may be a dedicated terminal (for example, a remote control switch for transmitting a release permission notification to the shovel 500) specialized for the function of permitting release of an alarm or the like in the shovel 500, or the related It may be a dedicated terminal (that is, a remote control terminal) that controls a work machine such as the shovel 500 provided with a function.
  • the management terminal 700 is communicably connected to the shovel 500 by a predetermined communication method such as BT communication or RF communication, for example. Thereby, the management terminal 700 can transmit, to the shovel 500, a release permission notification for permitting release of the alarm or the like when the alarm is output from the shovel 500 or the operation restriction is performed.
  • a predetermined communication method such as BT communication or RF communication, for example.
  • the management terminal 700 can acquire (receive) various information (for example, surrounding situation information related to the situation around the shovel 500 described later) for determining permission or rejection of the release of the alarm or the operation restriction from the shovel 500. . Further, the management terminal 700 can receive a predetermined operation on an operation unit by software such as a button icon displayed on an operation unit by hardware such as a push button or a keyboard or a touch panel display. Therefore, the management terminal 700 determines the permission of the cancellation of the alarm or the like based on the acquired various information and the predetermined operation by the worker W who has confirmed the peripheral situation of the shovel 500, and the cancellation permission notification is determined according to the determination result. It can be sent to the shovel 500.
  • various information for example, surrounding situation information related to the situation around the shovel 500 described later
  • the management terminal 700 can receive a predetermined operation on an operation unit by software such as a button icon displayed on an operation unit by hardware such as a push button or a keyboard or a touch panel display. Therefore, the management terminal 700 determines the
  • the management terminal 700 may acquire the surrounding condition information regarding the surrounding condition of the shovel 500 from things other than the shovel 500.
  • the management terminal 700 may obtain, from the drone, surrounding situation information including a captured image of the surroundings of the shovel 500 captured by a camera mounted on a drone for monitoring which flies above the work site of the shovel 500. .
  • the management terminal 700 may be communicably connected to the management server 900 via the communication network NW.
  • the management terminal 700 may acquire, via the communication network NW, various types of information (for example, peripheral status information and the like) uploaded from the shovel 500 to the management server 900.
  • the management terminal 700 may transmit various information (for example, a release permission notification or the like) to the shovel 500 via the management server 900.
  • the worker W may include a worker who actually performs work around the shovel 500, a supervisor who supervises part or all of the work site including the work by the shovel 500, and the like.
  • the releasing device 750 (an example of the information processing device) is appropriately disposed, for example, at a sufficiently distant place (outside of a monitoring area of the shovel 500 described later) around the shovel 500.
  • the release apparatus 750 is communicably connected to the shovel 500 by a predetermined communication method such as BT communication or RF communication. Thereby, the cancellation
  • a predetermined communication method such as BT communication or RF communication.
  • the release device 750 can acquire various types of information (for example, surrounding condition information and the like) for determining permission or rejection of the release of the alarm or the operation restriction from the shovel 500 similarly to the management terminal 700. Further, similarly to the management terminal 700, the release device 750 can receive a predetermined operation on the operation unit by hardware or software. Therefore, similarly to the management terminal 700, the cancellation apparatus 750 determines the permission or rejection of the cancellation of the alarm or the like based on the acquired various information and a predetermined operation by the worker W who has confirmed the peripheral situation of the shovel 500. The release permission notification can be sent to the shovel 500. In particular, the release device 750 is installed outside the monitoring area of the shovel 500 as described above.
  • information for example, surrounding condition information and the like
  • the releasing device 750 confirms the safety status in the monitoring area based on the predetermined operation by the worker W evacuated to the outside of the monitoring area. That is, it can be determined that release of an alarm or the like may be permitted.
  • release apparatus 750 may perform only permission determination of cancellation
  • a sensor that detects the monitoring target and the shovel 500 for example, a millimeter wave radar, LIDAR (Light Detection And Ranging), a stereo camera, or the like.
  • the release device 750 confirms the safety status around the shovel 500 based on the relative positional relationship between the shovel 500 and the monitoring target that can be recognized based on the detection result of the sensor, and then removes the release permission notification described later. It can be sent to 500. That is, the release device 750 may output the release permission notification to the shovel 500 when it is determined that there is no monitoring target (person) in the monitoring area based on the detection result of the sensor.
  • the management terminal 800 (an example of an information processing terminal) is provided, for example, at a management office temporarily installed at a work site, and a worker who waits at a manager M who manages the entire work site at the management office or at the management office Used by W, etc.
  • the management terminal 800 uploads various information at the work site input by the manager M or the worker W, a captured image of the work site by the built-in camera function, and the like to the management server 900.
  • the management terminal 800 (an example of an information processing apparatus) may be, for example, a desktop or laptop general-purpose computer. Further, the management terminal 800 may be a desktop type or laptop type dedicated computer specialized to a function related to management of a work site including a function of permitting cancellation of an alarm or the like. Further, similarly to the management terminal 700, the management terminal 800 may be a portable terminal which can be carried by the worker W or the manager M. That is, the management terminal 800 may be shared with the management terminal 700 and may be taken out of the management office.
  • the management terminal 800 is communicably connected to the shovel 500 by a predetermined communication method such as BT communication or RF communication, similarly to the management terminal 700 and the like. Thereby, the management terminal 800 can transmit the release permission notification to the shovel 500 when the alarm is output by the shovel 500 or the operation restriction is performed as in the case of the management terminal 700.
  • a predetermined communication method such as BT communication or RF communication
  • the management terminal 800 can acquire various information (for example, the surrounding condition information and the like) for determining permission or rejection of the release of the alarm or the operation restriction from the shovel 500 as the management terminal 700 and the like. Further, similarly to the management terminal 700, the management terminal 800 can receive a predetermined operation on the operation unit by hardware or software. Therefore, as in the case of the management terminal 700, the management terminal 800 determines whether or not the release of the alarm or the like is permitted based on the acquired various information or the operation by the manager M or the worker W who confirmed the peripheral situation of the shovel 500. According to the determination result, the release permission notification can be transmitted to the shovel 500.
  • various information for example, the surrounding condition information and the like
  • the management terminal 800 may be communicably connected to the management server 900 bi-directionally through the communication network NW, as in the case of the management terminal 700.
  • the management terminal 800 may obtain, via the communication network NW, various types of information (for example, alarm output notification, operation restriction notification, cancellation request notification, etc.) uploaded from the shovel 500 to the management server 900.
  • the management terminal 800 may transmit various information (for example, a release permission notification or the like) to the shovel 500 via the management server 900.
  • Management server 900 is provided outside the work site of shovel 500.
  • the management server 900 collects various information (for example, a daily report, a captured image of the work site, and the like) regarding the work site from the management terminals 700 and 800, etc., and manages the work site and the shovel 500.
  • the management server 900 may be a server (so-called in-house server) owned by a business operator who performs overall operation management of the periphery monitoring system 1000, or a server owned by a business operator other than the business operator and which performs operation management. (So-called cloud server) may be used.
  • the management server 900 is communicably connected to the shovel 500 through the communication network NW. Thereby, the management server 900 can transmit the release permission notification to the shovel 500 when the alarm is output by the shovel 500 or the operation restriction is performed.
  • the management server 900 can acquire various information (for example, surrounding condition information and the like) for determining permission or rejection of the release of the alarm or the operation restriction from the shovel 500.
  • the management terminal 800 can receive a predetermined operation on the operation unit by hardware or software, as the management terminal 700 and the like. Therefore, similarly to the management terminal 700, the management terminal 800 determines whether or not release of the alarm or the like is permitted based on the acquired various information and the operation by the worker W who has confirmed the peripheral situation of the shovel 500, etc. Depending on the result, the cancellation permission notification can be transmitted to the shovel 500.
  • the management terminal 700, the release device 750, the management terminal 800, and the management server 900 will be generically referred to as the "external device 600", and the details of the periphery monitoring system 1000 including the shovel 500 and the external device 600 will be described.
  • the external device 600 includes an information processing unit such as a computer, a communication device such as an RF transceiver, a mobile communication module, etc., and the camera mounted on the working site of the shovel 500 flies the work site of the shovel 500.
  • It may be a monitoring drone (an example of an information processing apparatus) capable of capturing an image.
  • the drone as the external device 600 checks the safety status around the shovel 500 based on the relative positional relationship between the shovel 500 and the monitoring target that can be recognized from the captured image, and transmits a release permission notification to the shovel 500. be able to. That is, the drone as the external device 600 can transmit the release permission notification to the shovel 500 when it is determined that there is no monitoring target (person) in the monitoring area based on the captured image.
  • FIG. 2 is a view showing an example of a working machine included in the periphery monitoring system 1000 according to the present embodiment, and more specifically, a side view of the shovel 500. As shown in FIG.
  • the periphery monitoring system 1000 may include any work machine other than the shovel 500, such as a bulldozer, a wheel loader, an asphalt finisher, a forestry machine, and the like.
  • the shovel 500 includes a lower traveling body 1, an upper swing body 3 rotatably mounted on the lower traveling body 1 via a swing mechanism 2, a boom 4 as an attachment (working device), an arm 5, and a bucket 6. And a cabin 10 on which an operator boardes.
  • the lower traveling body 1 includes, for example, a pair of left and right crawlers, and each of the crawlers is self-propelled by being hydraulically driven by a traveling hydraulic motor (not shown).
  • the upper swing body 3 swings with respect to the lower traveling body 1 by being driven by a swing hydraulic motor or an electric motor (both not shown) or the like.
  • the boom 4 is pivotally mounted at the front center of the upper swing body 3, the arm 5 is pivotally mounted at the tip of the boom 4 so as to be vertically pivotable, and the bucket 6 is mounted at the tip of the arm 5 vertically It is pivotally attached.
  • the boom 4, the arm 5 and the bucket 6 are hydraulically driven by the boom cylinder 7, the arm cylinder 8 and the bucket cylinder 9, respectively.
  • the cabin 10 is a cockpit where an operator boardes, and is mounted on the front left side of the upper swing body 3.
  • FIG. 3 is a block diagram showing an example of a detailed configuration of the periphery monitoring system 1000 according to the present embodiment.
  • the periphery monitoring system 1000 includes the shovel 500 and the external device 600 as described above.
  • the periphery monitoring device 100 is mounted on the shovel 500.
  • the surrounding area monitoring apparatus 100 monitors an intrusion of a predetermined object (hereinafter simply referred to as “monitoring target”) which is a monitoring target into a predetermined range around the shovel 500, and outputs an alarm when the monitoring target is detected. Or restrict the operation of the shovel.
  • the targets of monitoring include not only the workers working around the shovel 500 and people at the work site, but also moving vehicles such as fixed obstacles such as materials temporarily placed at the work site and trucks, etc. It may include any object other than a person, such as an obstacle. The following description is based on the premise that the monitoring target is a person.
  • the periphery monitoring device 100 includes a controller 30, an imaging device 40, a display device 50, an audio output device 52, a gate lock valve 54, a release switch 60, a confirmation operation state detection unit 70, and a communication device 72.
  • An external notification device 74 is included.
  • the configuration related to the periphery monitoring device 100 includes the external device 600 provided outside the shovel 500, and the periphery monitoring system 1000 according to the present embodiment includes the periphery monitoring device 100 mounted on the shovel 500, and the exterior It is configured in a manner that includes the device 600.
  • the controller 30 is a main control device that performs drive control of the shovel 500.
  • the controller 30 is mounted in the cabin 10 and performs various control processes related to the periphery monitoring device 100.
  • the controller 30 may be realized by any hardware or a combination of hardware and software.
  • the controller 30 mainly includes a microcomputer including, for example, a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), an auxiliary storage device, a real time clock (RTC), various communication interfaces, and the like.
  • Configured The controller 30 is, for example, a detection unit 301, a display control unit 302, an alarm output unit 303, and an operation unit as functional units realized by executing various programs stored in a ROM or an auxiliary storage device on the CPU.
  • a restriction unit 304, a cancellation request notification unit 305, a surrounding condition information transmission unit 306, and a determination unit 307 are included.
  • the imaging device 40 is attached to the upper portion of the upper swing body 3 and captures an image of the periphery of the shovel 500.
  • the imaging device 40 includes cameras 40B, 40L, and 40R.
  • the camera 40B, the camera 40L, and the camera 40R are attached to the upper rear end, the upper left end, and the upper right end of the upper swing body 3, respectively, and images the back, left, and right sides of the upper swing body 3 Do. Specifically, the camera 40B, the camera 40L, and the camera 40R are mounted on the upper swing body 3 so that the optical axis is directed obliquely downward, and the distance of the shovel 500 from the ground in the vicinity of the shovel 500 is The imaging range (field angle) of the up-down direction including up to is imaged.
  • the camera 40B, the camera 40L, and the camera 40R each output a captured image at predetermined intervals (for example, 1/30 seconds) during operation of the shovel 500, and the captured image thus output is captured by the controller 30.
  • the display device 50 is provided around the cockpit in the cabin 10, specifically, at a position easily visible to the operator seated in the cockpit, and displays various image information to be notified to the operator under the control of the controller 30.
  • the display device 50 is, for example, a liquid crystal display or an organic electroluminescence (EL) display, and may be a touch panel that doubles as an operation unit. Specifically, the display device 50 displays a captured image (through image) of the imaging device 40, a peripheral image (for example, a viewpoint conversion image described later) generated by the controller 30 based on the captured image of the imaging device 40, and the like.
  • a captured image through image
  • a peripheral image for example, a viewpoint conversion image described later
  • the voice output device 52 is provided around the cockpit in the cabin 10, and outputs various voice information to be notified to the operator under the control of the controller 30.
  • the voice output device 52 is, for example, a speaker or a buzzer. Specifically, the audio output device 52 outputs an alarm sound based on a control command from the controller 30.
  • the gate lock valve 54 is an operating device (not shown) for operating the operation elements (ie, the lower traveling body 1, the upper swing body 3, the boom 4, the arm 5, and the bucket 6) of the shovel 500 from a pilot pump (not shown). Is provided on the most upstream side of the pilot line for supplying the pilot pressure to switch the communication / non-communication of the pilot line.
  • the gate lock valve 54 is normally an output signal (ON / OFF) of a gate lock switch interlocked with the operation state of a gate lock lever (not shown) provided at a portion corresponding to the entrance of the cockpit in the cabin 10. In response, switch communication / non-communication of the pilot line.
  • the gate lock valve 54 is a pilot line when the output signal of the gate lock switch is an ON signal corresponding to a state in which the gate lock lever is pulled up (that is, a state in which the operator is seated at the driver's seat). In communication.
  • the gate lock valve 54 when the output signal of the gate lock switch is an OFF signal corresponding to the state where the gate lock lever is pulled down (that is, the state where the operator is removed from the cockpit), Put in a state.
  • the gate lock valve 54 is configured to be able to receive a command signal input from the controller 30.
  • the signal input unit is an AND circuit to which both the output signal of the gate lock switch and the command signal from the controller 30 are input, that is, the OFF signal is input from at least one. May be connected to a logic circuit that outputs an OFF signal.
  • the gate lock valve 54 switches the communication / non-communication of the pilot line according to the command signal (ON signal / OFF signal) from the controller 30. it can. That is, under the control of the controller 30, the gate lock valve 54 disconnects the pilot line even if the gate lock lever is pulled up.
  • the release switch 60 (an example of a release intention input unit) is an operation unit for an operator to input a release intention to release an alarm described later and an operation restriction of the shovel 500.
  • the release switch 60 may be, for example, an operation unit by hardware such as a push button, a lever, or a rotation knob of the operation unit 50B described later, or a virtual button on the operation screen displayed on the display device 50 ( It may be an operation unit by software such as an icon). Information on the operation state of the release switch 60 is taken into the controller 30. The same applies to the monitoring function switch 62 and the display content selection switch 64 which will be described later.
  • a camera one example of a release intention input unit
  • a gaze sensor that recognizes a specific gaze movement corresponding to the release intention by the operator (An example of the cancellation intention input unit) or the like may be employed.
  • the confirmation operation state detection unit 70 is mounted, for example, in the cabin 10, and detects an operation (hereinafter, referred to as “peripheral state confirmation operation”) for confirming the situation around the shovel 500 by the operator in the cabin 10.
  • the confirmation operation state detection unit 70 is, for example, a camera for imaging the inside of the cabin 10 including the face of the operator, a sight line sensor for detecting the sight line of the operator, or the like.
  • the peripheral situation confirmation operation of the operator can be detected based on the movement of the visual line of the operator recognized from the captured image of the camera or the detection signal of the visual line sensor.
  • the confirmation operation state detection unit 70 is, for example, an electroencephalogram sensor that is provided in a safety cap or a helmet worn by the operator and detects an electroencephalogram of the operator. As a result, the peripheral situation confirmation operation of the operator can be detected based on the change and tendency of the operator's electroencephalogram.
  • the communication device 72 is a device that transmits and receives control signals and information signals to and from the external device 600.
  • the communication device 72 transmits various signals (for example, an alarm output notification described later, an operation restriction notification, a cancellation request notification, and the like) to the external device 600 under the control of the controller 30. Also, the signal from the external device 600 received by the communication device 72 is taken into the controller 30.
  • the communication device 72 may include an RF transceiver that performs RF communication with the external device 600.
  • the communication device 72 may include a Bluetooth communication module (BT communication module) that performs BT communication with the external device 600.
  • BT communication module Bluetooth communication module
  • the communication device 72 moves to transmit and receive various signals with the external device 600 directly or through a predetermined server (management server 900) or the like through a mobile communication network or the like. It is a communication module.
  • the external notification device 74 is a device that reports the situation of the shovel 500 toward the periphery of the shovel 500 under the control of the controller 30.
  • the external notification device 74 may be an auditory method, that is, an audio output device such as a speaker or a buzzer capable of notifying of the situation of the shovel 500 around the shovel 500 by voice.
  • the external notification device 74 may be a visual method, that is, a display device such as a display that can notify the situation of the shovel 500 around the shovel 500 by display of information or a display board such as an electric light bulletin board.
  • Detection unit 301 is based on a captured image captured by imaging device 40, within a predetermined area (monitoring area) around shovel 500, for example, within a predetermined distance D1 (for example, 5 meters) from shovel 500 Detect a predetermined monitoring target.
  • FIG. 4 is a diagram schematically illustrating an example of a monitoring area of the detection unit 301.
  • the monitoring area includes a monitoring area MAB, a monitoring area MAL, and a monitoring area MAR corresponding to each of the camera 40B, the camera 40L, and the camera 40R.
  • the controller 30 can widen the monitoring areas MAB, MAL, MAR as shown by dotted lines or narrow as shown by dashed lines within the range of balance with resources. For example, when the controller 30 widens the monitoring area MAB as indicated by an alternate long and short dash line, at least one of the monitoring areas MAL and MAR is narrowed to allow the controller 30 (detection unit 301) to execute within a predetermined processing time. The process of detecting the monitoring target can be completed.
  • the detection unit 301 monitors a captured image by arbitrarily applying, for example, a machine learning-based classifier including various known image processing methods and artificial intelligence (AI). Recognize the subject. Then, the detection unit 301 can specify the recognized actual position of the monitoring target (the distance D and the like to the monitoring target recognized from the shovel 500). The detection unit 301 can also specify the type of monitoring target (for example, whether it is a person or an obstacle other than a person).
  • a machine learning-based classifier including various known image processing methods and artificial intelligence (AI). Recognize the subject. Then, the detection unit 301 can specify the recognized actual position of the monitoring target (the distance D and the like to the monitoring target recognized from the shovel 500). The detection unit 301 can also specify the type of monitoring target (for example, whether it is a person or an obstacle other than a person).
  • the monitoring targets include, for example, persons such as workers and supervisors working around the shovel 500, and obstacles that interfere with the work of the shovel 500 such as temporarily placed construction materials and construction vehicles .
  • the detection unit 301 is a monitoring target of the periphery of the shovel 500 based on detection results (such as a distance image) of another sensor mounted on the shovel 500 instead of or in addition to the captured image of the imaging device 40. It may be detected.
  • the detection unit 301 can detect a monitoring target, for example, based on detection results of a millimeter wave radar, a LIDAR, a stereo camera and the like mounted on the shovel 500.
  • the display control unit 302 causes the display device 50 to display various information images.
  • the display control unit 302 generates a peripheral image based on a captured image of the imaging device 40 in response to a predetermined operation by the operator, and causes the display device 50 to display the peripheral image. Specifically, the display control unit 302 performs a known viewpoint conversion process based on the captured images of the camera 40B, the camera 40L, and the camera 40R as peripheral images, thereby converting the viewpoint converted image viewed from the virtual viewpoint. It is generated and displayed on the display device 50. In addition, when the display control unit 302 causes the display device 50 to display the peripheral image, in order to clearly show the relative positional relationship between the imaging range of the imaging device 40 and the shovel 500, a shovel image schematically representing the shovel 500 is also added. It is displayed on the display device 50.
  • the display control unit 302 generates a monitoring image including the peripheral image arranged around the shovel image in accordance with the relative positional relationship between the shovel image and the imaging range of the shovel 500 and the imaging device 40. It is displayed on the display device 50.
  • the function of the display control unit 302 may be incorporated in the display device 50.
  • information such as a captured image of the imaging device 40 (the camera 40B, the camera 40L, and the camera 40R) and a detection result of the detection unit 301 is taken into the display device 50 from the imaging device 40 and the controller 30, respectively.
  • FIG. 5 is a diagram showing an example of the monitoring image MP displayed on the display device 50. As shown in FIG. 5
  • the display device 50 includes a display unit 50A on which various information images are displayed, and an operation by hardware that operates an operation target (for example, an operation button icon or a cursor) displayed on the various information images. And a unit 50B.
  • an operation target for example, an operation button icon or a cursor
  • the monitoring image MP not only the monitoring image MP but also the driving information image IP presenting various information related to the driving of the shovel 500 is displayed on the display unit 50A.
  • the monitoring image MP is displayed in the upper half of the display unit 50A, and the driving information image IP is displayed in the lower half.
  • the operation information image IP includes a date and time display area IPa, a travel mode display area IPb, an end attachment display area IPc, an engine control state display area IPe, an engine operation time display area IPf, a cooling water temperature display area IPg, and a fuel remaining amount display area IPh
  • a rotation speed mode display area IPi, a hydraulic oil temperature display area IPk, a camera image display area IPm, an alarm display area IPp, and a direction display icon IPx are included.
  • the date and time display area IPa is an area for displaying the current date and time as an image.
  • a digital display is adopted, which indicates that the date is February 19, 2013, and the time is 23:59.
  • the traveling mode display area IPb is an area for displaying an image of the current traveling mode.
  • the traveling mode represents the setting state of a traveling hydraulic motor using a variable displacement pump. Specifically, the traveling mode has a low speed mode and a high speed mode.
  • the low-speed mode is displayed with a mark representing "tome”
  • the high-speed mode is displayed with a mark representing " ⁇ ”.
  • a mark representing “turtle” is displayed, and the operator can recognize that the low speed mode is set.
  • the end attachment display area IPc is an area for displaying an image representing the currently attached end attachment.
  • the end attachments attached to the shovel include the bucket 6 and various end attachments such as a rock drilling machine, a grapple, and a lifting magnet.
  • the end attachment display area IPc displays, for example, marks representing these end attachments. In this example, a mark representing a rock drilling machine is displayed, and the operator can recognize that the rock drilling machine is attached as an end attachment.
  • the engine control state display area IPe is an area for displaying an image of the control state of the engine.
  • the operator can recognize that the “automatic deceleration / automatic stop mode” is selected as the control state of the engine.
  • the "automatic deceleration / automatic stop mode” means a control state in which the engine speed is automatically reduced according to the duration of a small engine load, and the engine is automatically stopped.
  • the control state of the engine includes "automatic deceleration mode", “automatic stop mode”, “manual deceleration mode” and the like.
  • the engine operating time display area IPf is an area for displaying the accumulated operating time of the engine as an image. In this example, a value using the unit "hr (hour)" is displayed.
  • the cooling water temperature display area IPg is an area for displaying an image of the current temperature state of the engine cooling water.
  • a bar graph representing the temperature state of the engine coolant is displayed.
  • the temperature of the engine coolant is displayed based on data output from a water temperature sensor attached to the engine.
  • the cooling water temperature display area IPg includes an abnormal range display IPg1, a caution range display IPg2, a normal range display IPg3, a segment display IPg4, and an icon display IPg5.
  • the abnormal range display IPg1, the caution range display IPg2, and the normal range display IPg3 are displays for notifying the operator that the temperature of the engine coolant is in an abnormally high temperature state, a state requiring attention, and a normal state, respectively.
  • the segment display IPg4 is a display for notifying the operator of the temperature of the engine coolant water.
  • the icon display IPg5 is an icon such as a symbol graphic representing that the abnormal range display IPg1, the caution range display IPg2, the normal range display IPg3, and the segment display IPg4 are displays related to the temperature of the engine cooling water.
  • the icon display IPg5 may be character information indicating that the display relates to the temperature of the engine cooling water.
  • the segment display IPg 4 is composed of eight segments whose on / off states are individually controlled, and the number of segments in the on state increases as the cooling water temperature increases. In this example, four segments are in the lit state.
  • the segment display IPg 4 forms a part (arc) of a predetermined circle, and is displayed so that the length of the arc expands and contracts in accordance with the vertical movement of the temperature of the engine cooling water. Also, in this example, although the width of the temperature represented by each segment is the same, the width of the temperature may be changed for each segment.
  • the abnormal range display IPg1, the caution range display IPg2, and the normal range display IPg3 are arc-shaped figures arranged along the expansion and contraction direction of the segment display IPg4 (circumferential direction of a predetermined circle). It is displayed in red, yellow and green.
  • the segment display IPg4 the first (bottom) to sixth segment belongs to the normal range, the seventh segment belongs to the caution range, and the eighth (uppermost) segment belongs to the abnormal range.
  • the cooling water temperature display area IPg instead of the abnormal range display IPg1, the caution range display IPg2, and the normal range display IPg3 being displayed as arc-shaped figures, letters and symbols indicating the abnormal level, the caution level and the normal level Etc. may be displayed at each boundary.
  • the above-described configuration including the abnormal range display, the caution range display, the normal range display, the segment display, and the icon display can be similarly adopted in the remaining fuel amount display area IPh and the hydraulic oil temperature display area IPk.
  • the letter “F” representing “Full (full)” or a black circle (filled The letter “E” representing “Empty”, a white circle (unfilled circle), or the like may be displayed at each boundary portion.
  • the remaining fuel amount display area IPh is an area for displaying an image of the remaining amount of fuel stored in the fuel tank.
  • a bar graph representing the current state of remaining fuel is displayed.
  • the remaining amount of fuel in the remaining fuel amount display area IPh is displayed based on data output by the remaining fuel amount sensor in the fuel tank.
  • the rotation speed mode display area IPi is an area for displaying an image of the current rotation speed mode.
  • the rotation speed mode includes, for example, the four modes described above, the SP mode, the H mode, the A mode, and the idling mode. In this example, the symbol "SP" representing the SP mode is displayed.
  • the hydraulic oil temperature display area IPk is an area for displaying an image of the temperature state of the hydraulic oil in the hydraulic oil tank. In this example, a bar graph representing the temperature state of the hydraulic oil is displayed. The temperature of the hydraulic oil in the hydraulic oil temperature display area IPk is displayed based on the data output by the oil temperature sensor in the hydraulic oil tank.
  • needle display may be adopted instead of bar graph display.
  • the camera image display area IPm is an area in which at least one captured image (through image) of the camera 40B, the camera 40L, and the camera 40R is displayed as it is. Thereby, the operator can visually recognize the captured image (through image) captured by the imaging device 40 as it is in the driving information image IP, in addition to the monitoring image MP.
  • a captured image captured by the camera 40B may always be displayed while the shovel is in operation.
  • the captured image (through image) of the camera 40B in the camera image display area IPm is desirably displayed as a mirror image.
  • the camera image display area IPm occupies an area of about 2/3 of the right side of the driving information image IP.
  • the remaining fuel display area IPh etc. is displayed on the side closer to the driver's seat (operator) and the camera image display area IPm on the side farther from the driver's seat (operator) Is displayed to enhance the overall visibility.
  • the size and arrangement of each display area in the driving information image IP may be changed as necessary.
  • the captured image displayed in the camera image display area IPm is switched from the imaging device 40 of the captured image of the captured image to be displayed according to a touch operation on the touch panel type display unit 50A or an operation on the operation unit 50B.
  • the captured image may be enlarged or reduced.
  • the operator performs an operation of designating the horizontal direction with the cross button 50Ba of the operation unit 50B, whereby the imaging device 40 (camera 40B, 40B of the imaging source of the captured image (through image) displayed in the camera image display area IPm.
  • the camera 40L and the camera 40R may be switched.
  • the operator can enlarge or reduce the captured image by pressing each of the button for specifying the upward direction of the enlargement / reduction button 50Bb and the button for specifying the downward direction. Good.
  • the operator can designate a position by touching an arbitrary position of the camera image display area IPm on the touch panel type display unit 50A, and can perform enlargement / reduction on the specified position.
  • the operator may move the cursor by the cross button 50Ba, and may be able to perform enlargement / reduction with the cursor position as the center.
  • the alarm display area IPp is an area for displaying an alarm.
  • a warning message indicating that an electrical system abnormality has occurred is displayed superimposed on the through image.
  • an alarm is displayed in the alarm display area IPp.
  • the through image is displayed as it is.
  • the direction display icon IPx is an icon representing a relative relationship between the direction of the imaging device 40 which has captured the captured image (through image) displayed in the operation information image IP and the direction of the shovel (attachment of the upper swing body 3). .
  • a direction display icon IPx indicating that the imaging device 40 for capturing a camera image displayed in the camera image display area IPm is the camera 40B is displayed in the lower right corner of the camera image display area IPm.
  • the direction display icon IPx may be displayed at a position other than the lower right corner, such as the lower center, lower left corner, upper right corner, upper left corner, etc. of the camera image display area IPm, and is displayed outside the camera image display area IPm It is also good.
  • the driving information image IP may omit part of the display areas IPa to IPk described above, or may include display areas other than the above.
  • the driving information image IP may include an exhaust gas filter status display area that indicates the degree of clogging of the exhaust gas filter (for example, diesel particulate filter (DPF) or the like).
  • the exhaust gas filter status display area may display a bar graph representing the ratio of the current use time to the allowable maximum use time of the exhaust gas filter.
  • the display of the temperature state of the hydraulic oil may be omitted, and the display of the temperature state of the hydraulic oil and the temperature state of the cooling water may be omitted.
  • a cover image IPq as a vehicle body image which is an image of the rear end upper edge of the cover 3a of the upper swing body 3 is included.
  • the display device 50 allows the operator to more easily grasp the sense of distance between the object displayed in the camera image display area IPm and the shovel.
  • the direction display icon IPx is displayed superimposed on the cover image IPq. This is to increase the visibility of the direction display icon IPx so that the background color is always the same. In addition, it is to prevent the display icon IPx from hiding a portion desired to be viewed in the camera image. However, the direction display icon IPx may be displayed outside the camera image display area IPm.
  • the shovel image CG and the shovel image A monitoring image MP including a peripheral image EP arranged around the CG is displayed.
  • the operator or the like can appropriately grasp the positional relationship between the monitoring target (that is, a person) appearing in the peripheral image EP and the shovel 500.
  • the peripheral image EP in this example is a bird's-eye view image BVP obtained by looking at the peripheral region adjacent to the shovel 500 from directly above, and a horizontal image when the peripheral region is viewed horizontally from the shovel 500 arranged around the bird's-eye view image BVP. It is a viewpoint conversion image combining the image HVP.
  • the peripheral image EP which is a viewpoint conversion image, projects the captured images of the camera 40B, the camera 40L, and the camera 40R onto a space model, and then projects the projected image onto the space model into another two-dimensional plane. It is obtained by reprojection.
  • the space model is a projection target of a captured image in a virtual space, and is configured of one or more flat surfaces or curved surfaces including a flat surface or a curved surface other than the flat surface on which the captured image is located.
  • the guideline LN1 is superimposed and displayed on the monitoring image MP.
  • the guideline LN1 represents the position where the distance D from the shovel 500 is a predetermined distance D2 ( ⁇ D1). Thereby, the operator or the like can grasp how far away from the shovel 500 the user is when the monitoring target (that is, a person) appears in the peripheral image.
  • the peripheral image EP of the monitoring image MP includes a person (worker W1) to be monitored.
  • the workers W1 in the monitoring area included in the peripheral image EP are emphasized in a manner surrounded by a bold line frame FR1.
  • the operator can be alerted (notified) that the monitoring target has invaded the monitoring area.
  • the alarm output unit 303 (an example of the control unit) detects a monitoring area, that is, a monitoring target (person) within a predetermined distance D1 from the shovel 500
  • the detection unit 301 An alarm is output to the inside of 10, that is, to the operator.
  • the periphery monitoring device 100 causes the operator to recognize that the monitoring target (person) has entered the monitoring area around the shovel 500, and the operator confirms the safety status around the shovel 500.
  • the alarm output unit 303 outputs an audible method, that is, an alarm by sound. Specifically, the alarm output unit 303 outputs a control command to the voice output device 52 to output a warning sound.
  • the alarm output unit 303 changes the tone pitch, sound pressure, timbre, etc. of the warning sound, and the ringing period etc. when the warning sound (for example, buzzer sound) is periodically ringed, according to various conditions. It is also good.
  • the alarm output unit 303 may change the tone pitch, sound pressure, timbre, ringing cycle, and the like of the alarm sound according to the relative position of the monitoring target detected by the detection unit 301 with respect to the shovel 500.
  • the alarm output unit 303 generates the sound pitch of the warning sound when the monitoring target relatively close to the shovel 500 is detected and when the monitoring target relatively away from the shovel 500 is detected.
  • At least one of sound pressure, tone color, ringing period, etc. may be made different.
  • the periphery monitoring apparatus 100 can make an operator etc. grasp the positional relationship (approach degree) with the shovel 500 by the difference of a warning sound.
  • the external notification device 74 is used below.
  • the alarm output unit 303 outputs an alarm by a visual method.
  • the alarm output unit 303 transmits an alarm request to the display control unit 302.
  • the display control unit 302 performs a process of emphasizing a person to be monitored included in the peripheral image EP of the monitoring image MP displayed on the display device 50, such as surrounding by a bold line frame.
  • the display device 50 can output an alarm to the operator (see FIG. 4).
  • the alarm output unit 303 may output an alarm by a tactile method. Specifically, for example, the alarm output unit 303 outputs a control instruction to a vibration generating device (vibrator) mounted on the operator's seat, vibrates the operator's seat, and outputs a tactile alarm to the operator. It is also good.
  • a vibration generating device vibrator
  • the alarm output unit 303 notifies the outside of the shovel 500 that the alarm is output by the shovel 500.
  • the alarm output unit 303 controls the external notification device 74 (an example of the external notification unit), and outputs an alarm by the shovel 500 toward the periphery of the shovel 500 by an auditory or visual method. Is notified (notified) that is being output.
  • the surrounding area monitoring apparatus 100 outputs an alarm by the shovel 500 to a worker who is working around the shovel 500, a supervisor, etc., a manager of a management office relatively near to the shovel 500, etc. It can be made to recognize that it is done.
  • the warning output unit 303 may notify that the warning is being output by the shovel 500 by a tactile method.
  • the alarm output unit 303 is a worker who is working around the shovel 500 through the communication device 72 (an example of the external notification unit), a supervisor, a manager of the management office or the management server 900.
  • a radio signal (a signal corresponding to RF communication or BT communication) according to a predetermined communication standard for operating the vibrator function toward a predetermined device (for example, the management terminal 700 described later, etc. described later) possessed by Send.
  • the shovel 500 can notify (notify) the worker or the like in the vicinity that the shovel 500 is outputting an alarm.
  • the alarm output unit 303 controls the communication device 72 (an example of the external notification unit), and notifies that the alarm is output by the shovel 500 (hereinafter, “alarm output notification” Send to the external device 600).
  • the periphery monitoring device 100 can use the external device 600 or the user of the external device 600 (for example, a worker around the shovel 500, a site manager of a supervisor or a management office, a management server, A manager of 900, etc. can recognize that the warning is outputted by the shovel 500.
  • the alarm output unit 303 controls the communication device 72 to use a pre-registered e-mail address of the user of the external device 600 or an account of a predetermined social networking service (SNS). An alarm output notification may be sent.
  • SNS social networking service
  • a dedicated input unit for example, an external notification intention input unit, for example, an operation is input by an operation to notify the outside of the shovel 500 that the alarm is output by the shovel 500 by the intention of the operator etc.
  • An operation unit such as a button switch or the like, a predetermined gesture or pose, or a camera or a line-of-sight sensor that inputs an intention by movement of a line of sight may be provided in the cabin 10.
  • the external notification device 74 or the communication device 72 notifies the outside of the shovel 500 that the shovel 500 is outputting an alarm.
  • the alarm output unit 303 cancels the output of the alarm when it is determined by the operator that the peripheral situation confirmation operation has been performed by the determination unit 307 and the release switch 60 is operated by the operator as described later. In other words, stop the alarm being output.
  • the surroundings monitoring device 100 can cancel the output of an alarm, after the safety situation around the shovel 500 is appropriately made by the operator. Therefore, when the operator formally operates the release switch 60 without confirming the peripheral situation of the shovel 500, the situation where the alarm is canceled is suppressed, and the safety of the work site of the shovel 500 is improved. It can be improved.
  • the alarm output unit 303 determines that the cancellation of the alarm is permitted outside the shovel 500, and outputs an alarm when the cancellation switch 60 is operated by the operator. Cancel, that is, stop the alarm during output.
  • the periphery monitoring device 100 can release the output of the alarm after the alarm release is properly permitted based on the confirmation of the safety condition around the shovel 500 outside the shovel 500. Therefore, the situation where the alarm is canceled by the operation of the formal release switch 60 by the operator without the peripheral situation of the shovel 500 being confirmed is suppressed, and the safety of the work site of the shovel 500 is improved. be able to.
  • the operation restriction unit 304 operates the operation elements of the shovel 500 (the lower traveling body 1, the upper swing body 3, the boom 4, the arm 5, and Limit the operation of bucket 6 etc.).
  • the operation limiting unit 304 transmits an ON signal as a command signal to the gate lock valve 54 to cause the gate lock valve 54 to disconnect the pilot line.
  • the hydraulic oil (pilot pressure) is not supplied from the pilot pump (not shown) to the operating device (not shown) for operating the operating elements of the shovel 500.
  • a pressure reducing valve that reduces the secondary side pilot pressure output from the operating device may be provided, and the operation limiting unit 304 may control the pressure reducing valve instead of the gate lock valve 54.
  • the pressure reducing valve can invalidate the operation on the operating device by the operator by reducing the secondary side pilot pressure output from the operating device to a pressure value equal to or less than the operation amount zero. Therefore, the operation limiting unit 304 can limit the operation of the operating element of the shovel 500 as a result by controlling the pressure reducing valve.
  • the operation restriction unit 304 controls the pressure reducing valve to stop the operation elements of the shovel 500, and in a mode that the operations of various operation elements in response to the operation by the operator are more gently suppressed than usual. The operation may be limited.
  • the operation restriction unit 304 When the operation restriction unit 304 restricts the operation of the shovel 500, the operation restriction unit 304 notifies the outside of the shovel 500 that the operation restriction of the shovel 500 is performed.
  • the operation restriction unit 304 controls the external notification device 74 (an example of the external notification unit), and the operation restriction of the shovel 500 is performed toward the periphery of the shovel 500. Notify (inform) that effect.
  • the surrounding area monitoring apparatus 100 restricts the operation of the shovel 500 to a worker who is working around the shovel 500, a supervisor, etc., a manager of a management office relatively near to the shovel 500, etc. It can be made to recognize what is being done.
  • the operation restriction unit 304 may notify that the operation restriction of the shovel 500 is performed by a tactile method.
  • the operation restriction unit 304 controls the communication device 72 (an example of the external notification unit), and notifies that the operation restriction of the shovel 500 is performed (hereinafter referred to as “ To the external apparatus 600). Accordingly, the periphery monitoring device 100 can cause the user of the external device 600 or the external device 600 that determines the permission of the operation restriction release to recognize that the operation restriction of the shovel 500 is performed.
  • the operation restriction unit 304 controls the communication device 72, and transmits an alarm output notification to an email address registered in advance of the user of the external device 600 or an account of a predetermined SNS. May be Thus, the periphery monitoring device 100 can cause the user of the external device 600 to recognize that the operation restriction of the shovel 500 is performed.
  • a dedicated input unit for notifying the outside of the shovel 500 that the operation restriction of the shovel 500 is performed by the intention of the operator etc. May be provided in the cabin 10.
  • the dedicated input unit corresponding to the alarm and the dedicated input unit for the operation restriction may be a common input unit.
  • the external notification device 74 or the communication device 72 notifies that the operation restriction of the shovel 500 is performed to the outside of the shovel 500.
  • the operation limiting unit 304 determines that the peripheral status confirmation operation has been performed by the operator and the operation restriction unit 304 restricts the operation of the shovel 500 when the release switch 60 is operated by the operator, as described later. To release. Thereby, the surroundings monitoring device 100 can release the operation restriction of the shovel 500 after the safety situation around the shovel 500 is appropriately made by the operator. Therefore, when the operator formally operates the release switch 60 without confirming the peripheral situation of the shovel 500, a situation where the operation restriction of the shovel 500 is released is suppressed, and the work site of the shovel 500 Safety can be improved.
  • the periphery monitoring device 100 can release the operation restriction of the shovel 500 after the operation restriction release permission based on the confirmation of the safety status around the shovel 500 is appropriately made outside the shovel 500. . Therefore, the situation where the operation restriction of the shovel 500 is released by the operation of the formal release switch 60 by the operator is suppressed without the peripheral situation of the shovel 500 being confirmed, and the safety of the work site of the shovel 500 It is possible to improve the quality.
  • the release request notification unit 305 controls the communication device 72 and issues a notification (hereinafter referred to as a “cancel request notification”) to request an alarm or release of the operation restriction. It transmits to the external device 600.
  • the release request notification unit 305 controls the communication device 72, and requests release of a pre-registered e-mail address of the user of the external device 600 or an account of a predetermined SNS. Notifications may be sent. Accordingly, the periphery monitoring device 100 can actively request the user of the external device 600 or the external device 600 to permit an alarm or permission to release the operation restriction of the shovel 500.
  • the cancellation request notification does not depend on the presence or absence of the operation of the cancellation switch 60 by the operator when the alarm output or the operation restriction of the shovel 500 is started, and the mail address of the user of the external device 600 or the external device 600, etc. May be sent to
  • the transmission of the cancellation request notification may be omitted. That is, the cancellation request notification unit 305 may be omitted.
  • a dedicated input unit (a release request is provided in the cabin 10 separately from the release switch 60 for transmitting a release request notification to the mail address or the like of the user of the external device 600 or the external device 600 with the intention of the operator etc.
  • an intention input unit for example, an operation unit such as a button switch for inputting an intention by operation, or a predetermined gesture, a pose, a camera for inputting an intention by eye movement or the like, a gaze sensor or the like may be provided .
  • the cancellation request notification may be transmitted to the mail address or the like of the user of the external apparatus 600 or the external apparatus 600 when there is an intention input to the dedicated input unit.
  • the surrounding condition information transmitting unit 306 periodically outputs information on the surrounding condition of the shovel 500 (hereinafter referred to as “surrounding condition information”) when the output of an alarm or the operation restriction of the shovel 500 is performed.
  • the peripheral status information transmission unit 306 may automatically transmit the peripheral status information to the external device 600 when the output of the alarm or the operation restriction of the shovel 500 is performed, or the communication device 72 from the external device 600.
  • the peripheral status information may be transmitted to the external device 600 in response to the request signal received by the H.264.
  • the surrounding condition information may include, for example, a captured image of the periphery of the shovel 500 by the imaging device 40.
  • the surrounding condition information may include, for example, information on the detection result of the monitoring target by the detecting unit 301, the position of the detected monitoring target, and the like.
  • the determination unit 307 determines whether or not the safety status around the shovel 500 has been confirmed by the operator, that is, whether or not the peripheral status check operation has been performed.
  • the determination unit 307 determines whether the peripheral condition confirmation operation has been performed by the operator. Specifically, as described above, the determination unit 307 determines whether the peripheral situation confirmation operation is performed by the operator based on the movement of the operator's line of sight detected by the camera as the confirmation operation state detection unit 70 or the line-of-sight sensor. May be determined. More specifically, when the determination unit 307 views a through image or a monitoring image displayed on a mirror (for example, a rear view mirror) for indirectly viewing the periphery of the shovel 500 or the display device 50 as the line of sight of the operator If it can be determined, it may be determined that the peripheral situation confirmation operation has been performed by the operator.
  • a mirror for example, a rear view mirror
  • the determination unit 307 may determine whether or not the peripheral situation confirmation operation has been performed by the operator, based on the operator's brain waves detected by the brain wave sensor as the confirmation operation state detection unit 70. More specifically, for example, when the release switch 60 is operated by the operator, the determination unit 307 makes the operation unconscious against the output of the alarm or the operation restriction of the shovel 500 based on the operator's brain waves ( It may be determined whether or not it has been performed reflectively. Then, the determination unit 307 may determine that the peripheral situation confirmation operation has been performed by the operator when the operation is not performed unconsciously, that is, the operation is performed consciously.
  • the determination unit 307 determines whether or not the surrounding situation confirmation operation has been performed by the operator based on the elapsed time since the alarm or the operation restriction of the shovel 500 is started. Specifically, when a predetermined time or more has elapsed since the alarm or the operation restriction of the shovel 500 is started, the determination unit 307 may determine that the peripheral situation confirmation operation by the operator has been performed. When a certain amount of time has elapsed from the start of the alarm or the operation restriction of the shovel 500, the operator has enough time to confirm the surrounding condition, and it can be considered that the surrounding condition confirmation operation has been performed by the operator. is there.
  • the determination unit 307 determines the safety status around the shovel 500 outside the shovel 500 and determines whether the release of the alarm or the operation restriction is permitted.
  • the determination unit 307 determines that the release of the alarm or the operation restriction is permitted outside the shovel 500.
  • the determination unit 307 determines that the worker or supervisor outside the shovel 500 is in a safe state and indicates that an alarm or release of the operation restriction is permitted (for example, it is defined in advance) It is determined that the release of the alarm or the operation restriction is permitted outside the shovel 500 when the pose or gesture is indicated). Specifically, the determination unit 307 recognizes a predetermined third party such as a worker or a supervisor who has entered the monitoring area from the captured image of the imaging device 40 and has triggered an alarm or operation restriction of the shovel 500. Do the process. At this time, the determination unit 307 may recognize the predetermined third party based on characteristic information specific to the predetermined third party (for example, identification information such as a color of a work clothes or a helmet).
  • the determination unit 307 cancels the warning or the operation restriction outside the shovel 500. May be determined to be permitted.
  • the determination unit 307 (an example of the acquisition unit) captures an image including a predetermined third party such as a worker or a supervisor who is performing a predetermined pose or gesture in the captured image of the imaging device 40 When the image is acquired, it may be determined outside the shovel 500 that the release of the alarm or the operation restriction is permitted.
  • the external device 600 permits the release of the alarm or the operation restriction according to a predetermined condition when the output of the alarm or the operation restriction is performed by the shovel 500.
  • the external device 600 includes a communication device 610, an information processing unit 620, a display unit 630, an audio output unit 640, and an operation unit 650.
  • the communication device 610 is any device that communicates with the shovel 500 in two directions.
  • the communication device 610 is in a correspondence relationship with the communication device 72 of the shovel 500 in terms of communication scheme and the like, and can include, for example, an RF transceiver, a BT communication module, a mobile communication module, and the like.
  • the information processing unit 620 performs various control processes in the external device 600.
  • the information processing unit 620 may have its function implemented by any hardware or a combination of hardware and software.
  • the information processing unit 620 is mainly configured of a computer including a CPU, a RAM, a ROM, an auxiliary storage device, an RTC, various communication interfaces, and the like.
  • the information processing unit 620 is, for example, a shovel status notification unit 6201 and a peripheral status information acquisition unit 6202 as functional units realized by executing on the CPU one or more programs stored in the ROM or the auxiliary storage device. And a release permission operation reception unit 6203, a determination unit 6204, and a release permission notification unit 6205.
  • the display unit 630 displays various information images under the control of the information processing unit 620.
  • the display unit 630 is, for example, a liquid crystal display or an organic EL display.
  • the voice output unit 640 outputs voice to the outside under the control of the information processing unit 620.
  • the sound output unit 640 is, for example, a speaker or a buzzer.
  • Operation unit 650 receives various operations from the user of external device 600.
  • the operation unit 650 may be, for example, an operation unit using hardware such as a push button or an operation unit using software such as a button icon on an operation screen displayed on the touch panel display unit 630.
  • the shovel status notification unit 6201 notifies the user of the status of the shovel 500 based on various information received from the shovel 500 through the communication device 610.
  • the shovel status notification unit 6201 indicates that the shovel 500 is outputting an alarm or the operation restriction is performed.
  • the fact may be notified to the user of the external device 600.
  • the external device 600 can make the user recognize that the warning is output from the shovel 500 or that the operation restriction is performed.
  • the manager of the management office located relatively far from the shovel 500, the manager of the management server 900 outside the work site, etc. are effective because it is difficult to directly grasp the situation of the shovel 500.
  • the shovel status notification unit 6201 may cause the display unit 630 to display that the alarm is output from the shovel 500 or that the operation restriction is performed.
  • the shovel status notification unit 6201 may output a sound indicating that the alarm is output from the sound output unit 640 by the shovel 500 or that an operation restriction is performed.
  • the shovel status notification unit 6201 notifies the user that the alarm 500 or the operation restriction cancellation request has been received from the shovel 500.
  • the external device 600 can urge the user to perform a predetermined operation (a release permission operation described later) for permitting release of an alarm or operation restriction based on confirmation of the safety status around the shovel 500.
  • the shovel status notification unit 6201 may cause the display unit 630 (an example of the first notification unit) to display that an alarm or a request to cancel the operation restriction has been received from the shovel 500.
  • the shovel status notification unit 6201 may output a sound to the effect that the cancellation request for the alarm or the operation restriction has been received from the shovel 500 from the sound output unit 640 (an example of the first notification unit).
  • the peripheral status information acquisition unit 6202 acquires peripheral status information periodically transmitted from the shovel 500 through the communication device 610 when the output of the alarm or the operation restriction is performed by the shovel 500.
  • the peripheral condition information acquisition unit 6202 transmits a request signal for requesting the peripheral condition information to the shovel 500 through the communication device 610. Good.
  • the surrounding situation information acquisition unit 6202 notifies the user of the contents of the acquired surrounding situation information.
  • the external device 600 can prompt the user to recognize the situation around the shovel 500.
  • the surrounding situation information acquisition unit 6202 may cause the display unit 630 (an example of the second notification unit) to display the contents of the surrounding situation information.
  • the peripheral status information acquisition unit 6202 may cause the voice output unit 640 (an example of the second notification unit) to output a voice related to the content of the peripheral status information.
  • the release permission operation reception portion 6203 is a predetermined operation (hereinafter referred to as “release permission operation”) for permitting the user of the external device 600 to release the warning or operation restriction of the shovel 500 with respect to the operation unit 650 (an example of release permission operation portion). ) Is accepted.
  • the release permission operation reception unit 6203 may receive a release permission operation from a manager or a worker of the management server 900 as the external device 600.
  • the release permission operation reception unit 6203 allows the operator, etc. to remotely control the shovel 500 through the external device 600. You may accept the release permission operation of.
  • the operator for example, an image of the surroundings of the shovel 500 displayed on the display unit 630 of the external device 600 (specifically, an image taken by the imaging device 40 of the shovel 500 and uploaded to the management server 900 The appearance of the surroundings of the shovel 500 can be confirmed on the basis of.
  • the determination unit 6204 determines whether or not the release of the alarm or the operation restriction is permitted when the output of the alarm or the operation restriction is performed by the shovel 500.
  • the determining unit 6204 confirms the safety condition around the shovel 500, and permits the release of the warning or the operation restriction. Specifically, the determination unit 6204 may permit the release of the warning or the operation restriction when it is confirmed that there is no monitoring target (person) in the monitoring area of the shovel 500 based on the surrounding condition information.
  • the determination unit 6204 permits release of the alarm or the operation restriction.
  • the release permission notification unit 6205 notifies the shovel 500 of a notification (release permission notification) of permitting the release of the alarm or the operation restriction via the communication device 610. Send.
  • FIG. 6A to 6D are diagrams schematically showing an example of the operation of the periphery monitoring system 1000.
  • FIG. 6A is a diagram schematically showing an example of the operation of the periphery monitoring device 100 when a person (worker 402) to be monitored enters the monitoring area 404 of the shovel 500.
  • FIG. 6B is a diagram schematically showing an example of the operation of the periphery monitoring device 100 when the worker 402 withdraws out of the monitoring area 404 on the premise of the situation of FIG. 6A.
  • FIG. 6C is a view schematically showing an example of the operation of the periphery monitoring device 100 when the operator 401 of the shovel 500 performs the peripheral situation confirmation operation on the premise of the situation of FIG. 6B.
  • FIG. 6A is a diagram schematically showing an example of the operation of the periphery monitoring device 100 when a person (worker 402) to be monitored enters the monitoring area 404 of the shovel 500.
  • FIG. 6B is a diagram schematic
  • FIG. 6D illustrates the operation of the periphery monitoring device 100 when the worker 402 or the supervisor 403 performs a predetermined operation on the external device 600 (for example, the management terminal 700, the release device 750) on the premise of the situation of FIG. 6B. It is a figure which shows an example typically.
  • the ⁇ mark of the imaging device 40 indicates that the monitoring object in the monitoring area 404 is imaged by the imaging device 40, that is, the monitoring object in the monitoring area 404 is detected by the detection unit 301.
  • the ⁇ marks of the audio output device 52 indicate that the alarm sound is output, that is, the alarm output unit 303 outputs an alarm.
  • the circle ⁇ ⁇ ⁇ in the gate lock valve 54 indicates that the gate lock valve 54 is actuated and the pilot line is in the non-communicating state, that is, the operation restriction unit 304 restricts the operation of the shovel 500. Represent.
  • the ⁇ mark and the ⁇ mark of the release switch 60 respectively indicate a state in which the operation of the release switch 60 is validated and a state in which the operation of the release switch 60 is invalidated.
  • the circle marks in the confirmation operation state detection unit 70 indicate that the peripheral condition confirmation operation by the operator 401 is detected, that is, the determination unit 307 determines that the peripheral condition confirmation operation by the operator 401 is performed. Represents that.
  • the symbol ⁇ in the external device 600 indicates that a predetermined operation on the external device 600 has been performed.
  • the periphery monitoring device 100 operates the voice output device 52 and the gate lock valve 54 when detecting the worker 402 who has entered the monitoring area 404 based on the image captured by the imaging device 40.
  • the output of the alarm and the operation restriction of the shovel 500 are started.
  • the periphery monitoring apparatus 100 can cause the operator 401 to recognize that the monitoring target (the worker 402) has entered into the monitoring area 404.
  • the periphery monitoring device 100 notifies the outside of the shovel 500 that the output of the alarm and the operation restriction of the shovel 500 are performed. Accordingly, the periphery monitoring device 100 can cause the worker 402 in the monitoring area to recognize that the worker is approaching the shovel 500 too much.
  • the surroundings monitoring device 100 can suppress the situation in which the shovel 500 moves and interference with the worker 402 occurs due to the operation restriction of the shovel 500. Therefore, the safety around the shovel 500 can be improved.
  • the worker 402 who has intruded into the monitoring area of the shovel 500 recognizes that the cause of the alarm and operation restriction is his own, and is evacuated from the monitoring area 404 to the outside of the monitoring area 404 .
  • the alarm output and operation restriction of the shovel 500 continue.
  • the worker 402 in the captured image of the imaging device 40 assimilates to the background and can not recognize (detect) the worker 402.
  • the alarm and the operation restriction of the shovel 500 can be continued. Therefore, the safety around the shovel 500 can be further improved.
  • the periphery monitoring device 100 the movement of the line of sight in which the operator 401 visually recognizes the monitoring image (peripheral image) of the rearview mirror or the display device 50 is detected by the confirmation operation state detection unit 70 such as a line of sight sensor Then, the release operation on the release switch 60 is enabled. After that, when the release switch 60 is operated by the operator 401 while the operation on the release switch 60 is enabled, the periphery monitoring device 100 stops the voice output device 52 and operates the gate lock valve 54. , And release the restriction of operation of the shovel 500. Thus, after the alarm or the operation restriction of the shovel 500 is started, the surrounding area monitoring apparatus 100 can cause the operator to confirm the safety status around the shovel 500, and then cancel the alarm or the restriction of the operation of the shovel 500.
  • the confirmation operation state detection unit 70 such as a line of sight sensor
  • the external apparatus 600 when the external apparatus 600 receives a release permission operation from the worker 402 evacuated to the outside of the monitoring area 404 or the supervisor 403 supervising the work site outside the monitoring area 404, the release permission is permitted.
  • a notification 405 is sent to the shovel 500.
  • the periphery monitoring device 100 receives the release permission notice 405 from the external device 600 by the communication device 72, it determines that release of the alarm or the operation restriction is permitted outside the shovel 500. Then, the surroundings monitoring device 100 stops the sound output device 52 and operates the gate lock valve 54 to release the alarm and release the operation restriction of the shovel 500. Thereby, the surroundings monitoring apparatus 100 cancels the warning and the operation restriction of the shovel 500 after having a predetermined person such as the worker 402 or the supervisor 403 outside the shovel 500 confirm the safety situation around the shovel 500. can do.
  • the external device 600 may automatically check the safety situation of the shovel 500 based on the surrounding situation information, and transmit the release permission notice 405 to the shovel 500.
  • the surroundings monitoring apparatus 100 can release the warning and the operation restriction of the shovel 500 after having the external device 600 confirm the safety situation around the shovel 500.
  • FIG. 7 is a flow chart schematically showing an example of processing (monitoring processing) for monitoring an intrusion into the monitoring area of the monitoring target by the periphery monitoring device 100.
  • the processing according to this flowchart is repeated, for example, every predetermined processing cycle when the output of the alarm by the alarm output unit 303 and the operation restriction of the shovel 500 by the operation restriction unit 304 are not performed during the operation of the shovel 500. To be executed.
  • step S702 the detection unit 301 performs processing for detecting a monitoring target in the monitoring area based on the captured image input from the imaging device 40.
  • step S704 the detection unit 301 determines whether a monitoring target has been detected. When the monitoring target is detected, the detection unit 301 proceeds to step S706, and when the monitoring target is not detected, the current processing ends.
  • step S706 the alarm output unit 303 outputs an alarm through the audio output device 52, and the operation restriction unit 304 operates the gate lock valve 54 to disconnect the pilot line, thereby operating the shovel 500. Do the restriction.
  • step S 708 the alarm output unit 303 and the operation restriction unit 304 respectively control the communication device 72 and the external notification device 74, and the shovel 500 performs alarm output and operation restriction toward the outside of the shovel 500. To the effect that this process is terminated.
  • FIG. 8 is a flow chart schematically showing an example of processing (permission cancellation processing) for permitting cancellation of the alarm and the operation restriction of the shovel 500 by the external device 600.
  • processing permission cancellation processing
  • the processing according to this flowchart is repeatedly performed at predetermined control cycles until the release permission notification is transmitted to the shovel 500. May be done.
  • the processing according to this flowchart is repeatedly executed every predetermined processing cycle until the cancellation permission notification is transmitted to the shovel 500. Good.
  • step S802 determination unit 6204 determines whether the release permission operation has been received by release permission operation receiving portion 6203 or whether the safety status around shovel 500 has been confirmed based on the peripheral status information. The determination unit 6204 proceeds to step S804 if the release permission operation is received by the release permission operation reception unit 6203 or if the safety status around the shovel 500 is confirmed based on the peripheral status information, otherwise the process proceeds to step S804. End this process.
  • step S804 the determination unit 6204 transmits the release permission notification to the shovel 500 through the communication device 610, and ends the current process.
  • release permission notification in the present embodiment is an example of information related to the release of (the permission of) an alarm or an operation restriction in the shovel 500, and other aspects may be assumed.
  • the external device 600 may transmit, to the shovel 500, information related to the confirmation of the surroundings of the shovel 500, that is, information prompting the confirmation of the surroundings of the shovel 500 when the alarm or the operation restriction is canceled.
  • the external device 600 may transmit, to the shovel 500, information of content asking whether the operator checks the surroundings of the shovel 500.
  • the surrounding area monitoring apparatus 100 receives the information, the operator confirms whether or not the surrounding situation confirmation operation has been performed by the operator, and when the surrounding situation confirmation operation is performed by the operator, the alarm or the shovel 500 is Operation restrictions can be removed.
  • the surrounding area monitoring device 100 receives the information, whether or not the surroundings of the shovel 500 have been confirmed with the operator through the display device 50 and the voice output device 52 (both are examples of the operator notification unit)
  • a notification such as confirmation or prompting to confirm the periphery of the shovel 500 can be performed.
  • there is an intention display indicating that the surroundings of the shovel 500 have been confirmed by the operator for example, a predetermined operation has been performed, or a predetermined gesture, pose, or It is possible to release the alarm or the operation restriction of the shovel 500 when the movement of the sight line is detected) or when the peripheral situation confirmation operation is performed by the operator.
  • FIG. 9 is a flow chart schematically showing an example of processing (cancellation processing) for canceling the warning by the periphery monitoring device 100 and the operation restriction of the shovel 500.
  • the processing according to this flowchart is repeatedly performed, for example, every predetermined processing cycle when the alarm output unit 303 outputs an alarm and the operation restriction unit 304 restricts the operation of the shovel 500 while the shovel 500 is operating. Be done.
  • step S902 the alarm output unit 303 and the operation limiting unit 304 determine whether the release switch 60 has been operated. When the release switch 60 is operated, the alarm output unit 303 and the operation restriction unit 304 proceed to step S904, and when the release switch 60 is not operated, the current process is ended.
  • step S902 may be performed by either the alarm output unit 303 or the operation restriction unit 304.
  • step S904 the determination unit 307 determines whether or not the peripheral status check operation by the operator or the release of the alarm and operation restriction outside the shovel 500 has been performed. If the determination unit 307 determines that the operator has permitted the peripheral situation check operation or the alarm and the operation restriction release outside the shovel 500, the process proceeds to step S906, and in other cases, the current process ends. .
  • step S906 the alarm output unit 303 and the operation restriction unit 304 cancel the alarm and cancel the operation restriction of the shovel 500, respectively, and end this process.
  • the operation unit for canceling the alarm and the operation restriction in the work machine is provided, and the operation restriction of the alarm and the work machine can be canceled by the operation of the operator or the like on the operation unit. Therefore, even if the condition confirmation around the work machine is insufficient, there is a possibility that the alarm or the operation restriction of the work machine may be released.
  • an apparatus other than the shovel 500 or an operator who operates the shovel 500 or an operator of the external apparatus 600 that is, an apparatus corresponding to the shovel 500 and a third party different from the operator. It is judged by the person or the person whether or not to release the warning or the operation restriction in the shovel 500.
  • the safety of the shovel 500 can be judged by the eyes from the outside of the shovel 500 and the shovel 500, so after the status confirmation around the working machine is appropriately made, the alarm or operation restriction in the shovel 500 is released. be able to. Therefore, the safety around the shovel 500 and the shovel 500 can be further improved.
  • the periphery monitoring device 100 includes both the alarm output unit 303 and the operation limiting unit 304 in this example, it may include only one of them. That is, the periphery monitoring apparatus 100 may be configured to perform only one of the output of the alarm and the operation restriction of the shovel 500 when the monitoring target is detected in the monitoring area.
  • the determination unit 307 determines whether or not the peripheral situation confirmation operation has been performed by the operator, and whether or not the release of the alarm or the operation restriction is permitted outside the shovel 500. Only one may be determined.
  • the alarm output unit 303 and the operation restriction unit 304 each generate an alarm when one of the determination results determined by the determination unit 307 is an affirmative determination, and the release switch 60 is operated by the operator. And the operation
  • the surrounding area monitoring apparatus 100 validates the operation on the release switch 60 when one of the determination results determined by the determination unit 307 is an affirmative determination.
  • the surrounding area monitoring device 100 May be received, and after that, the operation on the release switch 60 may be validated when the surrounding situation confirmation operation is performed by the operator. Also, similarly, the periphery monitoring device 100 may validate the operation on the release switch 60 when the information is received and there is an intention display indicating that the surroundings of the shovel 500 have been confirmed by the operator thereafter. .
  • the alarm output unit 303 and the operation restriction unit 304 respectively cancel the alarm and the operation restriction on the condition that the cancellation switch 60 is operated, but not on the operation of the cancellation switch 60. It is also good.
  • the alarm output unit 303 and the operation restriction unit 304 each only have the decision unit 307 that the operator has made the peripheral situation check operation or that permission for cancellation of the alarm or operation restriction outside the shovel 500 has been made. As a condition, an alarm or operation restriction may be released.
  • the alarm and the operation restriction of the shovel 500 are permitted by the operator to confirm the surrounding condition or release the alarm and the operation restriction outside the shovel 500, and the release switch 60 is operated.
  • the alarm output unit 303 and the operation limiting unit 304 may release the alarm and the operation restriction of the shovel 500 only by permitting the alarm outside the shovel 500 and the release of the operation restriction, respectively. That is, the alarm and the operation restriction of the shovel may be releaseable from the external device 600 of the shovel 500. This is because the determination regarding the permission of the release performed outside the shovel 500 is considered to be relatively higher in reliability than the determination made by the operator of the shovel 500, the controller 30, and the like.
  • the alarm output unit 303 and the operation restriction unit 304 both perform confirmation of the peripheral situation by the operator and permission to release the alarm and the operation restriction externally, and the cancellation switch 60 is operated.
  • the alarm and the operation restriction of the shovel 500 may be released. Thereby, the safety around the work site of the shovel 500 can be further improved.
  • determination of permission of the alarm and removal of the operation restriction of the shovel 500 in the external device 600 may be realized by applying a technique related to artificial intelligence (AI) based on machine learning. . That is, the process for releasing the alarm or operation restriction of the shovel 500 from the external device 600 or transmitting information regarding the alarm or cancellation of the operation restriction is based on machine learning such as Deep Learning, for example. It may be performed by a discriminator.
  • AI artificial intelligence
  • the identifier is collected by the shovel 500 or the management server 900, and an image showing a state in which the release of the alarm or the operation restriction can not be permitted (that is, an image of the periphery of the shovel 500 whose safety is not ensured) It can be generated based on teacher data composed of an image showing an allowable state (that is, an image of the periphery of the shovel 500 for which safety is secured).
  • the periphery monitoring system 1000 is configured to include one shovel 500 and the external device 600, the periphery monitoring system 1000 may be configured to include a plurality of shovels 500 and the external device 600. May be configured.
  • a perimeter monitoring device that monitors the surroundings of the work machine
  • a monitoring target detection unit configured to detect a predetermined monitoring target within a predetermined range around the work machine
  • a control unit that outputs an alarm or restricts the operation of the work machine when the monitoring target is detected by the monitoring target detection unit
  • An acquisition unit configured to acquire information on the release of the alarm or the operation restriction outside the work machine
  • a cancellation intention input unit to which the operator inputs the intention to cancel the alarm or the operation restriction.
  • the control unit is configured to acquire the information by the acquisition unit when the alarm or the operation restriction is performed, and to generate the alarm when the intention is input to the cancellation intention input unit. Or release the operation restriction, Peripheral monitoring device.
  • the acquisition unit acquires, from a predetermined external device, a notification that permission to release the alarm or the operation restriction is given,
  • the control unit cancels the alarm or the operation restriction when the notification is acquired by the acquisition unit and the intention is input to the cancellation intention input unit.
  • the acquisition unit acquires information on surrounding confirmation of the work machine from a predetermined external device,
  • the operator notification unit notifies the operator of the content of the information when the acquisition unit acquires information on surrounding confirmation of the work machine.
  • the system further comprises an external notification intention input unit that causes the external notification unit to perform notification at the intention of the operator.
  • the surrounding area monitoring device according to (4).
  • the external notification unit transmits a notification that the output of the alert or the operation restriction is performed to the external device or the email address of the user of the external device or an account of a predetermined social networking service.
  • the surroundings monitoring device according to (4) or (5).
  • the external notification unit notifies persons in the vicinity of the work machine that the output of the alarm or the operation restriction is performed by a visual method, a tactile method, or an auditory method.
  • the surroundings monitoring device according to any one of (4) to (6).
  • the apparatus further comprises a cancellation request notification unit that transmits a notification of a cancellation request for the alarm or the operation restriction to the external device when the alarm or the operation restriction is performed.
  • the surroundings monitoring device according to any one of (2) to (7).
  • the system further comprises a cancellation request intention input unit that causes the cancellation request notification unit to notify the cancellation request according to the intention of the operator.
  • the periphery monitoring device according to (8).
  • the acquisition unit acquires, from the imaging device, a captured image including a predetermined person present around the work machine, which is performing a predetermined pose or gesture.
  • the control unit causes the alarm when the intention is input to the cancellation intention input unit. Or release the operation restriction,
  • the periphery monitoring device according to (1).
  • the input of the intention to the cancellation intention input unit becomes effective when the acquisition unit acquires information indicating that the alarm or cancellation of the operation restriction is permitted outside the work machine,
  • the control unit cancels the alarm or the operation restriction when there is an input of the valid intention to the cancellation intention input unit.
  • the periphery monitoring device according to any one of (1) to (10).
  • An information processing terminal provided outside the work machine and capable of communicating with the work machine or an information processing apparatus capable of communicating with the work machine, When a predetermined monitoring target is detected in a predetermined range around the work machine and an alarm is output by the work machine, or when the operation restriction of the work machine is performed, the alarm or the operation restriction is performed.
  • a determination unit that determines whether or not to release
  • a release permission notification unit that transmits information regarding permission to release the alarm or the operation restriction to the work machine when the release of the alarm or the operation restriction is permitted by the determination unit.
  • the information processing terminal according to (12).
  • the information processing apparatus further comprises an acquisition unit that acquires information indicating that the operator of the work machine has confirmed the periphery of the work machine, The determination unit permits release of the alarm or the operation restriction when information indicating that the operator has confirmed the surroundings of the work machine is acquired by the acquisition unit. (12) or the information processing terminal as described in (13).
  • the determination unit permits the release of the alarm or the operation restriction when it is determined that the monitoring target is not within the predetermined range of the work machine based on the information acquired by the peripheral situation information acquisition unit. , The information processing terminal according to (13).
  • the information processing terminal further includes a release permission operation unit that allows the user of the information processing terminal to release the alarm or the operation restriction.
  • the determination unit permits the release of the alarm or the operation restriction when the release permission operating unit is operated.
  • a peripheral situation information acquisition unit for acquiring information on the situation around the work machine; And a second notification unit that notifies the user of the information processing apparatus of the content of the information acquired by the peripheral situation information acquisition unit. (16) or the information processing terminal as described in (17).
  • the determination unit is configured to receive the alarm or the notification indicating that the operation restriction has been performed or the alarm or the notification that the operation restriction is canceled is received from the work machine. Determine whether to release the operation restriction, The information processing terminal according to any one of (12) to (18).
  • the information processing terminal according to any one of (12) to (19).
  • An information processing apparatus provided outside the working machine and capable of communicating with the working machine, When a predetermined monitoring target is detected in a predetermined range around the work machine and an alarm is output by the work machine, or when the operation restriction of the work machine is performed, the alarm or the operation restriction is performed.
  • a determination unit that determines whether or not to release
  • a release permission notification unit that transmits information regarding permission to release the alarm or the operation restriction to the work machine when the release of the alarm or the operation restriction is permitted by the determination unit.
  • the configuration or illustration of the configuration other than the periphery monitoring device 100 and the shovel 500 in the periphery monitoring system 1000, that is, the external device 600 may be omitted.
  • the description and illustration related to the exchange between the periphery monitoring device 100 (the shovel 500) and the external device 600 may be omitted.
  • FIG. 10 is a view showing another example of the shovel 500 on which the periphery monitoring device 100 according to the present embodiment is mounted, and more specifically, a side view of the shovel 500.
  • FIG. 11 is a block diagram showing another example of the configuration of the periphery monitoring device 100 according to the present embodiment.
  • a configuration related to exchange between the periphery monitoring device 100 (excavator 500) and the external device 600 for example, the cancellation request notification unit 305, The transmission unit 306, the determination unit 307, the confirmation operation state detection unit 70, and the like are not shown.
  • the periphery monitoring apparatus 100 which concerns on this embodiment may be mounted in arbitrary working machines other than the shovel 500 as mentioned above.
  • the periphery monitoring device 100 may be mounted on a riff-mag machine, a bulldozer, a wheel loader, an asphalt finisher, a forestry machine or the like to which a lifting magnet is attached as an end attachment.
  • the surrounding area monitoring apparatus 100 monitors an intrusion of a predetermined object which is a monitoring target, ie, a monitoring target, into a predetermined range around the shovel 500 as in the example described above, and outputs an alarm when the monitoring target is detected. Or restrict the operation of the shovel.
  • a monitoring target ie, a monitoring target
  • the periphery monitoring device 100 includes a controller 30, an imaging device 40, a display device 50, an audio output device 52, a gate lock valve 54, a release switch 60, and a monitoring function ON / OFF switch (hereinafter referred to for convenience.
  • the monitoring function switch 62) and the display content switching switch 64 are included.
  • the controller 30 is a main control device that performs drive control of the shovel 500.
  • the controller 30 is mounted in the cabin 10 and performs various control processes related to the periphery monitoring device 100.
  • the controller 30 may have its function realized by any hardware, software, or a combination thereof.
  • the controller 30 is mainly configured of a microcomputer including, for example, a CPU, a RAM, a ROM, an auxiliary storage device, an RTC, various communication interfaces, and the like.
  • the controller 30 is, for example, a detection unit 301, a display control unit 302, an alarm output unit 303, and an operation unit as functional units realized by executing various programs stored in a ROM or an auxiliary storage device on the CPU.
  • a restriction unit 304 is included.
  • the imaging device 40 (an example of a sensor) is attached to the upper part of the upper swing body 3 and captures an image of the periphery of the shovel 500.
  • the imaging device 40 includes cameras 40B, 40L, and 40R.
  • the camera 40B, the camera 40L, and the camera 40R are attached to the upper rear end, the upper left end, and the upper right end of the upper swing body 3, respectively, as described above. Take an image of the right side.
  • the camera 40B, the camera 40L, and the camera 40R are monocular wide-angle cameras having a very wide angle of view.
  • the camera 40B, the camera 40L, and the camera 40R are attached such that the optical axis is directed obliquely downward at the upper portion of the upper swing body 3, and include the ground near the shovel to the far side of the shovel
  • the imaging range in the vertical direction is imaged.
  • the camera 40B, the camera 40L, and the camera 40R each output a captured image at predetermined intervals (for example, 1/30 seconds) during operation of the shovel 500, and the captured image thus output is captured by the controller 30.
  • the monitoring function switch 62 is, for example, an operation unit provided in the cabin 10 and used by an operator or the like to turn on / off the monitoring function of the periphery monitoring device 100. That is, the monitoring function switch 62 is an operation unit for enabling or disabling the alarm output and the operation restriction function of the shovel 500, which is executed based on the detection of the monitoring target.
  • the monitoring function is enabled according to the operation of the operator or the like on the monitoring function switch 62, the functions of the detection unit 301, the display control unit 302, the alarm output unit 303, and the operation restriction unit 304 described later Is enabled.
  • the detection unit 301, the display control unit 302 (at least a portion related to the monitoring function), the alarm output unit 303, All functions of the operation limiting unit 304 are disabled. Further, in this case, among the detection unit 301, the display control unit 302, the alarm output unit 303, and the operation restriction unit 304, only the functions of the alarm output unit 303 and the operation restriction unit 304 are invalid, and the detection unit 301 and the display The function of the part related to the monitoring function of the control unit 302 may remain valid. Thus, there is no need to restart the functions of the detection unit 301 and the display control unit 302 when the monitoring function is activated according to the operation of the monitoring function switch 62 while maintaining the monitoring function disabled. The time required to restart the monitoring function can be shortened.
  • an indicator indicating that the monitoring function is disabled is the controller 30 (display control unit 302 described later). Is displayed on the display device 50 under the control of.
  • a dedicated indicator formed of a red lamp or the like is provided in the cabin 10.
  • the periphery monitoring device 100 can cause the operator or the like to recognize that the monitoring function (that is, the function such as the output of the alarm based on the detection of the monitoring target and the operation restriction of the shovel 500) is in an invalid state.
  • the display content switching switch 64 is, for example, an operation unit provided in the cabin 10 for switching the content displayed on the display device 50 by the operator or the like. For example, the display content switching switch 64 determines whether the display content of the display device 50 is a captured image of the imaging device 40, a monitoring image including a peripheral image described later, or simultaneous display of both, etc. It is an operation unit to switch. Information on the operation state of the display content selection switch 64 is taken into the controller 30.
  • the detection unit 301 is working on a predetermined area around the shovel 500, specifically, in the horizontal direction viewed from the shovel 500, that is, the shovel 500 is working based on the captured image captured by the imaging device 40
  • a monitoring target is detected in a monitoring area in a direction (hereinafter, simply referred to as “horizontal direction”) along a plane where the body 1 is in contact with the ground.
  • the detection unit 301 detects a monitoring target in a monitoring area in which the horizontal distance D from the shovel 500 is within a predetermined distance D1 (for example, 5 meters).
  • the monitoring area includes a monitoring area MAB, a monitoring area MAL, and a monitoring area MAR corresponding to each of the camera 40B, the camera 40L, and the camera 40R.
  • the monitoring area MAB, the monitoring area MAL, and the monitoring area MAR are respectively the horizontal angle of view of the corresponding camera 40B, 40L, 40R and the monitorable distance extending horizontally from the camera 40B, 40L, 40R. It can be defined.
  • the monitorable distance is increased in one monitoring area and shortened in the other monitoring areas. And other trade-offs are possible (see dotted and dashed lines in the figure).
  • the detecting unit 301 further detects the height direction viewed from the shovel 500 based on the captured image captured by the imaging device 40. That is, a monitoring target that satisfies the conditions in the vertical direction (hereinafter simply referred to as “height direction”) based on the plane where the shovel 500 is working (the lower traveling body 1 is in contact with the ground) is detected . Specifically, the detection unit 301 detects a monitoring target present in a position in a predetermined range HR1 (an example of a first range) in the height direction in the monitoring area defined in the horizontal direction.
  • HR1 an example of a first range
  • the detection unit 301 detects a monitoring target in which the difference in the height direction with the work surface on which the shovel 500 works is relatively small in the monitoring area. More specifically, the detection unit 301 sets a predetermined range HR1 defined in at least one of the positive direction and the negative direction with respect to the reference position regarding the specific height of the shovel 500 in the monitoring area (for example, -Detect monitoring targets that exist within 2 meters to 2 meters etc.). Thus, the periphery monitoring device 100 can exclude the monitoring target from the monitoring target that exists at a position where the difference in the height direction with the work surface of the shovel 500 is relatively large.
  • the reference position may be, for example, the center position of the contact surface of the crawler of the lower traveling unit 1 corresponding to the height of the work surface of the shovel 500, or the position of the front end or the rear end.
  • the detection unit 301 recognizes a monitoring target in a captured image by arbitrarily applying a machine learning-based classifier or the like including various known image processing methods and artificial intelligence (AI).
  • a machine learning-based classifier or the like including various known image processing methods and artificial intelligence (AI).
  • the detection unit 301 refers to a position (hereinafter, “existing position”) at which a recognized monitoring target (person) is included in a captured image by the single-eye imaging device 40 by applying various known methods. For example, the foot position can be determined (estimated).
  • the detection unit 301 detects the horizontal position (hereinafter referred to as “horizontal Estimate the position). This is because the size of the recognized monitoring target on the captured image has a smaller correlation as the monitoring target moves away from the shovel 500.
  • the range of the assumed size for example, the range of the height of the assumed person
  • the shovel of the monitored object included in the assumed range of size The correlation between the horizontal position viewed from 500 and the size on the captured image may be predefined.
  • the detection unit 301 is, for example, a map or a conversion, which is stored in advance in an internal memory such as an auxiliary storage device of the controller 30, and represents the correlation between the size of the monitoring target on the captured image and the horizontal position viewed from the shovel 500 Based on a formula etc., the real position (horizontal position from shovel 500) of the recognized monitoring object can be presumed.
  • the detection unit 301 performs the projection image (homography) or the like on the plane.
  • the actual position e.g., the foot position
  • a certain portion (a certain point) constituting the captured image is associated with a certain position on the same plane as the shovel 500.
  • the monitoring target on the captured image is located on the same plane as the working surface of the shovel 500. It looks different from the case (that is, when the shovel 500 and the monitoring target are at the same position in the height direction).
  • the monitoring target at a position in the height direction different from the work surface of the shovel 500 (hereinafter referred to as “height position”) is the work surface of the shovel 500
  • the height direction on the captured image for example, the vertical direction on the captured image or the direction defined in consideration of the image tilt due to distortion or the like in the vertical direction
  • the monitoring target at the height position different from the work surface of the shovel 500 is different from the case where it is at the same height position as the work surface of the shovel 500 because the direction seen from the imaging device 40 also differs. A difference also occurs in the dimensions corresponding to the height direction on the image.
  • the monitoring target at a height position different from the work surface of the shovel 500 is temporarily present at a real position estimated under the premise that the monitoring target exists on the same plane as the work surface of the shovel 500. This causes a difference in dimensions corresponding to the height direction on the captured image.
  • the optical axis of the imaging device 40 is directed obliquely downward toward the ground, when the height position of the monitoring target deviates from the work surface of the shovel 500, the distance to the imaging device 40 is short. It is because it will become far away.
  • the detection unit 301 when the detection unit 301 is in the range (within the predetermined range HR2) where the monitoring object looks on the captured image, it is determined that the monitoring target is within the predetermined range HR1 in the height direction in real space. It can be determined.
  • the detection unit 301 measures the height relative to the reference position of the monitoring target on the captured image (for example, the reference line on the captured image corresponding to the estimated horizontal position of the monitoring target on the work surface of the shovel 500). It is possible to determine that the monitoring target is within the predetermined range HR1 in the real space when the amount of deviation in the range is within the predetermined range HR2.
  • the predetermined range HR2 is defined in advance according to the actual position (horizontal position viewed from the shovel 500) of the monitoring target estimated by the detection unit 301. More specifically, the predetermined range HR2 is defined in advance according to the distance between the actual position of the monitoring target estimated by the detection unit 301 and the distance from the shovel 500. The shift amount on the captured image corresponding to the difference between the foot position of the monitoring target and the work surface of the shovel 500 in the height direction is smaller as the monitoring target is farther (far away) from the shovel 500 (imaging device). .
  • the detection unit 301 is within the predetermined range HR1 in the height direction in the real space. It can be determined that At this time, the predetermined range HR2 is defined in advance, for example, according to the position of the image portion including the monitoring target on the captured image. More specifically, the predetermined range HR2 is defined in advance in a mode that changes in accordance with the position of the image portion including the monitoring target on the captured image. Under the premise that the monitoring target is present on the same plane as the work surface of the shovel 500, any image portion on the captured image is associated with a certain position on the work surface of the shovel 500 in one-to-one correspondence.
  • the predetermined range HR2 is defined according to the degree of distance between the actual position estimated by the detection unit 301 (the actual position under the premise that the monitoring target is on the same plane as the work surface of the shovel 500). Ru.
  • the predetermined range HR2 is an assist map of the controller 30 in the form of a map or the like derived by performing arithmetic processing on differences in appearance on the captured image corresponding to the predetermined range HR1 defined in real space. It is stored in advance in an internal memory such as a storage device. At this time, the predetermined range HR2 is defined according to the dimension corresponding to the height direction of the monitoring target assumed (for example, the height of the person assumed), the mounting height and the mounting posture (angle) of the imaging device 40 sell. This is because the degree of the change in the appearance of the monitoring target on the captured image of the imaging device 40 may differ depending on the dimension corresponding to the height direction of the monitoring target.
  • the relationship between the monitoring target and the optical axis differs depending on the mounting height and mounting posture of the imaging device 40, and as a result, the degree of change in the appearance of the monitoring target on the captured image of the imaging device 40 may differ.
  • the predetermined range HR2 may differ for each model. Therefore, all of the predetermined range HR2 (specifically, the above-mentioned map corresponding to the predetermined range HR2 and the like) for each of a plurality of assumed models may be stored in advance in the internal memory in the controller 30. As a result, there is no need to change the specifications of the controller 30 for each model, and the controller 30 can be made common.
  • FIG. 12 is a view showing a specific example of a monitoring target which is not the target of the monitoring function (output of alarm and operation limitation of the shovel 500, etc.) depending on the conditions in the height direction. is there.
  • FIG. 12A is a view showing a situation in which the worker W is present in a plane one step lower than the work surface of the shovel 500 in the height direction.
  • the worker W is located below the virtual worker (virtual worker) Wv on the same work surface as the shovel 500 at the same horizontal position viewed from the shovel 500. Therefore, the worker W included on the captured image of the imaging device 40 is lower in the height direction with respect to the virtual worker Wv existing on the same work surface as the shovel 500 at the same horizontal position viewed from the shovel 500. It looks out of place.
  • the worker W is farther from the imaging device 40 than when the worker W is present on the same work surface as the shovel 500. Therefore, the image Wi obtained by projecting the worker W in accordance with the optical axis of the imaging device 40 to the actual position estimated on the premise existing on the same plane as the work surface of the shovel 500 has its height
  • the dimension in the longitudinal direction is smaller than the actual worker W. That is, the worker W included on the captured image of the imaging device 40 exists at the actual position estimated under the premise that the dimension corresponding to the height direction exists on the same plane as the work surface of the shovel 500. Looks smaller than in the case.
  • FIG. 12B is a view showing a situation where the worker W is present in a plane raised one step higher in the height direction than the work surface of the shovel 500.
  • the worker W is located above the virtual worker Wv on the same work surface as the shovel 500 at the same horizontal position as viewed from the shovel 500. Therefore, the worker W included on the captured image of the imaging device 40 is at the same horizontal position viewed from the shovel 500, in the height direction with respect to the virtual worker Wv existing on the same work surface as the shovel 500. It looks out of place.
  • the distance from the imaging device 40 is shorter than when the worker W is present on the same work surface as the shovel 500. Therefore, the image Wi obtained by projecting the worker W in accordance with the optical axis of the imaging device 40 to the actual position estimated on the premise existing on the same plane as the work surface of the shovel 500 has its height
  • the dimension in the longitudinal direction is larger than that of the actual worker W. That is, the worker W included on the captured image of the imaging device 40 exists at the actual position estimated under the premise that the dimension corresponding to the height direction exists on the same plane as the work surface of the shovel 500. It looks bigger than it is.
  • the detection unit 301 does not detect the worker W, and is not a target of the monitoring function of the periphery monitoring device 100.
  • the possibility of the shovel 500 moving to the other plane having a relatively large step with the work surface is extremely low, and the possibility of contact with the worker W on the other plane can be considered extremely low. It is.
  • FIG. 12C is a figure which shows the condition where the worker W exists in the horizontal surface adjacent to the downward direction of an inclined surface, when the shovel 500 is working by an inclined surface.
  • the worker W is in the height direction than the virtual worker Wv on the same work surface as the shovel 500 according to the angle difference between the inclined surface and the horizontal surface. It exists above (that is, in the direction of rising). Therefore, as in the case of FIG. 12B, the worker W included on the captured image of the imaging device 40 exists on the same work surface as the shovel 500 at the same horizontal position viewed from the shovel 500 as in the case of FIG. 12B.
  • the virtual worker Wv appears to be shifted upward in the height direction.
  • the worker W is closer to the imaging device 40 than when the worker W is present on the same work surface as the shovel 500. Therefore, the image Wi obtained by projecting the worker W in accordance with the optical axis of the imaging device 40 to the actual position estimated on the premise existing on the same plane as the work surface of the shovel 500 has its height
  • the dimension in the longitudinal direction is larger than that of the actual worker W. That is, the worker W included on the captured image of the imaging device 40 exists at the actual position estimated under the premise that the dimension corresponding to the height direction exists on the same plane as the work surface of the shovel 500. It looks bigger than it is.
  • FIG. 12D is a figure which shows the condition where the worker W exists in the horizontal surface adjacent to the upward direction of an inclined surface, when the shovel 500 is working by the inclined surface.
  • the worker W is in the height direction than the virtual worker Wv on the same work surface as the shovel 500 according to the angle difference between the inclined surface and the horizontal surface. It exists in the lower side (that is, in the lower direction). Therefore, as in the case of FIG. 12A, the worker W included on the captured image of the imaging device 40 appears to be shifted downward in the height direction with respect to the virtual worker Wv.
  • the worker W is farther from the imaging device 40 than when it is present on the same work surface as the shovel 500. Therefore, the image Wi obtained by projecting the worker W in accordance with the optical axis of the imaging device 40 to the actual position estimated on the premise existing on the same plane as the work surface of the shovel 500 has its height
  • the dimension in the longitudinal direction is smaller than the actual worker W. That is, the worker W included on the captured image of the imaging device 40 exists at the actual position estimated under the premise that the dimension corresponding to the height direction exists on the same plane as the work surface of the shovel 500. Looks smaller than in the case.
  • the detection unit 301 does not detect the worker W and is not a target of the monitoring function of the periphery monitoring device 100.
  • the angle difference between the work surface of the shovel 500 and the existence surface of the worker W is relatively large or This is because the horizontal distance between the shovel 500 and the worker W also corresponds to a situation where they are separated to some extent. More specifically, when the angle difference between the work surface of the shovel 500 and the existence surface of the worker W becomes large to some extent, the shovel 500 may move to the existence surface of the worker W beyond the angle difference. Is extremely low, and the possibility of contact with the worker W can be considered to be extremely low. In addition, when the horizontal distance between the shovel 500 and the worker W is separated to some extent, the possibility of contact between the shovel 500 and the worker W is further reduced.
  • step difference and angle difference which were mentioned above of the height direction corresponding to the conditions which are not the object of a monitoring function ie, predetermined range HR1
  • predetermined range HR1 may be prescribed according to the traveling performance of shovel 500. This is because the traveling performance of the shovel 500 may differ in the possibility of the shovel 500 moving beyond the level difference and the angle difference.
  • the detection unit 301 may determine whether the monitoring target (person) recognized from the captured image of the imaging device 40 is within the predetermined range HR1 in the height direction by another method.
  • FIG. 13 is a figure which shows the further another example of the shovel 500 by which the periphery monitoring apparatus 100 is mounted.
  • the shovel 500 that is, the periphery monitoring device 100 further includes a lidar (LIDAR: Light Detection and Ranging) 42.
  • LIDAR Light Detection and Ranging
  • the LIDAR 42 (an example of a sensor) detects an object including obstacles and terrain around the shovel 500.
  • the LIDAR 42 also outputs information on the position of the detected object (detected object) (specifically, the direction and distance of the object as viewed from the shovel 500). That is, the LIDAR 42 can output position information (topographic information) related to the topography around the shovel 500.
  • the detection unit 301 can specify the topography corresponding to the position of the monitoring target in the horizontal direction recognized from the captured image, based on the topography information output from the LIDAR 42. Therefore, based on the position in the height direction corresponding to the identified topography, the detection unit 301 can determine whether the recognized monitoring target is within the predetermined range HR1 in the height direction.
  • LIDAR 42 a millimeter wave radar, a stereo camera or the like may be employed.
  • FIG. 14 is a diagram showing still another example of the shovel 500 on which the periphery monitoring device 100 is mounted.
  • the shovel 500 that is, the periphery monitoring device 100 further includes a GPS (Global Positioning System) module 80 and a communication device 72.
  • GPS Global Positioning System
  • the GPS module 80 (an example of a position information acquisition unit) receives GPS signals transmitted from three or more, preferably four or more satellites above the shovel 500, and measures the position of the shovel 500. The position information of the shovel 500 determined by the GPS module 80 is taken into the controller 30.
  • the communication device 72 (an example of the topography information acquisition unit) is connected to a predetermined external device (for example, the management server 900 provided outside the work site, the management terminal 700 provided at the management office of the work site, etc.) Communication is performed in a predetermined manner.
  • the communication device 72 is, for example, a mobile communication module that communicates with an external device through a predetermined communication network, or an RF (Radio Frequency) communication device that communicates with an external device located relatively near.
  • the controller 30 can access a predetermined external device (for example, the management server 900 or the like) through the communication device 72, and can acquire terrain information related to the computerization construction of the work site of the shovel 500 from the external device. Therefore, the detection unit 301 identifies the position of the shovel 500 at the work site based on the position information of the shovel 500 by the GPS module 80 and the topography information of the work site, and also detects the horizontal direction of the monitoring target recognized from the captured image. The terrain corresponding to the position can be identified. Therefore, as in the example of FIG. 13, the detection unit 301 determines whether the recognized monitoring target is within the predetermined range HR1 in the height direction, based on the position in the height direction corresponding to the identified topography, as in the example of FIG. It can be determined.
  • a predetermined external device for example, the management server 900 or the like
  • the detection unit 301 is a monitoring target of the periphery of the shovel 500 based on detection results (such as a distance image) of another sensor mounted on the shovel 500 instead of or in addition to the captured image of the imaging device 40. It may be detected.
  • the detection unit 301 can detect a monitoring target, for example, based on detection results of a millimeter wave radar, a LIDAR, a stereo camera and the like mounted on the shovel 500. In this case, the detection unit 301 may determine whether the monitoring target is within the predetermined range HR1 in the height direction by a method corresponding to FIGS. 12A to 12D.
  • the display control unit 302 causes the display device 50 to display various information images.
  • the display control unit 302 causes the display device 50 to display an image captured by at least one of the cameras 40B, 40L, and 40R in response to an operation on the display content switching switch 64 by the operator.
  • the captured image displayed on the display device 50 may be referred to as a “through image”.
  • the display control unit 302 generates a peripheral image (an example of a composite image) based on a captured image of the imaging device 40 in response to an operation on the display content switching switch 64 by the operator, and causes the display device 50 to display it. .
  • the display control unit 302 performs known viewpoint conversion processing based on the images captured by the cameras 40B, 40L, and 40R as peripheral images, thereby generating a viewpoint converted image viewed from a virtual viewpoint, and displaying the image. It is displayed on the device 50.
  • the display control unit 302 causes the display device 50 to display the peripheral image, in order to clearly show the relative positional relationship between the imaging range of the imaging device 40 and the shovel 500, a shovel image schematically representing the shovel 500 is also added. It is displayed on the display device 50.
  • the display control unit 302 generates a monitoring image including the peripheral image arranged around the shovel image in accordance with the relative positional relationship between the shovel image and the imaging range of the shovel 500 and the imaging device 40. It is displayed on the display device 50.
  • the function of the display control unit 302 may be incorporated in the display device 50.
  • information such as a captured image of the imaging device 40 (cameras 40B, 40L, and 40R) and a detection result of the detection unit 301 is taken into the display device 50 from the imaging device 40 and the controller 30, respectively.
  • FIG. 15 is a diagram illustrating an example of the monitoring image MP displayed on the display device 50.
  • the display device 50 includes a display unit 50A which is a display area in which various information images are displayed, and a button switch or the like for receiving operations by an operator or the like regarding various information images displayed on the display unit 50A. It includes an operation unit 50B by hardware.
  • the display unit 50A is, for example, a horizontally long rectangular screen (for example, a screen with an aspect ratio of 4: 3) in the display device 50. As described above, the display unit 50A displays the monitoring image MP including the shovel image CG and the peripheral image EP arranged around the shovel image CG. Thus, the operator or the like can appropriately grasp the positional relationship between the monitoring target (that is, a person) appearing in the peripheral image EP and the shovel 500.
  • the peripheral image EP of this example is a bird's-eye view image BVP obtained by looking at the peripheral region adjacent to the shovel 500 from directly above, and a horizontal view of the peripheral region seen from the shovel 500 in the horizontal direction. It is a viewpoint conversion image combining the image HVP.
  • the peripheral image EP which is a viewpoint conversion image, projects each captured image of the cameras 40B, 40L, and 40R onto a space model, and then reprojects the projection image projected onto the space model onto another two-dimensional plane.
  • Obtained by The space model is a projection target of a captured image in a virtual space, and is configured of one or more flat surfaces or curved surfaces including a flat surface or a curved surface other than the flat surface on which the captured image is located.
  • the guideline GL1 is superimposed and displayed on the monitoring image MP.
  • the guide line GL1 represents the position where the horizontal distance D from the shovel 500 is a predetermined distance D2 ( ⁇ D1). That is, the guideline GL1 is a line segment obtained by offsetting (enlarging) the contour shape of the shovel image CG corresponding to a planar view as viewed from directly above the shovel 500 by an amount corresponding to the predetermined distance D2 outside the shovel image CG. is there. Thereby, the operator or the like can grasp how far away from the shovel 500 the user is when the monitoring target (that is, a person) appears in the peripheral image.
  • the processing for detecting the monitoring target of the detection unit 301 (monitoring target detection processing) and the processing for generating the monitoring image (peripheral image) by the display control unit 302 (peripheral image generation processing) are asynchronous processing.
  • the peripheral image generation processing may be set so that the start-up or processing cycle becomes faster than the monitoring target detection processing. As a result, it is possible to suppress a situation in which the peripheral image generation process is delayed and the peripheral image in the monitoring image displayed on the display device 50 is not updated.
  • the alarm output unit 303 (an example of the control unit) is a monitoring target within the predetermined range HR1 in the height direction in the monitoring area defined in the horizontal direction by the detection unit 301 as described above. When is detected, an alarm is output toward the inside or the outside of the cabin 10.
  • the alarm output unit 303 outputs an audible method, that is, an alarm by sound. Specifically, the alarm output unit 303 outputs a control command to the voice output device 52 to output a warning sound.
  • the alarm output unit 303 outputs an alarm by a visual method, that is, display on the display device 50 as described above. Specifically, the alarm output unit 303 transmits an alarm request to the display control unit 302. Thereby, the display control unit 302 highlights the person to be monitored included in the peripheral image EP of the through image displayed on the display device 50 or the monitoring image MP in response to the alarm request. Can output an alarm to the operator. Details of the enhancement aspect of the monitoring target by the alarm output unit 303 will be described later (see FIGS. 16A to 16D).
  • the alarm output unit 303 may output an alarm through a tactile method, for example, a vibration generating device that vibrates a pilot seat on which the operator sits.
  • the operation limiting unit 304 detects the monitoring target within the predetermined range HR1 in the height direction within the monitoring area defined in the horizontal direction by the detection unit 301. Restrict the operation of the operation elements of
  • 16A to 16D are diagrams showing specific examples of display contents of the display device 50 when the monitoring object is detected by the detection unit 301.
  • the monitoring target (worker W1) is detected in a state where the through image TP of any one of the cameras 40B, 40L, and 40R is displayed on the display device 50.
  • the selected camera among the cameras 40B, 40L, and 40R corresponding to the through image TP displayed on the display device 50 may be referred to as “selected camera” for convenience.
  • the operator can, for example, select (switch) a camera (selected camera) corresponding to the through image TP to be displayed on the display device 50 from the cameras 40B, 40L, and 40R through the display content changeover switch 64. Further, the description will proceed on the premise that the worker W1 of this example is present in the monitoring area in the horizontal direction and in the predetermined range HR1 in the height direction. The same applies to workers W2 to W4 in FIGS. 16B to 16D described later.
  • the worker W1 who works around the shovel 500 is shown in the central part of the through image TP of this example (that is, the worker W1 is included).
  • the worker W1 stands substantially straight in front of the selected camera in the horizontal direction.
  • the worker W1 exists near the center of the angle of view in the horizontal direction of the selected camera. Therefore, distortion of an image portion including the worker W1 in the left-right direction on the through image TP corresponding to the horizontal direction of the real space is very small.
  • the image of the worker W1 is in the left-right direction of the through image TP
  • image collapse phenomenon The phenomenon of falling to the outside of the lens (hereinafter referred to as "image collapse phenomenon" for convenience) does not occur. Therefore, the worker W1 standing on the ground appears to be standing along the vertical direction of the display unit 50A on the through image TP.
  • the detection unit 301 detects the worker W1
  • the alarm output unit 303 causes the display control unit 302 to highlight the worker W1 included in the through image TP displayed on the display device 50, specifically, The frame FR1 surrounding the worker W1 is superimposed and displayed.
  • the operator etc. can easily recognize the worker W1 who has entered the monitoring area around the shovel by confirming the through image TP, and the operation (work) of the worker W1 It is possible to quickly grasp etc.
  • the frame FR1 extends in the height direction in the real space, that is, in the direction from the foot position of the worker W1 standing on the ground toward the head position (hereinafter referred to as “height direction” for convenience). Composed of existing squares.
  • the height direction of the worker W1 corresponds to the vertical direction of the display unit 50A (specifically Corresponds to the upper direction of the display unit 50A. Therefore, the frame FR1 has one side below the vicinity of the foot position of the worker W1 on the through image TP, and extends from the bottom side to the upper direction of the display unit 50A corresponding to the height direction.
  • a frame FR1 for highlighting the worker W1 is displayed in alignment with the height direction of the worker W1 (in this example, the upper direction of the display unit 50A), so that the operator or the like passes through the detected monitoring target It becomes easy to recognize on the image TP.
  • the cameras 40B, 40L, and 40R are attached to the upper end portion of the upper swing body 3 respectively, and the periphery of the shovel 500 is oriented in such a manner that the light axis is directed obliquely downward toward the ground around the shovel 500. Capture the image.
  • the quadrangle constituting the frame FR1 has a substantially trapezoidal shape whose width in the height direction becomes wider from the foot position toward the head position in accordance with the appearance of the worker W1 on the through image TP.
  • the frame FR1 is formed to follow the difference in the appearance depending on the position of the worker W1 on the through image TP, that is, the change in size depending on the position in the height direction on the through image TP of the worker W1. Therefore, the operator or the like can more easily recognize the monitoring target detected by the detection unit 301 on the through image TP.
  • FIG. 16B is another situation of the through image TP displayed on the display device 50 when the monitoring target (worker W2) is detected in the situation where the through image TP of the selected camera is displayed on the display device 50.
  • a worker W2 who works around the shovel 500 is shown (included) in a portion on the left side of the center in the left-right direction in the through image TP of this example.
  • the worker W2 is walking in the horizontal direction at a position deviated to the left side to a certain extent with reference to the front of the selected camera.
  • the worker W2 exists at a position deviated to the left from the center of the angle of view in the horizontal direction of the selected camera. Therefore, distortion of a portion including the worker W2 in the left-right direction on the through image TP, which corresponds to the horizontal direction of the real space, becomes relatively large.
  • FIG. 16B a phenomenon in which the image of the worker W2 tilts (falls) to the outside of the through image TP, that is, in the left direction, that is, an image collapse phenomenon occurs.
  • the worker W2 is present in the monitoring area in the horizontal direction and in the predetermined range HR1 in the height direction. Therefore, the detection unit 301 detects the worker W2, and the alarm output unit 303 transmits the worker W2 included in the through image TP displayed on the display device 50 through the display control unit 302 as in the case of FIG. 16A.
  • the frame FR2 surrounding is superimposed and displayed.
  • the frame FR2 is formed of a square extending in the height direction in the real space, that is, in the height direction of the worker W2 standing on the ground, as in the case of the frame FR1 in FIG. 16A.
  • the height direction of the worker W2 is an image collapse phenomenon This corresponds to a direction inclined to some extent leftward from the upper direction of the display unit 50A.
  • the frame FR2 extends from one side corresponding to the foot position to the other side corresponding to the head position in accordance with the distortion of the worker W2 on the through image TP (the present example in which the image falls In the case of, the display is superimposed and displayed on the through image TP in a manner inclined to the left).
  • the frame FR2 for emphasizing the detected monitoring target changes in accordance with the difference in the appearance of the monitoring target due to the distortion on the through image TP, so for example, the operator W2 walks Even when moving, it becomes easy to recognize the worker W2.
  • FIG. 16C in the situation where the through image TP of the selected camera is displayed on the display device 50, the through image TP displayed on the display device 50 when the monitoring target (worker W3) is detected is further displayed. It is a figure which shows another example.
  • the worker W3 who works around the shovel 500 is shown (included) at the right end of the through image TP of this example.
  • the worker W3 is walking in a position deviated to the right side to a certain extent with reference to the front of the selected camera in the horizontal direction.
  • the worker W2 exists at a position deviated to the left from the center of the angle of view in the horizontal direction of the selected camera. Therefore, as in the case of the worker W2 in FIG. 16B, distortion of a portion including the worker W3 in the left-right direction on the through image TP corresponding to the horizontal direction of the real space becomes relatively large.
  • FIG. 16C a phenomenon in which the image of the worker W3 tilts (falls) to the outside of the through image TP, that is, to the right, that is, an image collapse phenomenon occurs.
  • the worker W3 is present in the monitoring area in the horizontal direction and in the predetermined range HR1 in the height direction, as in the case of the worker W1 and the like in FIG. 16A. Therefore, the detection unit 301 detects the worker W3, and the alarm output unit 303 transmits the worker included in the through image TP displayed on the display device 50 through the display control unit 302 as in the case of FIG. 16A or the like.
  • a frame FR3 is superimposed and displayed so as to surround W3.
  • the display control unit 302 is first configured by a square extending in the height direction in the real space, that is, in the height direction of the worker W2 standing on the ground, as in the frame FR1 etc. in FIG. 16A.
  • An attempt is made to display the frame FR3a superimposed on the through image TP.
  • the frame FR3a jumps out of the through image TP. Therefore, when the display control unit 302 determines that the frame FR3a jumps out of the through image TP, the display control unit 302 corrects the frame FR3a, generates a new frame shape, or the like to fit within the through image TP.
  • the displayed frame FR3 is superimposed and displayed on the through image TP.
  • the display control unit 302 appropriately sets the following condition even in a situation where a frame formed by a rule corresponding to the above-mentioned best solution (hereinafter referred to as “best frame”) pops out of the through image.
  • a corrected frame hereinafter referred to as a "second best frame" corresponding to a solution can be displayed superimposed on the through image.
  • the information for specifying the above-described best frame is stored in advance in, for example, an internal memory of the controller 30 or the like.
  • the information for specifying the corrected second best frame (for example, the conditional expression or the map for calculating the coordinates of the configuration point on the through image) is also included. It is stored in advance in the above-mentioned internal memory or the like. Thereby, the display control unit 302 can superimpose and display the best frame and the next best frame specified by the information on the through image TP by referring to the corresponding information in the internal memory.
  • the color of the frame (for example, frames FR1 to FR3) displayed superimposed on the through image by the display control unit 302 is, for example, a color that the operator or the like can easily recognize against the background such as the ground, It may be optional. Further, the color of the frame FR1 may change in accordance with various conditions. For example, the color of the frame FR1 may change according to the relative position of the monitoring target detected by the detection unit 301 with respect to the shovel 500.
  • the color of the frame FR1 is a color with a low color temperature (for example, red) in the case of a monitored object relatively close to the shovel 500, and in the case of a monitored object relatively distant from the shovel 500 It may be a high color (eg, blue).
  • a low color temperature for example, red
  • the periphery monitoring apparatus 100 can make an operator etc. grasp the positional relationship (approach degree) with the shovel 500 by the difference in color.
  • the detection unit 301 performs processing of detecting a monitoring target based on an image captured by a camera other than the selected camera among the cameras 40B, 40L, and 40R. Therefore, for example, when the alarm output unit 303 detects a monitoring target from a camera other than the selected camera among the cameras 40B, 40L, and 40R by the detection unit 301, the display content of the display device 50 is displayed through the display control unit 302. May be automatically switched to the through image of the camera corresponding to the captured image in which the monitoring target is detected.
  • FIG. 16D illustrates an example of the monitoring image MP displayed on the display device 50 when the monitoring target (worker W4) is detected in a state where the monitoring image MP is displayed on the display device 50.
  • FIG. 16D illustrates an example of the monitoring image MP displayed on the display device 50 when the monitoring target (worker W4) is detected in a state where the monitoring image MP is displayed on the display device 50.
  • the portion of the monitoring image MP of this example corresponding to the rear of the shovel 500 in the peripheral image EP (that is, the portion corresponding to the captured image of the camera 40B in the composite image) is the periphery of the shovel 500.
  • a worker W4 who works in (rear) is shown (included).
  • the worker W4 is present in the monitoring area in the horizontal direction and in the predetermined range HR1 in the height direction, as in the case of the worker W1 and the like in FIG. 16A. Therefore, the detection unit 301 detects the worker W3, and the alarm output unit 303 causes the display control unit 302 to select the worker W4 included in the peripheral image EP in the monitoring image MP displayed on the display device 50. A marker (frame FR4) to be emphasized is superimposed and displayed.
  • the frame FR4 is a quadrangle sufficiently smaller than the portion occupied by the worker W4 on the peripheral image EP (in this example, a square whose four sides are formed along the vertical direction and the horizontal direction of the display unit 50A) It consists of More specifically, the frame FR4 is displayed superimposed on the peripheral image EP in the monitoring image MP in a manner surrounding the foot position of the worker W4 in the peripheral image EP.
  • the shape of the monitoring target on the peripheral image EP which is a composite image, has a tendency that distortion becomes very large with respect to the shape of the monitoring target in real space, and a frame surrounding the monitoring target as in the through image TP. Is displayed, it may be difficult to grasp the monitoring target.
  • peripheral monitoring process a process flow (hereinafter, referred to as “periphery monitoring process”) regarding output of an alarm based on detection of a monitoring target by the periphery monitoring apparatus 100 and operation restriction of the shovel 500 will be described.
  • FIG. 17 is a flowchart schematically showing an example of the periphery monitoring process by the periphery monitoring device 100.
  • the process according to this flowchart is repeatedly performed, for example, every predetermined processing cycle when the alarm output and the operation limitation of the shovel 500 are not performed during the operation from the start to the stop of the shovel. The same applies to the processing of the flowchart of FIG.
  • step S102 the detection unit 301 performs processing of recognizing a monitoring target included in a captured image based on the captured image of the imaging device 40.
  • step S104 the detection unit 301 determines whether a monitoring target present in the monitoring area in the horizontal direction has been recognized. When the monitoring target present in the monitoring area in the horizontal direction is recognized, the detection unit 301 proceeds to step S106, and otherwise proceeds to step S112.
  • step S106 the detection unit 301 determines whether the monitoring target recognized in step S104 is within the predetermined range HR1 in the horizontal direction. If the monitoring target recognized in step S104 is within the predetermined range HR1 in the horizontal direction, the detection unit 301 proceeds to step S108, and otherwise proceeds to step S112.
  • steps S104 and S106 may be reversed.
  • step S108 the detection unit 301 determines that the recognized monitoring target is a detection target. Then, the detection unit 301 notifies the alarm output unit 303 and the operation restriction unit 304 that the monitoring target has been detected, such as information on the monitoring target (for example, position information on the horizontal direction and the height direction).
  • step S110 the alarm output unit 303 outputs an alarm through the display device 50 and the audio output device 52.
  • the operation limiting unit 304 limits the operation of the shovel 500 through the gate lock valve 54. Then, the controller 30 ends the current process.
  • step S112 the detection unit 301 determines that the monitoring target to be detected is not detected, and ends the current process.
  • the periphery monitoring device 100 outputs an alarm only when a monitoring target present in the predetermined range HR1 in the height direction is detected.
  • the operation of the shovel 500 is restricted.
  • the output of the alarm and the operation restriction of the shovel 500 are avoided in a situation where the possibility of the shovel 500 coming in contact with the monitored object is very low. More specifically, for example, as shown in FIGS. 12A to 12D, there is a case where a monitoring target is present on a different work surface adjacent to the work surface of the shovel 500 via a step or an inclination. possible.
  • the periphery monitoring device 100 can suppress unnecessary output of an alarm and operation restriction of the shovel 500, and can suppress a decrease in workability of the shovel 500.
  • At least one of the alarm output unit 303 and the operation restriction unit 304 may determine whether the monitoring target is present in the predetermined range HR1 in the height direction.
  • the processing flow in this case will be described using FIG.
  • FIG. 18 is a flowchart schematically showing another example of the periphery monitoring process by the periphery monitoring apparatus 100.
  • steps S202 and S204 are the same as steps S102 and S104 of FIG.
  • step S204 if the monitoring target present in the monitoring area in the horizontal direction is recognized in step S204, the detecting unit 301 proceeds to step S206.
  • step S206 is the same as step S108 in FIG.
  • step S208 at least one of the alarm output unit 303 and the operation restriction unit 304 (hereinafter referred to as "alarm output unit 303 etc.” for convenience) indicates that the monitoring target detected by the detection unit 301 is in the height direction. It is determined whether it exists in the predetermined range HR1. The alarm output unit 303 or the like proceeds to step S210 if the monitoring target detected by the detection unit 301 is within the predetermined range HR1 in the height direction, and ends the current process in other cases.
  • steps S210 and S212 are the same as steps S110 and S112 of FIG.
  • the alarm is limited to the case where the monitoring target present in the predetermined range HR1 in the height direction is detected. And the operation restriction of the shovel 500 are performed. Thereby, the same operation and effect as in the case of FIG. 17 can be obtained.
  • the periphery monitoring apparatus 100 includes both the alarm output unit 303 and the operation limiting unit 304 in this example, as in the case of the above-described example, only one of them may be included. That is, the periphery monitoring apparatus 100 may be configured to perform only one of the alarm output and the operation restriction of the shovel 500 when the monitoring target in the predetermined range HR1 is detected in the monitoring area in the horizontal direction. .
  • the contents shown in FIGS. 16A to 16D are displayed on the display device 50.
  • the monitoring target present in the monitoring area in the horizontal direction is detected regardless of the position in the height direction of the monitoring target (for example, the perimeter monitoring device 100 included in an example of the perimeter monitoring system 1000 described above)
  • the contents shown in FIGS. 16A to 16D may be displayed on the display device 50).
  • the monitoring target existing on the step surface having a height different from that of the working surface (reference surface) of the shovel 500 or the monitoring target existing on a plane having an inclination angle different from the working surface of the shovel 500 As a matter of course, for reasons other than this, it excludes from the target of alarm or operation restriction also the monitoring object that exists at a position outside the predetermined range HR1 in the height direction of the shovel 500. You may That is, the predetermined range HR1 may be defined in consideration of the displacement in the height direction between the shovel 500 and the monitoring target due to reasons other than the level difference and the inclination with respect to the work plane of the shovel 500.
  • the periphery monitoring apparatus 100 is integrated in the periphery monitoring system 1000, the periphery monitoring apparatus 100 does not assume the periphery monitoring system 1000 (the external apparatus 600), and stands alone (that is, in a stand-alone state). ), The above-mentioned operation may be performed.
  • a detection unit that detects a predetermined monitoring target around the shovel;
  • a control unit that outputs an alarm or performs operation restriction of the shovel when the detection unit detects the monitoring target existing within a predetermined first range in the height direction of the shovel; Prepare, Peripheral monitoring device.
  • the control unit is configured such that the detection unit detects the monitoring target within the first range with respect to the reference position corresponding to the specific height of the shovel in the height direction of the shovel Output the alarm or limit the operation of the shovel
  • the periphery monitoring device according to (1).
  • the detection unit determines the position where the monitoring target is present in the height direction of the shovel based on detection information of the sensor.
  • the periphery monitoring device according to (1) or (2).
  • the sensor includes a monocular camera, a stereo camera, a lidar, or a radar.
  • a terrain information acquisition unit that acquires terrain information related to the computerization construction of the work site of the shovel;
  • a position information acquisition unit for acquiring position information of the shovel at the work site;
  • the detection unit determines the position where the monitoring target is present in the height direction of the shovel based on the topography information and the position information.
  • the periphery monitoring device according to (1) or (2).
  • the detection unit is within a second range in which the appearance of the monitoring target on the captured image is predefined.
  • the surrounding area monitoring device according to (4).
  • the detection unit corresponds to a displacement amount of the monitoring target on the captured image relative to a predetermined reference position in the height direction of the shovel, or a height direction of the shovel on the captured image.
  • the dimension is within the second range defined in advance according to the degree of distance between the monitoring target viewed from the shovel, the monitoring target is within the first range in the height direction of the shovel Determine if it exists in The periphery monitoring device according to (6).
  • the display device is further provided with a display device for displaying a captured image around the shovel captured by the single-lens camera.
  • the control unit is configured to, on the captured image displayed on the display device, when the detection unit detects the monitoring target existing within a predetermined first range in the height direction of the shovel. In accordance with the tendency of distortion of an image by a single-eye camera, a frame surrounding the monitoring target is superimposed and displayed.
  • the periphery monitoring device according to (4), (6), or (7).
  • the control unit is configured to, when the frame whose shape is defined in advance in accordance with a tendency of distortion of the image by the single-eye camera goes out of the captured image displayed on the display device, into the captured image Displaying the frame deformed to fit on the captured image displayed on the display device;
  • the periphery monitoring device according to claim 8.
  • a plurality of single-eye cameras having different imaging ranges And a display device for displaying a composite image indicating a situation around the shovel, which is generated based on captured images of the plurality of single-eye cameras.
  • the control unit is configured to be smaller than the captured image on the composite image in a portion including the monitoring target on the composite image displayed on the display device, and regardless of the position on the composite image. Display markers of the same size superimposed on each other, The periphery monitoring device according to (4), (6), or (7).
  • controller 40 imaging device 40B, 40L, 40R camera (sensor) 42 Rider (Sensor) 50 Display Device (Operator Notification Unit) 52 Voice output device (operator notification unit) 54 gate lock valve 60 release switch (release intention input section) 62 Monitoring function ON / OFF switch 64 Display content selection switch 70 Confirmation operation state detection unit 72 Communication device (acquisition unit, external notification unit, terrain information acquisition unit) 74 External Notification Device (External Notification Unit) 80 GPS Module (Position Information Acquisition Unit) 100 perimeter monitoring device 301 detection unit 302 display control unit 303 alarm output unit (control unit) 304 Operation restriction unit (control unit) 305 cancellation request notification unit 306 peripheral status information transmission unit 307 determination unit (acquisition unit) 500 shovel 600 external device 610 communication device 620 information processing unit 630 display unit (first notification unit, second notification unit) 640 voice output unit (first notification unit, second notification unit) 650 Operation unit (Release permission operation unit) 700 Management Terminal (External Device, Information Processing Terminal, Terminal) 750 Release device (extern

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

作業機械の周辺に存在する監視対象の検知に基づく警報の出力や動作の制限等を行う場合に、作業性の低下を抑制することが可能な周辺監視装置を提供する。そのため、本発明の一実施形態の周辺監視装置は、ショベル５００の周辺の所定の監視対象を検知する検知部３０１と、検知部３０１により、ショベル５００の高さ方向で所定の第１範囲内に存在する前記監視対象が検知された場合に、警報を出力する、又は、ショベル５００の動作制限を行う制御部（警報出力部３０３、動作制限部３０４）と、を備える。

Description

周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
　本発明は、ショベル等の作業機械に搭載される周辺監視装置等に関する。
　ショベル等の作業機械の周辺の所定の監視対象（例えば、人）が検知されると、警報を出力したり、作業機械の動作を制限したり等し、作業機械の周辺の安全性を確保する周辺監視装置が知られている（例えば、特許文献１参照）。
特開２０１４－１８１５０８号公報
　しかしながら、特許文献１等では、作業機械の周辺の監視対象領域内で検知される監視対象の全てが、警報の出力や動作の制限の対象となる可能性がある。そのため、実際上、作業機械と検知された監視対象とが接触等する可能性は極めて低い（例えば、ショベルの作業面と、監視対象が存在する平面との間に大きな段差がある）状況にも関わらず、作業機械における警報の出力や動作制限が実行される可能性がある。つまり、不要な警報の出力やショベルの動作制限が行われることで、作業機械の作業性を低下させる可能性がある。
　そこで、上記課題に鑑み、作業機械の周辺に存在する監視対象の検知に基づく警報の出力や動作の制限等を行う場合に、作業性の低下を抑制することが可能な周辺監視装置等を提供することを目的とする。
　上記目的を達成するため、本発明の一実施形態では、
　作業機械の周辺の所定の監視対象を検知する検知部と、
　前記検知部により、前記作業機械の高さ方向で所定の第１範囲内に存在する前記監視対象が検知された場合に、警報を出力する、又は、前記作業機械の動作制限を行う制御部と、を備える、
　周辺監視装置が提供される。
　また、本発明の他の実施形態では、
　作業機械の外部に設けられ、前記作業機械又は前記作業機械と通信可能な情報処理装置と通信可能な情報処理端末であって、
　前記作業機械に対して、前記作業機械で出力される警報又は前記作業機械で行われる動作制限の解除に関する通知を行う解除許可通知部を備える、
　情報処理端末が提供される。
　また、本発明の更に他の実施形態では、
　作業機械の外部に設けられ、前記作業機械と通信可能な情報処理装置であって、
　前記作業機械に対して、前記作業機械で出力される警報又は前記作業機械で行われる動作制限の解除に関する通知を行う解除許可通知部を備える、
　情報処理装置が提供される。
　また、本発明の更に他の実施形態では、
　作業機械の外部に設けられ、前記作業機械、若しくは、前記作業機械と通信可能な情報処理装置と、通信可能な情報処理端末、又は、前記作業機械の外部に設けられ、前記作業機械と通信可能な情報処理装置に、
　前記作業機械に対して、前記作業機械で出力される警報又は前記作業機械で行われる動作制限の解除の許可に関する情報を送信する解除許可通知ステップと、を実行させる、
　情報処理プログラムが提供される。
　上述の実施形態によれば、作業機械の周辺に存在する監視対象の検知に基づく警報の出力や動作の制限等を行う場合に、作業性の低下を抑制することが可能な周辺監視装置等を提供することができる。
周辺監視システムの構成の一例を示す概略図である。 作業機械の一例を示す図である。 周辺監視システムの詳細構成の一例を示すブロック図である。 監視エリアの一例を示す図である。 表示装置に表示される監視用画像の一例を示す図である。 周辺監視装置の動作の一例を模式的に説明する図である。 周辺監視装置の動作の一例を模式的に説明する図である。 周辺監視装置の動作の一例を模式的に説明する図である。 周辺監視装置の動作の一例を模式的に説明する図である。 周辺監視装置による監視処理の一例を概略的に示すフローチャートである。 外部装置による解除許可処理の一例を概略的に示すフローチャートである。 周辺監視装置による解除処理の一例を概略的に示すフローチャートである。 作業機械の他の例を示す図である。 周辺監視装置の構成の他の例を示す図である。 周辺監視装置による警報及び動作制限の対象から除外される監視対象の具体例を示す図である。 周辺監視装置による警報及び動作制限の対象から除外される監視対象の具体例を示す図である。 周辺監視装置による警報及び動作制限の対象から除外される監視対象の具体例を示す図である。 周辺監視装置による警報及び動作制限の対象から除外される監視対象の具体例を示す図である。 作業機械の更に他の例を示す図である。 作業機械の更に他の例を示す図である。 表示装置に表示される監視用画像の一例を示す図である。 警報及び動作制限の対象である監視対象が検知された場合の表示装置の表示内容の具体例を示す図である。 警報及び動作制限の対象である監視対象が検知された場合の表示装置の表示内容の具体例を示す図である。 警報及び動作制限の対象である監視対象が検知された場合の表示装置の表示内容の具体例を示す図である。 警報及び動作制限の対象である監視対象が検知された場合の表示装置の表示内容の具体例を示す図である。 周辺監視装置による監視処理の一例を概略的に示すフローチャートである。 周辺監視装置による監視処理の他の例を概略的に示すフローチャートである。
　以下、図面を参照して発明を実施するための形態について説明する。
　＜周辺監視システムの一例＞
　最初に、図１～図９を参照して、本実施形態に係る周辺監視システム１０００の一例について説明をする。
　［周辺監視システムの概要］
　まず、本実施形態に係る周辺監視システム１０００の概要について説明する。
　図１は、周辺監視システム１０００の構成の一例を示す概略図である。
　周辺監視システム１０００は、ショベル５００と、管理端末７００と、解除装置７５０と、管理端末８００と、管理サーバ９００を含む。
　ショベル５００は、作業機械の一例である。
　ショベル５００は、後述の如く、その周辺の所定範囲内（後述する監視エリア内）で所定の監視対象を検知すると、警報を出力する、或いは、動作制限を行う。
　また、ショベル５００は、警報が出力されている、或いは、動作制限が行われている場合に、所定の条件、例えば、オペレータによる所定操作（後述する解除スイッチ６０に対する操作）や管理端末７００等からの後述する解除許可通知の受信等に応じて、警報或いは動作制限（以下、包括的に「警報等」と称する）を解除する。
　ショベル５００は、所定の通信方法、例えば、ブルートゥース（Bluetooth）（登録商標）の通信規格に基づく通信（以下、「ＢＴ通信」と称する）や約３００Ｈｚ～３ＴＨｚのＲＦ（Radio Frequency）帯の電波（以下、ＲＦ電波と称する）による通信（以下「ＲＦ通信」と称する）等により、管理端末７００等と通信可能に接続される。これにより、ショベル５００は、管理端末７００等から各種情報（例えば、解除許可通知等）を受信できる。また、ショベル５００は、管理端末７００等に各種情報（例えば、後述する警報出力通知、動作制限通知、解除依頼通知等）を送信できる。
　また、ショベル５００は、例えば、基地局を末端とする移動体通信網やインターネット網等の所定の通信ネットワークＮＷを通じて、管理サーバ９００と通信可能に接続される。これにより、ショベル５００は、管理サーバ９００から各種情報（例えば、解除許可通知等）を受信することができる。また、ショベル５００は、管理サーバ９００に各種情報（例えば、警報出力通知、動作制限通知、解除依頼通知等）を送信できる。
　管理端末７００（情報処理端末の一例）は、ショベル５００の周辺の作業者Ｗが所持する携帯端末であり、例えば、作業者Ｗにより入力される作業現場における各種情報や内蔵されるカメラ機能による作業現場の撮像画像等を管理サーバ９００に適宜アップロードする。
　管理端末７００は、例えば、作業者Ｗが所持する携帯電話、スマートフォン、タブレット端末等の汎用の携帯端末であってよい。また、管理端末７００は、ショベル５００における警報等の解除を許可する機能に特化する専用端末（例えば、ショベル５００に解除許可通知を送信するためのリモコンスイッチ等）であってもよいし、当該機能が備えられたショベル５００等の作業機械を制御する専用端末（即ち、遠隔操作端末）であってもよい。
　管理端末７００は、例えば、ＢＴ通信やＲＦ通信等の所定の通信方法により、ショベル５００と通信可能に接続される。これにより、管理端末７００は、ショベル５００で警報が出力されている、或いは、動作制限が行われている場合に、警報等の解除を許可する解除許可通知をショベル５００に送信できる。
　また、管理端末７００は、警報或いは動作制限の解除の許否を判定するための各種情報（例えば、後述するショベル５００の周辺の状況に関する周辺状況情報）をショベル５００から取得（受信）することができる。また、管理端末７００は、押しボタンやキーボード等のハードウェアによる操作部やタッチパネルディスプレイ等に表示されるボタンアイコン等のソフトウェアによる操作部に対する所定操作を受け付けることができる。そのため、管理端末７００は、取得した各種情報やショベル５００の周辺状況を確認した作業者Ｗによる所定操作等に基づき、警報等の解除の許否を判定し、判定結果に応じて、解除許可通知をショベル５００に送信できる。
　尚、管理端末７００は、ショベル５００以外からショベル５００の周辺の状況に関する周辺状況情報を取得してもよい。例えば、管理端末７００は、ショベル５００の作業現場の上空を飛行する監視用のドローンに搭載されるカメラによって撮像されたショベル５００の周辺の撮像画像を含む周辺状況情報を当該ドローンから取得してよい。以下、解除装置７５０、管理端末８００、管理サーバ９００についても同様である。
　また、管理端末７００は、通信ネットワークＮＷを通じて、管理サーバ９００と双方向で通信可能に接続されてもよい。この場合、管理端末７００は、ショベル５００から管理サーバ９００にアップロードされた各種情報（例えば、周辺状況情報等）を通信ネットワークＮＷ経由で取得してもよい。また、管理端末７００は、管理サーバ９００を経由して、ショベル５００に各種情報（例えば、解除許可通知等）を送信してもよい。
　尚、作業者Ｗには、ショベル５００の周辺で実際に作業を行う作業者の他、ショベル５００による作業を含む作業現場の一部又は全部を監督する監督者等が含まれうる。
　解除装置７５０（情報処理装置の一例）は、例えば、ショベル５００の周辺における十分に離れた場所（後述するショベル５００の監視エリアの外部）に適宜配置される。
　解除装置７５０は、管理端末７００と同様、ＢＴ通信やＲＦ通信等の所定の通信方法により、ショベル５００と通信可能に接続される。これにより、解除装置７５０は、管理端末７００と同様、ショベル５００で警報が出力されている、或いは、動作制限が行われている場合に、解除許可通知をショベル５００に送信できる。
　また、解除装置７５０は、管理端末７００と同様、警報或いは動作制限の解除の許否を判定するための各種情報（例えば、周辺状況情報等）をショベル５００から取得することができる。また、解除装置７５０は、管理端末７００と同様、ハードウェア或いはソフトウェアによる操作部に対する所定操作を受け付けることができる。そのため、解除装置７５０は、管理端末７００と同様、取得した各種情報やショベル５００の周辺状況を確認した作業者Ｗによる所定操作等に基づき、警報等の解除の許否を判定し、判定結果に応じて、解除許可通知をショベル５００に送信できる。特に、解除装置７５０は、上述の如く、ショベル５００の監視エリアの外部に設置される。そのため、解除装置７５０は、作業者Ｗが監視エリアに侵入してしまった場合に、監視エリアの外部に退避した当該作業者Ｗによる所定操作に基づき、監視エリア内の安全状況が確認された、つまり、警報等の解除を許可してよいと判定できる。
　尚、解除装置７５０は、作業者Ｗによる操作に基づく警報等の解除の許否判定だけを行ってもよい。つまり、解除装置７５０は、周辺状況情報等の取得した情報に基づく警報等の解除の許否判定を行わない態様であってもよい。また、解除装置７５０は、監視対象及びショベル５００を検知するセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ（Light Detection And Ranging）、ステレオカメラ等を搭載してもよい。この場合、解除装置７５０は、センサの検知結果に基づき認識されうるショベル５００と監視対象との相対位置関係に基づき、ショベル５００の周辺の安全状況を確認した上で、後述する解除許可通知をショベル５００に送信することができる。つまり、解除装置７５０は、センサの検知結果に基づき、監視エリア内に監視対象（人）がいないと判定した場合に、ショベル５００に向けて解除許可通知を出力してよい。
　管理端末８００（情報処理端末の一例）は、例えば、作業現場に仮設される管理事務所等に設けられ、管理事務所で作業現場全体を管理する管理者Ｍや管理事務所で待機する作業者Ｗ等により利用される。管理端末８００は、例えば、管理者Ｍや作業者Ｗにより入力される作業現場における各種情報や内蔵されるカメラ機能による作業現場の撮像画像等を管理サーバ９００にアップロードする。
　管理端末８００（情報処理装置の一例）は、例えば、デスクトップ型或いはラップトップ型の汎用コンピュータであってよい。また、管理端末８００は、警報等の解除を許可する機能を含む作業現場の管理に関する機能に特化する、デスクトップ型或いはラップトップ型の専用コンピュータであってもよい。また、管理端末８００は、管理端末７００と同様、作業者Ｗや管理者Ｍが携帯可能な携帯端末であってもよい。つまり、管理端末８００は、管理端末７００と兼用され、管理事務所から持ち出される態様であってもよい。
　管理端末８００は、管理端末７００等と同様、ＢＴ通信やＲＦ通信等の所定の通信方法により、ショベル５００と通信可能に接続される。これにより、管理端末８００は、管理端末７００と同様、ショベル５００で警報が出力されている、或いは、動作制限が行われている場合に、解除許可通知をショベル５００に送信できる。
　また、管理端末８００は、管理端末７００等と同様、警報或いは動作制限の解除の許否を判定するための各種情報（例えば、周辺状況情報等）をショベル５００から取得することができる。また、管理端末８００は、管理端末７００と同様、ハードウェア或いはソフトウェアによる操作部に対する所定操作を受け付けることができる。そのため、管理端末８００は、管理端末７００と同様、取得した各種情報やショベル５００の周辺状況を確認した管理者Ｍや作業者Ｗによる操作等に基づき、警報等の解除を許可するか否かを判定し、判定結果に応じて、解除許可通知をショベル５００に送信できる。
　また、管理端末８００は、管理端末７００と同様、通信ネットワークＮＷを通じて、管理サーバ９００と双方向で通信可能に接続されてもよい。この場合、管理端末８００は、ショベル５００から管理サーバ９００にアップロードされた各種情報（例えば、警報出力通知、動作制限通知、解除依頼通知等）を通信ネットワークＮＷ経由で取得してもよい。また、管理端末８００は、管理サーバ９００を経由して、ショベル５００に各種情報（例えば、解除許可通知等）を送信してもよい。
　管理サーバ９００は、ショベル５００の作業現場の外部に設けられる。管理サーバ９００は、例えば、管理端末７００，８００等から作業現場に関する各種情報（例えば、日報、作業現場の撮像画像等）を収集し、作業現場及びショベル５００の管理を行う。管理サーバ９００は、周辺監視システム１０００の全体的な運用管理を行う事業者が所有するサーバ（いわゆる自社サーバ）であってよいし、当該事業者以外の事業者が所有し、運用管理を行うサーバ（いわゆるクラウドサーバ）であってもよい。
　管理サーバ９００は、通信ネットワークＮＷを通じて、ショベル５００と通信可能に接続される。これにより、管理サーバ９００は、ショベル５００で警報が出力されている、或いは、動作制限が行われている場合に、解除許可通知をショベル５００に送信できる。
　また、管理サーバ９００は、警報或いは動作制限の解除の許否を判定するための各種情報（例えば、周辺状況情報等）をショベル５００から取得することができる。また、管理端末８００は、管理端末７００等と同様、ハードウェア或いはソフトウェアによる操作部に対する所定操作を受け付けることができる。そのため、管理端末８００は、管理端末７００と同様、取得した各種情報やショベル５００の周辺状況を確認した作業者Ｗによる操作等に基づき、警報等の解除を許可するか否かを判定し、判定結果に応じて、解除許可通知をショベル５００に送信できる。
　以下、管理端末７００、解除装置７５０、管理端末８００、及び、管理サーバ９００を包括的に「外部装置６００」と称し、ショベル５００と、外部装置６００を含む周辺監視システム１０００の詳細について説明する。
　尚、本実施形態では、複数の外部装置６００が設けられるが、少なくとも一つ設けられればよい。また、外部装置６００には、上述以外の他の態様も含まれうる。例えば、外部装置６００は、コンピュータ等の情報処理部やＲＦ送受信機、移動通信モジュール等の通信機器を含み、ショベル５００の作業現場の上空を飛行し、搭載されたカメラで、ショベル５００の作業現場を撮像可能な監視用のドローン（情報処理装置の一例）であってもよい。これにより、外部装置６００としてのドローンは、撮像画像から認識されうるショベル５００と監視対象との相対位置関係に基づき、ショベル５００の周辺の安全状況を確認し、解除許可通知をショベル５００に送信することができる。つまり、当該外部装置６００としてのドローンは、撮像画像に基づき、監視エリア内に監視対象（人）がいないと判定した場合に、解除許可通知をショベル５００に送信することができる。
　［作業機械の概要］
　次に、図２を参照して、本実施形態に係る周辺監視システム１０００（図３参照）に含まれる作業機械の概要について説明をする。
　図２は、本実施形態に係る周辺監視システム１０００に含まれる作業機械の一例を示す図であり、具体的には、ショベル５００の側面図である。
　尚、本実施形態に係る周辺監視システム１０００には、ショベル５００以外の任意の作業機械、例えば、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等が含まれてもよい。
　ショベル５００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメント（作業装置）としてのブーム４、アーム５、及び、バケット６と、オペレータが搭乗するキャビン１０を備える。
　下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、自走する。
　上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。
　ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及び、バケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９により油圧駆動される。
　キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。
　［周辺監視システムの詳細］
　次に、図１、図２に加えて、図３を参照して、本実施形態に係る周辺監視システム１０００の具体的な構成について説明をする。
　図３は、本実施形態に係る周辺監視システム１０００の詳細構成の一例を示すブロック図である。
　周辺監視システム１０００は、上述の如く、ショベル５００と、外部装置６００を含む。
　ショベル５００には、周辺監視装置１００が搭載される。
　周辺監視装置１００は、ショベル５００の周辺の所定範囲内への監視対象である所定の物体（以下、単に「監視対象」と称する）の侵入を監視し、監視対象を検知した場合、警報を出力したり、ショベルの動作を制限したりする。監視対象には、ショベル５００の周囲で作業する作業員や作業現場の現場監督等の人だけでなく、作業現場に仮置きされた資材等の定置された障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体が含まれうる。以下、監視対象は、人である前提で説明を続ける。
　周辺監視装置１００は、コントローラ３０と、撮像装置４０と、表示装置５０と、音声出力装置５２と、ゲートロック弁５４と、解除スイッチ６０と、確認動作状態検知部７０と、通信機器７２と、外部報知装置７４を含む。また、周辺監視装置１００に関連する構成として、ショベル５００の外部に設けられる外部装置６００が含まれ、本実施形態に係る周辺監視システム１０００は、ショベル５００に搭載される周辺監視装置１００と、外部装置６００を含む態様で構成される。
　コントローラ３０は、ショベル５００の駆動制御を行う主たる制御装置である。例えば、コントローラ３０は、キャビン１０内に搭載され、周辺監視装置１００に関する各種制御処理を行う。
　コントローラ３０は、その機能が任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。コントローラ３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置、ＲＴＣ（Real Time Clock）、各種通信用インターフェース等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、ＲＯＭや補助記憶装置に格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、検知部３０１と、表示制御部３０２と、警報出力部３０３と、動作制限部３０４と、解除依頼通知部３０５と、周辺状況情報送信部３０６と、判定部３０７を含む。
　撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベル５００の周辺を撮像する。撮像装置４０は、カメラ４０Ｂ，４０Ｌ，４０Ｒを含む。
　カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒは、それぞれ、上部旋回体３の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体３の後方、左側方、及び、右側方を撮像する。具体的には、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒは、それぞれ、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル５００の近傍の地面からショベル５００の遠方までを含む上下方向の撮像範囲（画角）を撮像する。カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒは、それぞれ、ショベル５００の運転中、所定周期（例えば、１／３０秒）ごとに、撮像画像を出力し、出力された撮像画像は、コントローラ３０に取り込まれる。
　表示装置５０は、キャビン１０内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作部を兼ねるタッチパネル式であってよい。具体的には、表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０により撮像装置４０の撮像画像に基づき生成される周辺画像（例えば、後述する視点変換画像）等を表示する。
　音声出力装置５２は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置５２は、例えば、スピーカやブザー等である。具体的には、音声出力装置５２は、コントローラ３０から制御指令に基づき、警報音を出力する。
　ゲートロック弁５４は、パイロットポンプ（不図示）からショベル５００の動作要素（即ち、下部走行体１、上部旋回体３、ブーム４、アーム５、及び、バケット６等）を操作する操作装置（不図示）に対してパイロット圧を供給するパイロットラインの最上流に設けられ、パイロットラインの連通／非連通を切り替える。
　例えば、ゲートロック弁５４は、通常、キャビン１０内の操縦席の入口に相当する部分に設けられるゲートロックレバー（不図示）の操作状態と連動する、ゲートロックスイッチの出力信号（ＯＮ／ＯＦＦ）に応じて、パイロットラインの連通／非連通を切り替える。具体的には、ゲートロック弁５４は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き上げられた状態（即ち、操縦席にオペレータが着座した状態）に対応するＯＮ信号である場合、パイロットラインを連通状態にする。一方、ゲートロック弁５４は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き下げられた状態（即ち、操縦席からオペレータが離脱した状態）に対応するＯＦＦ信号である場合、パイロットラインを非連通状態にする。
　また、例えば、ゲートロック弁５４は、コントローラ３０から入力される指令信号も受付可能に構成される。具体的には、ゲートロック弁５４は、その信号入力部が、ゲートロックスイッチの出力信号とコントローラ３０からの指令信号の双方が入力される論理積回路、即ち、少なくとも一方からＯＦＦ信号が入力されると、ＯＦＦ信号を出力する論理回路に接続されてよい。これにより、ゲートロック弁５４は、ゲートロックレバーが引き上げられた状態であっても、コントローラ３０からの指令信号（ＯＮ信号／ＯＦＦ信号）に応じて、パイロットラインの連通／非連通を切り替えることができる。即ち、ゲートロック弁５４は、コントローラ３０による制御の下、ゲートロックレバーが引き上げられた状態であっても、パイロットラインを非連通状態にする。
　解除スイッチ６０（解除意思入力部の一例）は、オペレータが後述する警報やショベル５００の動作制限を解除する解除意思を入力する操作部である。解除スイッチ６０は、例えば、後述する操作部５０Ｂの押しボタン、レバー、回転ノブ等のハードウェアによる操作部であってもよいし、表示装置５０に表示される操作画面上の仮想的なボタン（アイコン）等のソフトウェアによる操作部であってもよい。解除スイッチ６０の操作状態に関する情報は、コントローラ３０に取り込まれる。以下、後述する監視機能スイッチ６２や表示内容切替スイッチ６４等についても同様である。
　尚、解除スイッチ６０の代わりに、オペレータによる解除意思に対応する特定のポーズやジェスチャを認識するカメラ（解除意志入力部の一例）、オペレータによる解除意思に対応する特定の視線移動を認識する視線センサ（解除意志入力部の一例）等が採用されてもよい。
　確認動作状態検知部７０は、例えば、キャビン１０内に搭載され、キャビン１０内のオペレータによるショベル５００の周辺の状況を確認する動作（以下、「周辺状況確認動作」と称する）を検出する。確認動作状態検知部７０は、例えば、オペレータの顔を含むキャビン１０内を撮像するカメラや、オペレータの視線を検知する視線センサ等である。これにより、カメラの撮像画像や視線センサの検出信号から認識されるオペレータの視線の動きに基づき、オペレータの周辺状況確認動作が検出されうる。また、確認動作状態検知部７０は、例えば、オペレータが被る安全帽やヘルメットに設けられ、オペレータの脳波を検出する脳波センサである。これにより、オペレータの脳波の変化やその傾向に基づき、オペレータの周辺状況確認動作が検出されうる。
　通信機器７２は、外部装置６００との間で制御信号や情報信号等の送受信を行うデバイスである。通信機器７２は、コントローラ３０の制御の下、各種信号（例えば、後述する警報出力通知、動作制限通知、解除依頼通知等）を外部装置６００に送信する。また、通信機器７２により受信される外部装置６００からの信号は、コントローラ３０に取り込まれる。
　例えば、通信機器７２は、外部装置６００との間で、ＲＦ通信を行うＲＦ送受信機を含みうる。また、例えば、通信機器７２は、外部装置６００との間で、ＢＴ通信を行うブルートゥース通信モジュール（ＢＴ通信モジュール）を含みうる。また、例えば、通信機器７２は、外部装置６００との間で、直接的に、或いは、所定のサーバ（管理サーバ９００）等を経由し、移動体通信網等を通じて、各種信号の送受信を行う移動通信モジュールである。
　外部報知装置７４は、コントローラ３０による制御の下、ショベル５００の周辺に向けて、ショベル５００の状況を報知するデバイスである。
　例えば、外部報知装置７４は、聴覚的な方法、つまり、音声によって、ショベル５００の周辺にショベル５００の状況を報知可能なスピーカやブザー等の音声出力装置であってよい。
　また、例えば、外部報知装置７４は、視覚的な方法、つまり、情報の表示によって、ショベル５００の周辺にショベル５００の状況を報知可能なディスプレイや電光掲示板等の表示装置であってもよい。
　検知部３０１は、撮像装置４０により撮像された撮像画像に基づき、ショベル５００の周辺の所定領域（監視エリア）内、例えば、ショベル５００からの距離Ｄが所定距離Ｄ１（例えば、５メートル）以内の所定の監視対象を検知する。
　例えば、図４は、検知部３０１の監視エリアの一例を模式的に示す図である。
　図４に示すように、監視エリアには、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒのそれぞれに対応する監視エリアＭＡＢ、監視エリアＭＡＬ、及び、監視エリアＭＡＲが含まれる。
　コントローラ３０は、監視エリアＭＡＢ，ＭＡＬ，ＭＡＲを、リソースとのバランスの範囲で、点線で示されるように広げたり、一点鎖線で示されるように狭めたりすることができる。例えば、コントローラ３０は、監視エリアＭＡＢを一点鎖線で示されるように広げる場合、監視エリアＭＡＬ，ＭＡＲの少なくとも一つを狭めることで、コントローラ３０（検知部３０１）は、所定の処理時間内で、監視対象を検知する処理を完了させることができる。
　図３に戻り、検知部３０１は、例えば、既知の各種画像処理手法や人工知能（ＡＩ：Artificial Intelligence）等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。そして、検知部３０１は、認識した監視対象の実在位置（ショベル５００から認識した監視対象までの距離Ｄ等）を特定することができる。また、検知部３０１は、監視対象の種類（例えば、人であるか、人以外の障害物であるか）を特定することも可能である。
　監視対象は、上述の如く、例えば、ショベル５００の周辺で作業する作業者や監督者等の人や、仮置きされた建材や工事車両等のショベル５００の作業に支障を来す障害物を含む。
　尚、検知部３０１は、撮像装置４０の撮像画像に代えて、或いは、加えて、ショベル５００に搭載される他のセンサの検出結果（距離画像等）に基づき、ショベル５００の周辺の監視対象を検知してもよい。検知部３０１は、例えば、ショベル５００に搭載されるミリ波レーダ、ＬＩＤＡＲ、ステレオカメラ等の検出結果に基づき、監視対象を検出することができる。
　表示制御部３０２は、表示装置５０に各種情報画像を表示させる。
　例えば、表示制御部３０２は、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき、周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、周辺画像として、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、撮像装置４０の撮像範囲とショベル５００との相対位置関係を明示するため、ショベル５００を模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベル５００と撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。
　尚、表示制御部３０２の機能は、表示装置５０に内蔵されてもよい。この場合、撮像装置４０（カメラ４０Ｂ、カメラ４０Ｌ、カメラ４０Ｒ）の撮像画像、及び、検知部３０１の検知結果等の情報は、それぞれ、撮像装置４０及びコントローラ３０から表示装置５０に取り込まれる。
　例えば、図５は、表示装置５０に表示される監視用画像ＭＰの一例を示す図である。
　図５に示すように、表示装置５０は、各種情報画像が表示される表示部５０Ａと、各種情報画像に表示される操作対象（例えば、操作ボタンアイコンやカーソル等）を操作するハードウェアによる操作部５０Ｂを含む。
　本例では、表示部５０Ａには、監視用画像ＭＰだけでなく、ショベル５００の運転に関連する各種情報を提示する運転情報画像ＩＰが表示される。具体的には、表示部５０Ａの上半分には、監視用画像ＭＰが表示され、下半分には、運転情報画像ＩＰが表示される。
　運転情報画像ＩＰは、日時表示領域ＩＰａ、走行モード表示領域ＩＰｂ、エンドアタッチメント表示領域ＩＰｃ、エンジン制御状態表示領域ＩＰｅ、エンジン作動時間表示領域ＩＰｆ、冷却水温表示領域ＩＰｇ、燃料残量表示領域ＩＰｈ、回転数モード表示領域ＩＰｉ、作動油温表示領域ＩＰｋ、カメラ画像表示領域ＩＰｍ、アラーム表示領域ＩＰｐ、及び向き表示アイコンＩＰｘを含む。
　日時表示領域ＩＰａは、現在の日時を画像表示する領域である。本例では、デジタル表示が採用され、日付が２０１３年２月１９日であり、時刻が２３時５９分であることを示している。
　走行モード表示領域ＩＰｂは、現在の走行モードを画像表示する領域である。走行モードは、可変容量ポンプを用いた走行用油圧モータの設定状態を表す。具体的には、走行モードは、低速モード及び高速モードを有する。低速モードは、「亀」を象ったマークで表示され、高速モードは「兎」を象ったマークで表示される。本例では、「亀」を象ったマークが表示されており、オペレータは、低速モードが設定されていることを認識できる。
　エンドアタッチメント表示領域ＩＰｃは、現在装着されているエンドアタッチメントを表す画像を画像表示する領域である。ショベルに装着されるエンドアタッチメントには、バケット６の他、削岩機、グラップル、リフティングマグネットなど様々なエンドアタッチメントが含まれる。エンドアタッチメント表示領域ＩＰｃは、例えば、これらのエンドアタッチメントを象ったマークを表示する。本例では、削岩機を象ったマークが表示されており、オペレータは、削岩機がエンドアタッチメントとして取り付けられていることを認識できる。
　エンジン制御状態表示領域ＩＰｅは、エンジンの制御状態を画像表示する領域である。本例では、オペレータは、エンジンの制御状態として「自動減速・自動停止モード」が選択されていることを認識できる。なお、「自動減速・自動停止モード」は、エンジン負荷が小さい状態の継続時間に応じて、エンジン回転数を自動的に低減し、さらにはエンジンを自動的に停止させる制御状態を意味する。その他、エンジンの制御状態には、「自動減速モード」、「自動停止モード」、「手動減速モード」等がある。
　エンジン作動時間表示領域ＩＰｆは、エンジンの累積作動時間を画像表示する領域である。本例では、単位「ｈｒ（時）」を用いた値が表示される。
　冷却水温表示領域ＩＰｇは、現在のエンジン冷却水の温度状態を画像表示する領域である。本例では、エンジン冷却水の温度状態を表すバーグラフが表示されている。なお、エンジン冷却水の温度は、エンジンに取り付けられる水温センサが出力するデータに基づき表示される。
　具体的には、冷却水温表示領域ＩＰｇは、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３、セグメント表示ＩＰｇ４、及びアイコン表示ＩＰｇ５を含む。
　異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３は、それぞれ、エンジン冷却水の温度が異常高温状態、注意を要する状態、正常状態にあることをオペレータに知らせるための表示である。また、セグメント表示ＩＰｇ４は、エンジン冷却水の温度の高低をオペレータに知らせるための表示である。また、アイコン表示ＩＰｇ５は、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３、及びセグメント表示ＩＰｇ４がエンジン冷却水の温度に関する表示であることを表すシンボル図形等のアイコンである。
　尚、アイコン表示ＩＰｇ５は、エンジン冷却水の温度に関する表示であることを表す文字情報であってもよい。
　本例では、セグメント表示ＩＰｇ４は、点灯・消灯状態が個別に制御される８つのセグメントで構成され、冷却水温が高くなるほど点灯状態のセグメントの数が増加する。本例では、４つのセグメントが点灯状態となっている。また、セグメント表示ＩＰｇ４は、所定円の一部（円弧）を構成し、エンジン冷却水の温度の上下動に応じてその円弧の長さが伸縮するように表示される。また、本例では、それぞれのセグメントが表す温度の幅は同じであるが、セグメントごとに温度の幅を変えてもよい。
　また、本例では、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、正常範囲表示ＩＰｇ３は、それぞれ、セグメント表示ＩＰｇ４の伸縮方向（所定円の円周方向）に沿うように並べて配置される円弧状の図形であり、赤色、黄色、緑色で表示される。また、セグメント表示ＩＰｇ４は、１番目（最下位）から６番目のセグメントが正常範囲に属し、７番目のセグメントが注意範囲に属し、８番目（最上位）のセグメントが異常範囲に属する。
　尚、冷却水温表示領域ＩＰｇには、異常範囲表示ＩＰｇ１、注意範囲表示ＩＰｇ２、及び正常範囲表示ＩＰｇ３が円弧状の図形として表示される代わりに、異常レベル、注意レベル、正常レベルを表す文字、記号等がそれぞれの境界部分に表示してもよい。
　また、異常範囲表示、注意範囲表示、正常範囲表示、セグメント表示、及び、アイコン表示を含む上述の構成は、燃料残量表示領域ＩＰｈ及び作動油温表示領域ＩＰｋにおいても同様に採用されうる。また、燃料残量表示領域ＩＰｈでは、異常範囲、注意範囲、及び正常範囲を表す円弧状の図形を表示する代わりに、「Ｆｕｌｌ（満タン状態）」を表す文字「Ｆ」又は黒丸（塗りつぶされた丸印）、「Ｅｍｐｔｙ（空状態）」を表す文字「Ｅ」又は白丸（塗りつぶされていない丸印）等がそれぞれの境界部分に表示されてもよい。
　燃料残量表示領域ＩＰｈは、燃料タンクに貯蔵されている燃料の残量状態を画像表示する領域である。本例では、現在の燃料の残量状態を表すバーグラフが表示される。燃料残量表示領域ＩＰｈの燃料の残量は、燃料タンク内の燃料残量センサにより出力されるデータに基づき表示される。
　回転数モード表示領域ＩＰｉは、現在の回転数モードを画像表示する領域である。回転数モードは、例えば、上述のＳＰモード、Ｈモード、Ａモード、及び、アイドリングモードの４つを含む。本例では、ＳＰモードを表す記号「ＳＰ」が表示されている。
　作動油温表示領域ＩＰｋは、作動油タンク内の作動油の温度状態を画像表示する領域である。本例では、作動油の温度状態を表すバーグラフが表示されている。作動油温表示領域ＩＰｋの作動油の温度は、作動油タンク内の油温センサにより出力されるデータに基づき表示される。
　尚、冷却水温表示領域ＩＰｇ、燃料残量表示領域ＩＰｈ、及び、作動油温表示領域ＩＰｋでは、バーグラフ表示の代わりに針表示が採用されてもよい。
　カメラ画像表示領域ＩＰｍは、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒのうちの少なくとも一つの撮像画像（スルー画像）をそのまま表示する領域である。これにより、オペレータは、監視用画像ＭＰの他、撮像装置４０により撮像された撮像画像（スルー画像）をそのまま運転情報画像ＩＰ内で視認することができる。
　例えば、カメラ画像表示領域ＩＰｍには、ショベルが稼働している間、常にカメラ４０Ｂにより撮像された撮像画像が表示されてよい。このとき、カメラ画像表示領域ＩＰｍのカメラ４０Ｂの撮像画像（スルー画像）は、望ましくは、鏡像で表示されるとよい。
　また、本例では、カメラ画像表示領域ＩＰｍは、運転情報画像ＩＰの右側の３分の２程度の領域を占める。表示装置５０が運転席の右側前方に設置される環境において、運転席（オペレータ）に近い側に燃料残量表示領域ＩＰｈ等が表示され、運転席（オペレータ）から遠い側にカメラ画像表示領域ＩＰｍが表示されるようにして、全体的な視認性を高めるためである。但し、運転情報画像ＩＰにおける各表示領域のサイズ及び配置は、必要に応じて変更されてもよい。
　また、カメラ画像表示領域ＩＰｍに表示される撮像画像は、タッチパネル式の表示部５０Ａに対するタッチ操作等や操作部５０Ｂに対する操作に応じて、表示される撮像画像の撮像元の撮像装置４０が切り替えられたり、撮像画像の拡大或いは縮小が行われたりしてもよい。例えば、オペレータは、操作部５０Ｂの十字ボタン５０Ｂａにより左右方向を指定する操作を行うことにより、カメラ画像表示領域ＩＰｍに表示される撮像画像（スルー画像）の撮像元の撮像装置４０（カメラ４０Ｂ、カメラ４０Ｌ、カメラ４０Ｒ）を切り替え可能な態様であってよい。また、オペレータは、拡縮ボタン５０Ｂｂの上方向を指定するボタン及び下方向を指定するボタンのそれぞれを押圧操作することより、撮像画像を拡大させたり、縮小させたりすることが可能な態様であってよい。このとき、オペレータは、タッチパネル式の表示部５０Ａ上のカメラ画像表示領域ＩＰｍの任意の位置をタッチすることにより、位置を指定し、当該指定位置を中心として、拡大縮小を行うことができる。また、オペレータは、十字ボタン５０Ｂａによって、カーソルを動かし、カーソル位置を中心として、拡大縮小を行うことが可能な態様であってもよい。
　アラーム表示領域ＩＰｐは、アラームを表示する領域である。本例では、電気系統異常が発生したことを表す警告メッセージがスルー画像上に重畳表示されている。また、本例では、アラーム表示領域ＩＰｐには、カメラ４０Ｂにより撮像された撮像画像がカメラ画像表示領域ＩＰｍに表示されないままレバー操作が行われた場合に、その旨を警告するアラームが表示される。また、アラーム表示領域ＩＰｐには、表示すべきアラームが存在しない場合、スルー画像がそのまま表示される。
　向き表示アイコンＩＰｘは、運転情報画像ＩＰに表示される撮像画像（スルー画像）を撮像した撮像装置４０の向きとショベル（上部旋回体３のアタッチメント）の向きとの相対的関係を表すアイコンである。本例では、カメラ画像表示領域ＩＰｍに表示されるカメラ画像を撮像する撮像装置４０がカメラ４０Ｂであることを表す向き表示アイコンＩＰｘがカメラ画像表示領域ＩＰｍの右下隅に表示されている。
　尚、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの下部中央、左下隅、右上隅、左上隅等、右下隅以外の位置に表示されてもよく、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
　また、運転情報画像ＩＰは、上述の表示領域ＩＰａ～ＩＰｋの一部を省略してもよいし、上述以外の表示領域を含んでもよい。例えば、運転情報画像ＩＰは、排ガスフィルタ（例えば、ディーゼル微粒子除去装置（ＤＰＦ：Diesel Particulate Filter）等）の詰まり具合を表示する排ガスフィルタ状態表示領域を含んでいてもよい。具体的には、排ガスフィルタ状態表示領域は、排ガスフィルタの許容最大使用時間に対する現在の使用時間の割合を表すバーグラフを表示してもよい。また、運転情報画像ＩＰは、作動油の温度状態の表示を省略してもよく、作動油の温度状態及び冷却水の温度状態の表示を省略してもよい。
　また、カメラ画像表示領域ＩＰｍの下部には、上部旋回体３のカバー３ａの後端上縁の画像である車体画像としてのカバー画像ＩＰｑが含まれる。これにより、表示装置５０は、カメラ画像表示領域ＩＰｍに表示される物体とショベルとの間の距離感をオペレータがより容易に掴めるようにする。また、本実施例では、向き表示アイコンＩＰｘは、カバー画像ＩＰｑ上に重畳表示される。向き表示アイコンＩＰｘの背景色が常に同じになるようにしてその視認性を高めるためである。また、カメラ画像の見たい部分を表示アイコンＩＰｘが隠してしまうのを防止するためである。但し、向き表示アイコンＩＰｘは、カメラ画像表示領域ＩＰｍの外部に表示されてもよい。
　また、図５に示すように、表示装置５０の表示部５０Ａの上半分の横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像ＭＰが表示されている。これにより、オペレータ等は、周辺画像ＥＰに写っている監視対象（即ち、人）と、ショベル５００との位置関係を適切に把握することができる。
　本例における周辺画像ＥＰは、ショベル５００に隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベル５００から当該周辺領域を水平方向に見た水平画像ＨＶＰとを組み合わせた視点変換画像である。視点変換画像である周辺画像ＥＰは、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
　また、監視用画像ＭＰには、ガイドラインＬＮ１が重畳表示される。ガイドラインＬＮ１は、ショベル５００からの距離Ｄが所定距離Ｄ２（≦Ｄ１）の位置を表す。これにより、オペレータ等は、周辺画像に監視対象（即ち、人）が写っている場合に、ショベル５００からどの程度離れた位置にいるかを把握することができる。
　また、本例では、監視用画像ＭＰの周辺画像ＥＰには、監視対象である人（作業者Ｗ１）が含まれる。周辺画像ＥＰに含まれる、監視エリア内の作業者Ｗ１は、太線枠ＦＲ１で囲まれる態様で強調される。これにより、オペレータに向けて、監視エリアに監視対象が侵入している旨を警報（通知）することができる。
　図３に戻り、警報出力部３０３（制御部の一例）は、検知部３０１により監視エリア、即ち、ショベル５００からの距離Ｄが所定距離Ｄ１以内で監視対象（人）が検知された場合、キャビン１０の内部、即ち、オペレータに向けて警報を出力する。これにより、周辺監視装置１００は、オペレータに対して、ショベル５００の周辺の監視エリア内に監視対象（人）が進入したことを認識させ、オペレータに対して、ショベル５００の周辺の安全状況の確認を促すことができる。
　例えば、警報出力部３０３は、聴覚的な方法、つまり、音による警報を出力する。具体的には、警報出力部３０３は、音声出力装置５２に制御指令を出力し、警告音を出力させる。
　尚、警報出力部３０３は、各種条件に応じて、警告音の音高、音圧、音色等や、警告音（例えば、ブザー音）を周期的に吹鳴させる場合の吹鳴周期等を異ならせてもよい。例えば、警報出力部３０３は、検知部３０１により検知された監視対象のショベル５００に対する相対位置に応じて、警告音の音高、音圧、音色、吹鳴周期等を変化させてよい。具体的には、警報出力部３０３は、相対的にショベル５００に近い監視対象が検知された場合と、相対的にショベル５００から遠い監視対象が検知された場合とで、警告音の音高、音圧、音色、吹鳴周期等の少なくとも一つを異ならせてよい。これにより、周辺監視装置１００は、警告音の相違によって、オペレータ等に、ショベル５００との位置関係（接近度合い）を把握させることができる。以下、外部報知装置７４を用いる場合についても同様である。
　また、例えば、警報出力部３０３は、視覚的な方法による警報を出力する。具体的には、警報出力部３０３は、表示制御部３０２に警報要求を送信する。これにより、表示制御部３０２は、警報要求に応じて、表示装置５０に表示される監視用画像ＭＰの周辺画像ＥＰに含まれる監視対象である人を太線枠で囲む等の強調させる処理を施し（図４参照）、表示装置５０は、オペレータに対する警報を出力することができる。
　尚、警報出力部３０３は、触覚的な方法による警報を出力してもよい。具体的には、警報出力部３０３は、例えば、操縦席に搭載される振動発生装置（バイブレータ）に制御指令を出力し、操縦席を振動させることにより、オペレータに対する触覚的な警報を出力してもよい。
　また、警報出力部３０３は、警報を出力する場合、ショベル５００の外部に向けて、ショベル５００で警報が出力されている旨を通知する。
　例えば、警報出力部３０３は、警報を出力する場合、外部報知装置７４（外部通知部の一例）を制御し、聴覚的或いは視覚的な方法で、ショベル５００の周辺に向けて、ショベル５００で警報が出力されている旨を通知（報知）する。これにより、周辺監視装置１００は、ショベル５００の周辺で作業を行っている作業者、監督者等やショベル５００から比較的近い場所にある管理事務所の管理者等に、ショベル５００で警報が出力されていることを認識させることができる。
　尚、警報出力部３０３は、触覚的な方法により、ショベル５００で警報が出力されている旨を通知してもよい。具体的には、警報出力部３０３は、通信機器７２（外部通知部の一例）を通じて、ショベル５００の周辺で作業を行っている作業者、監督者等や管理事務所や管理サーバ９００の管理者等が所持するバイブレータ機能付きの所定機器（例えば、後述する管理端末７００等）に向けて、バイブレータ機能を作動させるための所定の通信規格による無線信号（ＲＦ通信やＢＴ通信に対応する信号）を送信する。これにより、作業者等が所持する所定機器が振動するため、ショベル５００は、周辺の作業者等に向けて、ショベル５００で警報が出力されている旨を通知（報知）することができる。
　また、例えば、警報出力部３０３は、警報を出力する場合、通信機器７２（外部通知部の一例）を制御し、ショベル５００で警報が出力されている旨の通知（以下、「警報出力通知」と称する）を外部装置６００に送信する。これにより、周辺監視装置１００は、警報解除の許否を判定する外部装置６００や外部装置６００の利用者（例えば、ショベル５００の周辺の作業者、監督者や管理事務所の現場管理者や管理サーバ９００の管理者等）に、ショベル５００で警報が出力されている旨を認識させることができる。また、警報出力部３０３は、警報を出力する場合、通信機器７２を制御し、外部装置６００の利用者の予め登録されるメールアドレスや所定のソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）のアカウントに警報出力通知を送信してもよい。これにより、周辺監視装置１００は、外部装置６００の利用者に、ショベル５００で警報が出力されていることを認識させることができる。
　尚、オペレータ等の意思で、ショベル５００で警報が出力されている旨をショベル５００の外部に向けて通知させるための専用の入力部（外部通知意思入力部の一例。例えば、操作により意思を入力するボタンスイッチ等の操作部や、所定のジェスチャ、ポーズ、或いは、視線移動等により意思を入力するカメラ或いは視線センサ等）がキャビン１０内に設けられてもよい。この場合、当該専用の入力部に対する意思入力があった場合に、外部報知装置７４や通信機器７２を通じて、ショベル５００の外部に、ショベル５００で警報が出力されている旨が通知される。
　また、警報出力部３０３は、判定部３０７により、後述の如く、オペレータにより周辺状況確認動作が行われたと判定され、且つ、解除スイッチ６０がオペレータにより操作された場合に、警報の出力を解除する、つまり、出力中の警報を停止させる。これにより、周辺監視装置１００は、オペレータによりショベル５００の周辺の安全状況が適切になされた上で、警報の出力を解除させることができる。従って、オペレータがショベル５００の周辺状況を確認することなく、形式的に、解除スイッチ６０を操作することで、警報が解除されてしまうような事態が抑制され、ショベル５００の作業現場の安全性を向上させることができる。
　また、警報出力部３０３は、判定部３０７により、後述の如く、ショベル５００の外部で警報の解除が許可されたと判定され、且つ、解除スイッチ６０がオペレータにより操作された場合に、警報の出力を解除する、つまり、出力中の警報を停止させる。これにより、周辺監視装置１００は、ショベル５００の外部において、ショベル５００の周辺の安全状況の確認に基づく警報解除の許可が適切になされた上で、警報の出力を解除させることができる。従って、ショベル５００の周辺状況が確認されることなく、オペレータによる形式的な解除スイッチ６０の操作によって、警報が解除されてしまうような事態が抑制され、ショベル５００の作業現場の安全性を向上させることができる。
　動作制限部３０４（制御部の一例）は、検知部３０１により監視エリアで人が検知された場合、ショベル５００の動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５、及び、バケット６等）の動作を制限する。例えば、動作制限部３０４は、ゲートロック弁５４に指令信号としてのＯＮ信号を送信することにより、ゲートロック弁５４にパイロットラインを非連通状態にさせる。これにより、パイロットポンプ（不図示）からショベル５００の動作要素を操作する操作装置（不図示）に作動油（パイロット圧）が供給されないため、オペレータが操作装置に操作入力を行っても、ショベル５００の動作要素が動作しないように制限できる。そのため、ショベル５００に近接する監視エリアに人が進入してしまった場合であっても、ショベル５００の動作が制限され、ショベル５００と人の衝突を抑制することができ、結果として、ショベル５００の周辺における安全性の維持を図ることができる。
　尚、例えば、操作装置から出力される二次側のパイロット圧を減圧する減圧弁が設けられ、動作制限部３０４は、ゲートロック弁５４の代わりに、当該減圧弁を制御してもよい。この場合、当該減圧弁は、操作装置から出力される二次側のパイロット圧を操作量ゼロに相当する圧力値以下まで減圧させることにより、オペレータによる操作装置に対する操作を無効化することができる。そのため、動作制限部３０４は、当該減圧弁を制御することにより、結果として、ショベル５００の動作要素の動作を制限することができる。また、動作制限部３０４は、当該減圧弁を制御することにより、ショベル５００の動作要素を停止させず、オペレータによる操作に対する各種動作要素の動作を通常よりも緩やかに抑制する態様で、ショベル５００の動作を制限してもよい。
　また、動作制限部３０４は、ショベル５００の動作制限を行う場合、ショベル５００の外部に向けて、ショベル５００の動作制限が行われている旨を通知する。
　例えば、動作制限部３０４は、ショベル５００の動作制限を行う場合、外部報知装置７４（外部通知部の一例）を制御し、ショベル５００の周辺に向けて、ショベル５００の動作制限が行われている旨を通知（報知）する。これにより、周辺監視装置１００は、ショベル５００の周辺で作業を行っている作業者、監督者等やショベル５００から比較的近い場所にある管理事務所の管理者等に、ショベル５００の動作制限が行われていることを認識させることができる。
　尚、動作制限部３０４は、警報出力部３０３の場合と同様、触覚的な方法により、ショベル５００の動作制限が行われている旨を通知してもよい。
　また、例えば、動作制限部３０４は、ショベル５００の動作制限を行う場合、通信機器７２（外部通知部の一例）を制御し、ショベル５００の動作制限が行われている旨の通知（以下、「動作制限通知」と称する）を外部装置６００に送信する。これにより、周辺監視装置１００は、動作制限解除の許否を判定する外部装置６００や外部装置６００の利用者に、ショベル５００の動作制限が行われている旨を認識させることができる。また、動作制限部３０４は、ショベル５００の動作制限を行う場合、通信機器７２を制御し、外部装置６００の利用者の予め登録されるメールアドレスや所定のＳＮＳのアカウントに警報出力通知を送信してもよい。これにより、周辺監視装置１００は、外部装置６００の利用者に、ショベル５００の動作制限が行われていることを認識させることができる。
　尚、警報の場合と同様、オペレータ等の意思で、ショベル５００の動作制限が行われている旨をショベル５００の外部に向けて通知させるための専用の入力部（外部通知意思入力部の一例）がキャビン１０内に設けられてもよい。また、警報に対応する専用の入力部と、動作制限に対する専用の入力部とは、共通の入力部であってよい。この場合、当該専用の入力部に対する意思入力があった場合に、外部報知装置７４や通信機器７２を通じて、ショベル５００の外部に、ショベル５００の動作制限が行われている旨が通知される。
　また、動作制限部３０４は、判定部３０７により、後述の如く、オペレータにより周辺状況確認動作が行われたと判定され、且つ、解除スイッチ６０がオペレータにより操作された場合に、ショベル５００の動作制限を解除する。これにより、周辺監視装置１００は、オペレータによりショベル５００の周辺の安全状況が適切になされた上で、ショベル５００の動作制限を解除させることができる。従って、オペレータがショベル５００の周辺状況を確認することなく、形式的に、解除スイッチ６０を操作することで、ショベル５００の動作制限が解除されてしまうような事態が抑制され、ショベル５００の作業現場の安全性を向上させることができる。
　また、動作制限部３０４は、判定部３０７により、後述の如く、ショベル５００の外部でショベル５００の動作制限の解除が許可されたと判定され、且つ、解除スイッチ６０がオペレータにより操作された場合に、ショベル５００の動作制限を解除する。これにより、周辺監視装置１００は、ショベル５００の外部において、ショベル５００の周辺の安全状況の確認に基づく動作制限解除の許可が適切になされた上で、ショベル５００の動作制限を解除させることができる。従って、ショベル５００の周辺状況が確認されることなく、オペレータによる形式的な解除スイッチ６０の操作によって、ショベル５００の動作制限が解除されてしまうような事態が抑制され、ショベル５００の作業現場の安全性を向上させることができる。
　解除依頼通知部３０５は、オペレータにより解除スイッチ６０が操作された場合に、通信機器７２を制御し、警報或いは動作制限の解除を依頼する旨の通知（以下、「解除依頼通知」と称する）を外部装置６００に送信する。また、解除依頼通知部３０５は、オペレータにより解除スイッチ６０が操作された場合に、通信機器７２を制御し、外部装置６００の利用者の予め登録されるメールアドレスや所定のＳＮＳのアカウントに解除依頼通知を送信してもよい。これにより、周辺監視装置１００は、外部装置６００や外部装置６００の利用者に警報或いはショベル５００の動作制限の解除の許可を積極的に依頼することができる。
　尚、解除依頼通知は、警報の出力或いはショベル５００の動作制限が開始された場合に、オペレータによる解除スイッチ６０の操作の有無に依らず、外部装置６００や外部装置６００の利用者のメールアドレス等に送信されてもよい。また、解除依頼通知が送信される前に、上述の如く、警報出力通知や動作制限通知が外部装置６００等に送信されるため、解除依頼通知の送信は省略されてもよい。つまり、解除依頼通知部３０５は、省略されてもよい。また、解除スイッチ６０とは別にキャビン１０内に設けられる、オペレータ等の意思で解除依頼通知を外部装置６００や外部装置６００の利用者のメールアドレス等に送信させるための専用の入力部（解除依頼意思入力部の一例。例えば、操作により意思を入力するボタンスイッチ等の操作部や、所定のジェスチャ、ポーズ、或いは、視線移動等により意思を入力するカメラ或いは視線センサ等）が設けられてもよい。この場合、解除依頼通知は、専用の入力部に対する意思入力があった場合に、外部装置６００や外部装置６００の利用者のメールアドレス等に送信されてもよい。
　周辺状況情報送信部３０６は、警報の出力或いはショベル５００の動作制限が行われている場合に、ショベル５００の周辺の状況に関する情報（以下、「周辺状況情報」と称する）を定期的に外部装置６００に送信する。周辺状況情報送信部３０６は、警報の出力或いはショベル５００の動作制限が行われている場合、自動的に、外部装置６００に周辺状況情報を送信してもよいし、外部装置６００から通信機器７２により受信されるリクエスト信号に応じて、外部装置６００に周辺状況情報を送信してもよい。
　周辺状況情報には、例えば、撮像装置４０によるショベル５００の周辺の撮像画像が含まれうる。また、周辺状況情報には、例えば、検知部３０１による監視対象の検知結果や検知された監視対象の位置等に関する情報が含まれうる。
　判定部３０７は、オペレータによりショベル５００の周辺の安全状況が確認されたか否か、つまり、周辺状況確認動作が行われたか否かを判定する。
　例えば、判定部３０７は、確認動作状態検知部７０の検知結果に基づき、オペレータにより周辺状況確認動作が行われたか否かを判定する。具体的には、判定部３０７は、上述の如く、確認動作状態検知部７０としてのカメラや視線センサにより検知されるオペレータの視線の動きに基づき、オペレータにより周辺状況確認動作が行われたか否かを判定してよい。より具体的には、判定部３０７は、オペレータの視線がショベル５００の周辺を間接視するためのミラー（例えば、バックミラー）或いは表示装置５０に表示されるスルー画像や監視用画像を目視したと判断できる場合に、オペレータにより周辺状況確認動作が行われたと判定してよい。
　また、判定部３０７は、上述の如く、確認動作状態検知部７０としての脳波センサにより検知されるオペレータの脳波に基づき、オペレータにより周辺状況確認動作が行われたか否かを判定してよい。より具体的には、判定部３０７は、例えば、オペレータにより解除スイッチ６０が操作された場合に、オペレータの脳波に基づき、当該操作が警報の出力やショベル５００の動作制限に対して、無意識に（反射的に）行われたか否かを判定してよい。そして、判定部３０７は、当該操作が無意識に行われていない、即ち、当該操作が意識的に行われた場合に、オペレータにより周辺状況確認動作が行われたと判定したよい。
　また、例えば、判定部３０７は、警報やショベル５００の動作制限が開始されてからの経過時間に基づき、オペレータにより周辺状況確認動作が行われたか否かを判定する。具体的には、判定部３０７は、警報やショベル５００の動作制限が開始されてから所定時間以上経過している場合に、オペレータによる周辺状況確認動作が行われたと判定してよい。警報やショベル５００の動作制限の開始からある程度の時間が経過している場合、オペレータが周辺の状況を確認する時間的余裕があり、オペレータによる周辺状況確認動作が行われたとみなすことができるからである。
　また、判定部３０７は、ショベル５００の外部でショベル５００の周辺の安全状況が確認され、警報或いは動作制限の解除が許可されたか否かを判定する。
　例えば、判定部３０７は、通信機器７２（取得部の一例）により、外部装置６００から解除許可通知が取得された場合に、ショベル５００の外部で警報或いは動作制限の解除が許可されたと判定する。
　また、例えば、判定部３０７は、ショベル５００の外部の作業者や監督者等から、安全状況が確認され、警報或いは動作制限の解除を許可する旨の合図が示された場合（例えば、予め規定されたポーズやジェスチャが示された場合）に、ショベル５００の外部で警報或いは動作制限の解除が許可されたと判定する。具体的には、判定部３０７は、撮像装置４０の撮像画像から、監視エリアに進入し、警報やショベル５００の動作制限のトリガとなった作業者或いは監督者等の所定の第三者を認識する処理を行う。このとき、判定部３０７は、所定の第三者に固有の特徴情報（例えば、作業着やヘルメット等の色等の識別情報）に基づき、所定の第三者を認識してよい。そして、判定部３０７は、認識された作業者或いは監督者等の所定の第三者が、所定のポーズ或いはジェスチャをしていると判断できる場合に、ショベル５００の外部で警報或いは動作制限の解除が許可されたと判定してよい。換言すれば、判定部３０７（取得部の一例）は、撮像装置４０の撮像画像の中から、所定のポーズ或いはジェスチャをしている、作業者或いは監督者等の所定の第三者を含む撮像画像を取得した場合に、ショベル５００の外部で警報或いは動作制限の解除が許可されたと判定してよい。
　外部装置６００は、ショベル５００で警報の出力或いは動作制限が行われている場合に、所定の条件に応じて、警報或いは動作制限の解除を許可する。
　外部装置６００は、通信機器６１０と、情報処理部６２０と、表示部６３０と、音声出力部６４０と、操作部６５０を含む。
　通信機器６１０は、ショベル５００と双方向で通信を行う任意のデバイスである。通信機器６１０は、ショベル５００の通信機器７２と通信方式等の点で対応関係にあり、例えば、ＲＦ送受信機、ＢＴ通信モジュール、移動通信モジュール等を含みうる。
　情報処理部６２０は、外部装置６００における各種制御処理を行う。情報処理部６２０は、その機能が任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、情報処理部６２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、補助記憶装置、ＲＴＣ、各種通信用インターフェース等を含むコンピュータを中心に構成される。情報処理部６２０は、例えば、ＲＯＭや補助記憶装置に格納される一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、ショベル状況通知部６２０１と、周辺状況情報取得部６２０２と、解除許可操作受付部６２０３と、判定部６２０４と、解除許可通知部６２０５を含む。
　表示部６３０は、情報処理部６２０の制御の下、各種情報画像を表示する。表示部６３０は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等である。
　音声出力部６４０は、情報処理部６２０の制御の下、外部に音声を出力する。音声出力部６４０は、例えば、スピーカやブザー等である。
　操作部６５０は、外部装置６００の利用者からの各種操作を受け付ける。操作部６５０は、例えば、押しボタン等のハードウェアによる操作部であってもよいし、タッチパネル式の表示部６３０に表示される操作画面のボタンアイコン等のソフトウェアによる操作部であってもよい。
　ショベル状況通知部６２０１は、通信機器６１０を通じて、ショベル５００から受信される各種情報に基づき、ショベル５００の状況を利用者に通知する。
　具体的には、ショベル状況通知部６２０１は、通信機器６１０を通じて、警報出力通知或いは動作制限通知が受信された場合、ショベル５００で警報が出力されている旨、或いは、動作制限が行われている旨を外部装置６００の利用者に通知してよい。これにより、外部装置６００は、その利用者に、ショベル５００で警報が出力されている、或いは、動作制限が行われていることを認識させることができる。特に、ショベル５００から比較的離れた位置にある管理事務所の管理者や作業現場の外部の管理サーバ９００の管理者等は、ショベル５００の状況を直接的に把握しにくいため、有効である。
　例えば、ショベル状況通知部６２０１は、表示部６３０に、ショベル５００で警報が出力されている旨、或いは、動作制限が行われている旨を表示させてもよい。
　また、例えば、ショベル状況通知部６２０１は、音声出力部６４０からショベル５００で警報が出力されている旨、或いは、動作制限が行われている旨の音声を出力させてもよい。
　また、ショベル状況通知部６２０１は、通信機器６１０を通じて、解除依頼通知が受信された場合、ショベル５００から警報或いは動作制限の解除依頼が受信された旨を利用者に通知する。これにより、外部装置６００は、利用者に、ショベル５００の周辺の安全状況の確認に基づく警報或いは動作制限の解除を許可する所定の操作（後述する解除許可操作）を促すことができる。
　例えば、ショベル状況通知部６２０１は、表示部６３０（第１通知部の一例）に、ショベル５００から警報或いは動作制限の解除依頼が受信された旨を表示させてもよい。
　また、例えば、ショベル状況通知部６２０１は、音声出力部６４０（第１通知部の一例）からショベル５００から警報或いは動作制限の解除依頼が受信された旨の音声を出力させてもよい。
　周辺状況情報取得部６２０２は、通信機器６１０を通じて、ショベル５００で警報の出力或いは動作制限が行われている場合にショベル５００から定期的に送信される周辺状況情報を取得する。
　また、周辺状況情報取得部６２０２は、通信機器６１０を通じて、警報出力通知或いは動作制限通知が受信された場合に、通信機器６１０を通じて、周辺状況情報を要求するリクエスト信号をショベル５００に送信してもよい。
　また、周辺状況情報取得部６２０２は、取得した周辺状況情報の内容を利用者に通知する。これにより、外部装置６００は、利用者にショベル５００の周辺の状況の認識を促すことができる。
　例えば、周辺状況情報取得部６２０２は、表示部６３０（第２通知部の一例）に、周辺状況情報の内容を表示させてもよい。
　また、例えば、周辺状況情報取得部６２０２は、音声出力部６４０（第２通知部の一例）から周辺状況情報の内容に関する音声を出力させてもよい。
　解除許可操作受付部６２０３は、外部装置６００の利用者による操作部６５０（解除許可操作部の一例）に対するショベル５００の警報或いは動作制限の解除を許可する所定の操作（以下、「解除許可操作」と称する）を受け付ける。
　例えば、解除許可操作受付部６２０３は、外部装置６００としての管理サーバ９００の管理者や作業者等からの解除許可操作を受け付けてよい。また、外部装置６００（例えば、管理サーバ９００）を利用して、ショベル５００の遠隔操作が可能な場合、解除許可操作受付部６２０３は、外部装置６００を通じて、ショベル５００の遠隔操作を行うオペレータ等からの解除許可操作を受け付けてよい。このとき、当該オペレータは、例えば、外部装置６００の表示部６３０に表示されるショベル５００の周囲の画像（具体的には、ショベル５００の撮像装置４０により撮像され、管理サーバ９００にアップロードされる画像）に基づき、ショベル５００の周囲の様子を確認することができる。
　判定部６２０４は、ショベル５００で警報の出力、或いは、動作制限が行われている場合に、警報或いは動作制限の解除の許否を判定する。
　例えば、判定部６２０４は、周辺状況情報取得部６２０２により取得される周辺状況情報に基づき、ショベル５００の周辺の安全状況を確認し、警報或いは動作制限の解除を許可する。具体的には、判定部６２０４は、周辺状況情報に基づき、ショベル５００の監視エリア内に監視対象（人）がいないと確認した場合に、警報或いは動作制限の解除を許可してよい。
　また、例えば、判定部６２０４は、解除許可操作受付部６２０３により解除許可操作が受け付けられた場合に、警報或いは動作制限の解除を許可する。
　解除許可通知部６２０５は、判定部６２０４により警報或いは動作制限の解除が許可された場合に、通信機器６１０を通じて、警報或いは動作制限の解除を許可する旨の通知（解除許可通知）をショベル５００に送信する。
　［周辺監視システムの動作の概要］
　次に、図６（図６Ａ～図６Ｄ）を参照して、本実施形態に係る周辺監視システム１０００の動作の概要を説明する。
　図６Ａ～図６Ｄは、周辺監視システム１０００の動作の一例を模式的に示す図である。具体的には、図６Ａは、監視対象である人（作業者４０２）がショベル５００の監視エリア４０４に進入した場合の周辺監視装置１００の動作の一例を模式的に示す図である。図６Ｂは、図６Ａの状況を前提として、作業者４０２が監視エリア４０４の外に退避した場合の周辺監視装置１００の動作の一例を模式的に示す図である。図６Ｃは、図６Ｂの状況を前提として、ショベル５００のオペレータ４０１が周辺状況確認動作を行った場合の周辺監視装置１００の動作の一例を模式的に示す図である。図６Ｄは、図６Ｂの状況を前提として、作業者４０２或いは監督者４０３が外部装置６００（例えば、管理端末７００、解除装置７５０）に対する所定の操作を行った場合の周辺監視装置１００の動作の一例を模式的に示す図である。
　尚、図中、撮像装置４０の〇印は、撮像装置４０により監視エリア４０４内の監視対象が撮像されている、つまり、検知部３０１により監視エリア４０４内の監視対象が検知されていることを表す。また、図中、音声出力装置５２の〇印は、警報音が出力されていること、つまり、警報出力部３０３により警報が出力されていることを表す。また図中、ゲートロック弁５４の〇印は、ゲートロック弁５４が作動し、パイロットラインが非連通状態であること、つまり、動作制限部３０４によりショベル５００の動作制限が行われていることを表す。また、図中、解除スイッチ６０の〇印及び×印は、それぞれ、解除スイッチ６０の操作が有効化された状態及び無効化された状態を表す。また、図中、確認動作状態検知部７０の〇印は、オペレータ４０１による周辺状況確認動作が検知されていること、つまり、判定部３０７によりオペレータ４０１による周辺状況確認動作がおこなわれたと判定されたことを表す。また、図中、外部装置６００の〇印は、外部装置６００に対する所定の操作が行われたことを表す。
　図６Ａに示すように、周辺監視装置１００は、撮像装置４０の撮像画像に基づき、監視エリア４０４内に進入した作業者４０２を検知すると、音声出力装置５２及びゲートロック弁５４を作動させて、警報の出力及びショベル５００の動作制限を開始する。これにより、周辺監視装置１００は、オペレータ４０１に対して、監視エリア４０４内に監視対象（作業者４０２）が進入したことを認識させることができる。また、このとき、周辺監視装置１００は、ショベル５００の外部に向けて、警報の出力及びショベル５００の動作制限が行われている旨を通知する。これにより、周辺監視装置１００は、監視エリア内の作業者４０２に対して、ショベル５００に接近し過ぎであることを認識させることができる。また、周辺監視装置１００は、ショベル５００の動作制限によって、ショベル５００が動いて、作業者４０２との干渉等が発生する事態を抑制することができる。そのため、ショベル５００の周辺の安全性を向上させることができる。
　図６Ｂに示すように、ショベル５００の監視エリア内に侵入した作業者４０２は、警報及び動作制限の原因が自分であると認識し、監視エリア４０４内から監視エリア４０４の外部に退避している。一方、周辺監視装置１００は、作業者４０２が監視エリア４０４の外部に退避完了し、監視エリア４０４内に作業者４０２が検知されなくなっても、警報の出力及びショベル５００の動作制限を継続する。これにより、仮に、作業者４０２が監視エリア４０４内に留まっている状況で、撮像装置４０の撮像画像内の作業者４０２が背景と同化し、作業者４０２を認識（検知）できなくなってしまったような場合でも、警報やショベル５００の動作制限が継続されうる。そのため、ショベル５００の周辺の安全性を更に向上させることができる。
　図６Ｃに示すように、周辺監視装置１００は、オペレータ４０１がバックミラーや表示装置５０の監視用画像（周辺画像）を視認する視線の動きが視線センサ等の確認動作状態検知部７０により検知されると、解除スイッチ６０に対する解除操作を有効化する。その後、周辺監視装置１００は、解除スイッチ６０に対する操作が有効になった状態で、オペレータ４０１により解除スイッチ６０が操作されると、音声出力装置５２を停止させると共に、ゲートロック弁５４を作動させて、警報の解除及びショベル５００の動作制限の解除を行う。これにより、周辺監視装置１００は、警報やショベル５００の動作制限の開始後、オペレータにショベル５００の周辺の安全状況を確認させた上で、警報やショベル５００の動作制限を解除させることができる。
　また、図６Ｄに示すように、外部装置６００は、監視エリア４０４の外部に退避した作業者４０２或いは監視エリア４０４の外部で作業現場を監督する監督者４０３から解除許可操作を受け付けると、解除許可通知４０５をショベル５００に送信する。周辺監視装置１００は、通信機器７２により外部装置６００から解除許可通知４０５を受信すると、ショベル５００の外部で警報或いは動作制限の解除が許可されたと判定する。そして、周辺監視装置１００は、音声出力装置５２を停止させると共に、ゲートロック弁５４を作動させて、警報の解除及びショベル５００の動作制限の解除を行う。これにより、周辺監視装置１００は、ショベル５００の外部の作業者４０２や監督者４０３等の所定の人にショベル５００の周辺の安全状況を確認させた上で、警報やショベル５００の動作制限を解除することができる。
　また、図６Ｄに示す状況において、上述の如く、外部装置６００が周辺状況情報に基づき、自動的にショベル５００の安全状況を確認し、ショベル５００に解除許可通知４０５を送信してもよい。これにより、周辺監視装置１００は、外部装置６００にショベル５００の周辺の安全状況を確認させた上で、警報やショベル５００の動作制限を解除することができる。
　［周辺監視装置の動作の詳細］
　次に、図７～図９を参照して、本実施形態に係る周辺監視システム１０００による動作の詳細、具体的には、処理フローについて説明する。
　まず、図７は、周辺監視装置１００による監視対象の監視エリアへの侵入を監視する処理（監視処理）の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベル５００の運転中において、警報出力部３０３による警報の出力や動作制限部３０４によるショベル５００の動作制限が行われていない場合に、所定の処理周期ごとに、繰り返し実行される。
　ステップＳ７０２にて、検知部３０１は、撮像装置４０から入力される撮像画像に基づき、監視エリア内の監視対象を検知する処理を行う。
　ステップＳ７０４にて、検知部３０１は、監視対象が検知されたか否かを判定する。検知部３０１は、監視対象が検知された場合、ステップＳ７０６に進み、監視対象が検知されなかった場合、今回の処理を終了する。
　ステップＳ７０６にて、警報出力部３０３は、音声出力装置５２を通じて警報を出力し、動作制限部３０４は、ゲートロック弁５４を作動させて、パイロットラインを非連通とすることにより、ショベル５００の動作制限を行う。
　ステップＳ７０８にて、警報出力部３０３及び動作制限部３０４は、それぞれ、通信機器７２や外部報知装置７４を制御し、ショベル５００の外部に向けて、ショベル５００で警報の出力及び動作制限が行われている旨を通知し、今回の処理を終了する。
　続いて、図８は、外部装置６００による警報及びショベル５００の動作制限の解除を許可する処理（解除許可処理）の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、外部装置６００がショベル５００から警報出力通知や動作制限通知を受信した場合に、解除許可通知をショベル５００に送信するまでの間、所定の制御周期ごとに、繰り返し実行されてよい。また、本フローチャートによる処理は、例えば、外部装置６００がショベル５００から解除依頼通知を受信した場合に、解除許可通知をショベル５００に送信するまでの間、所定の処理周期ごとに、繰り返し実行されてよい。
　ステップＳ８０２にて、判定部６２０４は、解除許可操作受付部６２０３により解除許可操作が受け付けられたか、或いは、周辺状況情報に基づき、ショベル５００の周辺の安全状況を確認したかを判定する。判定部６２０４は、解除許可操作受付部６２０３により解除許可操作が受け付けられた場合、或いは、周辺状況情報に基づき、ショベル５００の周辺の安全状況を確認した場合、ステップＳ８０４に進み、それ以外の場合、今回の処理を終了する。
　ステップＳ８０４にて、判定部６２０４は、通信機器６１０を通じて、ショベル５００に解除許可通知を送信し、今回の処理を終了する。
　尚、本実施形態（本例）における解除許可通知は、ショベル５００における警報或いは動作制限の解除（の許可）に関する情報の一例であり、その他の態様も想定されうる。
　例えば、外部装置６００は、ショベル５００に、ショベル５００の周囲確認に関する情報、即ち、警報或いは動作制限の解除に際して、ショベル５００の周囲の確認を促す情報を送信してもよい。具体的には、外部装置６００は、ショベル５００に、オペレータによるショベル５００の周囲の確認の有無を問う内容の情報を送信してよい。これにより、周辺監視装置１００は、当該情報を受信した場合、オペレータにより周辺状況確認動作が行われたか否かを確認し、オペレータによる周辺状況確認動作が行われたときに、警報やショベル５００の動作制限を解除することができる。また、周辺監視装置１００は、当該情報を受信した場合、表示装置５０や音声出力装置５２（共に、オペレータ通知部の一例）を通じて、オペレータに対して、ショベル５００の周囲を確認したか否かを確認したり、ショベル５００の周囲を確認するように促したり等の通知を行うことができる。そして、周辺監視装置１００は、オペレータによりショベル５００の周囲を確認した旨の意思表示があったとき（例えば、所定の操作が行われた、或いは、カメラや視線センサにより所定のジェスチャ、ポーズ、或いは、視線移動が検出されたとき）や、オペレータによる周辺状況確認動作が行われたときに、警報やショベル５００の動作制限を解除することができる。
　続いて、図９は、周辺監視装置１００による警報及びショベル５００の動作制限を解除する処理（解除処理）の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベル５００の運転中、警報出力部３０３による警報の出力や動作制限部３０４によるショベル５００の動作制限が行われている場合に、所定の処理周期ごとに、繰り返し実行される。
　ステップＳ９０２にて、警報出力部３０３及び動作制限部３０４は、解除スイッチ６０が操作されたか否かを判定する。警報出力部３０３及び動作制限部３０４は、解除スイッチ６０が操作された場合、ステップＳ９０４に進み、操作されなかった場合、今回の処理を終了する。
　尚、ステップＳ９０２の判定は、警報出力部３０３及び動作制限部３０４の何れか一方で行われてもよい。
　ステップＳ９０４にて、判定部３０７は、オペレータによる周辺状況確認動作或いはショベル５００の外部での警報及び動作制限の解除の許可が行われたか否かを判定する。判定部３０７は、オペレータによる周辺状況確認動作或いはショベル５００の外部での警報及び動作制限の解除の許可が行われたと判定した場合、ステップＳ９０６に進み、それ以外の場合、今回の処理を終了する。
　ステップＳ９０６にて、警報出力部３０３及び動作制限部３０４は、それぞれ、警報の解除及びショベル５００の動作制限の解除を行い、今回の処理を終了する。
　上述の特許文献１では、作業機械における警報や動作制限を解除するための操作部が設けられ、当該操作部に対するオペレータ等の操作により、警報や作業機械の動作制限が解除されうる。そのため、作業機械周辺の状況確認が不十分な場合でも、警報や作業機械の動作制限が解除されてしまう可能性がある。
　これに対して、本例では、ショベル５００或いはショベル５００を操作するオペレータ等以外の外部装置６００や外部装置６００の操作者等、つまり、ショベル５００及びそのオペレータとは異なる第三者に相当する装置や人により、ショベル５００における警報や動作制限の解除の許否が判断される。これにより、ショベル５００及びショベル５００の外部からの目で、ショベル５００の安全性が判断されうるため、作業機械周辺の状況確認が適切になされた上で、ショベル５００における警報や動作制限を解除させることができる。よって、ショベル５００及びショベル５００の周囲の安全性をより向上させることができる。
　尚、本例では、周辺監視装置１００は、警報出力部３０３と動作制限部３０４の双方を含むが、何れか一方だけを含んでもよい。つまり、周辺監視装置１００は、監視エリア内に監視対象を検知した場合に、警報の出力及びショベル５００の動作制限の何れか一方だけを行う態様であってもよい。
　また、本例では、判定部３０７は、オペレータにより周辺状況確認動作が行われたか否かと、ショベル５００の外部で警報や動作制限の解除が許可されたか否かの双方を判定するが、何れか一方だけを判定してもよい。この場合、警報出力部３０３及び動作制限部３０４は、それぞれ、判定部３０７で判定される何れか一方の判定結果が肯定判定であり、且つ、解除スイッチ６０がオペレータにより操作された場合に、警報及びショベル５００の動作制限を解除する。換言すれば、周辺監視装置１００は、判定部３０７で判定される何れか一方の判定結果が肯定判定である場合に、解除スイッチ６０に対する操作を有効化する。また、上述の如く、解除許可通知と異なる他の態様の警報或いは動作制限の解除（の許可）に関する情報が外部装置６００からショベル５００で受信される前提の場合、周辺監視装置１００は、当該情報が受信され、且つ、その後に、オペレータによる周辺状況確認動作が行われた場合に、解除スイッチ６０に対する操作を有効化してもよい。また、同様に、周辺監視装置１００は、当該情報が受信され、且つ、その後、オペレータによりショベル５００の周囲を確認した旨の意思表示があった場合に解除スイッチ６０に対する操作を有効化してもよい。
　また、本例では、警報出力部３０３及び動作制限部３０４は、それぞれ、解除スイッチ６０が操作されることを条件として、警報や動作制限を解除するが、解除スイッチ６０の操作を条件としなくてもよい。つまり、警報出力部３０３及び動作制限部３０４は、それぞれ、判定部３０７によって、オペレータによる周辺状況確認動作、或いは、ショベル５００の外部での警報や動作制限の解除の許可が行われたことだけを条件として、警報や動作制限を解除してもよい。
　また、本例では、警報及びショベル５００の動作制限は、オペレータによる周辺状況確認動作、或いは、ショベル５００の外部での警報や動作制限の解除の許可が行われ、且つ、解除スイッチ６０が操作された場合に、解除されるが、当該態様には限定されない。例えば、警報出力部３０３及び動作制限部３０４は、それぞれ、ショベル５００の外部での警報や動作制限の解除の許可が行われるだけで、警報及びショベル５００の動作制限を解除してもよい。つまり、警報及びショベルの動作制限は、ショベル５００の外部装置６００から解除可能であってよい。ショベル５００の外部で行われる解除の許可に関する判断は、ショベル５００のオペレータやコントローラ３０等が行う判断よりも信頼性が相対的に高いと考えられるからである。また、例えば、警報出力部３０３及び動作制限部３０４は、それぞれ、オペレータによる周辺状況確認と外部での警報や動作制限の解除の許可の双方が行われ、且つ、解除スイッチ６０が操作された場合に、警報及びショベル５００の動作制限を解除してもよい。これにより、ショベル５００の作業現場の周辺の安全性を更に向上させることができる。
　また、本例において、外部装置６００における警報及びショベル５００の動作制限の解除の許否の判定は、機械学習に基づくＡＩ（Artificial Intelligence：人工知能）関連の技術を適用することにより実現されてもよい。つまり、外部装置６００からショベル５００の警報や動作制限を解除したり、警報や動作制限の解除に関する情報を送信したりするための処理は、例えば、ディープラーニング（Deep Learning）等の機械学習に基づく識別器により実行されてもよい。この場合、当該識別器は、ショベル５００や管理サーバ９００で収集される、警報や動作制限の解除を許可できない状態を示す画像（つまり、安全が確保されていないショベル５００の周辺の画像）と、許可できる状態を示す画像（つまり、安全が確保されているショベル５００の周辺画像）で構成される教師データに基づき生成されうる。
　また、本例では、一のショベル５００と、外部装置６００とを含む態様で、周辺監視システム１０００が構成されるが、複数のショベル５００と、外部装置６００とを含む態様で、周辺監視システム１０００が構成されてもよい。
　また、本例に係る周辺監視装置１００及び外部装置６００（管理端末７００、解除装置７５０、管理端末８００、管理サーバ９００）について、以下を開示する。
　（１）
　作業機械の周囲を監視する周辺監視装置であって、
　前記作業機械の周辺の所定範囲で所定の監視対象を検知する監視対象検知部と、
　前記監視対象検知部により前記監視対象が検知された場合に、警報を出力する、又は、前記作業機械の動作制限を行う制御部と、
　前記作業機械の外部での前記警報又は前記動作制限の解除に関する情報を取得する取得部と、
　オペレータにより前記警報又は前記動作制限を解除する意思が入力される解除意思入力部と、を備え、
　前記制御部は、前記警報又は前記動作制限が行われている場合に、前記取得部により前記情報が取得され、且つ、前記解除意思入力部に対して前記意思が入力された場合に、前記警報又は前記動作制限を解除する、
　周辺監視装置。
　（２）
　前記取得部は、所定の外部装置から前記警報又は動作制限の解除を許可する旨の通知を取得し、
　前記制御部は、前記取得部により前記通知が取得され、且つ、前記解除意思入力部に対して前記意思が入力された場合に、前記警報又は前記動作制限を解除する、
　（１）に記載の周辺監視装置。
　（３）
　オペレータに通知を行うオペレータ通知部を更に備え、
　前記取得部は、所定の外部装置から前記作業機械の周囲確認に関する情報を取得し、
　前記オペレータ通知部は、前記取得部により前記作業機械の周囲確認に関する情報が取得された場合に、当該情報の内容をオペレータに通知する、
　（１）に記載の周辺監視装置。
　（４）
　前記作業機械の外部に向けて前記警報の出力又は前記動作制限が行われている旨を通知する外部通知部を更に備える、
　（２）又は（３）に記載の周辺監視装置。
　（５）
　オペレータの意思で前記外部通知部による通知を行わせる外部通知意思入力部を更に備える、
　（４）に記載の周辺監視装置。
　（６）
　前記外部通知部は、前記外部装置、又は、前記外部装置の利用者のメールアドレス若しくは所定のソーシャルネットワーキングサービスのアカウントに前記警報の出力又は前記動作制限が行われている旨の通知を送信する、
　（４）又は（５）に記載の周辺監視装置。
　（７）
　前記外部通知部は、視覚的な方法、触覚的な方法、又は、聴覚的な方法によって、前記作業機械の周辺にいる人に前記警報の出力又は前記動作制限が行われている旨を通知する、
　（４）乃至（６）の何れか一項に記載の周辺監視装置。
　（８）
　前記警報又は前記動作制限が行われている場合に、前記外部装置に前記警報又は前記動作制限の解除依頼の通知を送信する解除依頼通知部を更に備える、
　（２）乃至（７）の何れか一項に記載の周辺監視装置。
　（９）
　オペレータの意思で前記解除依頼通知部による解除依頼の通知を行わせる解除依頼意思入力部を更に備える、
　（８）に記載の周辺監視装置。
　（１０）
　前記作業機械の周辺を撮像する撮像装置を更に備え、
　前記取得部は、前記撮像装置の中から、所定のポーズ又はジェスチャをしている、前記作業機械の周辺に存在する所定の人を含む撮像画像を取得し、
　前記制御部は、前記取得部により、前記ポーズ又は前記ジェスチャをしている前記人を含む撮像画像が取得され、且つ、前記解除意思入力部に対して前記意思が入力された場合に、前記警報又は前記動作制限を解除する、
　（１）に記載の周辺監視装置。
　（１１）
　前記解除意思入力部に対する前記意思の入力は、前記取得部により前記作業機械の外部で前記警報又は前記動作制限の解除が許可された旨の情報が取得された場合に有効になり、
　前記制御部は、前記解除意思入力部に対する有効な前記意思の入力があった場合に、前記警報又は前記動作制限を解除する、
　（１）乃至（１０）の何れか一項に記載の周辺監視装置。
　（１２）
　作業機械の外部に設けられ、前記作業機械又は前記作業機械と通信可能な情報処理装置と通信可能な情報処理端末であって、
　前記作業機械の周辺の所定範囲で所定の監視対象が検知され、前記作業機械で警報が出力されている、又は、前記作業機械の動作制限が行われている場合に、前記警報又は前記動作制限の解除の許否を判定する判定部と、
　前記判定部により前記警報又は前記動作制限の解除が許可された場合、前記作業機械に前記警報又は前記動作制限の解除の許可に関する情報を送信する解除許可通知部と、を備える、
　情報処理端末。
　（１３）
　前記作業機械の周辺の状況に関する情報を取得する周辺状況情報取得部を更に備え、
　前記判定部は、前記周辺状況情報取得部により取得される情報に基づき、前記警報又は前記動作制限の解除を許可する、
　（１２）に記載の情報処理端末。
　（１４）
　前記作業機械のオペレータが前記作業機械の周囲を確認したことを示す情報を取得する取得部を更に備え、
　前記判定部は、前記取得部によりオペレータが前記作業機械の周囲を確認したことを示す情報が取得された場合に、前記警報又は前記動作制限の解除を許可する、
　（１２）又は（１３）に記載の情報処理端末。
　（１５）
　前記判定部は、前記周辺状況情報取得部により取得された情報に基づき、前記作業機械の前記所定範囲内に前記監視対象がいないと確認した場合に、前記警報又は前記動作制限の解除を許可する、
　（１３）に記載の情報処理端末。
　（１６）
　当該情報処理端末の利用者が前記警報又は前記動作制限の解除を許可する操作を行う解除許可操作部を更に備え、
　前記判定部は、前記解除許可操作部が操作された場合に、前記警報又は前記動作制限の解除を許可する、
　（１２）乃至（１５）の何れか一項に記載の情報処理端末。
　（１７）
　前記作業機械から前記警報の出力又は前記動作制限が行われている旨の通知、又は、前記警報又は前記動作制限の解除依頼の通知が受信された場合に、当該情報処理端末の利用者にその旨を通知する第１通知部を更に備える、
　（１６）に記載の情報処理端末。
　（１８）
　前記作業機械の周辺の状況に関する情報を取得する周辺状況情報取得部と、
　前記周辺状況情報取得部により取得された情報の内容を当該情報処理装置の利用者に通知する第２通知部と、を更に備える、
　（１６）又は（１７）に記載の情報処理端末。
　（１９）
　前記判定部は、前記作業機械から前記警報の出力又は前記動作制限が行われている旨の通知、又は、前記警報又は前記動作制限の解除依頼の通知が受信された場合に、前記警報又は前記動作制限の解除の許否を判定する、
　（１２）乃至（１８）の何れか一項に記載の情報処理端末。
　（２０）
　前記作業機械が作業する作業現場の所定の作業員が携帯する端末、前記作業現場の所定の事務所に設けられる端末である、
　（１２）乃至（１９）の何れか一項に記載の情報処理端末。
　（２１）
　作業機械の外部に設けられ、前記作業機械と通信可能な情報処理装置であって、
　前記作業機械の周辺の所定範囲で所定の監視対象が検知され、前記作業機械で警報が出力されている、又は、前記作業機械の動作制限が行われている場合に、前記警報又は前記動作制限の解除の許否を判定する判定部と、
　前記判定部により前記警報又は前記動作制限の解除が許可された場合、前記作業機械に前記警報又は前記動作制限の解除の許可に関する情報を送信する解除許可通知部と、を備える、
　情報処理装置。
　（２２）
　作業機械の外部に設けられ、前記作業機械、若しくは、前記作業機械と通信可能な情報処理装置と、通信可能な情報処理端末、又は、前記作業機械の外部に設けられ、前記作業機械と通信可能な情報処理装置に、
　前記作業機械の周辺の所定範囲で所定の監視対象が検知され、前記作業機械で警報が出力されている、又は、前記作業機械の動作制限が行われている場合に、前記警報又は前記動作制限の解除の許否を判定する判定ステップと、
　前記判定ステップにより前記警報又は前記動作制限の解除が許可された場合、前記作業機械に前記警報又は前記動作制限の解除の許可に関する情報を送信する解除許可通知ステップと、を実行させる、
　情報処理プログラム。
　＜周辺監視システムの他の例＞
　次いで、図１０～図１８を参照して、周辺監視システム１０００の他の例について説明する。本例では、主に、周辺監視装置１００及び周辺監視装置１００が搭載されるショベル５００の構成が異なる。
　以下、本例では、上述した一例と異なる部分を中心に説明を行い、上述の一例と重複する説明を省略する場合がある。例えば、本例では、便宜上、周辺監視システム１０００における周辺監視装置１００及びショベル５００以外の構成、つまり、外部装置６００に関する説明や図示が省略される場合がある。また、本例では、便宜上、周辺監視装置１００及びショベル５００の構成のうち、周辺監視装置１００（ショベル５００）と外部装置６００とのやり取りに関する説明や図示が省略される場合がある。
　［周辺監視装置の構成］
　次に、図１０、図１１を参照して、本実施形態に係る周辺監視装置１００の具体的な構成について説明をする。
　図１０は、本実施形態に係る周辺監視装置１００が搭載されるショベル５００の他の例を示す図であり、具体的には、ショベル５００の側面図である。図１１は、本実施形態に係る周辺監視装置１００の構成の他の例を示すブロック図である。図１０、図１１において、便宜上、周辺監視装置１００及びショベル５００の構成のうち、周辺監視装置１００（ショベル５００）と外部装置６００とのやり取りに関する構成（例えば、解除依頼通知部３０５、周辺状況情報送信部３０６、判定部３０７、確認動作状態検知部７０等）の図示は、省略される。
　尚、本実施形態に係る周辺監視装置１００は、上述の如く、ショベル５００以外の任意の作業機械に搭載されてよい。例えば、周辺監視装置１００は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等に搭載されてもよい。
　周辺監視装置１００は、上述の一例と同様、ショベル５００の周辺の所定範囲内への監視対象である所定の物体、つまり、監視対象の侵入を監視し、監視対象を検知した場合、警報を出力したり、ショベルの動作を制限したりする。
　周辺監視装置１００は、コントローラ３０と、撮像装置４０と、表示装置５０と、音声出力装置５２と、ゲートロック弁５４と、解除スイッチ６０と、監視機能ＯＮ／ＯＦＦスイッチ（以下、便宜的に「監視機能スイッチ」と称する）６２と、表示内容切替スイッチ６４を含む。
　コントローラ３０は、ショベル５００の駆動制御を行う主たる制御装置である。例えば、コントローラ３０は、キャビン１０内に搭載され、周辺監視装置１００に関する各種制御処理を行う。
　コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよい。コントローラ３０は、上述の如く、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、補助記憶装置、ＲＴＣ、各種通信用インターフェース等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、ＲＯＭや補助記憶装置に格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、検知部３０１と、表示制御部３０２と、警報出力部３０３と、動作制限部３０４を含む。
　撮像装置４０（センサの一例）は、上部旋回体３の上部に取り付けられ、ショベル５００の周辺を撮像する。撮像装置４０は、カメラ４０Ｂ，４０Ｌ，４０Ｒを含む。
　カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒは、上述の如く、それぞれ、上部旋回体３の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体３の後方、左側方、及び、右側方を撮像する。例えば、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒ（それぞれ、単眼カメラの一例）は、それぞれ、非常に広い画角を有する単眼の広角カメラである。具体的には、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒは、それぞれ、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲を撮像する。カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒは、それぞれ、ショベル５００の運転中、所定周期（例えば、１／３０秒）ごとに、撮像画像を出力し、出力された撮像画像は、コントローラ３０に取り込まれる。
　監視機能スイッチ６２は、例えば、キャビン１０内に設けられ、オペレータ等が周辺監視装置１００による監視機能をＯＮ／ＯＦＦするための操作部である。つまり、監視機能スイッチ６２は、監視対象の検知に基づき実行される、警報の出力及びショベル５００の動作制限の機能を有効状態或いは無効状態にするための操作部である。
　例えば、監視機能スイッチ６２に対するオペレータ等の操作に応じて、監視機能が有効になっている場合、後述する検知部３０１、表示制御部３０２、警報出力部３０３、及び、動作制限部３０４の機能は、有効になっている。
　一方、例えば、監視機能スイッチ６２に対するオペレータ等の操作に応じて、監視機能が無効になっている場合、検知部３０１、表示制御部３０２（少なくとも監視機能に関する部分）、警報出力部３０３、及び、動作制限部３０４の全ての機能は、無効になっている。また、この場合、検知部３０１、表示制御部３０２、警報出力部３０３、及び、動作制限部３０４のうち、警報出力部３０３及び動作制限部３０４の機能だけが無効であり、検知部３０１や表示制御部３０２の監視機能に関する部分の機能は有効のままであってもよい。これにより、監視機能を無効に維持しつつ、監視機能スイッチ６２の操作に応じて、監視機能が有効化された場合に、検知部３０１、表示制御部３０２の機能を再起動させる必要がなく、監視機能の再開までに要する時間を短縮させることができる。
　また、例えば、監視機能スイッチ６２に対するオペレータ等の操作に応じて、監視機能が無効になっている場合、監視機能が無効状態であることを示すインジケータが、コントローラ３０（後述する表示制御部３０２）による制御の下、表示装置５０に表示される。また、キャビン１０内に赤色ランプ等で構成される専用インジケータが設けられ、例えば、監視機能スイッチ６２に対するオペレータ等の操作に応じて、監視機能が無効になっている場合、当該専用インジケータが点灯する態様であってもよい。これにより、周辺監視装置１００は、監視機能（つまり、監視対象の検知に基づく警報の出力やショベル５００の動作制限等の機能）が無効状態であることを、オペレータ等に認識させることができる。
　監視機能スイッチ６２の操作状態に関する情報は、コントローラ３０に取り込まれる。
　表示内容切替スイッチ６４は、例えば、キャビン１０内に設けられ、オペレータ等が表示装置５０に表示される内容を切り替えるための操作部である。例えば、表示内容切替スイッチ６４は、表示装置５０の表示内容を、撮像装置４０の撮像画像にするのか、後述の周辺画像を含む監視画像にするのか、或いは、双方の同時表示にするのか等を切り替える操作部である。表示内容切替スイッチ６４の操作状態に関する情報は、コントローラ３０に取り込まれる。
　検知部３０１は、撮像装置４０により撮像された撮像画像に基づき、ショベル５００の周辺の所定領域、具体的には、ショベル５００から見た水平方向、つまり、ショベル５００が作業している（下部走行体１が接地している）平面に沿う方向（以下、単に「水平方向」と称する）の監視エリア内において、監視対象を検知する。具体的には、検知部３０１は、ショベル５００からの水平方向の距離Ｄが所定距離Ｄ１（例えば、５メートル）以内の監視エリア内で、監視対象を検知する。
　例えば、上述の図４に示すように、監視エリアは、カメラ４０Ｂ、カメラ４０Ｌ、及び、カメラ４０Ｒのそれぞれに対応する監視エリアＭＡＢ、監視エリアＭＡＬ、及び、監視エリアＭＡＲを含む。
　監視エリアＭＡＢ、監視エリアＭＡＬ、及び、監視エリアＭＡＲは、それぞれ、対応するカメラ４０Ｂ，４０Ｌ，４０Ｒの水平方向の画角と、カメラ４０Ｂ，４０Ｌ，４０Ｒから水平方向に延在する監視可能距離で規定されうる。
　また、監視エリアＭＡＢ、監視エリアＭＡＬ、及び、監視エリアＭＡＲのうち、コントローラ３０の利用可能な処理リソースの範囲内で、一の監視エリアで監視可能距離を長くし、他の監視エリアで短くする等のトレードオフが可能である（図中の点線及び一点鎖線参照）。
　図１０及び図１１に戻り、また、検知部３０１は、撮像装置４０により撮像された撮像画像に基づき、上述のショベル５００から見た水平方向の条件に加えて、ショベル５００から見た高さ方向、つまり、ショベル５００が作業している（下部走行体１が接地している）平面を基準とする鉛直方向（以下、単に「高さ方向」と称する）の条件を満足する監視対象を検知する。具体的には、検知部３０１は、水平方向で規定される監視エリア内において、高さ方向で所定範囲ＨＲ１（第１範囲の一例）内の位置に存在する監視対象を検知する。つまり、検知部３０１は、監視エリア内において、ショベル５００が作業を行う作業面との高さ方向の差が比較的小さい監視対象を検知する。より具体的には、検知部３０１は、監視エリア内において、ショベル５００の特定の高さに関する基準位置に対して、正方向及び負方向の少なくとも一方の範囲で規定される所定範囲ＨＲ１（例えば、－２メートル～＋２メートル等）内に存在する監視対象を検知する。これにより、周辺監視装置１００は、ショベル５００の作業面との間の高さ方向の差が比較的大きい位置に存在する監視対象を監視機能の対象外にすることができる。
　尚、当該基準位置は、例えば、ショベル５００の作業面の高さに対応する下部走行体１のクローラの接地面の中心位置や前端或いは後端の位置等が適宜選択されうる。
　例えば、検知部３０１は、既知の各種画像処理手法や人工知能（ＡＩ：Artificial Intelligence）等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。
　また、検知部３０１は、既知の各種手法を適用することにより、単眼の撮像装置４０による撮像画像に含まれる、認識された監視対象（人）が存在する位置（以下、「実在位置」と称する。例えば、足元位置）を判定（推定）することができる。
　例えば、検知部３０１は、認識された監視対象の撮像画像上における大きさ（例えば、撮像画像上の高さ方向の大きさ）に基づき、ショベル５００から見た水平方向の位置（以下、「水平位置」と称する）を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル５００から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲（例えば、想定される人の身長の範囲）が規定されうるため、想定された大きさの範囲に含まれる当該監視対象のショベル５００から見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検知部３０１は、例えば、コントローラ３０の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル５００から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置（ショベル５００からの水平位置）を推定することができる。
　また、例えば、検知部３０１は、監視対象がショベル５００（の下部走行体１）と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換（ホモグラフィ）等によって、その実在位置（例えば、足元位置）を推定することができる。この場合、撮像画像を構成するある部分（ある点）は、ショベル５００と同じ平面上のある位置に対応づけられる。
　ここで、監視対象の足元位置とショベル５００の作業面との間に高さ方向の差がある場合、撮像画像上の監視対象は、監視対象がショベル５００の作業面と同じ平面上に位置する場合（つまり、ショベル５００と監視対象とが高さ方向で同じ位置にいる場合）と異なって見える。
　例えば、ショベル５００から見た水平位置が同じであっても、ショベル５００の作業面と異なる高さ方向の位置（以下、「高さ位置」と称する）にいる監視対象は、ショベル５００の作業面と同じ高さ位置にいる場合に対して、撮像画像上における高さ方向（例えば、撮像画像上の上下方向、或いは、上下方向に対して歪みによる像の倒れ等を考慮して規定される方向）にずれて見える。また、ショベル５００の作業面と異なる高さ位置にいる監視対象は、ショベル５００の作業面と同じ高さ位置にいる場合に対して、撮像装置４０から見た方向にも差が生じるため、撮像画像上における高さ方向に対応する寸法にも差が生じる。
　また、例えば、ショベル５００の作業面と異なる高さ位置にいる監視対象は、仮に、監視対象がショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置にいる場合に対して、撮像画像上における高さ方向に対応する寸法に差が生じる。上述の如く、撮像装置４０は、地面に向けて斜め下方向に光軸が向けられているため、監視対象の高さ位置がショベル５００の作業面からずれると、撮像装置４０との距離が近くなったり、遠くなったりすることになるからである。
　つまり、検知部３０１は、撮像画像上の監視対象の見え方がある範囲内（所定範囲ＨＲ２内）にあるときに、監視対象が、実空間において、高さ方向で所定範囲ＨＲ１内にあると判定することができる。
　具体的には、検知部３０１は、撮像画像上における監視対象の基準位置（例えば、ショベル５００の作業面上における推定した監視対象の水平位置に相当する撮像画像上の基準線）に対する高さ方向でのずれ量が所定範囲ＨＲ２内にあるときに、実空間において、監視対象が所定範囲ＨＲ１内にあると判定することができる。このとき、所定範囲ＨＲ２は、検知部３０１により推定される監視対象の実在位置（ショベル５００から見た水平位置）に応じて予め規定される。より具体的には、所定範囲ＨＲ２は、検知部３０１により推定される監視対象の実在位置のショベル５００から見た遠近の程度に応じて予め規定される。監視対象の足元位置とショベル５００の作業面との高さ方向の差に対応する撮像画像上のずれ量は、監視対象がショベル５００（撮像装置）から離れる（遠くなる）ほど小さくなるからである。
　また、検知部３０１は、撮像画像上の監視対象の高さ方向に対応する寸法が、所定範囲ＨＲ２内にあるときに、監視対象が、実空間において、高さ方向で所定範囲ＨＲ１内にあると判定することができる。このとき、所定範囲ＨＲ２は、例えば、撮像画像上の監視対象が含まれる画像部分の位置に応じて予め規定される。より具体的には、所定範囲ＨＲ２は、撮像画像上の監視対象が含まれる画像部分の位置に応じて変化する態様で予め規定される。監視対象がショベル５００の作業面と同じ平面に存在する前提下において、撮像画像上の任意の画像部分は、ショベル５００の作業面上のある位置に一対一で対応づけられるため、ショベル５００から見たその位置の遠近の程度によって、監視対象の高さ方向に対応する寸法が異なりうるからである。換言すれば、所定範囲ＨＲ２は、検知部３０１により推定される実在位置（監視対象がショベル５００の作業面と同じ平面上に存在する前提下での実在位置）の遠近の程度に応じて規定される。
　尚、当該所定範囲ＨＲ２は、実空間上で規定される所定範囲ＨＲ１に対応する撮像画像上の見え方の相違が予め演算処理されることにより導出されるマップ等の態様で、コントローラ３０の補助記憶装置等の内部メモリに予め格納される。このとき、所定範囲ＨＲ２は、想定される監視対象の高さ方向に対応する寸法（例えば、想定される人の身長）や撮像装置４０の取り付け高さや取り付け姿勢（角度）に応じて、規定されうる。想定される監視対象の高さ方向に対応する寸法によって、撮像装置４０の撮像画像上における監視対象の見え方の変化の程度が異なりうるからである。また、撮像装置４０の取り付け高さや取り付け姿勢によって、監視対象と光軸との関係が異なり、結果として、撮像装置４０の撮像画像上における監視対象の見え方の変化の程度が異なりうるからである。また、ショベル５００として複数の機種（例えば、中型機、大型機等）がある場合、撮像装置４０の取り付け高さ等が異なるため、その結果、当該所定範囲ＨＲ２は、機種ごとに異なりうる。よって、想定される複数の機種ごとの所定範囲ＨＲ２（具体的には、所定範囲ＨＲ２に対応する上述のマップ等）は、全て、コントローラ３０内の内部メモリに予め格納されていてもよい。これにより、機種ごとにコントローラ３０の仕様を変更する必要が無く、コントローラ３０の共通化を図ることができる。
　例えば、図１２（図１２Ａ～図１２Ｄ）は、上述した高さ方向の条件によって、監視機能（警報の出力及びショベル５００の動作制限等）の対象外となる監視対象の具体例を示す図である。
　図１２Ａは、作業者Ｗがショベル５００の作業面よりも高さ方向で一段下がった平面に存在する状況を示す図である。
　本例では、作業者Ｗは、ショベル５００から見た同じ水平位置において、ショベル５００と同じ作業面上にいる仮想的な作業者（仮想作業者）Ｗｖよりも、下方に位置している。そのため、撮像装置４０の撮像画像上に含まれる作業者Ｗは、ショベル５００から見た同じ水平位置で、ショベル５００と同じ作業面上に存在する仮想作業者Ｗｖに対して高さ方向で下にずれて見える。
　また、本例では、作業者Ｗは、ショベル５００と同じ作業面上に存在する場合に対して、撮像装置４０からの距離が遠くなる。そのため、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に、作業者Ｗが撮像装置４０の光軸に合わせて投影されることにより得られる像Ｗｉは、その高さ方向の寸法が、実際の作業者Ｗよりも小さくなる。つまり、撮像装置４０の撮像画像上に含まれる作業者Ｗは、その高さ方向に対応する寸法が、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に存在する場合よりも小さく見える。
　また、同様に、図１２Ｂは、作業者Ｗがショベル５００の作業面よりも高さ方向で一段上がった平面に存在する状況を示す図である。
　本例では、作業者Ｗは、ショベル５００から見た同じ水平位置において、ショベル５００と同じ作業面上にいる仮想作業者Ｗｖよりも、上方に位置している。そのため、撮像装置４０の撮像画像上に含まれる作業者Ｗは、ショベル５００から見た同じ水平位置で、ショベル５００と同じ作業面上に存在する仮想作業者Ｗｖに対して高さ方向で上にずれて見える。
　また、本例では、作業者Ｗは、ショベル５００と同じ作業面上に存在する場合に対して、撮像装置４０からの距離が近くなる。そのため、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に、作業者Ｗが撮像装置４０の光軸に合わせて投影されることにより得られる像Ｗｉは、その高さ方向の寸法が、実際の作業者Ｗよりも大きくなる。つまり、撮像装置４０の撮像画像上に含まれる作業者Ｗは、その高さ方向に対応する寸法が、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に存在する場合よりも大きく見える。
　よって、高さ方向の上下の段差が所定範囲ＨＲ１を超える場合、撮像画像上の作業者Ｗの見え方は、ショベル５００の作業面と同じ平面に存在する場合に対して、所定範囲ＨＲ２外になる。そのため、検知部３０１は、当該作業者Ｗを検知せず、周辺監視装置１００の監視機能の対象外になる。ショベル５００が、その作業面と比較的大きな段差を有する他の平面に移動する可能性は極めて低く、当該他の平面の作業者Ｗとの接触等の可能性も極めて低いと考えることができるからである。
　また、図１２Ｃは、ショベル５００が傾斜面で作業しているときに、作業者Ｗが傾斜面の下り方向に隣接する水平面に存在する状況を示す図である。
　本例では、作業者Ｗは、ショベル５００から見た同じ水平位置において、傾斜面と水平面との角度差に応じて、ショベル５００と同じ作業面上にいる仮想作業者Ｗｖよりも高さ方向で上方（つまり、高くなる方向）に存在することになる。そのため、図１２Ｂの場合と同様、撮像装置４０の撮像画像上に含まれる作業者Ｗは、図１２Ｂの場合と同様、ショベル５００から見た同じ水平位置で、ショベル５００と同じ作業面上に存在する仮想作業者Ｗｖに対して高さ方向で上にずれて見える。
　また、本例では、図１２Ｂの場合と同様、作業者Ｗは、ショベル５００と同じ作業面上に存在する場合に対して、撮像装置４０からの距離が近くなる。そのため、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に、作業者Ｗが撮像装置４０の光軸に合わせて投影されることにより得られる像Ｗｉは、その高さ方向の寸法が、実際の作業者Ｗよりも大きくなる。つまり、撮像装置４０の撮像画像上に含まれる作業者Ｗは、その高さ方向に対応する寸法が、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に存在する場合よりも大きく見える。
　また、同様に、図１２Ｄは、ショベル５００が傾斜面で作業しているときに、作業者Ｗが傾斜面の上り方向に隣接する水平面に存在する状況を示す図である。
　本例では、作業者Ｗは、ショベル５００から見た同じ水平位置において、傾斜面と水平面との角度差に応じて、ショベル５００と同じ作業面上にいる仮想作業者Ｗｖよりも高さ方向で下方（つまり、低くなる方向）に存在することになる。そのため、図１２Ａの場合と同様、撮像装置４０の撮像画像上に含まれる作業者Ｗは、仮想作業者Ｗｖに対して高さ方向で下にずれて見える。
　また、本例では、図１２Ａの場合と同様、作業者Ｗは、ショベル５００と同じ作業面上に存在する場合に対して、撮像装置４０からの距離が遠くなる。そのため、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に、作業者Ｗが撮像装置４０の光軸に合わせて投影されることにより得られる像Ｗｉは、その高さ方向の寸法が、実際の作業者Ｗよりも小さくなる。つまり、撮像装置４０の撮像画像上に含まれる作業者Ｗは、その高さ方向に対応する寸法が、ショベル５００の作業面と同じ平面上に存在する前提下で推定された実在位置に存在する場合よりも小さく見える。
　よって、ショベル５００が作業中の傾斜面と作業者Ｗが存在する水平面との角度差に起因する作業者Ｗの足元位置と傾斜面との高さ方向の差が所定範囲ＨＲ１を超える場合、撮像画像上の作業者Ｗの見え方は、ショベル５００の作業面と同じ平面に存在する場合に対して、所定範囲ＨＲ２外になる。そのため、検知部３０１は、作業者Ｗを検知せず、周辺監視装置１００の監視機能の対象外となる。作業者Ｗの足元位置とショベル５００の作業面との高さ方向の差が比較的大きい状況は、ショベル５００の作業面と作業者Ｗの存在面との間の角度差が比較的大きい状況やショベル５００と作業者Ｗとの間の水平方向の距離もある程度離れている状況に対応するからである。より具体的には、ショベル５００の作業面と作業者Ｗの存在面との間の角度差がある程度大きくなると、ショベル５００が角度差を超えて作業者Ｗの存在面まで移動してくる可能性が極めて低くなり、作業者Ｗとの接触等の可能性も極めて低いと考えることができるからである。また、ショベル５００と作業者Ｗとの間の水平方向の距離がある程度離れていると、ショベル５００と作業者Ｗとの間の接触等の可能性が更に低くなるからである。
　尚、監視機能の対象外とする条件に対応する高さ方向の上述した段差や角度差の範囲、つまり、所定範囲ＨＲ１は、ショベル５００の走行性能に応じて、規定されうる。ショベル５００の走行性能によって、段差や角度差を超えて、ショベル５００が移動してくる可能性が異なり得るからである。
　また、検知部３０１は、他の方法で、撮像装置４０の撮像画像から認識される監視対象（人）が、高さ方向で所定範囲ＨＲ１内にあるか否かを判定してもよい。
　例えば、図１３は、周辺監視装置１００が搭載されるショベル５００の更に他の例を示す図である。本例では、ショベル５００、つまり、周辺監視装置１００は、更に、ライダ（ＬＩＤＡＲ：Light Detection and Ranging）４２を含む。
　ＬＩＤＡＲ４２（センサの一例）は、ショベル５００の周辺の障害物や地形を含む物体を検出する。また、ＬＩＤＡＲ４２は、検出した物体（検出物体）の位置（具体的には、当該物体のショベル５００から見た方向及び距離）に関する情報を出力する。つまり、ＬＩＤＡＲ４２は、ショベル５００の周辺の地形に関する位置情報（地形情報）を出力することができる。
　これにより、検知部３０１は、ＬＩＤＡＲ４２から出力される地形情報に基づき、撮像画像から認識した監視対象の水平方向の位置に対応する地形を特定することができる。そのため、検知部３０１は、特定した地形に対応する高さ方向の位置に基づき、認識した監視対象が、高さ方向で所定範囲ＨＲ１内にあるか否かを判定することができる。
　尚、本例では、地形情報が取得可能であれば、他のセンサが採用されてもよい。例えば、ＬＩＤＡＲ４２の代わりに、ミリ波レーダ、ステレオカメラ等が採用されてもよい。
　また、例えば、図１４は、周辺監視装置１００が搭載されるショベル５００の更に他の例を示す図である。本例では、ショベル５００、つまり、周辺監視装置１００は、更に、ＧＰＳ（Global Positioning System）モジュール８０と、通信機器７２を含む。
　ＧＰＳモジュール８０（位置情報取得部の一例）は、ショベル５００の上空の３以上、好ましくは、４以上の衛星から送信されるＧＰＳ信号を受信し、ショベル５００の位置を測位する。ＧＰＳモジュール８０により測位されたショベル５００の位置情報は、コントローラ３０に取り込まれる。
　通信機器７２（地形情報取得部の一例）は、所定の外部装置（例えば、作業現場の外部に設けられる管理サーバ９００や作業現場の管理事務所に設けられる管理端末７００等）との間で、所定の方式での通信を行う。通信機器７２は、例えば、所定の通信ネットワークを通じて外部装置と通信を行う移動通信モジュールや、比較的近くに存在する外部装置と通信を行うＲＦ（Radio Frequency）通信機器等である。
　これにより、コントローラ３０は、通信機器７２を通じて、所定の外部装置（例えば管理サーバ９００等）にアクセスし、当該外部装置からショベル５００の作業現場の情報化施工に関する地形情報を取得することができる。そのため、検知部３０１は、ＧＰＳモジュール８０によるショベル５００の位置情報と、作業現場の地形情報とに基づき、作業現場におけるショベル５００の位置を特定すると共に、撮像画像から認識した監視対象の水平方向の位置に対応する地形を特定することができる。そのため、検知部３０１は、図１３の例示の場合と同様、特定した地形に対応する高さ方向の位置に基づき、認識した監視対象が、高さ方向で所定範囲ＨＲ１内にあるか否かを判定することができる。
　尚、検知部３０１は、撮像装置４０の撮像画像に代えて、或いは、加えて、ショベル５００に搭載される他のセンサの検出結果（距離画像等）に基づき、ショベル５００の周辺の監視対象を検知してもよい。検知部３０１は、例えば、ショベル５００に搭載されるミリ波レーダ、ＬＩＤＡＲ、ステレオカメラ等の検出結果に基づき、監視対象を検出することができる。この場合、検知部３０１は、図１２Ａ～図１２Ｄに対応する方法によって、監視対象が高さ方向で所定範囲ＨＲ１内にあるか否かを判定してよい。
　表示制御部３０２は、表示装置５０に各種情報画像を表示させる。
　例えば、表示制御部３０２は、オペレータによる表示内容切替スイッチ６４に対する操作に応じて、表示装置５０に、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの少なくとも一つのカメラの撮像画像を表示させる。以下、表示装置５０に表示される当該撮像画像を「スルー画像」と称する場合がある。
　また、例えば、表示制御部３０２は、オペレータによる表示内容切替スイッチ６４に対する操作に応じて、撮像装置４０の撮像画像に基づき、周辺画像（合成画像の一例）を生成し、表示装置５０に表示させる。
　具体的には、表示制御部３０２は、周辺画像として、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、撮像装置４０の撮像範囲とショベル５００との相対位置関係を明示するため、ショベル５００を模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベル５００と撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。
　尚、表示制御部３０２の機能は、表示装置５０に内蔵されてもよい。この場合、撮像装置４０（カメラ４０Ｂ，４０Ｌ，４０Ｒ）の撮像画像、及び、検知部３０１の検知結果等の情報は、それぞれ、撮像装置４０及びコントローラ３０から表示装置５０に取り込まれる。
　例えば、図１５は、表示装置５０に表示される監視用画像ＭＰの一例を示す図である。
　図１５に示すように、表示装置５０は、各種情報画像が表示される表示領域である表示部５０Ａと、表示部５０Ａに表示される各種情報画像に関するオペレータ等による操作を受け付ける、ボタンスイッチ等のハードウェアによる操作部５０Ｂを含む。
　表示部５０Ａは、例えば、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）画面である。表示部５０Ａには、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像ＭＰが表示されている。これにより、オペレータ等は、周辺画像ＥＰに写っている監視対象（即ち、人）と、ショベル５００との位置関係を適切に把握することができる。
　本例の周辺画像ＥＰは、ショベル５００に隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベル５００から当該周辺領域を水平方向に見た水平画像ＨＶＰとを組み合わせた視点変換画像である。視点変換画像である周辺画像ＥＰは、カメラ４０Ｂ，４０Ｌ，４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
　また、監視用画像ＭＰには、ガイドラインＧＬ１が重畳表示される。ガイドラインＧＬ１は、ショベル５００からの水平方向の距離Ｄが所定距離Ｄ２（≦Ｄ１）の位置を表す。つまり、ガイドラインＧＬ１は、ショベル５００の真上から見た平面視に対応するショベル画像ＣＧの輪郭形状を、ショベル画像ＣＧの外側に所定距離Ｄ２に相当する量だけオフセット（拡大）させた線分である。これにより、オペレータ等は、周辺画像に監視対象（即ち、人）が写っている場合に、ショベル５００からどの程度離れた位置にいるかを把握することができる。
　尚、検知部３０１の監視対象を検知するための処理（監視対象検知処理）と、表示制御部３０２による監視用画像（周辺画像）を生成する処理（周辺画像生成処理）は、非同期処理であってよい。この場合、コントローラ３０において、周辺画像生成処理は、監視対象検知処理よりも、起動や処理周期が高速になるような設定であってよい。これにより、周辺画像生成処理が滞り、表示装置５０に表示される監視用画像内の周辺画像が更新されないような事態を抑制することができる。
　図１０及び図１１に戻り、警報出力部３０３（制御部の一例）は、上述の如く、検知部３０１により水平方向で規定される監視エリア内において、高さ方向で所定範囲ＨＲ１内の監視対象が検知された場合、キャビン１０の内部或いは外部に向けて、警報を出力する。
　例えば、警報出力部３０３は、上述の如く、聴覚的な方法、つまり、音による警報を出力する。具体的には、警報出力部３０３は、音声出力装置５２に制御指令を出力し、警告音を出力させる。
　また、例えば、警報出力部３０３は、上述の如く、視覚的な方法、つまり、表示装置５０への表示による警報を出力する。具体的には、警報出力部３０３は、表示制御部３０２に警報要求を送信する。これにより、表示制御部３０２は、警報要求に応じて、表示装置５０に表示されるスルー画像或いは監視用画像ＭＰの周辺画像ＥＰに含まれる監視対象である人を強調させることで、表示装置５０は、オペレータに対する警報を出力することができる。警報出力部３０３による監視対象の強調態様の詳細は、後述する（図１６Ａ～１６Ｄ参照）。
　尚、警報出力部３０３は、上述の如く、触覚的な方法、例えば、オペレータが着座する操縦席を振動させる振動発生装置を通じて、警報を出力してもよい。
　動作制限部３０４（制御部の一例）は、上述の如く、検知部３０１により水平方向で規定される監視エリア内において、高さ方向で所定範囲ＨＲ１内の監視対象が検知された場合、ショベル５００の動作要素の動作を制限する。
　［監視対象の検知時における表示装置の表示内容］
　次に、図１６（図１６Ａ～図１６Ｄ）を参照して、検知部３０１により監視対象が検知されている場合の表示装置５０の表示内容の具体例について説明する。
　図１６Ａ～図１６Ｄは、検知部３０１により監視対象が検知されている場合の表示装置５０の表示内容の具体例を示す図である。
　まず、図１６Ａは、表示装置５０にカメラ４０Ｂ，４０Ｌ，４０Ｒのうちの何れか一つの選択されたカメラのスルー画像ＴＰが表示されている状況で、監視対象（作業者Ｗ１）が検知された場合の表示装置５０に表示されるスルー画像ＴＰの一例を示す図である。以下、表示装置５０に表示されているスルー画像ＴＰに対応する、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの何れか一つの選択されたカメラを、便宜的に、「選択カメラ」と称する場合がある。
　尚、オペレータは、例えば、表示内容切替スイッチ６４を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの中から表示装置５０に表示させるスルー画像ＴＰに対応するカメラ（選択カメラ）を選択する（切り替える）ことができる。また、本例の作業者Ｗ１は、水平方向で監視エリア内に存在し、且つ、高さ方向で所定範囲ＨＲ１内に存在する前提で説明を進める。以下、後述する図１６Ｂ～図１６Ｄの作業者Ｗ２～Ｗ４についても同様の前提である。
　図１６Ａに示すように、本例のスルー画像ＴＰの中央部には、ショベル５００の周辺で作業する作業者Ｗ１が写っている（つまり、作業者Ｗ１が含まれる）。
　このとき、作業者Ｗ１は、水平方向において、選択カメラの略真正面に立っている。換言すれば、作業者Ｗ１は、選択カメラの水平方向における画角の中央付近に存在する。そのため、実空間の水平方向に対応する、スルー画像ＴＰ上の左右方向での作業者Ｗ１が含まれる画像部分の歪みは、非常に小さく、例えば、作業者Ｗ１の像がスルー画像ＴＰの左右方向の外側に向けて倒れる現象（以下、便宜的に「像倒れ現象」と称する）等は発生しない。よって、地面上に立っている作業者Ｗ１は、スルー画像ＴＰ上において、表示部５０Ａの上下方向に沿って立っているように見える。
　作業者Ｗ１は、上述の如く、水平方向で監視エリア内に存在し、且つ、高さ方向で所定範囲ＨＲ１内に存在する。そのため、検知部３０１は、当該作業者Ｗ１を検知し、警報出力部３０３は、表示制御部３０２を通じて、表示装置５０に表示されるスルー画像ＴＰに含まれる作業者Ｗ１を強調させるマーカ、具体的には、作業者Ｗ１を取り囲む枠ＦＲ１を重畳して表示させる。これにより、オペレータ等は、スルー画像ＴＰを確認することで、ショベルの周辺で監視エリア内に進入した作業者Ｗ１を容易に認識することができ、当該作業者Ｗ１がどのような動作（作業）を行っているか等を素早く把握することができる。
　このとき、枠ＦＲ１は、実在空間における高さ方向、つまり、地面に立っている作業者Ｗ１の足元位置から頭部位置に向かう方向（以下、便宜的に、「身長方向」と称する）に延在する四角形で構成される。本例の場合、上述の如く、実空間の水平方向において、作業者Ｗ１が選択カメラの略真正面に立っていることから、作業者Ｗ１の身長方向は、表示部５０Ａの縦方向（具体的には、表示部５０Ａの上方向）に相当する。そのため、枠ＦＲ１は、スルー画像ＴＰ上の作業者Ｗ１の足元位置付近の下方に一辺を有すると共に、当該底辺から身長方向に対応する表示部５０Ａの上方向に延在し、作業者Ｗ１の頭部位置に隣接する上方に上述の一辺と対向する他辺を有する四角形で構成される。これにより、作業者Ｗ１の身長方向（本例では、表示部５０Ａの上方向）に合わせて、作業者Ｗ１を強調させる枠ＦＲ１が表示されるため、オペレータ等は、検知された監視対象をスルー画像ＴＰ上で認識し易くなる。
　また、上述の如く、カメラ４０Ｂ，４０Ｌ，４０Ｒは、それぞれ、上部旋回体３の上端部に取り付けられ、ショベル５００の周辺の地面に向かって斜め下方向に光軸を向ける態様でショベル５００の周辺を撮像する。その結果、地面に立っている作業者Ｗ１は、スルー画像ＴＰ上において、地面近くの足元位置から頭部位置に近づくほどその像（体）が大きく見える。そのため、枠ＦＲ１を構成する四角形は、スルー画像ＴＰ上における作業者Ｗ１の見え方に合わせて、その身長方向での幅が足元位置から頭部位置に近づくにつれて広くなる、略台形形状を有する。これにより、枠ＦＲ１が作業者Ｗ１のスルー画像ＴＰ上の位置によっての見え方の違い、つまり、作業者Ｗ１のスルー画像ＴＰ上の高さ方向の位置によっての大きさの変化に沿うように形成されるため、オペレータ等は、検知部３０１により検知された監視対象をスルー画像ＴＰ上で更に認識し易くなる。
　続いて、図１６Ｂは、表示装置５０に選択カメラのスルー画像ＴＰが表示されている状況で、監視対象（作業者Ｗ２）が検知された場合の表示装置５０に表示されるスルー画像ＴＰの他の例を示す図である。
　図１６Ｂに示すように、本例のスルー画像ＴＰにおける左右方向の中央より左寄りの部分には、ショベル５００の周辺で作業する作業者Ｗ２が写っている（含まれる）。
　このとき、作業者Ｗ２は、水平方向において、選択カメラから見た真正面を基準として左側にある程度外れた位置を歩いている。換言すれば、作業者Ｗ２は、選択カメラの水平方向における画角の中央から左方向にある程度外れた位置に存在する。そのため、実空間の水平方向に対応する、スルー画像ＴＰ上の左右方向での作業者Ｗ２が含まれる部分の歪みが比較的大きくなる。具体的には、図１６Ｂに示すように、作業者Ｗ２の像がスルー画像ＴＰの外側、つまり、左方向に傾斜する（倒れる）現象、つまり、像倒れ現象が発生する。
　作業者Ｗ２は、図１６Ａの作業者Ｗ１の場合と同様、水平方向で監視エリア内に存在し、且つ、高さ方向で、所定範囲ＨＲ１内に存在する。そのため、検知部３０１は、当該作業者Ｗ２を検知し、警報出力部３０３は、表示制御部３０２を通じて、図１６Ａの場合と同様、表示装置５０に表示されるスルー画像ＴＰに含まれる作業者Ｗ２を取り囲む枠ＦＲ２を重畳して表示させる。
　このとき、枠ＦＲ２は、図１６Ａの枠ＦＲ１の場合と同様、実在空間における高さ方向、つまり、地面に立っている作業者Ｗ２の身長方向に延在する四角形で構成される。本例の場合、上述の如く、実空間の水平方向において、作業者Ｗ２が選択カメラの真正面からある程度左方向に外れた位置を歩いていることから、作業者Ｗ２の身長方向は、像倒れ現象の影響で、表示部５０Ａの上方向から左側にある程度傾斜した方向に相当する。そのため、枠ＦＲ２は、スルー画像ＴＰ上における作業者Ｗ２の歪みに合わせて、足元位置に対応する一辺から頭部位置に対応する他辺に向けての延在方向が像の倒れ方向（本例の場合、左方向）に傾斜した態様で、スルー画像ＴＰ上に重畳して表示される。これにより、検知された監視対象を強調させる枠ＦＲ２がスルー画像ＴＰ上での歪みに起因する監視対象の見え方の相違に合わせて変化するため、オペレータ等は、例えば、作業者Ｗ２が歩いて移動しているような場合であっても、作業者Ｗ２を認識し易くなる。
　続いて、図１６Ｃは、表示装置５０に選択カメラのスルー画像ＴＰが表示されている状況で、監視対象（作業者Ｗ３）が検知された場合の表示装置５０に表示されるスルー画像ＴＰの更に他の例を示す図である。
　図１６Ｃに示すように、本例のスルー画像ＴＰの右端部には、ショベル５００の周辺で作業する作業者Ｗ３が写っている（含まれる）。
　このとき、作業者Ｗ３は、水平方向において、選択カメラから見た真正面を基準として右側にある程度外れた位置を歩いている。換言すれば、作業者Ｗ２は、選択カメラの水平方向における画角の中央から左方向にある程度外れた位置に存在する。そのため、図１６Ｂの作業者Ｗ２の場合と同様、実空間の水平方向に対応する、スルー画像ＴＰ上の左右方向での作業者Ｗ３が含まれる部分の歪みが比較的大きくなる。具体的には、図１６Ｃに示すように、作業者Ｗ３の像がスルー画像ＴＰの外側、つまり、右方向に傾斜する（倒れる）現象、つまり、像倒れ現象が発生する。
　作業者Ｗ３は、図１６Ａの作業者Ｗ１等の場合と同様、水平方向で監視エリア内に存在し、且つ、高さ方向で、所定範囲ＨＲ１内に存在する。そのため、検知部３０１は、当該作業者Ｗ３を検知し、警報出力部３０３は、表示制御部３０２を通じて、図１６Ａ等の場合と同様、表示装置５０に表示されるスルー画像ＴＰに含まれる作業者Ｗ３を取り囲むように枠ＦＲ３を重畳して表示させる。
　このとき、表示制御部３０２は、最初に、図１６Ａの枠ＦＲ１等と同様、実在空間における高さ方向、つまり、地面に立っている作業者Ｗ２の身長方向に延在する四角形で構成される枠ＦＲ３ａをスルー画像ＴＰ上に重畳表示させることを試みる。しかしながら、図１６Ｃに示すように、作業者Ｗ３がスルー画像ＴＰ上の右端部に含まれるため、枠ＦＲ３ａは、スルー画像ＴＰから外に飛び出してしまう。そのため、表示制御部３０２は、枠ＦＲ３ａがスルー画像ＴＰから飛び出してしまうと判断すると、枠ＦＲ３ａを変形させたり、新たな枠形状を生成したり等することで、スルー画像ＴＰ内に収まる、修正された枠ＦＲ３をスルー画像ＴＰ上に重畳して表示させる。これにより、表示制御部３０２は、上述した最善策に相当するルールで形成される枠（以下、「最善枠」と称する）がスルー画像から飛び出してしまうような状況であっても、適宜、次善策に相当する修正された枠（以下、「次善枠」と称する）をスルー画像に重畳して表示させることができる。
　尚、上述した最善枠を特定するための情報は、例えば、コントローラ３０の内部メモリ等に予め保存されている。また、スルー画像ＴＰから最善枠が飛び出してしまう場合に、修正された次善枠を特定するための情報（例えば、スルー画像上における構成点の座標を算出する条件式やマップ等）についても、上述の内部メモリ等に予め保存されている。これにより、表示制御部３０２は、当該内部メモリ内の該当する情報を参照することにより、当該情報で特定される最善枠や次善枠をスルー画像ＴＰ上に重畳して表示させることができる。
　また、表示制御部３０２によりスルー画像に重畳して表示される枠（例えば、枠ＦＲ１～ＦＲ３）の色は、例えば、地面等の背景に対して、オペレータ等が認識し易い色であれば、任意であってよい。また、枠ＦＲ１の色は、各種条件に応じて、変化してもよい。例えば、枠ＦＲ１の色は、検知部３０１により検知された監視対象のショベル５００に対する相対位置に応じて、変化してよい。具体的には、枠ＦＲ１の色は、相対的にショベル５００に近い監視対象の場合、色温度が低い色（例えば、赤）とし、相対的にショベル５００から遠い監視対象の場合、色温度が高い色（例えば、青）としてよい。これにより、周辺監視装置１００は、色の相違によって、オペレータ等に、ショベル５００との位置関係（接近度合い）を把握させることができる。
　また、検知部３０１は、当然の如く、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの選択カメラ以外のカメラの撮像画像に基づき、監視対象を検知する処理を行う。そのため、例えば、警報出力部３０３は、検知部３０１により、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの選択カメラ以外のカメラから監視対象が検知された場合、表示制御部３０２を通じて、表示装置５０の表示内容を、自動的に、監視対象が検知された撮像画像に対応するカメラのスルー画像に切り替えてもよい。
　続いて、図１６Ｄは、表示装置５０に監視用画像ＭＰが表示されている状況で、監視対象（作業者Ｗ４）が検知された場合の表示装置５０に表示される監視用画像ＭＰの一例を示す図である。
　図１６Ｄに示すように、本例の監視用画像ＭＰにおける周辺画像ＥＰのショベル５００の後方に相当する部分（つまり、合成画像におけるカメラ４０Ｂの撮像画像に対応する部分）には、ショベル５００の周辺（後方）で作業する作業者Ｗ４が写っている（含まれる）。
　作業者Ｗ４は、図１６Ａの作業者Ｗ１等の場合と同様、水平方向で監視エリア内に存在し、且つ、高さ方向で、所定範囲ＨＲ１内に存在する。そのため、検知部３０１は、当該作業者Ｗ３を検知し、警報出力部３０３は、表示制御部３０２を通じて、表示装置５０に表示される監視用画像ＭＰ内の周辺画像ＥＰに含まれる作業者Ｗ４を強調させるマーカ（枠ＦＲ４）を重畳して表示させる。
　具体的には、枠ＦＲ４は、周辺画像ＥＰ上の作業者Ｗ４が占める部分よりも十分に小さい四角形（本例では、表示部５０Ａの縦方向及び横方向に沿って四辺が構成される正方形）により構成される。より具体的には、枠ＦＲ４は、周辺画像ＥＰ内の作業者Ｗ４の足元位置を取り囲む態様で、監視用画像ＭＰにおける周辺画像ＥＰ上に重畳して表示される。合成画像である周辺画像ＥＰ上における監視対象の形状は、実空間における監視対象の形状に対して、歪みが非常に大きくなる傾向があり、スルー画像ＴＰの場合のように、監視対象を取り囲む枠を表示させると、反って、監視対象を把握しにくくなる可能性があるからである。
　［周辺監視装置の動作の詳細］
　次に、図１７、図１８を参照して、本実施形態に係る周辺監視装置１００による動作の詳細を説明する。具体的には、周辺監視装置１００による監視対象の検知に基づく警報の出力及びショベル５００の動作制限に関する処理（以下、「周辺監視処理」と称する）処理フローについて説明する。
　図１７は、周辺監視装置１００による周辺監視処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルが起動されてから停止するまでの運転中において、警報の出力及びショベル５００の動作制限が行われていない場合、所定の処理周期ごとに、繰り返し実行される。以下、図１８のフローチャートによる処理についても同様である。
　ステップＳ１０２にて、検知部３０１は、撮像装置４０の撮像画像に基づき、撮像画像に含まれる監視対象を認識する処理を行う。
　ステップＳ１０４にて、検知部３０１は、水平方向で監視エリア内に存在する監視対象が認識されたか否かを判定する。検知部３０１は、水平方向で監視エリア内に存在する監視対象が認識された場合、ステップＳ１０６に進み、それ以外の場合、ステップＳ１１２に進む。
　ステップＳ１０６にて、検知部３０１は、ステップＳ１０４で認識された監視対象が、水平方向で所定範囲ＨＲ１内に存在するか否かを判定する。検知部３０１は、ステップＳ１０４で認識された監視対象が、水平方向で所定範囲ＨＲ１内に存在する場合、ステップＳ１０８に進み、それ以外の場合、ステップＳ１１２に進む。
　尚、ステップＳ１０４，Ｓ１０６の処理の順序は、逆であってもよい。
　ステップＳ１０８にて、検知部３０１は、認識した監視対象を検知対象と判断する。そして、検知部３０１は、当該監視対象を検知した旨を警報出力部３０３及び動作制限部３０４に当該監視対象に関する情報（例えば、水平方向及び高さ方向に関する位置情報等）を通知する。
　ステップＳ１１０にて、警報出力部３０３は、表示装置５０や音声出力装置５２を通じて、警報を出力する。また、併せて、動作制限部３０４は、ゲートロック弁５４を通じて、ショベル５００の動作制限を行う。そして、コントローラ３０は、今回の処理を終了する。
　一方、ステップＳ１１２にて、検知部３０１は、検知の対象となる監視対象が検知されなかったと判断し、今回の処理を終了する。
　例えば、上述の特許文献１等では、ショベル等の作業機械の周辺の監視対象領域（監視エリア）内で検知される監視対象の全てが、警報の出力や動作の制限の対象となる可能性がある。そのため、実際上、作業機械と、検知された監視対象とが接触等する可能性は極めて低い（例えば、ショベルの作業面と、監視対象が存在する平面との間に大きな段差がある）状況にも関わらず、警報の出力やショベルの動作制限が実行される可能性がある。つまり、不要な警報の出力やショベルの動作制限が行われることで、ショベルの作業性を低下させる可能性がある。
　これに対して、本例では、周辺監視装置１００は、水平方向に規定される監視エリアにおいて、高さ方向で所定範囲ＨＲ１内に存在する監視対象を検知した場合に限定して、警報の出力やショベル５００の動作制限が行われる。これにより、所定範囲ＨＲ１が適宜設定されることにより、ショベル５００が監視対象と接触等する可能性が非常に低いような状況で、警報の出力やショベル５００の動作制限が回避される。より具体的には、例えば、図１２Ａ～図１２Ｄに示したように、ショベル５００の作業面に対して、段差や傾斜を介して隣接する異なる作業面上に監視対象が存在するような場合があり得る。この場合、段差や傾斜の大小の程度等によっては、ショベル５００が段差や傾斜を超えて、監視対象が存在する作業面上まで移動する可能性が非常に低くなるからである。よって、周辺監視装置１００は、不要な警報の出力やショベル５００の動作制限を抑制し、ショベル５００の作業性の低下を抑制することができる。
　尚、検知部３０１の代わりに、警報出力部３０３及び動作制限部３０４の少なくとも一方によって、監視対象が高さ方向で所定範囲ＨＲ１内に存在するかどうかが判定されてもよい。以下、図１８を用いて、この場合の処理フローについて説明する。
　図１８は、周辺監視装置１００による周辺監視処理の他の例を概略的に示すフローチャートである。
　ステップＳ２０２，Ｓ２０４の処理は、図１７のステップＳ１０２，Ｓ１０４と同じであるため、説明を省略する。
　ステップＳ２０４にて、検知部３０１は、水平方向で監視エリア内に存在する監視対象が認識された場合、ステップＳ２０６に進む。
　ステップＳ２０６の処理は、図９のステップＳ１０８と同じであるため、説明を省略する。
　ステップＳ２０８にて、警報出力部３０３及び動作制限部３０４の少なくとも一方（以下、便宜的に、「警報出力部３０３等」と称する）は、検知部３０１により検知された監視対象が高さ方向で所定範囲ＨＲ１内に存在するか否かを判定する。警報出力部３０３等は、検知部３０１により検知された監視対象が高さ方向で所定範囲ＨＲ１内に存在する場合、ステップＳ２１０に進み、それ以外の場合、今回の処理を終了する。
　ステップＳ２１０，Ｓ２１２の処理は、図１７のステップＳ１１０，Ｓ１１２と同じであるため、説明を省略する。
　このように、本例では、図１７の一例の場合と同様、水平方向に規定される監視エリアにおいて、高さ方向で所定範囲ＨＲ１内に存在する監視対象を検知した場合に限定して、警報の出力やショベル５００の動作制限が行われる。これにより、図１７の場合と同様の作用・効果を奏する。
　尚、本例では、周辺監視装置１００は、警報出力部３０３と動作制限部３０４の双方を含むが、上述の一例の場合と同様、何れか一方だけを含んでもよい。つまり、周辺監視装置１００は、水平方向の監視エリア内で所定範囲ＨＲ１内の監視対象を検知した場合に、警報の出力及びショベル５００の動作制限の何れか一方だけを行う態様であってもよい。
　また、本例では、水平方向で監視エリアに存在し、且つ、高さ方向で所定範囲ＨＲ１内に存在する監視対象が検知された場合に、図１６Ａ～図１６Ｄに示す内容が表示装置５０に表示されるが、当該態様には限定されない。具体的には、監視対象の高さ方向の位置に依らず、水平方向で監視エリアに存在する監視対象が検知される場合（例えば、上述の周辺監視システム１０００の一例に含まれる周辺監視装置１００）についても、図１６Ａ～図１６Ｄに示す内容が表示装置５０に表示されてよい。
　また、本例では、ショベル５００の作業平面（基準面）とは異なる高さの段差面に存在する監視対象や、ショベル５００の作業平面と異なる傾斜角を有する平面に存在する監視対象を警報や動作制限の対象から除外するが、当然の如く、これ以外の理由によって、ショベル５００の高さ方向において、所定範囲ＨＲ１を外れる位置に存在する監視対象についても、警報や動作制限の対象から除外してよい。つまり、所定範囲ＨＲ１は、ショベル５００の作業平面に対する段差や傾斜以外の理由による、ショベル５００と監視対象との間の高さ方向でのずれも考慮された上で規定されてよい。
　また、本例では、周辺監視装置１００が周辺監視システム１０００に組み込まれるが、周辺監視装置１００は、周辺監視システム１０００（外部装置６００）を前提とせず、単独で（つまり、スタンドアローンの状態で）、上述の動作を行ってもよい。
　また、本例に係る周辺監視装置１００について、以下を開示する。
　（１）
　ショベルの周辺の所定の監視対象を検知する検知部と、
　前記検知部により、前記ショベルの高さ方向で所定の第１範囲内に存在する前記監視対象が検知された場合に、警報を出力する、又は、前記ショベルの動作制限を行う制御部と、を備える、
　周辺監視装置。
　（２）
　前記制御部は、前記検知部により、前記ショベルの高さ方向で、前記ショベルの特定の高さに対応する基準位置に対して、前記第１範囲内に存在する前記監視対象が検知された場合に、前記警報を出力する、又は、前記ショベルの動作制限を行う、
　（１）に記載の周辺監視装置。
　（３）
　前記ショベルの周辺の前記監視対象の位置に関する検出情報を取得可能なセンサを更に備え、
　前記検知部は、前記センサの検出情報に基づき、前記ショベルの高さ方向での前記監視対象の存在する位置を判定する、
　（１）又は（２）に記載の周辺監視装置。
　（４）
　前記センサは、単眼カメラ、ステレオカメラ、ライダ、又は、レーダを含む、
　（３）に記載の周辺監視装置。
　前記ショベルの作業現場の情報化施工に関する地形情報を取得する地形情報取得部と、
　前記ショベルの前記作業現場における位置情報を取得する位置情報取得部と、を更に備え、
　前記検知部は、前記地形情報と前記位置情報とに基づき、前記ショベルの高さ方向での前記監視対象の存在する位置を判定する、
　（１）又は（２）に記載の周辺監視装置。
　（６）
　前記検知部は、前記単眼カメラにより撮像された前記ショベルの周辺の撮像画像に前記監視対象が含まれる場合、前記撮像画像上の前記監視対象の見え方が予め規定される第２範囲内にあるときに、前記監視対象が、前記ショベルの高さ方向で、前記第１範囲内に存在すると判定する、
　（４）に記載の周辺監視装置。
　（７）
　前記検知部は、前記撮像画像上における前記監視対象の前記ショベルの高さ方向での所定の基準位置に対するずれ量、又は、前記撮像画像上における前記監視対象の前記ショベルの高さ方向に対応する寸法が、前記ショベルから見た前記監視対象の遠近の程度に応じて予め規定される前記第２範囲内であるときに、前記監視対象が、前記ショベルの高さ方向で、前記第１範囲内に存在すると判定する、
　（６）に記載の周辺監視装置。
　（８）
　前記単眼カメラにより撮像された前記ショベルの周辺の撮像画像を表示する表示装置を更に備え、
　前記制御部は、前記検知部により、前記ショベルの高さ方向で所定の第１範囲内に存在する前記監視対象が検知された場合に、前記表示装置に表示される前記撮像画像上に、前記単眼カメラによる像の歪みの傾向に合わせて、前記監視対象を取り囲む枠を重畳して表示させる、
　（４）、（６）、又は、（７）に記載の周辺監視装置。
　（９）
　前記制御部は、前記単眼カメラによる像の歪みの傾向に合わせてその形状が予め規定される前記枠が、前記表示装置に表示される前記撮像画像の外にはみ出す場合、前記撮像画像の中に収まるように変形された前記枠を前記表示装置に表示される前記撮像画像上に重畳して表示させる、
　請求項（８）に記載の周辺監視装置。
　（１０）
　撮像範囲が相互に異なる複数の前記単眼カメラと、
　前記複数の前記単眼カメラのそれぞれの撮像画像に基づき生成される、ショベルの周辺の状況を示す合成画像を表示させる表示装置と、を更に備え、
　前記制御部は、前記表示装置に表示される前記合成画像上の前記監視対象が含まれる部分に、前記合成画像上の前記撮像画像よりも小さく、且つ、前記合成画像上の位置によらず、同じ大きさのマーカを、重畳して表示させる、
　（４）、（６）、又は、（７）に記載の周辺監視装置。
　以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　最後に、本願は、２０１７年１２月４日に出願した日本国特許出願２０１７－２３２９０８号、及び２０１８年１月２５日に出願した日本国特許出願２０１８－０１０８７２号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。
　３０　コントローラ
　４０　撮像装置
　４０Ｂ，４０Ｌ，４０Ｒ　カメラ（センサ）
　４２　ライダ（センサ）
　５０　表示装置（オペレータ通知部）
　５２　音声出力装置（オペレータ通知部）
　５４　ゲートロック弁
　６０　解除スイッチ（解除意思入力部）
　６２　監視機能ＯＮ／ＯＦＦスイッチ
　６４　表示内容切替スイッチ
　７０　確認動作状態検知部
　７２　通信機器（取得部、外部通知部、地形情報取得部）
　７４　外部報知装置（外部通知部）
　８０　ＧＰＳモジュール（位置情報取得部）
　１００　周辺監視装置
　３０１　検知部
　３０２　表示制御部
　３０３　警報出力部（制御部）
　３０４　動作制限部（制御部）
　３０５　解除依頼通知部
　３０６　周辺状況情報送信部
　３０７　判定部（取得部）
　５００　ショベル
　６００　外部装置
　６１０　通信機器
　６２０　情報処理部
　６３０　表示部（第１通知部、第２通知部）
　６４０　音声出力部（第１通知部、第２通知部）
　６５０　操作部（解除許可操作部）
　７００　管理端末（外部装置、情報処理端末、端末）
　７５０　解除装置（外部装置、情報処理装置）
　８００　管理端末（外部装置、情報処理端末、端末）
　９００　管理サーバ（外部装置、情報処理装置）
　１０００　周辺監視システム
　６２０１　ショベル状況通知部
　６２０２　周辺状況情報取得部
　６２０３　解除許可操作受付部
　６２０４　判定部
　６２０５　解除許可通知部

Claims (36)

  1. 　作業機械の周辺の所定の監視対象を検知する検知部と、
    　前記検知部により、前記作業機械の高さ方向で所定の第１範囲内に存在する前記監視対象が検知された場合に、警報を出力する、又は、前記作業機械の動作制限を行う制御部と、を備える、
    　周辺監視装置。
  2. 　前記制御部は、前記監視対象が、前記作業機械が位置する基準面に対して、前記第１範囲を超えて前記高さが異なる段差面に存在している場合、又は、前記基準面と異なる傾斜角を有する傾斜面における前記基準面から前記高さ方向で前記第１範囲を超えた位置に存在している場合であっても、前記警報を出力せず、且つ、前記動作制限を行わない、
    　請求項１に記載の周辺監視装置。
  3. 　前記検知部は、検知範囲内において、前記作業機械の高さ方向で前記第１範囲外に前記監視対象が存在している場合であっても、当該監視対象を検知しない、
    　請求項１に記載の周辺監視装置。
  4. 　前記制御部は、前記検知部により、前記作業機械の高さ方向で、前記作業機械の特定の高さに対応する基準位置に対して、前記第１範囲内に存在する前記監視対象が検知された場合だけ、前記警報を出力する、又は、前記作業機械の動作制限を行う、
    　請求項１に記載の周辺監視装置。
  5. 　前記作業機械の周辺の前記監視対象の位置に関する検出情報を取得可能なセンサを更に備え、
    　前記検知部は、前記センサの検出情報に基づき、前記作業機械の高さ方向での前記監視対象の存在する位置を判定する、
    　請求項１に記載の周辺監視装置。
  6. 　前記センサは、単眼カメラ、ステレオカメラ、ライダ、又は、レーダを含む、
    　請求項５に記載の周辺監視装置。
  7. 　前記作業機械の作業現場の情報化施工に関する地形情報を取得する地形情報取得部と、
    　前記作業機械の前記作業現場における位置情報を取得する位置情報取得部と、を更に備え、
    　前記検知部は、前記地形情報と前記位置情報とに基づき、前記作業機械の高さ方向での前記監視対象の存在する位置を判定する、
    　請求項１に記載の周辺監視装置。
  8. 　前記検知部は、前記単眼カメラにより撮像された前記作業機械の周辺の撮像画像に前記監視対象が含まれる場合、前記撮像画像上の前記監視対象の見え方が予め規定される第２範囲内にあるときに、前記監視対象が、前記作業機械の高さ方向で、前記第１範囲内に存在すると判定する、
    　請求項６に記載の周辺監視装置。
  9. 　前記検知部は、前記撮像画像上における前記監視対象の前記作業機械の高さ方向での所定の基準位置に対するずれ量、又は、前記撮像画像上における前記監視対象の前記作業機械の高さ方向に対応する寸法が、前記作業機械から見た前記監視対象の遠近の程度に応じて予め規定される前記第２範囲内であるときに、前記監視対象が、前記作業機械の高さ方向で、前記第１範囲内に存在すると判定する、
    　請求項８に記載の周辺監視装置。
  10. 　前記単眼カメラにより撮像された前記作業機械の周辺の撮像画像を表示する表示装置を更に備え、
    　前記制御部は、前記検知部により、前記作業機械の高さ方向で所定の第１範囲内に存在する前記監視対象が検知された場合に、前記表示装置に表示される前記撮像画像上に、前記単眼カメラによる像の歪みの傾向に合わせて、前記監視対象を取り囲む枠を重畳して表示させる、
    　請求項６に記載の周辺監視装置。
  11. 　前記制御部は、前記単眼カメラによる像の歪みの傾向に合わせてその形状が予め規定される前記枠が、前記表示装置に表示される前記撮像画像の外にはみ出す場合、前記撮像画像の中に収まるように変形された前記枠を、前記表示装置に表示される前記撮像画像上に重畳して表示させる、
    　請求項１０に記載の周辺監視装置。
  12. 　撮像範囲が相互に異なる複数の前記単眼カメラと、
    　前記複数の前記単眼カメラのそれぞれの撮像画像に基づき生成される、作業機械の周辺の状況を示す合成画像を表示させる表示装置と、を更に備え、
    　前記制御部は、前記表示装置に表示される前記合成画像上の前記監視対象が含まれる部分に、前記合成画像上の前記撮像画像よりも小さく、且つ、前記合成画像上の位置によらず、同じ大きさのマーカを、重畳して表示させる、
    　請求項６に記載の周辺監視装置。
  13. 　前記作業機械の外部における前記警報又は前記動作制限の解除に関する情報を取得する取得部を更に備え、
    　前記制御部は、前記警報又は前記動作制限が行われている場合に、前記取得部による前記情報の取得に基づき、前記警報又は前記動作制限を解除する、
    　請求項１に記載の周辺監視装置。
  14. 　前記取得部は、所定の外部装置から前記警報又は前記動作制限の解除を許可する旨の通知を取得し、
    　前記制御部は、前記取得部により前記通知の取得に基づき、前記警報又は前記動作制限を解除する、
    　請求項１３に記載の周辺監視装置。
  15. 　オペレータに通知を行うオペレータ通知部を更に備え、
    　前記取得部は、所定の外部装置から前記作業機械の周囲確認に関する情報を取得し、
    　前記オペレータ通知部は、前記取得部により前記作業機械の周囲確認に関する情報が取得された場合に、当該情報の内容をオペレータに通知する、
    　請求項１３に記載の周辺監視装置。
  16. 　前記作業機械の外部に向けて前記警報の出力又は前記動作制限が行われている旨を通知する外部通知部を更に備える、
    　請求項１４に記載の周辺監視装置。
  17. 　オペレータの意思で前記外部通知部による通知を行わせる外部通知意思入力部を更に備える、
    　請求項１６に記載の周辺監視装置。
  18. 　前記外部通知部は、前記外部装置、又は、前記外部装置の利用者のメールアドレス若しくは所定のソーシャルネットワーキングサービスのアカウントに前記警報の出力又は前記動作制限が行われている旨の通知を送信する、
    　請求項１６に記載の周辺監視装置。
  19. 　前記外部通知部は、視覚的な方法、触覚的な方法、又は、聴覚的な方法によって、前記作業機械の周辺にいる人に前記警報の出力又は前記動作制限が行われている旨を通知する、
    　請求項１６に記載の周辺監視装置。
  20. 　前記警報又は前記動作制限が行われている場合に、前記外部装置に前記警報又は前記動作制限の解除依頼の通知を送信する解除依頼通知部を更に備える、
    　請求項１４に記載の周辺監視装置。
  21. 　オペレータの意思で前記解除依頼通知部による解除依頼の通知を行わせる解除依頼意思入力部を更に備える、
    　請求項２０に記載の周辺監視装置。
  22. 　前記作業機械の周辺を撮像する撮像装置を更に備え、
    　前記取得部は、前記撮像装置の中から、所定のポーズ又はジェスチャをしている、前記作業機械の周辺に存在する所定の人を含む撮像画像を取得し、
    　前記制御部は、前記警報又は前記動作制限が行われている場合に、前記取得部による前記ポーズ又は前記ジェスチャをしている前記人を含む撮像画像の取得に基づき、前記警報又は前記動作制限を解除する、
    　請求項１３に記載の周辺監視装置。
  23. 　オペレータにより前記警報又は前記動作制限を解除する意思が入力される解除意思入力部を更に備え、
    　前記制御部は、前記警報又は前記動作制限が行われている場合に、前記取得部により前記情報が取得され、且つ、前記解除意思入力部に対して前記意思が入力された場合に、前記警報又は前記動作制限を解除する、
    　請求項１３に記載の周辺監視装置。
  24. 　前記解除意思入力部に対する前記意思の入力は、前記取得部により前記作業機械の外部で前記警報又は前記動作制限の解除が許可された旨の情報が取得された場合に有効になり、
    　前記制御部は、前記解除意思入力部に対する有効な前記意思の入力があった場合に、前記警報又は前記動作制限を解除する、
    　請求項２３に記載の周辺監視装置。
  25. 　作業機械の外部に設けられ、前記作業機械又は前記作業機械と通信可能な情報処理装置と通信可能な情報処理端末であって、
    　前記作業機械に対して、前記作業機械で出力される警報又は前記作業機械で行われる動作制限の解除に関する通知を行う解除許可通知部を備える、
    　情報処理端末。
  26. 　前記作業機械の周辺の所定範囲で所定の監視対象が検知され、前記作業機械で前記警報が出力されている、又は、前記作業機械の前記動作制限が行われている場合に、前記警報又は前記動作制限の解除の許否を判定する判定部を更に備え、
    　前記解除許可通知部は、前記判定部により前記警報又は前記動作制限の解除が許可された場合、前記作業機械に前記警報又は前記動作制限の解除の許可に関する情報を送信する、
    　請求項２５に記載の情報処理端末。
  27. 　前記作業機械の周辺の状況に関する情報を取得する周辺状況情報取得部を更に備え、
    　前記判定部は、前記周辺状況情報取得部により取得される情報に基づき、前記警報又は前記動作制限の解除を許可する、
    　請求項２６に記載の情報処理端末。
  28. 　前記作業機械のオペレータが前記作業機械の周囲を確認したことを示す情報を取得する取得部を更に備え、
    　前記判定部は、前記取得部によりオペレータが前記作業機械の周囲を確認したことを示す情報が取得された場合に、前記警報又は前記動作制限の解除を許可する、
    　請求項２６に記載の情報処理端末。
  29. 　前記判定部は、前記周辺状況情報取得部により取得された情報に基づき、前記作業機械の前記所定範囲内に前記監視対象がいないと確認した場合に、前記警報又は前記動作制限の解除を許可する、
    　請求項２７に記載の情報処理端末。
  30. 　当該情報処理端末の利用者が前記警報又は前記動作制限の解除を許可する操作を行う解除許可操作部を更に備え、
    　前記判定部は、前記解除許可操作部が操作された場合に、前記警報又は前記動作制限の解除を許可する、
    　請求項２６に記載の情報処理端末。
  31. 　前記作業機械から前記警報の出力又は前記動作制限が行われている旨の通知、又は、前記警報又は前記動作制限の解除依頼の通知が受信された場合に、当該情報処理端末の利用者にその旨を通知する第１通知部を更に備える、
    　請求項３０に記載の情報処理端末。
  32. 　前記作業機械の周辺の状況に関する情報を取得する周辺状況情報取得部と、
    　前記周辺状況情報取得部により取得された情報の内容を当該情報処理装置の利用者に通知する第２通知部を更に備える、
    　請求項３０に記載の情報処理端末。
  33. 　前記判定部は、前記作業機械から前記警報の出力又は前記動作制限が行われている旨の通知、又は、前記警報又は前記動作制限の解除依頼の通知が受信された場合に、前記警報又は前記動作制限の解除の許否を判定する、
    　請求項２６に記載の情報処理端末。
  34. 　前記作業機械が作業する作業現場の所定の作業員が携帯する端末、前記作業現場の所定の事務所に設けられる端末である、
    　請求項２５に記載の情報処理端末。
  35. 　作業機械の外部に設けられ、前記作業機械と通信可能な情報処理装置であって、
    　前記作業機械に対して、前記作業機械で出力される警報又は前記作業機械で行われる動作制限の解除に関する通知を行う解除許可通知部を備える、
    　情報処理装置。
  36. 　作業機械の外部に設けられ、前記作業機械、若しくは、前記作業機械と通信可能な情報処理装置と、通信可能な情報処理端末、又は、前記作業機械の外部に設けられ、前記作業機械と通信可能な情報処理装置に、
    　前記作業機械に対して、前記作業機械で出力される警報又は前記作業機械で行われる動作制限の解除の許可に関する情報を送信する解除許可通知ステップと、を実行させる、
    　情報処理プログラム。
PCT/JP2018/044427 2017-12-04 2018-12-03 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム WO2019111859A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201880072820.8A CN111344460B (zh) 2017-12-04 2018-12-03 周边监视装置
KR1020207012768A KR102627093B1 (ko) 2017-12-04 2018-12-03 주변감시장치
JP2019558202A JP7252137B2 (ja) 2017-12-04 2018-12-03 周辺監視装置
EP18884878.2A EP3722519B1 (en) 2017-12-04 2018-12-03 Surrounding-area monitoring device
US16/891,334 US11365527B2 (en) 2017-12-04 2020-06-03 Surroundings monitoring apparatus, information processing terminal, information processing apparatus, and recording medium
JP2023047187A JP2023083299A (ja) 2017-12-04 2023-03-23 周辺監視装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017232908 2017-12-04
JP2017-232908 2017-12-04
JP2018010872 2018-01-25
JP2018-010872 2018-01-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/891,334 Continuation US11365527B2 (en) 2017-12-04 2020-06-03 Surroundings monitoring apparatus, information processing terminal, information processing apparatus, and recording medium

Publications (1)

Publication Number Publication Date
WO2019111859A1 true WO2019111859A1 (ja) 2019-06-13

Family

ID=66751090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044427 WO2019111859A1 (ja) 2017-12-04 2018-12-03 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム

Country Status (6)

Country Link
US (1) US11365527B2 (ja)
EP (1) EP3722519B1 (ja)
JP (2) JP7252137B2 (ja)
KR (1) KR102627093B1 (ja)
CN (1) CN111344460B (ja)
WO (1) WO2019111859A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942582A (zh) * 2019-12-23 2020-03-31 福建省特种设备检验研究院 基于机器视觉的扶手带人员异常行为的监测报警方法
WO2021025123A1 (ja) * 2019-08-08 2021-02-11 住友建機株式会社 ショベル、情報処理装置
JP2021033403A (ja) * 2019-08-19 2021-03-01 矢崎エナジーシステム株式会社 車載器および作業車両の運転支援システム
JP2021038571A (ja) * 2019-09-03 2021-03-11 日立建機株式会社 現場管理システムおよび作業機械
WO2021075580A1 (ja) * 2019-10-18 2021-04-22 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2021070988A (ja) * 2019-10-31 2021-05-06 日立建機株式会社 建設機械
JP2021071015A (ja) * 2019-10-31 2021-05-06 日立建機株式会社 作業機械および周囲監視システム
WO2021161692A1 (ja) * 2020-02-15 2021-08-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
JP2021120515A (ja) * 2020-01-30 2021-08-19 住友重機械工業株式会社 作業機械、情報処理装置
WO2021181916A1 (ja) * 2020-03-13 2021-09-16 コベルコ建機株式会社 作業支援サーバ、作業支援方法
WO2021192349A1 (ja) * 2020-03-24 2021-09-30 株式会社日立製作所 情報提示装置、遠隔操作システムおよびプログラム
JPWO2021192114A1 (ja) * 2020-03-25 2021-09-30
CN113687649A (zh) * 2020-05-15 2021-11-23 丰田自动车株式会社 自主移动装置控制***、其控制方法及保存有其控制程序的计算机可读介质
WO2022130941A1 (ja) 2020-12-14 2022-06-23 日立建機株式会社 作業内容および機能内容変更判定システム
EP4050162A4 (en) * 2019-12-10 2023-01-18 Kobelco Construction Machinery Co., Ltd. REMOTE CONTROL ASSISTANCE SYSTEM FOR WORK MACHINE
JP7366472B1 (ja) 2022-07-05 2023-10-23 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等
EP4101996A4 (en) * 2020-05-29 2024-04-03 Hitachi Construction Machinery Co., Ltd. WORKING MACHINE
US12025980B2 (en) 2020-05-15 2024-07-02 Toyota Jidosha Kabushiki Kaisha Autonomous mobile apparatus control system, control method thereof, and control program thereof

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018155567A1 (ja) * 2017-02-22 2018-08-30 住友建機株式会社 ショベル
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
WO2020203596A1 (ja) * 2019-04-04 2020-10-08 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ
CN113767202A (zh) * 2019-04-26 2021-12-07 住友建机株式会社 挖土机
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7490948B2 (ja) * 2019-11-25 2024-05-28 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
JP2022014975A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 車両周辺監視装置
US11773567B2 (en) * 2020-07-22 2023-10-03 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
CN112053339B (zh) * 2020-08-31 2023-01-31 中冶赛迪信息技术(重庆)有限公司 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备
CA3190757A1 (en) * 2020-09-29 2022-04-07 Sony Semiconductor Solutions Corporation Information processing system and information processing method
US11898331B2 (en) * 2020-12-02 2024-02-13 Caterpillar Sarl System and method for detecting objects within a working area
KR102388054B1 (ko) * 2020-12-17 2022-04-21 (주)우신특장 공사차량 충돌방지시스템
CN114387759A (zh) * 2021-12-01 2022-04-22 深圳市原像天成科技有限公司 一种基于工程机械操作安全智能分析***
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置
JP2014181510A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014181508A (ja) 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014183498A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
WO2016111148A1 (ja) * 2015-12-18 2016-07-14 株式会社小松製作所 施工情報表示装置および施工情報の表示方法
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018010872A (ja) 2016-07-07 2018-01-18 ヴァレオ、イルミナシオンＶａｌｅｏ Ｉｌｌｕｍｉｎａｃｉｏｎ 自動車両用の照明モジュール

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JP5367665B2 (ja) * 2010-09-17 2013-12-11 日立建機株式会社 作業機械の表示システム
KR101565055B1 (ko) * 2011-05-26 2015-11-02 스미도모쥬기가이고교 가부시키가이샤 전동선회장치를 구비한 쇼벨 및 그 제어방법
DE112012004354T5 (de) * 2011-10-18 2014-07-10 Hitachi Construction Machinery Co., Ltd. Vorrichtung zum Überwachen der Umgebung von Maschinerie
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
DE112013000272B4 (de) * 2012-10-19 2019-01-03 Komatsu Ltd. Aushubsteuersystem für einen Hydraulikbagger
JP6386213B2 (ja) 2013-05-16 2018-09-05 住友建機株式会社 ショベル
JP5952244B2 (ja) * 2013-09-12 2016-07-13 日立建機株式会社 掘削領域制限制御の基礎情報の演算装置及び建設機械
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
US10228232B2 (en) * 2014-04-14 2019-03-12 Caterpillar Inc. Operator assistance system
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
WO2015186215A2 (ja) * 2014-06-04 2015-12-10 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
CN107925745B (zh) * 2015-11-30 2020-09-08 住友重机械工业株式会社 施工机械用周边监视***
EP3385457A4 (en) 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル
JP7358070B2 (ja) * 2019-04-26 2023-10-10 住友建機株式会社 ショベル

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置
JP2014181510A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014181508A (ja) 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014183498A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2016111148A1 (ja) * 2015-12-18 2016-07-14 株式会社小松製作所 施工情報表示装置および施工情報の表示方法
JP2018010872A (ja) 2016-07-07 2018-01-18 ヴァレオ、イルミナシオンＶａｌｅｏ Ｉｌｌｕｍｉｎａｃｉｏｎ 自動車両用の照明モジュール

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025123A1 (ja) * 2019-08-08 2021-02-11 住友建機株式会社 ショベル、情報処理装置
JPWO2021025123A1 (ja) * 2019-08-08 2021-02-11
JP2021033403A (ja) * 2019-08-19 2021-03-01 矢崎エナジーシステム株式会社 車載器および作業車両の運転支援システム
CN114364846A (zh) * 2019-09-03 2022-04-15 日立建机株式会社 现场管理***以及作业机械
JP2021038571A (ja) * 2019-09-03 2021-03-11 日立建機株式会社 現場管理システムおよび作業機械
CN114364846B (zh) * 2019-09-03 2024-02-20 日立建机株式会社 现场管理***以及作业机械
JP7340996B2 (ja) 2019-09-03 2023-09-08 日立建機株式会社 現場管理システム
WO2021075580A1 (ja) * 2019-10-18 2021-04-22 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2021068948A (ja) * 2019-10-18 2021-04-30 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7349880B2 (ja) 2019-10-18 2023-09-25 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
WO2021085500A1 (ja) * 2019-10-31 2021-05-06 日立建機株式会社 作業機械および周囲監視システム
JP2021071015A (ja) * 2019-10-31 2021-05-06 日立建機株式会社 作業機械および周囲監視システム
JP7234095B2 (ja) 2019-10-31 2023-03-07 日立建機株式会社 建設機械
JP7153627B2 (ja) 2019-10-31 2022-10-14 日立建機株式会社 作業機械および周囲監視システム
US11885108B2 (en) 2019-10-31 2024-01-30 Hitachi Construction Machinery Co., Ltd. Work machine and periphery monitoring system
KR102646808B1 (ko) 2019-10-31 2024-03-13 히다치 겡키 가부시키 가이샤 작업 기계 및 주위 감시 시스템
WO2021085448A1 (ja) * 2019-10-31 2021-05-06 日立建機株式会社 建設機械
JP2021070988A (ja) * 2019-10-31 2021-05-06 日立建機株式会社 建設機械
KR20220028126A (ko) * 2019-10-31 2022-03-08 히다치 겡키 가부시키 가이샤 작업 기계 및 주위 감시 시스템
EP4050162A4 (en) * 2019-12-10 2023-01-18 Kobelco Construction Machinery Co., Ltd. REMOTE CONTROL ASSISTANCE SYSTEM FOR WORK MACHINE
CN110942582A (zh) * 2019-12-23 2020-03-31 福建省特种设备检验研究院 基于机器视觉的扶手带人员异常行为的监测报警方法
JP7479156B2 (ja) 2020-01-30 2024-05-08 住友重機械工業株式会社 作業機械、情報処理装置
JP2021120515A (ja) * 2020-01-30 2021-08-19 住友重機械工業株式会社 作業機械、情報処理装置
JP7476558B2 (ja) 2020-02-15 2024-05-01 コベルコ建機株式会社 作業機械の遠隔操作支援システム
WO2021161692A1 (ja) * 2020-02-15 2021-08-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
EP4079978A4 (en) * 2020-03-13 2023-06-14 Kobelco Construction Machinery Co., Ltd. WORK SUPPORT SERVER AND WORK SUPPORT METHOD
JP7508815B2 (ja) 2020-03-13 2024-07-02 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
WO2021181916A1 (ja) * 2020-03-13 2021-09-16 コベルコ建機株式会社 作業支援サーバ、作業支援方法
WO2021192349A1 (ja) * 2020-03-24 2021-09-30 株式会社日立製作所 情報提示装置、遠隔操作システムおよびプログラム
KR20220031077A (ko) * 2020-03-25 2022-03-11 히다찌 겐끼 가부시키가이샤 작업 기계의 운전 지원 시스템
JPWO2021192114A1 (ja) * 2020-03-25 2021-09-30
KR102647539B1 (ko) 2020-03-25 2024-03-15 히다찌 겐끼 가부시키가이샤 작업 기계의 운전 지원 시스템
CN113687649B (zh) * 2020-05-15 2024-02-09 丰田自动车株式会社 自主移动装置控制***、其控制方法及保存有其控制程序的计算机可读介质
US12025980B2 (en) 2020-05-15 2024-07-02 Toyota Jidosha Kabushiki Kaisha Autonomous mobile apparatus control system, control method thereof, and control program thereof
CN113687649A (zh) * 2020-05-15 2021-11-23 丰田自动车株式会社 自主移动装置控制***、其控制方法及保存有其控制程序的计算机可读介质
EP4101996A4 (en) * 2020-05-29 2024-04-03 Hitachi Construction Machinery Co., Ltd. WORKING MACHINE
KR20230044279A (ko) 2020-12-14 2023-04-03 히다치 겡키 가부시키 가이샤 작업 내용 및 기능 내용 변경 판정 시스템
WO2022130941A1 (ja) 2020-12-14 2022-06-23 日立建機株式会社 作業内容および機能内容変更判定システム
JP7438516B2 (ja) 2022-07-05 2024-02-27 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等
JP2024007317A (ja) * 2022-07-05 2024-01-18 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等
JP7366472B1 (ja) 2022-07-05 2023-10-23 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等

Also Published As

Publication number Publication date
US11365527B2 (en) 2022-06-21
JP2023083299A (ja) 2023-06-15
US20200291614A1 (en) 2020-09-17
CN111344460B (zh) 2022-04-26
KR20200090761A (ko) 2020-07-29
EP3722519A1 (en) 2020-10-14
JPWO2019111859A1 (ja) 2020-12-24
CN111344460A (zh) 2020-06-26
KR102627093B1 (ko) 2024-01-18
EP3722519A4 (en) 2021-04-21
JP7252137B2 (ja) 2023-04-04
EP3722519B1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
WO2019111859A1 (ja) 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
KR102638317B1 (ko) 작업기계, 작업기계용 주변감시시스템
JP7108750B2 (ja) システムおよび方法
KR102449834B1 (ko) 작업기계용 주변감시 시스템
WO2020218455A1 (ja) ショベル
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
JP7463354B2 (ja) ショベル
JP2019156299A (ja) 車両遠隔操作装置及び車両遠隔操作方法
US20200318321A1 (en) Shovel and output device of shovel
JP2020183624A (ja) ショベル
JP2020183623A (ja) ショベル
JP2018111981A (ja) 作業機械用周辺監視システム
WO2020218453A1 (ja) ショベル
WO2021149775A1 (ja) 作業機械、情報処理装置
JP2022157923A (ja) ショベル
JP7479156B2 (ja) 作業機械、情報処理装置
JP2020183622A (ja) ショベル、ショベルのシリーズ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18884878

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558202

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018884878

Country of ref document: EP

Effective date: 20200706