WO2022070832A1 - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
WO2022070832A1
WO2022070832A1 PCT/JP2021/033221 JP2021033221W WO2022070832A1 WO 2022070832 A1 WO2022070832 A1 WO 2022070832A1 JP 2021033221 W JP2021033221 W JP 2021033221W WO 2022070832 A1 WO2022070832 A1 WO 2022070832A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
unit
sensor
information processing
processing system
Prior art date
Application number
PCT/JP2021/033221
Other languages
English (en)
French (fr)
Inventor
靖 藤波
昭寿 一色
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP21875134.5A priority Critical patent/EP4224452A4/en
Priority to CN202180065033.2A priority patent/CN116250027A/zh
Priority to JP2022553754A priority patent/JPWO2022070832A1/ja
Priority to CA3190757A priority patent/CA3190757A1/en
Priority to KR1020237008828A priority patent/KR20230074479A/ko
Priority to BR112023005307A priority patent/BR112023005307A2/pt
Priority to US18/028,428 priority patent/US20240034325A1/en
Publication of WO2022070832A1 publication Critical patent/WO2022070832A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators

Definitions

  • This disclosure relates to an information processing system and an information processing method.
  • this disclosure proposes an information processing system and an information processing method that can improve the safety of the present and future in the field.
  • the information processing system of one form according to the present disclosure is an information processing system for ensuring the safety of the site where heavy machinery is introduced, and is mounted on the equipment arranged at the site. Based on one or more sensor units that detect the situation at the site, a recognition unit that recognizes the situation at the site based on the sensor data acquired by the one or more sensor units, and a recognition result by the recognition unit. A device management unit that manages the device is provided.
  • FIG. 1 is a block diagram showing a system configuration example of the information processing system according to the embodiment of the present disclosure.
  • the information processing system 1 is composed of, for example, one or more devices 100, a cloud 200, and a field server 300.
  • the device 100, cloud 200, and field server 300 include, for example, a wired or wireless LAN (Local Area Network) (including WiFi), a WAN (Wide Area Network), the Internet, or a mobile communication system (4G (4th Generation Mobile Communication System), They are connected to each other via a predetermined network such as 4G-LTE (Long Term Evolution), 5G, etc.), Bluetooth (registered trademark), and infrared communication.
  • LAN Local Area Network
  • WiFi Wireless Fide Area Network
  • WAN Wide Area Network
  • the Internet or a mobile communication system (4G (4th Generation Mobile Communication System)
  • 4G (4th Generation Mobile Communication System) 4G (4th Generation Mobile Communication System
  • the device 100 is a construction device or a measuring device such as a heavy machine used at a work site such as a construction site or a construction site.
  • the equipment 100 also includes construction equipment and the like equipped with measuring equipment.
  • it is not limited to construction equipment and measuring equipment, but also moving objects such as automobiles, railroad vehicles, aircraft (including helicopters) and ships that are directly or remotely operated by drivers, transport robots, cleaning robots and interactive robots.
  • Autonomous robots such as pet robots, various drones (including flying type, traveling type, underwater type, etc.), structures such as surveillance cameras (including fixed point cameras) and traffic signals, smartphones carried by humans and pets
  • Various objects that can be connected to a predetermined network and have a sensor, such as a wearable device and an information processing terminal, may be applied as the device 100.
  • Each device 100 includes a sensor unit 101, a position / surrounding recognition unit 110, a device management unit 120, a monitor 131, a user interface 132, an output unit 133, a device control unit 134, and an operation system 135. Will be done.
  • the sensor unit 101 is, for example, a color or monochrome image sensor, a ToF (Time-of-Flight) sensor, a ranging sensor such as LiDAR (Light Detection and Ranging), LADAR (Laser Detection and Ranging), or a millimeter wave radar, and EVS.
  • Various image sensors 102 such as (Event-based Vision Sensor), various inertial sensors 105 such as IMU (Inertial Measurement Unit), gyro sensor, acceleration / angular velocity sensor, various position sensors 108 such as GNSS (Global Navigation Satellite System), etc. It includes one or more sensor units 101, 104, 107 composed of a sensor and signal processing units 103, 106, 109 that perform predetermined processing on the detection signal output from each sensor to generate sensor data.
  • various sensors include a sound sensor, a pressure sensor, a water pressure sensor, an illuminance sensor, a temperature sensor, a humidity sensor, an infrared sensor, and a wind direction and speed sensor. Sensors may be used.
  • the position / periphery recognition unit 110 refers to one or more of the sensor units 101, 104, and 107 (hereinafter, for the sake of simplicity of explanation, one or more of the sensor units 101, 104, 107 is referred to as "sensor unit 101, etc.” Based on the sensor data input from (referred to as), the position of the device 100 and the surrounding situation of the device 100 are recognized.
  • the position of the device 100 may be a global coordinate position acquired by GNSS or the like, or may be a coordinate position in a certain space estimated by SLAM (Simultaneous Localization and Mapping) or the like.
  • the position / surrounding recognition unit 110 inputs the sensor data input from the sensor unit 101 or the like, and outputs the recognition unit 111 that outputs the position information of the device 100 and the information related to the surrounding situation (hereinafter referred to as situation information). Be prepared.
  • the input of the recognition unit 111 is not limited to the sensor data acquired by the sensor unit 101 or the like of the own machine, and may include the sensor data acquired by the sensor unit 101 or the like of the other device 100. Data input from the cloud 200, the field server 300, or the like via the network may be included.
  • the recognition unit 111 may be an inference device provided with a learning model learned by using machine learning, or may be a rule-based recognition unit that specifies an output from an input according to a predetermined algorithm.
  • the learning model in this embodiment is, for example, learning using a neural network such as DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), or an autoencoder. It can be a model.
  • the learning model may be a single-modal-learned learning device that inputs one type of data, or may be a multi-modal-learned learning model that collectively inputs different types of data. ..
  • the recognition unit 111 may be configured by one learning model, or may be provided with two or more learning models and may be configured to output the final recognition result from the inference results output from each. ..
  • the recognition executed by the recognition unit 111 may be a short-term recognition in which sensor data input from the sensor unit 101 or the like is input in a short period of time, or may be a long-term recognition such as several hours, several days, or several years. It may be a long-term recognition that inputs sensor data over a period of time.
  • the position / peripheral recognition unit 110 and the recognition unit 111 mounted on each device 100 are described as a single configuration, but the present invention is not limited to this.
  • a plurality of position / periphery recognition units 110 may cooperate to realize one or a plurality of recognition units 111, or one position / periphery recognition unit 110 may include a plurality of recognition units 111. ..
  • At that time even if one or a plurality of position / surrounding recognition units 110 and / or one or a plurality of recognition units 111 are composed of position / surrounding recognition units 110 and / or recognition units 111 mounted on different devices 100, respectively. good.
  • the recognition unit 111 is not limited to the position / periphery recognition unit 110, and is, for example, another unit in the device 100 such as the device management unit 120 or the sensor unit 101, or a cloud connected to the device 100 via a network. It may be arranged in 200, a field server 300, or the like.
  • the device management unit 120 is a control unit that manages and controls the overall operation of the device 100.
  • the device management unit 120 may be a control unit such as an ECU (Electronic Control Unit) that collectively controls the entire vehicle.
  • the device 100 is a fixed or semi-fixed device such as a sensor device, it may be a control unit that controls the overall operation of the device 100.
  • the monitor 131 may be a display unit that presents various information to the operator of the device 100, surrounding people, and the like.
  • the user interface 132 may be the user interface 132 for the operator to input settings for the device 100, switching of display information, and the like.
  • Various input means such as a touch panel type and a switch type may be used for the user interface 132.
  • the output unit 133 is composed of, for example, a lamp, an LED (Light Emitting Diode), a speaker, etc., and presents various information to the operator by a method different from that of the monitor 131, and the scheduled operation of the device 100 (right turn, left turn, crane up / down). Etc.) may be an output unit for notifying the surroundings of such things.
  • the operation system 135 may include, for example, a handle, an operation lever, a shift lever, various switches, and the like, and may be an operation unit for the operator to input operation information regarding the running and operation of the device 100.
  • the device control unit 134 may be a control unit that controls the device 100 based on the operation information input from the operation system 135 and the control signal input from the device management unit 120.
  • the cloud 200 is a service form that provides computer resources via a computer network such as the Internet, and is composed of, for example, one or more cloud servers arranged on the network.
  • the cloud 200 includes, for example, a learning unit 201 for learning the recognition unit 111.
  • the recognition unit 111 is an inference device including a learning model
  • the learning unit 201 trains the learning model using supervised learning or unsupervised learning.
  • the learning model after training is downloaded to the device 100 and mounted on the recognition unit 111 of the position / surrounding recognition unit 110, for example.
  • the recognition unit 111 is a rule-based recognition unit
  • the learning unit 201 manually or automatically creates / updates an algorithm for deriving an output as a recognition result with respect to an input.
  • the program in which the created / updated algorithm is described is downloaded to the device 100 and executed by, for example, the recognition unit 111 of the position / periphery recognition unit 110.
  • the recognition unit 111 is an inference device provided with a learning model and the learning model is trained by supervised learning, it is output from the sensor data acquired by the sensor unit 101 or the like of each device 100 or the recognition unit 111.
  • the recognition result (also referred to as an inference result) may be transmitted to the learning unit 201 for the purpose of training or re-learning of the learning model. Further, the re-learned learning model may be downloaded to the device 100 and incorporated into the recognition unit 111 to update the recognition unit 111.
  • the learning unit 201 is not limited to the cloud 200, and may be arranged for edge computing such as fog computing or multi-access edge computing performed in the core network of the base station, or the sensor unit 101 or the like. It may be realized by a processor such as a DSP (Digital Signal Processor), a CPU (Central Processing Unit), or a GPU (Graphics Processing Unit) that constitutes the signal processing units 103, 106, 109. That is, the learning unit 201 may be arranged anywhere in the information processing system 1.
  • DSP Digital Signal Processor
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the site server 300 is a server for managing one or more devices 100 installed in one or more sites.
  • the site server 300 includes a site management unit 301 and a construction planning unit 302.
  • the site management unit 301 collects various information from the position / surrounding recognition unit 110 of the device 100.
  • the site management unit 301 collects sensor data acquired by the sensor unit 101 or the like of the device 100, recognition results derived from the sensor data by the recognition unit 111, and the like.
  • Various collected information is input to the construction planning unit 302.
  • the sensor data to be collected may be raw data as it is acquired by the sensor unit 101 or the like, or a process in which a part or all of the data is processed such as mosaic or cutout in consideration of privacy or the like. It may be completed data.
  • the construction planning unit 302 creates a schedule of construction work being carried out at the site based on the information input from the site management unit 301, and inputs this to the site management unit 301.
  • Information such as schedules created by the construction planning unit 302 of the site server 300 is stored and managed in the site server 300, and is re-used for other devices 100 at the same site, devices 100 at other sites, and the like. It may be used.
  • the site management unit 301 creates an action plan for managing and controlling each device 100 based on the construction schedule input from the construction planning section 302 and various information collected from the device 100, and the created action plan. Is transmitted to the device management unit 120 of each device 100. On the other hand, the device management unit 120 of each device 100 manages and controls each unit of the device 100 according to the received action plan.
  • FIG. 2 is a diagram for explaining a flow from recognition of an earthquake to warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 recognizes the presence or absence of an earthquake by using the sensor data input from the sensor unit 101 or the like as an input. do.
  • the recognition unit 111 when recognizing the presence or absence of an earthquake on a rule basis, the recognition unit 111 has sensor data such as the position, attitude (angle), velocity (angular acceleration), and acceleration (acceleration of each) of the device 100, which are extreme values or sudden changes.
  • sensor data such as the position, attitude (angle), velocity (angular acceleration), and acceleration (acceleration of each) of the device 100, which are extreme values or sudden changes.
  • the optical flow in the continuous image data in the time series shows an extreme value or a sudden change
  • the distance to each subject in the depth image which is continuous in the time series shows a sudden change.
  • the recognition unit 111 may recognize that an earthquake has occurred when the sensor unit 101 or the like detects ground noise or odor (air component) peculiar to the occurrence of an earthquake.
  • the recognition unit 111 inputs sensor data obtained from a sensor unit 101 or the like such as an image sensor into an internal learning model, and from the learning model. It may be recognized that an earthquake has occurred when the output indicates that it is an earthquake.
  • the recognition unit 111 For the recognition of the earthquake by the recognition unit 111, a different learning model may be used for each device 100, or different sensor data may be input for each device 100.
  • the recognition unit 111 is not limited to the presence or absence of an earthquake, and information on the scale of the earthquake (seismic intensity, magnitude, etc.), the damage predicted from it (number of deaths, number of injuries, amount of damage, etc.) and the situation. May be recognized.
  • two approaches can be considered for training and re-learning of the recognition unit 111 that recognizes such an earthquake.
  • the first is a method of training or re-learning a learning model using sensor data generated by earthquake simulation or the like.
  • the learning model trains or re-trains the pair of information such as the scale, topography, and depth of the earthquake source set at the time of simulation with the sensor data generated by the simulation and information such as damage and situation as teacher data. May be learned.
  • the second is a method of training or re-learning a learning model by an anomaly detection method.
  • a learning model is trained using sensor data detected in a state where no earthquake has occurred.
  • the trained learning model outputs the detection of an abnormality, that is, the occurrence of an earthquake, as a recognition result for the input of the sensor data at the time of an earthquake that is not expected in normal times.
  • the recognition unit 111 recognizes an earthquake
  • the recognition result is input to the equipment management unit 120.
  • the device management unit 120 determines the necessity of a warning to the operator and the intensity of the warning (hereinafter, also referred to as a warning level) based on the input recognition result, and executes a warning to the operator based on the determination result.
  • a warning level As the warning method to the operator, for example, a warning via the monitor 131, a warning via an output unit 133 such as a lamp, an LED, or a speaker may be used.
  • the warning level may be, for example, the strength of the volume, the amount of light, the expression on the monitor, or the like.
  • the device management unit 120 may execute a danger avoidance action such as an emergency stop of the device 100 or automatic movement to a safe place.
  • the recognition result by the recognition unit 111 may be transmitted to the site server 300.
  • the sensor data processed data processed such as row data or mosaic
  • the recognition result may be transmitted to the site server 300 together with the recognition result.
  • the recognition unit 111 recognizes an event that occurs in a wide range such as an earthquake
  • the recognition results and sensor data acquired at a plurality of sites are aggregated in the site server 300 to comprehensively judge the situation and give instructions to multiple sites.
  • the sensor data and the recognition result when the recognition unit 111 recognizes the earthquake may be sent to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the sensor data when the earthquake is recognized may be the sensor data acquired by the sensor unit 101 or the like during a certain period before and after the occurrence of the earthquake.
  • FIG. 3 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment.
  • the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S101).
  • the input of the sensor data from the sensor unit 101 or the like may be periodic, or may be necessary, such as when the sensor data shows an abnormal value.
  • the sensor data input from the sensor unit 101 or the like may be raw data or may be processed data that has been processed such as a mosaic.
  • the recognition unit 111 executes the recognition process based on the input sensor data (step S102). As described above, the recognition unit 111 may output information such as the scale of the earthquake that has occurred and the damage and situation predicted from the earthquake as the recognition result, in addition to the presence or absence of the earthquake.
  • step S102 If it is recognized in the recognition process of step S102 that no earthquake has occurred (NO in step S103), this operation proceeds to step S106.
  • the position / surrounding recognition unit 110 inputs the recognition result output from the recognition unit 111 to the device management unit 120, and also via a predetermined network. It is transmitted to the site server 300 (step S104).
  • the device management unit 120 issues a warning to the operator via the monitor 131 and the output unit 133 based on the input recognition result (step S105), and proceeds to step S106.
  • the recognition result includes information such as the scale of the earthquake that occurred and the damage and situation predicted from it
  • the equipment management unit 120 responds to the scale of the earthquake and the damage and situation predicted from it. You may give a warning.
  • the device management unit 120 may execute a danger avoidance action such as an emergency stop of the device 100 or automatic movement to a safe place.
  • step S106 the control unit that controls the device 100 determines whether or not to end this operation, and if it is determined to end (YES in step S106), this operation ends. On the other hand, if it is determined that the process does not end (NO in step S106), this operation returns to step S101, and the subsequent operations are executed.
  • FIG. 4 is a diagram for explaining a flow from recognition of an accident to warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 recognizes the presence or absence of an accident by using the sensor data input from the sensor unit 101 or the like as an input. do.
  • the accident in the present embodiment may include an accident in which the device 100 itself is involved, an accident that occurs around the device 100 and is observed by the device 100 as a third party, and the like.
  • the recognition unit 111 has sensor data such as the position, posture (angle), speed (angular acceleration), and acceleration (acceleration of each) of the device 100, which are extreme values or sudden changes.
  • sensor data such as the position, posture (angle), speed (angular acceleration), and acceleration (acceleration of each) of the device 100, which are extreme values or sudden changes.
  • the optical flow in the continuous image data in the time series shows an extreme value or a sudden change
  • the distance to each subject in the depth image which is continuous in the time series shows a sudden change.
  • the position, posture (angle), speed (angular acceleration), acceleration (acceleration), etc. acquired by the sensor unit 101 or the like attached to the arm, boom, swivel or other movable part of the device 100, etc.
  • the device 100 If the sensor data of is an extreme value or a sudden change, if the device 100 is an aircraft equipped with a brake, the strength of the brake operated by the operator or if the sudden brake is applied, the operator will press the emergency stop button. When pressed, when the crawler or tire of the device 100 is idling, or when the amount of vibration generated in the device 100 and its duration show an extreme value or a sudden change, the operator who operates the device 100 When a specific expression is shown, the body temperature, heart rate, brain wave, etc. of the operator operating the device 100 show an extreme value or a sudden change, the load weight of the device 100 shows an extreme value or a sudden change. If the value or state directly or indirectly acquired from the sensor data input from the sensor unit 101 shows a value or state or change that is not expected in normal times, it may be recognized that an accident has occurred.
  • the recognition unit 111 When recognizing the occurrence of an accident using a learning model using a neural network, the recognition unit 111 inputs sensor data obtained from a sensor unit 101 or the like such as an image sensor into an internal learning model, and the learning model. It may be recognized that an accident has occurred when the output from is indicated to be an accident.
  • the recognition unit 111 determines that an accident has occurred when the above events occur, the device 100 falls from a high place such as a cliff or a building, and if the device 100 is a flying object, it crashes. If the device 100 collides with a person, a building, a natural object (tree, rock, etc.) or another device 100, or if the ceiling, ground, wall, cliff, etc. around the device 100 collapses, the device 100 is loaded. It is possible to recognize the case where the luggage has fallen as an accident. However, the recognition unit 111 may recognize various events as accidents based on various sensor data.
  • the recognition unit 111 For the recognition of the accident by the recognition unit 111, a different learning model may be used for each device 100, or different sensor data may be input for each device 100. Further, the recognition unit 111 is not limited to the presence or absence of an accident, and the scale of the accident (range, number of fatalities, number of injured, etc.) and the damage predicted from it (number of dead, number of injured, amount of damage, etc.) And information such as the situation may be recognized.
  • a method using a simulation and a method for detecting an abnormality are used in the same manner as in the recognition unit 111 (first embodiment) that recognizes an earthquake.
  • the method used may be used.
  • the recognition unit 111 When the recognition unit 111 recognizes an accident, the recognition result may be input to the device management unit 120 and used for a warning to the operator or a danger avoidance action, as in the first embodiment.
  • the recognition result by the recognition unit 111 is the on-site server together with the sensor data (raw data or processed data processed such as mosaic) acquired by the sensor unit 101 or the like at that time. It may be transmitted to 300.
  • the accident information recognized by the recognition unit 111 of a certain device 100 may be notified to another device 100 operating at the same site and shared.
  • the recognition of an accident that has occurred in a certain device 100 may be executed not by the recognition unit 111 of the device 100 but by the recognition unit arranged in another device 100, the cloud 200, or the site server 300.
  • the sensor data acquired by the sensor unit 101 of a certain device 100 may be shared by another device 100, the cloud 200, or the site server 300, and the recognition unit provided therein may recognize the presence or absence of an accident.
  • the sensor data and the recognition result when the recognition unit 111 recognizes the accident may be sent to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the sensor data when the accident is recognized may be the sensor data acquired by the sensor unit 101 or the like during a certain period before and after the accident occurs.
  • FIG. 5 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment. As shown in FIG. 5, in the present embodiment, steps S102 and S103 are replaced with steps S202 and S203 among the same operations as those described with reference to FIG. 3 in the first embodiment.
  • step S202 the recognition unit 111 recognizes the presence or absence of an accident by executing the recognition process based on the input sensor data. At that time, information such as the scale of the accident that has occurred and the damage or situation predicted from it may be output as the recognition result.
  • step S203 as in step S103 in FIG. 3, when it is recognized that no accident has occurred in the recognition process of step S202 (NO in step S203), this operation proceeds to step S106 and the occurrence of the accident is recognized. If so (YES in step S203), the recognition result is input to the device management unit 120 and transmitted to the site server 300 via a predetermined network (step S104).
  • step S105 a warning is issued according to the scale of the accident and the damage and situation predicted from it. You may be injured.
  • the device management unit 120 may execute a danger avoidance action such as an emergency stop of the device 100 or automatic movement to a safe place.
  • FIG. 6 is a diagram for explaining a flow from recognition of a near-hat state to a warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 receives the sensor data input from the sensor unit 101 or the like as an input to the own machine. Or recognize the near-hat condition in the surroundings.
  • the recognition of the hiyari-hat state may be performed, for example, by extracting "accident with no injuries" in Heinrich's law (accident triangle). Therefore, for example, when recognizing a spectacular hat state on a rule basis, the recognition unit 111 has extreme values of sensor data such as the position, posture (angle), speed (angular acceleration), and acceleration (acceleration) of the device 100.
  • sensor data such as the position, posture (angle), speed (angular acceleration), and acceleration (acceleration) of the device 100.
  • the sensor unit 101 Position, posture (angle), speed (angular speed), acceleration (each) acquired by the sensor unit 101 or the like attached to the arm, boom, swivel, or other movable part of the device 100
  • the sensor data such as (acceleration) shows an extreme value or a sudden change
  • the device 100 is an aircraft equipped with a brake, the strength of the brake operated by the operator or if a sudden brake is applied, the operator urgently applies.
  • the stop button is pressed, the crawler or tire of the device 100 is idling, the amount of vibration generated in the device 100 and its duration show an extreme value or a sudden change, the device 100 is operated.
  • the operator who operates the device 100 shows a specific expression, the body temperature, heart rate, brain wave, etc.
  • the load weight of the device 100 is an extreme value or a sudden change.
  • the value or state directly or indirectly acquired from the sensor data input from the sensor unit 101 shows a value or state or change that is not expected in normal times, such as when a change is shown, it is recognized as a very hat state. You can do it.
  • the recognition unit 111 inputs sensor data obtained from a sensor unit 101 or the like such as an image sensor into an internal learning model for learning.
  • a sensor unit 101 or the like such as an image sensor
  • the output from the model is in the hiyari-hat state, it may be recognized as the hiyari-hat state.
  • the recognition unit 111 determines that the recognition unit 111 is in a collision / hat state when the above event occurs, the device 100 is a flying object when the device 100 is likely to fall from a high place such as a cliff or a building. If the device 100 is likely to crash, if the device 100 is likely to collide with people, buildings, natural objects (trees, rocks, etc.) or other devices 100, or if the ceiling, ground, walls, cliffs, etc. around the device 100 are likely to collapse. It is possible to recognize a case where the load loaded on the device 100 is likely to fall as a ceiling hat state. However, the recognition unit 111 may recognize various events as a near-hat state based on various sensor data.
  • the recognition unit 111 Similar to the recognition unit 111 (first and second embodiments) for recognizing an earthquake or an accident, for training and re-learning of the recognition unit 111 that recognizes such a very hat state, for example, a simulation is used. A method, a method using an abnormality detection method, or the like may be used.
  • the recognition unit 111 When the recognition unit 111 recognizes the very hat state, the recognition result may be input to the device management unit 120 and used for a warning to the operator or a danger avoidance action, as in the above-described embodiment.
  • the recognition result by the recognition unit 111 is the on-site server 300 together with the sensor data (raw data or processed data processed such as mosaic) acquired by the sensor unit 101 or the like at that time. May be sent to.
  • whether or not the state is a favorable hat recognized by the recognition unit 111 of a certain device 100 may be notified to another device 100 operating at the same site and shared.
  • the recognition of whether or not a certain device 100 is in the very hat state is executed not by the recognition unit 111 in the device 100 but by the recognition unit arranged in the other device 100, the cloud 200, or the site server 300. May be good.
  • the sensor data acquired by the sensor unit 101 of a certain device 100 may be shared by another device 100, the cloud 200, or the site server 300, and the recognition unit provided therein may recognize the convincing hat state.
  • the sensor data and the recognition result when the recognition unit 111 recognizes the favorable hat state may be sent to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the sensor data when the near-hat state is recognized may be the sensor data acquired by the sensor unit 101 or the like during a certain period before and after the occurrence of the near-hat state.
  • FIG. 7 is a flowchart showing an operation flow example of the information processing system 1 according to the present embodiment. As shown in FIG. 7, in the present embodiment, steps S102 and S103 are replaced with steps S302 and S303 among the same operations as those described with reference to FIG. 3 in the first embodiment.
  • step S302 the recognition unit 111 recognizes whether or not it is in the convincing hat state by executing the recognition process based on the input sensor data. At that time, information such as how dangerous is imminent may be output as a recognition result.
  • step S303 as in step S103 in FIG. 3, when it is recognized in the recognition process of step S302 that the state is not in the very hat state (NO in step S303), this operation proceeds to step S106 and is in the convincing hat state. If it is recognized (YES in step S303), the recognition result is input to the device management unit 120 and transmitted to the site server 300 via a predetermined network (step S104).
  • step S105 If the recognition result includes information such as how dangerous the danger is, in step S105, a warning may be given according to the information such as how dangerous the danger is.
  • the device management unit 120 may execute a danger avoidance action such as an emergency stop of the device 100 or automatic movement to a safe place.
  • the dangerous state in this explanation is the high possibility that an accident will occur due to the behavior or situation of the device 100 itself or surrounding people or things, in other words, the device 100 itself or surrounding people or things should be protected. It may be a high possibility (also referred to as danger) that the subject is in danger. Further, in the following description, the same configurations, operations and effects as those of the above-described embodiment will be referred to, and duplicate description will be omitted.
  • FIG. 8 is a diagram for explaining a flow from recognition of a dangerous state to warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 receives the sensor data input from the sensor unit 101 or the like as an input, and the own machine or its surroundings. Recognize the danger situation in.
  • the operation of the device 100 and the device 100 that puts people and things around it in a dangerous state can be, for example, if the device 100 is a dump truck, traveling forward / backward, dumping the loading platform, and the like. Further, for example, if the device 100 is a hydraulic excavator, traveling forward / backward, turning the upper swing body, operating the boom / arm / bucket, and the like may be applicable.
  • an accident may occur, such as a collision between the own device and an object to be protected by the operation of the device 100, or a collision between an object transported or moved by the operation of the device 100 and an object to be protected.
  • the health of the object to be protected may be threatened or destroyed, such as the operator suffering from heat stroke or frost injury, or an earthquake may occur.
  • Objects to be protected may include humans, other animals, objects such as buildings and equipment, and the like.
  • the recognition unit 111 recognizes a dangerous state by inputting sensor data such as image data, depth image data, IMU data, and GNSS data input from the sensor unit 101 and the like.
  • sensor data such as image data, depth image data, IMU data, and GNSS data input from the sensor unit 101 and the like.
  • the recognition unit 111 may be trained using a wider variety of sensor data or long-term sensor data than, for example, accident recognition in the second embodiment or near-hat state recognition in the third embodiment. ..
  • the data input to the recognition unit 111 can include all the information acquired by the device 100 in addition to the sensor data described above. For example, information on the speed and torque of crawlers and tires, information on the position, posture (angle), speed, acceleration, etc. of the device 100, information on the position, angle, speed, etc. of moving parts such as arms, booms, and swivels, and equipment. Information about 100 vibrations, load weight, operator's facial expression (camera image), body temperature, heartbeat, brain wave, etc. may be included.
  • the recognition unit 111 may output the degree of danger (hereinafter, also referred to as a danger level) in the dangerous state as a recognition result.
  • the present invention is not limited to this, and the device management unit 120 may determine the danger level based on the sensor data input from the sensor unit 101 or the like and the recognition result. For example, when the recognition result indicates that the state is in a dangerous state and it is specified that the sensor data is approaching a cliff or the like from the image data or the like, the device management unit 120 may determine that the danger level is high.
  • the intensity (warning level) of the warning given to the operator by the device management unit 120 may be changed according to, for example, the danger level. For example, when the danger level is very high, the device management unit 120 issues a strong warning such as a warning sound or a blinking lamp to the operator, a message display of an operation stop instruction, or the like, or the device 100 to the device control unit 134. You may output the instruction to stop the operation of.
  • a strong warning such as a warning sound or a blinking lamp to the operator, a message display of an operation stop instruction, or the like, or the device 100 to the device control unit 134. You may output the instruction to stop the operation of.
  • the recognition unit 111 infers the time from the dangerous state to the actual dangerous state (hiyari hat state) and the time until the accident occurs (hereinafter, predicted time). You may. Then, the recognition unit 111 or the device management unit 120 may determine that the shorter the inferred prediction time is, the higher the danger level is.
  • the recognition unit 111 may infer the scale of danger predicted from the dangerous state as a part of the recognition result. Then, the recognition unit 111 or the device management unit 120 may determine that the greater the scale of the predicted danger, the higher the danger level.
  • the recognition unit 111 may infer a target class or the like that is determined to be dangerous as a part of the recognition result. Then, the recognition unit 111 or the device management unit 120 may change the danger level according to the inferred target class. For example, the recognition unit 111 or the device management unit 120 determines that the danger level is high when the target class is a human or manned heavy equipment, and the danger level is high when the target class is a building or unmanned heavy equipment. It may be determined that it is low.
  • the recognition unit 111 may infer the operation and the direction of the device 100 which can be a factor for actually transitioning the dangerous state to the dangerous state. Then, in the device management unit 120, the operation based on the operation input from the device control unit 134 and its direction, and the next operation and its direction in the action plan received from the site server 300 are actually dangerous states. In the case of an operation that may be a factor for transitioning to, or when it matches or approximates the direction thereof, a warning may be issued to the operator or attention may be issued via the monitor 131.
  • a method using a simulation, a method using an abnormality detection method, or the like may be used, as in the above-described embodiment. ..
  • the recognition result by the recognition unit 111 is the on-site server 300 together with the sensor data (raw data or processed data processed such as mosaic) acquired by the sensor unit 101 or the like at that time. May be sent to.
  • the recognition of whether or not a certain device 100 is in a dangerous state may be executed not by the recognition unit 111 in the device 100 but by the recognition unit arranged in another device 100, the cloud 200, or the site server 300. ..
  • the sensor data acquired by the sensor unit 101 of a certain device 100 may be shared by another device 100, the cloud 200, or the site server 300, and the recognition unit provided therein may recognize the dangerous state.
  • the sensor data and the recognition result when the recognition unit 111 recognizes the dangerous state may be sent to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the sensor data when the dangerous state is recognized may be the sensor data acquired by the sensor unit 101 or the like for a certain period before and after the time when the dangerous state is recognized.
  • FIG. 9 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment. As shown in FIG. 9, in the present embodiment, among the operations similar to those described with reference to FIG. 3 in the first embodiment, steps S102, S103 and S105 are replaced with steps S402, S403 and S405. There is.
  • step S402 the recognition unit 111 recognizes whether or not it is in a dangerous state by executing the recognition process based on the input sensor data. At that time, information such as the danger level, the predicted time, the scale of the danger, the behavior that causes the danger, and the direction thereof may be output as the recognition result.
  • step S403 similarly to step S103 in FIG. 3, when it is recognized that the recognition process in step S402 is not a dangerous state (NO in step S403), this operation proceeds to step S106 and is recognized as a dangerous state. If (YES in step S403), the recognition result is input to the device management unit 120 and transmitted to the site server 300 via a predetermined network (step S104).
  • step S405 the device management unit 120 issues a warning to the operator according to the danger level estimated by the recognition unit 111 or the device management unit 120.
  • the device management unit 120 may issue a warning or caution to the operator regarding the next action when the action that may be a factor or the direction thereof is matched or approximated.
  • the information processing system 1 is used to recognize and predict the movements of people, objects, areas, etc. around the device 100 to improve the current and future safety in the field. Will be explained.
  • the same configurations, operations and effects as those of the above-described embodiment will be referred to, and duplicate description will be omitted.
  • FIG. 10 is a diagram for explaining a flow from motion recognition to notification to an operator (may include a warning) in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / circumference recognition unit 110 receives the sensor data input from the sensor unit 101 or the like as an input, and is specific. Recognizes and / or predicts the movement of an object belonging to the area or an object belonging to a predetermined range centered on the own machine. Further, each device 100 is provided with an object database 512.
  • the recognition unit 111 inputs image data, depth image data, IMU data, GNSS data, etc. input from the sensor unit 101 and the like, and recognizes the existence and position of people and objects existing around the own machine. Executes an area recognition process that recognizes the area in which they exist by semantic segmentation or the like.
  • the device management unit 120 has the existence of people, objects, etc. (hereinafter, also referred to as an object) and the result of semantic segmentation (object exists) based on the result of the area recognition process by the recognition unit 111 as auxiliary information for the operation of the device 100.
  • the area or position to be used) is presented to the operator via the monitor 131 (area presentation).
  • the operator pays attention to the target area, that is, the area targeted for motion recognition by the recognition unit 111 (the area where the object exists or the specific area based on the own machine). Etc.) is input using, for example, UI132.
  • Examples of objects include floors, walls, ceilings of buildings, tunnels, and other structures (which may be demolished), indoor or outdoor ground, cliffs, slopes, etc., as well as within a certain range from your own machine. People and things (including other devices 100, etc.) can be considered. Further, as an example of the area, in addition to the area where the object exists, an area within a certain range from the own machine, a specific area such as a passage or an entrance / exit, etc. can be considered.
  • the device management unit 120 refers to the selected area or the object corresponding to the area, "the appearance and position of the object or the area” (hereinafter referred to as “the appearance and position of the object”). (Also referred to as object information) is registered in the object database 512.
  • the "appearance" in the object information may be the recognition result of the recognition unit 111, or may be the "appearance” of the shape, pattern (texture), color, material, etc. of the object or region. ..
  • the "position” may be either a position on an image, an absolute position on the site, or a combination thereof. Specifically, for example, in the case of a semi-fixed observation aircraft in which the device 100 does not move, the "position” may be a position on an image. On the other hand, in the case of a moving aircraft, the "position” may be the absolute position of the site. In the case of the device 100 that can be operated while moving or stopped, both the position on the image and the absolute position on the site may be used.
  • the recognition unit 111 is the sensor unit for the selected area or the object corresponding to the area (that is, the object or area registered in the object database 512).
  • the motion recognition process using the sensor data input from 101 as an input is executed.
  • the recognition unit 111 receives motion recognition of the selected object or region by inputting sensor data such as image data, depth image data, IMU data, and GNSS data input from the sensor unit 101 or the like, for example. Run. As a result, when it is detected that the selected object or area has moved, the recognition unit 111 notifies the device management unit 120 of this. On the other hand, the device management unit 120 notifies the operator via the monitor 131 and the output unit 133 that the selected object or area has moved.
  • the object information registered in the object database 512 of a certain device 100 may be collected in the site server 300 and shared by another device 100 at the same site, a device 100 at another site, or the like. Thereby, for example, it becomes possible to monitor the motion recognition of the object or area tracked and designated (selected) by one device 100 by another device 100 or two or more devices 100. At that time, the device 100 or the site server 300 may automatically collect the object information by the site server 300 and share the object information between the devices 100 (download to each device 100), or manually by the operator. May be done at. Further, the movement of the target recognized by one device 100 may be shared by another device 100 via the site server 300.
  • the object information registered in the object database 512 may be uploaded to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the recognition performance of the recognition unit 111 can be improved.
  • a method using a simulation, a method using an abnormality detection method, or the like may be used, as in the above-described embodiment.
  • the recognition unit 111 recognizes that the selected object actually moves has been described, but the present invention is not limited to this, and the recognition unit 111 predicts that the selected object moves.
  • the process may be executed. For example, there is a possibility that the target will move by detecting changes in the amount of spring water around the target, dirt smoke around the target, ambient noise, atmospheric components, etc. with the sensor unit 101 or the like and inputting them to the recognition unit 111. Can be inferred.
  • the recognition result by the recognition unit 111 is the on-site server 300 together with the sensor data (raw data or processed data processed such as mosaic) acquired by the sensor unit 101 or the like at that time. May be sent to.
  • FIG. 11 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment.
  • the area to be monitored is selected.
  • the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S501).
  • the recognition unit 111 executes the area recognition process based on the input sensor data (step S502).
  • the area in which the object exists is labeled by, for example, semantic segmentation, and the area of the object is specified.
  • the recognized object or area is notified to the device management unit 120.
  • the device management unit 120 presents the recognized object or area to the operator via the monitor 131 (step S503).
  • the operator inputs the selection of the object or area using, for example, UI132 (YES in step S504)
  • the device management unit 120 registers the object information about the selected object or area in the object database 512. (Step S505). If the selection by the operator is not input (NO in step S504), this operation returns to step S501.
  • step S506 motion recognition of the object or area selected as the monitoring target is executed.
  • the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S506).
  • the recognition unit 111 executes the motion recognition process based on the input sensor data (step S507).
  • the motion recognition process for example, the motion of an object or a region may be recognized from image data, depth image data, or the like.
  • the recognition unit 111 determines whether or not there is movement in the selected object or area based on the result of the motion recognition process (step S508). If there is no movement (NO in step S508), this operation proceeds to step S511. On the other hand, when there is a movement (YES in step S508), the recognition unit 111 notifies the device management unit 120 that the selected object or area has moved (step S509). The movement of the selected object or area may be notified from the recognition unit 111 or the device management unit 120 to the site server 300 and shared with the other device 100.
  • the device management unit 120 notifies the operator that the selected object or area has moved, for example, via the monitor 131 or the output unit 133 (step S510).
  • the device management unit 120 determines whether or not to change the object or area to be monitored based on, for example, an operation input by the operator from UI132 or the like (step S511). If the object or area to be monitored is not changed (NO in step S511), this operation returns to step S506.
  • step S511 when the area to be monitored is changed (YES in step S511), the control unit controlling the device 100 determines whether or not to end this operation, and when it is determined to end (YES in step S512). , This operation ends. On the other hand, if it is determined that the process does not end (NO in step S512), this operation returns to step S501, and the subsequent operations are executed.
  • the object or area to be monitored is selected based on one or more sensor data input from the sensor unit 101 or the like, and the movement of the selected monitoring target is performed. Since it can be monitored, it is possible to improve the safety of the site now and in the future. Since other configurations, operations, and effects may be the same as those in the above-described embodiment, detailed description thereof will be omitted here.
  • FIG. 12 is a diagram for explaining a flow from operator fatigue recognition to warning to the operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 receives the sensor data input from the sensor unit 101 or the like as an input, and the operator's fatigue. Recognize the degree of.
  • the recognition unit 111 inputs image data, depth image data, IMU data, GNSS data, etc. input from the sensor unit 101 and the like, and executes a fatigue recognition process for recognizing the degree of fatigue of the operator.
  • the recognition unit 111 may use, for example, image data or depth image data input from a sensor unit 101 or the like attached to the operator or the like, such as the axle, driver's seat, arm unit, frame, or crawler of the device 100.
  • IMU data, GNSS data, sensor data such as operator's facial expression, body temperature, heart rate, brain wave, etc., as well as the elapsed time from the start of operation of the device 100, the operator's continuous working hours, etc. are input to recognize the operator's fatigue. You may.
  • the learning model for recognizing the operator's fatigue may be trained or relearned based on, for example, the behavior of the device 100 when the operator is tired, the operation content, and the like.
  • the learning model is not limited to this, and the learning model includes abnormality detection learning based on the behavior and maneuvering content of the device 100 in the normal state when the operator is not tired, and the behavior and maneuvering content of the device 100 at the start of operation of the device 100.
  • the training or re-learning may be performed by learning based on the difference between the behavior of the device 100 and the operation content and the like when a certain time has passed from the start of the operation.
  • the learning model used by the recognition unit 111, the threshold value used for judgment, and the like may be different for each operator.
  • the learning model, the judgment threshold value, etc. corresponding to the individual operator may be managed by the device 100, the site server 300, the cloud 200, or the like at each site.
  • the recognition unit 111 uses the learning model and the judgment threshold value prepared in advance as a template. May be good. In that case, the template may be managed by any of the device 100, the field server 300, and the cloud 200.
  • the recognition unit 111 notifies the device management unit 120 of this.
  • the device management unit 120 notifies the operator that he / she is tired via the monitor 131 and the output unit 133.
  • the fact that the operator of the device 100 is tired may be shared with the site server 300 or another device 100 at the same site. This makes it possible to improve the efficiency of on-site operations.
  • the recognition result by the recognition unit 111 is the on-site server together with the sensor data (raw data or processed data processed such as mosaic) acquired by the sensor unit 101 or the like at that time. It may be transmitted to 300.
  • FIG. 13 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment. As shown in FIG. 13, in the present embodiment, steps S102 and S103 are replaced with steps S602 and S603 among the same operations as those described with reference to FIG. 3 in the first embodiment.
  • step S602 the recognition unit 111 recognizes the degree of fatigue of the operator by executing the recognition process based on the input sensor data.
  • step S603 similarly to step S103 in FIG. 3, when it is recognized that the operator is not tired in the recognition process of step S202 (NO in step S603), this operation proceeds to step S106, and the operator is tired.
  • the recognition result is input to the device management unit 120 and transmitted to the site server 300 via a predetermined network (step S104).
  • the recognition unit 111 adds the sensing data such as image data, depth image data, IMU data, and GNSS data, as well as the height, angle, FoV (angle of view), and the like of the camera.
  • sensing data such as image data, depth image data, IMU data, and GNSS data
  • the height, angle, FoV (angle of view), and the like of the camera is illustrated.
  • attribute information information about the sensor unit 101
  • FIG. 14 is a diagram for explaining a flow from recognition processing to warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 is in addition to the sensor data input from the sensor unit 101 or the like to the sensor unit.
  • the recognition process is executed by inputting the attribute information such as 101.
  • the recognition unit 111 has a height and posture of the installation location if the sensor unit 101 and the like are cameras. Attribute information such as (angle) and FoV (angle of view) is used as additional input, and various recognition processes such as object recognition such as humans and objects and semantic segmentation are executed. The result of the recognition process may be used for a warning or the like for preventing contact between the device 100 and a person or an object, as in the above-described embodiment.
  • the camera one of the sensor units 101, etc.
  • the silhouette of a person or an object reflected in the image data acquired by the camera has a special shape different from the silhouette of the person or the object in the image data acquired by the camera or the like mounted on the automobile or the like. Therefore, as in the present embodiment, by adding the attribute information related to the height and posture of the installation position of the sensor unit 101 or the like to the input of the recognition unit 111 and executing the recognition process, the silhouette is copied as a silhouette having a different special shape. Since it is possible to improve the recognition accuracy for people and things, it is possible to accurately issue a warning to the operator. This makes it possible to further improve current and future safety in the field.
  • a learning model that can add such attribute information can be learned by training or re-learning in which the attribute information is added to the teacher data. As a result, it becomes possible to cause the recognition unit 111 to execute more accurate recognition processing in consideration of the attribute information of the sensor unit 101 or the like.
  • the position / attitude information obtained from the IMU or GNSS receiver provided in the sensor unit 101 or the like or the device 100 may be used as the attribute information regarding the height and attitude of the installation position of the sensor unit 101 or the like.
  • the recognition unit 111 may execute an appropriate recognition process according to the change.
  • the attribute information of the sensor unit 101 or the like may be a static value.
  • dynamic values and static values may be mixed, such that a part of the attribute information is a dynamic value and the rest is a static value.
  • FIG. 15 is a flowchart showing an operation flow example of the information processing system 1 according to the present embodiment.
  • step S701 is added after step S101, and step S701 is added.
  • S102 and S103 have been replaced by steps S702 and S703.
  • step S701 attribute information of the sensor unit 101 and the like is input.
  • the present invention is not limited to this, and the attribute information of each sensor unit 101 or the like may be input in the form of accompanying the sensor data in step S101.
  • step S702 the recognition unit 111 executes the recognition process based on the input sensor data and attribute information. For example, when the present embodiment is applied to the earthquake recognition according to the first embodiment, the recognition unit 111 executes the recognition process based on the input sensor data and the attribute information to determine whether or not an earthquake has occurred. Recognize.
  • step S703 for example, as a result of the recognition process in step S702, it is determined whether or not a warning to the operator is necessary.
  • the recognition unit 111 determines that an earthquake has occurred, that is, a warning is required (YES in step S103 of FIG. 3).
  • this operation proceeds to step S106, and when it is determined that the warning is necessary (YES in step S703), the recognition result is input to the device management unit 120.
  • FIG. 16 is a diagram for explaining a flow from recognition processing to a warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 has a warning level set for each object or its type. Warn the operator.
  • each device 100 is provided with an attribute database 812 for managing the warning level set for each object or its type.
  • the recognition unit 111 inputs image data, depth image data, IMU data, GNSS data, etc. input from the sensor unit 101 and the like, and recognizes the existence and position of people and objects existing around the own machine. Executes an area recognition process that recognizes the area in which they exist by semantic segmentation or the like.
  • the device management unit 120 provides the operator with the existence of an object and the result of semantic segmentation (area or position where the object exists) based on the result of the area recognition process by the recognition unit 111 as auxiliary information for the operation of the device 100. It is presented (area presentation) via the monitor 131. On the other hand, the operator inputs the selection of the area in which the object for setting the warning level exists among the presented areas such as objects by using, for example, UI132.
  • the example of the object may be the same as the example described in the fifth embodiment, for example.
  • the device management unit 120 When the operator inputs the selection of the area for which the warning level is to be set, the device management unit 120 describes the selected area, the object corresponding to the area, or the type to which the object belongs, and "the appearance of the object”. "Position and designated warning intensity” (hereinafter, also referred to as warning level information) is set, and the warning level information set for each object or its type is registered in the attribute database 812.
  • the "view” and “position” in the warning level information may be the same as those in the object information according to the fifth embodiment.
  • the recognition unit 111 executes various recognition processes for the sensor data input from the sensor unit 101 and the like.
  • the recognition process executed by the recognition unit 111 may be any of the recognition processes exemplified in the above-described embodiment. Further, the recognition unit 111 may include an object for which warning level information is not set as a recognition target.
  • the recognition unit 111 recognizes an object or area requiring a warning by inputting sensor data such as image data, depth image data, IMU data, and GNSS data input from the sensor unit 101 or the like, for example.
  • the recognition unit 111 executes an attribute information assigning process for imparting warning level information set for the object or its type in the attribute database 812 to the object or area recognized as requiring a warning. For example, the recognition unit 111 compares the object or its type obtained as the recognition result with the object or its type in which the warning level information is registered in the attribute database 812, and compares the object or its type with the same appearance and the same position. Applicable warning level information is given to the type. At that time, objects with the same appearance but at different positions may be warned at a low warning level (attention level). Then, the recognition unit 111 notifies the device management unit 120 of the information of the object or area to which the warning level information is added as the recognition result.
  • the area recognition process and the attribute information addition process may be executed by one recognition unit 111, or may be executed by different recognition units 111 included in the position / periphery recognition unit 110.
  • the device management unit 120 issues a warning according to the warning level given to the object or area for which a warning is required in the recognition result to the operator via the monitor 131 or the output unit 133.
  • the device management unit 120 issues a warning according to the warning level given to the object or area for which a warning is required in the recognition result to the operator via the monitor 131 or the output unit 133.
  • the warning level information registered in the attribute database 812 of a certain device 100 may be collected in the site server 300 and shared by another device 100 at the same site, a device 100 at another site, or the like. As a result, the warning level can be set for each object or its type in the two or more devices 100, so that the warning level setting work can be made more efficient. At that time, when giving a warning based on the warning level information set in the other device 100, the operator may be notified that the warning level information has already been set in addition to the warning according to the warning level. Further, the device 100 or the site server 300 may automatically collect the warning level information by the site server 300 and share the warning level information between the devices 100 (download to each device 100), or the operator may perform it. It may be done manually.
  • the warning level information registered in the attribute database 812 may be uploaded to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the recognition performance of the recognition unit 111 can be improved.
  • a method using a simulation, a method using an abnormality detection method, or the like may be used, as in the above-described embodiment.
  • FIG. 17 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment.
  • the information processing system 1 first selects a region to be monitored, as in the fifth embodiment. Specifically, for example, similarly to step S101 in FIG. 3, first, the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S801).
  • the recognition unit 111 executes the area recognition process based on the input sensor data (step S802).
  • the area in which the object exists is labeled by, for example, semantic segmentation, and the area of the object is specified.
  • the recognized object or area is notified to the device management unit 120.
  • the device management unit 120 presents the recognized object or area to the operator via the monitor 131 (step S803).
  • the operator selects an object or area using, for example, UI132, and specifies a warning level for the selected object or area (YES in step S804)
  • the device management unit 120 selects.
  • the warning level information regarding the created object or area is registered in the attribute database 812 (step S805). If the selection by the operator is not input (NO in step S804), this operation returns to step S801.
  • the recognition process is executed for the object for which the warning level is specified and the object or area of the same type. Specifically, for example, similarly to step S101 in FIG. 3, first, the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S806).
  • the recognition unit 111 executes recognition processing for the target object or area based on the input sensor data (step S807).
  • the recognition unit 111 determines whether or not a warning to the operator regarding the target object or area is necessary based on the result of the recognition process (step S808). If it is determined that the warning is not necessary (NO in step S808), this operation proceeds to step S811. On the other hand, when it is determined that a warning is necessary (YES in step S808), the recognition unit 111 notifies the device management unit 120 of the recognition result (step S809). The recognition result may be notified from the recognition unit 111 or the device management unit 120 to the site server 300 and shared with other devices 100.
  • the device management unit 120 issues a warning at the specified warning level regarding the object or area for which the warning is determined to be necessary to the operator via, for example, the monitor 131 or the output unit 133 (step S810).
  • the device management unit 120 determines whether or not to change the object or area to be warned based on, for example, an operation input by the operator from UI132 or the like (step S811). If the object or area to be warned is not changed (NO in step S811), this operation returns to step S806.
  • step S811 when the area to be warned is changed (YES in step S811), the control unit controlling the device 100 determines whether or not to end this operation, and when it is determined to end (YES in step S812). , This operation ends. On the other hand, if it is determined that the process does not end (NO in step S812), this operation returns to step S801, and the subsequent operations are executed.
  • a warning level is set for each object or its type based on one or more sensor data input from the sensor unit 101 or the like, and the set warning level is used. Since the warning is issued to the operator, the operator can know what kind of situation the object to be protected more accurately is. This makes it possible to improve current and future safety in the field. Since other configurations, operations, and effects may be the same as those in the above-described embodiment, detailed description thereof will be omitted here.
  • FIG. 18 is a diagram for explaining a flow from recognition processing to a warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / periphery recognition unit 110 is the object specified in the recognition result or its own.
  • the area exclusion process for determining the necessity of warning for the target object or area is executed.
  • each device 100 is provided with an exclusion database 912 for excluding objects or their types from the target of warning.
  • the recognition unit 111 inputs image data, depth image data, IMU data, GNSS data, etc. input from the sensor unit 101 and the like, and recognizes the existence and position of people and objects existing around the own machine. Executes an area recognition process that recognizes the area in which they exist by semantic segmentation or the like.
  • the device management unit 120 provides the operator with the existence of an object and the result of semantic segmentation (area or position where the object exists) based on the result of the area recognition process by the recognition unit 111 as auxiliary information for the operation of the device 100. It is presented (area presentation) via the monitor 131. On the other hand, the operator inputs the selection of the area in which the object to be excluded from the warning exists among the areas such as the presented objects by using, for example, UI132.
  • the example of the object may be the same as the example described in the fifth embodiment, for example.
  • the device management unit 120 When the operator inputs the selection of the area to be excluded from the warning, the device management unit 120 describes the selected area, the object corresponding to the area, or the type to which the object belongs, "the appearance and position of the object". (Hereinafter, also referred to as exclusion information), and the exclusion information set for each object or its type is registered in the exclusion database 912.
  • exclusion information also referred to as exclusion information
  • the "view” and "position” in the exclusion information may be the same as those in the object information according to the fifth embodiment.
  • the recognition unit 111 executes various recognition processes for the sensor data input from the sensor unit 101 and the like.
  • the recognition process executed by the recognition unit 111 may be any of the recognition processes exemplified in the above-described embodiment. Further, the recognition unit 111 may include an object excluded from the warning target as a recognition target.
  • the recognition unit 111 recognizes an object or area requiring a warning by inputting sensor data such as image data, depth image data, IMU data, and GNSS data input from the sensor unit 101 or the like, for example.
  • the recognition unit 111 executes an area exclusion process for determining whether or not exclusion information is registered in the exclusion database 912 with respect to the object or area recognized by the area recognition process. For example, the recognition unit 111 compares the object or its type obtained as the recognition result with the object or its type registered as a non-warning target in the exclusion database 912, and the object or the object at the same position with the same appearance. The type is excluded from the warning.
  • the present invention is not limited to this, and objects having the same appearance but different positions may be warned at a low warning level (warning level).
  • the recognition unit 111 notifies the device management unit 120 of the information of the object or area that is not excluded from the warning in the exclusion database 912 as the recognition result.
  • the area recognition process and the area exclusion process may be executed by one recognition unit 111, or may be executed by different recognition units 111 included in the position / periphery recognition unit 110.
  • the device management unit 120 issues a warning to the warning target object or area to the operator via the monitor 131 and the output unit 133 based on the recognition result notified from the recognition unit 111.
  • the operator is issued only a warning about an object or area of interest, so that a more accurate warning can be issued to the operator.
  • the exclusion information registered in the exclusion database 912 of a certain device 100 may be collected in the site server 300 and shared by another device 100 at the same site, a device 100 at another site, or the like. As a result, it is possible to set an object to be excluded or its type in two or more devices 100, so that the exclusion work can be made more efficient. At that time, when the object or area is excluded based on the exclusion information set in the other device 100, the operator is notified of the object or area excluded from the target in addition to the warning for the target object or area. good. Further, the collection of exclusion information by the site server 300 and the sharing of exclusion information between the devices 100 (downloading to each device 100) may be automatically performed by the device 100 or the site server 300, or may be manually performed by the operator. It may be done.
  • the exclusion information registered in the exclusion database 912 may be uploaded to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the recognition performance of the recognition unit 111 can be improved.
  • a method using a simulation, a method using an abnormality detection method, or the like may be used, as in the above-described embodiment.
  • FIG. 19 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment.
  • the information processing system 1 first selects a region to be monitored, as in the fifth embodiment. Specifically, for example, similarly to step S101 in FIG. 3, first, the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S901).
  • the recognition unit 111 executes the area recognition process based on the input sensor data (step S902).
  • the area in which the object exists is labeled by, for example, semantic segmentation, and the area of the object is specified.
  • the recognized object or area is notified to the device management unit 120.
  • the device management unit 120 presents the recognized object or area to the user via the monitor 131 (step S903).
  • the device management unit 120 determines the exclusion information regarding the selected object or area. Is registered in the exclusion database 912 (step S905). If the selection by the operator is not input (NO in step S904), this operation returns to step S901.
  • step S906 the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S906).
  • the recognition unit 111 executes the recognition process for the object or area based on the input sensor data (step S907).
  • the recognition unit 111 determines whether or not the recognized object or area is excluded from the warning based on the result of the recognition process (step S908). If it is excluded from the warning (YES in step S908), this operation proceeds to step S911. On the other hand, when it is the target of the warning (NO in step S908), the recognition unit 111 notifies the device management unit 120 of the recognition result (step S909). The recognition result may be notified from the recognition unit 111 or the device management unit 120 to the site server 300 and shared with other devices 100.
  • the device management unit 120 issues a warning regarding the object or area targeted for the warning to the operator via, for example, the monitor 131 or the output unit 133 (step S910).
  • the device management unit 120 determines whether or not to change the object or area to be excluded based on, for example, an operation input by the operator from UI132 or the like (step S911). If the object or area to be excluded is not changed (NO in step S911), this operation returns to step S906.
  • step S911 when the area to be excluded is changed (YES in step S911), the control unit controlling the device 100 determines whether or not to end this operation, and when it is determined to end (YES in step S912). , This operation ends. On the other hand, if it is determined that the process does not end (NO in step S912), this operation returns to step S901, and the subsequent operations are executed.
  • FIG. 20 is a diagram for explaining a flow from recognition processing to warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 is an object specified in the recognition result or Among the objects of the same type, the recognition process of recognizing the approach of the object or area designated as a dangerous object or dangerous area by the operator, that is, the object of approach monitoring is executed.
  • each device 100 is provided with an approach monitoring database 1012 for registering an object to be monitored for approach to the device 100 or its type.
  • the recognition unit 111 inputs image data, depth image data, IMU data, GNSS data, etc. input from the sensor unit 101 and the like, and recognizes the existence and position of people and objects existing around the own machine. Executes an area recognition process that recognizes the area in which they exist by semantic segmentation or the like.
  • the device management unit 120 obtains the result of the area recognition process by the recognition unit 111 in addition to the image of the surroundings of the device 100 (hereinafter, also referred to as the surrounding image) acquired by the sensor unit 101 or the like as auxiliary information for the operation of the device 100. Based on this, the existence of the object and the result of semantic segmentation (the area or position where the object exists) are presented to the operator via the monitor 131 (area presentation). On the other hand, the operator inputs the selection of the area where the object to be the approach monitoring exists among the areas such as the objects presented together with the surrounding image by using, for example, UI132.
  • the example of the object may be the same as the example described in the fifth embodiment, for example.
  • the device management unit 120 When the operator inputs the selection of the area to be monitored by the operator, the device management unit 120 describes the "view and position" (hereinafter referred to as “view and position") with respect to the selected area, the object corresponding to the area, or the type to which the object belongs. , Also referred to as approach monitoring information), and the approach monitoring information set for each object or its type is registered in the approach monitoring database 1012.
  • the "view” and “position” in the approach monitoring information may be the same as those in the object information according to the fifth embodiment.
  • the recognition unit 111 executes various recognition processes for the sensor data input from the sensor unit 101 or the like.
  • the recognition unit 111 approaches (or approaches) the device 100 of the object or area by inputting sensor data such as image data, depth image data, IMU data, and GNSS data input from the sensor unit 101 or the like, for example. , Approach of the device 100 to the object or area).
  • the recognition unit 111 executes an approach recognition process for determining whether or not the device 100 has been approached with respect to the object or area in which the approach monitoring information is registered in the approach monitoring database 1012. For example, the recognition unit 111 compares the object or its type obtained as the recognition result with the object or its type registered as a warning target in the proximity monitoring database 1012, and compares the object or its type with the same appearance and the same position. The types are monitored, and it is recognized whether the distance between them and the device 100 is within a predetermined distance. At that time, the distance for determining the necessity of notification may be changed according to the object or its type.
  • the recognition unit 111 notifies the device management unit 120 of the recognition result for the object or area.
  • the area recognition process and the proximity recognition process may be executed by one recognition unit 111, or may be executed by different recognition units 111 included in the position / periphery recognition unit 110.
  • the device management unit 120 notifies the operator via the monitor 131 and the output unit 133 that the object or area to be monitored for approach has approached, based on the recognition result notified from the recognition unit 111. As a result, the operator can accurately know that the device 100 has approached a dangerous object or a dangerous area.
  • the proximity monitoring information registered in the proximity monitoring database 1012 of a certain device 100 may be collected in the site server 300 and shared by another device 100 at the same site, a device 100 at another site, or the like. As a result, it is possible to set the object to be monitored or the type thereof by the two or more devices 100, so that the registration work of the monitoring target can be made more efficient. At that time, when monitoring the approach of the object or area based on the approach monitoring information set by the other device 100, in addition to the notification regarding the target object or area, the monitored object or area is sent to the operator. You may be notified. Further, the device 100 or the site server 300 may automatically collect the approach monitoring information by the site server 300 and share the approach monitoring information between the devices 100 (download to each device 100), or the operator may use the site server 300. It may be done manually.
  • the proximity monitoring information registered in the proximity monitoring database 1012 may be uploaded to the cloud 200 for analysis and used for training or re-learning of the learning model.
  • the recognition performance of the recognition unit 111 can be improved.
  • a method using a simulation, a method using an abnormality detection method, or the like may be used, as in the above-described embodiment.
  • FIG. 21 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment.
  • the information processing system 1 first selects a region to be monitored, as in the fifth embodiment. Specifically, for example, similarly to step S101 in FIG. 3, first, the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S1001).
  • the recognition unit 111 executes the area recognition process based on the input sensor data (step S1002).
  • the area in which the object exists is labeled by, for example, semantic segmentation, and the area of the object is specified.
  • the recognized object or area is notified to the device management unit 120.
  • the device management unit 120 presents the recognized object or area to the operator via the monitor 131 together with the surrounding image input from the sensor unit 101 or the like (step S1003).
  • the device management unit 120 monitors the proximity of the selected object or area. The information is registered in the proximity monitoring database 1012 (step S1005). If the selection by the operator is not input (NO in step S1004), this operation returns to step S1001.
  • step S1006 the approach recognition process for the monitored object or area is executed. Specifically, for example, similarly to step S101 in FIG. 3, first, the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S1006).
  • the recognition unit 111 executes an approach recognition process for recognizing whether or not the object or area has approached the device 100 based on the input sensor data (step S1007).
  • the recognition unit 111 determines whether or not an object or area close to the device 100 is to be monitored based on the result of the recognition process (step S1008). If it is not monitored (NO in step S1008), this operation proceeds to step S1011. On the other hand, when it is a monitoring target (YES in step S1008), the recognition unit 111 notifies the device management unit 120 of the recognition result (step S1009). The recognition result may be notified from the recognition unit 111 or the device management unit 120 to the site server 300 and shared with other devices 100.
  • the device management unit 120 notifies the operator that the monitored object or area is close to the device 100, for example, via the monitor 131 or the output unit 133 (step S1010).
  • the device management unit 120 determines whether or not to change the object or area to be monitored based on, for example, an operation input by the operator from UI132 or the like (step S1011). If the object or area to be monitored is not changed (NO in step S1011), this operation returns to step S1006.
  • step S1011 when the area to be monitored is changed (YES in step S1011), the control unit controlling the device 100 determines whether or not to end this operation, and when it is determined to end (YES in step S1012). , This operation ends. On the other hand, if it is determined that the process does not end (NO in step S1012), this operation returns to step S1001 and the subsequent operations are executed.
  • a dangerous substance or a dangerous area designated by the operator approaches the device 100 based on one or more sensor data input from the sensor unit 101 or the like. Can be notified to the operator, so that the operator can more accurately secure the safety of the device 100 and itself. This makes it possible to improve current and future safety in the field. Since other configurations, operations, and effects may be the same as those in the above-described embodiment, detailed description thereof will be omitted here.
  • the sensor data acquired by the sensor unit 101 or the like and the recognition result thereof may be uploaded to the cloud 200 or the like, analyzed and corrected, and used for training or re-learning of the learning model.
  • the information related to the object or area specified by the operator such as the object information, the attribute information, the exclusion information, the approach caution information, etc.
  • the human or non-human specified by the recognition unit 111 Information (hereinafter, also referred to as extracted information) of the area recognized as a thing (for example, the area surrounded by the bounding box) and the area recognized as a person or a thing by semantic segmentation (hereinafter also referred to as a free area) to the cloud 200 or the like.
  • extracted information for example, the area surrounded by the bounding box
  • free area the area recognized as a person or a thing by semantic segmentation
  • extracted information effective for training and re-learning of the learning model is extracted from the sensor data acquired by the sensor unit 101 and the like, and this extracted information is transferred to the cloud 200.
  • this extracted information is transferred to the cloud 200.
  • it is uploaded and used for training and re-learning of the learning model.
  • FIG. 22 is a diagram for explaining a flow from recognition processing to warning to an operator in the information processing system 1 according to the present embodiment.
  • the recognition unit 111 of the position / surrounding recognition unit 110 is based on the sensor data. Execute the extraction process to extract the extraction information used for training and re-learning of the learning model.
  • the recognition unit 111 may use the sensor data as a region surrounded by a bounding box or a free region labeled by semantic segmentation (hereinafter collectively referred to as a region of interest).
  • the extracted attention area is uploaded to the learning unit 201 of the cloud 200.
  • various information associated with the area of interest such as object information, attribute information, exclusion information, and approach caution information, is also uploaded to the learning unit 201 in order to further improve the performance and functionality of the learning model. Is possible.
  • the amount of information to be uploaded is reduced by uploading the extracted information extracted from the sensor data to the cloud 200. It becomes possible. However, both the sensor data acquired by the sensor unit 101 or the like and the extracted information extracted from the sensor data may be uploaded to the cloud 200.
  • FIG. 23 is a flowchart showing an example of the operation flow of the information processing system 1 according to the present embodiment.
  • the sensor data acquired by the sensor unit 101 or the like is input to the recognition unit 111 of the position / periphery recognition unit 110 (step S1101).
  • the recognition unit 111 executes an extraction process for the input sensor data (step S1102).
  • an extraction process for example, an area surrounded by a bounding box or a free area labeled by semantic segmentation is extracted.
  • the device management unit 120 uploads the extracted extracted information to the cloud 200 (step S1103).
  • the learning unit 201 on the cloud 200 side executes training and re-learning of the learning model using the uploaded extracted information.
  • the information uploaded from the recognition unit 111 to the cloud 200 includes various information such as the sensor data itself, the recognition result, the object information, the attribute information, the exclusion information, and the approach caution information. May be good.
  • step S1104 determines whether or not to end this operation (step S1104), and if it is determined to end (YES in step S1104), this operation ends. On the other hand, if it is determined that the process does not end (NO in step S1104), this operation returns to step S1101 and the subsequent operations are executed.
  • FIG. 24 is a hardware configuration diagram showing an example of a computer 1000 that realizes functions such as a position / periphery recognition unit 110, a device management unit 120, a learning unit 201, and a field server 300.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording a program for executing each operation according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 has a configuration including the above-mentioned I / F unit 18, and is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 loads a program loaded on the RAM 1200.
  • the functions of the position / surrounding recognition unit 110, the device management unit 120, the learning unit 201, the site server 300, and the like are realized.
  • the program and the like related to the present disclosure are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • the one or more sensor units include an image sensor, a distance measuring sensor, an EVS (Event-based Vision Sensor), an inertial sensor, a position sensor, a sound sensor, a pressure sensor, a water pressure sensor, an illuminance sensor, a temperature sensor, a humidity sensor, and an infrared sensor.
  • the device management unit notifies the operator of the device of the recognition result, or executes a control to issue a warning to the operator based on the recognition result, any one of the above (1) to (3).
  • the information processing system according to any one of (1) to (4), wherein the recognition unit recognizes the fatigue of an operator who operates the device based on the sensor data.
  • the recognition unit recognizes the fatigue of the operator based on the operating time of the device in addition to the sensor data.
  • the recognition unit recognizes the situation at the site based on the attribute information of one or more sensor units in addition to the sensor data.
  • the recognition unit has a first recognition process for recognizing an object or area existing around the device based on the sensor data, and a second recognition process for recognizing the situation at the site based on the sensor data.
  • the device management unit executes control to issue a warning of intensity corresponding to the object or region recognized by the first recognition process to the operator of the device.
  • the information processing system according to any one of (1) to (12).
  • (14) Further provided with a holding unit that retains the intensity of the warning for each object or region.
  • the device management unit causes the operator to set the intensity of the warning for the object or area recognized by the first recognition process.
  • the holding unit holds the intensity of the warning for each object or region set by the operator.
  • the device management unit controls to issue a warning to the operator of the device according to the intensity of the warning for each object or region held in the holding unit.
  • the information processing system according to (13) above.
  • a holding unit for holding exclusion information as to whether or not to exclude from the warning target for each object or area.
  • the recognition unit has a first recognition process for recognizing an object or area existing around the device based on the sensor data, and a second recognition process for recognizing the situation at the site based on the sensor data. And execute When the object or area recognized in the first recognition process is excluded from the warning target in the exclusion information held in the holding unit, the device management unit issues a warning regarding the object or area.
  • the information processing system according to any one of (1) to (12) above.
  • the recognition unit recognizes the first recognition process of recognizing an object or area existing around the device based on the sensor data, and the approach of the object or area to the device based on the sensor data.
  • the device management unit controls the operator of the device when the object or area recognized by the first recognition process is close to the device.
  • the information processing system according to any one of (1) to (12) to be executed.
  • the recognition unit executes an extraction process for extracting extraction information that is a part of the sensor data from the sensor data, and transmits the extraction information extracted by the extraction process to the learning unit.
  • Information processing system 100 Equipment 101, 104, 107 Sensor unit 102 Image sensor 103, 106, 109 Signal processing unit 105 Inertivity sensor 108 Position sensor 110 Position / surrounding recognition unit 111 Recognition unit 120 Equipment management unit 131 Monitor 132 User interface 133 Output Unit 134 Equipment control unit 135 Operation system 512 Object database 812 Attribute database 912 Exclusion database 1012 Proximity monitoring database

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Storage Device Security (AREA)

Abstract

現場における現在や将来の安全性を向上させる。重機が導入される現場の安全を確保するための情報処理システムは、前記現場に配置される機器に搭載れて前記現場の状況を検出する１以上のセンサ部と、前記１以上のセンサ部で取得されたセンサデータに基づいて前記現場の状況を認識する認識部と、前記認識部による認識結果に基づいて前記機器を管理する機器管理部と、を備える。

Description

情報処理システム及び情報処理方法
　本開示は、情報処理システム及び情報処理方法に関する。
　近年、自動運転技術や運転支援技術の発達に伴い、周囲の危険を察知して安全に走行するための技術が開発されてきている。
特開２０２０－０９２４４７号公報
　しかしながら、従来の自動運転／運転支援技術では、周囲の人や自動車等を認識して自動回避やドライバへの警告を実行していたが、工事現場や建設現場などの重機等を扱う特定のシーンでは、一般道路等で想定される要因よりも非常に多くの要因により事故が発生し得る。そのため、周囲の人や自動車等を認識するだけでは、周囲に存在する事故等に繋がる危険や、発生してしまった事故等の状況や、なぜその事故等が発生したかなどの原因を正確に特定することができず、現場における現在又は将来の安全性を確保するうえで不十分であった。
　そこで本開示では、現場における現在や将来の安全性を向上させることを可能にする情報処理システム及び情報処理方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理システムは、重機が導入される現場の安全を確保するための情報処理システムであって、前記現場に配置される機器に搭載されて前記現場の状況を検出する１以上のセンサ部と、前記１以上のセンサ部で取得されたセンサデータに基づいて前記現場の状況を認識する認識部と、前記認識部による認識結果に基づいて前記機器を管理する機器管理部と、を備える。
本開示の実施形態に係る情報処理システムのシステム構成例を示すブロック図である。 第１の実施形態に係る情報処理システム１における地震の認識からオペレータへの警告までの流れを説明するための図である。 第１の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第２の実施形態に係る情報処理システム１における事故の認識からオペレータへの警告までの流れを説明するための図である。 第２の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第３の実施形態に係る情報処理システム１におけるヒヤリ・ハット状態の認識からオペレータへの警告までの流れを説明するための図である。 第３の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第４の実施形態に係る情報処理システム１における危険状態の認識からオペレータへの警告までの流れを説明するための図である。 第４の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第５の実施形態に係る情報処理システム１における動き認識からオペレータへの通知（警告も含まれてよい）までの流れを説明するための図である。 第５の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第６の実施形態に係る情報処理システム１におけるオペレータの疲れ認識からオペレータへの警告までの流れを説明するための図である。 第６の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第７の実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。 第７の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第８の実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。 第８の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第９の実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。 第９の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第１０の実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。 第１０の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 第１１の実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。 第１１の実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。 本開示に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウエア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．システム構成例
　　２．第１の実施形態
　　　２．１　処理フロー例
　　　２．２　動作フロー例
　　　２．３　まとめ
　　３．第２の実施形態
　　　３．１　処理フロー例
　　　３．２　動作フロー例
　　　３．３　まとめ
　　４．第３の実施形態
　　　４．１　処理フロー例
　　　４．２　動作フロー例
　　　４．３　まとめ
　　５．第４の実施形態
　　　５．１　処理フロー例
　　　５．２　動作フロー例
　　　５．３　まとめ
　　６．第５の実施形態
　　　６．１　処理フロー例
　　　６．２　動作フロー例
　　　６．３　まとめ
　　７．第６の実施形態
　　　７．１　処理フロー例
　　　７．２　動作フロー例
　　　７．３　まとめ
　　８．第７の実施形態
　　　８．１　処理フロー例
　　　８．２　動作フロー例
　　　８．３　まとめ
　　９．第８の実施形態
　　　９．１　処理フロー例
　　　９．２　動作フロー例
　　　９．３　まとめ
　　１０．第９の実施形態
　　　１０．１　処理フロー例
　　　１０．２　動作フロー例
　　　１０．３　まとめ
　　１１．第１０の実施形態
　　　１１．１　処理フロー例
　　　１１．２　動作フロー例
　　　１１．３　まとめ
　　１２．第１１の実施形態
　　　１２．１　処理フロー例
　　　１２．２　動作フロー例
　　　１２．３　まとめ
　　１３．ハードウエア構成
　１．システム構成例
　まず、以下の実施形態に共通のシステム構成例について、図面を参照して詳細に説明する。図１は、本開示の実施形態に係る情報処理システムのシステム構成例を示すブロック図である。
　図１に示すように、以下の実施形態に係る情報処理システム１は、例えば、１台以上の機器１００と、クラウド２００と、現場サーバ３００とから構成される。機器１００、クラウド２００及び現場サーバ３００は、例えば、有線又は無線ＬＡＮ（Local　Area　Network）（ＷｉＦｉを含む）やＷＡＮ（Wide　Area　Network）やインターネットや移動通信システム（４Ｇ（4th　Generation　Mobile　Communication　System）、４Ｇ－ＬＴＥ（Long　Term　Evolution）、５Ｇ等を含む）やＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信などの所定のネットワークを介して相互通信可能に接続されている。
　（機器１００）
　機器１００は、建設現場や工事現場などの作業現場で使用される重機などの建設機器や測定機器である。なお、測定機器を搭載する建設機器なども機器１００に含まれる。また、建設機器や測定機器に限定されず、自動車や鉄道車両や航空機（ヘリコプタ等を含む）や船などの運転者が直接又は遠隔で操縦する移動体、運搬ロボットや掃除ロボットや対話型ロボットやペット型ロボットなどの自律型ロボット、各種ドローン（飛行型、走行型、水中型等を含む）、監視カメラ（定点カメラ等を含む）や交通信号機などの建造物、ヒトやペットが携帯するスマートフォンやウェアラブル機器や情報処理端末など、所定のネットワークに接続可能で且つセンサを備える種々の物体が機器１００として適用されてよい。
　各機器１００は、センサ部１０１と、位置・周囲認識部１１０と、機器管理部１２０と、モニタ１３１と、ユーザインタフェース１３２と、出力部１３３と、機器制御部１３４と、操作系１３５とから構成される。
　・センサ部１０１
　センサ部１０１は、例えば、カラー又はモノクロの画像センサ、ＴｏＦ（Time-of-Flight）センサやＬｉＤＡＲ（Light　Detection　and　Ranging）やＬＡＤＡＲ（Laser　Detection　and　Ranging）やミリ波レーダなどの測距センサ、ＥＶＳ（Event-based　Vision　Sensor）などの各種イメージセンサ１０２、ＩＭＵ（Inertial　Measurement　Unit）やジャイロセンサや加速度・角速度センサなどの各種慣性センサ１０５、ＧＮＳＳ（Global　Navigation　Satellite　System）などの各種位置センサ１０８などのセンサと、各センサから出力された検出信号に所定の処理を実行してセンサデータを生成する信号処理部１０３、１０６、１０９とから構成される１以上のセンサ部１０１、１０４、１０７を備える。
　なお、センサとしては、上述したイメージセンサ１０２、慣性センサ１０５、位置センサ１０８の他に、音センサ、気圧センサ、水圧センサ、照度センサ、温度センサ、湿度センサ、赤外線センサ、風向風速センサなど、種々のセンサが用いられてもよい。
　・位置・周囲認識部１１０
　位置・周囲認識部１１０は、センサ部１０１、１０４、１０７のうちの１以上（以下、説明の簡略化のため、センサ部１０１、１０４、１０７のうちの１以上を「センサ部１０１等」と称する）から入力されたセンサデータに基づいて、機器１００の位置や機器１００の周囲の状況を認識する。なお、機器１００の位置は、ＧＮＳＳ等で取得される地球規模の座標位置であってもよいし、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等で推定されるある空間内の座標位置であってもよい。
　そこで、位置・周囲認識部１１０は、センサ部１０１等から入力されたセンサデータを入力とし、機器１００の位置情報や周囲の状況に関する情報（以下、状況情報という）を出力とする認識部１１１を備える。ただし、認識部１１１の入力は、自機のセンサ部１０１等で取得されたセンサデータに限定されず、他の機器１００のセンサ部１０１等で取得されたセンサデータが含まれてもよいし、クラウド２００や現場サーバ３００などからネットワークを介して入力されたデータが含まれてもよい。
　認識部１１１は、機械学習を利用して学習された学習モデルを備える推論器であってもよいし、所定のアルゴリズムに従って入力から出力を特定するルールベースの認識部であってもよい。
　なお、本実施形態における学習モデルは、例えば、ＤＮＮ（Deep　Neural　Network）やＣＮＮ（Convolutional　Neural　Network）やＲＮＮ（Recurrent　Neural　Network）やＧＡＮ（Generative　Adversarial　Network）やオートエンコーダなど、ニューラルネットワークを利用した学習モデルであってよい。
　また、学習モデルは、１種類のデータを入力とするシングルモーダル学習された学習器であってもよいし、異なる種類のデータをまとめて入力とするマルチモーダル学習された学習モデルであってもよい。
　認識部１１１は、１つの学習モデルで構成されていてもよいし、２以上の学習モデルを備え、それぞれから出力された推論結果から最終的な認識結果を出力するように構成されていてもよい。
　認識部１１１が実行する認識は、センサ部１０１等から短期間に入力されたセンサデータを入力とする短期的な認識であってもよいし、数時間や数日や数年などの長期間に亘って入力されたセンサデータを入力とする長期的な認識であってもよい。
　図１では、各機器１００に搭載される位置・周囲認識部１１０及び認識部１１１がそれぞれ単一の構成として記載されているが、これに限定されない。例えば、複数の位置・周囲認識部１１０が協働して１又は複数の認識部１１１を実現してもよいし、１つの位置・周囲認識部１１０が複数の認識部１１１を備えていてもよい。その際、１又は複数の位置・周囲認識部１１０及び／又は１又は複数の認識部１１１は、異なる機器１００それぞれに搭載された位置・周囲認識部１１０及び／又は認識部１１１で構成されてもよい。
　また、認識部１１１は、位置・周囲認識部１１０に限定されず、例えば、機器管理部１２０やセンサ部１０１等などの機器１００における他の部や、機器１００にネットワークを介して接続されたクラウド２００や現場サーバ３００等に配置されてもよい。
　・機器管理部１２０
　機器管理部１２０は、機器１００の全体的な動作を管理・制御する制御部である。例えば、機器１００が重機や自動車などの移動体である場合には、機器管理部１２０は、ＥＣＵ（Electronic　Control　Unit）などの車両全体を統括的に制御する制御部であってもよい。また、例えば機器１００がセンサ機器などの固定又は半固定された機器である場合には、機器１００の全体動作を制御する制御部であってよい。
　・その他
　モニタ１３１は、機器１００のオペレータや周囲の人物等に各種情報を提示する表示部であってよい。
　ユーザインタフェース１３２は、機器１００に対する設定や表示情報の切替え等をオペレータが入力するためにユーザインタフェース１３２であってよい。このユーザインタフェース１３２には、タッチパネル式やスイッチ式など、種々の入力手段が使用されてよい。
　出力部１３３は、例えば、ランプやＬＥＤ（Light　Emitting　Diode）やスピーカなどで構成され、モニタ１３１とは異なる方式によりオペレータへ各種情報を提示したり、機器１００の予定動作（右折左折やクレーンの昇降等）等を周囲に知らせたりするための出力部であってよい。
　操作系１３５は、例えば、ハンドルや操作レバーやシフトレバーや各種スイッチなどを含み得、機器１００の走行や稼働等に関する操作情報をオペレータが入力するための操作部であってよい。機器制御部１３４は、操作系１３５から入力された操作情報や機器管理部１２０から入力された制御信号に基づき機器１００を制御する制御部であってよい。
　（クラウド２００）
　クラウド２００は、インターネットなどのコンピュータネットワークを経由してコンピュータ資源を提供するサービス形態であり、例えば、ネットワーク上に配置された１以上のクラウドサーバにより構成される。クラウド２００は、例えば、認識部１１１を学習するための学習部２０１を備える。例えば、認識部１１１が学習モデルを備える推論器である場合、学習部２０１は、教師あり学習又は教師なし学習を用いて学習モデルをトレーニングする。トレーニング後の学習モデルは、機器１００にダウンロードされ、たとえば、位置・周囲認識部１１０の認識部１１１に実装される。また、認識部１１１がルールベースの認識部である場合、学習部２０１は、入力に対して認識結果としての出力を導き出すためのアルゴリズムを手動又は自動で作成・更新する。作成・更新されたアルゴリズムが記述されたプログラムは、機器１００にダウンロードされ、たとえば、位置・周囲認識部１１０の認識部１１１において実行される。
　なお、認識部１１１が学習モデルを備えた推論器であってその学習モデルが教師あり学習によりトレーニングされる場合、各機器１００のセンサ部１０１等で取得されたセンサデータや認識部１１１から出力された認識結果（推論結果ともいう）は、学習モデルのトレーニングや再学習を目的として学習部２０１へ送信されてもよい。また、再学習された学習モデルは、機器１００へダウンロードされて認識部１１１に組み込まれることで、認識部１１１が更新されてもよい。
　なお、学習部２０１は、クラウド２００に限定されず、基地局のコアネットワークで行うようなフォグコンピューティングやマルチアクセスエッジコンピューティングなどのエッジコンピューティングに配置されてもよいし、センサ部１０１等の信号処理部１０３、１０６、１０９を構成するＤＳＰ（Digital　Signal　Processor）やＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等のプロセッサ等で実現されてもよい。すなわち、学習部２０１は、情報処理システム１のどこに配置されてもよい。
　（現場サーバ３００）
　現場サーバ３００は、一カ所以上の現場に導入された１台以上の機器１００を管理するためのサーバである。例えば、現場が工事現場である場合には、現場サーバ３００は、現場管理部３０１と、工事計画部３０２とを備える。
　現場管理部３０１は、機器１００の位置・周囲認識部１１０から各種情報を収集する。例えば、現場管理部３０１は、機器１００のセンサ部１０１等で取得されたセンサデータや、認識部１１１によりセンサデータから導き出された認識結果等を収集する。収集された各種情報は、工事計画部３０２に入力される。なお、収集されるセンサデータは、センサ部１０１等で取得されたままのロウデータであってもよいし、プライバシーなどを考慮して一部又は全部にモザイクや切り抜き等の加工が施された処理済みデータであってもよい。
　工事計画部３０２は、現場管理部３０１から入力された情報に基づき、現場において遂行されている工事のスケジュール等を作成し、これを現場管理部３０１に入力する。なお、現場サーバ３００の工事計画部３０２で作成されたスケジュール等の情報は、現場サーバ３００において蓄積・管理され、同一の現場における他の機器１００や、他の現場における機器１００等に対して再利用されてもよい。
　また、現場管理部３０１は、工事計画部３０２から入力された工事スケジュールや、機器１００から収集した各種情報に基づき、各機器１００を管理・制御するための行動計画を作成し、作成した行動計画を各機器１００の機器管理部１２０へ送信する。これに対し、各機器１００の機器管理部１２０は、受信した行動計画に従い、機器１００の各部を管理・制御する。
　２．第１の実施形態
　次に、上述した情報処理システム１を利用した第１の実施形態について、以下に図面を参照して詳細に説明する。第１の実施形態では、情報処理システム１を利用して地震を認識することで、現場における現在や将来の安全性を向上させる場合について説明する。
　２．１　処理フロー例
　図２は、本実施形態に係る情報処理システム１における地震の認識からオペレータへの警告までの流れを説明するための図である。図２に示すように、情報処理システム１を地震認識に適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータを入力として、地震の有無を認識する。
　例えば、ルールベースで地震の有無を認識する場合、認識部１１１は、機器１００の位置、姿勢（角度）、速度（角速度）、加速度（各加速度）などのセンサデータが極端な値や急激な変化を示した場合や、時系列上で連続する画像データにおけるオプティカルフローが極端な値や急激な変化を示した場合や、時系列上で連続するデプス画像における各被写体までの距離が急激な変化を示した場合など、センサ部１０１から入力されたセンサデータが平時では想定されない値や変化を示した場合、地震が発生したと認識してよい。また、認識部１１１は、地震発生時特有の地鳴りや臭い（空気成分）などがセンサ部１０１等で検出された場合に地震が発生したと認識してもよい。
　また、ニューラルネットワークを利用した学習モデルを用いて地震を認識する場合、認識部１１１は、画像センサなどのセンサ部１０１等から得られたセンサデータを内部の学習モデルに入力し、学習モデルからの出力が地震であることを示した時に地震が発生したと認識してもよい。
　なお、認識部１１１による地震の認識には、機器１００ごとに異なる学習モデルが使用されてもよいし、機器１００ごとに異なるセンサデータが入力とされてもよい。また、認識部１１１は、地震の有無に限定されず、発生した地震の規模（震度やマグニチュード等）や、それから予測される損害（死者数、負傷者数や被害額等）や状況等の情報を認識してもよい。
　このような地震を認識する認識部１１１のトレーニングや再学習には、例えば、２通りのアプローチが考えられる。
　１つ目は、地震シミュレーションなどで生成したセンサデータを用いて学習モデルをトレーニング又は再学習する方法である。その場合、シミュレーション時に設定した地震の規模や地形や震源地の深さなどの情報と、シミュレーションにより生成されたセンサデータ及び損害や状況等の情報とのペアを教師データとして学習モデルがトレーニング又は再学習されてよい。
　２つ目は、異常検知の手法により学習モデルをトレーニング又は再学習する方法である。この方法では、地震が発生していない状態で検出されたセンサデータを用いて学習モデルが学習される。その場合、学習済みの学習モデルは、平時では想定されない地震発生時のセンサデータの入力に対し、異常を検知したこと、すなわち地震の発生を認識結果として出力する。
　認識部１１１が地震を認識した場合、その認識結果は機器管理部１２０に入力される。機器管理部１２０は、入力された認識結果に基づいて、オペレータに対する警告の要否や警告の強度（以下、警告レベルともいう）を判断し、その判断結果に基づいてオペレータへの警告を実行する。オペレータへの警告方法としては、例えば、モニタ１３１を介した警告や、ランプやＬＥＤやスピーカ等の出力部１３３を介した警告などであってよい。ここで、警告レベルは、例えば、音量や光量やモニタ上の表現などの強弱であってもよい。また、機器管理部１２０は、オペレータへの警告の他、機器１００の緊急停止や安全な場所への自動移動などの危険回避行動を実行してもよい。
　また、認識部１１１による認識結果は、現場サーバ３００へ送信されてもよい。その際、認識結果と併せて、センサ部１０１等で取得されたセンサデータ（ロウデータ又はモザイク等の加工がされた処理済みデータ）も現場サーバ３００へ送信されてもよい。認識結果に加えて、センサ部１０１で取得された画像データや測距データ等を現場サーバ３００へ送信することで、現場管理の状況判断の確実性を増すことが可能となる。
　認識部１１１が地震のような広範囲で発生する事象を認識する場合、複数の現場で取得された認識結果及びセンサデータを現場サーバ３００に集約することで、多現場に対する統括的な状況判断及び指示や、ある現場の状況等を他の現場と共有するなど、より広範囲で多角的な現場管理が可能となる。
　また、認識部１１１が地震を認識した際のセンサデータ及び認識結果は、クラウド２００へ送られて分析され、学習モデルのトレーニング又は再学習に利用されてもよい。ここで、地震を認識した際のセンサデータは、地震発生時の前後の一定期間にセンサ部１０１等で取得されたセンサデータであってもよい。
　２．２　動作フロー例
　図３は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図３に示すように、本実施形態において、情報処理システム１では、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ１０１）。センサ部１０１等からのセンサデータの入力は、定期的であってもよいし、センサデータが異常値を示した場合など必要に応じてであってもよい。また、センサ部１０１等から入力されるセンサデータは、ロウデータであってもよいし、モザイクなどの加工処理が施された処理済みデータであってもよい。
　次に、認識部１１１が、入力されたセンサデータに基づいて認識処理を実行する（ステップＳ１０２）。上述したように、認識部１１１からは、地震の有無に加え、発生した地震の規模やそれから予測される損害や状況等の情報が認識結果として出力されてもよい。
　ステップＳ１０２の認識処理において、地震は発生していないと認識された場合（ステップＳ１０３のＮＯ）、本動作は、ステップＳ１０６へ進む。一方、地震の発生が認識された場合（ステップＳ１０３のＹＥＳ）、位置・周囲認識部１１０が、認識部１１１から出力された認識結果を機器管理部１２０へ入力するとともに、所定のネットワークを介して現場サーバ３００へ送信する（ステップＳ１０４）。
　次に、機器管理部１２０が、入力された認識結果に基づくことで、モニタ１３１や出力部１３３を介してオペレータへ警告を発し（ステップＳ１０５）、ステップＳ１０６へ進む。その際、発生した地震の規模やそれから予測される損害や状況等の情報が認識結果に含まれている場合、機器管理部１２０は、地震の規模やそれから予測される損害や状況等に応じた警告を行ってもよい。また、機器管理部１２０は、オペレータへの警告の他、機器１００の緊急停止や安全な場所への自動移動などの危険回避行動を実行してもよい。
　ステップＳ１０６では、機器１００を制御する制御部が、本動作を終了するか否かを判定し、終了すると判定された場合（ステップＳ１０６のＹＥＳ）、本動作が終了する。一方、終了しないと判定された場合（ステップＳ１０６のＮＯ）、本動作がステップＳ１０１へ戻り、以降の動作が実行される。
　２．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいて地震の有無を的確に認識することが可能となるため、現場における現在や将来の安全性を向上させることが可能となる。
　３．第２の実施形態
　次に、上述した情報処理システム１を利用した第２の実施形態について、以下に図面を参照して詳細に説明する。第２の実施形態では、情報処理システム１を利用して事故の発生を認識することで、現場における現在や将来の安全性を向上させる場合について説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　３．１　処理フロー例
　図４は、本実施形態に係る情報処理システム１における事故の認識からオペレータへの警告までの流れを説明するための図である。図４に示すように、情報処理システム１を事故認識に適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータを入力として、事故の有無を認識する。なお、本実施形態における事故には、機器１００自体が巻き込まれた事故や、機器１００の周囲で発生して機器１００が第３者として観測した事故等が含まれてよい。
　例えば、ルールベースで事故の発生を認識する場合、認識部１１１は、機器１００の位置、姿勢（角度）、速度（角速度）、加速度（各加速度）などのセンサデータが極端な値や急激な変化を示した場合や、時系列上で連続する画像データにおけるオプティカルフローが極端な値や急激な変化を示した場合や、時系列上で連続するデプス画像における各被写体までの距離が急激な変化を示した場合の他、機器１００が備えるアームやブームや旋回体等可動部等に取り付けられたセンサ部１０１等で取得された位置、姿勢（角度）、速度（角速度）、加速度（各加速度）などのセンサデータが極端な値や急激な変化を示した場合、機器１００がブレーキを備える機体等であればオペレータにより操作されたブレーキの強度若しくは急ブレーキが掛けられた場合、オペレータにより緊急停止ボタンが押された場合、機器１００が備えるクローラやタイヤが空転している場合、機器１００に生じた振動量及びその継続時間が極端な値や急激な変化を示した場合、機器１００を操作するオペレータが特定の表情を示した場合、機器１００を操作するオペレータの体温・心拍数・脳波等が極端な値や急激な変化を示した場合、機器１００の積載重量が極端な値や急激な変化を示した場合など、センサ部１０１から入力されたセンサデータから直接又は間接に取得される値や状態が平時では想定されない値又は状態や変化を示した場合、事故が発生したと認識してよい。
　また、ニューラルネットワークを利用した学習モデルを用いて事故の発生を認識する場合、認識部１１１は、画像センサなどのセンサ部１０１等から得られたセンサデータを内部の学習モデルに入力し、学習モデルからの出力が事故であることを示した時に事故が発生したと認識してもよい。
　以上のような事象が生じた際に認識部１１１が事故が発生したと判断することで、機器１００が崖や建物の上など高所から落下した場合、機器１００が飛行体である場合は墜落した場合、機器１００がヒトや建造物や自然物（木や岩など）や他の機器１００と衝突した場合、機器１００周囲の天井や地面や壁や崖等が崩落した場合、機器１００が積載する荷物が落下した場合などを事故として認識することが可能となる。ただし、これらに限定されず、認識部１１１は、様々なセンサデータに基づいて種々の事象を事故として認識してよい。
　なお、認識部１１１による事故の認識には、機器１００ごとに異なる学習モデルが使用されてもよいし、機器１００ごとに異なるセンサデータが入力とされてもよい。また、認識部１１１は、事故の有無に限定されず、発生した事故の規模（範囲や死者数や負傷者数等）や、それから予測される損害（死者数、負傷者数や被害額等）や状況等の情報を認識してもよい。
　このような事故を認識する認識部１１１のトレーニングや再学習には、地震を認識する認識部１１１（第１の実施形態）と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　認識部１１１が事故を認識した場合、第１の実施形態と同様に、その認識結果は機器管理部１２０に入力され、オペレータに対する警告や危険回避行動に利用されてよい。
　また、第１の実施形態と同様に、認識部１１１による認識結果は、その際にセンサ部１０１等で取得されたセンサデータ（ロウデータ又はモザイク等の加工がされた処理済みデータ）と共に現場サーバ３００へ送信されてもよい。
　その他、ある機器１００の認識部１１１で認識された事故の情報は、同一の現場で稼働する他の機器１００へ通知されて共有されてもよい。
　なお、ある機器１００に発生した事故の認識は、当該機器１００における認識部１１１ではなく、他の機器１００やクラウド２００や現場サーバ３００に配置された認識部において実行されてもよい。例えば、ある機器１００のセンサ部１０１等で取得されたセンサデータが他の機器１００やクラウド２００や現場サーバ３００で共有され、これらが備える認識部において事故の有無が認識されてもよい。
　また、認識部１１１が事故を認識した際のセンサデータ及び認識結果は、クラウド２００へ送られて分析され、学習モデルのトレーニング又は再学習に利用されてもよい。ここで、事故を認識した際のセンサデータは、事故発生時の前後の一定期間にセンサ部１０１等で取得されたセンサデータであってもよい。
　３．２　動作フロー例
　図５は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図５に示すように、本実施形態では、第１の実施形態において図３を用いて説明した動作と同様の動作のうち、ステップＳ１０２及びＳ１０３がステップＳ２０２及びＳ２０３に置き換えられている。
　ステップＳ２０２では、認識部１１１は、入力されたセンサデータに基づいて認識処理を実行することで、事故の有無を認識する。その際、発生した事故の規模やそれから予測される損害や状況等の情報が認識結果として出力されてもよい。
　ステップＳ２０３では、図３におけるステップＳ１０３と同様に、ステップＳ２０２の認識処理において事故は発生していないと認識された場合（ステップＳ２０３のＮＯ）、本動作がステップＳ１０６へ進み、事故の発生が認識された場合（ステップＳ２０３のＹＥＳ）、認識結果が機器管理部１２０へ入力されるとともに、所定のネットワークを介して現場サーバ３００へ送信される（ステップＳ１０４）。
　なお、発生した事故の規模やそれから予測される損害や状況等の情報が認識結果に含まれている場合、ステップＳ１０５では、事故の規模やそれから予測される損害や状況等に応じた警告が行われてもよい。また、機器管理部１２０は、オペレータへの警告の他、機器１００の緊急停止や安全な場所への自動移動などの危険回避行動を実行してもよい。
　３．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいて事故の有無を的確に認識することが可能となるため、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　４．第３の実施形態
　次に、上述した情報処理システム１を利用した第３の実施形態について、以下に図面を参照して詳細に説明する。第３の実施形態では、情報処理システム１を利用してヒヤリ・ハット状態を認識することで、現場における現在や将来の安全性を向上させる場合について説明する。なお、本説明におけるヒヤリ・ハット状態とは、事故に至ってはいないものの、人であればヒヤリとしたりハッとしたりするような、事故一歩手前の状況（事故につながる状況ともいう）を指すとする。また、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　４．１　処理フロー例
　図６は、本実施形態に係る情報処理システム１におけるヒヤリ・ハット状態の認識からオペレータへの警告までの流れを説明するための図である。図６に示すように、情報処理システム１をヒヤリ・ハット状態認識に適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータを入力として、自機又は周囲におけるヒヤリ・ハット状態を認識する。
　ヒヤリ・ハット状態の認識は、例えば、ハインリッヒの法則（accident　triangle）でいう“accident　with　no　injuries”を抽出することで行われてよい。そこで、例えば、ルールベースでヒヤリ・ハット状態を認識する場合、認識部１１１は、機器１００の位置、姿勢（角度）、速度（角速度）、加速度（各加速度）などのセンサデータが極端な値や急激な変化を示した場合や、時系列上で連続する画像データにおけるオプティカルフローが極端な値や急激な変化を示した場合や、時系列上で連続するデプス画像における各被写体までの距離が急激な変化を示した場合の他、機器１００が備えるアームやブームや旋回体等可動部等に取り付けられたセンサ部１０１等で取得された位置、姿勢（角度）、速度（角速度）、加速度（各加速度）などのセンサデータが極端な値や急激な変化を示した場合、機器１００がブレーキを備える機体等であればオペレータにより操作されたブレーキの強度若しくは急ブレーキが掛けられた場合、オペレータにより緊急停止ボタンが押された場合、機器１００が備えるクローラやタイヤが空転している場合、機器１００に生じた振動量及びその継続時間が極端な値や急激な変化を示した場合、機器１００を操作するオペレータが特定の表情を示した場合、機器１００を操作するオペレータの体温・心拍数・脳波等が極端な値や急激な変化を示した場合、機器１００の積載重量が極端な値や急激な変化を示した場合など、センサ部１０１から入力されたセンサデータから直接又は間接に取得される値や状態が平時では想定されない値又は状態や変化を示した場合、ヒヤリ・ハット状態であると認識してよい。
　また、ニューラルネットワークを利用した学習モデルを用いてヒヤリ・ハット状態を認識する場合、認識部１１１は、画像センサなどのセンサ部１０１等から得られたセンサデータを内部の学習モデルに入力し、学習モデルからの出力がヒヤリ・ハット状態であることを示した時にヒヤリ・ハット状態であると認識してもよい。
　以上のような事象が生じた際に認識部１１１がヒヤリ・ハット状態であると判断することで、機器１００が崖や建物の上など高所から落下しそうな場合、機器１００が飛行体である場合は墜落しそうな場合、機器１００がヒトや建造物や自然物（木や岩など）や他の機器１００と衝突しそうな場合、機器１００周囲の天井や地面や壁や崖等が崩落しそうな場合、機器１００が積載する荷物が落下しそうな場合などをヒヤリ・ハット状態として認識することが可能となる。ただし、これらに限定されず、認識部１１１は、様々なセンサデータに基づいて種々の事象をヒヤリ・ハット状態として認識してよい。
　このようなヒヤリ・ハット状態を認識する認識部１１１のトレーニングや再学習には、地震や事故を認識する認識部１１１（第１及び第２の実施形態）と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　認識部１１１がヒヤリ・ハット状態を認識した場合、上述した実施形態と同様に、その認識結果は機器管理部１２０に入力され、オペレータに対する警告や危険回避行動に利用されてよい。
　また、上述した実施形態と同様に、認識部１１１による認識結果は、その際にセンサ部１０１等で取得されたセンサデータ（ロウデータ又はモザイク等の加工がされた処理済みデータ）と共に現場サーバ３００へ送信されてもよい。
　その他、ある機器１００の認識部１１１で認識されたヒヤリ・ハット状態であるか否かは、同一の現場で稼働する他の機器１００へ通知されて共有されてもよい。
　なお、ある機器１００がヒヤリ・ハット状態であるか否かの認識は、当該機器１００における認識部１１１ではなく、他の機器１００やクラウド２００や現場サーバ３００に配置された認識部において実行されてもよい。例えば、ある機器１００のセンサ部１０１等で取得されたセンサデータが他の機器１００やクラウド２００や現場サーバ３００で共有され、これらが備える認識部においてヒヤリ・ハット状態が認識されてもよい。
　また、認識部１１１がヒヤリ・ハット状態を認識した際のセンサデータ及び認識結果は、クラウド２００へ送られて分析され、学習モデルのトレーニング又は再学習に利用されてもよい。ここで、ヒヤリ・ハット状態を認識した際のセンサデータは、ヒヤリ・ハット状態発生時の前後の一定期間にセンサ部１０１等で取得されたセンサデータであってもよい。
　４．２　動作フロー例
　図７は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図７に示すように、本実施形態では、第１の実施形態において図３を用いて説明した動作と同様の動作のうち、ステップＳ１０２及びＳ１０３がステップＳ３０２及びＳ３０３に置き換えられている。
　ステップＳ３０２では、認識部１１１は、入力されたセンサデータに基づいて認識処理を実行することで、ヒヤリ・ハット状態であるか否かを認識する。その際、どの程度危険が迫っているか等の情報が認識結果として出力されてもよい。
　ステップＳ３０３では、図３におけるステップＳ１０３と同様に、ステップＳ３０２の認識処理においてヒヤリ・ハット状態ではないと認識された場合（ステップＳ３０３のＮＯ）、本動作がステップＳ１０６へ進み、ヒヤリ・ハット状態であると認識された場合（ステップＳ３０３のＹＥＳ）、認識結果が機器管理部１２０へ入力されるとともに、所定のネットワークを介して現場サーバ３００へ送信される（ステップＳ１０４）。
　なお、どの程度危険が迫っているか等の情報が認識結果に含まれている場合、ステップＳ１０５では、どの程度危険が迫っているか等の情報に応じた警告が行われてもよい。また、機器管理部１２０は、オペレータへの警告の他、機器１００の緊急停止や安全な場所への自動移動などの危険回避行動を実行してもよい。
　４．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいてヒヤリ・ハット状態であるか否かを的確に認識することが可能となるため、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第４の実施形態
　次に、上述した情報処理システム１を利用した第４の実施形態について、以下に図面を参照して詳細に説明する。第４の実施形態では、情報処理システム１を利用して危険状態を認識することで、現場における現在や将来の安全性を向上させる場合について説明する。なお、本説明における危険状態とは、機器１００自体や周囲のヒトやモノの行動や状況から事故が発生する可能性の高さ、言い換えれば、機器１００自体や周囲のヒトやモノなどの守るべき対象に対して危険が及ぶ可能性の高さ（危険性ともいう）であってもよい。また、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　５．１　処理フロー例
　図８は、本実施形態に係る情報処理システム１における危険状態の認識からオペレータへの警告までの流れを説明するための図である。図８に示すように、情報処理システム１を危険状態認識に適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータを入力として、自機又は周囲における危険状態を認識する。
　ここで、機器１００や周囲のヒトやモノを危険な状態にする機器１００の動作とは、例えば機器１００がダンプトラックであれば、前方・後方への走行、荷台のダンプ操作などが当てはまり得る。また、例えば機器１００が油圧ショベルであれば、前方・後方への走行、上部旋回体の旋回、ブーム・アーム・バケットの操作などが当てはまり得る。
　また、危険には、機器１００の動作により自機と守るべき対象とが衝突すること、機器１００の動作により運搬・移動させられる物体と守るべき対象とが衝突することなど、事故が発生することの他、オペレータが熱射病や凍傷などに罹ることなど、守るべき対象の健康が脅かされたり破壊されたりすることや、地震が発生することなどが含まれ得る。守るべき対象としては、ヒト、その他の動物、建造物や機器などのモノ等が含まれ得る。
　例えば、認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどのセンサデータを入力として危険状態を認識する。なお、危険状態では、センサデータから直接又は間接に取得される値や状態が平時では想定されない値又は状態や変化を示しているとは限られない。そのため、認識部１１１は、例えば、第２の実施形態における事故認識や第３の実施形態におけるヒヤリ・ハット状態認識より多種類のセンサデータや長期間のセンサデータを用いてトレーニングされていてもよい。
　認識部１１１に入力されるデータは、上記したセンサデータのほか、機器１００で取得されるすべての情報を含めることができる。例えば、クローラやタイヤの速度やトルクなどに関する情報、機器１００の位置・姿勢（角度）・速度・加速度などに関する情報、アーム・ブーム・旋回体等可動部の位置・角度・速度などに関する情報、機器１００の振動に関する情報、積載重量、オペレータの表情（カメラ画像）や体温・心拍・脳波などが含まれ得る。
　また、認識部１１１は、危険状態にあるか否かに加え、危険状態にある場合の危険性の程度（以下、危険レベルともいう）を認識結果として出力してもよい。ただし、これに限定されず、機器管理部１２０がセンサ部１０１等から入力されたセンサデータと認識結果とに基づいて危険レベルを判定してもよい。例えば、認識結果が危険状態にあることを示し、センサデータにおける画像データ等から崖などへ近づいていることが特定される場合、機器管理部１２０は、危険レベルが高いと判定してもよい。
　機器管理部１２０がオペレータに対して行う警告の強度（警告レベル）は、例えば、危険レベルに応じて変えられてもよい。例えば、危険レベルが非常に高い場合、機器管理部１２０は、オペレータに対して警告音やランプ点滅などの強い警告や稼働停止指示のメッセージ表示等を行ったり、機器制御部１３４に対して機器１００の稼働停止の指示を出力したりなどしてもよい。
　なお、認識部１１１は、認識結果の一部として、危険状態から実際に危険な状態（ヒヤリ・ハット状態）になるまでの時間や事故が発生するまでの時間（以下、予測時間）を推論してもよい。そして、認識部１１１又は機器管理部１２０は、推論された予測時間が短いほど危険レベルが高いと判定してもよい。
　また、認識部１１１は、認識結果の一部として、危険状態から予測される危険の規模を推論してもよい。そして、認識部１１１又は機器管理部１２０は、予測される危険の規模が大きいほど危険レベルが高いと判定してもよい。
　さらに、認識部１１１は、認識結果の一部として、危険が及ぶと判断した対象のクラスなどを推論してもよい。そして、認識部１１１又は機器管理部１２０は、推論された対象のクラスに応じて危険レベルを変化させてもよい。例えば、認識部１１１又は機器管理部１２０は、対象のクラスがヒトや有人の重機等である場合には危険レベルが高いと判定し、建造物や無人の重機等である場合には危険レベルが低いと判定してもよい。
　さらにまた、認識部１１１は、認識結果の一部として、危険状態を実際に危険な状態に遷移させる要因となり得る機器１００の動作やその方向を推論してもよい。そして、機器管理部１２０は、機器制御部１３４から入力された操作に基づく動作やその方向や、現場サーバ３００から受信した行動計画における次の動作やその方向が、危険状態を実際に危険な状態に遷移させる要因となり得る動作やその方向と一致又は近似する場合には、オペレータに対して警告を発したり、モニタ１３１を介して注意を促したりしてもよい。
　このような危険状態を認識する認識部１１１のトレーニングや再学習には、上述した実施形態と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　また、上述した実施形態と同様に、認識部１１１による認識結果は、その際にセンサ部１０１等で取得されたセンサデータ（ロウデータ又はモザイク等の加工がされた処理済みデータ）と共に現場サーバ３００へ送信されてもよい。
　なお、ある機器１００が危険状態であるか否かの認識は、当該機器１００における認識部１１１ではなく、他の機器１００やクラウド２００や現場サーバ３００に配置された認識部において実行されてもよい。例えば、ある機器１００のセンサ部１０１等で取得されたセンサデータが他の機器１００やクラウド２００や現場サーバ３００で共有され、これらが備える認識部において危険状態が認識されてもよい。
　また、認識部１１１が危険状態を認識した際のセンサデータ及び認識結果は、クラウド２００へ送られて分析され、学習モデルのトレーニング又は再学習に利用されてもよい。ここで、危険状態を認識した際のセンサデータは、危険状態と認識された時点の前後の一定期間にセンサ部１０１等で取得されたセンサデータであってもよい。
　５．２　動作フロー例
　図９は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図９に示すように、本実施形態では、第１の実施形態において図３を用いて説明した動作と同様の動作のうち、ステップＳ１０２、Ｓ１０３及びＳ１０５がステップＳ４０２、Ｓ４０３及びＳ４０５に置き換えられている。
　ステップＳ４０２では、認識部１１１は、入力されたセンサデータに基づいて認識処理を実行することで、危険状態であるか否かを認識する。その際、危険レベルや予測時間や危険の規模や要因となる行動及びその方向等の情報が認識結果として出力されてもよい。
　ステップＳ４０３では、図３におけるステップＳ１０３と同様に、ステップＳ４０２の認識処理において危険状態ではないと認識された場合（ステップＳ４０３のＮＯ）、本動作がステップＳ１０６へ進み、危険状態であると認識された場合（ステップＳ４０３のＹＥＳ）、認識結果が機器管理部１２０へ入力されるとともに、所定のネットワークを介して現場サーバ３００へ送信される（ステップＳ１０４）。
　ステップＳ４０５では、機器管理部１２０は、認識部１１１又は機器管理部１２０で推定された危険レベルに応じた警告をオペレータに発する。
　なお、危険レベルの他に要因となる行動及びその方向の情報が認識結果に含まれている場合であって、機器１００の次の動作及びその方向が危険状態を実際に危険な状態に遷移させる要因となり得る動作やその方向と一致又は近似する場合には、ステップＳ４０５において、機器管理部１２０は、次の行動に対する警告や注意をオペレータに対して発してもよい。
　５．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいて危険状態であるか否かを的確に認識することが可能となるため、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．第５の実施形態
　次に、上述した情報処理システム１を利用した第５の実施形態について、以下に図面を参照して詳細に説明する。第５の実施形態では、情報処理システム１を利用して機器１００周囲のヒトやモノや領域等の動きを認識したり予測したりすることで、現場における現在や将来の安全性を向上させる場合について説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　６．１　処理フロー例
　図１０は、本実施形態に係る情報処理システム１における動き認識からオペレータへの通知（警告も含まれてよい）までの流れを説明するための図である。図１０に示すように、情報処理システム１を動き認識・動き予測に適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータを入力として、特定の領域内に属する物体又は自機を中心とした所定範囲内に属する物体の動きを認識及び／又は予測する。また、各機器１００には、物体データベース５１２が設けられる。
　認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどを入力とし、自機の周囲に存在するヒトやモノの存在やその位置を認識したり、セマンティック・セグメンテーション等によりそれらが存在する領域を認識したりする領域認識処理を実行する。
　機器管理部１２０は、機器１００の運行の補助情報として、認識部１１１による領域認識処理の結果に基づき、ヒトやモノなど（以下、オブジェクトともいう）の存在やセマンティック・セグメンテーションの結果（オブジェクトが存在する領域や位置）を、オペレータに対してモニタ１３１を介して提示（領域提示）する。これに対し、オペレータは、提示されたオブジェクト等の領域のうち、注意を払う対象、すなわち認識部１１１による動き認識の対象とする領域（オブジェクトが存在する領域や自機を基準とした特定の領域など）の選択を、例えばＵＩ１３２等を用いて入力する。
　オブジェクトの例としては、ビルやトンネルなどの建造物（取り壊し中であってもよい）の床・壁・天井、屋内又は屋外の地面・崖・斜面などの他、自機から一定範囲内に存在するヒトやモノ（他の機器１００等を含む）などが考えられる。また、領域の例としては、オブジェクトが存在する領域の他、自機から一定範囲内の領域や、通路や出入り口などの特定の領域などが考えられる。
　オペレータから動き認識の対象とする領域の選択が入力されると、機器管理部１２０は、選択された領域又はその領域に対応するオブジェクトに関し、「そのオブジェクトあるいは領域の見え方と位置」（以下、物体情報ともいう）を物体データベース５１２に登録する。
　ここで、物体情報における「見え方」とは、認識部１１１の認識結果であってもよいし、オブジェクト又は領域の形や模様（テクスチャ）や色や材質などの「外観」であってもよい。また、「位置」とは、画像上の位置あるいは現場の絶対的な位置のいずれかあるいはそれらの組み合わせなどであってもよい。具体的には、例えば機器１００が移動しない半固定的な観測機である場合には、「位置」は画像上の位置であってもよい。一方、移動する機体である場合には、「位置」は現場の絶対位置であってもよい。移動しながらの稼働や停止しながらの稼働が可能な機器１００の場合には、画像上の位置及び現場の絶対的な位置の両方が使用されてもよい。
　このように、物体情報が物体データベース５１２に登録されると、認識部１１１は、選択された領域又はその領域に対応するオブジェクト（すなわち、物体データベース５１２に登録されたオブジェクト又は領域）について、センサ部１０１から入力されたセンサデータを入力とする動き認識処理を実行する。
　動き認識処理では、認識部１１１は、例えば、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどのセンサデータを入力として、選択されたオブジェクト又は領域の動き認識を実行する。これにより、選択されたオブジェクトや領域に動きがあったことが検出された場合、認識部１１１は、このことを機器管理部１２０に通知する。これに対し、機器管理部１２０は、選択されたオブジェクトや領域に動きがあったことをモニタ１３１や出力部１３３を介してオペレータに通知する。
　なお、ある機器１００の物体データベース５１２に登録された物体情報は、現場サーバ３００に収集され、同一の現場における他の機器１００や、他の現場における機器１００等で共有されてもよい。それにより、例えば、一つの機器１００で追跡指定（選択）されたオブジェクトや領域の動き認識を他の機器１００や２以上の機器１００で監視することが可能となる。その際、現場サーバ３００による物体情報の収集や、機器１００間での物体情報の共有（各機器１００へのダウンロード）は、機器１００や現場サーバ３００が自動で行ってもよいし、オペレータによる手動で行われてもよい。また、ある機器１００で認識された対象の動きは、現場サーバ３００を介して他の機器１００で共有されてもよい。
　また、物体データベース５１２に登録された物体情報は、クラウド２００にアップロードされて分析され、学習モデルのトレーニングや再学習に使用されてもよい。それにより、認識部１１１の認識性能を向上することが可能となる。認識部１１１のトレーニングや再学習には、上述した実施形態と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　さらに、上述では、選択された対象が実際に動いたことを認識部１１１が認識する場合を説明したが、これに限定されず、認識部１１１が選択された対象が動くことを予測する動き予測処理を実行してもよい。例えば、対象周辺の湧き水の量の変化、対象周辺の土煙、周囲の異音や大気成分等をセンサ部１０１等で検出し、それを認識部１１１の入力とすることで、対象が動く可能性を推論することができる。
　また、上述した実施形態と同様に、認識部１１１による認識結果は、その際にセンサ部１０１等で取得されたセンサデータ（ロウデータ又はモザイク等の加工がされた処理済みデータ）と共に現場サーバ３００へ送信されてもよい。
　６．２　動作フロー例
　図１１は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図１１に示すように、本実施形態において、情報処理システム１では、まず、監視対象の領域の選定が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ５０１）。
　次に、認識部１１１が、入力されたセンサデータに基づいて領域認識処理を実行する（ステップＳ５０２）。領域認識処理では、上述したように、例えば、セマンティック・セグメンテーションなどによりオブジェクトが存在する領域にラベル付けがなされ、オブジェクトの領域が特定される。認識されたオブジェクトや領域は、機器管理部１２０に通知される。
　次に、機器管理部１２０が、認識されたオブジェクトや領域を、モニタ１３１を介してオペレータに提示する（ステップＳ５０３）。これに対し、オペレータから例えばＵＩ１３２等を用いてオブジェクトや領域の選択が入力されると（ステップＳ５０４のＹＥＳ）、機器管理部１２０は、選択されたオブジェクト又は領域に関する物体情報を物体データベース５１２に登録する（ステップＳ５０５）。なお、オペレータによる選択が入力されなかった場合（ステップＳ５０４のＮＯ）、本動作がステップＳ５０１へ戻る。
　次に、監視対象として選定されたオブジェクト又は領域の動き認識が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ５０６）。
　次に、認識部１１１が、入力されたセンサデータに基づいて動き認識処理を実行する（ステップＳ５０７）。動き認識処理では、例えば、画像データやデプス画像データ等からオブジェクト又は領域の動きが認識されてもよい。
　次に、認識部１１１が、動き認識処理の結果に基づき、選択されたオブジェクト又は領域に動きがあったか否かを判定する（ステップＳ５０８）。動きが無かった場合（ステップＳ５０８のＮＯ）、本動作がステップＳ５１１へ進む。一方、動きがあった場合（ステップＳ５０８のＹＥＳ）、認識部１１１は、選択されたオブジェクト又は領域が動いたことを機器管理部１２０へ通知する（ステップＳ５０９）。なお、選択されたオブジェクト又は領域が動いたことは、認識部１１１又は機器管理部１２０から現場サーバ３００に通知されて、他の機器１００と共有されてもよい。
　これに対し、機器管理部１２０は、選択されたオブジェクト又は領域が動いたことを、例えばモニタ１３１や出力部１３３を介してオペレータに通知する（ステップＳ５１０）。
　次に、機器管理部１２０は、例えば、ＵＩ１３２等からオペレータにより入力された操作等に基づき、監視対象のオブジェクト又は領域を変更するか否かを判定する（ステップＳ５１１）。監視対象のオブジェクト又は領域を変更しない場合（ステップＳ５１１のＮＯ）、本動作がステップＳ５０６に戻る。
　一方、監視対象の領域を変更する場合（ステップＳ５１１のＹＥＳ）、機器１００を制御する制御部が、本動作を終了するか否かを判定し、終了すると判定された場合（ステップＳ５１２のＹＥＳ）、本動作が終了する。一方、終了しないと判定された場合（ステップＳ５１２のＮＯ）、本動作がステップＳ５０１へ戻り、以降の動作が実行される。
　６．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいて監視対象のオブジェクト又は領域が選択され、選択された監視対象の動きを監視することが可能となるため、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　７．第６の実施形態
　次に、上述した情報処理システム１を利用した第６の実施形態について、以下に図面を参照して詳細に説明する。第６の実施形態では、情報処理システム１を利用してオペレータの疲れを認識することで、現場における現在や将来の安全性を向上させる場合について説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　７．１　処理フロー例
　図１２は、本実施形態に係る情報処理システム１におけるオペレータの疲れ認識からオペレータへの警告までの流れを説明するための図である。図１２に示すように、情報処理システム１をオペレータの疲れ認識に適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータを入力として、オペレータの疲れの程度を認識する。
　認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどを入力とし、オペレータの疲れの程度を認識する疲れ認識処理を実行する。
　疲れ認識処理では、認識部１１１は、例えば、機器１００の車軸や運転席やアーム部やフレームやクローラ等、オペレータ自身等に取り付けられたセンサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータ、オペレータの表情や体温・心拍数・脳波等などのセンサデータの他、機器１００の操作開始からの経過時間や、オペレータの継続勤務時間などを入力として、オペレータの疲れを認識してもよい。
　オペレータの疲れを認識するための学習モデルは、例えば、オペレータが疲れているときの機器１００の挙動や操縦内容等に基づいてトレーニングや再学習されてもよい。ただし、これに限定されず、学習モデルは、オペレータが疲れてない正常時の機器１００の挙動や操縦内容に基づいた異常検知学習や、機器１００の操作開始時の機器１００の挙動や操縦内容等と操作開始からある程度時間が経過した時点での機器１００の挙動や操縦内容等との差に基づく学習等によりトレーニング又は再学習されてもよい。
　なお、認識部１１１で用いる学習モデルや判断に用いる閾値などは、オペレータごとに異なっていてもよい。その際、オペレータ個人に対応した学習モデルや判断閾値などは、各現場における機器１００や現場サーバ３００やクラウド２００などにおいて管理されていてもよい。例えば、機器１００がオペレータ個人に対応した学習モデルや判断閾値などを保持していない場合には、現場サーバ３００やクラウド２００への問い合わせを行い、必要な情報をダウンロードしてもよい。また、オペレータ個人に対応した学習モデルや判断閾値などが機器１００、現場サーバ３００、クラウド２００のいずれにも存在しない場合、認識部１１１は、テンプレートとして予め用意された学習モデルや判断閾値を用いてもよい。その場合、テンプレートは、機器１００、現場サーバ３００、クラウド２００のいずれにおいて管理されてもよい。
　オペレータの疲れの程度が高い場合、認識部１１１は、このことを機器管理部１２０に通知する。これに対し、機器管理部１２０は、疲れていることをモニタ１３１や出力部１３３を介してオペレータに通知する。
　また、機器１００のオペレータが疲れていることは、現場サーバ３００や同一の現場における他の機器１００と共有されてもよい。それにより、現場のオペレーションの効率化を図ることが可能となる。
　また、第１の実施形態と同様に、認識部１１１による認識結果は、その際にセンサ部１０１等で取得されたセンサデータ（ロウデータ又はモザイク等の加工がされた処理済みデータ）と共に現場サーバ３００へ送信されてもよい。
　７．２　動作フロー例
　図１３は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図１３に示すように、本実施形態では、第１の実施形態において図３を用いて説明した動作と同様の動作のうち、ステップＳ１０２及びＳ１０３がステップＳ６０２及びＳ６０３に置き換えられている。
　ステップＳ６０２では、認識部１１１は、入力されたセンサデータに基づいて認識処理を実行することで、オペレータの疲れの程度を認識する。
　ステップＳ６０３では、図３におけるステップＳ１０３と同様に、ステップＳ２０２の認識処理においてオペレータが疲れていないと認識された場合（ステップＳ６０３のＮＯ）、本動作がステップＳ１０６へ進み、オペレータが疲れていると認識された場合（ステップＳ６０３のＹＥＳ）、認識結果が機器管理部１２０へ入力されるとともに、所定のネットワークを介して現場サーバ３００へ送信される（ステップＳ１０４）。
　７．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいてオペレータの疲れの程度を認識して警告することが可能となるため、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　８．第７の実施形態
　次に、上述した情報処理システム１を利用した第７の実施形態について、以下に図面を参照して詳細に説明する。第７の実施形態では、上述した実施形態において、認識部１１１が、画像データやデプス画像データやＩＭＵデータやＧＮＳＳデータなどのセンシングデータに加え、カメラの高さ・角度・ＦｏＶ（画角）など、センサ部１０１に関する情報（以下、属性情報ともいう）を追加的な入力として、各種認識処理（セマンティック・セグメンテーション等も含み得る）を実行する場合を例示する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　８．１　処理フロー例
　図１４は、本実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。図１４に示すように、情報処理システム１に属性情報を加味した認識を適用した場合、位置・周囲認識部１１０の認識部１１１は、センサ部１０１等から入力されたセンサデータに加え、センサ部１０１等の属性情報を入力として、認識処理を実行する。
　例えば、認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどのセンサデータに加え、センサ部１０１等がカメラであればその設置個所の高さや姿勢（角度）やＦｏＶ（画角）などの属性情報を追加的な入力とし、ヒトやモノなどの物体認識やセマンティック・セグメンテーションなどの各種認識処理を実行する。認識処理の結果は、上述した実施形態と同様に、機器１００とヒトやモノとの接触を防止するための警告等に用いられてよい。
　例えば、機器１００がクレーン車などの重機等である場合、機器１００の周囲を撮像するカメラ（センサ部１０１等の１つ）は、自動車等に搭載されるカメラなどと比べて高い位置に下を向くように設置される。そのため、カメラで取得される画像データに写り込んだヒトやモノのシルエットは、自動車等に搭載されたカメラ等で取得された画像データにおけるヒトやモノのシルエットとは異なる特殊な形状となる。そこで、本実施形態のように、センサ部１０１等の設置位置の高さや姿勢などに関する属性情報を認識部１１１の入力に加えて認識処理を実行することで、異なる特殊な形状のシルエットとして写されたヒトやモノに対する認識精度を向上することが可能となるため、オペレータに対して的確に警告を発することが可能となる。それにより、現場における現在や将来の安全性をより向上させることが可能となる。
　このような属性情報を加味し得る学習モデルは、属性情報を教師データに加えたトレーニング又は再学習により学習することができる。それにより、センサ部１０１等の属性情報を加味したより高精度の認識処理を認識部１１１に実行させることが可能となる。
　なお、センサ部１０１等の設置位置の高さや姿勢等に関する属性情報には、センサ部１０１等又は機器１００に設けられたＩＭＵやＧＮＳＳ受信機から得られた位置・姿勢情報が用いられてよい。それにより、センサ部１０１等の接地位置の高さや姿勢等が動的に変化した場合でも、その変化に応じた適切な認識処理を認識部１１１に実行させることが可能となる。ただし、これに限定されず、センサ部１０１等の属性情報は、静的な値であってもよい。また、属性情報の一部が動的な値であり、残りが静的な値であるというように、動的な値と静的な値とが混在していてもよい。
　８．２　動作フロー例
　図１５は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図１５に示すように、本実施形態では、第１の実施形態において図３を用いて説明した動作と同様の動作と同様の動作において、ステップＳ１０１の次にステップＳ７０１が追加されるとともに、ステップＳ１０２及びＳ１０３がステップＳ７０２及びＳ７０３に置き換えられている。
　ステップＳ７０１では、センサ部１０１等の属性情報が入力される。ただし、これに限定されず、ステップＳ１０１においてセンサデータに付随する形で各センサ部１０１等の属性情報が入力されてもよい。
　ステップＳ７０２では、認識部１１１は、入力されたセンサデータ及び属性情報に基づいて認識処理を実行する。例えば、本実施形態を第１の実施形態に係る地震認識に適用した場合、認識部１１１は、入力されたセンサデータ及び属性情報に基づいて認識処理を実行することで、地震が発生したか否かを認識する。
　ステップＳ７０３では、例えば、ステップＳ７０２の認識処理の結果、オペレータに対する警告が必要であるか否かが判定される。例えば、本実施形態を第１の実施形態に係る地震認識に適用した場合、認識部１１１は、地震が発生した、すなわち、警告が必要（図３のステップＳ１０３のＹＥＳ）と判定する。警告が必要でないと判定された場合（ステップＳ７０３のＮＯ）、本動作がステップＳ１０６へ進み、警告が必要であると判定された場合（ステップＳ７０３のＹＥＳ）、認識結果が機器管理部１２０へ入力されるとともに、所定のネットワークを介して現場サーバ３００へ送信される（ステップＳ１０４）。
　８．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに加え、各センサ部１０１等の属性情報に基づいて各種認識処理が実行されるため、より正確な認識を実行することが可能となる。それにより、現場における現在や将来の安全性をより向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　９．第８の実施形態
　次に、上述した情報処理システム１を利用した第８の実施形態について、以下に図面を参照して詳細に説明する。第８の実施形態では、上述した実施形態において、認識部１１１により認識されたオブジェクト又はその種類に応じて、警告の強度（警告レベル）を変化させる場合を例示する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　９．１　処理フロー例
　図１６は、本実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。図１６に示すように、情報処理システム１でオブジェクトやその種類に応じて警告レベルを変化させる場合、位置・周囲認識部１１０の認識部１１１は、オブジェクト又はその種類ごとに設定された警告レベルでオペレータに警告を発する。また、各機器１００には、オブジェクト又はその種類ごとに設定された警告レベルを管理するための属性データベース８１２が設けられる。
　認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどを入力とし、自機の周囲に存在するヒトやモノの存在やその位置を認識したり、セマンティック・セグメンテーション等によりそれらが存在する領域を認識したりする領域認識処理を実行する。
　機器管理部１２０は、機器１００の運行の補助情報として、認識部１１１による領域認識処理の結果に基づき、オブジェクトの存在やセマンティック・セグメンテーションの結果（オブジェクトが存在する領域や位置）を、オペレータに対してモニタ１３１を介して提示（領域提示）する。これに対し、オペレータは、提示されたオブジェクト等の領域のうち、警告レベルを設定するオブジェクトが存在する領域の選択を、例えばＵＩ１３２等を用いて入力する。なお、オブジェクトの例は、例えば、第５の実施形態において説明した例と同様であってよい。
　オペレータから警告レベル設定の対象とする領域の選択が入力されると、機器管理部１２０は、選択された領域又はその領域に対応するオブジェクト若しくは当該オブジェクトが属する種類に関し、「そのオブジェクトの見え方と位置と指定された警告強度」（以下、警告レベル情報ともいう）を設定し、オブジェクト又はその種類ごとに設定された警告レベル情報を属性データベース８１２に登録する。なお、警告レベル情報における「見え方」及び「位置」は、第５の実施形態に係る物体情報におけるそれらと同様であってよい。
　このように、警告レベル情報が属性データベース８１２に登録されると、認識部１１１は、センサ部１０１等から入力されたセンサデータに対する各種認識処理を実行する。なお、認識部１１１が実行する認識処理は、上述した実施形態で例示した認識処理のいずれであってもよい。また、認識部１１１は、警告レベル情報が設定されていないオブジェクトを認識対象に含めてもよい。
　認識処理では、認識部１１１は、例えば、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどのセンサデータを入力として、警告が必要なオブジェクト又は領域を認識する。
　つづいて、認識部１１１は、警告が必要と認識されたオブジェクト又は領域に対して、属性データベース８１２においてそのオブジェクト又はその種類に設定されている警告レベル情報を付与する属性情報付与処理を実行する。例えば、認識部１１１は、認識結果として得られたオブジェクト又はその種類と、属性データベース８１２において警告レベル情報が登録されているオブジェクト又はその種類とを比較し、同じ見え方で同じ位置のオブジェクト又はその種類に対して、該当する警告レベル情報を付与する。その際、同じ見え方で異なる位置のオブジェクトに対しては、低い警告レベル（注意喚起程度）で警告してもよい。そして、認識部１１１は、警告レベル情報が付与されたオブジェクト又は領域の情報を認識結果として機器管理部１２０に通知する。なお、領域認識処理と属性情報付与処理とは、１つの認識部１１１で実行されてもよいし、位置・周囲認識部１１０が備える異なる認識部１１１で実行されてもよい。
　これに対し、機器管理部１２０は、認識結果において警告が必要とされたオブジェクトや領域に関し、それに付与された警告レベルに応じた警告をモニタ１３１や出力部１３３を介してオペレータに発する。それにより、オペレータにより対象として選択されたオブジェクトや、同じ見え方で異なる位置に存在するオブジェクトに関して、オペレータにより設定された警告レベルでの警告が可能となる。
　なお、ある機器１００の属性データベース８１２に登録された警告レベル情報は、現場サーバ３００に収集され、同一の現場における他の機器１００や、他の現場における機器１００等で共有されてもよい。それにより、２以上の機器１００でオブジェクト又はその種類ごとの警告レベルの設定が可能となるため、警告レベルの設定作業を効率化することが可能となる。その際、他の機器１００で設定された警告レベル情報に基づいて警告をする場合、警告レベルに応じた警告に加え、既に警告レベル情報が設定されていることをオペレータに通知してもよい。また、現場サーバ３００による警告レベル情報の収集や、機器１００間での警告レベル情報の共有（各機器１００へのダウンロード）は、機器１００や現場サーバ３００が自動で行ってもよいし、オペレータによる手動で行われてもよい。
　また、属性データベース８１２に登録された警告レベル情報は、クラウド２００にアップロードされて分析され、学習モデルのトレーニングや再学習に使用されてもよい。それにより、認識部１１１の認識性能を向上することが可能となる。認識部１１１のトレーニングや再学習には、上述した実施形態と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　９．２　動作フロー例
　図１７は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図１７に示すように、本実施形態において、情報処理システム１では、第５の実施形態と同様に、まず、監視対象の領域の選定が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ８０１）。
　次に、認識部１１１が、入力されたセンサデータに基づいて領域認識処理を実行する（ステップＳ８０２）。領域認識処理では、上述したように、例えば、セマンティック・セグメンテーションなどによりオブジェクトが存在する領域にラベル付けがなされ、オブジェクトの領域が特定される。認識されたオブジェクトや領域は、機器管理部１２０に通知される。
　次に、機器管理部１２０が、認識されたオブジェクトや領域を、モニタ１３１を介してオペレータに提示する（ステップＳ８０３）。これに対し、オペレータから例えばＵＩ１３２等を用いてオブジェクトや領域の選択、及び、選択されたオブジェクトや領域に対する警告レベルの指定が入力されると（ステップＳ８０４のＹＥＳ）、機器管理部１２０は、選択されたオブジェクト又は領域に関する警告レベル情報を属性データベース８１２に登録する（ステップＳ８０５）。なお、オペレータによる選択が入力されなかった場合（ステップＳ８０４のＮＯ）、本動作がステップＳ８０１へ戻る。
　次に、警告レベルが指定されたオブジェクトやそれと同じ種類のオブジェクト又は領域に対する認識処理が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ８０６）。
　次に、認識部１１１が、入力されたセンサデータに基づいて対象のオブジェクト又は領域に対する認識処理を実行する（ステップＳ８０７）。
　次に、認識部１１１が、認識処理の結果に基づき、対象のオブジェクト又は領域に関するオペレータへの警告が必要であるか否かを判定する（ステップＳ８０８）。警告が必要でないと判定された場合（ステップＳ８０８のＮＯ）、本動作がステップＳ８１１へ進む。一方、警告が必要と判定された場合（ステップＳ８０８のＹＥＳ）、認識部１１１は、認識結果を機器管理部１２０へ通知する（ステップＳ８０９）。なお、認識結果は、認識部１１１又は機器管理部１２０から現場サーバ３００に通知されて、他の機器１００と共有されてもよい。
　これに対し、機器管理部１２０は、警告が必要と判定されたオブジェクト又は領域に関する指定された警告レベルでの警告を、例えばモニタ１３１や出力部１３３を介してオペレータに発する（ステップＳ８１０）。
　次に、機器管理部１２０は、例えば、ＵＩ１３２等からオペレータにより入力された操作等に基づき、警告対象のオブジェクト又は領域を変更するか否かを判定する（ステップＳ８１１）。警告対象のオブジェクト又は領域を変更しない場合（ステップＳ８１１のＮＯ）、本動作がステップＳ８０６に戻る。
　一方、警告対象の領域を変更する場合（ステップＳ８１１のＹＥＳ）、機器１００を制御する制御部が、本動作を終了するか否かを判定し、終了すると判定された場合（ステップＳ８１２のＹＥＳ）、本動作が終了する。一方、終了しないと判定された場合（ステップＳ８１２のＮＯ）、本動作がステップＳ８０１へ戻り、以降の動作が実行される。
　９．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいてオブジェクト又はその種類ごとの警告レベルが設定され、設定された警告レベルでオペレータに警告が発せられるため、オペレータは、より的確に守るべき対象等がどのような状況にあるかを知ることができる。それにより、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　１０．第９の実施形態
　次に、上述した情報処理システム１を利用した第９の実施形態について、以下に図面を参照して詳細に説明する。上述した第８の実施形態では、オブジェクトやその種類ごとに警告レベルを変化させる場合を例示した。これに対し、第９の実施形態では、特定のオブジェクトやそれと同じ種類のオブジェクトを警告対象から除外する場合を例示する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　１０．１　処理フロー例
　図１８は、本実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。図１８に示すように、情報処理システム１で特定のオブジェクトやそれと同一種類のオブジェクトを警告対象から除外する場合、位置・周囲認識部１１０の認識部１１１は、認識結果で特定されたオブジェクト又はその種類に応じて、対象のオブジェクト又は領域に対する警告の要否を判断する領域除外処理を実行する。また、各機器１００には、オブジェクト又はその種類ごとに警告の対象から除外するための除外データベース９１２が設けられる。
　認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどを入力とし、自機の周囲に存在するヒトやモノの存在やその位置を認識したり、セマンティック・セグメンテーション等によりそれらが存在する領域を認識したりする領域認識処理を実行する。
　機器管理部１２０は、機器１００の運行の補助情報として、認識部１１１による領域認識処理の結果に基づき、オブジェクトの存在やセマンティック・セグメンテーションの結果（オブジェクトが存在する領域や位置）を、オペレータに対してモニタ１３１を介して提示（領域提示）する。これに対し、オペレータは、提示されたオブジェクト等の領域のうち、警告の対象外とするオブジェクトが存在する領域の選択を、例えばＵＩ１３２等を用いて入力する。なお、オブジェクトの例は、例えば、第５の実施形態において説明した例と同様であってよい。
　オペレータから警告の対象外とする領域の選択が入力されると、機器管理部１２０は、選択された領域又はその領域に対応するオブジェクト若しくは当該オブジェクトが属する種類に関し、「そのオブジェクトの見え方と位置」（以下、除外情報ともいう）を設定し、オブジェクト又はその種類ごとに設定された除外情報を除外データベース９１２に登録する。なお、除外情報における「見え方」及び「位置」は、第５の実施形態に係る物体情報におけるそれらと同様であってよい。
　このように、除外情報が除外データベース９１２に登録されると、認識部１１１は、センサ部１０１等から入力されたセンサデータに対する各種認識処理を実行する。なお、認識部１１１が実行する認識処理は、上述した実施形態で例示した認識処理のいずれであってもよい。また、認識部１１１は、警告の対象外とされたオブジェクトを認識対象に含めてもよい。
　認識処理では、認識部１１１は、例えば、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどのセンサデータを入力として、警告が必要なオブジェクト又は領域を認識する。
　つづいて、認識部１１１は、領域認識処理で認識されたオブジェクト又は領域に関し、除外データベース９１２において除外情報が登録されているか否かを判定する領域除外処理を実行する。例えば、認識部１１１は、認識結果として得られたオブジェクト又はその種類と、除外データベース９１２において警告の対象外として登録されているオブジェクト又はその種類とを比較し、同じ見え方で同じ位置のオブジェクト又はその種類を警告の対象外とする。ただし、これに限定されず、同じ見え方で異なる位置のオブジェクトに対しては、低い警告レベル（注意喚起程度）で警告してもよい。そして、認識部１１１は、除外データベース９１２において警告の対象外とされていないオブジェクト又は領域の情報を認識結果として機器管理部１２０に通知する。なお、領域認識処理と領域除外処理とは、１つの認識部１１１で実行されてもよいし、位置・周囲認識部１１０が備える異なる認識部１１１で実行されてもよい。
　これに対し、機器管理部１２０は、認識部１１１から通知された認識結果に基づいて、警告対象のオブジェクト又は領域に対する警告をモニタ１３１や出力部１３３を介してオペレータに発する。それにより、オペレータには注目すべきオブジェクトや領域についての警告のみが発せられるため、より的確な警告をオペレータに発することが可能となる。
　なお、ある機器１００の除外データベース９１２に登録された除外情報は、現場サーバ３００に収集され、同一の現場における他の機器１００や、他の現場における機器１００等で共有されてもよい。それにより、２以上の機器１００で除外対象とするオブジェクト又はその種類の設定が可能となるため、除外作業を効率化することが可能となる。その際、他の機器１００で設定された除外情報に基づいてオブジェクト又は領域を除外する場合、対象であるオブジェクト又は領域に対する警告に加え、対象から除外されたオブジェクト又は領域がオペレータに通知されてもよい。また、現場サーバ３００による除外情報の収集や、機器１００間での除外情報の共有（各機器１００へのダウンロード）は、機器１００や現場サーバ３００が自動で行ってもよいし、オペレータによる手動で行われてもよい。
　また、除外データベース９１２に登録された除外情報は、クラウド２００にアップロードされて分析され、学習モデルのトレーニングや再学習に使用されてもよい。それにより、認識部１１１の認識性能を向上することが可能となる。認識部１１１のトレーニングや再学習には、上述した実施形態と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　１０．２　動作フロー例
　図１９は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図１９に示すように、本実施形態において、情報処理システム１では、第５の実施形態と同様に、まず、監視対象の領域の選定が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ９０１）。
　次に、認識部１１１が、入力されたセンサデータに基づいて領域認識処理を実行する（ステップＳ９０２）。領域認識処理では、上述したように、例えば、セマンティック・セグメンテーションなどによりオブジェクトが存在する領域にラベル付けがなされ、オブジェクトの領域が特定される。認識されたオブジェクトや領域は、機器管理部１２０に通知される。
　次に、機器管理部１２０が、認識されたオブジェクトや領域を、モニタ１３１を介してユーザに提示する（ステップＳ９０３）。これに対し、オペレータから例えばＵＩ１３２等を用いて警告の除外対象とするオブジェクトや領域の選択が入力されると（ステップＳ９０４のＹＥＳ）、機器管理部１２０は、選択されたオブジェクト又は領域に関する除外情報を除外データベース９１２に登録する（ステップＳ９０５）。なお、オペレータによる選択が入力されなかった場合（ステップＳ９０４のＮＯ）、本動作がステップＳ９０１へ戻る。
　次に、上述した実施形態に係る各種認識処理が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ９０６）。
　次に、認識部１１１が、入力されたセンサデータに基づいてオブジェクト又は領域に対する認識処理を実行する（ステップＳ９０７）。
　次に、認識部１１１が、認識処理の結果に基づき、認識されたオブジェクト又は領域が警告の対象外とされているか否かを判定する（ステップＳ９０８）。警告の対象外とされている場合（ステップＳ９０８のＹＥＳ）、本動作がステップＳ９１１へ進む。一方、警告の対象とされている場合（ステップＳ９０８のＮＯ）、認識部１１１は、認識結果を機器管理部１２０へ通知する（ステップＳ９０９）。なお、認識結果は、認識部１１１又は機器管理部１２０から現場サーバ３００に通知されて、他の機器１００と共有されてもよい。
　これに対し、機器管理部１２０は、警告の対象とされたオブジェクト又は領域に関する警告を、例えばモニタ１３１や出力部１３３を介してオペレータに発する（ステップＳ９１０）。
　次に、機器管理部１２０は、例えば、ＵＩ１３２等からオペレータにより入力された操作等に基づき、除外対象のオブジェクト又は領域を変更するか否かを判定する（ステップＳ９１１）。除外対象のオブジェクト又は領域を変更しない場合（ステップＳ９１１のＮＯ）、本動作がステップＳ９０６に戻る。
　一方、除外対象の領域を変更する場合（ステップＳ９１１のＹＥＳ）、機器１００を制御する制御部が、本動作を終了するか否かを判定し、終了すると判定された場合（ステップＳ９１２のＹＥＳ）、本動作が終了する。一方、終了しないと判定された場合（ステップＳ９１２のＮＯ）、本動作がステップＳ９０１へ戻り、以降の動作が実行される。
　１０．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいて警告の対象外とするオブジェクト又はその種類を設定することが可能であるため、オペレータは、より的確に守るべき対象等についての警告を受けることが可能となる。それにより、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　１１．第１０の実施形態
　次に、上述した情報処理システム１を利用した第１０の実施形態について、以下に図面を参照して詳細に説明する。第１０の実施形態では、認識部１１１により認識されたオブジェクト又はそれと同じ種類のオブジェクトが危険物や危険領域である場合、その接近を検出してオペレータに通知する場合を例示する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　１１．１　処理フロー例
　図２０は、本実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。図２０に示すように、情報処理システム１で特定のオブジェクトやそれと同一種類のオブジェクトの接近をオペレータに通知する場合、位置・周囲認識部１１０の認識部１１１は、認識結果で特定されたオブジェクト又はそれと同じ種類のオブジェクトのうち、オペレータにより危険物や危険領域として指定された、すなわち接近監視の対象とするオブジェクト又は領域の接近を認識する認識処理を実行する。また、各機器１００には、機器１００への接近の監視対象とするオブジェクト又はその種類を登録するための接近監視データベース１０１２が設けられる。
　認識部１１１は、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどを入力とし、自機の周囲に存在するヒトやモノの存在やその位置を認識したり、セマンティック・セグメンテーション等によりそれらが存在する領域を認識したりする領域認識処理を実行する。
　機器管理部１２０は、機器１００の運行の補助情報として、センサ部１０１等で取得された機器１００の周囲の画像（以下、周囲画像ともいう）に加え、認識部１１１による領域認識処理の結果に基づき、オブジェクトの存在やセマンティック・セグメンテーションの結果（オブジェクトが存在する領域や位置）を、オペレータに対してモニタ１３１を介して提示（領域提示）する。これに対し、オペレータは、周囲画像とともに提示されたオブジェクト等の領域のうち、接近監視の対象とするオブジェクトが存在する領域の選択を、例えばＵＩ１３２等を用いて入力する。なお、オブジェクトの例は、例えば、第５の実施形態において説明した例と同様であってよい。
　オペレータから接近監視の対象とする領域の選択が入力されると、機器管理部１２０は、選択された領域又はその領域に対応するオブジェクト若しくは当該オブジェクトが属する種類に関し、「見え方と位置」（以下、接近監視情報ともいう）を設定し、オブジェクト又はその種類ごとに設定された接近監視情報を接近監視データベース１０１２に登録する。なお、接近監視情報における「見え方」及び「位置」は、第５の実施形態に係る物体情報におけるそれらと同様であってよい。
　このように、接近監視情報が接近監視データベース１０１２に登録されると、認識部１１１は、センサ部１０１等から入力されたセンサデータに対する各種認識処理を実行する。
　認識処理では、認識部１１１は、例えば、センサ部１０１等から入力された画像データ、デプス画像データ、ＩＭＵデータ、ＧＮＳＳデータなどのセンサデータを入力として、オブジェクト又は領域の機器１００への接近（若しくは、オブジェクト又は領域への機器１００の接近）を認識する。
　つづいて、認識部１１１は、接近監視データベース１０１２において接近監視情報が登録されているオブジェクト又は領域に関し、機器１００に接近したか否かを判定する接近認識処理を実行する。例えば、認識部１１１は、認識結果として得られたオブジェクト又はその種類と、接近監視データベース１０１２において警告対象として登録されているオブジェクト又はその種類とを比較し、同じ見え方で同じ位置のオブジェクト又はその種類を監視対象とし、それらと機器１００との距離が所定の距離以内となったかを認識する。その際、オブジェクト又はその種類に応じて、通知の要否を判断する際の距離を変えてもよい。そして、認識部１１１は、監視対象とされているオブジェクト又は領域が所定の距離より接近している場合、そのオブジェクト又は領域についての認識結果を機器管理部１２０に通知する。なお、領域認識処理と接近認識処理とは、１つの認識部１１１で実行されてもよいし、位置・周囲認識部１１０が備える異なる認識部１１１で実行されてもよい。
　これに対し、機器管理部１２０は、認識部１１１から通知された認識結果に基づいて、接近監視対象のオブジェクト又は領域が接近したことをモニタ１３１や出力部１３３を介してオペレータに通知する。それにより、オペレータは、機器１００が危険物や危険領域に接近したことを的確に知ることが可能となる。
　なお、ある機器１００の接近監視データベース１０１２に登録された接近監視情報は、現場サーバ３００に収集され、同一の現場における他の機器１００や、他の現場における機器１００等で共有されてもよい。それにより、２以上の機器１００で監視対象とするオブジェクト又はその種類の設定が可能となるため、監視対象の登録作業を効率化することが可能となる。その際、他の機器１００で設定された接近監視情報に基づいてオブジェクト又は領域の接近を監視する場合、対象であるオブジェクト又は領域に関する通知に加え、監視の対象とされたオブジェクト又は領域がオペレータに通知されてもよい。また、現場サーバ３００による接近監視情報の収集や、機器１００間での接近監視情報の共有（各機器１００へのダウンロード）は、機器１００や現場サーバ３００が自動で行ってもよいし、オペレータによる手動で行われてもよい。
　また、接近監視データベース１０１２に登録された接近監視情報は、クラウド２００にアップロードされて分析され、学習モデルのトレーニングや再学習に使用されてもよい。それにより、認識部１１１の認識性能を向上することが可能となる。認識部１１１のトレーニングや再学習には、上述した実施形態と同様に、例えば、シミュレーションを用いて方法と、異常検知の手法を用いた方法等が用いられてよい。
　１１．２　動作フロー例
　図２１は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図２１に示すように、本実施形態において、情報処理システム１では、第５の実施形態と同様に、まず、監視対象の領域の選定が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ１００１）。
　次に、認識部１１１が、入力されたセンサデータに基づいて領域認識処理を実行する（ステップＳ１００２）。領域認識処理では、上述したように、例えば、セマンティック・セグメンテーションなどによりオブジェクトが存在する領域にラベル付けがなされ、オブジェクトの領域が特定される。認識されたオブジェクトや領域は、機器管理部１２０に通知される。
　次に、機器管理部１２０が、認識されたオブジェクトや領域を、センサ部１０１等から入力された周囲画像とともに、モニタ１３１を介してオペレータに提示する（ステップＳ１００３）。これに対し、オペレータから例えばＵＩ１３２等を用いて警告の監視対象とするオブジェクトや領域の選択が入力されると（ステップＳ１００４のＹＥＳ）、機器管理部１２０は、選択されたオブジェクト又は領域に関する接近監視情報を接近監視データベース１０１２に登録する（ステップＳ１００５）。なお、オペレータによる選択が入力されなかった場合（ステップＳ１００４のＮＯ）、本動作がステップＳ１００１へ戻る。
　次に、監視対象とされたオブジェクト又は領域に対する接近認識処理が実行される。具体的には、例えば、図３におけるステップＳ１０１と同様に、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ１００６）。
　次に、認識部１１１が、入力されたセンサデータに基づいて、オブジェクト又は領域が機器１００に接近したか否かを認識する接近認識処理を実行する（ステップＳ１００７）。
　次に、認識部１１１が、認識処理の結果に基づき、機器１００に接近したオブジェクト又は領域が監視対象とされているか否かを判定する（ステップＳ１００８）。監視対象とされていない場合（ステップＳ１００８のＮＯ）、本動作がステップＳ１０１１へ進む。一方、監視対象とされている場合（ステップＳ１００８のＹＥＳ）、認識部１１１は、認識結果を機器管理部１２０へ通知する（ステップＳ１００９）。なお、認識結果は、認識部１１１又は機器管理部１２０から現場サーバ３００に通知されて、他の機器１００と共有されてもよい。
　これに対し、機器管理部１２０は、監視対象とされたオブジェクト又は領域が機器１００に接近していることを、例えばモニタ１３１や出力部１３３を介してオペレータに通知する（ステップＳ１０１０）。
　次に、機器管理部１２０は、例えば、ＵＩ１３２等からオペレータにより入力された操作等に基づき、監視対象のオブジェクト又は領域を変更するか否かを判定する（ステップＳ１０１１）。監視対象のオブジェクト又は領域を変更しない場合（ステップＳ１０１１のＮＯ）、本動作がステップＳ１００６に戻る。
　一方、監視対象の領域を変更する場合（ステップＳ１０１１のＹＥＳ）、機器１００を制御する制御部が、本動作を終了するか否かを判定し、終了すると判定された場合（ステップＳ１０１２のＹＥＳ）、本動作が終了する。一方、終了しないと判定された場合（ステップＳ１０１２のＮＯ）、本動作がステップＳ１００１へ戻り、以降の動作が実行される。
　１１．３　まとめ
　以上のように、本実施形態によれば、センサ部１０１等から入力された１以上のセンサデータに基づいて、オペレータにより指定された危険物や危険領域が機器１００に接近したことをオペレータに通知することが可能となるため、オペレータは、より的確に機器１００及び自己の安全を確保することが可能となる。それにより、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　１２．第１１の実施形態
　次に、上述した情報処理システム１を利用した第１１の実施形態について、以下に図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
　上述した実施形態のように、センサ部１０１等で取得されたセンサデータやその認識結果は、クラウド２００等にアップロードされて分析・修正され、学習モデルのトレーニングや再学習に使用されてよい。その際、上述した実施形態で例示した物体情報、属性情報、除外情報、接近注意情報など、オペレータにより指定されたオブジェクトや領域に関する情報以外にも、認識部１１１により特定されたヒトやヒト以外のモノとして認識した領域（例えば、バウンディングボックスで囲まれた領域）や、セマンティック・セグメンテーションによりヒトやモノとして認識した領域（自由領域ともいう）の情報（以下、抽出情報ともいう）をクラウド２００等へアップロードしておくことで、より効率的／効果的に学習モデルのトレーニングや再学習を行うことが可能となる。
　そこで、第１１の実施形態では、上述した実施形態において、センサ部１０１等で取得されたセンサデータから学習モデルのトレーニングや再学習に効果的な抽出情報が抽出され、この抽出情報がクラウド２００へアップロードされて学習モデルのトレーニングや再学習に使用される場合について説明する。
　１２．１　処理フロー例
　図２２は、本実施形態に係る情報処理システム１における認識処理からオペレータへの警告までの流れを説明するための図である。図２２に示すように、情報処理システム１においてセンサ部１０１等で取得されたセンサデータを学習モデルのトレーニングや再学習に使用する場合、位置・周囲認識部１１０の認識部１１１は、センサデータから学習モデルのトレーニングや再学習に使用する抽出情報を抽出する抽出処理を実行する。例えば、センサデータが画像データやデプス画像データ等である場合、認識部１１１は、センサデータから、バウンディングボックスで囲まれた領域やセマンティック・セグメンテーションによりラベリングされた自由領域（以下、まとめて注目領域ともいう）を抽出し、抽出された注目領域をクラウド２００の学習部２０１へアップロードする。その際、物体情報、属性情報、除外情報、接近注意情報など、注目領域に関連付けられた各種情報も学習部２０１にアップロードすることで、学習モデルの更なる性能向上や機能性の向上を図ることが可能となる。
　また、センサ部１０１等で取得されたセンサデータをそのままクラウド２００へアップロードするのではなく、センサデータから抽出された抽出情報をクラウド２００へアップロードする構成とすることで、アップロードする情報量を削減することが可能となる。ただし、センサ部１０１等で取得されたセンサデータと、センサデータから抽出された抽出情報との両方がクラウド２００へアップロードされてもよい。
　１２．２　動作フロー例
　図２３は、本実施形態に係る情報処理システム１の動作フロー例を示すフローチャートである。図２３に示すように、本実施形態では、まず、センサ部１０１等で取得されたセンサデータが位置・周囲認識部１１０の認識部１１１に入力される（ステップＳ１１０１）。
　次に、認識部１１１が、入力されたセンサデータに対する抽出処理を実行する（ステップＳ１１０２）。抽出処理では、例えば、バウンディングボックスで囲まれた領域やセマンティック・セグメンテーションによりラベリングされた自由領域が抽出される。
　次に、機器管理部１２０が、抽出された抽出情報をクラウド２００へアップロードする（ステップＳ１１０３）。これに対し、クラウド２００側の学習部２０１は、アップロードされた抽出情報を用いて学習モデルのトレーニングや再学習を実行する。なお、上述したように、認識部１１１からクラウド２００へアップロードされる情報には、センサデータ自体や、認識結果や、物体情報、属性情報、除外情報、接近注意情報など各種情報等が含まれてもよい。
　その後、機器１００を制御する制御部が、本動作を終了するか否かを判定し（ステップＳ１１０４）、終了すると判定された場合（ステップＳ１１０４のＹＥＳ）、本動作が終了する。一方、終了しないと判定された場合（ステップＳ１１０４のＮＯ）、本動作がステップＳ１１０１へ戻り、以降の動作が実行される。
　１２．３　まとめ
　以上のように、本実施形態によれば、センサデータから抽出された抽出情報を用いて学習モデルのトレーニングや再学習を実行することが可能となるため、効率的／効果的に学習モデルをトレーニング・再学習することが可能となる。そして、効率的／効果的にトレーニング／再学習された学習モデルを用いて認識部１１１を構成することで、現場における現在や将来の安全性を向上させることが可能となる。なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　１３．ハードウエア構成
　上述してきた実施形態に係る位置・周囲認識部１１０、機器管理部１２０、学習部２０１、現場サーバ３００等は、例えば図２４に示すような構成のコンピュータ１０００によって実現され得る。図２４は、位置・周囲認識部１１０、機器管理部１２０、学習部２０１、現場サーバ３００等の機能を実現するコンピュータ１０００の一例を示すハードウエア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウエアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る各動作を実行するためのプログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、上述したＩ／Ｆ部１８を含む構成であり、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が上述の実施形態に係る位置・周囲認識部１１０、機器管理部１２０、学習部２０１、現場サーバ３００等として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、位置・周囲認識部１１０、機器管理部１２０、学習部２０１、現場サーバ３００等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　重機が導入される現場の安全を確保するための情報処理システムであって、
　前記現場に配置される機器に搭載れて前記現場の状況を検出する１以上のセンサ部と、
　前記１以上のセンサ部で取得されたセンサデータに基づいて前記現場の状況を認識する認識部と、
　前記認識部による認識結果に基づいて前記機器を管理する機器管理部と、
　を備える情報処理システム。
（２）
　前記認識部は、ニューラルネットワークを利用した学習モデルを備える
　前記（１）に記載の情報処理システム。
（３）
　前記１以上のセンサ部は、画像センサ、測距センサ、ＥＶＳ（Event-based　Vision　Sensor）、慣性センサ、位置センサ、音センサ、気圧センサ、水圧センサ、照度センサ、温度センサ、湿度センサ、赤外線センサ及び風向風速センサのうちの少なくとも１つを含む
　前記（１）又は（２）に記載の情報処理システム。
（４）
　前記機器管理部は、前記認識結果を前記機器のオペレータに通知する、又は、前記認識結果に基づいて前記オペレータに向けて警告を発する制御を実行する
　前記（１）～（３）の何れか１つに記載の情報処理システム。
（５）
　前記認識部は、前記センサデータに基づいて地震を認識する
　前記（１）～（４）の何れか１つに記載の情報処理システム。
（６）
　前記認識部は、前記センサデータに基づいて事故を認識する
　前記（１）～（４）の何れか１つに記載の情報処理システム。
（７）
　前記認識部は、前記センサデータに基づいて事故につながる状況を認識する
　前記（１）～（４）の何れか１つに記載の情報処理システム。
（８）
　前記認識部は、前記センサデータに基づいて事故が発生する可能性の高さを認識する
　前記（１）～（４）の何れか１つに記載の情報処理システム。
（９）
　前記認識部は、前記センサデータに基づいて前記機器の周囲のオブジェクト又は領域の動きを認識又は予測する
　前記（１）～（４）の何れか１つに記載の情報処理システム。
（１０）
　前記認識部は、前記センサデータに基づいて前記機器を操作するオペレータの疲れを認識する
　前記（１）～（４）の何れか１つに記載の情報処理システム。
（１１）
　前記認識部は、前記センサデータに加え、前記機器の稼働時間に基づいて、前記オペレータの疲れを認識する
　前記（１０）に記載の情報処理システム。
（１２）
　前記認識部は、前記センサデータに加え、前記１以上のセンサ部の属性情報に基づいて前記現場の状況を認識する
　前記（１）～（１１）の何れか１つに記載の情報処理システム。
（１３）
　前記認識部は、前記センサデータに基づいて、前記機器の周囲に存在するオブジェクト又は領域を認識する第１認識処理と、前記センサデータに基づいて前記現場の状況を認識する第２認識処理と、を実行し、
　前記機器管理部は、前記第２認識処理の認識結果に基づき、前記第１認識処理で認識された前記オブジェクト又は領域に応じた強度の警告を前記機器のオペレータに向けて発する制御を実行する
　前記（１）～（１２）の何れか１つに記載の情報処理システム。
（１４）
　前記オブジェクト又は領域ごとの警告の強度を保持する保持部をさらに備え、
　前記機器管理部は、前記第１認識処理により認識された前記オブジェクト又は領域に対する警告の強度を前記オペレータに設定させ、
　前記保持部は、前記オペレータにより設定された前記オブジェクト又は領域ごとの前記警告の強度を保持し、
　前記機器管理部は、前記第２認識処理の認識結果に基づき、前記保持部に保持されている前記オブジェクト又は領域ごとの前記警告の強度に応じた警告を前記機器のオペレータに向けて発する制御を実行する
　前記（１３）に記載の情報処理システム。
（１５）
　オブジェクト又は領域ごとに警告の対象から除外するか否かの除外情報を保持する保持部をさらに備え、
　前記認識部は、前記センサデータに基づいて、前記機器の周囲に存在するオブジェクト又は領域を認識する第１認識処理と、前記センサデータに基づいて前記現場の状況を認識する第２認識処理と、を実行し、
　前記機器管理部は、前記第１認識処理で認識された前記オブジェクト又は領域が前記保持部に保持された前記除外情報において警告の対象から除外されている場合、当該オブジェクト又は領域に関して警告を発する制御を実行しない
　前記（１）～（１２）の何れか１つに記載の情報処理システム。
（１６）
　前記認識部は、前記センサデータに基づいて、前記機器の周囲に存在するオブジェクト又は領域を認識する第１認識処理と、前記センサデータに基づいて前記オブジェクト又は領域の前記機器との接近を認識する第２認識処理と、を実行し、
　前記機器管理部は、前記第２認識処理の認識結果に基づき、前記第１認識処理で認識された前記オブジェクト又は領域が前記機器に接近している場合、前記機器のオペレータに向けて発する制御を実行する
　前記（１）～（１２）の何れか１つに記載の情報処理システム。
（１７）
　前記学習モデルをトレーニング又は再学習する学習部をさらに備え、
　前記認識部は、前記センサデータから当該センサデータの一部である抽出情報を抽出する抽出処理を実行し、前記抽出処理で抽出された前記抽出情報を前記学習部へ送信し、
　前記学習部は、前記認識部から受信した前記抽出情報を用いて前記学習モデルのトレーニング又は再学習を実行する
　前記（２）に記載の情報処理システム。
（１８）
　重機が導入される現場の安全を確保するための情報処理方法であって、
　前記現場に配置される機器に搭載れて前記現場の状況を検出する１以上のセンサ部で取得されたセンサデータに基づいて前記現場の状況を認識する認識工程と、
　前記認識工程による認識結果に基づいて前記機器を管理する機器工程と、
　を備える情報処理方法。
　１　情報処理システム
　１００　機器
　１０１、１０４、１０７　センサ部
　１０２　イメージセンサ
　１０３、１０６、１０９　信号処理部
　１０５　慣性センサ
　１０８　位置センサ
　１１０　位置・周囲認識部
　１１１　認識部
　１２０　機器管理部
　１３１　モニタ
　１３２　ユーザインタフェース
　１３３　出力部
　１３４　機器制御部
　１３５　操作系
　５１２　物体データベース
　８１２　属性データベース
　９１２　除外データベース
　１０１２　接近監視データベース

Claims (18)

  1. 　重機が導入される現場の安全を確保するための情報処理システムであって、
    　前記現場に配置される機器に搭載れて前記現場の状況を検出する１以上のセンサ部と、
    　前記１以上のセンサ部で取得されたセンサデータに基づいて前記現場の状況を認識する認識部と、
    　前記認識部による認識結果に基づいて前記機器を管理する機器管理部と、
    　を備える情報処理システム。
  2. 　前記認識部は、ニューラルネットワークを利用した学習モデルを備える
    　請求項１に記載の情報処理システム。
  3. 　前記１以上のセンサ部は、画像センサ、測距センサ、ＥＶＳ（Event-based　Vision　Sensor）、慣性センサ、位置センサ、音センサ、気圧センサ、水圧センサ、照度センサ、温度センサ、湿度センサ、赤外線センサ及び風向風速センサのうちの少なくとも１つを含む
    　請求項１に記載の情報処理システム。
  4. 　前記機器管理部は、前記認識結果を前記機器のオペレータに通知する、又は、前記認識結果に基づいて前記オペレータに向けて警告を発する制御を実行する
    　請求項１に記載の情報処理システム。
  5. 　前記認識部は、前記センサデータに基づいて地震を認識する
    　請求項１に記載の情報処理システム。
  6. 　前記認識部は、前記センサデータに基づいて事故を認識する
    　請求項１に記載の情報処理システム。
  7. 　前記認識部は、前記センサデータに基づいて事故につながる状況を認識する
    　請求項１に記載の情報処理システム。
  8. 　前記認識部は、前記センサデータに基づいて事故が発生する可能性の高さを認識する
    　請求項１に記載の情報処理システム。
  9. 　前記認識部は、前記センサデータに基づいて前記機器の周囲のオブジェクト又は領域の動きを認識又は予測する
    　請求項１に記載の情報処理システム。
  10. 　前記認識部は、前記センサデータに基づいて前記機器を操作するオペレータの疲れを認識する
    　請求項１に記載の情報処理システム。
  11. 　前記認識部は、前記センサデータに加え、前記機器の稼働時間に基づいて、前記オペレータの疲れを認識する
    　請求項１０に記載の情報処理システム。
  12. 　前記認識部は、前記センサデータに加え、前記１以上のセンサ部の属性情報に基づいて前記現場の状況を認識する
    　請求項１に記載の情報処理システム。
  13. 　前記認識部は、前記センサデータに基づいて、前記機器の周囲に存在するオブジェクト又は領域を認識する第１認識処理と、前記センサデータに基づいて前記現場の状況を認識する第２認識処理と、を実行し、
    　前記機器管理部は、前記第２認識処理の認識結果に基づき、前記第１認識処理で認識された前記オブジェクト又は領域に応じた強度の警告を前記機器のオペレータに向けて発する制御を実行する
    　請求項１に記載の情報処理システム。
  14. 　前記オブジェクト又は領域ごとの警告の強度を保持する保持部をさらに備え、
    　前記機器管理部は、前記第１認識処理により認識された前記オブジェクト又は領域に対する警告の強度を前記オペレータに設定させ、
    　前記保持部は、前記オペレータにより設定された前記オブジェクト又は領域ごとの前記警告の強度を保持し、
    　前記機器管理部は、前記第２認識処理の認識結果に基づき、前記保持部に保持されている前記オブジェクト又は領域ごとの前記警告の強度に応じた警告を前記機器のオペレータに向けて発する制御を実行する
    　請求項１３に記載の情報処理システム。
  15. 　オブジェクト又は領域ごとに警告の対象から除外するか否かの除外情報を保持する保持部をさらに備え、
    　前記認識部は、前記センサデータに基づいて、前記機器の周囲に存在するオブジェクト又は領域を認識する第１認識処理と、前記センサデータに基づいて前記現場の状況を認識する第２認識処理と、を実行し、
    　前記機器管理部は、前記第１認識処理で認識された前記オブジェクト又は領域が前記保持部に保持された前記除外情報において警告の対象から除外されている場合、当該オブジェクト又は領域に関して警告を発する制御を実行しない
    　請求項１に記載の情報処理システム。
  16. 　前記認識部は、前記センサデータに基づいて、前記機器の周囲に存在するオブジェクト又は領域を認識する第１認識処理と、前記センサデータに基づいて前記オブジェクト又は領域の前記機器との接近を認識する第２認識処理と、を実行し、
    　前記機器管理部は、前記第２認識処理の認識結果に基づき、前記第１認識処理で認識された前記オブジェクト又は領域が前記機器に接近している場合、前記機器のオペレータに向けて発する制御を実行する
    　請求項１に記載の情報処理システム。
  17. 　前記学習モデルをトレーニング又は再学習する学習部をさらに備え、
    　前記認識部は、前記センサデータから当該センサデータの一部である抽出情報を抽出する抽出処理を実行し、前記抽出処理で抽出された前記抽出情報を前記学習部へ送信し、
    　前記学習部は、前記認識部から受信した前記抽出情報を用いて前記学習モデルのトレーニング又は再学習を実行する
    　請求項２に記載の情報処理システム。
  18. 　重機が導入される現場の安全を確保するための情報処理方法であって、
    　前記現場に配置される機器に搭載れて前記現場の状況を検出する１以上のセンサ部で取得されたセンサデータに基づいて前記現場の状況を認識する認識工程と、
    　前記認識工程による認識結果に基づいて前記機器を管理する機器工程と、
    　を備える情報処理方法。
PCT/JP2021/033221 2020-09-29 2021-09-09 情報処理システム及び情報処理方法 WO2022070832A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP21875134.5A EP4224452A4 (en) 2020-09-29 2021-09-09 INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
CN202180065033.2A CN116250027A (zh) 2020-09-29 2021-09-09 信息处理***和信息处理方法
JP2022553754A JPWO2022070832A1 (ja) 2020-09-29 2021-09-09
CA3190757A CA3190757A1 (en) 2020-09-29 2021-09-09 Information processing system and information processing method
KR1020237008828A KR20230074479A (ko) 2020-09-29 2021-09-09 정보 처리 시스템 및 정보 처리 방법
BR112023005307A BR112023005307A2 (pt) 2020-09-29 2021-09-09 Sistema de processamento de informação e método de processamento de informação
US18/028,428 US20240034325A1 (en) 2020-09-29 2021-09-09 Information processing system and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063084781P 2020-09-29 2020-09-29
US63/084,781 2020-09-29

Publications (1)

Publication Number Publication Date
WO2022070832A1 true WO2022070832A1 (ja) 2022-04-07

Family

ID=80950394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033221 WO2022070832A1 (ja) 2020-09-29 2021-09-09 情報処理システム及び情報処理方法

Country Status (9)

Country Link
US (1) US20240034325A1 (ja)
EP (1) EP4224452A4 (ja)
JP (1) JPWO2022070832A1 (ja)
KR (1) KR20230074479A (ja)
CN (1) CN116250027A (ja)
BR (1) BR112023005307A2 (ja)
CA (1) CA3190757A1 (ja)
TW (1) TW202232448A (ja)
WO (1) WO2022070832A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203677A (ja) * 2011-03-25 2012-10-22 Penta Ocean Construction Co Ltd 安全管理システム
JP2013029523A (ja) * 2012-10-05 2013-02-07 Yupiteru Corp 車載用電子機器及びプログラム
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
JP2016076037A (ja) * 2014-10-03 2016-05-12 トヨタ自動車株式会社 車両用情報提示装置
JP2018053537A (ja) * 2016-09-28 2018-04-05 日立建機株式会社 作業機械
JP2020092447A (ja) 2015-11-30 2020-06-11 住友重機械工業株式会社 ショベル
JP2020119031A (ja) * 2019-01-18 2020-08-06 日立建機株式会社 作業機械

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JPWO2019031431A1 (ja) * 2017-08-08 2020-08-13 住友重機械工業株式会社 ショベル、ショベルの支援装置、及び、ショベルの管理装置
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
US11227242B2 (en) * 2018-08-28 2022-01-18 Caterpillar Inc. System and method for automatically triggering incident intervention
JP7111641B2 (ja) * 2019-03-14 2022-08-02 日立建機株式会社 建設機械

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203677A (ja) * 2011-03-25 2012-10-22 Penta Ocean Construction Co Ltd 安全管理システム
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
JP2013029523A (ja) * 2012-10-05 2013-02-07 Yupiteru Corp 車載用電子機器及びプログラム
JP2016076037A (ja) * 2014-10-03 2016-05-12 トヨタ自動車株式会社 車両用情報提示装置
JP2020092447A (ja) 2015-11-30 2020-06-11 住友重機械工業株式会社 ショベル
JP2018053537A (ja) * 2016-09-28 2018-04-05 日立建機株式会社 作業機械
JP2020119031A (ja) * 2019-01-18 2020-08-06 日立建機株式会社 作業機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4224452A4

Also Published As

Publication number Publication date
EP4224452A1 (en) 2023-08-09
CA3190757A1 (en) 2022-04-07
TW202232448A (zh) 2022-08-16
JPWO2022070832A1 (ja) 2022-04-07
BR112023005307A2 (pt) 2023-04-25
EP4224452A4 (en) 2024-03-06
KR20230074479A (ko) 2023-05-30
CN116250027A (zh) 2023-06-09
US20240034325A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US11307576B2 (en) Interactions between vehicle and teleoperations system
JP6969756B2 (ja) 自律走行車の動作管理制御
US10745009B2 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US10386836B2 (en) Interactions between vehicle and teleoperations system
JP6898394B2 (ja) 車両の自動運転制御補助方法、車両の自動運転制御補助装置、機器、コンピュータ読み取り可能な記憶媒体及び車路連携システム
US20230159062A1 (en) Method and apparatus for controlling vehicle driving mode switching
US20220179418A1 (en) Depart constraints implementation in autonomous vehicle routing
WO2021222375A1 (en) Constraining vehicle operation based on uncertainty in perception and/or prediction
JP2024023534A (ja) 車両、ロボットまたはドローンを遠隔監視するシステムおよび方法
JP2018538647A (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
CN107036600A (zh) 用于自主交通工具导航的***和方法
US11514363B2 (en) Using a recursive reinforcement model to determine an agent action
WO2019125276A1 (en) Method and control arrangement in a surveillance system for monitoring a transportation system comprising autonomous vehicles
JP2024526037A (ja) 自律エージェントの遠隔支援のための方法及びシステム
JP7057874B2 (ja) 貨物を輸送するための自律走行車の盗難防止技術
JP2023024956A (ja) 自動運転車両に用いられるシミュレーション方法及び自動運転車両を制御する方法
KR20230103002A (ko) 산업 현장의 안전 관리 시스템
CN115769049A (zh) 映射***和方法
WO2022070832A1 (ja) 情報処理システム及び情報処理方法
WO2019125277A1 (en) Method and control arrangement in a transportation surveillance system
WO2024075477A1 (ja) 避難情報生成システム、避難情報生成装置、自律走行装置、避難情報生成方法、避難情報生成プログラム
US20230356754A1 (en) Control Mode Selection And Transitions
JP2022166865A (ja) 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム
CN117809434A (zh) 车辆紧急检测***、方法和计算机程序产品
CN117195678A (zh) 用于运载工具运动规划的基于控制参数的搜索空间

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875134

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553754

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3190757

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 202317013433

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 18028428

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023005307

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112023005307

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230322

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021875134

Country of ref document: EP

Effective date: 20230502