CN116250027A - 信息处理***和信息处理方法 - Google Patents

Abstract

本发明的目的是提高现场的当前和未来的安全性。一种用于确保引入重型设备的现场的安全性的信息处理***，该信息处理***包括：一个或多个传感器单元，安装在位于现场的设备上并且检测现场的状况；识别单元，基于由一个或多个传感器单元获取的传感器数据识别现场的状况；以及设备管理单元，基于识别单元的识别结果管理设备。

Description

信息处理***和信息处理方法

技术领域

本公开涉及信息处理***和信息处理方法。

背景技术

随着自动驾驶技术和驾驶辅助技术的最新发展，为安全行驶开发出感测周围危险的技术。

引用列表

专利文献

专利文献1：JP 2020-092447 A。

发明内容

技术问题

然而，在常规的自动驾驶/驾驶辅助技术中，通过识别周围的人、汽车等来执行自动避让和对驾驶员的警告。然而，在诸如建筑现场或建造现场的处理重型机械等的特定场景中，由于比一般道路等设想的原因多得多的原因而可能发生事故。因此，仅通过识别周围的人、汽车等不可能准确地识别周围导致事故等的危险、已经发生的事故等的状况、事故等的原因，并且仅识别周围的人、汽车等不足以确保现场的当前或未来的安全性。

因此，本公开提出了被配置为提高现场的当前或未来的安全性的信息处理***和信息处理方法。

问题的解决方案

为了解决上述问题，根据本公开的实施例的用于确保引入重型机械的现场的安全性的信息处理***包括：一个或多个传感器单元，安装在布置在现场的设备上以检测现场的状况；识别单元，基于由一个或多个传感器单元获取的传感器数据识别现场的状况；以及设备管理单元，基于识别单元的识别的结果管理设备。

附图说明

图1是示出根据本公开的实施例的信息处理***的示例性***配置的示图。

图2是示出根据第一实施例的信息处理***1中的从地震的识别到向操作员警告的处理的示图。

图3是示出根据第一实施例的信息处理***1中的示例性操作过程的流程图。

图4是示出根据第二实施例的信息处理***1中的从事故的识别到向操作员警告的处理的示图。

图5是示出根据第二实施例的信息处理***1中的示例性操作过程的流程图。

图6是示出根据第三实施例的信息处理***1中的从潜在事件状态的识别到向操作员警告的处理的示图。

图7是示出根据第三实施例的信息处理***1中的示例性操作过程的流程图。

图8是示出根据第四实施例的信息处理***1中的从危险状态的识别到向操作员警告的处理的示图。

图9是示出根据第四实施例的信息处理***1中的示例性操作过程的流程图。

图10是示出根据第五实施例的信息处理***1中的从移动识别到向操作员通知(也可以包括警告)的处理的示图。

图11是示出根据第五实施例的信息处理***1中的示例性操作过程的流程图。

图12是示出根据第六实施例的信息处理***1中的从操作员的疲劳的识别到向操作员警告的处理的示图。

图13是示出根据第六实施例的信息处理***1中的示例性操作过程的流程图。

图14是示出根据第七实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。

图15是示出根据第七实施例的信息处理***1中的示例性操作过程的流程图。

图16是示出根据第八实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。

图17是示出根据第八实施例的信息处理***1中的示例性操作过程的流程图。

图18是示出根据第九实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。

图19是示出根据第九实施例的信息处理***1中的示例性操作过程的流程图。

图20是示出根据第十实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。

图21是示出根据第十实施例的信息处理***1中的示例性操作过程的流程图。

图22是示出根据第十一实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。

图23是示出根据第十一实施例的信息处理***1中的示例性操作过程的流程图。

图24是示出实现根据本公开的信息处理装置的功能的计算机的示例的硬件配置图。

具体实施方式

下面将参考附图详细描述本公开的实施例。注意，在以下实施例中，相同的部分由相同的参考标号表示，并且将省略其重复描述。

此外，将按照以下示出的项目的顺序描述本公开。

1.示例性***配置

2.第一实施例

2.1示例性处理过程

2.2示例性操作过程

2.3结论

3.第二实施例

3.1示例性处理过程

3.2示例性操作过程

3.3结论

4.第三实施例

4.1示例性处理过程

4.2示例性操作过程

4.3结论

5.第四实施例

5.1示例性处理过程

5.2示例性操作过程

5.3结论

6.第五实施例

6.1示例性处理过程

6.2示例性操作过程

6.3结论

7.第六实施例

7.1示例性处理过程

7.2示例性操作过程

7.3结论

8.第七实施例

8.1示例性处理过程

8.2示例性操作过程

8.3结论

9.第八实施例

9.1示例性处理过程

9.2示例性操作过程

9.3结论

10.第九实施例

10.1示例性处理过程

10.2示例性操作过程

10.3结论

11.第十实施例

11.1示例性处理过程

11.2示例性操作过程

11.3结论

12.第十一实施例

12.1示例性处理过程

12.2示例性操作过程

12.3结论

13.硬件配置

1.示例性***配置

首先，将参考附图详细描述与以下实施例共有的示例性***配置。图1是示出根据本公开的实施例的信息处理***的示例性***配置的示图。

如图1所示，根据以下实施例的信息处理***1例如包括至少一个设备100、云200和现场服务器300。设备100、云200和现场服务器300经由预定网络(诸如有线或无线局域网(LAN)(包括WiFi)、广域网(WAN)、因特网、移动通信***(包括***移动通信***(4G)、4G长期演进(LTE)、5G等)、蓝牙(注册商标)或红外通信)可通信地连接到彼此。

(设备100)

设备100是在诸如建筑现场或建造现场的工作现场使用的诸如重型机械或测量设备的建筑设备。注意，设备100还包括其上安装有测量设备的建筑设备等。另外，本发明不限于建筑设备和测量设备，并且各自可连接到预定网络并且包括传感器的各种对象可以被应用为设备100。各种对象的示例包括诸如由驾驶员直接或远程操作的汽车、铁路交通工具、飞机(包括直升机等)、或船舶的移动体；诸如运输机器人、清洁机器人、交互式机器人或宠物机器人的自主机器人；各种无人机(包括飞行型无人机、地面无人机、水下无人机等)；诸如监测相机(包括固定点相机等)或交通灯的建筑；以及由人或宠物携带的智能电话、可穿戴装置或信息处理终端。

每个设备100包括传感器单元101、位置/周围识别单元110、设备管理单元120、监测器131、用户接口132、输出单元133、设备控制单元134和操作***135。

·传感器单元101

传感器单元101包括一个或多个传感器单元101、104和107，并且传感器单元101、104和107分别包括诸如各种图像传感器102、各种惯性传感器105和各种位置传感器108的传感器，并且进一步包括信号处理单元103、106和109。各种图像传感器102包括彩色或单色图像传感器、诸如飞行时间(ToF)传感器、光检测和测距(LiDAR)、激光检测和测距(LADAR)或毫米波雷达的距离测量传感器以及基于事件的视觉传感器(EVS)。各种惯性传感器105包括惯性测量单元(IMU)、陀螺仪传感器和加速度/角速度传感器。各种位置传感器108包括全球导航卫星***(GNSS)等。信号处理单元103、106和109各自对从每个传感器输出的检测信号执行预定处理以生成传感器数据。

注意，除了上述图像传感器102、惯性传感器105和位置传感器108之外，诸如声音传感器、气压传感器、水压传感器、照度传感器、温度传感器、湿度传感器、红外传感器和风向风速传感器的各种传感器可以用于传感器。

·位置/周围识别单元110

位置/周围识别单元110基于从一个或多个传感器单元101、104和107(在下文中，为了便于描述，一个或多个传感器单元101、104和107将被称为“传感器单元101等”)输入的传感器数据来识别设备100的位置和设备100周围的状况。注意，设备100的位置可以是通过GNSS等获取的全局坐标位置，或者可以是通过同时定位和映射(SLAM)等估计的特定空间中的坐标位置。

因此，位置/周围识别单元110包括识别单元111，该识别单元111使用从传感器单元101等输入的传感器数据作为输入并且使用位置信息或关于设备100的周围的信息(在下文中，被称为状况信息)作为输出。然而，识别单元111的输入不限于由设备100的传感器单元101等获取的传感器数据，可以包括由另一设备100的传感器单元101等获取的传感器数据，或者可以包括经由网络从云200、现场服务器300等输入的数据。

识别单元111可以是包括使用机器学习训练的学习模型的推断单元，或者可以是根据预定算法从输入识别输出的基于规则的识别单元。

注意，本实施例中的学习模型可以例如是使用神经网络(诸如深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、生成对立网络(GAN)或自动编码器)的学习模型。

此外，学习模型可以是使用一种类型的数据作为输入的单模态学习学习器，或者可以是使用不同类型的数据共同作为输入的多模态学习模型。

识别单元111可以由一个学习模型配置，或者可以被配置为包括两个或更多个学习模型并且根据从学习模型输出的推断结果输出识别的最终结果。

由识别单元111执行的识别可以是使用从传感器单元101等在短时间段内输入的传感器数据作为输入的短期识别，或者可以是使用在长时间段(诸如几小时、几天或几年)内输入的传感器数据作为输入的长期识别。

在图1中，安装在每个设备100上的位置/周围识别单元110和识别单元111被描述为单个配置，但不限于此。例如，多个位置/周围识别单元110可以协作以实现一个或多个识别单元111，或者一个位置/周围识别单元110可以包括多个识别单元111。此时，一个或多个位置/周围识别单元110和/或一个或多个识别单元111可以由安装在不同设备100中的每一个上的位置/周围识别单元110和/或识别单元111配置。

此外，不限于位置/周围识别单元110，识别单元111例如可以布置在设备100中的另一单元中，诸如设备管理单元120或传感器单元101等，或者可以布置在经由网络连接到设备100的云200、现场服务器300等中。

·设备管理单元120

设备管理单元120是管理/控制设备100的整体操作的控制单元。例如，在设备100是诸如重型机械或汽车的移动体的情况下，设备管理单元120可以是全面控制整个车辆的控制单元，诸如电子控制单元(ECU)。此外，例如，在设备100是固定或半固定设备(诸如传感器设备)的情况下，设备管理单元120可以是控制设备100的整体操作的控制单元。

·其他

监测器131可以是向设备100的操作员、周围的人等呈现各种信息的显示单元。

用户接口132可以是用于操作员输入设备100的设置、显示信息的切换等的用户接口132。对于用户接口132，可以使用诸如触摸面板和开关的各种输入手段。

输出单元133例如包括灯、发光二极管(LED)、扬声器等，并且可以是用于通过不同于监测器131的方法向操作员呈现各种信息或者用于向周围通知设备100的计划操作(右转或左转、起重机的提升和降低等)的输出单元。

操作***135可以例如包括手柄、操作杆、变速杆、各种开关等，并且可以是用于操作员输入关于设备100的行驶、操作等的操作信息的操作单元。设备控制单元134可以是基于从操作***135输入的操作信息或从设备管理单元120输入的控制信号来控制设备100的控制单元。

(云200)

云200是经由诸如因特网的计算机网络提供计算机资源的服务形式，并且例如包括布置在网络上的一个或多个云服务器。云200例如包括用于学习识别单元111的学习单元201。例如，在识别单元111是包括学习模型的推断单元的情况下，学习单元201通过使用受监督学习或无监督学习来训练学习模型。训练之后的学习模型被下载到设备100并且例如在位置/周围识别单元110的识别单元111中实现。此外，在识别单元111是基于规则的识别单元的情况下，学习单元201从输入手动或自动创建/更新用于导出作为识别的结果的输出的算法。描述了所创建/更新的算法的程序被下载到设备100并且例如在位置/周围识别单元110的识别单元111中执行。

注意，在识别单元111是包括通过受监督学习训练的学习模型的推断单元的情况下，出于训练或再训练学习模型的目的，可以将由每个设备100的传感器单元101等获取的传感器数据或者从识别单元111输出的识别的结果(也被称为推断结果)发送至学习单元201。此外，再训练的学习模型可以被下载到设备100并且被结合到识别单元111中以更新识别单元111。

注意，不限于云200，学习单元201可以被布置在边缘计算(诸如雾计算或多接入边缘计算)中，该边缘计算在基站的核心网络中执行，或者可以由构成传感器单元101等的信号处理单元103、106和109的处理器(诸如数字信号处理器(DSP)、中央处理单元(CPU)或图形处理单元(GPU))等来实现。换句话说，学习单元201可以布置在信息处理***1中的任何位置。

(现场服务器300)

现场服务器300是用于管理引入到至少一个现场的至少一个设备100的服务器。例如，在现场是建筑现场的状况下，现场服务器300包括现场管理单元301和建筑规划单元302。

现场管理单元301从设备100的位置/周围识别单元110收集各种信息。例如，现场管理单元301收集由设备100的传感器单元101等获取的传感器数据、由识别单元111从传感器数据导出的识别的结果等。收集的各种信息输入到建筑规划单元302。注意，要收集的传感器数据可以是由传感器单元101等获取的原始数据，或者可以是考虑到隐私等对其部分地或全部地执行诸如像素化或剪裁的处理的处理后的数据。

建筑规划单元302基于从现场管理单元301输入的信息创建在现场执行的建筑的计划表等，并将计划表等输入到现场管理单元301。注意，由现场服务器300的建筑规划单元302创建的诸如计划表等的信息可以在现场服务器300中累积和管理，并在同一现场的另一设备100、另一现场的设备100等中重复使用。

此外，现场管理单元301基于从建筑规划单元302输入的建筑的计划表和从设备100收集的各种信息来创建用于管理和控制每个设备100的动作计划，并且将创建的动作计划发送至每个设备100的设备管理单元120。同时，每个设备100的设备管理单元120根据接收到的动作计划来管理和控制设备100的每个单元。

2.第一实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第一实施例。在第一实施例中，将描述通过使用信息处理***1识别地震以提高现场的当前或未来的安全性。

2.1示例性处理过程

图2是示出根据本实施例的信息处理***1中的从地震的识别到向操作员警告的处理的示图。如图2所示，在信息处理***1应用于地震的识别的情况下，位置/周围识别单元110的识别单元111以从传感器单元101等输入的传感器数据作为输入来识别地震的存在或不存在。

例如，在基于规则识别地震的存在或不存在的情况下，当从传感器单元101输入的传感器数据指示平时未设想的值或变化时，诸如当包括设备100的位置、姿态(角度)、速度(角速度)、加速度(每个加速度)等的传感器数据指示极值或突然变化时、当连续时间序列图像数据中的光流指示极值或突然变化时或者当连续时间序列深度图像中到每个对象的距离极值或突然变化时，识别单元111可以识别地震的发生。此外，当传感器单元101等检测到地震的发生特有的地面隆隆声、气味(气体成分)等时，识别单元111可以识别地震的发生。

此外，在使用神经网络的学习模型识别地震时，当从传感器单元101等(诸如，图像传感器)获得的传感器数据被输入到内部的学习模型并且来自学习模型的输出指示地震时，识别单元111可以识别地震的发生。

注意，为了识别单元111识别地震，可以针对相应设备100使用不同的学习模型，或者可以向相应设备100输入不同的传感器数据。此外，不限于地震的存在或不存在，识别单元111还可以识别关于已经发生的地震的大小(地震强度、震级等)、根据地震的大小预测的损害(死亡数量、受伤数量、损害量等)、状况等的信息。

例如，可以考虑两种方法来训练或再训练识别这种地震的识别单元111。

第一种方法是通过使用通过地震模拟等生成的传感器数据来训练或再训练学习模型的方法。在这种情况下，可以使用在模拟时设置的诸如地震的大小、地形和震中深度的一对信息以及诸如通过模拟生成的传感器数据和损害或状况的信息作为训练数据来训练或再训练学习模型。

第二种方法是通过异常检测方法来训练或再训练学***时无法设想但在发生地震时获取的传感器数据的输入而输出异常的检测(即，地震的发生)作为识别的结果。

当识别单元111识别地震时，识别的结果被输入到设备管理单元120。基于输入的识别的结果，设备管理单元120确定是否需要向操作员警告或者确定警告的强度(在下文中，也被称为警告等级)，并且基于确定的结果对操作员执行警告。例如，用于向操作员警告的方法可以是经由监测器131的警告或经由诸如灯、LED或扬声器的输出单元133的警告。这里，警告等级可以例如是声音、光或监测器上的显示等的强度。除了向操作员警告之外，设备管理单元120还可以执行危险避免动作，诸如设备100的紧急停止或将设备100自动移动到安全场所。

此外，也可以将识别单元111的识别的结果发送到现场服务器300。此时，除了识别的结果之外，也可以将由传感器单元101等获取的传感器数据(原始数据或执行诸如像素化的处理的处理后的数据)发送到现场服务器300。除了识别的结果之外，还将由传感器单元101获取的图像数据、距离测量数据等发送至现场服务器300使得能够提高现场管理的状况的确定的可靠性。

在识别单元111识别在宽范围内发生的事件(诸如地震)的情况下，将从多个现场获取的识别的结果和传感器数据汇总到现场服务器300使得可以在更宽范围内执行多样化的现场管理，诸如用于多个现场的总体状况确定和指示或者与另一现场共享特定现场的状况等。

此外，当识别单元111识别地震时获取的传感器数据和识别的结果可以被发送到云200以用于分析，并且用于学习模型的训练或再训练。这里，当识别地震时获取的传感器数据可以是在发生地震之前和之后的特定时段内由传感器单元101等获取的传感器数据。

2.2示例性操作过程

图3是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图3所示，在本实施例中，在信息处理***1中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S101)。来自传感器单元101等的传感器数据可以周期性地输入，或者可以根据需要输入，例如，当传感器数据指示异常值时。另外，从传感器单元101等输入的传感器数据可以是原始数据或执行诸如像素化的处理的处理后的数据。

接下来，识别单元111基于输入的传感器数据执行识别处理(步骤S102)。如上所述，除了地震的存在或不存在之外，识别单元111可以输出关于已经发生的地震的大小、根据地震的大小预测的损害、状况等的信息作为识别的结果。

在步骤S102的识别处理中，当识别没有发生地震时(在步骤S103中为否)，本操作进行至步骤S106。另一方面，当识别发生地震时(步骤S103中是)，位置/周围识别单元110将从识别单元111输出的识别的结果输入到设备管理单元120，并且经由预定网络将识别的结果发送到现场服务器300(步骤S104)。

接下来，设备管理单元120基于输入的识别的结果经由监测器131或输出单元133向操作员发出警告(步骤S105)，并且处理进行至步骤S106。此时，当识别的结果包括关于已经发生的地震的大小、根据地震的大小预测的损害、状况等的信息时，设备管理单元120可以根据地震的规模、根据地震的大小预测的损害、状况等发出警告。除了向操作员警告之外，设备管理单元120还可以执行危险避免动作，诸如设备100的紧急停止或将设备100自动移动到安全场所。

在步骤S106中，控制设备100的控制单元确定是否结束本操作，并且当确定结束本操作时(在步骤S106中为是)，结束本操作。另一方面，当确定不结束本操作时(步骤S106中为否)，本操作返回到步骤S101，并执行后续的处理。

2.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据精确地识别地震的存在或不存在，从而提高现场的当前或未来的安全性。

3.第二实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第二实施例。在第二实施例中，将描述通过使用信息处理***1识别事故的发生以提高现场的当前或未来安全性。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

3.1示例性处理过程

图4是示出根据本实施例的信息处理***1中的从事故的识别到向操作员警告的处理的示图。如图4所示，在信息处理***1应用于事故的识别的情况下，位置/周围识别单元110的识别单元111以从传感器单元101等输入的传感器数据作为输入来识别事故的存在或不存在。注意，本实施例中的事故可以包括涉及设备100自身的事故、在设备100周围发生的事故以及设备100被观察为第三方的事故等。

例如，在基于规则识别事故的发生的情况下，除了当包括设备100的位置、姿态(角度)、速度(角速度)、加速度(每个加速度)等的传感器数据指示极值或突然变化时、当连续时间序列图像数据中的光流指示极值或突然变化时或者当连续时间序列深度图像中的每个对象的距离指示突然变化时之外，当根据从传感器单元101输入的传感器数据直接或间接地获取的值或状态指示平时未设想的值或状态或变化时，诸如当包括通过安装至设备100的诸如悬臂、起重臂、旋转体的可移动单元等的传感器单元101等获取的位置、姿态(角度)、速度(角速度)、加速度(每个加速度)等的传感器数据指示极值或突然变化时、当操作员在设备100是具有制动器的机器主体等的情况下施加紧急制动或突然制动时、当由操作员按下紧急停止按钮时、当设备100的履带或轮胎空转时、当设备100中发生的振动及其持续时间指示极值或突然变化时、当操作设备100的操作员示出特定面部表情时、当操作设备100的操作员的体温、心率、脑电波等指示极值或突然变化时、或者当设备100的载重量指示极值或突然变化时，识别单元111可以识别事故的发生。

此外，在使用神经网络的学习模型识别事故的发生时，当从传感器单元101等(诸如图像传感器)获得的传感器数据被输入到内部的学习模型并且来自学习模型的输出指示已经发生事故时，识别单元111可以识别事故的发生。

通过识别单元111将如上所述的事件的发生确定为事故的发生，使得可以识别以下情况作为事故：设备100从诸如悬崖或建筑的高处坠落、设备100是飞行物的情况下设备100坠毁、设备100与人、建筑、自然对象(树、岩石等)或另一设备100的碰撞、设备100周围的天花板、地面、墙壁、悬崖等倒塌、设备100上负载掉落等。然而，本发明不限于此，并且识别单元111可以基于各种传感器数据识别各种事件作为事故。

注意，为了识别单元111识别事故，可以针对相应设备100使用不同的学习模型，或者可以针对相应设备100输入不同的传感器数据。此外，不限于事故的存在或不存在，识别单元111还可以识别关于已经发生的事故的规模(范围、死亡数量、受伤数量等)、根据事故的规模预测的损害(死亡数量、损伤数量、损害量等)、状况等的信息。

为了识别这种事故的识别单元111的训练或再训练，与识别地震的识别单元111(第一实施例)一样，例如，可以利用使用模拟的方法、使用异常检测的方法等。

与第一实施例一样，当识别单元111识别事故时，识别的结果可以被输入到设备管理单元120，并且用于向操作员警告或危险避免动作。

另外，与第一实施例一样，将识别单元111的识别的结果与此时由传感器单元101等获取的传感器数据(原始数据或执行诸如像素化的处理的处理后的数据)一起发送到现场服务器300。

此外，可以向在同一现场中操作的另一设备100发出关于由特定设备100的识别单元111识别的事故的信息的通知，并且与该另一设备100共享该通知。

注意，可以不由特定设备100中的识别单元111而是由布置在另一设备100、云200或现场服务器300中的识别单元执行在特定设备100中发生的事故的识别。例如，由特定设备100的传感器单元101等获取的传感器数据可以与另一设备100、云200和现场服务器300共享，使得通过包括在另一设备100、云200和现场服务器300中的识别单元识别事故的存在或不存在。

此外，当识别单元111识别事故时获取的传感器数据和识别的结果可以被发送到云200以用于分析，并且用于学习模型的训练或再训练。这里，当识别事故时获取的传感器数据可以是在发生事故之前和之后的特定时段内由传感器单元101等获取的传感器数据。

3.2示例性操作过程

图5是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图5所示，在本实施例中，在与第一实施例中参考图3描述的操作类似的操作中，步骤S102和S103被步骤S202和S203替换。

在步骤S202中，识别单元111基于输入的传感器数据执行识别处理，以识别事故的存在或不存在。此时，可以输出关于已经发生的事故的规模、根据事故的规模预测的损害、状况等的信息作为识别的结果。

在步骤S203中，如在图3中的步骤S103中，当在步骤S202中的识别处理中识别没有发生事故时(在步骤S203中为否)，本操作进行到步骤S106，并且当识别发生事故时(在步骤S203中为是)，将识别的结果输入到设备管理单元120并且经由预定网络发送到现场服务器300(步骤S104)。

注意，当关于已经发生的事故的规模、根据事故的规模预测的损害、状况等的信息包括在识别的结果中时，在步骤S105中，可以发出与事故的规模、根据事故的规模等预测的损害或状况等对应的警告。除了向操作员警告之外，设备管理单元120还可以执行危险避免动作，诸如设备100的紧急停止或将设备100自动移动到安全场所。

3.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据精确地识别事故的存在或不存在，从而提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

4.第三实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第三实施例。在第三实施例中，将描述通过使用信息处理***1识别潜在事件状态以提高现场的当前或未来安全性。注意，本说明书中的潜在事件状态是指尚未导致事故但几乎处于事故中的状况(也被称为导致事故的状况)，诸如使人感到突然恐惧或感觉惊讶。此外，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

4.1示例性处理过程

图6是示出根据本实施例的信息处理***1中的从潜在事件状态的识别到向操作员警告的处理的示图。如图6所示，在信息处理***1应用于潜在事件状态的识别的情况下，位置/周围识别单元110的识别单元111以从传感器单元101等输入的传感器数据作为输入来识别设备100或设备100的周围的潜在事件状态。

例如，可以通过在海因里希定律(事故三角形)中提取“无损害的事故”来执行潜在事件状态的识别。因此，在基于规则识别潜在事件状态的情况下，除了当包括设备100的位置、姿态(角度)、速度(角速度)、加速度(每个加速度)等的传感器数据指示极值或突然变化时、当连续时间序列图像数据中的光流指示极值或突然变化时或者当连续时间序列深度图像中的每个对象的距离指示突然变化时之外，当根据从传感器单元101输入的传感器数据直接或间接地获取的值或状态指示平时未设想的值或状态或变化时，诸如当包括通过安装至设备100的诸如悬臂、起重臂、旋转体的可移动单元等的传感器单元101等获取的位置、姿态(角度)、速度(角速度)、加速度(每个加速度)等的传感器数据指示极值或突然变化时、当操作员在设备100是具有制动器的机器主体等的情况下施加紧急制动或突然制动时、当由操作员按下紧急停止按钮时、当设备100的履带或轮胎空转时、当设备100中发生的振动及其持续时间指示极值或突然变化时、当操作设备100的操作员示出特定面部表情时、当操作设备100的操作员的体温、心率、脑电波等指示极值或突然变化时、或者当设备100的载重量指示极值或突然变化时，识别单元111可以识别潜在事件状态。

此外，在使用神经网络的学习模型识别潜在事件状态时，当从传感器单元101等(诸如图像传感器)获得的传感器数据被输入到内部的学习模型并且来自学习模型的输出指示潜在事件状态时，识别单元111可以识别潜在事件状态。

通过识别单元111将如上所述的事件的发生确定为潜在事件状态，使得可以识别以下可能性作为潜在事件状态：设备100从诸如悬崖或建筑的高处坠落的可能性、设备100是飞行物的情况下设备100坠毁的可能性、设备100与人、建筑、自然对象(树、岩石等)或另一设备100的碰撞的可能性、设备100周围的天花板、地面、墙壁、悬崖等倒塌的可能性、设备100上负载掉落的可能性等。然而，本发明不限于此，并且识别单元111可以基于各种传感器数据识别各种事件作为潜在事件状态。

为了识别这种潜在事件状态的识别单元111的训练或再训练，与识别地震和事故的识别单元111(第一实施例和第二实施例)一样，例如，可以利用使用模拟的方法、使用异常检测的方法等。

与上述实施例一样，当识别单元111识别潜在事件状态时，识别的结果可以被输入到设备管理单元120，并且用于向操作员警告或危险避免动作。

另外，与上述实施例一样，也可以将识别单元111的识别的结果与此时由传感器单元101等获取的传感器数据(原始数据或执行诸如像素化的处理的处理后的数据)一起发送到现场服务器300。

此外，可以向在同一现场中操作的另一设备100发出特定设备100是否处于由特定设备100的识别单元111识别的潜在事件状态的通知，并且与该另一设备100共享该通知。

注意，可以不由特定设备100中的识别单元111而是由布置在另一设备100、云200或现场服务器300中的识别单元执行特定设备100是否处于潜在事件状态的识别。例如，由特定设备100的传感器单元101等获取的传感器数据可以与另一设备100、云200和现场服务器300共享，使得通过包括在另一设备100、云200和现场服务器300中的识别单元识别潜在事件状态。

此外，当识别单元111识别潜在事件状态时获取的传感器数据和识别的结果可以被发送到云200以用于分析，并且用于学习模型的训练或再训练。这里，当识别潜在事件状态时获取的传感器数据可以是在发生潜在事件状态之前和之后的特定时段中由传感器单元101等获取的传感器数据。

4.2示例性操作过程

图7是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图7所示，在本实施例中，在与第一实施例中参考图3描述的操作类似的操作中，步骤S102和S103被步骤S302和S303替换。

在步骤S302中，识别单元111基于输入的传感器数据执行识别处理，以识别设备100是否处于潜在事件状态。此时，可以输出指示设备100具有多少危险的信息等作为识别的结果。

在步骤S303中，如在图3中的步骤S103中，当在步骤S302中的识别处理中识别设备100未处于潜在事件状态时(在步骤S303中否)，本操作进行到步骤S106，并且当识别设备100处于潜在事件状态时(在步骤S303中是)，将识别的结果输入到设备管理单元120并且经由预定网络发送到现场服务器300(步骤S104)。

注意，当指示设备100有多少危险的信息等包括在识别的结果中时，在步骤S105中，可以发出与指示设备100有多少危险的信息等对应的警告。除了向操作员警告之外，设备管理单元120还可以执行危险避免动作，诸如设备100的紧急停止或将设备100自动移动到安全场所。

4.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据精确地识别设备100是否处于潜在事件状态，从而提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

5.第四实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第四实施例。在第四实施例中，将描述通过使用信息处理***1识别危险状态以提高现场的当前或未来安全性。注意，本说明书中的危险状态可以表示基于设备100本身或周围人或物体的移动或状况而发生事故的可能性的等级，换句话说，对于要保护的目标(诸如设备100本身或周围人或物体)的危险的可能性(也被称为危险)。此外，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

5.1示例性处理过程

图8是示出根据本实施例的信息处理***1中的从危险状态的识别到向操作员警告的处理的示图。如图8所示，在信息处理***1应用于危险状态的识别的情况下，位置/周围识别单元110的识别单元111以从传感器单元101等输入的传感器数据作为输入来识别设备100或设备100的周围的危险状态。

这里，例如，在设备100是自卸卡车的情况下，使设备100或周围的人或物体处于危险状态的设备100的操作适用于向前/向后行驶、自卸台的自卸等。另外，例如，在设备100是挖掘机的情况下，使设备100或周围的人或物体处于危险状态的设备100的操作适用于向前/向后行驶、上部旋转体的旋转、起重臂、悬臂或铲斗的操作等。

此外，危险可以不仅包括事故的发生，诸如由于设备100的操作而在设备100与要保护的目标之间的碰撞、或由于设备100的操作而在要运输和移动的对象与要保护的目标之间的碰撞，而且还可以包括要保护的目标的健康的损害或要保护的目标的损害，诸如操作员中暑或冻伤、或地震的发生。要保护的目标可以包括人、动物、诸如建筑或设备的物体等。

例如，识别单元111利用传感器数据(诸如从传感器单元101等输入的图像数据、深度图像数据、IMU数据或GNSS数据)作为输入来识别危险状态。注意，在危险状态中，从传感器数据直接或间接地获取的值或状态并不总是表示平时未设想的值或状态或变化。因此，例如，可以使用与第二实施例中的事故的识别或第三实施例中的潜在事件态的识别的传感器数据相比更多类型的传感器数据或在更长时间段内获取的传感器数据来训练识别单元111。

除了上述传感器数据之外，输入到识别单元111的数据还可以包括由设备100获取的所有信息。例如，输入到识别单元111的数据可以包括关于履带或轮胎的速度、扭矩等的信息，关于设备100的位置、姿态(角度)、速度、加速度等的信息，关于可移动单元(诸如悬臂、起重臂、旋转主体)的位置、角度、速度等的信息，关于设备100的振动的信息，以及另外操作员的负载重量、面部表情(相机图像)、体温、心率、脑电波等。

此外，当设备100处于危险状态时，除了设备100是否处于危险状态之外，识别单元111还可以输出危险程度(在下文中，也被称为危险等级)作为识别的结果。然而，本发明不限于此，并且设备管理单元120可以基于从传感器单元101等输入的传感器数据和识别的结果来确定危险等级。例如，当识别的结果指示危险状态并且基于传感器数据中的图像数据等识别接近悬崖等时，设备管理单元120可以确定危险等级高。

由设备管理单元120向操作员发出的警告的强度(警告等级)可以例如根据危险等级而改变。例如，当危险等级非常高时，设备管理单元120可以向操作员发出强烈警告(诸如警告声音或灯闪烁)，显示操作停止指示的消息等，或向设备控制单元134输出用于停止设备100的操作的指示。

注意，识别单元111可以推断从危险状态到实际危险状态(潜在事件状态)的时间段或者从危险状态到发生事故的时间段(在下文中，被称为预测时间)作为识别的结果的一部分。然后，识别单元111或设备管理单元120可以确定推断的预测时间越短，危险等级越高。

此外，识别单元111可以推断从危险状态预测的危险规模作为识别结果的一部分。然后，识别单元111或设备管理单元120可以确定预测的危险规模越大，危险等级越高。

此外，识别单元111可以推断被确定为具有危险风险的目标类别等作为识别结果的一部分。然后，识别单元111或设备管理单元120可以根据推断的目标类别改变危险等级。例如，当目标类别表示人或有人驾驶的重型机械时，识别单元111或设备管理单元120可以确定危险等级高，并且当目标类别表示建筑、无人驾驶的重型机械等时，可以确定危险等级低。

此外，识别单元111可以推断设备100的操作或其方向作为识别结果的一部分，该操作或其方向可以是导致危险状态转变为实际危险状态的因素。然后，当基于来自设备控制单元134的操作输入的移动或其方向、或从现场服务器300接收的动作计划中与可能是导致危险状态转变为实际危险状态的因素的操作或其方向匹配或近似的下一移动或其方向时，设备管理单元120可以向操作员发出警告或在监测器131上显示注意。

为了识别这种危险状态的识别单元111的训练或再训练，与上述实施例一样，例如，可以利用使用模拟的方法、使用异常检测的方法等。

另外，与上述实施例一样，也可以将识别单元111的识别的结果与此时由传感器单元101等获取的传感器数据(原始数据或执行诸如像素化的处理的处理后的数据)一起发送到现场服务器300。

注意，可以不由特定设备100中的识别单元111而是由布置在另一设备100、云200或现场服务器300中的识别单元执行特定设备100是否处于危险状态的识别。例如，由特定设备100的传感器单元101等获取的传感器数据可以与另一设备100、云200和现场服务器300共享，使得通过包括在另一设备100、云200和现场服务器300中的识别单元识别危险状态。

此外，当识别单元111识别危险状态时获取的传感器数据和识别的结果可以被发送到云200以用于分析，并且用于学习模型的训练或再训练。这里，当识别危险状态时获取的传感器数据可以是在识别危险状态之前和之后的特定时段中由传感器单元101等获取的传感器数据。

5.2示例性操作过程

图9是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图9所示，在本实施例中，在与第一实施例中参考图3描述的操作类似的操作中，步骤S102、S103以及S105被步骤S402、S403以及S405替换。

在步骤S402中，识别单元111基于输入的传感器数据执行识别处理，以识别设备100是否处于危险状态。此时，可以输出关于危险等级、预测时间、危险规模、作为因素的移动和其方向等的信息作为识别的结果。

在步骤S403中，如在图3中的步骤S103中，当在步骤S402中的识别处理中识别设备100未处于危险状态时(步骤S403中否)，本操作进行到步骤S106，并且当识别设备100处于危险状态时(步骤S403中是)，将识别的结果输入到设备管理单元120并且经由预定网络发送到现场服务器300(步骤S104)。

在步骤S405中，设备管理单元120向操作员发出与由识别单元111或设备管理单元120估计的危险等级相对应的警告。

注意，当关于除了危险等级之外的作为因素的移动或其方向的信息包括在识别的结果中时，并且此外当设备100的下一移动或其方向匹配或接近可能是导致危险状态转变为实际危险状态的因素的操作或其方向时，在步骤S405中，设备管理单元120可以向操作员发出关于下一移动的警告或注意。

5.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入一个或多个传感器数据准确地识别设备100是否处于危险状态，从而提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

6.第五实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第五实施例。在第五实施例中，将描述通过使用信息处理***1识别或预测设备100周围的周围人、物体、区域等的移动以提高现场的当前或未来的安全性。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

6.1示例性处理过程

图10是示出根据本实施例的信息处理***1中的从移动识别到向操作员通知(也可以包括警告)的处理的示图。如图10所示，在信息处理***1应用于移动识别/移动预测的情况下，位置/周围识别单元110的识别单元1111以从传感器单元101等输入的传感器数据作为输入来识别和/或预测属于特定区域的对象或属于设备100周围的预定范围的对象的移动。此外，每个设备100设置有对象数据库512。

识别单元111使用从传感器单元101等输入的图像数据、深度图像数据、IMU数据、GNSS数据等作为输入以执行识别在设备100周围的人和物体的存在或位置或者通过语义分割等来识别人和物体所位于的区域的区域识别处理。

设备管理单元120基于识别单元111的区域识别处理的结果经由监测器131向操作员呈现(区域呈现)人、物体等(在下文中，也被称为对象)的存在和语义分割的结果(对象所位于的区域或位置)作为设备100的操作的辅助信息。同时，操作员例如通过使用UI 132等输入要关注的目标(即，作为由识别单元111进行的移动识别的目标的区域(对象所位于的区域、基于设备100的特定区域等))、所呈现的对象的区域等的选择。

作为对象的示例，除了诸如建筑物和隧道(可以被拆毁)的建筑的地板、墙壁和天花板，室内和室外地面、悬崖和斜坡之外，还考虑位于距设备100一定范围内的人和物体(包括另一设备100等)。此外，作为区域的示例，除了对象所位于的区域之外，还考虑距设备100一定范围内的区域以及诸如通道和入口的特定区域。

当从操作员输入对作为移动识别的目标的区域的选择时，设备管理单元120将所选择的区域或与所选择的区域对应的对象的“对象或区域的外观和位置”(在下文中，也被称为对象信息)登记在对象数据库512中。

这里，对象信息中的“外观”可以是识别单元111的识别的结果，或者可以是诸如对象或区域的形状、图案(纹理)、颜色或材料的“外观”。此外，“位置”可以是图像上的任何位置或现场中的绝对位置或其组合。具体地，例如，在设备100是不可移动的半固定观察设备的情况下，“位置”可以是图像上的位置。另一方面，在设备100是可移动机器主体的情况下，“位置”可以是现场中的绝对位置。在设备100在移动的同时可操作或者在停止的同时可操作的情况下，可以使用图像上的位置和现场中的绝对位置两者。

以这种方式，当对象信息被登记在对象数据库512中时，识别单元111以从传感器单元101输入的传感器数据作为输入对所选择的区域或与该区域对应的对象(即，登记在对象数据库512中的对象或区域)执行移动识别处理。

在移动识别处理中，识别单元111例如利用从传感器单元101等输入的传感器数据(诸如图像数据、深度图像数据、IMU数据或GNSS数据)作为输入对所选择的对象或区域执行移动识别。因此，当检测到所选择的对象或区域的移动时，识别单元111向设备管理单元120通知该移动。同时，设备管理单元120经由监测器131或输出单元133向操作员通知所选择的对象或区域的移动。

注意，登记在特定设备100的对象数据库512中的对象信息可以被收集到现场服务器300以与同一现场的另一设备100、另一现场的设备100等共享。该配置使得可以监测例如由一个设备100、由另一设备100、或两个或更多个设备100指定(选择)要被跟踪的对象或区域的移动识别。此时，由现场服务器300收集对象信息以及在设备100之间共享对象信息(下载到设备100)可以由设备100或现场服务器300自动执行，或者可以由操作员手动执行。此外，可以经由现场服务器300与另一设备100共享由特定设备100识别的目标的移动。

此外，登记在对象数据库512中的对象信息可以被上传到云200以用于分析，并且用于学习模型的训练或再训练。该配置使得可以提高识别单元111的识别性能。为了识别单元111的训练或再训练，与上述实施例一样，例如，可以利用使用模拟的方法、使用异常检测的方法等。

此外，在以上描述中，已经描述了识别单元111对所选择的目标的实际移动的识别，但是本发明不限于此，并且识别单元111可以执行预测所选择的目标的移动的移动预测处理。例如，可以通过传感器单元101等来检测目标周围的泉水量的变化、目标周围的、周围的异常噪音、大气成分等；通过使用目标周围的泉水、目标周围的土烟、周围的异常噪音、大气成分等作为识别单元111的输入，从而推断目标移动的可能性。

另外，与上述实施例一样，也可以将识别单元111的识别的结果与此时由传感器单元101等获取的传感器数据(原始数据或执行诸如像素化的处理的处理后的数据)一起发送到现场服务器300。

6.2示例性操作过程

图11是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图11所示，在本实施例中，在信息处理***1中，首先选择作为监测目标的区域。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S501)。

接下来，识别单元111基于输入的传感器数据执行区域识别处理(步骤S502)。在区域识别处理中，如上所述，例如，通过语义分割等来标记对象所位于的区域，并且识别对象的区域。向设备管理单元120通知所识别的对象和区域。

接下来，设备管理单元120经由监测器131向操作员呈现所识别的对象和区域(步骤S503)。另一方面，当通过使用例如UI 132等从操作员输入对象或区域的选择时(在步骤S504中为是)，设备管理单元120将关于所选择的对象或区域的对象信息登记在对象数据库512中(步骤S505)。注意，在没有输入操作员的选择的情况下(在步骤S504中为否)，本操作返回到步骤S501。

接下来，执行对被选择为监测目标的对象或区域的移动识别。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S506)。

接下来，识别单元111基于输入的传感器数据执行移动识别处理(步骤S507)。在移动识别处理中，例如，可以从图像数据、深度图像数据等中识别对象或区域的移动。

接下来，识别单元111基于移动识别处理的结果确定所选择的对象或区域是否进行移动(步骤S508)。当所选择的对象或区域没有进行移动时(在步骤S508中为否)，本操作进行到步骤S511。另一方面，当所选择的对象或区域进行移动时(在步骤S508中为是)，识别单元111向设备管理单元120通知所选择的对象或区域的移动(步骤S509)。注意，所选择的对象或区域的移动的通知可以从识别单元111或设备管理单元120发送到现场服务器300并且与另一设备100共享。

同时，设备管理单元120例如经由监测器131或输出单元133向操作员通知所选择的对象或区域的移动(步骤S510)。

接下来，设备管理单元120例如基于操作员从UI 132等输入的操作等确定是否改变作为监测目标的对象或区域(步骤S511)。当作为监测目标的对象或区域没有改变时(在步骤S511中为否)，本操作返回至步骤S506。

另一方面，当作为监测目标的区域改变时(在步骤S511中为是)，控制设备100的控制单元确定是否结束本操作，并且当确定结束本操作时(步骤S512中为是)，结束本操作。另一方面，当确定不结束本操作时(在步骤S512中为否)，本操作返回到步骤S501，并且执行后续的处理。

6.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据选择作为监测目标的对象或区域并且监测所选择的监测目标，并且监测所选择的监测目标的移动，从而提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

7.第六实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第六实施例。在第六实施例中，将描述通过使用信息处理***1识别操作员的疲劳以提高现场的当前或未来的安全性。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

7.1示例性处理过程

图12是示出根据本实施例的信息处理***1中的从识别操作员的疲劳到向操作员通知的处理的示图。如图12所示，在信息处理***1应用于操作员的疲劳的识别的情况下，位置/周围识别单元110的识别单元111以从传感器单元101等输入的传感器数据作为输入来识别操作员的疲劳。

识别单元111使用从传感器单元101等输入的图像数据、深度图像数据、IMU数据、GNSS数据等作为输入以执行用于识别操作员的疲劳程度的疲劳识别处理。

在疲劳识别处理中，例如，除了传感器数据之外，识别单元111还可以通过使用从设备100的操作开始所经过的时间、操作员的连续工作小时等作为输入来识别操作员的疲劳。传感器数据例如包括图像数据、深度图像数据、IMU数据、GNSS数据、或操作员的面部表情、体温、心率或脑电波。传感器数据是从安装至设备100的车轴、驾驶员座椅、悬臂单元、框架、履带等或安装至操作员本身的传感器单元101等输入的。

可以例如基于当操作员疲惫时设备100的行为、操作等训练或再训练用于识别操作员的疲劳的学习模型。然而，本发明不限于此，并且可以通过例如基于操作员不疲惫时设备100的正常行为或操作的异常检测学习、或基于设备100的操作开始时的设备100的行为、操作等与设备100的从操作开始起已经经过特定时间的时间点的行为、操作等之间的差异的学习等，来训练或再训练学习模型。

注意，用于识别单元111的学习模型、用于确定的阈值等对于每个操作员可以不同。此时，可以在每个现场的设备100、现场服务器300、云200等中管理与单个操作员对应的学习模型、确定阈值等。例如，当设备100没有保持与单个操作员对应的学习模型、确定阈值等时，可以向现场服务器300或云200进行询问以下载必要的信息。此外，当在设备100、现场服务器300和云200中的任一个中没有持有与单个操作员对应的学习模型、确定阈值等时，识别单元111可以使用预先准备的学习模型或确定阈值作为模板。在这种情况下，可以在设备100、现场服务器300和云200中的任一个中管理该模板。

当操作员的疲劳程度高时，识别单元111向设备管理单元120通知操作员的疲劳程度高。同时，设备管理单元120经由监测器131或输出单元133向操作员通知操作员本身的疲劳。

此外，设备100的操作员的疲劳可以与现场服务器300或同一现场的另一设备100共享。该配置使得可以提高现场的操作的效率。

另外，也可以与第一实施例一样，将识别单元111的识别的结果与此时由传感器单元101等获取的传感器数据(原始数据或执行诸如像素化的处理的处理后的数据)一起发送到现场服务器300。

7.2示例性操作过程

图13是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图13所示，在本实施例中，在与第一实施例中参考图3描述的操作类似的操作中，步骤S102和S103被步骤S602和S603替换。

在步骤S602中，识别单元111基于输入的传感器数据执行识别处理，以识别操作员的疲劳。

在步骤S603中，如在图3中的步骤S103中，当在步骤S202中的识别处理中识别操作员不疲劳时(在步骤S603中为否)，本操作进行到步骤S106，并且当识别操作员疲劳时(在步骤S603中为是)，将识别的结果输入到设备管理单元120并且经由预定网络发送到现场服务器300(步骤S104)。

7.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据识别操作员的疲劳以发出警告，从而提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

8.第七实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第七实施例。在第七实施例中，将描述通过上述实施例中的识别单元111执行各种识别处理(可以包括语义分割等)的示例。在各种识别处理中，除了诸如图像数据、深度图像数据、IMU数据或GNSS数据的感测数据的输入之外，还可以使用关于传感器单元101的信息(在下文中，也被称为属性信息)(诸如相机的高度、角度或视角(FoV))作为附加输入。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

8.1示例性处理过程

图14是示出根据本实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。如图14所示，在将附加使用属性信息的识别应用于信息处理***1的情况下，位置/周围识别单元110的识别单元111除了从传感器单元101等输入的传感器数据的输入之外，还将关于传感器单元101等的属性信息作为输入来执行识别处理。

例如，除了从传感器单元101等输入的图像数据、深度图像数据、IMU数据或GNSS数据等传感器数据之外，如果传感器单元101等是相机，则识别单元111还通过使用诸如相机的安装位置的高度或相机的姿态(角度)或视角(FoV)的属性信息作为附加输入来执行诸如对人、物体等的对象识别以及语义分割的各种识别处理。如在上述实施例中，识别处理的结果可以用于以防止设备100与人或物体之间的接触的警告等。

例如，在设备100是诸如起重机车辆的重型机械等的情况下，将设备100的周围成像的相机(传感器单元101等中的一个传感器单元)安装在比安装在汽车等上的相机等面向下更高的位置处。因此，在由相机获取的图像数据中捕获的人或物体的轮廓具有与由安装在汽车等上的相机等获取的图像数据中的人或物体的轮廓不同的特殊形状。因此，如本实施例那样，通过向识别单元111等的输入添加关于传感器单元101等的安装位置的高度或传感器单元等101的姿态的属性信息来执行识别处理，使得可以提高对被捕获为具有不同特殊形状的轮廓的人或物体的识别的准确性，从而适当地向操作员发出警告。该配置使得可以进一步提高现场的当前或未来的安全性。

通过利用添加了属性信息的训练数据进行训练或再训练，可以训练被配置为添加这样的属性信息的学习模型。该配置使得可以使识别单元111通过添加关于传感器单元101等的属性信息执行更高精度的识别处理。

注意，对于关于传感器单元101等的安装位置的高度或传感器单元101等的姿态的属性信息，可以使用从设置在传感器单元101等或设备100中的IMU或GNSS接收器获得的位置/姿态信息。因此，即使当传感器单元101等的接地位置的高度、传感器单元101等的姿态等动态变化时，也可以使识别单元111根据该变化执行适当的识别处理。然而，本发明不限于此，并且关于传感器单元101等的属性信息可以具有静态值。另外，可以混合动态值和静态值，使得属性信息的一部分具有动态值，并且其余的具有静态值。

8.2示例性操作过程

图15是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图15所示，在本实施例中，在与第一实施例中参考图3描述的操作类似的操作中，在步骤S101之后添加步骤S701，并且步骤S102和S103被步骤S702和S703替换。

在步骤S701中，输入关于传感器单元101等的属性信息。然而，本发明不限于此，并且可以在步骤S101中伴随传感器数据输入关于每个传感器单元101等的属性信息。

在步骤S702中，识别单元111基于输入的传感器数据和属性信息执行识别处理。例如，在将本实施例应用于根据第一实施例的地震识别的情况下，识别单元111基于输入的传感器数据和属性信息执行识别处理，以识别是否已经发生地震。

在步骤S703中，例如，基于步骤S702中的识别处理的结果，确定是否需要向操作员警告。例如，在将本实施例应用于根据第一实施例的地震的识别的情况下，识别单元111确定已经发生地震，即，需要警告(在图3中的步骤S103中为是)。当确定不需要警告时(在步骤S703中为否)，本操作进行到步骤S106，并且当确定需要警告时(在步骤S703中为是)，将识别的结果输入到设备管理单元120并且经由预定网络发送到现场服务器300(步骤S104)。

8.3结论

如上所述，根据本实施例，除了从传感器单元101等输入的一个或多个传感器数据之外，还基于关于每个传感器单元101等的属性信息执行各种识别处理，从而执行更精确的识别。该配置使得可以进一步提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

9.第八实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第八实施例。在第八实施例中，将描述根据由识别单元111识别的对象或上述实施例中的对象的类型的警告的强度(警告等级)的变化的示例。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

9.1示例性处理过程

图16是示出根据本实施例的信息处理***1中从识别处理到向操作员警告的处理的示图。如图16所示，在信息处理***1中，在根据对象或其类型改变警告等级的情况下，位置/周围识别单元110的识别单元111以针对每个对象或其每个类型设置的警告等级向操作员发出警告。此外，每个设备100设置有用于管理针对每个对象或者其每个类型设置的警告等级的属性数据库812。

识别单元111使用从传感器单元101等输入的图像数据、深度图像数据、IMU数据、GNSS数据等作为输入以执行识别在设备100周围的人和物体的存在或位置或者通过语义分割等识别人和物体所位于的区域的区域识别处理。

设备管理单元120基于由识别单元111的区域识别处理的结果经由监测器131向操作员呈现(区域呈现)对象的存在和语义分割的结果(对象所位于的区域或位置)作为设备100的操作的辅助信息。同时，操作员例如通过使用UI 132等从所呈现的对象的区域等中输入将设置警告等级的对象所位于的区域的选择。注意，对象的示例可以例如与第五实施例中描述的示例类似。

当从操作员输入对作为要设置警告等级的目标的区域的选择时，设备管理单元120针对所选择的区域、与该区域对应的对象或对象所属的类型设置“对象的外观和位置以及指定的警告强度”(在下文中，也被称为警告等级信息)，并且将针对每个对象或其类型设置的警告等级信息登记在属性数据库812中。注意，警告等级信息中的“外观”和“位置”可以与根据第五实施例的对象信息中的“外观”和“位置”类似。

以这种方式，当警告等级信息被登记在属性数据库812中时，识别单元111对从传感器单元101等输入的传感器数据执行各种识别处理。注意，由识别单元111执行的识别处理可以是在上述实施例中举例说明的任何识别处理。此外，识别单元111可以包括未设置警告等级信息的对象作为识别目标。

在识别处理中，识别单元111例如利用从传感器单元101等输入的传感器数据(诸如图像数据、深度图像数据、IMU数据或GNSS数据)作为输入识别需要警告的对象或区域。

随后，对于被识别为需要警告的对象或区域，识别单元111执行将设置的警告等级信息添加到属性数据库812中的对象或其类型的属性信息添加处理。例如，识别单元111将作为识别的结果获得的对象或对象的类型与警告等级信息登记在属性数据库812中的对象或其类型进行比较，并且将相应的警告等级信息添加到位于同一位置并且具有相同外观的对象或对象的类型。此时，可以以低警告等级(在关注等级)对具有相同外观但位于不同位置处的对象发出警告。然后，识别单元111向设备管理单元120通知关于分配了警告等级信息的对象或区域的信息作为识别的结果。注意，区域识别处理和属性信息添加处理可以由一个识别单元111执行，或者可以由包括在位置/周围识别单元110中的不同识别单元111执行。

同时，设备管理单元120根据经由监视器131或输出单元133向操作员发出与发出关于识别的结果中确定需要警告的对象或区域的警告等级对应的警告。该配置使得可以以操作员设置的警告等级向关于由操作员选择作为目标的对象或具有相同外观但位于不同位置的对象发出警告。

注意，登记在特定设备100的属性数据库812中的警告等级信息可以被收集到现场服务器300以便与同一现场的另一设备100、另一现场的设备100等共享。该配置使得可以在两个或更多个设备100之间设置针对每个对象或其类型的警告等级，使得警告等级的设置更高效。此时，当基于由另一设备100设置的警告等级信息发出警告时，除了与警告等级对应的警告之外，操作员可以被通知已经设置的警告等级。另外，由现场服务器300收集警告等级信息以及在设备100之间共享警告等级信息(下载到相应设备100)可以由设备100或现场服务器300自动执行，或者可以由操作员手动执行。

此外，可以将登记在属性数据库812中的警告等级信息上传至云200以用于分析，并且用于学习模型的训练或再训练。该配置使得可以提高识别单元111的识别性能。对于识别单元111的训练或再训练，例如，与上述实施例一样，可以利用使用模拟的方法、使用异常检测的方法等。

9.2示例性操作过程

图17是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图17所示，在本实施例中，与在第五实施例中一样，在信息处理***1中，首先选择作为监测目标的区域。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S801)。

接下来，识别单元111基于输入的传感器数据执行区域识别处理(步骤S802)。在区域识别处理中，如上所述，例如，通过语义分割等来标记对象所位于的区域，并且识别对象的区域。向设备管理单元120通知所识别的对象和区域。

接下来，设备管理单元120经由监测器131向操作员呈现所识别的对象和区域(步骤S803)。另一方面，当通过使用例如UI 132等从操作员输入对象或区域的选择和针对所选择的对象或区域的警告等级的指定时(在步骤S804中为是)，设备管理单元120将关于所选择的对象或区域的警告等级信息登记在属性数据库812中(步骤S805)。注意，当未输入操作员的选择时(在步骤S804为否)，本操作返回到步骤S801。

接下来，执行指定警告等级的对象或与指定警告等级的对象具有相同类型的对象或区域的识别处理。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S806)。

接下来，识别单元111基于输入的传感器数据对作为目标的对象或区域执行识别处理(步骤S807)。

接下来，识别单元111基于识别处理的结果确定是否需要向操作员警告关于作为目标的对象或区域的警告(步骤S808)。当确定不需要警告时(在步骤S808中为否)，该操作进行到步骤S811。另一方面，当确定需要警告时(在步骤S808中为是)，识别单元111向设备管理单元120通知识别的结果(步骤S809)。注意，识别的结果的通知可以从识别单元111或设备管理单元120发送到现场服务器300，并且与另一设备100共享。

同时，设备管理单元120例如经由监测器131或输出单元133向操作员发出关于被确定为需要警告的对象或区域的指定的警告等级的警告(步骤S810)。

接下来，设备管理单元120例如基于操作员从UI 132等输入的操作等确定是否改变作为警告目标的对象或区域(步骤S811)。当作为警告目标的对象或区域未改变时(在步骤S811中为否)，本操作返回到步骤S806。

另一方面，当作为警告目标的区域改变时(在步骤S811中为是)，控制设备100的控制单元确定是否结束本操作，并且当确定结束本操作时(在步骤S812中为是)，结束本操作。另一方面，当确定不结束本操作时(在步骤S812中为否)，本操作返回至步骤S801，并且执行后续的处理。

9.3结论

如上所述，根据本实施例，基于从传感器单元101等输入的一个或多个传感器数据来针对每个对象或其类型设置警告等级，并且以设置的警告等级向操作员发出警告。因此，操作员可以更准确地掌握要保护的对象等具有何种状况。该配置使得可以提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

10.第九实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第九实施例。在上述第八实施例中，已经描述了针对每个对象或其类型的警告等级的变化的示例。另一方面，在第九实施例中，将描述从警告目标中排除特定对象或与该特定对象相同种类的对象的示例。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

10.1示例性处理过程

图18是示出根据本实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。如图18所示，在信息处理***1中从警告目标中排除特定对象或与该特定对象相同类型的对象的情况下，位置/周围识别单元110的识别单元111执行根据由识别的结果指定的对象或其类型确定关于作为目标的对象或区域的警告的必要性的区域排除处理。另外，每个设备100设置有用于将每个对象或其类型从警告目标中排除的排除数据库912。

识别单元111使用从传感器单元101等输入的图像数据、深度图像数据、IMU数据、GNSS数据等作为输入以执行识别在设备100周围的人和物体的存在或位置或者通过语义分割等来识别人和物体所位于的区域的区域识别处理。

设备管理单元120基于识别单元111的区域识别处理的结果经由监测器131向操作员呈现(区域呈现)对象的存在和语义分割的结果(对象所位于的区域或位置)作为设备100的操作的辅助信息。同时，操作员例如通过使用UI 132等从所呈现的对象的区域等中输入从警告目标中排除的对象所位于的区域的选择。注意，对象的示例可以例如与第五实施例中描述的示例类似。

当从操作员输入对要从警告目标排除的区域的选择时，设备管理单元120针对所选择的区域设置、与该区域对应的对象或对象所属的类型“对象的外观和位置”(在下文中，也被称为排除信息)，并且将针对每个对象或其类型设置的排除信息登记在排除数据库912中。注意，排除信息中的“外观”和“位置”可以与根据第五实施例的对象信息中的“外观”和“位置”类似。

以这种方式，当排除信息被登记在排除数据库912中时，识别单元111对从传感器单元101等输入的传感器数据执行各种识别处理。注意，由识别单元111执行的识别处理可以是在上述实施例中举例说明的任何识别处理。此外，识别单元111可以包括从警告目标中排除的对象作为识别目标。

在识别处理中，识别单元111例如利用从传感器单元101等输入的传感器数据(诸如图像数据、深度图像数据、IMU数据或GNSS数据)作为输入识别需要警告的对象或区域。

随后，识别单元111针对在区域识别处理中所识别的对象或区域，执行用于确定是否将排除信息登记在排除数据库912中的区域排除处理。例如，识别单元111将作为识别的结果获得的对象或对象的类型与排除数据库912中登记为从警告目标中排除的对象或其类型进行比较，并且从警告目标中排除位于相同位置并且具有相同外观的对象或对象的类型。然而，本发明不限于此，并且可以以低警告等级(在关注等级)对具有相同外观但位于不同位置处的对象发出警告。然后，识别单元111向设备管理单元120通知关于在排除数据库912中未从警告目标排除的对象或区域的信息作为识别的结果。注意，区域识别处理和区域排除处理可以由一个识别单元111执行，或者可以由包括在位置/周围识别单元110中的不同识别单元111执行。

同时，设备管理单元120基于由识别单元111通知的识别的结果经由监测器131或输出单元133向操作员发出关于作为警告目标的对象或区域的警告。因此，仅向操作员发出关于应该关注的注意对象或区域的警告，使得可以向操作员发出更准确的警告。

注意，登记在特定设备100的排除数据库912中的排除信息可以由现场服务器300收集以便与同一现场的另一设备100、另一现场的设备100等共享。该配置使得可以在两个或更多个设备100之间，将对象或其类型设置为排除对象，使排除效率更高。此时，当基于由另一设备100设置的排除信息排除对象或区域时，除了关于作为目标的对象或区域的警告之外，还可向操作员通知从目标排除的对象或区域。另外，由现场服务器300收集排除信息以及在设备100之间共享排除信息(下载到相应设备100)可以由设备100或现场服务器300自动执行，或者可以由操作员手动执行。

此外，可以将登记在排除数据库912中的排除信息上传到云200以用于分析，并且用于训练或再训练学习模型。该配置使得可以提高识别单元111的识别性能。对于识别单元111的训练或再训练，例如，与上述实施例一样，可以利用使用模拟的方法、使用异常检测的方法等。

10.2示例性操作过程

图19是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图19所示，在本实施例中，与在第五实施例中一样，在信息处理***1中，首先选择作为监测目标的区域。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S901)。

接下来，识别单元111基于输入的传感器数据执行区域识别处理(步骤S902)。在区域识别处理中，如上所述，例如，通过语义分割来等标记对象所位于的区域，并且识别对象的区域。向设备管理单元120通知所识别的对象和区域。

接下来，设备管理单元120经由监测器131向用户呈现所识别的对象和区域(步骤S903)。另一方面，当通过使用例如UI 132等从操作员输入作为要从警告排除的排除目标的对象或区域的选择时(在步骤S904中为是)，设备管理单元120将关于所选择的对象或区域的排除信息登记在排除数据库912中(步骤S905)。注意，当未输入操作员的选择时(在步骤S904中为否)，本操作返回至步骤S901。

接下来，执行根据上述实施例的各种识别处理。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S906)。

接下来，识别单元111基于输入的传感器数据对对象或区域执行识别处理(步骤S907)。

接下来，识别单元111基于识别处理的结果确定所识别的对象或区域是否从警告目标中排除(步骤S908)。当所识别的对象或区域从警告目标中排除时(在步骤S908中为是)，本操作进行至步骤S911。另一方面，当所识别的对象或区域是警告目标时(在步骤S908中为否)，识别单元111向设备管理单元120通知识别的结果(步骤S909)。注意，识别的结果的通知可以从识别单元111或设备管理单元120发送到现场服务器300，并且与另一设备100共享。

同时，设备管理单元120例如经由监测器131或输出单元133向操作员发出关于作为警告目标的对象或区域的警告(步骤S910)。

接下来，设备管理单元120例如基于操作员从UI 132等输入的操作等确定是否改变作为排除目标的对象或区域(步骤S911)。当作为排除目标的对象或区域未改变时(在步骤S911中为否)，本操作返回到步骤S906。

另一方面，当作为排除目标的区域改变时(在步骤S911中为是)，控制设备100的控制单元确定是否结束本操作，并且当确定结束本操作时(在步骤S912中为是)，结束本操作。另一方面，当确定不结束本操作时(在步骤S912中为否)，本操作返回到步骤S901，并且执行后续的处理。

10.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据来设置从警告目标中排除的对象或其类型。因此，操作员可以接收关于要保护的目标等的更精确的警告。该配置使得可以提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

11.第十实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第十实施例。在第十实施例中，将描述在由识别单元111识别的对象或与该对象相同类型的对象是危险对象或危险区域的情况下，检测其接近并通知操作员的示例。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

11.1示例性处理过程

图20是示出根据本实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。如图20所示，在信息处理***1中向操作员通知特定对象或与该特定对象相同类型的对象的接近的情况下，位置/周围识别单元110的识别单元111执行识别操作员指定为危险对象或危险区域的对象或区域(即，来自在识别的结果中识别的对象或相同类型的对象的作为接近监测目标的对象或区域)的接近的识别处理。此外，每个设备100设置有用于针对设备100或其类型的接近来登记作为监测目标的对象的接近监测数据库1012。

识别单元111使用从传感器单元101等输入的图像数据、深度图像数据、IMU数据、GNSS数据等作为输入以执行识别在设备100周围的人和物体的存在或位置或者通过语义分割等识别人和物体所位于的区域的区域识别处理。

除了由传感器单元101等获取的设备100周围的图像(在下文中，也被称为周围图像)之外，设备管理单元120基于由识别单元111的区域识别处理的结果经由监测器131向操作员呈现(区域呈现)对象的存在和语义分割的结果(对象所位于的区域或位置)作为设备100的操作的辅助信息。同时，操作员例如通过使用UI 132等从与周围图像一起呈现的对象等的区域中输入作为接近监测目标的对象的区域的选择。注意，对象的示例可以与例如在第五实施例中描述的示例类似。

当从操作员输入对作为接近监测目标的区域的选择时，设备管理单元120针对所选择的区域、与该区域对应的对象或者对象所属的类型设置“外观和位置”(在下文中，也被称为接近监测信息)，并且将针对每个对象或其类型设置的接近监测信息登记在接近监测数据库1012中。注意，接近监测信息中的“外观”和“位置”可以与根据第五实施例的对象信息中的“外观”和“位置”类似。

以这种方式，当接近监测信息被登记在接近监测数据库1012中时，识别单元111对从传感器单元101等输入的传感器数据执行各种识别处理。

在识别处理中，识别单元111利用从传感器单元101等输入的传感器数据(诸如图像数据、深度图像数据、IMU数据或GNSS数据)作为输入识别对象或区域到设备100的接近(或设备100到对象或区域的接近)。

随后，识别单元111执行用于确定登记在接近监测数据库1012中的接近监测信息的对象或区域是否已经接近设备100的接近识别处理。例如，识别单元111将作为识别结果获得的对象或对象的类型与在接近监测数据库1012中登记为警告目标的对象或其类型进行比较，将位于相同位置并且具有相同外观的对象或对象的类型设置为监测目标，并且识别对象或其类型与设备100之间的距离是否在预定距离内。此时，用于确定通知的必要性的距离可以根据对象或其类型而改变。然后，当作为监测目标的对象或区域小于预定距离时，识别单元111向设备管理单元120通知对象或区域的识别的结果。注意，区域识别处理和接近识别处理可以由一个识别单元111执行，或者可以由包括在位置/周围识别单元110中的不同识别单元111执行。

同时，设备管理单元120根据由识别单元111通知的识别结果经由监测器131或输出单元133向操作员通知作为接近监测目标的对象或区域的接近。该配置使得操作员可以准确地知道设备100已经接近危险对象或危险区域。

注意，登记在特定设备100的接近监测数据库1012中的接近监测信息可以由现场服务器300收集，以便与同一现场的另一设备100、另一现场的设备100等共享。该配置使得可以在两个或更多个设备100之间将对象或其类型设置为监测目标，使得监测目标的登记更高效。此时，当基于由另一设备100设置的接近监测信息监测对象或区域的接近时，除了关于作为目标的对象或区域的通知之外，可以向操作员通知作为监测目标的对象或区域。另外，由现场服务器300收集接近监测信息以及在设备100之间共享接近监测信息(下载到相应设备100)可以由设备100或现场服务器300自动执行，或者可以由操作员手动执行。

此外，可以将登记在接近监测数据库1012中的接近监测信息上传到云200以用于分析，并且用于训练或再训练学习模型。该配置使得可以提高识别单元111的识别性能。对于识别单元111的训练或再训练，例如，与上述实施例一样，可以利用使用模拟的方法、使用异常检测的方法等。

11.2示例性操作过程

图21是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图21所示，在本实施例中，与在第五实施例中一样，在信息处理***1中，首先选择作为监测目标的区域。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S1001)。

接下来，识别单元111基于输入的传感器数据执行区域识别处理(步骤S1002)。在区域识别处理中，如上所述，例如，通过语义分割等来标记对象所位于的区域，并且识别对象的区域。向设备管理单元120通知所识别的对象和区域。

接下来，设备管理单元120经由监测器131将所识别的对象或区域与从传感器单元101等输入的周围图像一起呈现给操作员(步骤S1003)。另一方面，当从操作员通过使用例如UI 132等输入作为警告的监测目标的对象或区域的选择时(在步骤S1004中为是)，设备管理单元120将关于所选择的对象或区域的接近监测信息登记在接近监测数据库1012中(步骤S1005)。另外，在未输入操作员的选择的情况下(在步骤S1004为否)，本操作返回到步骤S1001。

接下来，执行针对作为监测目标的对象或区域的接近识别处理。具体地，例如，如在图3的步骤S101中，由传感器单元101等获取的传感器数据首先被输入到位置/周围识别单元110的识别单元111(步骤S1006)。

接下来，识别单元111基于输入的传感器数据执行用于识别对象或区域是否已经接近设备100的接近识别处理(步骤S1007)。

接下来，识别单元111基于识别处理的结果确定已经接近设备100的对象或区域是否被设置为监测目标(步骤S1008)。当对象或区域未被设置为监测目标时(在步骤S1008中为否)，本操作进行到步骤S1011。另一方面，当对象或区域被设置为监测目标时(在步骤S1008中为是)，识别单元111向设备管理单元120通知识别的结果(步骤S1009)。注意，识别的结果的通知可以从识别单元111或设备管理单元120发送到现场服务器300，并且与另一设备100共享。

同时，设备管理单元120例如经由监测器131或输出单元133向操作员通知作为监测目标的对象或区域的接近(步骤S1010)。

接下来，设备管理单元120基于例如操作员从UI 132等输入的操作等确定是否改变作为监测目标的对象或区域(步骤S1011)。当作为监测目标的对象或区域未改变时(在步骤S1011为否)，本操作返回至步骤S1006。

另一方面，当改变作为监测目标的区域时(在步骤S1011中为是)，控制设备100的控制单元确定是否结束本操作，并且当确定结束本操作时(在步骤S1012中为是)，结束本操作。另一方面，当确定未结束本操作时(在步骤S1012中为否)，本操作返回至步骤S1001，并且执行后续的处理。

11.3结论

如上所述，根据本实施例，可以基于从传感器单元101等输入的一个或多个传感器数据来向操作员通知由操作员指定的危险对象或危险区域接近设备100。因此，操作员可以更准确地确保设备100和操作员自身的安全性。该配置使得可以提高现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

12.第十一实施例

接下来，下面将参考附图详细描述使用上述信息处理***1的第十一实施例。注意，在以下描述中，引用与上述实施例的配置、操作和效果相同的配置、操作和效果，并且将省略其重复描述。

如在上述实施例中，由传感器单元101等获取的传感器数据或其识别的结果可以被上传至云200等，以被分析/校正并且用于学习模型的训练或再训练。此时，除了关于操作员指定的对象或区域的信息，诸如上述实施例所示的对象信息、属性信息、排除信息和接近警告信息之外，还将由识别单元111识别的关于被识别为人或人以外的物体的区域(即，由边界框包围的区域)的信息(在下文中，也被称为提取信息)或关于通过使用语义分割被识别为人或物体的区域(也被称为自由空间)的信息上传到云200等，从而可以更有效地/高效地训练或再训练学习模型。

因此，在第十一实施例中，将描述在上述实施例中从由传感器单元101等获取的传感器数据中提取的、上传至云200的并且用于学习模型的训练或再训练的学习模型的训练或再训练有效的提取信息。

12.1示例性处理过程

图22是示出根据本实施例的信息处理***1中的从识别处理到向操作员警告的处理的示图。如图22所示，在由传感器单元101等获取的传感器数据用于学习模型的训练或再训练的情况下，在信息处理***1中，位置/周围识别单元110的识别单元111执行从传感器数据中提取用于学习模型的训练或再训练的提取信息的提取处理。例如，在传感器数据是图像数据、深度图像数据等的情况下，识别单元111从传感器数据中提取由边界框包围的区域或通过语义分割标记的自由空间(在下文中，统称为受关注区域)，并且将所提取的受关注区域上传到云200的学习单元201。此时，与受关注区域相关联的不同信息(诸如对象信息、属性信息、排除信息以及接近警告信息)也被上传到学习单元201，从而进一步提高学习模型的性能或功能性。

此外，由传感器单元101等获取的传感器数据不直接上传至云200，而是从传感器数据中提取的提取信息被上传至云200，因此，减少了要上传的信息量。然而，由传感器单元101等获取的传感器数据和从传感器数据提取的提取信息两者可以被上传至云200。

12.2示例性操作过程

图23是示出根据本实施例的信息处理***1中的示例性操作过程的流程图。如图23所示，在本实施例中，首先，由传感器单元101等获取的传感器数据被输入到位置/周围识别单元110的识别单元111(步骤S1101)。

接下来，识别单元111对输入的传感器数据执行提取处理(步骤S1102)。在提取处理中，例如，提取由边界框包围的区域或通过使用语义分割标记的自由空间。

接下来，设备管理单元120将所提取的提取信息上传到云200(步骤S1103)。同时，云200的学习单元201使用所上传的提取信息来训练或再训练学习模型。注意，如上所述，从识别单元111上传至云200的信息可以包括各种信息，诸如传感器数据本身、识别的结果、对象信息、属性信息、排除信息、或者接近警告信息。

然后，控制设备100的控制单元确定是否结束本操作(步骤S1104)，并且当确定结束本操作时(在步骤S1104中为是)，结束本操作。另一方面，当确定不结束本操作时(在步骤S1104中为否)，本操作返回至步骤S1101，并且执行后续的处理。

12.3结论

如上所述，根据本实施例，使用从传感器数据提取的提取信息来训练或再训练学习模型，从而高效/有效地训练和再训练学习模型。然后，使用已经高效/有效地训练/再训练的学习模型来构成识别单元111，从而提高了现场的当前或未来的安全性。注意，其他配置、操作和效果可以类似于上述实施例的配置、操作和效果，并且这里将省略其详细描述。

13.硬件配置

例如，根据上述实施例的位置/周围识别单元110、设备管理单元120、学习单元201、现场服务器300等可通过具有如图24所示的配置的计算机1000来实现。图24是示出实现位置/周围识别单元110、设备管理单元120、学习单元201、现场服务器300等的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的相应单元通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序来操作，并控制相应单元。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序部署到RAM 1200，并执行与各种程序中的每一个对应的处理。

ROM 1300存储启动程序(诸如在计算机1000启动时由CPU 1100执行的基本输入输出***(BIOS))、取决于计算机1000的硬件的程序等。

HDD 1400是非暂时性地记录由CPU 1100执行的程序、程序所使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录用于执行作为程序数据1450的示例的根据本公开的每个操作的程序的记录介质。

通信接口1500是用于将计算机1000连接到外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从另一设备接收数据或向另一设备发送由CPU 1100生成的数据。

输入/输出接口1600被配置为包括上述I/F单元18，并且是连接在输入/输出装置1650与计算机1000之间的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，CPU 1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作用于读取记录在预定记录介质上的程序等的介质接口。例如，介质包括诸如数字通用盘(DVD)或相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。

例如，当计算机1000用作根据上述实施例的位置/周围识别单元110、设备管理单元120、学习单元201、现场服务器300等时，计算机1000的CPU 1100执行加载到RAM 1200上的程序，以实现位置/周围识别单元110、设备管理单元120、学习单元201、现场服务器300等的功能。此外，HDD 1400存储根据本公开的程序。注意，CPU 1100执行从HDD 1400读取的程序数据1450，但是在另一示例中，CPU 1100可以经由外部网络1550从另一装置获取程序。

上面已经描述了本公开的实施例，但是本公开的技术范围不限于上述实施例，并且在不脱离本公开的精神和范围的情况下，可以进行各种修改和改变。此外，不同实施例和修改的构成要素可以适当地彼此组合。

此外，本文描述的实施例中的效果仅是示例，本发明不限于这些效果，并且还可以提供其他效果。

注意，本技术还可以具有以下配置。

(1)

一种用于确保引入重型机械的现场的安全性的信息处理***，该信息处理***包括：

一个或多个传感器单元，安装在布置在现场的设备上以检测现场的状况；

识别单元，基于由一个或多个传感器单元获取的传感器数据识别现场的状况；以及

设备管理单元，基于识别单元的识别的结果管理设备。

(2)

根据(1)的信息处理***，其中，

识别单元包括使用神经网络的学习模型。

(3)

根据(1)或(2)的信息处理***，其中，

一个或多个传感器单元包括图像传感器、距离测量传感器、基于事件的视觉传感器(EVS)、惯性传感器、位置传感器、声音传感器、气压传感器、水压传感器、照度传感器、温度传感器、湿度传感器、红外传感器、以及风向风速传感器中的至少一个。

(4)

根据(1)至(3)中任一项的信息处理***，其中，

设备管理单元执行向设备的操作员通知识别的结果或基于该识别的结果向操作员发出警告的控制。

(5)

根据(1)至(4)中任一项的信息处理***，其中，

识别单元基于传感器数据识别地震。

(6)

根据(1)至(4)中任一项的信息处理***，其中，

识别单元基于传感器数据识别事故。

(7)

根据(1)至(4)中任一项的信息处理***，其中，

识别单元基于传感器数据识别导致事故的状况。

(8)

根据(1)至(4)中任一项的信息处理***，其中，

识别单元基于传感器数据识别发生事故的可能性。

(9)

根据(1)至(4)中任一项的信息处理***，其中，

识别单元基于传感器数据识别或预测设备周围的对象或区域的移动。

(10)

根据(1)至(4)中任一项的信息处理***，其中，

识别单元基于传感器数据识别操作设备的操作员的疲劳。

(11)

根据(10)的信息处理***，其中，

识别单元除了传感器数据之外，还基于设备的操作时间识别操作员的疲劳。

(12)

根据(1)至(11)中任一项的信息处理***，其中，

识别单元除了传感器数据之外，还基于一个或多个传感器单元的属性信息识别现场的状况。

(13)

根据(1)至(12)中任一项的信息处理***，其中，

识别单元基于传感器数据执行识别位于设备周围的对象或区域的第一识别处理，以及基于传感器数据执行识别现场的状况的第二识别处理，并且

设备管理单元基于从第二识别处理获得的识别的结果，执行向设备的操作员发出与在第一识别处理中识别的对象或区域对应的强度的警告的控制。

(14)

根据(13)的信息处理***，进一步包括：

保持单元，保持每个对象或区域的警告的强度，其中，

设备管理单元使操作员设置关于第一识别处理识别的对象或区域的警告的强度，

保持单元保持由操作员设置的每个对象或区域的警告的强度，并且

设备管理单元基于从第二识别处理获得的识别的结果，执行向设备的操作员发出与保持在保持单元中的每个对象或区域的警告的强度对应的警告的控制。

(15)

根据(1)至(12)中任一项的信息处理***，进一步包括：

保持单元，保持关于每个对象或区域是否从警告目标中排除的排除信息，其中，

识别单元基于传感器数据执行识别位于设备周围的对象或区域的第一识别处理，以及基于传感器数据执行识别现场的状况的第二识别处理，并且

当在第一识别处理中识别的对象或区域从保持在保持单元中的排除信息中的警告目标中排除时，设备管理单元不执行关于对象或区域发出警告的控制。

(16)

根据(1)至(12)中任一项的信息处理***，其中，

识别单元基于传感器数据执行识别位于设备周围的对象或区域的第一识别处理，以及基于传感器数据执行识别对象或区域到设备的接近的第二识别处理，并且

当在第一识别处理中识别的对象或区域接近设备时，设备管理单元基于从第二识别处理获得的识别的结果执行向设备的操作员发出警告的控制。

(17)

根据(2)的信息处理***，进一步包括：

学习单元，训练或再训练学习模型，其中，

识别单元执行从传感器数据提取作为传感器数据的一部分的提取信息的提取处理，并且将在提取处理中提取的提取信息发送至学习单元，并且

学习单元使用从识别单元接收的提取信息来训练或再训练学习模型。

(18)

一种用于确保引入重型机械的现场的安全性的信息处理方法，该信息处理方法包括：

识别步骤，基于由安装在布置在现场的设备上以检测现场的状况的一个或多个传感器单元获取的传感器数据识别现场的状况；以及

设备步骤，基于在识别步骤中获得的识别的结果管理设备。

参考标记列表

1 信息处理***

100 设备

101、104、107 传感器单元

102 图像传感器

103、106、109 信号处理单元

105 惯性传感器

108 位置传感器

110 位置/周围识别单元

111 识别单元

120 设备管理单元

131 监测器

132 用户接口

133 输出单元

134 设备控制单元

135 操作***

512 对象数据库

812 属性数据库

912 排除数据库

1012 接近监测数据库。

Claims (18)

1.一种用于确保引入重型机械的现场的安全性的信息处理***，所述信息处理***包括：

一个或多个传感器单元，安装在布置在所述现场的设备上以检测所述现场的状况；

识别单元，基于由所述一个或多个传感器单元获取的传感器数据识别所述现场的状况；以及

设备管理单元，基于所述识别单元的识别的结果管理所述设备。

2.根据权利要求1所述的信息处理***，其中，

所述识别单元包括使用神经网络的学习模型。

3.根据权利要求1所述的信息处理***，其中，

所述一个或多个传感器单元包括图像传感器、距离测量传感器、基于事件的视觉传感器(EVS)、惯性传感器、位置传感器、声音传感器、气压传感器、水压传感器、照度传感器、温度传感器、湿度传感器、红外传感器以及风向风速传感器中的至少一个。

4.根据权利要求1所述的信息处理***，其中，

所述设备管理单元执行向所述设备的操作员通知所述识别的结果或基于所述识别的结果向所述操作员发出警告的控制。

5.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据识别地震。

6.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据识别事故。

7.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据识别导致事故的状况。

8.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据识别发生事故的可能性。

9.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据识别或预测所述设备周围的对象或区域的移动。

10.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据识别操作所述设备的操作员的疲劳。

11.根据权利要求10所述的信息处理***，其中，

所述识别单元除了所述传感器数据之外，还基于所述设备的操作时间识别所述操作员的疲劳。

12.根据权利要求1所述的信息处理***，其中，

所述识别单元除了所述传感器数据之外，还基于关于所述一个或多个传感器单元的属性信息识别所述现场的状况。

13.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据执行识别位于所述设备周围的对象或区域的第一识别处理，以及基于所述传感器数据执行识别所述现场的状况的第二识别处理，并且

所述设备管理单元基于从所述第二识别处理获得的识别的结果，执行向所述设备的操作员发出与在所述第一识别处理中识别的所述对象或区域对应的强度的警告的控制。

14.根据权利要求13所述的信息处理***，进一步包括：

保持单元，保持每个对象或区域的警告的强度，其中，

所述设备管理单元使所述操作员设置关于由所述第一识别处理识别的所述对象或区域的警告的强度，

所述保持单元保持由所述操作员设置的每个对象或区域的所述警告的强度，并且

所述设备管理单元基于从所述第二识别处理获得的识别的结果，执行向所述设备的所述操作员发出与保持在所述保持单元中的每个对象或区域的所述警告的强度对应的警告的控制。

15.根据权利要求1所述的信息处理***，进一步包括：

保持单元，保持关于每个对象或区域是否从警告目标中排除的排除信息，其中，

所述识别单元基于所述传感器数据执行识别位于所述设备周围的对象或区域的第一识别处理，以及基于所述传感器数据执行识别所述现场的状况的第二识别处理，并且

当在所述第一识别处理中识别的所述对象或区域从保持在所述保持单元中的所述排除信息中的所述警告目标中排除时，所述设备管理单元不执行关于所述对象或区域发出警告的控制。

16.根据权利要求1所述的信息处理***，其中，

所述识别单元基于所述传感器数据执行识别位于所述设备周围的对象或区域的第一识别处理，以及基于所述传感器数据执行识别所述对象或区域到所述设备的接近的第二识别处理，并且

当在所述第一识别处理中识别的所述对象或区域接近所述设备时，所述设备管理单元基于从所述第二识别处理获得的识别的结果执行向所述设备的操作员发出警告的控制。

17.根据权利要求2所述的信息处理***，进一步包括：

学习单元，训练或再训练所述学习模型，其中，

所述识别单元执行从所述传感器数据提取作为所述传感器数据的一部分的提取信息的提取处理，并且将在所述提取处理中提取的所述提取信息发送至所述学习单元，并且

所述学习单元使用从所述识别单元接收的所述提取信息来训练或再训练所述学习模型。

18.一种用于确保引入重型机械的现场的安全性的信息处理方法，所述信息处理方法包括：

识别步骤，基于由安装在布置在所述现场的设备上以检测所述现场的状况的一个或多个传感器单元获取的传感器数据识别所述现场的状况；以及

设备步骤，基于在所述识别步骤中获得的识别的结果管理所述设备。

Images