CN116940823A - 信息处理装置、信息处理方法和感测*** - Google Patents

Abstract

本公开涉及的信息处理装置包括：光发送单元(101)，发送经频率调制的连续波调制的光；以及光接收单元(103)，接收光并且输出接收信号，并且包括：第一识别单元(122)，基于由光检测测距单元(11)输出的点群来执行识别处理并且输出对象的三维识别信息，光检测测距单元基于接收信号输出包括多个点的点群，每个点具有速度信息；生成单元(125)，基于速度信息和三维识别信息，生成表示对象的振动分布的振动分布信息；以及检测单元(20)，基于振动分布信息来检测对象的异常。

Description

信息处理装置、信息处理方法和感测***

技术领域

本公开涉及信息处理装置、信息处理方法和感测***。

背景技术

通过检测对象表面的振动等，能够检测对象中发生的异常。已知使用光学装置以非接触方式检测测量对象等的表面的振动的技术。例如，已知使用激光照射目标并且基于激光的反射光检测振动的方法以及基于通过使用高速相机对测量对象成像而获得的捕获图像检测振动的方法。

作为使用激光的振动计，已知使用多普勒效应测量振动的激光多普勒振动计。例如，激光多普勒振动计通过对接收信号进行相干检测来执行距离测量，所述接收信号是通过组合作为啁啾光而发射的激光和所发射激光的反射光获得的，在所述啁啾光中，脉冲的频率根据时间的推移而线性变化。这种使用啁啾光和相干检测的距离测量方法被称为FMCW-LiDAR(频率调制连续波-激光成像检测和测距)。

在FMCW-LiDAR中，通过使用多普勒效应，可与距离测量同时测量速度。专利文献1公开了一种技术，该技术使用频率连续调制的激光执行距离测量并且在距离测量时校正多普勒效应。

另外，作为使用高速相机的方法中的一种，已知基于通过对测量对象成像而获得的多个高分辨率亮度图像来检测高分辨率亮度图像中的高速变化点并且估计测量对象在视场平面方向上的振动的方法。

现有技术文献

专利文献

专利文献1：JP 2019-537012 A

发明内容

技术问题

激光多普勒振动计可测量与目标对象非接触的深度方向(激光的照射方向)上的振动。然而，由于激光多普勒振动计仅测量测量对象的表面上的一个点，因此难以测量测量对象的表面上的振动分布。

另外，在使用高速相机的方法中，虽然能够利用高速相机估计测量对象的视场面方向上的振动，但是难以检测测量对象的深度方向上的振动。

本公开提供一种能够基于深度方向和视野平面方向上的振动分布以非接触方式检测测量对象的异常的信息处理装置、信息处理方法和感测***。

问题的解决方案

为了解决上述问题，根据本公开的一个方面的信息处理装置具有：第一识别单元，其基于光检测测距单元输出的点群执行识别处理并且输出目标对象的三维识别信息，该光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，并且光检测测距单元基于该接收信号输出包括多个点的点群，多个点中的每一个点具有速度信息；生成单元，基于所述速度信息和所述三维识别信息生成表示所述目标对象的振动分布的振动分布信息；以及检测单元，基于该振动分布信息来检测目标对象的异常。

根据本公开的一个方面的信息处理方法包括：第一识别步骤，基于光检测测距单元输出的点群执行识别处理并且输出目标对象的三维识别信息，该光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，并且基于该接收信号输出包括多个点的点群，该多个点中的每一个点具有速度信息；生成步骤，基于速度信息和三维识别信息，生成表示目标对象的振动分布的振动分布信息；以及检测步骤，基于振动分布信息检测目标对象的异常。

为了解决上述课题，根据本公开的一个方面的感测***具有光检测测距单元，该光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，该光检测测距单元基于接收信号输出包括多个点的点群，该多个点中的每一个点具有速度信息；第一识别单元，基于光检测测距单元输出的点群执行识别处理，并且输出目标对象的三维识别信息；生成单元，基于所述速度信息和所述三维识别信息，生成表示所述目标对象的振动分布的振动分布信息；以及检测单元，基于该振动分布信息来检测目标对象的异常。

附图说明

图1是用于说明根据现有技术的使用光学装置对目标对象进行速度检测的示意图。

图2是示出了根据现有技术使用通过FMCW-LiDAR执行距离测量的光检测测距装置检测目标对象的速度的示例的示意图。

图3是用于说明可适用于本公开的FMCW-LiDAR在视场方向上的速度检测的示意图。

图4是用于说明根据本公开的感测***的示意图。

图5是示出适用于本公开的实施方式的光检测测距单元的示例配置的框图。

图6是示意性地示出通过扫描单元对发送光进行扫描的示例的示意图。

图7是示出适用于本公开的实施方式的信息处理装置的示例的配置的框图。

图8为更详细地示出根据本公开的感测***的一个示例的配置的框图。

图9是示出了根据第一实施方式的异常检测处理的示例的流程图。

图10是示出在根据第一实施方式的异常检测处理中在显示单元上显示的图像的示例的示意图。

图11是示出根据第一实施方式的振动分布生成处理的示例的流程图。

图12是示出根据第二实施方式的感测***的示例的配置的框图。

图13是示出根据第二实施方式的异常检测处理的示例的流程图。

图14是示出在根据第二实施方式的异常检测处理中在显示单元上显示的图像的示例的示意图。

图15是示出根据第二实施方式的振动分布生成处理的示例的流程图。

图16是示出根据第三实施方式的感测***的示例的配置的框图。

图17是示出根据第三实施方式的异常检测处理的示例的流程图。

图18是示出在根据第三实施方式的异常检测处理中在显示单元显示上的图像的示例的示意图。

图19是示出根据第三实施方式的振动分布生成处理的示例的流程图。

具体实施方式

下面参考附图详细说明本公开的实施方式。另外，在以下说明的实施方式中，对相同部分标注相同标号并省略重复说明。

下面按照以下顺序详细说明本发明的实施方式。

1.现有技术

2.本发明的概述

2-1.适用于本公开的技术

2-2.根据本发明的感测***的概述

3.第一实施方式

4.第二实施方式

5.第三实施方式

(1.现有技术)

本公开涉及适合用于基于对象的振动分布的异常检测的技术。在解释本公开的实施方式之前，为了便于理解，示意性地解释与本公开的技术相关的现有技术。

已知一种利用光学装置检测目标对象的速度并且基于检测的速度检测目标对象的振动的技术。图1是用于说明使用根据现有技术的光学装置对目标对象进行速度检测的示意图。

图1的部分(a)示出了使用激光多普勒速度计700检测目标对象710的速度的示例。例如，激光多普勒速度计700用激光720照射移动的目标对象710并接收反射光730。激光多普勒速度计700可通过计算接收的反射光730的多普勒偏移量来测量目标对象710在激光720的光轴方向上的速度。通过以预定时间间隔重复执行该测量，可以计算目标对象710的速度的位移。基于该速度位移来检测目标对象710在激光720的光轴方向上的振动。

图1的部分(b)示出了其中利用使用毫米波721的多普勒雷达701来检测目标对象710的速度的示例。与上述激光多普勒速度计700相同，多普勒雷达7001利用毫米波721照射移动目标对象710并且接收反射波731。多普勒雷达701可以通过计算接收的反射波731的多普勒偏移量来测量目标对象710在毫米波721的照射方向上的速度。

图1的部分(c)示出了使用高速相机702检测目标对象710的速度的示例。高速相机702以高速连续成像对目标对象710进行成像以获得多个捕获图像722。可以基于多个捕获图像722中的边缘信息、图案等检测目标对象710在高速相机702的视场方向上的速度。可以基于速度的位移来检测目标对象710在视场方向上的振动。

(2.本发明的概述)

接下来，示意性地解释本公开。

(2-1.适用于本公开的技术)

图2是示出通过适用于本公开的FMCW-LiDAR执行距离测量的光检测测距装置703检测目标对象710的速度的示例的示意图。

FMCW-LiDAR(调频连续波-激光成像检测和测距)使用其中脉冲的频率例如根据时间的推移而线性变化的啁啾光作为要发射的激光。在FMCW-LiDAR中，通过对通过组合作为啁啾光而发射的激光和所发射激光的反射光而获得的接收信号进行相干检测来执行距离测量。此外，在FMCW-LiDAR中，通过使用多普勒效应，可以在距离测量的同时进行速度测量。

在图2中，光检测测距装置703在通过啁啾光使激光750在预定扫描范围740内扫描的同时，获取在点741处的测量值。测量值包括三维位置信息(3D(三维)坐标)、速度信息和亮度信息。光检测测距装置703将扫描范围740内的点741处的测量值作为点群输出。即，点群是包括3D坐标、速度信息和亮度信息的点的集合。

通过利用光检测测距装置703对包括目标对象710的目标区域进行密集扫描，可以获得速度及3D坐标的连续变化，并且测量点群所包括的点的速度、加速度、每单位时间的频率、位移等。可以基于从目标区域测量的各种信息来计算目标区域中的振动分布。

在FMCW-LiDAR中，通过分析点群的速度分布，不仅可检测目标对象710在深度方向(激光的光轴方向)上的速度，还可检测在视场方向上的速度。注意，视场方向是指与从光检测测距装置703以0°射出角发出的激光的光轴方向相交的表面的方向。例如，视场方向可以是以直角与光轴方向相交的表面的方向。

图3是用于说明通过适用于本公开的FMCW-LiDAR在视场方向上的速度检测的示意图。图3的部分(a)示出目标对象710在光检测测距装置703的视场方向上向左移动的示例，并且部分(b)示出目标对象710在与光检测测距装置703的视场方向垂直的方向上向下移动的示例。

在图3的部分(a)的示例中，在目标对象710左侧的点741表示远离光检测测距装置703的移动，因此速度760例如取正值。另一方面，在目标对象710右侧的点741表示接近光检测测距装置703的移动，因此速度760例如取负值。速度760的绝对值随着点741的位置远离与光检测测距装置703对应的位置移动而增大。在图3的部分(b)的示例中，速度760根据目标对象710上的点741距光检测测距装置703的距离而变化。

视场方向上的速度可以通过分析这些点741的点群的速度分布来测量。例如，当使用能够获取红色(R)、绿色(G)以及蓝色(B)的颜色信息的相关技术的图像传感器时，可以通过提取捕获图像中的特征点(诸如边缘部分和图案)并且检测所提取的特征点的帧差异来测量视场方向上的速度。相反，在FMCW-LiDAR中，即使在不具有特征点的点处，也可以获取速度和振动分布。

(2-2.根据本公开的感测***的概述)

接下来，说明根据本公开的感测***的概述。

图4是用于说明根据本公开的感测***的示意图。在图4中，感测***1包括传感器单元10、信号处理单元12和异常检测单元20。

传感器单元10包括利用FMCW-LiDAR对作为测量对象的目标对象50进行距离测量的光检测测距单元11。光检测测距单元11包括利用机械扫描仪、微机电***(MEMS)或光学相控阵列(OPA)扫描激光的机构。光检测测距单元11根据扫描线41，在预定的扫描范围40内通过啁啾光扫描激光，并获取包括与扫描线41内的测量点有关的信息的点群。点群包括表示目标对象50内的点的速度60的速度信息、点的3D坐标等。光检测测距单元11在扫描范围40的一次扫描中，获取一帧的点群(称为帧点群)。

信号处理单元12对光检测测距单元11获取的点群应用信号处理，并获取表示目标对象50中的振动分布的振动分布信息。异常检测单元20基于由信号处理单元12获取的目标对象50的振动分布信息来检测目标对象50中的异常存在与否。

在感测***1中，信号处理单元12和异常检测单元20可以通过例如在包括中央处理单元(CPU)的信息处理装置上执行的信息处理程序来配置。不仅如此，信号处理单元12和异常检测单元20中的一者或两者可以由硬件设备配置，或者信号处理单元12和异常检测单元20可以配置在不同的信息处理装置上。

图5是示出适用于本公开的实施方式的光检测测距单元11的示例配置的框图。在图5中，光检测测距单元11包括扫描单元100、光发送单元101、光接收单元103、第一控制单元110、第二控制单元115、点群生成单元130、前级处理单元140以及接口(I/F)单元141。

第一控制单元110包括扫描控制单元111和角度检测单元112，并且控制扫描单元100进行的扫描。第二控制单元115包括发送光控制单元116和接收信号处理单元117，并且执行光检测测距单元11对激光的发送的控制和对接收光的处理的控制。

例如，光发送单元101包括用于发射作为发送光的激光的诸如激光二极管的光源、用于发射由光源发射的光的光学***、以及驱动光源的激光输出调制装置。光发送单元101根据从后述的发送光控制单元116提供的光发送控制信号使光源发光，并且通过啁啾光来发射发送光，啁啾光的频率根据时间的推移而在预定的频率范围内线性变化。发送光被发送到扫描单元100并且作为局部发射光被发送到光接收单元103。

发送光控制单元116生成其频率根据时间的推移在预定的频率范围内线性变化(例如，增加)的信号。这种频率根据时间的推移而在预定的频率范围内线性变化的信号被称为啁啾信号。发送光控制单元116基于啁啾信号生成输入至包括在光发送单元101中的激光输出调制装置的调制同步定时信号。发送光控制单元116生成光发送控制信号。发送光控制单元116将生成的光发送控制信号提供至光发送单元101和点群生成单元130。

由扫描单元100接收的接收光被输入到光接收单元103。例如，光接收单元103包括接收输入的接收光的光接收部分和驱动光接收部分的驱动电路。作为光接收部分，例如，可应用其中分别构造像素的诸如光电二极管的光接收元件以二维格状图案布置的像素阵列。

光接收单元103还包括组合单元，该组合单元将输入的接收光和从光发送单元101发送的局部发射光组合。如果接收光是来自发送光的目标对象的反射光，则接收光的每一束是根据到目标对象的距离相对于局部发射的光延迟的信号。通过组合接收光和局部发射光而获得的组合信号是具有恒定频率的信号(节拍信号)。光接收单元103将与接收光对应的信号作为接收信号提供至接收信号处理单元117。

接收信号处理单元117对从光接收单元103提供的接收信号执行诸如快速傅里叶变换的信号处理。利用该信号处理，接收信号处理单元117计算至目标对象的距离和表示目标对象的速度的速度，并且生成包括分别表示距离和速度的距离信息和速度信息的测量信息。接收信号处理单元117还基于接收信号计算表示目标对象的亮度的亮度信息并且将亮度信息包括在测量信息中。接收信号处理单元117将生成的测量信息提供给点群生成单元130。

扫描单元100以符合从扫描控制单元111提供的扫描控制信号的角度传输从光发送单元101发送的发送光，并作为接收光接收从该角度入射的光。例如，当双轴镜扫描装置被用作扫描单元100中的发送光的扫描机构时，扫描控制信号例如是施加至双轴镜扫描装置的轴的驱动电压信号。

扫描控制单元111生成用于在预定角度范围内改变扫描单元100的发送/接收角度的扫描控制信号，并且将扫描控制信号提供至扫描单元100。扫描单元100可根据提供的扫描控制信号通过发送光在固定范围内执行扫描。

扫描单元100包括检测将要发射的发送光的发射角并且输出指示由传感器检测到的发送光的发射角的角检测信号的传感器。角度检测单元112基于从扫描单元100输出的角度检测信号来计算发送/接收角度，并且生成指示所计算的角度的角度信息。角度检测单元112将生成的角度信息提供给点群生成单元130。

图6是示意性示出通过扫描单元100扫描发送光的示例的示意图。扫描单元100在对应于预定角度范围的扫描范围40内根据预定数量的扫描线41进行扫描。扫描线41对应于通过在扫描范围40的左端和右端之间执行扫描而获得的一个轨迹。扫描单元100根据扫描控制信号在扫描范围40的上端和下端之间根据扫描线41进行扫描。

此时，根据扫描控制信号，扫描单元100以点220₁、220₂、220₃、...的方式沿着扫描线41以例如固定的时间间隔(点速率)顺序地离散地改变啁啾光的发射点。此时，在扫描线41的扫描范围40的左端和右端的转折点附近，双轴镜扫描装置的扫描速度降低。因此，点220₁、220₂、220₃、…在扫描范围40中不以格状图案布置。注意，光发送单元101可以根据从发送光控制单元116提供的光发送控制信号向一个发射点一次或多次地发射啁啾光。

返回参考图5，点群生成单元130基于从角度检测单元112提供的角度信息、从发送光控制单元116提供的光发送控制信号以及从接收信号处理单元113提供的测量信息生成点群。更具体地，点群生成单元130基于测量信息中包括的角度信息和距离信息，根据角度和距离指定空间中的一个点。点群生成单元130作为在预定条件下的指定点的集合来获取点群。点群生成单元130基于测量信息中包括的速度信息和亮度信息，并且考虑到指定点处的速度和亮度来计算点群。也就是说，点群包括指示包括在点群中的各点的3D坐标、速度和亮度的信息。

点群生成单元130将所计算的点群提供至前级处理单元140。前级处理单元140将诸如格式转换的预定信号处理应用于所提供的点群。经受前级处理单元140进行的信号处理的点群经由I/F单元141输出到光检测测距单元11的外部。从I/F单元141输出的点群包括点群所包括的各点处的3D坐标信息、速度信息和亮度信息。

图7是示出适用于本公开的实施方式的信息处理装置的示例的配置的框图。在图7中，信息处理装置1000包括经由总线1020彼此通信连接的CPU 1010、ROM(只读存储器)1011、RAM(随机存取存储器)1012、显示单元1013、存储设备1014、输入设备1015、通信接口(I/F)1016和传感器单元I/F 1017。

作为存储设备1014，可以应用硬盘驱动器、非易失性存储器(闪存)等。各种程序和各种数据存储在存储设备1014中。CPU 1010根据存储在ROM 1011或存储设备1014中的程序，使用RAM 1012作为工作存储器来控制整个信息处理装置1000的操作。

显示单元1013包括：显示控制单元，基于由CPU 1010生成的显示控制信息生成显示信号；以及显示器件，根据由显示控制单元生成的显示信号执行显示。显示器件可以是通过外部连接到信息处理装置1000来使用的显示器件。

输入设备1015是接收用户输入的诸如键盘的设备。与输入设备1015接收的用户输入对应的信息被传送到CPU 1010。输入设备1015可以是与包括在显示单元1013中的显示器件整体配置的触摸面板。

通信I/F 1016是用于信息处理装置1000与外部设备通信的接口。通过通信I/F1016的通信可以是经由网络的通信或通过硬件设备等与信息处理装置1000直接连接的通信。由通信I/F 1016进行的通信可以是有线通信或无线通信。

传感器单元I/F 1017是用于连接传感器单元10的接口。在传感器单元10中，从光检测测距单元11输出的点群经由传感器单元I/F 1017传送到CPU 1010。

在信息处理装置1000中，CPU 1010执行用于实现根据本公开的感测***1的信息处理程序，以将上面解释的信号处理单元12和异常检测单元20分别配置为例如RAM 1012中的主存储区域上的模块。

例如，可以通过经由通信I/F 1016的通信从外部(例如，未示出的另一服务器装置)获取信息处理程序，并且将该信息处理程序安装在信息处理装置1000上。不仅如此，信息处理程序还可以通过存储在诸如CD(光盘)、DVD(数字通用盘)或USB(通用串行总线)存储器的可拆卸存储介质中来提供。

应注意，尽管上面说明了信号处理单元12和异常检测单元20被配置在同一信息处理装置1000上，但是这不限于该示例。信号处理单元12和异常检测单元20可以分别配置在不同种类的硬件(诸如信息处理装置)上。

(3.第一实施方式)

接下来，说明本发明的第一实施方式。

图8是更详细地示出根据本公开的感测***的示例配置的框图。在图8中，感测***1a包括传感器单元10、信号处理单元12a和异常检测单元20。传感器单元10包括光检测测距单元11和信号处理单元12a。信号处理单元12a包括3D对象检测单元121、3D对象识别单元122、I/F单元123、振动分布生成单元125和存储单元126。

3D对象检测单元121、3D对象识别单元122、I/F单元123和振动分布生成单元125可通过例如在信息处理装置1000中的CPU 1010上执行的根据本公开的信息处理程序来配置。不仅如此，3D对象检测单元121、3D对象识别单元122、I/F单元123和振动分布生成单元125的一部分或全部可由彼此协作操作的硬件电路配置。

从光检测测距单元11输出的点群被输入到信号处理单元12a，并被提供给信号处理单元12a中的I/F单元123和3D对象检测单元121。

3D对象检测单元121检测指示包括在提供的点群中的3D对象的测量点。注意，在以下说明中，为了避免复杂性，诸如“检测指示包括在点群中的3D对象的测量点”的表述被描述为“检测包括在点群中的3D对象”等。

3D对象检测单元121从点群中检测具有速度的点群和包括该点群并且被识别为具有某一关系(例如具有以固定或更高的密度的连接)的点群，作为对应于3D对象的点群(被称为局部点群)。例如，为了区分包括在点群中的静态对象和动态对象，3D对象检测单元121从点群中提取具有固定或更大的速度绝对值的点。3D对象检测单元121从所提取的点构成的点群中，检测出位于固定空间范围(相当于目标对象的尺寸)内的点群的集合作为与3D对象相对应的局部点群。3D对象检测单元121可以从该点群中提取多个局部点群。

3D对象检测单元121获取检测到的局部点群中的点的3D坐标、速度信息和亮度信息。3D对象检测单元121输出关于局部点群的3D坐标、速度信息和亮度信息作为指示3D检测结果的3D检测信息。3D对象检测单元121可将指示与所检测的局部点群相对应的3D对象的标签信息添加到局部点群的区域，并且将添加的标签信息包括在3D检测结果中。

3D对象识别单元122获取从3D对象检测单元121输出的3D检测信息。3D对象识别单元122基于所获取的3D检测信息对由3D检测信息指示的局部点群执行对象识别。例如，当包括在由3D检测信息指示的局部点群中的点的数量等于或大于能够用于识别目标对象的预定数量时，3D对象识别单元122对该局部点群执行点群识别处理。3D对象识别单元122通过点群识别处理估计关于所识别的对象的属性信息。

3D对象识别单元122对从光检测测距单元11输出的点群当中的与3D对象相对应的局部点群进行对象识别处理。例如，3D对象识别单元122从光检测测距单元11输出的点群当中去除局部点群以外的部分的点群，并且不对该部分执行对象识别处理。因此，可以减少由3D对象识别单元122进行的识别处理的负担。

当估计的属性信息的可靠性等于或高于固定程度时，即，当相当成功地执行识别处理时，3D对象识别单元122将针对局部点群的识别结果作为3D识别信息输出。3D对象识别单元122可以在3D识别信息中包括关于局部点群的3D坐标、3D大小、速度信息、属性信息和可靠性。注意，作为识别处理的结果，属性信息是对于点群中的每个点指示该点的单位所属的目标对象的属性(诸如目标对象的类型和特定分类)的信息。

从3D对象识别单元122输出的3D识别信息被输入到I/F单元123。如上所述，从光检测测距单元11输出的点群也被输入到I/F单元123。I/F单元123将点群与3D识别信息整合，并将整合的点群提供给振动分布生成单元125。I/F单元123将从光检测测距单元11提供的点群提供到后述的异常检测单元20。

振动分布生成单元125基于从I/F单元123提供的点群和3D识别信息来估计目标对象50中的振动分布，并生成振动分布信息。振动分布生成单元125可使用所提供的3D识别信息和关于存储在存储单元126中的局部点群的过去的3D识别信息来估计目标对象50的振动分布。

振动分布生成单元125将指示估计出的振动分布的振动分布信息提供给异常检测单元20。振动分布生成单元125将点群(局部点群)和3D识别信息累积地存储在存储单元126中作为过去的信息。

振动分布生成单元125可以基于从I/F单元123提供的点群和3D识别信息生成用于显示要呈现给用户的图像的显示控制信息。

异常检测单元20基于从信号处理单元12a提供的点群和振动分布信息来检测目标对象50的异常。例如，异常检测单元20可以基于振动分布信息生成评价值，并且对所生成的评价值执行阈值确定，以确定目标对象50是否存在异常。异常检测单元20将目标对象50的异常的检测结果输出到例如外部。

图9是示出根据第一实施方式的异常检测处理的示例的流程图。图10是示出在根据第一实施方式的异常检测处理中在显示单元1013上显示的图像的示例的示意图。

在图9中，在步骤S10中，检测***1a利用传感器单元10的光检测测距单元11对扫描范围40的整个区域进行扫描，以获取扫描范围40中的点群。在下一步骤S11中，感测***1a基于步骤S10中的扫描所获取的点群，利用振动分布生成单元125生成扫描范围40的二维(2D)图像，并且生成用于以2D显示模式显示2D图像的显示控制信息。由于点群仅具有与显示有关的亮度信息，所以以2D显示模式显示的2D图像是单色图像。例如，通过信息处理装置1000的显示单元1013显示2D图像。

在下一步骤S12中，感测***1a确定是否已经针对在步骤S10中获取的扫描范围40中的点群设置了ROI(感兴趣区域)。

例如，感测***1a根据用户对在步骤S11中由显示单元1013显示的2D图像的操作设置ROI。当利用振动分布生成单元125确定未设置ROI时(步骤S12，“否”)，感测***1a将处理返回至步骤S12。另一方面，当利用振动分布生成单元125确定设置了ROI时(步骤S12，“是”)，感测***1a将处理转移至步骤S13。

在图10的左上方示出的图像300a用矩形表示其中设置了ROI 301的2D图像的示例。图像300a是基于通过光检测测距单元11对扫描范围40进行扫描而获取的点群的2D图像。因此，图像300a具有与扫描范围40中由光检测测距单元11发射激光的点220₁、220₂、220₃、…(参照图6)相对应的分辨率。

在图9中，在步骤S13中，感测***1a利用振动分布生成单元125呈现设置的ROI301。更具体地，振动分布生成单元125使显示单元1013以3D显示模式显示设置ROI 301。在3D显示模式下，振动分布生成单元125基于作为3D对象识别单元122的对象识别结果的3D识别信息，显示包括在ROI 301中的检测到了振动分布的目标候选。

在图10的右上方示出的图像300b表示在图的左上方的图像300a中的ROI 301被放大并显示，并且显示目标候选的示例。在图像300b的示例中，通过阴影线指示基于3D识别信息提取的作为目标区域的候选的区域310a至310e。这些区域310a至310e例如通过3D对象识别单元122被识别为ROI 301中的不同部分。

在图9中，在下一步骤S14中，感测***1a利用振动分布生成单元125确定是否从在步骤S13中呈现为目标区域的候选的区域310a至310e中选择用于振动分布检测的目标。

例如，感测***1a根据用户对步骤S13中由显示单元1013显示的图像300b的操作，从区域310a至310e中选择要作为振动分布检测的目标的目标区域。当利用振动分布生成单元125确定未设置目标区域时(步骤S14，“否”)，感测***1a将处理返回至步骤S14。另一方面，当利用振动分布生成单元125确定已经选择了目标区域时(步骤S14，“是”)，感测***1a将处理转移至步骤S15。

在图10的左下示出的图像300c表示在步骤S14中从目标区域的候选中选择了区域310b作为目标区域的情况的示例。注意，这里，为了说明，从分别作为目标区域的候选的多个区域310a至310e中选择一个区域310b作为用于振动分布检测的目标区域。然而，不仅该示例，还可以选择多个区域作为目标区域。

在步骤S15中，感测***1a利用振动分布生成单元125检测在步骤S14中选择的目标区域(在此示例中为区域310b)的振动分布，并输出目标区域中的振动分布。以下说明振动分布生成单元125的振动分布生成处理。

在图10的右下方示出的图像300d是示意性地表示由振动分布生成单元125生成的目标区域(在该示例中，区域310b)中的振动分布的图像。在图像300d中，作为目标区域的区域310b根据振动的程度被划分为区域320a至320d，并且示出了区域310b中的振动分布。图像300d可显示在显示单元1013上并呈现给用户，或者可以是由振动分布生成单元125内部包括的信息。

指示振动程度的振动参数可以是例如频率F(Hz)、位移D(mm)、速度v(m/s)和加速度A(m/s²)。振动分布例如可以使用频率F、位移D、速度v和加速度A中的任意值作为代表值来表示，或者可以由通过组合这些振动参数中的两个或更多个参数而获得的值来表示。不仅如此，例如还可以针对这些振动参数中的每个振动参数计算分布。

在下一步骤S16中，感测***1a通过异常检测单元20基于从振动分布生成单元125输出的振动分布，确定目标区域中是否存在振动程度超过阈值的区域。例如，振动分布生成单元125对上述振动程度执行阈值确定。

当由异常检测单元20确定在目标区域中存在振动程度超过阈值的区域时(步骤S16，“是”)，感测***1a将处理转移至步骤S17并且确定已经在目标区域中检测到异常。另一方面，当异常检测单元20确定在目标区域中不存在振动程度超过阈值的区域时(步骤S16，“否”)，感测***1a将处理转移至步骤S18并确定在目标区域中不存在异常。

在步骤S17或步骤S18中的处理之后，根据图9的流程图的一系列处理结束。

图11是示出根据第一实施方式的振动分布生成处理的示例的流程图。图11的流程图是更详细地示出上述图9的步骤S15中的处理的示例。例如，在振动分布生成单元125中执行该流程图。

在图11中，左侧的步骤S100至步骤S104中的处理是用于使用点群的速度信息测量深度方向和视场方向上的振动分布的处理。右侧的步骤S110至步骤S114的处理是用于使用点群的亮度信息来测量视场方向上的振动分布的处理。在以下的说明中，在使用速度信息时，将点群适当地称为速度点群，并且在使用亮度信息时，将点群适当地称为亮度点群。

首先，说明在步骤S100至步骤S104中使用速度点群在深度方向和视场方向上的振动分布测量处理。

在图11中，在步骤S100中，振动分布生成单元125基于光检测测距单元11的输出，在扫描范围40的整个区域中获取由速度点群构成的点群帧。在下一个步骤S101中，振动分布生成单元125获取通过3D对象识别单元122对由速度点群构成的点群帧的识别处理而获得的3D识别信息。3D识别信息包括从由速度点群构成的点群帧中识别的目标的3D位置、3D尺寸、速度、属性和可靠性。

在下一步骤S102中，振动分布生成单元125从点群帧提取目标区域的速度点群。在步骤S102中提取的速度点群具有3D信息。振动分布生成单元125可以使存储单元126存储所提取的目标区域的速度点群。

在下一步骤S103中，振动分布生成单元125确定是否已经执行了深度方向上的振动检测所必需的预定数量的点群帧的测量。当确定还未执行该预定数量的点群帧的测量时(步骤S103，“否”)，振动分布生成单元125将处理返回至步骤S100，获取下一个点群帧，并且对所获取的点群帧执行测量(步骤S101、步骤S102)。

另一方面，当确定已经执行了该预定数量的点群帧的测量时(步骤S103，“是”)，振动分布生成单元125使处理前进至步骤S104。

在步骤S104中，振动分布生成单元125基于直到步骤S103为止的处理中获取的速度点群，例如利用参照图2和图3说明的方法来计算深度方向上的振动分布(参照图2)和视场方向上的振动分布(参照图3)。

接下来，说明步骤S110至步骤S114中使用亮度点群的视场方向上的振动分布测量处理。

在图11中，在步骤S110中，振动分布生成单元125基于光检测测距单元11的输出，在扫描范围40的整个区域中获取由亮度点群构成的点群帧。在下一步骤S111中，振动分布生成单元125获取通过3D对象识别单元122对由亮度点群构成的点群帧的识别处理而获得的3D识别信息。3D识别信息包括从由亮度点群构成的点群帧中识别的目标的3D位置、3D尺寸、速度、属性和可靠性。在下一步骤S112中，振动分布生成单元125从点群帧提取目标区域的亮度点群。振动分布生成单元125可以使存储单元126存储所提取的目标区域的亮度点群。

振动分布生成单元125从由亮度点群构成的点群帧中获取2D信息。例如，振动分布生成单元125将关于包括在点群帧中的各点的信息投影到视场方向上的表面上。因此，在步骤S112中提取的亮度点群具有2D信息。

在下一步骤S113中，振动分布生成单元125确定是否已经执行了对视场方向上的振动检测所必需的预定数量的点群帧的测量。当确定还未执行预定数量的点群帧的测量时(步骤S113，“否”)，振动分布生成单元125将处理返回至步骤S100，获取下一个点群帧，并且对所获取的点群帧执行测量(步骤S111，步骤S112)。

另一方面，当确定已经执行了预定数量的点群帧的测量时(步骤S113，“是”)，振动分布生成单元125将处理转移至步骤S114。

在步骤S114中，例如，振动分布生成单元125基于在直至步骤S113的处理中获取的多个帧的亮度点群(其分别是2D信息)，利用参考图1的部分(c)说明的方法来计算视场方向上的振动分布。

在步骤S104和步骤S114的处理结束后，振动分布生成单元125使处理转移到步骤S120。在步骤S120中，振动分布生成单元125对在步骤S104中计算出的深度方向和视场方向上的振动分布和在步骤S114中计算出的视场方向上的振动分布进行整合，以计算目标区域的振动分布，并且将表示计算出的振动分布的振动分布信息输出到异常检测单元20。

注意，在图11的流程图中，步骤S100中的处理和步骤S110中的处理可以彼此独立地执行。不仅如此，步骤S100和步骤S110中的处理可以同步执行。此外，步骤S100和步骤S110可通过针对扫描范围40的同一扫描进行处理。在这种情况下，在步骤S103和S113中确定的预定数量是在步骤S101和步骤S113中的相同数量。

如上所述，在第一实施方式中，对利用FMCW-LiDAR进行距离测量的光检测测距单元11所输出的点群进行3D对象识别处理，并且基于该3D对象识别处理的识别结果，提取目标区域的点群。因此，可以测量目标区域中的振动分布。根据测量的振动分布，能够检测目标对象的异常。

(4.第二实施方式)

接下来，说明本发明的第二实施方式。在第二实施方式中，进一步对ROI设置目标区域，并且光检测测距单元11的扫描范围被限制到该目标区域。通过以这种方式限制扫描范围，可使扫描范围中的分辨率可变，并且例如甚至对于存在于远距离处的目标对象，也可检测振动分布。

图12是示出了根据第二实施方式的感测***的示例的配置的框图。另外，在以下的说明中，省略对与上述的图8共同的部分的详细说明。

在图12中，根据第二实施方式的感测***1b包括传感器单元10a、信号处理单元12b和异常检测单元20。传感器单元10a包括光检测测距单元11a。光检测测距单元11a具有与参见图5说明的光检测测距单元11相同的配置，并且除了根据在内部生成的扫描控制信号以外，还能够根据从外部提供的局部扫描控制信号来控制扫描单元100进行扫描的扫描范围。例如，扫描单元100能够根据局部扫描控制信号，将光检测测距单元11a的整个区域的扫描范围40中的任意区域作为新的扫描范围进行密集扫描。

信号处理单元12b具有其中局部扫描控制单元170被添加到根据图8中示出的第一实施方式的感测***1a中的信号处理单元12a的配置。局部扫描控制单元170基于目标区域设置信息和从3D对象识别单元122输出的3D识别信息，在扫描范围40中设置比光检测测距单元11的整个扫描范围40窄的目标区域。局部扫描控制单元170输出用于扫描设置的目标区域的局部扫描控制信号。

图13是表示第二实施方式的异常检测处理的示例的流程图。图14是示出了在根据第二实施方式的异常检测处理中在显示单元1013上显示的图像的示例的示意图。注意，在参考图13的说明中，适当地省略对于与上述图9的流程图共同的部分的说明。

在图13中，在步骤S20中，检测***1b利用传感器单元10的光检测测距单元11对扫描范围40的整个区域进行扫描，获取扫描范围40的点群。在下一步骤S21中，感测***1b利用振动分布生成单元125基于通过步骤S20中的扫描所获取的点群来生成扫描范围40的2D图像，并且生成用于以2D显示模式显示2D图像的显示控制信息。由于点群仅具有与显示有关的亮度信息，所以以2D显示模式显示的2D图像是单色图像。例如，2D图像通过信息处理装置1000的显示单元1013显示。

在下一步骤S22中，感测***1b确定是否已经为在步骤S20中获取的扫描范围40中的点群设置了ROI。ROI可以根据用户操作来设置，例如，如图9的流程图的步骤S12所解释的。当利用振动分布生成单元125确定未设置ROI时(步骤S22，“否”)，感测***1b将处理返回至步骤S22。另一方面，当利用振动分布生成单元125确定设置了ROI时(步骤S22，“是”)，感测***1b将处理转移至步骤S23。

在图14的左上方示出的图像400a用矩形表示设置了ROI 401的2D图像的示例。图像400a是基于通过光检测测距单元11a扫描的整个区域的扫描范围40而获取的点群的2D图像。因此，图像400a具有与在扫描范围40中由光检测测距单元11a发射激光的点220₁、220₂、220₃、…相对应的分辨率。

在步骤S23中，感测***1b利用光检测测距单元11对ROI 401进行扫描。具体地说，感测***1b利用局部扫描控制单元170生成用于对ROI 401进行扫描的局部扫描控制信号，并将局部扫描控制信号输出到光检测测距单元11a。光检测测距单元11a根据从局部扫描控制单元170提供的局部扫描控制信号，对ROI 401进行扫描。

在步骤S23中，光检测测距单元11a可以以比在步骤S20中整个区域的扫描更高的密度对ROI 401进行扫描。例如，局部扫描控制单元170生成用于控制光检测测距单元11a以使啁啾光的发射点之间的间隔与扫描整个区域的情况相比变窄的局部扫描控制信号，并将该局部扫描控制信号提供给光检测测距单元11a。如上所述，通过以比对整个区域的扫描更高的密度执行扫描，可以获得比通过对整个区域的扫描所获得的点群具有更高的分辨率的点群。

在下一步骤S24中，感测***1b利用振动分布生成单元125基于通过对步骤S23中的ROI的扫描所获取的点群，使显示单元1013在3D显示模式下显示ROI 401的图像。由于在步骤S23中以高密度扫描ROI 401，所以这里显示的图像被设置为比在步骤S21中显示的2D图像更高的分辨率。在3D显示模式下，振动分布生成单元125基于作为3D对象识别单元122的对象识别结果的3D识别信息，显示包括在ROI 401中的检测到振动分布的目标候选。

在图14的右上方示出的图像400b表示放大并显示在图的左上方的图像400a中的ROI 401并且显示目标候选的示例。在图像400b的示例中，通过阴影线分别表示基于3D识别信息提取为目标候选的区域410a至410e。这些区域410a至410e例如由3D对象识别单元122识别为ROI 401中的不同部分。

在图13中，在下一步骤S25中，感测***1b利用振动分布生成单元125确定是否已经从在步骤S24中呈现为目标候选的区域410a到410e中选择了振动分布检测的目标。

例如，在步骤S24中，感测***1b根据用户对由显示单元1013显示的图像400b的操作，从区域410a至410e中选择要经受振动分布检测的目标。当利用振动分布生成单元125确定未设置目标时(步骤S25，“否”)，感测***1b将处理返回至步骤S25。另一方面，当利用振动分布生成单元125确定选择了目标时(步骤S25，“是”)，感测***1b将处理转移至步骤S26。

在图14的左下方示出的图像400c表示在步骤S25中从目标候选中选择了区域410b作为目标的情况的示例。注意，也可以选择多个区域作为目标。

在接下来的步骤S26中，感测***1b利用光检测测距单元11对在步骤S25中选择的目标区域(在本例中为区域410b)进行扫描。具体地说，感测***1b利用局部扫描控制单元170生成用于对目标区域进行扫描的局部扫描控制信号，并将该局部扫描控制信号输出到光检测测距单元11a。光检测测距单元11a根据从局部扫描控制单元170提供的局部扫描控制信号，对目标区域进行扫描。

在步骤S26中，光检测测距单元11a能够以比在步骤S20中对整个区域的扫描和在步骤S23中对ROI 401的扫描更高的密度对目标区域进行扫描。例如，局部扫描控制单元170能够生成局部扫描控制信号，该局部扫描控制信号用于控制光检测测距单元11a以与扫描ROI 401的整个区域时相比，进一步缩小啁啾光的发射点之间的间隔。如上所述，通过以比对整个区域和ROI 401的扫描更高的密度执行对目标区域的扫描，可以获取与通过对整个区域的扫描或对ROI 401的扫描所获取的点群相比，具有更高的分辨率的点群。

在下一步骤S27中，感测***1b利用振动分布生成单元125检测在步骤S26中扫描的目标区域(在此示例中的区域410b)中的振动分布，并且输出目标区域中的振动分布。以下说明振动分布生成单元125的振动分布生成处理。

图14右下所示的图像400d是示意性地表示振动分布生成单元125所生成的目标区域(在该例中为区域410b)的振动分布的图像。在图像400d中，作为目标区域的区域410b根据振动的程度被划分为区域420a至420d，并且示出了区域410b中的振动分布。

在下一步骤S28中，感测***1b基于从振动分布生成单元125输出的振动分布，通过异常检测单元20确定目标区域中是否存在振动程度超过阈值的区域。例如，振动分布生成单元125对上述振动程度进行阈值确定。

当由异常检测单元20确定在目标区域中存在振动程度超过阈值的区域(步骤S28，“是”)时，感测***1b将处理转移至步骤S29并且确定在目标区域中检测到异常。另一方面，当异常检测单元20确定在目标区域中不存在振动程度超过阈值的区域时(步骤S28，“否”)，感测***1b将处理转移至步骤S30并且确定在目标区域中不存在异常。

在步骤S29或者步骤S30中的处理之后，通过图13的流程图的一系列处理结束。

图15是示出根据第二实施方式的振动分布生成处理的示例的流程图。图15中所示的流程图是更详细地示出了上述图13中的步骤S26和步骤S27中的处理的示例。例如，在振动分布生成单元125中执行该流程图。注意，在参考图15的说明中，适当地省略对于与上述图11的流程图共同的部分的说明。

在图15中，左侧的步骤S200至步骤S204中的处理是使用速度点群来测量深度方向和视场方向上的振动分布的处理。右侧的步骤S210至步骤S214的处理是使用亮度点群来测量视场方向上的振动分布的处理。

首先，说明步骤S200至步骤S204中使用速度点群的深度方向和视场方向上的振动分布测量处理。

图15的步骤S200的处理对应于图13的流程图中的步骤S26的处理。在步骤S200中，振动分布生成单元125基于光检测测距单元11的输出，获取目标区域内由速度点群构成的点群帧。在下一个步骤S201中，振动分布生成单元125获取通过3D对象识别单元122对由速度点群构成的点群帧的识别处理而获得的3D识别信息。在下一步骤S202中，振动分布生成单元125从该点群帧中提取一速度点群。在步骤S02中提取的速度点群具有3D信息。振动分布生成单元125可以使存储单元126a存储所提取的目标区域的速度点群。

在接下来的步骤S203中，振动分布生成单元125确定是否已经执行了深度方向上的振动检测所必需的预定数量的点群帧的测量。当确定还未执行预定数量的点群帧的测量时(步骤S203，“否”)，振动分布生成单元125将处理返回至步骤S200，获取下一个点群帧，并且执行对所获取的点群帧的测量(步骤S201、步骤S202)。

另一方面，当确定已经执行了预定数量的点群帧的测量时(步骤S203，“是”)，振动分布生成单元125将处理转移至步骤S204。

在步骤S204中，振动分布生成单元125基于直到步骤S203为止的处理中获取的速度点群，利用例如参考图2和图3说明的方法来计算深度方向上的振动分布和视场方向上的振动分布。

接下来，说明步骤S210至步骤S214中使用亮度点群的视场方向上的振动分布测量处理。

图15中的步骤S210中的处理对应于图13的流程图中的步骤S26中的处理。在步骤S210中，振动分布生成单元125基于光检测测距单元11的输出，获取目标区域内由亮度点群构成的点群帧。在下一个步骤S211中，振动分布生成单元125获取通过3D对象识别单元122对由亮度点群构成的点群帧的识别处理而获得的3D识别信息。

在下一个步骤S212中，振动分布生成单元125从点群帧中提取亮度点群。振动分布生成单元125从由亮度点群构成的点群帧中提取2D信息。例如，振动分布生成单元125将关于包括在点群帧中的各点的信息投影到视场方向上的表面上。因此，在步骤S212中提取的亮度点群具有2D信息。振动分布生成单元125可以使存储单元126a存储所提取的目标区域的2D信息。

在接下来的步骤S213中，振动分布生成单元125确定是否进行了针对视场方向的振动检测所必需的预定数量的点群帧的测量。当确定还未执行预定数量的点群帧的测量时(步骤S213，“否”)，振动分布生成单元125将处理返回至步骤S200，获取下一个点群帧，并且执行对所获取的点群帧的测量(步骤S211，步骤S212)。

另一方面，当确定已经执行了预定数量的点群帧的测量时(步骤S213，“是”)，振动分布生成单元125将处理转移至步骤S214。

在步骤S214中，振动分布生成单元125例如利用在图1的部分(c)中说明的方法，基于在步骤S213为止的处理中获取的多个帧的亮度点群(其分别为2D信息)，计算视场方向的振动分布。

在步骤S204和步骤S214中的处理结束之后，振动分布生成单元125将处理转移至步骤S220。在步骤S220中，振动分布生成单元125对在步骤S204中计算出的深度方向和视场方向的振动分布和在步骤S214中计算出的视场方向的振动分布进行整合，以计算目标区域的振动分布，并且将表示计算出的振动分布的振动分布信息输出到异常检测单元20。

注意，如图11的流程图一样，在图15的流程图中，可以彼此独立地执行步骤S200至步骤S204中的处理和步骤S210至步骤S214中的处理。不仅如此，步骤S200至步骤S204中的处理和步骤S210至步骤S214中的处理可以同步执行。此外，步骤S200至步骤S204和步骤S210至步骤S214可以通过针对共同扫描范围的同一扫描进行处理。在这种情况下，在步骤S203和步骤S213中确定的预定数量是在步骤S201和步骤S213中的相同数量。

如上所述，在第二实施方式中，对利用FMCW-LiDAR进行距离测量的光检测测距单元11a所输出的点群进行3D对象识别处理，根据该3D对象识别处理的识别结果来提取目标区域的点群。此时，在第二实施方式中，将比光检测测距单元11a的整个区域的扫描范围40窄的范围设为目标区域，并且针对扫描范围40的扫描，以高密度执行目标区域的操作。因此，能够更高精度地测量目标区域的振动分布。基于测量的振动分布，能够更高精度地执行目标对象的异常检测。

(5.第三实施方式)

接下来，说明本发明的第三实施方式。第三实施方式是在上述第二实施方式的传感器单元10a中，除了光检测测距单元11a以外还设置成像器件，并且使用由光检测测距单元11a获取的点群和由成像器件捕获到的捕获图像来执行对象识别，以获得识别信息的示例。

能够获取具有关于红色(R)、绿色(G)和蓝色(B)的颜色的信息的捕获图像的成像器件通常具有比通过FMCW-LiDAR的光检测测距单元11a高得多的分辨率。因此，与通过光检测测距单元11a仅使用点群信息执行检测和识别处理的情况相比，通过使用光检测测距单元11a和成像器件执行识别处理，能够更高精度地执行检测和识别处理。

图16是示出了根据第三实施方式的感测***的示例的配置的框图。另外，在以下的说明中，省略与上述图12共同的部分的详细说明。

在图16中，根据第三实施方式的感测***1c包括传感器单元10b、信号处理单元12c和异常检测单元20a。

传感器单元10b包括光检测测距单元11a和相机13。相机13是包括图像传感器的成像器件，图像传感器能够获取具有上述RGB的每种颜色的信息(下文中适当地称为颜色信息)的捕获图像，并且能够根据从外部提供的视角控制信号控制成像范围在某一视角和全视角之间。

图像传感器包括例如像素阵列和用于驱动包括在像素阵列中的像素的驱动电路，在像素阵列中，分别输出与接收的光对应的信号的像素以二维格子形状布置。相机13包括例如变焦机构和成像方向控制机构，并且能够根据视角控制信号改变视角和成像方向并且在预定限制内放大并成像期望的对象。变焦机构和成像方向控制机构可以是光学的或者可以是电子的。

在图16中，信号处理单元12c包括点群组合单元160、3D对象检测单元121a、3D对象识别单元122a、图像组合单元150、2D(二维)对象检测单元151、2D对象识别单元152、以及I/F单元123a。

点群组合单元160、3D对象检测单元121a和3D对象识别单元122a执行关于点群信息的处理。图像组合单元150、2D对象检测单元151和2D对象识别单元152执行关于捕获的图像的处理。

点群组合单元160从光检测测距单元11a获取点群，并且从相机13获取捕获图像。点群组合单元160基于点群和捕获图像组合颜色信息和其他信息，并生成组合点群，该组合点群是通过向点群的测量点添加新信息等而获得的点群。

更具体地，点群组合单元160利用坐标系转换来参照捕获图像中的与点群中的测量点的角坐标相对应的像素，并且针对测量点获取表示该点的颜色信息。测量点对应于针对参照图6解释的点220₁、220₂、220₃、…接收反射光的点。点群组合单元160将所获取的测量点的颜色信息添加到测量点的测量信息中。点群组合单元160输出其中测量点具有3D坐标信息、速度信息、亮度信息和颜色信息的组合点群。

注意，优选例如在预先进行基于光检测测距单元11a与相机13之间的位置关系的校准处理之后，在速度点群的角坐标和捕获图像内的像素的坐标上反映校准处理的校准结果，执行点群与捕获图像之间的坐标系转换。

3D对象检测单元121a获取从点群组合单元160输出的组合点群，并检测指示包括在所获取的组合点群中的3D对象的测量点。3D对象检测单元121a通过指示从组合点群中检测到的3D对象的测量点来提取点群，作为局部点群。3D对象检测单元121a对局部点群的提取处理和对区域信息的生成处理等同于参照图8说明的3D对象检测单元121中的处理的种类。因此，此处省略处理的详细说明。

3D对象检测单元121a输出局部点群、关于局部点群的3D坐标、速度信息和亮度信息，作为指示3D检测结果的3D检测信息。3D检测信息被提供给下面说明的3D对象识别单元122a和2D对象检测单元151。此时，3D对象检测单元121a可将指示与所检测的局部点群相对应的3D对象的标签信息添加到局部点群的区域中，并且将添加的标签信息包括在3D检测结果中。

3D对象识别单元122a获取从3D对象检测单元121a输出的3D检测信息。3D对象识别单元122a获取从下面说明的2D对象识别单元152输出的区域信息和属性信息。3D对象识别单元122a根据所获取的3D检测信息以及从2D对象识别单元152获取的区域信息，执行局部点群的对象识别。

基于3D检测信息和区域信息，当包括在局部点群内的点的数量等于或大于可用于识别目标对象的预定数量时，3D对象识别单元122a对局部速度点群执行点群识别处理。3D对象识别单元122a估计关于由点群识别处理识别的对象的属性信息。在以下的说明中，将基于点群的属性信息称为3D属性信息。

3D对象识别单元122a可以对从光检测测距单元11a输出的点群当中的与3D对象相对应的局部点群执行对象识别处理。例如，3D对象识别单元122a能够从光检测测距单元11a输出的点群中去除除了局部点群以外的部分的点群，并且能够防止对该部分进行对象识别处理。因此，可以减少由3D对象识别单元122a进行的识别处理的负担。

当估计的3D属性信息的可靠性等于或高于固定水平时，即，当相当成功地执行了识别处理时，3D对象识别单元122a整合表示执行测量的时间的时间信息、3D区域信息以及3D属性信息，并且输出整合信息作为3D识别信息。

注意，作为识别处理的结果，属性信息是针对点群中的每个点或图像的每个像素指示该点或该像素的单位所属的目标对象的属性(诸如目标对象的类型和特定分类)的信息。例如，当目标对象是人时，3D属性信息可表示为被赋予点群中的点并属于人的特定数值。

图像组合单元150从光检测测距单元11a获取速度点群，并且从相机13获取捕获图像。图像组合单元150基于速度点群和捕获图像生成距离图像和速度图像。距离图像是包括表示距测量点的距离的信息的图像。速度图像是基于多普勒效应的图像，并且包括例如表示速度和速度相对于测量点的方向的信息。

图像组合单元150在使坐标与坐标转换匹配的同时组合距离图像、速度图像和捕获图像，以利用RGB图像生成组合图像。这里生成的组合图像是其中像素具有颜色、距离和速度信息的图像。应注意，距离图像和速度图像的分辨率低于从相机13输出的捕获图像的分辨率。因此，图像组合单元150可通过对距离图像和速度图像应用诸如放大的处理来将分辨率与捕获图像的分辨率相匹配。

图像组合单元150输出生成的组合图像。注意，组合图像指示通过组合距离、速度和其他信息而将新信息添加到图像的像素的图像。组合图像包括每个像素的2D坐标信息、颜色信息、距离信息、速度信息和亮度信息。组合的图像被提供给2D对象检测单元151和I/F单元123a。

2D对象检测单元151基于从3D对象检测单元121a输出的3D区域信息，从图像组合单元150提供的组合图像中提取与3D区域信息对应的部分图像。2D对象检测单元151从所提取的部分图像中检测对象，并且生成指示例如具有包括所检测的对象的最小面积的矩形区域的区域信息。基于所捕获图像的区域信息被称为2D区域信息。2D区域信息由一点或像素的集合来表示，在该点或像素的集合中，光检测测距单元11a对每个测量点或像素赋予的值都在指定范围内。

2D对象检测单元151输出所生成的部分图像和2D区域信息，作为2D检测信息。

2D对象识别单元152获取包括在从2D对象检测单元151输出的2D检测信息中的部分图像，对所获取的部分图像执行图像识别处理(诸如推断处理)，并估计与该部分图像相关的属性信息。在这种情况下，例如，当目标为车辆时，属性信息表示为被赋予图像的像素的、表示目标属于车辆的特定数值。在以下说明中，将基于局部图像(捕获图像)的属性信息称为2D属性信息。

当估计的2D属性信息的可靠性等于或高于固定水平时，即，当相当成功地执行了识别处理时，2D对象识别单元152整合每个像素的2D坐标信息、速度信息、属性信息、可靠性和2D大小信息，并且输出整合的信息作为2D识别信息。注意，当估计的2D属性信息的可靠性低于固定水平时，2D对象识别单元152可以整合并输出除属性信息之外的各种信息。

I/F单元123a接收从点群组合单元160输出的组合点群和从3D对象识别单元122a输出的3D识别信息。从图像组合单元150输出的组合图像和从2D对象识别单元152输出的2D识别信息被输入到I/F单元123a。I/F单元123a根据例如来自外部的设置，从输入的组合点群、3D识别信息、组合图像和2D识别信息中选择要输出的信息。

与图12中的局部扫描控制单元170相同，局部扫描控制单元170基于从3D对象识别单元122a输出的目标区域设置信息和3D识别信息，在扫描范围40内设置目标区域，目标区域是比光检测测距单元11a的整个扫描范围40更窄的扫描范围。局部扫描控制单元170输出用于扫描设置的目标区域的局部扫描控制信号。

基于从2D对象识别单元输出的目标区域设置信息和2D识别信息，视角控制单元171针对整个视角设置具有比相机13的整个视角(整个成像范围)窄的视角的目标区域。这里，共同的目标区域设置信息被输入到视角控制单元171和局部扫描控制单元170。因此，由视角控制单元171设置的目标区域被设置为与局部扫描控制单元170设置的目标区域相对应的位置和大小。

I/F单元123a接收从点群组合单元160输出的组合点群和从3D对象识别单元122a输出的3D识别信息。从图像组合单元150输出的组合图像和从2D对象识别单元152输出的2D识别信息被输入到I/F单元123a。

I/F单元123a将从点群组合单元160提供的整个区域的组合点群和从图像组合单元150提供的整个区域的组合图像输出至异常检测单元20a。I/F单元123a向振动分布生成单元125a输出整个区域的组合点群、整个区域的组合图像、从3D对象识别单元122a提供的3D识别信息、以及从2D对象识别单元152提供的2D识别信息。

振动分布生成单元125a基于从I/F单元123a提供的整个区域的组合点群、整个区域的组合图像、3D识别信息和2D识别信息来估计目标对象50中的振动的分布，并生成振动分布信息。振动分布生成单元125a可以使用存储在存储单元126a中的所提供的各种信息(整个区域的组合点群、整个区域的组合图像、3D识别信息和2D识别信息)和各种过去的信息来估计目标对象50的振动分布。

振动分布生成单元125a将表示估计出的振动分布的振动分布信息提供给异常检测单元20a。振动分布生成单元125a将整个区域的组合点群、整个区域的组合图像、3D识别信息和2D识别信息作为过去的信息存储在存储单元126a中。

振动分布生成单元125a可以基于从I/F单元123a提供的整个区域的组合点群、整个区域的组合图像、3D识别信息和2D识别信息，生成用于显示要呈现给用户的图像的显示控制信息。

异常检测单元20a基于从信号处理单元12c提供的组合点群、整个区域的组合图像和振动分布信息来检测目标对象50的异常。例如，异常检测单元20a也可以基于振动分布信息生成评价值，对所生成的评价值执行阈值确定，以确定目标对象50是否存在异常。异常检测单元20a例如将目标对象50的异常的检测结果输出到外部。

图17是表示第三实施方式的异常检测处理的示例的流程图。图18是示出在根据第三实施方式的异常检测处理中显示在显示单元1013上的图像的示例的示意图。注意，在参考图17的说明中，适当地省略对于与上述图13的流程图共同的部分的说明。

在图17中，在步骤S40中，检测***1c利用传感器单元10b的光检测测距单元11a对扫描范围40的整个区域进行扫描，并获取扫描范围40的点群。在步骤S40中，感测***1c利用相机13在与扫描范围40对应的成像范围内执行成像并且获取捕获图像。

在下一步骤S41中，感测***1c利用振动分布生成单元125a基于在步骤S40中由相机13捕获的捕获图像来生成与扫描范围40有关的2D图像，并且生成用于在2D显示模式下显示2D图像的显示控制信息。由于相机13获取到的捕获图像具有RGB颜色的颜色信息，因此，在2D显示模式下显示的2D图像是彩色图像。通常，相机13的捕获图像的分辨率远高于光检测测距单元11a获取的点群的分辨率。2D图像也是高分辨率图像。2D图像例如通过信息处理装置1000的显示单元1013显示。

在下一步骤S42中，感测***1c确定是否为在步骤S40中获取的扫描范围40设置了ROI。ROI可以根据用户操作来设置，例如，如图13的流程图的步骤S22中所解释的。当利用振动分布生成单元125a确定未设置ROI时(步骤S42，“否”)，感测***1c将处理返回至步骤S42。另一方面，在利用振动分布生成单元125a确定设置了ROI的情况下(步骤S42：“是”)，感测***1c使处理转移到步骤S43。

在图18的左上方示出的图像500a用矩形表示设置了ROI 501的2D图像的示例。图像500a是基于由相机13捕获的捕获图像的2D图像。因此，图像500a具有与相机13中的像素阵列对应的分辨率。

在步骤S43中，感测***1c利用光检测测距单元11a对ROI 501进行扫描。具体地，感测***1c利用局部扫描控制单元170生成用于对ROI 501进行扫描的局部扫描控制信号，并将局部扫描控制信号输出到光检测测距单元11a。光检测测距单元11a根据从局部扫描控制单元170提供的局部扫描控制信号，对ROI 501进行扫描。如图13的步骤S23所示，在步骤S43中，光检测测距单元11a能够以比步骤S40中的整个区域的扫描更高的密度对ROI 501进行扫描，并且能够获取更高的分辨率的点群。

在下一步骤S44中，感测***1c利用振动分布生成单元125a基于通过在步骤S43中扫描ROI获得的点群，使显示单元1013在3D显示模式下显示ROI 501的图像。这里显示的图像是基于通过组合捕获图像和点群的点群组合单元160获得的组合点群的图像。因此，例如，与图13中的步骤S24中显示的ROI 401的图像相比，步骤S44中显示的ROI 501的图像是更高分辨率的图像。在3D显示模式下，振动分布生成单元125a基于作为3D对象识别单元122a的对象识别结果的3D识别信息，使显示单元1013显示包括在ROI 501中的检测到了振动分布的目标候选。

在图18的右上方示出的图像500b表示在图的左上方的图像500a中的ROI 501被放大并显示并且显示目标候选的示例。在图像500b的示例中，通过阴影线分别表示基于3D识别信息提取为目标候选的区域510a至510e。例如，由3D对象识别单元122a将这些区域510a到510e识别为ROI 501中的不同部分。

在图17中，在下一步骤S45中，感测***1c利用振动分布生成单元125a确定是否从在步骤S44中呈现为目标候选的区域510a至510e中选择了用于振动分布检测的目标。

例如，在步骤S44中，感测***1c根据用户对显示单元1013显示的图像500b的操作，从区域510a至510e中选择要进行振动分布检测的目标。当利用振动分布生成单元125a确定未设置目标时(步骤S45，“否”)，感测***1c将处理返回至步骤S45。另一方面，当利用振动分布生成单元125a确定已经选择了目标时(步骤S45，“是”)，感测***1c将处理转移至步骤S46。

图18的左下方所示的图像500c表示在步骤S45中从目标候选中选择了区域510b作为目标的情况的示例。注意，也可以选择多个区域作为目标。

在下一个步骤S46中，感测***1c利用光检测测距单元11a对在步骤S45中选择的目标区域(在本例中为区域510b)进行扫描。

更具体地，感测***1c利用局部扫描控制单元170生成用于对目标区域进行扫描的局部扫描控制信号，并将该局部扫描控制信号输出到光检测测距单元11a。光检测测距单元11a根据从局部扫描控制单元170提供的局部扫描控制信号，对目标区域进行扫描。感测***1c利用视角控制单元171生成用于将目标区域设置为成像范围的视角控制信号并且将该视角控制信号输出至相机13。视角控制信号包括例如用于将执行成像的视角改变成对应于目标区域的视角的变焦控制信息和用于沿目标区域的方向进行成像的成像方向控制信息。

与图13的步骤S26的说明相同，在步骤S46中，光检测测距单元11a能够以比在步骤S40中对整个区域的扫描和在步骤S43中对ROI 501的扫描高的密度对目标区域进行扫描。因此，可以获取具有比通过扫描整个区域或扫描ROI 501获取的点群更高的分辨率的点群。

相机13可以例如通过执行光学变焦操作以相机13的分辨率对目标区域成像。如果相机13的分辨率足够高，则即使当以电子方式进行变焦操作(例如，通过图像处理放大)时，也能够以比点群更高的分辨率对目标区域成像。

在下一步骤S47中，感测***1c利用振动分布生成单元125a检测在步骤S46中扫描并成像的目标区域(在该示例中为区域510b)的振动分布，并且输出目标区域中的振动分布。下面，说明振动分布生成单元125a的振动分布生成处理。

图18的右下方所示的图像500d是示意性示出由振动分布生成单元125a生成的目标区域(在该示例中为区域510b)中的振动分布的图像。在图像500d中，作为目标区域的区域510b根据振动的程度被划分为区域520a至520d。示出了区域510b的振动分布。

在下一步骤S48中，感测***1c利用异常检测单元20a基于从振动分布生成单元125a输出的振动分布，确定目标区域中是否存在振动程度超过阈值的区域。例如，振动分布生成单元125a对上述振动程度进行阈值确定。

当由异常检测单元20a确定为在目标区域中存在振动程度超过阈值的区域时(步骤S48，“是”)，感测***1c将处理转移至步骤S49并确定在目标区域中检测到异常。另一方面，当由异常检测单元20a确定在目标区域中不存在振动程度超过阈值的区域时(步骤S48，“否”)，感测***1c将处理转移至步骤S50，并确定在目标区域中不存在异常。

在步骤S49或步骤S50中的处理之后，根据图17的流程图的一系列处理结束。

图19是示出根据第三实施方式的振动分布生成处理的示例的流程图。图19的流程图是更详细地示出上述图17中的步骤S46和步骤S47中的处理的示例。该流程图例如在振动分布生成单元125a中执行。注意，在参考图19的说明中，适当地省略对于与上述图15的流程图共同的部分的说明。

在图19中，左侧的步骤S200至步骤S204中的处理是使用速度点群来测量深度方向和视场方向上的振动分布的处理。中央的步骤S210至步骤S214的处理和右侧的步骤S410至步骤S414的处理分别是使用亮度信息来测量视场方向上的振动分布的处理。在此，步骤S210至步骤S214的处理是基于由光检测测距单元11a获取的亮度点群的处理，步骤S410至步骤S414的处理是基于由相机13获取的捕获图像的处理。

注意，步骤S200至步骤S204中的处理和步骤S210至步骤S214中的处理与参考图15所说明的步骤S200至步骤S214中的处理和步骤S210至步骤S214中的处理相同。因此，此处省略该处理的说明。这里，图19中的步骤S200和步骤S210中的处理以及步骤S410中的处理分别对应于图17的流程图中的步骤S46中的处理。

当图19的流程图的处理开始时，振动分布生成单元125a执行步骤S200至步骤S204的处理。同时，在步骤S400中，振动分布生成单元125a根据由光检测测距单元11a获取到的点群的分辨率和由相机13获取到的捕获图像的分辨率，将处理分为步骤S210至步骤S214的处理和步骤S410至步骤S414的处理。

即，通常，相机13的分辨率比光检测测距单元11a的分辨率高，但是根据在图17的流程图的步骤S45中设置的目标区域，光检测测距单元11a的分辨率有可能比相机13的分辨率高。例如，在将目标区域缩小到极小的范围的情况下，光检测测距单元11a获取的点群的分辨率有可能比相机13获取的捕获图像的分辨率高。光检测测距单元11a的分辨率与相机13的分辨率之间的关系可以根据光检测测距单元11a和相机13的规格而变化。

当点群的分辨率高于捕获图像的分辨率时(步骤S400，“是”)，振动分布生成单元125a将处理转移至步骤S210。另一方面，当点群的分辨率等于或小于捕获图像的分辨率时(步骤S400，“否”)，振动分布生成单元125a将处理转移向步骤S410。

在步骤S410中，振动分布生成单元125a通过从相机13输出的目标区域的捕获图像来获取图像帧。在下一步骤S411中，振动分布生成单元125a获取通过2D对象识别单元152对目标区域的图像帧的识别处理而获得的2D识别信息。在下一步骤S412中，振动分布生成单元125a从在步骤S410中获取的捕获图像中提取目标区域的图像。振动分布生成单元125a可以使存储单元126a存储所提取的目标区域的图像。

在接下来的步骤S413中，振动分布生成单元125a确定是否进行了针对视场方向的振动检测所必需的预定数量的图像帧的测量。当确定尚未执行预定数量的图像帧的测量时(步骤S413，“否”)，振动分布生成单元125a将处理返回到步骤S400，获取下一图像帧，并且执行对所获取的图像帧的测量(步骤S411，步骤S412)。

另一方面，当确定已经执行了预定数量的图像帧的测量时(步骤S413，“是”)，振动分布生成单元125a将处理转移至步骤S414。

在步骤S414中，振动分布生成单元125a基于直到步骤S413的处理中所获取的多个帧的图像帧，利用例如参考图1的部分(c)说明的方法来计算视场方向上的振动分布。

在步骤S204和步骤S214中的处理结束之后，或者在步骤S204和步骤S414中的处理结束之后，振动分布生成单元125a将处理转移至步骤S420。在步骤S420中，振动分布生成单元125a对在步骤S204中计算出的深度方向和视场方向上的振动分布和在步骤S214或步骤S414中计算出的视场方向上的振动分布进行整合，以计算目标区域的振动分布，并且将表示计算出的振动分布的振动分布信息输出到异常检测单元20a。

注意，如图11的流程图一样，在图19的流程图中，可以彼此独立地执行步骤S200至步骤S204中的处理和步骤S210至步骤S214中的处理或步骤S410至步骤S414中的处理。不仅如此，还可以同步执行步骤S200至步骤S204和步骤S210至步骤S214或步骤S410至步骤S414中的处理。此外，步骤S200至步骤S204和步骤S210至步骤S214可以通过针对共同扫描范围的同一扫描进行处理。在这种情况下，在步骤S203和步骤S213中确定的预定数量是在步骤S201和步骤S213中的相同数量。

如上所述，在第三实施方式中，对由FMCW-LiDAR进行距离测量的光检测测距单元11a所输出的点群进行3D对象识别处理，基于该3D对象识别处理的识别结果来提取目标区域的点群。此时，在第三实施方式中，将比光检测测距单元11a的整个区域的扫描范围40窄的范围设为目标区域，并且针对扫描范围40的扫描，以高密度执行目标区域的操作。

另外，在第三实施方式中，由于使用相机13获取具有RGB颜色的颜色信息的捕获图像，因此能够对从光检测测距单元11a输出的点群进行图像着色。这使得用户能够更容易地选择目标区域。通常，从相机13输出的捕获图像的分辨率高于从光检测测距单元11a输出的点群，因此能够更高精度地测量目标区域内的振动分布。根据测量的振动分布，能够更高精度地执行目标对象的异常检测。

注意，本说明书中描述的效果仅是说明而不是限制。可以存在其他效果。

应注意，本技术还可采用以下配置。

(1)一种信息处理装置，包括：

第一识别单元，基于光检测测距单元输出的点群执行识别处理并输出目标对象的三维识别信息，该光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，该光检测测距单元基于该接收信号输出包括多个点的点群，该多个点中的每一个点具有速度信息；

生成单元，基于速度信息和三维识别信息，生成表示目标对象的振动分布的振动分布信息；以及

检测单元，基于振动分布信息来检测目标对象的异常。

(2)根据以上(1)所述的信息处理装置，还包括：

扫描控制单元，生成用于控制光发送单元的光的扫描范围的扫描控制信号，其中，

检测单元

基于由生成单元基于从由扫描控制信号控制的扫描范围获取的点群所生成的振动分布信息，检测目标对象的异常。

(3)根据以上(1)或(2)所述的信息处理装置，其中，

生成单元

基于与基于点群的速度信息和三维识别信息从点群提取为三维信息的目标对象相对应的点群，检测目标对象在由光发送单元发送的光的光轴方向上的振动，并生成包括在振动分布信息中的第一振动分布信息，第一振动分布信息表示光轴方向上的振动在与光轴方向相交的表面上的分布。

(4)根据以上(3)所述的信息处理装置，其中，

点群还包括亮度信息，亮度信息表示包括在点群内的多个点中的每一个点的亮度，

生成单元

基于与基于亮度信息和三维识别信息从点群提取为二维信息的目标对象相对应的点群，检测在光检测测距单元的视场方向上的振动，并且生成包括在该振动分布信息中的表示视场方向上的振动的分布的第二振动分布信息，

检测单元

基于由生成单元生成的第一振动分布信息和第二振动分布信息，检测目标对象的异常。

(5)根据以上(4)所述的信息处理装置，其中，

生成单元

基于与基于点群的速度信息和三维识别信息从点群提取为三维信息的目标对象相对应的点群，检测在光检测测距单元的视场方向上的振动，并且生成包括在该振动分布信息中的表示该视场方向上的振动的分布的第三振动分布信息，以及

检测单元

基于由生成单元生成的第一振动分布信息、第二振动分布信息以及第三振动分布信息，检测目标对象的异常。

(6)根据以上(1)至(5)中任一项所述的信息处理装置，其中

第一识别单元

基于在光检测测距单元输出的点群当中包括在针对该点群设置的目标区域中的点群，执行识别处理。

(7)根据以上(6)所述的信息处理装置，其中，

所述目标区域是

基于针对光检测测距单元输出的点群当中的点群设置的感兴趣区域来设置。

(8)根据以上(1)至(7)中任一项所述的信息处理装置，还包括：

第二识别单元，执行基于由图像传感器输出的捕获图像的识别处理，并输出目标对象的二维识别信息，图像传感器基于所接收的光输出包括颜色信息的捕获图像，其中

生成单元

基于速度信息、捕获图像、三维识别信息和二维识别信息，生成目标对象的振动分布信息。

(9)根据以上(8)所述的信息处理装置，其中，

生成单元

基于与基于点群的速度信息和三维识别信息从点群提取为三维信息的目标对象相对应的点群，检测目标对象在由光发送单元发送的光的光轴方向上的振动，并生成包括在振动分布信息中的第一振动分布信息，第一振动分布信息表示光轴方向上的振动在与光轴方向相交的表面上的分布，

基于与基于表示点群所包括的多个点中的每个点的亮度的亮度信息和三维识别信息从点群提取为二维信息的目标对象相对应的点群，检测在光检测测距单元的视场方向上的振动，并且生成包括在振动分布信息中的表示视场方向上的振动的分布的第二振动分布信息，

基于与基于点群的速度信息和三维识别信息从点群提取为三维信息的目标对象相对应的点群，检测在光检测测距单元的视场方向上的振动，并且生成包括在该振动分布信息中的表示该视场方向上的振动的分布的第三振动分布信息，以及

基于由第二识别单元输出的二维识别信息，生成表示在视场方向上的振动的分布的第四振动分布信息，并且

检测单元

使用第一振动分布信息、第二振动分布信息、第三振动分布信息以及第四振动分布信息，检测目标对象的异常。

(10)根据上述(9)所述的信息处理装置，其中，

生成单元

基于从光检测测距单元输出的点群的分辨率和从图像传感器输出的图像的分辨率，选择将第二振动分布信息和第四振动分布信息中的哪一个用作视场方向的振动分布信息。

(11)根据以上(10)所述的信息处理装置，其中，

生成单元

在从光检测测距单元输出的点群的分辨率高于从图像传感器输出的图像的分辨率时，选择第二振动分布信息，并且

在从图像传感器输出的图像的分辨率高于从光检测测距单元输出的点群的分辨率时，选择第四振动分布信息。

(12)根据以上(8)至(11)中任一项所述的信息处理装置，其中

第一识别单元和第二识别单元

各自基于针对图像传感器输出的捕获图像设置的目标区域来执行识别处理。

(13)根据以上(12)所述的信息处理装置，其中，

目标区域是

基于针对捕获图像设置的感兴趣区域来设置。

(14)一种信息处理方法，包括：

第一识别步骤，基于光检测测距单元输出的点群执行识别处理并且输出目标对象的三维识别信息，该光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，并且基于该接收信号输出包括多个点的点群，多个点中的每一个点具有速度信息；

生成步骤，基于速度信息和三维识别信息，生成表示目标对象的振动分布的振动分布信息；以及

检测步骤，基于振动分布信息检测目标对象的异常。

(15)一种感测***，包括：

光检测测距单元，包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，该光检测测距单元基于接收信号输出包括多个点的点群，多个点中的每一个点具有速度信息；

第一识别单元，基于光检测测距单元输出的点群执行识别处理，并且输出目标对象的三维识别信息；

生成单元，基于速度信息和三维识别信息，生成表示目标对象的振动分布的振动分布信息；以及

检测单元，基于振动分布信息检测目标对象的异常。

参考标号列表

1、1a、1b、1c感测***

10、10a传感器单元

11、11a光检测测距单元

12、12a、12b、12c信号处理单元

13相机

20、20a异常检测单元

40扫描范围

41扫描线

50目标对象

100扫描单元

101光发送单元

103光接收单元

111扫描控制单元

112角度检测单元

116发送光控制单元

117接收信号处理单元

130点群生成单元

121、121a 3D对象检测单元

122、122a 3D对象识别单元

123、123a接口单元

125、125a振动分布生成单元

126、126a存储单元

151 2D对象检测单元

152 2D对象识别单元

170局部扫描控制单元

171视角控制单元

300a、300b、300c、300d、400a、400b、400c、400d、500a、500b、500c、500d图像

301、401、501 ROI

310a、310b、310c、310d、310e、320a、320b、320c、320d、410a、410b、410c、410d、410e、420a、420b、420c、420d、510a、510b、510c、510d、510e、520a、520b、520c、520d区域。

Claims (15)

1.一种信息处理装置，包括：

第一识别单元，基于光检测测距单元输出的点群执行识别处理并输出目标对象的三维识别信息，所述光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，并且所述光检测测距单元基于所述接收信号输出包括多个点的点群，所述多个点中的每个点具有速度信息；

生成单元，基于所述速度信息和所述三维识别信息，生成表示所述目标对象的振动分布的振动分布信息；以及

检测单元，基于所述振动分布信息检测所述目标对象的异常。

2.根据权利要求1所述的信息处理装置，还包括：

扫描控制单元，生成用于控制所述光发送单元的光的扫描范围的扫描控制信号，其中，

所述检测单元

基于由所述生成单元基于从由所述扫描控制信号控制的所述扫描范围获取的所述点群而生成的所述振动分布信息，检测所述目标对象的异常。

3.根据权利要求1所述的信息处理装置，其中

所述生成单元

基于与从所述点群基于所述点群的速度信息和所述三维识别信息提取为三维信息的目标对象相对应的点群，检测所述目标对象在由所述光发送单元发送的光的光轴方向上的振动，并生成包括在所述振动分布信息中的第一振动分布信息，所述第一振动分布信息表示所述光轴方向上的振动在与所述光轴方向相交的表面上的分布。

4.根据权利要求3所述的信息处理装置，其中

所述点群还包括亮度信息，所述亮度信息表示包括在所述点群内的所述多个点中的每一个点的亮度，

所述生成单元

基于与从所述点群基于亮度信息和三维识别信息提取为二维信息的目标对象相对应的点群，检测在所述光检测测距单元的视场方向上的振动，并且生成包括在所述振动分布信息中的表示所述视场方向上的振动的分布的第二振动分布信息，并且

所述检测单元

基于由所述生成单元生成的所述第一振动分布信息和所述第二振动分布信息，检测所述目标对象的异常。

5.根据权利要求4所述的信息处理装置，其中

所述生成单元

基于与从所述点群基于所述点群的速度信息和三维识别信息提取为三维信息的目标对象相对应的点群，检测在所述光检测测距单元的视场方向上的振动，并且还生成包括在所述振动分布信息中的表示所述视场方向上的振动的分布的第三振动分布信息，并且

所述检测单元

基于由所述生成单元生成的所述第一振动分布信息、所述第二振动分布信息以及所述第三振动分布信息，检测所述目标对象的异常。

6.根据权利要求1所述的信息处理装置，其中

所述第一识别单元

基于在所述光检测测距单元输出的点群当中包括在针对所述点群设置的目标区域中的点群，执行所述识别处理。

7.根据权利要求6所述的信息处理装置，其中

所述目标区域

基于针对所述光检测测距单元输出的点群当中的所述点群设置的感兴趣区域来设置。

8.根据权利要求1所述的信息处理装置，还包括：

第二识别单元，执行基于由图像传感器输出的捕获图像的识别处理，并输出所述目标对象的二维识别信息，所述图像传感器基于所接收的光输出包括颜色信息的捕获图像，其中，

所述生成单元

基于所述速度信息、所述捕获图像、所述三维识别信息和所述二维识别信息，生成所述目标对象的所述振动分布信息。

9.根据权利要求8所述的信息处理装置，其中

所述生成单元

基于与从所述点群基于所述点群的速度信息和所述三维识别信息提取为三维信息的目标对象相对应的点群，检测所述目标对象在所述光发送单元发送的光的光轴方向上的振动，并生成包括在所述振动分布信息中的第一振动分布信息，所述第一振动分布信息表示所述光轴方向上的振动在与所述光轴方向相交的表面上的分布，

基于与从所述点群基于亮度信息和所述三维识别信息提取为二维信息的目标对象相对应的点群，检测在所述光检测测距单元的视场方向上的振动，并且生成包括在所述振动分布信息中的表示所述视场方向上的振动的分布的第二振动分布信息，所述亮度信息表示点群所包括的多个点中的每个点的亮度，

基于与从所述点群基于所述点群的速度信息和三维识别信息提取为三维信息的目标对象相对应的点群，检测在所述光检测测距单元的视场方向上的振动，并且生成包括在所述振动分布信息中的表示所述视场方向上的振动的分布的第三振动分布信息，以及

基于由所述第二识别单元输出的二维识别信息，生成表示在所述视场方向上的振动的分布的第四振动分布信息，并且

所述检测单元

使用所述第一振动分布信息、所述第二振动分布信息、所述第三振动分布信息以及所述第四振动分布信息，检测所述目标对象的异常。

10.根据权利要求9所述的信息处理装置，其中

所述生成单元

基于从所述光检测测距单元输出的所述点群的分辨率和从所述图像传感器输出的图像的分辨率，选择将所述第二振动分布信息和所述第四振动分布信息中的哪一个用作所述视场方向上的振动分布信息。

11.根据权利要求10所述的信息处理装置，其中

所述生成单元

在从所述光检测测距单元输出的所述点群的分辨率高于从所述图像传感器输出的所述图像的分辨率时，选择所述第二振动分布信息；并且

在从所述图像传感器输出的所述图像的分辨率高于从所述光检测测距单元输出的所述点群的分辨率时，选择所述第四振动分布信息。

12.根据权利要求8所述的信息处理装置，其中

所述第一识别单元和所述第二识别单元

各自基于针对所述图像传感器输出的所述捕获图像设置的目标区域，执行所述识别处理。

13.根据权利要求12所述的信息处理装置，其中

所述目标区域

基于针对所述捕获图像设置的感兴趣区域来设置。

14.一种信息处理方法，包括：

第一识别步骤，基于光检测测距单元输出的点群执行识别处理并且输出目标对象的三维识别信息，所述光检测测距单元包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，并且所述光检测测距单元基于所述接收信号输出包括多个点的点群，所述多个点中的每一个点具有速度信息；

生成步骤，基于所述速度信息和所述三维识别信息，生成表示所述目标对象的振动分布的振动分布信息；以及

检测步骤，基于所述振动分布信息检测所述目标对象的异常。

15.一种感测***，包括：

光检测测距单元，包括发送经频率连续调制波调制的光的光发送单元和接收光并输出接收信号的光接收单元，所述光检测测距单元基于所述接收信号输出包括多个点的点群，所述多个点中的每一个点具有速度信息；

第一识别单元，基于所述光检测测距单元输出的所述点群执行识别处理，并且输出目标对象的三维识别信息；

生成单元，基于所述速度信息和所述三维识别信息，生成表示所述目标对象的振动分布的振动分布信息；以及

检测单元，基于所述振动分布信息检测所述目标对象的异常。