KR20230156697A

KR20230156697A - Information processing device, information processing method, and sensing system

Info

Publication number: KR20230156697A
Application number: KR1020237029717A
Authority: KR
Inventors: 유스케 가와무라; 가즈토시 기타노; 고스케 다카하시; 다케시 구보타
Original assignee: 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date: 2021-03-17
Filing date: 2021-12-17
Publication date: 2023-11-14
Also published as: US20240230399A9; US20240133734A1; DE112021007299T5; WO2022196000A1; JPWO2022196000A1; CN116940823A

Abstract

본 개시에 관한 정보 처리 장치는, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부(101)와, 광을 수신하여 수신 신호를 출력하는 광 수신부(103)를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부(11)에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부(122)와, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부(125)와, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부(20)를 구비한다.The information processing device according to the present disclosure includes an optical transmitting unit 101 that transmits light modulated by a continuous frequency modulation wave, and an optical receiving unit 103 that receives light and outputs a received signal, A first recognition method that performs recognition processing based on the point cloud output by the light detection and range detection unit 11, which outputs a point cloud including a plurality of points each having speed information, and outputs three-dimensional recognition information of the object. A unit 122, a generator 125 that generates vibration distribution information indicating the vibration distribution of the object based on the speed information and the three-dimensional recognition information, and an abnormality detection of the object based on the vibration distribution information. It is provided with a detection unit 20 that performs.

Description

정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템Information processing device, information processing method, and sensing system

본 개시는, 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템에 관한 것이다.This disclosure relates to an information processing device, an information processing method, and a sensing system.

물체 표면 등의 진동을 검지함으로써, 그 물체에 발생하는 이상을 검지할 수 있다. 종래부터, 피계측물 표면 등의 진동을 광학적인 수단을 사용하여 비접촉으로 검지하는 기술이 알려져 있다. 예를 들어, 레이저광을 대상에 조사하고, 그 반사광에 기초하여 진동을 검지하는 방법이나, 하이 스피드 카메라를 사용하여 피계측물을 촬영한 촬상 화상에 기초하여 진동을 검지하는 방법이 알려져 있다.By detecting vibration of the surface of an object, etc., abnormalities occurring in the object can be detected. Conventionally, technology has been known to non-contactly detect vibration of the surface of an object to be measured or the like using optical means. For example, there are known methods of irradiating laser light to an object and detecting vibration based on the reflected light, and methods of detecting vibration based on captured images of the object to be measured using a high-speed camera.

레이저광을 사용한 진동계로서, 도플러 효과를 이용하여 진동을 계측하는 레이저 도플러 진동계가 알려져 있다. 레이저 도플러 진동계는, 예를 들어 시간의 경과에 따라 펄스의 주파수를, 예를 들어 직선적으로 변화시킨 처프광으로서 사출하는 레이저광과, 사출된 레이저광의 반사광을 합성한 수신 신호에 대하여, 코히어런트 검출에 의해 측거를 행한다. 이러한, 처프광과 코히어런트 검출을 사용한 측거 방식을, FMCW-LiDAR(Frequency Modulated Continuous Wave-Laser Imaging Detectionand Ranging)이라고 칭한다.As a vibrometer using laser light, a laser Doppler vibrometer that measures vibration using the Doppler effect is known. A laser Doppler vibrometer is a coherent system for, for example, a received signal that combines a laser light emitted as a chirped light whose pulse frequency changes linearly, for example, over time, and a reflected light of the emitted laser light. Range measurement is performed by detection. This ranging method using chirped light and coherent detection is called FMCW-LiDAR (Frequency Modulated Continuous Wave-Laser Imaging Detection and Ranging).

FMCW-LiDAR에서는, 도플러 효과를 이용함으로써, 측거와 동시에 속도를 계측할 수 있다. 특허문헌 1에는, 주파수 연속 변조한 레이저광을 사용하여 측거를 행하여, 측거 시의 도플러 효과를 보정하기 위한 기술이 개시되어 있다.In FMCW-LiDAR, speed can be measured simultaneously with range measurement by using the Doppler effect. Patent Document 1 discloses a technique for performing range measurement using continuously frequency-modulated laser light and correcting the Doppler effect during range measurement.

또한, 하이 스피드 카메라를 사용한 방법의 하나로서, 피계측물을 촬영한 복수의 고해상 휘도 화상에 기초하여, 당해 고해상 휘도 화상에 있어서의 고속 변화점을 검출하여, 피계측물의 시야면 방향의 진동을 추정하는 방법이 알려져 있다.In addition, as one of the methods using a high-speed camera, based on a plurality of high-resolution luminance images taken of the object to be measured, high-speed change points in the high-resolution luminance images are detected, and vibration in the direction of the viewing surface of the object to be measured is detected. Methods for estimation are known.

일본 특허 공표 제2019-537012호 공보Japanese Patent Publication No. 2019-537012

레이저 도플러 진동계는, 대상 물체에 대하여 비접촉으로, 깊이 방향(레이저광의 조사 방향)의 진동을 계측할 수 있다. 그러나, 종래에는, 레이저 도플러 진동계는, 피계측물의 표면에 있어서의 1점만의 계측을 행하는 것이었기 때문에, 피측정물의 표면에 있어서의 진동의 분포의 계측을 행하는 것이 곤란했다.A laser Doppler vibrometer can measure vibration in the depth direction (direction of irradiation of laser light) without contact with the target object. However, conventionally, the laser Doppler vibrometer was used to measure only one point on the surface of the object to be measured, so it was difficult to measure the distribution of vibration on the surface of the object to be measured.

또한, 하이 스피드 카메라를 사용한 방법에서는, 피계측물에 있어서의, 당해 하이 스피드 카메라에 의한 시야면 방향의 진동의 추측이 가능한 한편, 당해 피계측물의 깊이 방향의 진동을 검출하는 것이 곤란했다.In addition, in the method using a high-speed camera, while it is possible to estimate the vibration of the object to be measured in the direction of the field of view by the high-speed camera, it is difficult to detect the vibration in the depth direction of the object to be measured.

본 개시는, 피계측물의 이상을 깊이 방향 및 시야면 방향의 진동 분포에 기초하여 비접촉으로 검지 가능한 정보 처리 장치 및 정보 처리 방법, 그리고 센싱 시스템을 제공한다.The present disclosure provides an information processing device, an information processing method, and a sensing system capable of non-contactly detecting abnormalities in an object to be measured based on vibration distribution in the depth direction and viewing plane direction.

본 개시에 관한 정보 처리 장치는, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부를 구비한다.The information processing device according to the present disclosure includes an optical transmitter that transmits light modulated by a continuous frequency modulation wave, and an optical receiver that receives light and outputs a received signal, each providing speed information based on the received signal. a first recognition unit that performs recognition processing based on the point cloud output by the light detection and range detection unit that outputs a point cloud including a plurality of points, and outputs three-dimensional recognition information of the object; the speed information; and the 3 It has a generating unit that generates vibration distribution information indicating the vibration distribution of the object based on dimensional recognition information, and a detection unit that detects an abnormality in the object based on the vibration distribution information.

본 개시에 관한 정보 처리 방법은, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식 스텝과, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성 스텝과, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지 스텝을 갖는다.The information processing method according to the present disclosure includes an optical transmitter that transmits light modulated by a continuous frequency modulation wave, and an optical receiver that receives light and outputs a received signal, each providing speed information based on the received signal. A first recognition step of performing recognition processing based on the point cloud output by the light detection and range detection unit that outputs a point cloud including a plurality of points, and outputting three-dimensional recognition information of the object, the speed information, and the 3 It has a generation step for generating vibration distribution information indicating the vibration distribution of the object based on dimensional recognition information, and a detection step for detecting abnormalities in the object based on the vibration distribution information.

본 개시에 관한 센싱 시스템은, 주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부와, 상기 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와, 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와, 상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부를 구비한다.The sensing system according to the present disclosure includes an optical transmitter that transmits light modulated by a continuous frequency modulation wave, and an optical receiver that receives light and outputs a received signal, each having speed information based on the received signal. a light detection and range-rejection unit that outputs a point cloud including a plurality of points, and a first recognition unit that performs recognition processing based on the point cloud output by the light detection and range-rejection unit and outputs three-dimensional recognition information of an object; It includes a generating unit that generates vibration distribution information indicating the vibration distribution of the object based on the speed information and the three-dimensional recognition information, and a detection unit that detects an abnormality in the object based on the vibration distribution information.

도 1은 기존 기술에 의한, 광학적 수단을 사용한 대상물의 속도 검출을 설명하기 위한 모식도이다.
도 2는 기존 기술에 의한, FMCW-LiDAR에 의한 측거를 행하는 광 검출 측거 장치를 사용하여 대상물의 속도를 검출하는 예를 나타내는 모식도이다.
도 3은 본 개시에 적용 가능한, FMCW-LiDAR에 의한 시야 방향의 속도 검출을 설명하기 위한 모식도이다.
도 4는 본 개시에 관한 센싱 시스템에 대하여 설명하기 위한 모식도이다.
도 5는 본 개시의 각 실시 형태에 적용 가능한 광 검출 측거부의 일례의 구성을 나타내는 블록도이다.
도 6은 주사부에 의한 송신광의 주사의 일례를 개략적으로 나타내는 모식도이다.
도 7은 본 개시의 각 실시 형태에 적용 가능한 정보 처리 장치의 일례의 구성을 나타내는 블록도이다.
도 8은 본 개시에 관한 센싱 시스템의 일례의 구성을 더 상세하게 나타내는 블록도이다.
도 9는 제1 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다.
도 10은 제1 실시 형태에 관한 이상 검지 처리에 있어서 표시부에 표시되는 화상의 예를 나타내는 모식도이다.
도 11은 제1 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다.
도 12는 제2 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다.
도 13은 제2 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다.
도 14는 제2 실시 형태에 관한 이상 검지 처리에 있어서 표시부에 표시되는 화상의 예를 나타내는 모식도이다.
도 15는 제2 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다.
도 16은 제3 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다.
도 17은 제3 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다.
도 18은 제3 실시 형태에 관한 이상 검지 처리에 있어서 표시부에 표시되는 화상의 예를 나타내는 모식도이다.
도 19는 제3 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다.Figure 1 is a schematic diagram illustrating detection of the speed of an object using optical means according to existing technology.
Figure 2 is a schematic diagram showing an example of detecting the speed of an object using an existing technology, a light detection rangefinding device that performs rangefinding by FMCW-LiDAR.
Figure 3 is a schematic diagram for explaining speed detection in the viewing direction by FMCW-LiDAR, applicable to the present disclosure.
Figure 4 is a schematic diagram for explaining the sensing system according to the present disclosure.
Figure 5 is a block diagram showing the configuration of an example of a light detection and range rejection unit applicable to each embodiment of the present disclosure.
Figure 6 is a schematic diagram schematically showing an example of scanning of transmitted light by a scanning unit.
Fig. 7 is a block diagram showing the configuration of an example of an information processing device applicable to each embodiment of the present disclosure.
8 is a block diagram showing the configuration of an example of a sensing system according to the present disclosure in more detail.
Fig. 9 is an example flowchart showing abnormality detection processing according to the first embodiment.
Fig. 10 is a schematic diagram showing an example of an image displayed on a display unit in abnormality detection processing according to the first embodiment.
Fig. 11 is an example flowchart showing vibration distribution generation processing according to the first embodiment.
Figure 12 is a block diagram showing the configuration of an example of a sensing system according to the second embodiment.
Fig. 13 is an example flowchart showing abnormality detection processing according to the second embodiment.
Fig. 14 is a schematic diagram showing an example of an image displayed on a display unit in abnormality detection processing according to the second embodiment.
Fig. 15 is an example flowchart showing vibration distribution generation processing according to the second embodiment.
Fig. 16 is a block diagram showing the configuration of an example of a sensing system according to the third embodiment.
Fig. 17 is an example flowchart showing abnormality detection processing according to the third embodiment.
Fig. 18 is a schematic diagram showing an example of an image displayed on a display unit in abnormality detection processing according to the third embodiment.
Fig. 19 is an example flowchart showing vibration distribution generation processing according to the third embodiment.

이하, 본 개시의 실시 형태에 대하여, 도면에 기초하여 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 부여함으로써, 중복되는 설명을 생략한다.Hereinafter, embodiments of the present disclosure will be described in detail based on the drawings. In addition, in the following embodiments, the same parts are assigned the same numbers to omit redundant descriptions.

이하, 본 개시의 실시 형태에 대하여, 하기의 순서에 따라 설명한다.Hereinafter, embodiments of the present disclosure will be described in the following order.

1. 기존 기술에 대하여1. About existing technology

2. 본 개시의 개략2. Overview of this disclosure

2-1. 본 개시에 적용 가능한 기술2-1. Technologies applicable to this disclosure

2-2. 개시에 관한 센싱 시스템의 개요2-2. Overview of the sensing system for initiation

3. 제1 실시 형태3. First embodiment

4. 제2 실시 형태4. Second embodiment

5. 제3 실시 형태5. Third embodiment

(1. 기존 기술에 대하여)(1. About existing technology)

본 개시는, 물체의 진동 분포에 기초하는 이상 검지에 사용하기에 적합한 기술에 관한 것이다. 본 개시의 각 실시 형태의 설명에 앞서, 이해를 용이하게 하기 위해, 본 개시의 기술에 관련하는 기존 기술에 대하여, 개략적으로 설명한다.The present disclosure relates to techniques suitable for use in abnormality detection based on the vibration distribution of an object. Prior to description of each embodiment of the present disclosure, existing technologies related to the technology of the present disclosure will be briefly described to facilitate understanding.

종래부터, 광학적 수단에 의해 대상물의 속도를 검출하고, 검출한 속도에 기초하여 대상물의 진동을 검출하는 기술이 알려져 있다. 도 1은, 기존 기술에 의한, 광학적 수단을 사용한 대상물의 속도 검출을 설명하기 위한 모식도이다.Conventionally, technology has been known to detect the speed of an object by optical means and to detect vibration of the object based on the detected speed. 1 is a schematic diagram for explaining speed detection of an object using optical means according to existing technology.

도 1의 섹션 (a)는, 레이저 도플러 속도계(700)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내고 있다. 예를 들어, 레이저 도플러 속도계(700)는, 레이저광(720)을 이동하는 대상물(710)에 조사시켜, 그 반사광(730)을 수광한다. 레이저 도플러 속도계(700)는, 수광한 반사광(730)의 도플러 시프트양을 산출함으로써, 레이저광(720)의 광축 방향에 있어서의 대상물(710)의 속도를 계측할 수 있다. 이 계측을, 소정의 시간 간격으로 반복해서 실행함으로써, 대상물(710)의 속도의 변위를 구할 수 있고, 이 속도 변위에 기초하여 대상물(710)의, 레이저광(720)의 광축 방향에 있어서의 진동을 검출한다.Section (a) of FIG. 1 shows an example of detecting the speed of an object 710 using a laser Doppler velocimeter 700. For example, the laser Doppler velocimeter 700 radiates laser light 720 to a moving object 710 and receives the reflected light 730. The laser Doppler velocity meter 700 can measure the speed of the object 710 in the optical axis direction of the laser beam 720 by calculating the Doppler shift amount of the received reflected light 730. By repeatedly performing this measurement at predetermined time intervals, the displacement of the velocity of the object 710 can be obtained, and based on this velocity displacement, the displacement of the object 710 in the optical axis direction of the laser beam 720 can be obtained. Detect vibration.

도 1의 섹션 (b)는, 밀리미터파(721)를 이용한 도플러 레이더(701)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내고 있다. 도플러 레이더(7001)는, 상술한 레이저 도플러 속도계(700)와 마찬가지로, 밀리미터파(721)를 이동하는 대상물(710)에 조사시켜, 그 반사파(731)를 수신한다. 도플러 레이더(701)는, 수신한 반사파(731)의 도플러 시프트양을 산출함으로써, 밀리미터파(721)의 조사 방향에 있어서의 대상물(710)의 속도를 계측할 수 있다.Section (b) of FIG. 1 shows an example of detecting the speed of an object 710 using a Doppler radar 701 using a millimeter wave 721. Like the laser Doppler velocimeter 700 described above, the Doppler radar 7001 irradiates millimeter waves 721 to a moving object 710 and receives the reflected waves 731. The Doppler radar 701 can measure the speed of the object 710 in the irradiation direction of the millimeter wave 721 by calculating the Doppler shift amount of the received reflected wave 731.

도 1의 섹션 (c)는, 하이 스피드 카메라(702)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내고 있다. 하이 스피드 카메라(702)는, 고속 연속 촬영에 의해 대상물(710)을 촬상하여, 복수의 촬상 화상(722)을 얻는다. 이 복수의 촬상 화상(722)에 있어서의 에지 정보나 모양 등에 기초하여, 대상물(710)의, 하이 스피드 카메라(702)의 시야 방향의 속도를 검출할 수 있고, 속도의 변위에 기초하여, 대상물(710)의 당해 시야 방향의 진동을 검출할 수 있다.Section (c) of FIG. 1 shows an example of detecting the speed of an object 710 using a high-speed camera 702. The high-speed camera 702 captures the object 710 through high-speed continuous shooting and obtains a plurality of captured images 722. Based on edge information and shapes in the plurality of captured images 722, the speed of the object 710 in the viewing direction of the high-speed camera 702 can be detected, and based on the displacement of the speed, the object 710 can be detected. Vibration in the viewing direction of 710 can be detected.

(2. 본 개시의 개략)(2. Outline of this disclosure)

이어서, 본 개시에 대하여, 개략적으로 설명한다.Next, the present disclosure will be briefly described.

(2-1. 본 개시에 적용 가능한 기술)(2-1. Technology applicable to this disclosure)

도 2는, 본 개시에 적용 가능한, FMCW-LiDAR에 의한 측거를 행하는 광 검출 측거 장치(703)를 사용하여 대상물(710)의 속도를 검출하는 예를 나타내는 모식도이다.FIG. 2 is a schematic diagram showing an example of detecting the speed of an object 710 using a light detection rangefinder 703 that performs rangefinding by FMCW-LiDAR, applicable to the present disclosure.

FMCW-LiDAR(Frequency Modulated Continuous Wave-Laser Imaging Detection and Ranging)은, 사출하는 레이저광으로서, 시간의 경과에 따라 펄스의 주파수를, 예를 들어 직선적으로 변화시킨 처프광을 사용한다. FMCW-LiDAR에서는, 처프광으로서 사출하는 레이저광과, 사출된 레이저광의 반사광을 합성한 수신 신호에 대하여, 코히어런트 검출에 의해 측거를 행한다. 또한, FMCW-LiDAR에서는, 도플러 효과를 이용함으로써, 측거와 동시에 속도를 계측할 수 있다.FMCW-LiDAR (Frequency Modulated Continuous Wave-Laser Imaging Detection and Ranging) is an emitted laser light that uses, for example, chirped light whose pulse frequency changes linearly over time. In FMCW-LiDAR, range measurement is performed using coherent detection on a received signal that is a composite of laser light emitted as chirp light and reflected light of the emitted laser light. Additionally, in FMCW-LiDAR, speed can be measured simultaneously with range measurement by using the Doppler effect.

도 2에 있어서, 광 검출 측거 장치(703)는, 처프광에 의한 레이저광(750)을, 소정의 주사 범위(740) 내에서 스캔시키면서, 각 포인트(741)에 있어서 계측값을 취득한다. 계측값은, 3차원 위치 정보(3D(Three-Dimensions) 좌표), 속도 정보, 휘도 정보를 포함한다. 광 검출 측거 장치(703)는, 주사 범위(740)의 각 포인트(741)의 계측값을, 점군으로서 출력한다. 즉, 점군은, 3D 좌표, 속도 정보 및 휘도 정보를 포함하는 점의 집합이다.In FIG. 2 , the light detection and ranging device 703 acquires measured values at each point 741 while scanning the laser light 750 generated by the chirp light within a predetermined scanning range 740. Measured values include three-dimensional position information (3D (Three-Dimensions) coordinates), speed information, and luminance information. The light detection and ranging device 703 outputs the measured value of each point 741 in the scanning range 740 as a point cloud. In other words, a point cloud is a set of points including 3D coordinates, speed information, and luminance information.

광 검출 측거 장치(703)에 의해, 대상물(710)을 포함하는 타깃 영역을 집중적으로 주사함으로써, 속도나 3D 좌표의 연속적 변화를 취득하여, 점군에 포함되는 각 점의 속도, 가속도, 시간당의 진동수, 변위 등을 측정하는 것이 가능하다. 이 타깃 영역으로부터 측정된 각 정보에 기초하여, 타깃 영역에 있어서의 진동 분포를 구할 수 있다.By intensively scanning the target area containing the object 710 using the light detection rangefinding device 703, continuous changes in speed and 3D coordinates are acquired, and the speed, acceleration, and frequency per hour of each point included in the point cloud are acquired. , displacement, etc. can be measured. Based on each piece of information measured from this target area, the vibration distribution in the target area can be obtained.

또한, FMCW-LiDAR에서는, 점군의 속도 분포를 해석함으로써, 대상물(710)의 깊이 방향(레이저광의 광축 방향)의 속도뿐만 아니라, 시야 방향의 속도도 검출 가능하다. 또한, 시야 방향이란, 광 검출 측거 장치(703)로부터 사출각이 0°에서 사출되는 레이저광의 광축 방향에 교차하는 면의 방향을 말한다. 시야 방향은, 예를 들어 당해 광축 방향에 직각으로 교차하는 면의 방향으로 해도 된다.Additionally, in FMCW-LiDAR, by analyzing the velocity distribution of the point cloud, not only the velocity in the depth direction (optical axis direction of the laser beam) of the object 710 but also the velocity in the viewing direction can be detected. In addition, the viewing direction refers to the direction of the surface that intersects the optical axis direction of the laser light emitted from the light detection and rangefinding device 703 at an emission angle of 0°. The viewing direction may be, for example, the direction of a plane that intersects at right angles to the optical axis direction.

도 3은, 본 개시에 적용 가능한, FMCW-LiDAR에 의한 시야 방향의 속도 검출을 설명하기 위한 모식도이다. 도 3의 섹션 (a)는, 대상물(710)이 광 검출 측거 장치(703)의 시야 방향에 있어서 좌측으로 이동하고 있는 예, 섹션 (b)는, 대상물(710)이 광 검출 측거 장치(703)의 시야 방향으로 직각의 방향에 있어서 아래로 이동하고 있는 예를 각각 나타내고 있다.Figure 3 is a schematic diagram for explaining speed detection in the viewing direction by FMCW-LiDAR, applicable to the present disclosure. Section (a) of FIG. 3 is an example in which the object 710 is moving to the left in the viewing direction of the light detection and range device 703, and section (b) is an example in which the object 710 is moving to the left in the viewing direction of the light detection and range device 703. ) Each example is shown moving downward in a direction perpendicular to the viewing direction.

도 3의 섹션 (a)의 예에서는, 대상물(710)의 좌측의 포인트(741)는, 광 검출 측거 장치(703)로부터 멀어지는 움직임을 나타내기 때문에, 속도(760)는, 예를 들어 양의 값을 취한다. 한편, 대상물(710)의 우측의 포인트(741)는, 광 검출 측거 장치(703)에 접근하는 움직임을 나타내기 때문에, 속도(760)는, 예를 들어 음의 값을 취한다. 이들 속도(760)의 절댓값은, 포인트(741)의 위치가 광 검출 측거 장치(703)에 대응하는 위치로부터 이격됨에 따라 커진다. 도 3의 섹션 (b)의 예에서는, 대상물(710) 상의 각 포인트(741)의 광 검출 측거 장치(703)로부터의 거리에 따라, 속도(760)가 변화된다.In the example of section (a) of FIG. 3, the point 741 on the left side of the object 710 represents movement away from the optical detection and ranging device 703, so the velocity 760 is positive, for example. take the value On the other hand, since the point 741 on the right side of the object 710 indicates movement approaching the light detection and ranging device 703, the speed 760 takes, for example, a negative value. The absolute value of these velocities 760 increases as the position of the point 741 moves away from the position corresponding to the light detection and ranging device 703. In the example of section (b) of FIG. 3, the speed 760 changes depending on the distance of each point 741 on the object 710 from the light detection and ranging device 703.

이들 각 포인트(741)에 의한 점군의 속도 분포를 해석함으로써, 시야 방향의 속도를 측정할 수 있다. 종래의, 예를 들어 R(적색), G(녹색) 및 B(청색)의 각 색의 색정보를 취득 가능한 이미지 센서를 사용한 경우, 촬상 화상에 있어서의 에지부나 모양 등 특징점을 추출하고, 추출한 특징점의 프레임 차분을 검출함으로써, 시야 방향의 속도를 측정할 수 있다. 이에 비해, FMCW-LiDAR에서는, 특징점을 갖지 않는 포인트에서도, 속도나 진동 분포를 취득하는 것이 가능하다.By analyzing the speed distribution of the point group by each of these points 741, the speed in the viewing direction can be measured. For example, when using a conventional image sensor that can acquire color information for each color of R (red), G (green), and B (blue), feature points such as edges and shapes in the captured image are extracted, and the extracted By detecting frame differences of feature points, the speed in the viewing direction can be measured. In contrast, with FMCW-LiDAR, it is possible to acquire speed and vibration distribution even at points that do not have feature points.

(2-2. 본 개시에 관한 센싱 시스템의 개요)(2-2. Overview of the sensing system according to the present disclosure)

이어서, 본 개시에 관한 센싱 시스템 개요에 대하여 설명한다.Next, an overview of the sensing system according to the present disclosure will be described.

도 4는, 본 개시에 관한 센싱 시스템에 대하여 설명하기 위한 모식도이다. 도 4에 있어서, 센싱 시스템(1)은, 센서 유닛(10)과, 신호 처리부(12)와, 이상 검지부(20)를 포함한다.Figure 4 is a schematic diagram for explaining the sensing system according to the present disclosure. In FIG. 4 , the sensing system 1 includes a sensor unit 10, a signal processing unit 12, and an abnormality detection unit 20.

센서 유닛(10)은, FMCW-LiDAR에 의해 피측정물인 대상물(50)에 대한 측거를 행하는 광 검출 측거부(11)를 포함한다. 광 검출 측거부(11)는, 메커니컬 스캐너, MEMS(Micro Electro Mechanical Systems), OPA(Optical Phased Array) 등에 의한, 레이저광의 주사 기구를 갖는다. 광 검출 측거부(11)는, 처프광에 의한 레이저광을 소정의 주사 범위(40)에 있어서 주사선(41)을 따라 주사하고, 주사선(41)에 있어서의 각 계측 포인트의 정보를 포함하는 점군을 취득한다. 점군은, 대상물(50)에 있어서의 각 점에 있어서의 속도(60)를 나타내는 속도 정보, 각 점의 3D 좌표 등을 포함한다. 광 검출 측거부(11)는, 주사 범위(40)에 대한 1회의 주사로, 1프레임분의 점군(프레임 점군과 칭함)을 취득한다.The sensor unit 10 includes a light detection and range measurement unit 11 that performs range measurement on an object 50, which is an object to be measured, by FMCW-LiDAR. The light detection range unit 11 has a laser light scanning mechanism such as a mechanical scanner, MEMS (Micro Electro Mechanical Systems), OPA (Optical Phased Array), etc. The light detection range detection unit 11 scans the laser light using the chirp light along the scanning line 41 in a predetermined scanning range 40, and a point group containing information on each measurement point on the scanning line 41. acquire. The point cloud includes speed information indicating the speed 60 at each point in the object 50, 3D coordinates of each point, etc. The light detection and range detection unit 11 acquires a point group for one frame (referred to as a frame point group) by one scan of the scanning range 40.

신호 처리부(12)는, 광 검출 측거부(11)에 의해 취득된 점군에 대하여 신호 처리를 실시하여, 대상물(50)에 있어서의 진동의 분포를 나타내는 진동 분포 정보를 취득한다. 이상 검지부(20)는, 신호 처리부(12)에 의해 취득된 대상물(50)의 진동 분포 정보에 기초하여, 대상물(50)에 있어서의 이상의 유무를 검지한다.The signal processing unit 12 performs signal processing on the point cloud acquired by the light detection and range rejecting unit 11 to acquire vibration distribution information indicating the distribution of vibration in the object 50 . The abnormality detection unit 20 detects the presence or absence of an abnormality in the object 50 based on the vibration distribution information of the object 50 acquired by the signal processing unit 12.

센싱 시스템(1)에 있어서, 신호 처리부(12) 및 이상 검지부(20)는, 예를 들어 CPU(Central Processing Unit)를 갖는 정보 처리 장치 상에서 정보 처리 프로그램이 실행됨으로써 구성해도 된다. 이에 한정되지 않고, 신호 처리부(12) 및 이상 검지부(20)의 한쪽 또는 양쪽을 하드웨어 장치로 구성해도 되고, 신호 처리부(12) 및 이상 검지부(20)를 다른 정보 처리 장치 상에서 구성해도 된다.In the sensing system 1, the signal processing unit 12 and the abnormality detection unit 20 may be configured, for example, by executing an information processing program on an information processing device having a CPU (Central Processing Unit). It is not limited to this, and one or both of the signal processing unit 12 and the abnormality detection unit 20 may be configured as hardware devices, or the signal processing unit 12 and the abnormality detection unit 20 may be configured on different information processing devices.

도 5는, 본 개시의 각 실시 형태에 적용 가능한 광 검출 측거부(11)의 일례의 구성을 나타내는 블록도이다. 도 5에 있어서, 광 검출 측거부(11)는, 주사부(100)와, 광 송신부(101)와, 광 수신부(103)와, 제1 제어부(110)와, 제2 제어부(115)와, 점군 생성부(130)와, 전단 처리부(140)와, 인터페이스(I/F)부(141)를 포함한다.FIG. 5 is a block diagram showing an example configuration of the light detection and range-blocking unit 11 applicable to each embodiment of the present disclosure. In FIG. 5, the light detection and range detection unit 11 includes a scanning unit 100, a light transmitting unit 101, a light receiving unit 103, a first control unit 110, a second control unit 115, and , It includes a point cloud generation unit 130, a front end processing unit 140, and an interface (I/F) unit 141.

또한, 제1 제어부(110)는, 주사 제어부(111)와, 각도 검출부(112)를 포함하여, 주사부(100)에 의한 주사의 제어를 행한다. 제2 제어부(115)는, 송신광 제어부(116)와, 수신 신호 처리부(117)를 포함하고, 이 광 검출 측거부(11)에 의한 레이저광의 송신 제어와, 수신광에 대한 처리를 행한다.Additionally, the first control unit 110 includes a scan control unit 111 and an angle detection unit 112, and controls scanning by the scanning unit 100. The second control unit 115 includes a transmission light control unit 116 and a reception signal processing unit 117, and performs transmission control of the laser light by the light detection and range rejection unit 11 and processing of the reception light.

광 송신부(101)는, 예를 들어 송신광인 레이저광을 발광하기 위한 레이저 다이오드 등의 광원과, 광원에서 발광된 광을 사출하기 위한 광학계와, 당해 광원을 구동하는 레이저 출력 변조 장치를 포함한다. 광 송신부(101)는, 후술하는 송신광 제어부(116)로부터 공급된 광 송신 제어 신호에 따라 광원을 발광시켜, 시간의 경과에 따라 소정 주파수 범위 내에서 주파수가 직선적으로 변화되는 처프광에 의한 송신광을 사출한다. 송신광은, 주사부(100)로 보내짐과 함께, 국부 발광으로서 광 수신부(103)로 보내진다.The light transmitting unit 101 includes, for example, a light source such as a laser diode for emitting laser light as transmission light, an optical system for emitting light emitted from the light source, and a laser output modulation device for driving the light source. The optical transmitter 101 emits a light source in accordance with an optical transmission control signal supplied from the transmission light control unit 116, which will be described later, and transmits chirped light whose frequency changes linearly within a predetermined frequency range over time. emits light. The transmitted light is sent to the scanning unit 100 and also sent to the light receiving unit 103 as local light emission.

송신광 제어부(116)는, 시간의 경과에 따라, 주파수가 소정 주파수 범위 내에서 직선적으로 변화(예를 들어, 증가)되는 신호를 생성한다. 이러한, 시간의 경과에 따라 소정 주파수 범위 내에서 주파수가 직선적으로 변화되는 신호를, 처프 신호라고 칭한다. 송신광 제어부(116)는, 이 처프 신호에 기초하여, 광 송신부(101)가 포함하는 레이저 출력 변조 장치에 입력되는 변조 동기 타이밍 신호인 광 송신 제어 신호를 생성한다. 송신광 제어부(116)는, 생성한 광 송신 제어 신호를, 광 송신부(101)와 점군 생성부(130)에 공급한다.The transmission light control unit 116 generates a signal whose frequency linearly changes (for example, increases) within a predetermined frequency range over time. A signal whose frequency changes linearly within a predetermined frequency range over time is called a chirp signal. Based on this chirp signal, the transmission light control unit 116 generates an optical transmission control signal that is a modulation synchronization timing signal that is input to the laser output modulation device included in the optical transmission unit 101. The transmission light control unit 116 supplies the generated optical transmission control signal to the light transmission unit 101 and the point cloud generation unit 130.

주사부(100)에 의해 수신된 수신광은, 광 수신부(103)에 입력된다. 광 수신부(103)는, 예를 들어 입력된 수신광을 수신(수광)하는 수광부와, 수광부를 구동하는 구동 회로를 포함한다. 수광부는, 예를 들어 각각 화소를 구성하는 포토다이오드 등의 수광 소자가 2차원 격자 형상으로 나열된 화소 어레이를 적용할 수 있다.The received light received by the scanning unit 100 is input to the light receiving unit 103. The light receiving unit 103 includes, for example, a light receiving unit that receives (receives) input received light, and a driving circuit that drives the light receiving unit. For example, the light receiving unit may use a pixel array in which light receiving elements such as photodiodes constituting each pixel are arranged in a two-dimensional lattice shape.

광 수신부(103)는, 입력된 수신광과, 광 송신부(101)로부터 보내진 국부 발광을 합성하는 합성부를 더 포함한다. 수신광이 송신광의 대상물로부터의 반사광이라면, 수신광은, 각각, 국부 발광에 대하여 대상물과의 거리에 따라 지연된 신호가 되고, 수신광과 국부 발광을 합성한 각 합성 신호는, 일정 주파수의 신호(비트 신호)가 된다. 광 수신부(103)는, 수신광에 대응한 신호를 수신 신호로서 수신 신호 처리부(117)에 공급한다.The light receiver 103 further includes a synthesis unit that combines the input received light and the local light emission sent from the light transmitter 101. If the received light is reflected light from the object of the transmitted light, the received light becomes a signal delayed depending on the distance to the object with respect to the local light emission, and each composite signal combining the received light and the local light emission is a signal of a certain frequency ( bit signal). The light receiving unit 103 supplies a signal corresponding to the received light as a received signal to the received signal processing unit 117.

수신 신호 처리부(117)는, 광 수신부(103)로부터 공급된 수신 신호에 대하여, 예를 들어 고속 푸리에 변환 등의 신호 처리를 행한다. 수신 신호 처리부(117)는, 이 신호 처리에 의해, 대상물까지의 거리와, 대상물의 속도를 나타내는 속도를 구하고, 이들 거리 및 속도를 각각 나타내는 거리 정보 및 속도 정보를 포함하는 계측 정보를 생성한다. 수신 신호 처리부(117)는, 또한, 수신 신호에 기초하여 대상물의 휘도를 나타내는 휘도 정보를 구하여 계측 정보에 포함시킨다. 수신 신호 처리부(117)는, 생성한 계측 정보를 점군 생성부(130)에 공급한다.The reception signal processing unit 117 performs signal processing, such as fast Fourier transform, on the reception signal supplied from the optical reception unit 103. Through this signal processing, the reception signal processing unit 117 obtains the distance to the object and the speed representing the speed of the object, and generates measurement information including distance information and speed information representing these distances and speeds, respectively. The received signal processing unit 117 also obtains luminance information indicating the luminance of the object based on the received signal and includes it in the measurement information. The reception signal processing unit 117 supplies the generated measurement information to the point cloud generation unit 130.

주사부(100)는, 광 송신부(101)로부터 보내지는 송신광을, 주사 제어부(111)로부터 공급되는 주사 제어 신호에 따른 각도로 송신함과 함께, 당해 각도로부터 입사되는 광을 수신광으로서 수신한다. 주사부(100)에 있어서, 송신광의 주사 기구로서, 예를 들어 2축 미러 스캔 장치를 적용한 경우, 주사 제어 신호는, 예를 들어 당해 2축 미러 스캔 장치의 각 축에 인가되는 구동 전압 신호가 된다.The scanning unit 100 transmits the transmission light sent from the optical transmission unit 101 at an angle according to the scanning control signal supplied from the scanning control unit 111, and receives the light incident from that angle as received light. do. In the scanning unit 100, when, for example, a two-axis mirror scan device is applied as the scanning mechanism for transmitted light, the scan control signal is, for example, a driving voltage signal applied to each axis of the two-axis mirror scan device. do.

주사 제어부(111)는, 주사부(100)에 의한 송수신의 각도를 소정의 각도 범위 내에서 변화시키는 주사 제어 신호를 생성하여, 주사부(100)에 공급한다. 주사부(100)는, 공급된 주사 제어 신호에 따라, 송신광에 의한 일정한 범위의 주사를 실행할 수 있다.The scan control unit 111 generates a scan control signal that changes the angle of transmission and reception by the scan unit 100 within a predetermined angle range and supplies it to the scan unit 100. The scanning unit 100 can perform scanning in a certain range using transmitted light according to the supplied scanning control signal.

주사부(100)는, 사출하는 송신광의 사출 각도를 검출하는 센서를 갖고, 이 센서에 의해 검출된 송신광의 사출 각도를 나타내는 각도 검출 신호를 출력한다. 각도 검출부(112)는, 주사부(100)로부터 출력된 각도 검출 신호에 기초하여 송수신의 각도를 구하고, 구한 각도를 나타내는 각도 정보를 생성한다. 각도 검출부(112)는, 생성한 각도 정보를 점군 생성부(130)에 공급한다.The scanning unit 100 has a sensor that detects the emission angle of the transmitted light, and outputs an angle detection signal indicating the emission angle of the transmitted light detected by this sensor. The angle detection unit 112 determines the angle of transmission and reception based on the angle detection signal output from the scanning unit 100 and generates angle information indicating the obtained angle. The angle detection unit 112 supplies the generated angle information to the point cloud generation unit 130.

도 6은, 주사부(100)에 의한 송신광의 주사의 일례를 개략적으로 나타내는 모식도이다. 주사부(100)는, 소정의 각도 범위에 대응하는 주사 범위(40) 내에 있어서, 소정의 개수의 주사선(41)을 따라 주사를 행한다. 주사선(41)은, 주사 범위(40)의 좌측 단부와 우측 단부 사이를 주사한 하나의 궤적에 대응한다. 주사부(100)는, 주사 제어 신호에 따라, 주사선(41)을 따라 주사 범위(40)의 상단과 하단 사이를 주사한다.FIG. 6 is a schematic diagram schematically showing an example of scanning of transmitted light by the scanning unit 100. The scanning unit 100 scans along a predetermined number of scanning lines 41 within a scanning range 40 corresponding to a predetermined angular range. The scanning line 41 corresponds to one trace scanned between the left end and the right end of the scanning range 40. The scanning unit 100 scans between the upper and lower ends of the scanning range 40 along the scanning line 41 according to the scanning control signal.

이때, 주사부(100)는, 주사 제어 신호에 따라, 처프광의 사출 포인트를, 예를 들어 포인트 220₁, 220₂, 220₃, …과 같이, 예를 들어 일정한 시간 간격(포인트 레이트)으로 주사선(41)을 따라 순차, 이산적으로 변화시킨다. 이때, 주사선(41)의 주사 범위(40)의 좌측 단부 및 우측 단부의 반환점 부근에서는, 2축 미러 스캔 장치에 의한 주사 속도가 느려진다. 그 때문에, 각 포인트 220₁, 220₂, 220₃, …은, 주사 범위(40)에 있어서 격자 형상으로 나열하지 않게 된다. 또한, 광 송신부(101)는, 송신광 제어부(116)로부터 공급되는 광 송신 제어 신호에 따라, 하나의 사출 포인트에 대하여, 1 또는 복수회, 처프광을 사출해도 된다.At this time, the scanning unit 100, according to the scanning control signal, sets the emission points of the chirp light to, for example, points 220 ₁ , 220 ₂ , 220 ₃ , . As such, for example, it changes sequentially and discretely along the scanning line 41 at constant time intervals (point rate). At this time, near the turning point of the left and right ends of the scanning range 40 of the scanning line 41, the scanning speed by the two-axis mirror scan device becomes slow. Therefore, each point 220 ₁ , 220 ₂ , 220 ₃ , … are not arranged in a grid shape in the scanning range 40. Additionally, the optical transmission unit 101 may emit chirp light for one emission point one or more times in accordance with the optical transmission control signal supplied from the transmission light control unit 116.

도 5의 설명으로 돌아가, 점군 생성부(130)는, 각도 검출부(112)로부터 공급되는 각도 정보와, 송신광 제어부(116)로부터 공급되는 광 송신 제어 신호와, 수신 신호 처리부(113)로부터 공급되는 계측 정보에 기초하여, 점군을 생성한다. 더 구체적으로는, 점군 생성부(130)는, 각도 정보와, 계측 정보에 포함되는 거리 정보에 기초하여, 각도와 거리에 의해 공간 중의 1점이 특정된다. 점군 생성부(130)는, 특정된 점의, 소정의 조건 하에 있어서의 집합으로서의 점군을 취득한다. 점군 생성부(130)는, 계측 정보에 포함되는 속도 정보 및 휘도 정보에 기초하여, 특정된 각 점의 속도 및 휘도를 가미하여 점군을 구한다. 즉, 점군은, 점군에 포함되는 각 점에 대하여, 3D 좌표와, 속도와, 휘도를 나타내는 정보를 포함한다.Returning to the description of FIG. 5, the point cloud generation unit 130 includes angle information supplied from the angle detection unit 112, an optical transmission control signal supplied from the transmission light control unit 116, and an optical transmission control signal supplied from the reception signal processing unit 113. Based on the measurement information, a point cloud is generated. More specifically, the point cloud generator 130 specifies one point in the space based on the angle and distance based on the angle information and the distance information included in the measurement information. The point cloud generator 130 acquires a point cloud as a set of specified points under predetermined conditions. The point cloud generator 130 calculates a point cloud by considering the speed and luminance of each specified point based on the speed information and luminance information included in the measurement information. That is, the point cloud includes information indicating 3D coordinates, speed, and luminance for each point included in the point cloud.

점군 생성부(130)는, 구한 점군을 전단 처리부(140)에 공급한다. 전단 처리부(140)는, 공급된 점군에 대하여 포맷 변환 등 소정의 신호 처리를 실시한다. 전단 처리부(140)에 의해 신호 처리된 점군은, I/F부(141)를 통해 광 검출 측거부(11)의 외부에 출력된다. I/F부(141)로부터 출력되는 점군은, 점군에 포함되는 각 점에 있어서의 3D 좌표 정보, 속도 정보, 휘도 정보를 포함한다.The point cloud generation unit 130 supplies the obtained point cloud to the front end processing unit 140. The front end processing unit 140 performs predetermined signal processing, such as format conversion, on the supplied point cloud. The point group processed as a signal by the front end processing unit 140 is output to the outside of the light detection and ranging unit 11 through the I/F unit 141. The point cloud output from the I/F unit 141 includes 3D coordinate information, speed information, and luminance information for each point included in the point cloud.

도 7은, 본 개시의 각 실시 형태에 적용 가능한 정보 처리 장치의 일례의 구성을 나타내는 블록도이다. 도 7에 있어서, 정보 처리 장치(1000)는, 버스(1020)에 의해 서로 통신 가능하게 접속된, CPU(1010)와, ROM(Read Only Memory)(1011)과, RAM(Random Access Memory)(1012)과, 표시부(1013)와, 스토리지 장치(1014)와, 입력 디바이스(1015)와, 통신 인터페이스(I/F)(1016)와, 센서 유닛 I/F(1017)를 포함한다.Fig. 7 is a block diagram showing the configuration of an example of an information processing device applicable to each embodiment of the present disclosure. In FIG. 7, the information processing device 1000 includes a CPU 1010, a read only memory (ROM) 1011, and a random access memory (RAM), which are communicatively connected to each other by a bus 1020. 1012), a display unit 1013, a storage device 1014, an input device 1015, a communication interface (I/F) 1016, and a sensor unit I/F 1017.

스토리지 장치(1014)는, 하드디스크 드라이브나 불휘발성 메모리(플래시 메모리) 등을 적용할 수 있고, 각종 프로그램이나, 각종 데이터가 저장된다. CPU(1010)는, ROM(1011)이나 스토리지 장치(1014)에 저장되는 프로그램에 따라, RAM(1012)을 워크 메모리로서 사용하여, 이 정보 처리 장치(1000) 전체의 동작을 제어한다.The storage device 1014 can be a hard disk drive or non-volatile memory (flash memory), and stores various programs and data. The CPU 1010 uses the RAM 1012 as a work memory and controls the entire operation of the information processing device 1000 according to the program stored in the ROM 1011 or the storage device 1014.

표시부(1013)는, CPU(1010)에 의해 생성된 표시 제어 정보에 기초하여 표시 신호를 생성하는 표시 제어부와, 표시 제어부에 의해 생성된 표시 신호에 따라 표시를 행하는 표시 디바이스를 포함한다. 표시 디바이스는, 정보 처리 장치(1000)에 대하여 외부 접속되어 사용되는 표시 장치여도 된다.The display unit 1013 includes a display control unit that generates a display signal based on display control information generated by the CPU 1010, and a display device that performs display according to the display signal generated by the display control unit. The display device may be a display device used by being externally connected to the information processing device 1000.

입력 디바이스(1015)는, 키보드 등 유저 입력을 접수한다. 입력 디바이스(1015)에 의해 접수된 유저 입력에 따른 정보는, CPU(1010)로 전달된다. 입력 디바이스(1015)는, 표시부(1013)에 포함되는 표시 디바이스와 일체적으로 구성된 터치 패널로 해도 된다.The input device 1015 accepts user input such as a keyboard. Information according to the user input received by the input device 1015 is transmitted to the CPU 1010. The input device 1015 may be a touch panel integrated with the display device included in the display portion 1013.

통신 I/F(1016)는, 당해 정보 처리 장치(1000)가 외부 기기와 통신하기 위한 인터페이스이다. 통신 I/F(1016)에 의한 통신은, 네트워크를 통한 통신이어도 되고, 당해 정보 처리 장치(1000)에 대한 하드웨어 장치 등의 직접적인 접속에 의한 통신이어도 된다. 또한, 통신 I/F(1016)에 의한 통신은, 유선 통신이어도 되고, 무선 통신이어도 된다.The communication I/F 1016 is an interface for the information processing device 1000 to communicate with an external device. Communication using the communication I/F 1016 may be communication via a network, or may be communication through direct connection of a hardware device or the like to the information processing device 1000. Additionally, communication using the communication I/F 1016 may be wired communication or wireless communication.

센서 유닛 I/F(1017)는, 센서 유닛(10)을 접속하기 위한 인터페이스이다. 센서 유닛(10)에 있어서, 광 검출 측거부(11)로부터 출력된 점군은, 센서 유닛 I/F(1017)를 통해 CPU(1010)로 전달된다.The sensor unit I/F 1017 is an interface for connecting the sensor unit 10. In the sensor unit 10, the point cloud output from the light detection and range detection unit 11 is transmitted to the CPU 1010 through the sensor unit I/F 1017.

정보 처리 장치(1000)에 있어서, CPU(1010)는, 본 개시에 관한 센싱 시스템(1)을 실현하기 위한 정보 처리 프로그램이 실행됨으로써, 상술한 신호 처리부(12) 및 이상 검지부(20)를, RAM(1012)에 있어서의 주기억 영역 상에, 각각 예를 들어 모듈로서 구성한다.In the information processing device 1000, the CPU 1010 executes the information processing program for realizing the sensing system 1 according to the present disclosure, thereby executing the signal processing unit 12 and the abnormality detection unit 20 described above. Each is configured as a module, for example, on the main memory area of RAM 1012.

당해 정보 처리 프로그램은, 예를 들어 통신 I/F(1016)를 통한 통신에 의해 외부(예를 들어, 도시되지 않은 다른 서버 장치)로부터 취득하여, 당해 정보 처리 장치(1000) 상에 인스톨하는 것이 가능하게 되어 있다. 이에 한정되지 않고, 당해 정보 처리 프로그램은, CD(Compact Disk)나 DVD(Digital Versatile Disk), USB(Universal Serial Bus) 메모리와 같은 착탈 가능한 기억 매체에 기억되어 제공되어도 된다.The information processing program is acquired from the outside (e.g., another server device not shown) through communication through the communication I/F 1016 and installed on the information processing device 1000. It is possible. Without being limited to this, the information processing program may be stored and provided in a removable storage medium such as a CD (Compact Disk), DVD (Digital Versatile Disk), or USB (Universal Serial Bus) memory.

또한, 여기서는, 신호 처리부(12)와 이상 검지부(20)가 동일한 정보 처리 장치(1000) 상에 구성되는 것처럼 설명했지만, 이것은 이 예에 한정되지 않는다. 신호 처리부(12)와 이상 검지부(20)를 다른 하드웨어(정보 처리 장치 등)상에 각각 구성해도 된다.In addition, although explanation has been made here as if the signal processing unit 12 and the abnormality detection unit 20 are configured on the same information processing device 1000, this is not limited to this example. The signal processing unit 12 and the abnormality detection unit 20 may each be configured on different hardware (information processing devices, etc.).

(3. 제1 실시 형태)(3. First embodiment)

이어서, 본 개시의 제1 실시 형태에 대하여 설명한다.Next, the first embodiment of the present disclosure will be described.

도 8은, 본 개시에 관한 센싱 시스템의 일례의 구성을 더 상세하게 나타내는 블록도이다. 도 8에 있어서, 센싱 시스템(1a)은, 센서 유닛(10), 신호 처리부(12a) 및 이상 검지부(20)를 포함한다. 센서 유닛(10)은, 광 검출 측거부(11) 및 신호 처리부(12a)를 포함한다. 신호 처리부(12a)는, 3D 물체 검출부(121)와, 3D 물체 인식부(122)와, I/F부(123)와, 진동 분포 생성부(125)와, 기억부(126)를 포함한다.FIG. 8 is a block diagram showing the configuration of an example of a sensing system according to the present disclosure in more detail. In FIG. 8 , the sensing system 1a includes a sensor unit 10, a signal processing unit 12a, and an abnormality detection unit 20. The sensor unit 10 includes a light detection/ranging unit 11 and a signal processing unit 12a. The signal processing unit 12a includes a 3D object detection unit 121, a 3D object recognition unit 122, an I/F unit 123, a vibration distribution generation unit 125, and a storage unit 126. .

이들 3D 물체 검출부(121), 3D 물체 인식부(122), I/F부(123) 및 진동 분포 생성부(125)는, 예를 들어 정보 처리 장치(1000)에 있어서 CPU(1010)상에서 본 개시에 관한 정보 처리 프로그램이 실행됨으로써 구성할 수 있다. 이에 한정되지 않고, 이들 3D 물체 검출부(121), 3D 물체 인식부(122), I/F부(123) 및 진동 분포 생성부(125)의 일부 또는 전부를, 서로 협동하여 동작하는 하드웨어 회로에 의해 구성해도 된다.These 3D object detection units 121, 3D object recognition units 122, I/F units 123, and vibration distribution generation units 125 are, for example, viewed from the CPU 1010 in the information processing device 1000. It can be configured by executing an information processing program regarding disclosure. It is not limited to this, and some or all of these 3D object detection unit 121, 3D object recognition unit 122, I/F unit 123, and vibration distribution generation unit 125 are connected to hardware circuits that operate in cooperation with each other. It can be configured by:

광 검출 측거부(11)로부터 출력된 점군은, 신호 처리부(12a)에 입력되어, 신호 처리부(12a)에 있어서 I/F부(123) 및 3D 물체 검출부(121)에 공급된다.The point group output from the light detection and range detection unit 11 is input to the signal processing unit 12a and supplied to the I/F unit 123 and the 3D object detection unit 121 in the signal processing unit 12a.

3D 물체 검출부(121)는, 공급된 점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다. 또한, 이하에는, 번잡함을 피하기 위해, 「점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다」 등의 표현을, 「점군에 포함되는 3D 물체를 검출한다」 등과 같이 기재한다.The 3D object detection unit 121 detects measurement points representing the 3D object included in the supplied point cloud. In addition, below, in order to avoid complexity, expressions such as “detect a measurement point representing a 3D object included in the point cloud” are written as “detect a 3D object included in the point cloud”.

3D 물체 검출부(121)는, 점군으로부터, 속도를 갖는 점군 및 당해 점군을 포함하고, 예를 들어 일정 이상의 밀도 관계를 갖는 등의 관계성이 보이는 점군을, 3D 물체에 대응하는 점군(국재 점군이라고 칭함)으로서 검출한다. 예를 들어, 3D 물체 검출부(121)는, 점군에 포함되는 정적 물체와 동적 물체를 변별하기 위해, 점군으로부터, 일정 이상의 속도 절댓값을 갖는 점을 추출한다. 3D 물체 검출부(121)는, 추출한 점에 의한 점군 중에서, 일정한 공간 범위(대상 물체의 크기에 상당)에 국재하는 점군의 집합을, 3D 물체에 대응하는 국재 점군으로서 검출한다. 3D 물체 검출부(121)는, 점군으로부터 복수의 국재 점군을 추출해도 된다.The 3D object detection unit 121 selects a point cloud corresponding to a 3D object (called a local point cloud), which includes a point cloud having a velocity and a point cloud showing a relationship, such as having a density relationship above a certain level, from the point cloud. (name). For example, the 3D object detection unit 121 extracts a point having an absolute velocity value above a certain level from the point cloud in order to distinguish between a static object and a dynamic object included in the point cloud. The 3D object detection unit 121 detects a set of point clouds localized in a certain spatial range (corresponding to the size of the target object) among the point clouds based on the extracted points as a local point cloud corresponding to the 3D object. The 3D object detection unit 121 may extract a plurality of local point clouds from the point cloud.

3D 물체 검출부(121)는, 검출한 국재 점군에 있어서의 각 점의, 3D 좌표, 속도 정보 및 휘도 정보를 취득한다. 3D 물체 검출부(121)는, 이들 국재 점군에 관한 3D 좌표와, 속도 정보와, 휘도 정보를 3D 검출 결과를 나타내는 3D 검출 정보로서 출력한다. 또한, 3D 물체 검출부(121)는, 검출된 국재 점군의 영역에, 당해 국재 점군에 대응하는 3D 물체를 나타내는 라벨 정보를 부가하고, 부가한 라벨 정보를 3D 검출 결과에 포함시켜도 된다.The 3D object detection unit 121 acquires 3D coordinates, speed information, and luminance information of each point in the detected local point cloud. The 3D object detection unit 121 outputs 3D coordinates, speed information, and luminance information regarding these local point clouds as 3D detection information indicating the 3D detection result. Additionally, the 3D object detection unit 121 may add label information indicating the 3D object corresponding to the local point cloud to the area of the detected local point cloud, and include the added label information in the 3D detection result.

3D 물체 인식부(122)는, 3D 물체 검출부(121)로부터 출력된 3D 검출 정보를 취득한다. 3D 물체 인식부(122)는, 취득한 3D 검출 정보에 기초하여, 3D 검출 정보가 나타내는 국재 점군에 대한 물체 인식을 행한다. 예를 들어, 3D 물체 인식부(122)는, 3D 검출 정보가 나타내는 국재 점군에 포함되는 점의 수가, 대상 물체의 인식에 이용할 수 있는 소정수 이상인 경우에, 그 국재 점군에 대하여 점군 인식 처리를 행한다. 3D 물체 인식부(122)는, 이 점군 인식 처리에 의해, 인식된 물체에 관한 속성 정보를 추정한다.The 3D object recognition unit 122 acquires 3D detection information output from the 3D object detection unit 121. The 3D object recognition unit 122 performs object recognition for the local point cloud indicated by the 3D detection information, based on the acquired 3D detection information. For example, when the number of points included in the local point cloud indicated by the 3D detection information is more than a predetermined number that can be used for recognition of the target object, the 3D object recognition unit 122 performs point cloud recognition processing on the local point cloud. do it The 3D object recognition unit 122 estimates attribute information about the recognized object through this point cloud recognition processing.

3D 물체 인식부(122)는, 광 검출 측거부(11)로부터 출력된 점군 중 3D 물체에 대응하는 국재 점군에 대하여, 물체 인식 처리를 실행한다. 예를 들어, 3D 물체 인식부(122)는, 광 검출 측거부(11)로부터 출력된 점군 중 국재 점군 이외의 부분의 점군을 제거하여, 당해 부분에 대해서는 물체 인식 처리를 실행하지 않는다. 그 때문에, 3D 물체 인식부(122)에 의한 인식 처리의 부하를 삭감하는 것이 가능하다.The 3D object recognition unit 122 performs object recognition processing on a local point cloud corresponding to a 3D object among the point clouds output from the light detection and range detection unit 11. For example, the 3D object recognition unit 122 removes point clouds other than the local point cloud among the point clouds output from the light detection and range detection unit 11, and does not perform object recognition processing on these parts. Therefore, it is possible to reduce the load of recognition processing by the 3D object recognition unit 122.

3D 물체 인식부(122)는, 추정된 속성 정보의 신뢰도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 당해 국재 점군에 대한 인식 결과를, 3D 인식 정보로서 출력한다. 3D 물체 인식부(122)는, 3D 인식 정보에, 당해 국재 점군에 관한 3D 좌표와, 3D 크기와, 속도 정보와, 속성 정보와, 신뢰도를 포함시킬 수 있다. 또한, 속성 정보는, 인식 처리의 결과, 점군의 점마다, 그 단위가 속하는 대상 물체의 종별이나 고유 분류 등의 대상 물체의 속성을 나타내는 정보이다.The 3D object recognition unit 122 outputs the recognition result for the local point cloud as 3D recognition information when the reliability of the estimated attribute information is above a certain level, that is, when recognition processing is performed significantly. The 3D object recognition unit 122 may include 3D coordinates, 3D size, speed information, attribute information, and reliability regarding the local point cloud in the 3D recognition information. Additionally, the attribute information is information that indicates the attributes of the target object, such as the type or unique classification of the target object to which the unit belongs, for each point in the point cloud as a result of recognition processing.

3D 물체 인식부(122)로부터 출력된 3D 인식 정보는, I/F부(123)에 입력된다. I/F부(123)에는, 상술한 바와 같이, 광 검출 측거부(11)로부터 출력된 점군도 입력되어 있다. I/F부(123)는, 점군을 3D 인식 정보에 대하여 통합하여, 진동 분포 생성부(125)에 공급한다. 또한, I/F부(123)는, 광 검출 측거부(11)로부터 공급되는 점군을, 후술하는 이상 검지부(20)에 공급한다.The 3D recognition information output from the 3D object recognition unit 122 is input to the I/F unit 123. As described above, the point group output from the light detection/ranging unit 11 is also input to the I/F unit 123. The I/F unit 123 integrates the point cloud into 3D recognition information and supplies it to the vibration distribution generating unit 125. Additionally, the I/F unit 123 supplies the point group supplied from the light detection and range rejecting unit 11 to the abnormality detection unit 20, which will be described later.

진동 분포 생성부(125)는, I/F부(123)로부터 공급된 점군 및 3D 인식 정보에 기초하여, 대상물(50)에 있어서의 진동의 분포를 추측하여, 진동 분포 정보를 생성한다. 진동 분포 생성부(125)는, 공급된 3D 인식 정보와, 기억부(126)에 기억되는, 당해 국재 점군에 관한 과거 3D 인식 정보를 사용하여 대상물(50)의 진동 분포를 추측해도 된다.The vibration distribution generating unit 125 estimates the distribution of vibration in the object 50 based on the point cloud and 3D recognition information supplied from the I/F unit 123 and generates vibration distribution information. The vibration distribution generating unit 125 may estimate the vibration distribution of the object 50 using the supplied 3D recognition information and past 3D recognition information regarding the local point cloud stored in the storage unit 126.

진동 분포 생성부(125)는, 추측한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20)에 공급한다. 또한, 진동 분포 생성부(125)는, 점군(국재 점군)과, 3D 인식 정보를, 과거의 정보로서, 기억부(126)에 대하여 축적적으로 기억한다.The vibration distribution generating unit 125 supplies vibration distribution information indicating the estimated vibration distribution to the abnormality detection unit 20. Additionally, the vibration distribution generating unit 125 cumulatively stores the point cloud (local point cloud) and 3D recognition information as past information in the storage unit 126.

또한, 진동 분포 생성부(125)는, I/F부(123)로부터 공급된 점군 및 3D 인식 정보에 기초하여, 유저에게 제시하는 화상을 표시시키기 위한 표시 제어 정보를 생성할 수 있다.Additionally, the vibration distribution generating unit 125 may generate display control information for displaying an image presented to the user based on the point cloud and 3D recognition information supplied from the I/F unit 123.

이상 검지부(20)는, 신호 처리부(12a)로부터 공급된 점군과, 진동 분포 정보에 기초하여, 대상물(50)의 이상을 검지한다. 예를 들어, 이상 검지부(20)는, 진동 분포 정보에 기초하여 평가값을 생성하고, 생성한 평가값에 대하여 역치 판정을 행함으로써, 대상물(50)에 있어서의 이상의 유무를 판정해도 된다. 이상 검지부(20)는, 대상물(50)에 대한 이상의 검지 결과를, 예를 들어 외부에 출력한다.The abnormality detection unit 20 detects an abnormality in the object 50 based on the point group and vibration distribution information supplied from the signal processing unit 12a. For example, the abnormality detection unit 20 may determine the presence or absence of an abnormality in the object 50 by generating an evaluation value based on the vibration distribution information and performing a threshold judgment on the generated evaluation value. The abnormality detection unit 20 outputs the abnormality detection result for the object 50 to the outside, for example.

도 9는, 제1 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다. 또한, 도 10은, 제1 실시 형태에 관한 이상 검지 처리에 있어서 표시부(1013)에 표시되는 화상의 예를 나타내는 모식도이다.Fig. 9 is an example flowchart showing abnormality detection processing according to the first embodiment. 10 is a schematic diagram showing an example of an image displayed on the display unit 1013 in the abnormality detection process according to the first embodiment.

도 9에 있어서, 스텝 S10에서, 센싱 시스템(1a)은, 센서 유닛(10)의 광 검출 측거부(11)에 의해, 주사 범위(40)의 전 영역을 주사하여, 주사 범위(40) 내의 점군을 취득한다. 다음의 스텝 S11에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 스텝 S10의 주사로 취득된 점군에 기초하여 주사 범위(40)의 2차원(2D: Two-Dimensions) 화상을 생성하고, 당해 2D 화상을 2D 표시 모드에서 표시시키기 위한 표시 제어 정보를 생성한다. 점군은, 표시에 관해서는 휘도 정보만을 갖기 때문에, 당해 2D 표시 모드에 의해 표시되는 2D 화상은, 모노크롬의 화상이다. 당해 2D 화상은, 예를 들어 정보 처리 장치(1000)의 표시부(1013)에 표시된다.9, in step S10, the sensing system 1a scans the entire area of the scanning range 40 by the light detection and range detection unit 11 of the sensor unit 10, and scans the entire area of the scanning range 40, Obtain the point cloud. In the following step S11, the sensing system 1a generates a two-dimensional (2D: Two-Dimensions) image of the scan range 40 based on the point cloud acquired by the scan in step S10 by the vibration distribution generator 125. and generate display control information for displaying the 2D image in 2D display mode. Since the point cloud has only luminance information for display, the 2D image displayed in the 2D display mode is a monochrome image. The 2D image is displayed, for example, on the display unit 1013 of the information processing device 1000.

다음의 스텝 S12에서, 센싱 시스템(1a)은, 스텝 S10에서 취득되어 주사 범위(40) 내의 점군에 대하여 ROI(Region of Interest: 주목 영역)가 설정되었는지 여부를 판정한다.In the following step S12, the sensing system 1a determines whether a ROI (Region of Interest) has been set for the point cloud acquired in step S10 and within the scanning range 40.

예를 들어, 센싱 시스템(1a)은, 스텝 S11에서 표시부(1013)에 의해 표시된 2D 화상에 대한 유저 조작에 따라, ROI를 설정한다. 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, ROI가 설정되어 있지 않다고 판정한 경우(스텝 S12, 「"아니오"」), 처리를 스텝 S12로 복귀시킨다. 한편, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, ROI 설정되었다고 판정한 경우(스텝 S12, 「"예"」), 처리를 스텝 S13으로 이행시킨다.For example, the sensing system 1a sets the ROI in step S11 according to user operation on the 2D image displayed by the display unit 1013. When the sensing system 1a determines by the vibration distribution generating unit 125 that the ROI is not set (step S12, “No”), the process returns to step S12. On the other hand, when the sensing system 1a determines that the ROI has been set by the vibration distribution generating unit 125 (step S12, “Yes”), the processing moves to step S13.

도 10의 좌측 상단에 나타나는 화상(300a)은, 직사각형에 의해 ROI(301)가 설정된 2D 화상의 예를 나타내고 있다. 화상(300a)은, 광 검출 측거부(11)에 의해 주사 범위(40)가 주사되어 취득한 점군에 기초하는 2D 화상이다. 그 때문에, 화상(300a)은, 주사 범위(40)에 있어서의 광 검출 측거부(11)에 의한 레이저광이 사출되는 포인트 220₁, 220₂, 220₃, …(도 6 참조)에 따른 해상도를 갖는다.The image 300a shown in the upper left corner of FIG. 10 shows an example of a 2D image in which the ROI 301 is set as a rectangle. The image 300a is a 2D image based on a point cloud obtained by scanning the scanning range 40 by the light detection and range rejection unit 11. Therefore, the image 300a is the points 220 ₁ , 220 ₂ , 220 ₃ , . It has a resolution according to (see Figure 6).

도 9에 있어서, 스텝 S13에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 설정된 ROI(301)를 제시한다. 더 구체적으로는, 진동 분포 생성부(125)는, 설정된 ROI(301)를, 3D 표시 모드에 의해 표시부(1013)에 표시시킨다. 진동 분포 생성부(125)는, 3D 표시 모드에서는, 3D 물체 인식부(122)에 의한 물체 인식 결과인 3D 인식 정보에 기초하여, ROI(301)에 포함되는, 진동 분포를 검출하는 타깃의 후보를 표시시킨다.In FIG. 9 , in step S13, the sensing system 1a presents the ROI 301 set by the vibration distribution generator 125. More specifically, the vibration distribution generating unit 125 displays the set ROI 301 on the display unit 1013 in 3D display mode. In the 3D display mode, the vibration distribution generator 125 generates a candidate target for detecting the vibration distribution contained in the ROI 301 based on the 3D recognition information that is the object recognition result by the 3D object recognition unit 122. Displays .

도 10의 우측 상단에 나타나는 화상(300b)은, 동도 좌측 상단의 화상(300a)에 있어서의 ROI(301)를 확대 표시함과 함께, 타깃 후보를 표시한 예를 나타내고 있다. 화상(300b)의 예에서는, 3D 인식 정보에 기초하여 타깃 영역의 후보로서 추출된 각 영역(310a 내지 310e)이, 각각 사선을 그어 나타나 있다. 이들 각 영역(310a 내지 310e)은, 예를 들어 3D 물체 인식부(122)에 의해, ROI(301) 내에 있어서 다른 부위라고 인식된 것이다.The image 300b shown in the upper right corner of FIG. 10 shows an example in which the ROI 301 in the image 300a in the upper left corner of FIG. 10 is enlarged and a target candidate is displayed. In the example of the image 300b, the areas 310a to 310e extracted as candidates for the target area based on the 3D recognition information are indicated with diagonal lines. Each of these areas 310a to 310e is recognized as a different area within the ROI 301 by, for example, the 3D object recognition unit 122.

도 9에 있어서, 다음의 스텝 S14에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 스텝 S13에서 타깃 영역의 후보로서 제시된 각 영역(310a 내지 310e)으로부터, 진동 분포 검출의 타깃이 선택되었는지 여부를 판정한다.9, in the following step S14, the sensing system 1a performs vibration distribution detection from each area 310a to 310e presented by the vibration distribution generating unit 125 as a target area candidate in step S13. Determines whether the target has been selected.

예를 들어, 센싱 시스템(1a)은, 스텝 S13에서 표시부(1013)에 의해 표시된 화상(300b)에 대한 유저 조작에 따라, 각 영역(310a 내지 310e)으로부터, 진동 분포 검출의 대상이 될 타깃 영역을 선택한다. 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 타깃 영역이 설정되어 있지 않다고 판정한 경우(스텝 S14, 「"아니오"」), 처리를 스텝 S14로 복귀시킨다. 한편, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 타깃 영역이 선택되었다고 판정한 경우(스텝 S14, 「"예"」), 처리를 스텝 S15로 이행시킨다.For example, the sensing system 1a selects a target area to be the object of vibration distribution detection from each area 310a to 310e according to the user's operation on the image 300b displayed by the display unit 1013 in step S13. Select . When the sensing system 1a determines by the vibration distribution generating unit 125 that the target area has not been set (step S14, “No”), the process returns to step S14. On the other hand, when the sensing system 1a determines that the target area has been selected by the vibration distribution generating unit 125 (step S14, “Yes”), the processing moves to step S15.

도 10의 좌측 하단에 나타나는 화상(300c)은, 스텝 S14에서 각 타깃 영역의 후보로부터 영역(310b)이 타깃 영역으로서 선택된 경우의 예를 나타내고 있다. 또한, 여기서는, 설명을 위해, 각각 타깃 영역의 후보인 복수의 영역(310a 내지 310e)으로부터, 진동 분포 검출의 타깃 영역으로서 하나의 영역(310b)을 선택하고 있지만, 이것은 이 예에 한정되지 않고, 타깃 영역으로서 복수의 영역을 선택하는 것도 가능하다.The image 300c appearing at the lower left of FIG. 10 shows an example where the area 310b is selected as the target area from the candidates for each target area in step S14. In addition, here, for the sake of explanation, one area 310b is selected as the target area for vibration distribution detection from the plurality of areas 310a to 310e that are candidates for each target area, but this is not limited to this example. It is also possible to select multiple areas as the target area.

스텝 S15에서, 센싱 시스템(1a)은, 진동 분포 생성부(125)에 의해, 스텝 S14에서 선택된 타깃 영역(이 예에서는 영역(310b))에 대하여 진동 분포를 검출하여, 타깃 영역에 있어서의 진동 분포를 출력한다. 진동 분포 생성부(125)에 의한 진동 분포 생성 처리에 대해서는, 후술한다.In step S15, the sensing system 1a detects the vibration distribution for the target area (area 310b in this example) selected in step S14 by the vibration distribution generator 125, and determines the vibration distribution in the target area. Print the distribution. The vibration distribution generation process by the vibration distribution generation unit 125 will be described later.

도 10의 우측 하단에 나타나는 화상(300d)은, 진동 분포 생성부(125)에 의해 생성된, 타깃 영역(이 예에서는 영역(310b))에 있어서의 진동 분포를 모식적으로 나타내는 화상이다. 화상(300d)에 있어서, 타깃 영역인 영역(310b)이 진동의 정도에 따라 영역(320a 내지 320d)으로 구분되고, 영역(310b)에 있어서의 진동 분포가 나타나 있다. 화상(300d)은, 표시부(1013)에 표시시켜 유저에게 제시해도 되고, 진동 분포 생성부(125)가 내부적으로 갖는 정보로 해도 된다.The image 300d shown at the lower right of FIG. 10 is an image that is generated by the vibration distribution generating unit 125 and schematically shows the vibration distribution in the target area (area 310b in this example). In the image 300d, the area 310b, which is the target area, is divided into areas 320a to 320d according to the degree of vibration, and the vibration distribution in the area 310b is shown. The image 300d may be displayed on the display unit 1013 and presented to the user, or may be information held internally by the vibration distribution generating unit 125.

진동의 정도를 나타내는 진동 파라미터는, 예를 들어 진동수 F(㎐), 변위 D(㎜), 속도 v(m/s) 및 가속도 A(m/s²)여도 된다. 진동 분포는, 예를 들어 이들 진동수 F, 변위 D, 속도 v 및 가속도 A 중 어느 값을 대푯값으로서 사용하여 표현해도 되고, 이들 각 진동 파라미터 중 2 이상의 파라미터를 조합한 값으로 표현해도 된다. 이에 한정되지 않고, 예를 들어 이들 각 진동 파라미터의 각각에 대하여 분포를 구해도 된다.Vibration parameters indicating the degree of vibration may be, for example, frequency F (Hz), displacement D (mm), speed v (m/s), and acceleration A (m/s ² ). The vibration distribution may be expressed, for example, using any of these values, such as frequency F, displacement D, velocity v, and acceleration A, as a representative value, or may be expressed as a value that combines two or more of these vibration parameters. It is not limited to this, and for example, the distribution may be obtained for each of these vibration parameters.

다음의 스텝 S16에서, 센싱 시스템(1a)은, 이상 검지부(20)에 의해, 타깃 영역에 있어서, 진동 분포 생성부(125)로부터 출력된 진동 분포에 기초하여, 진동의 정도가 역치를 초과하는 영역이 존재하는지 여부가 판정된다. 진동 분포 생성부(125)는, 예를 들어 상술한 진동의 정도에 대하여 역치 판정을 행한다.In the following step S16, the sensing system 1a detects that the degree of vibration exceeds the threshold based on the vibration distribution output from the vibration distribution generating unit 125 in the target area by the abnormality detection unit 20. It is determined whether the area exists. For example, the vibration distribution generator 125 makes a threshold determination regarding the degree of vibration described above.

센싱 시스템(1a)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재한다고 판정된 경우(스텝 S16, 「"예"」), 처리를 스텝 S17로 이행시켜, 당해 타깃 영역에 있어서 이상이 검출되었다고 판정한다. 한편, 센싱 시스템(1a)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재하지 않는다고 판정된 경우(스텝 S16, 「"아니오"」), 처리를 스텝 S18로 이행시켜, 당해 타깃 영역 내에 이상이 없다고 판정한다.When the abnormality detection unit 20 determines that an area in which the degree of vibration exceeds the threshold exists within the target area (step S16, “Yes”), the sensing system 1a transfers the processing to step S17. , it is determined that an abnormality has been detected in the target area. On the other hand, when the abnormality detection unit 20 determines that the area where the degree of vibration exceeds the threshold does not exist in the target area (step S16, “No”), the sensing system 1a transfers the processing to step S18. It is determined that there is no abnormality in the target area.

스텝 S17 또는 스텝 S18의 처리 후, 도 9의 흐름도에 의한 일련의 처리가 종료된다.After processing step S17 or step S18, the series of processing according to the flowchart in FIG. 9 ends.

도 11은, 제1 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다. 도 11에 나타내는 흐름도는, 상술한 도 9에 있어서의 스텝 S15의 처리를 더 상세하게 나타낸 예이고, 예를 들어 진동 분포 생성부(125)에 있어서 실행된다.Fig. 11 is an example flowchart showing vibration distribution generation processing according to the first embodiment. The flowchart shown in FIG. 11 is an example showing the processing of step S15 in FIG. 9 described above in more detail, and is executed, for example, in the vibration distribution generating unit 125.

도 11에 있어서, 좌측의 스텝 S100 내지 스텝 S104의 처리는, 점군의 속도 정보를 사용하여 깊이 방향 및 시야 방향의 진동 분포를 계측하는 처리이다. 또한, 우측의 스텝 S110 내지 스텝 S114의 처리는, 점군의 휘도 정보를 사용하여 시야 방향의 진동 분포를 계측하는 처리이다. 이후, 속도 정보를 이용하는 경우, 적절히, 그 점군을 속도 점군이라고 칭하고, 휘도 정보를 이용하는 경우, 적절히, 그 점군을 휘도 점군이라고 칭한다.In FIG. 11 , the processing of steps S100 to S104 on the left is processing of measuring vibration distribution in the depth direction and viewing direction using the velocity information of the point cloud. Additionally, the processing of steps S110 to S114 on the right is processing that measures the vibration distribution in the viewing direction using the luminance information of the point cloud. Hereinafter, when speed information is used, the point cloud is appropriately referred to as a velocity point cloud, and when luminance information is used, the point cloud is appropriately referred to as a luminance point cloud.

우선, 스텝 S100 내지 스텝 S104의, 속도 점군을 사용한 깊이 방향 및 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.First, the vibration distribution measurement processing in the depth direction and viewing direction using the velocity point group in steps S100 to S104 will be described.

도 11에 있어서, 스텝 S100에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 주사 범위(40)의 전역에 있어서의 속도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S101에서, 진동 분포 생성부(125)는, 이 속도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다. 이 3D 인식 정보는, 속도 점군에 의한 점군 프레임으로부터 인식된 대상의 3D 위치와, 3D 크기와, 속도와, 속성과, 신뢰도를 포함한다.In FIG. 11, in step S100, the vibration distribution generating unit 125 acquires a point cloud frame based on the velocity point cloud in the entire scanning range 40, based on the output of the light detection and range detection unit 11. . In the following step S101, the vibration distribution generating unit 125 acquires 3D recognition information obtained by recognition processing by the 3D object recognition unit 122 for the point cloud frame based on this velocity point cloud. This 3D recognition information includes the 3D position, 3D size, speed, attributes, and reliability of the object recognized from the point cloud frame by the velocity point cloud.

다음의 스텝 S102에서, 진동 분포 생성부(125)는, 점군 프레임으로부터, 타깃 영역의 속도 점군을 추출한다. 스텝 S102에서 추출되는 속도 점군은, 3D 정보를 갖는다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 속도 점군을 기억부(126)에 기억시켜도 된다.In the next step S102, the vibration distribution generating unit 125 extracts the velocity point cloud of the target area from the point cloud frame. The velocity point cloud extracted in step S102 has 3D information. The vibration distribution generating unit 125 may store the extracted velocity point group of the target area in the storage unit 126.

다음의 스텝 S103에서, 진동 분포 생성부(125)는, 깊이 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S103, 「"아니오"」), 처리를 스텝 S100으로 복귀시키고, 다음의 점군 프레임을 취득하여, 취득한 점군 프레임에 대한 측정을 실행(스텝 S101, 스텝 S102) 한다.In the following step S103, the vibration distribution generating unit 125 determines whether measurement of a predetermined number of point cloud frames necessary for detection of vibration in the depth direction has been performed. When the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames is not being performed (step S103, “No”), returns the process to step S100, acquires the next point cloud frame, and , Measurement of the acquired point cloud frame is performed (step S101, step S102).

한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S103, 「"예"」), 처리를 스텝 S104로 이행시킨다.On the other hand, when the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames has been performed (step S103, “Yes”), the process moves to step S104.

스텝 S104에서, 진동 분포 생성부(125)는, 스텝 S103까지의 처리에서 취득된 속도 점군에 기초하여, 예를 들어 도 2 및 도 3을 사용하여 설명한 방법에 의해, 깊이 방향의 진동 분포(도 2 참조)와, 시야 방향의 진동 분포(도 3 참조)를 산출한다.In step S104, the vibration distribution generating unit 125 generates a vibration distribution in the depth direction (Figure 2) and the vibration distribution in the viewing direction (see FIG. 3) are calculated.

이어서, 스텝 S110 내지 스텝 S114의, 휘도 점군을 사용한 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.Next, the vibration distribution measurement processing in the viewing direction using the luminance point group in steps S110 to S114 will be described.

도 11에 있어서, 스텝 S110에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 주사 범위(40)의 전역에 있어서의 휘도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S111에서, 진동 분포 생성부(125)는, 이 휘도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다. 이 3D 인식 정보는, 휘도 점군에 의한 점군 프레임으로부터 인식된 대상의 3D 위치와, 3D 크기와, 속도와, 속성과, 신뢰도를 포함한다. 다음의 스텝 S112에서, 진동 분포 생성부(125)는, 점군 프레임으로부터, 타깃 영역의 휘도 점군을 추출한다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 휘도 점군을 기억부(126)에 기억시켜도 된다.11, in step S110, the vibration distribution generating unit 125 acquires a point cloud frame based on the luminance point cloud in the entire scanning range 40, based on the output of the light detection and range detection unit 11. . In the following step S111, the vibration distribution generating unit 125 acquires 3D recognition information obtained by recognition processing by the 3D object recognition unit 122 for the point cloud frame based on this luminance point cloud. This 3D recognition information includes the 3D position, 3D size, speed, attributes, and reliability of the object recognized from the point cloud frame based on the luminance point cloud. In the next step S112, the vibration distribution generating unit 125 extracts the luminance point cloud of the target area from the point cloud frame. The vibration distribution generating unit 125 may store the extracted luminance point group of the target area in the storage unit 126.

진동 분포 생성부(125)는, 휘도 점군에 의한 점군 프레임으로부터, 2D 정보를 취득한다. 예를 들어, 진동 분포 생성부(125)는, 당해 점군 프레임에 포함되는 각 점의 정보를, 시야 방향의 면에 투영한다. 따라서, 스텝 S112에서 추출되는 휘도 점군은 2D 정보를 갖는다.The vibration distribution generator 125 acquires 2D information from a point cloud frame based on a luminance point cloud. For example, the vibration distribution generator 125 projects information on each point included in the point cloud frame onto a plane in the viewing direction. Therefore, the luminance point group extracted in step S112 has 2D information.

다음의 스텝 S113에서, 진동 분포 생성부(125)는, 시야 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S113, 「"아니오"」), 처리를 스텝 S100로 복귀시키고, 다음의 점군 프레임을 취득하여, 취득한 점군 프레임에 대한 측정을 실행(스텝 S111, 스텝 S112)한다.In the next step S113, the vibration distribution generating unit 125 determines whether measurement of a predetermined number of point cloud frames required for vibration detection in the viewing direction has been performed. When the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames is not being performed (step S113, “No”), returns the process to step S100, acquires the next point cloud frame, and , Measurement of the acquired point cloud frame is performed (step S111, step S112).

한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S113, 「"예"」), 처리를 스텝 S114로 이행시킨다.On the other hand, when the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames has been performed (step S113, “Yes”), the process moves to step S114.

스텝 S114에서, 진동 분포 생성부(125)는, 스텝 S113까지의 처리에서 취득된, 각각 2D 정보인 복수 프레임분의 휘도 점군에 기초하여, 예를 들어 도 1의 섹션 (c)를 사용하여 설명한 방법에 의해, 시야 방향의 진동 분포를 산출한다.In step S114, the vibration distribution generating unit 125 performs the luminance point cloud of a plurality of frames, each of which is 2D information, acquired in the processing up to step S113, as described using, for example, section (c) in FIG. 1. Vibration distribution in the viewing direction is calculated by the method.

진동 분포 생성부(125)는, 스텝 S104 및 스텝 S114의 처리 종료 후, 처리를 스텝 S120으로 이행시킨다. 스텝 S120에서, 진동 분포 생성부(125)는, 스텝 S104에서 산출된 깊이 방향 및 시야 방향의 진동 분포와, 스텝 S114에서 산출된 시야 방향의 진동 분포를 통합하여, 타깃 영역의 진동 분포를 구하고, 구한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20)에 대하여 출력한다.The vibration distribution generating unit 125 moves the processing to step S120 after the processing of step S104 and step S114 is completed. In step S120, the vibration distribution generating unit 125 integrates the vibration distribution in the depth direction and the viewing direction calculated in step S104 and the vibration distribution in the viewing direction calculated in step S114 to obtain the vibration distribution of the target area, Vibration distribution information representing the obtained vibration distribution is output to the abnormality detection unit 20.

또한, 도 11의 흐름도에서는, 스텝 S100의 처리와, 스텝 S110의 처리는, 서로 독립적으로 실행하는 것이 가능하다. 이에 한정되지 않고, 이들 스텝 S100 및 스텝 S110의 처리를 동기시켜 실행해도 된다. 또한, 이들 스텝 S100 및 스텝 S110을, 주사 범위(40)에 대한 동일한 주사에 의한 처리로 해도 된다. 이 경우, 스텝 S103 및 스텝 S113에 있어서 판정되는 소정수는, 스텝 S101 및 스텝 S113에서 동일한 수가 된다.Additionally, in the flowchart of FIG. 11, the processing of step S100 and the processing of step S110 can be executed independently of each other. It is not limited to this, and the processes of step S100 and step S110 may be performed synchronously. Additionally, these steps S100 and S110 may be processed by the same scan over the scanning range 40. In this case, the predetermined number determined in step S103 and step S113 is the same number in step S101 and step S113.

이와 같이, 제1 실시 형태에서는, FMCW-LiDAR에 의해 측거를 행하는 광 검출 측거부(11)에 의해 출력된 점군에 대하여 3D 물체 인식 처리를 행하고, 그 인식 결과에 기초하여 타깃 영역의 점군을 추출한다. 그 때문에, 타깃 영역 내의 진동 분포를 계측하는 것이 가능하여, 계측된 진동 분포에 기초하여 대상물의 이상을 검지할 수 있다.In this way, in the first embodiment, 3D object recognition processing is performed on the point cloud output by the light detection and range measurement unit 11 that performs rangefinding by FMCW-LiDAR, and the point cloud of the target area is extracted based on the recognition result. do. Therefore, it is possible to measure the vibration distribution within the target area, and abnormalities in the object can be detected based on the measured vibration distribution.

(4. 제2 실시 형태)(4. Second embodiment)

이어서, 본 개시의 제2 실시 형태에 대하여 설명한다. 제2 실시 형태는, ROI에 대하여 다시 타깃 영역을 설정하고, 광 검출 측거부(11)에 의한 주사 범위를, 이 타깃 영역에 한정한다. 이렇게 주사 범위를 한정함으로써, 주사 범위에 있어서의 해상도를 가변으로 할 수 있고, 예를 들어 원거리에 있는 대상물에 대해서도, 진동 분포의 검출이 가능해진다.Next, a second embodiment of the present disclosure will be described. In the second embodiment, a target area is again set for the ROI, and the scanning range by the light detection and range rejection unit 11 is limited to this target area. By limiting the scanning range in this way, the resolution in the scanning range can be varied and, for example, vibration distribution can be detected even for distant objects.

도 12는, 제2 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다. 또한, 이하에 있어서, 상술한 도 8과 공통되는 부분에 대해서는, 상세한 설명을 생략한다.Fig. 12 is a block diagram showing the configuration of an example of a sensing system according to the second embodiment. In addition, below, detailed description of parts that are common to the above-described FIG. 8 will be omitted.

도 12에 있어서, 제2 실시 형태에 관한 센싱 시스템(1b)은, 센서 유닛(10a)과 신호 처리부(12b)와 이상 검지부(20)를 포함한다. 센서 유닛(10a)은, 광 검출 측거부(11a)를 포함한다. 광 검출 측거부(11a)는, 도 5를 사용하여 설명한 광 검출 측거부(11)와 동등한 구성을 갖고, 내부에서 생성되는 주사 제어 신호에 더하여, 외부로부터 공급되는 국소 주사 제어 신호에 따라, 주사부(100)가 주사를 행하는 주사 범위를 제어 가능하게 되어 있다. 예를 들어, 주사부(100)는, 국소 주사 제어 신호에 따라, 광 검출 측거부(11a)의 전역의 주사 범위(40) 내의 임의의 영역을, 새로운 주사 범위로 하여 집중적으로 주사하는 것이 가능하게 되어 있다.In Fig. 12, the sensing system 1b according to the second embodiment includes a sensor unit 10a, a signal processing unit 12b, and an abnormality detection unit 20. The sensor unit 10a includes a light detection and range rejection unit 11a. The light detection range-blocking unit 11a has a configuration equivalent to that of the light detection range-blocking unit 11 explained using FIG. 5, and scans according to a local scan control signal supplied from the outside in addition to the scan control signal generated internally. The scanning range in which the unit 100 performs scanning can be controlled. For example, the scanning unit 100 can intensively scan an arbitrary area within the entire scanning range 40 of the light detection and range rejection unit 11a as a new scanning range in accordance with a local scanning control signal. It is supposed to be done.

신호 처리부(12b)는, 도 8에 나타낸 제1 실시 형태에 관한 센싱 시스템(1a)에 있어서의 신호 처리부(12a)에 대하여, 국소 주사 제어부(170)를 추가한 구성으로 되어 있다. 국소 주사 제어부(170)는, 타깃 영역 설정 정보와, 3D 물체 인식부(122)로부터 출력되는 3D 인식 정보에 기초하여, 광 검출 측거부(11)에 의한 전역의 주사 범위(40)에 대하여 좁은 주사 범위인 타깃 영역을, 주사 범위(40) 내로 설정한다. 국소 주사 제어부(170)는, 설정한 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 출력한다.The signal processing unit 12b is configured by adding a local scanning control unit 170 to the signal processing unit 12a in the sensing system 1a according to the first embodiment shown in FIG. 8. The local scan control unit 170, based on the target area setting information and the 3D recognition information output from the 3D object recognition unit 122, narrows the global scan range 40 by the light detection and range rejection unit 11. The target area, which is the scanning range, is set within the scanning range 40. The local scan control unit 170 outputs a local scan control signal for scanning a set target area.

도 13은, 제2 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다. 또한, 도 14는, 제2 실시 형태에 관한 이상 검지 처리에 있어서 표시부(1013)에 표시되는 화상의 예를 나타내는 모식도이다. 또한, 도 13의 설명에 있어서, 상술한 도 9의 흐름도와 공통되는 부분은, 적절히 설명을 생략한다.Fig. 13 is an example flowchart showing abnormality detection processing according to the second embodiment. 14 is a schematic diagram showing an example of an image displayed on the display unit 1013 in the abnormality detection process according to the second embodiment. In addition, in the description of FIG. 13, description of parts that are common to the flowchart of FIG. 9 described above will be appropriately omitted.

도 13에 있어서, 스텝 S20에서, 센싱 시스템(1b)은, 센서 유닛(10)의 광 검출 측거부(11)에 의해, 주사 범위(40)의 전 영역을 주사하여, 주사 범위(40) 내의 점군을 취득한다. 다음의 스텝 S21에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S20의 주사로 취득된 점군에 기초하여 주사 범위(40)의 2D 화상을 생성하고, 당해 2D 화상을 2D 표시 모드에서 표시시키기 위한 표시 제어 정보를 생성한다. 점군은, 표시에 관해서는 휘도 정보만을 갖기 때문에, 당해 2D 표시 모드에 의해 표시되는 2D 화상은 모노크롬의 화상이다. 당해 2D 화상은, 예를 들어 정보 처리 장치(1000)의 표시부(1013)에 표시된다.13, in step S20, the sensing system 1b scans the entire area of the scanning range 40 by the light detection and range detection unit 11 of the sensor unit 10, and scans the entire area of the scanning range 40 Obtain the point cloud. In the following step S21, the sensing system 1b generates a 2D image of the scanning range 40 based on the point cloud acquired by the scan in step S20 by the vibration distribution generating unit 125, and the 2D image is Generates display control information for display in 2D display mode. Since the point cloud has only luminance information for display, the 2D image displayed in the 2D display mode is a monochrome image. The 2D image is displayed, for example, on the display unit 1013 of the information processing device 1000.

다음의 스텝 S22에서, 센싱 시스템(1b)은, 스텝 S20에서 취득되어 주사 범위(40) 내의 점군에 대하여 ROI가 설정되었는지 여부를 판정한다. ROI는, 예를 들어 도 9의 흐름도의 스텝 S12에서 설명한 바와 같이, 유저 조작에 따라 설정해도 된다. 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, ROI가 설정되어 있지 않다고 판정한 경우(스텝 S22, 「"아니오"」), 처리를 스텝 S22로 복귀시킨다. 한편, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, ROI 설정되었다고 판정한 경우(스텝 S22, 「"예"」), 처리를 스텝 S23으로 이행시킨다.In the following step S22, the sensing system 1b determines whether an ROI has been set for the point cloud acquired in step S20 and within the scanning range 40. The ROI may be set according to user operation, for example, as explained in step S12 of the flowchart in FIG. 9. When the sensing system 1b determines by the vibration distribution generating unit 125 that the ROI is not set (step S22, “NO”), the process returns to step S22. On the other hand, when the sensing system 1b determines that the ROI has been set by the vibration distribution generating unit 125 (step S22, “Yes”), the processing moves to step S23.

도 14의 좌측 상단에 나타나는 화상(400a)은, 직사각형에 의해 ROI(401)가 설정된 2D 화상의 예를 나타내고 있다. 화상(400a)은, 광 검출 측거부(11a)에 의해 전 영역의 주사 범위(40)가 주사되어 취득한 점군에 기초하는 2D 화상이다. 그 때문에, 화상(400a)은, 주사 범위(40)에 있어서의 광 검출 측거부(11a)에 의한 레이저광이 사출되는 포인트 220₁, 220₂, 220₃, …에 따른 해상도를 갖는다.The image 400a shown in the upper left corner of FIG. 14 shows an example of a 2D image in which the ROI 401 is set as a rectangle. The image 400a is a 2D image based on a point cloud obtained by scanning the entire scan range 40 by the light detection and range rejection unit 11a. Therefore, the image 400a represents points 220 ₁ , 220 ₂ , 220 ₃ , . It has a resolution according to .

스텝 S23에서, 센싱 시스템(1b)은, 광 검출 측거부(11)에 의해, ROI(401)를 주사한다. 더 구체적으로는, 센싱 시스템(1b)은, 국소 주사 제어부(170)에 의해 ROI(401)를 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, ROI(401)를 주사한다.In step S23, the sensing system 1b scans the ROI 401 by the light detection and range rejection unit 11. More specifically, the sensing system 1b generates a local scan control signal for scanning the ROI 401 by the local scan control unit 170 and outputs it to the light detection and range rejection unit 11a. The light detection and range rejection unit 11a scans the ROI 401 according to the local scan control signal supplied from the local scan control unit 170.

스텝 S23에 있어서, 광 검출 측거부(11a)는, ROI(401)의 주사를, 스텝 S20에 있어서의 전 영역의 주사에 대하여, 더 고밀도로 행할 수 있다. 예를 들어, 국소 주사 제어부(170)는, 처프광의 사출 포인트의 간격을, 전 영역을 주사하는 경우와 비교하여 좁아지도록 광 검출 측거부(11a)를 제어하는 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 공급한다. 이와 같이, 전 영역에 대한 주사에 대하여 고밀도로 주사를 행함으로써, 전 영역에 대한 주사에 의해 취득되는 점군보다도 고해상도의 점군을 취득할 수 있다.In step S23, the light detection and range detection unit 11a can scan the ROI 401 at a higher density than the scan of the entire area in step S20. For example, the local scan control unit 170 generates a local scan control signal to control the light detection range-blocking unit 11a so that the spacing between the emission points of the chirp light is narrowed compared to the case of scanning the entire area, It is supplied to the detection and range detection unit 11a. In this way, by performing scanning at a high density for scanning the entire area, it is possible to acquire a point cloud with higher resolution than the point cloud acquired by scanning the entire area.

다음의 스텝 S24에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S23의 ROI의 주사로 취득된 점군에 기초하여, ROI(401)의 화상을 3D 표시 모드에 의해 표시부(1013)에 표시시킨다. 스텝 S23에서 ROI(401)를 고밀도로 주사하고 있기 때문에, 여기서 표시되는 화상은, 스텝 S21에서 표시되는 2D 화상에 비해 고해상도로 되어 있다. 진동 분포 생성부(125)는, 3D 표시 모드에서는, 3D 물체 인식부(122)에 의한 물체 인식 결과인 3D 인식 정보에 기초하여, ROI(401)에 포함되는, 진동 분포를 검출하는 타깃의 후보를 표시시킨다.In the next step S24, the sensing system 1b displays the image of the ROI 401 in the display unit in a 3D display mode based on the point cloud acquired by scanning the ROI in step S23 by the vibration distribution generating unit 125. (1013). Since the ROI 401 is scanned at high density in step S23, the image displayed here has higher resolution than the 2D image displayed in step S21. In the 3D display mode, the vibration distribution generator 125 generates a candidate target for detecting the vibration distribution included in the ROI 401 based on 3D recognition information that is the result of object recognition by the 3D object recognition unit 122. Displays .

도 14의 우측 상단에 나타나는 화상(400b)은, 동도 좌측 상단의 화상(400a)에 있어서의 ROI(401)를 확대 표시함과 함께, 타깃 후보를 표시한 예를 나타내고 있다. 화상(400b)의 예에서는, 3D 인식 정보에 기초하여 타깃 후보로서 추출된 각 영역(410a 내지 410e)이, 각각 사선을 그어 나타나 있다. 이들 각 영역(410a 내지 410e)은, 예를 들어 3D 물체 인식부(122)에 의해, ROI(401) 내에 있어서 다른 부위라고 인식된 것이다.The image 400b shown in the upper right corner of FIG. 14 shows an example in which the ROI 401 in the image 400a in the upper left corner of FIG. 14 is enlarged and a target candidate is displayed. In the example of the image 400b, each region 410a to 410e extracted as a target candidate based on the 3D recognition information is indicated with a diagonal line. Each of these areas 410a to 410e is recognized as a different area within the ROI 401 by, for example, the 3D object recognition unit 122.

도 13에 있어서, 다음의 스텝 S25에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S24에서 타깃 후보로서 제시된 각 영역(410a 내지 410e)으로부터, 진동 분포 검출의 타깃이 선택되었는지 여부를 판정한다.13, in the following step S25, the sensing system 1b selects a target for vibration distribution detection from each area 410a to 410e presented as a target candidate by the vibration distribution generating unit 125 in step S24. Determine whether it has been selected.

예를 들어, 센싱 시스템(1b)은, 스텝 S24에서 표시부(1013)에 의해 표시된 화상(400b)에 대한 유저 조작에 따라, 각 영역(410a 내지 410e)으로부터, 진동 분포 검출의 대상이 될 타깃을 선택한다. 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 타깃이 설정되어 있지 않다고 판정한 경우(스텝 S25, 「"아니오"」), 처리를 스텝 S25로 복귀시킨다. 한편, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 타깃이 선택되었다고 판정한 경우(스텝 S25, 「"예"」), 처리를 스텝 S26으로 이행시킨다.For example, the sensing system 1b selects a target to be the object of vibration distribution detection from each area 410a to 410e according to the user's operation on the image 400b displayed by the display unit 1013 in step S24. Choose. When the sensing system 1b determines by the vibration distribution generating unit 125 that the target has not been set (step S25, “No”), the process returns to step S25. On the other hand, when the sensing system 1b determines that the target has been selected by the vibration distribution generating unit 125 (step S25, “Yes”), the processing moves to step S26.

도 14의 좌측 하단에 나타나는 화상(400c)은, 스텝 S25에서 각 타깃 후보로부터 영역(410b)이 타깃으로서 선택된 경우의 예를 나타내고 있다. 또한, 타깃으로서 복수의 영역을 선택하는 것도 가능하다.The image 400c appearing at the lower left of FIG. 14 shows an example where the area 410b is selected as a target from each target candidate in step S25. Additionally, it is also possible to select multiple areas as targets.

다음의 스텝 S26에서, 센싱 시스템(1b)은, 광 검출 측거부(11)에 의해, 스텝 S25에서 선택된 타깃 영역(이 예에서는 영역(410b))을 주사한다. 더 구체적으로는, 센싱 시스템(1b)은, 국소 주사 제어부(170)에 의해 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, 타깃 영역을 주사한다.In the following step S26, the sensing system 1b scans the target area selected in step S25 (area 410b in this example) by the light detection and range-denomination unit 11. More specifically, the sensing system 1b generates a local scan control signal for scanning the target area by the local scan control unit 170 and outputs it to the light detection and range rejection unit 11a. The light detection and range rejection unit 11a scans the target area according to the local scan control signal supplied from the local scan control unit 170.

스텝 S26에 있어서, 광 검출 측거부(11a)는, 타깃 영역의 주사를, 스텝 S20에 있어서의 전 영역의 주사나, 스텝 S23에 있어서의 ROI(401)의 주사에 대하여, 더 고밀도로 행할 수 있다. 예를 들어, 국소 주사 제어부(170)는, 처프광의 사출 포인트의 간격을, ROI(401) 전 영역을 주사하는 경우와 비교하여 더 좁아지도록 광 검출 측거부(11a)를 제어하는 국소 주사 제어 신호를 생성할 수 있다. 이와 같이, 타깃 영역에 대한 주사를, 전 영역이나 ROI(401)에 대한 주사에 대하여 고밀도로 행함으로써, 전 영역에 대한 주사나 ROI(401)에 대한 주사에 의해 취득되는 점군보다도 고해상도의 점군을 취득할 수 있다.In step S26, the light detection and range detection unit 11a can scan the target area at a higher density than the scan of the entire area in step S20 or the scan of the ROI 401 in step S23. there is. For example, the local scan control unit 170 provides a local scan control signal that controls the light detection range rejection unit 11a so that the spacing between the emission points of the chirp light becomes narrower compared to the case where the entire area of the ROI 401 is scanned. can be created. In this way, by performing scanning of the target area at high density for the entire area or the ROI (401), a point cloud with higher resolution than the point cloud obtained by scanning the entire area or scanning the ROI (401) is produced. It can be acquired.

다음의 스텝 S27에서, 센싱 시스템(1b)은, 진동 분포 생성부(125)에 의해, 스텝 S26에서 주사된 타깃 영역(이 예에서는 영역(410b))에 대하여 진동 분포를 검출하여, 타깃 영역에 있어서의 진동 분포를 출력한다. 진동 분포 생성부(125)에 의한 진동 분포 생성 처리에 대해서는, 후술한다.In the next step S27, the sensing system 1b detects the vibration distribution with respect to the target area scanned in step S26 (area 410b in this example) by the vibration distribution generating unit 125, and detects the vibration distribution in the target area. Outputs the vibration distribution in The vibration distribution generation process by the vibration distribution generation unit 125 will be described later.

도 14의 우측 하단에 나타나는 화상(400d)은, 진동 분포 생성부(125)에 의해 생성된, 타깃 영역(이 예에서는 영역(410b))에 있어서의 진동 분포를 모식적으로 나타내는 화상이다. 화상(400d)에 있어서, 타깃 영역인 영역(410b)이 진동의 정도에 따라 영역(420a 내지 420d)으로 구분되어, 영역(410b)에 있어서의 진동 분포가 나타나 있다.The image 400d shown at the lower right of FIG. 14 is an image that is generated by the vibration distribution generating unit 125 and schematically shows the vibration distribution in the target area (area 410b in this example). In the image 400d, the area 410b, which is the target area, is divided into areas 420a to 420d according to the degree of vibration, and the vibration distribution in the area 410b is shown.

다음의 스텝 S28에서, 센싱 시스템(1b)은, 이상 검지부(20)에 의해, 타깃 영역에 있어서, 진동 분포 생성부(125)로부터 출력된 진동 분포에 기초하여, 진동의 정도가 역치를 초과하는 영역이 존재하는지 여부가 판정된다. 진동 분포 생성부(125)는, 예를 들어 상술한 진동의 정도에 대하여 역치 판정을 행한다.In the following step S28, the sensing system 1b detects that the degree of vibration exceeds the threshold based on the vibration distribution output from the vibration distribution generating unit 125 in the target area by the abnormality detection unit 20. It is determined whether the area exists. For example, the vibration distribution generator 125 makes a threshold determination regarding the degree of vibration described above.

센싱 시스템(1b)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재한다고 판정된 경우(스텝 S28, 「"예"」), 처리를 스텝 S29로 이행시켜, 당해 타깃 영역에 있어서 이상이 검출되었다고 판정한다. 한편, 센싱 시스템(1b)은, 이상 검지부(20)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재하지 않는다고 판정된 경우(스텝 S28, 「"아니오"」), 처리를 스텝 S30으로 이행시켜, 당해 타깃 영역 내에 이상이 없다고 판정한다.When the abnormality detection unit 20 determines that an area in which the degree of vibration exceeds the threshold exists within the target area (step S28, “Yes”), the sensing system 1b transfers the process to step S29. , it is determined that an abnormality has been detected in the target area. On the other hand, when the abnormality detection unit 20 determines that the area where the degree of vibration exceeds the threshold does not exist in the target area (step S28, “No”), the sensing system 1b transfers the processing to step S30. It is determined that there is no abnormality in the target area.

스텝 S29 또는 스텝 S30의 처리 후, 도 13의 흐름도에 의한 일련의 처리가 종료된다.After processing step S29 or step S30, the series of processing according to the flowchart in FIG. 13 ends.

도 15는, 제2 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다. 도 15에 나타내는 흐름도는, 상술한 도 13에 있어서의 스텝 S26 및 스텝 S27의 처리를 더 상세하게 나타낸 예이고, 예를 들어 진동 분포 생성부(125)에 있어서 실행된다. 또한, 도 15의 설명에 있어서, 상술한 도 11의 흐름도와 공통되는 부분은 적절히 설명을 생략한다.Fig. 15 is an example flowchart showing vibration distribution generation processing according to the second embodiment. The flowchart shown in FIG. 15 is an example showing the processing of step S26 and step S27 in FIG. 13 described above in more detail, and is executed, for example, in the vibration distribution generating unit 125. In addition, in the description of FIG. 15, description of parts that are common to the flowchart of FIG. 11 described above will be appropriately omitted.

도 15에 있어서, 좌측의 스텝 S200 내지 스텝 S204의 처리는, 속도 점군을 사용하여 깊이 방향 및 시야 방향의 진동 분포를 계측하는 처리이다. 또한, 우측의 스텝 S210 내지 스텝 S214의 처리는, 휘도 점군을 사용하여 시야 방향의 진동 분포를 계측하는 처리이다.In FIG. 15 , the processing of steps S200 to S204 on the left is processing of measuring vibration distribution in the depth direction and viewing direction using a velocity point group. Additionally, the processing of steps S210 to S214 on the right is processing of measuring the vibration distribution in the viewing direction using the luminance point group.

우선, 스텝 S200 내지 스텝 S204의, 속도 점군을 사용한 깊이 방향 및 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.First, the vibration distribution measurement processing in the depth direction and viewing direction using the velocity point group in steps S200 to S204 will be described.

도 15에 있어서의 스텝 S200의 처리는, 도 13의 흐름도에 있어서의 스텝 S26의 처리에 대응한다. 스텝 S200에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 타깃 영역에 있어서의 속도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S201에서, 진동 분포 생성부(125)는, 이 속도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다. 다음의 스텝 S202에서, 진동 분포 생성부(125)는, 점군 프레임으로부터 속도 점군을 추출한다. 스텝 S02에서 추출되는 속도 점군은, 3D 정보를 갖는다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 속도 점군을 기억부(126a)에 기억시켜도 된다.The processing of step S200 in FIG. 15 corresponds to the processing of step S26 in the flowchart of FIG. 13. In step S200, the vibration distribution generator 125 acquires a point cloud frame based on the velocity point cloud in the target area, based on the output of the light detection and range detection unit 11. In the following step S201, the vibration distribution generating unit 125 acquires 3D recognition information obtained by recognition processing by the 3D object recognition unit 122 for the point cloud frame based on this velocity point cloud. In the next step S202, the vibration distribution generating unit 125 extracts a velocity point cloud from the point cloud frame. The velocity point cloud extracted in step S02 has 3D information. The vibration distribution generating unit 125 may store the extracted velocity point group of the target area in the storage unit 126a.

다음의 스텝 S203에서, 진동 분포 생성부(125)는, 깊이 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S203, 「"아니오"」), 처리를 스텝 S200으로 복귀시켜, 다음의 점군 프레임을 취득하고, 취득한 점군 프레임에 대한 측정을 실행(스텝 S201, 스텝 S202)한다. In the following step S203, the vibration distribution generating unit 125 determines whether measurement of a predetermined number of point cloud frames necessary for detection of vibration in the depth direction has been performed. When the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames is not being performed (step S203, “No”), returns the process to step S200 and acquires the next point cloud frame. , Measurement is performed on the acquired point cloud frame (step S201, step S202).

한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S203, 「"예"」), 처리를 스텝 S204로 이행시킨다.On the other hand, when the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames has been performed (step S203, “Yes”), the process advances to step S204.

스텝 S204에서, 진동 분포 생성부(125)는, 스텝 S203까지의 처리에서 취득된 속도 점군에 기초하여, 예를 들어 도 2 및 도 3을 사용하여 설명한 방법에 의해, 깊이 방향의 진동 분포와, 시야 방향의 진동 분포를 산출한다.In step S204, the vibration distribution generating unit 125 generates a vibration distribution in the depth direction, for example, by the method described using FIGS. 2 and 3, based on the velocity point group acquired in the processing up to step S203, Calculate the vibration distribution in the viewing direction.

이어서, 스텝 S210 내지 스텝 S214의, 휘도 점군을 사용한 시야 방향의 진동 분포 계측 처리에 대하여 설명한다.Next, the vibration distribution measurement processing in the viewing direction using the luminance point group in steps S210 to S214 will be described.

도 15에 있어서의 스텝 S210의 처리는, 도 13의 흐름도에 있어서의 스텝 S26의 처리에 대응한다. 스텝 S210에서, 진동 분포 생성부(125)는, 광 검출 측거부(11)의 출력에 기초하여, 타깃 영역에 있어서의 휘도 점군에 의한 점군 프레임을 취득한다. 다음의 스텝 S211에서, 진동 분포 생성부(125)는, 이 휘도 점군에 의한 점군 프레임에 대한 3D 물체 인식부(122)에 의한 인식 처리에 의해 얻어진 3D 인식 정보를 취득한다.The processing of step S210 in FIG. 15 corresponds to the processing of step S26 in the flowchart of FIG. 13. In step S210, the vibration distribution generating unit 125 acquires a point cloud frame based on the luminance point cloud in the target area, based on the output of the light detection and range rejecting unit 11. In the following step S211, the vibration distribution generating unit 125 acquires 3D recognition information obtained by recognition processing by the 3D object recognition unit 122 for the point cloud frame based on this luminance point cloud.

다음의 스텝 S212에서, 진동 분포 생성부(125)는, 점군 프레임으로부터 휘도 점군을 추출한다. 진동 분포 생성부(125)는, 휘도 점군에 의한 점군 프레임으로부터, 2D 정보를 추출한다. 예를 들어, 진동 분포 생성부(125)는, 당해 점군 프레임에 포함되는 각 점의 정보를, 시야 방향의 면에 투영한다. 따라서, 스텝 S212에서 추출되는 휘도 점군은 2D 정보를 갖는다. 진동 분포 생성부(125)는, 추출한 타깃 영역의 2D 정보를 기억부(126a)에 기억시켜도 된다.In the next step S212, the vibration distribution generating unit 125 extracts a luminance point cloud from the point cloud frame. The vibration distribution generator 125 extracts 2D information from a point cloud frame based on a luminance point cloud. For example, the vibration distribution generator 125 projects information on each point included in the point cloud frame onto a plane in the viewing direction. Therefore, the luminance point group extracted in step S212 has 2D information. The vibration distribution generating unit 125 may store the extracted 2D information of the target area in the storage unit 126a.

다음의 스텝 S213에서, 진동 분포 생성부(125)는, 시야 방향의 진동 검출에 필요한 소정수의 점군 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S213, 「"아니오"」), 처리를 스텝 S200으로 복귀시켜, 다음의 점군 프레임을 취득하고, 취득한 점군 프레임에 대한 측정을 실행(스텝 S211, 스텝 S212)한다.In the following step S213, the vibration distribution generating unit 125 determines whether measurement of a predetermined number of point cloud frames required for vibration detection in the viewing direction has been performed. When the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames is not being performed (step S213, “No”), returns the process to step S200 and acquires the next point cloud frame. , Measurement is performed on the acquired point cloud frame (step S211, step S212).

한편, 진동 분포 생성부(125)는, 소정수의 점군 프레임의 측정을 실행하였다고 판정한 경우(스텝 S213, 「"예"」), 처리를 스텝 S214로 이행시킨다.On the other hand, when the vibration distribution generating unit 125 determines that measurement of a predetermined number of point cloud frames has been performed (step S213, “Yes”), the process moves to step S214.

스텝 S214에서, 진동 분포 생성부(125)는, 스텝 S213까지의 처리에서 취득된, 각각 2D 정보인 복수 프레임분의 휘도 점군에 기초하여, 예를 들어 도 1의 섹션 (c)를 사용하여 설명한 방법에 의해, 시야 방향의 진동 분포를 산출한다.In step S214, the vibration distribution generating unit 125 performs the luminance point cloud of a plurality of frames, each of which is 2D information, acquired in the processing up to step S213, as described using, for example, section (c) in FIG. 1. Vibration distribution in the viewing direction is calculated by the method.

진동 분포 생성부(125)는, 스텝 S204 및 스텝 S214의 처리 종료 후, 처리를 스텝 S220으로 이행시킨다. 스텝 S220에서, 진동 분포 생성부(125)는, 스텝 S204에서 산출된 깊이 방향 및 시야 방향의 진동 분포와, 스텝 S214에서 산출된 시야 방향의 진동 분포를 통합하여, 타깃 영역의 진동 분포를 구하고, 구한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20)에 대하여 출력한다.After the processing of step S204 and step S214 is completed, the vibration distribution generating unit 125 moves the processing to step S220. In step S220, the vibration distribution generating unit 125 integrates the vibration distribution in the depth direction and the viewing direction calculated in step S204 and the vibration distribution in the viewing direction calculated in step S214 to obtain the vibration distribution of the target area, Vibration distribution information representing the obtained vibration distribution is output to the abnormality detection unit 20.

또한, 도 11의 흐름도와 마찬가지로, 도 15의 흐름도에서는, 스텝 S200 내지 스텝 S204의 처리와, 스텝 S210 내지 스텝 S214의 처리는, 서로 독립적으로 실행하는 것이 가능하다. 이에 한정되지 않고, 이들 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214의 처리를 동기시켜 실행해도 된다. 또한, 이들 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214를, 공통의 주사 범위에 대한 동일한 주사에 의한 처리로 해도 된다. 이 경우, 스텝 S203 및 스텝 S213에 있어서 판정되는 소정수는, 스텝 S201 및 스텝 S213에서 동일한 수가 된다.In addition, similarly to the flowchart of FIG. 11 , in the flowchart of FIG. 15 , the processing of steps S200 to S204 and the processing of steps S210 to S214 can be executed independently of each other. It is not limited to this, and the processing of steps S200 to S204 and steps S210 to S214 may be performed synchronously. Additionally, these steps S200 to S204 and steps S210 to S214 may be processed by the same scan over a common scanning range. In this case, the predetermined number determined in step S203 and step S213 is the same number in step S201 and step S213.

이와 같이, 제2 실시 형태에서는, FMCW-LiDAR에 의해 측거를 행하는 광 검출 측거부(11a)에 의해 출력된 점군에 대하여 3D 물체 인식 처리를 행하고, 그 인식 결과에 기초하여 타깃 영역의 점군을 추출한다. 이때, 제2 실시 형태에서는, 광 검출 측거부(11a)의 전 영역에 대한 주사 범위(40)에 대하여 좁은 범위를 타깃 영역으로 하고, 타깃 영역에 대한 조작을, 주사 범위(40)에 대한 주사에 대하여 고밀도로 실행한다. 그 때문에, 타깃 영역 내의 진동 분포를 더 고정밀도로 계측하는 것이 가능하여, 계측된 진동 분포에 기초하는 대상물의 이상 검지를 더 고정밀도로 실행할 수 있다.In this way, in the second embodiment, 3D object recognition processing is performed on the point cloud output by the light detection range unit 11a that performs rangefinding by FMCW-LiDAR, and the point cloud of the target area is extracted based on the recognition result. do. At this time, in the second embodiment, a narrow range of the scanning range 40 for the entire area of the light detection and range-rejecting unit 11a is set as the target area, and operations on the target area are performed on the scanning range 40. Executes at high density. Therefore, it is possible to measure the vibration distribution in the target area with higher precision, and abnormality detection of the object based on the measured vibration distribution can be performed with higher precision.

(5. 제3 실시 형태)(5. Third embodiment)

이어서, 본 개시의 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, 상술한 제2 실시 형태에 관한 센서 유닛(10a)에 있어서, 광 검출 측거부(11a)에 더하여 촬상 장치를 마련하여, 광 검출 측거부(11a)에 의해 취득한 점군과, 촬상 장치에 의해 촬상한 촬상 화상을 사용하여 물체 인식을 행하여, 인식 정보를 얻도록 한 예이다.Next, a third embodiment of the present disclosure will be described. In the third embodiment, in the sensor unit 10a according to the above-described second embodiment, an imaging device is provided in addition to the light detection and range-blocking unit 11a, and a point cloud acquired by the light detection and range-blocking unit 11a is provided, This is an example in which object recognition is performed using a captured image captured by an imaging device, and recognition information is obtained.

R(적색), G(녹색), B(청색)의 각 색의 정보를 갖는 촬상 화상을 취득 가능한 촬상 장치는, 일반적으로, FMCW-LiDAR에 의한 광 검출 측거부(11a)와 비교하여, 해상도가 훨씬 높다. 따라서, 광 검출 측거부(11a)와 촬상 장치를 사용하여 인식 처리를 행함으로써, 광 검출 측거부(11a)에 의한 점군 정보만을 사용하여 검출, 인식 처리를 행하는 경우에 비해, 더 고정밀도로 검출, 인식 처리를 실행하는 것이 가능해진다.An imaging device capable of acquiring a captured image with information in each color of R (red), G (green), and B (blue) generally has a lower resolution compared to the light detection range 11a by FMCW-LiDAR. is much higher. Therefore, by performing recognition processing using the light detection range detection unit 11a and the imaging device, detection and recognition processing can be performed with higher precision compared to the case where detection and recognition processing are performed using only the point cloud information by the light detection range detection unit 11a. It becomes possible to perform recognition processing.

도 16은, 제3 실시 형태에 관한 센싱 시스템의 일례의 구성을 나타내는 블록도이다. 또한, 이하에 있어서, 상술한 도 12와 공통되는 부분에 대해서는, 상세한 설명을 생략한다.Fig. 16 is a block diagram showing the configuration of an example of a sensing system according to the third embodiment. In addition, below, detailed description of parts that are common to the above-described FIG. 12 will be omitted.

도 16에 있어서, 제3 실시 형태에 관한 센싱 시스템(1c)은, 센서 유닛(10b)과 신호 처리부(12c)와 이상 검지부(20a)를 포함한다.In Fig. 16, the sensing system 1c according to the third embodiment includes a sensor unit 10b, a signal processing unit 12c, and an abnormality detection unit 20a.

센서 유닛(10b)은, 광 검출 측거부(11a)와 카메라(13)를 포함한다. 카메라(13)는, 상술한 RGB 각 색의 정보(이하, 적절히, 색정보라고 칭함)를 갖는 촬상 화상을 취득 가능한 이미지 센서를 포함하는 촬상 장치이며, 외부로부터 공급되는 화각 제어 신호에 따라, 화각 및 전 화각에 있어서의 촬상 범위를 제어 가능하게 되어 있다.The sensor unit 10b includes a light detection range unit 11a and a camera 13. The camera 13 is an imaging device including an image sensor capable of acquiring a captured image having information on the above-described RGB colors (hereinafter, appropriately referred to as color information), and changes the angle of view according to a view angle control signal supplied from the outside. And the imaging range in all angles of view can be controlled.

이미지 센서는, 예를 들어 각각 수광한 광에 따른 신호를 출력하는 화소가 2차원 격자 형상으로 나열되는 화소 어레이와, 당해 화소 어레이에 포함되는 각 화소를 구동하기 위한 구동 회로를 포함한다. 또한, 카메라(13)는, 예를 들어 줌 기구 및 촬상 방향 제어 기구를 포함하고, 화각 제어 신호에 따라, 화각이나 촬상 방향을 변경하여, 소정의 제한 내에 있어서 원하는 피사체를 확대하여 촬상하는 것이 가능하게 되어 있다. 이들 줌 기구 및 촬상 방향 제어 기구는, 광학적인 것이어도 되고, 전자적인 것이어도 된다.The image sensor includes, for example, a pixel array in which pixels that output signals according to the received light are arranged in a two-dimensional grid, and a driving circuit for driving each pixel included in the pixel array. In addition, the camera 13 includes, for example, a zoom mechanism and an imaging direction control mechanism, and can change the angle of view or the imaging direction in accordance with the angle of view control signal to enlarge and capture a desired subject within predetermined limits. It is supposed to be done. These zoom mechanisms and imaging direction control mechanisms may be optical or electronic.

도 16에 있어서, 신호 처리부(12c)는, 점군 합성부(160)와, 3D 물체 검출부(121a)와, 3D 물체 인식부(122a)와, 화상 합성부(150)와, 2D(TwoDimensions) 물체 검출부(151)와, 2D 물체 인식부(152)와, I/F부(123a)를 포함한다.In FIG. 16, the signal processing unit 12c includes a point cloud synthesis unit 160, a 3D object detection unit 121a, a 3D object recognition unit 122a, an image synthesis unit 150, and a 2D (TwoDimensions) object. It includes a detection unit 151, a 2D object recognition unit 152, and an I/F unit 123a.

점군 합성부(160), 3D 물체 검출부(121a) 및 3D 물체 인식부(122a)는, 점군 정보에 관한 처리를 행한다. 또한, 화상 합성부(150), 2D 물체 검출부(151) 및 2D 물체 인식부(152)는, 촬상 화상에 관한 처리를 행한다.The point cloud synthesis unit 160, 3D object detection unit 121a, and 3D object recognition unit 122a perform processing on point cloud information. Additionally, the image synthesis unit 150, 2D object detection unit 151, and 2D object recognition unit 152 perform processing on captured images.

점군 합성부(160)는, 광 검출 측거부(11a)로부터 점군을 취득하고, 카메라(13)로부터 촬상 화상을 취득한다. 점군 합성부(160)는, 점군과 촬상 화상에 기초하여, 색정보나 그밖의 정보를 조합하여, 점군의 각 계측점에 대하여 새로운 정보 등을 추가한 점군인 합성 점군을 생성한다.The point cloud synthesis unit 160 acquires a point cloud from the light detection and range rejection unit 11a and acquires a captured image from the camera 13. The point cloud synthesis unit 160 combines color information and other information based on the point cloud and the captured image to generate a synthesized point cloud, which is a point cloud to which new information, etc. are added for each measurement point of the point cloud.

더 구체적으로는, 점군 합성부(160)는, 점군에 있어서의 각 계측점의 각도 좌표에 대응하는 촬상 화상의 화소를, 좌표계 변환에 의해 참조하고, 각 계측점에 대하여, 그 점을 대표하는 색정보를 취득한다. 계측점은, 도 6을 사용하여 설명한 각 포인트 220₁, 220₂, 220₃, …에 대하여 반사광이 수신된 포인트에 대응한다. 점군 합성부(160)는, 취득한 각 계측점의 각 색정보를, 각 계측점의 계측 정보에 부가한다. 점군 합성부(160)는, 각 계측점이 3D 좌표 정보, 속도 정보, 휘도 정보 및 색정보를 갖는 합성 점군을 출력한다.More specifically, the point cloud synthesis unit 160 refers to the pixels of the captured image corresponding to the angular coordinates of each measurement point in the point cloud by coordinate system transformation, and for each measurement point, color information representing that point. acquire. The measurement points are each of the points 220 ₁ , 220 ₂ , 220 ₃ , … described using FIG. 6 . Corresponds to the point at which the reflected light is received. The point cloud synthesis unit 160 adds each color information of each acquired measurement point to the measurement information of each measurement point. The point cloud synthesis unit 160 outputs a synthesized point cloud in which each measurement point has 3D coordinate information, speed information, luminance information, and color information.

또한, 점군과 촬상 화상 사이의 좌표계 변환은, 예를 들어 미리 광 검출 측거부(11a) 및 카메라(13)의 위치 관계에 기초한 교정 처리를 행하고, 이 교정 결과를, 속도 점군의 각도 좌표와, 촬상 화상에 있어서의 화소의 좌표에 반영한 후에, 실행하는 것이 바람직하다.In addition, the coordinate system conversion between the point cloud and the captured image is performed, for example, in advance by performing calibration processing based on the positional relationship between the light detection range section 11a and the camera 13, and converting this calibration result into the angular coordinates of the velocity point cloud, It is preferable to execute this after reflecting the coordinates of pixels in the captured image.

3D 물체 검출부(121a)는, 점군 합성부(160)로부터 출력된 합성 점군을 취득하여, 취득한 합성 점군에 포함되는, 3D 물체를 나타내는 계측점을 검출한다. 3D 물체 검출부(121a)는, 합성 점군으로부터 검출한 3D 물체를 나타내는 계측점에 의한 점군을, 국재 점군으로서 추출한다. 3D 물체 검출부(121a)에 의한 국재 점군의 추출 처리 및 영역 정보의 생성 처리는, 도 8을 사용하여 설명한 3D 물체 검출부(121)에 있어서의 각 처리와 동등하므로, 여기서의 상세한 설명을 생략한다.The 3D object detection unit 121a acquires the synthesized point cloud output from the point cloud synthesis unit 160 and detects measurement points representing the 3D object included in the acquired synthesized point cloud. The 3D object detection unit 121a extracts a point cloud based on measurement points representing the 3D object detected from the synthetic point cloud as a local point cloud. The extraction process of the local point cloud and the generation process of area information by the 3D object detection unit 121a are equivalent to the respective processes in the 3D object detection unit 121 explained using FIG. 8, so detailed descriptions here are omitted.

3D 물체 검출부(121a)는, 국재 점군과, 당해 국재 점군에 관한 3D 좌표와, 속도 정보와, 휘도 정보를 3D 검출 결과를 나타내는 3D 검출 정보로서 출력한다. 3D 검출 정보는, 3D 물체 인식부(122a) 및 후술하는 2D 물체 검출부(151)에 공급된다. 이때, 3D 물체 검출부(121a)는, 검출된 국재 점군의 영역에, 당해 국재 점군에 대응하는 3D 물체를 나타내는 라벨 정보를 부가하고, 부가한 라벨 정보를 3D 검출 결과에 포함시켜도 된다.The 3D object detection unit 121a outputs a local point cloud, 3D coordinates related to the local point cloud, speed information, and luminance information as 3D detection information indicating the 3D detection result. 3D detection information is supplied to the 3D object recognition unit 122a and the 2D object detection unit 151, which will be described later. At this time, the 3D object detection unit 121a may add label information indicating the 3D object corresponding to the local point cloud to the area of the detected local point cloud, and include the added label information in the 3D detection result.

3D 물체 인식부(122a)는, 3D 물체 검출부(121a)로부터 출력된 3D 검출 정보를 취득한다. 또한, 3D 물체 인식부(122a)는, 후술하는 2D 물체 인식부(152)로부터 출력된 영역 정보 및 속성 정보를 취득한다. 3D 물체 인식부(122a)는, 취득한 3D 검출 정보와, 2D 물체 인식부(152)로부터 취득한 영역 정보에 기초하여, 국재 점군에 대한 물체 인식을 행한다.The 3D object recognition unit 122a acquires 3D detection information output from the 3D object detection unit 121a. Additionally, the 3D object recognition unit 122a acquires area information and attribute information output from the 2D object recognition unit 152, which will be described later. The 3D object recognition unit 122a performs object recognition for the local point cloud based on the acquired 3D detection information and area information acquired from the 2D object recognition unit 152.

3D 물체 인식부(122a)는, 3D 검출 정보와 영역 정보에 기초하여, 국재 점군에 포함되는 점의 수가, 대상 물체의 인식에 이용할 수 있는 소정수 이상인 경우에, 그 국재 속도 점군에 대하여 점군 인식 처리를 행한다. 3D 물체 인식부(122a)는, 이 점군 인식 처리에 의해, 인식된 물체에 관한 속성 정보를 추정한다. 이하에서는, 점군에 기초하는 속성 정보를, 3D 속성 정보라고 칭한다.Based on the 3D detection information and area information, the 3D object recognition unit 122a recognizes the local point cloud for the local velocity point cloud when the number of points included in the local point cloud is more than a predetermined number that can be used for recognition of the target object. Perform processing. The 3D object recognition unit 122a estimates attribute information about the recognized object through this point cloud recognition processing. Hereinafter, attribute information based on point clouds is referred to as 3D attribute information.

3D 물체 인식부(122a)는, 광 검출 측거부(11a)로부터 출력된 점군 중 3D 물체에 대응하는 국재 점군에 대하여, 물체 인식 처리를 실행해도 된다. 예를 들어, 3D 물체 인식부(122a)는, 광 검출 측거부(11a)로부터 출력된 점군 중 국재 점군 이외의 부분의 점군을 제거하여, 당해 부분에 대해서는 물체 인식 처리를 실행하지 않도록 할 수 있다. 이에 의해, 3D 물체 인식부(122a)에 의한 인식 처리의 부하를 삭감하는 것이 가능하다.The 3D object recognition unit 122a may perform object recognition processing on a local point cloud corresponding to the 3D object among the point clouds output from the light detection and range detection unit 11a. For example, the 3D object recognition unit 122a may remove the point cloud of a part other than the local point cloud from the point cloud output from the light detection and range detection unit 11a so that object recognition processing is not performed on that part. . Thereby, it is possible to reduce the load of recognition processing by the 3D object recognition unit 122a.

3D 물체 인식부(122a)는, 추정된 3D 속성 정보의 신뢰도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 계측을 행한 시각을 나타내는 시각 정보와, 3D 영역 정보와, 3D 속성 정보를 통합하여, 3D 인식 정보로서 출력한다.The 3D object recognition unit 122a provides visual information indicating the time at which the measurement was performed, 3D area information, and 3D attribute information when the reliability of the estimated 3D attribute information is above a certain level, that is, when recognition processing is performed significantly. are integrated and output as 3D recognition information.

또한, 속성 정보는, 인식 처리의 결과, 점군의 점이나 화상의 화소마다, 그 단위가 속하는 대상 물체의 종별이나 고유 분류 등의 대상 물체의 속성을 나타내는 정보이다. 3D 속성 정보는, 대상 물체가 사람이라면, 예를 들어 점군의 각 점에 대하여 부여된, 그 사람에 속하는 고유 수치로서 표현할 수 있다.Additionally, the attribute information is information that indicates the attributes of the target object, such as the type or unique classification of the target object to which the unit belongs, for each point of a point cloud or pixel of an image as a result of recognition processing. If the target object is a person, 3D attribute information can be expressed, for example, as a unique value assigned to each point of a point cloud and belonging to that person.

화상 합성부(150)는, 광 검출 측거부(11a)로부터 속도 점군을 취득하고, 카메라(13)로부터 촬상 화상을 취득한다. 화상 합성부(150)는, 속도 점군과 촬상 화상에 기초하여, 거리 화상 및 속도 화상을 생성한다. 거리 화상은, 계측점으로부터의 거리를 나타내는 정보를 포함하는 화상이다. 또한, 속도 화상은, 도플러 효과에 의한 화상이며, 예를 들어 계측점에 대한 속도 및 속도의 방향을 나타내는 정보를 포함한다.The image synthesis unit 150 acquires a velocity point group from the light detection range detection unit 11a and acquires a captured image from the camera 13. The image synthesis unit 150 generates a distance image and a velocity image based on the velocity point cloud and the captured image. A distance image is an image containing information indicating the distance from a measurement point. Additionally, the speed image is an image based on the Doppler effect and includes information indicating, for example, the speed and direction of the speed with respect to the measurement point.

화상 합성부(150)는, 거리 화상 및 속도 화상과, 촬상 화상을, 좌표계 변환에 의해 좌표를 일치시키면서 합성하고, RGB 화상에 의한 합성 화상을 생성한다. 여기서 생성된 합성 화상은, 각 화소가 색, 거리 및 속도의 정보를 갖는 화상이다. 또한, 거리 화상 및 속도 화상은, 카메라(13)로부터 출력되는 촬상 화상보다도 해상도가 낮다. 그 때문에, 화상 합성부(150)는, 거리 화상 및 속도 화상에 대하여 업 스케일링 등의 처리에 의해, 해상도를 촬상 화상에 일치시켜도 된다.The image synthesis unit 150 synthesizes the distance image, the speed image, and the captured image while matching the coordinates by coordinate system transformation, and generates a composite image using an RGB image. The composite image generated here is an image in which each pixel has color, distance, and speed information. Additionally, the distance image and speed image have lower resolution than the captured image output from the camera 13. Therefore, the image synthesis unit 150 may match the resolution of the distance image and the speed image to the captured image by processing such as upscaling.

화상 합성부(150)는, 생성한 합성 화상을 출력한다. 또한, 합성 화상은, 거리, 속도나 그밖의 정보를 조합하여, 화상의 각 화소에 대하여 새로운 정보를 추가한 화상을 가리킨다. 합성 화상은, 각각 화소마다의 2D 좌표 정보와, 색정보와, 거리 정보와, 속도 정보와, 휘도 정보를 포함한다. 합성 화상은, 2D 물체 검출부(151) 및 I/F부(123a)에 공급된다.The image synthesis unit 150 outputs the generated composite image. Additionally, a composite image refers to an image in which new information is added to each pixel of the image by combining distance, speed and other information. The composite image includes 2D coordinate information, color information, distance information, speed information, and luminance information for each pixel. The composite image is supplied to the 2D object detection unit 151 and the I/F unit 123a.

2D 물체 검출부(151)는, 3D 물체 검출부(121a)로부터 출력된 3D 영역 정보에 기초하여, 화상 합성부(150)로부터 공급된 합성 화상으로부터 당해 3D 영역 정보에 대응하는 부분 화상을 추출한다. 또한, 2D 물체 검출부(151)는, 추출한 부분 화상으로부터 물체를 검출하여, 검출된 물체를 포함하는 예를 들어 최소 면적의 직사각형 영역을 나타내는 영역 정보를 생성한다. 이, 촬상 화상에 기초하는 영역 정보를, 2D 영역 정보라고 칭한다. 2D 영역 정보는, 광 검출 측거부(11a)에 의한 계측점이나 화소마다 부여된 값이 지정의 범위에 들어가는 점이나 화소의 집합으로서 표현된다.The 2D object detection unit 151 extracts a partial image corresponding to the 3D area information from the composite image supplied from the image synthesis unit 150, based on the 3D area information output from the 3D object detection unit 121a. Additionally, the 2D object detection unit 151 detects an object from the extracted partial image and generates area information indicating, for example, a rectangular area with the minimum area including the detected object. This area information based on the captured image is called 2D area information. The 2D area information is expressed as a set of points or pixels where the value given to each measurement point or pixel by the light detection and range detection unit 11a falls within a specified range.

2D 물체 검출부(151)는, 생성된 부분 화상과 2D 영역 정보를, 2D 검출 정보로서 출력한다.The 2D object detection unit 151 outputs the generated partial image and 2D area information as 2D detection information.

2D 물체 인식부(152)는, 2D 물체 검출부(151)로부터 출력된 2D 검출 정보에 포함되는 부분 화상을 취득하고, 취득한 부분 화상에 대하여, 추론 처리 등의 화상 인식 처리를 행하여, 당해 부분 화상에 관한 속성 정보를 추정한다. 이 경우, 속성 정보는, 예를 들어 대상이 차량인 경우, 화상의 각 화소에 대하여 부여된 차량에 속하는 것을 나타내는 고유 수치로서 표현된다. 이하에는, 부분 화상(촬상 화상)에 기초하는 속성 정보를, 2D 속성 정보라고 칭한다.The 2D object recognition unit 152 acquires a partial image included in the 2D detection information output from the 2D object detection unit 151, performs image recognition processing such as inference processing on the acquired partial image, and Estimate related attribute information. In this case, for example, when the target is a vehicle, the attribute information is expressed as a unique value indicating that it belongs to the vehicle given to each pixel of the image. Hereinafter, attribute information based on a partial image (captured image) is referred to as 2D attribute information.

2D 물체 인식부(152)는, 추정한 2D 속성 정보의 신뢰도가 일정 이상, 즉, 유의미하게 인식 처리가 실행된 경우에, 각각 화소마다의 2D 좌표 정보, 속도 정보, 속성 정보 및 신뢰도와, 2D 크기 정보를 통합하여, 2D 인식 정보로서 출력한다. 또한, 2D 물체 인식부(152)는, 추정한 2D 속성 정보의 신뢰도가 일정 미만인 경우, 속성 정보를 제외한 각 정보를 통합하여 출력해도 된다.The 2D object recognition unit 152, when the reliability of the estimated 2D attribute information is above a certain level, that is, when the recognition processing is performed significantly, the 2D coordinate information, speed information, attribute information, and reliability for each pixel, and the 2D Size information is integrated and output as 2D recognition information. Additionally, if the reliability of the estimated 2D attribute information is less than a certain level, the 2D object recognition unit 152 may integrate and output each piece of information excluding the attribute information.

I/F부(123a)는, 점군 합성부(160)로부터 출력된 합성 점군과, 3D 물체 인식부(122a)로부터 출력된 3D 인식 정보가 입력된다. 또한, I/F부(123a)는, 화상 합성부(150)로부터 출력된 합성 화상과, 2D 물체 인식부(152)로부터 출력된 2D 인식 정보가 입력된다. I/F부(123a)는, 예를 들어 외부로부터의 설정에 따라, 입력된 합성 점군, 3D 인식 정보, 합성 화상 및 2D 인식 정보로부터, 출력할 정보를 선택한다.The I/F unit 123a receives the synthesized point cloud output from the point cloud synthesis unit 160 and the 3D recognition information output from the 3D object recognition unit 122a. Additionally, the I/F unit 123a receives a composite image output from the image synthesis unit 150 and 2D recognition information output from the 2D object recognition unit 152. The I/F unit 123a selects information to be output from the input composite point cloud, 3D recognition information, composite image, and 2D recognition information, for example, according to settings from the outside.

국소 주사 제어부(170)는, 도 12에 있어서의 국소 주사 제어부(170)와 마찬가지로, 타깃 영역 설정 정보와, 3D 물체 인식부(122a)로부터 출력되는 3D 인식 정보에 기초하여, 광 검출 측거부(11a)에 의한 전역의 주사 범위(40)에 대하여 좁은 주사 범위인 타깃 영역을, 주사 범위(40) 내로 설정한다. 국소 주사 제어부(170)는, 설정한 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 출력한다.Similar to the local scan control unit 170 in FIG. 12, the local scan control unit 170 operates a light detection range rejection unit ( A target area that is a narrow scanning range is set within the scanning range 40 with respect to the entire scanning range 40 according to 11a). The local scan control unit 170 outputs a local scan control signal for scanning a set target area.

화각 제어부(171)는, 타깃 영역 설정 정보와, 2D 물체 인식부로부터 출력되는 2D 인식 정보에 기초하여, 카메라(13)에 의한 전 화각(전 촬상 범위)에 대하여 좁은 화각인 타깃 영역을, 당해 전 화각에 대하여 설정한다. 여기서, 화각 제어부(171)와 국소 주사 제어부(170)에, 공통의 타깃 영역 설정 정보가 입력된다. 따라서, 화각 제어부(171)에 의해 설정되는 타깃 영역은, 국소 주사 제어부(170)에 의해 설정되는 타깃 영역과 대응하는 위치 및 크기로 된다.Based on the target area setting information and the 2D recognition information output from the 2D object recognition unit, the angle of view control unit 171 selects a target area that is a narrow angle of view with respect to the entire angle of view (total imaging range) by the camera 13. Set for all angles of view. Here, common target area setting information is input to the angle of view control unit 171 and the local scan control unit 170. Accordingly, the target area set by the angle of view control unit 171 has a position and size corresponding to the target area set by the local scan control unit 170.

I/F부(123a)는, 점군 합성부(160)로부터 출력된 합성 점군과, 3D 물체 인식부(122a)로부터 출력된 3D 인식 정보가 입력된다. 또한, I/F부(123a)는, 화상 합성부(150)로부터 출력된 합성 화상과, 2D 물체 인식부(152)로부터 출력된 2D 인식 정보가 입력된다.The I/F unit 123a receives the synthesized point cloud output from the point cloud synthesis unit 160 and the 3D recognition information output from the 3D object recognition unit 122a. Additionally, the I/F unit 123a receives a composite image output from the image synthesis unit 150 and 2D recognition information output from the 2D object recognition unit 152.

I/F부(123a)는, 점군 합성부(160)로부터 공급된 전 영역의 합성 점군과, 화상 합성부(150)로부터 공급된 전 영역의 합성 화상을, 이상 검지부(20a)에 대하여 출력한다. 또한, I/F부(123a)는, 전 영역의 합성 점군과, 전 영역의 합성 화상과, 3D 물체 인식부(122a)로부터 공급된 3D 인식 정보와, 2D 물체 인식부(152)로부터 공급된 2D 인식 정보를, 진동 분포 생성부(125a)에 대하여 출력한다.The I/F unit 123a outputs the composite point cloud of the entire area supplied from the point cloud synthesis unit 160 and the composite image of the entire area supplied from the image synthesis unit 150 to the abnormality detection unit 20a. . In addition, the I/F unit 123a receives a composite point cloud of the entire area, a composite image of the entire region, 3D recognition information supplied from the 3D object recognition unit 122a, and 2D object recognition unit 152. 2D recognition information is output to the vibration distribution generator 125a.

진동 분포 생성부(125a)는, I/F부(123a)로부터 공급된 전 영역의 합성 점군과, 전 영역의 합성 화상과, 3D 인식 정보와, 2D 인식 정보에 기초하여, 대상물(50)에 있어서의 진동의 분포를 추측하여, 진동 분포 정보를 생성한다. 진동 분포 생성부(125a)는, 공급된 각 정보(전 영역의 합성 점군, 전 영역의 합성 화상, 3D 인식 정보 및 2D 인식 정보)와, 기억부(126a)에 기억되는, 과거의 당해 각 정보를 사용하여 대상물(50)의 진동 분포를 추측해도 된다.The vibration distribution generator 125a generates a signal to the object 50 based on the composite point cloud of the entire region, the composite image of the entire region, 3D recognition information, and 2D recognition information supplied from the I/F portion 123a. By estimating the distribution of vibration in the system, vibration distribution information is generated. The vibration distribution generating unit 125a stores each of the supplied information (synthetic point cloud of all areas, synthetic image of all areas, 3D recognition information, and 2D recognition information) and each of the past information stored in the storage unit 126a. You may use to estimate the vibration distribution of the object 50.

진동 분포 생성부(125a)는, 추측한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20a)에 공급한다. 또한, 진동 분포 생성부(125a)는, 전 영역의 합성 점군, 전 영역의 합성 화상, 3D 인식 정보 및 2D 인식 정보를, 과거의 정보로서, 기억부(126a)에 대하여 축적적으로 기억한다.The vibration distribution generating unit 125a supplies vibration distribution information indicating the estimated vibration distribution to the abnormality detection unit 20a. Additionally, the vibration distribution generating unit 125a accumulates the composite point cloud of the entire region, the composite image of the entire region, 3D recognition information, and 2D recognition information as past information in the storage portion 126a.

또한, 진동 분포 생성부(125a)는, I/F부(123a)로부터 공급된 전 영역의 합성 점군, 전 영역의 합성 화상, 3D 인식 정보 및 2D 인식 정보에 기초하여, 유저에게 제시하는 화상을 표시시키기 위한 표시 제어 정보를 생성할 수 있다.In addition, the vibration distribution generator 125a generates an image to be presented to the user based on the composite point cloud of the entire region, the composite image of the entire region, 3D recognition information, and 2D recognition information supplied from the I/F portion 123a. Display control information for display can be created.

이상 검지부(20a)는, 신호 처리부(12c)로부터 공급된 각각 전역의 합성 점군 및 합성 화상과, 진동 분포 정보에 기초하여, 대상물(50)의 이상을 검지한다. 예를 들어, 이상 검지부(20a)는, 진동 분포 정보에 기초하여 평가값을 생성하고, 생성한 평가값에 대하여 역치 판정을 행함으로써, 대상물(50)에 있어서의 이상의 유무를 판정해도 된다. 이상 검지부(20a)는, 대상물(50)에 대한 이상의 검지 결과를, 예를 들어 외부에 출력한다.The abnormality detection unit 20a detects anomalies in the object 50 based on the global composite point cloud and composite image and vibration distribution information respectively supplied from the signal processing unit 12c. For example, the abnormality detection unit 20a may determine the presence or absence of an abnormality in the object 50 by generating an evaluation value based on the vibration distribution information and performing a threshold judgment on the generated evaluation value. The abnormality detection unit 20a outputs the abnormality detection result for the object 50 to the outside, for example.

도 17은, 제3 실시 형태에 관한 이상 검지 처리를 나타내는 일례의 흐름도이다. 또한, 도 18은, 제3 실시 형태에 관한 이상 검지 처리에 있어서 표시부(1013)에 표시되는 화상의 예를 나타내는 모식도이다. 또한, 도 17의 설명에 있어서, 상술한 도 13의 흐름도와 공통되는 부분은, 적절히, 설명을 생략한다.Fig. 17 is an example flowchart showing abnormality detection processing according to the third embodiment. 18 is a schematic diagram showing an example of an image displayed on the display unit 1013 in the abnormality detection process according to the third embodiment. In addition, in the description of FIG. 17, description of parts that are common to the flowchart of FIG. 13 described above will be omitted as appropriate.

도 17에 있어서, 스텝 S40에서, 센싱 시스템(1c)은, 센서 유닛(10b)의 광 검출 측거부(11a)에 의해, 주사 범위(40)의 전 영역을 주사하여, 주사 범위(40) 내의 점군을 취득한다. 또한, 스텝 S40에서, 센싱 시스템(1c)은, 카메라(13)에 의해 주사 범위(40)와 대응하는 촬상 범위에서 촬상을 행하여, 촬상 화상을 취득한다.17, in step S40, the sensing system 1c scans the entire area of the scanning range 40 by the light detection and range detection unit 11a of the sensor unit 10b, and scans the entire area of the scanning range 40 Obtain the point cloud. Additionally, in step S40, the sensing system 1c performs imaging with the camera 13 in an imaging range corresponding to the scanning range 40 to acquire a captured image.

다음의 스텝 S41에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S40에 있어서 카메라(13)에 의해 촬상된 촬상 화상에 기초하여 주사 범위(40)에 관한 2D 화상을 생성하고, 당해 2D 화상을 2D 표시 모드에서 표시시키기 위한 표시 제어 정보를 생성한다. 카메라(13)에 의해 취득되는 촬상 화상은, RGB 각 색에 의한 색정보를 갖기 때문에, 당해 2D 표시 모드에 의해 표시되는 2D 화상은, 컬러의 화상이다. 또한, 일반적으로, 카메라(13)에 의한 촬상 화상은, 광 검출 측거부(11a)에 의해 취득되는 점군에 비해 훨씬 고해상도이고, 당해 2D 화상도, 고해상도의 화상이 된다. 당해 2D 화상은, 예를 들어 정보 처리 장치(1000)의 표시부(1013)에 표시된다.In the following step S41, the sensing system 1c generates a 2D image about the scanning range 40 by the vibration distribution generating unit 125a based on the captured image captured by the camera 13 in step S40. and generate display control information for displaying the 2D image in 2D display mode. Since the image captured by the camera 13 has color information for each color, RGB, the 2D image displayed in the 2D display mode is a color image. Additionally, generally, the image captured by the camera 13 has a much higher resolution than the point cloud acquired by the light detection range rejecting unit 11a, and the 2D image is also a high-resolution image. The 2D image is displayed, for example, on the display unit 1013 of the information processing device 1000.

다음의 스텝 S42에서, 센싱 시스템(1c)은, 스텝 S40에서 취득되어 주사 범위(40)에 대하여 ROI가 설정되었는지 여부를 판정한다. ROI는, 예를 들어 도 13의 흐름도의 스텝 S22에서 설명한 바와 같이, 유저 조작에 따라 설정해도 된다. 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, ROI가 설정되어 있지 않다고 판정한 경우(스텝 S42, 「"아니오"」), 처리를 스텝 S42로 복귀시킨다. 한편, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, ROI 설정되었다고 판정한 경우(스텝 S42, 「"예"」), 처리를 스텝 S43으로 이행시킨다.In the following step S42, the sensing system 1c determines whether an ROI has been set for the scanning range 40 obtained in step S40. The ROI may be set according to user operation, for example, as explained in step S22 of the flowchart in FIG. 13. When the sensing system 1c determines that the ROI has not been set by the vibration distribution generating unit 125a (step S42, “No”), the process returns to step S42. On the other hand, when the sensing system 1c determines that the ROI has been set by the vibration distribution generating unit 125a (step S42, “Yes”), the processing moves to step S43.

도 18의 좌측 상단에 나타나는 화상(500a)은, 직사각형에 의해 ROI(501)가 설정된 2D 화상의 예를 나타내고 있다. 화상(500a)은, 카메라(13)에 의해 촬상된 촬상 화상에 기초하는 2D 화상이다. 그 때문에, 화상(500a)은, 카메라(13)에 있어서의 화소 배열에 따른 해상도를 갖는다.The image 500a shown in the upper left corner of FIG. 18 shows an example of a 2D image in which the ROI 501 is set as a rectangle. The image 500a is a 2D image based on a captured image captured by the camera 13. Therefore, the image 500a has a resolution according to the pixel arrangement in the camera 13.

스텝 S43에서, 센싱 시스템(1c)은, 광 검출 측거부(11a)에 의해, ROI(501)를 주사한다. 더 구체적으로는, 센싱 시스템(1c)은, 국소 주사 제어부(170)에 의해 ROI(501)를 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, ROI(501)를 주사한다. 도 13의 스텝 S23에서 설명한 바와 같이, 스텝 S43에 있어서, 광 검출 측거부(11a)는, ROI(501)의 주사를, 스텝 S40에 있어서의 전 영역의 주사에 대하여, 더 고밀도로 행할 수 있어, 더 고해상도로 점군을 취득할 수 있다.In step S43, the sensing system 1c scans the ROI 501 by the light detection and range rejection unit 11a. More specifically, the sensing system 1c generates a local scan control signal for scanning the ROI 501 by the local scan control unit 170 and outputs it to the light detection and range rejection unit 11a. The light detection and range rejection unit 11a scans the ROI 501 according to the local scan control signal supplied from the local scan control unit 170. As explained in step S23 of FIG. 13, in step S43, the light detection range section 11a can scan the ROI 501 at a higher density than the scan of the entire area in step S40. , point clouds can be acquired with higher resolution.

다음의 스텝 S44에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S43의 ROI의 주사로 취득된 점군에 기초하여, ROI(501)의 화상을 3D 표시 모드에 의해 표시부(1013)에 표시시킨다. 여기서 표시되는 화상은, 점군 합성부(160)에 의해 촬상 화상과 점군이 합성된 합성 점군에 기초하는 화상이다. 따라서, 스텝 S44에서 표시되는 ROI(501)의 화상은, 예를 들어 도 13의 스텝 S24에 있어서 표시되는 ROI(401)의 화상과 비교하여, 고해상도의 화상이 된다. 진동 분포 생성부(125a)는, 3D 표시 모드에서는, 3D 물체 인식부(122a)에 의한 물체 인식 결과인 3D 인식 정보에 기초하여, ROI(501)에 포함되는, 진동 분포를 검출하는 타깃의 후보를 표시시킨다.In the next step S44, the sensing system 1c displays the image of the ROI 501 in the display unit in a 3D display mode based on the point cloud acquired by scanning the ROI in step S43 by the vibration distribution generating unit 125a. (1013). The image displayed here is an image based on a synthesized point cloud in which a captured image and a point cloud are synthesized by the point cloud synthesis unit 160. Therefore, the image of the ROI 501 displayed in step S44 is a higher-resolution image compared to the image of the ROI 401 displayed in step S24 of FIG. 13, for example. In the 3D display mode, the vibration distribution generator 125a generates a candidate target for detecting the vibration distribution contained in the ROI 501 based on 3D recognition information that is the result of object recognition by the 3D object recognition unit 122a. Displays .

도 18의 우측 상단에 나타나는 화상(500b)은, 동도 좌측 상단의 화상(500a)에 있어서의 ROI(501)를 확대 표시함과 함께, 타깃 후보를 표시한 예를 나타내고 있다. 화상(500b)의 예에서는, 3D 인식 정보에 기초하여 타깃 후보로서 추출된 각 영역(510a 내지 510e)이, 각각 사선을 그어 나타나 있다. 이들 각 영역(510a 내지 510e)은, 예를 들어 3D 물체 인식부(122a)에 의해, ROI(501) 내에 있어서 다른 부위라고 인식된 것이다.The image 500b shown at the upper right of FIG. 18 shows an example in which the ROI 501 in the image 500a at the upper left of FIG. 18 is enlarged and displayed, and target candidates are displayed. In the example of the image 500b, each region 510a to 510e extracted as a target candidate based on 3D recognition information is indicated with a diagonal line. Each of these areas 510a to 510e is recognized as a different area within the ROI 501 by, for example, the 3D object recognition unit 122a.

도 17에 있어서, 다음의 스텝 S45에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S44에서 타깃 후보로서 제시된 각 영역(510a 내지 510e)으로부터, 진동 분포 검출의 타깃이 선택되었는지 여부를 판정한다.17, in the following step S45, the sensing system 1c selects a target for vibration distribution detection from each of the areas 510a to 510e presented as target candidates in step S44 by the vibration distribution generating unit 125a. Determine whether it has been selected.

예를 들어, 센싱 시스템(1c)은, 스텝 S44에서 표시부(1013)에 의해 표시된 화상(500b)에 대한 유저 조작에 따라, 각 영역(510a 내지 510e)으로부터, 진동 분포 검출의 대상이 되는 타깃을 선택한다. 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 타깃이 설정되어 있지 않다고 판정한 경우(스텝 S45, 「"아니오"」), 처리를 스텝 S45로 복귀시킨다. 한편, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 타깃이 선택되었다고 판정한 경우(스텝 S45, 「"예"」), 처리를 스텝 S46으로 이행시킨다.For example, the sensing system 1c selects a target that is the object of vibration distribution detection from each area 510a to 510e in accordance with the user's operation on the image 500b displayed by the display unit 1013 in step S44. Choose. When the sensing system 1c determines by the vibration distribution generating unit 125a that the target has not been set (step S45, “No”), it returns the process to step S45. On the other hand, when the sensing system 1c determines that the target has been selected by the vibration distribution generating unit 125a (step S45, “Yes”), the processing moves to step S46.

도 18의 좌측 하단에 나타나는 화상(500c)은, 스텝 S45에서 각 타깃 후보로부터 영역(510b)이 타깃으로서 선택된 경우의 예를 나타내고 있다. 또한, 타깃으로서 복수의 영역을 선택하는 것도 가능하다.The image 500c appearing at the lower left of FIG. 18 shows an example where the area 510b is selected as a target from each target candidate in step S45. Additionally, it is also possible to select multiple areas as targets.

다음의 스텝 S46에서, 센싱 시스템(1c)은, 광 검출 측거부(11a)에 의해, 스텝 S45에서 선택된 타깃 영역(이 예에서는 영역(510b))을 주사한다.In the following step S46, the sensing system 1c scans the target area selected in step S45 (area 510b in this example) by the light detection and range-rejection unit 11a.

더 구체적으로는, 센싱 시스템(1c)은, 국소 주사 제어부(170)에 의해 타깃 영역을 주사하기 위한 국소 주사 제어 신호를 생성하여, 광 검출 측거부(11a)에 대하여 출력한다. 광 검출 측거부(11a)는, 국소 주사 제어부(170)로부터 공급된 국소 주사 제어 신호에 따라, 타깃 영역을 주사한다. 또한, 센싱 시스템(1c)은, 화각 제어부(171)에 의해 타깃 영역을 촬상 범위로 하기 위한 화각 제어 신호를 생성하여, 카메라(13)에 대하여 출력한다. 화각 제어 신호는, 예를 들어 촬상을 행하는 화각을 타깃 영역에 대응하는 화각으로 변경하기 위한 줌 제어 정보나, 당해 타깃 영역의 방향을 촬상하기 위한 촬상 방향 제어 정보를 포함한다.More specifically, the sensing system 1c generates a local scan control signal for scanning the target area by the local scan control unit 170 and outputs it to the light detection and range rejection unit 11a. The light detection and range rejection unit 11a scans the target area according to the local scan control signal supplied from the local scan control unit 170. Additionally, the sensing system 1c generates a view angle control signal for setting the target area as the imaging range by the view angle control unit 171 and outputs the view angle control signal to the camera 13. The angle of view control signal includes, for example, zoom control information for changing the angle of view for imaging to an angle of view corresponding to the target area, and imaging direction control information for capturing the direction of the target area.

도 13의 스텝 S26에서의 설명과 마찬가지로, 스텝 S46에 있어서, 광 검출 측거부(11a)는, 타깃 영역의 주사를, 스텝 S40에 있어서의 전 영역의 주사나, 스텝 S43에 있어서의 ROI(501)의 주사에 대하여, 더 고밀도로 행할 수 있다. 따라서, 전 영역에 대한 주사나 ROI(501)에 대한 주사에 의해 취득되는 점군보다도 고해상도의 점군을 취득할 수 있다.Similar to the explanation in step S26 in FIG. 13, in step S46, the light detection range 11a scans the target area, scans the entire area in step S40, or scans the ROI (501) in step S43. ) can be performed at a higher density. Therefore, it is possible to acquire a higher-resolution point cloud than that obtained by scanning the entire area or scanning the ROI 501.

또한, 카메라(13)는, 예를 들어 광학적인 줌 동작을 행함으로써, 타깃 영역을, 카메라(13)가 갖는 해상도로 촬상할 수 있다. 또한, 카메라(13)의 해상도가 충분히 높으면, 줌 동작이 전자적으로 행해지는 경우(예를 들어, 화상 처리에 의한 확대)라도, 점군과 비교하여 고해상도로 타깃 영역의 촬상을 행하는 것이 가능하다.In addition, the camera 13 can image the target area with the resolution that the camera 13 has, for example, by performing an optical zoom operation. Additionally, if the resolution of the camera 13 is sufficiently high, it is possible to image the target area with high resolution compared to the point cloud even when the zoom operation is performed electronically (for example, magnification by image processing).

다음의 스텝 S47에서, 센싱 시스템(1c)은, 진동 분포 생성부(125a)에 의해, 스텝 S46에서 주사 및 촬상된 타깃 영역(이 예에서는 영역(510b))에 대하여 진동 분포를 검출하여, 타깃 영역에 있어서의 진동 분포를 출력한다. 진동 분포 생성부(125a)에 의한 진동 분포 생성 처리에 대해서는, 후술한다.In the following step S47, the sensing system 1c detects the vibration distribution for the target area (area 510b in this example) scanned and imaged in step S46 by the vibration distribution generator 125a, and Outputs the vibration distribution in the area. The vibration distribution generation process by the vibration distribution generating unit 125a will be described later.

도 18의 우측 하단에 나타나는 화상(500d)은, 진동 분포 생성부(125a)에 의해 생성된, 타깃 영역(이 예에서는 영역(510b))에 있어서의 진동 분포를 모식적으로 나타내는 화상이다. 화상(500d)에 있어서, 타깃 영역인 영역(510b)이 진동의 정도에 따라 영역(520a 내지 520d)으로 구분되어, 영역(510b)에 있어서의 진동 분포가 나타나 있다.The image 500d shown at the lower right of FIG. 18 is an image that is generated by the vibration distribution generating unit 125a and schematically shows the vibration distribution in the target area (area 510b in this example). In the image 500d, the area 510b, which is the target area, is divided into areas 520a to 520d according to the degree of vibration, and the vibration distribution in the area 510b is shown.

다음의 스텝 S48에서, 센싱 시스템(1c)은, 이상 검지부(20a)에 의해, 타깃 영역에 있어서, 진동 분포 생성부(125a)로부터 출력된 진동 분포에 기초하여, 진동의 정도가 역치를 초과하는 영역이 존재하는지 여부가 판정된다. 진동 분포 생성부(125a)는, 예를 들어 상술한 진동의 정도에 대하여 역치 판정을 행한다.In the following step S48, the sensing system 1c detects that the degree of vibration exceeds the threshold in the target area by the abnormality detection unit 20a, based on the vibration distribution output from the vibration distribution generating unit 125a. It is determined whether the area exists. For example, the vibration distribution generator 125a performs a threshold judgment on the degree of vibration described above.

센싱 시스템(1c)은, 이상 검지부(20a)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재한다고 판정된 경우(스텝 S48, 「"예"」), 처리를 스텝 S49로 이행시켜, 당해 타깃 영역에 있어서 이상이 검출되었다고 판정한다. 한편, 센싱 시스템(1c)은, 이상 검지부(20a)에 의해 진동의 정도가 역치를 초과하는 영역이 타깃 영역 내에 존재하지 않는다고 판정된 경우(스텝 S48, 「"아니오"」), 처리를 스텝 S50으로 이행시켜, 당해 타깃 영역 내에 이상이 없다고 판정한다.When the abnormality detection unit 20a determines that an area in which the degree of vibration exceeds the threshold exists within the target area (step S48, “Yes”), the sensing system 1c transfers the process to step S49. , it is determined that an abnormality has been detected in the target area. On the other hand, when the abnormality detection unit 20a determines that the area where the degree of vibration exceeds the threshold does not exist in the target area (step S48, “No”), the sensing system 1c transfers the processing to step S50. It is determined that there is no abnormality in the target area.

스텝 S49 또는 스텝 S50의 처리 후, 도 17의 흐름도에 의한 일련의 처리가 종료된다.After processing step S49 or step S50, the series of processing according to the flowchart in FIG. 17 ends.

도 19는, 제3 실시 형태에 관한 진동 분포 생성 처리를 나타내는 일례의 흐름도이다. 도 19에 나타내는 흐름도는, 상술한 도 17에 있어서의 스텝 S46 및 스텝 S47의 처리를 더 상세하게 나타낸 예이고, 예를 들어 진동 분포 생성부(125a)에 있어서 실행된다. 또한, 도 19의 설명에 있어서, 상술한 도 15의 흐름도와 공통되는 부분은 적절히 설명을 생략한다.Fig. 19 is an example flowchart showing vibration distribution generation processing according to the third embodiment. The flowchart shown in FIG. 19 is an example showing the processing of step S46 and step S47 in FIG. 17 described above in more detail, and is executed, for example, in the vibration distribution generating unit 125a. In addition, in the description of FIG. 19, description of parts that are common to the flowchart of FIG. 15 described above will be appropriately omitted.

도 19에 있어서, 좌측의 스텝 S200 내지 스텝 S204의 처리는, 속도 점군을 사용하여 깊이 방향 및 시야 방향의 진동 분포를 계측하는 처리이다. 또한, 중앙의 스텝 S210 내지 스텝 S214 처리 및 좌측의 스텝 S410 내지 스텝 S414의 처리는, 각각, 휘도 정보를 사용하여 시야 방향의 진동 분포를 계측하는 처리이다. 여기서, 스텝 S210 내지 스텝 S214의 처리는, 광 검출 측거부(11a)에 의해 취득된 휘도 점군에 기초하는 처리이고, 스텝 S410 내지 스텝 S414의 처리는, 카메라(13)에 의해 취득된 촬상 화상에 기초하는 처리이다.In FIG. 19 , the processing of steps S200 to S204 on the left is processing of measuring vibration distribution in the depth direction and viewing direction using a velocity point group. Additionally, the central processing of steps S210 to S214 and the processing of steps S410 to S414 on the left are processing that measures the vibration distribution in the viewing direction using luminance information, respectively. Here, the processing of steps S210 to S214 is processing based on the luminance point group acquired by the light detection range detection unit 11a, and the processing of steps S410 to S414 is based on the captured image acquired by the camera 13. It is a processing based.

또한, 스텝 S200 내지 스텝 S204의 처리 및 스텝 S210 내지 스텝 S214의 처리는, 도 15에서 설명한 스텝 S200 내지 스텝 S214의 처리 및 스텝 S210 내지 스텝 S214의 처리와 마찬가지이므로, 여기서의 설명을 생략한다. 여기서, 도 19에 있어서의 스텝 S200 및 스텝 S210의 처리, 그리고 스텝 S410의 처리는, 각각 도 17의 흐름도에 있어서의 스텝 S46의 처리에 대응한다.In addition, the processing of steps S200 to S204 and the processing of steps S210 to S214 are the same as the processing of steps S200 to S214 and the processing of steps S210 to S214 described in FIG. 15, so the description here is omitted. Here, the processing of step S200, step S210, and processing of step S410 in FIG. 19 each correspond to the processing of step S46 in the flowchart of FIG. 17.

도 19의 흐름도에 의한 처리가 개시되면, 진동 분포 생성부(125a)는, 스텝 S200 내지 스텝 S204의 처리를 실행한다. 그것과 함께, 진동 분포 생성부(125a)는, 스텝 S400에서, 광 검출 측거부(11a)에 의해 취득된 점군의 해상도와, 카메라(13)에 의해 취득된 촬상 화상의 해상도에 따라, 처리를 스텝 S210 내지 스텝 S214의 처리와, 스텝 S410 내지 스텝 S414의 처리로 분기시킨다.When the processing according to the flowchart in FIG. 19 is started, the vibration distribution generating unit 125a executes the processing of steps S200 to S204. At the same time, the vibration distribution generating unit 125a performs processing in step S400 according to the resolution of the point cloud acquired by the light detection and range detection unit 11a and the resolution of the captured image acquired by the camera 13. It branches to the processing of steps S210 to S214 and the processing of steps S410 to S414.

즉, 일반적으로는 카메라(13)의 쪽이 광 검출 측거부(11a)보다도 해상도가 높지만, 도 17의 흐름도의 스텝 S45에 있어서 설정된 타깃 영역에 따라서는, 광 검출 측거부(11a)의 해상도가 카메라(13)의 해상도보다도 높아지는 경우가 있을 수 있다. 예를 들어, 타깃 영역을 매우 작은 범위로 좁힌 경우, 광 검출 측거부(11a)에 의해 취득되는 점군의 해상도가, 카메라(13)에 의해 취득되는 촬상 화상의 해상도보다도 높아질 가능성이 있다. 또한, 광 검출 측거부(11a)나 카메라(13)의 사양에 따라서도, 광 검출 측거부(11a)의 해상도와 카메라(13)의 해상도의 관계가 바뀔 가능성도 있다.That is, in general, the camera 13 has a higher resolution than the light detection and range-finding unit 11a, but depending on the target area set in step S45 of the flowchart of FIG. 17, the resolution of the light detection and range-finding unit 11a may vary. There may be cases where the resolution is higher than that of the camera 13. For example, when the target area is narrowed to a very small range, there is a possibility that the resolution of the point cloud acquired by the light detection and range detection unit 11a becomes higher than the resolution of the captured image acquired by the camera 13. Additionally, depending on the specifications of the light detection range detection unit 11a or the camera 13, the relationship between the resolution of the light detection range detection unit 11a and the resolution of the camera 13 may change.

진동 분포 생성부(125a)는, 점군의 해상도가 촬상 화상의 해상도보다도 높은 경우(스텝 S400, 「"예"」), 처리를 스텝 S210으로 이행시킨다. 한편, 진동 분포 생성부(125a)는, 점군의 해상도가 촬상 화상의 해상도 이하인 경우(스텝 S400, 「"아니오"」), 처리를 스텝 S410으로 이행시킨다.When the resolution of the point cloud is higher than the resolution of the captured image (step S400, "Yes"), the vibration distribution generating unit 125a moves the process to step S210. On the other hand, when the resolution of the point cloud is less than or equal to the resolution of the captured image (step S400, “No”), the vibration distribution generating unit 125a moves the process to step S410.

스텝 S410에서, 진동 분포 생성부(125a)는, 카메라(13)로부터 출력된 타깃 영역의 촬상 화상에 의한 화상 프레임을 취득한다. 다음의 스텝 S411에서, 진동 분포 생성부(125a)는, 타깃 영역의 화상 프레임에 대한 2D 물체 인식부(152)에 의한 인식 처리에 의해 얻어진 2D 인식 정보를 취득한다. 다음의 스텝 S412에서, 진동 분포 생성부(125a)는, 스텝 S410에서 취득한 촬상 화상으로부터 타깃 영역의 화상을 추출한다. 진동 분포 생성부(125a)는, 추출한 타깃 영역의 화상을 기억부(126a)에 기억시켜도 된다.In step S410, the vibration distribution generating unit 125a acquires an image frame based on a captured image of the target area output from the camera 13. In the following step S411, the vibration distribution generating unit 125a acquires 2D recognition information obtained by recognition processing by the 2D object recognition unit 152 for the image frame of the target area. In the following step S412, the vibration distribution generating unit 125a extracts an image of the target area from the captured image acquired in step S410. The vibration distribution generating unit 125a may store the image of the extracted target area in the storage unit 126a.

다음의 스텝 S413에서, 진동 분포 생성부(125a)는, 시야 방향의 진동 검출에 필요한 소정수의 화상 프레임의 측정을 실행했는지 여부를 판정한다. 진동 분포 생성부(125a)는, 소정수의 화상 프레임의 측정을 실행하고 있지 않다고 판정한 경우(스텝 S413, 「"아니오"」), 처리를 스텝 S400으로 복귀시켜, 다음의 화상 프레임을 취득하고, 취득한 화상 프레임에 대한 측정을 실행(스텝 S411, 스텝 S412)한다.In the following step S413, the vibration distribution generating unit 125a determines whether measurement of a predetermined number of image frames required for vibration detection in the viewing direction has been performed. When the vibration distribution generating unit 125a determines that measurement of a predetermined number of image frames is not being performed (step S413, “No”), returns the process to step S400, acquires the next image frame, and , measurement is performed on the acquired image frame (step S411, step S412).

한편, 진동 분포 생성부(125a)는, 소정수의 화상 프레임의 측정을 실행하였다고 판정한 경우(스텝 S413, 「"예"」), 처리를 스텝 S414로 이행시킨다.On the other hand, when the vibration distribution generating unit 125a determines that measurement of a predetermined number of image frames has been performed (step S413, “Yes”), the process advances to step S414.

스텝 S414에서, 진동 분포 생성부(125a)는, 스텝 S413까지의 처리에서 취득된 복수 프레임분의 화상 프레임에 기초하여, 예를 들어 도 1의 섹션 (c)를 사용하여 설명한 방법에 의해, 시야 방향의 진동 분포를 산출한다.In step S414, the vibration distribution generating unit 125a generates a field of view by the method described using, for example, section (c) of FIG. 1, based on the plurality of image frames acquired in the processing up to step S413. Calculate the directional vibration distribution.

진동 분포 생성부(125a)는, 스텝 S204 및 스텝 S214의 처리의 종료 후, 혹은 스텝 S204 및 스텝 S414의 처리의 종료 후, 처리를 스텝 S420으로 이행시킨다. 스텝 S420에서, 진동 분포 생성부(125a)는, 스텝 S204에서 산출된 깊이 방향 및 시야 방향의 진동 분포와, 스텝 S214 또는 스텝 S414에서 산출된 시야 방향의 진동 분포를 통합하여, 타깃 영역의 진동 분포를 구하고, 구한 진동 분포를 나타내는 진동 분포 정보를, 이상 검지부(20a)에 대하여 출력한다.The vibration distribution generating unit 125a moves the processing to step S420 after the processing of step S204 and step S214 is completed, or after the processing of step S204 and step S414 are completed. In step S420, the vibration distribution generating unit 125a integrates the vibration distribution in the depth direction and the viewing direction calculated in step S204 and the vibration distribution in the viewing direction calculated in step S214 or step S414 to obtain the vibration distribution in the target area. is obtained, and vibration distribution information representing the obtained vibration distribution is output to the abnormality detection unit 20a.

또한, 도 11의 흐름도와 마찬가지로, 도 19의 흐름도에서는, 스텝 S200 내지 스텝 S204의 처리와, 스텝 S210 내지 스텝 S214의 처리 또는 스텝 S410 내지 스텝 S414의 처리를, 서로 독립적으로 실행하는 것이 가능하다. 이에 한정되지 않고, 이들 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214 또는 스텝 S410 내지 스텝 S414의 처리를 동기시켜 실행해도 된다. 또한, 스텝 S200 내지 스텝 S204 및 스텝 S210 내지 스텝 S214를, 공통의 주사 범위에 대한 동일한 주사에 의한 처리로 해도 된다. 이 경우, 스텝 S203 및 스텝 S213에 있어서 판정되는 소정수는, 스텝 S201 및 스텝 S213에서 동일한 수가 된다.In addition, like the flowchart of FIG. 11, in the flowchart of FIG. 19, the processing of steps S200 to S204, the processing of steps S210 to S214, or the processing of steps S410 to S414 can be executed independently of each other. It is not limited to this, and the processing of steps S200 to S204, steps S210 to S214, or steps S410 to S414 may be performed synchronously. Additionally, steps S200 to S204 and steps S210 to S214 may be processed by the same scan over a common scanning range. In this case, the predetermined number determined in step S203 and step S213 is the same number in step S201 and step S213.

이와 같이, 제3 실시 형태에서는, FMCW-LiDAR에 의해 측거를 행하는 광 검출 측거부(11a)에 의해 출력된 점군에 대하여 3D 물체 인식 처리를 행하고, 그 인식 결과에 기초하여 타깃 영역의 점군을 추출한다. 이때, 제3 실시 형태에서는, 광 검출 측거부(11a)의 전 영역에 대한 주사 범위(40)에 대하여 좁은 범위를 타깃 영역으로 하여, 타깃 영역에 대한 조작을, 주사 범위(40)에 대한 주사에 대하여 고밀도로 실행한다.In this way, in the third embodiment, 3D object recognition processing is performed on the point cloud output by the light detection and range measurement unit 11a that performs range measurement by FMCW-LiDAR, and the point cloud of the target area is extracted based on the recognition result. do. At this time, in the third embodiment, a narrow range with respect to the scanning range 40 for the entire area of the light detection and range rejection unit 11a is set as the target area, and operations on the target area are performed as scans on the scanning range 40. Executes at high density.

제3 실시 형태에서는, 또한, 카메라(13)를 사용하여 RGB 각 색의 색정보를 갖는 촬상 화상을 취득하고 있기 때문에, 광 검출 측거부(11a)가 출력하는 점군에 기초하는 화상의 컬러화가 가능해져, 유저에 의한 타깃 영역의 선택을 더 용이하게 할 수 있다. 또한, 일반적으로, 카메라(13)로부터 출력된 촬상 화상은, 광 검출 측거부(11a)로부터 출력되는 점군에 비해 해상도가 높기 때문에, 타깃 영역 내의 진동 분포를 더 고정밀도로 계측하는 것이 가능하여, 계측된 진동 분포에 기초하는 대상물의 이상 검지를 더 고정밀도로 실행할 수 있다.In the third embodiment, since the camera 13 is used to acquire a captured image with color information for each RGB color, it is possible to colorize the image based on the point cloud output by the light detection and range detection unit 11a. This makes it easier for the user to select a target area. In addition, generally, since the captured image output from the camera 13 has a higher resolution than the point cloud output from the light detection and range detection unit 11a, it is possible to measure the vibration distribution in the target area with higher precision, and the measurement Abnormality detection of an object based on the vibration distribution can be performed with higher precision.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.In addition, the effects described in this specification are only examples and are not limited, and other effects may occur.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.Additionally, this technology can also have the following configuration.

(1)(One)

주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,A point group including a light transmitting unit that transmits light modulated by a continuous frequency modulation wave and an optical receiving unit that receives light and outputs a received signal, and includes a plurality of points each having speed information based on the received signal. a first recognition unit that performs recognition processing based on the point cloud output by the light detection and range detection unit and outputs three-dimensional recognition information of the object;

상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,a generator configured to generate vibration distribution information representing the vibration distribution of the object based on the speed information and the three-dimensional recognition information;

상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부A detection unit that detects abnormalities in the object based on the vibration distribution information.

를 구비하는,Equipped with,

정보 처리 장치.Information processing device.

(2)(2)

상기 광 송신부에 의한 광의 주사 범위를 제어하는 주사 제어 신호를 생성하는 주사 제어부를 더 구비하고,Further comprising a scan control unit that generates a scan control signal that controls a scan range of light by the light transmitter,

상기 검지부는,The detection unit,

상기 주사 제어 신호에 의해 제어된 상기 주사 범위로부터 취득한 상기 점군에 기초하여 상기 생성부에 의해 생성된 상기 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,detecting abnormalities in the object based on the vibration distribution information generated by the generating unit based on the point cloud acquired from the scanning range controlled by the scanning control signal,

상기 (1)에 기재된 정보 처리 장치.The information processing device described in (1) above.

(3)(3)

상기 생성부는,The generating unit,

상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보를 생성하는,Vibration in the optical axis direction of light transmitted by the optical transmitting unit of the object based on a point cloud corresponding to the object extracted as 3D information from the point cloud based on the speed information and the 3D recognition information of the point cloud Detecting and generating first vibration distribution information included in the vibration distribution information, which indicates the distribution of vibration in the optical axis direction on a plane intersecting the optical axis direction,

상기 (1) 또는 (2)에 기재된 정보 처리 장치.The information processing device described in (1) or (2) above.

(4)(4)

상기 점군은, 상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보를 더 포함하고,The point cloud further includes luminance information indicating the luminance of each of the plurality of points included in the point cloud,

상기 생성부는,The generating unit,

상기 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하고, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보를 생성하고,Based on the point cloud corresponding to the object extracted as two-dimensional information from the point cloud based on the luminance information and the three-dimensional recognition information, vibration in the viewing direction of the light detection and range rejection unit is detected, and vibration in the viewing direction of the viewing direction is detected. Generate second vibration distribution information included in the vibration distribution information, indicating the distribution of vibration,

상기 검지부는,The detection unit,

상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와 상기 제2 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,Based on the first vibration distribution information and the second vibration distribution information generated by the generating unit, abnormality detection of the object is performed.

상기 (3)에 기재된 정보 처리 장치.The information processing device described in (3) above.

(5)(5)

상기 생성부는,The generating unit,

상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보를 더 생성하고,Based on the point cloud corresponding to the object, which is extracted as three-dimensional information from the point cloud based on the speed information and the three-dimensional recognition information of the point cloud, vibration in the viewing direction of the light detection range detector is detected, Further generating third vibration distribution information included in the vibration distribution information, which represents the vibration distribution in the viewing direction,

상기 검지부는,The detection unit,

상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,Based on the first vibration distribution information, the second vibration distribution information, and the third vibration distribution information generated by the generating unit, abnormality detection of the object is performed.

상기 (4)에 기재된 정보 처리 장치.The information processing device described in (4) above.

(6)(6)

상기 제1 인식부는,The first recognition unit,

상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 대상 영역에 포함되는 점군에 기초하여, 상기 인식 처리를 행하는,Performing the recognition processing based on a point cloud included in a target area set for the point cloud, among the point clouds output by the light detection and range detection unit.

상기 (1) 내지 (5)의 어느 것에 기재된 정보 처리 장치.The information processing device according to any of (1) to (5) above.

(7)(7)

상기 대상 영역은,The target area is,

상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 주목 영역에 기초하여 설정되는,Among the point clouds output by the light detection range detector, it is set based on the area of interest set for the point cloud,

상기 (6)에 기재된 정보 처리 장치.The information processing device described in (6) above.

(8)(8)

수신한 광에 기초하여 색정보를 포함하는 촬상 화상을 출력하는 이미지 센서에 의해 출력된 상기 촬상 화상에 기초하는 인식 처리를 행하여, 대상물의 2차원 인식 정보를 출력하는 제2 인식부를 더 구비하고,It further includes a second recognition unit that performs recognition processing based on the captured image output by an image sensor that outputs a captured image including color information based on the received light, and outputs two-dimensional recognition information of the object,

상기 생성부는,The generating unit,

상기 속도 정보와, 상기 촬상 화상과, 상기 3차원 인식 정보와, 상기 2차원 인식 정보에 기초하여 상기 대상물의 상기 진동 분포 정보를 생성하는,Generating the vibration distribution information of the object based on the speed information, the captured image, the three-dimensional recognition information, and the two-dimensional recognition information,

상기 (1) 내지 (7)의 어느 것에 기재된 정보 처리 장치.The information processing device according to any of (1) to (7) above.

(9)(9)

상기 생성부는,The generating unit,

상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보와;Vibration in the optical axis direction of light transmitted by the optical transmitting unit of the object based on a point cloud corresponding to the object extracted as 3D information from the point cloud based on the speed information and the 3D recognition information of the point cloud first vibration distribution information included in the vibration distribution information, which is detected and indicates a distribution of vibration in the optical axis direction on a plane intersecting the optical axis direction;

상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보와;Based on the point cloud corresponding to the object extracted as two-dimensional information from the point cloud based on luminance information indicating the brightness of each of the plurality of points included in the point cloud and the three-dimensional recognition information, the light detection and range rejection unit second vibration distribution information included in the vibration distribution information, which detects vibration in the viewing direction and indicates the distribution of vibration in the viewing direction;

상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보와;Based on the point cloud corresponding to the object extracted as three-dimensional information from the point cloud based on the speed information and the three-dimensional recognition information of the point cloud, vibration in the viewing direction of the light detection and range rejecting unit is detected, and the field of view is third vibration distribution information included in the vibration distribution information, indicating distribution of vibration in the direction;

상기 제2 인식부에 의해 출력된 상기 2차원 인식 정보에 기초하여, 상기 시야 방향의 진동의 분포를 나타내는 제4 진동 분포 정보Fourth vibration distribution information indicating the distribution of vibration in the viewing direction based on the two-dimensional recognition information output by the second recognition unit.

를 생성하고,Create a ,

상기 검지부는,The detection unit,

상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보와, 상기 제4 진동 분포 정보를 사용하여 상기 대상물의 이상 검지를 행하는,Performing abnormality detection of the object using the first vibration distribution information, the second vibration distribution information, the third vibration distribution information, and the fourth vibration distribution information,

상기 (8)에 기재된 정보 처리 장치.The information processing device described in (8) above.

(10)(10)

상기 생성부는,The generating unit,

상기 광 검출 측거부로부터 출력된 점군의 해상도와 상기 이미지 센서로부터 출력된 화상의 해상도에 기초하여, 상기 제2 진동 분포 정보와 상기 제4 진동 분포 정보 중, 어느 것을 상기 시야 방향의 진동 분포 정보로서 사용할지를 선택하는,Based on the resolution of the point cloud output from the optical detection and range rejection unit and the resolution of the image output from the image sensor, which of the second vibration distribution information and the fourth vibration distribution information is used as the vibration distribution information in the viewing direction Choosing whether to use

상기 (9)에 기재된 정보 처리 장치.The information processing device described in (9) above.

(11)(11)

상기 생성부는,The generating unit,

상기 광 검출 측거부로부터 출력된 점군의 해상도가 상기 이미지 센서로부터 출력된 화상의 해상도보다 높은 경우에, 상기 제2 진동 분포 정보를 선택하고,When the resolution of the point cloud output from the light detection range rejection unit is higher than the resolution of the image output from the image sensor, selecting the second vibration distribution information,

상기 이미지 센서로부터 출력된 화상의 해상도가 상기 광 검출 측거부로부터 출력된 점군의 해상도보다 높은 경우에, 상기 제4 진동 분포 정보를 선택하는,Selecting the fourth vibration distribution information when the resolution of the image output from the image sensor is higher than the resolution of the point cloud output from the light detection range detection unit,

상기 (10)에 기재된 정보 처리 장치.The information processing device according to (10) above.

(12)(12)

상기 제1 인식부 및 상기 제2 인식부는,The first recognition unit and the second recognition unit,

상기 이미지 센서에 의해 출력된 상기 촬상 화상에 대하여 설정된 대상 영역에 기초하여, 각각 상기 인식 처리를 행하는,Performing the recognition processing, respectively, based on a target area set for the captured image output by the image sensor,

상기 (8) 내지 (11)의 어느 것에 기재된 정보 처리 장치.The information processing device according to any of (8) to (11) above.

(13)(13)

상기 대상 영역은,The target area is,

상기 촬상 화상에 대하여 설정된 주목 영역에 기초하여 설정되는,Set based on the area of interest set for the captured image,

상기 (12)에 기재된 정보 처리 장치.The information processing device described in (12) above.

(14)(14)

주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식 스텝과,A point group including a light transmitting unit that transmits light modulated by a continuous frequency modulation wave and an optical receiving unit that receives light and outputs a received signal, and includes a plurality of points each having speed information based on the received signal. A first recognition step of performing recognition processing based on the point cloud output by the output light detection and range unit to output three-dimensional recognition information of the object;

상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성 스텝과,A generation step for generating vibration distribution information representing the vibration distribution of the object based on the speed information and the three-dimensional recognition information;

상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지 스텝Detection step for detecting abnormalities in the object based on the vibration distribution information

을 갖는having

정보 처리 방법. How we process your information.

(15)(15)

주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부와,A point group including a light transmitting unit that transmits light modulated by a continuous frequency modulation wave and an optical receiving unit that receives light and outputs a received signal, and includes a plurality of points each having speed information based on the received signal. A light detection range that outputs,

상기 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,a first recognition unit that performs recognition processing based on the point cloud output by the light detection and range detection unit and outputs three-dimensional recognition information of an object;

를 구비하는,Equipped with,

센싱 시스템.Sensing system.

1, 1a, 1b, 1c: 센싱 시스템
10, 10a: 센서 유닛
11, 11a: 광 검출 측거부
12, 12a, 12b, 12c: 신호 처리부
13: 카메라
20, 20a: 이상 검지부
40: 주사 범위
41: 주사선
50: 대상물
100: 주사부
101: 광 송신부
103: 광 수신부
111: 주사 제어부
112: 각도 검출부
116: 송신광 제어부
117: 수신 신호 처리부
130: 점군 생성부
121, 121a: 3D 물체 검출부
122, 122a: 3D 물체 인식부
123, 123a: 인터페이스부
125, 125a: 진동 분포 생성부
126, 126a: 기억부
151: 2D 물체 검출부
152: 2D 물체 인식부
170: 국소 주사 제어부
171: 화각 제어부
300a, 300b, 300c, 300d, 400a, 400b, 400c, 400d, 500a, 500b, 500c, 500d: 화상
301, 401, 501: ROI
310a, 310b, 310c, 310d, 310e, 320a, 320b, 320c, 320d, 410a, 410b, 410c, 410d, 410e, 420a, 420b, 420c, 420d, 510a, 510b, 510c, 510d, 510e, 520a, 520b, 520c, 520d: 영역1, 1a, 1b, 1c: Sensing system
10, 10a: sensor unit
11, 11a: Light detection distance rejection section
12, 12a, 12b, 12c: signal processing unit
13: Camera
20, 20a: Abnormality detection unit
40: Scanning range
41: scan line
50: object
100: injection unit
101: Optical transmitter
103: Optical receiver
111: Scan control unit
112: Angle detection unit
116: Transmission light control unit
117: Receiving signal processing unit
130: Point cloud generation unit
121, 121a: 3D object detection unit
122, 122a: 3D object recognition unit
123, 123a: interface unit
125, 125a: Vibration distribution generator
126, 126a: memory unit
151: 2D object detection unit
152: 2D object recognition unit
170: local injection control unit
171: View angle control unit
300a, 300b, 300c, 300d, 400a, 400b, 400c, 400d, 500a, 500b, 500c, 500d: Burn
301, 401, 501: ROI
310a, 310b, 310c, 310d, 310e, 320a, 320b, 320c, 320d, 410a, 410b, 410c, 410d, 410e, 420a, 420b, 420c, 420d, 510a, 510b, 5 10c, 510d, 510e, 520a, 520b, 520c, 520d: area

Claims

주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,
상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,
상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부
를 구비하는,
정보 처리 장치.A point group including a light transmitting unit that transmits light modulated by a continuous frequency modulation wave and an optical receiving unit that receives light and outputs a received signal, and includes a plurality of points each having speed information based on the received signal. a first recognition unit that performs recognition processing based on the point cloud output by the light detection and range detection unit and outputs three-dimensional recognition information of the object;
a generator configured to generate vibration distribution information representing the vibration distribution of the object based on the speed information and the three-dimensional recognition information;
A detection unit that detects abnormalities in the object based on the vibration distribution information.
Equipped with,
Information processing device.

제1항에 있어서, 상기 광 송신부에 의한 광의 주사 범위를 제어하는 주사 제어 신호를 생성하는 주사 제어부를 더 구비하고,
상기 검지부는,
상기 주사 제어 신호에 의해 제어된 상기 주사 범위로부터 취득한 상기 점군에 기초하여 상기 생성부에 의해 생성된 상기 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
정보 처리 장치.The method of claim 1, further comprising a scan control unit that generates a scan control signal that controls a scan range of light by the light transmitter,
The detection unit,
detecting abnormalities in the object based on the vibration distribution information generated by the generating unit based on the point cloud acquired from the scanning range controlled by the scanning control signal,
Information processing device.

제1항에 있어서, 상기 생성부는,
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보를 생성하는,
정보 처리 장치.The method of claim 1, wherein the generating unit,
Vibration in the optical axis direction of light transmitted by the optical transmitting unit of the object based on a point cloud corresponding to the object extracted as 3D information from the point cloud based on the speed information and the 3D recognition information of the point cloud Detecting and generating first vibration distribution information included in the vibration distribution information, which indicates the distribution of vibration in the optical axis direction on a plane intersecting the optical axis direction,
Information processing device.

제3항에 있어서, 상기 점군은, 상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보를 더 포함하고,
상기 생성부는,
상기 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보를 생성하고,
상기 검지부는,
상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와 상기 제2 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
정보 처리 장치.The method of claim 3, wherein the point cloud further includes luminance information indicating the luminance of each of the plurality of points included in the point cloud,
The generating unit,
Based on the point cloud corresponding to the object extracted as two-dimensional information from the point cloud based on the luminance information and the three-dimensional recognition information, vibration in the viewing direction of the light detection and range rejection unit is detected, and vibration in the viewing direction is detected. Generate second vibration distribution information included in the vibration distribution information, indicating the distribution of vibration,
The detection unit,
Based on the first vibration distribution information and the second vibration distribution information generated by the generating unit, abnormality detection of the object is performed.
Information processing device.

제4항에 있어서, 상기 생성부는,
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보를 더 생성하고,
상기 검지부는,
상기 생성부에 의해 생성된 상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보에 기초하여, 상기 대상물의 이상 검지를 행하는,
정보 처리 장치.The method of claim 4, wherein the generating unit,
Based on the point cloud corresponding to the object, which is extracted as three-dimensional information from the point cloud based on the speed information and the three-dimensional recognition information of the point cloud, vibration in the viewing direction of the light detection range detector is detected, Further generating third vibration distribution information included in the vibration distribution information, which represents the vibration distribution in the viewing direction,
The detection unit,
Based on the first vibration distribution information, the second vibration distribution information, and the third vibration distribution information generated by the generating unit, abnormality detection of the object is performed.
Information processing device.

제1항에 있어서, 상기 제1 인식부는,
상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 대상 영역에 포함되는 점군에 기초하여, 상기 인식 처리를 행하는,
정보 처리 장치.The method of claim 1, wherein the first recognition unit,
Performing the recognition processing based on a point cloud included in a target area set for the point cloud, among the point clouds output by the light detection and range detection unit.
Information processing device.

제6항에 있어서, 상기 대상 영역은,
상기 광 검출 측거부에 의해 출력된 상기 점군 중, 해당 점군에 대하여 설정된 주목 영역에 기초하여 설정되는,
정보 처리 장치.The method of claim 6, wherein the target area is:
Among the point clouds output by the light detection range detector, it is set based on the area of interest set for the point cloud,
Information processing device.

제1항에 있어서, 수신한 광에 기초하여 색정보를 포함하는 촬상 화상을 출력하는 이미지 센서에 의해 출력된 상기 촬상 화상에 기초하는 인식 처리를 행하여, 대상물의 2차원 인식 정보를 출력하는 제2 인식부를 더 구비하고,
상기 생성부는,
상기 속도 정보와, 상기 촬상 화상과, 상기 3차원 인식 정보와, 상기 2차원 인식 정보에 기초하여 상기 대상물의 상기 진동 분포 정보를 생성하는,
정보 처리 장치.The second device according to claim 1, which performs recognition processing based on the captured image output by an image sensor that outputs a captured image including color information based on received light, and outputs two-dimensional recognition information of the object. Further provided with a recognition unit,
The generating unit,
Generating the vibration distribution information of the object based on the speed information, the captured image, the three-dimensional recognition information, and the two-dimensional recognition information,
Information processing device.

제8항에 있어서, 상기 생성부는,
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 대상물의 상기 광 송신부에 의해 송신되는 광의 광축 방향의 진동을 검출하여, 상기 광축 방향의 진동의, 상기 광축 방향과 교차하는 면에 있어서의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제1 진동 분포 정보와;
상기 점군에 포함되는 상기 복수의 점 각각의 휘도를 나타내는 휘도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 2차원 정보로서 추출한, 상기 대상물에 대응하는 상기 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제2 진동 분포 정보와;
상기 점군의 상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 점군으로부터 3차원 정보로서 추출한, 상기 대상물에 대응하는 점군에 기초하여, 상기 광 검출 측거부의 시야 방향의 진동을 검출하여, 상기 시야 방향의 진동의 분포를 나타내는, 상기 진동 분포 정보에 포함되는 제3 진동 분포 정보와;
상기 제2 인식부에 의해 출력된 상기 2차원 인식 정보에 기초하여, 상기 시야 방향의 진동의 분포를 나타내는 제4 진동 분포 정보
를 생성하고,
상기 검지부는,
상기 제1 진동 분포 정보와, 상기 제2 진동 분포 정보와, 상기 제3 진동 분포 정보와, 상기 제4 진동 분포 정보를 사용하여 상기 대상물의 이상 검지를 행하는,
정보 처리 장치. The method of claim 8, wherein the generating unit,
Vibration in the optical axis direction of light transmitted by the optical transmitting unit of the object based on a point cloud corresponding to the object extracted as 3D information from the point cloud based on the speed information and the 3D recognition information of the point cloud first vibration distribution information included in the vibration distribution information, which is detected and indicates a distribution of vibration in the optical axis direction on a plane intersecting the optical axis direction;
Based on the point cloud corresponding to the object extracted as two-dimensional information from the point cloud based on luminance information indicating the brightness of each of the plurality of points included in the point cloud and the three-dimensional recognition information, the light detection and range rejection unit second vibration distribution information included in the vibration distribution information, which detects vibration in the viewing direction and indicates the distribution of vibration in the viewing direction;
Based on the point cloud corresponding to the object extracted as three-dimensional information from the point cloud based on the speed information and the three-dimensional recognition information of the point cloud, vibration in the viewing direction of the light detection and range rejecting unit is detected, and the field of view is third vibration distribution information included in the vibration distribution information, indicating distribution of vibration in the direction;
Fourth vibration distribution information indicating the distribution of vibration in the viewing direction based on the two-dimensional recognition information output by the second recognition unit.
Create a ,
The detection unit,
Performing abnormality detection of the object using the first vibration distribution information, the second vibration distribution information, the third vibration distribution information, and the fourth vibration distribution information,
Information processing device.

제9항에 있어서, 상기 생성부는,
상기 광 검출 측거부로부터 출력된 점군의 해상도와 상기 이미지 센서로부터 출력된 화상의 해상도에 기초하여, 상기 제2 진동 분포 정보와 상기 제4 진동 분포 정보 중, 어느 것을 상기 시야 방향의 진동 분포 정보로서 사용할지를 선택하는,
정보 처리 장치.The method of claim 9, wherein the generating unit,
Based on the resolution of the point cloud output from the optical detection and range rejection unit and the resolution of the image output from the image sensor, which of the second vibration distribution information and the fourth vibration distribution information is used as the vibration distribution information in the viewing direction Choosing whether to use
Information processing device.

제10항에 있어서, 상기 생성부는,
상기 광 검출 측거부로부터 출력된 점군의 해상도가 상기 이미지 센서로부터 출력된 화상의 해상도보다 높은 경우에, 상기 제2 진동 분포 정보를 선택하고,
상기 이미지 센서로부터 출력된 화상의 해상도가 상기 광 검출 측거부로부터 출력된 점군의 해상도보다 높은 경우에, 상기 제4 진동 분포 정보를 선택하는,
정보 처리 장치.The method of claim 10, wherein the generating unit,
When the resolution of the point cloud output from the light detection range rejection unit is higher than the resolution of the image output from the image sensor, selecting the second vibration distribution information,
Selecting the fourth vibration distribution information when the resolution of the image output from the image sensor is higher than the resolution of the point cloud output from the light detection range detection unit,
Information processing device.

제8항에 있어서, 상기 제1 인식부 및 상기 제2 인식부는,
상기 이미지 센서에 의해 출력된 상기 촬상 화상에 대하여 설정된 대상 영역에 기초하여, 각각 상기 인식 처리를 행하는,
정보 처리 장치.The method of claim 8, wherein the first recognition unit and the second recognition unit,
Performing the recognition processing, respectively, based on a target area set for the captured image output by the image sensor,
Information processing device.

제12항에 있어서, 상기 대상 영역은,
상기 촬상 화상에 대하여 설정된 주목 영역에 기초하여 설정되는,
정보 처리 장치.The method of claim 12, wherein the target area is:
Set based on the area of interest set for the captured image,
Information processing device.

주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식 스텝과,
상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성 스텝과,
상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지 스텝
을 갖는,
정보 처리 방법.A point group including a light transmitting unit that transmits light modulated by a continuous frequency modulation wave and an optical receiving unit that receives light and outputs a received signal, and includes a plurality of points each having speed information based on the received signal. A first recognition step of performing recognition processing based on the point cloud output by the output light detection and range unit to output three-dimensional recognition information of the object;
A generation step for generating vibration distribution information representing the vibration distribution of the object based on the speed information and the three-dimensional recognition information;
Detection step for detecting abnormalities in the object based on the vibration distribution information
Having,
How we process your information.

주파수 연속 변조파에 의해 변조된 광을 송신하는 광 송신부와, 광을 수신하여 수신 신호를 출력하는 광 수신부를 포함하고, 상기 수신 신호에 기초하여 각각 속도 정보를 갖는 복수의 점을 포함하는 점군을 출력하는 광 검출 측거부와,
상기 광 검출 측거부에 의해 출력된 상기 점군에 기초하여 인식 처리를 행하여, 대상물의 3차원 인식 정보를 출력하는 제1 인식부와,
상기 속도 정보와 상기 3차원 인식 정보에 기초하여 상기 대상물의 진동 분포를 나타내는 진동 분포 정보를 생성하는 생성부와,
상기 진동 분포 정보에 기초하여 상기 대상물의 이상 검지를 행하는 검지부
를 구비하는,
센싱 시스템.A point group including a light transmitting unit that transmits light modulated by a continuous frequency modulation wave and an optical receiving unit that receives light and outputs a received signal, and includes a plurality of points each having speed information based on the received signal. A light detection range that outputs,
a first recognition unit that performs recognition processing based on the point cloud output by the light detection and range detection unit and outputs three-dimensional recognition information of an object;
a generator configured to generate vibration distribution information representing the vibration distribution of the object based on the speed information and the three-dimensional recognition information;
A detection unit that detects abnormalities in the object based on the vibration distribution information.
Equipped with,
Sensing system.