CN111898474A - 基于光学传感感知的目标表面特征变化识别***与方法 - Google Patents

基于光学传感感知的目标表面特征变化识别***与方法 Download PDF

Info

Publication number
CN111898474A
CN111898474A CN202010664026.1A CN202010664026A CN111898474A CN 111898474 A CN111898474 A CN 111898474A CN 202010664026 A CN202010664026 A CN 202010664026A CN 111898474 A CN111898474 A CN 111898474A
Authority
CN
China
Prior art keywords
image frame
analysis engine
frame analysis
engine
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010664026.1A
Other languages
English (en)
Other versions
CN111898474B (zh
Inventor
黄宇
张晓杰
任勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shiluan Technology Co ltd
Original Assignee
Hangzhou Shiluan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shiluan Technology Co ltd filed Critical Hangzhou Shiluan Technology Co ltd
Priority to CN202010664026.1A priority Critical patent/CN111898474B/zh
Publication of CN111898474A publication Critical patent/CN111898474A/zh
Application granted granted Critical
Publication of CN111898474B publication Critical patent/CN111898474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出基于光学传感感知的目标表面特征变化识别***与方法。所述***包括配置高精度光学传感器与微型边缘计算终端的无人机、与无人机进行无线通信的近场便携式终端、图像处理云引擎以及对应的第一级、第二级、第三级图像帧分析引擎。微型边缘计算终端还配置有路径规划引擎控制所述无人机的移动路径。第三级图像帧分析引擎接收所述第一级图像帧分析引擎的运算结果和或所述第二级图像帧分析引擎的运算结果，并从所述目标结构数据库中获取所述三维结构数据后，发送给所述路径规划引擎更新所述无人机的移动路径。本申请利用配置边缘计算终端无人机获取目标图像并进行差分运算来进行特征变化识别，能够避免数据传输阻塞以及抖动的问题。

Description

基于光学传感感知的目标表面特征变化识别***与方法
技术领域
本发明属于建筑安全检测技术领域，尤其涉及一种基于光学传感感知的目标表面特征变化识别***与方法。
背景技术
伴随着经济的发展，城市化进程的加速，越来越多的建筑物林立在我们的城镇中，但是建筑物由于受到材料、施工工艺、环境等各个方面因素的影响，均会出现或多或少的质量问题，其中最显著的问题就是建筑物外墙表面的质量问题。
由于建筑物外墙质量的影响因素复杂、检测难度大、缺陷危害严重等原因，其评价与检测一直是一个技术难点同时也是学界研究的重点。最开始的检测方法包括观察法和敲击法，然而，这两种方法具有主观性、局限性强且不能准确、及时、完整的对其进行检测。
随着技术的进步，逐渐引入了无损检测技术。无损检测是指在不损害或不影响物体内部结构的前提下，利用材料内部结构异常引起的热、磁、光、电、声等现象，对物体的组织结构和力学性能进行评定的方法。目前常用的无损检测技术主要有超声波检测技术、声发射检测技术、雷达波检测技术、冲击回波法检测技术、红外检测技术。
例如，申请号为CN201611056046.0的中国发明专利申请提出一种建筑物外墙体质量检测装置及其检测方法，包括有无人机本体以及控制无人机本体飞行的无人机遥控器，无人机本体的底部设置有检测盒，检测盒的内部分别设置有微处理器以及与微处理器电性连接的无线接收模块和存储器，检测盒的内部的一侧还设置有摄像头和激光***，激光***的前端设置有十字镜头，十字镜头的中间位置设置有红外测温仪，还包括有与检测盒进行无线连接的测温仪遥控器。使用时控制无人机起飞，启动红外测温仪对墙体的温度进行检测，在这个过程中，激光***可以对红外线检测的位置进行记录，根据温度偏差与空鼓、缝隙、开裂等关系，精准找出有可能脱落的外墙砖和外墙渗水的准确部位，使用较方便，检测效率更高。
然而，上述技术方案仅仅是泛泛的提出″根据温度偏差与空鼓、缝隙、开裂等关系，精准找出有可能脱落的外墙砖和外墙渗水的准确部位″，并未给出具体的识别方案；此外，上述方案只能检测出明显的″空鼓、缝隙、开裂″等特征，而对于潜在的细微裂痕和抖动，无法做出更准确的预测和识别；此外，虽然一般的图像处理方法能够识别出图像中的裂纹和抖动，但是由于自然环境以及硬件本身的影响，会导致图像采集设备获取的待识别图像本身存在自然抖动影响而导致错误识别；更重要的是，对于大型建筑物外墙，如果针对每一个区域都进行图像帧识别处理，将带来巨大的数据传输量和数据处理量。
发明内容
为解决上述技术问题，本发明提出一种基于高精度光学传感感知的目标表面特征变化识别***与方法。所述***包括配置高精度光学传感器与微型边缘计算终端的无人机、与所述无人机进行无线通信的近场便携式终端以及与所述近场便携式终端远程通信的图像处理云引擎。所述微型边缘计算终端内置第一级图像帧分析引擎以及无线通信组件；所述近场便携式终端内置第二级图像帧分析引擎；所述图像处理云引擎内置第三级图像帧分析引擎。所述第三级图像帧分析引擎接收所述第一级图像帧分析引擎的运算结果和或所述第二级图像帧分析引擎的运算结果，并从所述目标结构数据库中获取所述三维结构数据后，发送给所述路径规划引擎；所述路径规划引擎更新所述无人机的移动路径，具体包括将所述帧间差分运算以及边缘识别运算的结果发送给所述第三级图像帧分析引擎，所述第三级图像帧分析引擎基于运算结果以及所述三维结构数据，更新所述初始路径规划图。
本申请的技术方案采用高精度光学传感感知的图像识别技术来获取可能存在特征变化的目标表面区块图，从而进行后续的进一步分析；同时，本发明的技术方案利用配置于无人机本地的边缘计算终端进行第一级图像处理，避免将所有图像或者视频数据进行传送，减少了数据传输数量；更重要的是，采用多阶差分计算的方法进行抖动差异识别，减少了自然抖动(包括硬件抖动、自然振动、风速等)的影响，使得后续采用图像识别技术进行图像特征识别时获得的对象更准确并且更有针对性。
在本发明的第一个方面，提供一种基于高精度光学传感感知的目标表面特征变化识别***，所述***包括配置高精度光学传感器与微型边缘计算终端的无人机、与所述无人机进行无线通信的近场便携式终端以及与所述近场便携式终端远程通信的图像处理云引擎。
作为本发明的第一个优点，所述高精度光学传感器包括第一光学短时摄影组件和第二光学快照组件；
作为本发明的第二个优点，所述微型边缘计算终端内置第一级图像帧分析引擎以及无线通信组件；
所述微型边缘计算终端还配置有路径规划引擎，所述路径规划引擎控制所述无人机的移动路径。
所述近场便携式终端内置第二级图像帧分析引擎；
所述图像处理云引擎内置第三级图像帧分析引擎。
具体来说，作为体现上述优点的关键性技术手段，所述第一光学短时摄像组件用于对目标表面区域进行预定时间段的摄影操作，获取第一预定长度的图像视频帧；
所述第一光学短时摄像组件获取所述图像视频帧之后，发送给所述第二级图像帧分析引擎；
所述第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算。
所述第二光学快照组件用于对目标表面进行拍照操作，获取多张表面图像；
所述第二光学组件获取多张表面图像后，将所述多张表面图像发送至所述第一级图像帧分析引擎；
所述第一级图像帧分析引擎对所述多张表面图像进行差值运算。
作为本发明不同于现有技术的进一步体现，本发明的创造性还体现在：
所述图像处理云引擎包括目标结构数据库，所述目标结构数据库存储所述目标的三维结构数据；
所述第三级图像帧分析引擎接收所述第一级图像帧分析引擎的运算结果和或所述第二级图像帧分析引擎的运算结果，并从所述目标结构数据库中获取所述三维结构数据后，发送给所述路径规划引擎；
所述路径规划引擎更新所述无人机的移动路径。
所述微型边缘计算终端的所述路径规划引擎接收所述第三级图像帧分析引擎的的计算结果，更新所述无人机的移动路径。
在第二个方面，本发明提出目标表面特征变化识别方法，所述方法基于前述的基于高精度光学传感感知的目标表面特征变化识别***实现，所述方法包括如下步骤S801-S805：
S801：所述近场便携式终端从所述图像处理云引擎的目标结构数据库中获取所述目标的三维结构数据；
S802：基于所述三维结构数据，所述路径规划引擎生成初始路径规划图；所述初始路径规划图包含第一数量的停顿点；
S803：基于所述初始路径规划图，控制所述无人机沿所述目标表面移动；
S804：在所述无人机沿所述目标表面移动的过程中，利用所述第一光学短时摄影组件对所述目标表面进行摄影操作，获取多个图像视频帧，每个视频图像帧的长度为T秒；
S805：在所述无人机沿所述目标表面移动的过程中，如果所述无人机到达所述停顿点，则利用所述第二光学快照组件对所述目标表面进行拍照操作，获得N张表面图像。
在获取多张表面图像之后，所述第一级图像帧分析引擎对所述多张表面图像进行M阶差值运算；
基于所述M阶差值运算的结果，将所述多个视频图像帧的部分图像视频帧以及所述N张表面图像发送给所述近场便携式终端；
具体包括：若在某个停顿点获得的N张表面图像的M阶差值运算结果大于预定的阈值，则将包含该停顿点的图像视频帧发送给所述近场便携式终端。
所述近场便携式终端利用所述第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算；
在上述方法中，M、N、T的设定需满足一定条件，而不是随意设定，这一点，在之后的详细实施例部分将进一步解释。
该具体条件为：1＜M＜24＊T/N，T＜5。
将所述帧间差分运算以及边缘识别运算的结果发送给所述第三级图像帧分析引擎，所述第三级图像帧分析引擎基于运算结果以及所述三维结构数据，更新所述初始路径规划图，更新后的初始路径规划图包含第二数量的停顿点，所述第二数量小于所述第一数量。
本发明的技术方案利用配置于无人机本地的边缘计算终端进行第一级图像处理，避免将所有图像或者视频数据进行传送，减少了数据传输数量；更重要的是，采用多阶差分计算的方法进行抖动差异识别，减少了自然抖动(包括硬件抖动、自然振动、风速等)的影响，使得后续采用图像识别技术进行图像特征识别时获得的对象更准确并且更有针对性。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的基于高精度光学传感感知的目标表面特征变化识别***的整体架构图
图2是图1所述***的所使用的无人机的基本构造图
图3是图1所述***的具体应用场景通信的示意图
图4是利用图1所述***实现的目标表面特征变化识别方法的部分流程图
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，是本发明一个实施例的基于高精度光学传感感知的目标表面特征变化识别***的整体架构图。
图1中，所述***包括配置高精度光学传感器与微型边缘计算终端的无人机、与所述无人机进行无线通信的近场便携式终端以及与所述近场便携式终端远程通信的图像处理云引擎。
在图1基础上，参见图2，配置高精度光学传感器与微型边缘计算终端的无人机中，所述高精度光学传感器包括第一光学短时摄影组件和第二光学快照组件；所述微型边缘计算终端内置第一级图像帧分析引擎以及无线通信组件。
更具体的，所述第一光学短时摄像组件用于对目标表面区域进行预定时间段的摄影操作，获取第一预定长度的图像视频帧。
在本实施例中，在所述无人机沿垂直于目标建筑物的表面的预定路径移动过程中，所述第一光学短时摄像组件以预定时间长度进行拍摄摄影，例如以3s为单位拍摄获得多个3s的视频帧；
所述第二光学快照组件用于对目标表面进行拍照操作，获取多张表面图像。
在本实例中，所述垂直于目标建筑物的表面的预定路径被称之为无人机的路径规划图。
该路径规划图由多个线段组成，多个线段包含共同端点连接。
这些共同端点在本实施例中称之为停顿点。无人机在沿垂直于目标建筑物的表面的预定路径(该路径规划图)移动过程中，每次移动到该停顿点时，将会停顿预定时间，例如2s，此时，与所述目标表面处于相对静止状态的所述第二光学快照组件用于对目标表面进行拍照操作，获取多张表面图像。
参见图3，是图1所述***的具体应用场景通信的示意图。在目标建筑物附近，用户手持近场便携式终端操纵所述无人机。
无人机与用户之间使用近场通信技术进行数据传输。
显然，由于目标建筑物较为庞大，需要识别的表面积也很大，所述垂直于目标建筑物的表面的预定路径也就是路径规划图也很长。
图3中，在所述用户的手持近场便携式终端上可以显示所述路径规划图的示意图以及停顿点，并且可以可视化的高亮表示异常停顿点。
如果控制无人机沿着路径规划图拍摄或者摄影时保存所有的视频帧以及图像，并且将所有的视频和图像数据均传输出来，将会极大的损耗无人机有限的资源，尤其是电能。
现有技术中，无人机本身并无数据处理能力，只能阶段性的采集数据并全部传输。
然而，在本发明中，无人机不仅配置第一光学短时摄影组件和第二光学快照组件用于采集数据，还配置了微型边缘计算终端，用于就地对采集的数据的数据进行初步的预处理，以判断是否需要传输数据。
具体来说，参见图1-3，所述微型边缘计算终端内置第一级图像帧分析引擎以及无线通信组件；
所述第一级图像帧分析引擎对所述多张表面图像进行差值运算。
也就是说，在本实施例中，微信边缘计算终端具备初步的预处理模型与图像预处理能力；同时，考虑到无人机本身的性能限制尤其是电能限制以及体积限制，预处理模型与图像预处理能力也不能太复杂。
因此，在本实施例中，预处理具体为第一级图像帧分析引擎对所述多张表面图像进行差值运算。
图像的差值运算，又称为差分运算，是一个有效的图像预处理技术，同时，可以预置简单的模型实现。
在本实施例中，所述差分运算为多阶差分运算。
作为一个示意性的例子，假设获取了2幅图像F1、F2，则差分运算为1阶差分运算，即F2-F1；
假设获取率三幅图像，则差分运算可以是2阶差分运算，包括：
(1)计算F12＝F2-F1；
(2)计算F23＝F3-F2；
(3)计算二阶差分运算结果F＝F23-F12。
当然，对于四幅图像F1-F4的情况，可以是2阶差分、三阶差分两种选择。
2阶差分＝B-A：其中，A＝F2-F1；B＝F4-F3；
3阶差分＝D2-D1：
其中，A＝F2-F1；B＝F3-F2；C＝F4-F3；D1＝B-A；D2＝C-B；
以此类推。
差分运算的结果，根据实际选择的差分算法不同，可以获得差分像素矩阵。
在本发明的一个优选实施例中，对于两幅图像F1、F2来说，可以先将其转化为灰度图f1、f2，然后对应计算每一个像素的差值，从而得到差分像素矩阵，计算这个差分像素矩阵的特征根，判断特征根的绝对值是否大于1，如果是，则意味着当前目标图像F1、F2针对的目标区域存在不稳定性，需要重点关注，即识别出一个异常停顿点以及对应的异常目标区域；
此时，才需要将该目标数据的图像数据以及视频数据发送出来，进行传输。
当然，本领域技术人员也可以选择其他差分运算方式以及其他判断图像是否稳定的方法，本发明对此不作限制，但是在本实例中，值得指出的是，所述差分运算为多阶差分运算，而不是简单的一阶差分。
作为一个概括性的限定，在发明中，
在所述无人机沿所述目标表面移动的过程中，利用所述第一光学短时摄影组件对所述目标表面进行摄影操作，获取多个图像视频帧，每个视频图像帧的长度为T秒；
在所述无人机沿所述目标表面移动的过程中，如果所述无人机到达所述停顿点，则利用所述第二光学快照组件对所述目标表面进行拍照操作，获得N张表面图像；
在获取多张表面图像之后，所述第一级图像帧分析引擎对所述多张表面图像进行M阶差值运算。
其中，1＜M＜24＊T/N，T＜5。
M值的设定充分考虑无人机本身的性能限制，也考虑了差值运算的准确性。
在图1-3的上述介绍中，可以概括出本申请的技术方案的工作原理如下：
所述第一光学短时摄像组件用于对目标表面区域进行预定时间段的摄影操作，获取第一预定长度的图像视频帧；所述第二光学快照组件用于对目标表面进行拍照操作，获取多张表面图像。
所述第二光学组件获取多张表面图像后，将所述多张表面图像发送至所述第一级图像帧分析引擎；
所述第一级图像帧分析引擎对所述多张表面图像进行差值运算。
所述第一光学短时摄像组件获取所述图像视频帧之后，发送给所述第二级图像帧分析引擎；
所述第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算。
所述图像处理云引擎包括目标结构数据库，所述目标结构数据库存储所述目标建筑物的三维结构数据；通过所述三维结构数据，可以获取目标建筑物的整个表面结构，从而更新下一步的无人机移动路径。
所述第三级图像帧分析引擎接收所述第一级图像帧分析引擎的运算结果和或所述第二级图像帧分析引擎的运算结果，并从所述目标结构数据库中获取所述三维结构数据后，发送给所述路径规划引擎；
所述路径规划引擎更新所述无人机的移动路径。
所述微型边缘计算终端的所述路径规划引擎接收所述第三级图像帧分析引擎的的计算结果，更新所述无人机的移动路径。
至于第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算的具体实现形式，可以采用本领域公知的各种目标图像缺陷识别方法，例如数字图像处理方法，具体的可参见如下相关文献：
Hidenori Kinoshita，Nobuyoshi Hirai.Diisobu tylaluminum HydridePromoted Cyclization of o-(Trimethyl silylethynyl)styrenes to Indenes[J].J.Org.Chem.，2014，79(17)，pp 8171-8181
Keun-Hyeok Yanga，Yeon-Back Jung.Effect of supplementary cementitiousmaterials on reduction of C02 emissions from concrete[J]Journal of CleanerProduction.September 2015，Pages 774-783
Hans--Wolf Reinhardt.Permeability and self--healing of crackedconcrete as a function of temperature and crack width[J].Cement and ConcreteResearch.July 2003，Pages 981--985
Tomoyuki Yamaguchi，Shuji Hashimoto.Fast crack detection method forlarge--size concrete surface images using percolation--based imageprocessing.Machine Vision and Applications.August 2010，Volume 21，Issue 5，pp797-809
Gu Chong-shi，Su Huai-zhi.Study on coupling model of seepage--fieldand stress--field for rolled control concrete dam[J].Applied Mathe matics andMechanics.March 2005，Volume 26，Issue 3，pp 355-363
Stephanie German，Zhenhua Zhu.Visual retrieval of concrete crackproperties for automated post-earthquake structural safety evaluation[J].Automation in Construction.November 2011，Pages 874--883。
王雷，黄战华，蔡怀宇，刘正.工程结构构件裂缝图像的处理与宽度测量[J].计算机测量与控制。2006，(08)：992-993+1003.
朱耀耀，徐金明，鲁辰达.基于数字图像技术的结构裂缝参数分析[J].混凝土，2008，(07)：22-25.
Mark S.Nixon.特征提取与图像处理(第二版)(，李实英，杨高波译).北京：电子工业出版社，2010.120-130。
在此基础上，参见图4，给出了利用图1所述***实现的目标表面特征变化识别方法的部分流程图。
所述方法基于前述的基于高精度光学传感感知的目标表面特征变化识别***实现，所述方法包括如下步骤S801-S805：
S801：所述近场便携式终端从所述图像处理云引擎的目标结构数据库中获取所述目标的三维结构数据；
S802：基于所述三维结构数据，所述路径规划引擎生成初始路径规划图；所述初始路径规划图包含第一数量的停顿点；
S803：基于所述初始路径规划图，控制所述无人机沿所述目标表面移动；
S804：在所述无人机沿所述目标表面移动的过程中，利用所述第一光学短时摄影组件对所述目标表面进行摄影操作，获取多个图像视频帧，每个视频图像帧的长度为T秒；
S805：在所述无人机沿所述目标表面移动的过程中，如果所述无人机到达所述停顿点，则利用所述第二光学快照组件对所述目标表面进行拍照操作，获得N张表面图像。
在获取多张表面图像之后，所述第一级图像帧分析引擎对所述多张表面图像进行M阶差值运算；
基于所述M阶差值运算的结果，将所述多个视频图像帧的部分图像视频帧以及所述N张表面图像发送给所述近场便携式终端；
具体包括：若在某个停顿点获得的N张表面图像的M阶差值运算结果大于预定的阈值，则将包含该停顿点的图像视频帧发送给所述近场便携式终端。
所述近场便携式终端利用所述第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算；
在上述方法中，M、N、T的设定需满足一定条件，而不是随意设定，这一点，在之后的详细实施例部分将进一步解释。
该具体条件为：1＜M＜24＊T/N，T＜5。
将所述帧间差分运算以及边缘识别运算的结果发送给所述第三级图像帧分析引擎，所述第三级图像帧分析引擎基于运算结果以及所述三维结构数据，更新所述初始路径规划图，更新后的初始路径规划图包含第二数量的停顿点，所述第二数量小于所述第一数量。
本发明的技术方案利用配置于无人机本地的边缘计算终端进行第一级图像处理，避免将所有图像或者视频数据进行传送，减少了数据传输数量；更重要的是，采用多阶差分计算的方法进行抖动差异识别，减少了自然抖动(包括硬件抖动、自然振动、风速等)的影响，使得后续采用图像识别技术进行图像特征识别时获得的对象更准确并且更有针对性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于光学传感感知的目标表面特征变化识别***，所述***包括配置光学传感器与微型边缘计算终端的无人机、与所述无人机进行无线通信的近场便携式终端以及与所述近场便携式终端远程通信的图像处理云引擎；
其特征在于：
所述光学传感器包括第一光学短时摄影组件和第二光学快照组件；
所述微型边缘计算终端内置第一级图像帧分析引擎以及无线通信组件；
所述近场便携式终端内置第二级图像帧分析引擎，并通过所述无线通信组件接收所述微型边缘计算终端发送的经所述第一级图像帧分析引擎处理的图像帧数据；
所述图像处理云引擎内置第三级图像帧分析引擎；
所述近场便携式终端将接收的经所述第一级图像帧分析引擎处理图像帧数据，和/或，经所述第二级图像帧分析引擎处理的图像帧数据，发送给所述第三级图像帧分析引擎。
2.如权利要求1所述的一种基于光学传感感知的目标表面特征变化识别***，其特征在于：
所述第一光学短时摄像组件用于对目标表面区域进行预定时间段的摄影操作，获取第一预定长度的图像视频帧；
所述第二光学快照组件用于对目标表面进行拍照操作，获取多张表面图像。
3.如权利要求1所述的一种基于光学传感感知的目标表面特征变化识别***，其特征在于：
所述微型边缘计算终端还配置有路径规划引擎，所述路径规划引擎控制所述无人机的移动路径。
4.如权利要求2所述的一种基于光学传感感知的目标表面特征变化识别***，其特征在于：
所述第二光学组件获取多张表面图像后，将所述多张表面图像发送至所述第一级图像帧分析引擎；
所述第一级图像帧分析引擎对所述多张表面图像进行差值运算。
5.如权利要求2所述的一种基于光学传感感知的目标表面特征变化识别***，其特征在于：
所述第一光学短时摄像组件获取所述图像视频帧之后，发送给所述第二级图像帧分析引擎；
所述第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算。
6.如权利要求3所述的所述的一种基于光学传感感知的目标表面特征变化识别***，其特征在于：
所述图像处理云引擎包括目标结构数据库，所述目标结构数据库存储所述目标的三维结构数据；
所述第三级图像帧分析引擎接收所述第一级图像帧分析引擎的运算结果和或所述第二级图像帧分析引擎的运算结果，并从所述目标结构数据库中获取所述三维结构数据后，发送给所述路径规划引擎；
所述路径规划引擎更新所述无人机的移动路径。
7.如权利要求3所述的所述的一种基于光学传感感知的目标表面特征变化识别***，其特征在于：
所述微型边缘计算终端的所述路径规划引擎接收所述第三级图像帧分析引擎的的计算结果，更新所述无人机的移动路径。
8.一种目标表面特征变化识别方法，所述方法基于权利要求3-7任一项所述的基于高精度光学传感感知的目标表面特征变化识别***实现，所述方法包括如下步骤：
S801：所述近场便携式终端从所述图像处理云引擎的目标结构数据库中获取所述目标的三维结构数据；
S802：基于所述三维结构数据，所述路径规划引擎生成初始路径规划图；所述初始路径规划图包含第一数量的停顿点；
S803：基于所述初始路径规划图，控制所述无人机沿所述目标表面移动；
S804：在所述无人机沿所述目标表面移动的过程中，利用所述第一光学短时摄影组件对所述目标表面进行摄影操作，获取多个图像视频帧，每个视频图像帧的长度为T秒；
S805：在所述无人机沿所述目标表面移动的过程中，如果所述无人机到达所述停顿点，则利用所述第二光学快照组件对所述目标表面进行拍照操作，获得N张表面图像；
其特征在于，所述方法进一步包括：
在获取多张表面图像之后，所述第一级图像帧分析引擎对所述多张表面图像进行M阶差值运算；
基于所述M阶差值运算的结果，将所述多个视频图像帧的部分图像视频帧以及所述N张表面图像发送给所述近场便携式终端；
所述近场便携式终端利用所述第二级图像帧分析引擎对所述图像视频帧进行帧间差分运算以及边缘识别运算；
其中，1＜M＜24＊T/N，T＜5。
9.如权利要求8所述的一种目标表面特征变化识别方法，其特征在于：基于所述M阶差值运算的结果，将所述多个视频图像帧的部分图像视频帧以及所述N张表面图像的部分表面图像发送给所述近场便携式终端，具体包括：
若在某个停顿点获得的N张表面图像的M阶差值运算结果大于预定的阈值，则将包含该停顿点的图像视频帧发送给所述近场便携式终端。
10.如权利要求8所述的一种目标表面特征变化识别方法，其特征在于：
将所述帧间差分运算以及边缘识别运算的结果发送给所述第三级图像帧分析引擎，所述第三级图像帧分析引擎基于运算结果以及所述三维结构数据，更新所述初始路径规划图，更新后的初始路径规划图包含第二数量的停顿点，所述第二数量小于所述第一数量。
CN202010664026.1A 2020-07-10 2020-07-10 基于光学传感感知的目标表面特征变化识别***与方法 Active CN111898474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010664026.1A CN111898474B (zh) 2020-07-10 2020-07-10 基于光学传感感知的目标表面特征变化识别***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010664026.1A CN111898474B (zh) 2020-07-10 2020-07-10 基于光学传感感知的目标表面特征变化识别***与方法

Publications (2)

Publication Number Publication Date
CN111898474A true CN111898474A (zh) 2020-11-06
CN111898474B CN111898474B (zh) 2022-01-28

Family

ID=73192311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010664026.1A Active CN111898474B (zh) 2020-07-10 2020-07-10 基于光学传感感知的目标表面特征变化识别***与方法

Country Status (1)

Country Link
CN (1) CN111898474B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742976B (zh) * 2020-12-29 2021-10-11 財團法人工業技術研究院 結構體診斷系統及結構體診斷方法
US11703457B2 (en) 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105890670A (zh) * 2016-06-12 2016-08-24 浙江大学 一种高层建筑结构健康检测***
CN205898700U (zh) * 2016-06-27 2017-01-18 深圳大学 一种外墙缺陷的检测***
CN106501316A (zh) * 2016-11-24 2017-03-15 李北海 一种建筑物外墙体质量检测装置及其检测方法
CN109444171A (zh) * 2018-09-18 2019-03-08 山东理工大学 基于无人机的一体化桥梁检测方法
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2019163119A1 (ja) * 2018-02-26 2019-08-29 株式会社オプティム コンピュータシステム、ドローン制御方法及びプログラム
CN111126184A (zh) * 2019-12-09 2020-05-08 武汉大学 一种基于无人机视频的震后建筑物损毁检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105890670A (zh) * 2016-06-12 2016-08-24 浙江大学 一种高层建筑结构健康检测***
CN205898700U (zh) * 2016-06-27 2017-01-18 深圳大学 一种外墙缺陷的检测***
CN106501316A (zh) * 2016-11-24 2017-03-15 李北海 一种建筑物外墙体质量检测装置及其检测方法
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2019163119A1 (ja) * 2018-02-26 2019-08-29 株式会社オプティム コンピュータシステム、ドローン制御方法及びプログラム
CN109444171A (zh) * 2018-09-18 2019-03-08 山东理工大学 基于无人机的一体化桥梁检测方法
CN111126184A (zh) * 2019-12-09 2020-05-08 武汉大学 一种基于无人机视频的震后建筑物损毁检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742976B (zh) * 2020-12-29 2021-10-11 財團法人工業技術研究院 結構體診斷系統及結構體診斷方法
US11703457B2 (en) 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method

Also Published As

Publication number Publication date
CN111898474B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
Jiang et al. Real‐time crack assessment using deep neural networks with wall‐climbing unmanned aerial system
CN108496129B (zh) 一种基于飞行器的设施检测方法及控制设备
CN103940358B (zh) 一种桥梁实时监测***
CN111898474B (zh) 基于光学传感感知的目标表面特征变化识别***与方法
KR101984778B1 (ko) 시설물 외벽 진단을 위한 다중 협업 방법 및 이를 수행하기 위한 장치
Protopapadakis et al. Autonomous robotic inspection in tunnels
CN106018417A (zh) 一种外墙缺陷的检测方法及检测***
KR102321942B1 (ko) 인공지능을 이용한 이동식 무인보트와 환경 정보 분석을 통한 수자원 모니터링 시스템
CN112540089B (zh) 数字成像***在混凝土桥梁裂缝检测和分析中的应用方法
CN113569914B (zh) 一种融合点云数据的输电线路巡检方法及***
CN113503927A (zh) 搭载飞行时间模块的排水管道检测机器人及其检测方法
CN111010079A (zh) 基于多传感器的光伏智能清洁控制***和方法
CN110942520B (zh) 作业设备辅助定位方法、装置、***及存储介质
JP2017031740A (ja) 構造物の点検方法
Liu et al. Framework for automated UAV-based inspection of external building façades
CN116259101A (zh) 一种用于考场或课堂纪律巡视的方法及巡视机器人
CN103389807B (zh) 空间鼠标的数据处理方法以及鼠标指针的控制方法
Pan et al. Enhancement of external wall decoration material for the building in safety inspection method
WO2020174916A1 (ja) 撮影システム
CN107489420B (zh) 无底柱分段崩落法矿岩块度分布远程实时监测***及方法
CN117611552A (zh) 一种基于bim视觉识别技术的既有幕墙检测方法及***
Liu et al. Automated construction quality assessment: A review
JP2018172849A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110824525A (zh) 机器人的自定位方法
WO2020246085A1 (ja) 点検支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant