CN116194759A - 用于具人工智能动力的检验及预测分析的***及方法 - Google Patents

Abstract

本发明提供一种***，其藉由使用具人工智能动力的评估及预测分析而辨识潜在的建筑及基础结构问题。该***采用来自与视觉摄影机及热像仪耦合的自主载具或机器人的大数据用于自主检查。该***可进一步基于其振动而检查该等机器的操作状态。

Description

用于具人工智能动力的检验及预测分析的***及方法

技术领域

本发明一般是有关于用于自主评估(autonomous assessments)、预测分析、早期警告及剩余寿命预测的涉及对经感测数据的判读的***及方法。

背景技术

全球各地有数十万高层建筑及诸如桥梁、道路、隧道、路面、斜坡、水坝、电力线路等建造基础结构(infrastructures)，且其等的数量逐日增加。以香港为例，其除了无数其他已建成的实体基础结构外，还拥有多于7,000座高层建筑物。为了安全有效地运作这些建筑物和设施，其中安装了许多操作组件，包括暖通空调***(heating,ventilation andair-conditioning systems，HVAC***)、电扶梯及电梯、消防安全***、保全***、供排水***、电力供应***等。为了确保安全可靠的运行，需要经常检查操作部件的活动部件。再者，亦需要定期检查高层建筑的包括屋顶、管线和外观等的结构部件，以确保公共安全、通过及时维修降低维护成本并确保较长的使用寿命。基于定期检查和监控的主动维护(proactive maintenance)亦可藉由帮助将能源消耗和碳排放最小化来提高已建基础设施的永续性。

目前，有经验的人类检查员定期对建筑物的操作和结构部件进行现场检查。手动选择侦测点和手动操作测量仪器使得过程时间及劳动力密集，其意味着额外的成本。再者，这些工作具有一些缺失，例如，从安全角度来看，人类检查员可能需要长时间在高空工作，这会增加事故受伤的风险。从法规(regulatory)角度来看，由于人员有限，政府或监管承包商难以管理大量的检查作业。通常使用抽查(spot checks)来确保质量。然而，可能会出现漏失处，并且会影响检查质量。从一致性的观点来看，人类检查员的技术能力可能参差不齐，这可能会影响检查的质量。

发明内容

由于建筑物及基础结构检查为耗时且成本和/或劳动密集型的任务，在一个实施例中，自动化(automation)成为基础结构和建筑物检查效能(efficacy)的最关键因素。另外，自动化可增强安全性、监督及一致性。本发明亦促进(1)了解现有建筑物中常见的结构劣化及其严重程度；(2)了解建筑物拥有者对其资产现状的满意程度；以及(3)了解与现有建筑物和组件相关的剩余寿命和风险。

有鉴于前述背景，本发明的方面提供用于建筑物及基础结构***中的自动化及具人工智能(AI)动力的评估及预测分析的***及方法。

因此，本发明的实施例可为一非瞬时计算机可读储存介质，其被配置以储存在被执行时可被配置或导致一处理器进行至少下列各者的指令：(1)接收包括热图像(thermalimage)、视觉图像(visual image)、物体振动(object vibration)、诸如电流或磁场的电磁数据(electro-magnetic data)及其组合的感测数据，(2)自该感测数据辨识至少一个与缺陷有关的信息，其中至少一个与缺陷有关的信息包括缺陷类型(type of defect)及缺陷的严重程度(degree of severity)；以及(3)预测缺陷被辨识处的目标的剩余寿命。此感测数据可来自摄影机，诸如在视觉及热图像的情形中，或为数字数据，诸如在雷射传感器(LASERsensor)(例如，LIDAR)的情形中，或为时序数据，如在具互联网(IoT)功能的电磁传感器的情形中。

于另一方面中，该预测是自大数据分析所获得，其中感测数据被融合及分析。

于再另一方面中，本发明提供用于具AI动力的评估及预测分析的***，其包含耦合至视觉摄影机、热像仪及雷射传感器的自主载具或机器人、包含上述非瞬时计算机可读储存介质的计算装置，其中该热像仪被配置以收集目标的热图像，该视觉摄影机被配置以收集该目标的视觉图像，且该雷射传感器被配置以收集3D点云信息。

附图说明

本发明技术领域中具有通常知识者可理解图式中的组件是为了简化及明确性而绘示，因此并未显示所有的连接关系及选项。举例而言，在商业上可行的实施例中有用或必须的常见但熟知的组件可能经常未被描绘，以助于作成本发明的各种实施例较不受阻碍的视图。可进一步被理解的是，特定动作和/或步骤可被以特别的发生顺序而叙述或描绘，而所属技术领域中具有通常知识者可理解如此对于顺序的特别指明并非实际上必须的。亦可被了解的是，此处所使用的用语及表示方式可相对于其对应的各自探究及研究的区域而界定，除非在此有叙明特定的意义。

图1为根据本发明的实施例的用于具人工智能动力的评估及预测分析的***的实例的方块图。

图2为根据本发明的实施例的例示***的方块图，该***包括与服务器、传感器及警示器通信的本地工作站(local working station)。

图3为根据本发明的实施例的用于具人工智能动力的评估及预测分析的例示计算机实施方法的流程图。

图4A描绘根据本发明的实施例的水管的热图像的实例。

图4B为根据本发明的实施例的抽出自图4A的热图像的热数据的直方图。

图5A为根据本发明的实施例的在图4B的直方图上进行动态校准后的热数据的直方图。

图5B描绘根据本发明的实施例的在图4B的直方图上进行动态校准后的水管的热图像。

图6A描绘根据本发明的实施例的在图5B的热图像上通过坎尼边缘检测器(Canny’s edge detector)所推衍的热边缘图像。

图6B描绘根据本发明的实施例的在图6A的热边缘图像上的灰阶直方图上进行大津定限(Otsu’s Thresholding)后的热边缘。

图7描绘根据本发明的实施例的水管的经侦测漏水的热图像。

图8描绘根据本发明的实施例的建筑物的被侦测到具有脱黏(debonding)的屋顶区域的热图像。

图9描绘根据本发明的实施例的建筑物的外观裂纹检测(

crackdetection)的图像。/>

图10描绘根据本发明的实施例的电扶梯的梳状部分(comb section)侦测到障碍物的图像。

图11描绘根据本发明的实施例的不同电梯缆线的缺陷的图像。

图12描绘根据本发明的实施例的来自结构性振动侦测的数据的图像。

图13描绘根据本发明的实施例的由振动传感器所侦测的频率的图表。

图14描绘根据本发明的实施例的用于调查外观及建筑物检查的飞行程序。

图15描绘根据本发明的实施例的来自用于宏观检查的训练数据组的样本标记图像。

图16描绘根据本发明的实施例的用于裂痕的微观检查的数据标注(datalabelling)。

图17描绘根据本发明的实施例的用于脱层(delamination)的微观检查的数据标注。

图18描绘根据本发明的实施例的用于污渍(stains)的微观检查的数据标注。

图19描绘根据本发明的实施例的执行宏观检查阶段中缺陷侦测的AI架构。

图20显示根据本发明的实施例的用于视觉分析的宏观及微观检查的应用。

图21描绘根据本发明的实施例的显示用于视觉分析所达到的精准度的图表。

图22描绘根据本发明的实施例的来自用于宏观检查的训练数据组的样本标记红外线图像。

图23描绘根据本发明的实施例的图22的图像的热数据的直方图。

图24描绘根据本发明的实施例中将被检查的红外线图像。

图25描绘根据本发明的实施例中的图24的图像中所辨识的异常边缘(anomalousedges)。

图26描绘根据本发明的实施例中的图24的图像中所辨识的热异常(thermalanomalies)。

图27描绘根据本发明的实施例的对图24的图像应用用于红外线分析的宏观及微观检查。

图28描绘根据本发明的实施例的地址的检查结果的汇总。

图29描绘自雷射传感器(LIDAR)调查数据所产生的衍生自3D模型的点云数据的实例。

图30描绘自监控电梯缆线的磁场IoT传感器收集的数据的实例。

图31描绘自监控电梯***的不同组件的电流传感器及距离传感器所收集的数据的实例。

具体实施方式

实施例现将参考随附图式被更完整地叙述，所述图式形成实施例的一部分，且藉由说明而显示可被实施的具体例示性实施例。这些说明及例示性实施例可在了解本揭露内容为一个或多个实施例的原则的例示且并非意欲限制所说明的任何一个实施例之下被提供。实施例可以不同形式被实施且不应被解释为限制于此处所述的实施例；反而是，这些实施例被提供而使得本揭露内容得为彻底及完整的，且可将实施例的范围完全地传达给所属技术领域中具有通常知识者。特别是本发明可作为方法、***、计算机可读取媒体、设备或装置实施。因此，本发明可采取完全硬件的实施例、完全软件的实施例，或结合软件及硬体方面的实施例的形态。下列详细叙述因此不应被认为是限制性意涵。

请参阅图1，***100可包括数据储存器、内存及处理器。该数据处理器通常可为任何类型或形式的能够储存数据的储存装置或介质、计算机可读取介质和/或其他计算机可读取指令。举例而言，数据储存器可为硬盘、固态硬盘、软式磁盘驱动机、磁带驱动机、光盘驱动机、快闪驱动机或类似者。该处理器可包括但不限于微处理器、微控制器、中央处理单元(CPUs)、使用软核处理器(softcore processors)的场可编程门阵列(FPGAs)、应用特定集成电路(ASICs)、其中之一或多者的部分、其变化或组合等。该内存可包括能够储存数据和/或计算机可读指令的任何类型或形式的可挥发储存装置。在一实例中，内存可储存、加载，和/或维持至少一个模块、训练数据、预训练模型、经训练的模型及感测数据。内存的实例包括但不限于随机存取内存(RAM)、快取、其变化或组合等，和/或任何其他合适的储存内存。

该数据储存器可包括一个或多个用于进行一个或多个任务的模块。该模块包含接收模块、侦测模块、预测模块及输出模块。如以下将更详细叙述的，该侦测模块进一步包含热次模块、视觉次模块、振动次模块、雷射次模块及电磁次模块。虽然被显示为分离的组件，图1中的一个或多个模块可代表单一模块或软件应用程序的部分。虽然所述次模块被显示为模块内的模块，图1中的一个或多个次模块可代表独立模块(standalone module)、单一模块或软件应用程序的部分。当由计算装置执行时，一个或多个模块或次模块可导致该计算装置进行一个或多个任务。

该数据储存器进一步包含训练数据、预训练模型、经训练的模型及感测数据。该训练数据包含输入及对应的输出两者，其是被配置以被使用在预训练模型中进行监督式学习。所述经训练的模型在使用该训练数据于所述预训练模型中的监督式学习完成时被产生。该监督式学习技术可被用于分类或用于回归训练(regression learning)。分类技术被用于将输入分类至两个或更多可能的类别中。另一方面，回归用于涉及若干连续输入的情形。

如以下将更详细叙述的，经训练的模型包含缺陷辨识训练模型，其被配置以辨识不同缺陷类型，以及对于各缺陷类型的缺陷评估训练模型(统称为“计算机视觉模型”)。该计算机视觉模型有助于自视觉感测数据对建筑物及基础结构进行视觉侦测及评估。各缺陷评估训练模型被配置以评估各缺陷类型的严重程度。具有不同缺陷类型的训练数据被馈送至预训练模型中以产生缺陷辨识训练模型。在一些实例中，该训练数据中的缺陷可由领域专家(domain experts)标示。相似地，各缺陷评估训练模型可藉由将预定种类的缺陷的不同严重程度馈送至该预训练模型而产生。在一些实例中，该模型可使用最新的深度学习算法建构，并经注释数据(annotated data)训练。

如以下将更详细叙述的，所述经训练模型亦可包括缺陷辨识训练振动模型及振动评估训练模型(统称为“振动分析模型”)以自振动感测数据进行振动侦测及评估。该振动分析模型可侦测及评估建筑物中可操作组件的不同异常行为(anomalous behaviors)。所述可操作组件可包括但不限于轴承、压缩机、冷却器(chiller)、水泵和/或其组合。对应于不同缺陷类型的振动数据中具有振动特征频率的训练数据可被馈送至或并入至预训练模型中，以产生缺陷训练振动模型，而振动数据中具有在预先决定缺陷的不同阶段的振动频率(即不同严重程度)的训练数据可被馈送至预训练模型中以产生该振动评估训练模型。如此一来，各种缺陷类型具有其独有的振动评估训练模型以评估缺陷严重程度。在一些实例中，该模型是使用对振动数据中的振动特征训练的最新的深度学习算法，诸如卷积类神经网络(convolutional neural networks，CNN)所建构。再者，该深度学习算法可允许操发明人等藉由其等的专家经验训练新的缺陷类型。该振动数据可经由，例如(而不加以限制)，加速度计(accelerometers)、振动传感器、超音波传感器、雷射测震仪(LASER Vibrometer)或其组合而收集。在一实施例中，雷射可进行扫描，在此过程中，激光束自扫描仪的发射器产生并自该目标反射以由仪器中的接收器接收，因此，反射点的精准位置可于三维坐标中被计算。

在一些实施例中，该缺陷辨识训练模型、该缺陷评估训练模型、该缺陷辨识训练振动模型及该振动评估训练模型为AI缺陷侦测算法的模块，其自视觉图像感测数据及对象振动感测数据侦测并评估缺陷。在再一些实例中，该AI缺陷侦测算法的精准度可藉由经包括该感测数据的至少一个预定特征或训练数据的至少一个预定特征，或其组合的数据再次训练(re-training)而改良。该至少一个预定特征可由用户选择。在一些特定实例中，裂痕的侦测的精准度可经由以包括该特征的标示数据再次训练而改良。举例而言，可在一期间内针对人类视觉检查的精准度进行定期审核(periodic review)。人类视觉检查及AI辨识数据之间的任何差异可被审核及标示，用于稍后的再训练。相似地，对于污渍和/或脱层的侦测的精准度可经由以包括这些特征的标示数据再训练而改良。

所述训练模型亦可包括预测训练模型。有关于该辨识训练模型的输出及该评估训练模型的输出的该训练数据(可为验证后或不为验证后)被馈送至预训练模型以产生该预测训练模型。除此之外，用于异常行为的侦测及再训练的数据亦可被用于预测未来的异常行为。在一些实例中，该预测训练模型可藉由使用数据融合(data fusion)被与至少一个神经网络、模糊逻辑(fuzzy logic)或统计预报(statistical forecast)结合，其中该神经网络、模糊逻辑或统计预报是从包括但不限于结构年龄、材料特性、维护历史、检查历史或其组合的额外数据衍生。基于建筑物的不相似度，该预测效能可基于额外数据而改良。在再另一实例中，经由AI程序的大数据分析可被使用，其中该感测数据及额外数据被融合并分析以增强精准度。因此，预估寿命可经由该预测训练模型而预测，且可因此进行维护排程。

该感测数据可包括自至少一个传感器收集的数据。该感测数据未被标示，表示其不具有对输入的对应的输出。该感测数据可包含视觉感测数据及振动感测数据。静止图像或视频的形式的视觉感测数据可藉由任何视觉摄影机而收集，而振动感测数据可藉由，例如(但不限于)加速度计、振动传感器、超音波传感器或其组合而收集。该感测数据可被馈送至训练模型或预训练模型以获得输出。该输出可包括该感测数据的分类或回归。

在一实施例中，该***100进一步包括传感器接口，其被配置以自至少一个传感器接收感测数据。

在再另一实施例中，该感测接口被配置以允许该处理器控制该至少一个传感器的操作。

在一些实例中，该传感器接口可与至少一个传感器通信以经由任何无线和/或有线通信协议获得感测数据。

该***100可以各种方式实施。请参照图2，***100的所有或是部分可代表***200的部分。该***200亦可进一步包含至少一个传感器、警示器或警示***以进行早期警示、本地工作站、服务器、至少一个远程计算机***及通信网络。该通信网络连接该至少一个传感器、该本地工作站、该服务器、该至少一个远程计算机***及该警示器。在一实施例中，该***100可进一步配置以分析该目标组件或***的危急缺陷状态(imminent defectcondition)。例如，该***100可感测并基于存在有危急缺陷状态(例如，火灾、由地震、旋风所致的显著结构损害)的所述事实进行初始处理。在另一实施例中，该***100可响应外部触发，诸如天气警报、海啸警告或类似者而进行危急缺陷状态的分析。在一些实施例中，该***100可基于过去缺陷历史或类似者而响应于阈值以触发该分析。在这些实例中，该危急缺陷状态可指示高或显著严重性，其有潜力导致对人类生命的风险或对该目标组件或***的重大损害。响应此事实或分析，该***100可立即或在进一步分析后藉由短讯服务(SMS)或电子邮件发送警示至该目标组件、***或资产的拥有者的手机或电子邮件信箱，或是触发适当的预防动作。此早期警示能力在灾害预防中或灾害后复原，诸如地震或台风需要立即或迅速评估损害并决定基础结构的安全性以复工者为特别有用的。

在一实例中，模块的功能的所有或部分可藉由该本地工作站、该服务器、该至少一个远程计算机***，和/或任何其他适合的计算机***(即计算装置)而进行。图1的一个或多个模块可在当由一个或多个计算装置的至少一个处理器执行时，能够使其等进行自动化及具AI动力的侦测/辨识、评估及预测分析。至少一个传感器可将其收集的数据馈送至一个或多个计算装置。该警示器可在预定操作参数通过阈值时由一个或多个计算装置触发。该警示器可藉由由使用者所设定的阈值限制而触发，例如，当剩余寿命为其设计寿命的10％时触发。

该传感器可包括但不限于摄影机、热像仪、振动传感器、加速度计、超音波传感器、基于雷射的传感器、电磁传感器，或其组合。

在一些实例中，至少一个传感器可被安装于无人机或自主载具上，或由无人机或自主载具搭载，使得该传感器可在该目标的周围或顶部收集数据。由该至少一个传感器收集的数据可被储存于该无人机或自主载具上的存储储存装置中，以于稍后被传送至一个或多个计算装置或使用5G行动网络连接而实时传送。在再一些实施例中，该无人机或自主载具可使用5G行动网络连接将其位置数据传输至一个或多个计算装置。

在一些实例中，所述传感器的至少一个者为振动传感器，且其可被安装在轴承、压缩机、冷却器、水泵和/或其组合上。在一特定实施例中，两个传感器可被安装于该冷却器上，一个安装于马达驱动器上且一个于该压缩机驱动端上。在再一特定实例中，两个传感器可被安装于该水泵上，一个安装于马达驱动器端及一个安装于泵驱动端。

在一些实施例中，该本地工作站可为桌面计算机、笔记本电脑、平板、一手机及其组合，和/或任何合适的计算装置。

在一些实例中，该通信网络可包括Wi-Fi热点。在一些其他实例中，该通信网络可为任何无线和/或有线通信协议，包括5G行动网络。

在一些实例中，该服务器可为云端服务器。

在一些实例中，该***200可不包括警示器。

现请参照用于具AI动力的自动化数据分析及具AI动力的评估及预测分析的方法，此方法可为藉由***100或***200而进行的计算机实施方法。各步骤可以合适的计算机***，藉由计算机可执行码进行。在一些实例中，各步骤可代表包括和/或由复数次步骤所代表的算法。

请参照图3，在接收步骤，该接收模块被执行。该接收模块可请求及接收，或被导致以接收感测数据。该感测数据可直接自至少一个传感器实时传输。或者是，该感测数据可自该***中的数据储存器或无人飞行***(unmanned aerial system，UAS)存取。

在侦测步骤，该侦测模块被执行。该侦测模块可一同或选择性地侦测所有热异常、表面异常、电磁及振动异常。这些异常是与所述缺陷有关。

藉由执行该热次模块，包括但不限于漏水、潮气(moisture trapping)、屋顶脱黏、脱层、热泄漏、电池的健康、低电压/高电压(LV/HV)开关箱的健康和/或其他包括急遽及渐进温度变化的缺陷可被侦测。如以下将更详细叙述地，该感测数据中的热图像或视频可被馈送至该热次模块中以辨识所述缺陷。

相似地，包括裂痕、污渍、钢筋腐蚀、瓷砖缺失、混凝土蜂窝化(concretehoneycombing)、混凝土脱层、混凝土剥离(concrete peeling)、混凝土鼓起(concretebulging)、混凝土剥落(concrete spalling)、裸露的钢筋(exposed bars)、电梯缆线断裂或疲劳和/或电扶梯梳状部分的障碍物的缺陷可藉由执行该视觉次模块而侦测。如以下将更详细叙述地，该感测数据中的视觉图像或视频可被馈送至该视觉次模块中以定位所述缺陷。视觉次模块可进一步侦测空调、窗、门、屋顶、招牌、阳台、玻璃板、用于辨识目的的固定物(fixing)和/或密封物(sealant)。包括冷媒漏出或缺少或任何其他机器失效的缺陷可藉由执行该振动次模块而侦测。如以下将更详细叙述地，该感测数据中的该感测振动数据可被馈送至该振动模块以定位所述缺陷。包括电梯或起重机或任何其他机器中的缆线中的异常的缺陷可藉由执行该电磁次模块而侦测。相似地，该建筑物的能源管理可使用能源次模块藉由侦测依其目的设置的IoT传感器而达到优化。

在个别缺陷的侦测中，与缺陷有关的数据可被馈送至选择性预测步骤中。该缺陷数据报括但不限于缺陷类型和/或缺陷严重程度。在预测步骤中，该缺陷和/或结构的剩余寿命藉由使用该预测训练模型而预估。在一些实例中，该预测模型可使用数据融合而被与至少一个神经网络、模糊逻辑或统计预报结合。由于建筑物及其他目标结构的不相似性，该预测效能可基于额外数据，诸如外观图像分析、历史地标识别(识别特定建筑特征和建筑物年龄等)、维修及保养历史以及政府建筑登记消息而改良。于一些其他实例中，经由该AI程序的大数据分析可在感测数据及额外数据被融合及分析时使用以提高寿命预测的精准度。在另外其他实例中，该缺陷数据是连续式串流(streamed)并连接至该预测训练模型，其是以固定尺寸的批次的方式连续分析所述缺陷数据。

在输出步骤，所述缺陷的位置及经预估的剩余寿命可被合并并以报告和/或仪表板(dashboards)的形式呈献给使用者。报告和/或仪表版中的数据报括但不限于作业概述、作业总体规划、检查范围、检查类型、建筑细节、建筑位置、区域分布、建筑评分、建筑分析、建议、位置及缺陷严重程度及其剩余寿命。

在一些实例中，经由AI程序的大数据分析，例如数据融合，可被使用以进一步提供对其寿命的更精准预测。

在一些实例中，该数据可被并入至用于结构分析及实时数据可视化的建筑信息模型(Building Information Modeling，BIM)。

在一些实例中，该数据、报告或仪表板可被上传至云端用以储存或进一步分析。举例而言，图29为自雷射传感器(LIDAR)调查数据所产生的衍生自点云数据的3D模型。

热异常侦测的更多细节在此将被讨论。参照图4，该热次模块中的热异常侦测包括初始模型校准步骤、动态校准步骤、热边缘辨识步骤，及泄漏分段(leakage segmentation)步骤。

在初始模型校准步骤，来自感测数据的热图像或视频以二维矩阵的形式被后处理(post-processed)，其中各单元(像素的代表)是与一温度值相关联。为了显示目的，请参照图4A，一热图像进行后处理。根据暂定的初始箱宽(Bin Width，BW)，获得如图4B所示的直方图。此直方图可能会根据季节显示具有不同热容的不同材料中的冷区或热区趋势。作为第一个假设，如果直方图具有冷趋势(cold tendency)，则异常箱(Anomaly Bin，AB)和相反箱(Opposite Bin，OB)最初被定义为最冷和最热箱，在热的情形下反之亦然。因此，为“进入”AB的温度定义了异常阈值(Anomaly Threshold，AT)。BW、AB、OB和AT是算法的关键参数。

在动态校准步骤，首先假设若OB中的像素数量小于显著性下限，则此类数据可能是不相关的细节并且它们被过滤掉。因此，AT因BW偏移，邻接的箱(bin)变成了‘新的OB’。重复此过程直到满足条件OB≥α，其中α是下限，通常约为0.1。

其次，假设若直方图中存在多于一个像素峰值，那么像素分布仍然包含可能导致误报(诸如背景或天空)的不相关信息。在这种情况下，相关信息很可能在中间范围温度内。最终不相关的峰值(像素数量不超过总像素的10％)及其边界像素被过滤掉。

第三，假设若AB中的像素数量大于显著性上限β，则n和BW不适配，因此n增加预定义的增长比率且BW相应地减小。重复整个校准直到满足条件AB≤β，其中n是bin数量，β是上限，通常为约0.9。

在初始模型校准步骤之后，图4A及4B中所示的数据配置成为图5A及5B中所示者。现在很清楚的是数据量已经显著减少，且相关数据没有被丢弃。

在热边缘辨识步骤中，可以使用坎尼边缘检测器来辨识热边缘，获得显示于图6A中的结果。不相关的热边缘在灰阶直方图上使用大津阈值法过滤掉，且结果显示于图6B中。显然地，所有不相关的热边缘都被过滤掉，而定义光束轮廓的边缘和温度急剧变化的区域不会被丢弃。

在泄漏分段步骤，假设泄漏将在所辨识的热边缘附近某处存在。漏水区域可以下列方式辨识。推导出邻域关系(neighborhood relationship)以建立每个单一像素的顶部、底部、左侧及右侧相邻像素。假设邻居尺寸(NS)于定义热边缘周围的泄漏存在的区域，如图6B所示。接着根据AT的调整值过滤数据，获得如图7所示的结果。在此显示内容中，可清楚得知与漏水有关的热异常已被成功侦测。

相似地，在另一实施例中，藉由设定一合适的预定AT、AB及OB，在不同预定温度下的热异常可被发现。屋顶上的加热点(heated spot)为热图像中屋顶脱黏的表征特性之一。藉由将AT设置于较高温度，例如45度C并将自屋顶的热图像抽出的热数据的直方图中右手边的AT设定为AB，左手边的AT设定为OB，屋顶脱黏可如图8中所示被侦测。当然，这些仅为实例且并非意欲限制本发明的热异常侦测和/或热次模块的范围。该模型是使用最新的计算机视觉技术建构。所有的异常于图像中被映像(mapped)于它们的位置，且被指派独特的字母id。在上述宏观检查后，各单一异常的严重性是通过透彻的微观检查而评估。在微观检查期间，从侦测到的异常中抽出几个属性，并相应地适当评估异常的状态。

表面异常侦测的更多细节在此将被讨论。该视觉次模块中的该表面异常侦测包括视觉辨识步骤及视觉评估步骤。

在视觉辨识步骤，所有缺陷类型首先于来自感测数据的图像上被辨识。所述缺陷包括裂痕、污渍、钢筋腐蚀、瓷砖缺失、混凝土蜂窝化、混凝土脱层、混凝土剥离、混凝土鼓起、混凝土剥落、裸露的钢筋、电梯缆线断裂或疲劳和/或电扶梯梳状部分的障碍物。所述缺陷使用具人工智能动力的图像分类，藉由将视觉图像馈送至该缺陷辨识训练模块而辨识。请参阅图9，缺陷被辨识并指派给定界(delimiting)各单一缺陷所在区域的边界框(bounding box)。所有的异常于图像中被映像于它们的位置，且被指派独特的字母id。各单一缺陷的严重度接着在评估步骤中，经由在边界框内的微观检查而评估。在一些实施例中，该视觉辨识步骤亦称为宏观检查。

在评估步骤，各经辨识的缺陷接着藉由对应缺陷评估训练模型进行评估以决定其严重程度。各边界框内的微观检查起始自将该边界框中的缺陷的剪裁图像馈送至对应缺陷评估训练模型。请参阅图9，裂痕上的严重度的对应评估被显示。在一些实例中，该剪裁图像中的至少一个缺陷区(defective zone)可在馈送至对应缺陷评估训练模型前由领域专家标示。在一些实施例中，该评估步骤亦已知为微观检查。

相似地，参阅图10，在电扶梯梳状部分的障碍物被辨识且其严重程度可使用对应训练模型而评估。在一些实例中，所述障碍物的严重程度是基于所述障碍物的尺寸和/或形状而分类。

现请参阅图11，不同的缆线缺陷类型可在辨识步骤被辨识。经辨识的缺陷可包括但不限于磨料磨损、机械损伤、旋转损伤、热损伤和弯曲疲劳。各缺陷的严重程度可接着在缺陷评估步骤藉由对应缺陷评估训练模型而评估。在一些实例中，在辨识步骤中用于侦测缆线缺陷的所述属性包括但不限于不均匀的缆线、缆线的污渍、缆线的颜色改变及缆线的伸长(elongation)。图30-31提供显示当并入本发明的方面的一个或多个特征时，被辨识的各种缺陷的更为全面的数据组。

现请参照图12，桥梁的潜在结构缺陷可经由振动分析而侦测。该振动分析是藉由自固定式摄影机取得结构变化而进行。一般而言桥梁不会显示显著的偏斜(deflection)。然而，通过我们的视觉次模块中的表面异常侦测，此结构改变被放大，且其振动行为可被研究及分析。随时间的几何改变可藉由振动分析被模型化。任何侦测到的异常可显示桥梁的结构缺陷。

振动异常侦测的更多细节在此将被讨论。所述异常包括但不限于机器不平衡、轴承不平衡、轴承未对准(misalignment)、机壳松动和轴弯曲(shaft bending)。该振动次模块中的振动异常侦测包括振动辨识步骤及振动评估步骤。在振动异常侦测期间，振动感测数据被馈送至该缺陷辨识训练振动模型。请参阅图13，在某些频率处有复数波尖(spikes)，其可与机器的潜在缺陷相关(振动特征)。该缺陷辨识训练振动模型将所收集的振动感测数据与包括各种振动特征的现有数据库相互比对，并辨识机器是否具有任何潜在的缺陷。

在振动评估步骤，各经辨识的缺陷接着由对应振动评估训练模块评估以决定其严重程度。振动感测数据中的振幅、速度及加速度数据通过快速傅立叶变换(FFT)而转换为基于频率的分析。异常峰及图形可经由此转换而被反映。潜在缺陷可藉由与其正常状态比较而辨识。缺陷被辨识且其等的严重程度在频谱以及时间谱中被醒目标示。对缺陷位置的周期性检查一般将显示增加的振幅或增加的严重程度。此是由于，例如，该异常振动随着时间起始于设备的内部组件进行至外部壳体。

该缺陷数据报括但不限于在异常侦测中获得的缺陷类型和/或缺陷严重程度，其等接着如前所讨论的被馈送至预测步骤。

在一实施例中，该异常行为是轴承不平衡，其中(i)轴的几何中心线未与质量中心线重合，或(ii)重心未位于旋转轴上。可能有两种类型的不平衡，静态不平衡(staticimbalance)及耦合不平衡(couple imbalance)。在此实施例中，该振动分析模型可分析自/基于该振动感测数据而转换的振幅－频率光谱(在频率区域中)。该缺陷辨识训练振动模型可藉由撷取光谱中在预定频率下(例如在该轴的预定旋转速率下)的任何异常高峰而辨认任何不平衡，其通常与未对准、松动或其它错误状态相关联。其可进一步藉由区辨其在频谱中发现的相关特征而辨识缺陷类型。相似地，该振动评估训练模型可藉由辨认该频谱中所发现的关联特征而推断各缺陷的严重程度。

在一些实例中，该振动感测数据可包含水平方向的振动，而其振幅由于刚性(stiffness)与该垂直方向者相比可能为更高的。于一些其他的实例中，该振动感测数据可包含垂直方向的振动。

实例

用于检查外观的数据收集是藉由无人驾驶飞行器(UAV)通过自动化预编程飞行或通过人类驾驶飞行而进行。数据分析通过实施最新的具人工智能动力的算法以自动侦测视觉和热图像上的缺陷而进行。所有辨认的缺陷及热异常都标示在建筑外观上，以便对资产当前状态的全面评估可被可视化。在此实例中，与本领域中最常用的做法相比，实施具AI动力的检查最多可节省高达67％的时间和52％的成本，视觉缺陷和热异常侦测的平均准确度分别为90.5％及82％。

数据收集：安装于UAV上的诸如视觉摄影机及热像仪的工具使得专业人员得以有效率且精准地收集建筑外观的视觉及热照片(数据)，同时降低操作成本及安全风险。UAV提供建筑检查者独特地空中视角。无人机可以在不影响安全的情况下轻易进入偏远或无法进入的区域(可能包括自然或人为障碍物)。利用UAV于建筑物检查的另一个益处在于非破坏性及非接触性途径。此增加收集的数据的精准度并允许在监测历史性或结构性损坏的建筑物时重复收集数据。

根据以上叙述，使用配备有视觉摄影机及热像仪的无人机进行检查以执行建筑物外观的快速调查。

飞行路径设计：虽然UAV开始用于建筑物检查活动，但尚未建立UAV建筑物检查程序的综合合意基础。在这个实例中，醒目标示的过程在图14中显示，伴随以下给出的数据收集建议。该飞行路径可由一驾驶员远程控制或使用第三方软件预先编程。

数据收集建议：将在以下段落中介绍的分析是被设计以按照以下规范分析视觉和热数据：(1)必须测量室外环境状态，并且必须决定气候是否适合飞行(温度、湿度、风速、云量等)；(2)必须测量(或假设)室内温度并计算由此产生的温差。必须决定温差是否在可接受范围内(10℃或更高)；(3)必须决定建筑用途(建筑类型、营业时间等)；(4)必须通知住户(occupants)有关飞行的信息，并要求他们将无线电及Wi-Fi干扰降至最低；(5)对于大部分为垂直的平面外观，飞行路径应从预定的弯角(corner)处开始，并沿着垂直的开间(bays)向上，移动到下一个开间，然后向下行进。重复这种模式，直到整个外观都被记录且该无人机以类似的方式移动到下一个外观。对于几乎为水平的平面外观，路径应从预定的弯角处开始并继续向右直到向上移动一个开间并以线性方式继续向左，重复直到整个外观都被记录。在捕捉到外观后，无人机应该以类似的网格方式(grid manner)捕捉屋顶的图像，从一个角落开始并沿着迭加的网格(superimposed grid)以水平或垂直模式移动直到捕捉到整个屋顶(见图14)；(6)最小图像分辨率应为640x 480；(7)照片应有70％-80％的重迭；(8)UAV应与外观保持约3-7公尺(m)的距离，视检查地址和建筑类型而定；(9)在检查过程中，驾驶员应以使摄影机在外观上的投影始终是正交(orthogonal)的方式保持摄影机；(10)被检查的对象应始终在固定距离清晰对焦；(11)数据不应包括任何位于被检查外观和摄影机之间距离的物体；(12)理想地，该数据不应包括任何未进行热检测的区域，诸如天空、云、邻近建筑物、人、树木等；(13)常见的误报发生在窗户的玻璃上，其在反射本身上检测到无人机或前方任何物体的反射。如果可能，避开这些区域将有助于提高分析的准确性；(14)重要的是要注意视觉和热数据对天气状态很敏感。下雨、大风和大雪等气候因素可能会显著影响检查结果。其他环境因素，例如太阳辐射、云层覆盖、风速及湿度可能会影响能见度和外表面温度。额外建议被用作确保收集数据的高质量的参考，例如使用UAV进行热检查的协议，如叙述于Entrop AG.,Vasenev A.建筑行业中的红外线无人机：设计用于构建热成像程序的协议。能源程序(Energy Procedia)。2017；132：63-68。

视觉分析：藉由收集增量的数据以及对应的空间信息，如卷积神经网络(CNN)的基于数据驱动的分类和辨认方法显示出比传统方法对于结构评估提供更可靠和可扩展的检查结果的巨大潜力。因此，本实例提出用于基于视觉数据的具深度学习(DL)动力的缺陷分类的分析方法，此处称为‘视觉分析’。视觉分析工作流程在此叙述如下。

视觉分析工作流程：用于侦测及分析外观上的建筑缺陷的方法在此被提供。该算法的结构分为两个阶段：(1)宏观检查，其中使用深度神经网络(DNN)定位图像中的缺陷；(2)微观检查，其中来自阶段(1)的经定位缺陷被分析以评估其严重程度。以下对于该方法的展开所采取的步骤将加以讨论。

数据准备和标示：在此实例中，发明人等已经辨识了在钢筋混凝土(RC)建筑物的外观上较可能可见的结构缺陷，即裂痕、脱层和污渍。训练DNN的一个关键因素是有足够可用的经注释的数据，使得模型可以成功地从输入中学习特征。由于香港本地建筑的现有的公开可用数据集(dataset)短缺，发明人等收集了一个训练数据集用于宏观检查阶段的缺陷侦测。该训练数据集是根据上述数据收集、飞行路径设计和数据收集建议中给出的说明而收集的。数据标示是一个非常繁琐且耗时的过程，需要聘雇土木工程专家以手动分析上述数据集。收集的图像由土木工程师专家仔细注释(annotated)，在图像中存在的每个缺陷周围使用边界框标示。图15显示来自该训练数据集的注释图像的实例。用于宏观检查的训练数据集总共包含综观1000+个图像。该VIA注释工具被用于进行该图像标示程序。

用于宏观检测阶段的训练数据准备需要更高的精准度，因此结果更为艰难。注释需要逐一像素进行，换句话说，所有像素需被注释为属于或不属于缺陷。MATLAB GUI被研发用于缺陷分段(defect segmentation)。用于微观检查模型训练的数据集是用于宏观检验的综合的所收集数据。缺陷区域的形状在分布上趋于随机(stochastic)，因此需要手动标示区域(请参图16-18)。

微观检查：宏观检查是通过微调(fine-tuned)的基于CNN的对象侦测器执行的，该侦测器已显示其能够深入理解图像高等级特征并提供有效的判别特征。该模型将图像作为输入，并通过寻找对象周围的边界框侦测所欲之对象并对各者指派类别标示。该网络架构的代表图显示于图19中。网络在输入处接收RBG图像并侦测位置，并在输出处标示缺陷。该网络利用ResNet50架构作为骨架，以抽出高分辨率图像特征用于监控学习任务。该输入图像在不同规模(scales)下分析，在称为特征金字塔网络(Feature Pyramid Netword，FPN)的操作中进行，以允许在不同尺寸下侦测对象。接着混合(blended)不同规模的特征图(feature maps)以进行对象检测任务。

在网络的骨架处使用预训练的ResNet50以在训练期间催生(hasten)模型收敛过程(model convergence process)。为了训练该网络，在前15个人工智能训练型样(epoch)中，骨架权重(backbone weights)被冻结，且只将网络头(network head)的参数优化。在第15个人工智能训练型样后，所有的网络参数使用亚当优化器(Adam optimizer)优化。该网络以4批次尺寸对200个人工智能训练型样进行训练，其具有早期停止(early stopping)使得以在没有损失改良(no loss improvement)的情形下终止该训练。亚当优化器中的初始学习速率被设置为1e-5且适配学习速率排程器(adaptive learning rate scheduler)被设置以进一步降低损失。

微观检查及缺陷评估：微观检查使用基于对象分段的全卷积网络(FCN)来进行，以评估从宏观检查阶段侦测到的缺陷严重程度。FCN接收缺陷图像，围绕宏观检查估计的边界框裁剪并调整为224x224分辨率，并产生二进制输出图像。输出二进制表示为像素矩阵，其缺陷位置的值为255，否则为0。接着，这个二进制图像被利用以分析每个经侦测的边界框内的缺陷属性。传统的FCN-8对象分段器(object segmentor)被用于自输入的RBG图像生成二值化目标。FCN-8在编码器上使用VGG16网络来生成特征，所述特征将所欲对象自背景区分开。接着，不同级别的特征图被进行上采样(up-sampled)及混合，以在译码器部分生成输出的分段图像。分别针对裂纹、脱层和污渍的每个缺陷分类训练FCN。在一实施例中，该FCN-8网络架构的细节可根据一些实施例应用。举例而言，该网络在输入处接收RBG图像并产生该分段输出。预训练VGG16模型被利用于该网络的编码器阶段中。该网络被训练以将该输出二进制图像上的均方误差损失(Mean Squared Error Loss，MSE)最小化。该亚当优化器(Adamoptimizer)被用于将该网络的参数优化。该网络以32批次尺寸对50个人工智能训练型样进行训练，其具有早期停止使得以在没有损失改良的情形下终止该训练。亚当优化器中的初始学习速率被设置为1e-5且一适配学习速率排程器(adaptive learning ratescheduler)被设置以进一步降低损失。所有与宏观及微观检查有关的网络被于NVIDIATITAN XP GPU上的TensorFlow后端上实施。

以裂痕、脱层及污渍定量的形式的缺陷评估藉由使用来自该微观检查的结果，将数个属性指派给各缺陷分类而进行。这些属性，包括裂痕宽度及缺陷区域对边界框比例，被用于评估与其符合的各缺陷的严重程度，及用以将其等严重程度分类成“轻微”、“中等”及“严重”。

后处理及缺陷标示：在该模型被良好地训练后，可被用于缺陷分类。对于恒定的子图像大小，使用滑动窗口对整个图像进行侦测。接着，各图像都标示有真实裂纹(cracktrue)、真实脱层(delamination true)、真实污渍(stain true)或无缺陷(no defects)。在以初始数据集进行训练后，对模型进行测试，审查检测结果，且接着做出最终决策。标示的图像用于重新训练的目的，且该模型在重复检查后不断改进。图20显示通过对RC建筑的外观进行宏观检查及微观检查的视觉分析的示例应用。需要注意的是，除了上述数据准备和标示中提到的缺陷分类训练外，训练数据亦包括香港钢筋混凝土建筑中通常存在的其他元素的标示，例如窗户和空调。

上述标示和重新训练的过程已经通过多次检查进行，且训练数据库已经被扩展到18,000+个标示图像，此促成图21中所报告的精准度被改良。从图式中可以看出，窗户和空调侦测的精准度远高于缺陷检测者。这样的结果归因于以下事实，即窗户和空调具有比缺陷更多的清晰且独特的特征，因此它们的侦测代表较不复杂的问题。对于缺陷的精准度，该精准度差异系归因于该数据集当中的数据可得性，其分为40％裂痕标示、27％脱层标示及33％污渍标示。另外，脱层及污渍在一些情形中可被误侦测，由于他们相似地区别特征，诸如颜色及形状。

红外线分析：现今仍缺乏能够取代用于热检查的高质量途径的可靠及自动化程序。藉由收集增量的数据以及对应的空间信息，基于计算机视觉(CV)的基于数据驱动的分类和辨认方法显示出比传统方法对于结构评估提供更可靠和可扩展的检查结果的潜力。理想中，侦测热图像中的结构缺陷为主要的利益。然而，由于热图像的噪声，由热图像进行的结构缺陷的具AI动力的辨识可能并非最合适的途径。发明人等提出了一种用于对热数据进行基于CV的异常检测的分析方法，即在此标记为“红外线分析”。在这种方法中，以自动化方式侦测热异常，并在后处理阶段进行热异常诊断以评估原因。红外线分析工作流程的全面描述如下

红外线分析工作流程：用以侦测及分析热图像中的异常的方法在此被提供。相似地，对于之前介绍的视觉分析(请参阅以上视觉分析工作流程)，红外线分析算法的结构分为两个阶段：(1)宏观检查，其中使用基于CV的算法侦测热异常，及(2)微观检查，其中分析来自阶段(1)的经定位异常以评估异常严重程度。以下对于该方法的展开所采取的步骤将加以讨论。

数据准备：发明人等在对本领域检测需求的调查研究及分析后，辨识了更容易引起混凝土热行为异常的结构缺陷，即渗漏、脱黏和受潮。应该注意的是，与视觉分析的数据准备相似(请参阅上述的数据准备及标示)，针对此种结构缺陷的网络关键词搜寻提供了不一致的结果。此外，寻找热照片的相关在线资源具有挑战性。因此，所有使用的数据是由发明人等通过各种热检查而收集。

1000+张图像，包括渗漏、脱黏及受潮缺陷的数据库构成初始数据库。热图像的数据标示是一个非常繁琐且耗时的过程，需要聘雇红外线土木工程专家以手动分析上述数据集(图22)。

宏观检查：该宏观检查算法是根据热异常被界定为在热图像中发生急遽或异常温度改变的区域的概念而建构。因此，该侦测算法的主要目的在于找到该热图像上的急遽温度改变。在此架构中，该热图像被考虑为二维矩阵，其中的单元(像素)为温度值。区分异常区域的一个初级的解决方案是寻找足够冷的像素(在夏季，对于户外图像)并将其等标记为异常。然而，这种方法可能会导致复数个误报结果，系由于这种逐像素分离作为一个简单的过滤器侦测冷区域，而没有考虑热异常的任何独特特征。急剧的温度变化由热边缘定界，因此代表异常区域的轮廓。其后，可以推断出热异常是由热边缘包围的区域。然而，数据可能包含将在同一图像上检测到的其他不相关的视觉边缘，这些边缘并未包围任何热异常(例如树木、云等)。为了解决这一挑战，所提出的方法通过不仅侦测热边缘，而亦沿着边缘的各侧过滤误报，并接着将热异常分段应用于异常区域而消除了这种错误侦测，且最终分段出异常区域。宏观检查的算法由下列构成：热边缘动态校准及辨识及异常分割算法组成，介绍如下。

动态校准：该算法的第一阶段将以每个图像基于温度分布及季节状态而计算的两个阈值输出。该算法不是定义严格的预设阈值，而是在进一步处理之前为每个图像找到合适的阈值。这两个阈值称为异常阈值(AT)和箱宽(BW)。AT用于决定哪些像素是异常的候选者，而BW用于评估某个区域是否发生温度变化。它们是通过使用温度直方图来计算，其尺寸是基于将被检查的图像(请参见图24)的直方图箱(参见图23)的代表性而动态变化的。异常箱(AB)被定义为异常像素值落在且位于AT后的箱，而相反箱(OB)被定义为与最大温度值相关联的AB相对侧的箱。为了消除一些误报，对OB的代表性使用了较低的α限制，因为期望它包含足够数量的值。如果OB包含小于α，则删除落入其中的值并重新计算直方图，直到相反箱具有很强的代表性。假设若直方图中有多于一个峰值，那么像素分布可能包含不相关的信息，这可能导致误报(例如背景天空)。在这种情况下，相关信息很可能在中间范围温度内。最终不相关的峰值及其边界像素被丢弃。接着，上限β被用于AB，其不被预期主导温度分布，其系由于潜在异常区域的总面积可能占整体图像的较小部分。如果AB的代表性大于β，则直方图的箱数量增加并重新计算直到满足限制条件。上述α和β限制是可变百分比值，其等根据建筑类型的热数据分布进行调整。

热边缘的辨识和异常分段：在算法的第二阶段，通过使用坎尼边缘检测器来发现热边缘。藉由利用先前阶段建立的阈值，由坎尼边缘检测器产生的不相关的边缘被过滤掉。该过滤操作是藉由沿边缘方向处理每条边缘在线的每个像素并判断它们是否为热异常边缘的像素来完成的。在此过程中，算法比较当前正在处理的像素附近的值。邻域关系是通过定义为与边缘方向垂直的一组值的邻域来建立的。若邻域中的最大值大于AT(即对应像素不落入AB)，则去除对应的边缘像素。如果其是小于AT，则算法检查最高值和最低值之间的差值是否大于BW。若该差值不大于BW，目前的边缘像素被移除。否则，该算法保留该边缘像素并进行至下一个像素。在处理各边缘上的所有像素并进行消去后，异常边缘被发现(请参图25)。结果，由这些边缘包围的实际异常区域由边界框醒目标示(请参阅图26)。

微观检查及异常评估：微观检查是通过所有发现的热异常的深度检查而进行。相似地，用于视觉分析导入的缺陷评估(请参以上视觉分析的微观检查及缺陷评估)，微观检查被应用于评估来自宏观检查阶段的经侦测的异常严重程度。热异常的严重程度经评估与用于脱层及污渍的评估条件相符。

后处理及异常标示：在CV模型被良好建构后，其可被用于异常侦测。各图像被标示为真正热异常或无热异常。由于该模型是基于CV，所有的侦测结果被审查，且接着做出最终决策。对于工业应用，该算法趋向总是对于异常侦测为保守的，因此其较倾向侦测误报而不具有任何侦测疏漏(false negative)。红外线分析的输出藉由红外线专家审查以评估最终的误侦测并诊断导致该热异常的结构缺陷。所述误报被用于研发目的，且该模型在重复检查后不断改进。图28显示通过对RC建筑的外观进行宏观检查及微观检查的红外线分析的示例应用。

上述基于数据库放大的开展过程经过多次检查，且数据库已扩展到4000+热图像，其具有达到82％的整体精准度。该精准度表示模型回现率(model recall)，代表算法正确分类的总相关结果的百分比。误侦测主要归因于无关物体的不可避免的存在、窗户玻璃上的反射及未良好收集的数据(不符合数据收集建议中给定的规范)。

工业应用案例研究：在本节中，在此对照市场上现有的解决方案来审查本发明的具AI动力的检查的工业应用。被检查的地点可为提供总共1,502个住宅单位，面积在从434到2,000平方英尺的范围内的22个独立街区中的一个住宅单位的外观。被检查的25层外观面积为27x65m2，如图28所示。调查飞行在一天内完成，使用四个电池拍摄视觉及热照片。飞行时间为300分钟，拍摄了1000多张照片。使用具有X5S视觉摄影机的Matrice 210RTK与XT2热像仪配对以对外观进行检查。该检查使用利用Litchi App v2.5.0设计而预先编程的飞行路径进行。操作组员由一位机长及一位观察员/观测员所组成。通过所述的分析的图像处理及藉由认证专业人员进行的背书(endorsement)耗时4天。经侦测的缺陷被标示于四个主要检查结果类别中，包括：裂痕、脱层、污渍(于视觉数据中侦测)及热异常(于热数据中侦测)。这些缺陷显示于图28中。通过这些表示，所有被辨认的缺陷及异常被映像于其的位置，使得该外观当下状态的综合了解及评估可被进行。

参照此案例研究，表1显示了市场上现成的定性解决方案与所提议的具AI动力的检查的架构之间的综合比较。

表1

结论：本发明代表用于建筑物的具AI动力的彻底检查的新颖途径。该外观调查是使用与视觉摄影机及热像仪配对的UAV进行。该数据是遵循特定建议而收集。经收集的视觉及红外线数据使用所提供的视觉及红外线分析方法处理。所开发的算法能够对RC外观的视觉和红外线数据进行自动化和可靠的缺陷检测。视觉分析算法是基于深度学习者，且已经在18,000+张带标示的照片上进行了训练，而红外线分析算法是基于CV者，且其是基于4,000+张带标示的照片开发。这两种技术都包括：(1)对收集的数据进行缺陷/热异常检测的宏观检查及(2)用于评估缺陷/热异常严重程度的微观检查。这些实例的结论为：

(1)外观调查是以UAVs操作。无人机调查提供了独特的空中视角，且可以在不影响安全的情况下轻松进入偏远或难以进入的区域。此外，UAVs的使用意味着更为理想的非破坏性和非接触式调查。与其他检查方法相比，使用UAVs进行的建筑检查已报告其收集的数据更精准，同时大福减少了操作时间；

(2)与以解释方式进行、可能失之主观的传统检查相比，本发明的检查提供了一种通过自动化收集、处理及分析抽出的数值数据来检查建筑物的更可扩展且更有效的方式；

(3)具AI动力的技术被用于自动化并大幅加快检查过程，通过深度学习(DL)算法对视觉数据进行缺陷侦测(包括裂纹、脱层和污点)及通过计算器视觉(CV)算法进行热数据上的异常侦测(由于泄漏、脱黏及潮湿)。在缺陷侦测方面，裂纹、脱层及污渍的精准度分别达到92.5％、88.3％及90.6％。关于热异常检测，估计精准度为82％。本发明的方法包括用于评估所有发现的缺陷和热异常的严重性的特征；

(4)该方法的产业利用性被展现，且已经在市场上容易获得的解决方案和新提出的解决方案之间进行了比较。一般而言，根据观察，与市场上的最佳实务方式相比，实施具AI动力的检查最多可节省67％之时间及52％的成本；

(5)这项研究工作的成果非常有前景，且具AI动力的检测所达到的精准度及可扩展性有助于该产业的快速采用。通过不断扩大的数据库及技术进步，发明人等认为具AI动力的外观检查有可能超越现有的领先方法。

当然，这些仅为实例且并非意欲限制本发明的申请专利范围。

所述例示实施例可包括所显示者之外的额外装置及网络。再者，被叙述为由一个装置执行的功能可被分布并于两个以上的装置执行。多个装置亦可被组合成单一装置，其可执行该组合之装置的功能。

此处所述的各种参与者及组件可操作一个或多个计算机装置以促进此处所述的功能。上述图式中的任何组件，包括任何服务器、用户装置，或数据库，可使用任何适当数量之次***以促进此处所述的功能。

本申请案中所叙述的任何软件组件或功能可作为软件码或计算机可读指令实施，所述软件码或计算机可读指令藉由至少一个处理器使用任何适当的计算机语言，诸如，Java、C++、或Python使用例如传统或目标导向的技术执行。

该软件码可被作为一系列指令或命令存于非瞬时计算机可读介质，诸如随机存取内存(RAM)、只读存储器(ROM)、磁性媒体诸如硬盘或软盘，或光学媒体诸如CD-ROM上。任何此种计算机可读取介质可位于或处于单一计算机装置内且可存在于一***或网络内的不同计算机装置上或其内。

可被理解的是上述本发明可以呈控制逻辑的形式，以模块化或积体方式使用计算机软件实施。基于此处所提供的揭露内容及教示，所属技术领域具有通常知识者可知晓并理解使用硬件、软件或硬件及软件的组合实施本发明的其它方式和/或方法。

上述叙述为说明性而非限制性的。实施例的许多变化对所属技术具有通常知识者而言在检阅本揭露内容时将为显见的。因此，实施例的范围应不参考上述叙述而决定，而是应参考所附的申请专利范围及其等完整范围或等效范围而决定。

在不背离实施例的范围之下，来自任何实施例的一个或多个特征可与任何其他实施例的一个或多个特征结合。“一”、“一个”或“该”的记载意欲表示“一个或多个”，除非特别相反地指明。除非特别反向指明，“和/或”的记载意欲代表该用语的最周延的意义(inclusive sense)。

本***的一个或多个组件可被请求为用以完成特定功能的手段。这样的手段功能组件(means-plus-function elements)被用于叙述所请求***的特定组件时，所属技术领域具有通常知识者参考本说明书、图式及申请专利范围可以理解对应结构包括被编程以使用特殊编程后计算机中的功能以进行所载之特定功能，和/或藉由实施一个或多个算法以达到申请专利范围中所载或上述步骤中所载之功能的计算机、处理器，或(视情况可以是)微处理器。如所属技术领域中具有通常知识者能理解的，算法于本揭露内容中可被表示为数学方程式、流程图、叙述，和/或任何其他提供充足结构以利所属技术领域中具有通常知识者实施所载方法及其等效内容的方式。

虽然本发明得以许多不同形式实施，图式及论述内容系以本揭露内容为一个或多个发明的原则的例示为前提而表示，而非意欲将任一实施例限制于所说明的实施例。

上述***及方法的其他优点及修饰对于所属技术领域具有通常知识者为可轻易思及的。

因此，本发明以其较广泛的方面，并未被限制于以上显示及叙述的特定细节、代表性***及方法，及说明性实例。对于本说明书内容之各种修饰及变化可在不背离本发明的范围或精神之下进行，且本发明意欲涵盖所有此等修饰及变化，只要这些修饰及变化是落于以下申请专利范围及其等效范围内。

Claims (20)

1.一种有形非瞬时计算机可读储存介质，其具有储存于其上的用以分析至少一个缺陷的计算机可执行指令，其中所述计算机可执行指令包含：

接收视觉图像、视频及其组合的感测数据；

自该感测数据辨识至少一个与缺陷有关的信息，其中该至少一个与缺陷有关的信息包括一种缺陷类型以及该缺陷的严重程度；以及

预测在该缺陷被辨识处的目标组件的剩余寿命。

2.如权利要求1所述的有形非瞬时计算机可读储存介质，其中该预测包含自远程来源获得经分析的数据。

3.如权利要求1所述的有形非瞬时计算机可读储存介质，其中该辨识该至少一个与缺陷有关的信息包含馈送该感测数据至人工智能(AI)缺陷侦测算法。

4.如权利要求3所述的有形非瞬时计算机可读储存介质，其中该AI缺陷侦测算法被配置以处理下列之一或多者：视觉图像、热图像、雷射点云(LASER point cloud)、超音波数据、振动数据，及电磁感测数据。

5.如权利要求4所述的有非瞬时计算机可读储存介质，还进一步包含藉由将包括该感测数据的至少一个预定特征或训练数据的至少一个预定特征的数据馈送至该AI缺陷侦测算法而增加辨识该至少一个与缺陷有关的信息的精准度。

6.一种用于具人工智能动力的评估及预测分析的***，其包含：

自主载具或机器人，其与多个传感器耦合，其中所述传感器包括下列之一或多者：热像仪、视觉摄影机及雷射扫描仪；

计算装置，其包含权利要求1或2的有形非瞬时计算机可读储存介质，

其中该视觉摄影机被配置以收集该目标组件或目标***的至少一个视觉图像；

其中该热像仪被配置以收集该目标组件或该目标***的至少一个热图像；

其中该雷射扫描仪被配置以收集该目标组件或该目标***的至少一个扫描；

其中该计算装置被配置以将数据作为经收集的该视觉图像、该热图像及该雷射扫描的函数进行处理；

其中该计算装置被配置以自该经处理的数据辨识至少一个与缺陷有关的信息，其中该至少一个与缺陷有关的信息包括缺陷类型，以及该缺陷的严重程度；且

其中该计算装置被配置以预测在该缺陷被辨识处的目标组件的剩余寿命。

7.如权利要求6所述的***，其中所述多个传感器包含用于与设置在目标组件或目标***上的传感器通信的多个通信单元，其中所述传感器被配置以监控该目标组件或该目标***的状态。

8.如权利要求6所述的***，其中权利要求4的该有形非瞬时计算机可读储存介质包含与该计算装置相关联的存储卡或远程储存单元。

9.如权利要求7所述的***，其中该计算装置进一步包含用于经由5G行动数据传送而自该远程储存单元接收数据的通信单元。

10.如权利要求6所述的***，其中该计算装置进一步生成缺陷报告，并在该报告上生成建议，其中该建议提供用于预测性维护的信息以及该目标组件或目标***的评估剩余寿命。

11.如权利要求10的***，其中用于该目标组件或目标***的经评估的该剩余寿命的信息包含下列至少一个：建筑外观(building

)；建筑内装；兴建中建筑；机器；及机器部件。

12.如权利要求11所述的***，其中所述机器包含下列之一或多者：电梯、电扶梯、暖通空调(HVAC)***、管线、泵、电动机、供电***、开关箱、齿轮及轴承。

13.如权利要求6所述的***，其中该计算装置是进一步被配置以将一即将出现的缺陷状态作为该辨识的函数进行分析。

14.如权利要求13所述的***，其中该计算装置是进一步被配置以响应满足于阈值的经分析的即将出现的缺陷状态而传输SMS消息或电子邮件消息至该目标组件或目标***的拥有者。

15.如权利要求10所述的***，其中该计算装置是进一步被配置以计算安全整体等级(SIL)或状态分数(CS)以指示该目标组件或***的整体健康。

16.如权利要求15所述的***，其中该计算装置是进一步被配置以将该SIL或CS与其他目标组件或***比较，或将该SIL或CS与不同时点的相似的目标组件或***比较。

17.一种用于分析结构的至少一个缺陷的经计算机实施的方法，其包含：

接收视觉图像、视频及其组合的感测数据；

自该感测数据辨识至少一个与缺陷有关的信息，其中该至少一个与缺陷有关的信息包括缺陷类型以及该缺陷的严重程度；以及

预测在该缺陷被辨识处的目标组件的剩余寿命。

18.如权利要求17所述的经计算机实施的方法，其中该预测包含自远程来源获得经分析的数据。

19.如权利要求17所述的经计算机实施的方法，其中该辨识该至少一个与缺陷有关的信息包含馈送该感测数据至人工智能(AI)缺陷侦测算法。

20.如权利要求19所述的经计算机实施的方法，其中该AI缺陷侦测算法被配置以处理下列之一或多者：视觉图像、热图像、LASER点云、超音波数据、振动数据，及电磁感测数据。

Images