CN111225299A - 一种onu故障识别、修复方法和装置 - Google Patents

一种onu故障识别、修复方法和装置 Download PDF

Info

Publication number
CN111225299A
CN111225299A CN201811425957.5A CN201811425957A CN111225299A CN 111225299 A CN111225299 A CN 111225299A CN 201811425957 A CN201811425957 A CN 201811425957A CN 111225299 A CN111225299 A CN 111225299A
Authority
CN
China
Prior art keywords
model
onu
image
fault
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811425957.5A
Other languages
English (en)
Inventor
汤斯鹏
曹海山
张培炜
池鸿源
赵佳琳
陈楠
张炳华
陈梓珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Guangdong Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Guangdong Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811425957.5A priority Critical patent/CN111225299A/zh
Publication of CN111225299A publication Critical patent/CN111225299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • H04Q2011/0079—Operation or maintenance aspects
    • H04Q2011/0083—Testing; Monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种ONU故障识别、修复方法和装置，其中故障识别方法包括：获取待识别图像；将待识别图像输入目标检测模型，获取目标检测模型输出的ONU图像；将ONU图像输入型号分类模型，获取型号分类模型输出的ONU型号；将ONU图像输入ONU型号对应的故障识别模型，获取故障识别模型输出的故障类型。本发明实施例提供的方法和装置，用户仅需提供故障ONU设备的照片即可获取故障类型，无需额外掌握相关设备的使用常识，降低了故障识别的门槛，同时避免了通过文字或语音交互进行故障识别时由于沟通不畅导致的故障判断不准确、效率低下的问题，实现了高效、准确的故障识别，优化了用户体验。

Description

一种ONU故障识别、修复方法和装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种ONU故障识别、修复方法和装置。
背景技术
ONU(Optical Network Unit，光网络单元)俗称“光猫”，作为用户侧设备，为相连的用户提供各种宽带服务。
根据当前业务统计，家庭宽带业务涉及的基础宽带和电视业务中，涉及ONU的故障占比超过50％，因此引导用户自助解决ONU故障十分必要。现有的对ONU故障进行自助识别和修复的方法主要有两种：一种是在ONU上粘贴标签和二维码，引导用户扫描二维码，根据网页提供的图文信息结合标签描述自行修复；另一种是通过电子渠道发布常见故障处理指引以及功能宣传，使得用户可以通过交互方式，例如与客服人员进行语音沟通，明确故障类型和解决方式。
上述自助识别和修复方法，一方面需要用户具备一定的ONU设备使用常识，能够分辨网线接口、光纤信号接口、电源接口等，并且能够分辨ONU状态灯情况，以便在ONU故障时能够通过图文描述、网页交互或者语音交互自助排障或报障；另一方面，通过语音客服协助排障，需要客服人员对种类繁多的ONU设备具有故障甄别能力，然而当前主流的ONU设备种类可能多达数十款，此外，交互过程中用户表述不清，客服人员理解不到位的情况时有发生，影响了故障修复效率。由于存在上述的种种限制，针对ONU的自助故障识别和修复率难以提升，且在自助识别和修复方法无法解决ONU故障时，往往需要装维人员上门服务，时效性不足且成本较高。
发明内容
本发明实施例提供一种ONU故障识别、修复方法和装置，用以解决现有的ONU故障识别和修复方法门槛高，解决率低且耗时长的问题。
第一方面，本发明实施例提供一种ONU故障识别方法，包括：
获取待识别图像；
将所述待识别图像输入目标检测模型，获取所述目标检测模型输出的ONU图像；所述目标检测模型是由样本待识别图像和所述样本待识别图像中的样本ONU图像训练得到的；
将所述ONU图像输入型号分类模型，获取所述型号分类模型输出的ONU型号；所述型号分类模型是由样本ONU图像和所述样本ONU图像对应的样本ONU型号训练得到的；
将所述ONU图像输入所述ONU型号对应的故障识别模型，获取所述故障识别模型输出的故障类型；所述故障识别模型是由样本ONU图像和所述样本ONU图像对应的样本故障类型训练得到的。
第二方面，本发明实施例提供一种ONU故障修复方法，包括：
获取待识别图像的ONU型号和故障类型；ONU型号和故障类型是基于第一方面提供的故障识别方法得到的；
基于AR技术调用所述ONU型号对应的3D模型，并显示所述故障类型对应的修复提示，以使得用户能够根据所述修复提示实现ONU的故障修复。
第三方面，本发明实施例提供一种ONU故障识别装置，包括：
获取单元，用于获取待识别图像；
目标检测单元，用于将所述待识别图像输入目标检测模型，获取所述目标检测模型输出的ONU图像；所述目标检测模型是由样本待识别图像和所述样本待识别图像中的样本ONU图像训练得到的；
型号分类单元，用于将所述ONU图像输入型号分类模型，获取所述型号分类模型输出的ONU型号；所述型号分类模型是由样本ONU图像和所述样本ONU图像对应的样本ONU型号训练得到的；
故障识别单元，用于将所述ONU图像输入所述ONU型号对应的故障识别模型，获取所述故障识别模型输出的故障类型；所述故障识别模型是由样本ONU图像和所述样本ONU图像对应的样本故障类型训练得到的。
第四方面，本发明实施例提供一种ONU故障修复装置，包括：
识别单元，用于获取待识别图像的ONU型号和故障类型；ONU型号和故障类型是基于第一方面提供的故障识别方法得到的；
修复单元，用于基于AR技术调用所述ONU型号对应的3D模型，并显示所述故障类型对应的修复提示，以使得用户能够根据所述修复提示实现ONU的故障修复。
第五方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面或第二方面所提供的方法的步骤。
第六方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面所提供的方法的步骤。
本发明实施例提供的一种ONU故障识别、修复方法和装置，基于目标检测模型、型号分类模型和故障识别模型得到待识别图像中故障ONU设备的故障类型，用户仅需提供故障ONU设备的照片即可获取故障类型，无需额外掌握相关设备的使用常识，降低了故障识别的门槛，同时避免了通过文字或语音交互进行故障识别时由于沟通不畅导致的故障判断不准确、效率低下的问题，实现了高效、准确的故障识别，优化了用户体验。此外，通过人工智能与AR技术相结合，直接在智能终端展示ONU设备的3D模型和修复提示，引导用户进行ONU故障修复，降低了故障修复的门槛，节省了装维人员上门修复的成本投入。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的ONU故障识别方法的流程示意图；
图2为本发明实施例提供的目标检测模型的结构示意图；
图3为本发明实施例提供的ONU故障修复方法的流程示意图；
图4为本发明实施例提供的ONU故障识别装置的结构示意图；
图5为本发明实施例提供的ONU故障修复装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前针对ONU故障的自助识别和修复方法，需要用户自身了解ONU设备，导致了自助排障门方法槛较高，用户在使用图文或H5页面自助排障时的完成率较低，自助排障的问题解决率不高。此外，由于缺乏对用户端故障场景的可视化方法，即使通过在线客服人员进行自助排障，用户表述不清，客服人员理解不到位的情况也时有发生，导致了自助排障问题解决时间较长，解决率较低等情况。针对上述问题，本发明实施例提供了一种ONU故障识别方法，以实现高效、准确的ONU故障识别，从而为用户自助排障提供条件。图1为本发明实施例提供的ONU故障识别方法的流程示意图，如图1所示，该识别方法的执行主体可以是具备拍摄功能的智能终端，也可以是服务器等具备信息处理功能的处理单元，本发明实施例对此不作具体限定。该方法包括：
110，获取待识别图像。
此处，待识别图像是包含有需要识别的故障ONU设备的图像，待识别图像可以是通过智能终端对故障ONU设备进行拍摄得到的，此处智能终端可以是智能手机、智能腕表、平板电脑或者笔记本电脑等，本发明实施例对此不作具体限定。
120，将待识别图像输入目标检测模型，获取目标检测模型输出的ONU图像；目标检测模型是由样本待识别图像和样本待识别图像中的样本ONU图像训练得到的。
具体地，在获取待识别图像后，将待识别图像输入至目标检测模型，目标检测模型对待识别图像进行特征提取，确定待识别图像中故障ONU设备的位置，进而截取待识别图像中的故障ONU设备，得到ONU图像并输出。此处，ONU图像是目标检测模型输出的从待识别图像中截取的故障ONU设备的图像。
另外，在执行步骤120之前，还可以预先训练得到目标检测模型，具体可通过如下方式训练得到：首先，收集大量样本待识别图像与样本待识别图像的样本ONU图像；其中，样本待识别图像是包含有ONU设备的图像，样本ONU图像是从样本待识别图像中截取的ONU设备的图像。基于样本待识别图像和样本ONU图像对初始模型进行训练，从而得到目标检测模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。
130，将ONU图像输入型号分类模型，获取型号分类模型输出的ONU型号；型号分类模型是由样本ONU图像和样本ONU图像对应的样本ONU型号训练得到的。
具体地，在获取ONU图像后，将ONU图像输入型号分类模型，型号分类模型输出ONU图像中的故障ONU设备的型号，即ONU型号。在执行步骤130之前，还可以预先训练得到型号分类模型，具体可通过如下方式训练得到：首先，收集大量样本ONU图像和样本ONU图像对应的样本ONU型号；其中，样本ONU图像是ONU设备的图像，样本ONU图像的样本ONU型号是预先确定的，且样本ONU型号是样本ONU图像中的ONU设备的型号。基于样本ONU图像和样本ONU对初始模型进行训练，从而得到型号分类模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。
140，将ONU图像输入ONU型号对应的故障识别模型，获取故障识别模型输出的故障类型；故障识别模型是由样本ONU图像和样本ONU图像对应的样本故障类型训练得到的。
具体地，ONU型号与故障识别模型之间存在对应关系，可以是一个ONU型号对应一个故障识别模型，也可以是多个ONU型号对应一个故障识别模型，本发明实施例对此不作具体限定。在得到ONU图像对应的ONU型号后，将ONU图像输入到该ONU型号对应的故障识别模型中，故障识别模型基于ONU图像中的故障ONU设备的指示灯状态确定故障ONU设备所处的状态，进而得到故障ONU设备的故障类型，并输出故障类型。
在执行步骤140之前，还可以预先训练得到各个ONU型号分别对应的故障识别模型，具体可通过如下方式训练得到：以任一ONU型号对应的故障识别模型为例，首先，收集大量样本ONU图像和样本ONU图像对应的故障类型；其中，样本ONU图像是该ONU型号的ONU设备的图像，样本ONU图像的样本故障类型是预先确定的，且样本故障类型是根据样本ONU图像中的该ONU型号的ONU设备的指示灯状态确定的。基于该ONU型号对应的样本ONU图像和样本故障类型对初始模型进行训练，从而得到故障识别模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。
本发明实施例提供的方法，基于目标检测模型、型号分类模型和故障识别模型得到待识别图像中故障ONU设备的故障类型，用户仅需提供故障ONU设备的照片即可获取故障类型，无需额外掌握相关设备的使用常识，降低了故障识别的门槛，同时避免了通过文字或语音交互进行故障识别时由于沟通不畅导致的故障判断不准确、效率低下的问题，实现了高效、准确的故障识别，优化了用户体验。
基于上述任一实施例，图2为本发明实施例提供的目标检测模型的结构示意图，参考图2，步骤120具体包括：
121，将待识别图像输入目标检测模型中的第一检测模型，获取第一检测模型输出的候选ONU图像和候选ONU图像的置信度。
具体地，目标检测模型包括第一检测模型和第二检测模型，第一检测模型和第二检测模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对第一检测模型和第二检测模型的类型和结构作具体限定。其中，第一检测模型用于对待识别图像中是否包含故障ONU设备进行初步检测，并输出从待识别图像中截取的候选ONU图像和候选ONU图像的置信度。此处，候选ONU图像为第一检测模型从待识别图像中截取的可能包含故障ONU设备的图像，候选ONU图像的置信度是指候选ONU图像中包含故障ONU图像的概率。
122，若候选ONU图像的置信度大于等于预设置信度，则将候选ONU图像作为ONU图像；否则，将候选ONU图像输入目标检测模型中的第二检测模型，获取第二检测模型输出的检测结果；若检测结果为存在ONU，则将候选ONU图像作为ONU图像。
具体地，在获取候选ONU图像和候选ONU图像的置信度之后，将候选ONU图像的置信度与预设置信度进行比较，此处，预设置信度是预先设定的置信度阈值。如果候选ONU图像的置信度大于等于预设置信度，则确认候选ONU图像中包含故障ONU设备，将候选ONU图像直接作为ONU图像从目标检测模型中输出。如果候选ONU图像的置信度小于预设置信度，则无法通过第一检测模型的输出结果直接判断候选ONU图像中是否包含故障ONU设备，需要通过第二检测模型进行进一步判断。将候选ONU图像输入第二检测模型，第二检测模型用于对候选ONU图像中是否包含故障ONU设备进行再次检测，并输出检测结果。此处，检测结果为存在ONU或不存在ONU，存在ONU即指候选ONU图像中包含有故障ONU设备，不存在ONU即指候选ONU图像中不存在故障ONU设备。若检测结果为存在ONU，则将候选ONU图像作为ONU图像从目标检测模型中输出。若检测结果为不存在ONU，则目标检测模型输出检测结果。
在执行步骤121之前，还可以预先训练得到第一检测模型，在执行步骤122之前，还可以预先训练得到第二检测模型。此外，还可以通过对目标检测模型整体进行训练，得到训练好的第一检测模型和第二检测模型，本发明实施例对此不作具体限定。
本发明实施例提供的方法，在目标检测模型中，通过第一检测模型和第二检测模型获取待识别图像的ONU图像，实现了ONU图像的准确定位，为候选基于ONU图像进行型号识别和故障检测提供了条件。
基于上述任一实施例，步骤122之后还包括：若检测结果为不存在ONU，则基于目标检测模型输出的检测结果，发出重新获取待识别图像提示。
具体地，目标检测模型中，若第二检测模型输出的检测结果为不存在ONU，则将该检测结果从目标检测模型中输出。在获取该检测结果之后，发出重新获取待识别图像提示，使得用户能够根据提示重新拍摄包含有故障ONU设备的待识别图像，再重新执行待识别图像的获取，以及将待识别图像输入目标检测模型等步骤。
例如，上述实施例提供的方法的执行主体为智能终端，用户通过智能终端拍摄了待识别图像，随即智能终端将待识别图像输入至目标检测模型，并获取目标检测模型输出的检测结果，即不存在ONU。在得到上述检测结果后，智能终端发出重新获取待识别图像提示，并在智能终端的屏幕上显示该提示，用户观察到该提示后，可以重新通过智能终端拍摄待识别图像。
又例如，上述实施例提供的方法的执行主体为服务器，用户通过智能终端拍摄了待识别图像，随即智能终端将待识别图像传输至服务器。服务器获取待识别图像后，将待识别图像输入至目标检测模型，并获取目标检测模型输出的检测结果，即不存在ONU。在得到上述检测结果后，服务器向智能终端发出重新获取待识别图像提示，智能终端接收到重新获取待识别图像提示后，在屏幕上显示该提示，用户观察到该提示后，可以重新通过智能终端拍摄待识别图像，并通过智能终端将待识别图像传输至服务器进行处理。
基于上述任一实施例，第一检测模型为Tensorflow物体检测API，第二检测模型为Inception V4神经网络。
具体地，Tensorflow是一个基于数据流编程的符号数学***，被广泛应用于各类机器学习算法的编程。Tensorflow物体检测(Object Detection)API(ApplicationProgramming Interface，应用程序编程接口)是谷歌公司发布的物体检测接口，通过训练Tensorflow物体检测API可以得到第一检测模型。
Inception V4神经网络是Inception网络的***版本，Inception网络是卷积神经网络(Convolutional Neural Network，CNN)分类器发展史上一个重要的里程碑。Inception V4神经网络通过在Inception网络的基础上结合ResNet(Residual NeuralNetwork，残差网络)极大地加快了训练速度，同时极大地提升了性能。通过训练InceptionV4神经网络可以得到第二检测模型。
基于上述任一实施例，步骤130具体包括：131，将ONU图像输入型号分类模型中的型号粗分模型，获取型号粗分模型输出的初步分类结果；132，将ONU图像输入型号分类模型中初步分类结果对应的型号细分模型，获取型号细分模型输出的ONU型号。
具体地，型号分类模型包括型号粗分模型和若干个型号细分模型，型号粗分模型和型号细分模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对型号粗分模型和型号细分模型的类型和结构作具体限定。
其中，型号粗分模型用于对ONU图像中包含的故障ONU设备进行初步型号分类，并输出ONU图像中的故障ONU设备的初步分类结果。此处，初步分类结果用于表征ONU图像中包含的故障ONU设备型号的粗分类别，每一初步分类结果均对应若干个细分的ONU型号。例如，初步分类结果为ONU品牌，初步分类结果对应的细分结果为该品牌下的具体型号。又例如，初步分类结果为外形相似度高的一类ONU设备，通过进一步细分得到一类外形相似度高的ONU设备的具体型号。
初步分类结果与型号细分模型之间存在对应关系，可以是一种初步分类结果对应一个型号细分模型，也可以是多个初步分类结果对应一个型号细分模型，本发明实施例对此不作具体限定。在得到ONU图像对应的初步分类结果后，将ONU图像输入到该初步分类结果对应的型号细分模型中，型号细分模型输出该ONU图像中包含的故障ONU设备对应的ONU型号。
本发明实施例提供的方法，通过型号粗分模型和型号细分模型的衔接应用，实现了ONU图像对应的ONU型号的精确分类。
基于上述任一实施例，型号粗分模型为Inception V4神经网络，型号细分模型为AlexNet神经网络。
具体地，AlexNet神经网络是首次把卷积神经网络引入计算机视觉领域并取得突破性成绩的模型。AlexNet神经网络通过堆叠卷积层使得模型更深更宽，同时借助GPU使得训练在可接受的时间范围内得到结果，推动了卷积神经网络乃至深度学习的发展。相比Inception V4神经网络，AlexNet神经网络结构更加简单，更有利于流程运行开销的降低。
基于上述任一实施例，图3为本发明实施例提供的ONU故障修复方法的流程示意图，如图3所示，该方法的执行主体为智能终端，该方法包括：
310，获取待识别图像的ONU型号和故障类型。ONU型号和故障类型是基于上述任一实施例提供的故障识别方法得到的。
此处，根据待识别图像获取待识别图像中的故障ONU设备的ONU型号和故障类型的方法如上述任一实施例所述。需要说明的是，执行故障识别方法的可以是智能终端，还可以是服务器等具备信息处理功能的处理单元，本发明实施例对此不作具体限定。当故障识别方法的执行主体为智能终端时，智能终端直接执行上述故障识别方法并获取待识别图像的ONU型号和故障类型；当故障识别方法的执行主体为处理单元时，处理单元执行上述故障识别方法并获取待识别图像的ONU型号和故障类型，并将ONU型号和故障类型发送到智能终端。
320，基于AR技术调用ONU型号对应的3D模型，并显示故障类型对应的修复提示，以使得用户能够根据修复提示实现ONU的故障修复。
具体地，AR(Augmented Reality，增强现实)技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。在获知故障ONU设备的PNU型号和故障类型后，基于ONU型号选取对应的ONU设备3D模型，基于故障类型匹配对应的修复提示，并通过AR技术调用该3D模型，使得智能终端通过摄影单元拍摄得到的画面中故障ONU设备的位置上能够重合该3D模型。此外，在智能终端上基于3D模型同步显示修复提示，以指示用户按照智能终端显示的3D模型和修复提示对故障ONU设备进行修复。
本发明实施例提供的方法，通过人工智能与AR技术相结合，直接在智能终端展示ONU设备的3D模型和修复提示，引导用户进行ONU故障修复，降低了故障修复的门槛，优化了用户体验，节省了装维人员上门修复的成本投入。
基于上述任一实施例，步骤320中，基于AR技术调用ONU型号对应的3D模型，具体包括：基于AR技术调用ONU型号对应的3D模型，并基于故障类型设置3D模型，使得3D模型能够还原待识别图像中ONU的状态。
具体地，故障类型用于指示故障ONU设备所处的状态，基于故障类型可以对3D模型中指示灯的状态进行设置，使得3D模型的指示灯状态能够与故障类型对应状态下的故障ONU设备的指示灯状态保持一致，从而有效还原待识别图像中拍摄的故障ONU设备的状态。在基于故障类型对3D模型进行设置之后，用户能够更加直观地通过智能终端显示的3D模型和修复提示中获取正确的修复措施，进而实现对故障ONU设备的修复。
基于上述任一实施例，ONU故障修复方法，包括如下步骤：
首先，用户通过智能手机打开摄像头拍摄故障ONU设备的照片，即待识别图像。
其次，智能手机将待识别图像传输至图像识别服务器。图像识别服务器接收到待识别图像后，将待识别图像输入至目标检测模型中。进一步地，将待识别图像输入目标检测模型中的第一检测模型，获取第一检测模型输出的候选ONU图像和候选ONU图像的置信度。判断获知候选ONU图像的置信度小于预设置信度，则将候选ONU图像输入至目标检测模型中的第二检测模型，得到第二检测模型输出的检测结果。检测结果为存在ONU，故将候选ONU图像作为ONU图像并从目标检测模型中输出。此处，ONU图像是从待识别图像中截取的包含故障ONU设备的最小矩形区域，截取后的ONU图像可以大大减少背景带来的干扰。
随后，图像识别服务器将ONU图像输入至型号分类模型中。进一步地，将ONU图像输入型号分类模型的型号粗分模型，获取型号粗分模型输出的初步分类结果。为了提升分类效果，对外形相似的ONU型号进行进一步区分，将ONU图像输入初步分类结果对应的型号细分模型，获取型号细分模型输出的ONU型号。
接着，图像识别服务器将ONU图像输入ONU信号型号对应的故障识别模型中。ONU的状态主要通过ONU设备表面的指示灯进行区分，指示灯包括power灯、pon灯、los灯和lan灯。由统计得知主要的指示灯组合状态可以分为7个类型。故障识别模型基于ONU图像中的故障ONU设备的指示灯的状态对指示灯组合状态进行分类，进而确定故障ONU设备所处的状态，得到故障ONU设备的故障类型，并输出故障类型。
此后，图像识别服务器将上述步骤中得到的待识别图像的ONU型号和故障类型返回智能手机。智能手机在接收到ONU型号和故障类型后，智能手机调用ONU型号对应的3D模型，并基于故障类型设置3D模型，以所见即所得的方式将故障ONU设备的当前状态同步显示在智能手机上，同时将故障类型对应的修复提示显示在智能手机上，引导用户根据提示进行修复。
本发明实施例提供的方法，基于目标检测模型、型号分类模型和故障识别模型得到待识别图像中故障ONU设备的故障类型，用户仅需提供故障ONU设备的照片即可获取故障类型，无需额外掌握相关设备的使用常识，降低了故障识别的门槛，同时避免了通过文字或语音交互进行故障识别时由于沟通不畅导致的故障判断不准确、效率低下的问题，实现了高效、准确的故障识别，优化了用户体验。此外，通过人工智能与AR技术相结合，直接在智能终端展示ONU设备的3D模型和修复提示，引导用户进行ONU故障修复，降低了故障修复的门槛，节省了装维人员上门修复的成本投入。
基于上述任一实施例，图4为本发明实施例提供的ONU故障识别装置的结构示意图，如图4所示，ONU故障识别装置包括获取单元410、目标检测单元420、型号分类单元430和故障识别单元440；
其中，获取单元410用于获取待识别图像；
目标检测单元420用于将待识别图像输入目标检测模型，获取目标检测模型输出的ONU图像；目标检测模型是由样本待识别图像和样本待识别图像中的样本ONU图像训练得到的；
型号分类单元430用于将ONU图像输入型号分类模型，获取型号分类模型输出的ONU型号；型号分类模型是由样本ONU图像和样本ONU图像对应的样本ONU型号训练得到的；
故障识别单元440用于将ONU图像输入ONU型号对应的故障识别模型，获取故障识别模型输出的故障类型；故障识别模型是由样本ONU图像和样本ONU图像对应的样本故障类型训练得到的。
本发明实施例提供的装置，基于目标检测模型、型号分类模型和故障识别模型得到待识别图像中故障ONU设备的故障类型，用户仅需提供故障ONU设备的照片即可获取故障类型，无需额外掌握相关设备的使用常识，降低了故障识别的门槛，同时避免了通过文字或语音交互进行故障识别时由于沟通不畅导致的故障判断不准确、效率低下的问题，实现了高效、准确的故障识别，优化了用户体验。
基于上述任一实施例，目标检测单元420具体用于：
将待识别图像输入目标检测模型中的第一检测模型，获取第一检测模型输出的候选ONU图像和候选ONU图像的置信度；
判断子单元若候选ONU图像的置信度大于等于预设置信度，则将候选ONU图像作为ONU图像；
否则，将候选ONU图像输入目标检测模型中的第二检测模型，获取第二检测模型输出的检测结果；
若检测结果为存在ONU，则将候选ONU图像作为ONU图像。
基于上述任一实施例，目标检测单元420还包括：
若检测结果为不存在ONU，则基于目标检测模型输出的检测结果，发出重新获取待识别图像提示。
基于上述任一实施例，第一检测模型为Tensorflow物体检测API，第二检测模型为Inception V4神经网络。
基于上述任一实施例，型号分类单元430具体用于：
将ONU图像输入型号分类模型中的型号粗分模型，获取型号粗分模型输出的初步分类结果；
将ONU图像输入型号分类模型中初步分类结果对应的型号细分模型，获取型号细分模型输出的ONU型号。
基于上述任一实施例，型号粗分模型为Inception V4神经网络，型号细分模型为AlexNet神经网络。
基于上述任一实施例，图5为本发明实施例提供的ONU故障修复装置的结构示意图，如图5所示，ONU故障修复装置包括识别单元510和修复单元520；
其中，识别单元510用于获取待识别图像的ONU型号和故障类型；ONU型号和故障类型是基于上述任一实施例提供的故障识别方法得到的。
修复单元520用于基于AR技术调用ONU型号对应的3D模型，并显示故障类型对应的修复提示，以使得用户能够根据修复提示实现ONU的故障修复。
基于上述任一实施例，修复单元520具体用于：基于AR技术调用ONU型号对应的3D模型，并基于故障类型设置3D模型，使得3D模型能够还原待识别图像中ONU的状态。
图6为本发明实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储在存储器603上并可在处理器601上运行的计算机程序，以执行上述各实施例提供的ONU故障识别方法，例如包括：获取待识别图像；将待识别图像输入目标检测模型，获取目标检测模型输出的ONU图像；目标检测模型是由样本待识别图像和样本待识别图像中的样本ONU图像训练得到的；将ONU图像输入型号分类模型，获取型号分类模型输出的ONU型号；型号分类模型是由样本ONU图像和样本ONU图像对应的样本ONU型号训练得到的；将ONU图像输入ONU型号对应的故障识别模型，获取故障识别模型输出的故障类型；故障识别模型是由样本ONU图像和样本ONU图像对应的样本故障类型训练得到的。
此外，处理器601还可以调用存储在存储器603上并可在处理器601上运行的计算机程序，以执行上述各实施例提供的ONU故障修复方法，例如包括：获取待识别图像的ONU型号和故障类型；ONU型号和故障类型是基于故障识别方法得到的；基于AR技术调用ONU型号对应的3D模型，并显示故障类型对应的修复提示，以使得用户能够根据修复提示实现ONU的故障修复。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的ONU故障识别方法，例如包括：获取待识别图像；将待识别图像输入目标检测模型，获取目标检测模型输出的ONU图像；目标检测模型是由样本待识别图像和样本待识别图像中的样本ONU图像训练得到的；将ONU图像输入型号分类模型，获取型号分类模型输出的ONU型号；型号分类模型是由样本ONU图像和样本ONU图像对应的样本ONU型号训练得到的；将ONU图像输入ONU型号对应的故障识别模型，获取故障识别模型输出的故障类型；故障识别模型是由样本ONU图像和样本ONU图像对应的样本故障类型训练得到的。
此外，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的ONU故障修复方法，例如包括：获取待识别图像的ONU型号和故障类型；ONU型号和故障类型是基于故障识别方法得到的；基于AR技术调用ONU型号对应的3D模型，并显示故障类型对应的修复提示，以使得用户能够根据修复提示实现ONU的故障修复。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种ONU故障识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入目标检测模型，获取所述目标检测模型输出的ONU图像；所述目标检测模型是由样本待识别图像和所述样本待识别图像中的样本ONU图像训练得到的；
将所述ONU图像输入型号分类模型，获取所述型号分类模型输出的ONU型号；所述型号分类模型是由样本ONU图像和所述样本ONU图像对应的样本ONU型号训练得到的；
将所述ONU图像输入所述ONU型号对应的故障识别模型，获取所述故障识别模型输出的故障类型；所述故障识别模型是由样本ONU图像和所述样本ONU图像对应的样本故障类型训练得到的。
2.根据权利要求1所述的故障识别方法，其特征在于，所述将所述待识别图像输入目标检测模型，获取所述目标检测模型输出的ONU图像，具体包括：
将所述待识别图像输入所述目标检测模型中的第一检测模型，获取所述第一检测模型输出的候选ONU图像和所述候选ONU图像的置信度；
若所述候选ONU图像的置信度大于等于预设置信度，则将所述候选ONU图像作为所述ONU图像；
否则，将所述候选ONU图像输入所述目标检测模型中的第二检测模型，获取所述第二检测模型输出的检测结果；
若所述检测结果为存在ONU，则将所述候选ONU图像作为所述ONU图像。
3.根据权利要求2所述的故障识别方法，其特征在于，所述将所述候选ONU图像输入所述目标检测模型中的第二检测模型，获取所述第二检测模型输出的检测结果，之后还包括：
若所述检测结果为不存在ONU，则基于所述目标检测模型输出的检测结果，发出重新获取待识别图像提示。
4.根据权利要求2所述的故障识别方法，其特征在于，所述第一检测模型为Tensorflow物体检测API，所述第二检测模型为Inception V4神经网络。
5.根据权利要求1所述的故障识别方法，其特征在于，所述将所述ONU图像输入型号分类模型，获取所述型号分类模型输出的ONU型号，具体包括：
将所述ONU图像输入所述型号分类模型中的型号粗分模型，获取所述型号粗分模型输出的初步分类结果；
将所述ONU图像输入所述型号分类模型中所述初步分类结果对应的型号细分模型，获取所述型号细分模型输出的ONU型号。
6.根据权利要求5所述的故障识别方法，其特征在于，所述型号粗分模型为InceptionV4神经网络，所述型号细分模型为AlexNet神经网络。
7.一种ONU故障修复方法，其特征在于，包括：
获取待识别图像的ONU型号和故障类型；所述ONU型号和所述故障类型是基于权利要求1至6中任一项所述的故障识别方法得到的；
基于AR技术调用所述ONU型号对应的3D模型，并显示所述故障类型对应的修复提示，以使得用户能够根据所述修复提示实现ONU的故障修复。
8.根据权利要求7所述的修复方法，其特征在于，所述基于AR技术调用所述ONU型号对应的3D模型，具体包括：
基于AR技术调用所述ONU型号对应的3D模型，并基于所述故障类型设置所述3D模型，使得所述3D模型能够还原所述待识别图像中ONU的状态。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如权利要求1至8任一所述的方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一所述的方法。
CN201811425957.5A 2018-11-27 2018-11-27 一种onu故障识别、修复方法和装置 Pending CN111225299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425957.5A CN111225299A (zh) 2018-11-27 2018-11-27 一种onu故障识别、修复方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425957.5A CN111225299A (zh) 2018-11-27 2018-11-27 一种onu故障识别、修复方法和装置

Publications (1)

Publication Number Publication Date
CN111225299A true CN111225299A (zh) 2020-06-02

Family

ID=70831982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425957.5A Pending CN111225299A (zh) 2018-11-27 2018-11-27 一种onu故障识别、修复方法和装置

Country Status (1)

Country Link
CN (1) CN111225299A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862383A (zh) * 2020-07-08 2020-10-30 上海擎感智能科技有限公司 车辆异常的辅助提示方法、***、移动终端及存储介质
CN112026680A (zh) * 2020-08-21 2020-12-04 上海擎感智能科技有限公司 显示控制方法、显示控制***、车载终端及存储介质
CN112508039A (zh) * 2020-12-08 2021-03-16 ***股份有限公司 一种图像检测方法及装置
CN113159344A (zh) * 2021-05-06 2021-07-23 北京京东振世信息技术有限公司 多媒体信息处理方法及装置、计算机存储介质、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129564A (zh) * 2011-02-14 2011-07-20 西南交通大学 基于无人飞行器的接触网故障检测与诊断方法
CN103630244A (zh) * 2013-12-18 2014-03-12 重庆大学 电力***设备故障诊断方法及***
CN104301037A (zh) * 2013-07-16 2015-01-21 中兴通讯股份有限公司 一种实现无源光网络光纤故障自动告警的方法及***
WO2016033965A1 (zh) * 2014-09-05 2016-03-10 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN108596349A (zh) * 2018-04-28 2018-09-28 广东日月潭电源科技有限公司 一种基于ar技术的ups电源维修方法、***及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129564A (zh) * 2011-02-14 2011-07-20 西南交通大学 基于无人飞行器的接触网故障检测与诊断方法
CN104301037A (zh) * 2013-07-16 2015-01-21 中兴通讯股份有限公司 一种实现无源光网络光纤故障自动告警的方法及***
CN103630244A (zh) * 2013-12-18 2014-03-12 重庆大学 电力***设备故障诊断方法及***
WO2016033965A1 (zh) * 2014-09-05 2016-03-10 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN108596349A (zh) * 2018-04-28 2018-09-28 广东日月潭电源科技有限公司 一种基于ar技术的ups电源维修方法、***及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862383A (zh) * 2020-07-08 2020-10-30 上海擎感智能科技有限公司 车辆异常的辅助提示方法、***、移动终端及存储介质
CN112026680A (zh) * 2020-08-21 2020-12-04 上海擎感智能科技有限公司 显示控制方法、显示控制***、车载终端及存储介质
CN112508039A (zh) * 2020-12-08 2021-03-16 ***股份有限公司 一种图像检测方法及装置
CN112508039B (zh) * 2020-12-08 2024-04-02 ***股份有限公司 一种图像检测方法及装置
CN113159344A (zh) * 2021-05-06 2021-07-23 北京京东振世信息技术有限公司 多媒体信息处理方法及装置、计算机存储介质、电子设备

Similar Documents

Publication Publication Date Title
CN111225299A (zh) 一种onu故障识别、修复方法和装置
CN110705405B (zh) 目标标注的方法及装置
CN110232369B (zh) 一种人脸识别方法和电子设备
US11461995B2 (en) Method and apparatus for inspecting burrs of electrode slice
EP4033458A2 (en) Method and apparatus of face anti-spoofing, device, storage medium, and computer program product
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN109344864B (zh) 用于密集物体的图像处理方法及装置
CN113642584B (zh) 文字识别方法、装置、设备、存储介质和智能词典笔
CN112784853B (zh) 端子连接状态检测方法及装置
CN113591864B (zh) 文本识别模型框架的训练方法、装置及***
EP4224338A1 (en) Data labeling method, apparatus, and system, device, and storage medium
CN113963363B (zh) 一种基于ar技术的检测方法及装置
CN113591580B (zh) 图像标注方法、装置、电子设备和存储介质
CN114596188A (zh) 水印检测方法、模型训练方法、装置及电子设备
CN105302715B (zh) 应用程序用户界面的获取方法和装置
CN113780297A (zh) 图像处理方法、装置、设备以及存储介质
CN111800294A (zh) 网关故障诊断方法、装置、网络设备及存储介质
CN116433936A (zh) 图像检测方法、装置、电子设备及存储介质
CN115756256A (zh) 信息标注的方法、***、电子设备以及存储介质
CN115631502A (zh) 文字识别方法、装置、模型训练方法、电子设备及介质
CN115375965A (zh) 一种目标场景识别的预处理方法、目标场景识别方法
CN114550300A (zh) 视频数据分析方法、装置、电子设备及计算机存储介质
CN114612971A (zh) 人脸检测方法、模型训练方法、电子设备及程序产品
KR20220146663A (ko) 비디오 복구 방법, 장치, 기기, 매체 및 컴퓨터 프로그램
CN104867026B (zh) 提供商品图像的方法和***以及输出商品图像的终端装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602