CN110198471A - 异常识别方法、装置、智能设备及存储介质 - Google Patents
异常识别方法、装置、智能设备及存储介质 Download PDFInfo
- Publication number
- CN110198471A CN110198471A CN201810163999.XA CN201810163999A CN110198471A CN 110198471 A CN110198471 A CN 110198471A CN 201810163999 A CN201810163999 A CN 201810163999A CN 110198471 A CN110198471 A CN 110198471A
- Authority
- CN
- China
- Prior art keywords
- task
- video flowing
- smart machine
- judgment models
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000005856 abnormality Effects 0.000 title claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims abstract description 119
- 230000002547 anomalous effect Effects 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 abstract description 8
- 210000004556 brain Anatomy 0.000 abstract description 7
- 238000012549 training Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 210000005036 nerve Anatomy 0.000 description 14
- 238000005187 foaming Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 241000533293 Sesbania emerus Species 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000010411 cooking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种异常识别方法、装置、智能设备及存储介质，其中，方法包括：获取智能设备执行任务时当前任务场景的视频流；识别所述视频流对应的目标任务；获取与所述目标任务对应的目标异常判断模型；将所述视频流输入到所述目标异常判断模型中，识别所述目标任务是否出现异常。通过本方法，使得智能设备具备类似人眼或类似人脑的分析能力，能够自主感知和识别工作流中存在的异常，提高异常识别的实时性，以便及时对异常进行处理，解决现有技术中智能设备无法自主识别异常、需要人工干预的技术问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种异常识别方法、装置、智能设备及存储介质。
背景技术
随着人工智能技术的发展，机器人、机械臂等智能设备产品越来越成熟，逐渐参与到人们的日常生活中，比如，控制机器人开启家电设备、利用机械臂制作咖啡等。
目前，智能设备多是通过与用户进行语音交互来执行对应的动作，或者基于固定位置执行固定的动作，当智能设备工作过程中出现异常时，智能设备无法自主识别工作过程中出现的异常，需要人工干预来发现并解决异常，浪费人力资源。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种异常识别方法，通过对采集的当前任务场景的视频流进行任务识别，根据识别出的任务匹配对应的异常判断模型，利用异常判断模型识别当前所采集的视频流中是否存在异常，使得智能设备具备类似人眼或类似人脑的分析能力，能够自主感知和识别工作流中存在的异常，提高异常识别的实时性，以便及时对异常进行处理，解决现有技术中智能设备无法自主识别异常、需要人工干预的技术问题。
本发明的第二个目的在于提出一种异常识别装置。
本发明的第三个目的在于提出一种智能设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种异常识别方法，包括：
获取智能设备执行任务时当前任务场景的视频流；
识别所述视频流对应的目标任务；
获取与所述目标任务对应的目标异常判断模型；
将所述视频流输入到所述目标异常判断模型中，识别所述目标任务是否出现异常。
作为本发明第一方面实施例的另一种可选的实现方式，识别所述目标任务是否出现异常之后，还包括：
当识别出所述目标任务出现异常时，则获取与所述目标任务匹配的异常处理策略进行异常恢复。
作为本发明第一方面实施例的另一种可选的实现方式，所述方法还包括：
采用如下方式生成所述异常判断模型：
针对每个任务，获取任务正常工作时的第一视频流和异常工作时的第二视频流；
将所述第一视频流和第二视频流，输入到第一神经网络进行训练，直到训练出的所述第一神经网络的误差在预设的允许误差范围内，得到所述任务对应的异常判断模型。
作为本发明第一方面实施例的另一种可选的实现方式，所述获取与所述目标任务对应的目标异常判断模型，包括：
根据所述目标任务的标识信息，从异常判断模型库中查询，获取所述目标异常判断模型；其中，异常判断模型库利用每个任务的异常判断模型构建，任务和异常判断模型一一对应。
作为本发明第一方面实施例的另一种可选的实现方式，所述识别所述视频流对应的目标任务，包括：
将所述视频流输入到任务解释器中进行任务识别，得到所述目标任务。
作为本发明第一方面实施例的另一种可选的实现方式，所述方法还包括：
采用如下方式生成所述任务解释器：
获取包括每个任务的第三视频流；其中，所述第三视频流中携带每个任务的任务标签；
将所述第三视频流输入到第二神经网络中，对所述第二神经网络进行训练，当训练出的所述第二神经网络的误差在预设的允许误差范围内时，得到所述任务解释器。
作为本发明第一方面实施例的另一种可选的实现方式，在所述获取与所述目标任务对应的目标异常判断模型之前，还包括：
采集智能设备的第一运行状态信息；
获取所述目标任务对应的所述智能设备的预先设置的第二运动状态信息；
确认所述第一运行状态信息与所述第二运动状态信息匹配。
作为本发明第一方面实施例的另一种可选的实现方式，所述智能设备为机械臂。
本发明实施例的异常识别方法，通过获取智能设备执行任务时当前任务场景的视频流，识别视频流对应的目标任务，获取与目标任务对应的目标异常判断模型，将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。通过从采集的当前任务场景的视频流中识别出目标任务，获取与目标任务对应的异常判断模型进行异常判断，使得智能设备具备类似人眼或类似人脑的分析能力，能够自主感知和识别工作流中存在的异常，提高异常识别的实时性，以便及时对异常进行处理，解决现有技术中智能设备无法自主识别异常、需要人工干预的技术问题。
为达上述目的，本发明第二方面实施例提出了一种异常识别装置，包括：
视频流获取模块，用于获取智能设备执行任务时当前任务场景的视频流；
任务识别模块，用于识别所述视频流对应的目标任务；
模型获取模块，用于获取与所述目标任务对应的目标异常判断模型；
异常识别模块，用于将所述视频流输入到所述目标异常判断模型中，识别所述目标任务是否出现异常。
本发明实施例的异常识别装置，通过获取智能设备执行任务时当前任务场景的视频流，识别视频流对应的目标任务，获取与目标任务对应的目标异常判断模型，将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。通过从采集的当前任务场景的视频流中识别出目标任务，获取与目标任务对应的异常判断模型进行异常判断，使得智能设备具备类似人眼或类似人脑的分析能力，能够自主感知和识别工作流中存在的异常，提高异常识别的实时性，以便及时对异常进行处理，解决现有技术中智能设备无法自主识别异常、需要人工干预的技术问题。
为达上述目的，本发明第三方面实施例提出了一种智能设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面实施例所述的异常识别方法。
为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的异常识别方法。
为达上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面实施例所述的异常识别方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的第一种异常识别方法的流程示意图；
图2为本发明实施例中生成异常判断模型的方法流程示意图；
图3为本发明实施例所提供的第二种异常识别方法的流程示意图；
图4为生成任务解释器的方法流程示意图；
图5为本发明实施例所提供的第三种异常识别方法的流程示意图；
图6为本发明实施例所提供的第一种异常识别装置的结构示意图；
图7为本发明实施例所提供的第二种异常识别装置的结构示意图；
图8为本发明实施例所提供的第三种异常识别装置的结构示意图；
图9为本发明实施例所提供的第四种异常识别装置的结构示意图；以及
图10为本发明实施例所提供的一种智能设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的异常识别方法、装置、智能设备及存储介质。
当机器人、机械臂等智能设备为用户提供服务时，会与用户和环境发生交互。目前，对于智能设备交互问题的研究多集中在设备与人的交互方面，比如语音交互，智能设备通过接收用户的语音信息，从语音信息中提取控制指令来决定下一步的工作流，而对于智能设备与环境的交互问题的研究则比较欠缺。
智能设备为用户提供服务时，与环境之间也会发生交互，因而智能设备对环境信息的感知也十分重要，甚至直接影响智能设备的工作成效。以机械臂制作咖啡为例，机械臂在做咖啡时，会按照预设的咖啡制作步骤自动完成咖啡制作过程，制作过程中，机械臂需要与其他设备或者工具、材料等进行交互，比如利用咖啡机研磨咖啡豆。现有的机械臂都是基于固定位置执行固定动作来实现咖啡制作的，且不具备感知环境信息的功能，当出现异常情况时，比如意外停水、咖啡豆用尽等情况，机械臂不能感知到异常并继续执行“空”动作，容易造成设备空转甚至发生危险。若要避免这种现象，则需要人工不时地进行监控，浪费人力资源。
针对上述问题，本发明实施例提出了一种异常识别方法，通过获取智能设备当前任务场景的视频流，利用异常判断模型从视频流中识别出异常，以使智能设备具备类似人眼或类似人脑的分析能力，进而能够自主感知和识别工作流中存在的异常，提高智能设备工作过程的自主性和灵活性。
图1为本发明实施例所提供的第一种异常识别方法的流程示意图。
如图1所示，该异常识别方法包括以下步骤：
步骤101，获取智能设备执行任务时当前任务场景的视频流。
其中，智能设备比如可以为智能机器人、机械臂、咖啡机器人等设备。
本实施例中，可以在智能设备上安装视频采集装置，并在启动智能设备工作时，同时开启视频采集装置来获取智能设备执行任务时，包含当前任务场景的视频流。
步骤102，识别视频流对应的目标任务。
对于采集的当前任务场景的视频流，智能设备可以对视频流中包含的每一帧图像进行分析，以从视频流中识别出目标任务。
作为一种可能的实现方式，智能设备中可以预先存储智能设备在执行任务的过程中，工作在不同任务场景下的关键帧图像，以及关键帧图像与任务的对应关系。智能设备获取了智能设备在当前任务场景工作时的视频流之后，可以实时对获取的视频流进行分析，从视频流中提取出其中包含的每一帧图像，并将视频流中的图像与关键帧图像进行比较，确定出与视频流中的图像一致的关键帧图像，进而通过查询关键帧图像与任务的对应关系，确定出对应的任务，并将该人物作为视频流对应的目标任务。
步骤103，获取与目标任务对应的目标异常判断模型。
本实施例中，可以针对智能设备在工作过程中执行的每个任务，建立各个任务对应的异常判断模型，并将每个异常判断模型与对应的任务的匹配关系预先存储在智能设备中。其中，异常判断模型用于判断视频流中包含的任务场景中是否存在异常情况。当智能设备识别出视频流对应的目标任务之后，通过查询异常判断模型与任务的匹配关系，确定与目标任务对应的目标异常判断模型。
此处需要说明的是，异常判断模型的建立过程将在后续内容中进行详细描述，此处不作具体说明。
步骤104，将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。
本实施例中，获取了与目标任务对应的目标异常判断模型之后，利用目标异常判断模型，可以识别出目标任务是否出现异常。具体地，将目标任务对应的视频流输入至目标异常判断模型中，目标异常判断模型输出目标任务出现异常或者目标任务正常的结果，实现了当前任务场景下异常情况的自动检测。
本实施例的异常识别方法，通过获取智能设备执行任务时当前任务场景的视频流，识别视频流对应的目标任务，获取与目标任务对应的目标异常判断模型，将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。通过从采集的当前任务场景的视频流中识别出目标任务，获取与目标任务对应的异常判断模型进行异常判断，使得智能设备具备类似人眼或类似人脑的分析能力，能够自主感知和识别工作流中存在的异常，提高异常识别的实时性，以便及时对异常进行处理，解决现有技术中智能设备无法自主识别异常、需要人工干预的技术问题。
本发明实施例的异常识别方法是利用异常判断模型实现的，为确保异常识别方法的顺利执行，需要预先针对不同的任务建立对应的异常判断模型。图2为本发明实施例中生成异常判断模型的方法流程示意图。
如图2所示，异常判断模型的生成过程可以包括以下步骤：
步骤201，针对每个任务，获取任务正常工作时的第一视频流和异常工作时的第二视频流。
针对智能设备工作过程中的每一个任务，分别采集智能设备正常执行该任务时的第一视频流，以及采集智能设备执行该任务时出现异常时的第二视频流。
以智能设备为咖啡机器人为例，针对咖啡机器人制作咖啡过程中的每个任务，比如研磨咖啡豆、加水、打奶泡等步骤，可以采集正常完成每个步骤的视频流和异常执行每个步骤的视频流。
步骤202，将第一视频流和第二视频流，输入到第一神经网络进行训练，直到训练出的第一神经网络的误差在预设的允许误差范围内，得到任务对应的异常判断模型。
其中，第一神经网络可以是长短期记忆网络(Long Short-Term Memory，LSTM)，或者是卷积神经网络(Convolutional Neural Networks，CNN)和循环神经网络(RecurrentNeural Network，RNN)的组合网络。
针对每一个任务，将采集的该任务对应的第一视频流和第二视频流作为训练样本输入至第一神经网络中对第一神经网络进行训练，以使第一神经网络输出有关第一视频流和第二视频流的描述信息，比如视频流中的任务为正常或异常状态的概率。当第一神经网络的输出结果的误差在预设的允许误差范围内时，得到该任务对应的异常判断模型。
其中，预设的允许误差范围是预先设定的，可以在对第一神经网络进行训练之前设定。不难理解，允许误差范围越小，训练得到的异常判断模型越精确。
此处需要说明的是，异常判断模型是在智能设备出厂前训练得到，利用每一种任务以及对应的异常判断模型构成模型库，并在智能设备出厂前将模型库存储在智能设备中；或者，异常判断模型也可以是不断更新的，在每次异常判断结束后，或者按照一定的时间间隔，根据此次的异常判断结果或者最近一段时间间隔内的异常判断结果重新训练得到异常判断模型，并将新的异常判断模型发布在服务器上，可联网的智能设备可以从服务器端获取异常判断模型进行更新，以提高异常判断模型的识别准确度。
综上所述，通过针对每个任务获取任务正常工作时的第一视频流和异常工作时的第二视频流，将第一视频流和第二视频流输入到第一神经网络进行训练，得到任务对应的异常判断模型，为智能设备能够自主地进行异常检测奠定了基础。利用任务正常工作时的视频流和异常工作时的视频流作为样本训练得到异常判断模型，训练过程简单，无需人工提取异常特征，节省了人力资源。
图3为本发明实施例所提供的第二种异常识别方法的流程示意图。
如图3所示，该异常识别方法可以包括以下步骤：
步骤301，获取智能设备执行任务时当前任务场景的视频流。
步骤302，将视频流输入到任务解释器中进行任务识别，得到目标任务。
为了能够利用任务解释器识别出获取的视频流中的目标任务，需要先训练得到任务解释器。图4为生成任务解释器的方法流程示意图。
如图4所示，生成任务解释器的方法可以包括以下步骤：
步骤401，获取包括每个任务的第三视频流；其中，第三视频流中携带每个任务的任务标签。
其中，第三视频流为智能设备完成一个完整的事件时所录制得到的视频流，第三视频流中包括完成该事件所需的所有任务。比如，对于机械臂制作咖啡这一事件而言，第三视频流中包括研磨咖啡豆、倒水、抓奶缸、打奶泡等一系列任务。
本实施例中，可以利用智能设备中安装的视频采集装置来获取智能设备完成一个完整的事件时的第三视频流，第三视频流中还可以携带完成该事件所需执行的任务标签。
其中，任务标签可以根据任务的具体内容进行确定，比如可以是任务描述的关键词；或者，任务标签也可以是任务执行的顺序，根据完成事件时执行每个任务的先后顺序对每个任务按照顺序编号设置任务标签，本发明对此不作限制。任务标签可以由用户在智能设备执行事件包含的每个任务的过程中，通过操作指令输入，操作指令可以为文本指令，也可以为语音指令，其中，文本指令可以通过智能设备上设置的触摸屏输入，语音指令可以通过智能设备的语音输入接口输入。
步骤402，将第三视频流输入到第二神经网络中，对第二神经网络进行训练，当训练出的第二神经网络的误差在预设的允许误差范围内时，得到任务解释器。
其中，第二神经网络可以是卷积神经网络和循环神经网络的组合网络。
本实施例中，将获取的第三视频流作为训练数据输入至第二神经网络中以对第二神经网络进行训练，利用卷积神经网络和循环神经网络对第三视频流中的每一帧图像进行分析，输出第三视频流中的每个任务对应的任务标签的概率。当训练出的第二神经网络的误差在预设的允许误差范围内时，第二神经网络训练完成，得到任务解释器，以便后续利用任务解释器识别智能设备当前正在执行的任务。
通过获取包括每个任务的第三视频流对第二神经网络进行训练得到任务解释器，为智能设备自主确定当前所执行的任务奠定了基础。
在智能设备执行当前任务时，同步将获取的当前任务场景的视频流输入至任务解释器，利用任务解释器识别出视频流中的任务，得到目标任务。
步骤303，根据目标任务的标识信息，从异常判断模型库中查询获取目标异常判断模型。
其中，异常判断模型库利用每个任务的异常判断模型构建，任务和异常判断模型一一对应。
智能设备中可以预先存储有异常判断模型库，异常判断模型库由每个任务的异常判断模型构成，本实施例中，可以根据目标任务的标识信息，从异常判断模型库中查询得到目标任务对应的目标异常判断模型。
作为一种示例，异常判断模型库中还可以存储每个异常判断模型与对应的任务的标识信息之间的索引关系，在确定了视频流中包含的目标任务之后，根据目标任务的标识信息，通过查询索引关系，可以确定与标识信息对应的异常判断模型作为目标异常判断模型。
作为一种示例，任务的标识信息可以是任务标签，在利用每个任务的异常判断模型构建异常判断模型库时，对每个异常判断模型用对应任务的任务标签进行标注，在确定了视频流中的目标任务后，根据目标任务的任务标签，遍历查询异常判断模型库，得到目标异常判断模型。
步骤304，将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。
步骤305，当识别出目标任务出现异常时，则获取与目标任务匹配的异常处理策略进行异常恢复。
当目标异常判断模型根据所输入的视频流识别出视频流中的目标任务出现异常时，智能设备可以进一步获取与目标任务匹配的异常处理策略进行异常恢复。
作为一种示例，每种任务的异常情况以及对应的异常处理策略可以预先存储在智能设备中。比如，以机械臂制作咖啡为例，当出现咖啡豆用尽的异常情况时，可以设置对应的异常处理策略为自动断电停止工作，或者，可以设置对应的异常处理策略为向用户发送添加咖啡豆的提醒消息，同时自动断电。
本发明实施例的异常识别方法，通过将获取的当前任务场景的视频流输入至任务解释器中进行任务识别得到目标任务，能够自动识别智能设备当前正在执行的任务，实现灵活部署；通过利用异常判断模型识别出目标任务是否出现异常，能够实现智能设备自主地进行异常检测，避免了人工编写检测程序的繁琐工序，提高了异常检测的灵活性和便捷性；通过在目标任务出现异常时获取与目标任务匹配的异常处理策略进行异常恢复，能够使智能设备及时发现工作中出现的异常并及时进行处理，避免了智能设备的空运转，保证了智能设备安全性。
为了使识别出的目标任务较为准确，以保证准确获取目标任务对应的目标异常判断模型，在本发明实施例一种可能的实现方式中，还可以基于视频流并结合智能设备的运动状态进行任务识别。从而，本发明实施例提出了另一种异常识别方法，图5为本发明实施例所提供的第三种异常识别方法的流程示意图。
如图5所示，在如图1所示实施例的基础上，步骤103之前还可以包括以下步骤：
步骤501，采集智能设备的第一运行状态信息。
作为一种可能的实现方式，可以在智能设备中安装运动传感器，利用传感器来采集智能设备执行目标任务时的第一运行状态信息。
能够理解的是，机器人、机械臂等智能设备的运动是由智能设备内部植入的控制程序进行控制的，控制程序中携带了智能设备的运动轨迹，通过控制智能设备按照运动轨迹运动实现对应的动作，智能设备执行任务时，通过处理器执行对应的控制程序来使智能设备做出相应地动作。从而，本实施例中，作为另一种可能的实现方式，获取智能设备执行任务时当前任务场景的视频流的同时，可以调取使得智能设备执行目标任务的控制程序，利用控制程序从中分析出智能设备的第一运行状态信息。
步骤502，获取目标任务对应的智能设备的预先设置的第二运动状态信息。
本实施例中，针对智能设备完成一个事件的过程中需要执行的每个任务，可以预先在智能设备中存储各个任务与对应的智能设备的第二运动状态信息的对应关系，以供查询使用。从视频流中识别出对应的目标任务后，通过查询对应关系，可以获取与目标任务对应的第二运动状态信息。
步骤503，确认第一运行状态信息与第二运动状态信息匹配。
将采集的第一运行状态信息和获取的第二运动状态信息进行比较，并在确认第一运行状态信息与第二运动状态信息匹配时，可以确定目标任务识别准确，则执行后续步骤，即获取与目标任务对应的目标异常判断模型；当第一运行状态信息与第二运动状态信息不匹配时，则确定目标任务识别错误，此时，可以重新对获取的视频流进行任务识别得到新的目标任务，或者，还可以向用户发送提醒消息，提醒用户检查智能设备，以确保智能设备正常运行。
本实施例的异常识别方法，通过采集智能设备的第一运行状态信息，并获取目标任务对应的预先设置的第二运动状态信息，确认第一运行状态信息与第二运动状态信息匹配时再获取与目标任务匹配的目标异常判断模型，能够提高任务识别的准确性。
在本发明实施例一种可能的实现方式中，智能设备可以是机械臂。下面以智能设备为机械臂为例进行详细说明本发明实施例的异常识别方法，以实现机械臂工作过程中异常情况的自主检测。
以使用机械臂制作咖啡为例，可以获取机械臂完整制作咖啡的视频作为训练样本，训练得到任务解释器，用于进行任务识别；以及获取机械臂正常执行某个任务的视频以及制作咖啡时该任务出现异常的视频作为训练样本，训练得到异常判断模型，用于后识别任务中的异常。在机械臂制作咖啡的过程中，针对机械臂执行的每个任务，利用机械臂上安装的摄像头来采集机械臂执行当前任务的视频流，基于任务解释器对视频流进行分析，得到对应的目标任务。进而，获取与目标任务对应的目标异常判断模型进行异常识别，以判断目标任务是否存在异常情况。比如，机械臂当前执行的是“打奶泡”的步骤，摄像头拍摄机械臂打奶泡的全过程，并实时将采集的视频发送至任务解释器，任务解释器输出对应的目标任务为“打奶泡”。获取与“打奶泡”对应的异常判断模型作为目标异常判断模型，将摄像头拍摄的机械臂打奶泡的全过程的视频输入至目标异常判断模型中，目标异常判断模型输出打奶泡的过程中是否存在异常的结果。进一步地，为了提高确定目标异常判断模型的准确度，还可以结合机械臂打奶泡时的运动信息作为辅助判断依据。比如，机械臂中的运动传感器记录的机械臂打奶泡时的运动信息为：逆时针转动，转速15000r/min，转动时长为3min，机械臂中预置的打奶泡的运动信息为：逆时针转动，转速为13000r/min～17000r/min，转动时长为2min～5min，则确定机械臂当前执行的操作的确为打奶泡，进而获取与打奶泡对应的异常判断模型作为目标异常判断模型进行异常检测。
为了实现上述实施例，本发明还提出一种异常识别装置。
图6为本发明实施例所提供的第一种异常识别装置的结构示意图。
如图6所示，该异常识别装置60包括：视频流获取模块610、任务识别模块620，模型获取模块630，以及推送模块异常识别模块640。其中，
视频流获取模块610，用于获取智能设备执行任务时当前任务场景的视频流。
在本发明实施例一种可能的实现方式中，智能设备为机械臂。
任务识别模块620，用于识别视频流对应的目标任务。
模型获取模块630，用于获取与目标任务对应的目标异常判断模型。
异常识别模块640，用于将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。
通过利用异常判断模型识别出目标任务是否出现异常，能够实现智能设备自主地进行异常检测，避免了人工编写检测程序的繁琐工序，提高了异常检测的灵活性和便捷性。
进一步地，在本发明实施例一种可能的实现方法中，如图7所示，在如图6所示实施例的基础上，该异常识别装置60还可以包括：
异常判断模型训练模块631，用于针对每个任务，获取任务正常工作时的第一视频流和异常工作时的第二视频流；将第一视频流和第二视频流，输入到第一神经网络进行训练，直到训练出的第一神经网络的误差在预设的允许误差范围内，得到任务对应的异常判断模型。
此处需要说明的是，异常判断模型训练模块631训练得到针对每个任务的异常判断模型的过程可以在模型获取模块630根据目标任务获取对应的目标异常判断模型之前的任意时间进行，本发明对此不作限制。
通过针对每个任务获取任务正常工作时的第一视频流和异常工作时的第二视频流，将第一视频流和第二视频流输入到第一神经网络进行训练，得到任务对应的异常判断模型，为智能设备能够自主地进行异常检测奠定了基础。利用任务正常工作时的视频流和异常工作时的视频流作为样本训练得到异常判断模型，训练过程简单，无需人工提取异常特征，节省了人力资源。
在本发明实施例一种可能的实现方式中，如图8所示，在如图6所示实施例的基础上，该异常识别装置60包括：
任务解释器训练模块621，用于获取包括每个任务的第三视频流；其中，第三视频流中携带每个任务的任务标签；将第三视频流输入到第二神经网络中，对第二神经网络进行训练，当训练出的第二神经网络的误差在预设的允许误差范围内时，得到任务解释器。
通过获取包括每个任务的第三视频流对第二神经网络进行训练得到任务解释器，为智能设备自主确定当前所执行的任务奠定了基础。
此时，任务识别模块620具体用于将视频流输入到任务解释器中进行任务识别，得到目标任务。
通过将获取的当前任务场景的视频流输入至任务解释器中进行任务识别得到目标任务，能够自动识别智能设备当前正在执行的任务，实现灵活部署。
模型获取模块630还用于根据目标任务的标识信息，从异常判断模型库中查询获取目标异常判断模型；其中，异常判断模型库利用每个任务的异常判断模型构建，任务和异常判断模型一一对应。
异常修复模块650，用于当识别出目标任务出现异常时，则获取与目标任务匹配的异常处理策略进行异常恢复。
通过在目标任务出现异常时获取与目标任务匹配的异常处理策略进行异常恢复，能够使智能设备及时发现工作中出现的异常并及时进行处理，避免了智能设备的空运转，保证了智能设备安全性。
为了提高任务识别的准确性，在本发明实施例一种可能的实现方式中，如图9所示，在如图6所示实施例的基础上，该异常识别装置60还包括：
运动状态匹配模块632，用于在模型获取模块630获取与目标任务对应的目标异常判断模型之前，采集智能设备的第一运行状态信息，并获取目标任务对应的智能设备的预先设置的第二运动状态信息，进而确认第一运行状态信息与第二运动状态信息匹配，以在确认第一运行状态信息与第二运动状态信息匹配后，由模型获取模块630获取与目标任务对应的目标异常判断模型。
通过采集智能设备的第一运行状态信息，并获取目标任务对应的预先设置的第二运动状态信息，确认第一运行状态信息与第二运动状态信息匹配时再获取与目标任务匹配的目标异常判断模型，能够提高任务识别的准确性。
需要说明的是，前述对异常识别方法实施例的解释说明也适用于该实施例的异常识别装置，其实现原理类似，此处不再赘述。
本实施例的异常识别装置，通过获取智能设备执行任务时当前任务场景的视频流，识别视频流对应的目标任务，获取与目标任务对应的目标异常判断模型，将视频流输入到目标异常判断模型中，识别目标任务是否出现异常。通过从采集的当前任务场景的视频流中识别出目标任务，获取与目标任务对应的异常判断模型进行异常判断，使得智能设备具备类似人眼或类似人脑的分析能力，能够自主感知和识别工作流中存在的异常，提高异常识别的实时性，以便及时对异常进行处理，解决现有技术中智能设备无法自主识别异常、需要人工干预的技术问题。
为了实现上述实施例，本发明还提出一种智能设备。
图10为本发明实施例所提供的一种智能设备的结构示意图。
如图10所示，该智能设备10包括：存储器110、处理器120及存储在存储器110上并可在处理器120上运行的计算机程序130，处理器120执行计算机程序130时，实现如前述实施例所述的异常识别方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述实施例所述的异常识别方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，实现如前述实施例所述的异常识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种异常识别方法，其特征在于，包括：
获取智能设备执行任务时当前任务场景的视频流；
识别所述视频流对应的目标任务；
获取与所述目标任务对应的目标异常判断模型；
将所述视频流输入到所述目标异常判断模型中，识别所述目标任务是否出现异常。
2.根据权利要求1所述的方法，其特征在于，所述识别所述目标任务是否出现异常之后，还包括：
当识别出所述目标任务出现异常时，则获取与所述目标任务匹配的异常处理策略进行异常恢复。
3.根据权利要求1所述的方法，其特征在于，所述获取与所述目标任务对应的目标异常判断模型，包括：
根据所述目标任务的标识信息，从异常判断模型库中查询获取所述目标异常判断模型；其中，异常判断模型库利用每个任务的异常判断模型构建，任务和异常判断模型一一对应。
4.根据权利要求1所述的方法，其特征在于，所述识别所述视频流对应的目标任务，包括：
将所述视频流输入到任务解释器中进行任务识别，得到所述目标任务。
5.根据权利要求1所述的方法，其特征在于，在所述获取与所述目标任务对应的目标异常判断模型之前，还包括：
采集智能设备的第一运行状态信息；
获取所述目标任务对应的所述智能设备的预先设置的第二运动状态信息；
确认所述第一运行状态信息与所述第二运动状态信息匹配。
6.根据权利要求1-5所述的方法，其特征在于，所述智能设备为机械臂。
7.一种异常识别装置，其特征在于，包括：
视频流获取模块，用于获取智能设备执行任务时当前任务场景的视频流；
任务识别模块，用于识别所述视频流对应的目标任务；
模型获取模块，用于获取与所述目标任务对应的目标异常判断模型；
异常识别模块，用于将所述视频流输入到所述目标异常判断模型中，识别所述目标任务是否出现异常。
8.一种智能设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一项所述的异常识别方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的异常识别方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，实现如权利要求1-6中任一项所述的异常识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810163999.XA CN110198471A (zh) | 2018-02-27 | 2018-02-27 | 异常识别方法、装置、智能设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810163999.XA CN110198471A (zh) | 2018-02-27 | 2018-02-27 | 异常识别方法、装置、智能设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110198471A true CN110198471A (zh) | 2019-09-03 |
Family
ID=67750941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810163999.XA Pending CN110198471A (zh) | 2018-02-27 | 2018-02-27 | 异常识别方法、装置、智能设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110198471A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148516A (zh) * | 2020-09-17 | 2020-12-29 | 珠海格力电器股份有限公司 | 一种示教器***管理方法、装置、***及存储介质 |
| CN112528893A (zh) * | 2020-12-15 | 2021-03-19 | 南京中兴力维软件有限公司 | 异常状态的识别方法、装置及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080074632A (ko) * | 2007-02-09 | 2008-08-13 | 연세대학교 산학협력단 | 비디오 영상에서 확률적 접근법을 이용한 생체인식방법 |
| CN102164270A (zh) * | 2011-01-24 | 2011-08-24 | 浙江工业大学 | 具有异常事件发掘功能的智能视频监控方法及*** |
| CN103248878A (zh) * | 2013-05-23 | 2013-08-14 | 南车株洲电力机车有限公司 | 一种综采工作面异常状况的模式识别方法、装置与*** |
| CN104626194A (zh) * | 2013-11-08 | 2015-05-20 | 扬州市创新包装有限公司 | 一种上袋机器人的故障监控*** |
| CN106446930A (zh) * | 2016-06-28 | 2017-02-22 | 沈阳工业大学 | 基于深层卷积神经网络的机器人工作场景识别方法 |
| CN106874926A (zh) * | 2016-08-04 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 基于图像特征的业务异常检测方法及装置 |
| CN107097226A (zh) * | 2016-02-19 | 2017-08-29 | 发那科株式会社 | 机器人***的故障诊断装置 |
| CN107545241A (zh) * | 2017-07-19 | 2018-01-05 | 百度在线网络技术（北京）有限公司 | 神经网络模型训练及活体检测方法、装置及存储介质 |
| CN107705334A (zh) * | 2017-08-25 | 2018-02-16 | 北京图森未来科技有限公司 | 一种摄像机异常检测方法及装置 |
-
2018
- 2018-02-27 CN CN201810163999.XA patent/CN110198471A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080074632A (ko) * | 2007-02-09 | 2008-08-13 | 연세대학교 산학협력단 | 비디오 영상에서 확률적 접근법을 이용한 생체인식방법 |
| CN102164270A (zh) * | 2011-01-24 | 2011-08-24 | 浙江工业大学 | 具有异常事件发掘功能的智能视频监控方法及*** |
| CN103248878A (zh) * | 2013-05-23 | 2013-08-14 | 南车株洲电力机车有限公司 | 一种综采工作面异常状况的模式识别方法、装置与*** |
| CN104626194A (zh) * | 2013-11-08 | 2015-05-20 | 扬州市创新包装有限公司 | 一种上袋机器人的故障监控*** |
| CN107097226A (zh) * | 2016-02-19 | 2017-08-29 | 发那科株式会社 | 机器人***的故障诊断装置 |
| CN106446930A (zh) * | 2016-06-28 | 2017-02-22 | 沈阳工业大学 | 基于深层卷积神经网络的机器人工作场景识别方法 |
| CN106874926A (zh) * | 2016-08-04 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 基于图像特征的业务异常检测方法及装置 |
| CN107545241A (zh) * | 2017-07-19 | 2018-01-05 | 百度在线网络技术（北京）有限公司 | 神经网络模型训练及活体检测方法、装置及存储介质 |
| CN107705334A (zh) * | 2017-08-25 | 2018-02-16 | 北京图森未来科技有限公司 | 一种摄像机异常检测方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148516A (zh) * | 2020-09-17 | 2020-12-29 | 珠海格力电器股份有限公司 | 一种示教器***管理方法、装置、***及存储介质 |
| CN112528893A (zh) * | 2020-12-15 | 2021-03-19 | 南京中兴力维软件有限公司 | 异常状态的识别方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103824481B (zh) | 一种检测用户背诵的方法及装置 | |
| CN107680195A (zh) | 一种变电站智能机器人巡检辅助分析***及方法 | |
| CN106845624A (zh) | 与智能机器人的应用程序有关的多模态交互方法及*** | |
| CN108764480A (zh) | 一种信息处理的*** | |
| CN107179700A (zh) | 一种基于Alljoyn和机器学习的智能家居控制***和方法 | |
| CN109298785A (zh) | 一种监测设备的人机联控***及方法 | |
| KR20210041724A (ko) | 전기차 충전기의 고장 예측 장치 및 방법 | |
| KR102379259B1 (ko) | AIoT 기반 사출제조 설비의 통합관리 시스템 및 그 운용방법 | |
| CN110198471A (zh) | 异常识别方法、装置、智能设备及存储介质 | |
| CN111652406A (zh) | 云-边协同下电网设备运行状态预测方法及*** | |
| CN110110095A (zh) | 一种基于长短期记忆循环神经网络的电力指令文本匹配方法 | |
| CN113807240A (zh) | 基于非配合式人脸识别的变电站人员着装智能监控方法 | |
| CN106339722A (zh) | 一种线路刀闸状态监测方法及装置 | |
| CN108596014A (zh) | 牲畜行为分析方法及装置 | |
| JP7252703B2 (ja) | 操作支援装置、操作支援方法、操作支援プログラム及び記録媒体 | |
| CN114065837A (zh) | 布草使用监管方法、装置、***、设备及存储介质 | |
| CN114022827A (zh) | 产线作业管理与视频处理方法、装置、设备及存储介质 | |
| CN106292591A (zh) | 一种设备大数据平台监测诊断*** | |
| CN112547352B (zh) | 一种基于数字孪生的自动喷涂监测遥操作方法及*** | |
| CN108959488A (zh) | 维护问答模型的方法及装置 | |
| CN107610260B (zh) | 一种基于机器视觉的智能考勤***及考勤方法 | |
| EP2890056A1 (de) | Unterstützung von Nutzern in einer intelligenten häuslichen Umgebung | |
| CN112800909A (zh) | 一种自学习型的烟丝杂物视像检测方法 | |
| CN116259101A (zh) | 一种用于考场或课堂纪律巡视的方法及巡视机器人 | |
| CN106477219A (zh) | 一种基于机器视觉的板材成品入库管理***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190903 |
|
| RJ01 | Rejection of invention patent application after publication |