CN110533014B - 智能化设备的运行检测方法及装置 - Google Patents

智能化设备的运行检测方法及装置 Download PDF

Info

Publication number
CN110533014B
CN110533014B CN201910810020.8A CN201910810020A CN110533014B CN 110533014 B CN110533014 B CN 110533014B CN 201910810020 A CN201910810020 A CN 201910810020A CN 110533014 B CN110533014 B CN 110533014B
Authority
CN
China
Prior art keywords
real
key points
running
time
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910810020.8A
Other languages
English (en)
Other versions
CN110533014A (zh
Inventor
李江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koubei Shanghai Information Technology Co Ltd
Original Assignee
Koubei Shanghai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koubei Shanghai Information Technology Co Ltd filed Critical Koubei Shanghai Information Technology Co Ltd
Priority to CN201910810020.8A priority Critical patent/CN110533014B/zh
Publication of CN110533014A publication Critical patent/CN110533014A/zh
Priority to US17/638,408 priority patent/US20220327831A1/en
Priority to PCT/CN2019/127621 priority patent/WO2021036124A1/zh
Application granted granted Critical
Publication of CN110533014B publication Critical patent/CN110533014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能化设备的运行检测方法及装置，其中，方法包括：监测智能化设备处理的当前订单的订单状态，根据该订单状态每隔预设时间采集智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片；获取多张运行图片中智能化设备的多个实时关键点的位置坐标，将多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态。利用上述方案，通过对智能化设备的运行轨迹范围的匹配可以实现对该智能化设备的线下运行状况的检测，进而提高检测的灵活性。

Description

智能化设备的运行检测方法及装置
技术领域
本发明涉及设备检测技术领域，具体涉及一种智能化设备的运行检测方法及装置。
背景技术
随着人工智能技术的发展，通过线上代码控制智能化设备进行操作处理，以替代人工操作的方式也越来越普遍，例如，在餐饮行业中，利用机器人或机械臂来进行餐饮制作；并且，通过对线上数据以及日志进行监控，可以保证线上代码的正确性，与此同时，这种线上监控的方式通常无法检测到智能化设备的真实运行情况。在申请公布号为CN107322646A的中国专利申请中，通过在机械臂上设置多种检测模块，并根据该多个检测模块的检测数据对机械臂进行故障预警，例如，根据横向运动监测模块检测机械臂横向运动的初始及运行状态，判断横向运动的运行状态与初始状态之间的差异，进而确定机械臂是否存在故障。
然而，在上述现有技术中，需要对机械臂的硬件或软件组成进行调整，而无法针对不具有该多种检测模块的机械臂进行故障预警，检测的灵活性降低。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的智能化设备的运行检测方法及装置。
根据本发明的一个方面，提供了一种智能化设备的运行检测方法，包括：
监测智能化设备处理的当前订单的订单状态；
根据所述订单状态每隔预设时间采集所述智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片；
获取多张运行图片中智能化设备的多个实时关键点的位置坐标，将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态。
可选的，在所述方法之前，还包括：
在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；
将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围。
可选的，所述根据所述订单状态每隔预设时间采集所述智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片进一步包括：
当所述订单状态触发运行检测事件时，每隔预设时间采集所述智能化设备的实时运行图片，直至触发结束检测事件时则采集得到多个拍摄时刻的多张实时运行图片。
可选的，所述方法还包括：按照订单处理的阶段录制运行轨迹范围；所述阶段为制作阶段；所述运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成；
所述将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配进一步包括：将所述多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。
可选的，所述方法还包括：按照订单处理的阶段录制运行轨迹范围；所述阶段为配送阶段；所述运行检测事件为制作完成，以及结束检测事件为配送完成；
所述将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配进一步包括：将所述多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。
可选的，所述方法还包括：
在每隔预设时间采集所述智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件；其中，根据当前订单所处的阶段的平均处理时长设置所述预设结束时长。
可选的，在所述方法之前，还包括：预先录制智能化设备处理各种类型订单的运行轨迹范围；
所述将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配进一步包括：将所述多个实时关键点的位置坐标和当前订单所属的订单类型对应的运行轨迹范围进行匹配。
可选的，所述将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态进一步包括：
判断多个实时关键点的位置坐标是否全落在预先录制的运行轨迹范围内，若存在至少一个实时关键点的位置坐标未落在预先录制的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理。
可选的，所述方法还包括：对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围；
所述将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态进一步包括：
若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态。
可选的，所述方法还包括：对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标；
所述将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态进一步包括：
若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态。
根据本发明的另一方面，提供了一种智能化设备的运行检测装置，包括：
监测模块，适于监测智能化设备处理的当前订单的订单状态；
采集模块，适于根据所述订单状态每隔预设时间采集所述智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片；
匹配模块，适于获取多张运行图片中智能化设备的多个实时关键点的位置坐标，将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配；
确定模块，适于根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态。
可选的，所述装置还包括：
录制模块，适于在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围。
可选的，所述采集模块进一步适于：
当所述订单状态触发运行检测事件时，每隔预设时间采集所述智能化设备的实时运行图片，直至触发结束检测事件时则采集得到多个拍摄时刻的多张实时运行图片。
可选的，所述装置还包括：录制模块，适于按照订单处理的阶段录制运行轨迹范围；所述阶段为制作阶段；所述运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。
可选的，所述装置还包括：录制模块，适于按照订单处理的阶段录制运行轨迹范围；所述阶段为配送阶段；所述运行检测事件为制作完成，以及结束检测事件为配送完成；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。
可选的，所述装置还包括：
查询模块，适于在每隔预设时间采集所述智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件；其中，根据当前订单所处的阶段的平均处理时长设置所述预设结束时长。
可选的，所述装置还包括：录制模块，适于预先录制智能化设备处理各种类型订单的运行轨迹范围；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标和当前订单所属的订单类型对应的运行轨迹范围进行匹配。
可选的，所述匹配模块进一步适于：判断多个实时关键点的位置坐标是否全落在预先录制的运行轨迹范围内；
所述确定模块进一步适于：若存在至少一个实时关键点的位置坐标未落在预先录制的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理。
可选的，所述装置还包括：划分模块，适于对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围；
所述确定模块进一步适于：若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态。
可选的，所述装置还包括：划分模块，适于对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标；
所述确定模块进一步适于：若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态。
根据本发明的又一方面，提供了一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述智能化设备的运行检测方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述智能化设备的运行检测方法对应的操作。
根据本发明的智能化设备的运行检测方法及装置，通过监测智能化设备处理的当前订单的订单状态，并通过订单状态来触发进行实时运行图片的拍摄和采集，可使得在处理订单的某个过程中触发进行运行状态的检测，以便检测智能化设备在订单处理过程中的运行状态；以及，将该订单处理过程中拍摄到的多张实时运行图片中的多个实时关键点的位置坐标，与预先录制的运行轨迹范围进行匹配，通过运行范围的比较来确定出智能化设备的运行状态。由此可见，本实施例方案，可利用订单状态触发对智能化设备的运行检测，确定智能化设备在订单处理过程中是否保持正常运行；并且，通过拍摄智能化设备的实时运行图片来进行检测，而无需在智能化设备上设置相应的检测模块，可用于对任意智能化设备的运行检测，提高检测的灵活性；另外，依据运行轨迹范围来进行匹配检测，使实时关键点有一个正常范围，进而可避免过检测的问题出现。。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明智能化设备的运行检测方法实施例的流程图；
图2示出了本发明智能化设备的运行检测方法另一个实施例的流程图；
图3a示出了一个具体实施例中一个录制订单的制作阶段拍摄的多张运行图片的示意图；
图3b示出了对应图3a的多张运行图片的多个关键点的整合图；
图3c示出了多个录制订单的制作阶段的关键点移动轨迹构成的运行轨迹范围的示意图；
图4示出了本发明智能化设备的运行检测装置实施例的结构示意图；
图5示出了本发明服务器实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明智能化设备的运行检测方法实施例的流程图。该方法通过运行轨迹的匹配对智能化设备的运行状态进行检测。如图1所示，该方法包括以下步骤：
步骤S110：监测智能化设备处理的当前订单的订单状态。
其中，订单状态可根据用户的操作而触发改变，例如，用户支付完成后，则订单状态更新为已支付，和/或，订单状态可根据线上代码的执行进度而触发改变，其中，线上代码是控制进行订单处理的代码，例如，已执行到制作阶段的最后一个步骤，则订单状态更新为制作完成。
具体地，在订单处理的过程中，订单状态的更新情况均存储在后端，该后端可以是智能化门店中的控制端，例如，KDS控制端，或者是进行订单管理的服务器端，例如，接单终端的服务器，通过对该后端中当前订单的状态更新情况进行查询，则可以监测得到当前订单的订单状态。
步骤S120：根据该订单状态每隔预设时间采集该智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片。
在本发明中，通过订单状态来触发采集实时运行图片，以便检测智能化设备在订单处理过程中的运行状态。其中，该订单状态可为从订单支付完成开始后的任一状态，例如，支付完成状态，制作完成(或等待配送)状态。
具体地，当订单状态触发进行采集时，每隔预设时间控制拍摄设备拍摄该智能化设备的实时运行图片以用于后续进行轨迹匹配，其中，每隔预设时间拍摄一张实时运行图片，以及，其中，可根据拍摄得到的实时运行图片的数量和/或实时更新的订单状态来结束拍摄，例如，拍摄到5张实时运行图片后，则结束拍摄；又如，订单状态从支付完成更新为制作完成后，则结束拍摄。并且，拍摄设备设置在智能化设备所在的现场，且设置位置和角度与得到运行轨迹范围时的设置保持一致，该拍摄设备可与本发明方案的执行主体进行通信，将采集到的运行图片发送给该执行主体；当触发结束检测事件时则停止拍摄，此时采集得到多张实时运行图片。
以机械臂制作饮品为例来说，假设饮品支付完成则触发进行图片拍摄采集，每隔1秒在固定位置拍摄1张机械臂的实时运行图片，第5秒钟时检测到饮品制作完成，此时停止拍摄并得到对应0,1,2,3以及4秒时刻的共5张实时运行图片。
步骤S130：获取多张运行图片中智能化设备的多个实时关键点的位置坐标，将该多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据落入该运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态。
其中，关键点可以为智能化设备上的任一固定点，但是，在一些可选的实施例中，优选关键点为在订单处理过程中与其它处理设备、订单材料和/或订单成品接触的一固定点，例如，关键点为机械臂的操作手的中心点。
其中，运行轨迹范围是指智能化设备在历史处理订单的过程中关键点的正常运行范围，并且，在具体实施过程中，可按照订单的处理阶段和/或订单的类型得到相对应的运行轨迹范围，以便准确进行匹配检测。
具体的，通过将多个实时关键点的位置坐标与预先录制的运行轨迹范围进行匹配，根据落入运行轨迹范围的实时关键点的数量和/或位置确定出智能化设备的运行状态，即通过运行范围的比较来确定运行状态。其中，并不限定确定运行状态的具体方式，可选的，可根据各个实时关键点是否全部落入运行轨迹范围来确定，或者，可根据各个实时关键点落在运行轨迹范围内的具***置范围来确定。
需要在此说明的是，在本发明中，并不限定该运行检测方法的执行主体，其可以由服务器或者门店的控制端来执行，可选的，由接收下单的终端对应的服务器来执行，例如，本地生活应用的服务器来执行。
根据本实施例提供的智能化设备的运行检测方法，通过监测智能化设备处理的当前订单的订单状态，并通过订单状态来触发进行实时运行图片的拍摄和采集，可使得在处理订单的某个过程中触发进行运行状态的检测，以便检测智能化设备在订单处理过程中的运行状态；以及，将该订单处理过程中拍摄到的多张实时运行图片中的多个实时关键点的位置坐标，与预先录制的运行轨迹范围进行匹配，通过运行范围的比较来确定出智能化设备的运行状态。由此可见，本实施例方案，可利用订单状态触发对智能化设备的运行检测，确定智能化设备在订单处理过程中是否保持正常运行；并且，通过拍摄智能化设备的实时运行图片来进行检测，而无需在智能化设备上设置相应的检测模块，可用于对任意智能化设备的运行检测，提高检测的灵活性；另外，依据运行轨迹范围来进行匹配检测，使实时关键点有一个正常范围，进而可避免过检测的问题出现。
图2示出了本发明智能化设备的运行检测方法另一个实施例的流程图。如图2所示，该方法包括以下步骤：
步骤S210：录制智能化设备的运行轨迹范围。
其中，运行轨迹范围是指智能化设备在历史处理订单的过程中关键点的正常运行范围。
具体地，在进行录制时，可通过对多个录制订单的处理过程进行运行图片采集与处理，得到智能化设备的正常运行范围，即运行轨迹范围。其中，多个录制订单可以为历史处理的订单，或者为实验订单。在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片，即针对每个录制订单会采集到多个拍摄时刻的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围，其中，若针对每个录制订单的处理过程采集到n张运行图片，获取到n个关键点，则m个录制订单会获取到m*n个关键点，通过对这些关键点的位置坐标进行合并处理，则可以得到运行轨迹范围，其中，合并处理是指将获取的多个关键点的位置坐标在同一平面内描出，并处理得到对应该多个关键点的位置范围的过程。
在本发明的一些可选的实施例中，按照订单处理的阶段录制运行轨迹范围，其中，可根据订单状态的变化将任意两个订单状态之间的处理过程确定为一个阶段，在本文中，主要以这种方式来进行说明，典型的，将支付完成到制作完成的阶段划分为制作阶段，将制作完成到配送完成的阶段划分为配送阶段，其中，配送阶段是指将制作完成的成品配送至用户取货位置(例如，取货柜、取货窗口)的过程，这种划分阶段的方式，可用于后续依据订单处理的工序来进行匹配检测，进而检测出智能化设备在相应工序中的运行是否正常；或者，可将进入某一订单状态后的预设处理时长内的处理过程确定为一个阶段，其中，该预设处理时长可以根据任意两个订单状态之前的平均处理时长来确定，例如，从支付完成到制作完成的平均处理时长为5秒钟，则设置预设处理时长为5秒，这种划分阶段的方式，可在后续实时检测的过程中，通过检测时长与预设处理时长的比较来准确确定是否触发结束检测事件；或者，其中，该预设处理时长可以根据智能化设备在处理订单的过程中的位置变化范围来确定，将智能化设备在预设幅度变化范围内变化的连续动作的动作时长确定为预设处理时长，这种划分阶段的方式，可将集中在较近位置区域内的连续动作确定为一个阶段，避免位置区域跨度较大而影响后续匹配检测的准确性。
在这些划分阶段的实施例中，分阶段录制运行轨迹范围，针对智能化设备处理订单的各个阶段，采集多个录制订单的处理过程中各个时刻的智能化设备的运行图片，得到该阶段下的多张运行图片。例如，分别针对制作阶段和配送阶段，采集拍摄设备拍摄到的相应阶段中各个时刻的运行图片。获取多张运行图片中智能化设备的多个关键点的位置坐标，将多个关键点的位置坐标进行合并处理，根据合并结果录制该阶段的运行轨迹范围，其中，合并处理是针对每个阶段，将该阶段中获取的多个关键点的位置坐标在同一平面内描出，并处理得到对应该多个关键点的位置范围的过程。通过这种方式录制的运行轨迹范围，可用于针对阶段的匹配检测，进而以细化检测粒度的方式来提高检测的准确度。
或者，在本发明的另一些可选的实施例中，可按照订单的类型来录制运行轨迹范围，其中，订单的类型根据订单处理的工序来进行划分，具体地，智能化设备在处理订单时的工序相同，则处理过程中的动作相同，进而可用同样的运行轨迹范围来表示正常的轨迹范围，基于此，在这些可选的实施例中，预先录制智能化设备处理各种类型订单的运行轨迹范围。例如，在饮品自动化制作门店中，咖啡订单和奶茶订单的处理工序显然不同，则需分别录制运行轨迹范围。通过这种方式录制的预设轨迹范围，可用于针对处理不同类型订单的过程中的匹配检测，确定智能化设备的运行是否符合相应类型订单的运行轨迹范围。
或者，在本发明的又一些可选的实施例中，可将上述提及的两种可选实施例中的方式进行结合，即按照订单类型、且划分阶段录制运行轨迹范围，进而可进一步提高检测的准确性。例如，针对奶茶的制作阶段和配送阶段分别录制运行轨迹范围，针对咖啡的制作阶段和配送阶段分别录制运行轨迹范围。
图3a示出了一个具体实施例中一个录制订单的制作阶段拍摄的多张运行图片的示意图。从订单支付完成开始，每隔1秒拍摄1张运行图片，当拍摄到5张运行图片时，订单状态更新为制作完成，此时则停止拍摄。如图3a所示，5张运行图片中智能化设备的关键点为黑色实心圆点，且其位置坐标分别为(10，20)，(12，30)，(15，40)，(16，30)以及(20，20)。图3b示出了对应图3a的多张运行图片的多个关键点的整合图。如图3b所示，5个关键点的位置坐标整合到同一平面内，得到该录制订单的制作阶段中关键点的移动轨迹。图3c示出了多个录制订单的制作阶段的关键点移动轨迹构成的运行轨迹范围的示意图。如图3c所示，智能化设备的运行轨迹范围即为两条弧线之间的范围。
在录制得到运行轨迹范围后，将智能化设备的设备信息、阶段信息、订单类型信息和/或运行轨迹范围进行关联存储，以用于后续匹配时查询使用。
步骤S220：监测智能化设备处理的当前订单的订单状态。
通常情况下，订单状态包括但不限于待支付、支付完成、制作完成和/或配送完成中的多个状态。
具体地，从接收到订单后，则开始监测订单状态，尤其当订单状态发生改变时，需判断更新的订单状态是否触发运行检测事件，以及，在一些由订单状态触发结束检测事件的可选实施例中，还需判断更新的订单状态是否触发结束检测事件。需要在此说明的是，在一些具体的实施例中，同一订单状态可能同时触发运行检测事件和结束检测事件，此时，运行检测事件为即将进行的检测的开始事件，而结束检测事件为正在进行的检测的结束事件。
步骤S230：当该订单状态触发运行检测事件时，每隔预设时间采集该智能化设备的实时运行图片，直至触发结束检测事件时则采集得到多个拍摄时刻的多张实时运行图片。
其中，运行检测事件是指开始进行运行检测的事件，以确定合适的检测时机，但是，本实施例并不限定运行检测事件的具体类型，该运行检测事件可为任意一种或多种订单状态，可选的，运行检测事件为订单状态为支付完成和/或制作完成。
以及，结束检测事件是指停止进行运行检测的事件，在一些可选的实施例中，当运行检测事件为订单状态为支付完成时，相应的结束检测事件为订单状态为制作完成；和/或，当运行检测事件为订单状态为制作完成时，相应的技术检测事件为配送完成。在这些以订单状态触发结束检测事件的实施例中，订单状态需要通过查询后端的状态数据才能获知，在每隔预设时间采集该智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件，在这些实施例中，由于订单状态需通过向后端查询来获得，而通过预设时间的累加值可以预估订单状态是否发生了更新，其中，根据当前订单所处的阶段的平均处理时长设置该预设结束时长，例如，设置接近且小于平均处理时长的一时长作为预设结束时长，当达到预设结束时长时，则表明订单状态即将发生更新，此时则周期性查询订单状态，并确定是否触发结束检测时间。通过这种方式，在避免大量频繁查询的前提下，可准确的检测到结束检测事件。
或者，在本发明的另一些可选的实施例中，结束检测事件为距离触发运行检测事件的时长达到特定时长，该特定时长与录制相应的运行轨迹范围对应的时长一致，例如，以前文中所述的预设处理时长划分阶段来录制，则该特定时长与预设处理时长相同，通过这种方式，在触发运行检测事件后，可根据时间来结束检测，而无需在拍摄过程中不断进行订单状态的查询。
步骤S240：获取多张运行图片中智能化设备的多个实时关键点的位置坐标，判断多个实时关键点的位置坐标是否全落在预先录制的运行轨迹范围内，根据判断结果确定智能化设备的运行状态。
具体地，在进行匹配时，获取与多张实时运行图片相对应的阶段、和/或与订单类型匹配的运行轨迹范围。可选的，当阶段为制作阶段，一种具体的情况为运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成，此时则获取制作阶段的运行轨迹范围，并将该多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。和/或，当阶段为配送阶段，一种具体地情况为运行检测事件为制作完成，以及结束检测事件为配送完成，此时则获取配送阶段的运行轨迹范围，并将该多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。和/或，识别当前订单所属的订单类型，获取与该订单类型对应的运行轨迹范围，并将该多个实时关键点的位置坐标和当前订单所属的订单类型对应的运行轨迹范围进行匹配。
进一步的，在匹配检测的过程中，可将每个实时关键点的位置坐标与运行轨迹范围进行匹配，若存在至少一个实时关键点的位置坐标未落在预先录制的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理，若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则确定智能化设备运行正常。通过这种检测方式，可检测出智能化设备的操作轨迹超出正常轨迹范围内的运行故障情况。
或者，在一些可选的实施例中，若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，通过如下方式进行进一步的运行检测，对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，得到各个拍摄时刻的若干关键点的位置坐标，根据该若干关键点的位置坐标各个拍摄时刻的位置范围。判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态，具体地，当未落在相应拍摄时刻的位置范围内的实时关键点的数量超过预设数量时，则确定智能化设备出现运行故障并进行报警处理，当未落在相应拍摄时刻的位置范围内的实时关键点的数量未超过预设数量时，则确定智能化设备运行正常。通过这种检测方式，可以在智能化设备的操作轨迹在正常轨迹范围内时，进一步通过各个拍摄时刻的实时关键点的位置坐标的匹配，检测出智能化设备在某些拍摄时刻的操作点超出该拍摄时刻的正常位置范围的运行故障情况，例如，智能化设备从某一时刻开始停止运行的故障。
或者，在另一些可选的实施例中，若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，通过如下方式进行进一步的运行检测，对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标，此处与上文中确定各个拍摄时刻的位置范围的过程相同，在确定出各个拍摄时刻的位置范围后，将该位置范围的中心坐标作为该拍摄时刻的标准位置坐标，计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态，其中，该差值包括但不限于绝对差之和、标准差或者方差，当差值结果大于预设阈值时，则确定智能化设备出现运行故障并进行报警处理，当差值结果小于或等于预设阈值时，则确定智能化设备运行正常。通过这种检测方式，可以在智能化设备的操作轨迹在正常轨迹范围内时，进一步通过各个拍摄时刻的实时关键点的位置坐标与标准位置坐标的差值，检测出智能化设备的操作轨迹偏离标准位置坐标较远的故障。
根据本实施例提供的智能化设备的运行检测方法，预先录制订单处理的各个阶段和/或各个订单类型的运行轨迹范围，以用于进行检测匹配，进而可以准确的检测出各种处理场景下的运行故障情况；通过监测智能化设备处理的当前订单的订单状态，并通过订单状态来触发运行检测事件，可使得在处理订单的某个过程中触发进行运行状态的检测；以及，通过判断多个实时关键点的位置坐标是否全落在预先录制的运行轨迹范围内，可以检测出智能化设备的操作轨迹超出正常轨迹范围的故障情况，进一步通过各个拍摄时刻的实时关键点的位置坐标的匹配，可更准确的检测出某些拍摄时刻的操作点超出该拍摄时刻的正常位置范围的运行故障情况，或者检测出操作轨迹偏离标准位置坐标较远的故障。由此可见，本实施例方案，可利用订单状态触发对智能化设备的运行检测，确定智能化设备在订单处理过程中是否保持正常运行，并且，通过拍摄智能化设备的实时运行图片来进行检测，而无需在智能化设备上设置相应的检测模块，可用于对任意智能化设备的运行检测，提高检测的灵活性。
图4示出了本发明智能化设备的运行检测装置实施例的结构示意图。如图4所示，该装置包括：
监测模块410，适于监测智能化设备处理的当前订单的订单状态；
采集模块420，适于根据所述订单状态每隔预设时间采集所述智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片；
匹配模块430，适于获取多张运行图片中智能化设备的多个实时关键点的位置坐标，将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配；
确定模块440，适于根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态。
在一种可选的实施方式中，所述装置还包括：
录制模块，适于在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围。
在一种可选的实施方式中，所述采集模块进一步适于：
当所述订单状态触发运行检测事件时，每隔预设时间采集所述智能化设备的实时运行图片，直至触发结束检测事件时则采集得到多个拍摄时刻的多张实时运行图片。
在一种可选的实施方式中，所述装置还包括：录制模块，适于按照订单处理的阶段录制运行轨迹范围；所述阶段为制作阶段；所述运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。
在一种可选的实施方式中，所述装置还包括：录制模块，适于按照订单处理的阶段录制运行轨迹范围；所述阶段为配送阶段；所述运行检测事件为制作完成，以及结束检测事件为配送完成；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。
在一种可选的实施方式中，所述装置还包括：
查询模块，适于在每隔预设时间采集所述智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件；其中，根据当前订单所处的阶段的平均处理时长设置所述预设结束时长。
在一种可选的实施方式中，所述装置还包括：录制模块，适于预先录制智能化设备处理各种类型订单的运行轨迹范围；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标和当前订单所属的订单类型对应的运行轨迹范围进行匹配。
在一种可选的实施方式中，所述所述匹配模块进一步适于：判断多个实时关键点的位置坐标是否全落在预先录制的运行轨迹范围内；
所述确定模块进一步适于：若存在至少一个实时关键点的位置坐标未落在预先录制的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理。
在一种可选的实施方式中，所述装置还包括：划分模块，适于对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围；
所述确定模块进一步适于：若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态。
在一种可选的实施方式中，所述装置还包括：划分模块，适于对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标；
所述确定模块进一步适于：若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的智能化设备的运行检测方法。
图5示出了本发明服务器实施例的结构示意图，本发明具体实施例并不对服务器的具体实现做限定。
如图5所示，该服务器可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于服务器的智能化设备的运行检测方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
监测智能化设备处理的当前订单的订单状态，根据所述订单状态每隔预设时间采集所述智能化设备的实时运行图片，得到多个拍摄时刻的多张实时运行图片；
获取多张运行图片中智能化设备的多个实时关键点的位置坐标，将所述多个实时关键点的位置坐标和预先录制的运行轨迹范围进行匹配，根据入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；
将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：当所述订单状态触发运行检测事件时，每隔预设时间采集所述智能化设备的实时运行图片，直至触发结束检测事件时则采集得到多个拍摄时刻的多张实时运行图片。
在一种可选的实施方式中，所述阶段为制作阶段；所述运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成；
程序510具体可以进一步用于使得处理器502执行以下操作：按照订单处理的阶段录制运行轨迹范围；将所述多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。
在一种可选的实施方式中，所述阶段为配送阶段；所述运行检测事件为制作完成，以及结束检测事件为配送完成；
程序510具体可以进一步用于使得处理器502执行以下操作：按照订单处理的阶段录制运行轨迹范围；将所述多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：在每隔预设时间采集所述智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件；其中，根据当前订单所处的阶段的平均处理时长设置所述预设结束时长。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：预先录制智能化设备处理各种类型订单的运行轨迹范围；
将所述多个实时关键点的位置坐标和当前订单所属的订单类型对应的运行轨迹范围进行匹配。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：判断多个实时关键点的位置坐标是否全落在预先录制的运行轨迹范围内，若存在至少一个实时关键点的位置坐标未落在预先录制的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围；
若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态。
在一种可选的实施方式中，程序510具体可以进一步用于使得处理器502执行以下操作：对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标；
若多个实时关键点的位置坐标全落在预先录制的运行轨迹范围内，则计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态。
在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (20)

1.一种智能化设备的运行检测方法，包括：
对后端中当前订单的订单状态更新情况进行查询，监测得到智能化设备处理的当前订单的订单状态，当订单状态触发运行检测事件时，每隔预设时间采集所述智能化设备的实时运行图片，直至订单状态触发结束检测事件时则采集得到相应阶段的多个拍摄时刻的多张实时运行图片；其中，所述订单状态根据用户的操作，和/或控制执行订单处理的线上代码的执行进度而触发更新；
获取多张实时运行图片中智能化设备的多个实时关键点的位置坐标，将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态；其中，运行轨迹范围是指智能化设备在历史处理订单的过程中关键点的正常运行范围；所述实时关键点的信息包括实时关键点的位置。
2.根据权利要求1所述的方法，其中，在所述方法之前，还包括：
在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；
将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围。
3.根据权利要求1所述的方法，其中，所述方法还包括：按照订单处理的阶段录制运行轨迹范围；所述阶段为制作阶段；所述运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成；
所述将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配进一步包括：将所述多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。
4.根据权利要求3所述的方法，其中，所述方法还包括：按照订单处理的阶段录制运行轨迹范围；所述阶段为配送阶段；所述运行检测事件为制作完成，以及结束检测事件为配送完成；
所述将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配进一步包括：将所述多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。
5.根据权利要求1所述的方法，其中，所述方法还包括：
在每隔预设时间采集所述智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件；其中，根据当前订单所处的阶段的平均处理时长设置所述预设结束时长。
6.根据权利要求1所述的方法，其中，在所述方法之前，还包括：预先录制智能化设备处理各种类型订单的运行轨迹范围；
所述将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配进一步包括：将所述多个实时关键点的位置坐标和当前订单所属的订单类型对应的相应阶段的运行轨迹范围进行匹配。
7.根据权利要求1-6任一项所述的方法，其中，所述将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态进一步包括：
判断多个实时关键点的位置坐标是否全落在预先录制的相应阶段的运行轨迹范围内，若存在至少一个实时关键点的位置坐标未落在预先录制的相应阶段的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理。
8.根据权利要求7所述的方法，其中，所述方法还包括：对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围；
所述将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态进一步包括：
若多个实时关键点的位置坐标全落在预先录制的相应阶段的运行轨迹范围内，则判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态。
9.根据权利要求7所述的方法，其中，所述方法还包括：对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标；
所述将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配，根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态进一步包括：
若多个实时关键点的位置坐标全落在预先录制的相应阶段的运行轨迹范围内，则计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态。
10.一种智能化设备的运行检测装置，包括：
监测模块，适于对后端中当前订单的订单状态更新情况进行查询，监测得到智能化设备处理的当前订单的订单状态；其中，所述订单状态根据用户的操作，和/或控制执行订单处理的线上代码的执行进度而触发改变；
采集模块，适于当订单状态触发运行检测事件时，每隔预设时间采集所述智能化设备的实时运行图片，直至订单状态触发结束检测事件时则采集得到相应阶段的多个拍摄时刻的多张实时运行图片；
匹配模块，适于获取多张实时运行图片中智能化设备的多个实时关键点的位置坐标，将所述多个实时关键点的位置坐标和预先录制的相应阶段的运行轨迹范围进行匹配；其中，运行轨迹范围是指智能化设备在历史处理订单的过程中关键点的正常运行范围；
确定模块，适于根据落入所述运行轨迹范围内的实时关键点的信息确定智能化设备的运行状态；所述实时关键点的信息包括实时关键点的位置。
11.根据权利要求10所述的装置，其中，所述装置还包括：
录制模块，适于在多个录制订单的处理过程中，针对每个录制订单采集各个时刻的智能化设备的运行图片，得到该录制订单的多张运行图片；获取多张运行图片中智能化设备的多个关键点的位置坐标；将多个录制订单的多个关键点的位置坐标进行合并处理，根据合并结果录制运行轨迹范围。
12.根据权利要求10所述的装置，其中，所述装置还包括：录制模块，适于按照订单处理的阶段录制运行轨迹范围；所述阶段为制作阶段；所述运行检测事件为订单的状态信息为支付完成，以及结束检测事件为制作完成；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标与制作阶段的运行轨迹范围进行匹配。
13.根据权利要求12所述的装置，其中，所述装置还包括：录制模块，适于按照订单处理的阶段录制运行轨迹范围；所述阶段为配送阶段；所述运行检测事件为制作完成，以及结束检测事件为配送完成；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标与配送阶段的运行轨迹范围进行匹配。
14.根据权利要求10所述的装置，其中，所述装置还包括：
查询模块，适于在每隔预设时间采集所述智能化设备的实时运行图片时，判断预设时间的累加值是否达到预设结束时长，若是，则周期性查询当前时刻的订单状态，并根据查询结果确定是否触发结束检测事件；其中，根据当前订单所处的阶段的平均处理时长设置所述预设结束时长。
15.根据权利要求10所述的装置，其中，所述装置还包括：录制模块，适于预先录制智能化设备处理各种类型订单的运行轨迹范围；
所述匹配模块进一步适于：将所述多个实时关键点的位置坐标和当前订单所属的订单类型对应的相应阶段的运行轨迹范围进行匹配。
16.根据权利要求10-15任一项所述的装置，其中，所述匹配模块进一步适于：判断多个实时关键点的位置坐标是否全落在预先录制的相应阶段的运行轨迹范围内；
所述确定模块进一步适于：若存在至少一个实时关键点的位置坐标未落在预先录制的运行轨迹范围内，则确定智能化设备出现运行故障并进行报警处理。
17.根据权利要求16所述的装置，其中，所述装置还包括：划分模块，适于对预先录制的运行轨迹范围包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围；
所述确定模块进一步适于：若多个实时关键点的位置坐标全落在预先录制的相应阶段的运行轨迹范围内，则判断各个拍摄时刻的实时关键点的位置坐标是否落在该拍摄时刻的位置范围内，并根据判断结果确定智能化设备的运行状态。
18.根据权利要求16所述的装置，其中，所述装置还包括：划分模块，适于对预先录制的运行范围图包含的多个关键点的位置坐标按拍摄时刻进行划分，并确定各个拍摄时刻的位置范围的中心坐标；
所述确定模块进一步适于：若多个实时关键点的位置坐标全落在预先录制的相应阶段的运行轨迹范围内，则计算多个拍摄时刻的实时关键点的位置坐标与中心坐标的差值，根据计算结果确定智能化设备的运行状态。
19.一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的智能化设备的运行检测方法对应的操作。
20.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-9中任一项所述的智能化设备的运行检测方法对应的操作。
CN201910810020.8A 2019-08-29 2019-08-29 智能化设备的运行检测方法及装置 Active CN110533014B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910810020.8A CN110533014B (zh) 2019-08-29 2019-08-29 智能化设备的运行检测方法及装置
US17/638,408 US20220327831A1 (en) 2019-08-29 2019-12-23 Operation detection method and apparatus for intelligent device
PCT/CN2019/127621 WO2021036124A1 (zh) 2019-08-29 2019-12-23 智能化设备的运行检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910810020.8A CN110533014B (zh) 2019-08-29 2019-08-29 智能化设备的运行检测方法及装置

Publications (2)

Publication Number Publication Date
CN110533014A CN110533014A (zh) 2019-12-03
CN110533014B true CN110533014B (zh) 2020-12-25

Family

ID=68665196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910810020.8A Active CN110533014B (zh) 2019-08-29 2019-08-29 智能化设备的运行检测方法及装置

Country Status (3)

Country Link
US (1) US20220327831A1 (zh)
CN (1) CN110533014B (zh)
WO (1) WO2021036124A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533014B (zh) * 2019-08-29 2020-12-25 口碑(上海)信息技术有限公司 智能化设备的运行检测方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
CN102785246B (zh) * 2012-08-24 2015-01-21 电子科技大学 一种可实现自动轨迹修正的机器人标定方法
CN103737592B (zh) * 2013-12-27 2016-06-08 柳州职业技术学院 一种机械手精确控制***及其方法
CN107578303A (zh) * 2017-07-26 2018-01-12 深圳市赛亿科技开发有限公司 一种网上商城机器人自动取货方法及***
CN108038800A (zh) * 2017-12-19 2018-05-15 叶天森 一种智能提供餐饮***和方法
CN108839016B (zh) * 2018-06-11 2021-04-20 深圳市百创网络科技有限公司 机器人巡检方法、存储介质、计算机设备及巡检机器人
CN109816728B (zh) * 2019-01-30 2022-06-14 国网江苏省电力有限公司苏州供电分公司 基于生成查询网络的机械臂抓取点定位检测的方法
CN110163084A (zh) * 2019-04-08 2019-08-23 睿视智觉（厦门）科技有限公司 操作员动作监督方法、装置及电子设备
CN110533014B (zh) * 2019-08-29 2020-12-25 口碑(上海)信息技术有限公司 智能化设备的运行检测方法及装置

Also Published As

Publication number Publication date
US20220327831A1 (en) 2022-10-13
CN110533014A (zh) 2019-12-03
WO2021036124A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN112515563B (zh) 障碍物的避让方法、扫地机器人及可读存储介质
CN106341661B (zh) 巡逻机器人
CN105898107B (zh) 一种目标物体抓拍方法及***
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
Everding et al. Low-latency line tracking using event-based dynamic vision sensors
CN111881322B (zh) 一种目标搜索方法、装置、电子设备及存储介质
CN110533014B (zh) 智能化设备的运行检测方法及装置
CN114898249A (zh) 用于购物车内商品数量确认的方法、***及存储介质
CN109118811A (zh) 定位停车位置的方法、设备及计算机可读存储介质
CN112906426B (zh) 车辆监控方法、装置及设备、存储介质
CN115609594A (zh) 机械臂路径的规划方法、装置、上位控制端及存储介质
CN112991807A (zh) 一种车位状态检测方法、装置、设备及存储介质
JP2009217448A (ja) 画像情報を用いた人物追跡システム
CN116211168A (zh) 清洁设备的运行控制方法及装置、存储介质及电子装置
CN103116838A (zh) 测量服务时间间隔的***和方法
CN110955243B (zh) 行进控制方法、装置、设备、可读存储介质和移动装置
EP1683108A2 (en) Object tracking within video images
JP7091629B2 (ja) 検出システム、検出方法及び検出プログラム
CN113158953B (zh) 一种人员查找方法、装置、设备及介质
CN113110414B (zh) 机器人送餐方法、送餐机器人及计算机可读存储介质
CN112001936B (zh) 视觉定位的处理方法、装置、电子设备与存储介质
CN110198471A (zh) 异常识别方法、装置、智能设备及存储介质
CN113129333B (zh) 多目标实时跟踪方法及其***和电子设备
CN109960995B (zh) 一种运动数据确定***、方法及装置
CN111985440B (zh) 智能审核方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40011006

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant