CN111666915A

CN111666915A - 监控方法、装置、设备以及存储介质

Info

Publication number: CN111666915A
Application number: CN202010557723.7A
Authority: CN
Inventors: 周康明; 丁苗高
Original assignee: Shanghai Eye Control Technology Co Ltd
Current assignee: Shanghai Eye Control Technology Co Ltd
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2020-09-15

Abstract

本申请提供一种监控方法、装置、设备以及存储介质。该方法包括：服务器通过获取监控视频的监控图片，判断该监控图片中，柜员的手是否与手机接触。当柜员的手与手机接触时，服务器保存该监控图片对应的监控信息。当柜员的手没有与手机接触时，服务器获取下一帧的监控图片，并根据上述步骤再次进行判断。本申请的方法，实现了服务器对柜员的工作情况的监察，提高了管理员的监察效率。

Description

监控方法、装置、设备以及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种监控方法、装置、设备以及存储介质。

背景技术

在银行柜台工作，为了更好的确保客户和柜员的安全和利益，通常会在每一柜台安装监控。当有客户在办理业务时，如果柜员玩手机，可能会严重影响网点的形象。因此，管理员通常需要抽查柜员的工作情况，确保柜员在办理业务时，保持工作状态。

在现有技术中，管理员监察柜员的工作情况的方式有现场抽查和监控监察两种方式。其中，现场抽查需要管理员不定时前往柜台巡查，以获取柜员在该时刻的工作情况。其中，监控监察则需要管理员实时查看柜台的监控视频，或者回放监控视频，以获取柜员在该抽查的时刻的工作情况。

然而，上述监察方式，存在监察效率低的问题。

发明内容

本申请提供一种监控方法、装置、设备以及存储介质，用以解决在现有技术中，监察效率低的问题。

第一方面，本发明提供一种监控方法，包括：

获取监控视频中的监控图片；

根据所述监控图片，判断柜员的手是否与手机接触；

当所述柜员的手与所述手机接触时，保存所述监控图片对应的监控信息，所述监控信息包括所述监控视频、所述监控图片对应的时刻、所述监控***。

可选地，根据所述监控图片，判断柜员的手是否与手机接触，包括：

根据所述监控图片和手机检测模型，确定所述手机的位置；

根据所述监控图片和人体姿态识别模型，确定所述柜员的手的位置；

根据所述手机的位置和所述手的位置，判断所述柜员的手是否与所述手机接触。

可选地，所述根据所述监控图片和人体姿态识别模型，确定所述柜员的手的位置，包括：

根据所述监控图片和预设柜员坐标，确定柜员截图；

根据所述柜员截图和人体姿态识别模型，确定所述柜员截图中柜员的手部关键点所在位置；

根据所述柜员的手部关键点所在位置和预设范围阈值，确定柜员的手的位置。

可选地，在所述根据所述监控图片，判断柜员的手是否与手机接触之前，还包括：

根据所述监控图片和预设客户坐标，获取客户截图；

根据所述客户截图和第一检测模型，判断所述客户截图中是否存在客户，所述第一检测模型用于检测图片中是否出现人物；

当所述客户不存在时，获取下一帧监控图片。

根据所述监控图片和预设柜员坐标，确定柜员截图；

根据所述柜员截图和第一检测模型，判断所述柜员截图中是否存在柜员，其中所述第一检测模型用于检测图片中是否出现人物；

当所述柜员不存在时，获取下一帧监控图片。

可选地，所述方法，还包括：

根据所述监控视频、所述监控图片所在时刻和预设时长，判断预设时长内，所述手机是否持续存在；

当所述手机不持续存在时，获取下一帧监控图片。

可选地，所述根据所述监控视频、所述监控图片所在时刻和预设时长，判断预设时长内，所述手机是否持续存在，包括：

根据所述监控视频、所述监控图片所在时刻和预设时长，获取所述监控视频中，从所述监控图片所在时刻开始，预设时长内的多帧监控图片；

根据所述多帧监控图片和手机检测模型，确定每帧监控图片中，是否存在手机；

统计所述多帧监控图片中出现手机的帧数，根据所述帧数和预设阈值，判断所述手机是否持续存在。

第二方面，本申请提供一种监控设备，包括：

获取模块，用于获取监控视频中的监控图片；

第一判断模块，用于根据所述监控图片，判断柜员的手是否与手机接触；

保存模块，用于在所述柜员的手与所述手机接触时，保存所述监控图片对应的监控信息，所述监控信息包括所述监控视频、所述监控图片对应的时刻、所述监控***。

可选地，所述第一判断模块，包括：

第一确定子模块，用于根据所述监控图片和手机检测模型，确定所述手机的位置；

第二确定子模块，用于根据所述监控图片和人体姿态识别模型，确定所述柜员的手的位置；

第一判断子模块，用于根据所述手机的位置和所述手的位置，判断所述柜员的手是否与所述手机接触。

可选地，所述第二确定子模块，具体用于根据所述柜员截图和人体姿态识别模型，确定所述柜员截图中柜员的手部关键点所在位置；根据所述柜员的手部关键点所在位置和预设范围阈值，确定柜员的手的位置。

可选地，在所述第一判断子模块之前，还包括：

第一确定模块，用于根据所述监控图片和预设客户坐标，确定客户截图；

第二判断模块，用于根据所述客户截图和第一检测模型，判断所述客户截图中是否存在客户，所述第一检测模型用于检测图片中是否出现人物；

所述获取模块，还用于当所述客户不存在时，获取下一帧监控图片。

可选地，在所述第一判断子模块之前，还包括：

第二确定模块，用于根据所述监控图片和预设柜员坐标，确定柜员截图；

第三判断模块，用于根据所述柜员截图和第一检测模型，判断所述柜员截图中是否存在柜员，其中所述第一检测模型用于检测图片中是否出现人物；

所述获取模块，还用于当所述柜员不存在时，获取下一帧监控图片。

可选地，所述方法，还包括：

第四判断模块，用于根据所述监控视频、所述监控图片所在时刻和预设时长，判断预设时长内，所述手机是否持续存在；

所述获取模块，还用于当所述手机不持续存在时，获取下一帧监控图片。

可选地，所述第四判断模块，包括：

第三获取子模块，用于根据所述监控视频、所述监控图片所在时刻和预设时长，获取所述监控视频中，从所述监控图片所在时刻开始，预设时长内的多帧监控图片；

第三确定子模块，用于根据所述多帧监控图片和手机检测模型，确定每帧监控图片中，是否存在手机；

第四判断子模块，用于根据所述多帧监控图片中，出现手机的帧数和预设阈值，判断所述手机是否持续存在。

第三方面，本申请提供一种服务器，包括：存储器和处理器。

存储器用于存储程序指令。

处理器用于调用存储器中的程序指令执行第二方面及第二方面任一种可能的设计中的监控方法。

第四方面，本申请提供一种可读存储介质，可读存储介质中存储有执行指令，当服务器的至少一个处理器执行该执行指令时，服务器执行第一方面及第一方面任一种可能的设计中的监控方法。

本申请提供的监控方法、装置、设备以及存储介质，通过获取监控视频的监控图片，判断该监控图片中，柜员的手是否与手机接触；当柜员的手与手机接触时，保存该监控图片对应的监控信息；当柜员的手没有与手机接触时，获取下一帧的监控图片，并根据上述步骤再次进行判断的手段，实现提高了监察效率。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种监控场景示意图；

图2为本申请一实施例提供的一种监控方法的流程图；

图3为本申请一实施例提供的另一种监控方法的流程图；

图4为本申请一实施例提供的人体姿态关键点示意图；

图5为本申请一实施例提供的一种监控设备的结构示意图；

图6为本申请一实施例提供的另一种监控设备的结构示意图；

图7为本申请一实施例提供的再一种监控设备的结构示意图；

图8为本申请一实施例提供的一种服务器的硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

在银行柜台工作，为了更好的确保客户和柜员的安全和利益，通常会在每一柜台安装监控。当有客户在办理业务时，如果柜员玩手机，可能会严重影响网点的形象。因此，管理员通常需要抽查柜员的工作情况，在办理业务时，保持工作状态。

在现有技术中，管理员可以采用现场抽查的方式，监察柜员的工作情况。该方式需要管理员不定时前往柜台巡查，以获取柜员在该时刻的工作情况。然而，现场抽查只能获取抽查时刻，柜员的工作情况。该抽查结果存在随机性和偶然性，不能全面概括柜员的工作情况。

针对上述问题，现有技术提出了通过查看柜台监控的方式，监察柜员的工作情况。管理员可以通过服务器查看该监控***内，各个摄像头拍摄到的柜员的工作情况。其中，管理员可以采用实时查看监控视频，或者回放监控视频的方式，监察柜员的工作情况。

如果使用实时查看的方式进行监控检查，则需要管理员在柜员上班时间内，实时查看各个摄像头拍摄到的柜员的工作情况。如果使用回放监控视频的方式进行监控监察，则需要管理员查看所有柜员上班时间的监控视频。

在实际工作中，柜员通常具有良好的职业素养。在客户在办理业务时，柜员玩手机的情况的出现概率并不高。因此，管理员通过查看监控视频的方式监察柜员的工作情况，存在效率低的问题。

针对上述问题，本申请提出了一种监控方法、装置、设备以及存储介质。服务器作为整个监控***的核心，可以获取到所有与之连接的摄像头的监控视频。在服务器获取到摄像头拍摄的监控视频后，服务器可以使用机器学习或者人工智能的方法，对该监控视频中的监控图片进行分析。服务器可以根据该分析结果，确定柜员在工作时间的工作情况。当服务器发现柜员在办理业务时，出现玩手机等行为时，服务器可以记录该时刻，并保存该行为出现的监控视频片段。为确保最终监察效果，在服务器将柜员玩手机的监控视频片段进行提取并存储后，管理员还可以再次查看该监控视频片段。管理员通过查看服务器存储的监控视频片段的方式，确认该视频中，柜员是否真的在玩手机。

本申请提出的监控方法中，管理员只需要查看服务器提取并保存的监控视频片段，并对监控视频片段中，柜员的工作情况进行判断。该监控方法，极大的减少了管理员的工作量，提高了管理员的监察效率，使管理员不必将时间浪费在查看大量的监控视频中。

图1示出了本申请一实施例提供的一种监控场景示意图。如图所示，该监控场景中可以包括摄像头和服务器。服务器可以接收摄像头发送的监控视频，并对该监控视频进行处理和存储。

摄像头用于拍摄监控视频。该摄像头的数量为至少一个。例如，当该银行网点有10个窗口时，该摄像头的数量可以为10个，每一摄像头可以监控一个柜台。其中，摄像头可以为统一型号，或者可以为不同品牌不同型号，本申请对此不做限制。

摄像头与服务器连接，将监控视频发送到服务器中。其中，摄像头与服务器的连接方式可以通过总线连接，或者摄像头与服务器通过无线网络或者有线网络连接，该无线网络或者有线网络可以为内部网络或者外部网络，本申请对此不做限制。

摄像头拍摄到监控视频后，实时将该监控视频发送到服务中。服务器实时接收到上述监控视频，并对上述监控视频进行处理。

服务器用于接收摄像头发送的监控视频，并对该监控视频进行处理。该服务器的数量为至少一个。例如，可以将所有的监控视频发送到一个服务器中进行存储和处理。或者，一个服务器接收到至少一个摄像头发送的监控视频后，可以利用分布式的方法，将这些监控视频发送到其他服务器进行存储或者处理。或者，多个摄像头可以连接到多台服务器，服务器分别处理与之连接的摄像头的监控视频。或者，多个摄像头可以连接到多台服务器，多台服务器可以将监控视频或者处理结果转发到一台服务进行汇总。

当服务器同时对多个监控视频进行处理时，该服务器可以通过多线程实现该处理过程。

服务器可以通过摄像头的数据请求接口，实时获取摄像头的监控视频。服务器中可以设有摄像头列表，该列表中可以包括已经连接的摄像头的摄像头信息。该摄像头信息中可以包括摄像头编号、摄像头型号、摄像头位置、摄像头对应的柜台编号、摄像头对应的柜员编号、摄像头接入时间、摄像头接口信息等。在实际使用中，服务器可以根据管理员的实际需求，增加或者删除摄像头列表中的摄像头信息。

本申请中，以服务器为执行主体，执行如下实施例的所示的监控方法。具体地，该执行主体可以为服务器的硬件装置，或者为服务器中实现下述实施例的软件应用，或者为安装有实现下述实施例的软件应用的计算机可读存储介质。

图2示出了本申请一实施例提供的一种监控方法的流程图。在图1所示实施例的基础上，如图2所示，以服务器为执行主体，本实施例的方法可以包括步骤S101至步骤S103，具体如下：

S101、获取监控视频中的监控图片。

本实施例中，服务器实时获取摄像头向服务器发送的监控视频。其中，服务器可以通过摄像头的数据请求接口，实时获取摄像头的监控视频。服务器获取摄像头的监控视频后，保存该监控视频。其中，服务器可以将该监控视频保存在该服务器的存储设备中。或者，服务器可以将该监控视频保存在本地其他存储设备中。或者，服务器可以将该监控视频上传到云端进行存储。

服务器获取该监控视频中的监控图片，并对该监控图片进行检测。其中，服务器可以按照第一预设采样频率，实时从监控视频中获取监控图片。或者，服务器可以按照第一预设采样频率，从存储的监控视频中获取监控图片。其中，第一预设采样频率可以为1秒3帧、1秒1帧、5秒1帧、10秒1帧等，该第一预设采样频率根据实际需求确定。

S102、根据监控图片，判断柜员的手是否与手机接触。

本实施例中，服务器根据步骤S101获取监控图片。服务器检测该监控图片中，柜员的手和手机的位置。服务器对柜员的手的位置和手机的位置进行比较，判断柜员的手是否与手机接触。当柜员的手与手机接触时，服务器确定该柜员在玩手机。

否则，服务器确定该柜员没有玩手机。服务器结束本次检测，并跳转到S101，获取下一帧监控图片。服务器确定该柜员没有玩手机的情况包括：柜员的手与手机没有接触。或者，服务服务器在监控图片中，只检测到柜员的手或者手机。或者，服务服务器在监控图片中，没有检测到柜员的手和手机。

S103、当柜员的手与手机接触时，保存该监控图片对应的监控信息，监控信息包括监控视频、监控图片所对应的时刻、监控***。

本实施例中，服务器根据S102确定柜员的手与手机接触后，服务器保存该监控图片对应的监控信息。以便于管理员通过查看和审核该监控信息，确定柜员是否在玩手机，实现提高管理员审核效率的效果。

其中，监控信息中可以包括该监控图片对应的监控视频，以及该监控图片对应的时刻。此时，管理员可以根据该监控图片对应的时刻，回放该监控视频。

或者，监控信息中可以包括该监控图片对应的监控视频片段。该监控视频片段根据该监控图片对应的时刻，从监控视频中裁剪得到。例如，该监控图片对应的时刻为15：22。服务器根据该时刻，裁剪该监控视频中15：21到15：23的视频内容，并将该内容保存到该监控信息中。此时，管理员可以通过查看该监控信息中的监控视频片段，确认柜员是否在玩手机。

此外，监控信息中还可以包括摄像头信息、视频信息、柜员信息等。其中，视频信息可以包括录制时间、录制帧率等。柜员信息可以包括柜员编号、柜员姓名等。

本申请提供的监控方法中，服务器通过获取监控视频的监控图片，判断该监控图片中，柜员的手是否与手机接触。当柜员的手与手机接触时，服务器保存该监控图片对应的监控信息。当柜员的手没有与手机接触时，服务器获取下一帧的监控图片，并根据上述步骤再次进行判断。本申请中，通过服务器对柜员的手是否与手机接触的判断，实现服务器对柜员的工作情况的监察。服务器根据该监察结果，保存监控信息，使管理员通过查看该监控信息即可完成监察工作，不必将大量的时间浪费在查看监控视频中，极大的提高了监察效率。

图3示出了本申请一实施例提供的另一种监控方法的流程图。在图1和图2所示实施例的基础上，如图3所示，以服务器为执行主体，本实施例的方法可以包括如下步骤：

S201、获取监控视频中的监控图片。

其中，步骤S201与图2实施例中的步骤S101实现方式类似，本实施例此处不再赘述。

S202、根据监控图片，判断客户是否存在。

本实施例中，服务器根据S201获取监控图片。服务器通过对该监控图片的检测，判断该监控图片中是否存在客户。当该监控图片中存在客户时，柜员服务于该客户。柜员应保持工作状态。否则，柜员不需要服务于客户，即，不需要保持工作状态。

当柜员不需要保持工作状态时，服务器结束本次对监控图片的检测，并返回S201，获取下一帧监控图片。

其中，服务器检测该监控图片中是否存在客户，可以有多种实现方式，下面以具体的示例对该检测过程进行详细说明。

一种示例中，服务器根据监控图片，判断客户是否存在的过程，可以包括如下步骤：

步骤1、服务器根据监控图片和预设客户坐标，获取客户截图。

本步骤中，服务器从内存中读取预设客户坐标，并根据该预设客户坐标，从该监控图片中裁剪出客户截图。该客户截图为办理业务时，客户所在区域的截图。通常该截图中包括客户的台面和客户的座位所在区域。该客户截图中可能有客户在办理业务。或者，该客户截图中可能没有客户在办理业务。或者，该客户截图中的客户可能处于进入该区域或者离开该区域的状态。

由于每一摄像头安装于固定位置，且其拍摄监控视频的角度为固定角度。因此，对于同一摄像头拍摄的监控视频，在监控图片中，客户所在区域在该监控图片中的位置是固定的。服务器确定该客户所在区域的坐标为预设客户坐标。该预设客户坐标中，包括该客户所在区域的左上角坐标和右下角坐标。由于不同摄像头安装的位置、角度可能存在差异，因此，对于不同的摄像头拍摄的监控视频，其预设客户坐标为不同坐标。

服务器中可以存储有摄像头信息，该摄像头信息中还可以包括该监控视频的预设客户坐标。

步骤2、服务器根据客户截图和第一检测模型，判断客户截图中是否存在客户，第一检测模型用于检测图片中是否出现人物。

本步骤中，服务器将步骤1裁剪得到的客户截图输入第一检测模型中。服务器使用该第一检测模型预测该客户截图中，是否有人物存在。当服务器预测该客户截图中存在至少一个人物时，服务器确定该客户截图中存在客户。否则，服务器确定该客户截图中不存在客户。

其中，该第一模型可以为目标检测模型。服务器用该目标检测模型，检测图片中人物所在位置，并根据该位置生成检测框、掩码或者边界。服务器可以根据是否存在该检测框，确定该客户截图中是否存在客户。

或者，该第一模型可以为分类模型。服务器用该分类模型对该客户截图进行分类。该分类结果可以包括有客户类和无客户类。根据该分类结果，服务器可以确定该客户截图中是否存在客户。

步骤3、当客户截图中不存在客户时，服务器返回S201。

本步骤中，当步骤2确定该客户截图中不存在客户时，服务器返回S201。否则，服务器继续执行下述步骤。

另一种示例中，服务器根据监控图片，判断客户是否存在的过程可以包括：

步骤1、服务器可以通过第一检测模型，检测该监控图片中，人物的位置。

其中，第一检测模型与上述示例中第一检测模型实现方式类型，此处不再赘述。

步骤2、服务器根据该人物的位置，判断该人物是柜员还是客户。当该人物是客户时，服务器确定该监控图片中存在客户。

本步骤中，服务器在检测该监控图片时，可能检测到一个或者多个人物。服务器根据监控图片的实际场景，确定该监控图片中柜台的位置。服务器根据该柜台的位置，以及上述每一人物的位置，确定该人物是否为客户。

例如，假设当前监控图片中，柜台的位置为该监控图片的中心点，且该监控图片的左边为大堂，右边为柜台内部。

服务器在该监控图片中检测到三个人物。这三个人物中，其中一个人物在监控图片的中心点的右边，两个人物在中心点的左边。服务器根据这三个人物的位置，判断其中在中心点左边，且最靠近中心点的人物为客户。

S203、根据监控图片，判断柜员是否存在。

本实施例中，服务器根据S201获取监控图片。服务器通过对该监控图片的检测，判断该监控图片中是否存在柜员。当该监控图片中存在柜员时，柜员应保持工作状态。否则，不需要检测柜员的工作情况。

当不需要检测柜员的工作情况时，服务器结束本次监控图片的检测，并跳转到S201，获取下一帧监控图片。

其中，服务器检测该监控图片中是否存在柜员，可以有多种实现方式，下面以具体的示例对该检测过程进行详细说明。

一种示例中，服务器根据监控图片，判断柜员是否存在的过程可以包括如下步骤：

步骤1、服务器根据监控图片和预设柜员坐标，获取柜员截图。

其中，服务器中可以存储有摄像头信息，该摄像头信息中还可以包括该监控视频的预设柜员坐标。

步骤2、服务器根据柜员截图和第一检测模型，判断柜员截图中是否存在柜员，其中第一检测模型用于检测图片中是否出现人物。

其中，本示例中柜员检测方式与S202中客户检测方式的实现类似，此处不再赘述。

步骤3、当柜员截图中不存在柜员时，服务器返回S201。

另一种示例中，服务器根据监控图片，判断柜员是否存在的过程可以包括：

步骤2、服务器根据该人物的位置，判断该人物是柜员还是柜员。当该人物是柜员时服务器确定该监控图片中存在柜员。

服务器在该监控图片中检测到三个人物。这三个人物中，其中一个人物在监控图片的中心点的右边，两个人物在中心点的左边。服务器根据这三个人物的位置，判断其中在中心点右边的人物为柜员。

本实施例中，S203与S202并不受所描述的动作顺序的限制，步骤S202与步骤S203可以采用其他顺序或者同时进行，也可以只执行S202或者S203中的一个，或者S202与S203都不执行。

S204、根据监控图片和手机检测模型，确定手机的位置。

本实施例中，服务器根据S201获取监控图片。服务器通过手机检测模型，对该监控图片进行检测，判断该监控图片中是否存在手机。当该监控图片中存在手机时，柜员可能在玩手机。否则，服务器结束该监控图片的检测，返回S201。

其中，手机检测模型可以有多种实现方式，根据不同模型，服务器预测结果也不同。下面以具体的示例对该手机检测模型进行详细说明。

一种实现方式中，该手机检测模型可以为目标检测模型。服务器可以通过将监控图片输入该目标检测模型，预测得到该监控图片中，手机的位置。服务器根据该位置生成检测框，该检测框中包括手机。或者，服务器根据该位置生成掩码，该手机的掩码覆盖手机所在区域。或者，服务器根据该位置生成轮廓。此时，手机的位置为该轮廓所在区域，以及该轮廓包围的区域。

S205、根据监控视频、监控图片所在时刻和预设时长，判断预设时长内，手机是否持续存在。

本实施例中，服务器根据该监控图片所在时刻和预设时长，从该监控视频中截取监控视频片段。服务器从该监控视频片段中获取多帧监控图片。根据上述多帧监控图片，服务器判断手机是否持续存在。如果手机持续存在，则服务器认为柜员可能在玩手机。否则，服务器返回S201，并获取预设时长后监控图片为下一帧监控图片。

一种示例中，服务器根据上述多帧监控图片，判断手机是否持续存在的过程具体可以包括：

步骤1、服务器根据监控视频、监控图片所在时刻和预设时长，获取该预设时长内的多帧监控图片。

其中，服务器获取的监控视频可以为服务器实时从摄像头获取的监控视频，或者为存储器中存储的已经完成拍摄的监控视频。下面针对不同的监控视频，对服务器获取多帧监控图片的过程进行举例说明。

一种实现方式中，当服务器实时从摄像头获取监控视频时，服务器在获取当前监控图片后，服务器根据预设时长，以第二预设采样频率，从监控视频中获取多帧监控图片。其中，第二预设采样频率与第一预设采样频率可以为相同的采样频率，或者为不同的采样频率，本申请对此不做限制。

例如，假设预设采样频率为5秒1帧，预设时长为30秒。此时，当服务器获取当前监控图片后，服务器每隔5秒从，摄像头实时向服务器发送的监控视频中获取一帧监控图片。服务器对该30秒内采集到的6帧监控图片进行后续检测，判断该预设时长中，手机是否持续出现。

另一种实现方式中，当服务器对存储器中已经完成拍摄的监控视频进行检测时，服务器在获取当前监控图片后，根据当前监控图片对应的时刻，以及预设时长和第二采样频率，确定其他每帧监控图片的时刻。服务器根据该时刻，获取上述多帧监控图片。

例如，假设预设采样频率为5秒1帧，预设时长为30秒，当前监控图片对应的时刻为15：22。此时，服务器获取后续30秒内，6帧监控图片所对应的时刻分别为15:22:05、15:22:10、15:22:15、15:22:20、15:22:25、15:22:30。服务器根据上述6个时刻，获取6帧监控图片。服务器对上述6帧监控图片进行后续检测，判断该预设时长中，手机是否持续出现。

步骤2、服务器根据上述多帧监控图片和手机检测模型，确定每帧监控图片中，是否存在手机。

本步骤中，服务器将步骤1获取的多帧监控图片输入到手机检测模型中。其中，服务器可以逐一将上述多帧监控图片输入到手机检测模型中。或者，服务器可以将上述多帧监控图片一次性输入到该手机检测模型中。

服务器使用该手机检测模型对每一监控图片进行预测。服务器根据该预测结果，统计上述多帧监控图片中出现手机的监控图片的帧数。

步骤3、当上述多帧监控图片中，出现手机的帧数超出预设阈值时，服务器确定手机持续存在。

本步骤中，服务器根据步骤2获得出现手机的监控图片的帧数。服务器将该帧数与预设阈值进行比较，当该帧数大于等于预设阈值时，确定在该预设时长内，手机持续存在。否则，服务器确定在该预设时长内，手机并没有持续存在。

当手机并没有持续存在时，服务器结束本次监控图片的检测，并跳转到S201。S201获取该预设时长后的监控图片为下一帧监控图片。

一种实现方式中，服务器计算出现手机的监控图片的帧数与监控图片的总帧数的比值，并通过比较该比值与预设阈值，确定手机是否持续存在。

其中，通过计算比值与预设阈值进行比较，可以避免预设时长或者第二预设采样频率不同，导致的比较结果不准确的问题。

本实施例中，S205可以在S204检测到监控图片中存在手机后执行。S205还可以在S207确定该监控图片中柜员的手和手机接触后执行。或者S204和S205还可以在S201获取监控图片后，直接检测该监控图片中是否具有手机，以及手机是否持续存在。

S206、根据监控图片和人体姿态识别模型，确定柜员的手的位置。

本实施例中，服务器根据S201获取监控图片。服务器通过将该监控图片输入到人体姿态识别模型中，获取该监控图片中，柜员的人体姿态的关键点。服务器确定该关键点中的手部关键点，并根据该手部关键点确定手的位置。

由于该手部关键点为一个坐标点，而手的位置实际上为一个区域。因此，服务器在根据该人体姿态识别模型确定手部关键点后，可以根据该手部关键点和预设范围阈值，确定手的位置。

一种示例中，服务器确定该手部关键点为该预设范围内的一个固定点。根据该固定点和预设范围阈值，服务器确定在该监控图片中，手所在的区域。服务器确定该手所在的区域为手的位置。

例如，预设范围阈值为半径为20像素点的圆形区域。服务器确定手部关键点为圆心。根据预设半径，服务器确定手所在的区域为以手部关键点为圆心，半径为20像素点的一个圆形区域。服务器确定该圆形区域为手的位置。

其中，手的预设范围可以为圆形、矩形、多边形、不规则形状等。其中，该固定点可以为中心点、某条边的中心点、某个角点等。

S207、根据手机的位置和手的位置，判断柜员的手是否与手机接触。

本实施例中，服务器根据S204确定手机的位置，根据S206确定手的位置。服务器根据该手机的位置和手的位置，确定手机所在区域和手所在区域是否存在交集。如果手机所在区域和手所在区域存再交集，则服务器确定手机与手接触。否则，服务器认为，手机和手没有接触，并返回S201。

S208、当柜员的手与手机接触时，保存监控信息，监控信息包括监控视频、监控图片所对应的时刻、监控***。

其中，步骤S208与图2实施例中的步骤S103实现方式类似，本实施例此处不再赘述。

本申请提供的监控方法，在服务器获取监控视频的监控图片后，服务器根据该监控图片，判断客户是否存在，柜员是否存在，手机是否存在，手机是否持续存在。在确定该监控图片中存在客户、柜员、手机后，服务器判断该监控图片中，柜员的手是否与手机接触。当柜员的手与手机接触时，服务器保存该监控图片对应的监控信息。当柜员的手没有与手机接触时，服务器获取该监控视频中，下一帧监控图片，并再次根据上述步骤进行判断。本申请中，服务器通过保存柜员的手与手机接触时的监控信息，实现服务器对柜员的工作情况的监察，减少了管理员的监察工作量，提高了监察效率。进一步地，服务器在判断柜员的手与手机是否接触之前，还判断了客户是否存在、柜员是否存在、手机是否存在、手机是否持续存在。服务器通过上述判断，对监控图片进行了筛选，提高检测的准确率，将非明显不必检测的监控图片在该筛选过程中结束检测，提高检测效率。

在图1至图3所示实施例中，包括第一检测模型、手机检测模型和人体姿态识别模型。服务器加载上述训练好的模型实现上述监控方法。在加载上述训练好的模型之前，该监控方法还包括上述模型的训练过程。

第一检测模型用于检测图片中是否出现人物，该模型可以为目标检测模型、二分类模型等。

一种示例中，该第一检测模型可以为目标检测模型，该目标检测模型可以用于预测人物的检测框、掩码、边界等。该模型的训练步骤可以包括：

步骤1、服务器获取预先保存的监控视频。

步骤2、服务器根据该监控视频中，生成大量的监控图片。

其中，服务器根据预设采样频率从监控视频中获取监控图片，或者，服务器随机从监控视频中获取监控图片。其中，服务器在该步骤生成大量的监控图片，以确保在后续人工标注步骤进行优选。

由于不同摄像头采集的监控视频中，客户和柜员的位置、角度存在差异。因此，该监控图片的来源应包括该网点所有摄像头的监控视频。该监控图片甚至可以包括其他网点的摄像头的监控图片。

步骤3、服务器根据预设客户坐标和预设柜员坐标，从监控图片中裁剪得到截图，该截图包括客户截图和柜员截图。

本步骤中，该柜员截图和客户截图中，包括有柜员或者客户、没有柜员或者客户、以及柜员或者客户处于进入截图或者离开截图的状态。

步骤4、人工筛选并标注这些截图。

本步骤中，为了使模型得到更好的训练，人工标注时，应选择客户或者柜员处于办理业务状态下的截图进行标注。并均匀的选择来自各个摄像头的监控视频的截图，选择数量相当的客户截图和柜员截图。

人工标注该截图中的人物时，可以使用检测框的方式进行标注，例如yolo、fastRcnn、SSD、EasyDL等模型的标注方式。或者，可以使用沿着人物边界进行标注的方式进行标注，例如maskRCNN等模型的标注方式。

步骤5、服务器使用预设网络，将该标注后的截图作为训练数据，训练得到目标检测模型。服务器使用该训练好的目标检测模型预测截图中的客户或者柜员。

另一种示例中，该第一检测模型可以为分类模型。在服务器使用训练好的模型之前，该模型的训练包括：

步骤1、服务器获取预先保存的监控视频。

步骤2、服务器从该监控视频中，筛选出预设数量的监控图片。

步骤4、对该截图进行人工分类。将有柜员或者客户出现的该截图分到第一类。将没有柜员和客户出现的截图到第二类。

本步骤中，为了使模型得到更好的训练，在将截图进行分类时，应确保第一类图片和第二类图片的数量相当，并且尽量选择人物清楚的图片。

步骤5、服务器使用预设网络，将步骤4分类得到的两类图片作为训练数据，训练分类模型，该分类模型用于判断截图中是否出现人物。

本步骤中，预设网络可以为SVM、KNN、Logistic回归模型等。

手机检测模型可以为目标检测模型。该手机检测模型可以用于预测手机的检测框、掩码、边界等。该手机检测模型的训练过程，与上述第一检测模型的目标检测模型训练方法类似，本实施例此处不再赘述。

人体姿态识别模型用于获取柜员截图中柜员的人体姿态关键点。服务器可以将柜员截图输入人体姿态识别模型，获取柜员的人体姿态关键点。服务器使用训练好的模型之前，该模型的训练包括：

步骤1、服务器获取预先保存的监控视频。

步骤3、服务器根据预设柜员坐标，从监控图片中裁剪得到柜员截图。

本步骤中，服务器仅根据预设柜员坐标获取柜员截图。由于在实施例中人体姿态识别的对象都是柜员。因此，为了提高模型训练的准确性，可以仅使用柜员截图作为训练数据。或者，可以将柜员截图、客户截图、其他人物截图都加入到训练数据中，增加模型的适应性。

步骤4、人工标注该柜员截图中的人体姿态，并筛选其中柜员姿态清晰的图片作为训练图片。

本步骤中，如图4所示为人体姿态关键点示意图。在实际标注中，参考图4对柜员的身体各个部位的标注，对柜员截图中柜员的身体部位进行标注。

步骤5、服务器使用预设网络，将该注后的柜员截图和对应的人体姿态关键点作为训练数据，训练得到人体姿态识别模型。服务器使用该训练好的人体姿态识别模型预测柜员截图中，柜员的关键点。服务器根据检测到的关检点的连接关系，确定各个关检点所属的部位。

本申请提供的监控方法中，服务器在监控图片检测过程中，使用上述训练好的模型进行预测。在训练过程中，服务器选择清晰且便于标注的数据进行训练，提高模型训练速度，提高模型识别准确。

图5示出了本申请一实施例提供的一种监控设备的结构示意图，如图5所示，本实施例的监控设备10用于实现上述任一方法实施例中对应于服务器的操作，本实施例的监控设备10包括：

获取模块11，用于获取监控视频中的监控图片。

第一判断模块12，用于根据监控图片，判断柜员的手是否与手机接触。

保存模块13，用于在柜员的手与手机接触时，保存监控信息，监控信息包括监控视频、监控图片所对应的时刻、监控***。

本申请实施例提供的监控设备10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。

图6示出了本申请一实施例提供的另一种监控设备的结构示意图，在图5所示实施例的基础上，如图6所示，本实施例的监控设备10用于实现上述任一方法实施例中对应于服务器的操作，本实施例中监控设备10还包括：

在第一判断模块12之前，包括：

第一确定模块14，用于根据监控图片和预设客户坐标，获取客户截图。

第二判断模块15，用于根据监控图片，判断客户是否存在。

获取模块11，还用于在客户不存在时，获取下一帧监控图片。

第二确定模块16，用于根据监控图片和预设柜员坐标，确定柜员截图。

第三判断模块17，用于根据监控图片，判断柜员是否存在。

获取模块11，还用于在柜员不存在时，获取下一帧监控图片。

其中，第一确定模块14和第二确定模块16的执行并不受所描述的动作顺序的限制，第一确定模块14和第二确定模块16可以采用其他顺序或者同时进行。第二判断模块15和第三判断模块17的执行并不受所描述的动作顺序的限制，第二判断模块15和第三判断模块17可以采用其他顺序或者同时进行。

在第一判断模块12之后，包括：

第四判断模块18，用于根据监控视频、监控图片所在时刻和预设时长，判断预设时长内，手机是否持续存在。

获取模块11，还用于在手机不持续存在时，获取下一帧监控图片。

其中，第四判断模块18，执行并不受所描述的动作顺序的限制，可以与第二判断模块15、第三判断模块17或者第一判断模块12同时进行或者采用其他顺序进行。

图7示出了本申请一实施例提供的再一种监控设备的结构示意图，在图5和图6所示实施例的基础上，如图7所示，本实施例的监控设备10用于实现上述任一方法实施例中对应于服务器的操作，本实施例的第第一判断模块12和第四判断模块18，包括：

第一确定子模块121，用于根据监控图片和手机检测模型，确定手机的位置。

第二确定子模块122，用于根据监控图片和人体姿态识别模型，确定柜员的手的位置。

第一判断子模块123，用于根据手机的位置和手的位置，判断柜员的手是否与手机接触。

一种示例中，第一确定子模块122，具体包括：根据监控图片和预设柜员坐标，确定柜员截图。根据柜员截图和人体姿态识别模型，确定柜员截图中柜员的手部关键点所在位置。根据柜员的手部关键点所在位置和预设范围阈值，确定柜员的手的位置。

一种示例中，人体姿态识别模型利用监控图像和监控图像人体姿态关键点训练得到，监控图像人体姿态关键点通过人工标注确定。

第三获取子模块181，用于根据监控视频、监控图片所在时刻和预设时长，获取监控视频中，从监控图片所在时刻开始，预设时长内的多帧监控图片。

第三确定子模块182，用于根据多帧监控图片和手机检测模型，确定每帧监控图片中，是否存在手机。

第四判断子模块183，用于统计多帧监控图片中出现手机的帧数，根据帧数和预设阈值，判断手机是否持续存在。

图8示出了本申请实施例提供的一种服务器的硬件结构示意图。如图8所示，该服务器20，用于实现上述任一方法实施例中对应于服务器的操作，本实施例的服务器20可以包括：存储器21，处理器22和通信接口24。

存储器21，用于存储计算机程序。

存储器可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

处理器22，用于执行存储器存储的计算机程序，以实现上述实施例中的监控方法。具体可以参见前述方法实施例中的相关描述。

可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。

当存储器21是独立于处理器22之外的器件时，服务器20还可以包括：

总线23，用于连接存储器21和处理器22。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

通信接口24，该通信接口24可以通过总线23与处理器21连接。处理器22可以控制通信接口24来实现服务器20与至少一个摄像头的连接，获取这些摄像头拍摄到的视频数据。

本实施例提供的服务器可用于执行上述的监控方法，其实现方式和技术效果类似，本实施例此处不再赘述。

本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，计算机可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，计算机可读存储介质耦合至处理器，从而使处理器能够从该计算机可读存储介质读取信息，且可向该计算机可读存储介质写入信息。当然，计算机可读存储介质也可以是处理器的组成部分。处理器和计算机可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和计算机可读存储介质也可以作为分立组件存在于通信设备中。

上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器(Programmable read-only memory，PROM)，只读存储器(Read-OnlyMemory，ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种监控方法，其特征在于，所述方法包括：

获取监控视频中的监控图片；

根据所述监控图片，判断柜员的手是否与手机接触；

2.根据权利要求1所述的监控方法，其特征在于，根据所述监控图片，判断柜员的手是否与手机接触，包括：

根据所述监控图片和手机检测模型，确定所述手机的位置；

3.根据权利要求2所述的监控方法，其特征在于，所述根据所述监控图片和人体姿态识别模型，确定所述柜员的手的位置，包括：

根据所述监控图片和预设柜员坐标，确定柜员截图；

4.根据权利要求1所述的监控方法，其特征在于，在所述根据所述监控图片，判断柜员的手是否与手机接触之前，还包括：

根据所述监控图片和预设客户坐标，确定客户截图；

当所述客户不存在时，获取下一帧监控图片。

5.根据权利要求1所述的监控方法，其特征在于，在所述根据所述监控图片，判断柜员的手是否与手机接触之前，还包括：

根据所述监控图片和预设柜员坐标，确定柜员截图；

当所述柜员不存在时，获取下一帧监控图片。

6.根据权利要求1-5中任意一项所述的监控方法，其特征在于，所述方法，还包括：

当所述手机不持续存在时，获取下一帧监控图片。

7.根据权利要求6所述的监控方法，其特征在于，所述根据所述监控视频、所述监控图片所在时刻和预设时长，判断预设时长内，所述手机是否持续存在，包括：

8.一种监控装置，其特征在于，所述装置，包括：

获取模块，用于获取监控图片；

保存模块，用于在所述柜员的手与手机接触时，保存所述监控图片所在的监控视频。

9.一种服务器，其特征在于，所述设备，包括：存储器，处理器和通信接口；

通信接口，用于获监控视频；

存储器，用于存储所述处理器可执行指令；

处理器，用于实现如权利要求1至7中任意一项所述的监控方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任意一项所述的监控方法。