CN111209847B - 一种暴力分拣的识别方法及装置 - Google Patents
一种暴力分拣的识别方法及装置 Download PDFInfo
- Publication number
- CN111209847B CN111209847B CN202010005877.5A CN202010005877A CN111209847B CN 111209847 B CN111209847 B CN 111209847B CN 202010005877 A CN202010005877 A CN 202010005877A CN 111209847 B CN111209847 B CN 111209847B
- Authority
- CN
- China
- Prior art keywords
- sorting
- video
- violent
- violent sorting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000006399 behavior Effects 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 abstract description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种暴力分拣的识别方法及装置，其中，该方法包括：获取在包裹分拣过程中的第一视频信息与第二视频信息；基于暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息中是否存在所述第二暴力分拣视频片段，基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的分拣速度；基于所述分拣速度，确定包裹暴力分拣识别结果。在该过程中，利用了在包裹分拣过程中的第一视频信息与第二视频信息，共同确定暴力分拣视频信息，并且基于暴力分拣视频中的包裹分拣速度，最终确定暴力分拣行为，极大地提高了识别暴力分拣行为的准确性。
Description
技术领域
本申请涉及监控技术领域，尤其是涉及一种暴力分拣的识别方法及装置。
背景技术
随着网上购物的不断发展，对于快递行业承受量的需求也在不断增长，尤其在“双十一”、“黑五”等购物高峰期，快递行业更是面临着前所未有的挑战。
由于快递量激增，导致出现一些快递员暴力分拣的事情发生，造成不良的社会影响。在现有技术中，对于暴力分拣行为的识别大多是依靠人工完成的，其成本较高、效率与准确度较低。
因此，如何准确地识别暴力分拣行为就成为一个亟待解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种暴力分拣的识别方法及装置，提高识别暴力分拣行为的准确率，减少暴力分拣行为的发生。
第一方面，本申请实施例提供了一种暴力分拣的识别方法，包括：
获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；
基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；
若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；
基于所述分拣速度，确定包裹暴力分拣识别结果。
一种可选实施方式中，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
一种可选实施方式中，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
一种可选实施方式中，所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像；
所述基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度，包括：
针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
一种可选实施方式中，所述基于所述分拣速度，确定包裹暴力分拣识别结果，包括：
将所述分拣速度，与预设的分拣速度阈值进行对比；
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
一种可选实施方式中，在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
第二方面，本申请实施例还提供一种暴力分拣的识别装置，该暴力分拣的识别装置包括：获取模块、识别模块、第一确定模块以及第二确定模块，其中：
所述获取模块，用于获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；
所述识别模块，用于基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；
所述第一确定模块，用于若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；
所述第二确定模块，用于基于所述分拣速度，确定包裹暴力分拣识别结果。
一种可选实施方式中，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
一种可选实施方式中，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
一种可选实施方式中，所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像；
所述第一确定模块，用于基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度时，具体用于：
针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
一种可选实施方式中，所述第二确定模块，用于基于所述分拣速度，确定包裹暴力分拣识别结果时，具体用于：
将所述分拣速度，与预设的分拣速度阈值进行对比；
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
一种可选实施方式中，在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
第三方面，本申请实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面、或第一方面中任一种可能的实施方式中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面、或第一方面中任一种可能的实施方式中的步骤。
本申请实施例提供的一种暴力分拣的识别方法及装置，首先，获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；之后，基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；然后，若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；最后，基于所述分拣速度，确定包裹暴力分拣识别结果。在该过程中，利用了在包裹分拣过程中的第一视频信息与第二视频信息，共同确定暴力分拣视频信息，并且基于暴力分拣视频中的包裹分拣速度，最终确定暴力分拣行为，极大地提高了识别暴力分拣行为的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种暴力分拣的识别方法的流程图；
图2示出了本申请实施例所提供的另一种暴力分拣的识别方法的流程图；
图3示出了本申请实施例所提供的一种暴力分拣的识别装置的结构示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到在现有技术中，对于暴力分拣行为的识别大多是依靠人工完成的，存在成本较高、效率与准确度较低等问题。
基于此，本申请实施例提供了一种暴力分拣的识别方法及装置，首先，获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；之后，基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；然后，若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；最后，基于所述分拣速度，确定包裹暴力分拣识别结果。在该过程中，利用了在包裹分拣过程中的第一视频信息与第二视频信息，共同确定暴力分拣视频信息，并且基于暴力分拣视频中的包裹分拣速度，最终确定暴力分拣行为，极大地提高了识别暴力分拣行为的准确性。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种暴力分拣的识别方法进行详细介绍，本申请实施例所提供的暴力分拣的识别方法的执行主体一般为计算机信息检索***。特殊地，其执行主体还可以为其他计算机设备。
实施例一
参见图1所示，为本申请实施例一提供的一种暴力分拣的识别方法的流程图，所述方法包括步骤S101～S104，其中：
S101：获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同。
S102：基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段。
S103：若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度。
S104：基于所述分拣速度，确定包裹暴力分拣识别结果。
下面分别对上述S101～S104分别加以详细说明。
一：在上述S101中，在包裹分拣过程中，分别获取采集到的第一视频信息与第二视频信息；
其中，获取所述第一视频信息以及所述第二视频信息的角度不同。
示例性的，在包裹分拣过程中，可以采用双目摄像机采集第一视频信息与第二视频信息。
其中，双目摄像机是采用两个摄像机同时运行来感知周围的环境，双目摄像机相比于单目摄像机可提取到更多与真实世界环境有关的信息，尤其是目标实物的深度信息。双目视觉***甚至还可以在摄像机校准不精确的情况下正常还原观测点的深度，将人为造成的误差降到最低。
在物体分拣过程中，双目摄像机可以将两个摄像头获得第一视频信息与第二视频信息进行融合，加入了景深信息，有利于后续的三维重建数据训练模型过程。
二：在上述S102中，基于预先训练的暴力分拣识别模型，识别上述S301中获取的所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段。
这里，第一暴力分拣视频片段是从第一视频信息中截取出来的；例如：在获取第一视频信息的过程中，同步将第一视频信息中各帧图像依次输入至暴力分拣识别模型中，并实时检测第一视频信息中是否存在第一暴力分拣视频片段；当检测到第一视频信息中存在暴力分拣视频片段后，根据检测到该结果时的图像，截取该图像前和/或后预设数量的视频图像作为第一暴力分拣视频片段。
类似的，从第二暴力分拣视频片段也是从第二视频信息中截取出来的，截取的方式与上述第一暴力分拣视频片段的截取方式类似，在此不再赘述。
其中，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
示例性的，基于预先得到的多个样本视频，并确定每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息，即暴力分拣样本视频与非暴力分拣样本视频。
其中，每个所述样本视频中包括多帧样本图像。
示例性的，将预先得到的多个样本视频与其对应的是否对包裹进行暴力分拣的标签信息输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果。
其中，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
示例性的，基于预先得到的多个样本视频，分别提取暴力样本视频与非暴力样本视频中每一帧样本图像的人体三维姿态相对时空特征，例如：关节对距离特征、关节与骨骼距离特征、关节与平面距离特征、骨骼对夹角特征、骨骼与平面夹角特征、平面与平面夹角特征、关节旋转特征等特征信息。
利用多个样本视频中暴力样本视频与非暴力样本视频中每一帧样本图像的人体三维姿态相对时空特征，得到与该样本视频对应的暴力分拣识别结果。
基于得到的所述样本视频对应的暴力分拣识别结果，以及所述样本视频对应的标签信息，训练所述行为识别模型，得到暴力分拣识别模型，用于后续的视频信息的识别过程。
三：在上述S103中，基于步骤S102中识别的第一暴力分拣视频片段与第二暴力分拣视频片段，若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度。
其中，所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像。
示例性的，若在步骤S102中，确定所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段，则针对所述第一暴力分拣视频片段和所述第二暴力分拣视频片段中的所述第一暴力分拣视频片段中包括多帧第一图像以及所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像中包裹的分拣速度。
其中，针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
示例性的，基于每帧的第一图像，在该帧第一图像中，确定包裹在该帧第一图像中的位置信息，以及，在与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息，并基于包裹的第一位置信息与第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息。之后，基于包裹与该帧第一图像对应的三维坐标信息以及各帧第一图像分别对应的时间戳，利用速度计算公式，得到包裹的分拣速度。
四：在上述S104中，基于步骤S103中得到的所述包裹的分拣速度，确定包裹暴力分拣识别结果。
其中，将所述分拣速度，与预设的分拣速度阈值进行对比；
参考图2中的另一种暴力分拣的识别方法的流程图所示：
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
示例性的，基于常识或是统计数据，确定分拣速度阈值，并将所述分拣速度与预设的分拣速度阈值进行对比。
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
若所述分拣速度小于所述预设的分拣速度阈值，则确定所述包裹不存在暴力分拣。
在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
示例性的，在确定所述包裹存在暴力分拣后，对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段进行保存，并追踪其责任人，到达减少暴力分拣行为的目的。
基于上述研究，本申请提供了一种暴力分拣的识别方法，其可以对暴力分拣行为进行识别，首先，获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；之后，基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；然后，若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；最后，基于所述分拣速度，确定包裹暴力分拣识别结果。在该过程中，利用了在包裹分拣过程中的第一视频信息与第二视频信息，共同确定暴力分拣视频信息，并且基于暴力分拣视频中的包裹分拣速度，最终确定暴力分拣行为，极大地提高了识别暴力分拣行为的准确性。
实施例二
参照图3所示，为本申请实施例二提供的一种暴力分拣的识别装置的示意图，所述装置包括：获取模块31、识别模块32、第一确定模块33以及第二确定模块34，其中：
获取模块31，用于获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；
识别模块32，用于基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；
第一确定模块33，用于若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；
第二确定模块34，用于基于所述分拣速度，确定包裹暴力分拣识别结果。
基于上述研究，本申请提供了一种暴力分拣的识别装置，其可以对暴力分拣行为进行识别，首先，获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；之后，基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；然后，若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；最后，基于所述分拣速度，确定包裹暴力分拣识别结果。在该过程中，利用了在包裹分拣过程中的第一视频信息与第二视频信息，共同确定暴力分拣视频信息，并且基于暴力分拣视频中的包裹分拣速度，最终确定暴力分拣行为，极大地提高了识别暴力分拣行为的准确性。
一种可能的实施方式中，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
一种可能的实施方式中，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
一种可能的实施方式中，所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像；
一种可能的实施方式中，所述第一确定模块33，用于基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度时，在所述第一确定模块33中，具体用于：
针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
一种可能的实施方式中，所述第二确定模块34，用于基于所述分拣速度，确定包裹暴力分拣识别结果时，具体用于：
将所述分拣速度，与预设的分拣速度阈值进行对比；
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
一种可能的实施方式中，在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
实施例三
本申请实施例还提供了一种计算机设备400，如图4所示，为本申请实施例提供的计算机设备400结构示意图，包括：
处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述计算机设备400运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41在用户态执行以下指令：
获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同；
基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；
若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；
基于所述分拣速度，确定包裹暴力分拣识别结果。
一种可能的实施方式中，处理器41执行的指令中，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
一种可能的实施方式中，处理器41执行的指令中，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
一种可能的实施方式中，处理器41执行的指令中，所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像；
所述基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度，包括：
针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
一种可能的实施方式中，处理器41执行的指令中，所述基于所述分拣速度，确定包裹暴力分拣识别结果，包括：
将所述分拣速度，与预设的分拣速度阈值进行对比；
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
一种可能的实施方式中，处理器41执行的指令中，在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的暴力分拣的识别方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种暴力分拣的识别方法，其特征在于，包括：
获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同，且所述第一视频信息和所述第二视频信息均是由双目摄像机采集得到的；
基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；
若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；
基于所述分拣速度，确定包裹暴力分拣识别结果；
所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像；
所述基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度，包括：
针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
2.根据权利要求1所述的方法，其特征在于，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
3.根据权利要求2所述的方法，其特征在于，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
4.根据权利要求1所述的方法，其特征在于，所述基于所述分拣速度，确定包裹暴力分拣识别结果，包括：
将所述分拣速度，与预设的分拣速度阈值进行对比；
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
5.根据权利要求4所述的方法，其特征在于，在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
6.一种暴力分拣的识别装置，其特征在于，包括：
获取模块，用于获取在包裹分拣过程中的第一视频信息与第二视频信息；其中，所述第一视频信息以及所述第二视频信息的获取角度不同，且所述第一视频信息和所述第二视频信息均是由双目摄像机采集得到的；
识别模块，用于基于预先训练的暴力分拣识别模型，识别所述第一视频信息中是否存在第一暴力分拣视频片段，且所述第二视频信息是否存在与所述第一暴力分拣视频片段的时间戳对应的第二暴力分拣视频片段；
第一确定模块，用于若所述第一视频信息中存在所述第一暴力分拣视频片段，且所述第二视频信息中存在所述第二暴力分拣视频片段，则基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度；
第二确定模块，用于基于所述分拣速度，确定包裹暴力分拣识别结果；
所述第一暴力分拣视频片段中包括多帧第一图像；所述第二暴力分拣视频片段中包括时间戳与所述第一图像一一对应的多帧第二图像；
所述第一确定模块，用于基于所述第一暴力分拣视频片段和所述第二暴力分拣视频片段，确定所述第一暴力分拣视频片段和所述第二暴力分拣视频片段对应的包裹的分拣速度时，具体用于：
针对每帧第一图像，从该帧第一图像中确定包裹在该帧第一图像中的第一位置信息，并从与该帧第一图像时间戳相同的第二图像中，确定包裹的第二位置信息；
基于所述第一位置信息，以及所述第二位置信息，确定包裹与该帧第一图像对应的三维坐标信息；
基于包裹与各帧第一图像分别对应的三维坐标信息，以及各帧第一图像分别对应的时间戳，得到包裹的分拣速度。
7.根据权利要求6所述的装置，其特征在于，采用下述方式训练所述暴力分拣识别模型：
获取多个样本视频，以及与每个所述样本视频对应的是否对包裹进行暴力分拣的标签信息；其中，每个所述样本视频中包括多帧样本图像；
针对每个所述样本视频，将该样本视频输入至行为识别模型中，得到与该样本视频对应的暴力分拣识别结果；
基于所述样本视频对应的暴力分拣识别结果，以及标签信息，训练所述行为识别模型，得到暴力分拣识别模型。
8.根据权利要求7所述的装置，其特征在于，所述行为识别模型，包括下述一种或者多种：
双流卷积网络模型、卷积神经网络模型、以及膨胀卷积网络模型。
9.根据权利要求6所述的装置，其特征在于，所述第二确定模块，用于基于所述分拣速度，确定包裹暴力分拣识别结果时，具体用于：
将所述分拣速度，与预设的分拣速度阈值进行对比；
若所述分拣速度大于所述预设的分拣速度阈值，则确定所述包裹存在暴力分拣。
10.根据权利要求6所述的装置，其特征在于，在确定所述包裹存在暴力分拣后，保存在对该包裹分拣时所得到的第一暴力分拣视频片段，和/或，第二暴力分拣视频片段。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010005877.5A CN111209847B (zh) | 2020-01-03 | 2020-01-03 | 一种暴力分拣的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010005877.5A CN111209847B (zh) | 2020-01-03 | 2020-01-03 | 一种暴力分拣的识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111209847A CN111209847A (zh) | 2020-05-29 |
| CN111209847B true CN111209847B (zh) | 2023-11-03 |
Family
ID=70789581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010005877.5A Active CN111209847B (zh) | 2020-01-03 | 2020-01-03 | 一种暴力分拣的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209847B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761993A (zh) * | 2020-06-24 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用于输出信息的方法和装置 |
| CN112257493B (zh) * | 2020-09-01 | 2023-08-08 | 北京京东振世信息技术有限公司 | 物品异常分拣的识别方法、装置、设备及存储介质 |
| CN112668410B (zh) * | 2020-12-15 | 2024-03-29 | 浙江大华技术股份有限公司 | 分拣行为检测方法、***、电子装置和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897670A (zh) * | 2017-01-19 | 2017-06-27 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
| CN107358194A (zh) * | 2017-07-10 | 2017-11-17 | 南京邮电大学 | 一种基于计算机视觉的暴力分拣快递判断方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10427884B2 (en) * | 2015-12-31 | 2019-10-01 | Fives Intralogistics Corp. | Vision based conveyor package density management system |
-
2020
- 2020-01-03 CN CN202010005877.5A patent/CN111209847B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897670A (zh) * | 2017-01-19 | 2017-06-27 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
| CN107358194A (zh) * | 2017-07-10 | 2017-11-17 | 南京邮电大学 | 一种基于计算机视觉的暴力分拣快递判断方法 |
Non-Patent Citations (3)
| Title |
|---|
| 孙家琛 ; .基于传感器数据采集的快递服务质量分析.电子制作.2018,(第18期),全部页. * |
| 尚淑玲 ; .基于计算机视觉的物流暴力分拣行为识别.计算机仿真.2013,(第12期),全部页. * |
| 葛新宇等."一种下落式物流分拣***研究".《南方农机 》.2019,第50卷(第10期),全部页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111209847A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569721B (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
| CN111209847B (zh) | 一种暴力分拣的识别方法及装置 | |
| CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
| CN109544615B (zh) | 基于图像的重定位方法、装置、终端及存储介质 | |
| US20210056715A1 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
| CN108985199A (zh) | 商品取放操作的检测方法、装置及存储介质 | |
| CN106447592B (zh) | 每个特征描述符的在线个性化服务 | |
| CN111461170A (zh) | 车辆图像检测方法、装置、计算机设备及存储介质 | |
| CN111914775B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN109977824B (zh) | 物品取放识别方法、装置及设备 | |
| CN111104841A (zh) | 暴力行为检测方法及*** | |
| CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
| JPWO2013122009A1 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
| CN111680546A (zh) | 注意力检测方法、装置、电子设备及存储介质 | |
| CN111415339A (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN115205547A (zh) | 一种目标图像的检测方法、装置、电子设备及存储介质 | |
| CN111738199A (zh) | 图像信息验证方法、装置、计算装置和介质 | |
| CN112101156A (zh) | 一种目标识别的方法、装置和电子设备 | |
| CN113240806B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN105678333B (zh) | 一种拥挤区域的确定方法和装置 | |
| CN112328822B (zh) | 图片预标注方法、装置及终端设备 | |
| CN110502961A (zh) | 一种面部图像检测方法及装置 | |
| EP2128820A1 (en) | Information extracting method, registering device, collating device and program | |
| CN111160314B (zh) | 一种暴力分拣的识别方法及装置 | |
| CN111814653A (zh) | 一种视频中异常行为的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |