CN109961457A - 一种收银防损方法及*** - Google Patents

一种收银防损方法及*** Download PDF

Info

Publication number
CN109961457A
CN109961457A CN201711421295.XA CN201711421295A CN109961457A CN 109961457 A CN109961457 A CN 109961457A CN 201711421295 A CN201711421295 A CN 201711421295A CN 109961457 A CN109961457 A CN 109961457A
Authority
CN
China
Prior art keywords
barcode scanning
video frame
target image
scanning process
image characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711421295.XA
Other languages
English (en)
Other versions
CN109961457B (zh
Inventor
徐争
孙兴星
徐鹏
於今
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bairong Zhixin Beijing Technology Co ltd
Original Assignee
Beijing Shun Zhixin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shun Zhixin Technology Co Ltd filed Critical Beijing Shun Zhixin Technology Co Ltd
Priority to CN201711421295.XA priority Critical patent/CN109961457B/zh
Publication of CN109961457A publication Critical patent/CN109961457A/zh
Application granted granted Critical
Publication of CN109961457B publication Critical patent/CN109961457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种收银防损方法及***，涉及收银防损技术领域，降低卖场的防损成本，提高防损效率。该收银防损方法包括：获取与扫码过程的视频文件对应的视频帧；查找视频帧中的目标图像特征，并在视频帧中标记目标图像特征的位置；其中，目标图像特征为视频帧中与待确认扫码物品对应的图像特征；根据相邻视频帧中目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；获取收银台中存储的扫码时间；判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间；当判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为异常扫码过程。

Description

一种收银防损方法及***
技术领域
本发明涉及收银防损技术领域，尤其涉及一种收银防损方法及***。
背景技术
现有的超市、商场等卖场中，通常采用人工收银的方式收取商品费用，然而，收银员在收银时，容易出现故意或无意漏扫的现象，即出现“飞单”的现象，造成卖场的经济损失。
为了减少卖场的经济损失，卖场通常配置防损专员，通过防损专员的监视和复检来进行防范，以减少卖场的经济损失，或者，卖场通常利用摄像头拍摄视频，通过人工监视或查询视频来进行防范，以减少卖场的经济损失。然而，上述防范方式对人的依赖性较大，造成卖场的防损成本高，且防损效率低。
发明内容
本发明的目的在于提供一种收银防损方法，用于降低卖场的防损成本，并提高防损效率。
为了实现上述目的，本发明提供如下技术方案：
一种收银防损方法，包括：
获取与扫码过程的视频文件对应的视频帧；
查找所述视频帧中的目标图像特征，并在所述视频帧中标记目标图像特征的位置；其中，所述目标图像特征为所述视频帧中与待确认扫码物品对应的图像特征；
根据相邻所述视频帧中所述目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；
获取收银台中存储的扫码时间；
判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间；
当判断存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为正常扫码过程；当判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为异常扫码过程。
优选地，查找所述视频帧中的目标图像特征，并在所述视频帧中标记目标图像特征的位置，包括：
提取所述视频帧中的图像特征；
对所述视频帧中的图像特征进行预测分类，并判断所述视频帧中的图像特征是否存在目标图像特征；
当判断所述视频帧中的图像特征存在目标图像特征时，对目标图像特征在该视频帧中的位置进行标记；当判断所述视频帧中的图像特征不存在目标图像特征时，不对该视频帧进行标记。
优选地，采用深度神经网络算法提取所述视频帧中的图像特征。
优选地，根据所述视频帧中所述目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间，包括：
将所述视频帧中所述目标图像特征的位置与上一视频帧中所述目标图像特征的位置进行比较，获取具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧；
根据具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧中，所述目标图像特征在各所述视频帧中的位置，绘制该待确认扫码物品的运动轨迹；
判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧；
当判断待确认扫码物品的运动轨迹为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧时，确定与该待确认扫码物品对应的所述目标图像特征首次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的起始时间，确定与该待确认扫码物品对应的所述目标图像特征末次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的结束时间。
优选地，采用邻近算法确定具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧，其中，邻近算法中的参数k＝1。
优选地，所述收银防损方法还包括：
根据异常扫码过程的起始时间和结束时间，获取异常扫码过程的视频文件；
根据与异常扫码过程的视频文件对应的所述视频帧中所述目标图像特征的位置，以及异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置；
播放标记有待确认扫码物品的运动轨迹以及位置的视频文件。
在本发明提供的收银防损方法中，通过对扫码过程的视频文件进行处理，获得与扫码过程的视频文件对应的视频帧；然后对视频帧进行处理，查找视频帧中与待确认扫码物品对应的目标图像特征，并在视频帧中标记目标图像特征的位置；然后根据相邻视频帧中目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；然后根据获取的收银台中存储的扫码时间、以及扫码过程的起始时间和结束时间，判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间，如果判断为是，则扫码过程为正常扫码过程，如果判断为否，则扫码过程为异常扫码过程，以便对异常扫码过程进行防损处理，以减少卖场的经济损失。因此，与现有技术中配置防损专员或者采用人工监视或查询的方式相比，可以在没有人的参与下即可实现异常扫码过程的识别和判断，本发明提供的收银防损方法对人的依赖性较小，从而可以降低卖场的防损成本，并提高防损效率。
本发明的目的在于提供一种收银防损***，用于降低卖场的防损成本，并提高防损效率。
为了实现上述目的，本发明提供如下技术方案：
一种收银防损***，包括：
视频文件处理单元，所述视频文件处理单元用于获取与扫码过程的视频文件对应的视频帧；
深度学习单元，所述深度学习单元与所述视频文件处理单元连接，所述深度学习单元用于查找所述视频帧中的目标图像特征，并在所述视频帧中标记目标图像特征的位置；其中，所述目标图像特征为所述视频帧中与待确认扫码物品对应的图像特征；
机器学习单元，所述机器学习单元与所述深度学习单元连接，所述机器学习单元用于根据相邻所述视频帧中所述目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；
扫码时间提取单元，所述扫码时间提取单元用于获取收银台中存储的扫码时间；
扫码过程判断单元，所述扫码过程判断单元分别与所述机器学习单元和所述扫码时间提取单元连接，所述扫码过程判断单元用于判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间；
扫码过程确定单元，所述扫码过程确定单元与所述扫码过程判断单元连接，当所述扫码过程判断单元判断存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，所述扫码过程确定单元确定该扫码过程为正常扫码过程；当所述扫码过程判断单元判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，所述扫码过程确定单元确定该扫码过程为异常扫码过程。
优选地，所述深度学习单元包括图像特征提取模块、目标图像特征判断模块和位置标记模块，其中，
所述图像特征提取模块与所述视频文件处理单元连接，所述图像特征提取模块用于提取所述视频帧中的图像特征；
所述目标图像特征判断模块与所述图像特征提取模块连接，所述目标图像特征判断模块用于对所述视频帧中的图像特征进行预测分类，并判断所述视频帧中的图像特征是否存在目标图像特征；
所述位置标记模块与所述目标图像特征判断模块连接，当所述目标图像特征判断模块判断所述视频帧中的图像特征存在目标图像特征时，所述位置标记模块对目标图像特征在该视频帧中的位置进行标记。
优选地，所述机器学习单元包括视频帧分类模块、运动轨迹绘制模块、运动轨迹判断模块和时间确定模块，其中，
所述视频帧分类模块与所述深度学习单元连接，所述视频帧分类模块用于将所述视频帧中所述目标图像特征的位置与上一视频帧中所述目标图像特征的位置进行比较，获取具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧；
所述运动轨迹绘制模块与所述视频帧分类模块连接，所述运动轨迹绘制模块用于根据具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧中，所述目标图像特征在各所述视频帧中的位置，绘制该待确认扫码物品的运动轨迹；
所述运动轨迹判断模块与所述运动轨迹绘制模块连接，所述运动轨迹判断模块用于判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧；
所述时间确定模块与所述运动轨迹判断模块连接，当所述运动轨迹判断模块判断待确认扫码物品的运动轨迹为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧时，所述时间确定模块用于确定与该待确认扫码物品对应的所述目标图像特征首次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的起始时间，所述时间确定模块还用于确定与该待确认扫码物品对应的所述目标图像特征末次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的结束时间。
优选地，所述收银防损***还包括视频文件获取单元、视频文件标记单元和视频播放单元，其中，
所述视频文件获取单元与所述扫码过程判断单元连接，所述视频文件获取单元用于根据异常扫码过程的起始时间和结束时间，获取异常扫码过程的视频文件；
所述视频文件标记单元分别与所述深度学习单元、所述机器学习单元和所述视频文件获取单元连接，所述视频文件标记单元用于根据与异常扫码过程的视频文件对应的所述视频帧中所述目标图像特征的位置，以及异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置；
所述视频播放单元与所述视频文件标记单元连接，所述视频播放单元用于播放标记有待确认扫码物品的运动轨迹以及位置的视频文件。
所述收银防损***与上述收银防损方法相对于现有技术所具有的优势相同，在此不再赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的收银防损方法的流程图；
图2为图1中步骤S2的流程图；
图3为图1中步骤S3的流程图；
图4为本发明实施例提供的收银防损***的结构示意图。
附图标记：
10-视频文件处理单元， 20-深度学习单元，
21-图像特征提取模块， 22-目标图像特征判断模块，
23-位置标记模块， 30-机器学习单元，
31-视频帧分类模块， 32-运动轨迹绘制模块，
33-运动轨迹判断模块， 34-时间确定模块，
40-扫码时间提取单元， 50-扫码过程判断单元，
60-扫码过程确定单元， 70-视频文件获取单元，
80-视频文件标记单元， 90-视频播放单元。
具体实施方式
为了进一步说明本发明实施例提供的收银防损方法及***，下面结合说明书附图进行详细描述。
请参阅图1，本发明实施例提供的收银防损方法包括：
步骤S1、获取与扫码过程的视频文件对应的视频帧。
举例来说，扫码过程的视频文件由安装在收银台上的监控器例如摄像机拍摄，监控器拍摄收银员在收银台处的所有画面，监控器拍摄获得的视频文件可以传输并存储在存储器例如网络硬盘录像机(Network Video Recorder，NVR)中，其中，监控器拍摄的视频文件以视频流的形式传输至存储器中，并存储在存储器中，然后，对视频文件进行解码与转码处理，将视频文件拆解为多个视频帧，例如，可以是将每秒内的视频文件拆解为25个视频帧，从而获取得到与扫码过程的视频文件对应的视频帧。
步骤S2、查找视频帧中的目标图像特征，并在视频帧中标记目标图像特征的位置；其中，目标图像特征为视频帧中与待确认扫码物品对应的图像特征。
具体地，在步骤S2中，对步骤S1中获取的每个视频帧进行处理，以查找视频帧中的目标图像特征，并在视频帧中标记目标图像特征的位置，其中，目标图像特征为视频帧中与待确认扫码物品对应的图像特征，例如，目标图像特征可以为工作人员如收银员手拿待确认扫码物品的等价表示，或者，目标图像特征可以为位于收银台的扫码区内的待确认扫码物品的等价表示，或者，目标图像特征可以为工作人员如收银员手握待确认扫码物品的手势的等价表示。需要注意的是，在本发明实施例中，“等价表示”为近似等价表示。
步骤S3、根据相邻视频帧中目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间。
具体地，根据相邻视频帧中目标图像特征的位置，可以绘制出扫码过程中待确认扫码物品从出现在视频帧逐渐到从视频帧中消失的运动轨迹，该运动轨迹也可以理解为待确认扫码物品在收银台的扫码区内的运动轨迹，根据待确认扫码物品从出现在视频帧所对应的时间以及从视频帧中消失所对应的时间，可以获取该待确认扫码物品的扫码过程的起始时间和结束时间。
步骤S4、获取收银台中存储的扫码时间。
举例来说，收银台通常包括销售终端(Point Of Sale，POS)，该销售终端记录有每次扫码时的扫码时间，对销售终端中扫码时间的存储结构进行解构，以获取扫码时间。
步骤S5、判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间。
步骤S6、当判断存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为正常扫码过程；当判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为异常扫码过程。
举例来说，在步骤S5中，根据扫码过程的起始时间与结束时间，查找步骤S4中获取的扫码时间中，位于扫码过程的起始时间与结束时间之间的扫码时间，当查找到有位于扫码过程的起始时间与结束时间之间的扫码时间时，则表明在该扫码过程中存在有效扫码，则确定该扫码过程为正常扫码过程；当未查找到位于扫码过程的起始时间与结束时间之间的扫码时间时，则表明在该扫码过程中不存在有效扫码，工作人员如收银员可能仅将待确认扫码物品由收银台的一侧穿过收银台的扫码区拿至收银台的另一侧，而未对待确认扫码物品进行扫码，则确定该扫码过程为异常扫码过程。当确定有异常扫码过程时，则可以对异常扫码过程进行防损处理，例如，当上述步骤均发生在工作人员如收银员的扫码过程中时，则可以进行报警处理，提醒工作人员如收银员扫码过程异常，进而提醒工作人员如收银员进行查验；当上述步骤发生在工作人员如收银员的扫码过程完成之后时，则可以提醒卖场进行查验异常扫码过程是否属实。
由上述可知，在本发明实施例提供的收银防损方法中，通过对扫码过程的视频文件进行处理，获得与扫码过程的视频文件对应的视频帧；然后对视频帧进行处理，查找视频帧中与待确认扫码物品对应的目标图像特征，并在视频帧中标记目标图像特征的位置；然后根据相邻视频帧中目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；然后根据获取的收银台中存储的扫码时间、以及扫码过程的起始时间和结束时间，判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间，如果判断为是，则扫码过程为正常扫码过程，如果判断为否，则扫码过程为异常扫码过程，以便对异常扫码过程进行防损处理，以减少卖场的经济损失。因此，与现有技术中配置防损专员或者采用人工监视或查询的方式相比，可以在没有人的参与下即可实现异常扫码过程的识别和判断，本发明实施例提供的收银防损方法对人的依赖性较小，从而可以降低卖场的防损成本，并提高防损效率。
值得一提的是，上述收银防损方法可以应用于工作人员如收银员的扫码过程中，也就是说，工作人员如收银员在扫码过程中，监视器对工作人员如收银员的扫码过程进行拍摄，此时，同时执行步骤S1至步骤S6，即在工作人员的收银过程中执行上述收银防损方法，及时对是否存在异常扫码过程进行判断，实现收银防损。
在实际应用中，上述收银防损方法还可以应用于工作人员如收银员的扫码过程之后，例如，可以在一天的营业结束后，对该天的扫码过程的视频文件进行处理，执行步骤S1至步骤S6，以判断该天是否存在异常扫码过程，以便卖场对该天的营业情况进行了解。
请参阅图2，在本发明实施例中，步骤S2、查找视频帧中的目标图像特征，并在视频帧中标记目标图像特征的位置，可以包括：
步骤S21、提取视频帧中的图像特征。
举例来说，提取视频帧中的图像特征时，可以对视频帧进行逐行扫码分析，或者，可以对视频帧进行逐层分析，以提取出视频帧中的图像特征，其中，图像特征可以理解为存在于视频帧中的物品的等价表示，每一种物品具有特定的图像特征进行等价表示。
步骤S22、对视频帧中的图像特征进行预测分类，判断视频帧中的图像特征是否存在目标图像特征。
具体地，将视频帧中的图像特征进行预测分类，然后对预测分类后的图像特征与所需图像特征进行比对，以判断视频帧中的图像特征是否存在目标图像特征。
步骤S23、当判断视频帧中的图像特征存在目标图像特征时，对目标图像特征在该视频帧中的位置进行标记；当判断视频帧中的图像特征不存在目标图像特征时，不对该视频帧进行标记。
当判断得知视频帧中的图像特征存在目标图像特征时，即视频帧中的图像特征存在与待确认扫码物品相关的图像特征时，则保留该视频帧，并在视频帧中标记出目标图像特征在该视频帧的位置，其中，目标图像特征在视频帧中的位置可以采用像素坐标来表示；当判断得知视频帧中的图像特征不存在目标图像特征时，即视频帧中的图像特征不存在与待确认扫码物品相关的图像特征时，则表明该视频帧与待确认扫码物品无关，则不对该视频帧进行标记，以免该视频帧干扰后续的判断和处理，其中，不存在目标图像特征的视频帧通常为处于上一个待确认扫码物品的扫码过程结束之后、下一个待确认扫码物品的扫码过程起始之前的视频帧，不对该视频帧进行标记，可以方便后续对待确认扫码物品的扫码过程的起始和结束进行判断。
上述实施例中，执行步骤S21、提取视频帧中的图像特征时，可以采用多种方式，例如，可以采用逐行扫描的方式提取视频帧中的图像特征；或者，在本发明实施例中，采用深度神经网络算法提取视频帧中的图像特征，例如，可以采用卷积神经网络算法来提取视频帧中的图像特征，此时，对视频帧进行多层分析，且相邻两层分析中，后一层分析均在前一层分析的结果的基础上进行，如此，可以提高对视频帧中的图像特征进行提取的准确率。
需要说明的是，上述实施例中，采用深度神经网络算法提取视频帧中的图像特征时，可以搭载在中央处理器(Central Processing Unit，CPU)上进行，或者，也可以搭载在图形处理器(Graphic Processing Unit，GPU)上进行，或者，也可以搭载在其它处理器上进行，优选地，采用深度神经网络算法提取视频帧中的图像特征时，搭载在图像处理器上进行，如此，可以提高提取视频帧中的图像特征的速度和效率。
请参阅图3，本发明实施例提供的收银防损方法中，步骤S3、根据视频帧中目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间，可以包括：
步骤S31、将视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置进行比较，获取具有与同一待确认扫码物品对应的目标图像特征的视频帧。
具体地，将视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置进行比较，以确定该视频帧中目标图像特征所等价表示的待确认扫码物品与上一视频帧中目标图像特征中目标图像特征所等价表示的待确认扫码物品的对应关系，即确定该视频帧中目标图像特征所等价表示的待确认扫码物品，与上一视频帧中目标图像特征中目标图像特征所等价表示的待确认扫码物品是否为同一待确认扫码物品，当确定为是时，则将该视频帧与上一视频帧归为具有与同一待确认扫码物品对应的目标图像特征的视频帧，依次对视频帧进行处理，以获取具有与同一待确认扫码物品对应的目标图像特征的视频帧。
步骤S32、根据具有与同一待确认扫码物品对应的目标图像特征的视频帧中，目标图像特征在各视频帧中的位置，绘制该待确认扫码物品的运动轨迹。
步骤S33、判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过收银台的扫码区运动到收银台的另一侧。
具体地，判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过收银台的扫码区运动到收银台的另一侧，即判断该待确认扫码物品的扫码过程是否为完整的扫码过程。
步骤S34、当判断待确认扫码物品的运动轨迹为由收银台的一侧穿过收银台的扫码区运动到收银台的另一侧时，确定与该待确认扫码物品对应的目标图像特征首次出现的视频帧所对应的时间为该待确认扫码物品的扫码过程的起始时间，确定与该待确认扫码物品对应的目标图像特征末次出现的视频帧所对应的时间为该待确认扫码物品的扫码过程的结束时间。
具体地，当判断待确认扫码物品的运动轨迹为由收银台的一侧穿过收银台的扫码区运动到收银台的另一侧时，即判断得知待确认扫码物品的扫码过程为完整的扫码过程时，则获取待确认扫码物品的扫码过程的起始时间和结束时间，其中，扫码过程的起始时间为与待确认扫码物品对应的目标图像特征首次出现的视频帧所对应的时间，扫码过程的结束时间为待确认扫码物品对应的目标图像特征末次出现的视频帧所对应的时间。
上述实施例中，确定具有与同一待确认扫码物品对应的目标图像特征的视频帧时，可以采用邻近算法来进行，通常视频帧中只会出现一个与待确认扫码物品对应的目标图像特征，因而邻近算法中的参数k取1，即k＝1。
值得一提的是，采用邻近算法时，将视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置进行比较，以确定该两个视频帧中的目标图像特征是否为与同一待确认扫码物品对应的目标图像特征时，为了防止将下一待确认扫码物品初次出现的视频帧中的目标图像特征与上一待确认扫码物品末次出现的视频帧中的目标图像特征归为一类，可以根据实际对相邻的两个视频帧中目标图像特征的位置之间的距离进行限定，当相邻的两个视频帧中目标图像特征的位置之间的距离大于限定距离时，则表明这两个视频帧中目标图像特征所对应的待确认扫码物品不是同一个，当相邻的两个视频帧中目标图像特征的位置之间的距离小于或等于限定距离时，表明这两个视频帧中目标图像特征所对应的待确认扫码物品是同一个，以此来确定两个视频帧中的目标图像特征是否为与同一待确认扫码物品对应的目标图像特征。
采用邻近算法时，将视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置进行比较，以确定该两个视频帧中的目标图像特征是否为与同一待确认扫码物品对应的目标图像特征，为了防止将下一待确认扫码物品初次出现的视频帧中的目标图像特征与上一待确认扫码物品末次出现的视频帧中的目标图像特征归为一类，还可以对视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置之间的方位进行限定，例如，限定当视频帧中目标图像特征的位置位于上一视频帧中目标图像特征的位置的右侧时，这两个视频帧中目标图像特征所对应的待确认扫码物品是同一个，因此，当将视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置进行比较，得知该视频帧中目标图像特征的位置位于上一视频帧中目标图像特征的位置的左侧时，则表明这两个视频帧中目标图像特征所对应的待确认扫码物品不是同一个，以此来确定两个视频帧中的目标图像特征是否为与同一待确认扫码物品对应的目标图像特征。
请参阅图1，在本发明实施例中，本发明实施例提供的收银防损方法还可以包括：
步骤S7、根据异常扫码过程的起始时间和结束时间，获取异常扫码过程的视频文件。
具体地，根据异常扫码过程的起始时间和结束时间，将位于异常扫码过程的起始时间和结束时间之间的视频文件从存储器例如网络硬盘录像机(Network VideoRecorder，NVR)中提取出来，即将异常扫码过程的视频文件提取出来。
步骤S8、根据与异常扫码过程的视频文件对应的视频帧中目标图像特征的位置，以及异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置。
具体地，将步骤S2中获得的与异常扫码过程的视频文件对应的视频帧中目标图像特征的位置，以及步骤S3中获得的异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置，即将异常扫码过程中待确认扫码物品的运动轨迹以及位置标记在视频文件中。
步骤S9、播放标记有待确认扫码物品的运动轨迹以及位置的视频文件。
将标记有待确认扫码物品的运动轨迹以及位置的视频文件播放出来，以供工作人员例如后台监控人员进行再次确认，以确认该视频文件对应的异常扫码过程是否属实，以提高对异常扫码过程判断的准确性。
请参阅图4，本发明实施例还提供一种应用如上述实施例所述的收银防损方法的收银防损***，所述收银防损***包括：视频文件处理单元10，视频文件处理单元10用于获取与扫码过程的视频文件对应的视频帧；深度学习单元20，深度学习单元20与视频文件处理单元10连接，深度学习单元20用于查找视频帧中的目标图像特征，并在视频帧中标记目标图像特征的位置；其中，目标图像特征为视频帧中与待确认扫码物品对应的图像特征；机器学习单元30，机器学习单元30与深度学习单元20连接，机器学习单元30用于根据相邻视频帧中目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；扫码时间提取单元40，扫码时间提取单元40用于获取收银台中存储的扫码时间；扫码过程判断单元50，扫码过程判断单元50分别与机器学习单元30和扫码时间提取单元40连接，扫码过程判断单元50用于判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间；扫码过程确定单元60，扫码过程确定单元60与扫码过程判断单元50连接，当扫码过程判断单元50判断存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，扫码过程确定单元60确定该扫码过程为正常扫码过程；当扫码过程判断单元50判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，扫码过程确定单元60确定该扫码过程为异常扫码过程。
所述收银防损***与上述收银防损方法相对于现有技术所具有的优势相同，在此不再赘述。
请继续参阅图4，在本发明实施例中，深度学习单元20包括图像特征提取模块21、目标图像特征提取模块22和位置标记模块23，其中，图像特征提取模块21与视频文件处理单元10连接，图像特征提取模块21用于提取视频帧中的图像特征；目标图像特征提取模块22与图像特征提取模块21连接，目标图像特征提取模块22用于对视频帧中的图像特征进行预测分类，并判断视频帧中的图像特征是否存在目标图像特征；位置标记模块23与目标图像特征提取模块22连接，当目标图像特征提取模块22判断视频帧中的图像特征存在目标图像特征时，位置标记模块23对目标图像特征在该视频帧中的位置进行标记。
请继续参阅图4，在本发明实施例中，机器学习单元30包括视频帧分类模块31、运动轨迹绘制模块32、运动轨迹判断模块33和时间确定模块34，其中，视频帧分类模块31与深度学习单元20连接，视频帧分类模块31用于将视频帧中目标图像特征的位置与上一视频帧中目标图像特征的位置进行比较，获取具有与同一待确认扫码物品对应的目标图像特征的视频帧；运动轨迹绘制模块32与视频帧分类模块31连接，运动轨迹绘制模块32用于根据具有与同一待确认扫码物品对应的目标图像特征的视频帧中，目标图像特征在各视频帧中的位置，绘制该待确认扫码物品的运动轨迹；运动轨迹判断模块33与运动轨迹绘制模块32连接，运动轨迹判断模块33用于判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过收银台的扫码区运动到收银台的另一侧；时间确定模块34与运动轨迹判断模块33连接，当运动轨迹判断模块33判断待确认扫码物品的运动轨迹为由收银台的一侧穿过收银台的扫码区运动到收银台的另一侧时，时间确定模块34用于确定与该待确认扫码物品对应的目标图像特征首次出现的视频帧所对应的时间为该待确认扫码物品的扫码过程的起始时间，时间确定模块34还用于确定与该待确认扫码物品对应的目标图像特征末次出现的视频帧所对应的时间为该待确认扫码物品的扫码过程的结束时间。
请继续参阅图4，本发明实施例提供的收银防损***还包括视频文件获取单元70、视频文件标记单元80和视频播放单元90，其中，视频文件获取单元70与扫码过程判断单元50连接，视频文件获取单元70用于根据异常扫码过程的起始时间和结束时间，获取异常扫码过程的视频文件；视频文件标记单元80分别与深度学习单元20、机器学习单元30和视频文件获取单元70连接，视频文件标记单元80用于根据与异常扫码过程的视频文件对应的视频帧中目标图像特征的位置，以及异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置；视频播放单元90与视频文件标记单元80连接，视频播放单元90用于播放标记有待确认扫码物品的运动轨迹以及位置的视频文件。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种收银防损方法，其特征在于，包括：
获取与扫码过程的视频文件对应的视频帧；
查找所述视频帧中的目标图像特征，并在所述视频帧中标记目标图像特征的位置；其中，所述目标图像特征为所述视频帧中与待确认扫码物品对应的图像特征；
根据相邻所述视频帧中所述目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；
获取收银台中存储的扫码时间；
判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间；
当判断存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为正常扫码过程；当判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，确定该扫码过程为异常扫码过程。
2.根据权利要求1所述的收银防损方法，其特征在于，查找所述视频帧中的目标图像特征，并在所述视频帧中标记目标图像特征的位置，包括：
提取所述视频帧中的图像特征；
对所述视频帧中的图像特征进行预测分类，并判断所述视频帧中的图像特征是否存在目标图像特征；
当判断所述视频帧中的图像特征存在目标图像特征时，对目标图像特征在该视频帧中的位置进行标记；当判断所述视频帧中的图像特征不存在目标图像特征时，不对该视频帧进行标记。
3.根据权利要求2所述的收银防损方法，其特征在于，采用深度神经网络算法提取所述视频帧中的图像特征。
4.根据权利要求1所述的收银防损方法，其特征在于，根据所述视频帧中所述目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间，包括：
将所述视频帧中所述目标图像特征的位置与上一视频帧中所述目标图像特征的位置进行比较，获取具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧；
根据具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧中，所述目标图像特征在各所述视频帧中的位置，绘制该待确认扫码物品的运动轨迹；
判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧；
当判断待确认扫码物品的运动轨迹为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧时，确定与该待确认扫码物品对应的所述目标图像特征首次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的起始时间，确定与该待确认扫码物品对应的所述目标图像特征末次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的结束时间。
5.根据权利要求4所述的收银防损方法，其特征在于，采用邻近算法确定具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧，其中，邻近算法中的参数k＝1。
6.根据权利要求1所述的收银防损方法，其特征在于，所述收银防损方法还包括：
根据异常扫码过程的起始时间和结束时间，获取异常扫码过程的视频文件；
根据与异常扫码过程的视频文件对应的所述视频帧中所述目标图像特征的位置，以及异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置；
播放标记有待确认扫码物品的运动轨迹以及位置的视频文件。
7.一种收银防损***，其特征在于，包括：
视频文件处理单元，所述视频文件处理单元用于获取与扫码过程的视频文件对应的视频帧；
深度学习单元，所述深度学习单元与所述视频文件处理单元连接，所述深度学习单元用于查找所述视频帧中的目标图像特征，并在所述视频帧中标记目标图像特征的位置；其中，所述目标图像特征为所述视频帧中与待确认扫码物品对应的图像特征；
机器学习单元，所述机器学习单元与所述深度学习单元连接，所述机器学习单元用于根据相邻所述视频帧中所述目标图像特征的位置，绘制扫码过程中待确认扫码物品的运动轨迹，并获取扫码过程的起始时间和结束时间；
扫码时间提取单元，所述扫码时间提取单元用于获取收银台中存储的扫码时间；
扫码过程判断单元，所述扫码过程判断单元分别与所述机器学习单元和所述扫码时间提取单元连接，所述扫码过程判断单元用于判断是否存在有位于扫码过程的起始时间与结束时间之间的扫码时间；
扫码过程确定单元，所述扫码过程确定单元与所述扫码过程判断单元连接，当所述扫码过程判断单元判断存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，所述扫码过程确定单元确定该扫码过程为正常扫码过程；当所述扫码过程判断单元判断不存在有位于扫码过程的起始时间与结束时间之间的扫码时间时，所述扫码过程确定单元确定该扫码过程为异常扫码过程。
8.根据权利要求7所述的收银防损***，其特征在于，所述深度学习单元包括图像特征提取模块、目标图像特征判断模块和位置标记模块，其中，
所述图像特征提取模块与所述视频文件处理单元连接，所述图像特征提取模块用于提取所述视频帧中的图像特征；
所述目标图像特征判断模块与所述图像特征提取模块连接，所述目标图像特征判断模块用于对所述视频帧中的图像特征进行预测分类，并判断所述视频帧中的图像特征是否存在目标图像特征；
所述位置标记模块与所述目标图像特征判断模块连接，当所述目标图像特征判断模块判断所述视频帧中的图像特征存在目标图像特征时，所述位置标记模块对目标图像特征在该视频帧中的位置进行标记。
9.根据权利要求7所述的收银防损***，其特征在于，所述机器学习单元包括视频帧分类模块、运动轨迹绘制模块、运动轨迹判断模块和时间确定模块，其中，
所述视频帧分类模块与所述深度学习单元连接，所述视频帧分类模块用于将所述视频帧中所述目标图像特征的位置与上一视频帧中所述目标图像特征的位置进行比较，获取具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧；
所述运动轨迹绘制模块与所述视频帧分类模块连接，所述运动轨迹绘制模块用于根据具有与同一待确认扫码物品对应的所述目标图像特征的所述视频帧中，所述目标图像特征在各所述视频帧中的位置，绘制该待确认扫码物品的运动轨迹；
所述运动轨迹判断模块与所述运动轨迹绘制模块连接，所述运动轨迹判断模块用于判断待确认扫码物品的运动轨迹是否为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧；
所述时间确定模块与所述运动轨迹判断模块连接，当所述运动轨迹判断模块判断待确认扫码物品的运动轨迹为由收银台的一侧穿过所述收银台的扫码区运动到所述收银台的另一侧时，所述时间确定模块用于确定与该待确认扫码物品对应的所述目标图像特征首次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的起始时间，所述时间确定模块还用于确定与该待确认扫码物品对应的所述目标图像特征末次出现的所述视频帧所对应的时间为该待确认扫码物品的扫码过程的结束时间。
10.根据权利要求7所述的收银防损***，其特征在于，所述收银防损***还包括视频文件获取单元、视频文件标记单元和视频播放单元，其中，
所述视频文件获取单元与所述扫码过程判断单元连接，所述视频文件获取单元用于根据异常扫码过程的起始时间和结束时间，获取异常扫码过程的视频文件；
所述视频文件标记单元分别与所述深度学习单元、所述机器学习单元和所述视频文件获取单元连接，所述视频文件标记单元用于根据与异常扫码过程的视频文件对应的所述视频帧中所述目标图像特征的位置，以及异常扫码过程中待确认扫码物品的运动轨迹，在异常扫码过程的视频文件中标记待确认扫码物品的运动轨迹以及位置；
所述视频播放单元与所述视频文件标记单元连接，所述视频播放单元用于播放标记有待确认扫码物品的运动轨迹以及位置的视频文件。
CN201711421295.XA 2017-12-25 2017-12-25 一种收银防损方法及*** Active CN109961457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711421295.XA CN109961457B (zh) 2017-12-25 2017-12-25 一种收银防损方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711421295.XA CN109961457B (zh) 2017-12-25 2017-12-25 一种收银防损方法及***

Publications (2)

Publication Number Publication Date
CN109961457A true CN109961457A (zh) 2019-07-02
CN109961457B CN109961457B (zh) 2023-06-23

Family

ID=67021062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711421295.XA Active CN109961457B (zh) 2017-12-25 2017-12-25 一种收银防损方法及***

Country Status (1)

Country Link
CN (1) CN109961457B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472870A (zh) * 2019-08-15 2019-11-19 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测***
CN111311848A (zh) * 2020-01-16 2020-06-19 青岛创捷中云科技有限公司 一种自助收银ai防损***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700061A (zh) * 2015-03-16 2015-06-10 歌尔声学股份有限公司 识别定位无效条码的方法及***
DE102016009647A1 (de) * 2015-08-13 2017-02-16 Newstore Inc. System und Verfahren für eine Mobilgeräte-Selbstbedienungskasse für Einzelhandelstransaktionen mit Verlustsicherung
WO2017035960A1 (zh) * 2015-09-01 2017-03-09 上海由零网络科技有限公司 一种基于移动摄像机的视频拍摄方法及移动摄像机
CN106558061A (zh) * 2015-09-29 2017-04-05 上海悠络客电子科技有限公司 一种基于云计算的收银防损方法及***
CN106683294A (zh) * 2016-12-14 2017-05-17 深圳市易捷通科技股份有限公司 一种零售收银防盗防损的收银设备及方案
CN107426535A (zh) * 2017-05-26 2017-12-01 中国石油大学(华东) 超市收银台货物防丢失视频处理***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700061A (zh) * 2015-03-16 2015-06-10 歌尔声学股份有限公司 识别定位无效条码的方法及***
DE102016009647A1 (de) * 2015-08-13 2017-02-16 Newstore Inc. System und Verfahren für eine Mobilgeräte-Selbstbedienungskasse für Einzelhandelstransaktionen mit Verlustsicherung
WO2017035960A1 (zh) * 2015-09-01 2017-03-09 上海由零网络科技有限公司 一种基于移动摄像机的视频拍摄方法及移动摄像机
CN106558061A (zh) * 2015-09-29 2017-04-05 上海悠络客电子科技有限公司 一种基于云计算的收银防损方法及***
CN106683294A (zh) * 2016-12-14 2017-05-17 深圳市易捷通科技股份有限公司 一种零售收银防盗防损的收银设备及方案
CN107426535A (zh) * 2017-05-26 2017-12-01 中国石油大学(华东) 超市收银台货物防丢失视频处理***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472870A (zh) * 2019-08-15 2019-11-19 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测***
CN110472870B (zh) * 2019-08-15 2023-02-28 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测***
CN111311848A (zh) * 2020-01-16 2020-06-19 青岛创捷中云科技有限公司 一种自助收银ai防损***及方法

Also Published As

Publication number Publication date
CN109961457B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111415461B (zh) 物品识别方法及***、电子设备
US11790433B2 (en) Constructing shopper carts using video surveillance
CN102881100B (zh) 基于视频分析的实体店面防盗监控方法
US9740977B1 (en) Method and system for recognizing the intentions of shoppers in retail aisles based on their trajectories
US8761517B2 (en) Human activity determination from video
CN111263224B (zh) 视频处理方法、装置及电子设备
US20150029339A1 (en) Whole Store Scanner
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算***
US20130336531A1 (en) Sequential event detection from video
CN108960038B (zh) 一种基于图像识别技术的购物手推车及其识别方法
Kejriwal et al. Product counting using images with application to robot-based retail stock assessment
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
JPWO2019171573A1 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
Nambiar et al. A multi-camera video dataset for research on high-definition surveillance
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN110998592A (zh) 用于零售***的非规范扫描
Penate-Sanchez et al. TGC20ReId: A dataset for sport event re-identification in the wild
CN112184751A (zh) 物体识别方法及***、电子设备
CN114898249A (zh) 用于购物车内商品数量确认的方法、***及存储介质
CN109961457A (zh) 一种收银防损方法及***
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN111260685B (zh) 视频处理方法、装置及电子设备
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
CN116110127A (zh) 一种多联动的加油站套现行为识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230525

Address after: Floor 1-3, Block A, Global Creative Plaza, No. 10, Furong Street, Chaoyang District, Beijing 100020

Applicant after: Bairong Zhixin (Beijing) Technology Co.,Ltd.

Address before: Room 116-26, 1st Floor, 101, Building 2, No. 8 Beichen West Road, Chaoyang District, Beijing, 100029

Applicant before: Beijing Shun Zhixin Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant