CN115546900A - 风险识别方法、装置、设备及存储介质 - Google Patents
风险识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115546900A CN115546900A CN202211490715.0A CN202211490715A CN115546900A CN 115546900 A CN115546900 A CN 115546900A CN 202211490715 A CN202211490715 A CN 202211490715A CN 115546900 A CN115546900 A CN 115546900A
- Authority
- CN
- China
- Prior art keywords
- behavior
- behavior data
- pedestrian
- data
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000006399 behavior Effects 0.000 claims abstract description 369
- 230000033001 locomotion Effects 0.000 claims abstract description 53
- 230000003542 behavioural effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012856 packing Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Alarm Systems (AREA)
Abstract
本申请实施例提供一种风险识别方法、装置、设备及存储介质。该方法包括:获取采集到的商品陈列处内的视频数据;基于视频数据,确定行人在商品陈列处内的运动轨迹;基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为,基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人。本申请能够缩短发现盗窃者的耗时、降低人工成本并提升发现效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种风险识别方法、装置、设备及存储介质。
背景技术
超市是一种很受人们欢迎的购物场所,在超市中顾客可以自由的购物,但是超市常常存在商品丢失的现象,给超市带来损失。
虽然大部分超市通过安装防盗报警门的方式来发现盗窃行为,但是此类防盗方式需要对每件商品贴防盗标签,一方面带来了额外的资金成本,另一方面也需要人力去贴标签。并且,由于超市内商品太多,并且有的商品不适合贴标签或者标签容易被损坏,因此通常超市只对部分商品使用了防盗标签,还是常有商品失窃的情况发生。为此,通常还需要通过人工回溯监控视频的方式来发现盗窃者,然而,这样的方式存在人工成本较高、耗时较长且效率较低的问题。
发明内容
本申请实施例提供一种风险识别方法、装置、设备及存储介质,用以解决现有技术中需要通过人工回溯监控视频的方式来发现盗窃者,人工成本较高、耗时较长且效率较低的问题。
第一方面,本申请实施例提供一种风险识别方法,包括:
获取采集到的商品陈列处内的视频数据;
基于所述视频数据,确定行人在所述商品陈列处内的运动轨迹;
基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内的行为数据中是否存在目标行为的行为数据,所述目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人。
第二方面,本申请实施例提供一种风险识别装置,包括:
获取模块,用于获取采集到的商品陈列处内的视频数据;
第一确定模块,用于基于所述视频数据,确定行人在所述商品陈列处内的运动轨迹;
第二确定模块,用于基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内的行为数据中是否存在目标行为的行为数据,所述目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
识别模块,用于基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人。
第三方面,本申请实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如第一方面中任一项所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被执行时,实现如第一方面中任一项所述的方法。
本申请实施例还提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现如第一方面任一项所述的方法。
在本申请实施例中,可以基于采集到的商品内的视频数据确定商品陈列处内行人的运动轨迹,基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为,基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人,实现了基于商品陈列处内的视频数据自动发现商品陈列处内存在盗窃风险的行人,从而能够缩短发现盗窃者的耗时,降低人工成本并提升效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的应用场景示意图;
图2为本申请一实施例提供的风险识别方法流程示意图;
图3为本申请另一实施例提供的风险识别方法流程示意图;
图4为本申请一实施例提供的风险识别装置的结构示意图;
图5为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
为了方便本领域技术人员理解本申请实施例提供的技术方案,下面先对技术方案实现的技术环境进行说明。
图1为本申请实施例提供的风险识别方法的应用场景示意图,如图1所示,该应用场景中可以包括商品陈列处11、拍摄装置12和电子设备13。其中,商品陈列处11是指能够用于进行商品陈列的任意类型的地点,示例性的,商品陈列处可以为商场专柜或商家门店等。拍摄装置12可以部署在商品陈列处11内,用于采集商品陈列处11内的视频数据。电子设备13可以获取拍摄装置12采集到的视频数据,并基于视频数据识别存在盗窃风险的行人。
目前,是通过人工回溯监控视频的方式来发现盗窃者,然而,这样的方式存在人工成本较高、耗时较长且效率较低的问题。
为了解决需要人工回溯监控视频来发现盗窃者,人工成本较高、耗时较长且效率较低的技术问题,在本申请实施例中,可以基于采集到的商品内的视频数据确定商品陈列处内行人的运动轨迹,基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为,基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人,实现了基于商品陈列处内的视频数据自动发现商品陈列处内存在盗窃风险的行人,从而能够缩短发现盗窃者的耗时,降低人工成本并提升效率。
需要说明的是,图1中是以拍摄装置12采集商品陈列处内的视频数据为例,可以理解的是,在其他实施例中在电子设备13具备图像采集功能时也可以由电子设备13采集商品陈列处内的视频数据。
需要说明的是,本申请实施例提供的方法可以应用于商超、超市、便利店、品牌专卖店等零售场景,可以用于在这些场景中进行风险识别,一个实施例中,可以应用在超市中,用于识别超市中存在风险的行人,由于在识别风险时利用了图像/视频技术,而图像/视频技术属于数字技术(Digital Technology),因此本申请实施例提供的方法能够赋能超市数字化。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突情况下,下述的实施例及实施例中的特征可以相互组合。
图2为本申请一实施例提供的风险识别方法的流程示意图,本实施例可以应用于图1中的电子设备13,具体可以由电子设备13的处理器执行。如图2所示,本实施例的方法可以包括:
步骤21,获取采集到的商品陈列处内的视频数据;
步骤22,基于视频数据,确定行人在商品陈列处内的运动轨迹;
步骤23,基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
步骤24,基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人。
本申请实施例中,作为前期准备,可以在商品陈列处内安装拍摄装置或者调整商品陈列处内原有拍摄装置的位置,使得拍摄装置可以拍摄商品陈列处内所有需要拍摄的场景,还可以安装电子设备用于获取所有拍摄装置的视频并进行分析。其中,拍摄装置可以用于采集商品陈列处内的视频数据,拍摄装置的数量可以为一个或多个,拍摄装置例如可以为摄像头、摄像机等,商品陈列处例如可以为超市,电子设备例如可以为计算机设备。
本申请实施例中,在获取到商品陈列处内的视频数据之后,可以基于视频数据确定行人在商品陈列处内的运动轨迹。其中,行人在商品陈列处内的运动轨迹可以用于描述行人在整个商品陈列处内所经过的位置,运动轨迹可以由按顺序排列的多个轨迹点组成,每个轨迹点可以用于描述时间点和位置。
在商品陈列处内部署的拍摄装置的数量为一个时,采用行人跟踪算法对拍摄装置采集到的视频数据进行处理,可以直接得到各行人在商品陈列处内的运动轨迹。
在商品陈列处内部署的拍摄装置的数量为多个时,可以先采用行人跟踪算法对同一拍摄装置采集的视频数据进行处理,得到同一拍摄装置下行人的运动轨迹,然后通过对不同拍摄装置下行人的运动轨迹进行合并,得到行人在商品陈列处内的运动轨迹。 需要说明的是,关于行人跟踪算法以及合并同一行人在不同拍摄装置下轨迹的具体实现,可以参考现有技术中的具体描述,在此不再赘述。
需要说明的是,一种可能的情况下是,商品陈列处内部分行人的运动轨迹是完整的轨迹,即该部分行人的运动轨迹可以完整的描述了行人从进入商品陈列处到离开商品陈列处的轨迹,而有的行人的运动轨迹可能是不完整的轨迹。
本申请实施例中,在确定商品陈列处内行人的运动轨迹之后,可以基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,其中,目标行为可以包括第一行为数据条件中涉及的行为以及第二行为数据条件中涉及的行为,第一行为数据条件用于描述商品陈列处内的盗窃者特有的行为数据特点,第二行为数据条件用于描述商品陈列处内工作人员特有的行为数据特点,工作人员例如可以为店员、供应商人员等在商品陈列处内工作的人员。
一个实施例中,可以通过确定行人在商品陈列处内是否存在目标行为的方式,确定行人在商品陈列处中的行为数据中是否存在目标行为的行为数据,基于此,步骤23具体可以包括:基于行人的运动轨迹,确定行人在商品陈列处内是否存在目标行为。其中,如果行人在商品陈列处内存在目标行为可以表示行人在商品陈列处中的行为数据中存在目标行为的行为数据;如果行人在商品陈列处内不存在目标行为可以表示行人在商品陈列处中的行为数据中不存在目标行为的行为数据。
一个实施例中,考虑到商品陈列处内行人的结账行为不容易检测,第一行为数据条件可以包括存在取货行为的行为数据且不存在被认为是已结账的行为的行为数据,从而可以检测出拿过商品但是没有结账的存在盗窃风险的行人。在此情况下,目标行为可以包括取货行为和被认为是已结账的行为。其中,被认为是已结账的行为具体可以与商品陈列处内的布局有关。
示例性的,被认为是已结账的行为的行为数据可以包括下述中的一个或多个:操作自助收银机的行为的行为数据、经过人工收银台的行为的行为数据、或者经过自助收银区且停留时长小于第一时长阈值的行为的行为数据。其中,取货行为、操作自助收银机的行为、经过人工收银台的行为、经过自助收银区的行为以及在自助收银区的停留时长可以基于轨迹并通过计算机视觉算法来实现,具体实现方式可以参考现有技术中的具体描述,在此不再赘述。
其中,在商品陈列处内设置有自助收银区的情况下,被认为是已结账的行为的行为数据可以包括经过自助收银区且停留时长小于第一时长阈值的行为的行为数据,第一时长阈值例如可以为1分钟。在商品陈列处内设置有自助收银机但是没有设置自助收银区的情况下,被认为是已结账的行为的行为数据可以包括操作自助收银机的行为的行为数据。在商品陈列处内设置有人工收银台的情况下,被认为是已结账的行为的行为数据可以包括经过人工收银台的行为的行为数据。
一个实施例中,考虑到实际生活中可能存在一人购物另一人结账的情况,第一行为数据条件还可以包括同行人也不存在被认为是已结账的行为的行为数据,从而可以在识别时考虑共同在商品陈列处内购物的行人,以减少出现对一人购物另一人结账的情况的误识别,有利于降低误识别率。
一个实施例中,在商品陈列处内分别设置员工通道和顾客通道的情况下,第二行为数据条件可以包括存在经过员工通道的行为的行为数据但不存在经过顾客通道的行为的行为数据,从而可以实现排除走员工通道而不走顾客通道的工作人员。在此情况下,目标行为可以包括经过员工通道的行为和经过顾客通道的行为。
本申请实施例中,在得到确定结果之后,可以基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人。应理解,满足第一行为数据条件但不满足第二行为数据条件的行人可以认为是存在盗窃风险的行人。
需要说明的是,第一行为数据条件中条件的数量可以为多个,在一行人的行为数据满足第一行为数据条件中的全部条件时,可以认为该行人满足第一行为数据条件。第二行为数据条件中条件的数量可以为多个,在一行人的行为数据不满足第二行为数据条件中的任意一个条件,可以认为该行人不满足第二行为数据条件。
一个实施例中,第二行为数据条件可以包括存在在商品陈列处内的停留时长超过第二时长阈值的行为的行为数据,和/或,存在在商品陈列处开始营业前或结束营业后仍出现在商品陈列处内的行为的行为数据。其中,第二时长阈值例如可以为3小时,行人在商品陈列处内停留的时间范围可以根据行人的运动轨迹确定。在此情况下,目标行为可以包括在商品陈列处内的停留时长超过第二时长阈值的行为,和/或,在商品陈列处开始营业前或结束营业后仍出现在商品陈列处内的行为。
一个实施例中,可以不对运动轨迹不完整的行人进行行为数据的判断,以避免出现由于运动轨迹不完整带来的误识别,有利于降低误识别率,基于此,目标行为还可以包括经过商品陈列处入口的行为和经过商品陈列处出口的行为;基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人,具体可以包括:基于确定结果,识别存在经过商品陈列处入口的行为的行为数据和经过商品陈列处出口的行为的行为数据的至少部分行人;基于确定结果,从至少部分行人中识别满足第一行为数据条件但不满足第二行为数据条件的行人。
一个实施例中,第一行为数据条件还可以包括存在被认为是携带商品的行为的行为数据,在此情况下,目标行为还可以包括被认为是携带商品的行为。示例性的,被认为是携带商品的行为的行为数据可以包括下述中的一个或多个:在商品陈列处内将商品装入包的行为的行为数据,在商品陈列处内将商品装在身上的行为的行为数据,出商品陈列处时身上带包的行为的行为数据,或者,出商品陈列处时购物车中有商品的行为的行为数据。
可选的,本申请实施例提供的方法还可以包括:输出用于提示满足第一行为数据条件但不满足第二行为数据条件的行人的告警信息,以便工作人员可以及时获知存在可能存在盗窃行为的行人,并进一步进行人工审核。需要说明的是,对于输出告警信息的具体方式,本申请不做限定。
或者,另一个实施例中,携带商品的行为可以作为较第一行为数据条件中所涉及行为更进一步的考虑对象,从而可以实现对可能存在盗窃行为的行人的可疑程度进行区分。基于此,目标行为还可以包括被认为是携带商品的行为;基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人之后,还可以包括:基于确定结果,确定满足第一行为数据条件但不满足第二行为数据条件的行人中,存在被认为是携带商品的行为的行为数据的行人。应理解,存在被认为是携带商品的行为的行为数据的行人,其风险程度是高于不存在被认为是携带商品的行为的行为数据的行人。
可选的,本申请实施例提供的方法还可以包括:按照存在被认为是携带商品的行为的行为数据的行人在前,不存在被认为是携带商品的行为的行为数据的行人在后的顺序,输出用于提示满足第一行为数据条件但不满足第二行为数据条件的行人的告警信息。从而使得工作人员可以优先审核风险程度较高的行人。
本实施例提供的风险识别方法,通过基于采集到的商品内的视频数据确定商品陈列处内行人的运动轨迹,基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为,基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人,实现了基于商品陈列处内的视频数据自动发现商品陈列处内存在盗窃风险的行人,从而能够缩短发现盗窃者的耗时,降低人工成本并提升效率。
以商品陈列处为超市为例,一个实施例中,风险识别方法的整体处理流程可以包括如图3所示的四个步骤:步骤31,***部署;步骤32,行人全场轨迹跟踪;步骤33,行为识别;以及,步骤34,盗窃行为决策,在步骤34中还可以对存在盗窃风险的行人进行风险分级,其中步骤31可以理解为前期准备,步骤32、步骤33和步骤34可以分别由三个功能模块实现。
由于真实超市内人员复杂,步骤34输出的任务不一定是盗窃者,因此还可以进行人工审核。对步骤34输出的存在盗窃风险的行人,最后可以通过人工审核是否真实存在盗窃行为,并实施拦截或进一步措施。
步骤31,***部署
***运行前需要进行部署。部署可以包括安装摄像机或调整摄像机的位置,使得摄像机可以拍摄超市内所有的场景,视频分辨率和拍摄方向可满足计算机算法的应用条件。安装计算机,计算机可以获取所有摄像头的视频并进行分析。
另外,还可以对摄像机画面中的内容进行标注。标注包括画面中特定区域及所代表的含义。需要标注的区域可以包括:自助结账区、人工收银台、员工通道、顾客通道和货架位置。其中,标注的自助结账区、人工收银台、员工通道和顾客通道可以用于行人经过区域的行为的识别,标注的货架位置可以用于取货行为的识别。
步骤32,行人全场轨迹跟踪
在本步骤中可以将行人从进入超市到离开超市之间,所经过的位置进行还原。计算机获取超市内所有摄像头的视频,并从画面内检测所有人并跟踪他们在画面内的运动轨迹。计算机将顾客在不同摄像机的运动轨迹进行合并,从而得到行人从进入超市到离开超市的所有运动轨迹。
步骤33,行为识别
在本步骤中所进行的行为识别可以包括取货识别、同行人识别、进入区域识别、操作自助结账机识别和其他动作的识别。
• 取货识别是指运行在计算机上的动作识别算法,通过标注的货架位置及画面中人的行为特征,判断行人是否从货架上拿走了商品,例如可以根据对行人的运动轨迹的图像进行图像检测得到的人体图像生成人体骨架运动模型,其中,人体骨架可以由点线表示,进一步的可以根据人体骨架和货架标注的距离关系以及手上是否拿有商品,进行取货动作的识别。取货识别也可通过其他方式实现,以得到更准确的结果,如深度摄像机、称重货架等,但成本较高。
• 同行人识别是指识别共同在超市购物的人,他们可能一同结账,或由另一人代为结账。例如,可以基于所有行人的运动轨迹进行同行人识别,得到行人的分组,同一分组内的行人之间可以认为是彼此的同行人。
• 进入区域识别是指对于行人途径某个标注区域的识别,这些区域是在***部署时标注的,例如顾客进入“自助结账区”,员工通过“员工通道”。例如,可以基于某个行人的运动轨迹进行进入区域识别,得到该行人是否进入标注区域的识别结果(在该行人进入某个标注区域时,可以得到该行人进入该标注区域的事件)以及对应的进入和离开的时间点。
• 操作自助结账机识别是指识别行人操作自助结账机的动作。例如,可以基于从某个行人的运动轨迹的图像检测到的人体画面进行动作识别,得到该行人是否操作自助结账机的识别结果。
• 识别其他动作可以包括:将商品装入包或袋子中,将商品装入衣服中,购物车中有商品。例如,可以基于从某个行人的运动轨迹的图像检测到的人体画面进行动作识别,得到该行人是否存在将商品装入包或袋子中这一动作的识别结果。
步骤34,盗窃行为决策
在本步骤中可以通过行人在超市内的运动轨迹和行为,评估行人是否为盗窃者,并按照行为的可疑程度进行排序。
• 盗窃者基本特征:拿过商品;没有经过人工收银台并没有经过自助收银区,并且也没有操作过自助收银机;有进入和离开超市的事件;并且,同行人也没有经过人工收银台并没有经过自助收银区,并且也没有操作过自助收银机。 其中,有进入和离开超市的事件用于排除不完整的运动轨迹。
• 排除工作人员:店员、供应商或者监督员等角色在超市中的行为有别于常规顾客,具有被判为疑似盗窃者的可能性,可以通过以下逻辑排除店员:经过员工通道并且并没有经过顾客通道;或者超市内停留超过3个小时;或者在超市开始营业前或闭店后扔出现在超市内。同时也可使用员工识别算法区分员工和顾客。
在满足盗窃者基本特征并且排除店员前提下,可以根据盗窃者行为特征进一步确定更可疑的盗窃者。
其中,用于进一步确定更可疑的盗窃者的行为可以包括:在超市内有将商品装入包/袋子的行为,或者在超市内有将商品装在身上的行为,或者出超市时身上带着包,或者出超市时购物车中有商品。需要说明的是,满足这四个条件中的任意一个可以被认定为高度疑似具有盗窃行为,店员可以优先审核。
需要说明的是,行人进入自助结账区后,或者操作自助结账机时,也可能发生盗窃行为(如漏扫、假扫、直接装包等),在结账机前的盗窃行为不是本实施例关注的范围。本实施例主要关注直接在场内拿取商品,从无购物通道等带离超市的情况。
本实施例可以只采用普通监控摄像机作为设备方案,只需要明确行人拿了商品,并通过行为逻辑发现偷盗行为,能够发现直接将商品匿藏在身体、衣服或包中直接通过无购物通道或其他非结账通道带出超市的盗窃行为,不需要对货架结构进行采造,实施和维护成本低且部署方便。
图4为本申请一实施例提供的风险识别装置的结构示意图;参考附图4所示,本实施例提供了一种识别装置,该装置可以执行上述实施例提供的风险识别方法,具体的,该装置可以包括:
获取模块41,用于获取采集到的商品陈列处内的视频数据;
第一确定模块42,用于基于视频数据,确定各行人在商品陈列处内的运动轨迹;
第二确定模块43,用于基于行人的运动轨迹,确定行人在商品陈列处内的行为数据中是否存在目标行为的行为数据,目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
识别模块44,用于基于确定结果,识别满足第一行为数据条件但不满足第二行为数据条件的行人。
一种可能的实现方式中,第二确定模块43具体用于:基于行人的运动轨迹,确定行人在商品陈列处内是否存在目标行为;行人在商品陈列处内存在目标行为表示行人在商品陈列处内的行为数据中存在目标行为的行为数据,行人在商品陈列处内不存在目标行为表示行人在商品陈列处内的行为数据中不存在目标行为的行为数据。
一种可能的实现方式中,第一行为数据条件包括存在取货行为的行为数据且不存在被认为是已结账的行为的行为数据。
一种可能的实现方式中,被认为是已结账的行为的行为数据包括下述中的一个或多个:操作自助收银机的行为的行为数据、经过人工收银台的行为的行为数据、或者经过自助收银区且停留时长小于第一时长阈值的行为的行为数据。
一种可能的实现方式中,第一行为数据条件还包括同行人不存在被认为是已结账的行为的行为数据。
一种可能的实现方式中,第二行为数据条件包括存在经过员工通道的行为的行为数据且不存在经过顾客通道的行为的行为数据。
一种可能的实现方式中,第二行为数据条件包括存在在商品陈列处内停留时长超过第二时长阈值的行为的行为数据,和/或,存在在商品陈列处开始营业前或结束营业后仍出现在商品陈列处内的行为的行为数据。
一种可能的实现方式中,第二行为数据条件还包括存在被认为是携带商品的行为的行为数据。
一种可能的实现方式中,被认为是携带商品的行为的行为数据包括下述中的一个或多个:在商品陈列处内将商品装入包的行为的行为数据,在商品陈列处内将商品装在身上的行为的行为数据,出商品陈列处时身上带包的行为的行为数据,或者,出商品陈列处时购物车中有商品的行为的行为数据。
一种可能的实现方式中,本实施例提供的装置还可以包括第一告警模块,用于输出用于提示满足第一行为数据条件但不满足第二行为数据条件的行人的告警信息。
一种可能的实现方式中,目标行为还包括被认为是携带商品的行为;识别模块44还用于:基于确定结果,确定满足第一行为数据条件但不满足第二行为数据条件的行人中,存在被认为是携带商品的行为的行为数据的行人。
一种可能的实现方式中,本实施例提供的装置还可以包括第二告警模块,按照存在被认为是携带商品的行为的行为数据的行人在前,不存在被认为是携带商品的行为的行为数据的行人在后的顺序,输出用于提示满足第一行为数据条件但不满足第二行为数据条件的行人的告警信息。
一种可能的实现方式中,识别模块44具体用于:基于确定结果,识别存在经过商品陈列处入口的行为的行为数据和经过商品陈列处出口的行为的行为数据的至少部分行人;基于确定结果,从至少部分行人中识别满足第一行为数据条件但不满足第二行为数据条件的行人。
图4所示装置可以执行图2所示实施例提供的方法,本实施例未详细描述的部分,可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述,在此不再赘述。
在一个可能的实现中,图4所示装置的结构可实现为一电子设备。如图5所示,该电子设备可以包括:处理器51和存储器52。其中,存储器52存储支持控制器执行上述图2所示实施例所提供方法的程序,处理器51被配置为用于执行存储器52中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器51执行时能够实现如下步骤:
获取采集到的商品陈列处内的视频数据;
基于所述视频数据,确定行人在所述商品陈列处内的运动轨迹;
基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内的行为数据中是否存在目标行为的行为数据,所述目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人。
可选的,处理器51还用于执行前述图2所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括通信接口53,用于电子设备与其他设备或通信网络通信。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被执行时,实现如图2所示实施例所述的方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、链表、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (16)
1.一种风险识别方法,其特征在于,包括:
获取采集到的商品陈列处内的视频数据;
基于所述视频数据,确定行人在所述商品陈列处内的运动轨迹;
基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内的行为数据中是否存在目标行为的行为数据,所述目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人。
2.根据权利要求1所述的方法,其特征在于,基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内的行为数据中是否存在目标行为的行为数据,包括:
基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内是否存在所述目标行为;所述行人在所述商品陈列处内存在所述目标行为表示所述行人在所述商品陈列处内的行为数据中存在目标行为的行为数据,所述行人在所述商品陈列处内不存在所述目标行为表示所述行人在所述商品陈列处内的行为数据中不存在目标行为的行为数据。
3.根据权利要求1所述的方法,其特征在于,所述第一行为数据条件包括存在取货行为的行为数据且不存在被认为是已结账的行为的行为数据。
4.根据权利要求3所述的方法,其特征在于,所述被认为是已结账的行为的行为数据包括下述中的一个或多个:操作自助收银机的行为的行为数据、经过人工收银台的行为的行为数据、或者经过自助收银区且停留时长小于第一时长阈值的行为的行为数据。
5.根据权利要求3所述的方法,其特征在于,所述第一行为数据条件还包括同行人不存在所述被认为是已结账的行为的行为数据。
6.根据权利要求1所述的方法,其特征在于,所述第二行为数据条件包括存在经过员工通道的行为的行为数据且不存在经过顾客通道的行为的行为数据。
7.根据权利要求1所述的方法,其特征在于,所述第二行为数据条件包括存在在所述商品陈列处内停留时长超过第二时长阈值的行为的行为数据,和/或,存在在所述商品陈列处开始营业前或结束营业后仍出现在所述商品陈列处内的行为的行为数据。
8.根据权利要求3所述的方法,其特征在于,所述第二行为数据条件还包括存在被认为是携带商品的行为的行为数据。
9.根据权利要求8所述的方法,其特征在于,所述被认为是携带商品的行为的行为数据包括下述中的一个或多个:在所述商品陈列处内将商品装入包的行为的行为数据,在所述商品陈列处内将商品装在身上的行为的行为数据,出所述商品陈列处时身上带包的行为的行为数据,或者,出所述商品陈列处时购物车中有商品的行为的行为数据。
10.根据权利要求1-8中任一项所述的方法,其特征在于,所述方法还包括:输出用于提示满足所述第一行为数据条件但不满足所述第二行为数据条件的行人的告警信息。
11.根据权利要求3-7中任一项所述的方法,其特征在于,所述目标行为还包括被认为是携带商品的行为;所述基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人之后,还包括:
基于所述确定结果,确定满足所述第一行为数据条件但不满足所述第二行为数据条件的行人中,存在所述被认为是携带商品的行为的行为数据的行人。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:按照存在所述被认为是携带商品的行为的行为数据的行人在前,不存在所述被认为是携带商品的行为的行为数据的行人在后的顺序,输出用于提示满足所述第一行为数据条件但不满足所述第二行为数据条件的行人的告警信息。
13.根据权利要求1所述的方法,其特征在于,所述目标行为还包括经过所述商品陈列处入口的行为和经过所述商品陈列处出口的行为,所述基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人,包括:
基于确定结果,识别存在经过所述商品陈列处入口的行为的行为数据和经过所述商品陈列处出口的行为的行为数据的至少部分行人;
基于所述确定结果,从所述至少部分行人中识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人。
14.一种风险识别装置,其特征在于,包括:
获取模块,用于获取采集到的商品陈列处内的视频数据;
第一确定模块,用于基于所述视频数据,确定行人在所述商品陈列处内的运动轨迹;
第二确定模块,用于基于所述行人的运动轨迹,确定所述行人在所述商品陈列处内的行为数据中是否存在目标行为的行为数据,所述目标行为包括预设的第一行为数据条件和第二行为数据条件中涉及的行为;
识别模块,用于基于确定结果,识别满足所述第一行为数据条件但不满足所述第二行为数据条件的行人。
15.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至13中任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被执行时,实现如权利要求1至13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211490715.0A CN115546900B (zh) | 2022-11-25 | 2022-11-25 | 风险识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211490715.0A CN115546900B (zh) | 2022-11-25 | 2022-11-25 | 风险识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115546900A true CN115546900A (zh) | 2022-12-30 |
CN115546900B CN115546900B (zh) | 2023-03-31 |
Family
ID=84722307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211490715.0A Active CN115546900B (zh) | 2022-11-25 | 2022-11-25 | 风险识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546900B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180240090A1 (en) * | 2017-02-22 | 2018-08-23 | Toshiba Tec Kabushiki Kaisha | Theft detection machine |
CN111241872A (zh) * | 2018-11-28 | 2020-06-05 | 杭州海康威视数字技术股份有限公司 | 视频图像遮挡方法及装置 |
CN111263224A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
WO2021238385A1 (zh) * | 2020-05-29 | 2021-12-02 | 北京沃东天骏信息技术有限公司 | 识别方法、设备、安防***及存储介质 |
CN114360182A (zh) * | 2020-09-27 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 一种智能告警方法、装置、设备及存储介质 |
CN115294525A (zh) * | 2022-08-06 | 2022-11-04 | 深圳进化动力数码科技有限公司 | 一种商场商品监管*** |
-
2022
- 2022-11-25 CN CN202211490715.0A patent/CN115546900B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180240090A1 (en) * | 2017-02-22 | 2018-08-23 | Toshiba Tec Kabushiki Kaisha | Theft detection machine |
CN111241872A (zh) * | 2018-11-28 | 2020-06-05 | 杭州海康威视数字技术股份有限公司 | 视频图像遮挡方法及装置 |
CN111263224A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
WO2021238385A1 (zh) * | 2020-05-29 | 2021-12-02 | 北京沃东天骏信息技术有限公司 | 识别方法、设备、安防***及存储介质 |
CN114360182A (zh) * | 2020-09-27 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 一种智能告警方法、装置、设备及存储介质 |
CN115294525A (zh) * | 2022-08-06 | 2022-11-04 | 深圳进化动力数码科技有限公司 | 一种商场商品监管*** |
Also Published As
Publication number | Publication date |
---|---|
CN115546900B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11676387B2 (en) | Method and apparatus for detecting suspicious activity using video analysis | |
CN102881100B (zh) | 基于视频分析的实体店面防盗监控方法 | |
JP5054670B2 (ja) | ビデオ分析を使用して不審挙動を検出する方法及び装置 | |
US7516888B1 (en) | Method and apparatus for auditing transaction activity in retail and other environments using visual recognition | |
US8448858B1 (en) | Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint | |
US20050102183A1 (en) | Monitoring system and method based on information prior to the point of sale | |
US20040098298A1 (en) | Monitoring responses to visual stimuli | |
US20080018738A1 (en) | Video analytics for retail business process monitoring | |
US11823459B2 (en) | Monitoring and tracking interactions with inventory in a retail environment | |
US20240144689A1 (en) | Method and apparatus for the detection of behaviours in a retail environment | |
Rajpurkar et al. | Alert generation on detection of suspicious activity using transfer learning | |
JP4159572B2 (ja) | 異常報知装置および異常報知方法 | |
CN115546900B (zh) | 风险识别方法、装置、设备及存储介质 | |
US11302161B1 (en) | Monitoring and tracking checkout activity in a retail environment | |
CN115546703B (zh) | 自助收银的风险识别方法、装置、设备及存储介质 | |
WO2006011804A1 (en) | System and method for the detection of persons | |
CN115565117B (zh) | 数据处理方法、装置、设备及存储介质 | |
JP2019133431A (ja) | 情報処理方法、情報処理装置、および情報処理プログラム | |
GB2596209A (en) | Surveillance system, method, computer programme, storage medium and surveillance device | |
CN115641548A (zh) | 异常检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231219 Address after: Room 801-6, No. 528 Yan'an Road, Gongshu District, Hangzhou City, Zhejiang Province, 310000 Patentee after: Zhejiang Shenxiang Intelligent Technology Co.,Ltd. Address before: Room 5034, building 3, 820 wenerxi Road, Xihu District, Hangzhou, Zhejiang 310000 Patentee before: ZHEJIANG LIANHE TECHNOLOGY Co.,Ltd. |