CN109145127B - 图像处理方法及装置、电子设备和存储介质 - Google Patents
图像处理方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN109145127B CN109145127B CN201810639814.8A CN201810639814A CN109145127B CN 109145127 B CN109145127 B CN 109145127B CN 201810639814 A CN201810639814 A CN 201810639814A CN 109145127 B CN109145127 B CN 109145127B
- Authority
- CN
- China
- Prior art keywords
- object image
- information
- image
- cache
- cache information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像处理方法及装置、电子设备和存储介质。所述方法包括:对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像;向服务器发送所述至少一个第二对象图像。本公开实施例可去除地理区域内的重复对象,降低通信开销和服务器的负荷。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种图像处理方法及装置、电子设备和存储介质。
背景技术
在需要进行监控的场所(例如商场、超市)中,可以通过摄像头等设备采集到访该场所的人员(例如顾客或工作人员)的图像,并通过处理设备采用不同的方式对图像进行分析处理。在对图像进行分析的过程中,需要采用其他手段对图像进行处理以获得到访人员的相关信息。
发明内容
本公开提出了一种图像处理技术方案。
根据本公开的一方面,提供了一种图像处理方法,包括:
对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;
对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像;
向服务器发送所述至少一个第二对象图像。
在一些可能的实现方式中,对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像,包括:
获取所述多个第一对象图像中的第三对象图像的特征信息;
确定所述第一地理区域对应的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,其中,所述第一缓存信息队列中包括至少一个缓存信息;
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像确定为所述第二对象图像。
在一些可能的实现方式中,在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,所述至少一个第二对象图像中不包括所述第三对象图像。
在一些可能的实现方式中,所述方法还包括:
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
在一些可能的实现方式中,确定所述第一地理区域的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,包括:
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度;
基于所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度,确定所述第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息。
在一些可能的实现方式中,所述缓存信息包括缓存特征信息;
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述至少一个缓存信息之间的相似度,包括:
确定所述第三对象图像的特征信息与所述第一缓存信息队列中的至少一个缓存特征信息中每个缓存特征信息之间的距离;
根据所述至少一个缓存特征信息对应的所述距离,确定所述第三对象图像与所述至少一个缓存信息之间的相似度。
在一些可能的实现方式中,所述第一地理区域为目标场所包括的多个地理区域中的一个。
在一些可能的实现方式中,所述方法应用于设置在目标场所的前端设备,所述前端设备连接到所述第一地理区域内设置的一个或多个拍摄装置。
根据本公开的另一方面,提供了一种图像处理方法,包括:
接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,其中,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的;
对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。
在一些可能的实现方式中,在对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果,包括:
对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像;
对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果。
在一些可能的实现方式中,对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像,包括:
获取所述至少一个第二对象图像中的第五对象图像的特征信息;
查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息;
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像,还包括:
在所述数据库中存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,查找所述第一地理区域的第二缓存信息队列中是否存在所述参考图像信息;
在所述第二缓存信息队列中不存在所述参考图像信息时,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,在所述第二缓存信息队列中存在所述参考图像信息时,所述至少一个第四对象图像中不包括所述第五对象图像。
在一些可能的实现方式中,所述方法还包括:
在所述第二缓存信息队列中不存在所述参考图像信息的情况下,将所述参考图像信息存入所述第二缓存信息队列中。
在一些可能的实现方式中,所述方法还包括:
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像的特征信息和/或所述第五对象图像分别存入所述数据库和所述第二缓存信息队列中。
在一些可能的实现方式中,所述数据库包括会员顾客数据库、工作人员数据库、异常顾客数据库及普通顾客数据库,
其中,查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息,包括:
依次查找所述会员顾客数据库、所述工作人员数据库、所述异常顾客数据库及所述普通顾客数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息。
在一些可能的实现方式中,所述识别结果包括所述目标对象的身份类别,
其中,对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果,包括:
在所述第四对象图像存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为与所述匹配的参考图像信息对应的第一身份类别;
在所述第四对象图像不存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为第二身份类别。
在一些可能的实现方式中,所述第二身份类别包括普通顾客身份类别,所述第一身份类别包括非普通顾客身份类别,所述非普通顾客身份类别包括会员顾客身份类别、工作人员身份类别、异常顾客身份类别中的一种或任意组合。
在一些可能的实现方式中,所述方法还包括:
根据所述目标对象的身份类别,确定所述第一地理区域在目标时间段内的第一群体统计结果,
其中,所述目标对象的图像的对应时间位于所述目标时间段内,所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种。
在一些可能的实现方式中,根据所述目标对象的身份类别,确定目标时间段内的第一群体统计结果,包括:
在所述目标对象存在匹配的参考图像信息的情况下,根据与所述匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,其特征在于,所述方法还包括:
向终端发送所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,所述方法还包括:
向终端发送所述目标对象的身份类别、身份及到访信息中的至少一种。
在一些可能的实现方式中,所述方法应用于服务器中,所述服务器通信连接到一个或多个前端设备。
根据本公开的另一方面,提供了一种图像处理装置,包括:
检测模块,用于对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;
去重模块,用于对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像;
第一发送模块,用于向服务器发送所述至少一个第二对象图像。
在一些可能的实现方式中,所述去重模块进一步配置为:
获取所述多个第一对象图像中的第三对象图像的特征信息;
确定所述第一地理区域对应的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,其中,所述第一缓存信息队列中包括至少一个缓存信息;
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像确定为所述第二对象图像。
在一些可能的实现方式中,在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,所述至少一个第二对象图像中不包括所述第三对象图像。
在一些可能的实现方式中,所述装置还包括:
第一存储模块,用于在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
在一些可能的实现方式中,所述去重模块进一步配置为:
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度;
基于所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度,确定所述第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息。
在一些可能的实现方式中,所述缓存信息包括缓存特征信息;
所述去重模块进一步配置为:
确定所述第三对象图像的特征信息与所述第一缓存信息队列中的至少一个缓存特征信息中每个缓存特征信息之间的距离;
根据所述至少一个缓存特征信息对应的所述距离,确定所述第三对象图像与所述至少一个缓存信息之间的相似度。
在一些可能的实现方式中,所述第一地理区域为目标场所包括的多个地理区域中的一个。
在一些可能的实现方式中,所述装置应用于设置在目标场所的前端设备,所述前端设备连接到所述第一地理区域内设置的一个或多个拍摄装置。
根据本公开的另一方面,提供了一种图像处理装置,包括:
接收模块,用于接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,其中,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的;
识别模块,用于对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。
在一些可能的实现方式中,所述识别模块进一步配置为:
对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像;
对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果。
在一些可能的实现方式中,所述识别模块进一步配置为:
获取所述至少一个第二对象图像中的第五对象图像的特征信息;
查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息;
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,所述识别模块进一步配置为:
在所述数据库中存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,查找所述第一地理区域的第二缓存信息队列中是否存在所述参考图像信息;
在所述第二缓存信息队列中不存在所述参考图像信息时,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,在所述第二缓存信息队列中存在所述参考图像信息时,所述至少一个第四对象图像中不包括所述第五对象图像。
在一些可能的实现方式中,所述装置还包括:
第二存储模块,用于在所述第二缓存信息队列中不存在所述参考图像信息的情况下,将所述参考图像信息存入所述第二缓存信息队列中。
在一些可能的实现方式中,所述装置还包括:
第三存储模块,用于在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像的特征信息和/或所述第五对象图像分别存入所述数据库和所述第二缓存信息队列中。
在一些可能的实现方式中,所述数据库包括会员顾客数据库、工作人员数据库、异常顾客数据库及普通顾客数据库,
其中,所述识别模块进一步配置为:
依次查找所述会员顾客数据库、所述工作人员数据库、所述异常顾客数据库及所述普通顾客数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息。
在一些可能的实现方式中,所述识别结果包括所述目标对象的身份类别,
其中,所述识别模块进一步配置为:
在所述第四对象图像存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为与所述匹配的参考图像信息对应的第一身份类别;
在所述第四对象图像不存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为第二身份类别。
在一些可能的实现方式中,所述第二身份类别包括普通顾客身份类别,所述第一身份类别包括非普通顾客身份类别,所述非普通顾客身份类别包括会员顾客身份类别、工作人员身份类别、异常顾客身份类别中的一种或任意组合。
在一些可能的实现方式中,所述装置还包括:
第一统计模块,用于根据所述目标对象的身份类别,确定所述第一地理区域在目标时间段内的第一群体统计结果,
其中,所述目标对象的图像的对应时间位于所述目标时间段内,所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种。
在一些可能的实现方式中,所述第一统计模块进一步配置为:
在所述目标对象存在匹配的参考图像信息的情况下,根据与所述匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,所述装置还包括:
第二发送模块,用于向终端发送所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,所述装置还包括:
第三发送模块,用于向终端发送所述目标对象的身份类别、身份及到访信息中的至少一种。
在一些可能的实现方式中,所述装置应用于服务器中,所述服务器通信连接到一个或多个前端设备。
根据本公开的另一方面,提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行上述图像处理方法。
根据本公开的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述图像处理方法。
在本公开实施例中,通过对地理区域内采集到的视频流进行目标对象检测得到多个第一对象图像;对多个第一对象图像去重处理得到多个第一对象图像中的至少一个第二对象图像;并向服务器发送至少一个第二对象图像,从而去除地理区域内的重复对象,降低通信开销和服务器的负荷。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开实施例的图像处理方法的流程图。
图2示出根据本公开实施例的图像处理方法的流程图。
图3示出根据本公开实施例的图像处理装置的框图。
图4示出根据本公开实施例的图像处理装置的框图。
图5示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出根据本公开实施例的图像处理方法的流程图。该图像处理方法可应用于前端设备,例如设置在目标场所的前置服务器或拍摄装置中。该方法包括:
在步骤S11中,对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;
在步骤S12中,对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像;
在步骤S13中,向服务器发送所述至少一个第二对象图像。
根据本公开实施例的图像处理方法,能够通过对采集到的视频流进行目标对象检测得到多个第一对象图像;对多个第一对象图像去重处理得到多个第一对象图像中的至少一个第二对象图像;并向服务器发送至少一个第二对象图像,从而去除第一地理区域内的重复对象,降低通信开销和服务器的负荷。
举例来说,需要进行监控的目标场所可以包括商店、商场、超市等任意场所,待识别的对象可以是出入目标场所的到访人员(例如顾客或工作人员等)。其中,纳入统计的目标场所可以有一个或多个(例如,某超市的一个门店或多个门店),每个目标场所中可以包括用户预先设定的一个或多个地理区域(例如,某商场的一楼区域、二楼区域;或者某商场的入口区域、出口区域、餐饮区域、母婴区域、电器区域等),每个目标场所也可以包括预先设定的地理区域和未预先设定的区域。可以在目标场所的各个区域中布置有拍摄装置(例如摄像头),每个区域中具有一个或多个拍摄装置,以便拍摄各个区域的视频。拍摄装置可以根据现场的实际环境进行勘测部署,至少在关键出入口部署,尽量全面地覆盖客流量和到访人员。
在一些可能的实现方式中,前端设备可以是设置在目标场所中的前置服务器。前端设备可连接到第一地理区域的一个或多个拍摄装置,以便接收来自拍摄装置的视频流或视频序列。前端设备能够对各个拍摄装置的视频流进行解码、选帧等操作,从而获得具有目标对象(例如人物)的对象图像。其中,可选地,第一地理区域为目标场所包括的多个地理区域中的一个。
在一些可能的实现方式中,前端服务器可以对第一地理区域的一个或多个拍摄装置拍摄的视频流进行解码处理,获得解码后的视频帧;通过追踪滤波器对视频帧进行追踪及选帧处理,选取其中包括待分析的第一对象的视频帧。然后,可以从视频帧中分割出多个第一对象图像。该第一对象图像可以是目标对象的面部图像、人体图像和包括有目标对象的视频帧中的任意一种。
在一些可能的实现方式中,步骤S12包括:
获取所述多个第一对象图像中的第三对象图像的特征信息;
确定所述第一地理区域对应的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,其中,所述第一缓存信息队列中包括至少一个缓存信息;
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像确定为所述第二对象图像。
举例来说,可对第一地理区域中的多个第一对象图像进行区域内的去重(重复对象图像去除)处理。其中,前端设备中可以设置有第一地理区域对应的第一缓存信息队列,第一缓存信息队列中缓存有一个或多个缓存信息,该缓存信息可以包括目标对象的图像(例如人脸图像和/或人体图像)和/或目标对象的特征信息(例如目标对象的面部特征信息和/或人体特征信息)。
其中,第一缓存信息队列可以包括一定时间段内在第一地理区域检测到的目标对象的图像信息,该一定时间段可以根据需要设置,例如5分钟等等。也即,可以将预设的时间段内到访的同一对象视为一次到访,以便在后续的处理中去除预设的时间段内到访的同一对象。
针对多个第一对象图像中的第三对象图像,可以对第三对象图像进行特征提取处理,得到第三对象图像的特征信息,其中,可选地,第三对象图像可以包括面部区域图像,相应地,该特征信息包括第三对象图像的面部特征信息,或第三对象图像包括人体区域图像,相应地,特征信息可以包括第三对象图像的面部特征信息和人体特征信息。也即,可以仅对第三对象图像进行面部特征提取处理,获得面部特征信息;也可以对第三对象图像进行面部特征提取处理和人体特征提取处理,获得面部特征信息和人体特征信息。本公开对特征提取的具体方式不作限制。
在一些可能的实现方式中,前端设备的第一缓存信息队列中包括至少一个缓存信息,缓存信息包括在第一地理区域的历史检测数据,例如一定时间段内检测到的对象图像信息,例如对象图像和/或对象图像的特征信息。可以为目标场所的多个地理区域中每个地理区域分别建立独立的缓存信息队列,也可以为目标场所的多个地理区域建立一个缓存信息队列或多个缓存信息队列,以使得部分或全部地理区域共享同一缓存信息队列,此时,可选地,可以通过地理区域的标识来区分缓存信息队列中属于不同地理区域的缓存信息,本公开实施例不限于此。
在一些可能的实现方式中,在确定第一地理区域的第三对象图像的特征信息后,可以在第一地理区域对应的第一缓存信息队列中进行搜索,查找是否存在与第三对象图像的特征信息匹配的缓存信息。
在一些可能的实现方式中,确定所述第一地理区域的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息的步骤包括:
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度;
基于所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度,确定所述第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息。
举例来说,可以将第三对象图像的特征信息和第一缓存信息队列中的至少一个缓存信息对应的特征信息进行比对,得到第三对象图像的特征信息与第一缓存信息队列中的至少一个缓存信息对应的特征信息之间的相似度。
其中,在一些可选例子中,缓存信息包括缓存特征信息,此时,缓存信息对应的特征信息可以为缓存信息中包含的缓存特征信息。或者,缓存信息中不包含缓存特征信息而包含缓存图像,则缓存信息对应的特征信息可以为缓存图像的特征信息,本公开实施例对此不做限定。
在一些可能的实现方式中,根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述至少一个缓存信息之间的相似度的步骤包括:
确定所述第三对象图像的特征信息与所述第一缓存信息队列中的至少一个缓存特征信息中每个缓存特征信息之间的距离;
根据所述至少一个缓存特征信息对应的所述距离,确定所述第三对象图像与所述至少一个缓存信息之间的相似度。
在一些可能的实现方式中,第三对象图像的特征信息可以是面部特征信息并且缓存信息对应的特征信息为缓存面部特征信息。此时,例如通过计算第三对象图像的面部特征信息和缓存面部特征信息之间的距离来确定第三对象图像与该面部特征信息所属缓存信息之间的相似度,其中,距离具体可以包括但不限于:余弦距离、欧式距离、马氏距离等。面部特征之间的距离越近,说明第三对象图像与缓存信息之间相似度越大,具体是否对应于同一个人可以通过设定阈值(例如:相似度为0.86)进行判断,例如,在第三对象图像与第一缓存信息队列中的某个缓存信息之间的相似度超过设定阈值,则确定第三对象图像的特征信息与该缓存信息匹配。该设定阈值的大小可根据实际情况进行调整,本公开实施例对其不做限定。
在一些可能的实现方式中,当第三对象图像与第一缓存信息队列中的至少一个缓存信息之间的相似度均不超过设定阈值时,认为第一地理区域的第一缓存信息队列中不存在与所述第三对象图像的特征信息匹配的缓存信息。此时,可以认为第三对象图像不存在重复图像,不需要对第三对象图像进行去重处理,可将第三对象图像确定为第二对象图像,并在后续流程中向服务器发送该第三对象图像。
在一些可能的实现方式中,所述方法还包括:
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
在一些可能的实现方式中,如果第一地理区域的第一缓存信息队列中不存在与所述第三对象图像的特征信息匹配的缓存信息,则可以将该第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中,以便对后续对象图像进行处理。
在一些可能的实现方式中,在所述第一缓存信息队列中存在与第三对象图像的特征信息匹配的缓存信息的情况下,所述至少一个第二对象图像中不包括所述第三对象图像。也就是说,当第三对象图像与第一缓存信息队列中的至少一个缓存信息之间的相似度超过设定阈值时,可认为第一地理区域的第一缓存信息队列中存在与所述第三对象图像的特征信息匹配的缓存信息。此时,可以认为第三对象图像为重复图像,需要对第三对象图像进行去重处理。该情况下,可确定至少一个第二对象图像中不包括所述第三对象图像,也就是说,将第三对象图像从多个第一对象图像中去除,这样,在完成筛选之后,多个第一对象图像中保留的对象图像为第二对象图像。
在一些可能的实现方式中,当第三对象图像与第一缓存信息队列中的某个缓存信息的相似度大于预设阈值,说明这两个对象图像(第三对象图像与第一缓存信息队列中的某个缓存信息)可能对应同一人,为了减轻后续处理的压力,对同一个人仅保留一个对象图像即可,此时可以直接删除新接收的对象图像,或将该对象图像与预存对象图像(第一缓存信息队列中的缓存信息)进行质量比较,当新接收的对象图像质量更好时,采用新接收的对象图像替换图像队列中预存的对象图像;在识别到是重复图像时,可以对该对象图像对应的出现次数进行累加并记录,以便对统计型的后续处理提供信息;当判断对象图像不是重复图像时,将该对象图像加入图像队列,以便后续对其他新接收的对象图像进行相似度匹配时可准确识别。
在一些可能的实现方式中,在确定多个第一对象图像中的至少一个第二对象图像后,可将至少一个第二对象图像上传到服务器,以便服务器对至少一个第二对象进行进一步的分析处理。
在一些可能的实现方式中,前端设备对第一地理区域采集到的视频流进行目标对象检测,得到多个第一对象图像的步骤还包括:
前端设备对第一地理区域采集到的视频流进行目标检测,得到多个对象图像;
对获得的所述多个对象图像执行过滤操作,得到图像质量达到第一预设条件的多个第一对象图像。
在一些可能的实现方式中,可通过人脸角度、人脸宽高度和人脸模糊度等对对象图像的显示质量进行评价,但本实施例不限制具体基于什么指标对对象图像的显示质量进行评价,从而获得显示质量达标的对象图像。
对获得的多个对象图像执行过滤操作,包括:
对获得的多个对象图像分别基于对象图像对应的人脸属性进行过滤。
其中,人脸属性用于表示对象图像中人脸的显示质量;
在一些可能的实现方式中,人脸属性包括但不限于以下一项或多项:人脸角度、人脸宽高值、人脸模糊度;更具体的,人脸角度可以包括但不限于:yaw水平转角,用于表示人脸在水平方向的转向角度;pitch俯仰角,用于表示人脸在垂直方向的转动角度;roll倾斜角,用于表示人脸在垂直方向的偏转角度。
在一些可能的实现方式中,对获得的多个对象图像分别基于人脸属性进行过滤,包括:
获取对象图像中的人脸对应的人脸属性,对人脸属性进行判断;
将至少一个对象图像中的各对象图像与图像队列中预存的对象图像进行匹配,包括:
响应于人脸角度在第一预设范围内、人脸宽高值大于第二预设阈值、
和/或人脸模糊度小于第三预设阈值,将至少一个对象图像中的各对象图像与图像队列中预存的对象图像进行匹配。
还包括:
响应于人脸角度不在第一预设范围内、人脸宽高值小于或等于第二预设阈值、和/或人脸模糊度大于或等于第三预设阈值,删除该对象图像。
在一些可能的实现方式中,第一预设范围可以设置为±20°(具体数值可根据具体情况进行设置),当人脸角度中的yaw水平转角、pitch俯仰角和roll倾斜角都在±20°之间时(三种角度可以设置为相同范围或不同范围);人脸宽高度具体包括人脸宽度和人脸高度(一般通过detect返回,可以通过设置进行过滤;例如:设置为50像素,宽度和高度小于50像素的对象图像可认为是不符合条件的,宽度和高度可以设置为不同值或相同值);人脸模糊度(一般通过SDK-alignment返回,可设置不同值,例如:设置为0.7,模糊度大于0.7的认为是质量差的对象图像)。±20°、50像素、0.7为各项阈值,可调节。
和/或,对获得的多个对象图像分别基于对象图像中的人脸角度进行过滤;人脸角度用于表示对象图像中人脸的偏转角度。偏转角度是相对于标准正脸的,标准正脸指人脸在水平、垂直和倾斜方向的角度均为0的人脸,可将该人脸作为原点计算人脸的偏转角度。
和/或,对从视频流获得的多帧对象图像执行过滤操作。通过对视频流中的多帧对象图像执行过滤,可以实现基于对象图像从视频流中选帧的目的,通过选帧获得的视频帧中的对象图像都是符合第一预设条件的。
在一个或多个可选实施例中,人脸轨迹还包括对应对象图像的时间戳,时间戳对应对象图像开始执行过滤操作的时间;
基于三维向量到源点的距离对人脸轨迹中的对象图像进行过滤,包括:
基于三维向量到源点的距离,获得第一设定时长内人脸轨迹中各对象图像中对应距离最小的对象图像,保存对应距离最小的对象图像。
通过在设定时间长内的对象图像进行过滤,获得在该时长内人脸轨迹中质量最好的,即实现了获得质量较佳的对象图像,并且加快了处理速度,后续可以基于多个设定时长获得的质量最佳的对象图像建立新的人脸轨迹,基于新的人脸轨迹再基于质量过滤,获得多个设定时长中所有对象图像中质量最好的对象图像。
图2示出根据本公开实施例的图像处理方法的流程图。该图像处理方法可应用于服务器,例如云端服务器。如图2所示,该方法包括:
在步骤S21中,接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,其中,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的;
在步骤S22中,对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。
根据本公开实施例的图像处理方法,通过接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,并对至少一个第二对象图像进行识别处理,得到第一地理区域的识别结果,从而识别第一地理区域中的对象图像,提高了图像处理的准确度。
举例来说,服务器可例如包括云服务器,云服务器可提供对第三方平台的对接能力;可以包括基于人脸的会员***,可用于会员的识别、管理、运营、精准营销等;可进行区域(全局)的客流统计,具体到每个区域的人数人次,用于热点区域排行,顾客动线的优化分析等;可基于人脸识别能力和具体的场景,沟通针对场景的业务。
在一些可能的实现方式中,服务器可以通信连接到一个或多个前端设备,前端设备可分别属于一个或多个目标场所,或者目标场所的一个或多个第一地理区域。服务器可接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的。这样,根据用户预先设定的第一地理区域,可以获取到该第一地理区域中的第二对象图像。
在一些可能的实现方式中,服务器可在步骤S22中对至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。其中,步骤S22包括:
对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像;
对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果。
举例来说,服务器可对至少一个第二对象图像再次进行去重处理,确定对至少一个第二对象图像中去重后的至少一个第四对象图像。
其中,对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像的步骤包括:
获取所述至少一个第二对象图像中的第五对象图像的特征信息;
查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息;
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像确定为第四对象图像。
在本公开实施例中,可以在服务器中设置数据库,数据库中存储一条或多条参考图像信息,其中,参考图像信息可以包括参考图像和/或参考图像的特征信息,或者进一步包括其他信息,可选地,该参考图像信息可以关联有人物身份信息、历史到访信息、历史购买记录、购买喜好等信息,本公开实施例对此不做限定。
在一些可能的实现方式中,针对至少一个第二对象图像中的第五对象图像,可对第五对象图像进行特征提取处理,得到第五对象图像的特征信息,该特征信息包括第五对象图像的面部特征信息,或第五对象图像的面部特征信息和人体特征信息。也即,可以仅对第五对象图像中对象的人脸进行面部特征提取处理,获得面部特征信息;也可以对第五对象图像中对象的人脸和人体进行面部特征提取处理和人体特征提取处理,获得面部特征信息和人体特征信息。本公开对特征提取的具体方式不作限制。通过这种方式,可以提高特征提取的准确性。
在一些可能的实现方式中,在确定第五对象图像的特征信息后,可在数据库中进行搜索,查找是否存在与第五对象图像的特征信息匹配的参考图像信息。例如,可以分别确定数据库中的参考图像信息对应的特征信息与第五对象图像的特征信息之间的相似度,并将相似度大于或等于相似度阈值的参考图像信息作为与第五对象图像的特征信息匹配的参考图像信息。
在一些可能的实现方式中,如果数据库中不存在与第五对象图像的特征信息匹配的参考图像信息,则可认为第五对象图像的对象不是数据库中已存的对象,也不是重复对象,需要对第五对象图像进行后续处理。该情况下,可以将该第五对象图像确定为至少一个第二对象图像中的第四对象图像。
在一些可能的实现方式中,对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像的步骤还包括:
在所述数据库中存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,查找所述第一地理区域的第二缓存信息队列中是否存在所述参考图像信息;
在所述第二缓存信息队列中不存在所述参考图像信息时,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,服务器中可以设置有第二缓存信息队列,第二缓存信息队列中缓存有一个或多个参考图像信息,该参考图像信息可以包括参考对象图像(例如人脸图像)和/或参考对象的特征信息(例如面部特征信息)。其中,第二缓存信息队列中的参考图像信息可以保存预设的时间段,例如5分钟。也即,可以将预设的时间段内到访的同一对象视为一次到访,以便在后续的处理中去除预设的时间段内到访的同一对象。
在一些可能的实现方式中,如果数据库中存在与第五对象图像的特征信息匹配的参考图像信息,则可认为第五对象图像是数据库中已存的对象。该情况下,可查找第一地理区域的第二缓存信息队列中是否存在所述参考图像信息。如果第二缓存信息队列中不存在所述参考图像信息,则可认为第五对象图像的对象不是重复对象,需要对第五对象图像进行后续处理。该情况下,可以将该第五对象图像确定为至少一个第二对象图像中的第四对象图像。
在一些可能的实现方式中,在所述第二缓存信息队列中存在所述参考图像信息时,所述至少一个第四对象图像中不包括所述第五对象图像。也即,如果第二缓存信息队列中存在所述参考图像信息,则可认为第五对象图像是重复对象,需要对第五对象图像进行去重处理,使得至少一个第四对象图像中不包括该第五对象图像。
在一些可能的实现方式中,所述方法还包括:
在所述第二缓存信息队列中不存在所述参考图像信息的情况下,将所述参考图像信息存入所述第二缓存信息队列中。举例来说,如果所述第二缓存信息队列中不存在所述参考图像信息时,则可认为第五对象图像中的对象是数据库中已存的对象,但不是重复对象。在该情况下,可以将与所述第五对象图像的特征信息匹配的参考图像信息存入第二缓存信息队列中,以便后续对其他新接收的对象图像进行相似度匹配时可准确识别。
在一些可能的实现方式中,所述方法还包括:
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像的特征信息和/或所述第五对象图像分别存入所述数据库和所述第二缓存信息队列中。
举例来说,如果数据库中不存在与第五对象图像的特征信息匹配的参考图像信息,则可以认为第五对象图像的对象不是数据库中已存的对象,也不是重复对象。在该情况下,可将第五对象图像的特征信息和/或第五对象图像分别存入所述数据库和所述第二缓存信息队列中,以便后续对其他新接收的对象图像进行相似度匹配时可准确识别。
在一些可能的实现方式中,可以设置多个数据库。不同的数据库可以对应不同的身份类别,例如黑名单、白名单、会员、普通顾客中的一种或任意组合,或者为其他不同的身份类别,本公开实施例对此不做限定。
在一些可能的实现方式中,多个数据库包括会员顾客数据库(会员数据库)、工作人员数据库(白名单数据库)、异常顾客数据库(黑名单数据库)及普通顾客数据库。
其中,查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息的步骤包括:
依次查找所述会员顾客数据库、所述工作人员数据库、所述异常顾客数据库及所述普通顾客数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息。
举例来说,当多个数据库包括会员顾客数据库、工作人员数据库、异常顾客数据库及普通顾客数据库时,可以依次对这些数据库进行搜索,确定各个数据库中是否存在与第五对象图像的特征信息匹配的参考图像信息。
在一些可能的实现方式中,可首先在会员顾客数据库中进行搜索;如果在会员顾客数据库搜索到了匹配结果(参考图像信息),则表示本次到访人员(目标对象)的身份类别为会员顾客身份类别。此时,可将此次到访记录同匹配的该会员关联,可以记录该会员的本次到访的到访信息,例如到访时间、采集摄像头信息等等,并将该会员的到访记录加一,并结束本次到访事件的搜索。可选地,还可以向客户端APP上推送该会员的到访事件,如果在会员顾客数据库未搜索到匹配结果,则继续在下一个人脸数据库(工作人员数据库)中进行搜索。
在一些可能的实现方式中,可在工作人员数据库中进行搜索;如果在工作人员数据库搜索到了匹配结果(参考图像信息),则表示本次到访人员(目标对象)的身份类别为工作人员身份类别(门店店员身份类别)。此时,可以结束本次到访事件的搜索。如果在工作人员数据库未搜索到匹配结果,则继续在下一个人脸数据库(异常顾客数据库)中进行搜索。
在一些可能的实现方式中,可在异常顾客数据库中进行搜索;如果在异常顾客数据库搜索到了匹配结果(参考图像信息),则表示本次到访人员(目标对象)的身份类别为异常顾客身份类别(黑名单身份类别)。此时,可以结束本次到访事件的搜索。可选地,可以记录该黑名单人员的本次到访的到访信息,例如到访时间、采集摄像头信息等等,并将该黑名单人员的到访次数加一。可选地,还可以向客户端APP上推送该黑名单人员到访的报警信息。如果在异常顾客数据库未搜索到匹配结果,则继续在下一个人脸数据库(普通顾客数据库)中进行搜索。
在一些可能的实现方式中,可在普通顾客数据库(门店动态顾客库)中进行搜索;如果在普通顾客数据库搜索到了匹配结果,则表示本次到访人员(目标对象)的身份类别为普通顾客身份类别。此时,可以结束本次到访事件的搜索。可选地,还可以记录该普通顾客的本次到访的到访信息,例如到访时间、采集摄像头信息等等,并将该普通顾客的到访记录加一。如果在普通顾客数据库未搜索到匹配结果,则将该顾客的图像和/或特征信息添加到这个门店的普通顾客数据库中,表示该门店来了一个新顾客,结束本次搜索。
通过这种方式,可以依次对各类数据库(人脸照片分库)进行比对,提高了比对效率和准确率。
在一些可能的实现方式中,对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果的步骤包括:
在所述第四对象图像存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为与所述参考图像信息对应的第一身份类别;
在所述第四对象图像不存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为第二身份类别。
举例来说,服务器在对至少一个第二对象图像进行去重处理,得到至少一个第二对象图像中去重后的至少一个第四对象图像后,可对至少一个第四对象图像进行身份识别处理。
在一些可能的实现方式中,如果第四对象图像存在匹配的参考图像信息,也即数据库中存在与该第四对象图像的特征信息匹配的参考图像信息,则可以将该第四对象图像中的目标对象的身份类别确定为与所述匹配的参考图像信息对应的第一身份类别。例如,当匹配的参考图像信息对应的第一身份类别为会员顾客身份类别时,可将该第四对象图像中的目标对象的身份类别确定为会员顾客身份类别。
在一些可能的实现方式中,如果第四对象图像不存在匹配的参考图像信息,也即数据库中不存在与该第四对象图像的特征信息匹配的参考图像信息,则第四对象图像的对象为新增的对象,可以为第四对象图像中的目标对象分配身份类别,将该第四对象图像中的目标对象的身份类别确定为第二身份类别。例如,可将第四对象图像中的目标对象的身份类别确定为普通顾客身份类别。也就是说,在该情况下,可将目标对象的身份类别确定为普通顾客身份类别,但本公开实施例对此不做限定。
在一些可能的实现方式中,第二身份类别包括普通顾客身份类别,第一身份类别包括非普通顾客身份类别,所述非普通顾客身份类别包括会员顾客身份类别、工作人员身份类别、异常顾客身份类别中的一种或任意组合。
在一些可能的实现方式中,所述方法还包括:
根据所述目标对象的身份类别,确定所述第一地理区域在目标时间段内的第一群体统计结果,
其中,所述目标对象的图像的对应时间位于所述目标时间段内,所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种。
其中,所述目标对象的图像的对应时间位于所述目标时间段内,例如目标对象的图像的采集时间位于目标时间段内,或者电子设备获取到目标对象的图像或目标对象的图像的特征信息的时间位于第一时间段内,等等。所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种,每个目标场所内设置有一个或多个拍摄装置。
举例来说,可以根据用户的设定,对至少一个目标场所(例如某超市的一个门店、多个门店和/或所有门店)、至少一个拍摄装置的拍摄区域(例如,一个摄像头的拍摄区域、多个摄像头的拍摄区域)、具有一个或多个摄像头的地理区域(例如某门店的入口区域、生鲜区域等)和/或多个地理区域进行群体统计,形成群体统计结果(总客流统计数据和区域客流统计数据)。群体统计结果包括预先设定的目标时间段内的来访人员的来访数量、来访人次、年龄分布及性别分布等。目标时间段可以是预先设定的时间段,例如一季度、一月、一周、一天、一小时等。本公开对目标时间段的具体取值不作限制。
在一些可能的实现方式中,可根据目标对象的身份类别,确定目标时间段内的第一群体统计结果。其中,第一群体统计结果包括至少一个目标场所在所述目标时间段内的到访人数和到访人次中的至少一种。例如,第一群体统计结果包括当日到访人数、当日到访人次等。
在一些可能的实现方式中,根据所述目标对象的身份类别,确定目标时间段内的第一群体统计结果的步骤包括:
在所述目标对象存在匹配的参考图像信息的情况下,根据与所述匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果。
举例来说,与所述目标对象匹配的参考图像信息的历史匹配数据包括该参考图像信息对应的人物的出现时间(例如,最近出现时间)。
在一些可能的实现方式中,如果多个数据库中存在与所述目标对象匹配的参考图像信息,则可以查看该匹配的参考图像信息的历史匹配数据。根据历史匹配数据、目标对象的图像的对应时间及目标对象的身份类别和/或身份,来确定第一群体统计结果。
在所述多个数据库中存在与所述目标对象匹配的参考图像信息的情况下,根据与所述目标对象匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果,包括:
在所述参考图像信息对应人物的最近出现时间与所述目标对象的图像的对应时间之间的间隔超过预设间隔的情况下,根据所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果;和/或
在所述参考图像信息对应人物的最近出现时间位于所述目标时间段内且所述最近出现时间与所述目标对象的图像的对应时间之间的间隔未超过预设间隔的情况下,禁止将所述目标对象的本次到访计入所述目标时间段内的到访人次。
举例来说,预设间隔可以是用户预先设定的统计时间间隔,该预设间隔可例如为5分钟。如果参考图像信息对应人物的最近出现时间与所述目标对象的图像的对应时间之间的间隔超过预设间隔,则可以在目标对象的身份类别属于纳入统计的身份类别的情况下,确定是否更新第一群体统计结果。
在一些可能的实现方式中,针对目标时间段内的到访人数,如果参考图像信息的对应人物最近出现时间不在目标时间段内,则该人物是目标时间段内的第一次到访,此时,可以更新目标时间段内的到访人数,到访人数加1;如果对应人物最近出现时间在目标时间段内,则该人物不是目标时间段内的第一次到访,此时,可以不更新目标时间段内的到访人数,到访人数不变。
在一些可能的实现方式中,针对目标时间段内的到访人次,如果参考图像信息的对应人物最近出现时间超过预设间隔或不在目标时间段内,则该人物是预设间隔内的第一次到访,此时,可以更新目标时间段内的到访人次,到访人次加1;如果对应人物最近出现时间在预设间隔内,则该人物不是预设间隔内的第一次到访,此时,可以不更新目标时间段内的到访人次,到访人次不变(也即,禁止将所述目标对象的本次到访计入所述目标时间段内的到访人次)。
在一些可能的实现方式中,当日到访人数可以是将当日内与多个数据库的参考图像信息匹配的目标对象的人数,以及普通顾客数据库新增的人数进行累加得到的人数。当日到访人次可以是当日内所有到访记录的累加,5分钟(预设间隔)之内同一个人的多次抓拍算一次到访。当周、当月等自定义时间的到访人数可以是当周或当月的各日到访人数的直接累加;当周、当月等自定义时间到访人次可以是当周或当月的各日所有到访记录的累加。
在一些可能的实现方式中,在所述目标对象的身份类别为工作人员身份类别的情况下,禁止将所述目标对象的本次到访计入所述目标时间段内的第一群体统计结果;和/或
在所述目标对象的身份类别不为工作人员身份类别的情况下,将所述目标对象的本次到访计入所述目标时间段内的第一群体统计结果。
举例来说,如果目标对象的身份类别为工作人员身份类别,则可以确定目标对象的身份类别不属于纳入统计的身份类别,此时,可以不更新目标时间段内的到访人数和到访人次,到访人数和到访人次均不变。也即,禁止将所述目标对象的本次到访计入所述目标时间段内的第一群体统计结果。
反之,在所述目标对象的身份类别不为工作人员身份类别的情况下,则可以确定目标对象的身份类别属于纳入统计的身份类别,此时,可以根据前述步骤确定是否更新目标时间段内的到访人数和到访人次。也即,将目标对象的本次到访计入所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,所述方法还包括:
向终端发送所述目标对象的身份类别、身份及到访信息中的至少一种。
举例来说,终端包括个人电脑PC、智能手机、可穿戴设备或平板电脑等。云端服务器可通过网络向终端推送各种信息。当云端服务器确定目标对象的身份类别时,可向终端推送目标对象的身份类别、身份及到访信息中的至少一种。其中,到访信息包括到访时间、到访场所、商品浏览信息、商品购买信息等一种或任意组合。例如,当云端服务器确定目标对象为会员顾客张某时,可向安装有客户端APP的终端推送会员顾客张某的到访信息,以便于用户查看会员顾客的到访情况,从而做出相应的应对措施。例如,可以查看到访顾客的历史记录和购物喜好等信息,并且可以向顾客推送产品和促销活动等。通过这种方式,可以提高用户使用的便捷性和直观性。
在一些可能的实现方式中,所述方法还包括:
向终端发送所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,云端服务器可以将目标时间段内的第一群体统计结果推送给终端APP,以使用户能够查看各个门店或门店的各个区域的第一群体统计结果,从而提高用户使用的便捷性和直观性。
根据本公开实施例的图像处理方法,能够预先设定对目标场所的客流进行统计的一个或多个第一地理区域,可以在前置服务器进行区域内的去重,将区域内去重后的结果上传至云端服务器;再在云端服务器的四个人脸库中进行搜索比对和区域间的去重。通过层层去重的策略,可实现更加精确的到访人数与到访人次的统计,降低了同一第一地理区域拍摄到同一个人而产生的误差。为客户提供可自定义的、且更精准的客流统计和区域客流统计功能。
根据本公开实施例的图像处理方法,能够获取并向用户展示统计数据和会员/黑名单人员到访记录等,实现商超科技化和智慧化,为大型商场、超市、高端咖啡店、4S店等行业提供消费者群体分布、活动轨迹、到访记录、消费行为或喜好等诸多详细分析能力,实现精准营销、智能防损和智慧运营,为商家精细化运营分析提供大数据决策支撑,助力零售行业更好的发挥自身优势,降本增效。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。
此外,本公开还提供了图像处理装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种图像处理方法,相应技术方案和描述和参见方法部分的相应记载,不再赘述。
图3示出根据本公开实施例的图像处理装置的框图,如图3所示,所述图像处理装置包括:
检测模块31,用于对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;
去重模块32,用于对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像;
第一发送模块33,用于向服务器发送所述至少一个第二对象图像。
在一些可能的实现方式中,所述去重模块进一步配置为:
获取所述多个第一对象图像中的第三对象图像的特征信息;
确定所述第一地理区域对应的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,其中,所述第一缓存信息队列中包括至少一个缓存信息;
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像确定为所述第二对象图像。
在一些可能的实现方式中,在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,所述至少一个第二对象图像中不包括所述第三对象图像。
在一些可能的实现方式中,所述装置还包括:
第一存储模块,用于在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
在一些可能的实现方式中,所述去重模块进一步配置为:
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度;
基于所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度,确定所述第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息。
在一些可能的实现方式中,所述缓存信息包括缓存特征信息;
所述去重模块进一步配置为:
确定所述第三对象图像的特征信息与所述第一缓存信息队列中的至少一个缓存特征信息中每个缓存特征信息之间的距离;
根据所述至少一个缓存特征信息对应的所述距离,确定所述第三对象图像与所述至少一个缓存信息之间的相似度。
在一些可能的实现方式中,所述第一地理区域为目标场所包括的多个地理区域中的一个。
在一些可能的实现方式中,所述装置应用于设置在目标场所的前端设备,所述前端设备连接到所述第一地理区域内设置的一个或多个拍摄装置。
图4示出根据本公开实施例的图像处理装置的框图,如图4所示,所述图像处理装置包括:
接收模块41,用于接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,其中,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的;
识别模块42,用于对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。
在一些可能的实现方式中,所述识别模块进一步配置为:
对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像;
对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果。
在一些可能的实现方式中,所述识别模块进一步配置为:
获取所述至少一个第二对象图像中的第五对象图像的特征信息;
查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息;
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,所述识别模块进一步配置为:
在所述数据库中存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,查找所述第一地理区域的第二缓存信息队列中是否存在所述参考图像信息;
在所述第二缓存信息队列中不存在所述参考图像信息时,将所述第五对象图像确定为第四对象图像。
在一些可能的实现方式中,在所述第二缓存信息队列中存在所述参考图像信息时,所述至少一个第四对象图像中不包括所述第五对象图像。
在一些可能的实现方式中,所述装置还包括:
第二存储模块,用于在所述第二缓存信息队列中不存在所述参考图像信息的情况下,将所述参考图像信息存入所述第二缓存信息队列中。
在一些可能的实现方式中,所述装置还包括:
第三存储模块,用于在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像的特征信息和/或所述第五对象图像分别存入所述数据库和所述第二缓存信息队列中。
在一些可能的实现方式中,所述数据库包括会员顾客数据库、工作人员数据库、异常顾客数据库及普通顾客数据库,
其中,所述识别模块进一步配置为:
依次查找所述会员顾客数据库、所述工作人员数据库、所述异常顾客数据库及所述普通顾客数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息。
在一些可能的实现方式中,所述识别结果包括所述目标对象的身份类别,
其中,所述识别模块进一步配置为:
在所述第四对象图像存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为与所述匹配的参考图像信息对应的第一身份类别;
在所述第四对象图像不存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为第二身份类别。
在一些可能的实现方式中,所述第二身份类别包括普通顾客身份类别,所述第一身份类别包括非普通顾客身份类别,所述非普通顾客身份类别包括会员顾客身份类别、工作人员身份类别、异常顾客身份类别中的一种或任意组合。
在一些可能的实现方式中,所述装置还包括:
第一统计模块,用于根据所述目标对象的身份类别,确定所述第一地理区域在目标时间段内的第一群体统计结果,
其中,所述目标对象的图像的对应时间位于所述目标时间段内,所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种。
在一些可能的实现方式中,所述第一统计模块进一步配置为:
在所述目标对象存在匹配的参考图像信息的情况下,根据与所述匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,所述装置还包括:
第二发送模块,用于向终端发送所述目标时间段内的第一群体统计结果。
在一些可能的实现方式中,所述装置还包括:
第三发送模块,用于向终端发送所述目标对象的身份类别、身份及到访信息中的至少一种。
在一些可能的实现方式中,所述装置应用于服务器中,所述服务器通信连接到一个或多个前端设备。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图5示出根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图5,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (58)
1.一种图像处理方法,其特征在于,所述方法包括:
对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;
对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像,所述至少一个第二对象图像的特征信息与所述第一地理区域对应的第一缓存信息队列中的缓存信息不匹配,所述缓存信息包括所述第一地理区域的历史检测数据;
向服务器发送所述至少一个第二对象图像。
2.根据权利要求1所述的方法,其特征在于,对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像,包括:
获取所述多个第一对象图像中的第三对象图像的特征信息;
确定所述第一地理区域对应的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,其中,所述第一缓存信息队列中包括至少一个缓存信息;
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像确定为所述第二对象图像。
3.根据权利要求2所述的方法,其特征在于,在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,所述至少一个第二对象图像中不包括所述第三对象图像。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
6.根据权利要求2所述的方法,其特征在于,确定所述第一地理区域的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,包括:
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度;
基于所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度,确定所述第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息。
7.根据权利要求6所述的方法,其特征在于,所述缓存信息包括缓存特征信息;
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述至少一个缓存信息之间的相似度,包括:
确定所述第三对象图像的特征信息与所述第一缓存信息队列中的至少一个缓存特征信息中每个缓存特征信息之间的距离;
根据所述至少一个缓存特征信息对应的所述距离,确定所述第三对象图像与所述至少一个缓存信息之间的相似度。
8.根据权利要求1所述的方法,其特征在于,所述第一地理区域为目标场所包括的多个地理区域中的一个。
9.根据权利要求1-8中任意一项所述的方法,其特征在于,所述方法应用于设置在目标场所的前端设备,所述前端设备连接到所述第一地理区域内设置的一个或多个拍摄装置。
10.一种图像处理方法,其特征在于,所述方法包括:
接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,其中,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的,所述至少一个第二对象图像的特征信息与所述前端设备中的所述第一地理区域对应的第一缓存信息队列中的缓存信息不匹配,所述缓存信息包括所述第一地理区域的历史检测数据;
对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。
11.根据权利要求10所述的方法,其特征在于,在对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果,包括:
对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像;
对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果。
12.根据权利要求11所述的方法,其特征在于,对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像,包括:
获取所述至少一个第二对象图像中的第五对象图像的特征信息;
查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息;
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像确定为第四对象图像。
13.根据权利要求12所述的方法,其特征在于,对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像,还包括:
在所述数据库中存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,查找所述第一地理区域的第二缓存信息队列中是否存在所述参考图像信息;
在所述第二缓存信息队列中不存在所述参考图像信息时,将所述第五对象图像确定为第四对象图像。
14.根据权利要求13所述的方法,其特征在于,在所述第二缓存信息队列中存在所述参考图像信息时,所述至少一个第四对象图像中不包括所述第五对象图像。
15.根据权利要求13所述的方法,其特征在于,所述方法还包括:
在所述第二缓存信息队列中不存在所述参考图像信息的情况下,将所述参考图像信息存入所述第二缓存信息队列中。
16.根据权利要求13所述的方法,其特征在于,所述方法还包括:
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像的特征信息和/或所述第五对象图像分别存入所述数据库和所述第二缓存信息队列中。
17.根据权利要求12所述的方法,其特征在于,所述数据库包括会员顾客数据库、工作人员数据库、异常顾客数据库及普通顾客数据库,
其中,查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息,包括:
依次查找所述会员顾客数据库、所述工作人员数据库、所述异常顾客数据库及所述普通顾客数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息。
18.根据权利要求12所述的方法,其特征在于,所述识别结果包括目标对象的身份类别,
其中,对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果,包括:
在所述第四对象图像存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为与所述匹配的参考图像信息对应的第一身份类别;
在所述第四对象图像不存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为第二身份类别。
19.根据权利要求18所述的方法,其特征在于,所述第二身份类别包括普通顾客身份类别,所述第一身份类别包括非普通顾客身份类别,所述非普通顾客身份类别包括会员顾客身份类别、工作人员身份类别、异常顾客身份类别中的一种或任意组合。
20.根据权利要求18所述的方法,其特征在于,所述方法还包括:
根据所述目标对象的身份类别,确定所述第一地理区域在目标时间段内的第一群体统计结果,
其中,所述目标对象的图像的对应时间位于所述目标时间段内,所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种。
21.根据权利要求20所述的方法,其特征在于,根据所述目标对象的身份类别,确定目标时间段内的第一群体统计结果,包括:
在所述目标对象存在匹配的参考图像信息的情况下,根据与所述匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果。
22.根据权利要求20所述的方法,其特征在于,所述方法还包括:
向终端发送所述目标时间段内的第一群体统计结果。
23.根据权利要求18所述的方法,其特征在于,所述方法还包括:
向终端发送所述目标对象的身份类别、身份及到访信息中的至少一种。
24.根据权利要求10-23中任意一项所述的方法,其特征在于,所述方法应用于服务器中,所述服务器通信连接到一个或多个前端设备。
25.一种图像处理装置,其特征在于,所述装置包括:
检测模块,用于对采集到的第一地理区域的视频流进行目标对象检测,得到多个第一对象图像;
去重模块,用于对所述多个第一对象图像进行去重处理,得到所述多个第一对象图像中的至少一个第二对象图像,所述至少一个第二对象图像的特征信息与所述第一地理区域对应的第一缓存信息队列中的缓存信息不匹配,所述缓存信息包括所述第一地理区域的历史检测数据;
第一发送模块,用于向服务器发送所述至少一个第二对象图像。
26.根据权利要求25所述的装置,其特征在于,所述去重模块进一步配置为:
获取所述多个第一对象图像中的第三对象图像的特征信息;
确定所述第一地理区域对应的第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息,其中,所述第一缓存信息队列中包括至少一个缓存信息;
在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像确定为所述第二对象图像。
27.根据权利要求26所述的装置,其特征在于,在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,所述至少一个第二对象图像中不包括所述第三对象图像。
28.根据权利要求26所述的装置,其特征在于,所述装置还包括:
第一存储模块,用于在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
29.根据权利要求27所述的装置,其特征在于,所述装置还包括:
第一存储模块,用于在所述第一缓存信息队列中不存在与第三对象图像的特征信息匹配的缓存信息的情况下,将所述第三对象图像的特征信息和/或所述第三对象图像存入所述第一缓存信息队列中。
30.根据权利要求26所述的装置,其特征在于,所述去重模块进一步配置为:
根据所述第三对象图像的特征信息和所述第一缓存信息队列中的至少一个缓存信息对应的特征信息,获得所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度;
基于所述第三对象图像与所述第一缓存信息队列中的至少一个缓存信息之间的相似度,确定所述第一缓存信息队列中是否存在与所述第三对象图像的特征信息匹配的缓存信息。
31.根据权利要求30所述的装置,其特征在于,所述缓存信息包括缓存特征信息;
所述去重模块进一步配置为:
确定所述第三对象图像的特征信息与所述第一缓存信息队列中的至少一个缓存特征信息中每个缓存特征信息之间的距离;
根据所述至少一个缓存特征信息对应的所述距离,确定所述第三对象图像与所述至少一个缓存信息之间的相似度。
32.根据权利要求25所述的装置,其特征在于,所述第一地理区域为目标场所包括的多个地理区域中的一个。
33.根据权利要求25-32中任意一项所述的装置,其特征在于,所述装置应用于设置在目标场所的前端设备,所述前端设备连接到所述第一地理区域内设置的一个或多个拍摄装置。
34.一种图像处理装置,其特征在于,所述装置包括:
接收模块,用于接收前端设备发送的第一地理区域内检测到的至少一个第二对象图像,其中,所述至少一个第二对象图像是所述前端设备对检测到的多个第一对象图像进行去重处理后得到的,所述至少一个第二对象图像的特征信息与所述前端设备中的所述第一地理区域对应的第一缓存信息队列中的缓存信息不匹配,所述缓存信息包括所述第一地理区域的历史检测数据;
识别模块,用于对所述至少一个第二对象图像进行识别处理,得到所述第一地理区域的识别结果。
35.根据权利要求34所述的装置,其特征在于,所述识别模块进一步配置为:
对所述至少一个第二对象图像进行去重处理,确定所述至少一个第二对象图像中的至少一个第四对象图像;
对所述至少一个第四对象图像进行识别处理,得到所述第一地理区域的识别结果。
36.根据权利要求35所述的装置,其特征在于,所述识别模块进一步配置为:
获取所述至少一个第二对象图像中的第五对象图像的特征信息;
查找数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息;
在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像确定为第四对象图像。
37.根据权利要求36所述的装置,其特征在于,所述识别模块进一步配置为:
在所述数据库中存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,查找所述第一地理区域的第二缓存信息队列中是否存在所述参考图像信息;
在所述第二缓存信息队列中不存在所述参考图像信息时,将所述第五对象图像确定为第四对象图像。
38.根据权利要求37所述的装置,其特征在于,在所述第二缓存信息队列中存在所述参考图像信息时,所述至少一个第四对象图像中不包括所述第五对象图像。
39.根据权利要求37所述的装置,其特征在于,所述装置还包括:
第二存储模块,用于在所述第二缓存信息队列中不存在所述参考图像信息的情况下,将所述参考图像信息存入所述第二缓存信息队列中。
40.根据权利要求37所述的装置,其特征在于,所述装置还包括:
第三存储模块,用于在所述数据库中不存在与所述第五对象图像的特征信息匹配的参考图像信息的情况下,将所述第五对象图像的特征信息和/或所述第五对象图像分别存入所述数据库和所述第二缓存信息队列中。
41.根据权利要求36所述的装置,其特征在于,所述数据库包括会员顾客数据库、工作人员数据库、异常顾客数据库及普通顾客数据库,
其中,所述识别模块进一步配置为:
依次查找所述会员顾客数据库、所述工作人员数据库、所述异常顾客数据库及所述普通顾客数据库中是否存在与所述第五对象图像的特征信息匹配的参考图像信息。
42.根据权利要求36所述的装置,其特征在于,所述识别结果包括目标对象的身份类别,
其中,所述识别模块进一步配置为:
在所述第四对象图像存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为与所述匹配的参考图像信息对应的第一身份类别;
在所述第四对象图像不存在匹配的参考图像信息的情况下,将所述第四对象图像中的目标对象的身份类别确定为第二身份类别。
43.根据权利要求42所述的装置,其特征在于,所述第二身份类别包括普通顾客身份类别,所述第一身份类别包括非普通顾客身份类别,所述非普通顾客身份类别包括会员顾客身份类别、工作人员身份类别、异常顾客身份类别中的一种或任意组合。
44.根据权利要求42所述的装置,其特征在于,所述装置还包括:
第一统计模块,用于根据所述目标对象的身份类别,确定所述第一地理区域在目标时间段内的第一群体统计结果,
其中,所述目标对象的图像的对应时间位于所述目标时间段内,所述第一群体统计结果包括至少一个地理区域在所述目标时间段内的到访人数和到访人次中的至少一种。
45.根据权利要求44所述的装置,其特征在于,所述第一统计模块进一步配置为:
在所述目标对象存在匹配的参考图像信息的情况下,根据与所述匹配的参考图像信息的历史匹配数据和所述目标对象的图像的对应时间中的至少一项以及所述目标对象的身份类别,确定所述目标时间段内的第一群体统计结果。
46.根据权利要求44所述的装置,其特征在于,所述装置还包括:
第二发送模块,用于向终端发送所述目标时间段内的第一群体统计结果。
47.根据权利要求42所述的装置,其特征在于,所述装置还包括:
第三发送模块,用于向终端发送所述目标对象的身份类别、身份及到访信息中的至少一种。
48.根据权利要求34-47中任意一项所述的装置,其特征在于,所述装置应用于服务器中,所述服务器通信连接到一个或多个前端设备。
49.一种客流分析***,其特征在于,所述***包括:
至少一个摄像头,布置在目标场所,用于采集第一地理区域的视频流;
服务器,连接到所述摄像头,用于接收来自所述至少一个摄像头的视频流,对所述视频流中的至少一帧视频图像进行目标检测,得到所述至少一帧视频图像中的至少一个目标对象的检测数据,并基于所述检测数据对所述至少一个目标对象进行目标识别,得到所述第一地理区域的识别结果,其中,所述识别结果包括目标对象的身份类别,所述检测数据包括对所述视频流中的至少一帧视频图像进行去重处理得到的至少一个第二对象图像,所述至少一个第二对象图像的特征信息与所述第一地理区域对应的第一缓存信息队列中的缓存信息不匹配,所述缓存信息包括所述第一地理区域的历史检测数据;
终端设备,连接到所述服务器,用于接收所述服务器发送的所述识别结果,并显示所述识别结果。
50.根据权利要求49所述的***,其特征在于,所述服务器包括前端服务器和云端服务器,
所述前端服务器设置在所述目标场所,连接到所述至少一个摄像头,用于接收所述至少一个摄像头发送的视频流,对所述视频流中的至少一帧视频图像进行目标检测,得到所述至少一帧视频图像中的至少一个目标对象的检测数据;
所述云端服务器连接到所述前端服务器,用于接收所述前端服务器的检测数据,并基于所述检测数据对所述至少一个目标对象进行目标识别,得到所述第一地理区域的识别结果。
51.根据权利要求49所述的***,其特征在于,
所述服务器还用于基于所述识别结果,得到在目标时间段内的群体统计结果,并向终端设备发送所述群体统计结果,所述群体统计结果包括目标时间段内的第一群体统计结果;
所述终端设备还用于显示所述群体统计结果。
52.根据权利要求50所述的***,其特征在于,
所述服务器还用于基于所述识别结果,得到在目标时间段内的群体统计结果,并向终端设备发送所述群体统计结果,所述群体统计结果包括目标时间段内的第一群体统计结果;
所述终端设备还用于显示所述群体统计结果。
53.根据权利要求52所述的***,其特征在于,所述终端设备连接到所述云端服务器,用于接收并显示所述云端服务器发送的所述目标时间段内的群体统计结果,
所述终端设备还用于接收并显示所述云端服务器发送的目标识别结果。
54.根据权利要求49~53中任意一项所述的***,其特征在于,所述终端设备包括个人电脑、智能手机、可穿戴设备或平板电脑。
55.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求1至9中任意一项所述的方法。
56.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。
57.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求10至24中任意一项所述的方法。
58.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求10至24中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810639814.8A CN109145127B (zh) | 2018-06-20 | 2018-06-20 | 图像处理方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810639814.8A CN109145127B (zh) | 2018-06-20 | 2018-06-20 | 图像处理方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145127A CN109145127A (zh) | 2019-01-04 |
CN109145127B true CN109145127B (zh) | 2021-04-27 |
Family
ID=64802147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810639814.8A Active CN109145127B (zh) | 2018-06-20 | 2018-06-20 | 图像处理方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145127B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149457A (zh) * | 2019-06-27 | 2020-12-29 | 西安光启未来技术研究院 | 人流统计的方法、装置、服务器和计算机可读存储介质 |
CN110942036B (zh) * | 2019-11-29 | 2023-04-18 | 深圳市商汤科技有限公司 | 人员识别方法及装置、电子设备和存储介质 |
CN113128293A (zh) * | 2019-12-31 | 2021-07-16 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111400533B (zh) * | 2020-03-02 | 2023-10-17 | 北京三快在线科技有限公司 | 图像筛选方法、装置、电子设备和存储介质 |
CN113780042A (zh) * | 2020-11-09 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 图片集操作方法、图片集标注方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104112209A (zh) * | 2013-04-16 | 2014-10-22 | 苏州和积信息科技有限公司 | 显示终端的受众统计方法和*** |
CN106897698A (zh) * | 2017-02-24 | 2017-06-27 | 常州常工电子科技股份有限公司 | 基于机器视觉与双目协同技术的教室人数检测方法及*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3917506B2 (ja) * | 2002-11-28 | 2007-05-23 | 株式会社日立製作所 | 映像信号記録送信装置および監視システムならびに監視装置 |
US8675059B2 (en) * | 2010-07-29 | 2014-03-18 | Careview Communications, Inc. | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients |
US9432631B2 (en) * | 2011-04-04 | 2016-08-30 | Polaris Wireless, Inc. | Surveillance system |
CN105959653A (zh) * | 2016-07-12 | 2016-09-21 | 湖北誉恒科技有限公司 | 人行横道用视频监控*** |
CN105979232B (zh) * | 2016-07-12 | 2019-05-07 | 湖北誉恒科技有限公司 | 用于封闭式学校的视频监控*** |
CN107393017A (zh) * | 2017-08-11 | 2017-11-24 | 北京铂石空间科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN108965826B (zh) * | 2018-08-21 | 2021-01-12 | 北京旷视科技有限公司 | 监控方法、装置、处理设备及存储介质 |
-
2018
- 2018-06-20 CN CN201810639814.8A patent/CN109145127B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104112209A (zh) * | 2013-04-16 | 2014-10-22 | 苏州和积信息科技有限公司 | 显示终端的受众统计方法和*** |
CN106897698A (zh) * | 2017-02-24 | 2017-06-27 | 常州常工电子科技股份有限公司 | 基于机器视觉与双目协同技术的教室人数检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109145127A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145707B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN109145127B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN106776619B (zh) | 用于确定目标对象的属性信息的方法和装置 | |
US10701321B2 (en) | System and method for distributed video analysis | |
CN110799972A (zh) | 人脸图像动态入库方法和装置、电子设备、介质、程序 | |
US9536153B2 (en) | Methods and systems for goods received gesture recognition | |
US9576371B2 (en) | Busyness defection and notification method and system | |
US10271017B2 (en) | System and method for generating an activity summary of a person | |
CN111383039B (zh) | 信息推送方法、装置及信息展示*** | |
US10552687B2 (en) | Visual monitoring of queues using auxillary devices | |
CN108229456B (zh) | 目标跟踪方法和装置、电子设备、计算机存储介质 | |
CN108038937B (zh) | 一种迎宾信息的展示方法、装置、终端设备和存储介质 | |
JP6185186B2 (ja) | コードスキャン結果情報を提供するための方法及びシステム | |
CN107871111B (zh) | 一种行为分析方法及*** | |
CN111160243A (zh) | 客流量统计方法及相关产品 | |
CN105659279B (zh) | 信息处理设备和信息处理方法 | |
JP5780348B1 (ja) | 情報提示プログラム及び情報処理装置 | |
US20160189170A1 (en) | Recognizing Customers Requiring Assistance | |
KR20170006356A (ko) | 이차원 영상 기반 고객 분석 방법 및 장치 | |
US20230136054A1 (en) | Information processing method, information processing device, and recording medium | |
KR101848367B1 (ko) | 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법 | |
JP7452622B2 (ja) | 提示制御装置、システム、方法及びプログラム | |
CN112837369A (zh) | 数据处理方法及装置、电子设备及计算机可读存储介质 | |
KR102162337B1 (ko) | 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법 | |
US20110317010A1 (en) | System and method for tracking a person in a pre-defined area |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |