CN110569765B - 图片识别方法、图片比对方法及装置 - Google Patents
图片识别方法、图片比对方法及装置 Download PDFInfo
- Publication number
- CN110569765B CN110569765B CN201910802834.7A CN201910802834A CN110569765B CN 110569765 B CN110569765 B CN 110569765B CN 201910802834 A CN201910802834 A CN 201910802834A CN 110569765 B CN110569765 B CN 110569765B
- Authority
- CN
- China
- Prior art keywords
- picture
- feature
- result
- packets
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图片识别方法,其中方法包括:模型获取步骤;底库图片获取步骤;多特征提取步骤;发送特征步骤;筛选步骤;多结果汇聚步骤。通过低成本的搭建多模型的***,内部安全侧通过多个模型对底库图片的特征值并发送,外部公共侧通过多个相同的模型提取待测图片的特征值并比对,并将结果返回安全侧,安全侧根据结果调取相应的底库图片,从而实现了多个算法独立比对,结果整合得到高质量的结果,并且满足了安全保密性。
Description
技术领域
本公开一般地涉及图像识别领域,具体涉及一种图片识别方法、图片比对方法及装置。
背景技术
随着深度学习算法和人工神经网络理论的发展,人脸识别的准确率越来越高,广泛应用于社会各个领域。人脸算法厂商也越来越多,且各自算法关注点和侧重点都不一致。在各种客观现实场景下,人脸识别的准确性并不能达到非常理想状态。
为了增强人脸识别的成功率,迫切需要整合各家算法厂商,让每一张抓拍,都需要各家算法厂商都给出top3的比对结果,先做简单的算法筛选,然后交由人工进行研判,保证目标人物识别的准确性。
目前各算法厂商分别建立自己的人脸识别平台,底库也是各家分别存储,相机接入也是分别接入,然后提供比对接口,分别在不同的平台上进行比对,再将比对结果整合后显示在同一界面上,抓拍重复接入和底库图片重复存储。
发明内容
为了解决现有技术中存在的上述问题,本公开的第一方面提供一种图片识别方法,其中,方法包括:模型获取步骤,获取多个模型;底库图片获取步骤,获取底库图片,其中,每张底库图片对应有一图片标识;多特征提取步骤,通过每个模型分别对全部底库图片进行特征提取,得到与每个模型对应的多个底库特征值,形成与多个模型分别一一对应的多个特征包,特征包包括对应模型提取的底库特征值,以及底库特征值对应的底库图片的图片标识;发送特征步骤,发送多个特征包;多结果汇聚步骤,接收多个结果包,结果包包括图片标识,其中,多个结果包分别与多个模型一一对应,结果包通过模型对待测图片进行特征提取并与模型对应的特征包中的底库特征值比对的结果得到;筛选步骤,根据多个结果包的多个图片标识,筛选得到一个或多个图片标识;结果获取步骤,根据筛选得到的一个或多个图片标识,调取对应的底库图片。
在一例中,筛选步骤包括:去重步骤,根据多个结果包的多个图片标识,进行去重;检测步骤,根据去重后的图片标识,进行时空检测,得到一个或多个图片标识。
在一例中,底库图片获取步骤包括:向底库订阅底库图片,当底库更新底库图片时,获取底库图片。
在一例中,模型具有模型标识;特征包还包括对应的模型的模型标识;结果包还包括与结果包对应的特征包中的模型标识。
本公开的第二方面提供一种图片比对方法,其中,方法包括:模型获取步骤,获取多个模型;接收特征步骤,接收多个特征包,特征包分别与模型一一对应,特征包包括对应的模型对全部底库图片提取的底库特征值,以及与底库特征值对应的底库图片的图片标识;图片获取步骤,获取待测图片;待测特征提取步骤,通过多个模型,分别对待测图片进行特征提取,得到多个待测特征值;比对步骤,将多个待测特征值与多个特征包中的底库特征值进行比对,根据比对结果,生成多个结果包,结果包包括图片标识;发送结果步骤,发送多个结果包,结果包用于调取对应的底库图片。
在一例中,比对步骤包括:分别将每个模型提取的待测特征值,与和模型对应的特征包中的底库特征值进行比对,根据与待测特征值相似度最高的N个底库特征值对应的特征包中的图片标识,生成结果包,其中N为正整数。
在一例中,方法还包括存储步骤:将接收特征步骤接收的多个特征包加载到分布式缓存中。
在一例中,存储步骤还包括:将接收特征步骤接收的多个特征包存储到分布式存储中。
在一例中,图片获取步骤包括:向图片平台订阅待测图片,图片平台通过终端获取待测图片,当图片平台更新待测图片时,获取待测图片。
在一例中,模型具有模型标识;特征包还包括与对应的模型的模型标识;结果包还包括与结果包对应的特征包中的模型标识。
本公开的第三方面提供一种图片识别装置,其中,装置包括:模型获取模块,用于获取多个模型;底库图片获取模块,用于获取底库图片,其中,每张底库图片具有图片标识;多特征提取模块,用于通过每个模型,分别对全部底库图片进行特征提取,到与每个模型对应的多个底库特征值,形成与多个模型分别一一对应的多个特征包,特征包包括对应模型提取的底库特征值,以及底库特征值对应的底库图片的图片标识;发送特征模块,用于发送多个特征包;多结果汇聚模块,用于接收多个结果包,结果包包括图片标识,其中,多个结果包分别与多个模型一一对应,结果包通过模型对待测图片进行特征提取并与模型对应的特征包中的底库特征值比对的结果得到;筛选模块,用于根据多个结果包的多个图片标识,筛选得到一个或多个图片标识;结果获取模块,用于根据筛选得到的一个或多个图片标识,调取对应的底库图片。
本公开的第四方面提供一种图片比对装置,其中,装置包括:模型获取模块,用于获取多个模型;接收特征模块,用于接收多个特征包,特征包分别与模型一一对应,特征包包括对应的模型对全部底库图片提取的底库特征值,以及与底库特征值对应的底库图片的图片标识;图片获取模块,用于获取待测图片;待测特征提取模块,用于通过多个模型,分别对待测图片进行特征提取,得到多个待测特征值;比对模块,用于将多个待测特征值与多个特征包中的底库特征值进行比对,根据比对结果,生成多个结果包,结果包包括图片标识;发送结果模块,用于发送多个结果包,结果包用于调取对应的底库图片。
本公开的第五方面提供一种图片比对识别***,包括第三方面的图片识别装置、第四方面的图片比对装置,以及网络隔离设备,特征包经过网络隔离设备由图片识别装置发送至图片比对装置,结果包经过网络隔离设备由图片比对装置发送至图片识别装置。
本公开的第六方面提供一种电子设备,包括:存储器,用于存储指令;以及处理器,用于调用存储器存储的指令执行如第一方面的图片识别方法或如第二方面的图片比对方法。
本公开的第七方面提供一种计算机可读存储介质,其中存储有指令,指令被处理器执行时,执行如第一方面的图片识别方法或如第二方面的图片比对方法。
本公开提供的图片识别方法、图片比对方法及装置通过低成本的搭建多模型的***,内部安全侧通过多个模型提取底库图片的特征值并发送,外部公共侧通过与安全侧对应的多个模型提取待测图片的特征值并比对,并将结果返回安全侧,安全侧根据结果调取相应的底库图片,从而实现了底库图片、抓拍图片不重复存储,多个算法模型共用且独立比对,结果整合得到高质量的结果,并且满足了安全保密性。
附图说明
通过参考附图阅读下文的详细描述,本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示出了根据本公开一实施例图片识别方法的流程示意图;
图2示出了根据本公开一实施例图片比对方法的流程示意图;
图3示出了根据本公开一实施例图片跨网识别***的示意图;
图4示出了根据本公开一实施例图片识别装置的流程示意图;
图5示出了根据本公开一实施例图片比对装置的示意图;
图6是本公开实施例提供的一种电子设备示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。
需要注意,虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等,但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分,而并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全可以互换使用。
为了满足多算法对比,并得到高质量结果,通知保证安全保密性。图1示出了本公开实施例提供的一种图片识别方法100,图片识别方法100应用于内部安全侧,该侧可以设置用户权限,有权限的用户可以进行输入和读取等操作,其中,图片识别方法100包括:模型获取步骤110、底库图片获取步骤120、多特征提取步骤130、发送特征步骤140、多结果汇聚步骤150、筛选步骤160、结果获取步骤170。下文分别对上述步骤进行详细说明:
模型获取步骤110,获取多个模型。其中,可以通过在安全侧的多算法结构化服务模块集成多个厂商的模型,上述模型可以是经过训练的神经网络模型,用于提取图片的特征值。
在一例中,模型具有模型标识。其中模型标识(模型id)与模型一一对应。
底库图片获取步骤120,获取底库图片,其中,每张底库图片对应有一图片标识。底库中的底库图片可以存放于本地数据库中也可以存放于云端等外部服务器中,底库图片可以是目标人员的图片,每个人员具有至少一个底库图片。同时,每个底库图片都具有一一对应的图片标识(图片id,例如,可将图片中对应的人员的id作为图片id),可以通过图片标识调取相应的底库图片。
在一例中,底库图片获取步骤120包括:向底库订阅底库图片,当底库更新底库图片时,获取底库图片。通过订阅,能够在底库图片发生更新后,及时的获取,对更新后的底库图片进行特征提取,从而保证了底库特征值的准确,从而提高了比对结果。
多特征提取步骤130,通过每个模型,分别对全部底库图片进行特征提取,得到与每个模型对应的多个底库特征值,形成与多个模型分别一一对应的多个特征包,特征包包括对应模型提取的底库特征值,以及底库特征值对应的底库图片的图片标识。其中,图片标识可以是该图片对应的人员姓名和/或证件号。通过不同厂商提供的多个模型,分别对底库图片进行特征提取,即结构化,从而每个底库图片得到对应于不同厂商提供的模型的多个底库特征值,将同一厂商的模型得到的全部底库特征值以及对应的图片标识一起生成特征包。
在一例中,特征包还包括对应的模型的模型标识。将提取该底库特征值的模型的模型标识,也与该底库特征值一起,包括在同一个特征包内。
发送特征步骤140,发送多个特征包。将得到的全部特征包,发送至外部的公共侧,使得在公共侧接收的待测图片能够方便的进行比对,从而生成结果,其中,公共侧可以不设置用户权限,或仅通过注册即可进行输入和读取等操作。并且,由于底库图片的特殊性,仅发送特征值等信息,避免了底库图片的外传,保证了安全保密性。
多结果汇聚步骤150,接收多个结果包,结果包包括图片标识,其中,多个结果包分别与多个模型一一对应,结果包通过模型对待测图片进行特征提取并与模型对应的特征包中的底库特征值比对的结果得到。其中,在外部的公共侧也设置有多个模型对待测图片进行特征提取,该模型与安全侧的对底库图片进行特征提取的模型相同,通过在外部的公共侧经过比对,得到相应的比对结果,并形成结果包,将结果返回内部的安全侧,能够降低成本,充分利用外部计算资源来提高识别效率,并且保证安全保密。
结果包也是基于相同的多个厂商提供的相同的模型得到的,而这些用于提取待测图片特征值的模型集成在外部的公共侧,这样能够使比对的工作在公共侧进行。获取到待测图片后,通过多个模型中的每一个进行特征提取,提取到待测特征值后与该模型对应的特征包的底库特征值进行比较,并根据相似度,从中选出符合相似度要求的底库特征值,而根据特征包,可得到与符合相似度要求的底库特征值对应的图片标识。
在一例中,结果包还包括与结果包对应的特征包中的模型标识。返回该模型标识至安全侧,能够便于之后统计,以判断哪个模型更实用,效果更好。
筛选步骤160,根据多个结果包的多个图片标识,筛选得到一个或多个图片标识。其中,根据返回的多个图片标识,基于一些筛选算法得到符合条件的最优的一个或最优的几个图片标识。
在一例中,可以根据图片标识在结果包中出现的次数排序,筛选得到最优的一个或最优的几个图片标识。例如,有三个模型以及对应的三个结果包A、B、C,结果包A包括图片标识:张三、李四、王五;结果包B包括图片标识:张三、周一、吴二;结果包C包括图片标识:赵六、张三、李四。根据次数,张三出现3次,李四出现两次。如选择一个则选择张三作为筛选到的最优的图片标识,如选择两个则张三、李四为筛选到的图片标识。
在一例中,可以根据相似度,筛选得到最优的一个或最优的几个图片标识。如根据不同模型比对的相似度最高的一个或几个作为结果;也可以根据平均相似度最高的模型得到的结果最为最终结果。
在一例中,筛选步骤160可以包括:去重步骤,根据多个结果包的多个图片标识,进行去重;检测步骤,根据去重后的图片标识,进行时空检测,得到一个图片标识。其中,由于结果是根据待测特征值与不同厂商模型得到的底库特征值之间的比对得到的,存在着同一底库图片对应的不同特征值均符合相似度要求,成为结果,从而结果中存在多个重复底库图片对应的图片标识,因此筛选首先需要做去重,即相同的底库图片的图片标识进行合并。然后可以根据时空检测,查看最符合条件的图片标识。其中,时空检测通过待测图片获取的时间和地点判断合理性,当满足合理性要求时,则作为结果。例如,去重后的图片标识有A人员和B人员,待测图片是在北京拍到,已知A人员2小时前出现在深圳,那么经过时空检测,A人员是不符合条件的图片标识,B人员是符合条件的图片标识。
结果获取步骤170,根据筛选得到的一个或多个图片标识,调取对应的底库图片。在经过筛选步骤160后,得到了一个或多个图片标识,根据该图片标识调取与其一一对应的底库图片,从而得到最终的可靠的结果。
通过上述任一实施例的图片识别方法,能够在安全侧的一台服务器上使用多个模型对底库图片进行特征提取,在公共侧的一台服务器上使用多个模型对待测图片进行特征提取,只需存储底库图片、待测图片的一份拷贝,大大节省了存储空间;同时对公共侧服务器通过多个模型给出的结果进行了汇聚和后续的筛选、结果获取,对多个模型给出的结果进行了加工处理再展示给用户,大大减少了冗余的结果,提升了用户体验。
与在内部安全侧实现的图片识别方法100对应的,本公开实施例提供了一种图片比对识别方法200,参见图2,图片比对识别方法200应用于外部公共侧,该侧可以接收外部信息或图片,其中,图片比对识别方法200包括:模型获取步骤210、接收特征步骤220、图片获取步骤230、待测特征提取步骤240、比对步骤250、发送结果步骤260。下文分别对上述步骤进行详细说明:
模型获取步骤210,获取多个模型;其中,集成于外部公共侧的模型,与前述安全侧的模型相同,均由相同的多个厂商提供。用于对图片进行特征提取。
接收特征步骤220,接收多个特征包,特征包分别与模型一一对应,特征包包括对应的模型对全部底库图片提取的底库特征值,以及与底库特征值对应的底库图片的图片标识。其中,特征包由安全侧发送,其主要包括了底库图片的底库特征值,以及与之相对应的图片标识,底库特征值用于之后比对,图片标识用于返回结果。具体可参考前述实施例。
图片获取步骤230,获取待测图片。其中待测图片可以是各种外部相机、监控设备、图片流、视频流等产生的图片,可以经过统一推送到公共侧的图片平台,在被集成有模型的多算法服务模块获取,用于特征提取。
在一例中,图片获取步骤230包括:向图片平台订阅待测图片,图片平台通过终端获取待测图片,当图片平台更新待测图片时,获取待测图片。通过订阅,能够实时获取采集到的图片,提高检测效率和及时性。
待测特征提取步骤240,通过多个第型,分别对待测图片进行特征提取,得到多个待测特征值。通过与安全侧模型相同的模型,对待测图片进行特征提取,以进行进一步的比对。
比对步骤250,将多个待测特征值与特征包中的多个底库特征值进行比对,根据比对结果,生成多个结果包,结果包包括图片标识。根据特征值之间的比对,满足相似度要求的底库特征值作为比对结果,将其对应的图片标识生成结果包。由于在公共侧集成了相应的模型,因此能够得到多算法的结果,并且能够仅返回与结果对应的图片标识,降低了运行成本。
在一例中,比对步骤250包括:分别将每个模型提取的待测特征值,与和模型对应的特征包中的底库特征值进行比对,根据与待测特征值相似度最高的N个底库特征值对应的特征包中的图片标识,生成结果包,其中N为正整数,在本实施例中N可以取值为3。每个模型均对待测图片进行特征提取,提取的特征与对应的特征包中的底库特征均进行对比,对应的特征包即为通过相同模型进行特征提取形成的特征包,根据相似度,得到每个模型对应的相似度最高的N个底库特征值,同时根据底库特征值得到对应的图片标识。通过本实施例,能够保证结果中包括每个模型的结果,实现了算法的多样,保证了结果的质量和可靠性。
发送结果步骤260,发送多个结果包,结果包用于调取对应的底库图片。
根据安全侧提供的底库特征值,通过在公共侧进行多模型的比对,实现了多模型比对,而安全侧仅发送底库特征值等信息,不发送底库图片能够保证安全性,公共侧返回安全侧的也仅有图片标识等信息,也能够降低成本。通过返回多个图片标识,能够保证结果的准确。
在一例中,方法还包括存储步骤:将接收特征步骤接收的多个特征包加载到分布式缓存中。通过加载到缓存中,能够提高比对的效率。
在一例中,存储步骤还包括:将接收特征步骤接收的多个特征包存储到分布式存储中。通过存储在分布式存储中,能够在缓存中的数据丢失时,进行调取,从而保证了***的稳定,降低了故障发生后的成本。
图3示出了一种实现上述实施例的一个具体的图片比对识别***,如图3所示,以此***为例进一步解释和说明本公开提供的实施例,但该具体***以及具体实施例仅为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。本实施例中:
安全侧的模型获取模块集成了A、B、C三家厂商提供的模型,底库图片获取模块负责订阅底库图片,即目标人员图片,首先会从图片服务器获取底库图片。
底库图片经过A、B、C三家算法厂商的模型结构化后变成各自特有的底库特征值,形成三个特征包,每个特征包中都有模型标识(厂商id)、图片标识(底库图片对应的人员id)和底库特征值。
发送特征模块将A、B、C三家算法厂商结构化得到的三个特征包通过网络隔离设备(例如网闸)搬运推送给公共侧里面的多算法服务模块。网闸可以为第三方组件,用于数据的安全传输。
公共侧的接收特征模块将推送过来的三家厂商的三个特征包存储在自身的分布式存储中,同时将特征值三个特征包加载到分布式缓存里,用于1:N检索。
各种相机、图片流、视频流、盒子等产生的图片统一推送到图片平台。
图片获取模块订阅图片,从图片平台获取待测图片。
待测图片经过A、B、C三家算法厂商模型的结构化后形成待测特征值,与三家厂商存储在分布式内存中的各家的特征包通过各自特定算法进行并行检索,每家厂商的模型都选出自己比对结果的Top3,根据Top3获取该三张底库图片的图片标识。
A、B、C三家算法厂商一共获取九个图片标识,该九个图片标识通过网闸搬运到安全侧多结果汇聚模块。
多结果汇聚模块将比对九个图片标识进行简单的去重汇聚,图片标识相同的进行合并,合并后图片标识应少于或者等于九张。
将汇聚后的比对结果推送给筛选模块。筛选模块再根据筛选算法,可以是根据待测图片的获取时间和设备信息,即时空关系,筛选出最符合条件的那个图片标识,根据图片标识去底图图片服务里面拉取最优的一张或多张比中的底库图片,即完成了这次多算法跨网特征比对。
图4示出了本公开实施例提供的一种图片识别装置10,如图4所示,图片识别装置10包括:模型获取模块11,用于获取多个模型;底库图片获取模块12,用于获取底库图片,其中,每张底库图片具有对应有一图片标识;多特征提取模块13,用于通过每个多个模型,分别对全部底库图片进行特征提取,得到与每个模型对应的多个底库特征值,形成与多个模型分别一一对应的多个特征包,特征包包括对应模型提取的底库图片的底库特征值,以及底库特征值对应的底库图片的图片标识;发送特征模块14,用于发送多个特征包;多结果汇聚模块15,用于接收多个结果包,结果包包括图片标识,其中,多个结果包分别与多个模型一一对应,结果包通过模型对待测图片进行特征提取并与模型对应的特征包中的底库特征值比对的结果得到;筛选模块16,用于根据多个结果包的多个图片标识,筛选得到一个或多个图片标识;结果获取模块17,用于根据筛选得到的一个或多个图片标识,调取对应的底库图片。
在一例中,筛选模块16包括:去重模块,用于根据多个结果包的多个图片标识,进行去重;检测模块,用于根据去重后的图片标识,进行时空检测,得到一个或多个图片标识。
在一例中,底库图片获取模块12还用于,向底库订阅底库图片,当底库更新底库图片时,获取底库图片。
在一例中,模型具有模型标识;特征包还包括对应的模型的模型标识;结果包还包括与结果包对应的特征包中的模型标识。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5示出了本公开实施例提供的一种图片识别装置20,如图5所示,图片比对装置20包括:模型获取模块21,用于获取多个模型;接收特征模块22,用于接收多个特征包,特征包分别与模型一一对应,特征包包括对应的模型对全部底库图片提取的底库特征值,以及与底库特征值对应的底库图片的图片标识;图片获取模块23,用于获取待测图片;待测特征提取模块24,用于通过多个模型,分别对待测图片进行特征提取,得到多个待测特征值;比对模块25,用于将多个待测特征值与多个特征包中的底库特征值进行比对,根据比对结果,生成多个结果包,结果包包括图片标识;发送结果模块26,用于发送多个结果包,结果包用于调取对应的底库图片。
在一例中,比对模块25还用于:分别将每个模型提取的待测特征值,与和模型对应的特征包中的底库特征值进行比对,根据与待测特征值相似度最高的N个底库特征值对应的特征包中的图片标识,生成结果包,其中N为正整数。
在一例中,图片比对装置20还包括存储模块,用于将接收特征模块接收的多个特征包加载到分布式缓存中。
在一例中,存储模块还包括:将接收特征模块接收的多个特征包存储到分布式存储中。
在一例中,图片获取模块23还用于:向图片平台订阅待测图片,图片平台通过终端获取待测图片,当图片平台更新待测图片时,获取待测图片。
在一例中,模型具有模型标识;特征包还包括与对应的模型对应的模型标识;结果包还包括与结果包对应的特征包中的模型标识。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种图片比对识别***,包括前述任一例的图片识别装置10、前述任一例的图片比对装置20,以及网络隔离设备,特征包经过网络隔离设备由图片识别装置10发送至图片比对装置20,结果包经过网络隔离设备由图片比对装置20发送至图片识别装置10。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图6所示,本公开的一个实施方式提供了一种电子设备300。其中,该电子设备300包括存储器301、处理器302、输入/输出(Input/Output,I/O)接口303。其中,存储器301,用于存储指令。处理器302,用于调用存储器301存储的指令执行本公开实施例的图片识别方法或图片比对方法。其中,处理器302分别与存储器301、I/O接口303连接,例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据,包括本公开实施例中涉及的图片识别方法或图片比对方法的程序,处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。
本公开实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现,所述处理器302可以是中央处理单元(Central Processing Unit,CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器301可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)等。
本公开实施例中,I/O接口303可用于接收输入的指令(例如数字或字符信息,以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等),也可向外部输出各种信息(例如,图像或声音等)。本公开实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是,本公开实施例中尽管在附图中以特定的顺序描述操作,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作,或是要求执行全部所示的操作以得到期望的结果。在特定环境中,多任务和并行处理可能是有利的。
本公开实施例涉及的方法和装置能够利用标准编程技术来完成,利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是,此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现,其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的,已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式,根据上述教导还可能存在各种变形和修改,或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用,以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。
Claims (14)
1.一种图片识别方法,其中,所述方法包括:
模型获取步骤,获取多个模型;
底库图片获取步骤,获取底库图片,其中,每张所述底库图片对应有一图片标识;
多特征提取步骤,通过每个所述模型分别对全部所述底库图片进行特征提取,得到与每个所述模型对应的多个底库特征值,形成与多个所述模型分别一一对应的多个特征包,所述特征包包括对应模型提取的所述底库特征值,以及所述底库特征值对应的所述底库图片的所述图片标识;
发送特征步骤,发送所述多个特征包;
多结果汇聚步骤,接收多个结果包,所述结果包包括所述图片标识,其中,所述多个结果包分别与所述多个模型一一对应,所述结果包通过所述模型对待测图片进行特征提取并与所述模型对应的所述特征包中的所述底库特征值比对的结果得到;
筛选步骤,根据所述多个结果包的多个所述图片标识,筛选得到一个或多个所述图片标识;
结果获取步骤,根据筛选得到的一个或多个所述图片标识,调取对应的所述底库图片;
其中,所述筛选步骤包括:
去重步骤,根据所述多个结果包的多个所述图片标识,进行去重;
检测步骤,根据去重后的所述图片标识,进行时空检测,得到一个或多个所述图片标识,所述时空检测包括基于所述待测图片获取的时间和地点判断图片标识的合理性。
2.根据权利要求1所述的方法,其中,所述底库图片获取步骤包括:向底库订阅所述底库图片,当所述底库更新所述底库图片时,获取所述底库图片。
3.根据权利要求1所述的方法,其中,所述模型具有模型标识;所述特征包还包括对应的所述模型的所述模型标识;所述结果包还包括与所述结果包对应的所述特征包中的所述模型标识。
4.一种图片比对方法,其中,所述方法包括:
模型获取步骤,获取多个模型;
接收特征步骤,接收多个特征包,所述特征包分别与所述模型一一对应,所述特征包包括对应的所述模型对全部底库图片提取的底库特征值,以及与所述底库特征值对应的所述底库图片的图片标识;
图片获取步骤,获取待测图片;
待测特征提取步骤,通过所述多个模型,分别对所述待测图片进行特征提取,得到多个待测特征值;
比对步骤,将所述多个待测特征值与所述多个特征包中的所述底库特征值进行比对,根据比对结果,生成多个结果包,所述结果包包括所述图片标识;
发送结果步骤,发送所述多个结果包,所述多个结果包用于通过对应的多个所述图片标识筛选得到一个或多个所述图片标识,并通过筛选得到的所述一个或多个所述图片标识,调取对应的所述底库图片;
其中,所述一个或多个所述图片标识,是通过去重步骤对多个所述图片标识进行去重,并通过检测步骤对去重后的图片标识进行时空检测后得到的,所述时空检测包括基于所述待测图片获取的时间和地点判断图片标识的合理性。
5.根据权利要求4所述的方法,其中,所述比对步骤包括:分别将每个所述模型提取的所述待测特征值,与和所述模型对应的所述特征包中的所述底库特征值进行比对,根据与所述待测特征值相似度最高的N个所述底库特征值对应的所述特征包中的所述图片标识,生成所述结果包,其中N为正整数。
6.根据权利要求4所述的方法,其中,所述方法还包括存储步骤:将所述接收特征步骤接收的所述多个特征包加载到分布式缓存中。
7.根据权利要求6所述的方法,其中,所述存储步骤还包括:将所述接收特征步骤接收的所述多个特征包存储到分布式存储中。
8.根据权利要求4所述的方法,其中,所述图片获取步骤包括:向图片平台订阅所述待测图片,所述图片平台通过终端获取待测图片,当所述图片平台更新所述待测图片时,获取所述待测图片。
9.根据权利要求4所述的方法,其中,所述模型具有模型标识;所述特征包还包括与对应的所述模型的所述模型标识;所述结果包还包括与所述结果包对应的所述特征包中的所述模型标识。
10.一种图片识别装置,其中,所述装置包括:
模型获取模块,用于获取多个模型;
底库图片获取模块,用于获取底库图片,其中,每张所述底库图片具有图片标识;
多特征提取模块,用于通过每个所述模型,分别对全部所述底库图片进行特征提取,到与每个所述模型对应的多个底库特征值,形成与多个所述模型分别一一对应的多个特征包,所述特征包包括对应模型提取的底库特征值,以及所述底库特征值对应的所述底库图片的所述图片标识;
发送特征模块,用于发送所述多个特征包;
多结果汇聚模块,用于接收多个结果包,所述结果包包括所述图片标识,其中,所述多个结果包分别与所述多个模型一一对应,所述结果包通过所述模型对待测图片进行特征提取并与所述模型对应的所述特征包中的所述底库特征值比对的结果得到;
筛选模块,用于根据所述多个结果包的多个所述图片标识,筛选得到一个或多个所述图片标识;
结果获取模块,用于根据筛选得到的一个或多个所述图片标识,调取对应的所述底库图片;
其中,所述筛选模块采用如下方式根据所述多个结果包的多个所述图片标识,筛选得到一个或多个所述图片标识:根据所述多个结果包的多个所述图片标识,进行去重;根据去重后的所述图片标识,进行时空检测,得到一个或多个所述图片标识,所述时空检测包括基于所述待测图片获取的时间和地点判断图片标识的合理性。
11.一种图片比对装置,其中,所述装置包括:
模型获取模块,用于获取多个模型;
接收特征模块,用于接收多个特征包,所述特征包分别与所述模型一一对应,所述特征包包括对应的所述模型对全部底库图片提取的底库特征值,以及与所述底库特征值对应的所述底库图片的图片标识;
图片获取模块,用于获取待测图片;
待测特征提取模块,用于通过所述多个模型,分别对所述待测图片进行特征提取,得到多个待测特征值;
比对模块,用于将所述多个待测特征值与所述多个特征包中的所述底库特征值进行比对,根据比对结果,生成多个结果包,所述结果包包括所述图片标识;
发送结果模块,用于发送所述多个结果包,所述多个结果包用于通过对应的多个所述图片标识筛选得到一个或多个所述图片标识,并通过筛选得到的所述一个或多个所述图片标识,调取对应的所述底库图片;其中,所述一个或多个所述图片标识,是通过去重步骤对多个所述图片标识进行去重,并通过检测步骤对去重后的图片标识进行时空检测后得到的,所述时空检测包括基于所述待测图片获取的时间和地点判断图片标识的合理性。
12.一种图片比对识别***,包括权利要求10所述的图片识别装置、权利要求11所述的图片比对装置,以及网络隔离设备,所述特征包经过所述网络隔离设备由所述图片识别装置发送至所述图片比对装置,所述结果包经过所述网络隔离设备由所述图片比对装置发送至所述图片识别装置。
13.一种电子设备,其中,所述电子设备包括:
存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行如权利要求1-3中任一项所述的图片识别方法或如权利要求4-9中任一项的图片比对方法。
14.一种计算机可读存储介质,其中存储有指令,所述指令被处理器执行时,执行如权利要求1-3中任一项所述的图片识别方法或如权利要求4-9中任一项的图片比对方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019107115032 | 2019-08-02 | ||
CN201910711503 | 2019-08-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110569765A CN110569765A (zh) | 2019-12-13 |
CN110569765B true CN110569765B (zh) | 2022-04-22 |
Family
ID=68776571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910802834.7A Active CN110569765B (zh) | 2019-08-02 | 2019-08-28 | 图片识别方法、图片比对方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110569765B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178259A (zh) * | 2019-12-30 | 2020-05-19 | 八维通科技有限公司 | 支持多算法融合的识别方法及*** |
CN111241981A (zh) * | 2020-01-07 | 2020-06-05 | 武汉旷视金智科技有限公司 | 视频结构化*** |
CN113408530B (zh) * | 2021-07-16 | 2022-05-13 | 北京百度网讯科技有限公司 | 一种图像识别方法、装置、设备以及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020606A (zh) * | 2012-12-27 | 2013-04-03 | 北京大学 | 一种基于时空上下文信息的行人检测方法 |
CN103699801A (zh) * | 2013-12-31 | 2014-04-02 | 深圳先进技术研究院 | 一种时空规律的地铁乘客聚类和边缘检测方法 |
WO2017032243A1 (zh) * | 2015-08-26 | 2017-03-02 | 阿里巴巴集团控股有限公司 | 图像特征提取方法、装置、终端设备及*** |
CN107506108A (zh) * | 2013-03-22 | 2017-12-22 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及计算机可读取的存储介质 |
CN108256568A (zh) * | 2018-01-12 | 2018-07-06 | 宁夏智启连山科技有限公司 | 一种植物种类识别方法以及装置 |
CN108764350A (zh) * | 2018-05-30 | 2018-11-06 | 苏州科达科技股份有限公司 | 目标识别方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9122934B2 (en) * | 2013-12-27 | 2015-09-01 | Automotive Research & Testing Center | Object detection method with a rising classifier effect and object detection device with the same |
CN106960219B (zh) * | 2017-03-10 | 2021-04-16 | 百度在线网络技术(北京)有限公司 | 图片识别方法及装置、计算机设备及计算机可读介质 |
-
2019
- 2019-08-28 CN CN201910802834.7A patent/CN110569765B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020606A (zh) * | 2012-12-27 | 2013-04-03 | 北京大学 | 一种基于时空上下文信息的行人检测方法 |
CN107506108A (zh) * | 2013-03-22 | 2017-12-22 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及计算机可读取的存储介质 |
CN103699801A (zh) * | 2013-12-31 | 2014-04-02 | 深圳先进技术研究院 | 一种时空规律的地铁乘客聚类和边缘检测方法 |
WO2017032243A1 (zh) * | 2015-08-26 | 2017-03-02 | 阿里巴巴集团控股有限公司 | 图像特征提取方法、装置、终端设备及*** |
CN108256568A (zh) * | 2018-01-12 | 2018-07-06 | 宁夏智启连山科技有限公司 | 一种植物种类识别方法以及装置 |
CN108764350A (zh) * | 2018-05-30 | 2018-11-06 | 苏州科达科技股份有限公司 | 目标识别方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
Multi-model fusion metric learning for image set classification;Xizhan Gao et al;《Knowledge-Based Systems》;20181231;全文 * |
多模型融合动作识别研究;田曼等;《电子测量技术》;20181031;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110569765A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569765B (zh) | 图片识别方法、图片比对方法及装置 | |
US10365915B2 (en) | Systems and methods of monitoring a network topology | |
US20210233319A1 (en) | Context-aware tagging for augmented reality environments | |
US10621180B2 (en) | Attribute-based detection of anomalous relational database queries | |
CN111565390A (zh) | 一种基于设备画像的物联网设备风险控制方法及*** | |
US10686807B2 (en) | Intrusion detection system | |
CN107305611B (zh) | 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置 | |
CN111967609B (zh) | 模型参数验证方法、设备及可读存储介质 | |
US10178109B1 (en) | Discovery of groupings of security alert types and corresponding complex multipart attacks, from analysis of massive security telemetry | |
US11196633B2 (en) | Generalized correlation of network resources and associated data records in dynamic network environments | |
US20200349647A1 (en) | System and method for crowd-sourced refinement of natural phenomenon for risk management and contract validation | |
US11481268B2 (en) | Blockchain management of provisioning failures | |
US11599561B2 (en) | Data stream analytics | |
CN113763211A (zh) | 基于区块链的侵权检测方法及装置和电子设备 | |
CN106844727B (zh) | 海量图像特征数据分布式采集处理和分级应用***及方法 | |
US20190057122A1 (en) | Systems and methods for data ingestion | |
CN114661658B (zh) | 一种应用于远程视频会议的数据分析方法及*** | |
CN113783862B (zh) | 一种边云协同过程中进行数据校验的方法及装置 | |
CN111737371B (zh) | 可动态预测的数据流量检测分类方法及装置 | |
US20230036680A1 (en) | Application security posture identifier | |
CN112926037A (zh) | 物联网认证方法、装置及存储介质 | |
JP2022525422A (ja) | 分散台帳を用いて素材を追跡するのための固有識別子としての表面テクスチャの使用 | |
CN110727532A (zh) | 一种数据修复方法、电子设备及存储介质 | |
CN117235559B (zh) | 一种基于边缘计算的物联网数据采集方法及*** | |
WO2020239234A1 (en) | Apparatuses and methods for detecting malware |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |