CN111126102A - 人员搜索方法、装置及图像处理设备 - Google Patents
人员搜索方法、装置及图像处理设备 Download PDFInfo
- Publication number
- CN111126102A CN111126102A CN201811275884.6A CN201811275884A CN111126102A CN 111126102 A CN111126102 A CN 111126102A CN 201811275884 A CN201811275884 A CN 201811275884A CN 111126102 A CN111126102 A CN 111126102A
- Authority
- CN
- China
- Prior art keywords
- person
- candidate
- searched
- persons
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例提供了一种人员搜索方法、装置和图像处理设备,所述方法包括:对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。本发明实施例通过人物检测和两步检索从视频监控中找到待查找人员。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种人员搜索方法、装置及图像处理设备。
背景技术
人员搜索(person searching)是在多个摄像机中搜索给定人员(也称为可疑人员)并给出位置(location)以及相应的摄像机标识。
人员搜索的应用范围较广,如查找失踪的孩子、搜索罪犯、跨摄像机人员跟踪和人员活动分析等。在人员搜索技术中存在诸多挑战,如人体姿势的复杂变化、相机视点、光照、遮挡、分辨率、背景杂乱等。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现,尽管目前有大量的人员重新识别方法(person re-identificationmethod)可以用于人员搜索,但这些方法只关注于在可疑人员和候选人员之间使用裁剪的人物图像进行检索。所以这些方法不适合在整个图像中搜索可疑人员。
为了解决上述问题的至少一个,本发明实施例提供一种人员搜索方法、装置及图像处理设备,以从视频监控中找到待查找人员。
根据本发明实施例的第一方面,提供了一种人员搜索方法,其中,所述方法包括:
对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;
对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;
根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;
计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
根据本发明实施例的第二方面,提供了一种人员搜索装置,其中,所述装置包括:
第一检测单元,其对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;
第二检测单元,其对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;
选择单元,其根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;
确定单元,其计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
根据本发明实施例的第三方面,提供了一种图像处理设备,其中,所述图像处理设备包括前述第二方面所述的人员搜索装置。
根据本发明实施例的第四方面,提供了一种计算机可读程序,其中当在人员搜索装置或图像处理设备中执行所述程序时,所述程序使得所述人员搜索装置或图像处理设备执行本发明实施例的第一方面所述的人员搜索方法。
根据本发明实施例的第五方面,提供了一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得人员搜索装置或图像处理设备执行本发明实施例的第一方面所述的人员搜索方法。
本发明实施例的有益效果在于:通过人物检测和两步检索从视频监控中找到待查找人员。
参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内,本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
在本发明实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外,在附图中,类似的标号表示几个附图中对应的部件,并可用于指示多于一种实施方式中使用的对应部件。
所包括的附图用来提供对本发明实施例的进一步的理解,其构成了说明书的一部分,用于例示本发明的实施方式,并与文字描述一起来阐释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是实施例1的人员搜索方法的一个实施方式的示意图;
图2是鱼眼视频图像的一个示意图;
图3是对图2的鱼眼视频图像进行去鱼眼处理后的示意图;
图4是某个待查找人员(可疑人员)的示意图;
图5是根据图4所示的可疑人员的属性信息,通过计算候选人员的匹配分数确定的三个候选人员的示意图;
图6是通过计算可疑人员与候选人员的相似度确定的可疑人员的示意图;
图7是实施例2的人员搜索装置的一个实施方式的示意图;
图8是实施例3的图像处理设备的示意图。
具体实施方式
参照附图,通过下面的说明书,本发明的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用本发明的原则的部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本发明实施例中,术语“第一”、“第二”等用于对不同元素从称谓上进行区分,但并不表示这些元素的空间排列或时间顺序等,这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在,但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本发明实施例中,单数形式“一”、“该”等包括复数形式,应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义;此外术语“所述”应理解为既包括单数形式也包括复数形式,除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”,术语“基于”应理解为“至少部分基于……”,除非上下文另外明确指出。
下面结合附图对本发明实施例的各种实施方式进行说明。这些实施方式只是示例性的,不是对本发明的限制。
实施例1
本实施例提供了一种人员搜索方法,图1是本发明实施例1的人员搜索方法的一个实施方式的示意图。请参照图1,该方法包括:
步骤101:对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;
步骤102:对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;
步骤103:根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;
步骤104:计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
在本实施例中,通过人物检测从视频监控图像中找到候选人员,根据待查找人员和候选人员的属性信息选择一定数量的候选人员(第一步检索),再根据待查找人员与选择出的候选人员的高维特征最终从候选人员找到待查找人员(第二步检索)。由此,仅通过人物检测和两步检索就从视频监控中找到了待查找人员,提高了人员搜索的准确性,并降低了计算的复杂度。
在本实施例的步骤101中,上述参考图像可以是预先拍摄的照片,从预先拍摄的照片中检测待查找人员,适用于失踪人员、嫌疑犯等的搜索。本实施例并不以此作为限制,上述参考图像也可以是视频监控图像,从视频监控图像中检测待查找人员,适用于跨摄像机人员跟踪、人员活动分析。本实施例的待查找人员也可以成为可疑人员(query)。
在本实施例的步骤102中,上述视频监控图像可以是布置于任意位置的摄像机拍摄的图像,例如布置于酒店楼道、办公区、路边、商场等场所的摄像机所拍摄的图像。并且,该视频监控图像可以是二维的平面图像,也可以是目前使用较为普遍的鱼眼视频图像。
如果该视频监控图像是二维的平面图像,则在步骤102中,可以直接对该图像进行人物检测,确定所有候选人员(Candidate);如果该视频监控图像是鱼眼视频图像,则在步骤102之前,还可以进行图像的去鱼眼化处理,得到去鱼眼后的视频监控图像,以便在步骤102中,对去除了鱼眼后的视频监控图像进行人物检测。
图2是鱼眼视频图像的一个示意图,如图2所示,通过对该鱼眼视频图像进行人物检测,只检测到四个人,通过方框示出。由于鱼眼视频的特点,导致得到的鱼眼视频图像中,大多数人无法成功检测到,甚至,有的人的方向是相反的,为了得到图像中的所有人,本实施例可以对该鱼眼视频进行去鱼眼处理(de-fish operation)。
图3是对图2所示的鱼眼视频图像进行了去鱼眼处理后的一个示意图,如图3所示,在对图2所示的鱼眼视频图像进行了去鱼眼处理后,对该去鱼眼后的图像进行人物检测,可以得到图3的结果,从图3中可以看出,有二十多人被发现,通过方框示出,并且所有的人都是直立的。
本实施例对去鱼眼处理的处理方式不作限制,任意现有的处理方式都可以应用于本申请,此处不再赘述。
本实施例对人物检测的方法也不作限制,例如可以使用用于目标检测的特征金字塔网络(FPN)方法进行人物检测,也可以采用单次目标检测器(SSD、YOLO)等其他方法,此处不再赘述。
在本实施例的步骤101和步骤102中,在通过人物检测得到了图像中的待查找人员和所有的候选人员之后,可以从该图像中提取该待查找人员和所有候选人员的属性信息。
在本实施例中,属性信息是能体现人物特征的信息,例如衣服类型、衣服颜色、头发的类型、头发的颜色、身高、体型等等。为了方便比对,本实施例以上衣类型、下衣类型、上衣颜色和下衣颜色作为人物的四类属性信息。关于上衣类型和下衣类型,大致可以分为以下九种:上衣夹克(up_Jacket)、上衣长体恤(up_Longshirts)、上衣短体恤(up_Shortshirts)、上衣西装(up_Suit)、上衣外套(up_Coat)、下衣长裤(low_Pants)、下衣裙子(low_Skirts)、下衣短裤(low_Shorts)。关于上衣颜色和下衣颜色,大致可以分为以下十种:黑色(black)、蓝色(blue)、绿色(green)、红色(red)、灰色(gray)、白色(white)、黄色(yellow)、紫色(purple)、粉红色(pink)和未知(unknown)。上述属性信息的分类和每一类属性信息所包含的指标都是举例说明,在具体实施过程中,根据检测精度的要求,可以增加属性的分类或者增加每个属性的指标,也可以减少属性的分类或者减少每个属性的指标,本实施例对此不作限制。
在本实施例中,获得图像中的待查找人员以及候选人员后,可以按照上述属性的分类从该图像中提取该人物的属性信息。例如,可以将该图像中的该人物分为上半部分和下半部分,然后使用卷积神经网络(CNN)模型对其分类,得到该人物的上述属性信息。
图4是某个可疑人员(Query)的示意图,如图4所示,当以该图像中方框中的人物作为可疑人员时,从该图像中提取的该人物的属性信息可以是up_Longshirts、low_Pants、up_white以及low_black。
本实施例对从该图像中获取该人物的属性信息的方式不作限制,例如可以采用前述CNN模型获得,也可以采用其他方式获得。
在本实施例的步骤103中,可以根据待查找人员的属性信息,提取每个候选人员的该属性信息的概率;然后将该属性信息的概率与该属性信息对应的权重的乘积作为该候选人员的匹配分数。
在本实施例中,每个候选人员针对每个属性的每一项指标都有一个概率,由此,根据待查找人员的属性信息,可以从每个候选人员的概率中提取对应该属性信息的指标的概率,将该概率与对应该指标的权重的乘积作为该候选人员的匹配分数。
仍以图4为例,该待查找人员的属性信息为up_Longshirts、low_Pants、up_white以及low_black。根据该属性信息,针对每个属性,例如up_Longshirts,可以提取候选人员的“上衣类型为长体恤”的概率,将该概率与“上衣类型为长体恤”对应的权重的乘积作为该属性的匹配分数,对其他三个属性进行类似处理,由此得到了该候选人员的匹配分数。
例如,该匹配分数可以通过下面的公式计算获得:
Score=∑pi*wi,i=1,...,n
pi是该候选人员的第i个属性的概率,wi是第i个属性的权重,i为属性信息中的各个属性的序号,n是属性的总的数量,在这个例子中,n为4,也即有四个属性。
以上公式只是举例说明,也可以采用其他方式来得到每个候选人员的匹配分数,候选人员的匹配分数越高,则成为该待查找人员的可能性越大,因此,本实施例按照匹配分数从大到小的顺序选择预定数量的候选人员进行进一步检索。这里,对选择的候选人员的数量不作限制,可以根据需要决定。
仍以图4为例,通过将图4中检测到的人物作为待查找人员,根据其属性信息对所有候选人员进行筛选,得到三个匹配分数最高的候选人员,如图5所示,分别记为C1、C2和C3,他们的匹配分数分别为0.814、0.5和0.327。
在本实施例的步骤104中,可以通过计算待查找人员与选择出的几个可能性大的候选人员的相似度,来从这几个候选人员中找到待查找人员。
在一个实施方式中,可以获取该待查找人员和所有选择的候选人员的高维特征;根据待查找人员和每个选择的候选人员的高维特征计算待查找人员和每个选择的候选人员的高维特征的相似度。
在本实施方式中,上述高维特征可以是CaffeNet模型的全连接的特征,通过计算待查找人员和每个选择的候选人员之间的余弦相似度,可以将多个相似度排序,并输出相似度最高的结果作为最后的结果,也即作为该待查找人员。
例如,该相似度可以通过下面的公式计算获得:
j=arg max(Sim)。
其中,i为选择的候选人员的序号,Q为待查找人员的高维特征,Ci为选择的候选人员的高维特征,m为选择的候选人员的总数,j为相似度最高的候选人员的索引。
以上公式只是举例说明,也可以采用其他方式来计算待查找人员与候选人员的相似度,相似度越大,则该候选人员成为该待查找人员的可能性越大,因此,本实施例将相似度最大的候选人员作为结果输出。
仍以图4所示的待查找人员(Query)以及图5所示的候选人员C1、C2和C3为例,在这个例子中,有三个候选人员,也即m为3,本实施例提取了待查找人员以及这三个候选人员的高维特征,计算待查找人员和每个候选人员的相似度,输出相似度最高的候选人员作为结果,如图6所示,在这个例子中,j=C1。
本实施例通过人物检测和两步检索能够从视频监控中找到待查找人员。
实施例2
本实施例提供了一种人员搜索装置,由于该装置解决问题的原理与实施例1的方法类似,因此其具体的实施可以参考实施例1的方法,内容相同之处不再重复说明。
图7是本实施例的人员搜索装置700的示意图,如图7所示,该人员搜索装置700包括:第一检测单元701、第二检测单元702、选择单元703以及确定单元704,该第一检测单元701对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;该第二检测单元702对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;该选择单元703根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;该确定单元704计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
在本实施例中,参考图像可以是预先拍摄的照片或者视频监控图像。但本实施例对此不作限制。
在本实施例中,上述视频监控图像可以是鱼眼视频图像,则如图7所示,该人员搜索装置700还可以包括:
处理单元705,其对所述视频监控图像进行去鱼眼处理,得到去鱼眼后的视频监控图像,以便所述第二检测单元对所述去鱼眼后的视频监控图像进行所述人物检测。
在本实施例中,上述属性信息可以包括:上衣类型、下衣类型、上衣颜色、以及下衣颜色。
在本实施例的一个实施方式中,选择单元703可以根据所述待查找人员的属性信息,提取每个候选人员的所述属性信息的概率;将所述属性信息的概率与该属性信息对应的权重的乘积作为所述候选人员的匹配分数。
例如,选择单元703可以使用下面的公式计算每个候选人员的匹配分数:
Score=∑pi*wi,i=1,...,n
pi是所述候选人员的第i个属性的概率,wi是所述第i个属性的权重,i为属性信息中的各个属性的序号,n是属性的总的数量。
在本实施例的一个实施方式中,确定单元704可以获取所述待查找人员和所有选择的候选人员的高维特征;根据待查找人员和每个选择的候选人员的高维特征计算待查找人员和每个选择的候选人员的高维特征的相似度。
例如,确定单元704可以使用下面的公式计算上述相似度:
其中,i为选择的候选人员的序号,Q为待查找人员的高维特征,Ci为选择的候选人员的高维特征,m为选择的候选人员的总数。
本实施例通过人物检测和两步检索能够从视频监控中找到待查找人员。
实施例3
本实施例提供一种图像处理设备,该图像处理设备包括如实施例2所述的人员搜索装置。
图8是本实施例的图像处理设备的示意图。如图8所示,图像处理设备800可以包括:中央处理器(CPU)801和存储器802;存储器802耦合到中央处理器801。其中该存储器802可存储各种数据;此外还存储信息处理的程序,并且在中央处理器801的控制下执行该程序。
在一个实施方式中,人员搜索装置700的功能可以被集成到中央处理器801中。其中,中央处理器801可以被配置为实现如实施例1所述的人员搜索方法。
在另一个实施方式中,人员搜索装置700可以与中央处理器801分开配置,例如可以将人员搜索装置700配置为与中央处理器801连接的芯片,通过中央处理器801的控制来实现遗留物错误检测的识别装置700的功能。
在本实施例中,中央处理器801可以被配置为进行如下的控制:对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
此外,如图8所示,图像处理设备800还可以包括:输入输出(I/O)设备803和显示器804等;其中,上述部件的功能与现有技术类似,此处不再赘述。值得注意的是,图像处理设备800也并不是必须要包括图8中所示的所有部件;此外,图像处理设备800还可以包括图8中没有示出的部件,可以参考现有技术。
本发明实施例提供一种计算机可读程序,其中当在人员搜索装置或图像处理设备中执行所述程序时,所述程序使得所述人员搜索装置或图像处理设备执行如实施例1所述的方法。
本发明实施例提供一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得人员搜索装置或图像处理设备执行如实施例1所述的方法。
本发明以上的装置和方法可以由硬件实现,也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序,当该程序被逻辑部件所执行时,能够使该逻辑部件实现上文所述的装置或构成部件,或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质,如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本发明实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如,图7中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合(例如,第一检测单元、第二检测单元、选择单元和确定单元等),既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块。这些软件模块,可以分别对应于图1所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中,也可以存储在可***移动终端的存储卡中。例如,若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置,则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合,可以实现为用于执行本发明所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合,还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述,但本领域技术人员应该清楚,这些描述都是示例性的,并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改,这些变型和修改也在本发明的范围内。
Claims (10)
1.一种人员搜索装置,其特征在于,所述装置包括:
第一检测单元,其对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;
第二检测单元,其对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;
选择单元,其根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;
确定单元,其计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
2.根据权利要求1所述的装置,其中,所述参考图像为预先拍摄的照片或者视频监控图像。
3.根据权利要求1所述的装置,其中,所述视频监控图像为鱼眼视频图像,所述装置还包括:
处理单元,其对所述视频监控图像进行去鱼眼处理,得到去鱼眼后的视频监控图像,以便所述第二检测单元对所述去鱼眼后的视频监控图像进行所述人物检测。
4.根据权利要求1所述的装置,其中,所述属性信息包括:上衣类型、下衣类型、上衣颜色、以及下衣颜色。
5.根据权利要求1所述的装置,其中,所述选择单元根据所述待查找人员的属性信息,提取每个候选人员的所述属性信息的概率;将所述属性信息的概率与该属性信息对应的权重的乘积作为所述候选人员的匹配分数。
6.根据权利要求5所述的装置,其中,所述选择单元通过下式计算每个候选人员的匹配分数:
Score=∑pi*wi,i=1,...,n
pi是所述候选人员的第i个属性的概率,wi是所述第i个属性的权重,i为属性信息中的各个属性的序号,n是属性的总的数量。
7.根据权利要求1所述的装置,其中,所述确定单元获取所述待查找人员和所有选择的候选人员的高维特征;根据待查找人员和每个选择的候选人员的高维特征计算待查找人员和每个选择的候选人员的高维特征的相似度。
9.一种图像处理设备,其特征在于,所述图像处理设备包括权利要求1-8任一项所述的人员搜索装置。
10.一种人员搜索方法,其特征在于,所述方法包括:
对参考图像进行人物检测,确定待查找人员,获取所述待查找人员的属性信息;
对至少一个视频监控图像进行人物检测,确定所有候选人员,获取所有候选人员的属性信息;
根据所述待查找人员的属性信息和每个候选人员的属性信息计算每个候选人员的匹配分数,按照所述匹配分数从大到小的顺序选择预定数量的候选人员;
计算所述待查找人员与每个选择的候选人员的相似度,将所述选择的候选人员中与所述待查找人员的相似度最高的候选人员作为所述待查找人员。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811275884.6A CN111126102A (zh) | 2018-10-30 | 2018-10-30 | 人员搜索方法、装置及图像处理设备 |
EP19203216.7A EP3647997A1 (en) | 2018-10-30 | 2019-10-15 | Person searching method and apparatus and image processing device |
US16/656,620 US11068707B2 (en) | 2018-10-30 | 2019-10-18 | Person searching method and apparatus and image processing device |
JP2019191915A JP2020071876A (ja) | 2018-10-30 | 2019-10-21 | 人員捜索方法と装置及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811275884.6A CN111126102A (zh) | 2018-10-30 | 2018-10-30 | 人员搜索方法、装置及图像处理设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111126102A true CN111126102A (zh) | 2020-05-08 |
Family
ID=68281021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811275884.6A Pending CN111126102A (zh) | 2018-10-30 | 2018-10-30 | 人员搜索方法、装置及图像处理设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11068707B2 (zh) |
EP (1) | EP3647997A1 (zh) |
JP (1) | JP2020071876A (zh) |
CN (1) | CN111126102A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897993A (zh) * | 2020-07-20 | 2020-11-06 | 杭州叙简科技股份有限公司 | 一种基于行人再识别的高效目标人物轨迹生成方法 |
CN112668483B (zh) * | 2020-12-30 | 2022-06-10 | 福州大学 | 一种融合行人重识别和人脸检测的单目标人物跟踪方法 |
US20220253988A1 (en) * | 2021-02-05 | 2022-08-11 | Motorola Solutions, Inc. | Device, method and system for identifying objects in warped images from a fisheye camera |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101504719A (zh) * | 2008-02-05 | 2009-08-12 | 索尼株式会社 | 图像处理装置、方法和程序 |
US20100266159A1 (en) * | 2009-04-21 | 2010-10-21 | Nec Soft, Ltd. | Human tracking apparatus, human tracking method, and human tracking processing program |
CN102592148A (zh) * | 2011-12-29 | 2012-07-18 | 华南师范大学 | 基于非负矩阵分解和多种距离函数的人脸识别方法 |
JP2014016968A (ja) * | 2012-07-11 | 2014-01-30 | Toshiba Corp | 人物検索装置及びデータ収集装置 |
CN103744887A (zh) * | 2013-12-23 | 2014-04-23 | 北京百度网讯科技有限公司 | 一种用于人物搜索的方法、装置和计算机设备 |
CN103970771A (zh) * | 2013-01-29 | 2014-08-06 | 中国科学院计算技术研究所 | 一种人体的检索方法和*** |
US20150036883A1 (en) * | 2013-05-05 | 2015-02-05 | Nice-Systems Ltd. | System and method for identifying a particular human in images using an artificial image composite or avatar |
CN105095435A (zh) * | 2015-07-23 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种图像高维特征的相似比较方法及装置 |
US20150356377A1 (en) * | 2014-06-09 | 2015-12-10 | Canon Kabushiki Kaisha | Image processing device, image processing method, and storage medium computer-readably storing program therefor |
JP2016201758A (ja) * | 2015-04-14 | 2016-12-01 | パナソニックIpマネジメント株式会社 | 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法 |
US20170017833A1 (en) * | 2014-03-14 | 2017-01-19 | Hitachi Kokusai Electric Inc. | Video monitoring support apparatus, video monitoring support method, and storage medium |
CN108197574A (zh) * | 2018-01-04 | 2018-06-22 | 张永刚 | 人物风格识别方法、终端及计算机可读存储介质 |
CN108257178A (zh) * | 2018-01-19 | 2018-07-06 | 百度在线网络技术(北京)有限公司 | 用于定位目标人体的位置的方法和装置 |
CN108288208A (zh) * | 2017-08-11 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 基于图像内容的展示对象确定方法、装置、介质及设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4339762B2 (ja) * | 2003-09-02 | 2009-10-07 | 富士フイルム株式会社 | 認証システム、及びプログラム |
CN201825966U (zh) | 2010-10-29 | 2011-05-11 | 中冶东方工程技术有限公司 | 一种钢包渣罐混装车 |
JP5791361B2 (ja) * | 2011-05-09 | 2015-10-07 | キヤノン株式会社 | パターン識別装置、パターン識別方法およびプログラム |
GB2500417B8 (en) * | 2012-03-21 | 2017-06-07 | Sony Computer Entertainment Europe Ltd | Camera device, system and method of imaging |
US9396412B2 (en) * | 2012-06-21 | 2016-07-19 | Siemens Aktiengesellschaft | Machine-learnt person re-identification |
CN105117692A (zh) | 2015-08-05 | 2015-12-02 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的实时人脸识别方法及*** |
CN106682612B (zh) | 2016-12-26 | 2021-01-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于图像识别的报警方法、终端、服务器及*** |
CN106682650A (zh) | 2017-01-26 | 2017-05-17 | 北京中科神探科技有限公司 | 基于嵌入式深度学习技术的移动终端人脸识别方法和*** |
WO2018143341A1 (ja) * | 2017-02-01 | 2018-08-09 | シャープ株式会社 | 監視装置、監視システム、監視方法及びプログラム |
CN107516127B (zh) | 2017-08-21 | 2020-06-30 | 山东大学 | 服务机器人自主获取人穿携物品归属语义的方法及*** |
US10846554B2 (en) * | 2018-07-17 | 2020-11-24 | Avigilon Corporation | Hash-based appearance search |
-
2018
- 2018-10-30 CN CN201811275884.6A patent/CN111126102A/zh active Pending
-
2019
- 2019-10-15 EP EP19203216.7A patent/EP3647997A1/en active Pending
- 2019-10-18 US US16/656,620 patent/US11068707B2/en active Active
- 2019-10-21 JP JP2019191915A patent/JP2020071876A/ja active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101504719A (zh) * | 2008-02-05 | 2009-08-12 | 索尼株式会社 | 图像处理装置、方法和程序 |
US20100266159A1 (en) * | 2009-04-21 | 2010-10-21 | Nec Soft, Ltd. | Human tracking apparatus, human tracking method, and human tracking processing program |
CN102592148A (zh) * | 2011-12-29 | 2012-07-18 | 华南师范大学 | 基于非负矩阵分解和多种距离函数的人脸识别方法 |
JP2014016968A (ja) * | 2012-07-11 | 2014-01-30 | Toshiba Corp | 人物検索装置及びデータ収集装置 |
CN103970771A (zh) * | 2013-01-29 | 2014-08-06 | 中国科学院计算技术研究所 | 一种人体的检索方法和*** |
US20150036883A1 (en) * | 2013-05-05 | 2015-02-05 | Nice-Systems Ltd. | System and method for identifying a particular human in images using an artificial image composite or avatar |
CN103744887A (zh) * | 2013-12-23 | 2014-04-23 | 北京百度网讯科技有限公司 | 一种用于人物搜索的方法、装置和计算机设备 |
US20170017833A1 (en) * | 2014-03-14 | 2017-01-19 | Hitachi Kokusai Electric Inc. | Video monitoring support apparatus, video monitoring support method, and storage medium |
US20150356377A1 (en) * | 2014-06-09 | 2015-12-10 | Canon Kabushiki Kaisha | Image processing device, image processing method, and storage medium computer-readably storing program therefor |
JP2016201758A (ja) * | 2015-04-14 | 2016-12-01 | パナソニックIpマネジメント株式会社 | 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法 |
CN105095435A (zh) * | 2015-07-23 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种图像高维特征的相似比较方法及装置 |
CN108288208A (zh) * | 2017-08-11 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 基于图像内容的展示对象确定方法、装置、介质及设备 |
CN108197574A (zh) * | 2018-01-04 | 2018-06-22 | 张永刚 | 人物风格识别方法、终端及计算机可读存储介质 |
CN108257178A (zh) * | 2018-01-19 | 2018-07-06 | 百度在线网络技术(北京)有限公司 | 用于定位目标人体的位置的方法和装置 |
Non-Patent Citations (2)
Title |
---|
GUODONG ZHANG ET AL: "Reidentification of persons using clothing features in real-life video", 《APPLIED COMPUTATIONAL INTELLIGENCE AND SOFT COMPUTING》 * |
GUODONG ZHANG ET AL: "Reidentification of persons using clothing features in real-life video", 《APPLIED COMPUTATIONAL INTELLIGENCE AND SOFT COMPUTING》, 11 January 2017 (2017-01-11) * |
Also Published As
Publication number | Publication date |
---|---|
US11068707B2 (en) | 2021-07-20 |
JP2020071876A (ja) | 2020-05-07 |
EP3647997A1 (en) | 2020-05-06 |
US20200134306A1 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
JP7132387B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2020125216A1 (zh) | 一种行人重识别方法、装置、电子设备及计算机可读存储介质 | |
Bedagkar-Gala et al. | A survey of approaches and trends in person re-identification | |
CN110443137B (zh) | 多维度身份信息识别方法、装置、计算机设备及存储介质 | |
CN102004899B (zh) | 一种人脸认证***及方法 | |
WO2019033572A1 (zh) | 人脸遮挡检测方法、装置及存储介质 | |
CN111639616B (zh) | 一种基于深度学习的重身份识别方法 | |
US9996755B2 (en) | Method and image processing apparatus for image-based object feature description | |
JP6254836B2 (ja) | 画像検索装置、画像検索装置の制御方法およびプログラム | |
US10650234B2 (en) | Eyeball movement capturing method and device, and storage medium | |
WO2019033570A1 (zh) | 嘴唇动作分析方法、装置及存储介质 | |
US11068707B2 (en) | Person searching method and apparatus and image processing device | |
WO2019033568A1 (zh) | 嘴唇动作捕捉方法、装置及存储介质 | |
Galiyawala et al. | Person retrieval in surveillance video using height, color and gender | |
Bedagkar-Gala et al. | Gait-assisted person re-identification in wide area surveillance | |
JP2015197708A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
Hidayati et al. | Garment detectives: Discovering clothes and its genre in consumer photos | |
CN111753601B (zh) | 一种图像处理的方法、装置以及存储介质 | |
JP7501747B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN107231519B (zh) | 视频处理装置及控制方法 | |
Li et al. | Human Action Recognition Using Multi-Velocity STIPs and Motion Energy Orientation Histogram. | |
Liu et al. | RGB-D based multi-attribute people search in intelligent visual surveillance | |
Nguyen et al. | Description based person retrieval using outfit characteristics and human gender | |
Dai et al. | Real object registration algorithm based on SURF and RANSAC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |