CN108694347A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN108694347A
CN108694347A CN201710220229.XA CN201710220229A CN108694347A CN 108694347 A CN108694347 A CN 108694347A CN 201710220229 A CN201710220229 A CN 201710220229A CN 108694347 A CN108694347 A CN 108694347A
Authority
CN
China
Prior art keywords
matched
image
images
pedestrian
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710220229.XA
Other languages
English (en)
Other versions
CN108694347B (zh
Inventor
曹科垒
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201710220229.XA priority Critical patent/CN108694347B/zh
Publication of CN108694347A publication Critical patent/CN108694347A/zh
Application granted granted Critical
Publication of CN108694347B publication Critical patent/CN108694347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了一种图像处理方法和装置。图像处理方法包括:获取两个待匹配图像;分别提取两个待匹配图像中的行人关键部位信息,基于每个所述待匹配图像中的所述行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像;将两个新图像进行匹配;以及根据匹配结果确定两个待匹配图像是否属于同一行人。上述方法和装置可以弱化场景与行人的相对位置关系以及行人与场景的交互情况不同对身份匹配的影响,从而可以提高身份匹配的准确率。

Description

图像处理方法和装置
技术领域
本发明涉及图像处理领域,更具体地涉及一种图像处理方法和装置。
背景技术
行人重识别(Person Re-identification)是安防应用中不可或缺的一环。行人重识别就是对多个监控摄像头采集到的图像中的行人进行匹配。对于大部分的行人身份匹配***,无论是使用神经网络还是使用传统的图像处理方法,最根本的实现方式都是直接将两个待匹配图像进行比较。在实际的匹配任务中,人与场景的相对位置关系经常变化,极大地增加了行人对比的难度,并且因为现有的匹配器难以适应复杂多变的各种场景,因此待匹配图像中的背景内容会极大地影响行人身份匹配的结果。另一方面,实际应用中的行人姿势往往不完全一样,与场景的交互也会带来极大的复杂性,为针对整个待匹配图像进行对比的匹配方式增加了非常大的难度。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像处理方法和装置。
根据本发明一方面,提供了一种图像处理方法。该方法包括:获取两个待匹配图像;分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像;将两个新图像进行匹配;以及根据匹配结果确定两个待匹配图像是否属于同一行人。
示例性地,分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像包括:对于两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像。
示例性地,对于两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,部位特征图与该待匹配图像尺寸大小一致,并且部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
示例性地,对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像包括:对于两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
示例性地,行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
示例性地,训练好的解析分类器包括一个或多个卷积神经网络。
示例性地,图像处理方法还包括:获取样本图像,样本图像中的行人关键部位所在位置是已标注好的;以及利用样本图像训练初始的解析分类器,以获得训练好的解析分类器。
示例性地,将两个新图像进行匹配包括:将两个新图像输入训练好的匹配分类器,以获得用于指示两个新图像之间的相似度的置信度;根据匹配结果确定两个待匹配图像是否属于同一行人包括:根据置信度判断两个待匹配图像是否属于同一行人。
示例性地,训练好的匹配分类器包括一个或多个卷积神经网络。
示例性地,图像处理方法还包括:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;以至少一个正初始图像对作为正样本并以至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练经初步训练的匹配分类器,以获得训练好的匹配分类器。
示例性地,图像处理方法还包括:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得训练好的匹配分类器。
根据本发明另一方面,提供了一种图像处理装置。该装置包括:待匹配图像获取模块,用于获取两个待匹配图像;新图像获得模块,用于分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像;匹配模块,用于将两个新图像进行匹配;以及行人确定模块,用于根据匹配结果确定两个待匹配图像是否属于同一行人。
示例性地,新图像获得模块包括:第一输入子模块,用于对于两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及新图像获得子模块,用于对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像。
示例性地,对于两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,部位特征图与该待匹配图像尺寸大小一致,并且部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
示例性地,新图像获得子模块包括:新图像获得单元,用于对于两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
示例性地,行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
示例性地,训练好的解析分类器包括一个或多个卷积神经网络。
示例性地,图像处理装置还包括:第一样本图像获取模块,用于获取样本图像,样本图像中的行人关键部位所在位置是已标注好的;以及第一训练模块,用于利用样本图像训练初始的解析分类器,以获得训练好的解析分类器。
示例性地,匹配模块包括:第二输入子模块,用于将两个新图像输入训练好的匹配分类器,以获得用于指示两个新图像之间的相似度的置信度;行人确定模块包括:判断子模块,用于根据置信度判断两个待匹配图像是否属于同一行人。
示例性地,训练好的匹配分类器包括一个或多个卷积神经网络。
示例性地,图像处理装置还包括:第二样本图像获取模块,用于获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;第二训练模块,用于以至少一个正初始图像对作为正样本并以至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;第一新样本图像获得模块,用于分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及第三训练模块,用于以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练经初步训练的匹配分类器,以获得训练好的匹配分类器。
示例性地,图像处理装置还包括:第三样本图像获取模块,用于获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;第二新样本图像获得模块,用于分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及第四训练模块,用于以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得训练好的匹配分类器。
根据本发明实施例的图像处理方法和装置,排除待匹配图像中的背景信息,基于仅包含行人关键部位信息的新图像进行图像匹配,来确定两个待匹配图像中的行人的身份是否一致。上述方法和装置可以弱化场景与行人的相对位置关系以及行人与场景的交互情况不同对身份匹配的影响,从而可以提高身份匹配的准确率。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图;
图2示出根据本发明一个实施例的图像处理方法的示意性流程图;
图3示出根据本发明一个实施例的采用解析分类器处理图像的示意图;
图4示出根据本发明一个实施例的采用匹配分类器处理两个需要进行匹配的图像的示意图;
图5示出根据本发明一个实施例的采用解析分类器和匹配分类器处理图像的示意图;
图6示出根据一个示例的解析分类器的输入图像和解析结果以及与输入图像对应的新图像;
图7示出根据本发明一个实施例的图像处理装置的示意性框图;以及
图8示出根据本发明一个实施例的图像处理***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决上文所述的问题,本发明实施例提供一种图像处理方法和装置,其通过在原始的待匹配图像中分割出行人所占的部分,非常有效地排除掉复杂的场景对于身份匹配结果的干扰,将图像对比的重点集中在关键的人物外貌信息上,从而可以实现准确高效的身份匹配。本发明实施例提供的图像处理方法可以在多种复杂的环境条件下,得到比较好的身份匹配结果,因此该方法可以很好地应用于各种监控领域。
首先,参照图1来描述用于实现根据本发明实施例的图像处理方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和图像采集装置110,这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以采集图像(包括视频帧),并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是监控摄像头。应当理解,图像采集装置110仅是示例,电子设备100可以不包括图像采集装置110。在这种情况下,可以利用其他图像采集装置采集用于图像处理的图像,并将采集的图像发送给电子设备100。
示例性地,用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面,将参考图2描述根据本发明实施例的图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示,图像处理方法200包括以下步骤。
在步骤S210,获取两个待匹配图像。
待匹配图像可以是任何合适的、需要进行匹配的图像。待匹配图像可以是摄像头等图像采集装置采集到的原始图像,也可以是对原始图像进行预处理之后获得的图像。例如,待匹配图像可以是从原始图像中提取出来的仅包含单个行人的行人图像。
待匹配图像可以由客户端设备(诸如包括监控摄像头的安防设备)发送到电子设备100以由电子设备100的处理器102进行处理,也可以由电子设备100包括的图像采集装置110(例如摄像头)采集并传送到处理器102进行处理。
在步骤S220,分别提取两个待匹配图像中的行人关键部位信息,基于每个所述待匹配图像中的所述行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像。
对于每个待匹配的图像,可以将该待匹配图像中的行人关键部位信息和背景信息区分开,并排除待匹配图像中的背景信息,以获得与该待匹配图像对应的仅剩下行人关键部位信息的新图像。行人关键部位信息是指与行人关键部位相关的信息。示例性而非限制性地,行人关键部位可以包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
在步骤S230,将两个新图像进行匹配。
将两个新图像进行匹配即将二者进行对比。由于新图像中排除了背景信息,因此在匹配时可以将图像对比的重点集中于关键的人物外貌信息上。示例性地,两个新图像的匹配可以采用匹配分类器实现,这将在下文描述。
在步骤S240,根据匹配结果确定两个待匹配图像是否属于同一行人。
示例性地,匹配结果是两个新图像之间的相似度,如果该相似度大于预设的阈值,则可以确定两个新图像中的行人关键部位信息一致,也就可以确定两个待匹配图像属于同一行人。
根据本发明实施例的图像处理方法,排除待匹配图像中的背景信息,基于仅包含行人关键部位信息的新图像进行图像匹配,来确定两个待匹配图像中的行人的身份是否一致。上述方法可以弱化场景与行人的相对位置关系以及行人与场景的交互情况不同对身份匹配的影响,从而可以提高身份匹配的准确率。
示例性地,根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者***中实现。
根据本发明实施例的图像处理方法可以部署在图像采集端处,例如,可以部署在小区门禁***的图像采集端或者部署在诸如车站、商场、银行等公共场所的安防监控***的图像采集端。替代地,根据本发明实施例的图像处理方法还可以分布地部署在服务器端(或云端)和客户端处。例如,可以在客户端采集图像,客户端将采集到的图像传送给服务器端(或云端),由服务器端(或云端)进行图像处理。
根据本发明实施例,步骤S220可以包括:对于两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像。
示例性地,训练好的解析分类器可以包括一个或多个卷积神经网络(Convolutional Neural Network,CNN)。图3示出根据本发明一个实施例的采用解析分类器处理图像的示意图。如图3所示,解析分类器包括两个CNN,图像由第一个CNN的输入层接收,在第二个CNN的输出层获得解析结果。在实际的身份匹配过程中,解析分类器包含的两个CNN为训练好的用于识别行人关键部位的卷积神经网络,输入的图像即为待匹配图像,待匹配图像通过第一个CNN和第二个CNN的处理,能够获得用于指示行人关键部位所在位置的解析结果。
卷积神经网络是一种能够自主学习的网络,利用训练好的卷积神经网络可以非常方便准确地提取出图像中所需的信息。
根据本发明实施例,步骤S230可以包括:将两个新图像输入训练好的匹配分类器,以获得用于指示两个新图像之间的相似度的置信度;步骤S240可以包括:根据置信度判断两个待匹配图像是否属于同一行人。
示例性地,训练好的匹配分类器包括一个或多个卷积神经网络。匹配分类器和解析分类器类似,都可以由卷积神经网络构成。图4示出根据本发明一个实施例的采用匹配分类器处理两个需要进行匹配的图像(即第一图像和第二图像)的示意图。如图4所示,匹配分类器包括两个CNN,第一图像和第二图像由第一个CNN的输入层接收,在第二个CNN的输出层获得置信度(score)。在实际的身份匹配过程中,输入的两个图像为基于步骤S220中解析分类器的输出结果获得的与两个待匹配图像对应的两个新图像,即第一新图像和第二新图像。
匹配分类器接收新图像,输出置信度。该置信度可以指示两个新图像之间的相似度,由于两个新图像为两个待匹配图像经过解析分类器获得的,因此该置信度也可以反映两个待匹配图像中行人关键部位之间的相似度。示例性地,可以将置信度与预设的阈值相比较,如果置信度大于预设的阈值,则确定两个待匹配图像属于同一行人,否则确定两个待匹配图像不属于同一行人。
图5示出根据本发明一个实施例的采用解析分类器和匹配分类器处理图像的示意图。如图5所示,第一待匹配图像和第二待匹配图像分别输入解析分类器进行处理,获得各自的解析结果,即第一解析结果和第二解析结果。第一待匹配图像结合第一解析结果获得第一新图像,第二待匹配图像结合第二解析结果获得第二新图像。随后,将两个新图像输入匹配分类器,可以获得置信度(score)。
根据本发明实施例,对于两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,部位特征图与该待匹配图像尺寸大小一致,也就是说,基于该待匹配图像输出的部位特征图的长、宽及其分辨率均与该待匹配图像相同,并且部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
如上文所述,行人关键部位可以包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
图6示出根据一个示例的解析分类器的输入图像和解析结果以及与输入图像对应的新图像。在图6中,1号图像是解析分类器的输入图像,2-5号图像是解析分类器的解析结果,6号图像是基于5号图像和输入图像获得的新图像。图6中的2-5号图像分别是与行人皮肤部位、行人上半身、行人下半身和行人整体相对应的部位特征图。
以4号图像为例,该图像可以称为行人下半身特征图,其与原始的输入图像尺寸大小一致。4号图像的坐标为(100,100)的像素的像素值代表输入图像中的坐标为(100,100)的像素属于行人下半身的概率,其他坐标的像素也是类似的,不一一赘述。可选地,所述概率可以仅包括1和0这两种取值,当匹配分类器判断某一像素对应的位置属于行人下半身的概率大于预设概率值时,则将该像素值设置为1,否则,将该像素值设置为0,这样,行人下半身特征图将是如图6中4号图所示的黑白色图像。4号图像中白色部分可以表示在原始的输入图像中行人下半身所在的位置,黑色部分可以表示在原始的输入图像中背景所在的位置。当然,黑色部分和白色部分的颜色互换也是可行的,例如,以5号图像为例,该图像可以称为行人整体特征图,其与原始的输入图像尺寸大小一致。5号图像的坐标为(100,100)的像素的像素值代表输入图像中的坐标为(100,100)的像素属于行人整体的概率,其他坐标的像素也是类似的,不一一赘述。可选地,所述概率可以仅包括1和0这两种取值,当匹配分类器判断某一像素对应的位置属于行人整体的概率大于预设概率值时,则将该像素值设置为0,否则,将该像素值设置为1,这样,行人整体特征图将是如图6中5号图所示的黑白色图像。5号图像中黑色部分可以表示在原始的输入图像中行人所在的位置,白色部分可以表示在原始的输入图像中背景所在的位置。
当然,所述概率也可以为0到1之间的取值,具体取值由匹配分类器基于某一像素对应的位置属于行人关键部位的实际概率进行确定,这样,行人部位特征图将是一个灰度值,部位特征图中越接近白色的区域,其为行人关键部位的可能性越高,越接近黑色的区域,其为背景的可能性越高。
可以理解,如果在步骤S230,仅比较单一的行人关键部位信息,则解析分类器可以仅输出一种部位特征图,如果需要比较多种行人关键部位信息,则解析分类器可以输出多个部位特征图,并根据多种比较结果综合判断两个待匹配图像是否属于同一行人。
示例性地,可以将诸如图6中的2-5号图像的解析结果输出,以供用户查看。用户可以将显示出的解析结果作为参考来判断两个待匹配图像的匹配结果是否正确。
根据本发明实施例,对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像包括:对于所述两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
在实际使用场景中,可将该待匹配图像与其部位特征图相乘,并基于二者相乘后的结果获得与该待匹配图像对应的新图像,示例性地,以概率仅包括1和0这两种取值为例,分为以下两种情况:
当匹配分类器判断某一像素对应的位置属于行人关键部位的概率大于预设概率值时,则将该像素值设置为1,否则,将该像素值设置为0,此时可以图6中的4号图像为例,由于行人下半身特征图中的像素值表示原始的输入图像中的对应像素属于行人下半身的概率,因此可以简单地将输入图像与行人下半身特征图相乘,那么原始输入图像对应于行人下半身特征图白色区域的部分能够保留在相乘后得到的图像中,原始输入图像对应于行人下半身特征图黑色区域的部分不会体现在相乘后得到的图像中;
当匹配分类器判断某一像素对应的位置属于行人关键部位的概率大于预设概率值时,则将该像素值设置为0,否则,将该像素值设置为1,此时可以图6中的5号图像为例,由于行人整体特征图中的像素值表示原始的输入图像中的对应像素属于行人整体的概率,因此可以简单地将输入图像与行人整体特征图相乘,并利用原始输入图像减去输入图像与行人整体特征图的相乘结果,即可以获得如6号图像那样的新图像。如图6所示,6号图像的背景信息被排除,仅剩下行人整体信息。
根据本发明实施例,图像处理方法200还可以包括:获取样本图像,样本图像中的行人关键部位所在位置是已标注好的;以及利用样本图像训练初始的解析分类器,以获得训练好的解析分类器。
图像处理方法200可以包括解析分类器的训练步骤。在训练解析分类器时,可以预先获得大量样本图像。假设行人关键部位包括行人整体,则可以标注出样本图像中的行人的轮廓,轮廓内为行人整体所在位置,轮廓外为背景部分。
初始的解析分类器具有初始参数,该初始参数可以是以随机方式生成的。通过大量样本图像可以训练初始的解析分类器中的参数,以最终获得训练好的解析分类器。在初始的解析分类器包括若干卷积神经网络(训练好的解析分类器同样包括若干卷积神经网络)的情况下,其训练可以采用反向传播算法实现,本文不对此进行赘述。
根据本发明实施例,图像处理方法200还可以包括:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;以至少一个正初始图像对作为正样本并以至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练经初步训练的匹配分类器,以获得训练好的匹配分类器。
图像处理方法200可以包括匹配分类器的训练步骤。在训练匹配分类器时,可以预先获得大量样本图像。样本图像集中包括至少一个正初始图像对和至少一个负初始图像对。每个正初始图像对中两个样本图像属于同一行人,每个负初始图像对中的两个样本图像属于不同行人。以正初始图像对作为正样本,负初始图像对作为负样本,训练初始的匹配分类器。
初始的匹配分类器具有初始参数,该初始参数可以是以随机方式生成的。通过大量样本图像可以训练初始的匹配分类器中的参数,以获得经初步训练的匹配分类器。在匹配分类器包括若干卷积神经网络(训练好的匹配分类器同样包括若干卷积神经网络)的情况下,其训练可以采用反向传播算法实现,本文不对此进行赘述。
示例性地,还可以利用解析分类器对样本图像集中的所有样本图像进行处理,排除所有样本图像中的背景信息,获得仅包含行人关键部位信息的新样本图像集。可以理解,新样本图像集中的所有新样本图像与原始的样本图像集中的所有样本图像是一一对应的。也就是说,新样本图像集中仍然存在正新图像对和负新图像对。
随后,可以利用正新图像对和负新图像对对匹配分类器进行微调,即在经初步训练的匹配分类器的当前参数的基础上,进一步训练匹配分类器的参数,以最终获得训练好的匹配分类器。这种方式可以获得鲁棒性较好的分类器模型。
在本实施例中,通过初步训练和进一步的微调来训练匹配分类器的参数。然而,如以下实施例所述,也可以直接训练匹配分类器的参数。
根据本发明实施例,图像处理方法200还可以包括:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得训练好的匹配分类器。
初始样本图像集包括正初始图像对和负初始图像对。正初始图像对和负初始图像对与上文所述一致,不再赘述。根据本实施例,可以首先利用解析分类器处理样本图像集中的所有样本图像,排除其中的背景信息,仅剩下行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集。新样本图像集的内容与上文类似,不再赘述。随后,可以直接利用新样本图像集训练初始的匹配分类器,训练结束后即可获得所需的训练好的匹配分类器。
根据本发明另一方面,提供一种图像处理装置。图7示出了根据本发明一个实施例的图像处理装置700的示意性框图。
如图7所示,根据本发明实施例的图像处理装置700包括待匹配图像获取模块710、新图像获得模块720、匹配模块730和行人确定模块740。所述各个模块可分别执行上文中结合图2-6描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置700的各部件的主要功能进行描述,而省略以上已经描述过的细节内容。
待匹配图像获取模块710用于获取两个待匹配图像。待匹配图像获取模块710可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
新图像获得模块720用于分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像。新图像获得模块720可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
匹配模块730用于将两个新图像进行匹配。匹配模块730可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
行人确定模块740用于根据匹配结果确定两个待匹配图像是否属于同一行人。行人确定模块740可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
根据本发明实施例,新图像获得模块720包括:第一输入子模块,用于对于两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及新图像获得子模块,用于对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像。
根据本发明实施例,对于两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,部位特征图与该待匹配图像尺寸大小一致,并且部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
根据本发明实施例,新图像获得子模块包括:新图像获得单元,用于对于两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
根据本发明实施例,行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
根据本发明实施例,训练好的解析分类器包括一个或多个卷积神经网络。
根据本发明实施例,图像处理装置700还包括:第一样本图像获取模块(未示出),用于获取样本图像,样本图像中的行人关键部位所在位置是已标注好的;以及第一训练模块(未示出),用于利用样本图像训练初始的解析分类器,以获得训练好的解析分类器。
根据本发明实施例,匹配模块730包括:第二输入子模块,用于将两个新图像输入训练好的匹配分类器,以获得用于指示两个新图像之间的相似度的置信度;行人确定模块740包括:判断子模块,用于根据置信度判断两个待匹配图像是否属于同一行人。
根据本发明实施例,训练好的匹配分类器包括一个或多个卷积神经网络。
根据本发明实施例,图像处理装置700还包括:第二样本图像获取模块(未示出),用于获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;第二训练模块(未示出),用于以至少一个正初始图像对作为正样本并以至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;第一新样本图像获得模块(未示出),用于分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及第三训练模块(未示出),用于以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练经初步训练的匹配分类器,以获得训练好的匹配分类器。
根据本发明实施例,图像处理装置700还包括:第三样本图像获取模块(未示出),用于获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;第二新样本图像获得模块(未示出),用于分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及第四训练模块(未示出),用于以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得训练好的匹配分类器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图8示出了根据本发明一个实施例的图像处理***800的示意性框图。图像处理***800包括图像采集装置810、存储装置820、以及处理器830。
图像采集装置810用于采集待匹配图像。图像采集装置810是可选的,图像处理***800可以不包括图像采集装置810。在这种情况下,可以利用其他图像采集装置采集用于图像处理的待匹配图像,并将采集的图像发送给图像处理***800。
所述存储装置820存储用于实现根据本发明实施例的图像处理方法中的相应步骤的程序代码。
所述处理器830用于运行所述存储装置820中存储的程序代码,以执行根据本发明实施例的图像处理方法的相应步骤,并且用于实现根据本发明实施例的图像处理装置700中的待匹配图像获取模块710、新图像获得模块720、匹配模块730和行人确定模块740。
在一个实施例中,所述程序代码被所述处理器830运行时使所述图像处理***800执行以下步骤:获取两个待匹配图像;分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像;将两个新图像进行匹配;以及根据匹配结果确定两个待匹配图像是否属于同一行人。
在一个实施例中,所述程序代码被所述处理器830运行时使所述图像处理***800所执行的分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像的步骤包括:对于两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像。
在一个实施例中,对于两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,部位特征图与该待匹配图像尺寸大小一致,并且部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
在一个实施例中,所述程序代码被所述处理器830运行时使所述图像处理***800所执行的对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像的步骤包括:对于两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
在一个实施例中,行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
在一个实施例中,训练好的解析分类器包括一个或多个卷积神经网络。
在一个实施例中,所述程序代码被所述处理器830运行时还使所述图像处理***800执行:获取样本图像,样本图像中的行人关键部位所在位置是已标注好的;以及利用样本图像训练初始的解析分类器,以获得训练好的解析分类器。
在一个实施例中,所述程序代码被所述处理器830运行时使所述图像处理***800所执行的将两个新图像进行匹配的步骤包括:将两个新图像输入训练好的匹配分类器,以获得用于指示两个新图像之间的相似度的置信度;所述程序代码被所述处理器830运行时使所述图像处理***800所执行的根据匹配结果确定两个待匹配图像是否属于同一行人的步骤包括:根据置信度判断两个待匹配图像是否属于同一行人。
在一个实施例中,训练好的匹配分类器包括一个或多个卷积神经网络。
在一个实施例中,所述程序代码被所述处理器830运行时还使所述图像处理***800执行:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;以至少一个正初始图像对作为正样本并以至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练经初步训练的匹配分类器,以获得训练好的匹配分类器。
在一个实施例中,所述程序代码被所述处理器830运行时还使所述图像处理***800执行:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得训练好的匹配分类器。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤,并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像处理装置的各个功能模块,并且/或者可以执行根据本发明实施例的图像处理方法。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机执行以下步骤:获取两个待匹配图像;分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像;将两个新图像进行匹配;以及根据匹配结果确定两个待匹配图像是否属于同一行人。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的分别提取两个待匹配图像中的行人关键部位信息,基于每个待匹配图像中的行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含行人关键部位信息的两个新图像的步骤包括:对于两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像。
在一个实施例中,对于两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,部位特征图与该待匹配图像尺寸大小一致,并且部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的对于两个待匹配图像中的每一个,基于解析结果获得与该待匹配图像对应的新图像的步骤包括:对于两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
在一个实施例中,行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
在一个实施例中,训练好的解析分类器包括一个或多个卷积神经网络。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:获取样本图像,样本图像中的行人关键部位所在位置是已标注好的;以及利用样本图像训练初始的解析分类器,以获得训练好的解析分类器。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的将两个新图像进行匹配的步骤包括:将两个新图像输入训练好的匹配分类器,以获得用于指示两个新图像之间的相似度的置信度;所述计算机程序指令在被计算机运行时使所述计算机所执行的根据匹配结果确定两个待匹配图像是否属于同一行人的步骤包括:根据置信度判断两个待匹配图像是否属于同一行人。
在一个实施例中,训练好的匹配分类器包括一个或多个卷积神经网络。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;以至少一个正初始图像对作为正样本并以至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练经初步训练的匹配分类器,以获得训练好的匹配分类器。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:获取初始样本图像集,其中,初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;分别提取初始样本图像集中的每个样本图像的行人关键部位信息,以获得仅包含行人关键部位信息的新样本图像集,其中,新样本图像集包括与至少一个正初始图像对一一对应的至少一个正新图像对和与至少一个负初始图像对一一对应的至少一个负新图像对;以及以至少一个正新图像对作为正样本并以至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得训练好的匹配分类器。
根据本发明实施例的图像处理***中的各模块可以通过根据本发明实施例的实施图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的图像处理方法及装置,排除待匹配图像中的背景信息,基于仅包含行人关键部位信息的新图像进行图像匹配,来确定两个待匹配图像中的行人的身份是否一致。上述方法可以弱化场景与行人的相对位置关系以及行人与场景的交互情况不同对身份匹配的影响,从而可以提高身份匹配的准确率。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种图像处理方法,包括:
获取两个待匹配图像;
分别提取所述两个待匹配图像中的行人关键部位信息,基于每个所述待匹配图像中的所述行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含所述行人关键部位信息的两个新图像;
将所述两个新图像进行匹配;以及
根据匹配结果确定所述两个待匹配图像是否属于同一行人。
2.如权利要求1所述的图像处理方法,其中,所述分别提取所述两个待匹配图像中的行人关键部位信息,基于每个所述待匹配图像中的所述行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含所述行人关键部位信息的两个新图像包括:
对于所述两个待匹配图像中的每一个,
将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及
基于所述解析结果获得与该待匹配图像对应的新图像。
3.如权利要求2所述的图像处理方法,其中,对于所述两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,所述部位特征图与该待匹配图像尺寸大小一致,并且所述部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
4.如权利要求3所述的图像处理方法,其中,所述对于所述两个待匹配图像中的每一个,基于所述解析结果获得与该待匹配图像对应的新图像包括:
对于所述两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
5.如权利要求2所述的图像处理方法,其中,所述行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
6.如权利要求2所述的图像处理方法,其中,所述训练好的解析分类器包括一个或多个卷积神经网络。
7.如权利要求2所述的图像处理方法,其中,所述图像处理方法还包括:
获取样本图像,所述样本图像中的行人关键部位所在位置是已标注好的;以及
利用所述样本图像训练初始的解析分类器,以获得所述训练好的解析分类器。
8.如权利要求1所述的图像处理方法,其中,
所述将所述两个新图像进行匹配包括:
将所述两个新图像输入训练好的匹配分类器,以获得用于指示所述两个新图像之间的相似度的置信度;
所述根据匹配结果确定所述两个待匹配图像是否属于同一行人包括:
根据所述置信度判断所述两个待匹配图像是否属于同一行人。
9.如权利要求8所述的图像处理方法,其中,所述训练好的匹配分类器包括一个或多个卷积神经网络。
10.如权利要求8所述的图像处理方法,其中,所述图像处理方法还包括:
获取初始样本图像集,其中,所述初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;
以所述至少一个正初始图像对作为正样本并以所述至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;
分别提取所述初始样本图像集中的每个样本图像的所述行人关键部位信息,以获得仅包含所述行人关键部位信息的新样本图像集,其中,所述新样本图像集包括与所述至少一个正初始图像对一一对应的至少一个正新图像对和与所述至少一个负初始图像对一一对应的至少一个负新图像对;以及
以所述至少一个正新图像对作为正样本并以所述至少一个负新图像对作为负样本,训练所述经初步训练的匹配分类器,以获得所述训练好的匹配分类器。
11.如权利要求8所述的图像处理方法,其中,所述图像处理方法还包括:
获取初始样本图像集,其中,所述初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;
分别提取所述初始样本图像集中的每个样本图像的所述行人关键部位信息,以获得仅包含所述行人关键部位信息的新样本图像集,其中,所述新样本图像集包括与所述至少一个正初始图像对一一对应的至少一个正新图像对和与所述至少一个负初始图像对一一对应的至少一个负新图像对;以及
以所述至少一个正新图像对作为正样本并以所述至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得所述训练好的匹配分类器。
12.一种图像处理装置,包括:
待匹配图像获取模块,用于获取两个待匹配图像;
新图像获得模块,用于分别提取所述两个待匹配图像中的行人关键部位信息,基于每个所述待匹配图像中的所述行人关键部位信息生成与该待匹配图像对应的新图像,以获得仅包含所述行人关键部位信息的两个新图像;
匹配模块,用于将所述两个新图像进行匹配;以及
行人确定模块,用于根据匹配结果确定所述两个待匹配图像是否属于同一行人。
13.如权利要求12所述的图像处理装置,其中,所述新图像获得模块包括:
第一输入子模块,用于对于所述两个待匹配图像中的每一个,将该待匹配图像输入训练好的解析分类器,以获得用于指示行人关键部位所在位置的解析结果;以及
新图像获得子模块,用于对于所述两个待匹配图像中的每一个,基于所述解析结果获得与该待匹配图像对应的新图像。
14.如权利要求13所述的图像处理装置,其中,对于所述两个待匹配图像中的每一个,该待匹配图像的解析结果包括部位特征图,所述部位特征图与该待匹配图像尺寸大小一致,并且所述部位特征图中的每个像素的像素值代表该待匹配图像中的、与该像素坐标一致的像素属于该部位特征图所对应的行人关键部位的概率。
15.如权利要求14所述的图像处理装置,其中,所述新图像获得子模块包括:
新图像获得单元,用于对于所述两个待匹配图像中的每一个,将该待匹配图像与其部位特征图相乘,以获得与该待匹配图像对应的新图像。
16.如权利要求13所述的图像处理装置,其中,所述行人关键部位包括行人整体、行人皮肤部位、行人上半身和行人下半身中的一种或多种。
17.如权利要求13所述的图像处理装置,其中,所述训练好的解析分类器包括一个或多个卷积神经网络。
18.如权利要求13所述的图像处理装置,其中,所述图像处理装置还包括:
第一样本图像获取模块,用于获取样本图像,所述样本图像中的行人关键部位所在位置是已标注好的;以及
第一训练模块,用于利用所述样本图像训练初始的解析分类器,以获得所述训练好的解析分类器。
19.如权利要求12所述的图像处理装置,其中,
所述匹配模块包括:
第二输入子模块,用于将所述两个新图像输入训练好的匹配分类器,以获得用于指示所述两个新图像之间的相似度的置信度;
所述行人确定模块包括:
判断子模块,用于根据所述置信度判断所述两个待匹配图像是否属于同一行人。
20.如权利要求19所述的图像处理装置,其中,所述训练好的匹配分类器包括一个或多个卷积神经网络。
21.如权利要求19所述的图像处理装置,其中,所述图像处理装置还包括:
第二样本图像获取模块,用于获取初始样本图像集,其中,所述初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;
第二训练模块,用于以所述至少一个正初始图像对作为正样本并以所述至少一个负初始图像对作为负样本,训练初始的匹配分类器,以获得经初步训练的匹配分类器;
第一新样本图像获得模块,用于分别提取所述初始样本图像集中的每个样本图像的所述行人关键部位信息,以获得仅包含所述行人关键部位信息的新样本图像集,其中,所述新样本图像集包括与所述至少一个正初始图像对一一对应的至少一个正新图像对和与所述至少一个负初始图像对一一对应的至少一个负新图像对;以及
第三训练模块,用于以所述至少一个正新图像对作为正样本并以所述至少一个负新图像对作为负样本,训练所述经初步训练的匹配分类器,以获得所述训练好的匹配分类器。
22.如权利要求19所述的图像处理装置,其中,所述图像处理装置还包括:
第三样本图像获取模块,用于获取初始样本图像集,其中,所述初始样本图像集包括至少一个正初始图像对和至少一个负初始图像对,每个正初始图像对包括属于同一行人的两个样本图像,每个负初始图像对包括属于不同行人的两个样本图像;
第二新样本图像获得模块,用于分别提取所述初始样本图像集中的每个样本图像的所述行人关键部位信息,以获得仅包含所述行人关键部位信息的新样本图像集,其中,所述新样本图像集包括与所述至少一个正初始图像对一一对应的至少一个正新图像对和与所述至少一个负初始图像对一一对应的至少一个负新图像对;以及
第四训练模块,用于以所述至少一个正新图像对作为正样本并以所述至少一个负新图像对作为负样本,训练初始的匹配分类器,以获得所述训练好的匹配分类器。
CN201710220229.XA 2017-04-06 2017-04-06 图像处理方法和装置 Active CN108694347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710220229.XA CN108694347B (zh) 2017-04-06 2017-04-06 图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710220229.XA CN108694347B (zh) 2017-04-06 2017-04-06 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN108694347A true CN108694347A (zh) 2018-10-23
CN108694347B CN108694347B (zh) 2022-07-12

Family

ID=63842819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710220229.XA Active CN108694347B (zh) 2017-04-06 2017-04-06 图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN108694347B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097032A (zh) * 2019-05-15 2019-08-06 成都电科智达科技有限公司 一种基于深度学习的行人重识别方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034791A1 (en) * 2006-12-04 2009-02-05 Lockheed Martin Corporation Image processing for person and object Re-identification
CN102592288A (zh) * 2012-01-04 2012-07-18 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法
CN102598113A (zh) * 2009-06-30 2012-07-18 安芯美特控股有限公司 匹配出现在两个或多个图像内的对象或人的方法、电路和***
CN103679142A (zh) * 2013-12-02 2014-03-26 宁波大学 一种基于空间约束的目标人体识别方法
CN103810473A (zh) * 2014-01-23 2014-05-21 宁波大学 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN104067314A (zh) * 2014-05-23 2014-09-24 中国科学院自动化研究所 人形图像分割方法
CN104077605A (zh) * 2014-07-18 2014-10-01 北京航空航天大学 一种基于颜色拓扑结构的行人搜索识别方法
CN104268583A (zh) * 2014-09-16 2015-01-07 上海交通大学 基于颜色区域特征的行人重识别方法及***
CN104463865A (zh) * 2014-12-05 2015-03-25 浙江大学 一种人像分割方法
CN104794451A (zh) * 2015-04-28 2015-07-22 上海交通大学 基于分块匹配结构的行人比对方法
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及***
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN105574515A (zh) * 2016-01-15 2016-05-11 南京邮电大学 一种无重叠视域下的行人再识别方法
CN105630906A (zh) * 2015-12-21 2016-06-01 苏州科达科技股份有限公司 一种人员搜索方法、装置及***
CN105678297A (zh) * 2015-12-29 2016-06-15 南京大学 一种基于标签转移及lstm模型的人像语义分析的方法及***
WO2016159199A1 (en) * 2015-04-03 2016-10-06 Mitsubishi Electric Corporation Method for re-identification of objects

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034791A1 (en) * 2006-12-04 2009-02-05 Lockheed Martin Corporation Image processing for person and object Re-identification
CN102598113A (zh) * 2009-06-30 2012-07-18 安芯美特控股有限公司 匹配出现在两个或多个图像内的对象或人的方法、电路和***
CN102592288A (zh) * 2012-01-04 2012-07-18 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法
CN103679142A (zh) * 2013-12-02 2014-03-26 宁波大学 一种基于空间约束的目标人体识别方法
CN103810473A (zh) * 2014-01-23 2014-05-21 宁波大学 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN104067314A (zh) * 2014-05-23 2014-09-24 中国科学院自动化研究所 人形图像分割方法
CN104077605A (zh) * 2014-07-18 2014-10-01 北京航空航天大学 一种基于颜色拓扑结构的行人搜索识别方法
CN104268583A (zh) * 2014-09-16 2015-01-07 上海交通大学 基于颜色区域特征的行人重识别方法及***
CN104463865A (zh) * 2014-12-05 2015-03-25 浙江大学 一种人像分割方法
WO2016159199A1 (en) * 2015-04-03 2016-10-06 Mitsubishi Electric Corporation Method for re-identification of objects
CN104794451A (zh) * 2015-04-28 2015-07-22 上海交通大学 基于分块匹配结构的行人比对方法
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN105630906A (zh) * 2015-12-21 2016-06-01 苏州科达科技股份有限公司 一种人员搜索方法、装置及***
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及***
CN105678297A (zh) * 2015-12-29 2016-06-15 南京大学 一种基于标签转移及lstm模型的人像语义分析的方法及***
CN105574515A (zh) * 2016-01-15 2016-05-11 南京邮电大学 一种无重叠视域下的行人再识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DE CHENG 等: "Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIANLOU SI 等: "Person Re-Identification via Region-of-Interest based Features", 《2014 IEEE VCIP》 *
RUI ZHAO 等: "Person Re-identification by Salience Matching", 《ICCV 2013》 *
张耿宁 等: "基于特征融合的行人重识别方法", 《计算机工程与应用》 *
蔡晓东 等: "验证和识别相融合的深度行人识别网络", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097032A (zh) * 2019-05-15 2019-08-06 成都电科智达科技有限公司 一种基于深度学习的行人重识别方法
CN110097032B (zh) * 2019-05-15 2023-09-08 成都电科智达科技有限公司 一种基于深度学习的行人重识别方法

Also Published As

Publication number Publication date
CN108694347B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN108875732B (zh) 模型训练与实例分割方法、装置和***及存储介质
CN108710847B (zh) 场景识别方法、装置及电子设备
CN107844744A (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN106897372B (zh) 语音查询方法和装置
CN110070029B (zh) 一种步态识别方法及装置
CN108197592B (zh) 信息获取方法和装置
CN107590473B (zh) 一种人脸活体检测方法、介质和相关装置
CN113365147B (zh) 基于音乐卡点的视频剪辑方法、装置、设备及存储介质
CN108009466B (zh) 行人检测方法和装置
CN105740808B (zh) 人脸识别方法和装置
US11087140B2 (en) Information generating method and apparatus applied to terminal device
CN110728188B (zh) 图像处理方法、装置、***和存储介质
KR101996371B1 (ko) 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN104063686A (zh) 作物叶部病害图像交互式诊断***与方法
CN109241888A (zh) 神经网络训练与对象识别方法、装置和***及存储介质
CN113313215B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN108875517A (zh) 视频处理方法、装置和***及存储介质
CN108875509A (zh) 活体检测方法、装置和***及存储介质
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN110298240A (zh) 一种汽车用户识别方法、装置、***及存储介质
CN110929806A (zh) 基于人工智能的图片处理方法、装置及电子设备
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN108875500A (zh) 行人再识别方法、装置、***及存储介质
CN111259700B (zh) 用于生成步态识别模型的方法和装置
CN110490058A (zh) 行人检测模型的训练方法、装置、***和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant