CN110428023A - 一种面向深度行人重识别***的反侦察逃逸攻击方法 - Google Patents

一种面向深度行人重识别***的反侦察逃逸攻击方法 Download PDF

Info

Publication number
CN110428023A
CN110428023A CN201910473189.9A CN201910473189A CN110428023A CN 110428023 A CN110428023 A CN 110428023A CN 201910473189 A CN201910473189 A CN 201910473189A CN 110428023 A CN110428023 A CN 110428023A
Authority
CN
China
Prior art keywords
photo
identifying system
camera
noise
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910473189.9A
Other languages
English (en)
Other versions
CN110428023B (zh
Inventor
王志波
宋梦凯
郑思言
王骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910473189.9A priority Critical patent/CN110428023B/zh
Publication of CN110428023A publication Critical patent/CN110428023A/zh
Application granted granted Critical
Publication of CN110428023B publication Critical patent/CN110428023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向深度行人重识别***的反侦察逃逸攻击方法,提出基于匹配差异最大化优化方法,并结合多位置采样生成跨摄像头可变的、位置可扩展的噪声图案,使得在行人重识别***监控区域的任意位置,相同的噪声图案在不同的摄像头拍摄下无法相互匹配。此外,本方法将物理环境因素融入噪声图案生成过程中,减少噪声在打印、拍摄过程中的信息丢失,提高其鲁棒性。本方法生成的噪声图案能够使行人重识别***无法正确搜索定位到攻击者,实现在安防监控***下的“隐形”。

Description

一种面向深度行人重识别***的反侦察逃逸攻击方法
技术领域
本发明设计人工智能安全领域,具体地指一种面向深度行人重识别***的反侦察逃逸攻击方法。
背景技术
随着移动互联网的飞速发展,硬件设备的持续升级、海量数据的生产和算法的更新,人工智能(AI)的发展已势不可挡,正在逐渐渗透并深刻改变人类的生活。目前,基于机器学***,并逐渐成为主流方法。
然而,近期研究表明深度神经网络对于特定的攻击十分脆弱:将输入图像加上精心构建的人类难以察觉的噪声,会引诱深度神经网络以异常方式工作,这对基于深度神经网络的各类应用构成潜在威胁,如人脸识别、无人驾驶、恶意软件检测等。由于行人重识别***在安全***中的广泛部署和应用,研究深度行人重识别***是否容易受到攻击至关重要。一旦深度行人重识别***对特定攻击脆弱,将带来严重后果和安全威胁,例如,犯罪分子可以逃避执法部门的搜索和定位,或者间谍可以侵入受监控的机密区域。
发明内容
本发明的目的是为了克服现有技术的局限,提供一种面向深度行人重识别***的反侦察逃逸攻击方法。
本发明所设计的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特殊之处在于,包含如下步骤:
1)对给定的具有白盒访问权限的行人重识别***,设定攻击者想要匹配到的特定用户;
2)构建攻击者在各摄像头下的照片组,设计基于多位置采样的噪声图案生成方法,生成位置可扩展的噪声图案;
3)基于匹配差异最小化的跨摄像头可变的噪声图案生成方法,使跨摄像头下的攻击者图像相互远离无法被行人重识别***匹配,并使加噪声的图像与特定用户被错误匹配;
4)将物理环境因素融入噪声图案生成过程,打印噪声图案并贴在衣服上,以实现在现实场景下攻击行人重识别***。
进一步地,构建攻击者在各摄像头下的照片组具体过程为:
收集大量攻击者在监控摄像头下不同位置被拍摄的照片,以及将每张拍摄的照片进行基本图像变换得到的合成照片,以上照片共同构成噪声生成集。
更进一步地,所述步骤3)的具体过程如下:
通过解决跨摄像头拍摄下攻击者照片匹配相似度的最小化的优化问题来迭代地寻找跨摄像头的可变的噪声图案;具体地,对于来自m组摄像头拍摄的照片,以及来自特定用户的被拍摄的照片It,解决如下优化问题:
其中,目标行人重识别***表示为fθ(x,y)=sc,x为***需要查询的图像,y为其他摄像头收集的行人照片,θ为模型参数;x′i是将将噪声δ通过和被拍摄者i一致的图像变换加到上xi上得到的;
其中,每次迭代从噪声生成集以及特定用户照片集It中随机挑选照片构成四元组为攻击者在同摄像头下的两张照片,为攻击者在其他摄像头的一张照片,基于匹配差异最小化的跨摄像头可变的噪声图案生成方法解决如下优化问题:
生成的噪声有能力将同摄像头照片提取的特征之间的差距越来越小,同时使跨摄像头照片提取的特征之间的差距越来越大。
再进一步地,所述迭代次数设定为700次,或者小于700内收敛即完成迭代。
进一步地,所述步骤4)中加入平滑正则项:
TV(δ)=∑i,j((δi,ji+1,j)2+(δi,ji,j+1)2)。
进一步地,所述步骤4)中将噪声的取值转换到打印机颜色取值范围内进行打印。
进一步地,所述步骤4)中加入随机图像退化函数使噪声在对信息丢失具有高鲁棒性。
本发明和现有技术相比,具有的有益效果是:
1)提出了新型的面向深度行人重识别***的逃逸反制方法,通过生成“隐形衣”完成对目标行人重识别***的反侦察逃逸。
2)提出基于匹配差异最小化的优化方法,生成跨摄像头可变的噪声图案,使其在不同摄像头的拍摄下无法互相匹配。
3)在噪声图案生成过程中考虑多位置采样策略,生成的噪声在监控区域的任意位置均能达到攻击效果。
4)为了提高噪声图案的物理世界的鲁棒性,本方法将物理环境因素融入噪声图案生成过程,使其在打印和拍摄过程信息丢失后仍然有效。
附图说明
图1为面向深度行人重识别***的反侦察逃逸攻击方法框架。
图2为面向深度行人重识别***的逃逸攻击示意图。
图3为面向深度行人重识别***的逃逸攻击示例。
具体实施方式
本发明认为深度行人重识别的安全性问题仍然没有受到关注,在被广泛应用时会带来潜在的安全威胁,因此急需一种面向深度行人重识别***的反侦察逃逸攻击方法。
本发明所设计的面向深度行人重识别***的反侦察逃逸攻击方法,包含如下步骤:
1)给定一个行人重识别***,输入查询图像,该***输出其他摄像头下拍摄的图像与查询图像的相似度以及相似度排名。攻击者能够访问目标模型的参数和权重,并设定攻击者想要匹配到的特定用户。
目标行人重识别***可以表示为fθ(x,y)=sc,其中x为***需要查询的图像,y为其他摄像头收集的行人照片,θ为模型参数,sc为***的输出,即对进行匹配的一组照片(x,y)的相似度分数。被查询的照片和***在其他摄像头下收集的照片组G一一匹配,输出相似度最高的照片作为最终匹配结果,即:
Y={y1,y2,...,yK}s.tψ(fθ(x,yi))<K
其中K为***设定的输出匹配分数最高的照片个数,ψ(·)将收集的照片组按照匹配分数从高到低进行排序。攻击者以一个训练好的基于神经网络的行人重识别***为攻击目标,对目标模型具有白盒访问权限,即能够访问目标模型的参数和权重,并设定***中的特定用户,使攻击者被查询时被***误匹配成该特定用户。
2)构建攻击者收集照片组和合成照片组,设计基于多位置采样的噪声图案生成方法,生成位置可扩展的噪声图案,在监控区域的任意位置均能达到攻击效果。
构成噪声生成集Xc具体为:收集大量攻击者在监控摄像头下不同位置被拍摄的照片,以及将每张拍摄的照片进行基本图像变换得到的合成照片。
3)基于匹配差异最小化的跨摄像头可变的噪声图案生成方法,使跨摄像头下的攻击者图像相互远离无法被行人重识别***匹配,并使加噪声的图像与特定用户被错误匹配。
通过解决跨摄像头拍摄下攻击者照片匹配相似度的最小化的优化问题来迭代地寻找跨摄像头的可变的噪声图案。具体地,对于来自m组摄像头拍摄的照片,解决如下优化问题:
其中x′i是将将噪声δ通过和被拍摄者i一致的图像变换加到上xi上得到的。在优化过程中噪声图案学习跨摄像头下的被拍摄者的形态以及照片风格的区别来提高自己的攻击能力,使攻击者在跨摄像头下拍摄的照片提取的特征之间的差距越来越大,直到无法正确相互匹配,并都与特定用户的照片匹配。
每次在生成集中随机选取同摄像头下的两张照片以及其他摄像头的一张照片构成一个三元组Qi,本方法基于多位置采样策略,通过多组不同的Qi来迭代地优化对噪声图案进行优化,对多组不同位置拍摄以及合成的照片进行优化生成的噪声δ能够在监控区域的任意位置被拍摄都能完成反侦察逃逸攻击。Xc将用于解决生成噪声图案的优化问题,每次迭代从Xc中随机挑选照片构成三元组通过不同的四元组使生成的噪声图案能够在监控区域的任意位置有效。具体地,每个摄像头下设置不同距离和角度50个采样点,分别在每个采样点收集10张拍摄的照片;对于每张采集的照片,随机选取5种基本图像变换生成5张合成照片。对于一次攻击,构建总数为3000张照片的合成集。将基于多位置采样策略与该优化问题结合,即可生成满足多位置可扩展的跨摄像头可变的噪声图案:
生成的噪声有能力将同摄像头照片提取的特征之间的差距越来越小,同时使跨摄像头照片提取的特征之间的差距越来越大。通过选取生成集中不同位置以及不同合成方法的照片,使得噪声图案能够对没有“见过”的位置拍摄的照片同样有效。本方法利用Adam优化算法对上述优化问题的求解,其学***衡系数λ=0.6。迭代最大轮数为700。
4)考虑物理世界中打印和拍摄误差,将物理环境因素融入噪声图案生成过程,生成高鲁棒性的噪声图案,打印并贴上“隐形衣”能够在现实场景下攻击行人重识别***。
考虑打印和拍摄过程噪声图案活性的影响,将物理环境因素融入噪声图案生成过程,生成高鲁棒性的噪声图案,使噪声打印和贴上攻击者的衣服上能够对行人重识别***进行反侦察逃逸攻击。首先,为了使生成的噪声与衣服图案看起来同样自然平滑,本方法在优化问题中加入平滑正则项:
本方法通过最小化噪声图案相邻像素取值之间差异,提高噪声的平滑程度,使得攻击者穿上“隐形衣”不会引起怀疑。接下来确定可打印的颜色范围 并将噪声的取值范围内来消除打印带来的误差;最后,由于拍摄过程中环境条件以及摄像头设备拍摄噪声对信息的丢失,本方法在噪声生成的过程中加入随机图像退化函数使噪声在对信息丢失具有高鲁棒性。
本发明的优点在于:
1)提出了新型的面向深度行人重识别***的逃逸反制方法,通过生成“隐形衣”完成对目标行人重识别***的反逃逸。
2)提出基于匹配差异最小化的优化方法,生成跨摄像头可变的噪声图案,使其在不同摄像头的拍摄下无法互相匹配。
3)在噪声图案生成过程中考虑多位置采样策略,生成的噪声在监控区域的任意位置均能达到攻击效果。
4)为了提高噪声图案的物理世界的鲁棒性,本方法将物理环境因素融入噪声图案生成过程,使其在打印和拍摄过程信息丢失后仍然有效。

Claims (7)

1.一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于包含如下步骤:
1)给定具有白盒访问权限的行人重识别***;
2)构建攻击者在各摄像头下的照片组,设计基于多位置采样的噪声图案生成方法,生成位置可扩展的噪声图案;
3)基于匹配差异最小化的跨摄像头可变的噪声图案生成方法,使跨摄像头下的攻击者图像相互远离无法被行人重识别***匹配;
4)将物理环境因素融入噪声图案生成过程,打印噪声图案并贴在衣服上,以实现在现实场景下攻击行人重识别***。
2.如权利要求1所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:构建攻击者在各摄像头下的照片组具体过程为:
收集大量攻击者在监控摄像头下不同位置被拍摄的照片,以及将每张拍摄的照片进行基本图像变换得到的合成照片,以上照片共同构成噪声生成集。
3.如权利要求2所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述步骤3)的具体过程如下:
通过解决跨摄像头拍摄下攻击者照片匹配相似度的最小化的优化问题来迭代地寻找跨摄像头的可变的噪声图案;具体地,对于来自m组摄像头拍摄的照片,以及来自特定用户的被拍摄的照片It,解决如下优化问题:
其中,目标行人重识别***表示为fθ(x,y)=sc,x为***需要查询的图像,y为其他摄像头收集的行人照片,θ为模型参数;x′i是将将噪声δ通过和被拍摄者i一致的图像变换加到上xi上得到的;
其中,每次迭代从噪声生成集中随机挑选照片构成三元组 为攻击者在同摄像头下的两张照片,为攻击者在其他摄像头的一张照片,基于匹配差异最小化的跨摄像头可变的噪声图案生成方法解决如下优化问题:
生成的噪声有能力将同摄像头照片提取的特征之间的差距越来越小,同时使跨摄像头照片提取的特征之间的差距越来越大。
4.如权利要求3所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述迭代次数设定为700次,或者小于700内收敛即完成迭代。
5.如权利要求2所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述步骤4)中加入平滑正则项:
TV(δ)=∑i,j((δi,ji+1,j)2+(δi,ji,j+1)2)。
6.如权利要求2所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述步骤4)中将噪声的取值转换到打印机颜色取值范围内进行打印。
7.如权利要求2所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述步骤4)中加入随机图像退化函数使噪声在对信息丢失具有高鲁棒性。
CN201910473189.9A 2019-05-31 2019-05-31 一种面向深度行人重识别***的反侦察逃逸攻击方法 Active CN110428023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910473189.9A CN110428023B (zh) 2019-05-31 2019-05-31 一种面向深度行人重识别***的反侦察逃逸攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910473189.9A CN110428023B (zh) 2019-05-31 2019-05-31 一种面向深度行人重识别***的反侦察逃逸攻击方法

Publications (2)

Publication Number Publication Date
CN110428023A true CN110428023A (zh) 2019-11-08
CN110428023B CN110428023B (zh) 2021-09-14

Family

ID=68408454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910473189.9A Active CN110428023B (zh) 2019-05-31 2019-05-31 一种面向深度行人重识别***的反侦察逃逸攻击方法

Country Status (1)

Country Link
CN (1) CN110428023B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778704A (zh) * 2017-01-23 2017-05-31 安徽理工大学 一种人脸识别匹配方法及半自动化人脸匹配***
CN108133192A (zh) * 2017-12-26 2018-06-08 武汉大学 一种基于高斯-拉普拉斯分布统计的行人重识别
US20180204093A1 (en) * 2017-01-19 2018-07-19 Cisco Technology, Inc. Clustering-based person re-identification
US20180374233A1 (en) * 2017-06-27 2018-12-27 Qualcomm Incorporated Using object re-identification in video surveillance
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109635634A (zh) * 2018-10-29 2019-04-16 西北大学 一种基于随机线性插值的行人再识别数据增强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204093A1 (en) * 2017-01-19 2018-07-19 Cisco Technology, Inc. Clustering-based person re-identification
CN106778704A (zh) * 2017-01-23 2017-05-31 安徽理工大学 一种人脸识别匹配方法及半自动化人脸匹配***
US20180374233A1 (en) * 2017-06-27 2018-12-27 Qualcomm Incorporated Using object re-identification in video surveillance
CN108133192A (zh) * 2017-12-26 2018-06-08 武汉大学 一种基于高斯-拉普拉斯分布统计的行人重识别
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109635634A (zh) * 2018-10-29 2019-04-16 西北大学 一种基于随机线性插值的行人再识别数据增强方法

Also Published As

Publication number Publication date
CN110428023B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
Sharif et al. Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition
CN108549940B (zh) 基于多种对抗样例攻击的智能防御算法推荐方法及***
CN110472519A (zh) 一种基于多模型的人脸活体检测方法
CN111460443A (zh) 一种联邦学习中数据操纵攻击的安全防御方法
JP2017506379A (ja) 無制約の媒体内の顔を識別するシステムおよび方法
CN108074224B (zh) 一种陆生哺乳动物与鸟类的监测方法及其监测装置
CN107871324A (zh) 一种基于双通道的目标跟踪方法及装置
Xue et al. Robust backdoor attacks against deep neural networks in real physical world
Housam et al. Face spoofing detection based on improved local graph structure
Li et al. DeepBlur: A simple and effective method for natural image obfuscation
Gupta et al. Advanced security system in video surveillance for COVID-19
Ma et al. Macab: Model-agnostic clean-annotation backdoor to object detection with natural trigger in real-world
Liang et al. We can always catch you: Detecting adversarial patched objects with or without signature
CN110263674A (zh) 一种面向深度行人重识别***的反侦察伪装“隐形衣”生成方法
Liang et al. Poisoned forgery face: Towards backdoor attacks on face forgery detection
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
Wu et al. The value of posture, build and dynamics in gesture-based user authentication
Kisku et al. Face spoofing and counter-spoofing: a survey of state-of-the-art algorithms
CN113489744A (zh) 一种基于霍克斯多元过程建模的物联网攻击模式识别方法
CN110428023A (zh) 一种面向深度行人重识别***的反侦察逃逸攻击方法
Ma et al. TransCAB: Transferable clean-annotation backdoor to object detection with natural trigger in real-world
CN113743231B (zh) 一种视频目标检测规避***及方法
CN111104982B (zh) 一种标签无关的跨任务对抗样本生成方法
Wang et al. An intelligent algorithm for infrared target recognition
CN114638356A (zh) 一种静态权重引导的深度神经网络后门检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant