CN110428023B - 一种面向深度行人重识别***的反侦察逃逸攻击方法 - Google Patents
一种面向深度行人重识别***的反侦察逃逸攻击方法 Download PDFInfo
- Publication number
- CN110428023B CN110428023B CN201910473189.9A CN201910473189A CN110428023B CN 110428023 B CN110428023 B CN 110428023B CN 201910473189 A CN201910473189 A CN 201910473189A CN 110428023 B CN110428023 B CN 110428023B
- Authority
- CN
- China
- Prior art keywords
- noise
- pedestrian
- identification system
- camera
- reconnaissance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
- G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Computer Security & Cryptography (AREA)
- Economics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向深度行人重识别***的反侦察逃逸攻击方法,提出基于匹配差异最大化优化方法,并结合多位置采样生成跨摄像头可变的、位置可扩展的噪声图案,使得在行人重识别***监控区域的任意位置,相同的噪声图案在不同的摄像头拍摄下无法相互匹配。此外,本方法将物理环境因素融入噪声图案生成过程中,减少噪声在打印、拍摄过程中的信息丢失,提高其鲁棒性。本方法生成的噪声图案能够使行人重识别***无法正确搜索定位到攻击者,实现在安防监控***下的“隐形”。
Description
技术领域
本发明设计人工智能安全领域,具体地指一种面向深度行人重识别***的反侦察逃逸攻击方法。
背景技术
随着移动互联网的飞速发展,硬件设备的持续升级、海量数据的生产和算法的更新,人工智能(AI)的发展已势不可挡,正在逐渐渗透并深刻改变人类的生活。目前,基于机器学***,并逐渐成为主流方法。
然而,近期研究表明深度神经网络对于特定的攻击十分脆弱:将输入图像加上精心构建的人类难以察觉的噪声,会引诱深度神经网络以异常方式工作,这对基于深度神经网络的各类应用构成潜在威胁,如人脸识别、无人驾驶、恶意软件检测等。由于行人重识别***在安全***中的广泛部署和应用,研究深度行人重识别***是否容易受到攻击至关重要。一旦深度行人重识别***对特定攻击脆弱,将带来严重后果和安全威胁,例如,犯罪分子可以逃避执法部门的搜索和定位,或者间谍可以侵入受监控的机密区域。
发明内容
本发明的目的是为了克服现有技术的局限,提供一种面向深度行人重识别***的反侦察逃逸攻击方法。
本发明所设计的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特殊之处在于,包含如下步骤:
1)对给定的具有白盒访问权限的行人重识别***,设定攻击者想要匹配到的特定用户;
2)构建攻击者在各摄像头下的照片组,设计基于多位置采样的噪声图案生成方法,生成位置可扩展的噪声图案;
3)基于匹配差异最小化的跨摄像头可变的噪声图案生成方法,使跨摄像头下的攻击者图像相互远离无法被行人重识别***匹配,并使加噪声的图像与特定用户被错误匹配;
4)将物理环境因素融入噪声图案生成过程,打印噪声图案并贴在衣服上,以实现在现实场景下攻击行人重识别***。
进一步地,构建攻击者在各摄像头下的照片组具体过程为:
收集大量攻击者在监控摄像头下不同位置被拍摄的照片,以及将每张拍摄的照片进行基本图像变换得到的合成照片,以上照片共同构成噪声生成集。
更进一步地,所述步骤3)的具体过程如下:
通过解决跨摄像头拍摄下攻击者照片匹配相似度的最小化的优化问题来迭代地寻找跨摄像头的可变的噪声图案;具体地,对于来自m组摄像头拍摄的照片,以及来自特定用户的被拍摄的照片It,解决如下优化问题:
其中,目标行人重识别***表示为fθ(x,y)=sc,x为***需要查询的图像,y为其他摄像头收集的行人照片,θ为模型参数;x′i是将将噪声δ通过和被拍摄者i一致的图像变换加到上xi上得到的;
其中,每次迭代从噪声生成集以及特定用户照片集It中随机挑选照片构成四元组为攻击者在同摄像头下的两张照片,为攻击者在其他摄像头的一张照片,基于匹配差异最小化的跨摄像头可变的噪声图案生成方法解决如下优化问题:
生成的噪声有能力将同摄像头照片提取的特征之间的差距越来越小,同时使跨摄像头照片提取的特征之间的差距越来越大。
再进一步地,所述迭代次数设定为700次,或者小于700内收敛即完成迭代。
进一步地,所述步骤4)中加入平滑正则项:
TV(δ)=∑i,j((δi,j-δi+1,j)2+(δi,j-δi,j+1)2)。
进一步地,所述步骤4)中将噪声的取值转换到打印机颜色取值范围内进行打印。
本发明和现有技术相比,具有的有益效果是:
1)提出了新型的面向深度行人重识别***的逃逸反制方法,通过生成“隐形衣”完成对目标行人重识别***的反侦察逃逸。
2)提出基于匹配差异最小化的优化方法,生成跨摄像头可变的噪声图案,使其在不同摄像头的拍摄下无法互相匹配。
3)在噪声图案生成过程中考虑多位置采样策略,生成的噪声在监控区域的任意位置均能达到攻击效果。
4)为了提高噪声图案的物理世界的鲁棒性,本方法将物理环境因素融入噪声图案生成过程,使其在打印和拍摄过程信息丢失后仍然有效。
附图说明
图1为面向深度行人重识别***的反侦察逃逸攻击方法框架。
图2为面向深度行人重识别***的逃逸攻击示意图。
图3为面向深度行人重识别***的逃逸攻击示例。
具体实施方式
本发明认为深度行人重识别的安全性问题仍然没有受到关注,在被广泛应用时会带来潜在的安全威胁,因此急需一种面向深度行人重识别***的反侦察逃逸攻击方法。
本发明所设计的面向深度行人重识别***的反侦察逃逸攻击方法,包含如下步骤:
1)给定一个行人重识别***,输入查询图像,该***输出其他摄像头下拍摄的图像与查询图像的相似度以及相似度排名。攻击者能够访问目标模型的参数和权重,并设定攻击者想要匹配到的特定用户。
目标行人重识别***可以表示为fθ(x,y)=sc,其中x为***需要查询的图像,y为其他摄像头收集的行人照片,θ为模型参数,sc为***的输出,即对进行匹配的一组照片(x,y)的相似度分数。被查询的照片和***在其他摄像头下收集的照片组G一一匹配,输出相似度最高的照片作为最终匹配结果,即:
Y={y1,y2,…,yK}s.tψ(fθ(x,yi))<K
其中K为***设定的输出匹配分数最高的照片个数,ψ(·)将收集的照片组按照匹配分数从高到低进行排序。攻击者以一个训练好的基于神经网络的行人重识别***为攻击目标,对目标模型具有白盒访问权限,即能够访问目标模型的参数和权重,并设定***中的特定用户,使攻击者被查询时被***误匹配成该特定用户。
2)构建攻击者收集照片组和合成照片组,设计基于多位置采样的噪声图案生成方法,生成位置可扩展的噪声图案,在监控区域的任意位置均能达到攻击效果。
构成噪声生成集Xc具体为:收集大量攻击者在监控摄像头下不同位置被拍摄的照片,以及将每张拍摄的照片进行基本图像变换得到的合成照片。
3)基于匹配差异最小化的跨摄像头可变的噪声图案生成方法,使跨摄像头下的攻击者图像相互远离无法被行人重识别***匹配,并使加噪声的图像与特定用户被错误匹配。
通过解决跨摄像头拍摄下攻击者照片匹配相似度的最小化的优化问题来迭代地寻找跨摄像头的可变的噪声图案。具体地,对于来自m组摄像头拍摄的照片,解决如下优化问题:
其中x′i是将将噪声δ通过和被拍摄者i一致的图像变换加到上xi上得到的。在优化过程中噪声图案学习跨摄像头下的被拍摄者的形态以及照片风格的区别来提高自己的攻击能力,使攻击者在跨摄像头下拍摄的照片提取的特征之间的差距越来越大,直到无法正确相互匹配,并都与特定用户的照片匹配。
每次在生成集中随机选取同摄像头下的两张照片以及其他摄像头的一张照片构成一个三元组Qi,本方法基于多位置采样策略,通过多组不同的Qi来迭代地优化对噪声图案进行优化,对多组不同位置拍摄以及合成的照片进行优化生成的噪声δ能够在监控区域的任意位置被拍摄都能完成反侦察逃逸攻击。Xc将用于解决生成噪声图案的优化问题,每次迭代从Xc中随机挑选照片构成三元组通过不同的四元组使生成的噪声图案能够在监控区域的任意位置有效。具体地,每个摄像头下设置不同距离和角度50个采样点,分别在每个采样点收集10张拍摄的照片;对于每张采集的照片,随机选取5种基本图像变换生成5张合成照片。对于一次攻击,构建总数为3000张照片的合成集。将基于多位置采样策略与该优化问题结合,即可生成满足多位置可扩展的跨摄像头可变的噪声图案:
生成的噪声有能力将同摄像头照片提取的特征之间的差距越来越小,同时使跨摄像头照片提取的特征之间的差距越来越大。通过选取生成集中不同位置以及不同合成方法的照片,使得噪声图案能够对没有“见过”的位置拍摄的照片同样有效。本方法利用Adam优化算法对上述优化问题的求解,其学***衡系数λ=0.6。迭代最大轮数为700。
4)考虑物理世界中打印和拍摄误差,将物理环境因素融入噪声图案生成过程,生成高鲁棒性的噪声图案,打印并贴上“隐形衣”能够在现实场景下攻击行人重识别***。
考虑打印和拍摄过程噪声图案活性的影响,将物理环境因素融入噪声图案生成过程,生成高鲁棒性的噪声图案,使噪声打印和贴上攻击者的衣服上能够对行人重识别***进行反侦察逃逸攻击。首先,为了使生成的噪声与衣服图案看起来同样自然平滑,本方法在优化问题中加入平滑正则项:
其中,TV(δ)表示平滑正则项,δi,j表示噪声图在i,j位置的噪声大小。
本方法通过最小化噪声图案相邻像素取值之间差异,提高噪声的平滑程度,使得攻击者穿上“隐形衣”不会引起怀疑。接下来确定可打印的颜色范围 并将噪声的取值范围内来消除打印带来的误差;最后,由于拍摄过程中环境条件以及摄像头设备拍摄噪声对信息的丢失,本方法在噪声生成的过程中加入随机图像退化函数使噪声在对信息丢失具有高鲁棒性。
本发明的优点在于:
1)提出了新型的面向深度行人重识别***的逃逸反制方法,通过生成“隐形衣”完成对目标行人重识别***的反逃逸。
2)提出基于匹配差异最小化的优化方法,生成跨摄像头可变的噪声图案,使其在不同摄像头的拍摄下无法互相匹配。
3)在噪声图案生成过程中考虑多位置采样策略,生成的噪声在监控区域的任意位置均能达到攻击效果。
4)为了提高噪声图案的物理世界的鲁棒性,本方法将物理环境因素融入噪声图案生成过程,使其在打印和拍摄过程信息丢失后仍然有效。
Claims (7)
1.一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于包含如下步骤:
1)给定具有白盒访问权限的行人重识别***;
2)构建攻击者在各摄像头下的照片组,设计基于多位置采样的噪声图案生成方法,生成位置可扩展的噪声图案;
3)基于匹配差异最小化的跨摄像头可变的噪声图案生成方法,使跨摄像头下的攻击者图像相互远离无法被行人重识别***匹配;
4)将物理环境因素融入噪声图案生成过程,打印噪声图案并贴在衣服上,以实现在现实场景下攻击行人重识别***。
2.如权利要求1所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:构建攻击者在各摄像头下的照片组具体过程为:
收集大量攻击者在监控摄像头下不同位置被拍摄的照片,以及将每张拍摄的照片进行基本图像变换得到的合成照片,以上照片共同构成噪声生成集。
3.如权利要求2所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述步骤3)的具体过程如下:
通过解决跨摄像头拍摄下攻击者照片匹配相似度的最小化的优化问题来迭代地寻找跨摄像头的可变的噪声图案;具体地,对于来自m组摄像头拍摄的照片,以及来自特定用户的被拍摄的照片It,解决如下优化问题:
其中,目标行人重识别***表示为fθ(x,y)=sc,x为***需要查询的图像,y为其他摄像头收集的行人照片,θ为模型参数;x′i是将噪声δ通过和被拍摄者i一致的图像变换加到上xi上得到的;
其中,sc为***的输出,每次迭代从噪声生成集中随机挑选照片构成三元组 为攻击者在同摄像头下的两张照片,为攻击者在其他摄像头的一张照片,基于匹配差异最小化的跨摄像头可变的噪声图案生成方法解决如下优化问题:
生成的噪声有能力将同摄像头照片提取的特征之间的差距越来越小,同时使跨摄像头照片提取的特征之间的差距越来越大。
4.如权利要求3所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述迭代的迭代次数设定为700次,或者小于700内收敛即完成迭代。
6.如权利要求2所述的一种面向深度行人重识别***的反侦察逃逸攻击方法,其特征在于:所述步骤4)中将噪声的取值转换到打印机颜色取值范围内进行打印。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910473189.9A CN110428023B (zh) | 2019-05-31 | 2019-05-31 | 一种面向深度行人重识别***的反侦察逃逸攻击方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910473189.9A CN110428023B (zh) | 2019-05-31 | 2019-05-31 | 一种面向深度行人重识别***的反侦察逃逸攻击方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428023A CN110428023A (zh) | 2019-11-08 |
CN110428023B true CN110428023B (zh) | 2021-09-14 |
Family
ID=68408454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910473189.9A Active CN110428023B (zh) | 2019-05-31 | 2019-05-31 | 一种面向深度行人重识别***的反侦察逃逸攻击方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110428023B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778704A (zh) * | 2017-01-23 | 2017-05-31 | 安徽理工大学 | 一种人脸识别匹配方法及半自动化人脸匹配*** |
CN108133192A (zh) * | 2017-12-26 | 2018-06-08 | 武汉大学 | 一种基于高斯-拉普拉斯分布统计的行人重识别 |
CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
CN109635634A (zh) * | 2018-10-29 | 2019-04-16 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10275683B2 (en) * | 2017-01-19 | 2019-04-30 | Cisco Technology, Inc. | Clustering-based person re-identification |
US10395385B2 (en) * | 2017-06-27 | 2019-08-27 | Qualcomm Incorporated | Using object re-identification in video surveillance |
-
2019
- 2019-05-31 CN CN201910473189.9A patent/CN110428023B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778704A (zh) * | 2017-01-23 | 2017-05-31 | 安徽理工大学 | 一种人脸识别匹配方法及半自动化人脸匹配*** |
CN108133192A (zh) * | 2017-12-26 | 2018-06-08 | 武汉大学 | 一种基于高斯-拉普拉斯分布统计的行人重识别 |
CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
CN109635634A (zh) * | 2018-10-29 | 2019-04-16 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110428023A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Meng et al. | Magnet: a two-pronged defense against adversarial examples | |
Pinto et al. | Face spoofing detection through visual codebooks of spectral temporal cubes | |
Wang et al. | advpattern: Physical-world attacks on deep person re-identification via adversarially transformable patterns | |
Gragnaniello et al. | Analysis of adversarial attacks against CNN-based image forgery detectors | |
JP5127067B2 (ja) | 画像検索装置及び画像検索方法 | |
CN111626925A (zh) | 一种对抗补丁的生成方法及装置 | |
Katzir et al. | Detecting adversarial perturbations through spatial behavior in activation spaces | |
Xue et al. | Backdoors hidden in facial features: A novel invisible backdoor attack against face recognition systems | |
Li et al. | DeepBlur: A simple and effective method for natural image obfuscation | |
CN115640609A (zh) | 一种特征隐私保护方法及装置 | |
Yin et al. | Neural network fragile watermarking with no model performance degradation | |
Li et al. | Detecting adversarial patch attacks through global-local consistency | |
CN114049537B (zh) | 一种基于卷积神经网络的对抗样本防御方法 | |
CN110263674B (zh) | 一种面向深度行人重识别***的反侦察伪装“隐形衣”生成方法 | |
Zhou et al. | Only once attack: fooling the tracker with adversarial template | |
Liang et al. | We can always catch you: Detecting adversarial patched objects with or without signature | |
Liang et al. | Poisoned forgery face: Towards backdoor attacks on face forgery detection | |
Kisku et al. | Face spoofing and counter-spoofing: a survey of state-of-the-art algorithms | |
CN110428023B (zh) | 一种面向深度行人重识别***的反侦察逃逸攻击方法 | |
JP2021093144A (ja) | センサ特化イメージ認識装置及び方法 | |
Kashtalian et al. | K-means Clustering of Honeynet Data with Unsupervised Representation Learning. | |
CN111104982B (zh) | 一种标签无关的跨任务对抗样本生成方法 | |
CN113743231B (zh) | 一种视频目标检测规避***及方法 | |
CN115017501A (zh) | 一种基于不确定性估计的图像对抗攻击样本检测方法和*** | |
Policepatil et al. | Face liveness detection: An overview |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |