CN114661940B - 一种适用于黑盒攻击下快速获取语音对抗样本的方法 - Google Patents

一种适用于黑盒攻击下快速获取语音对抗样本的方法 Download PDF

Info

Publication number
CN114661940B
CN114661940B CN202210106435.9A CN202210106435A CN114661940B CN 114661940 B CN114661940 B CN 114661940B CN 202210106435 A CN202210106435 A CN 202210106435A CN 114661940 B CN114661940 B CN 114661940B
Authority
CN
China
Prior art keywords
curr
attack
area
sample
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210106435.9A
Other languages
English (en)
Other versions
CN114661940A (zh
Inventor
董理
邓佳程
王让定
王冬华
彭成斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202210106435.9A priority Critical patent/CN114661940B/zh
Publication of CN114661940A publication Critical patent/CN114661940A/zh
Application granted granted Critical
Publication of CN114661940B publication Critical patent/CN114661940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种适用于黑盒攻击下快速获取语音对抗样本的方法，所述方法包括S1、采用二分查询算法确定原始音频x的决策边界，并配合滑动窗口法进行迭代以选择最佳攻击区域[s:e]，s初始值为0，e初始值为l，l为原始音频长度；S2、在选择的攻击区域[s:e]中的低频区域添加扰动，通过计算梯度方向确定更新步长，更新扰动并利用二分查询算法获取下次迭代的对抗样本，直至完成设定的采样次数，得到最终的对抗样本x*。该方法提高了对抗样本生成效率。

Description

一种适用于黑盒攻击下快速获取语音对抗样本的方法
技术领域
本发明涉及语音处理领域，尤其涉及一种适用于黑盒攻击下快速获取语音对抗样本的方法。
背景技术
黑盒对抗样本攻击是一种公平的评价模型安全性的指标和手段，其采用查询模型的方式生成对抗样本。现有的黑盒攻击主要应用对象都是图像领域的模型，而在语音领域未有展开相应工作。
音频数据为时间序列，是一个一维数据，包含信息量少，难以估计准确的梯度信息，而图像是二维数据，包含信息量大，空间上具有较强的信息依赖性，有着更多的信息可以利用；音频常用的每秒采样点为16000以上，而一段说话人音频通常有着4s以上的时间，这导致音频信息在单个维度上具有几万个数据点，而图像在一个维度上仅有几百个采样点，相比图像而言，音频要想获取到准确的更新方向很难；图像在归一化后通常数值范围为[0，1]，而音频对应的通常是[-1，1]。
以上种种原因，造成语音相比图像而言具有较大差异，使得黑盒攻击应用于音频领域时需要更多的查询次数，对抗样本产生难度增加，无法提供公平的评判。
发明内容
鉴于上述问题，本发明的目的在于提供一种可大大降低攻击的查询次数快速产生对抗样本的适用于黑盒攻击的方法。
为了实现上述目的，本发明的技术方案为：一种适用于黑盒攻击下快速获取语音对抗样本的方法，其特征在于：所述方法包括，
S1、采用二分查询算法确定原始音频x的决策边界，并配合滑动窗口法进行迭代以选择最佳攻击区域[s:e]，s初始值为0，e初始值为l，l为原始音频长度，
S2、在选择的攻击区域[s:e]中的低频区域添加扰动，通过计算梯度方向确定更新步长，更新扰动并利用二分查询算法获取下次迭代的对抗样本，直至完成设定的采样次数，得到最终的对抗样本x*。
进一步的，所述S1具体包括，
S11、s取临时值scurr，对scurr初始化为0的区域进行最小函数赋值，得到区域的临时终点ecurr＝min(s+l*α，l)以及临时音频xcurr[scurr:ecurr]＝xt[scurr:ecurr]，其中，xt为目标音频，α表示攻击区域与原始音频的长度比；
S12、以临时音频距离原始音频的距离进行二分法查询，判断该二分法查询相对原始音频间的残差规模dcurr＝||B(x,xcurr)-x||2是否小于d以及临时音频xcurr在经过模型f后的输出f(xcurr)是否等于t，其中d表示之前搜索到的最小扰动的大小，t表示目标说话人的标签；
S13、当dcurr＜d且f(xcurr)＝t时，更新当前最佳扰动规模d＝dcurr，更新攻击区域s＝scurr，e＝ecurr，且scurr以w为滑动步长进行下次取值后重复S12，直至scurr大于等于l时执行S14；
S14、以0.9*α更新收缩攻击区域α，并在当前标志位为否时，结束攻击区域的选择，而以上一次的攻击区域作为最佳攻击区域。
进一步的，所述S2采用蒙特卡洛结合有限差分方法计算当前梯度方向，公式为
其中，H表示采样个数，uh表示随机采样的扰动，表示第i次迭代时的对抗样本，∈是一个极小的常数，取值0.001，φ表示指示函数，用于确定梯度方向。
进一步的，所述S2具体包括如下步骤，
S21、设置最佳攻击区域[s:e]的低频区域长度为l′←β·(e-s)，初始化扰动对抗样本
S22、在从[0,1]随机采样长度为l′的变量uh，并在uh后填充l-l′长度个0，采用逆离散余弦变换IDCT变化将uh从频域转换回时域uh←IDCT(uh)，并将攻击区域以外的扰动清空，即uh[0:s)←0、uh(e:l]←0，直至采样次数大于H时，执行S23；
S23、通过公式计算梯度，并采用网格搜索步长法计算步长ξi，采用如下公式更新扰动/>
S24、更新对抗样本以得到第i+1次迭代的对抗样本，直至i取值达到预先设定的查询次数，并以最后一次迭代得到对抗样本为最终对抗样本。
进一步的，所述β取值为0.65。
与现有技术相比，本发明的优点在于：
通过将对抗样本的获取过程分为两个阶段，在第一阶段采用二分查询算法结合滑动窗口算法得到最佳攻击区域，第二阶段在第一阶段选择的最佳攻击区域基础上利用梯度方向计算结合二分查询算法，经迭代得到最终对抗样本，减少了添加扰动的范围，大大降低攻击的查询次数，提高了对抗样本的生成速度。
附图说明
图1为本申请适用于黑盒攻击下快速获取对抗样本的方法的整体结构框图。
图2为添加低频扰动对应的迭代算法结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
图1-2示出了本申请适用于黑盒攻击下快速获取对抗样本的方法图示，该方法具体包括如下，
S1、采用二分查询算法确定原始音频x的决策边界，并配合滑动窗口法进行迭代以选择最佳攻击区域[s:e]，s初始值为0，e初始值为l，l为原始音频长度，
S2、在选择的攻击区域[s:e]中的低频区域添加扰动，通过计算梯度方向确定更新步长，更新扰动并利用二分查询算法获取下次迭代的对抗样本，直至完成设定的采样次数，得到最终的对抗样本x*。
黑盒攻击算法应用于说话人识别领域的查询代价较高，本申请的整个攻击流程如图1所示，攻击流程分为两步，第一步是寻找最佳的局部攻击区域以便于减少攻击范围，提高查询准确率，第二部分采用迭代的查询算法在音频的局部低频区域添加扰动，这是因为说话人的语音能量聚集于中低频区域，在低频区域可以有效提示攻击。通过此方法可以更快的产生高质量对抗样本。
对于S1而言，其具体包括，
S11、s取临时值scurr，对scurr初始化为0的区域进行最小函数赋值，得到区域的临时终点ecurr＝min(s+l*α，l)以及临时音频xcurr[scurr:ecurr]＝xt[scurr:ecurr]，其中，xt为目标音频，α表示攻击区域与原始音频的长度比；
S12、以临时音频距离原始音频的距离进行二分法查询，判断该二分法查询相对原始音频间的残差规模dcurr＝||B(x,xcurr)-x||2是否小于d以及临时音频xcurr在经过模型f后的输出f(xcurr)是否等于t，其中d表示之前搜索到的最小扰动的大小，t表示目标说话人的标签；
S13、当dcurr＜d且f(xcurr)＝t时，更新当前最佳扰动规模d＝dcurr，更新攻击区域s＝scurr，e＝ecurr，且scurr以w为滑动步长进行下次取值后重复S12，直至scurr大于等于l时执行S14；
S14、以0.9*α更新收缩攻击区域α，并在当前标志位为否时，结束攻击区域的选择，而以上一次的攻击区域作为最佳攻击区域。
由于音频的时序信号是一个一维的信号，一秒通常包含16000个采样值，导致音频序列在单个维度过于冗长，直接将原始残差xt-x作为初始的扰动方向会使得初始扰动过大而降低优化效率，因此本发明采用一个不断缩小的滑动窗口寻找具有更小扰动的攻击区域，具体如下表框所示，其中B表示二分查询算法。
算法B包括两个输入x1，x2，该算法的目标是在两个输入间寻找一个线性划分点γ·x1+(1-γ)x2使得在划分点左右的数据被模型分类为不同的结果，通常这个划分点被称为模型的决策边界。
该上述框图中以选择的局部区域的决策边界距离原始音频的距离作为选择的标准，目的是使得产生的残差尽可能的小。如果在某次轮迭代中查询到了更合适的区域，该表框中显示的算法将会在下一轮的滑动搜索中缩小滑动窗口的大小，以便于寻找更小的攻击区域，若在某轮中未有搜索到更合适的区域，将跳出循环，将上一次得到的攻击区域作为最佳区域。
人类说话频率聚集于中低频，因此中低频率的语音信息更丰富，因此本文在局部攻击的基础上，采用边界攻击算法对局部区域添加低频的扰动作为优化过程。整个过程如图2所示是一个迭代更新的算法，每次迭代分为三步：包括梯度方向估计、步长搜索和二分寻找决策边界。
在梯度方向估计的步骤中，我们采用蒙特卡洛加上有限差分估计估算当前的梯度方向，公式如下，
其中，H表示采样个数，uh表示随机采样的扰动，表示第i次迭代时的对抗样本，∈是一个极小的常数，取值0.001，φ表示指示函数，用于确定梯度方向。
经过查询梯度方向后，需要确定沿着梯度方向更新的步长，本发明中套用网格搜索步长法搜索步长ξi，在查询步长后更新扰动公式如下：
再经过第三步得到第i+1次迭代的对抗样本。
其对应的框图算法具体如下：
简言之，即S2具体包括如下步骤，
S21、设置最佳攻击区域[s:e]的低频区域长度为l′←β·(e-s)，初始化扰动对抗样本
S22、在从[0,1]随机采样长度为l′的变量uh，并在uh后填充l-l′长度个0，采用逆离散余弦变换IDCT变化将uh从频域转换回时域uh←IDCT(uh)，并将攻击区域以外的扰动清空，即uh[0:s)←0、uh(e:l]←0，直至采样次数大于H时，执行S23；
S23、通过公式计算梯度，并采用网格搜索步长法计算步长ξi，采用如下公式更新扰动/>
S24、更新对抗样本以得到第i+1次迭代的对抗样本，直至i取值达到预先设定的查询次数，并以最后一次迭代得到对抗样本为最终对抗样本。
如此，通过将对抗样本的获取过程分为两个阶段，在第一阶段采用二分查询算法结合滑动窗口算法得到最佳攻击区域，第二阶段在第一阶段选择的最佳攻击区域基础上利用梯度方向计算结合二分查询算法，经迭代得到最终对抗样本，减少了添加扰动的范围，大大降低攻击的查询次数，更快的产生对抗样本，为说话人识别***提供更公平公正的安全性评价手段，
且该发明不基于攻击可转移性假设，也不需要获取模型或训练集的信息，仅仅通过访问模型的预测结果进行攻击，在评价过程中不会涉及到用户模型的细节，隐私等等，在评价模型安全性的同时保护用户模型的隐私，增强了对模型安全性的评价能力，弥补了说话人识别领域黑盒攻击空白的问题。
尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。

Claims (2)

1.一种适用于黑盒攻击下快速获取语音对抗样本的方法，该对抗样本用于公平的评价模型安全性，其特征在于：所述方法包括，
S1、采用二分查询算法确定原始音频x的决策边界，并配合滑动窗口法进行迭代以选择最佳攻击区域[s:e]，s初始值为0，e初始值为l，l为原始音频长度；
所述S1具体包括，
S11、s取临时值scurr，对scurr初始化为0的区域进行最小函数赋值，得到区域的临时终点ecurr＝min(s+l*α，l)以及临时音频xcurr[scurr:ecurr]＝xt[scurr:ecurr]，其中，xt为目标音频，α表示攻击区域与原始音频的长度比；
S12、以临时音频距离原始音频的距离进行二分法查询，判断该二分法查询相对原始音频间的残差规模dcurr＝||B(x,xcurr)-x||2是否小于d以及临时音频xcurr在经过模型f后的输出f(xcurr)是否等于t，其中B表示二分查询算法，d表示之前搜索到的最小扰动的大小，t表示目标说话人的标签；
S13、当dcurr＜d且f(xcurr)＝t时，更新当前最佳扰动规模d＝dcurr，更新攻击区域s＝scurr，e＝ecurr，且scurr以w为滑动步长进行下次取值后重复S12，直至scurr大于等于l时执行S14；
S14、以0.9*α更新收缩攻击区域α，并在当前标志位为否时，结束攻击区域的选择，而以上一次的攻击区域作为最佳攻击区域；
S2、在选择的攻击区域[s:e]中的低频区域添加扰动，通过计算梯度方向确定更新步长，更新扰动并利用二分查询算法获取下次迭代的对抗样本，直至完成设定的采样次数，得到最终的对抗样本x*；
所述S2具体包括如下步骤，
S21、设置最佳攻击区域[s:e]的低频区域长度为l′←β·(e-s)，初始化扰动对抗样本β为低频区域占比；
S22、在从[0,1]随机采样长度为l′的变量uh，并在uh后填充l-l′长度个0，采用逆离散余弦变换IDCT变化将uh从频域转换回时域uh←IDCT(uh)，并将攻击区域以外的扰动清空，即uh[0:s)←0、uh(e:l]←0，直至采样次数大于H时，执行S23；
S23、通过公式计算梯度，
其中H表示采样个数，uh表示随机采样的扰动，/>表示第i次迭代时的对抗样本，∈是一个极小的常数，取值0.001，φ表示指示函数，用于确定梯度方向；并采用网格搜索步长法计算步长ξi，采用如下公式更新扰动/>
S24、更新对抗样本以得到第i+1次迭代的对抗样本，直至i取值达到预先设定的查询次数，并以最后一次迭代得到对抗样本为最终对抗样本。
2.根据权利要求1所述适用于黑盒攻击下快速获取语音对抗样本的方法，其特征在于：
所述β取值为0.65。
CN202210106435.9A 2022-01-28 2022-01-28 一种适用于黑盒攻击下快速获取语音对抗样本的方法 Active CN114661940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106435.9A CN114661940B (zh) 2022-01-28 2022-01-28 一种适用于黑盒攻击下快速获取语音对抗样本的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106435.9A CN114661940B (zh) 2022-01-28 2022-01-28 一种适用于黑盒攻击下快速获取语音对抗样本的方法

Publications (2)

Publication Number Publication Date
CN114661940A CN114661940A (zh) 2022-06-24
CN114661940B true CN114661940B (zh) 2023-08-08

Family

ID=82026211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106435.9A Active CN114661940B (zh) 2022-01-28 2022-01-28 一种适用于黑盒攻击下快速获取语音对抗样本的方法

Country Status (1)

Country Link
CN (1) CN114661940B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321790A (zh) * 2019-05-21 2019-10-11 华为技术有限公司 一种对抗样本的检测方法及电子设备
CN110444208A (zh) * 2019-08-12 2019-11-12 浙江工业大学 一种基于梯度估计和ctc算法的语音识别攻击防御方法及装置
CN110992934A (zh) * 2019-10-28 2020-04-10 浙江工业大学 面向语音识别***黑盒攻击模型的防御方法及防御装置
CN111507384A (zh) * 2020-04-03 2020-08-07 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111709435A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 一种基于离散小波变换的对抗样本生成方法
CN112017669A (zh) * 2020-11-02 2020-12-01 鹏城实验室 语音对抗样本检测方法、装置、终端设备以及存储介质
CN112200257A (zh) * 2020-10-16 2021-01-08 支付宝(杭州)信息技术有限公司 对抗样本的生成方法及装置
CN112216296A (zh) * 2020-09-25 2021-01-12 脸萌有限公司 音频对抗扰动的测试方法、设备及存储介质
CN113571067A (zh) * 2021-06-21 2021-10-29 浙江工业大学 一种基于边界攻击的声纹识别对抗样本生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222651B2 (en) * 2019-06-14 2022-01-11 Robert Bosch Gmbh Automatic speech recognition system addressing perceptual-based adversarial audio attacks
US11768932B2 (en) * 2019-06-28 2023-09-26 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321790A (zh) * 2019-05-21 2019-10-11 华为技术有限公司 一种对抗样本的检测方法及电子设备
CN110444208A (zh) * 2019-08-12 2019-11-12 浙江工业大学 一种基于梯度估计和ctc算法的语音识别攻击防御方法及装置
CN110992934A (zh) * 2019-10-28 2020-04-10 浙江工业大学 面向语音识别***黑盒攻击模型的防御方法及防御装置
CN111507384A (zh) * 2020-04-03 2020-08-07 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111709435A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 一种基于离散小波变换的对抗样本生成方法
CN112216296A (zh) * 2020-09-25 2021-01-12 脸萌有限公司 音频对抗扰动的测试方法、设备及存储介质
CN112200257A (zh) * 2020-10-16 2021-01-08 支付宝(杭州)信息技术有限公司 对抗样本的生成方法及装置
CN112017669A (zh) * 2020-11-02 2020-12-01 鹏城实验室 语音对抗样本检测方法、装置、终端设备以及存储介质
CN113571067A (zh) * 2021-06-21 2021-10-29 浙江工业大学 一种基于边界攻击的声纹识别对抗样本生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yash Sharma等.On the Effectiveness of Low Frequency Perturbations.《IJCAI'19: Proceedings of the 28th International Joint Conference on Artificial Intelligence》.2019,第3389–3396页. *

Also Published As

Publication number Publication date
CN114661940A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
Ren et al. Sinusoidal parameter estimation from signed measurements via majorization–minimization based RELAX
CN108614992B (zh) 一种高光谱遥感图像的分类方法、设备及存储设备
CN111709435B (zh) 一种基于离散小波变换的对抗样本生成方法
JP6070956B2 (ja) 類似性検出装置及び指向性近傍検出方法
KR20040005895A (ko) 거리 측정기를 사용한 이미지 검색법
CN110297218B (zh) 基于生成对抗网络的雷达信号未知调制方式检测方法
CN112163145B (zh) 基于编辑距离与余弦夹角的网站检索方法、装置及设备
CN112861066B (zh) 基于机器学习和fft的盲源分离信源数目并行估计方法
CN117076941A (zh) 一种光缆鸟害监测方法、***、电子设备及可读存储介质
CN117116290A (zh) 基于多维特征的数控机床部件缺陷定位方法和相关设备
CN117033657A (zh) 一种信息检索方法及装置
CN114661940B (zh) 一种适用于黑盒攻击下快速获取语音对抗样本的方法
CN114911846A (zh) 一种基于fad和dtw的水文时间序列相似性搜索方法
CN112711032B (zh) 一种基于图数据和gcn的雷达目标检测方法及***
JP3507083B2 (ja) 高次相関および多入力情報統合用の多項式フィルタ
CN117119377A (zh) 基于滤波Transformer的室内指纹定位方法
Grycuk et al. A novel method for solar image retrieval based on the parzen kernel estimate of the function derivative and convolutional autoencoder
CN113177078B (zh) 基于条件生成模型的近似查询处理算法
Gao et al. Aspects of 2D-adaptive Fourier decompositions
JP4460277B2 (ja) 画像の対応点探索方法、対応点探索装置および対応点探索プログラム
CN113610942B (zh) 一种脉冲波形分割方法、***、设备及存储介质
CN112329589B (zh) 一种基于高维特征算法的人脸识别方法
CN117235137B (zh) 一种基于向量数据库的职业信息查询方法及装置
CN117877525B (zh) 一种基于可变粒度特征的音频检索方法和装置
Zhao et al. Understanding and Improving the Intermediate Features of FCN in Semantic Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant