图像分类中的白盒对抗攻击技术综述
魏佳璇,杜世康,于志轩,2,张瑞生
(1.兰州大学信息科学与工程学院,兰州 730000;
2.兰州大学第一医院,兰州 730000)
近年来,得益于图形处理器(Graphics Processing Unit,GPU)技术突飞猛进的发展以及计算机硬件升级带来的算力提升,深度学习取得了令人瞩目的发展成果。当前,深度学习技术不仅大量地应用在图像分类、语音识别和自然语言处理领域的常规任务中,更是在自动驾驶系统[1]、人脸识别系统[2]、恶意软件自动分类[3-4]和异常检测[5]等工业生产和生活领域的大量关键任务中发挥着重要作用。虽然深度学习技术在众多问题的解决上取得了一系列重要研究成果,但对于自身还存在一些关键的问题亟待解决,特别是深度学习模型存在的对抗样本问题。
2013 年,Szegedy 等[6]在研究图像分类任务时发现,在一个可以被深度学习模型正常分类的样本图片上添加噪声数据后,即使是分类准确率很高的深度学习模型也会以极高的置信度对该样本误分类。而添加在样本图片上的噪声数据是微小的,以人的肉眼几乎察觉不到在样本图像上进行的篡改,篡改后得到的输入样本被称为对抗样本。对抗样本的一个示例如图1 所示,原始样本为ImageNet 数据集[7]中图片,其真实的标签和在ImageNet 上预训练的ResNet 模型[8]的分类结果均为足球。添加了恶意的扰动数据后得到对抗样本,此时ResNet 模型将该对抗样本误分类为橄榄球。
图1 对抗样本示例Fig.1 Examples of adversarial sample
对抗样本问题揭示了深度学习模型存在严重的安全漏洞,给深度学习技术的普遍应用带来了严峻的安全挑战。在围绕对抗样本的研究过程中,主要以用于对抗样本生成的对抗攻击技术的研究为主,迭代发展出了多样性的对抗攻击算法。目前已知的大部分对抗攻击算法针对图像分类任务提出,并经过改造应用在诸如语义分割、目标检测等常见的计算机视觉任务上。经过改造的攻击算法甚至可以很好地推广到自然语言处理和语音识别等任务中。此外,对抗攻击现象不仅发生在数字图像空间,对于部署在真实应用场景下的深度学习模型[4,9-11]也能够带来安全威胁。
对抗攻击技术由于其破坏力和潜在的应用前景,成为近年来深度学习学术界和工业界共同的研究热点。Carlini等[12]统计的2014 年至今,arXiv 网站发表的对抗样本相关论文的数量情况如图2 所示。攻击者利用已有的对抗攻击算法可以在深度学习模型推理阶段对输入样本添加噪声数据,而达到恶意改变模型推理结果的目的。根据对抗攻击技术在生成对抗样本时是否需要了解目标模型的网络结构、参数设置、训练数据和方式等知识,对抗攻击技术可分为白盒攻击和黑盒攻击;
根据攻击是否需要让模型输出指定的目标类别,又分为目标攻击和无目标攻击。目前针对对抗攻击技术的研究大多以白盒攻击方式为主,其攻击成功率大幅高于黑盒攻击方式,对深度学习模型带来的安全威胁也较为严峻。为及时评估对抗攻击技术给深度学习模型带来的安全风险,以便为深度学习技术的安全应用提供有益参考。本文围绕图像分类任务,对近年来研究人员提出的具有一定代表性的白盒对抗攻击技术进行全面阐述和分析总结。
图2 对抗样本论文数量Fig.2 Number of adversarial example papers
对抗攻击是一种发生在深度学习模型推理阶段的攻击行为。在图像分类任务中,给定一个深度学习模型f(x)=y,x∈Rm为模型的输入,y∈Y为针对当前输入x的模型输出。模型f(·)一般还包含一组训练好的权重参数θ,为方便说明,对模型描述时省略该参数。对抗攻击技术描述为在针对目标模型f(·)的输入x上寻找一个小的噪声数据r,当r叠加在x上输入目标模型后,使得f(x+r) ≠f(x);
在目标攻击中,使得f(x+r)=yt,yt为需要让模型输出的目标类目。
为了使噪声数据r足够小,保证人眼察觉不到攻击者在图像上进行的篡改,大多数对抗攻击算法[6,13-14]会使用l0、l2或l∞范数对扰动噪声r的大小进行限制。用l2范数来约束扰动大小时,在目标攻击中,对抗样本的生成问题可描述为如下的优化形式:
其中:yt是要攻击的目标类别;
x为原始输入样本;
r表示扰动噪声;
x+r表示得到的对抗样本,后文也用xA表示。
下面简要说明和定义在本文中出现的对抗攻击技术相关术语。
模型 深度学习模型,文中一般指图像分类模型。
对抗样本(Adversarial Examples)对抗样本概念由Szegedy 等[6]提出,攻击者对原始输入样本添加轻微的噪声数据后能使深度学习模型推理错误,这类添加噪声数据后影响模型推理能力的样本称为对抗样本。
扰动/对抗扰动(Adversarial Perturbations)在原始输入样本上添加噪声数据后能使深度学习模型推理错误,被添加的噪声数据称为扰动或对抗扰动。
通用对抗扰动(Universal Adversarial Perturbations)不同于对抗扰动只针对特定的输入样本,通用对抗扰动添加在大部分输入样本上都会使得深度学习模型推理错误。
对抗扰动的迁移攻击性 针对目标模型A,在输入样本x上生成对抗扰动r。当扰动r叠加在针对目标模型B 的输入样本上后能使模型B 推理错误的现象称为对抗扰动的迁移攻击性[6,14-15]。如果对抗扰动能够在目标模型B 的大部分数据点上使模型推理错误,则称该对抗扰动具有很好的迁移攻击能力。利用对抗样本的迁移攻击性进行攻击是一种有效的对抗攻击方式。
模型鲁棒性 指模型的对抗鲁棒性,针对对抗攻击技术自身防御效果良好的模型,则称该模型具有较好的鲁棒性。
对抗训练 一种提升模型对抗鲁棒性的训练方式[14,16],在训练模型时,使用正常样本和对抗样本同时对模型进行训练的方式。
攻击成功率 利用对抗攻击技术生成对抗样本输入目标模型后,模型推理错误样本数占所有输入样本数的百分比,有时也可用模型对对抗样本的分类准确率代替表示,模型对对抗样本的分类准确率越低说明攻击者的攻击成功率越高。
就目前的研究来看,白盒对抗攻击技术是主要的对抗样本生成方式。大部分的白盒对抗攻击算法针对单个输入图像生成对抗扰动,但也有算法针对目标模型和整个数据集生成通用对抗扰动[17-18]。通过对大部分研究人员主要的成果[19-21]进行研究分析,发现大部分的白盒对抗攻击算法目前主要分为以下4 种:1)基于直接优化的方法;
2)基于梯度优化的方法;
3)基于决策边界分析的方法;
4)基于生成式神经网络生成的方法。其他方面,研究人员也利用差分进化、空域变换等思路进行对抗样本的生成。本文依据上述分类,对在白盒条件设置下主要的对抗攻击算法进行全面分析和阐述,最后在表1 中对攻击算法进行了比较和总结。
2.1 基于直接优化的攻击方法
基于直接优化的攻击方法是目前较为重要的一类对抗攻击技术,主要包含两种对抗攻击算法:基于Boxconstrained L-BFGS(Box-constrained Limited-memory BFGS)的攻击算法[6]是第一个提出的对抗攻击算法,该算法也首次揭示了深度学习模型中存在的对抗样本问题;
C&W(Carlini&Wagner)攻击[13]通过对基于Box-constrained L-BFGS的攻击算法的改进,能够生成对蒸馏防御网络[22]具有较好攻击能力的对抗样本。这类攻击方法通过算法对目标函数直接优化生成的对抗扰动相对较小,但存在优化时间长,算法需花费大量时间寻找合适超参数的问题。
2.1.1 基于Box-constrained L-BFGS的攻击
2013 年,Szegedy 等[6]首先提出了利用Box-constrained L-BFGS 算法[23]直接优化求解的对抗样本生成方法。由于式(1)中的扰动限制条件难以直接优化,Szegedy 等利用拉格朗日松弛法将其中的f(x+r)=yt限制条件简化为lossf(x+r,yt)进行优化,lossf表示交叉熵损失函数,最终得到的优化目标如下:
其中:输入图像被归一化在[0,1],以满足凸优化方法中的箱型约束条件,使得上述目标可以利用L-BFGS 算法进行求解。
利用Box-constrained L-BFGS 算法生成对抗样本的方法是最早被设计的对抗攻击算法,该算法首次将生成对抗样本的过程抽象为一个凸优化的问题处理,是重要的基于优化方法的对抗攻击算法。该算法为目标攻击算法,使用该算法求解的思路是先固定超参数c来优化当前参数值下的最优解,再通过对c进行线性搜索即可找到满足f(x+r)=yt条件的最优对抗扰动r,最终得到的对抗样本为x+r。
2.1.2 C&W攻击
为了攻破Papernot 等[22]提出的蒸馏防御网络,Carlini 和Wagner 提出了著名的C&W 攻击[13]。该攻击算法可以使用l0、l2或l∞范数分别对扰动进行限制生成对抗样本,是目前较为强大的目标攻击算法之一。C&W 攻击算法属于直接优化的攻击算法,是基于Box-constrained L-BFGS 算法(式(2))的改进版,改进主要体现在两点:
1)基于Box-constrained L-BFGS 的攻击中损失函数为交叉熵损失函数,而C&W 攻击算法考虑了攻击目标类和其他类别之间的关系,选择了更好的损失函数[13],如下所示:
式中:Z(xA)=Logits(xA)表示目标网络Softmax 前一层的输出;
i表示标签类别;
t表示目标攻击的标签类;
k表示对抗样本的攻击成功率,k越大,生成的对抗样本的攻击成功率越高。
2)去除了式(2)中的Box-constrained 限定条件,使该优化问题转化为无约束的凸优化问题,方便利用梯度下降法,动量梯度下降法和Adam[24]等算法求解。为实现该目的,Carlini 等[13]提供了两种有效方法:①采用投影梯度下降法的思路将每次迭代过程中得到的x+r裁剪在[0,1]m内,以去除x+r的区间约束条件,但此方法在对x+r进行裁剪时会带来梯度信息的损失;
②引入新的变量ω,令ω∈[-∞,+∞],构造一个映射函数将ω从[-∞,+∞]映射到[0,1],通过优化ω去掉方法①中由x+r∈[0,1]m条件引起的优化误差,具体映射函数如下:
其中:-1 ≤tanh(ϖi) ≤1,故0 ≤x+r≤1。
Carlini 等[13]分别用方法①和方法②进行了实验分析,发现用投影梯度下降法处理Box-constrained 限定条件时生成的对抗样本攻击能力较强,但引入变量进行优化的方法生成的对抗扰动较小。此外,在优化算法的选择上,梯度下降、动量梯度下降和Adam 等优化算法都可以生成相同质量的对抗样本,但Adam 算法的收敛速度要比其他两种快。C&W 攻击算法生成的对抗样本针对蒸馏防御的模型攻击能力很好,是目前较为强大的白盒攻击算法,也是用于评估模型鲁棒性的主要测试算法之一。
2.2 基于梯度优化的攻击方法
基于梯度优化的攻击方法是目前一种主要的对抗攻击技术。这类攻击方法的核心思想是在模型损失函数变化的方向上对输入样本进行扰动,来使模型误分类输入样本或使模型分类输入样本到指定的不正确目标类别上。这类攻击方法的优点是方法实现简单,且白盒对抗攻击成功率较高。该类方法以FGSM(Fast Gradient Sign Method)算法[14]为基础,衍生发展出了I-FGSM(Iterative FGSM)算 法[25]、PGD(Projected Gradient Descent)算法[26]、动量迭代的MI-FGSM(Momentum Iterative FGSM)算法[27]以及多样性的梯度攻击算法[28-29]。
2.2.1 FGSM攻击
2014 年,Goodfellow 等[14]在其研究中认为,深度学习模型存在对抗样本是由于模型过于线性的特性导致,基于该观点提出了基于一步梯度计算的对抗样本生成算法FGSM。这项工作意义深远,受Goodfellow 等启发,后来出现的基于梯度优化的大部分攻击算法都是FGSM 算法的变种。
FGSM 攻击算法的思想是使对抗扰动的变化量与模型损失梯度变化的方向保持一致。具体来说,在无目标攻击中,使模型损失函数关于输入x的梯度在上升的方向上变化扰动达到让模型误分类的效果。假设θ为模型的参数,x为模型的输入,y为输入x对应的正确类别标签,J(θ,x,y)为模型的损失函数,为交叉熵损失函数,∇xJ(θ,x,y)为损失函数关于x的梯度。FGSM 算法描述为:
其中:α为超参数,表示为一步梯度的步长;
sign(·)为符号函数,故该方法生成的扰动为在l∞范数约束下的对抗扰动。FGSM 算法由于只计算一次梯度,其攻击能力有限,但生成的对抗样本具有较好的迁移攻击能力。
2.2.2 I-FGSM攻击
由于FGSM 算法只经过一次梯度计算生成对抗样本,并且该方法成功应用的前提条件是损失函数的梯度变化方向在局部区间内是线性的。在非线性的优化区间内,沿着梯度变化方向进行大步长优化生成的对抗样本并不能保证攻击成功。针对该问题,Kurakin等[25]提出了迭代FGSM(I-FGSM)算法,通过把优化区间变小来使Goodfellow 的线性假设[14]近似成立。I-FGSM 算法的无目标攻击描述为:
I-FGSM 算法较FGSM 算法生成的对抗样本攻击能力更强[30],但其生成的对抗样本迁移攻击能力却不如FGSM算法。
此外,Kurakin 等[25]还在I-FGSM 算法的基础上,通过将攻击的目标类别y指定为原始样本在模型上输出置信度最低的类别标签yl来进行针对置信度最低类别的目标攻击。在目标攻击过程中,扰动的变化方向与模型损失函数关于输入的梯度下降方向保持一致,其优化的目标形式为:
这种目标攻击方式生成的对抗样本使模型误分类到与正确类别差距很大的类,其攻击效果更具破坏性。
2.2.3 PGD攻击
2017 年,Madry 等[26]提出的PGD 攻击算法是目前公认为最强的白盒攻击方法,也是用于评估模型鲁棒性的基准测试算法之一。PGD 攻击本质上也是迭代的FGSM 算法,与I-FGSM 攻击类似。与I-FGSM 算法相比,PGD 算法的迭代次数更多,并在迭代过程中对上一版本得到的xA随机地进行了噪声初始化,以此避免优化过程中可能遇到的鞍点[26]。使用PGD 算法生成的对抗样本攻击能力比I-FGSM 攻击能力强,但同样具有的迁移攻击能力弱的问题。
2.2.4 MI-FGSM攻击
在接下来的研究中,为了使对抗样本兼具强大的攻击能力和良好的迁移攻击能力,Dong 等[27]提出了基于动量的迭代生成对抗样本的MI-FGSM 算法。该算法在I-FGSM 算法的迭代过程中引入动量技术[31-32],以此在损失梯度变化的方向上累计速度矢量以稳定梯度的更新方向,使得优化过程不容易陷入局部最优。MI-FGSM 算法描述为:
其中:gi+1表示在第i次迭代后累计的梯度动量;
μ为动量项的衰减因子,当μ=0,则上述形式为I-FGSM 算法的形式。由于多次迭代中得到的梯度不在一个量级,将每次迭代中得到的当前梯度∇xJ(,y)通过其自身的l1距离进行归一化。
MI-FGSM 攻击算法生成的对抗样本在具有较好攻击能力的基础上还保留了一定的迁移攻击能力,是目前常用的白盒对抗攻击方法。
此外,为了更加有效提升基于梯度优化的方法生成对抗样本的迁移攻击能力,Xie 等[28]提出了一种输入多样性的对抗攻击方式,采取数据增强的思路,在将图像输入到模型前,先对输入样本进行随机转化,如随机调整样本大小或随机填充给定的分布等。将转换后的图像输入至目标模型后,再应用I-FGSM[25]、MI-FGSM[27]等算法进行梯度计算生成对抗样本。另外,通过减轻对抗样本在不同模型间识别的敏感程度,也可以提高对抗样本的迁移攻击能力。Dong 等[29]提出了基于梯度的平移不变攻击方式,通过将梯度与一个预先定义的核进行卷积来生成对大部分模型识别区域不太敏感的对抗样本。
2.3 基于决策边界分析的攻击方法
基于决策边界分析的攻击方法是一类特殊的对抗攻击方法。该方法最初由Moosavi-Dezfooli 等[33]提出,分为针对单个输入图像生成对抗扰动的DeepFool 攻击算法和针对目标模型和整个数据集生成通用对抗扰动的UAPs(Universal Adversarial Perturbations)攻击算法[17]。该类攻击方法的核心思想是通过逐步减小样本与模型决策边界的距离来使模型对该样本误分类,故其生成的对抗样本一般较小,但这类攻击方法不具备目标攻击能力。
2.3.1 DeepFool攻击
Moosavi-Dezfooli 等[33]在对模型的决策边界分析后提出了一种精确计算对抗扰动的DeepFool 方法。DeepFool 算法生成的对抗扰动非常小,该扰动一般被认为近似于最小扰动。DeepFool 算法具体描述为:首先,针对线性二分类问题,给定一个分类器(x)=sign(f(x)),f(x)=ωx+b,分类器的决策边界用F={x:f(x)=0}表示,如图3 所示。要使当前数据点x0被该模型误分类到决策边界另一边,其最小扰动对应于x0在F上的正交投影r*(x0):
图3 线性分类器的决策边界Fig.3 Decision boundary of linear classifier
根据f(x)=ωx+b,推导得r*(x0)=,此为模型决策边界线性时计算得到的最小扰动值。
推广到非线性决策边界的二分类问题,可通过迭代的过程来近似得到针对数据点x0的最小扰动r*(x0)。具体来说,在每次迭代过程中认为模型f(·)近似线性,此时扰动后数据点x0对应于这次迭代的最小距离ri(xi)为:
根据式(9)得到的闭解,继而推导得出针对非线性决策边界的最小扰动距离ri(xi)=通过将每次迭代得到的扰动ri累加就可以得到针对当前数据点x0所需的最小扰动。
2.3.2 UAPs攻击
多数对抗攻击算法[14,25,33]针对单个输入样本生成对抗样本,从而达到攻击目的。而Moosavi-Dezfooli 等[17]发现深度学习模型存在与输入样本无关的通用对抗扰动,这种扰动与目标模型结构和数据集特征相关。当通用对抗扰动叠加在数据集的输入样本上时得到对抗样本,得到的对抗样本大部分具有攻击能力。通用对抗扰动定义如下:假设μ表示数据集中数据的分布情况,δ表示分布μ上所有数据点希望攻击成功的比例,ξ用于度量扰动的大小,通用对抗扰动ν要满足如下两个条件:
Moosavi-Dezfooli 等[17]提出的UAPs 攻击算法通过在采样的少量数据点上迭代计算生成通用对抗扰动。每次迭代过程中,计算能够使当前数据点xi欺骗分类器的最小扰动Δνi,其优化目标描述为:
最后,将在采样数据点上计算得到的扰动汇总到通用对抗扰动ν。为了保证汇总得到的通用对抗扰动满足‖ν‖p≤ξ,在每次迭代汇总时,对更新的扰动进行如下投影操作:
于是,ν的更新规则为ν←Pp,ξ(ν+Δνi)。直到满足预先定义的愚弄率后,算法停止迭代。愚弄率定义如下:
UAPs 攻击算法在迭代过程中的扰动计算使用DeepFool算法[33]进行求解。最终,经过多次迭代后通过将数据点推送到模型决策边界另一边,达到对抗攻击的目的。
2.4 基于生成式神经网络生成的攻击方法
基于生成式神经网络生成的攻击方法利用自监督的方式,通过训练生成式神经网络来生成对抗样本。这类攻击方法的特点是一旦生成式模型训练完成,可非常高效地生成大量具有良好迁移攻击能力的对抗样本。典型的这类攻击方法有ATN(Adversarial Transformation Network)攻击[34]、UAN(Universal Adversarial Network)攻击[18]和AdvGAN 攻击[35]。
2.4.1 ATN攻击
Baluja 等[34]首次提出利用生成式神经网络生成对抗样本的ATN 攻击方式,并设计了ATN 用来生成对抗样本。ATN 将一个输入样本转换为针对目标模型的对抗样本,ATN 定义如下:
其中:θ表示神经网络g的参数,f表示为要攻击的目标网络。针对目标攻击问题,对ATN 中参数θ的训练,可描述为如下的优化目标:
其中:LX为视觉损失函数,可用常见的l2范数表示或者采用与文献[36]中类似的视觉感知相似性函数;
LY为类别损失函数,定义为LY=L2(y",r(y,t)),其中y=f(x),y"=f(gf(x)),t是目标攻击的类别,r(·)是重新排序函数[34],它对x进行修改,使yk≤yt,∀k≠t。
ATN[34]可以训练为仅生成对抗扰动的P-ATN(Perturbations Adversarial Transformation Network),这种情况下ATN 一般选择残差的网络结构[8]就可有效地生成扰动。ATN 还可以训练为直接生成对抗样本的AAE(Adversarial AutoEncoding)网络,这种情况下ATN 结构采用自编码器可很好地生成对抗样本。通过这两种方法得到的对抗样本差异较大,AAE 方法生成的对抗样本整体变化较为明显,而P-ATN 方法生成的对抗样本扰动程度较小。总体而言,该方法生成对抗样本的速度较快,且其攻击能力较强,但迁移攻击能力较弱。
2.4.2 UAN攻击
Hayes 等[18]提出了基于神经网络生成通用对抗扰动进行攻击的UAN 攻击算法。UAN 攻击通过训练一个简单的反卷积神经网络将一个在自然分布N(0,1)100上采样的随机噪声转换为通用对抗扰动。针对目标攻击问题,Hayes 等[18]为反卷积神经网络的训练设计了如下的优化函数:
其中:模型损失函数选择了与C&W 攻击[13]相同的损失函数,yt为目标攻击选择的类别,α控制扰动大小优化项的相对重要程度。
在实际利用UAN 攻击方式[18]进行攻击时,使用l2或l∞范数均可生成攻击能力较好的通用对抗扰动,其攻击能力强于先前提出的UAPs 攻击[17]。
2.4.3 AdvGAN攻击
Xiao 等[35]在基于神经网络生成的攻击算法中首次引入了生成式对抗网络[37]的思想,提出了包含生成器、鉴别器和攻击目标模型的AdvGAN。如图4 所示,经过训练的AdvGAN 可以将随机噪声转换为有效的对抗样本。
图4 AdvGAN架构Fig.4 Architecture of AdvGAN
与UAN 攻击[18]中使用lp范数对扰动大小的限制不同,AdvGAN 利用生成式对抗网络中的“对抗损失”项,来保证对抗样本的真实性。AdvGAN 中的对抗损失项采用与Goodfellow 等[37]相同的定义:
其中:生成器G(·)用于将输入噪声转化为对抗扰动,鉴别器D(·)的目的是尽可能使生成的对抗样本与原始输入样本具有较高的相似性。在目标攻击中,针对目标模型的误导损失项定义为:
其中:yt为目标攻击的类别,lossf为交叉熵损失函数。此外,为了明确量化扰动大小以及稳定GAN 的训练过程[38],对扰动添加一个soft hinge 损失项,如下所示:
其中c为指定的扰动大小。最终,针对AdvGAN 训练的整体优化函数设计如下:
其中:α和β参数用来控制每个优化项的相对重要性,整体来说,LGAN损失项的目的是使生成的对抗扰动与原始样本相似损失项的目的是达到对抗攻击的效果。
2.5 其他的攻击方法
2.5.1 JSMA攻击
Papernot 等[39]提出的JSMA(Jacobian-based Saliency Map Attack)算法是一种基于l0范数约束下的攻击,通过修改图像中的几个像素来使模型对输入样本误分类。JSMA 攻击算法利用显著图[40]表示输入特征对预测结果的影响程度,每次修改一个干净图像的像素,然后计算模型最后一层的输出对输入的每个特征的偏导。通过得到的前向导数,计算得出显著图[40]。最后利用显著图找到对模型输出影响程度最大的输入特征,通过修改这些对输出影响程度较大的特征点从而得到有效的对抗样本。
2.5.2 单像素攻击
在其他的攻击算法中,单像素攻击[41]是一种基于差分进化算法[42]的攻击算法。单像素攻击算法每次只修改样本数据点的1 个像素值试图让模型误分类。实际应用中,这是一种极端的攻击方式。该方法对于简单的数据集有较好的攻击效果,比如MNIST 数据集[43]。当输入图像的像素空间较大时,1 个像素点的改变很难影响到分类结果,随着图像增大,算法的搜索空间也会迅速增大,使得算法性能下降。
2.5.3 stAdv攻击
Xiao 等[44]提出了一种通过对图像样本进行空域变换来产生对抗样本的stAdv(spatially transformed Adversarial)攻击算法。该算法对局部图像特征进行平移、扭曲等操作实现针对输入样本的空域变换攻击。使用stAdv 算法生成的对抗样本较于传统基于lp范数距离度量生成的对抗样本更为真实,且针对目前采用对抗训练措施的模型具有很好的攻击效果。
2.5.4 BPDA攻击
破碎梯度策略[15]是一种用来针对FGSM[14]、I-FGSM[25]等基于梯度攻击方法的对抗防御方法。破碎梯度策略使用一个不可微的函数g(x)预处理输入样本,使训练得到的模型f(g(x))在x上不可微,使得攻击者计算不出用于对抗样本生成的梯度[15]。
Athalye 等[45]针对破碎梯度策略,提出利用近似梯度生成对抗样本的 BPDA(Backward Pass Differentiable Approximation)算法。BPDA 算法在反向传播计算梯度时,使用一个可微的函数h(x)替代函数g(x)来近似获得梯度,生成对抗样本。
本文从扰动范数、攻击类型和攻击强度等角度对上述白盒对抗攻击算法进行了比较,总结分析了不同算法的优势及劣势。其中,对抗攻击类型分为单步迭代攻击和多步迭代攻击。单步迭代攻击算法生成对抗样本速度较快,而多步迭代攻击算法的攻击能力较强。对比分析的结果如表1 所示,其中在攻击强度的对比结果中,*的数量代表攻击强度。
表1 对抗攻击算法总结Tab.1 Summary of adversarial attack algorithms
对抗攻击技术同时给部署在大部分应用场景下的深度学习系统带来了安全威胁,诸多研究[9-11,46]已表明这类系统面临的被对抗攻击技术误导的风险。与在第2 章中介绍的白盒对抗攻击技术可以直接向深度学习模型输入对抗样本不同,真实的应用场景下并不能直接操作深度学习系统的输入。本章介绍几类发生在不同应用场景下的白盒对抗攻击,通过不同应用场景的白盒对抗攻击说明针对当前部署的深度学习系统的对抗照片攻击和对抗贴纸攻击技术。
3.1 针对移动终端应用的攻击
随着深度学习技术的发展,越来越多的人工智能技术应用在诸如手机、平板电脑等智能化的移动终端设备上,而这类部署在移动终端设备上的深度学习系统也面临着被对抗攻击技术攻击的风险。Kurakin 等[25]对部署在手机上的图像分类应用进行了攻击测试,首次展示了对抗攻击技术给移动终端设备上部署的深度学习系统带来的危害。
Kurakin[47]攻击的目标模型是一个手机图像分类应用,该应用基于Inception 分类模型[48]构建,可对手机相机拍摄得到的照片进行分类。Kurakin 利用FGSM[14]和I-FGSM 攻击算法[25]分别针对Inception 分类模型[48]生成对抗样本后,把得到的对抗样本打印为照片,这种照片被称为对抗照片。最后,使用手机相机拍摄输入对抗照片后实现对手机图像分类应用的攻击。Kurakin 的攻击使图像分类应用误分类了大部分拍摄得到的对抗照片,但Kurakin 在利用手机相机拍摄对抗照片时,采取了固定相机的拍摄距离、角度和光线等措施。在现实的攻击场景中,并不能完全具备这些条件,但Kurakin团队的工作首次验证了针对真实应用场景下深度学习系统进行对抗攻击来干扰其正常工作的可行性,提供了一种在该场景下对抗攻击的思路。
3.2 针对人脸识别系统的攻击
人脸识别系统是目前深度学习技术在现实生活中较为成功的应用,其广泛地部署在安检、考勤、支付等诸多身份核验场景。Sharif 等[10]针对部署在真实场景下的人脸识别系统进行了对抗攻击测试,并提出一种对抗贴纸的攻击方式。针对人脸识别系统,在Kurakin 等[25]的工作基础上,鉴于无法直接对输入图像像素进行修改的限制,使用攻击算法生成对抗扰动后,通过将扰动打印在贴纸上,最后将贴纸张贴在眼镜框区域来达到对抗攻击的目的,如图5 所示。
图5 对抗眼镜Fig.5 Adversarial glasses
人脸识别系统本质上是一个多分类的深度学习模型,针对人脸识别系统的目标攻击,其对抗样本生成可描述为如下的优化问题:
其中:r表示要生成的对抗扰动,l表示要攻击的类别,X表示攻击者的人脸数据集。为了使得生成的扰动更加“平滑”和“自然”,保证攻击的隐蔽性。使用全变差约束方法对r进行约束,全变差约束函数的定义如下:
针对Kurakin 等[25]在将对抗样本打印为“对抗照片”时,未考虑到打印设备带来的数字图像与打印输出之间的色域误差。Sharif 等[10]定义了色域误差值来明确这种误差,NPS(Non-Printability Score)值的定义如下:
其中:p表示打印机能打印出来的颜色值,p表示为数字图像中的颜色值。
综合考虑对抗贴纸的隐蔽性和打印设备带来的打印误差,最终针对人脸识别系统的对抗贴纸生成的优化问题描述为:
通过常见的优化算法,求解上述优化问题,即可得到对抗贴纸。Sharif 等[10]利用梯度下降法求解得到的“对抗眼镜”使得人脸识别系统以高置信度将攻击者误识别为攻击目标人,达到了攻击目的。
Sharif等[10]针对人脸识别系统的攻击,较为全面地考虑到了打印设备带来的打印误差,其生成的“对抗贴纸”较Kurakin等[25]生成的“对抗照片”的对抗鲁棒性有了一定提升,但该攻击方式依然缺乏在复杂物理因素影响下的攻击能力。
3.3 针对自动驾驶系统的攻击
近年来,依托于深度学习技术的自动驾驶系统取得了越来越大的进步。基于深度学习技术决策的自动驾驶系统已普遍搭载应用在无人驾驶车辆上,而对抗攻击技术的发展也为这类自动驾驶系统的安全性带来了严重的危害。Eykholt等[11]针对自动驾驶系统的交通标志识别功能进行了攻击测试,展示了对抗攻击技术给自动驾驶系统带来的安全威胁。
由于大部分对抗攻击算法在数字图像空间中生成的对抗扰动由于打印设备[10]、相机输入[11]等过程带来的误差无法有效针对应用场景下部署的深度学习系统进行攻击。Eykholt 等[11]设计了一种针对复杂物理场景下的深度学习系统进行攻击的RP2(Robust Physical Perturbations)算法。RP2攻击算法[11]尽可能考虑到不同光照、视角、距离等物理因素的影响,采用类似数据增强的思路来生成在复杂物理因素影响下鲁棒的对抗扰动。在针对运动中自动驾驶车辆的道路交通标志识别进行攻击测试时,Eykholt 等利用相机拍摄要攻击的“STOP”交通标志在各种光照、视角、距离条件下得到的图像加入用于生成对抗扰动贴纸的数据集;
同时,在定义扰动生成的目标优化函数时,引入Sharif 等[10]定义的NPS 误差,以此减少打印设备带来的误差;
最后采用Sharif 等[10]贴纸攻击的方法,将生成的对抗扰动打印后张贴在要攻击的道路交通标志上,以此达到自动驾驶系统无法识别正确该标志的目的,如图6 所示。
图6 “STOP”交通标志Fig.6 “STOP”traffic sign
Sharif 等[11]提出的RP2 攻击算法进一步提高了复杂应用场景下对抗扰动的攻击能力和对抗鲁棒性。利用RP2 攻击算法结合对抗贴纸进行攻击的手段是目前针对应用场景下深度学习系统的主要对抗攻击技术。
选择第2 章中所介绍的算法分别进行以下两组实验:1)基于CIFAR10 数据集[49],介绍了不同种类的攻击算法对目标模型分类准确率的影响程度;
2)基于MNIST 数据集[44],介绍了基于梯度优化的攻击算法在不同扰动强度设置下对目标模型分类准确率的影响和其生成的对抗样本的扰动差异程度。实验中用到的MNIST 数据集[43]包含6 万张训练图像和1 万张测试图像,每张图像为28×28 像素的灰度图像;
CIFAR10 数据集包含5 万张训练图像和1 万张验证图像,每张图像为32×32 像素的RGB 图像。
4.1 不同种类算法攻击模型的分类准确率对比
在介绍的4 种不同类型的攻击算法中,分别选择C&W[13]、PGD[26]、DeepFool[33]和UAN[18]算法在CIFAR10 数据集上进行攻击实验。实验中,攻击算法的扰动范数值统一l∞范数值。攻击的目标模型分别为CNN 模型、ResNet34 模型和VGG19 模型,训练后的目标模型在验证集上的分类准确率分别为81.97%、93.50%和92.03%。算法的攻击能力以其生成的对抗样本在目标模型上的分类准确率表示,分类准确率越低,则说明该算法的攻击能力越强。实验结果如表2所示,从结果中可以看到PGD 算法的攻击能力较强,而ResNet34 模型相比CNN 模型和VGG19 模型更容易被对抗样本攻击。
表2 CIFAR10验证集上的对抗样本分类准确率 单位:%Tab.2 Accuracy of adversarial examples classification on CIFAR10 validation set unit:%
4.2 基于梯度优化算法攻击模型的扰动强度对比
选择基于梯度优化的FGSM[14]、I-FGSM[25]、PGD[26]和MI-FGSM[27]算法在MNIST 数据集上进行攻击实验。实验中,攻击算法的扰动范数设置为l∞范数,eps表示扰动强度。Goodfellow 等[14]中将eps值设置为0.07 以保证攻击成功率的同时限制扰动的大小。在实验中,为了比较不同扰动强度对模型分类准确率的影响程度,本文将eps值分别设置为0.05、0.1、0.2 和0.3 进行实验。攻击的目标模型为CNN 模型,训练后的该模型在验证集上可以达到99.04%的分类准确率。实验结果如表3 所示,可以看到随着扰动强度值(eps)的不断增大,攻击算法的攻击能力不断提高,生成的对抗样本能够被正确分类的可能性越小。4 种攻击算法在eps值设置为0.3 的情况下生成的对抗样本如图7 所示,图中的每张字图表示一个原始输入样本或其对应的对抗样本。
表3 MNIST验证集上的对抗样本分类准确率 单位:%Tab.3 Accuracy of adversarial examples classification on MNIST validation set unit:%
图7 MNIST数据集上的对抗样本(eps=0.3)Fig.7 Adversarial examples on MNIST dataset(eps=0.3)
随着互联网技术的不断发展以及人工智能理论研究、相关方法的推广应用,有关对抗样本生成的方法将会层出不穷。研究对抗攻击技术,不但能促进深度学习模型可解释性研究的发展,进一步使对抗攻击防御技术得到完善,而且还可以利用对抗攻击技术促进一些相关领域的研究。目前,图像分类任务中针对白盒对抗攻击技术的研究已经取得了显著的成果。本文以图像分类任务作为切入点,对白盒对抗攻击技术进行了全面的回顾和研究。主要研究分析了当前白盒对抗攻击的几类方法,同时结合实际的应用场景,介绍了对抗攻击方法给深度学习模型带来的巨大影响和安全威胁。
本文通过对所调研的文献进行研究,按照对抗攻击算法生成对抗样本原理的不同,将主要的对抗攻击算法分为4类,按照分类对算法进行了全面的分析和阐述。其中,基于直接优化的算法生成的扰动较小,但存在寻找合适超参数耗时较长的问题;
基于梯度优化的算法是目前对抗攻击算法中主要的一类算法,该类算法大多通过多步迭代计算梯度生成高质量对抗样本,其特点是针对无防御措施的模型攻击能力较强;
基于决策边界分析的算法通过精确计算得到的扰动更小,但不具备目标攻击的能力;
基于神经网络生成的算法是一种特殊的对抗攻击技术,这类算法通过训练一个生成模型来生成对抗样本,一旦生成模型训练完成,在对抗样本生成阶段可非常高效地生成大量对抗样本。
未来,随着对抗攻击技术在自然语言处理[50-51]、语音识别[52-53]等任务上的推广应用,人工智能系统将面临更加严峻的安全挑战。为实现真正安全的深度学习应用,对抗攻击技术的研究将会受到长期的重视。其中的白盒对抗攻击技术依然会是重要的研究课题之一,其研究目标将朝着生成高隐蔽性、高鲁棒性和高迁移攻击能力的对抗样本进行;
同时,白盒对抗技术在其他类型的任务中进行推广应用也将是一个可能的发展方向,而与之相对应的,针对黑盒对抗攻击技术的研究也颇受关注。面对黑盒对抗攻击技术给深度学习系统带来的危害,也将在接下来的研究中予以持续的关注。
- 范文大全
- 说说大全
- 学习资料
- 语录
- 生肖
- 解梦
- 十二星座
-
2022年4月主题党日活动记录范文15篇
2022年4月主题党日活动记录范文15篇2022年4月主题党日活动记录范文篇1一个崇尚阅读的民族,必然精神饱满、意气风发、活力四射。习近平总书记强调:“学习
【活动总结】 日期:2022-08-01
-
少先队的光荣历史故事 队前教育-光辉历程
2017-2018学年队前教育1光辉历程一、劳动童子团1924——1927二、三十年代年的中国是一个
【法律文书】 日期:2020-06-23
-
家乡赋|最美的家乡赋
家乡赋 孙传志 今安康市,白河双丰镇,吾之家乡也。三环沃土,山水环抱。其北依山,山系五岭,山
【调研报告】 日期:2020-04-01
-
党支部1-12月全年主题党日活动计划表
2022年党支部主题党日活动计划表序号活动时间活动方式活动内容12022年1月专题学习研讨集中观看2022年新年贺词,积极开展学习研讨交流。组织生活会组织党员认真对照党章...
【活动总结】 日期:2022-10-14
-
【人教版1-6年级数学上册知识点精编】1-6年级数学人教版教材
人教版二年级数学上册知识点汇总第一单元长度单位一、米和厘米1、测量物体的长度时,要用统一的标准去测量
【调研报告】 日期:2020-11-08
-
2022年2月份主题党日活动记录5篇
2022年2月份主题党日活动记录5篇2022年2月份主题党日活动记录篇1尊敬的党组织:在今年的开学初,本人积极参加教研室组织的教研活动,在学校教研员的指
【活动总结】 日期:2022-08-12
-
2023年平安校园建设方案13篇
平安校园建设方案“平安校园”创建工作,我们幼儿园全体教职员工一直把它当作头等大事来抓。领导高度重视,以“平安校园”创建活动为抓手,建立和规范校园安全工作机制
【规章制度】 日期:2023-11-02
-
医院最佳主题党日活动11篇
医院最佳主题党日活动11篇医院最佳主题党日活动篇1 医院最佳主题党日活动篇2为隆重纪念中国共产党成立100周年,进一步巩固党的群众路线教育实践活动成果,切实
【活动总结】 日期:2022-10-29
-
南京大屠杀国家公祭日悼念文案句子11篇
南京大屠杀国家公祭日悼念文案精选句子1、惟有民魂是值得宝贵的,惟有他发扬起来,中国才有真进步。——鲁迅2、我爱我的祖国,爱我的人民,离开了它,离开了他们,我
【企划文案】 日期:2023-10-20
-
主题党日活动记录202210篇
主题党日活动记录202210篇主题党日活动记录2022篇12021年是中国共产党成立100周年,为广泛开展爱国主义宣传教育,铭记党的历史,讴歌党的光辉历程,
【活动总结】 日期:2022-08-02
-
入少先队员改正的缺点有哪些_少先队申请书
敬爱的少先队组织:我们是共产主义接班人,继承革命先辈的光荣传统,爱祖国,爱人民,鲜艳的红领巾飘扬在前胸 我叫xx,是一年级(x)班的小学生。每当听到这首...
【简历资料】 日期:2019-07-28
-
正式的晚宴邀请函 公司晚宴邀请函
尊敬的先生 女士: 我公司谨定于xxxx年xx月xx日xx:xx在xxxx店隆重举行xx市xx届xxxx晚宴(宴会地址:xx区xx路xxxx) 敬请届时光临!xxxxxx集团股份有限公司xxxx有限公司敬邀xxxx年xx月xx日
【简历资料】 日期:2019-08-03
-
一年级新学期目标简短_一年级学生新学期打算
新学期到了,我是一年级下册的小学生了。 上课的时候,我要认真学习,不做小动作,认真听讲。我要认真学习,天天向上,努力学习,耳朵要听老师讲课,眼睛要瞪得大大的看老...
【简历资料】 日期:2019-10-26
-
[信访复查复核制度作用探讨]信访复查复核有用吗
作为我国特有的一项制度,信访制度的出现并长期存在不是偶然的,虽然一些法学专家认为信访制度具有“人治”
【职场指南】 日期:2020-02-16
-
[党员干部2019年主题教育个人问题检视清单及整改措施2篇] 党员干部
2019年主题教育问题检视清单及整改措施根据主题教育领导小组办公室《关于认真做好主题教育检视问题整改
【求职简历】 日期:2019-11-08
-
网络维护工作内容_(精华)国家开放大学电大专科《网络系统管理与维护》形考任务1答案
国家开放大学电大专科《网络系统管理与维护》形考任务1答案形考任务1理解上网行为管理软件的功能【实训目
【职场指南】 日期:2020-07-17
-
党委会与局长办公会的区别_局长办公会制度
为进一步加强xxx局工作的规范化、制度化建设,提高行政效能,规范议事程序,特制定本制度。一、会议形式1、局长办公会议由局长、副局长参加。由局长召集和主持。根据工作需要...
【求职简历】 日期:2019-07-30
-
学生会组织部部长竞选稿5篇
学生会组织部部长竞选稿以“三制”为统领推进农村党的建设中共**市委组织部近年来,**市认真落实中央、省和徐州市委的部署,积极适应发展要求,从加强领导体制、运
【求职简历】 日期:2023-11-06
-
如何凝心聚力谋发展【坚定信心谋发展凝心聚力促跨越】
当前,清河正处于在苏北实现赶超跨越基础上全面腾飞的战略机遇期,处于在全市率先实现全面小康基础上率先实
【简历资料】 日期:2020-03-17
-
《铁拳砸碎“黑警伞”》警示教育片观后感
影片深刻剖析了广西北海市公安局海西派出所原所长张枭杰蜕变堕落的轨迹。观看警示教育片后,做为一名党员教
【简历资料】 日期:2020-08-17
-
2022年度区委书记在年轻干部村情调研动员会上的讲话提纲【优秀范文】
今天,xxx区年轻干部村情调研活动正式启动。这是区委加强年轻干部实践锻炼的重要举措,是推动乡村振兴先行示范区建设的有益探索,目的就是要为xxx的绿色转型、乡村振兴谋思路...
【其他范文】 日期:2022-11-04
-
[先进团支部主要事迹] 优秀团支部事迹1000字
一支部同学学习情况:我班同学学习优异努力刻苦,入学时成绩优异,其中丁浩同学入学分数为西工大山西考生第一名,荣获英才奖学金,而且姜凝同学更是以677分成为西工大陕西考生...
【汇报体会】 日期:2019-08-03
-
《庄子·天下》《论六家之要旨》《汉书·艺文志·道家略》论道家之异同
□刘雅楠“道家”一词最早出现于《史记·陈丞相世家》,司马谈的《论六家之要旨》首次将“道家”作为学派来
【其他范文】 日期:2023-04-07
-
xx年基层协会建设办公室工作总结
xx年基层协会建设办公室工作总结撰写人:___________日期:___________xx年基层
【导游词】 日期:2021-03-03
-
【保护黄河宣传标语】各类宣传标语搜集(全文)
当前位置:>>>2021-10-03篇一:我搜集一些宣传标语(一)公益宣传用语1.宣传普及靠大家,金融知识进万家2.心贴心的服务,手握手的承诺3.服务有起点,满意无终点(二)个人...
【其他范文】 日期:2022-09-23
-
医院党总支抓党建先锋杯汇报(1)
医院党总支抓党建先锋杯汇报(1) 各位领导:大家好!首先欢迎各位领导莅临我院检查指导工作。下面,我就
【评语寄语】 日期:2020-07-10
-
党员干部责任与担当的感悟10篇
【篇一】敢于担当是一种责任、一种精神,更是一种能力,是党员干部必须具备的基本素质。党的十八大以来,习
【毕业论文】 日期:2021-06-15
-
地税局人事处副处长在中心组理论学习会上的发言
根据省局机关党委“两学一做”专题学习教育活动安排,我通过对党章党规和习总书记系列讲话的认真学习,认识
【其他范文】 日期:2020-04-13
-
三句半【庆元宵(三句半)】
庆元宵敲锣打鼓庆元宵,热热闹闹兴致高,我们四人来表演,请看!到十五还有一两天,祝大家吉祥如意大团圆,我们给大家鞠个躬,拜年!今天是元宵联欢会,咱就说说咱地税,辛辛...
【礼仪】 日期:2019-08-24
-
党员思想状况调研分析报告
下面是小编为大家整理的党员思想状况调研分析报告文章,
【其他范文】 日期:2022-10-08
-
军转座谈会交流发言4篇
军转座谈会交流发言4篇军转座谈会交流发言篇1大家好,我叫贺丽,2015届选调生,来自康定市委组织部,现在省委编办跟班学习。今天,非常荣幸向大家汇报我的学习收
【发言稿】 日期:2022-10-27
-
12岁生日小寿星发言4篇
12岁生日小寿星发言4篇12岁生日小寿星发言篇1各位来宾、各位朋友:大家好!今天,我们欢聚在这里,共同庆祝**十二周岁生日。首先,我代表**的父母以
【发言稿】 日期:2022-07-31
-
廉政大会总结发言稿7篇
廉政大会总结发言稿7篇廉政大会总结发言稿篇1各位领导,同志们:根据会议安排,我就党风廉政建设工作做表态发言,不妥之处,请批评指正。一、提高认识,切实
【发言稿】 日期:2022-10-30
-
【企业疫情风险控制方案】 2020企业复工疫情方案
企业疫情风险控制方案2020新冠病毒肺炎疫情防控工作总结汇报3篇 关于新型冠状病毒感染的肺炎疫
【演讲稿】 日期:2020-02-27
-
我最敬佩的人开头_我敬佩的一个人作文20篇2020年
我敬佩的一个人作文20篇 我敬佩的一个人作文一): 我身边有很多值得我们敬佩的人,但我最敬佩的一
【发言稿】 日期:2020-11-10
-
纪委书记工作表态发言4篇
纪委书记工作表态发言4篇纪委书记工作表态发言篇1在镇党委政府正确领导下,在全村干部和群众的共同努力下,紧紧围绕建设社会主义新农村工作为重点,尽职尽责,与时俱
【发言稿】 日期:2022-09-30
-
党员教育培训总结交流发言12篇
党员教育培训总结交流发言12篇党员教育培训总结交流发言篇1根据市委组织部《关于开展我市〈20XX
【发言稿】 日期:2022-12-19
-
[钻井队队长(副队长、指导员)岗位HSE应知应会试题(1863)]
钻井队队长(副队长、指导员)岗位HSE应知应会试题(判断题:771;单选题:626;多选题:466)
【贺词】 日期:2020-09-23
-
话剧《家》剧本 话剧剧本:爱的空间
找文章到更多原创-(http: www damishu cn)人物介绍:刘伟,男,32岁,某购物广
【演讲稿】 日期:2020-01-21
-
五言绝句大全500首古诗_五言绝句144首
五言绝句144首 五言绝句(一): 1《春夜喜雨》唐朝·杜甫 好雨知时节,当春乃发生。随风潜入
【祝福语】 日期:2021-03-13
-
2023年中国行政区划调整方案(设想优秀3篇
中国行政区划调整方案(设想优秀民政部第二次行政区划研讨会会议内容一、缩省的意义与原则1.意义1)利于减少中间层次中国行政区划层级之多为世界之最,既使管理成本
【周公解梦】 日期:2024-02-20
-
2023年和儿媳妇在一起幸福的句子3篇
和儿媳妇在一起幸福的句子1、假如人生不曾相遇,我还是那个我,偶尔做做梦,然后,开始日复一日的奔波,淹没在这喧嚣的城市里。我不会了解,这个世界还有这样的一个你
【格言】 日期:2023-11-10
-
XX老干局推进党建与业务深度融合发展工作情况调研报告:党建调研报告
XX老干局推进党建与业务深度融合 发展工作情况的调研报告 党建工作与业务工作融合发展始终是一个充满生
【成语大全】 日期:2020-08-28
-
中国共产党第三代中央领导集体的卓越贡献
中国共产党第三代中央领导集体的卓越贡献 --------------继往开来铸就辉煌 【摘要】改
【成语大全】 日期:2020-03-20
-
信息技术2.0能力点 [全国中小学教师信息技术应用能力提升工程试题题库及参考答案「精编」]
全国中小学教师信息技术应用能力提升工程试题题库及答案(复习资料)一、判断题题库(A为正确,B为错误)
【格言】 日期:2020-11-17
-
党建工作运行机制内容有哪些_构建基层党建工作运行机制探讨
党的基层组织是党在社会基层组织中的战斗堡垒,是党的全部工作和战斗力的基础。加强和改进县级以下各类党的
【经典阅读】 日期:2020-01-22
-
电大现代教育原理_最新国家开放大学电大《现代教育原理》形考任务2试题及答案
最新国家开放大学电大《现代教育原理》形考任务2试题及答案形考任务二一、多项选择题(共17道试题,共3
【成语大全】 日期:2020-07-20
-
集合推理_七,推理与集合
七推理与集合1 期中考试数学成绩出来了,三个好朋友分别考了88分,92分,95分。他们分别考了多少分
【名人名言】 日期:2020-12-18
-
基层党务工作基本内容_党建基本工作有哪些
党建基本工作有哪些(一) 基层党建工作包括哪些内容 选择了大学生村官这条路,你就与农村基层党
【名人名言】 日期:2020-08-06
-
【2020-2021学年高一英语外研版(2019)选择性必修第一册Unit3Faster,higher,strongerSectionⅠ导学讲义】
Unit3 Faster,higher,stronger背景导学MichaelJordan—Head
【歇后语】 日期:2021-04-19
-
关于三农工作重要论述心得体会3篇
关于三农工作重要论述心得体会3篇关于三农工作重要论述心得体会篇1习近平总书记指出:“建设现代化国家离不开农业农村现代化,要继续巩固脱贫攻坚成果,扎实推进乡村
【学习心得体会】 日期:2022-10-29
-
【福生庄隧道坍塌处理方案】 福生庄隧道在哪里
(呼和浩特铁路局大包电气化改造工程指挥部,内蒙古呼和浩特010050)摘要:文章介绍了福生庄隧道
【学习心得体会】 日期:2020-03-05
-
五个一百工程阅读心得体会13篇
五个一百工程阅读心得体会13篇五个一百工程阅读心得体会篇1凡益之道,与时偕行。在全国网络安全和信
【学习心得体会】 日期:2022-12-07
-
城管系统警示教育心得体会9篇
城管系统警示教育心得体会9篇城管系统警示教育心得体会篇1各党支部要召开多种形式的庆七一座谈会,组织广大党员进行座谈,回顾党的光辉历程,畅谈党的丰功伟绩,
【学习心得体会】 日期:2022-10-09
-
发展对象培训主要内容10篇
发展对象培训主要内容10篇发展对象培训主要内容篇1怀着无比激动的心情,我有幸参加了__新区区委党校20__年第四期(区级机关)党员发展对象培训班。这次的学习
【培训心得体会】 日期:2022-09-24
-
凝聚三种力量发展全过程人民民主心得体会12篇
凝聚三种力量发展全过程人民民主心得体会12篇凝聚三种力量发展全过程人民民主心得体会篇1新民主主义革命是指在帝国主义和无产阶级革命时代,殖民地半殖民地国家中的
【学习心得体会】 日期:2022-08-31
-
2022年全国检察长会议心得7篇
2022年全国检察长会议心得7篇2022年全国检察长会议心得篇1眼睛是心灵上的窗户,我们通过眼睛才能看到世间万物,才能看到眼前这美好的一切。拥有一双明亮的眼
【学习心得体会】 日期:2022-10-31
-
在街道深化作风建设推动高质量发展走在前列动员会上讲话
在2023年街道深化作风建设推动高质量发展走在前列动员会上的讲话同志们:今天我们召开“街道深化作风建设推动高质量发展走在前列动员会”,这次会议是街道三季度召开的第一场...
【军训心得体会】 日期:2024-03-17
-
全面从严治党的心得体会800字7篇
全面从严治党的心得体会800字7篇全面从严治党的心得体会800字篇1中国特色社会主义是我们党领导
【学习心得体会】 日期:2022-12-14
-
2月教师党员个人思想汇报5篇
2月教师党员个人思想汇报敬爱的党组织:最近这一个月的时间对于我来说是极不平凡的,在这段时间里我认真学习了文化部网上党校的相关内容,经过长达40小时的
【教师心得体会】 日期:2023-10-15
-
2024年主题教育民主生活会批评与自我批评意见(38条)(范文推荐)
2023年主题教育民主生活会六个方面个人检视、相互批评意见:1 理论学习系统性不强。学习习近平新时代中国特色社会主义思想不深不透,泛泛而学的时候多,深学细照的时候少,特...
【邓小平理论】 日期:2024-03-19
-
2024年交流发言:强化思想理论武装,增强奋进力量(完整)
习近平总书记指出:“一个民族要走在时代前列,就一刻不能没有理论思维,一刻不能没有思想指引。”党的十八大以来,伴随着新时代中国特色社会主义思想在实践中形成发展的历程...
【三个代表】 日期:2024-03-19
-
2024年度镇年度县乡人大代表述职评议活动总结
xx镇20xx年县乡人大代表述职评议活动总结为响应县级人大常委会关于开展县乡两级人大代表述职评议活动,进一步激发代表履职活力,加强代表与人民群众的联系,提高依法履职水平...
【马克思主义】 日期:2024-03-19
-
“千万工程”经验学习体会(研讨材料)
“千万工程”是总书记在浙江工作时亲自谋划、亲自部署、亲自推动的一项重大决策,也是习近平新时代中国特色社会主义思想在之江大地的生动实践。20年来,“千万工程”先后经历...
【三个代表】 日期:2024-03-19
-
2024年在市政协机关工作总结会议上讲话
同志们:刚才,XX同志对市政协机关20XX年工作进行了很好的总结,很精炼,很到位,可以感受到去年机关工作确实可圈可点。XX同志宣读了表彰决定,机关优秀人员代表、先进集体代...
【邓小平理论】 日期:2024-03-18
-
在全区防汛防涝动员暨河长制工作推进会上讲话提纲【完整版】
区长,各位领导,同志们:汛期已经来临,我区城区防涝工作面临强大考验,形势不容乐观。年初,区城区防涝排渍指挥部已经召开专题调度会,修订完善应急预案,建立网格化管理机...
【马克思主义】 日期:2024-03-18
-
2024年镇作风整治工作实施方案(完整文档)
XX镇作风整治工作实施方案为深入贯彻落实党的二十大精神及省市区委深化作风建设的最新要求,突出重点推进干部效能提升,坚持不懈推动作风整治工作纵深发展,根据《关于印发《2...
【毛泽东思想】 日期:2024-03-18
-
2024市优化法治化营商环境规范涉企行政执法实施方案【优秀范文】
xx市优化法治化营商环境规范涉企行政执法实施方案为持续优化法治化营商环境,激发市场主体活力和社会创造力,规范行政执法行为,创新行政执法方式,提升行政执法质效,着力解...
【毛泽东思想】 日期:2024-03-18
-
2024年度关于开展新一轮思想状况摸底排查工作通知(完整)
关于开展新一轮思想状况摸底排查工作的通知为深入贯彻落实关于各地开展干部职工思想状况大摸底大排查情况上的批示要求和改革教育第二次调度会议精神,有针对性做好队伍教育管...
【三个代表】 日期:2024-03-18
-
2024年公路养护中心主任典型事迹材料(完整文档)
“中心的工作就是心中的事业”——公路养护中心主任典型事迹材料**,男,1976年6月出生,1993年参加工作,2000年4月调入**区交通运输局工作,大学本科学历,中共党员,现任**...
【马克思主义】 日期:2024-03-17