基于CNN的安防数据相似重复记录检测模型
王 巍 刘 阳 洪惠君 梁雅静
1(河北工程大学信息与电气工程学院 河北 邯郸 056038) 2(河北省安防信息感知与处理重点实验室 河北 邯郸 056038) 3(江南大学物联网工程学院 江苏 无锡 214122)
随着信息化时代的飞速发展,每个行业每天都会产生大量的数据,安防行业也不例外。在安防行业中,部分结构化的信息还需要以手工录入、人为修改的方式进行[1]。这种方式不但效率低,而且会产生许多的脏数据,会直接影响到各类事件的后续处理效率。这些脏数据的表现形式主要有相似重复记录、缺失数据、冲突数据和错误数据等几种类型[2]。其中数据源中存在相似重复记录是最严重的问题之一,严重时可能会导致数据失效。因此相似重复记录的检测及清除一直都是研究的热点。
当前常见的相似重复记录检测算法主要有编辑距离算法(Levenshtein Distance)、Smith-Waterman算法、N-gram算法和机器学习算法等。陈俊月等[3]提出了基于词向量的编辑距离算法,改进了传统的编辑距离算法和Jaccard系数,将编辑距离的删除和插入两种编辑操作修改为空字符与目标字符的替换操作,通过词向量计算每种编辑操作的相似度并累加,得出改进的编辑距离相似度。文献[4]改进了编辑距离算法,使用同义词词典替换了传统的语法变异的方法,对于存在大量语法错误和拼写错误的问题的数据集,可有效提高算法的精度。文献[5]利用依赖图的传递闭包和循环倾斜提出了一种Smith-Waterman算法并行化的方法,将精确传递闭包的方法替代为近似传递闭包,在现代多核计算机中加速效果显著。文献[6]对比了三种基于统一计算设备架构(Compute Unified Device Architecture,CUDA)的Smith-Waterman算法的并行计算方法,分别是粗粒度加速方法、细粒度加速方法和重新定义递归公式的方法。其中:粗粒度加速方法可利用GPU同时处理多个对齐,但是不同线程处理长度不同的序列的时间不同,导致处理短序列的线程等待时间较长;
细粒度加速方法可以利用多线程计算DP矩阵,减少了中间计算的时间,但是在计算开始和结束的阶段都需要花费大量的时间;
重新定义递归公式的方法重新定义了Smith-Waterman算法的递归公式,将算法时间复杂度从O(mn)降低到了O(mlog2n),其中m和n表示任意两条记录的长度,提高了算法的效率,但不能对差距的扩大给出不同的罚分。王常武等[7]提出了一种加权的N-Gram相似重复元数据记录检测算法,对于不同的标签在相似重复记录检测的过程中的重要程度赋予不同的权重,依据权重使用加权的N-gram算法进行相似度计算,实验表明,加权后的N-gram算法优于普通的N-gram算法。陈亮等[8]使用分块技术根据字段对数据排序并分块,使用滑动窗口的思想提升检测效率,然后将各字段得出的分块一起聚类,对重复率较大的分块对首先比对,并放弃聚类效果较差的分块,最终通过降低聚类次数和放弃聚类效果较差的分块的方式提升了效率和准确率。
近年来机器学习成了研究的热点,几乎在各行业都有应用案例,也有研究人员运用机器学习算法来检测相似重复记录。相似重复记录的检测在机器学习中可以看作分类问题中的二分类问题。吕国俊等[9]提出了一种基于多目标蚁群优化的支持向量机的相似重复记录检测方法,该方法将相似重复记录描述为一个二分类问题,同时考虑到相似重复记录中重复样本很少的问题,只用不相似重复记录样本进行训练。文中的实验结果验证单类支持向量机算法的有效性。张攀[10]将BP神经网络运用到相似重复记录的检测当中,用两条记录相同字段间的编辑距离组成的向量作为BP网络的输入数据,并为其添加上标签训练出BP网络,然后使用训练出的BP神经网络检测两条记录是否为相似重复记录,实验结果表明,在数据生成器“febrl”生成的数据中,基于BP神经网络的相似重复记录检测方法的准确率可达97%以上。孟祥逢等[11]首先融合Jaro算法与TF-IDF算法计算字段相似度,然后使用经过遗传算法优化的神经网络计算两条记录的相似度,可以有效提高检测的准确率和精度,但在中文数据中的效果还有待商榷。
尽管上述相似重复记录检测算法的精确率(Precision)和召回率(Recall)等指标都已经达到了较高的水平,但是上述数据大部分是开源的数据集,实际应用中的数据集存在更复杂的情况。在安防数据库中,由于不同信息录入员的不同习惯,存在大量空值、错误值、串字段错误和各种符号等干扰信息,对相似重复记录的检测产生了一定的影响,同时安防数据中部分相似重复记录肉眼辨别都需要较长时间。例如表1中前两条记录表述不同,但实际含义相同,是相似重复记录,而后两条记录虽然仅存在个别字不同,但其是两个不同的加油站,不是相似重复记录。因此,安防数据相似重复记录的检测难度比网络上开源的数据集要高,需要开发一种适用于安防数据的相似重复记录检测模型,检测出尽可能多的相似重复记录对,同时还需要较强的泛化能力。卷积神经网络(Convolutional Neural Networks,CNN)是深度学习的代表算法之一,在深度学习中的研究最为广泛[12]。近年来,CNN开始应用于文本分类等自然语言处理领域,并且取得了一定的成果。例如,文献[13-14]将CNN应用于文本情感分类;
宋岩等[15]使用CNN对文本进行分类;
肖琳等[16]使用CNN对文本进行多标签分类;
张璞等[17]结合CNN与微博文本特征对用户性别进行分类等。
表1 安防数据相似重复记录示例
因此,本文设计一种基于CNN的安防数据相似重复记录检测模型。通过对在手写数字识别上拥有不错效果的LeNet- 5进行改进,得出了两种适用于安防数据的相似重复记录模型,一种是以词向量矩阵为输入的CNN模型(Word Embedding Matrix CNN,WE-CNN),另一种是以相似度矩阵为输入的CNN模型(Similarity Matrix CNN,SIM-CNN)。然后分别对这两种模型进行了介绍,并通过了K折验证,使用精确率、召回率和F1值(F1 Score)等评价指标对模型进行了评价。
为了提高模型的效率和可靠性,在训练模型之前,需要对数据进行预处理,并且需要将每条记录中的每个词都转换为模型可以识别的词向量(Word Embedding)。根据安防数据存在的问题以及安防数据的特点,本文将数据预处理主要步骤分为分词和词向量生成两部分,具体流程如下:
(1) 字段选择。手动选择数据库中对于任意两条记录是否为相似重复记录影响较大的字段,并且删除数据库中的空记录等无效的记录。
(2) 分词。对记录中的每一个字段进行中文分词,并删除停用词、标点、特殊字符等内容。本文采用“jieba”分词工具进行分词。将每条记录分词后的内容按照字段顺序组成一个列表,也就是一个列表对应一条记录,则第i个列表的长度L(i)表示为:
(1)
式中:n为字段数;
lif为第i个列表的第f个字段分词后的词语的个数。
(3) 训练词向量。对分词后的所有列表进行词向量的训练,得出每一个词的词向量c。本文采用Google的“Word2vec”工具训练词向量,主要参数如表2所示。其语料库为本文的实验数据某安防报警网络公司用户数据。
表2 “Word2vec”词向量训练工具主要参数
表2中的Skip-gram算法使用中心词预测周围词语,根据预测结果修正中心词词向量。通过对安防领域数据的验证,大部分字段为中文短句或者长词组,每个词与前后词的关联较大,并且这些短句或者长词组对两条记录是否为相似重复记录影响较大,因此对于安防领域数据,可使用“Word2vec”的Skip-gram算法训练词向量。
(4) 合成矩阵。将每一个记录中的所有词语对应的词向量组成一个向量组,该向量组就是词向量矩阵。假设第i条记录的词向量矩阵是Vi,则该矩阵表示为:
Vi=[c1,c2,…,cL(i)]
(2)
使用Word2vec中的相似度计算算法,计算出两条记录m和n中所有词之间的相似度,组成相似度矩阵S,表示为:
(3)
(5) 统一矩阵大小。统一各词向量矩阵的矩阵大小和各相似度矩阵的矩阵大小,根据分词后的每一个列表的长度L(i)(i∈N且i∈[0,n),n是数据库中删除无效记录后的记录数),选择合适的矩阵大小,不足的部分补充0,超出的部分删除。如果选择的矩阵大小太小,无法包含记录的有效信息,相反,过大会降低计算的效率。图1为本文选用的安防数据记录对应的记录长度比例分布图,横坐标表示记录长度,纵坐标表示小于等于某长度的记录与全部记录的数量比。可以看出95%左右的记录长度都在60以下,因此本文的词向量矩阵大小为60×100,相似度矩阵大小为60×60。
图1 安防数据记录长度比例分布
(6) 标记数据。标记两条记录m和n是否为相似重复记录,并将m和n词向量矩阵与标签组成带标签的词向量矩阵数据。将两条记录m和n组成的相似度矩阵与标签组成带标签的相似度矩阵数据。
上述流程如图2所示。
图2 数据预处理流程
2.1 LeNet- 5模型
Fukushima[18]最早提出了卷积神经网络,除去输入层和输出层,卷积神经网络通常还包含若干个卷积层、池化层和全连接层。LeNet- 5[19]是出现时间最早的卷积神经网络之一,由Yann LeCun提出,最早应用于手写体识别。LeNet- 5的结构如图3所示。
图3 LeNet- 5结构
LeNet- 5一共有8层,包括:3个卷积层C1、C3和C5;
两个池化层S2和S4;
一个全连接层F6;
一个输入层INPUT和一个输出层OUTPUT。其中INPUT层的输入是1幅维度为32的图片;
C1层通过6个5×5大小的卷积核得出6幅维度为28的特征图;
S2层将上一层特征图中2×2范围内的数值相加并乘一个系数加一个偏置,得出6幅维度为14的特征图,这个过程称为二次采样(Subsampling),其中的系数和偏置可训练;
C3层采用部分映射的方式将S2层的6幅特征图通过5×5大小的卷积核转换为16幅10×10的特征图,表3展示了具体对应的方案,其中的数字为特征图(通道)号;
S4层通过二次采样,得出16幅5×5的特征图;
C5层用5×5的卷积核对5×5的特征图进行卷积操作,将S4层的16幅特征图转换为120幅1×1的特征图;
F6层包括84个单元,并且完全连接到C5层。OUTPUT层有10个欧氏径向基函数单元,表示十个手写数字,可得到图片是哪个手写数字。
表3 S2与C3的连接方案
2.2 改进的LeNet- 5模型
(1) WE-CNN模型。与复杂的图像识别相比,文本识别的复杂度要低一些。而LeNet- 5可以识别较为简单的手写体图片,所以将LeNet- 5应用于相似重复记录的识别具有一定的可行性。为了让LeNet- 5模型适用于文本识别,并且可以有效解决安防数据相似重复记录检测存在的无法填补的空值、串字段等难点,本文设计以记录的词向量矩阵为输入的CNN模型WE-CNN,模型在LeNet- 5的基础上进行改进,改进后的模型如图4所示,具体做了以下几个部分的改进。
图4 WE-CNN模型结构
在LeNet- 5中,输入维度为32×32,为了保证得到更全的细节特征,提高模型的识别率,将输入的维度修改为与数据预处理中描述的60×100,同时因为要判断两条记录的相似度,所以输入的通道数为2。
为了简化算法,将S2层与C3层之间的连接方案改为全映射;
把C5层改为全连接层并改名为F5,这样可以更好地将特征矩阵中的信息传递下去,这里涉及的特征矩阵对应LeNet- 5中的特征图;
C1层和C3层均采用3×3的卷积核,并且将卷积操作的填补(padding)设置为1,在进行卷积操作时可以不改变特征矩阵的维度,在简化各层之间的维度计算的同时可以保留更全的信息;
将S2层和S4层中的二次采样修改为最大池化(Max-Pool),可以保留记录中更多的边缘特征。
由于相似重复记录检测问题属于二分类问题,故将模型的输出从十个改为一个,并使用Sigmoid函数,将输出值转化为一个介于0到1之间的概率值,概率值越接近1,表示输入的两条记录为相似重复记录的可能性越大,反之不是相似重复记录的可能性越大,区分是否是相似重复记录的阈值通常取0.5。
为了防止出现过拟合的现象,在S2层与C3层之间、S4层和F5层之间、F5层和F6层之间、F6层和OUTPUT层之间均加入Dropout方法。Dropout方法可以随机丢弃p%的神经元,使用剩下的神经元进行训练,可以防止过拟合和增强模型的泛化能力。为了减轻梯度消失问题对模型的影响,在S2层、S4层、F5层、F6层和F7层均设置一个tanh函数。
使用Adam算法作为模型的优化算法。Adam算法结合了Momentum算法和RMSprop算法中的更新方向方法和计算衰减系数方法,式(4)为Adam算法的算法策略。
(4)
在二分类问题中,可以采用适用于二分类问题的交叉熵损失函数函数(Cross Entropy Error Function)作为模型的损失函数,式(5)为该函数的表达式。
(5)
式中:n是批量大小(batch size);
x是模型实际输出的值;
y是标签上的值,也就是目标值。
(2) SIM-CNN模型。在安防行业中,某些数据会有极高的质量要求,为了进一步提高数据的质量,在WE-CNN模型的基础上,提出以相似度矩阵为输入的CNN模型SIM-CNN。从理论上来说,与WE-CNN模型相比,在同样的数据源下,SIM-CNN模型应该具有更高的识别率,但是SIM-CNN模型所需的相似度矩阵生成的时间较长。
除了输入层,SIM-CNN与WE-CNN模型的其余部分完全相同。SIM-CNN的输入为通道数为1的相似度矩阵,根据数据预处理中的描述,将输入的相似度矩阵维度设置为60,模型的结构如图5所示。
图5 SIM-CNN模型结构
本次实验首先对实验数据、实验环境和实验中用到的一些评价方法进行了介绍;
然后对模型中的部分参数进行了选择分析,并对模型的效果、泛化能力进行了验证;
最后与BP神经网络进行了对比。
3.1 实验数据说明
实验采用某安防网络报警公司的用户数据作为实验数据,一共有32 480条记录,120个字段。经过筛选,得到了30 513条有意义的记录,26个对相似重复记录的识别影响较大的字段。经过初步判断,实验数据中有6 100对左右的相似重复记录。
本次实验选取了11 000对记录作为训练数据和测试数据,其中相似重复记录和不是相似重复记录的数据各5 500对。
3.2 实验环境
实验的硬件环境配置如表4所示。
表4 实验硬件环境
本实验采用了CUDA并行计算架构,实验的软件环境如表5所示。
表5 实验软件环境
3.3 实验评价方式
为了评价模型的优劣,引入了精确率、召回率和F1值等评价指标。精确率、召回率和F1值分别可以用式(6)-式(8)表示。
(6)
(7)
(8)
假设将不是相似重复记录记为正类,是相似重复记录记为负类,则式(6)-式(8)中:TP表示实际上和预测的都不是相似重复记录的数据对的个数,记为真正类;
FN表示实际上不是相似重复记录,预测是相似重复记录的数据对的个数,记为假负类;
FP表示实际上是相似重复记录,预测不是相似重复记录的数据对的个数,记为假正类;
TN表示实际上和预测的都是相似重复记录的数据对的个数,记为真负类。
为了验证模型的可靠性,引入K折交叉验证的方法对模型进行分析。K折交叉验证是将数据分成K组,使用任意一组作为测试集,剩余的K-1组作为训练集,迭代K次,让每一组数据都做过一次测试集,每次迭代的测试集中的数据不会出现在当次迭代的训练数据中。
3.4 实验结果和分析
(1) 学习速率选择实验。在批量大小batch-size都为64,迭代次数epoch都为60,以及其他参数都相同的情况下,从0.01、0.005、0.001、0.000 5和0.000 1五个学习速率当中确定合适的学习速率。从理论上来说,在各参数都相同的条件下,如果学习速率较大,可能会出现发散的情况,如果学习速率越小,收敛速度越慢。本实验中,在学习速率在0.01时,两个模型出现了损失发散的情况,在学习速率为0.005时,WE-CNN模型存在低概率的发散,故舍弃这些导致损失发散的学习速率。两个模型在不同学习速率下的各项指标如图6和图7所示。
图6 WE-CNN模型不同学习速率下的表现
图7 SIM-CNN模型不同学习速率下的表现
从图6中可以看出,WE-CNN模型的学习速率为0.001时的整体效果最好,其F1值最大,但是召回率较低;
从图7中可以看出,当SIM-CNN模型在学习速率为0.001、0.000 5和0.000 1时,精确率、召回率和F1值都很接近,并且都在0.975以上,不过学习速率等于0.001时的SIM-CNN模型略优于其他学习速率的模型。这是因为随着迭代次数的增加,学习速率为0.001的模型可以最先达到最优结果。所以在本实验的测试数据集中,WE-CNN模型和SIM-CNN模型的学习速率在0.001时模型的表现最优。
(2) Dropout对模型的影响。表6介绍了是否使用Dropout优化方法对模型的影响。可以得出WE-CNN模型在不使用Dropout优化方法时会对模型的识别能力产生较大的影响,因为每次训练都是使用相同的模型,所以出现了过拟合现象。而使用Dropout可以使神经元随机失活,每次训练的模型都不同,因此不容易出现过拟合现象,识别率相对更高。SIM-CNN模型在不使用Dropout优化方法时同样会对模型的识别能力产生影响,所以使用Dropout优化方法可以有效防止过拟合,增强模型的识别能力。
表6 Dropout优化方法对模型的影响
(3) K折交叉验证。根据K折交叉验证的规则,将本次实验的11 000个样本,分成了11组数据,每组数据中都有500个正类样本和500个负类样本。从第1组样本开始,依次将该组数据作为测试集,并将剩余的数据作为第1组的训练集。将学习速率设置为0.001,批量值batch-size=64,迭代次数epoch设置为60,阈值设置为0.5,通过WE-CNN模型在所有的训练集进行训练,并使用每个训练集对应的测试集对模型进行测试,使用式(5)所示的交叉熵损失函数计算损失,得出K折验证中每个测试集的精确率、召回率和F1值。WE-CNN模型的K折交叉验证的各项指标如表7所示。
表7 WE-CNN模型K折交叉验证各项指标
可以看出,虽然第6组数据对应的模型的召回率只有0.878,精确率和F1值也只有0.969和0.921,出现这种情况可能是因为该组数据的测试集中存在个别的标记错误。但是从整体上看,大部分组的精确率、召回率和F1值都在0.95到0.99左右,处于一个范围较小的区间内,平均指标中最低的召回率也高达0.967,偏差也仅有0.038,F1值为0.973,偏差仅为0.024。但是在实际情况中,相似重复记录的占比较少,而召回率可以表示数据中没有相似重复记录的极端情况,所以WE-CNN模型在极端情况下的平均识别率也能高达0.967。因此,WE-CNN模型具有较高的识别率和较强的泛化能力。
基于WE-CNN模型改进的SIM-CNN模型的K折交叉验证的各项指标如表8所示。
表8 SIM-CNN模型K折交叉验证各项指标
其中SIM-CNN模型的K折交叉验证实验的每一组的训练数据和测试数据都与WE-CNN模型K折交叉验证实验中对应的组中的数据相同。各类超参数也与WE-CNN模型的K折交叉验证实验相同。从表9中可以看出,SIM-CNN模型的各项指标要明显优于WE-CNN,整体上都有了一定的提升。同样是最低的第6组数据对应的模型的召回率已经达到了0.924,比SIM-CNN模型提升了0.046。从整体上来看,大部分的精确率、召回率、F1值都在0.97到1之间,处于一个很小的区间内,从平均上来看,精确率、召回率和F1值都达到了0.98以上,而偏差最大的召回率也仅有0.023,F1值也高达0.985,偏差仅有0.017。因此,与WE-CNN模型相比,SIM-CNN模型具有更高的识别率和更强的泛化能力。
(4) 运行时间。数据量为本次实验所用的11 000对记录,batch-size均设置为64,迭代次数epoch均设置为60,WE-CNN模型和SIM-CNN模型的训练数据和测试数据都相同。两模型的整体运行时间如表9所示。
表9 模型运行时间 单位:s
从模型训练和测试时间上来看,SIM-CNN模型的训练速度要比WE-CNN模型快,但是由于SIM-CNN模型的输入是两条记录对应的相似度矩阵,生成实验所需的所有相似度矩阵需要556 s,而生成WE-CNN模型所需的所有词向量矩阵仅需81 s。因此从整体上看,在本次实验的数据集中,WE-CNN模型的整体运行时间为1 073 s,比SIM-CNN模型的整体运行时间少200 s。
(5) 模型对比。图8为相同的实验数据在WE-CNN、SIM-CNN和文献[10]所述的BP神经网络3种模型下的各项指标柱状图。
图8 3种模型指标对比
可以看出,在整体识别效果上SIM-CNN模型最好,其次是WE-CNN模型,最后是BP神经网络。这是因为SIM-CNN的输入为相似度矩阵,与WE-CNN的输入词向量矩阵相比,在都保留了原有信息的基础上输入更简洁,需要训练的参数更少,因此SIM-CNN模型的识别效果最优。而BP网络的输入是相同字段间的编辑距离值组成的向量,而安防数据中的部分相似重复记录的记录对相同字段间的编辑距离值较大,部分不是相似重复记录的记录对相同字段之间的编辑距离值较小,识别效果自然较差。
3.5 实验评价
综上所述,SIM-CNN模型在上述实验数据集中的识别率和在没有相似重复记录的极端情况下的识别率(实验数据集中的召回率)均优于WE-CNN模型,但是SIM-CNN模型的数据生成和加载时间较长,导致整个训练和测试的时间要长于WE-CNN模型。如果WE-CNN模型可以达到识别率的要求,或者检测时长受限,可以使用WE-CNN模型进行相似重复记录的检测。如果对识别率等指标要求较高,或者检测时长宽松,可以使用SIM-CNN模型进行相似重复记录的检测。
对于任意两条记录来说,相似重复记录检测只有是相似重复记录和不是相似重复记录两种情况,故本文将相似重复记录检测问题视为了二分类问题。同时考虑到安防行业数据的相似重复记录检测要比网络上的开源数据的检测难度高,并且需要较高的识别率和较强的泛化能力。因此引入了CNN检测相似重复记录,提出以词向量矩阵为输入的WE-CNN模型和以相似度矩阵为输入的SIM-CNN模型。
WE-CNN是以LeNet- 5为基础进行改进的,现将改进内容总结为以下三部分。
1) 输入和输出层:将输入层设置为两个60×100的词向量矩阵;
输出层增加Sigmoid函数。
2) 输入和输出层以外各层:将S2层与C3层之间设置为全映射;
C5层设置为全连层并改名为F5;
C1和C3层的采用3×3的卷积核;
S2和S4层均设置为最大池化;
在各层之间加入Dropout方法。
3) 优化器和损失函数:使用Adam优化器对模型进行优化;
使用交叉熵损失函数对模型的损失进行计算。
将改进后的模型(WE-CNN)应用于安防数据相似重复记录检测,通过K折交叉验证,得出了平均精确率、召回率和F1值均在0.96以上的结果。
SIM-CNN改进了WE-CNN的输入层,将一组词向量矩阵浓缩为一个相似度矩阵。在安防数据相似重复记录检测中,SIM-CNN模型K折交叉验证的平均精确率、召回率和F1值均在0.98以上。SIM-CNN模型在损失了数据预处理和生成的时间的同时,精确率、召回率和F1值相对于WE-CNN模型分别提高了0.612%、1.656%和1.131%,偏差相对降低了33.333%、39.474%和29.167%。
以上验证了两种模型都具有较高的稳定性和泛化能力,可以适用于安防数据相似重复记录检测。但是当前模型和模型生成的过程还存在需要进一步完善或者改进的问题,比如安防数据标记方法较难、安防数据中的相似重复记录的数量可能小于训练所需的相似重复记录的数量和安防数据相似重复记录清除算法的设计等问题还需要解决。
猜你喜欢向量矩阵算法向量的分解新高考·高一数学(2022年3期)2022-04-28聚焦“向量与三角”创新题中学生数理化(高中版.高考数学)(2021年1期)2021-03-19基于MapReduce的改进Eclat算法成都信息工程大学学报(2019年4期)2019-11-04Travellng thg World Full—time for Rree阅读与作文(英语初中版)(2019年8期)2019-08-27进位加法的两种算法小学生学习指导(低年级)(2018年11期)2018-12-03初等行变换与初等列变换并用求逆矩阵中央民族大学学报(自然科学版)(2016年3期)2016-06-27一种改进的整周模糊度去相关算法现代防御技术(2016年1期)2016-06-01向量垂直在解析几何中的应用高中生学习·高三版(2016年9期)2016-05-14向量五种“变身” 玩转圆锥曲线新高考·高二数学(2015年11期)2015-12-23矩阵南都周刊(2015年4期)2015-09-10- 范文大全
- 说说大全
- 学习资料
- 语录
- 生肖
- 解梦
- 十二星座
-
2022年4月主题党日活动记录范文15篇
2022年4月主题党日活动记录范文15篇2022年4月主题党日活动记录范文篇1一个崇尚阅读的民族,必然精神饱满、意气风发、活力四射。习近平总书记强调:“学习
【活动总结】 日期:2022-08-01
-
少先队的光荣历史故事 队前教育-光辉历程
2017-2018学年队前教育1光辉历程一、劳动童子团1924——1927二、三十年代年的中国是一个
【法律文书】 日期:2020-06-23
-
家乡赋|最美的家乡赋
家乡赋 孙传志 今安康市,白河双丰镇,吾之家乡也。三环沃土,山水环抱。其北依山,山系五岭,山
【调研报告】 日期:2020-04-01
-
党支部1-12月全年主题党日活动计划表
2022年党支部主题党日活动计划表序号活动时间活动方式活动内容12022年1月专题学习研讨集中观看2022年新年贺词,积极开展学习研讨交流。组织生活会组织党员认真对照党章...
【活动总结】 日期:2022-10-14
-
【人教版1-6年级数学上册知识点精编】1-6年级数学人教版教材
人教版二年级数学上册知识点汇总第一单元长度单位一、米和厘米1、测量物体的长度时,要用统一的标准去测量
【调研报告】 日期:2020-11-08
-
2022年2月份主题党日活动记录5篇
2022年2月份主题党日活动记录5篇2022年2月份主题党日活动记录篇1尊敬的党组织:在今年的开学初,本人积极参加教研室组织的教研活动,在学校教研员的指
【活动总结】 日期:2022-08-12
-
2023年平安校园建设方案13篇
平安校园建设方案“平安校园”创建工作,我们幼儿园全体教职员工一直把它当作头等大事来抓。领导高度重视,以“平安校园”创建活动为抓手,建立和规范校园安全工作机制
【规章制度】 日期:2023-11-02
-
医院最佳主题党日活动11篇
医院最佳主题党日活动11篇医院最佳主题党日活动篇1 医院最佳主题党日活动篇2为隆重纪念中国共产党成立100周年,进一步巩固党的群众路线教育实践活动成果,切实
【活动总结】 日期:2022-10-29
-
南京大屠杀国家公祭日悼念文案句子11篇
南京大屠杀国家公祭日悼念文案精选句子1、惟有民魂是值得宝贵的,惟有他发扬起来,中国才有真进步。——鲁迅2、我爱我的祖国,爱我的人民,离开了它,离开了他们,我
【企划文案】 日期:2023-10-20
-
主题党日活动记录202210篇
主题党日活动记录202210篇主题党日活动记录2022篇12021年是中国共产党成立100周年,为广泛开展爱国主义宣传教育,铭记党的历史,讴歌党的光辉历程,
【活动总结】 日期:2022-08-02
-
入少先队员改正的缺点有哪些_少先队申请书
敬爱的少先队组织:我们是共产主义接班人,继承革命先辈的光荣传统,爱祖国,爱人民,鲜艳的红领巾飘扬在前胸 我叫xx,是一年级(x)班的小学生。每当听到这首...
【简历资料】 日期:2019-07-28
-
正式的晚宴邀请函 公司晚宴邀请函
尊敬的先生 女士: 我公司谨定于xxxx年xx月xx日xx:xx在xxxx店隆重举行xx市xx届xxxx晚宴(宴会地址:xx区xx路xxxx) 敬请届时光临!xxxxxx集团股份有限公司xxxx有限公司敬邀xxxx年xx月xx日
【简历资料】 日期:2019-08-03
-
一年级新学期目标简短_一年级学生新学期打算
新学期到了,我是一年级下册的小学生了。 上课的时候,我要认真学习,不做小动作,认真听讲。我要认真学习,天天向上,努力学习,耳朵要听老师讲课,眼睛要瞪得大大的看老...
【简历资料】 日期:2019-10-26
-
[信访复查复核制度作用探讨]信访复查复核有用吗
作为我国特有的一项制度,信访制度的出现并长期存在不是偶然的,虽然一些法学专家认为信访制度具有“人治”
【职场指南】 日期:2020-02-16
-
[党员干部2019年主题教育个人问题检视清单及整改措施2篇] 党员干部
2019年主题教育问题检视清单及整改措施根据主题教育领导小组办公室《关于认真做好主题教育检视问题整改
【求职简历】 日期:2019-11-08
-
网络维护工作内容_(精华)国家开放大学电大专科《网络系统管理与维护》形考任务1答案
国家开放大学电大专科《网络系统管理与维护》形考任务1答案形考任务1理解上网行为管理软件的功能【实训目
【职场指南】 日期:2020-07-17
-
党委会与局长办公会的区别_局长办公会制度
为进一步加强xxx局工作的规范化、制度化建设,提高行政效能,规范议事程序,特制定本制度。一、会议形式1、局长办公会议由局长、副局长参加。由局长召集和主持。根据工作需要...
【求职简历】 日期:2019-07-30
-
学生会组织部部长竞选稿5篇
学生会组织部部长竞选稿以“三制”为统领推进农村党的建设中共**市委组织部近年来,**市认真落实中央、省和徐州市委的部署,积极适应发展要求,从加强领导体制、运
【求职简历】 日期:2023-11-06
-
如何凝心聚力谋发展【坚定信心谋发展凝心聚力促跨越】
当前,清河正处于在苏北实现赶超跨越基础上全面腾飞的战略机遇期,处于在全市率先实现全面小康基础上率先实
【简历资料】 日期:2020-03-17
-
《铁拳砸碎“黑警伞”》警示教育片观后感
影片深刻剖析了广西北海市公安局海西派出所原所长张枭杰蜕变堕落的轨迹。观看警示教育片后,做为一名党员教
【简历资料】 日期:2020-08-17
-
2022年社区党总支书记2022年度抓基层党建工作述职报告
下面是小编为大家整理的2022年社区党总支书记2020年度抓基层党建工作述职报告
【其他范文】 日期:2022-08-04
-
煤矿安全心得体会_煤矿安全教育心得七篇
煤矿安全教育心得七篇【篇一】生命是美好的,更是幸福的,但是前提是必须要有安全的呵护。没有安全,生命得
【节日庆典】 日期:2019-07-23
-
鬼灭之刃无限列车篇观后感400字3篇
鬼灭之刃无限列车篇观后感400字3篇鬼灭之刃无限列车篇观后感400字篇1总体而言,鬼灭之刃在市场和商业角度上是一部成功的漫画作品,而在漫迷受众当中的受欢迎程
【其他范文】 日期:2022-09-30
-
年市政协委员履职能力提升培训班学习心得体会15篇
年市政协委员履职能力提升培训班学习心得体会15篇年市政协委员履职能力提升培训班学习心得体会篇1@青年干部让“闪闪红星”照耀君心伴君行习近平总书记在202
【其他范文】 日期:2022-08-10
-
市委教育体育工委专题读书班交流发言提纲(完整文档)
下面是小编为大家整理的市委教育体育工委专题读书班交流发言提纲
【其他范文】 日期:2022-09-16
-
00同志2004年度的先进事迹 马金涛同志先进事迹
00同志2004年度的先进事迹该同志在思想政治方面,能拥护贯彻执行党的路线、方针和政策,尤其是能坚持党的基本路线和党的四项基本原则,在政治思想和行动上与党中央保持一致,...
【导游词】 日期:2019-08-24
-
在全县度党委书记抓基层党建述职评议大会上主持讲话(精选文档)
同志们:经县委研究决定,并报请市委组织部同意,今天,我们召开全县2019年度党委(党组、工委)书记抓基层党建述职评议大会,主要任务是:听取各乡镇党委书记、街道党工委书...
【其他范文】 日期:2022-09-14
-
在全市保密工作专题会议上讲话(完整)
同志们:党的二十大吹响了奋进新征程的时代号角,为维护国家安全和社会稳定、推进国家安全体系和能力现代化擘画了宏伟蓝图。党的二十大报告首次以专章论述和部署国家安全工作...
【其他范文】 日期:2024-01-31
-
自查自纠报告(共10篇)
个人自查自纠报告个人自查自纠报告(一):个人庸懒散自查自纠报告根据镇纪委开展“庸懒散奢”自查整改活动
【毕业论文】 日期:2021-05-10
-
转型与赋能:人工智能推进劳动教育创新发展研究
邴英林(香港教育大学,香港999077)人工智能赋能劳动教育的本质是要推进以人为本的劳动教育实践,培
【其他范文】 日期:2023-06-30
-
军转座谈会交流发言4篇
军转座谈会交流发言4篇军转座谈会交流发言篇1大家好,我叫贺丽,2015届选调生,来自康定市委组织部,现在省委编办跟班学习。今天,非常荣幸向大家汇报我的学习收
【发言稿】 日期:2022-10-27
-
12岁生日小寿星发言4篇
12岁生日小寿星发言4篇12岁生日小寿星发言篇1各位来宾、各位朋友:大家好!今天,我们欢聚在这里,共同庆祝**十二周岁生日。首先,我代表**的父母以
【发言稿】 日期:2022-07-31
-
廉政大会总结发言稿7篇
廉政大会总结发言稿7篇廉政大会总结发言稿篇1各位领导,同志们:根据会议安排,我就党风廉政建设工作做表态发言,不妥之处,请批评指正。一、提高认识,切实
【发言稿】 日期:2022-10-30
-
【企业疫情风险控制方案】 2020企业复工疫情方案
企业疫情风险控制方案2020新冠病毒肺炎疫情防控工作总结汇报3篇 关于新型冠状病毒感染的肺炎疫
【演讲稿】 日期:2020-02-27
-
我最敬佩的人开头_我敬佩的一个人作文20篇2020年
我敬佩的一个人作文20篇 我敬佩的一个人作文一): 我身边有很多值得我们敬佩的人,但我最敬佩的一
【发言稿】 日期:2020-11-10
-
纪委书记工作表态发言4篇
纪委书记工作表态发言4篇纪委书记工作表态发言篇1在镇党委政府正确领导下,在全村干部和群众的共同努力下,紧紧围绕建设社会主义新农村工作为重点,尽职尽责,与时俱
【发言稿】 日期:2022-09-30
-
党员教育培训总结交流发言12篇
党员教育培训总结交流发言12篇党员教育培训总结交流发言篇1根据市委组织部《关于开展我市〈20XX
【发言稿】 日期:2022-12-19
-
[钻井队队长(副队长、指导员)岗位HSE应知应会试题(1863)]
钻井队队长(副队长、指导员)岗位HSE应知应会试题(判断题:771;单选题:626;多选题:466)
【贺词】 日期:2020-09-23
-
话剧《家》剧本 话剧剧本:爱的空间
找文章到更多原创-(http: www damishu cn)人物介绍:刘伟,男,32岁,某购物广
【演讲稿】 日期:2020-01-21
-
五言绝句大全500首古诗_五言绝句144首
五言绝句144首 五言绝句(一): 1《春夜喜雨》唐朝·杜甫 好雨知时节,当春乃发生。随风潜入
【祝福语】 日期:2021-03-13
-
2023年中国行政区划调整方案(设想优秀3篇
中国行政区划调整方案(设想优秀民政部第二次行政区划研讨会会议内容一、缩省的意义与原则1.意义1)利于减少中间层次中国行政区划层级之多为世界之最,既使管理成本
【周公解梦】 日期:2024-02-20
-
2023年和儿媳妇在一起幸福的句子3篇
和儿媳妇在一起幸福的句子1、假如人生不曾相遇,我还是那个我,偶尔做做梦,然后,开始日复一日的奔波,淹没在这喧嚣的城市里。我不会了解,这个世界还有这样的一个你
【格言】 日期:2023-11-10
-
XX老干局推进党建与业务深度融合发展工作情况调研报告:党建调研报告
XX老干局推进党建与业务深度融合 发展工作情况的调研报告 党建工作与业务工作融合发展始终是一个充满生
【成语大全】 日期:2020-08-28
-
中国共产党第三代中央领导集体的卓越贡献
中国共产党第三代中央领导集体的卓越贡献 --------------继往开来铸就辉煌 【摘要】改
【成语大全】 日期:2020-03-20
-
信息技术2.0能力点 [全国中小学教师信息技术应用能力提升工程试题题库及参考答案「精编」]
全国中小学教师信息技术应用能力提升工程试题题库及答案(复习资料)一、判断题题库(A为正确,B为错误)
【格言】 日期:2020-11-17
-
党建工作运行机制内容有哪些_构建基层党建工作运行机制探讨
党的基层组织是党在社会基层组织中的战斗堡垒,是党的全部工作和战斗力的基础。加强和改进县级以下各类党的
【经典阅读】 日期:2020-01-22
-
电大现代教育原理_最新国家开放大学电大《现代教育原理》形考任务2试题及答案
最新国家开放大学电大《现代教育原理》形考任务2试题及答案形考任务二一、多项选择题(共17道试题,共3
【成语大全】 日期:2020-07-20
-
集合推理_七,推理与集合
七推理与集合1 期中考试数学成绩出来了,三个好朋友分别考了88分,92分,95分。他们分别考了多少分
【名人名言】 日期:2020-12-18
-
基层党务工作基本内容_党建基本工作有哪些
党建基本工作有哪些(一) 基层党建工作包括哪些内容 选择了大学生村官这条路,你就与农村基层党
【名人名言】 日期:2020-08-06
-
【2020-2021学年高一英语外研版(2019)选择性必修第一册Unit3Faster,higher,strongerSectionⅠ导学讲义】
Unit3 Faster,higher,stronger背景导学MichaelJordan—Head
【歇后语】 日期:2021-04-19
-
关于三农工作重要论述心得体会3篇
关于三农工作重要论述心得体会3篇关于三农工作重要论述心得体会篇1习近平总书记指出:“建设现代化国家离不开农业农村现代化,要继续巩固脱贫攻坚成果,扎实推进乡村
【学习心得体会】 日期:2022-10-29
-
【福生庄隧道坍塌处理方案】 福生庄隧道在哪里
(呼和浩特铁路局大包电气化改造工程指挥部,内蒙古呼和浩特010050)摘要:文章介绍了福生庄隧道
【学习心得体会】 日期:2020-03-05
-
五个一百工程阅读心得体会13篇
五个一百工程阅读心得体会13篇五个一百工程阅读心得体会篇1凡益之道,与时偕行。在全国网络安全和信
【学习心得体会】 日期:2022-12-07
-
城管系统警示教育心得体会9篇
城管系统警示教育心得体会9篇城管系统警示教育心得体会篇1各党支部要召开多种形式的庆七一座谈会,组织广大党员进行座谈,回顾党的光辉历程,畅谈党的丰功伟绩,
【学习心得体会】 日期:2022-10-09
-
发展对象培训主要内容10篇
发展对象培训主要内容10篇发展对象培训主要内容篇1怀着无比激动的心情,我有幸参加了__新区区委党校20__年第四期(区级机关)党员发展对象培训班。这次的学习
【培训心得体会】 日期:2022-09-24
-
凝聚三种力量发展全过程人民民主心得体会12篇
凝聚三种力量发展全过程人民民主心得体会12篇凝聚三种力量发展全过程人民民主心得体会篇1新民主主义革命是指在帝国主义和无产阶级革命时代,殖民地半殖民地国家中的
【学习心得体会】 日期:2022-08-31
-
2022年全国检察长会议心得7篇
2022年全国检察长会议心得7篇2022年全国检察长会议心得篇1眼睛是心灵上的窗户,我们通过眼睛才能看到世间万物,才能看到眼前这美好的一切。拥有一双明亮的眼
【学习心得体会】 日期:2022-10-31
-
在街道深化作风建设推动高质量发展走在前列动员会上讲话
在2023年街道深化作风建设推动高质量发展走在前列动员会上的讲话同志们:今天我们召开“街道深化作风建设推动高质量发展走在前列动员会”,这次会议是街道三季度召开的第一场...
【军训心得体会】 日期:2024-03-17
-
全面从严治党的心得体会800字7篇
全面从严治党的心得体会800字7篇全面从严治党的心得体会800字篇1中国特色社会主义是我们党领导
【学习心得体会】 日期:2022-12-14
-
2月教师党员个人思想汇报5篇
2月教师党员个人思想汇报敬爱的党组织:最近这一个月的时间对于我来说是极不平凡的,在这段时间里我认真学习了文化部网上党校的相关内容,经过长达40小时的
【教师心得体会】 日期:2023-10-15
-
2024年主题教育民主生活会批评与自我批评意见(38条)(范文推荐)
2023年主题教育民主生活会六个方面个人检视、相互批评意见:1 理论学习系统性不强。学习习近平新时代中国特色社会主义思想不深不透,泛泛而学的时候多,深学细照的时候少,特...
【邓小平理论】 日期:2024-03-19
-
2024年交流发言:强化思想理论武装,增强奋进力量(完整)
习近平总书记指出:“一个民族要走在时代前列,就一刻不能没有理论思维,一刻不能没有思想指引。”党的十八大以来,伴随着新时代中国特色社会主义思想在实践中形成发展的历程...
【三个代表】 日期:2024-03-19
-
2024年度镇年度县乡人大代表述职评议活动总结
xx镇20xx年县乡人大代表述职评议活动总结为响应县级人大常委会关于开展县乡两级人大代表述职评议活动,进一步激发代表履职活力,加强代表与人民群众的联系,提高依法履职水平...
【马克思主义】 日期:2024-03-19
-
“千万工程”经验学习体会(研讨材料)
“千万工程”是总书记在浙江工作时亲自谋划、亲自部署、亲自推动的一项重大决策,也是习近平新时代中国特色社会主义思想在之江大地的生动实践。20年来,“千万工程”先后经历...
【三个代表】 日期:2024-03-19
-
2024年在市政协机关工作总结会议上讲话
同志们:刚才,XX同志对市政协机关20XX年工作进行了很好的总结,很精炼,很到位,可以感受到去年机关工作确实可圈可点。XX同志宣读了表彰决定,机关优秀人员代表、先进集体代...
【邓小平理论】 日期:2024-03-18
-
在全区防汛防涝动员暨河长制工作推进会上讲话提纲【完整版】
区长,各位领导,同志们:汛期已经来临,我区城区防涝工作面临强大考验,形势不容乐观。年初,区城区防涝排渍指挥部已经召开专题调度会,修订完善应急预案,建立网格化管理机...
【马克思主义】 日期:2024-03-18
-
2024年镇作风整治工作实施方案(完整文档)
XX镇作风整治工作实施方案为深入贯彻落实党的二十大精神及省市区委深化作风建设的最新要求,突出重点推进干部效能提升,坚持不懈推动作风整治工作纵深发展,根据《关于印发《2...
【毛泽东思想】 日期:2024-03-18
-
2024市优化法治化营商环境规范涉企行政执法实施方案【优秀范文】
xx市优化法治化营商环境规范涉企行政执法实施方案为持续优化法治化营商环境,激发市场主体活力和社会创造力,规范行政执法行为,创新行政执法方式,提升行政执法质效,着力解...
【毛泽东思想】 日期:2024-03-18
-
2024年度关于开展新一轮思想状况摸底排查工作通知(完整)
关于开展新一轮思想状况摸底排查工作的通知为深入贯彻落实关于各地开展干部职工思想状况大摸底大排查情况上的批示要求和改革教育第二次调度会议精神,有针对性做好队伍教育管...
【三个代表】 日期:2024-03-18
-
2024年公路养护中心主任典型事迹材料(完整文档)
“中心的工作就是心中的事业”——公路养护中心主任典型事迹材料**,男,1976年6月出生,1993年参加工作,2000年4月调入**区交通运输局工作,大学本科学历,中共党员,现任**...
【马克思主义】 日期:2024-03-17