一种精简的蘑菇图像分类模型
黄诗瑀,叶 锋,2,3,黄丽清,2,3,黄添强,2,3,陈家祯,2,3,郑子华,2,3
(1.福建师范大学计算机与网络空间安全学院,福建 福州 350117;2.数字福建大数据安全技术研究所,福建 福州 350117;3.福建省公共服务大数据挖掘与应用工程技术研究中心,福建 福州 350117)
随着近年来人工智能技术迅速发展,各大深度学习技术社区网站出现了许多预训练模型可供调用,使用者无需关心模型内部的实现细节.高度黑盒化的深度学习模式也带来了一个问题,在实际的图像分类应用中,没有正确评估数据集和模型之间的大小关系,偏好使用大而复杂的模型进行图像分类任务,虽然在训练集上达到了很高的分类精度,但是在验证集和测试集上分类精度较差,同时模型训练计算开销大,训练时间长,占用存储空间多,模型可塑性和维护性差.一些业余的深度学习使用者,并没有足够的算力在短时间内得到想要的模型,也导致了深度学习技术的应用门槛较高.本文对模型进行结构剪枝研究,并依据剪枝策略设计一个高效轻量的蘑菇识别模型MushroomNet-MicroV2(简称MicroV2).
本文的贡献如下:(1)收集并整理了包含9类蘑菇图片的数据集,经过图像增强(裁剪、旋转)处理之后为4 500张;
(2)对图像分类网络各部分精度贡献做了比较研究,为卷积神经网络模块构建提供依据;
(3)研究了数据集大小对图像分类精度带来的影响;
(4)提出一种用于识别小型数据集的微型神经网络MushroomNet-MicroV2,该模型精简高效,可以在苹果M1 CPU等ARM平台上快速训练与部署,发布的PyTorch版本代码网址为https:∥github.com/Huang-Shi-Yu/MushroomNet/.
现有的主要的图像分类模型包括AlexNet[1]、VGG[2]、GoogLeNet[3]、EfficientNet[4]以及Vision Transformer[5].这些图像分类网络在大型数据集(例如Imagenet)上表现良好,而对于小型数据集,此类网络存在过拟合现象.且大型网络训练缓慢,使得模型不易训练和部署.为了能适应小型数据集的分类任务,学者陆续提出了ResNet[6]、SqueezeNet[7]、MobileNet[8-10]、ShuffleNet[11-12]、Xception[13]等轻量化模型,以实现分类精度和效率之间的平衡.除此之外,常见的模型压缩的方法还有网络剪枝[14-17]和知识蒸馏[18-21].
现有的国内蘑菇图像分类工作:肖杰文等[22]收集了7种共1 675张蘑菇图像,并数据增强至8 375张作为分类对象,使用ShuffleNetV2进行分类,达到了55.18%的Top-1分类准确率;
沈若兰等[23]分类9种共6 714张蘑菇图片,在ResNet50和Xception上分别达到了93.46%和95.10%的分类准确率;
樊帅昌等[24]使用VGG、GoogLeNet和ResNet系列模型对14 669张图片(包含18种毒蘑菇图片和5种非毒蘑菇图片)进行分类,其中ResNet152性能最佳,在验证集上达到了92.17%的分类准确率,同时作者还比较了不同迁移学习策略(全局预训练和全连接层预训练)对模型性能带来的影响;
陈秋月等[25]搭建了13层卷积神经网络,对8类共4 688张蘑菇图片进行分类,达到了95%的分类准确率,但是其数据集内类别不平衡(数量最少的类别有340张,数量最多的类别有900张)导致一些类别正确率较低.
现有的国外蘑菇图像分类工作:Zahan等[26]收集了8 190张蘑菇图像,先用对比度增强方法对数据预处理,随后用InceptionV3、VGG16和ResNet50对45种蘑菇进行3分类,分为可食用、不可食用和有毒,训练过程引入迁移学习,在3个分类模型上分别达到上达到88.4%、84.44%和58.65%的精度;
Kiss等[27]收集了29 100共106类蘑菇图像,使用迁移学习训练EfficientNet—B5,并引入Noisy Student和类别增长策略,进行消融实验,比较了不同网络结构(EfficientNet—B0和EfficientNet—B5)和各种训练技巧对最终模型精度造成的影响,最终分类模型达到92.6%的精度;
Ketwongsa等[28]收集了5种共623张蘑菇图像,并数据增强至2 000张图像,随后用GoogLeNet、AlexNet和ResNet50上执行二分类任务(有毒和可食用),分别达到99.5%、99.0%、99.5%的验证精度,提出的模型达到了98.5%的验证精度,同时还比较了各模型的运行时间,所设计的模型可以在NVIDIA GTX3060上以4.37 min完成10轮训练,虽然该工作精度很高,但是数据集内只有5类图像且数据增强方式没有公开,没有介绍模型设计依据.
本文基于蘑菇数据集,着重探究卷积神经网络的性能和效率平衡点,分析卷积神经网络模型的卷积层、池化层和全连接层3个部分以及激活函数对分类精度和效率的影响,并设计精简的模型结构,在短时间内完成训练,获得存储占用小的模型,并达到误差可接受(相比大模型不低于5%)的分类结果.
2.1 卷积层和池化层
输入一定大小的图片,卷积核k以一定的间隔s滑动,用于执行对图像的上采样、下采样操作,并将数据用于下一层的计算.在卷积过程中,局部感受场以滑动的方式覆盖图像中所有元素,下一层的神经元可以呈现出本层的单个局部感受场(即特征),可以使用Padding操作填充边缘,以达到控制结果图像尺寸的目的.在PyTorch中,输出图像边长o的和输入图像边长i的大小关系如公式(1)所示.
(1)
卷积之后进行池化操作,池化操作使得模型具有输入不变性,即输入图像经过平移、旋转、缩放等方式处理之后依然可分类正确的特性.同时池化层使模型参数量迅速减少.池化层的特征压缩,使得浅层卷积提取的特征多为细节特征,例如斑点、纹理;中层卷积提取的特征多为局部特征(菌柄、伞褶);
深层卷积提取到的则为全局特征(蘑菇轮廓).本文使用最大池化(MaxPool),在局部感受场区间内采集最大值,突出图像特征.经过卷积和池化操作之后,输出的特征图张量大小取决于全局池化层(AvgPool)的结构.
2.2 全连接层
卷积和池化层完成特征提取和降维后,展平成一维向量X输入全连接层.每一层的神经元都和下一层的所有神经元相连,神经元的学习参数包括权重w和偏置b.单个神经元的输入和输出关系如公式(2)所示,最后一层输出的向量维度表示分类数,取最大分量表示最终类别.
y=σ(wx+b).
(2)
本文设计的全连接网络中使用2种正则化方法减缓过拟合.(1)dropout:dropout在网络训练时随机地选出神经元致其失效,失效神经元不再进行信号的传递.本文搭建的神经网络在全连接层的第1层与第2层之间,第2层与第3层之间设置了dropout机制.(2)L2权重正则化:该方法通过在学习过程中对大的权重进行惩罚以抑制过拟合.本次实验为损失函数加上权重的L2范数,假设权重张量W=(w1,w2,w3,…,wn),L2范数的表达式如公式(3)所示,记λ为控制正则化强度的因子,L2范数的权值衰减表达式如公式(4)所示.对于所有权重,权重衰减方法都会为损失函数加上权重惩罚项Lweight,求权重梯度的计算中,都会为误差反向传播法加上正则化的导数λL2,PyTorch中使用weight—decay超参数作为λ进行权重参数惩罚.
(3)
Lweight=0.5λ·L2.
(4)
2.3 激活函数
在模型的层与层之间使用激活函数,增加模型的非线性表征能力.sigmoid和ReLU的表达式如公式(5)和公式(6)所示.
(5)
(6)
图 1展示了sigmoid函数和ReLU函数的原函数和导函数图像.传统的sigmoid函数两边导数值较小,当激活函数的梯度小于1时,在反向传播时可能会因网络层数过多会引起梯度弥散导致其越来越小,传送到足够深的层数时,该层的权重值由于梯度过小,几乎不会发生改变,增加训练轮数时模型性能不会得到明显的改进.而ReLU函数能在一定程度上克服传统sigmoid激活函数的梯度弥散问题.ReLU激活函数在输入大于0时,直接输出该值,在输入小于等于0时,一律按照0处理,同时其具有加快训练速度的作用.对比sigmoid类函数主要变化是:单侧抑制、相对宽阔的兴奋边界和稀疏激活性.
图1 Sigmoid/ReLU激活函数及其导数图像Fig.1 Sigmoid/ReLU activation functions and derivative graphs
ReLU函数输入值为负时,输出始终为0,其一阶导数也始终为0,导致神经元不能更新参数.为了解决ReLU函数这个缺点,在ReLU函数的负半区间引入Leaky值,称为Leaky—ReLU函数,其函数表达式如公式(7)所示.相比ReLU函数,Leaky—ReLU的导数值总是不为0,减少了静默神经元的出现,所有的神经元都会参与学习过程.相比Leaky—ReLU,ELU激活函数的单元激活均值可以更接近0,类似于Batch Normalization的效果,但是只需要更低的计算复杂度.虽然Leaky—ReLU函数也有负值部分,但是不保证在输入为负的情况下能够抵抗噪声干扰.反观ELU在输入小值时具有软饱和的特性,该特性能够提升对噪声的鲁棒性.ELU的激活函数如公式(8)所示.
(7)
(8)
2.4 MushroomNet模型结构设计
MushroomNet模型的参数信息如表 1所示,模型结构如图2所示.每一个卷积块都包括卷积层和池化层,卷积层结束之后使用池化层进行特征压缩.模型从小到大可以分为Micro(微型)、Slim(小型)、Middle(中型)、Large(大型).Micro模型只有一个卷积块,模型规模每提升一级,多一个卷积块且通道数翻倍.在输入数据上,Micro模型和Slim模型输入64×64像素的图片,中型和大型模型输入100×100像素的图片数据.
图2 MushroomNet 结构框架Fig.2 MushroomNet frameworks
表1 MushroomNet模型结构参数信息Tab.1 MushroomNet model structures parameters
在所有MushroomNet模型中,第1个卷积块遵循VGG设计思想,连续使用2个3×3像素的卷积层,第一个卷积层将通道数由3提升至32,第2个卷积层保持通道数不变.随后的每一个卷积块,均把通道数翻倍.在全连接层中根据通道数进行设计,经过1个全连接层通道数减半.从图片输入到输出一共要经过3次下采样,由于小模型层数较少,在卷积层中使用无边缘填充的降尺度卷积.
2.5 MushroomNet模型结构优化
为了比较模型各部分对于分类的重要程度,选择2.4节所述的Micro模型再次进行修改,以模型各部分的功能作为修改依据.首先卷积层用于特征提取,特征的复杂程度决定了卷积层的规模,若图像特征较多也应设置更多卷积核和卷积层,以便于从多尺度更加精细地提取特征.其次池化层用于特征压缩,将指定区域(感受野)内的特征简化并减小图像尺寸,使得模型开始关注更高级的语义特征.最后全连接层用于特征分类,通过神经元的前向计算以输出类别向量,取最大分量作为最终预测类别.
本文尝试以下4种Micro模型的修改方案,在Larger FC中使用更多全连接层神经元增强分类能力;
在More channels中加入更多通道数增强模型表征能力;
在Clip1和Clip2中减少卷积,并使用更大的Stride以验证卷积对特征提取的贡献和引起的模型代价.修改后的Micro模型结构参数见表 2.本文模型和现有一些模型分类精度和效率对比参考实验3.3节和实验3.4节.同时还比较了几个激活函数对模型性能的影响,分别在网络每层之间引入ReLU函数、Leaky—ReLU函数和ELU函数,具体实验结果见3.5节.
表2 修改后的Micro模型结构Tab.2 Altered Micro model structures
2.6 模型可解释性技术
积分梯度法[29]是Sundararajan等于2017年提出的,类似的技术还有Grad-CAM显著性特征图可视化[30].显著性特征图的输出结果呈现团块状,而积分梯度输出结果呈现点状,有利于观察纹理信息对于分类的作用,因此本文选择积分梯度,该方法可以在保证敏感性、完整性和实现不变性的基础上,增强模型可解释性.
(9)
(2)完整性原则.完整性是指输入各分量的归因,求和之后等于最终模型预测改变量.同时模型最终预测,是一个量变引起质变的过程,是输入图像各像素共同作用的结果.在本文对分类器的归因任务中,检查了蘑菇图像相对于基线改变的归因,可以直观地根据归因图的区域亮度判定蘑菇各部分对于最终分类的影响.如公式(10)所示,所有像素点的积分累计后,即为输出的改变量.
(10)
(3)实现无关性原则.积分梯度方法的归因结果只跟输入和输出有关,和具体网络实现无关.若具备相同的输入和输出,归因结果是一致的,本文中选择积分梯度方法,因为它能排除底层网络实现对归因结果的干扰,直接根据输入和输出获得正确的归因图.
3.1 实验设置
本实验基于PyTorch实现,使用NVIDIA GTX2080TI训练模型,训练过程中使用Adam优化器,正则化参数设置为0.000 1,学习率设置为0.001,dropout设置为0.5,batch—size为64,epoch设置为30轮.模型性能评价指标使用模型精度ACC和交叉熵损失cross—entropy—loss.
3.2 数据集
在互联网上爬取图片制作蘑菇数据集,先筛选和裁剪处理获得蘑菇图片2 250张(9类×250张),随后使用旋转、对比度调整等方法以扩充数据集至4 500(9类×500张),最后进行图像尺寸变换以适应特征提取网络的输入大小,数据集相关信息如表 3所示,数据集中图片样例如图 3所示.划分训练集和验证集时按类别8∶2进行随机划分,即训练集为3 600张图片(9类×400张),验证集为900张图片(9类×100张).
表3 数据集信息Tab.3 Datasets information
图3 数据集(Mushroom-LQ)展示Fig.3 Dataset (Mushroom-LQ) display
3.3 模型规模对比实验
实验结果如表4所示,数据取第30轮.在MushroomNet系列模型中,模型结构越复杂识别精度越高,从Micro模型到Slim模型提升最明显(50%至77%),而Middle模型精度到达86%之后,增大模型规模带来的性能提升逐渐变小(Large模型:88%),且增大模型规模带来的代价是极高的.相比Large模型,VGG11的训练时间多了528 s,且参数量多了480.7 M,然而验证精度却持平.因此有必要研究模型各组件对精度提升带来的影响,实现有规则地构建特征提取模型.
表4 模型性能和效率Tab.4 Model performance and efficiency
3.4 模型结构消融实验
以Micro模型作为baseline,探讨模型各部分对分类精度和效率的影响.数据集使用64×64像素低分辨率的Mushroom—LQ,其余设置参照3.1节,实验结果如表 5所示,接下来从分类精度和训练和存储效率方面对结果进行分析.
(1)分类精度.增加全连接层的神经元(Larger FC)使得模型验证精度提升明显(0.50→0.88),因为Baseline中全连接层神经元较少,无法在全连接层有效地进行模型表征,导致分类能力较差.增加通道数(More channels)对于精度影响极小(0.50→0.53),因为低分辨的蘑菇数据集较简单,无需更多卷积核进行表征.减少1层卷积(Clip1)导致精度下降(0.50→0.48),而完全去除卷积(Clip2)影响较大(0.50→0.39),说明在Baseline中1层卷积提取到的特征已经接近饱和.
(2)训练和存储效率.全连接层中引入更多神经元(Larger FC),会使模型性能显著提升(0.50→0.88),引入了更多的参数(189.3 K→1.3 M),但模型训练时间略微增长(41 s→42 s,因为GTX2080TI有Cuda加速,差距较小,在ARM平台差距会拉大).在特征较为简单的蘑菇图像中,更多通道(More channels)并不会带来更好的模型性能表现,但是会引入额外的参数量(189.3 K→396.4 K),实验只采用了64的通道数,参数量相比基准Micro模型上升207.1 K,而3.3节实验中的Large模型还增加了2层128和256的通道数,模型参数量直达10.7 M,同时更多通道也会带来训练时间的提升,通道数越多,提升越明显.更多的卷积层没有带来更强的性能,参照Micro+Larger FC和3.3节实验中的Large模型,反而训练时间(41 s→99 s)和参数量(1.3 M→10.7 M)提高了许多,相反更少的卷积层拥有更低的参数量(152.7 K和18.3 K)和更快的训练时间(41 s和39 s).
综合表 4和表 5,Micro+Larger FC是这些模型中兼具精度(0.88)、训练速度(41 s)和低存储(1.3 M)的模型,本文将用它继续后面的实验并称其为MicroV2模型.
表5 模型消融实验结果Tab.5 Model ablation study results
3.5 激活函数比较实验
使用3.4节MicroV2模型,在3.1节Mushroom—LQ数据集上做测试.实验结果如表 6所示,使用ReLU激活函数的改进版本,模型训练误差和验证误差变低,而精度和训练时间并无明显变化.
表6 MicroV2模型的激活函数比较Tab.6 Activation functions comparison in MicroV2 model
3.6 数据集比较实验
使用3.4节MicroV2模型,在3.1节4种数据集上做测试.全连接层前加入了AvgPool,因此无需考虑特征网络和全连接层向量对齐问题,即此时的MicroV2模型适合3.1节所述的各种尺寸的数据集.实验结果如表 7所示,HQ数据集上训练时间长而精度略低,因为MicroV2模型卷积层较简单,无法提取高分辨图像中的复杂特征(尤其是纹理信息),MQ和LQ精度差距不大(0.01),但是时间相差32 s.half—LQ比LQ精度降低了0.10,说明数据增强的重要性.
表7 MicroV2模型在各数据集上的表现Tab.7 MicroV2 model performance in various datasets
3.7 积分梯度归因
使用梯度归因技术输出MicroV2模型在分类各种蘑菇时的可视化归因图,归因结果见图 4,一幅原图对应一幅归因图像.归因图中某区域的绿色越亮,表示该区域在分类中起到的作用越明显.从归因结果可以看出,在本文数据集上训练的卷积模型能够正常学习到蘑菇的特征,同时在分类时,优先考虑伞盖特征,只有在伞盖特征相比伞柄不明显(杏鲍菇、金针菇的伞盖很小,黄牛肝菌伞柄颜色鲜艳)时,才会考虑使用伞柄作为主要特征分类.
图4 模型分类结果和归因图Fig.4 Model classification results and attribution images
3.8 MicroV2在各计算平台的测试
将3.4节实验中的MicroV2模型和Mushroom—LQ数据集迁移到PC平台和嵌入式平台,测试其性能以及训练时间.由表 8可知,本文设计的MicroV2模型不仅能在配备有NVIDIA GTX2080TI的服务器上快速训练,也能在MacBook等设备上得到可接受的训练时间(143 s)和精度(88%),甚至在嵌入式设备(RK3399)上也能以3 029 s的时间完成训练.综上所述,MicroV2模型实现了低成本和灵活的模型训练.
表8 MicroV2在各平台的精度和效率测试Tab.8 Accuracy and efficiency testing of MicroV2 on various platforms
本文基于蘑菇数据集提出一种兼顾效率和性能的MushroomNet-MicroV2模型,相比传统大型模型,该模型能够在可接受的精度误差下实现快速训练(Apple M1:142 s),并极大程度减少参数量(1.3 M).在Mushroom—LQ数据集上达到了88%左右的准确度.同时通过消融实验,比较了网络模块和数据集对模型精度带来的影响,说明在小数据的场景下,提高性能的最佳方式是增加全连接层的连接节点数以及使用数据增强方式扩充数据集.从效率和成本考虑,在实际应用场景中,应根据数据特征和复杂度选择合适大小的模型.
未来的工作将从分类精度的角度出发,可在原有的基础之上扩大数据集,在数据集中加入一些蘑菇局部特征的图片,引导模型学习.还可以依据模型在每一种类蘑菇的数据集上的表现,来调整数据集的选取,对于数据集的预处理可以更加多样化,让分类精度进一步提高.从模型效率的角度出发,引入一些其他模型加速策略(例如迁移学习),或是从内部模块上简化模型计算(例如深度可分离卷积).
猜你喜欢归因蘑菇卷积错解归因 寻根溯源中学生数理化·七年级数学人教版(2022年6期)2022-06-05基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02促进高中生积极学习数学的归因方式研究新世纪智能(教师)(2020年2期)2020-05-22从滤波器理解卷积电子制作(2019年11期)2019-07-04积极归因方式:当船漏水了北京心理卫生协会学校心理卫生委员会学术年会论文集(2018年1期)2018-05-10基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20初中数学学习中教师归因与学生自我归因的比较研究数学大世界(2017年31期)2017-12-19爆图团妇女之友(2016年9期)2016-11-07蘑菇作文周刊·小学一年级版(2016年1期)2016-08-12蘑菇伞文理导航·科普童话(2015年2期)2015-06-16- 范文大全
- 说说大全
- 学习资料
- 语录
- 生肖
- 解梦
- 十二星座
-
2022年4月主题党日活动记录范文15篇
2022年4月主题党日活动记录范文15篇2022年4月主题党日活动记录范文篇1一个崇尚阅读的民族,必然精神饱满、意气风发、活力四射。习近平总书记强调:“学习
【活动总结】 日期:2022-08-01
-
少先队的光荣历史故事 队前教育-光辉历程
2017-2018学年队前教育1光辉历程一、劳动童子团1924——1927二、三十年代年的中国是一个
【法律文书】 日期:2020-06-23
-
家乡赋|最美的家乡赋
家乡赋 孙传志 今安康市,白河双丰镇,吾之家乡也。三环沃土,山水环抱。其北依山,山系五岭,山
【调研报告】 日期:2020-04-01
-
党支部1-12月全年主题党日活动计划表
2022年党支部主题党日活动计划表序号活动时间活动方式活动内容12022年1月专题学习研讨集中观看2022年新年贺词,积极开展学习研讨交流。组织生活会组织党员认真对照党章...
【活动总结】 日期:2022-10-14
-
【人教版1-6年级数学上册知识点精编】1-6年级数学人教版教材
人教版二年级数学上册知识点汇总第一单元长度单位一、米和厘米1、测量物体的长度时,要用统一的标准去测量
【调研报告】 日期:2020-11-08
-
2022年2月份主题党日活动记录5篇
2022年2月份主题党日活动记录5篇2022年2月份主题党日活动记录篇1尊敬的党组织:在今年的开学初,本人积极参加教研室组织的教研活动,在学校教研员的指
【活动总结】 日期:2022-08-12
-
2023年平安校园建设方案13篇
平安校园建设方案“平安校园”创建工作,我们幼儿园全体教职员工一直把它当作头等大事来抓。领导高度重视,以“平安校园”创建活动为抓手,建立和规范校园安全工作机制
【规章制度】 日期:2023-11-02
-
医院最佳主题党日活动11篇
医院最佳主题党日活动11篇医院最佳主题党日活动篇1 医院最佳主题党日活动篇2为隆重纪念中国共产党成立100周年,进一步巩固党的群众路线教育实践活动成果,切实
【活动总结】 日期:2022-10-29
-
南京大屠杀国家公祭日悼念文案句子11篇
南京大屠杀国家公祭日悼念文案精选句子1、惟有民魂是值得宝贵的,惟有他发扬起来,中国才有真进步。——鲁迅2、我爱我的祖国,爱我的人民,离开了它,离开了他们,我
【企划文案】 日期:2023-10-20
-
主题党日活动记录202210篇
主题党日活动记录202210篇主题党日活动记录2022篇12021年是中国共产党成立100周年,为广泛开展爱国主义宣传教育,铭记党的历史,讴歌党的光辉历程,
【活动总结】 日期:2022-08-02
-
入少先队员改正的缺点有哪些_少先队申请书
敬爱的少先队组织:我们是共产主义接班人,继承革命先辈的光荣传统,爱祖国,爱人民,鲜艳的红领巾飘扬在前胸 我叫xx,是一年级(x)班的小学生。每当听到这首...
【简历资料】 日期:2019-07-28
-
正式的晚宴邀请函 公司晚宴邀请函
尊敬的先生 女士: 我公司谨定于xxxx年xx月xx日xx:xx在xxxx店隆重举行xx市xx届xxxx晚宴(宴会地址:xx区xx路xxxx) 敬请届时光临!xxxxxx集团股份有限公司xxxx有限公司敬邀xxxx年xx月xx日
【简历资料】 日期:2019-08-03
-
一年级新学期目标简短_一年级学生新学期打算
新学期到了,我是一年级下册的小学生了。 上课的时候,我要认真学习,不做小动作,认真听讲。我要认真学习,天天向上,努力学习,耳朵要听老师讲课,眼睛要瞪得大大的看老...
【简历资料】 日期:2019-10-26
-
[信访复查复核制度作用探讨]信访复查复核有用吗
作为我国特有的一项制度,信访制度的出现并长期存在不是偶然的,虽然一些法学专家认为信访制度具有“人治”
【职场指南】 日期:2020-02-16
-
[党员干部2019年主题教育个人问题检视清单及整改措施2篇] 党员干部
2019年主题教育问题检视清单及整改措施根据主题教育领导小组办公室《关于认真做好主题教育检视问题整改
【求职简历】 日期:2019-11-08
-
网络维护工作内容_(精华)国家开放大学电大专科《网络系统管理与维护》形考任务1答案
国家开放大学电大专科《网络系统管理与维护》形考任务1答案形考任务1理解上网行为管理软件的功能【实训目
【职场指南】 日期:2020-07-17
-
党委会与局长办公会的区别_局长办公会制度
为进一步加强xxx局工作的规范化、制度化建设,提高行政效能,规范议事程序,特制定本制度。一、会议形式1、局长办公会议由局长、副局长参加。由局长召集和主持。根据工作需要...
【求职简历】 日期:2019-07-30
-
学生会组织部部长竞选稿5篇
学生会组织部部长竞选稿以“三制”为统领推进农村党的建设中共**市委组织部近年来,**市认真落实中央、省和徐州市委的部署,积极适应发展要求,从加强领导体制、运
【求职简历】 日期:2023-11-06
-
如何凝心聚力谋发展【坚定信心谋发展凝心聚力促跨越】
当前,清河正处于在苏北实现赶超跨越基础上全面腾飞的战略机遇期,处于在全市率先实现全面小康基础上率先实
【简历资料】 日期:2020-03-17
-
《铁拳砸碎“黑警伞”》警示教育片观后感
影片深刻剖析了广西北海市公安局海西派出所原所长张枭杰蜕变堕落的轨迹。观看警示教育片后,做为一名党员教
【简历资料】 日期:2020-08-17
-
小学2021-2022学年体育教学工作计划|
小学2021-2022学年体育教学工作计划一、指导思想以《新课程标准》为动力,深入开展教育教学研究,
【毕业论文】 日期:2021-10-23
-
先进党支部达标创优工作汇报材料
党支部以习近平新时代中国特色社会主义思想为指引,在市xxxxx机关党委的指导下,深入学习贯彻习近平总
【毕业论文】 日期:2020-07-06
-
党支部书记抓基层党建工作情况述职报告9篇
党支部书记抓基层党建工作情况述职报告9篇党支部书记抓基层党建工作情况述职报告篇12020年,我认
【其他范文】 日期:2022-12-07
-
八一建军节观后感5篇
八一建军节观后感5篇八一建军节观后感篇1很小很小的时候,就企盼着能有一天走进你的行列。如今虽已是
【其他范文】 日期:2022-12-18
-
党史我为群众办实事总结15篇
党史我为群众办实事总结15篇党史我为群众办实事总结篇1xx县商务委:精心做好“三个结合”全力护航进博会第三届进博会已经进入倒计时,xx县商务委作为进博办
【其他范文】 日期:2022-09-21
-
2022年中印关系现状和发展趋势3篇(全文完整)
当前位置:>>2021-10-02印度是一个拥有12亿人口的发展中国家,近年来印度经济迅猛增长,印度在国际社会的影响力也不断加大。中国和印度作为相邻的两个发展中大国,有着悠久的...
【其他范文】 日期:2022-08-11
-
全县党建设工作情况报告
2021年,在中央、省委、市委和县委的坚强领导下,全县各级党组织坚持以习近平新时代中国特色社会主义思想为指导,认真学习贯彻党的十九届系列全会精神,深入贯彻落实新时代党...
【其他范文】 日期:2023-09-28
-
2020脱贫攻坚感悟 2020阻击疫情脱贫攻坚必胜决心心得体会
2020抗击疫情脱贫攻坚必胜决心感想心得5篇精选 突如其来的疫情,打乱了各级政府工作部署,延缓了脱贫
【其他范文】 日期:2020-06-09
-
教育经济学论文13篇
教育经济学论文一、西方教育经济思潮之流西方国家的教育经济思想最早产生在近代的资本主义初。在这一时期下,比较著名的就是英国古典经济学家亚当•斯密在其代表作中《
【毕业论文】 日期:2024-02-19
-
停车场收费员年终工作总结
在过去的一年里,本人以务实、开拓、进取、创新的精神,在领导和同事们的关心、支持下,坚持学习,完善自我
【口号大全】 日期:2020-06-15
-
军转座谈会交流发言4篇
军转座谈会交流发言4篇军转座谈会交流发言篇1大家好,我叫贺丽,2015届选调生,来自康定市委组织部,现在省委编办跟班学习。今天,非常荣幸向大家汇报我的学习收
【发言稿】 日期:2022-10-27
-
12岁生日小寿星发言4篇
12岁生日小寿星发言4篇12岁生日小寿星发言篇1各位来宾、各位朋友:大家好!今天,我们欢聚在这里,共同庆祝**十二周岁生日。首先,我代表**的父母以
【发言稿】 日期:2022-07-31
-
廉政大会总结发言稿7篇
廉政大会总结发言稿7篇廉政大会总结发言稿篇1各位领导,同志们:根据会议安排,我就党风廉政建设工作做表态发言,不妥之处,请批评指正。一、提高认识,切实
【发言稿】 日期:2022-10-30
-
【企业疫情风险控制方案】 2020企业复工疫情方案
企业疫情风险控制方案2020新冠病毒肺炎疫情防控工作总结汇报3篇 关于新型冠状病毒感染的肺炎疫
【演讲稿】 日期:2020-02-27
-
我最敬佩的人开头_我敬佩的一个人作文20篇2020年
我敬佩的一个人作文20篇 我敬佩的一个人作文一): 我身边有很多值得我们敬佩的人,但我最敬佩的一
【发言稿】 日期:2020-11-10
-
纪委书记工作表态发言4篇
纪委书记工作表态发言4篇纪委书记工作表态发言篇1在镇党委政府正确领导下,在全村干部和群众的共同努力下,紧紧围绕建设社会主义新农村工作为重点,尽职尽责,与时俱
【发言稿】 日期:2022-09-30
-
党员教育培训总结交流发言12篇
党员教育培训总结交流发言12篇党员教育培训总结交流发言篇1根据市委组织部《关于开展我市〈20XX
【发言稿】 日期:2022-12-19
-
[钻井队队长(副队长、指导员)岗位HSE应知应会试题(1863)]
钻井队队长(副队长、指导员)岗位HSE应知应会试题(判断题:771;单选题:626;多选题:466)
【贺词】 日期:2020-09-23
-
话剧《家》剧本 话剧剧本:爱的空间
找文章到更多原创-(http: www damishu cn)人物介绍:刘伟,男,32岁,某购物广
【演讲稿】 日期:2020-01-21
-
五言绝句大全500首古诗_五言绝句144首
五言绝句144首 五言绝句(一): 1《春夜喜雨》唐朝·杜甫 好雨知时节,当春乃发生。随风潜入
【祝福语】 日期:2021-03-13
-
2023年中国行政区划调整方案(设想优秀3篇
中国行政区划调整方案(设想优秀民政部第二次行政区划研讨会会议内容一、缩省的意义与原则1.意义1)利于减少中间层次中国行政区划层级之多为世界之最,既使管理成本
【周公解梦】 日期:2024-02-20
-
2023年和儿媳妇在一起幸福的句子3篇
和儿媳妇在一起幸福的句子1、假如人生不曾相遇,我还是那个我,偶尔做做梦,然后,开始日复一日的奔波,淹没在这喧嚣的城市里。我不会了解,这个世界还有这样的一个你
【格言】 日期:2023-11-10
-
XX老干局推进党建与业务深度融合发展工作情况调研报告:党建调研报告
XX老干局推进党建与业务深度融合 发展工作情况的调研报告 党建工作与业务工作融合发展始终是一个充满生
【成语大全】 日期:2020-08-28
-
中国共产党第三代中央领导集体的卓越贡献
中国共产党第三代中央领导集体的卓越贡献 --------------继往开来铸就辉煌 【摘要】改
【成语大全】 日期:2020-03-20
-
信息技术2.0能力点 [全国中小学教师信息技术应用能力提升工程试题题库及参考答案「精编」]
全国中小学教师信息技术应用能力提升工程试题题库及答案(复习资料)一、判断题题库(A为正确,B为错误)
【格言】 日期:2020-11-17
-
党建工作运行机制内容有哪些_构建基层党建工作运行机制探讨
党的基层组织是党在社会基层组织中的战斗堡垒,是党的全部工作和战斗力的基础。加强和改进县级以下各类党的
【经典阅读】 日期:2020-01-22
-
电大现代教育原理_最新国家开放大学电大《现代教育原理》形考任务2试题及答案
最新国家开放大学电大《现代教育原理》形考任务2试题及答案形考任务二一、多项选择题(共17道试题,共3
【成语大全】 日期:2020-07-20
-
集合推理_七,推理与集合
七推理与集合1 期中考试数学成绩出来了,三个好朋友分别考了88分,92分,95分。他们分别考了多少分
【名人名言】 日期:2020-12-18
-
基层党务工作基本内容_党建基本工作有哪些
党建基本工作有哪些(一) 基层党建工作包括哪些内容 选择了大学生村官这条路,你就与农村基层党
【名人名言】 日期:2020-08-06
-
【2020-2021学年高一英语外研版(2019)选择性必修第一册Unit3Faster,higher,strongerSectionⅠ导学讲义】
Unit3 Faster,higher,stronger背景导学MichaelJordan—Head
【歇后语】 日期:2021-04-19
-
关于三农工作重要论述心得体会3篇
关于三农工作重要论述心得体会3篇关于三农工作重要论述心得体会篇1习近平总书记指出:“建设现代化国家离不开农业农村现代化,要继续巩固脱贫攻坚成果,扎实推进乡村
【学习心得体会】 日期:2022-10-29
-
【福生庄隧道坍塌处理方案】 福生庄隧道在哪里
(呼和浩特铁路局大包电气化改造工程指挥部,内蒙古呼和浩特010050)摘要:文章介绍了福生庄隧道
【学习心得体会】 日期:2020-03-05
-
五个一百工程阅读心得体会13篇
五个一百工程阅读心得体会13篇五个一百工程阅读心得体会篇1凡益之道,与时偕行。在全国网络安全和信
【学习心得体会】 日期:2022-12-07
-
城管系统警示教育心得体会9篇
城管系统警示教育心得体会9篇城管系统警示教育心得体会篇1各党支部要召开多种形式的庆七一座谈会,组织广大党员进行座谈,回顾党的光辉历程,畅谈党的丰功伟绩,
【学习心得体会】 日期:2022-10-09
-
发展对象培训主要内容10篇
发展对象培训主要内容10篇发展对象培训主要内容篇1怀着无比激动的心情,我有幸参加了__新区区委党校20__年第四期(区级机关)党员发展对象培训班。这次的学习
【培训心得体会】 日期:2022-09-24
-
凝聚三种力量发展全过程人民民主心得体会12篇
凝聚三种力量发展全过程人民民主心得体会12篇凝聚三种力量发展全过程人民民主心得体会篇1新民主主义革命是指在帝国主义和无产阶级革命时代,殖民地半殖民地国家中的
【学习心得体会】 日期:2022-08-31
-
2022年全国检察长会议心得7篇
2022年全国检察长会议心得7篇2022年全国检察长会议心得篇1眼睛是心灵上的窗户,我们通过眼睛才能看到世间万物,才能看到眼前这美好的一切。拥有一双明亮的眼
【学习心得体会】 日期:2022-10-31
-
在街道深化作风建设推动高质量发展走在前列动员会上讲话
在2023年街道深化作风建设推动高质量发展走在前列动员会上的讲话同志们:今天我们召开“街道深化作风建设推动高质量发展走在前列动员会”,这次会议是街道三季度召开的第一场...
【军训心得体会】 日期:2024-03-17
-
全面从严治党的心得体会800字7篇
全面从严治党的心得体会800字7篇全面从严治党的心得体会800字篇1中国特色社会主义是我们党领导
【学习心得体会】 日期:2022-12-14
-
2月教师党员个人思想汇报5篇
2月教师党员个人思想汇报敬爱的党组织:最近这一个月的时间对于我来说是极不平凡的,在这段时间里我认真学习了文化部网上党校的相关内容,经过长达40小时的
【教师心得体会】 日期:2023-10-15
-
2024年主题教育民主生活会批评与自我批评意见(38条)(范文推荐)
2023年主题教育民主生活会六个方面个人检视、相互批评意见:1 理论学习系统性不强。学习习近平新时代中国特色社会主义思想不深不透,泛泛而学的时候多,深学细照的时候少,特...
【邓小平理论】 日期:2024-03-19
-
2024年交流发言:强化思想理论武装,增强奋进力量(完整)
习近平总书记指出:“一个民族要走在时代前列,就一刻不能没有理论思维,一刻不能没有思想指引。”党的十八大以来,伴随着新时代中国特色社会主义思想在实践中形成发展的历程...
【三个代表】 日期:2024-03-19
-
2024年度镇年度县乡人大代表述职评议活动总结
xx镇20xx年县乡人大代表述职评议活动总结为响应县级人大常委会关于开展县乡两级人大代表述职评议活动,进一步激发代表履职活力,加强代表与人民群众的联系,提高依法履职水平...
【马克思主义】 日期:2024-03-19
-
“千万工程”经验学习体会(研讨材料)
“千万工程”是总书记在浙江工作时亲自谋划、亲自部署、亲自推动的一项重大决策,也是习近平新时代中国特色社会主义思想在之江大地的生动实践。20年来,“千万工程”先后经历...
【三个代表】 日期:2024-03-19
-
2024年在市政协机关工作总结会议上讲话
同志们:刚才,XX同志对市政协机关20XX年工作进行了很好的总结,很精炼,很到位,可以感受到去年机关工作确实可圈可点。XX同志宣读了表彰决定,机关优秀人员代表、先进集体代...
【邓小平理论】 日期:2024-03-18
-
在全区防汛防涝动员暨河长制工作推进会上讲话提纲【完整版】
区长,各位领导,同志们:汛期已经来临,我区城区防涝工作面临强大考验,形势不容乐观。年初,区城区防涝排渍指挥部已经召开专题调度会,修订完善应急预案,建立网格化管理机...
【马克思主义】 日期:2024-03-18
-
2024年镇作风整治工作实施方案(完整文档)
XX镇作风整治工作实施方案为深入贯彻落实党的二十大精神及省市区委深化作风建设的最新要求,突出重点推进干部效能提升,坚持不懈推动作风整治工作纵深发展,根据《关于印发《2...
【毛泽东思想】 日期:2024-03-18
-
2024市优化法治化营商环境规范涉企行政执法实施方案【优秀范文】
xx市优化法治化营商环境规范涉企行政执法实施方案为持续优化法治化营商环境,激发市场主体活力和社会创造力,规范行政执法行为,创新行政执法方式,提升行政执法质效,着力解...
【毛泽东思想】 日期:2024-03-18
-
2024年度关于开展新一轮思想状况摸底排查工作通知(完整)
关于开展新一轮思想状况摸底排查工作的通知为深入贯彻落实关于各地开展干部职工思想状况大摸底大排查情况上的批示要求和改革教育第二次调度会议精神,有针对性做好队伍教育管...
【三个代表】 日期:2024-03-18
-
2024年公路养护中心主任典型事迹材料(完整文档)
“中心的工作就是心中的事业”——公路养护中心主任典型事迹材料**,男,1976年6月出生,1993年参加工作,2000年4月调入**区交通运输局工作,大学本科学历,中共党员,现任**...
【马克思主义】 日期:2024-03-17