认知诊断模型Q矩阵修正:完整信息矩阵的作用*
刘彦楼 吴琼琼
认知诊断模型Q矩阵修正:完整信息矩阵的作用*
刘彦楼1吴琼琼2
(1曲阜师范大学教育大数据研究院;2曲阜师范大学心理学院, 山东 济宁 273165)
Q矩阵是CDM的核心元素之一, 反映了测验的内部结构和内容设计, 通常由领域专家根据经验进行主观界定, 因此需要对可能存在的错误进行修正。本研究提出了一种新的Q矩阵修正方法——基于完整经验交叉相乘信息矩阵的Wald-XPD方法。采用Monte Carlo模拟检验了新方法的表现, 并与同类方法进行了比较。研究表明:新开发的Wald-XPD方法在Q矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这3个主要指标上均有较好的表现, 且整体上优于其他方法, 尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD方法在Q矩阵修正中的良好表现。总之, 本研究为Q矩阵修正提供了有效的方法。
认知诊断模型, Q矩阵, XPD矩阵, Wald检验
经典心理测量理论及项目反应理论采用单一的测验分数来描述被试在某个阶段的学习效果。作为新一代心理测量理论, 认知诊断(cognitive diagnosis)的主要目的是提供关于被试的多维、细粒度潜在特质(如知识、认识过程、技能、策略、人格特质或心理障碍等, 统称为属性)的诊断性评价信息, 认知诊断模型(cognitive diagnostic model, CDM)是研究者为了实现以上主要目的而提出的一类离散潜变量模型(Rupp et al., 2010)。目前, CDM已广泛应用于心理、教育、精神病理学等领域(Sorrel et al., 2016)。
Q矩阵是CDM的核心元素之一, 定义了测验所测属性与项目之间的对应关系(Tatsuoka, 1990), 它不仅决定着测验的内部结构, 也关系到认知诊断结果的准确性。正确设定的Q矩阵是获得准确的模型参数估计和被试分类的关键因素(Nájera et al., 2020), 错误设定的Q矩阵会产生很多不良的影响, 如降低模型参数估计准确性、导致较差的模型−数据拟合、导致错误的属性估计和被试分类等(Chiu, 2013; de la Torre, 2009; Rupp & Templin, 2008)。CDM中获取Q矩阵的方法主要是由领域专家根据经验构建(Sorrel et al., 2016), 但这种方法包含一定的主观性。实践中, 原始Q矩阵有较大可能包含一些错误设定(Rupp & Templin, 2008), 如何修正原始Q矩阵中可能存在的错误是研究者面临的重要理论与现实问题。
在饱和CDM框架下开发的以上8种参数化Q矩阵修正方法中, 残差方法对于属性过度设定不敏感且在测验长度较短时统计检验力可能会偏低; 当样本量较小时, TLP方法会高估错误设定项目的数量且用于减少错误报告率的重抽样校正方法(bootstrap bagging method)的耗时可能会特别长; 模拟研究表明iGDI的表现与iJSD的表现相当、甚至在一些条件下优于iJSD (Terzi, 2017); 相对拟合统计量方法需要比较测验的所有项目关于属性所有可能组合的相对拟合值, 尽管研究者提出一些减少计算次数的方法, 但是在测验长度较长或属性数量较多的情况下, 计算耗时仍有可能特别长。GDI在饱和CDM框架下采用单个项目所有可能的属性掌握模式中正确答对概率的方差来衡量Q矩阵中相对应的q向量的区分能力, 选择有最大区分能力的q向量作为正确设定的q向量。相对于GDI而言, iGDI的估计效果有了一定程度的改善, 但是这类方法的主要缺点是需要人为地确定一个截止值(Nájera et al., 2019)。以GDI研究为基础, Ma和de la Torre (2020)将Q矩阵修正的视角延伸到多级计分模型, 在seq-GDINA模型(the sequential GDINA model; Ma & de la Torre, 2016)下提出了GDI和基于不完整信息矩阵的Wald检验相结合的Wald-IC方法。Wald-IC方法首先采用GDI方法从单一属性的q向量中确定第一个所需属性, 再逐步多次采用Wald统计量决定是否增加或删除属性来选择恰当的q向量。即, 在单个项目上Wald-IC仅需执行− 1个统计检验即可完成。Hull方法试图在模型拟合与简约之间找到一种平衡以此选择恰当的q向量, 研究者(Nájera et al., 2021)通过模拟研究比较了GDI、Wald-IC以及Hull方法, 结果表明在大多数条件下Hull的表现最好、Wald-IC的表现稍逊于Hull。但是, Hull和Wald-IC在修正错误标定的属性方面的表现较差, 尤其是Q矩阵中存在较多错误设定时。研究者(Ma & de la Torre, 2020; Nájera et al., 2021)构建的Wald-IC统计量是使用不完整信息矩阵计算的。先前研究表明, 采用不完整信息矩阵构建的统计量在后续研究中会导致一些问题, 如低估模型参数标准误(Philipp et al., 2018)、用于项目功能差异检验及项目水平模型比较时导致一类错误控制率膨胀(Liu, Andersson, et al., 2019; Liu, Yin, et al., 2019; 刘彦楼等, 2016)等。基于此, 本研究认为Wald-IC方法在修正错误标定属性方面表现较差的主要原因可能是在Wald统计量的计算中采用了不完整的信息矩阵。
研究者(Liu et al., 2016; Liu, Xin, et al., 2019; Liu et al., 2021; Philipp et al., 2018; 刘彦楼等, 2016)认为CDM中同时存在两种类型的模型参数:项目参数和结构参数。不完整信息矩阵(de la Torre, 2009; 2011)忽略了结构参数, 计算量较小, 有较大可能导致Q矩阵修正结果不够准确。以往研究者提出了多种完整信息矩阵估计方法(Liu, Xin, et al., 2019; Liu et al., 2021; Philipp et al., 2018; 刘彦楼等, 2016), 但是这些关于模型参数的信息矩阵无法直接用于Q矩阵修正中Wald统计量的计算, 因为此类Wald统计量中使用的是关于模型参数的方差−协方差矩阵。此外, 与其他完整信息矩阵相比, 经验交叉相乘信息矩阵(empirical cross-product informationmatrix, XPD; Liu et al., 2021; Philipp et al., 2018; 刘彦楼等, 2016)计算量较小, 故本研究在包含全部模型参数的XPD矩阵的基础上, 经过转换获得关于项目正确作答概率的方差−协方差矩阵, 以此构建用于Q矩阵修正的Wald统计量(记为Wald-XPD)。
本文的主要目的在于提出一种新的Q矩阵修正方法, 并通过模拟研究与实证数据分析考察新方法的表现。模拟研究参考了以往研究者研究中采用的模拟条件(de la Torre & Chiu, 2016; Ma & de la Torre, 2020; Nájera et al., 2021), 考察新开发的方法在Q矩阵修正中的表现, 并与同类方法进行比较, 希望能够为实践研究者在Q矩阵修正方法的选用方面提供方法支持。本研究选择GDI、Hull、Wald-IC方法与Wald-XPD方法进行比较的原因是:首先, Wald-XPD是在Wald-IC方法基础上提出的, 新方法与旧方法表现的异同有待探索; 其次, 先前研究表明在GDI、Hull、Wald-IC三种方法中, Hull的表现是最好的, 故有必要比较Hull与Wald-XPD两种方法的表现; 第三, 限制GDI及iGDI方法实践应用的主要原因是这两种方法均需要人为地设置一个截止值, 与iGDI相比, 固定的截止值对GDI方法的影响相对较小(Nájera et al., 2020), 因此本研究将GDI也纳入比较。本文的第二部分介绍了以往研究者在饱和的CDM框架下提出的参数化Q矩阵修正方法。第三部分介绍了新开发的Wald-XPD方法。第四部分采用模拟研究, 在较广泛和真实的条件下探索Wald-XPD方法的具体表现, 并与GDI、Hull以及Wald-IC方法进行比较。第五部分探讨Wald-XPD方法在实证数据分析中的应用, 并与Hull方法、Wald-IC方法进行比较。最后对Wald-XPD方法进行了讨论与展望。
2.1 GDI方法
截止值用来判断一个q向量的PVAF是否合适。一个正确设定的q向量需要满足两个条件:(1)PVAF大于截止值; (2)包含的属性数最少。若多个q向量同时满足以上两个条件, 则选择PVAF值最大的q向量作为正确设定的q向量。
2.2 Hull方法
Hull方法(Nájera et al., 2021)的基本原理是:在项目水平上比较所有可能q向量的拟合指标。将所有可能的q向量呈现在Hull图上, Hull图的横坐标表示与每个q向量相关的参数数量, 纵坐标表示拟合指标。Hull方法选取的拟合指标有两个:第一个是PVAF, 用来评估不同q向量的项目区分度大小; 第二个是绝对模型拟合指McFadden pseudo-2(McFadden, 1974), 用于衡量观察反应中方差所占的比例, 评估获得的估计值与观察反应之间的拟合度(Hull方法的两个指标在下文分别表示为HullP和HullR)。选择项目中不同参数数量下有最大PVAF或McFadden pseudo-2值的q向量作为候选q向量, 任意两个候选q向量之间会形成一条线段, 将该线段下方的所有q向量移除, 故Hull图成一条单调递增的曲线。假设项目的= 3, 那么以PVAF为指标的Hull图如图1所示, 图中上方蓝色字体表示候选q向量, 下方黑色字体表示该候选q向量的PVAF。
图1 K = 3时, 以PVAF为指标的Hull图
对于Hull方法的两个拟合指标而言, 添加项目中相关联的属性会显著增加拟合指标的值; 添加不关联的属性也会增加拟合指标的值, 但影响可能较小。故从拟合−简约相平衡的视角出发, 在Hull图中选择先使拟合指标显著增加, 然后使拟合指标平缓增加的候选q向量作为正确设定的q向量。基于此, 研究者采用指数(Ceulemans & Kiers, 2006)计算每个候选q向量的拐角大小(the magnitude of the elbow), 选择指数最大的候选q向量作为正确设定的q向量:
2.3 Wald-IC方法
用于Q矩阵修正的Wald统计量也是在项目水平上进行的, 其基本原理是:假设项目所对应的q向量定义了2个及以上的属性, 如果将某一属性从q向量中移除而没有导致模型−数据拟合变差, 那么这个属性就不是必需的。为便于理解, 现举例说明。假设一个测验共测量了2个属性, 即= 2, 那么, 所有可能的属性掌握模式有4种, 可以表示为:
Wald-IC统计量的形式为:
3.1 使用XPD矩阵构建Wald-XPD统计量
在构建Wald统计量之前, 本研究首先对XPD矩阵做了以下三个方面的处理:
(3)对比完整和不完整信息矩阵可知, 完整信息矩阵考虑模型中的全部参数, 计算量较大, 修正过程较为耗时。故本研究采用C++语言编写XPD矩阵, 提高Q矩阵修正的速度。
3.2 Wald-XPD方法的具体实施步骤
本研究新提出的Wald-XPD方法的修正步骤如下:
步骤(1):选择项目中具有最大PVAF值的单一属性q向量中包含的属性为第一个所需属性, 更新集合A、B。
步骤(2):将该单一属性q向量的PVAF值与0.95进行比较, 大于0.95说明该q向量是合适的, 停止修正, 否则继续修正。
步骤(3):更新集合A、B。选出具有较大PVAF的q向量进行修正, 将该q向量中各属性使用Wald-XPD统计量进行显著性检验, 确定该q向量对应的集合A和集合B中的属性是否应该移除或添加, 然后判断q向量的PVAF是否大于0.95, 大于0.95说明这个q向量是合适的, 停止修正, 否则继续修正。
步骤(4):重复步骤(3), 直到某个q向量的PAVF值大于0.95, 或者没有属性移除或添加则停止修正。
步骤(5):在单个项目修正结束后, 重新计算PVAF以及Wald-XPD统计量, 直到达到最大迭代或者某次迭代结束后的q向量与前一次迭代的q向量完全相等则停止修正。
为了便于理解, 现举例说明Wald-XPD方法用于某个项目的q向量的修正算法。假设项目中q向量的属性数= 3, Wald-XPD方法修正该q向量的过程如图2所示。
模拟研究的目的是在较为广泛和真实的条件下探讨Wald-XPD方法在Q矩阵修正中的表现, 并与以往研究者提出的GDI、Wald-IC以及Hull (HullP、HullR)方法进行比较。
4.1 方法
4.1.1 研究设计
为便于比较, 本研究参考以往研究设计(Ma & de la Torre, 2020; Nájera et al., 2021), 共操纵了5种因素:项目数和属性数的比例(ratio of number of items to attribute,)、样本量()、Q矩阵错误设定的比例(Q-matrix misspecification rate,)、属性分布(attribute distribution,)、项目质量(item quality,)。本研究将属性数设置为= 4, 因为这是应用类文章中最经常出现的属性数(Nájera et al., 2020)。以往研究中常用的项目数是11到30 (Sessoms & Henson, 2018), 故本研究将项目数设置为16和32, 所以, 本研究共考虑2种测验结构:= 16[(= 4)× (= 4)]、= 32[(= 4)×(= 8)]。样本量有两个水平:500和1000 (Chen, 2017; de la Torre, 2011; Ma & de la Torre, 2016), 分别代表小样本和大样本。本研究共有48个实验条件, 各因素水平如表1所示。
图2 Wald-XPD方法用于向量的修正流程图
表1 模拟研究中各因素水平汇总
4.1.2 数据生成
项目质量分为高、中、低3个水平。高项目质量:P(0) ~(0, 0.2)且P(1) ~(0.8, 1); 中等项目质量:P(0) ~(0.1, 0.3)且P(1) ~(0.7, 0.9); 低项目质量:P(0) ~(0.2, 0.4)且P(1) ~(0.6, 0.8)。其中,P(0)表示仅凭猜测答对的概率,P(1)表示掌握项目所要求的全部属性的被试答对该项目的概率。成功的概率有两种限制:(1)项目反应函数在属性数上具有单调性; (2)与单个属性相联系的项目参数的总和限制为大于0.15。这两个条件保证所有的属性都具有不可忽视的作用。
真实Q矩阵符合以下限制:(1)每个Q矩阵至少包含两个单位矩阵(identity matrix); (2)除了两个单位矩阵外, 每个项目至少测量一个属性; (3) Q矩阵由1个属性q向量(50%)、2个属性q向量(25%)和3个属性q向量(25%)组成。这个比例主要是参考之前研究(Nájera et al., 2021), 使用较高比例的单一属性q向量的原因是满足每个Q矩阵至少包含两个单位矩阵的模型可识别条件(Gu et al., 2018)。错误设定的Q矩阵的比例为:0.15和0.3。错误设定是在两个约束条件下随机引入:(1)所有项目必须至少测量一个属性; (2)始终保留一个单位矩阵。
在每个条件下, 均生成500个数据集, 每个数据集中生成新的真实Q矩阵和项目参数。所有的模拟研究和分析都在R软件中进行。
4.1.3 评价指标
QRR (Q-matrix recovery rate)用来测量Q矩阵的恢复比例, 可以表示为:
TPR (true positive rate)表示保留正确标定属性的比例:
TNR (true negative rate)表示修正错误标定属性的比例:
本研究除了使用QRR、TPR、TNR来考察各个方法总体的表现之外, 还参考其他指标来获得更加全面具体的结果。OS表示过度设定, US (under- specifications)表示吝啬设定, 表达式分别为:
以上5个指标从不同方面反映了Q矩阵的修正效果。其中, QRR、TPR、TNR的值越高, 表示该修正方法的Q矩阵恢复率以及保留正确标定属性和修正错误标定属性的比例越高, 修正效果越好。OS和US的值越小, 表示该修正方法存在较少过度设定和吝啬设定的趋势, 修正效果越好。
4.2 研究结果
4.2.1 GDI、Hull、Wald-IC以及Wald-XPD在各因素不同水平上的表现
表2呈现了GDI、Hull (HullP、HullR)、Wald-IC以及Wald-XPD方法在各因素不同水平上的QRR、TPR、TNR、OS和US值, 表中加粗数据是相同条件下的最优结果。
首先, 比较的是各实验条件的综合影响。Q矩阵错误设定的比例、项目质量、样本量以及属性分布对于GDI、Wald-IC、Hull (HullP、HullR)以及Wald-XPD方法在各个指标上的表现有明显影响。除Hull (HullP、HullR)方法的TPR指标受项目质量的影响较小外, 在项目质量较高的条件下, 所有方法的表现均优于其他水平。Q矩阵错误设定的比例和样本量对于4种方法在各个指标上的表现也存在一定的影响, 随着Q矩阵错误设定的比例降低和样本量增大, 4种方法均有更好的Q矩阵修正表现。均匀分布下, 4种方法在各个指标上的表现均优于高阶分布。就因素而言,对于GDI、Wald-IC和Wald-XPD在QRR指标上的表现, 以及所有的修正方法在TNR指标上的表现影响明显, 所有指标在= 8水平下的结果优于= 4。
其次, 比较的是4种修正方法的综合表现。所有方法在QRR以及TPR指标上没有表现出明显优劣。其中, 本研究中新提出的Wald-XPD在TNR指标上的表现明显优于其他方法; GDI在OS指标上的表现较优, 但是在US指标上表现相对较差; HullR在OS指标上的表现较差, 但是在US指标上表现相对较优; Wald-IC在US指标上表现相对较差。
根据以上综合比较可知, Wald-XPD以及HullP在各个指标上有相对较好的表现, 且在TNR指标上Wald-XPD的表现最好。此外, 鉴于Wald-XPD是在Wald-IC基础上新提出的方法, 故接下来本研究主要探讨Wald-XPD、Wald-IC以及HullP方法在QRR、TPR以及TNR这3个主要指标上的具体表现, 并重点关注Wald-XPD在TNR指标上的表现, 即Wald-XPD修正Q矩阵中错误标定属性的能力。
4.2.2 Wald-XPD在修正错误标定属性时的表现
图3呈现的是HullP、Wald-IC以及Wald-XPD方法在48种具体的模拟条件下获得的QRR的值。由图3可知, 项目质量对于这3种方法的表现影响最为明显, 随着项目质量的提高, QRR的值也在增加。另外, 样本量、Q矩阵错误设定的比例以及属性分布对于这3个方法在QRR指标上的表现稍有影响, 且趋势一致。就QRR指标而言, HullP、Wald-IC以及Wald-XPD方法的表现仅有细微差异, 即当= 0.4时Wald-XPD的表现略微低于另外两种方法。
图4呈现的是3种方法在TPR指标上的表现。由图4可知, 在所有条件下Wald-IC以及HullP方法均能获得较高的TPR值。项目质量对于Wald- XPD方法的表现有一定的影响, 当项目质量较低时, Wald-XPD在TPR指标上的表现不如Wald-IC以及HullP方法; 随着项目质量的提高, 3种方法在TPR指标上的表现相当。
表2 不同因素水平的结果
注:粗体表示各指标不同水平下的最好结果。
图3 HullP、Wald-IC与Wald-XPD方法在QRR指标上的表现
图4 HullP、Wald-IC与Wald-XPD方法在TPR指标上的表现
图5呈现的是3种方法在TNR指标上的表现。在所有条件下, Wald-XPD方法在TNR指标上的表现均是最优的, 对比Wald-XPD方法在TPR及TNR上的表现可知, 低项目质量条件对这个方法产生了一些不利影响, 而在中等或高项目质量条件下, Wald-XPD能有效保留Q矩阵中正确标定的属性, 也能有效修正Q矩阵中错误标定的属性。测验长度较短、项目质量较低及Q矩阵错误设定比例较高时HullP方法的表现较差, 结合同样条件下HullP在TPR指标上的表现可知, 虽然HullP方法在保留正确标定属性方面略微优于Wald-XPD, 但是它较多地保留了错误标定的属性。即, HullP方法倾向于较少地修正原始Q矩阵中的属性。在低项目质量条件下的多数情景中, 虽然Wald-IC方法在TNR上的表现优于HullP, 但是在随着项目质量的提高HullP在多数情景中的表现优于Wald-IC。HullP、Wald-IC以及Wald-XPD方法在TNR指标上的表现受样本量、测验长度、项目质量、属性分布及错误设定比例的影响明显。随着Q矩阵错误设定比例降低、项目质量提高、测验长度增加, HullP和Wald-IC方法的TNR值有所提高, 但仍低于Wald-XPD方法的TNR值。
图5 HullP、Wald-IC与Wald-XPD方法在TNR指标上的表现
本研究在饱和G-DINA模型框架下, 使用HullP、Wald-IC以及Wald-XPD方法对原始Q矩阵进行了修正。表3中的结果显示, HullP方法共修正了6个元素, Wald-IC方法共修正了5个元素, Wald-XPD方法一共修正了16个元素, Wald-IC方法修正的5个元素均包括在Wald-XPD方法修正的元素之中。使用相对拟合、绝对拟合及近似拟合指标比较原始Q矩阵、HullP、Wald-IC及Wald-XPD方法修正后的Q矩阵的模型−数据拟合表现。拟合指标包括:相对拟合指标AIC (Akaike information criterion)和BIC (Bayesian information criterion)、有限信息绝对拟合(limited-information absolute fit)指标2及近似拟合指标RMSEA2(root mean square error of approximation; Liu et al., 2016), 结果见表4。就相对拟合指标而言, QHullP获得最佳的AIC指标, QXPD的AIC指标与其接近; QXPD获得最佳的BIC指标, 其次是QIC, QHullP的BIC指标最差。即, Wald-XPD方法修正后的Q矩阵的相对拟合指标更优。在绝对拟合指标2上, QIC的< 0.01, 表明Wald-IC方法修正的Q矩阵与数据失拟; QHullP和QXPD的值分别为:0.029和0.019, 表明HullP和Wald-XPD方法修正后的Q矩阵没有在0.01显著性水平上拒绝模型−数据拟合的原假设。对于RMSEA2指标而言, 其值越接近0修正效果越好, 其中QXPD的RMSEA2最接近于0, 即QXPD在RMSEA2指标上有最好的表现(Liu et al., 2016)。综合考虑相对拟合、绝对拟合和近似拟合指标, 本研究认为Wald-XPD方法修正后的Q矩阵在模型−数据拟合方面表现最优。
表3 原始Q矩阵以及各方法对属性的修正情况
注:*为Wald-XPD方法调整的属性, #为Wald-IC方法调整的属性, ^为HullP方法调整的属性
表4 基于3种方法修正前后Q矩阵的拟合指标
需要特别说明的是, 本研究的目的是在一般性的CDM框架下开发具有广泛适用性的Q矩阵修正方法。因此, 实证数据分析的重点是原始Q矩阵的修正, 没有在饱和G-DINA模型的基础上进一步在项目水平上进行模型比较(Liu, Andersson, et al., 2019)。另外,2统计量在模型参数过度设定时, 即模型中冗余参数过多时, 可能存在统计检验力不足的问题(参考Chen et al., 2018)。举例而言, 对比原始Qoriginal矩阵及修正后的QXPD矩阵可知, Qoriginal中可能存在较多过度设定的元素, 因此, 导致Qoriginal的2统计量的值大于0.01。参考先前研究(Liu et al., 2016), 本文认为在模型−数据拟合评价方面, 近似拟合统计量RMSEA2可能更具参考价值。
值得注意的是, 本研究中提出的Q矩阵修正方法是从作答数据出发的, 在一定程度上可以避免专家标定Q矩阵的主观性, 减轻专家负担, 但是客观方法标定的Q矩阵不能直接作为最终的Q矩阵, 应该作为专家标定Q矩阵的重要参考(Xu & Shang, 2018)。
6.1 结论与讨论
CDM依赖正确设定的Q矩阵以获得准确的属性剖面分类(Rupp & Templin, 2008)。以往研究者提出的GDI、Wald-IC、Hull方法在多数的应用情景中虽然有较好的表现, 但这些方法对Q矩阵中错误标定的属性不够敏感。本研究提出使用完整的XPD矩阵计算用于Q矩阵修正的方法(Wald-XPD方法), 并系统探讨了样本量、测验长度、Q矩阵错误设定比例、属性分布等因素对Q矩阵修正结果的影响。采用实证数据展示了新提出的Wald-XPD方法在实际应用中的表现与价值。
本研究结果表明:(1)整体而言, Wald-XPD方法的表现优于GDI、Hull、Wald-IC方法。Wald-XPD方法能够弥补GDI、Hull、Wald-IC方法在一些条件下对于错误标定属性不敏感的不足之处, 且在Q矩阵恢复率和保留正确标定属性的比例方面也有较好的表现。(2) GDI、Hull、Wald-IC和Wald-XPD方法随着项目质量的提高、样本量增大、测验长度增加以及Q矩阵错误设定比例的降低, 在修正Q矩阵上有更好的表现。(3)由HullP、Wald-IC以及Wald-XPD方法进一步比较的结果可知, 3种方法在Q矩阵恢复率方面差异较小, HullP、Wald-IC在保留正确标定的属性方面的表现略优于Wald-XPD方法, 但在所有模拟条件下, Wald-XPD方法在修正错误标定的属性方面的表现均优于另外两种方法。(4)实证数据分析的结果表明, Wald-XPD方法修正后的Q矩阵与原始数据有最优的拟合度。
在本研究操纵的5种因素中, 项目质量对GDI、Hull、Wald-IC、Wald-XPD方法表现的影响较大, 样本量和测验长度也对4种修正方法的表现有一定的影响。出现这种现象的原因可能是, 项目质量越高、样本量越大以及测验长度越长, 被试观察作答反应矩阵中包含的关于CDM中未知参数的信息越多, 因此, 以上4种方法的表现也就越好。与以往研究类似(Kang et al., 2019; Ma & de la Torre, 2020; Nájera et al., 2021), 本研究同样认为属性分布对于GDI、Hull、Wald-IC、Wald-XPD方法在TNR指标上的表现有细微的影响。出现这种现象的原因可能是, 当属性服从均匀分布时所有可能属性掌握模式分布的概率是相等的, 即被试观察作答反应矩阵中包含的关于结构参数的信息是一样的。当属性服从高阶分布时, 属性之间存在一定的关联性, 使某些属性掌握模式分布的概率可能会比较高, 另外一些属性掌握模式分布的概率会比较低, 故被试观察作答反应矩阵中包含的结构参数的信息量较少。于是, 当属性服从均匀分布时, 4种方法在各个指标上的表现略优。Q矩阵错误设定的比例对GDI、Wald-IC、Hull方法表现的影响较大, 随着Q矩阵错误设定比例的降低, 它们能够获得更高的QRR、TPR和TNR值, 这与已有研究结果一致(Ma & de la Torre, 2020; Nájera et al., 2021)。然而, Q矩阵错误设定的比例对Wald-XPD方法表现的影响则相对较小, 结合Wald-XPD在TNR指标上的表现, 本研究认为可能是Wald-XPD在迭代结束前的循环中能够有效修正Q矩阵错误标定的属性。
此外, 研究结果表明, Wald-XPD方法在TPR和TNR指标上与Wald-IC、HullP方法的表现不同。在TPR指标上, Wald-XPD受项目质量低的影响明显, 在TNR指标上, Wald-IC和HullP受项目质量低以及测验长度短这两种因素的影响明显。TPR指标数值低, 说明Q矩阵修正方法倾向于修改正确标定的属性, TNR数值低则说明Q矩阵修正方法修改错误标定属性的能力弱。综合TPR、TNR两个指标可知, 虽然Wald-XPD方法在项目质量较低的条件下能够较为有效地修正错误标定的属性, 但是存在过度修改正确标定属性的倾向。换言之, Wald-XPD方法虽然提高了Q矩阵修正的表现, 但是在项目质量较低的条件下, 有可能会错误地修正了正确标定的元素。Wald-IC以及HullP虽然在项目质量较低的条件下不存在过度修改正确标定属性的倾向, 但却无法有效修正错误标定的属性, 尤其是HullP方法。所以, 本研究建议使用Q矩阵修正方法时, 需要注意项目质量, 若项目质量较低, 可以结合多种修正方法、参考专家意见进而获得准确的Q矩阵。
本研究采用C++语言编写XPD矩阵, 在一定程度上能够提高Q矩阵修正的速度, 但是, 由于Wald-XPD方法考虑模型中的全部参数且采用迭代的方式进行, 在一些条件下可能耗时较长。例如, Wald-XPD方法最短的平均用时是12.50 s, 最长的平均时间需要746.01 s。Wald-XPD方法在各个模拟条件下的平均运行时间见表5。
6.2 研究展望
本研究提出的Wald-XPD方法在Q矩阵修正中有较好的表现, 但仍存在一些不足之处, 值得后续研究者进一步探讨。(1)虽然Wald-XPD统计量有明确的渐近分布(χ2分布), 不需要像GDI类方法那样人为地确定一个截止值, 但限于研究目的和篇幅本文仅在0.05显著性水平上对于Wald-XPD统计量的表现进行了显著性检验, 未来研究者可以进一步探讨不同的显著性水平对于Wald-XPD统计量表现的影响。(2)本研究仅以完整信息矩阵中的XPD矩阵构建Wald统计量进行Q矩阵修正, 除了XPD矩阵之外, 研究者还可以将其他完整信息矩阵构建的Wald统计量用于Q矩阵修正, 如Liu等人(2021)提出改进的观察信息矩阵以及三明治信息矩阵。不同类型的完整信息矩阵构建的Wald统计量在Q矩阵修正中的表现也值得进一步研究。(3)本研究仅在G-DINA模型下对Q矩阵修正方法进行了对比研究, G-DINA模型适用于0-1计分的测验情景, 但在心理与教育测验中存在较多的多级计分数据。研究者们开发了很多能用于多级计分的CDM, 如多级计分GDM (von Davier, 2008), 研究者可以将Wald- XPD方法拓展到多级计分模型中, 并考察其在多级计分模型中的表现。(4)本研究在考察新提出的Wald-XPD方法的表现时, 仅与一次修正的GDI、Wald-IC方法进行了比较, 研究者也认为GDI、Wald-IC方法可以迭代进行, 如迭代GDI方法(Nájera et al., 2020)。此外, 还有其他迭代修正的方法, 如迭代修正序列搜索(Terzi & de la Torre, 2018)等, 研究者也可以尝试将这些方法与Wald-XPD方法进行比较。(5) Wang等人(2020)评估了在Q矩阵部分已知的情况下, GDI和Wald-IC方法在估计新项目的q向量中的表现。基于此, 未来研究者可以在Q矩阵部分已知的情况下进一步评估Wald-XPD方法估计Q矩阵的表现, 并与已有的Q矩阵估计方法, 如ICC-IR方法(汪大勋, 高旭亮, 蔡艳等, 2018)、似然比D2方法(喻晓锋等, 2015)、非参数Q矩阵校准(Lim & Drasgow, 2017)、两阶段搜索算法(Feng, 2013)、似然比检验(Wang et al., 2020)等方法进行比较。
表5 Wald-XPD方法在各模拟条件下的平均运行时间(s)
注:*为Wald-XPD方法在模拟条件下的最长运行时间, #为Wald-XPD方法在模拟条件下的最短运行时间。
Chen, F., Liu, Y., Xin, T., & Cui, Y. (2018). Applying theMstatistic to evaluate the fit of diagnostic classification models in the presence of attribute hierarchies., Article 1875.
Chen, J. (2017). A residual-based approach to validate Q-matrix specifications.(4), 277–293.
Chiu, C.-Y. (2013). Statistical refinement of the Q-matrix in cognitive diagnosis.(8), 598–618.
De la Torre, J. (2008). An empirically based method of Q-matrix validation for the DINA model: Development and applications.(4), 343–362.
De la Torre, J. (2009). DINA model and parameter estimation: A didactic.(1), 115–130.
De la Torre, J. (2011). The generalized DINA model framework.(2), 179–199.
De la Torre, J., & Chiu, C.-Y. (2016). A general method of empirical Q-matrix validation.(2), 253–273.
De la Torre, J., & Douglas, J. A. (2004). Higher-order latent trait models for cognitive diagnosis.(3), 333–353.
Feng, Y. (2013).(Unpublished doctoral dissertation). University of South Carolina, Los Angeles, America.
Gu, Y., Liu, J., Xu, G., & Ying, Z. (2018). Hypothesis testing of the Q-matrix.(3), 515–537.
Heller, J., & Wickelmaier, F. (2013). Minimum discrepancy estimation in probabilistic knowledge structures., 49–56.
Kang, C. H., Yang, Y. K., & Zeng, P. H. (2019). Q-matrix refinement based on item fit statistic RMSEA.(7), 527–542.
Li, J., Mao, X., & Wei, J. (2022).A simple and effective new method of Q-matrix validation.(8), 996–1008.
[李佳, 毛秀珍, 韦嘉. (2022).一种简单有效的Q矩阵修正新方法.(8), 996–1008.]
Li, J., Mao, X., & Zhang, X. (2021).Q-matrix estimation (validation) methods for cognitive diagnosis.(12), 2272–2280.
[李佳, 毛秀珍, 张雪琴. (2021). 认知诊断Q矩阵估计(修正)方法.(12), 2272–2280.]
Li, X., & Wang, W. (2015). Assessment of differential item functioning under cognitive diagnosis models: The DINA model example.(1), 28–54.
Lim, Y., & Drasgow, F. (2017). Nonparametric calibration of item-by-attribute matrix in cognitive diagnosis.(5), 562–575.
Liu, J., Xu, G., & Ying, Z. (2012). Data-driven learning of Q-matrix.(7), 548–564.
Liu, Y., Andersson, B., Xin, T., Zhang, H., & Wang, L. (2019). Improved Wald statistics for item-level model comparison in diagnostic classification models.,(5), 402–414.
Liu, Y., Tian, W., & Xin, T. (2016). An application of2statistic to evaluate the fit of cognitive diagnostic models.(1), 3–26.
Liu, Y., Xin, T., Andersson, B., & Tian, W. (2019). Information matrix estimation procedures for cognitive diagnostic models.(1), 18–37.
Liu, Y., Xin, T., & Jiang, Y. (2021). Structural parameter standard error estimation method in diagnostic classificationmodels: Estimation and application.Advance online publication. https://doi.org/ 10.1080/00273171.2021.1919048
Liu, Y., Xin, T., Li, L., Tian, W., & Liu, X. (2016). An improved method for differential item functioning detection in cognitive diagnosis models: An application of Wald statistic based on observed information matrix.(5), 588–598.
[刘彦楼, 辛涛, 李令青, 田伟, 刘笑笑. (2016). 改进的认知诊断模型项目功能差异检验方法——基于观察信息矩阵的Wald统计量.(5), 588–598.]
Ma, W., & de la Torre, J. (2016). A sequential cognitive diagnosis model for polytomous responses.(3), 253–275.
Ma, W., & de la Torre, J. (2020). An empirical Q-matrix validation method for the sequential generalized DINA model.(1), 142–163.
McFadden, D. (1974). Conditional logit analysis of qualitative choice behavior. In P. Zarembka (Ed.),(pp. 105–142). New York, NY: Academic Press.
Nájera, P., Sorrel, M. A., & Abad, F. J. (2019). Reconsidering cutoff points in the general method of empirical Q-matrix validation.(4), 727–753.
Nájera, P., Sorrel, M. A., de la Torre, J., & Abad, F. J. (2020). Improving robustness in Q-Matrix validation using an iterative and dynamic procedure.(6), 431–446.
Nájera, P., Sorrel, M. A., de la Torre, J., & Abad, F. J. (2021). Balancing fit and parsimony to improve Q-matrix validation.B(Suppl 1), 110–130.
Philipp, M., Strobl, C., de la Torre, J., & Zeileis, A. (2018). On the estimation of standard errors in cognitive diagnosis models.(1), 88–115.
Rupp, A. A., & Templin, J. (2008). The effects of Q-matrix misspecification on parameter estimates and classification accuracy in the DINA model.(1), 78–96.
Rupp, A. A., Templin, J., & Henson, R. A. (2010).. Guilford.
Sessoms, J., & Henson, R. A. (2018). Applications of diagnostic classification models: A literature review and critical commentary.(1), 1–17.
Sorrel, M. A., Olea, J., Abad, F. J., de la Torre, J., Aguado, D., & Lievens, F. (2016). Validity and reliability of situational judgement test scores: A new approach based on cognitive diagnosis models.(3), 506–532.
Tatsuoka, K. K. (1990). Toward an integration of item-response theory and cognitive error diagnosis. In N. Frederiksen, R. Glaser, A. Lesgold, & M. Shafto (Eds.),(pp. 453–488). Hillsdale, NJ: Erlbaum.
Terzi, R. (2017).(Unpublished doctoral dissertation).The State University of New Jersey, New Brunswick, America.
Terzi, R., & de la Torre, J. (2018). An iterative method for empirically-based Q-matrix validation.(2), 248–262.
Tu, D., Cai, Y., & Dai, H. (2012). A new method of Q-Matrix validation based on DINA model.(4), 558–568.
[涂冬波, 蔡艳, 戴海琦. (2012). 基于DINA模型的Q矩阵修正方法.(4), 558–568.]
von Davier, M. (2008). A general diagnostic model applied to language testing data.(2), 287–307.
Wang, D., Cai, Y., & Tu, D. (2020). Q-matrix estimation methods for cognitive diagnosis models: Based on partial known Q-matrix.Advance online publication. https://doi.org/10.1080/ 00273171.2020.1746901
Wang, D., Gao, X., Cai, Y., & Tu, D. (2018). A new Q-matrix estimation method: ICC based on ideal response.(2), 466–474.
[汪大勋, 高旭亮, 蔡艳, 涂冬波. (2018). 一种非参数化的Q矩阵估计方法: ICC-IR方法开发.(2), 466–474.]
Wang, D., Gao, X., Cai, Y., & Tu, D. (2020).A method of Q-matrix validation for polytomous response cognitive diagnosis model based on relative fit statistics.(1), 93–106.
[汪大勋, 高旭亮, 蔡艳, 涂冬波. (2020). 基于类别水平的多级计分认知诊断Q矩阵修正:相对拟合统计量视角.(1), 93–106.]
Wang, D., Gao, X., Han, Y., & Tu, D. (2018). A simple and effective Q-matrix estimation method: From non-parametric perspective.(1), 180–188.
[汪大勋, 高旭亮, 韩雨婷, 涂冬波. (2018). 一种简单有效的Q矩阵估计方法开发:基于非参数化方法视角.(1), 180–188.]
Wang, W., Song, L., Ding, S., Meng, Y., Cao, C., & Jie, Y. (2018). An EM-based method for Q-matrix validation.(6), 446–459.
Yu, X. F., & Cheng, Y. (2020). Data-driven Q-matrix validation using a residual-based statistic in cognitive diagnostic assessment.(Suppl 1), 145–179
Yu, X., Luo, Z., Qin, C., Gao, C., & Li, J. (2015). Joint estimation of model parameters and Q-matrix based on response data.(2), 273–282.
[喻晓锋, 罗照盛, 秦春影, 高椿雷, 李喻骏. (2015). 基于作答数据的模型参数和Q矩阵联合估计.(2), 273–282.]
An empirical Q-matrix validation method using complete information matrix in cognitive diagnostic models
LIU Yanlou1, WU Qiongqiong2
(1Academy of Big Data for Education; Qufu Normal University, Jining 273165, China)(2School of Psychology, Qufu Normal University, Jining 273165, China)
A Q-matrix, which defines the relations between latent attributes and items, is a central building block of the cognitive diagnostic models (CDMs). In practice, a Q-matrix is usually specified subjectively by domain experts, which might contain some misspecifications. The misspecified Q-matrix could cause several serious problems, such as inaccurate model parameters and erroneous attribute profile classifications. Several Q-matrix validation methods have been developed in the literature, such as the G-DINA discrimination index (GDI), Wald test based on an incomplete information matrix (Wald-IC), and Hull methods. Although these methods have shown promising results on Q-matrix recovery rate (QRR) and true positive rate (TPR), a common drawback of these methods is that they obtain poor results on true negative rate (TNR). It is important to note that the worse performance of the Wald-IC method on TNR might be caused by the incorrect computation of the information matrix.
A new Q-matrix validation method is proposed in this paper that constructs a Wald test with a complete empirical cross-product information matrix (XPD). A simulation study was conducted to evaluate the performance of the Wald-XPD method and compare it with GDI, Wald-IC, and Hull methods. Five factors that may influence the performance of Q-matrix validation were manipulated. Attribute patterns were generated following either a uniform distribution or a higher-order distribution. The misspecification rate was set to two levels:= 0.15 and= 0.3. Two sample sizes were manipulated: 500 and 1000. The three levels of IQ were defined as high IQ,P(0) ~(0, 0.2) andP(1) ~(0.8, 1); medium IQ, P(0) ~(0.1, 0.3) andP(1) ~(0.7, 0.9); and low IQ, P(0) ~(0.2, 0.4) andP(1) ~(0.6, 0.8). The number of attributes was fixed at= 4. Two ratios of the number of items to attribute were considered in the study:= 16[(= 4)×(= 4)] and= 32[(= 4)×(= 8)].
The simulation results showed the following.
(1) The Wald-XPD method always provided the best results or was close to the best-performing method across the different factor levels, especially in the terms of the TNR. The HullP and Wald-IC methods produced larger values of QRR and TPR but smaller values of TNR. A similar pattern was observed between HullP and HullR, with HullP being better than HullR. Among the Q-matrix validation methods considered in this study, the GDI method was the worst performer.
(2) The results from the comparison of the HullP, Wald-IC, and Wald-XPD methods suggested that the Wald-XPD method is more preferred for Q-matrix validation. Even though the HullP and Wald-IC methods could provide higher TPR values when the conditions were particularly unfavorable (e.g., low item quality, short test length, and low sample size), they obtain very low TNR values. The practical application of the Wald-XPD method was illustrated using real data.
In conclusion, the Wald-XPD method has excellent power to detect and correct misspecified q-entry. In addition, it is a generic method that can serve as an important complement to domain experts’ judgement, which could reduce their workload.
cognitive diagnostic models, Q-matrix, XPD information matrix, Wald test
2022-03-09
* 国家自然科学基金青年项目(31900794)、山东省自然科学基金项目(ZR2019BC084)资助。
吴琼琼为共同第一作者。
B841
刘彦楼, E-mail: liuyanlou@163.com
猜你喜欢 标定修正向量 向量的分解新高考·高一数学(2022年3期)2022-04-28Some new thoughts of definitions of terms of sedimentary facies: Based on Miall"s paper(1985)Journal of Palaeogeography(2022年1期)2022-03-25修正这一天快乐语文(2021年35期)2022-01-18聚焦“向量与三角”创新题中学生数理化(高中版.高考数学)(2021年1期)2021-03-19使用朗仁H6 Pro标定北汽绅宝转向角传感器汽车维修与保养(2020年11期)2020-06-09CT系统参数标定及成像—2智富时代(2019年2期)2019-04-18CT系统参数标定及成像—2智富时代(2019年2期)2019-04-18软件修正摄影之友(影像视觉)(2017年1期)2017-07-18基于匀速率26位置法的iIMU-FSAS光纤陀螺仪标定中国惯性技术学报(2017年1期)2017-06-09基于MATLAB 的CT 系统参数标定及成像研究电子制作(2017年23期)2017-02-02- 范文大全
- 说说大全
- 学习资料
- 语录
- 生肖
- 解梦
- 十二星座
-
主题党日活动交流发言8篇
主题党日活动交流发言8篇主题党日活动交流发言篇13月13日,东城区党史学习教育动员大会召开。市委
【活动总结】 日期:2022-12-23
-
2022年4月主题党日活动记录范文15篇
2022年4月主题党日活动记录范文15篇2022年4月主题党日活动记录范文篇1一个崇尚阅读的民族,必然精神饱满、意气风发、活力四射。习近平总书记强调:“学习
【活动总结】 日期:2022-08-01
-
家乡赋|最美的家乡赋
家乡赋 孙传志 今安康市,白河双丰镇,吾之家乡也。三环沃土,山水环抱。其北依山,山系五岭,山
【调研报告】 日期:2020-04-01
-
少先队的光荣历史故事 队前教育-光辉历程
2017-2018学年队前教育1光辉历程一、劳动童子团1924——1927二、三十年代年的中国是一个
【法律文书】 日期:2020-06-23
-
【人教版1-6年级数学上册知识点精编】1-6年级数学人教版教材
人教版二年级数学上册知识点汇总第一单元长度单位一、米和厘米1、测量物体的长度时,要用统一的标准去测量
【调研报告】 日期:2020-11-08
-
党支部1-12月全年主题党日活动计划表
2022年党支部主题党日活动计划表序号活动时间活动方式活动内容12022年1月专题学习研讨集中观看2022年新年贺词,积极开展学习研讨交流。组织生活会组织党员认真对照党章...
【活动总结】 日期:2022-10-14
-
2022年2月份主题党日活动记录5篇
2022年2月份主题党日活动记录5篇2022年2月份主题党日活动记录篇1尊敬的党组织:在今年的开学初,本人积极参加教研室组织的教研活动,在学校教研员的指
【活动总结】 日期:2022-08-12
-
2023年平安校园建设方案13篇
平安校园建设方案“平安校园”创建工作,我们幼儿园全体教职员工一直把它当作头等大事来抓。领导高度重视,以“平安校园”创建活动为抓手,建立和规范校园安全工作机制
【规章制度】 日期:2023-11-02
-
医院最佳主题党日活动11篇
医院最佳主题党日活动11篇医院最佳主题党日活动篇1 医院最佳主题党日活动篇2为隆重纪念中国共产党成立100周年,进一步巩固党的群众路线教育实践活动成果,切实
【活动总结】 日期:2022-10-29
-
主题党日活动记录202210篇
主题党日活动记录202210篇主题党日活动记录2022篇12021年是中国共产党成立100周年,为广泛开展爱国主义宣传教育,铭记党的历史,讴歌党的光辉历程,
【活动总结】 日期:2022-08-02
-
正式的晚宴邀请函 公司晚宴邀请函
尊敬的先生 女士: 我公司谨定于xxxx年xx月xx日xx:xx在xxxx店隆重举行xx市xx届xxxx晚宴(宴会地址:xx区xx路xxxx) 敬请届时光临!xxxxxx集团股份有限公司xxxx有限公司敬邀xxxx年xx月xx日
【简历资料】 日期:2019-08-03
-
一年级新学期目标简短_一年级学生新学期打算
新学期到了,我是一年级下册的小学生了。 上课的时候,我要认真学习,不做小动作,认真听讲。我要认真学习,天天向上,努力学习,耳朵要听老师讲课,眼睛要瞪得大大的看老...
【简历资料】 日期:2019-10-26
-
[信访复查复核制度作用探讨]信访复查复核有用吗
作为我国特有的一项制度,信访制度的出现并长期存在不是偶然的,虽然一些法学专家认为信访制度具有“人治”
【职场指南】 日期:2020-02-16
-
[党员干部2019年主题教育个人问题检视清单及整改措施2篇] 党员干部
2019年主题教育问题检视清单及整改措施根据主题教育领导小组办公室《关于认真做好主题教育检视问题整改
【求职简历】 日期:2019-11-08
-
网络维护工作内容_(精华)国家开放大学电大专科《网络系统管理与维护》形考任务1答案
国家开放大学电大专科《网络系统管理与维护》形考任务1答案形考任务1理解上网行为管理软件的功能【实训目
【职场指南】 日期:2020-07-17
-
党委会与局长办公会的区别_局长办公会制度
为进一步加强xxx局工作的规范化、制度化建设,提高行政效能,规范议事程序,特制定本制度。一、会议形式1、局长办公会议由局长、副局长参加。由局长召集和主持。根据工作需要...
【求职简历】 日期:2019-07-30
-
如何凝心聚力谋发展【坚定信心谋发展凝心聚力促跨越】
当前,清河正处于在苏北实现赶超跨越基础上全面腾飞的战略机遇期,处于在全市率先实现全面小康基础上率先实
【简历资料】 日期:2020-03-17
-
学生会组织部部长竞选稿5篇
学生会组织部部长竞选稿以“三制”为统领推进农村党的建设中共**市委组织部近年来,**市认真落实中央、省和徐州市委的部署,积极适应发展要求,从加强领导体制、运
【求职简历】 日期:2023-11-06
-
《铁拳砸碎“黑警伞”》警示教育片观后感
影片深刻剖析了广西北海市公安局海西派出所原所长张枭杰蜕变堕落的轨迹。观看警示教育片后,做为一名党员教
【简历资料】 日期:2020-08-17
-
系领导班子行为准则_必须以什么为行为准则
为了更好地完成本系的各项工作,充分发挥系领导班子的模范带头作用,特制定本行为准则如下:一、要勤政为民,真抓实干,坚持科学态度和求实的精神,兢兢业业地作好本职工作。...
【求职简历】 日期:2019-08-30
-
【春季农村环境卫生整治工作方案】
春季农村环境卫生整治工作方案为落实全省村庄清洁行动春季战役视频推进会议精神,突出抓好2021年春季农
【汇报体会】 日期:2021-03-25
-
【2010年地税分局工会工作总结】18年工会工作总结
2010年即将结束,一年来我们地税*分局工会在市局、分局党组的正确领导和各级政府及各级工会组织的大力支持和关心下,以邓小平理论和“三个代表”重要思想为指导,始终围绕完成...
【毕业论文】 日期:2019-07-27
-
2023年在市委农村工作会议上讲话提纲(全文)
过去一年,全市“三农”工作充分发挥了“基本盘”和“压舱石”作用,全面推进乡村振兴取得了阶段性显著成效,成为xx高质量发展的突出亮点。各级各部门要深入学习XXX在中央农村...
【其他范文】 日期:2023-08-28
-
我国粮油产能加工业过剩原因及对策分析
朱泽洋粮食问题是我国的一大问题,关系到人民的生活质量和生活水平。产能过剩是阻碍粮食产业转型升级的重要
【其他范文】 日期:2022-12-28
-
党员干部理论学习方案
今年是新中国成立70周年,是决胜全面建成小康社会实现第一个百年奋斗目标的关键之年,也是新时代全面振兴
【其他范文】 日期:2020-11-05
-
县委政法委机关党支部先进事迹材料(全文完整)
近年来,x县委政法委机关党支部在县委的坚强领导下,始终坚持党建引领,充分发挥党组织坚强战斗堡垒作用,引领带动机关及政法系统党员干部,深入学习贯彻XXX新时代中国特色社...
【其他范文】 日期:2022-11-01
-
2022年村级支部书记履行基层党建工作责任述职报告
村级支部书记履行基层党建工作责任述职报告尊敬的各位领导,同志们:大家好,今年以来,在东部产业园办事处党工委的正确领导下,在全村广阔党员干部群众大力支持下,我带着村级...
【其他范文】 日期:2022-08-01
-
_三严三实学习心得:“三严三实”的党性党纪特色
三严三实学习心得:“三严三实”的党性党纪特色三严三实讲修身律己、做人做事,不是从普通人的修身标准对干
【毕业论文】 日期:2020-09-06
-
2022写材料易用错12组词,不留心就掉坑!
★习近平XX思想的表述不能乱用党的十九大上把习近平新时代中国特色社会主义思想作为我们党的指导思想。结果好多人,包括领导干部动辄就用习近平XXX思想。同志们,用习近平XX思...
【其他范文】 日期:2022-08-15
-
毕业生毕业感言,大学生毕业感言3篇
毕业生毕业感言,大学生毕业感言还有两个星期,我们半年的语言学习就要结束了。真的不想离开可爱的老师、不错的同学。回想起去年7月25日,我们报到的第一天,一
【毕业论文】 日期:2024-01-11
-
军转座谈会交流发言4篇
军转座谈会交流发言4篇军转座谈会交流发言篇1大家好,我叫贺丽,2015届选调生,来自康定市委组织部,现在省委编办跟班学习。今天,非常荣幸向大家汇报我的学习收
【发言稿】 日期:2022-10-27
-
12岁生日小寿星发言4篇
12岁生日小寿星发言4篇12岁生日小寿星发言篇1各位来宾、各位朋友:大家好!今天,我们欢聚在这里,共同庆祝**十二周岁生日。首先,我代表**的父母以
【发言稿】 日期:2022-07-31
-
廉政大会总结发言稿7篇
廉政大会总结发言稿7篇廉政大会总结发言稿篇1各位领导,同志们:根据会议安排,我就党风廉政建设工作做表态发言,不妥之处,请批评指正。一、提高认识,切实
【发言稿】 日期:2022-10-30
-
破冰提能大讨论个人发言4篇
破冰提能大讨论个人发言4篇破冰提能大讨论个人发言篇1党史学习教育开展以来,我坚持读原著、学原文、悟原理。今天,根据会议安排,现在我就“学史明理”主题谈几点个
【发言稿】 日期:2022-10-09
-
纪委书记工作表态发言4篇
纪委书记工作表态发言4篇纪委书记工作表态发言篇1在镇党委政府正确领导下,在全村干部和群众的共同努力下,紧紧围绕建设社会主义新农村工作为重点,尽职尽责,与时俱
【发言稿】 日期:2022-09-30
-
我最敬佩的人开头_我敬佩的一个人作文20篇2020年
我敬佩的一个人作文20篇 我敬佩的一个人作文一): 我身边有很多值得我们敬佩的人,但我最敬佩的一
【发言稿】 日期:2020-11-10
-
党员教育培训总结交流发言12篇
党员教育培训总结交流发言12篇党员教育培训总结交流发言篇1根据市委组织部《关于开展我市〈20XX
【发言稿】 日期:2022-12-19
-
[钻井队队长(副队长、指导员)岗位HSE应知应会试题(1863)]
钻井队队长(副队长、指导员)岗位HSE应知应会试题(判断题:771;单选题:626;多选题:466)
【贺词】 日期:2020-09-23
-
话剧《家》剧本 话剧剧本:爱的空间
找文章到更多原创-(http: www damishu cn)人物介绍:刘伟,男,32岁,某购物广
【演讲稿】 日期:2020-01-21
-
五言绝句大全500首古诗_五言绝句144首
五言绝句144首 五言绝句(一): 1《春夜喜雨》唐朝·杜甫 好雨知时节,当春乃发生。随风潜入
【祝福语】 日期:2021-03-13
-
学习周永开先进事迹心得体会3篇
学习周永开先进事迹心得体会【一】通过学习周永开老先生先进事迹后,结合自己工作思考,感慨万千。同样作为
【格言】 日期:2021-04-10
-
2023年中国行政区划调整方案(设想优秀3篇
中国行政区划调整方案(设想优秀民政部第二次行政区划研讨会会议内容一、缩省的意义与原则1.意义1)利于减少中间层次中国行政区划层级之多为世界之最,既使管理成本
【周公解梦】 日期:2024-02-20
-
XX老干局推进党建与业务深度融合发展工作情况调研报告:党建调研报告
XX老干局推进党建与业务深度融合 发展工作情况的调研报告 党建工作与业务工作融合发展始终是一个充满生
【成语大全】 日期:2020-08-28
-
中国共产党第三代中央领导集体的卓越贡献
中国共产党第三代中央领导集体的卓越贡献 --------------继往开来铸就辉煌 【摘要】改
【成语大全】 日期:2020-03-20
-
信息技术2.0能力点 [全国中小学教师信息技术应用能力提升工程试题题库及参考答案「精编」]
全国中小学教师信息技术应用能力提升工程试题题库及答案(复习资料)一、判断题题库(A为正确,B为错误)
【格言】 日期:2020-11-17
-
党建工作运行机制内容有哪些_构建基层党建工作运行机制探讨
党的基层组织是党在社会基层组织中的战斗堡垒,是党的全部工作和战斗力的基础。加强和改进县级以下各类党的
【经典阅读】 日期:2020-01-22
-
集合推理_七,推理与集合
七推理与集合1 期中考试数学成绩出来了,三个好朋友分别考了88分,92分,95分。他们分别考了多少分
【名人名言】 日期:2020-12-18
-
电大现代教育原理_最新国家开放大学电大《现代教育原理》形考任务2试题及答案
最新国家开放大学电大《现代教育原理》形考任务2试题及答案形考任务二一、多项选择题(共17道试题,共3
【成语大全】 日期:2020-07-20
-
2023年和儿媳妇在一起幸福的句子3篇
和儿媳妇在一起幸福的句子1、假如人生不曾相遇,我还是那个我,偶尔做做梦,然后,开始日复一日的奔波,淹没在这喧嚣的城市里。我不会了解,这个世界还有这样的一个你
【格言】 日期:2023-11-10
-
基层党务工作基本内容_党建基本工作有哪些
党建基本工作有哪些(一) 基层党建工作包括哪些内容 选择了大学生村官这条路,你就与农村基层党
【名人名言】 日期:2020-08-06
-
关于三农工作重要论述心得体会3篇
关于三农工作重要论述心得体会3篇关于三农工作重要论述心得体会篇1习近平总书记指出:“建设现代化国家离不开农业农村现代化,要继续巩固脱贫攻坚成果,扎实推进乡村
【学习心得体会】 日期:2022-10-29
-
【福生庄隧道坍塌处理方案】 福生庄隧道在哪里
(呼和浩特铁路局大包电气化改造工程指挥部,内蒙古呼和浩特010050)摘要:文章介绍了福生庄隧道
【学习心得体会】 日期:2020-03-05
-
五个一百工程阅读心得体会13篇
五个一百工程阅读心得体会13篇五个一百工程阅读心得体会篇1凡益之道,与时偕行。在全国网络安全和信
【学习心得体会】 日期:2022-12-07
-
城管系统警示教育心得体会9篇
城管系统警示教育心得体会9篇城管系统警示教育心得体会篇1各党支部要召开多种形式的庆七一座谈会,组织广大党员进行座谈,回顾党的光辉历程,畅谈党的丰功伟绩,
【学习心得体会】 日期:2022-10-09
-
发展对象培训主要内容10篇
发展对象培训主要内容10篇发展对象培训主要内容篇1怀着无比激动的心情,我有幸参加了__新区区委党校20__年第四期(区级机关)党员发展对象培训班。这次的学习
【培训心得体会】 日期:2022-09-24
-
凝聚三种力量发展全过程人民民主心得体会12篇
凝聚三种力量发展全过程人民民主心得体会12篇凝聚三种力量发展全过程人民民主心得体会篇1新民主主义革命是指在帝国主义和无产阶级革命时代,殖民地半殖民地国家中的
【学习心得体会】 日期:2022-08-31
-
2022年全国检察长会议心得7篇
2022年全国检察长会议心得7篇2022年全国检察长会议心得篇1眼睛是心灵上的窗户,我们通过眼睛才能看到世间万物,才能看到眼前这美好的一切。拥有一双明亮的眼
【学习心得体会】 日期:2022-10-31
-
在街道深化作风建设推动高质量发展走在前列动员会上讲话
在2023年街道深化作风建设推动高质量发展走在前列动员会上的讲话同志们:今天我们召开“街道深化作风建设推动高质量发展走在前列动员会”,这次会议是街道三季度召开的第一场...
【军训心得体会】 日期:2024-03-17
-
全面从严治党的心得体会800字7篇
全面从严治党的心得体会800字7篇全面从严治党的心得体会800字篇1中国特色社会主义是我们党领导
【学习心得体会】 日期:2022-12-14
-
矫正心得体会6篇
矫正心得体会6篇矫正心得体会篇1今天,是自己出监后第一次参加阳光中途之家组织的社区矫正方面的教育
【学习心得体会】 日期:2022-12-24
-
2024年主题教育民主生活会批评与自我批评意见(38条)(范文推荐)
2023年主题教育民主生活会六个方面个人检视、相互批评意见:1 理论学习系统性不强。学习习近平新时代中国特色社会主义思想不深不透,泛泛而学的时候多,深学细照的时候少,特...
【邓小平理论】 日期:2024-03-19
-
2024年交流发言:强化思想理论武装,增强奋进力量(完整)
习近平总书记指出:“一个民族要走在时代前列,就一刻不能没有理论思维,一刻不能没有思想指引。”党的十八大以来,伴随着新时代中国特色社会主义思想在实践中形成发展的历程...
【三个代表】 日期:2024-03-19
-
2024年度镇年度县乡人大代表述职评议活动总结
xx镇20xx年县乡人大代表述职评议活动总结为响应县级人大常委会关于开展县乡两级人大代表述职评议活动,进一步激发代表履职活力,加强代表与人民群众的联系,提高依法履职水平...
【马克思主义】 日期:2024-03-19
-
“千万工程”经验学习体会(研讨材料)
“千万工程”是总书记在浙江工作时亲自谋划、亲自部署、亲自推动的一项重大决策,也是习近平新时代中国特色社会主义思想在之江大地的生动实践。20年来,“千万工程”先后经历...
【三个代表】 日期:2024-03-19
-
2024年在市政协机关工作总结会议上讲话
同志们:刚才,XX同志对市政协机关20XX年工作进行了很好的总结,很精炼,很到位,可以感受到去年机关工作确实可圈可点。XX同志宣读了表彰决定,机关优秀人员代表、先进集体代...
【邓小平理论】 日期:2024-03-18
-
在全区防汛防涝动员暨河长制工作推进会上讲话提纲【完整版】
区长,各位领导,同志们:汛期已经来临,我区城区防涝工作面临强大考验,形势不容乐观。年初,区城区防涝排渍指挥部已经召开专题调度会,修订完善应急预案,建立网格化管理机...
【马克思主义】 日期:2024-03-18
-
2024年镇作风整治工作实施方案(完整文档)
XX镇作风整治工作实施方案为深入贯彻落实党的二十大精神及省市区委深化作风建设的最新要求,突出重点推进干部效能提升,坚持不懈推动作风整治工作纵深发展,根据《关于印发《2...
【毛泽东思想】 日期:2024-03-18
-
2024市优化法治化营商环境规范涉企行政执法实施方案【优秀范文】
xx市优化法治化营商环境规范涉企行政执法实施方案为持续优化法治化营商环境,激发市场主体活力和社会创造力,规范行政执法行为,创新行政执法方式,提升行政执法质效,着力解...
【毛泽东思想】 日期:2024-03-18
-
2024年度关于开展新一轮思想状况摸底排查工作通知(完整)
关于开展新一轮思想状况摸底排查工作的通知为深入贯彻落实关于各地开展干部职工思想状况大摸底大排查情况上的批示要求和改革教育第二次调度会议精神,有针对性做好队伍教育管...
【三个代表】 日期:2024-03-18
-
2024年公路养护中心主任典型事迹材料(完整文档)
“中心的工作就是心中的事业”——公路养护中心主任典型事迹材料**,男,1976年6月出生,1993年参加工作,2000年4月调入**区交通运输局工作,大学本科学历,中共党员,现任**...
【马克思主义】 日期:2024-03-17