学位论文 > 优秀研究生学位论文题录展示

群体水平的英语阅读问题解决能力评估及认知诊断

作　者: 蔡艳
导　师: 丁树良
学　校: 江西师范大学
专　业: 基础心理学
关键词: 英语阅读理解群体水平评估认知诊断 IRT 属性掌握概率属性掌握比例 RSM
分类号: G633.41
类　型: 博士论文
年　份: 2010年
下　载: 194次
引　用: 0次
阅　读: 论文下载

内容摘要

群体水平的评估有两种思路:一种是先进行个体水平的评估,然后再对个体以求平均或类似的方法间接达到对群体水平的评估。该思路要求群体内的个体完成测验/问卷中的所有题目,以首先实现对个体的评估;另一种思路是不对个体评估,而是直接实现对群体的评估。该思路下群体内的每个个体只需随机作答测验/问卷中的一道(或少许)题目,从而根据群体在每道题上的作答人数及答对人数实现对群体的评估。以上两种思路各有优劣:第一种思路可以同时实现对个体及群体的评估;第二种思路只能实现对群体评估,但它具有第一种思路难以企及的优点,如:减少被试作答的项目数,节省被试作答的时间,提高被试参与调查的配合度,节约人力、物力;避开对个体的评估,避免因中间环节的某个失误,从而造成群体评估失误的事件发生,提高群体评估的效率及效度。目前关于英语阅读问题解决(English reading problem solving,简记ERPS)的群体水平的评估研究很少,研究工作主要在国外,且都在第一种思路下进行,但他们关于ERPS的认知分析研究可能并不适合我国国情。因此本文的主要目的是:一方面结合我国实际,开展群体水平的ERPS能力评估及认知诊断,为促进学生相关认知发展和知识获取提供服务;另一方面,在第二种思路下开发出新的群体水平认知诊断模型,为群体水平的评估及诊断提供一种更为优越的全新方法,以实现方法学上的突破。本文主要由四个研究组成,研究结果如下:第一个研究为ERPS的认知分析。该研究从心理学角度探讨影响ERPS的关键认知因素/认知成分,以Embretson & Wetzel的文本表征--反应决策加工模型为理论基础,分别从‘文本表征(text representation)’和‘反应决策(response decision)’两个认知加工过程来寻找影响ERPS的项目认知特征成分,结合课程专家的分析、我国英语课程标准和测试要求共得到10个认知属性。最后通过对2007年某省英语高考试卷阅读理解部分的项目分析,得到7个认知属性,其中4个属性与‘文本表征’有关,2个属性与‘反应决策’有关,另有1个属性与‘文本表征’和‘反应决策’均有关,研究发现它们能解释难度变异的79.2%,表明它们是影响ERPS的主要认知成分,同时证实它们之间的关系是无结构型的。第二个研究为传统方法下群体水平的ERPS能力评估及认知诊断。该研究在IRT框架下,采用属性阶层模型,先对个体进行能力评估和认知诊断,计算群体内个体能力的平均值和群体内个体对属性的掌握比例(AMR),并将它们分别作为群体能力评估和认知诊断的结果。研究结果表明学校能力总体适中,没有发现能力极端的学校,除属性A5外,学校对其它属性的掌握程度都较好,但仍需要加强对属性A5即推理能力的教学与培养。将学校分为三类分析发现:、省重点建设中学与普通中学之间差异不显著,但这两类学校与省重点中学之间差异显著。若以学校当年英语高考的总平均分数作为效标,计算传统方法下群体水平评估和诊断结果与这一效标的相关系数分别为0.998(P<0.001)和0.836(P<0.001),表明传统方法下群体评估结果具有较高的效标关联效度。第三个研究为群体水平评估新模型的开发。该研究结合2GPLM、RSM和AHM模型开发出了群体水平认知诊断模型—CY_GCDM模型。该模型不仅可以报告出群体的能力和认知状态,还能报告群体对属性的掌握概率,该概率与群体对属性的掌握比例在本质上是一致的;同时研究中还提出了四种新的群体水平认知诊断的判别分类方法(分别记为BUG(A),BUG(B),DB(A),DB(B))。蒙特卡罗模拟研究发现:CY_GCDM模型是可行的,合理的,可解释的。模型中提出的四种新方法都要比贝叶斯判别法好,且这四种新方法都具有较高的诊断精度,它们各有优缺点。具体地讲,距离-相似度判别法中的方法A(DB(A))的判别准确率最不稳定,而距离-相似度判别法中的方法B(DB(B)),相似判别法(BUG(A),BUG(B))相对比较稳定,且判别准确率也较好。从模式判准率来讲,当数据中允许存在的失误概率为0.05时,DB(B)方法最优,而当失误概率为0.1或0.15时,BUG(B)方法则最优。将各判准率指标按权重进行综合发现:当失误概率为0.05时,则DB(B)方法最好,而当失误概率为0.1或0.15时,则BUG(A)方法最好;但总体上讲BUG(A)和DB(B)方法是最好的。第四个研究为新方法下群体水平的ERPS能力评估及认知诊断。该研究在CY_GCDM模型下,采用BUG(A)判别分类方法,实现了ERPS群体水平的能力评估及认知诊断,并将结果与传统方法下的结果相比较。研究发现:新方法与传统方法对群体的评估结果相似,且两方法对群体能力评估结果的相关高达0.957,绝对离差的平均值为0.2318;传统方法下得到的属性掌握比例与新方法下得到的属性掌握概率的平均相关也有0.6939,达到了显著水平,它们之间的绝对离差的平均值为0.157。这些都证明:在实际应用中,新方法可以得到与传统方法相一致的群体评估结果,新方法是可行的、可靠的。不仅如此,新方法中报告的群体认知状态结果与个体诊断的认知状态结果具有较强的一致性。上述研究结果显示:将影响ERPS的主要认知成分归结为本文所确定的7个认知属性不仅是理论可行的,也是统计可行的;在认知分析的基础上,两种评估思路都实现了群体水平的能力评估及认知诊断,它们的评估结果相似,即测验项目都具有较好的项目参数,所有测试学校的能力总体适中,它们对测验所测量的属性掌握程度都较好;两种群体评估思路都是可行的,有效的,且在第二种思路下,CY_GCDM模型的认知诊断精度较高;GIRT模型的参数估计精度与IRT模型一致。当只关注群体评估结果时,新方法较传统方法而言更具有优势,具体而言:(1)新方法大大节省了数据收集和处理的时间、人力和物力。设测验项目数为m,群体内每个个体作答的项目数为k ,则新方法所用的数据量仅为传统方法所使用的数据量的k/m。(2)新方法采用的是矩阵抽样设计,它适用于分析存在缺失的数据,尤其适用于态度问卷,消费心理问卷等易出现无效问卷的数据收集与处理场合,这种数据采集方法增强了问卷调查的灵活性,提高了问卷调查的效率;(3)新开发的认知诊断模型提供的诊断信息丰富,它不仅能够报告群体的能力和认知状态,还能报告群体对属性的掌握概率,无论是学生、家长,还是学校或政府都能够从报告的信息中获得直观而具体的参考信息。

全文目录

摘要  3-6
Abstract  6-12
名词缩写表(按字母或声母排序)  12-13
图表  13-14
表格  14-16
第一部分引言  16-20
  1.1 问题的提出  16
  1.2 研究的价值与意义  16-18
  1.3 研究目的和问题  18-20
第二部分文献综述  20-41
  2.1 非母语ERPS的心理学研究结果  21-32
    2.1.1 英语阅读的心理加工模型及加工策略  21-24
      2.1.1.1 英语阅读的本质  21-22
      2.1.1.2 英语阅读的加工模型  22-23
      2.1.1.3 英语阅读的加工策略  23-24
    2.1.2 ERPS的加工模型  24-27
      2.1.2.1 ERPS的信息加工  25-26
      2.1.2.2 ERPS的认知加工模型  26-27
    2.1.3 影响ERPS的因素研究  27-28
    2.1.4 ERPS的认知诊断  28-31
      2.1.4.1 Kasai的研究结果  28-30
      2.1.4.2 Wang, Gierl &Leighton等人的研究结果  30
      2.1.4.3 Jang的研究结果  30-31
    2.1.5 小结  31-32
  2.2 GIRT的基本简介  32-35
    2.2.1 GIRT的基本知识  32-33
    2.2.2 GIRT的模型及应用  33-35
    2.2.3 小结  35
  2.3 认知诊断计量模型的开发及应用  35-40
    2.3.1 Tatsuoka的规则空间模型  35-39
      2.3.1.1 模型的基本简介  35-38
      2.3.1.2 RSM的理论缺陷及修正  38-39
    2.3.2 Leighton的属性阶层模型  39-40
    2.3.3 小结  40
  2.4 群体水平的认知诊断计量模型  40-41
第三部分 ERPS的认知分析  41-52
  3.1 研究目的  41
  3.2 研究方法和过程  41-45
    3.2.1 ERPS认知成分基本假设  41-44
    3.2.2 测试材料  44
    3.2.3 测试对象  44
    3.2.4 分析方法  44-45
    3.2.5 分析工具  45
  3.3 研究结果与分析  45-51
    3.3.1 测验Q矩阵的认定  45-46
    3.3.2 IRT模型项目参数估计结果  46-47
    3.3.3 ERPS认知成分检验及其有效性评估  47-50
      3.3.3.1 认知成分与项目难度的相关分析  47-48
      3.3.3.2 利用分层回归分析进行认知成分的检验及有效性评估  48-50
    3.3.4 使用 HCI i 指标验证属性之间的层级关系  50-51
  3.4 小结与讨论  51-52
第四部分传统方法下群体水平的ERPS能力评估及认知诊断  52-60
  4.1 研究目的  52
  4.2 研究方法与过程  52
  4.3 研究结果与分析  52-58
    4.3.1 测试材料单维性检验  52-53
    4.3.2 资料模型拟合检验  53-54
    4.3.3 个体水平的项目参数估计结果  54-55
    4.3.4 学校水平的能力评估  55-56
    4.3.5 学校水平的认知诊断评估  56-58
  4.4 基于群体能力评估及认知诊断的效度分析  58
  4.5 小结与讨论  58-60
第五部分群体水平评估的新方法（模型）开发  60-97
  5.1 GIRT模型的参数估计研究  60-79
    5.1.1 研究目的  60
    5.1.2 研究方法与过程  60-64
      5.1.2.1 群体水平项目反应模型简介  60-61
      5.1.2.2 2GPLM的参数估计  61
      5.1.2.3 分析工具  61
      5.1.2.4 实验设计  61-62
      5.1.2.5 数据生成  62-64
      5.1.2.6 评价指标  64
    5.1.3 研究结果与分析  64-79
      5.1.3.1 群体水平能力参数估计的返真性  64-67
      5.1.3.2 群体水平能力参数估计的稳健性  67-70
      5.1.3.3 群体水平项目参数的返真性  70-72
      5.1.3.4 CYGIRT程序与BILOG程序群体能力估计结果的比较  72-73
      5.1.3.5 CYGIRT程序与传统方法对群体能力估计结果的比较  73-79
    5.1.4 小结与讨论  79
  5.2 CY_GCDM的模型开发  79-87
    5.2.1 研究目的  79
    5.2.2 群体水平认知诊断的模型开发  79-87
      5.2.2.1 群体水平的理想反应模式  80-82
      5.2.2.2 群体水平规则空间的构建  82-83
      5.2.2.3 群体的模式判别及属性掌握概率的计算  83-85
      5.2.2.4 群体水平认知诊断的新的分类判别方法  85-87
    5.2.3 小结与讨论  87
  5.3 CY_GCDM模型研究  87-97
    5.3.1 研究目的  87
    5.3.2 模型性能研究  87-94
      5.3.2.1 研究方法和分析工具  87
      5.3.2.2 评价指标  87-88
      5.3.2.3 实验设计  88
      5.3.2.4 数据生成  88-90
      5.3.2.5 结果与分析  90-93
      5.3.2.6 小结  93-94
    5.3.3 模型可解释性研究  94-96
      5.3.3.1 研究方法和分析工具  94
      5.3.3.2 评价指标  94
      5.3.3.3 实验设计  94
      5.3.3.4 数据生成  94-95
      5.3.3.5 结果与分析  95-96
      5.3.3.6 小结  96
    5.3.4 总结与讨论  96-97
6 新方法下群体水平的ERPS能力评估及认知诊断  97-107
  6.1 研究目的  97
  6.2 研究方法与过程  97-98
    6.2.1 测试材料和对象  97
    6.2.2 研究的基本思路  97-98
    6.2.3 分析工具  98
  6.3 研究结果与分析  98-105
    6.3.1 资料模型拟合检验  98
    6.3.2 群体能力评估及认知诊断  98-102
      6.3.2.1 学校能力评估结果  99
      6.3.2.2 群体诊断评估结果  99-102
    6.3.3 新方法与传统方法群体评估结果的比较  102-105
      6.3.3.1 项目参数估计结果的比较  102-103
      6.3.3.2 群体参数估计结果的比较  103-105
  6.4 小结与讨论  105-107
第7部分结论与展望  107-112
参考文献  112-116
附录I  116
附录II  116-117
致谢  117
读博期间发表的论文及主持参与的课题  117

群体水平的英语阅读问题解决能力评估及认知诊断

内容摘要

全文目录

相似论文