两位作者从事语言教育实践和研究多年,致力于因果推断研究,话题涵盖外语教育、中文母语教育和教育政策定量分析。第一作者郭茜教授在清华大学开设Experimental and Quasi-Experimental Designs in Language Education Research课程多年,教学过程中了解到不少硕博研究生对因果推断研究有诸多困惑,对于量化实证研究而言,统计方法和研究设计就是“利器”。掌握了利器,会有种“拨开云雾见天日”的感觉,希望把这种感觉分享给读者。同时,语言教育本身是一个交叉学科,与语言学、教育学、经济学息息相关,掌握相临学科的研究方法可以拓宽研究思路和视角,更好地聚焦研究情景和回答研究问题。希望语言教育工作者能勇于打破学科壁垒,积极学习和使用相邻学科的研究方法,用因果推断研究促进语言教育决策的科学性和规范性,在新文科建设的背景下,促进学科融合,让语言教育研究更好地服务于社会进步。第二位作者冯瑞玲也具有多年的语言教学经验,对语言教学和第二语言习得研究的热爱。她开展英语教学实验与准实验研究多年,并主持和参与省部级和国家级相关研究课题,理论学习结合实际研究的经历帮助她
观测数据本身不能支持因果推断,因为相关关系不等于因果关系,不能仅基于观测数据发现两个因素间存在相关关系就认为其中一个因素导致另一个因素,继而希望通过改变前者来影响后者,这样很有可能导致决策失误。决策需要基于因果推断。公认能支持因果推断的研究设计是随机实验和各种准实验。 2021年诺贝尔经济学奖三位得主( David Card、Joshua D. Angrist和 Guido W. Imbens)的获奖原因就是他们在准实验设计领域做出了突出贡献。国内语言类研究中常见的随机实验和准实验设计较为单一,较少使用教育、经济领域常见的准实验设计,在设计的严谨性上也存在差距,导致一些研究的质量差强人意。哈佛大学 Light et al.(1990)所著 By Design: Planning Research on Higher Education一书中序言的标题就是“You can’t fix by analysis what you bungled by design”(你无法用数据分析来弥补搞砸了的设计),由此可见设计对研究的重要性。
本书第一作者在哈佛大学攻读博士学位时受过系统的定量研究训练,因为就读的教育政策定量分析专业的特殊要求,选修了近十门定量研究方法类课程。自 2012年回国以来,在解答学生研究方法相关问题以及参加硕士生、博士生毕业论文评审和答辩过程中,发现相当一部分研究的设计不能很好地支持研究结论;有些学生做的统计分析并不能回答自己的研究问题,显示出他们对统计分析缺乏基本的认识;还有的学生虽然采用的是混合式研究方法,但从论文中能明显看出他们接受的定量研究方法训练不足,对辛辛苦苦收集到的大量数据可能只是给出均值、频率等描述统计结果,浪费了宝贵的数据。本书第二作者有十二年语言教学与研究经验,近七年来一直从事国际在线协作学习研究,在与不同国家的高校同人合作教学和科研的过程中,对语言教育研究的跨学科性质和设计严谨性需求深有感触,同时也发现国内语言教育研究领域的部分教师和学者在统计分析方法和研究设计上还有不少困惑,并且对相近学科中已经很成熟的研究方法了解甚少。两位作者希望将相邻领域的研究设计引入语言教育研究中,帮助这些同人熟悉常用的数据分析方法和研究设计,从而扩展研究视野。
实验与准实验设计在语言教育研究中的应用
基于以上原因,本书面向语言教育领域的教师和研究生,在介绍一些广泛使用的量化统计方法的基础上,讨论本领域可以使用的实验与准实验研究设计(“实验”和“准实验”连用时,前者特指“随机实验”,这是相关文献中较为常见的用法)。本书既包含对常用统计分析方法的入门级讲解,帮助不熟悉这部分内容的读者快速学习掌握基本方法,同时依托巧妙且有效地利用随机实验和各种准实验研究设计的优秀研究实例,向读者展示各类研究设计适用的情形、使用时需要注意的事项、完善研究设计的策略。我们尽可能从语言教育领域遴选研究案例,但由于实验与准实验设计在教育、经济领域运用比较广,而在语言教育领域中的使用起步较晚,所以有的准实验设计在语言教育领域很难找到相关研究,只能从更广泛的教育领域选取。譬如工具变量是教育领域很常见的一种准实验设计,但现有语言教育研究中使用的工具变量只有一两种,常见的三类工具变量都没能在语言教育研究领域中找到相关研究。此外,尽管也有语言教育研究实行随机分组实验,但随机分组过程非常规范的研究往往来自教育和经济领域,语言教育研究领域中则比较缺乏。语言教育作为交叉学科,一直从教育、经济领域借鉴研究方法,我们希望读者对经典、规范的随机实验和准实验研究设计能有所了解,以期帮助他们拓宽研究视野,提升跨学科研究能力,所以书中有时会借用一些教育类论文作为研究案例。
本书总体分为两部分。第一部分由前三章的统计基础知识组成,介绍多种回归模型;第二部分(第四章至第九章)则在阐明因果推断重要性的基础上介绍随机实验和各种准实验研究设计。因为回归分析是随机实验和准实验研究中最常用的数据分析方法,也是本书第二部分中研究实例通常采用的分析方法,所以前三章可以为不熟悉回归分析方法的读者阅读后面的章节打下基础。具体到各章,第一章介绍一个预测变量和一个结果变量的简单线性回归,并介绍预测变量为虚拟变量和类别变量时的处理方法;第二章在介绍遗漏变量偏误的基础上引入多元线性回归;第三章介绍结果变量为虚拟变量和类别变量的回归分析。这三章也会将回归分析与相关分析、方差分析、卡方检验等统计方法进行比较,以帮助熟悉后面这类统计方法的读者事半功倍地学习回归分析。在介绍了这些统计分析方法后,第四章首先厘清相关关系与因果关系的差异并引入随机实验和准实验的概念;第五章介绍随机实验;第六章介绍自然实验和双重差分法;第七章介绍断点回归;第八章介绍工具变量;最后一章介绍语言教
前言
育研究领域中其他常见的准实验研究设计,包括在实验组和对照组不完全可比时能用来减少干预效应估算偏误的倾向得分匹配法。
第一章到第三章每章结尾处有回归分析习题,供大家检查自己的掌握情况;第四章到第九章每章结尾处有练习,引导读者深入思考该章的核心内容,分析已发表论文的研究设计并使用相应的方法设计自己的研究。除此以外,每章的最后都有“进深资源推荐 ”,供有兴趣了解更多相关内容的读者参考。
考虑到语言教育领域的不少学者对统计学和概率论知识掌握不多,而且本书的学习目标不是深奥的数理统计原理,因此没有加入大量复杂的数学公式。本书不要求读者有定量研究方法的基础,重点也不在推导和估算过程,而在相关统计方法的精髓,聚焦科学研究实务,写作风格对于语言教育研究领域的读者而言非常友好。相信本书能帮助语言教育领域从事或意欲从事定量研究和混合式研究的师生了解随机实验与多种准实验的优缺点、研究设计及数据分析结果的解读,也能帮助他们提升研究敏感性,在适于因果推断的研究机会出现时,能及时抓住机会,有的放矢地提出研究问题,并进而设计和实施实验或准实验研究,推动他们的研究迈上一个新台阶。
由于作者水平有限,书中难免存在疏漏之处,敬请同行批评指正!
作 者
2022年 2月于清华园