多模态数据支持的教育科学研究发展脉络与挑战

       一、引言

       教育数据已成为教育领域的巨大财富，正重塑着教学日常实践与科学研究设计。目前常用的教育数据除了作业、测验，还有在线学习平台中的学习日志、互动文本等，这些数据虽然已经能够描绘较为细致的学习者画像，但这仍然只是“侧面肖像”，难以准确揭示学习者学习规律。可喜的是，随着低成本、便携式的可穿戴设备在教育中的应用，教育数据已经开始扩展至脑电、心率、皮电等生理数据。这种多模态化的数据全方位、立体化地呈现了学习者的学习过程，为教育科学研究提供了更为丰富的数据源。研究发现，使用多模态数据分析学习者学习效果的准确率高于使用单一数据(Giannakos，Sharma，Pappas，Kostakos，& Velloso，2019)，并且能够为深入探究学习者行为的内在学习机理提供机会和支持(牟智佳，2020)。多模态数据支持的教育科学研究是新兴发展趋势，但其事实上已有二十多年发展历史。厘清其研究走势与态势、理念的发展变化以及发展瓶颈等问题，有利于学者与教学实践者全面认识多模态数据，精准把握多模态数据在教学实践与科学研究中的作用、价值与发展取向。

       在目前已有研究综述中，国内学者翟雪松等(2020)发现多模态数据中的生理数据主要用于支持监测情绪与控制、探究认知与控制、监测与改善健康三个方面，并探明了心率、呼吸、皮温、皮电等模态数据指标表征的意义；穆肃等(2021)发现用于学习分析的多模态数据有生理特征、心理测量、环境场景等五种，分析指标有行为、注意、投入等十余种，数据整合方式有“多对一”“多对多”“三角互证”三种。他们对多模态数据应用于教育研究的价值进行了挖掘，并对融合分析与解释等发展瓶颈进行了探索，但并未系统回答上述系列问题。对此，本研究综合运用计量统计分析与内容分析方法，通过深入解读中外核心期刊文献，探索这些问题的答案。

       二、文献来源与分析

       依据布拉德福文献离散规律，“大多数关键文献一般集中在少数核心期刊”(张斌贤，等，2009)，本研究采用中文篇名词“多模态数据、多模态+大数据、多模态+学习分析、多模态交互分析、多模态话语分析”和英文篇名词"multimodal data、multimodal learning analytics、muitimodal big data"分别在中国知网和Web of Science数据库核心合集检索CSSCI和SSCI两类期刊，检索时间为2022年1月20日。检索到的文献按以下标准遴选文献：①文献不能重复；②文献的主题需与教育科学研究有关。最终得到文献209篇，其中中文文献81篇，英文文献128篇。

       首先，本研究采用文献计量法，对国内外多模态数据支持的教育科学研究走势进行分析。之后，将文献中的关键词导入Bicomb 2.02软件，进行数据清洗与词频分析，并对词频大于等于3(李运福，等，2018)的高频关键词进行词频共现分析。最后，将共现矩阵导入Ucinet 6软件，并使用其中的NetDraw工具进行社会网络中心度分析，得到可视化的研究态势图谱。同时，运用内容分析法深入解读研究内容，探析其研究态势、发展演变和面临的挑战。

       三、研究热度与研究态势

       (一)研究热度

       计量统计分析结果如图1所示。由此可发现，多模态数据支持的教育科学研究最初并没有得到学者们的广泛关注，直到最近几年才逐渐引起学者们的探索兴趣。纵观其研究历程，国内外均有较大波动幅度，特别是国内，虽然起步晚，但发展迅速且具有明显的赶超之势。进一步内容分析还发现，国内外的研究热度大致相同，均经历了萌芽期、扩列期、裂变期三个阶段。

      

       图1 国内外多模态数据支持的教育科学研究文献分布

       1.萌芽期(国外2000-2009年，国内2007-2013年)

       文献统计显示，伦敦大学学者凯里·朱伊特(Carey Jewitt)于2000年提出将多模态应用于语言学教学，国外由此进入了多模态数据支持的教育科学研究萌芽期。语言学认为学习是多模态的，在学习过程中学习者需要依据学习兴趣和语境不断切换语言、视觉和动作等模态以获得知识与技能。数据显示，直至2007年我国才开始有学者关注这方面的研究，标志性事件是学者顾曰国提出的较为公认的多模态学习行为研究假设，这一假设勾画了研究多模态学习的提纲，成为后续多模态话语分析的参照标准。

       这一阶段的多模态主要是不同感官通道、语言、手势等社会意义表达的不同样态。有关这种多模态的研究，甚至深入到了诸如语言障碍、智力障碍、听力障碍、自闭症等特殊教育领域(Spinath，Wolf，Angleitner，Borkenau，& Riemann，2005)：通过自我报告、教师反馈、课堂观察等方式收集特殊儿童学习与交互过程中的多模态数据，运用多模态数据分析了解特殊儿童的学习状态与实时需求，并提供适应性支持以维持特殊儿童的认知和情感参与程度。统计数据显示，国内的萌芽期晚于国外，直到国外进入这一时期的尾端，国内才开始步入多模态研究时代。