增强现实技术在孤独症儿童干预中的应用研究
——以词汇认知干预为例
陈靓影1,2
[通讯作者]
赵俊敏1 王广帅1 张 坤1,2
（1．华中师范大学 国家数字化学习工程技术研究中心，湖北武汉 430079； 2．华中师范大学 教育大数据应用技术国家工程实验室，湖北武汉 430079）
摘要：文章旨在探索增强现实技术对改善孤独症儿童词汇认知能力的应用效果。根据皮博迪图片词汇测验修订版的测验结果，文章将28名3～10岁的孤独症儿童随机分为能力得分水平相当的两组：实验组儿童接受基于增强现实技术的教学，对照组儿童则采用传统的图片教学。结果表明，两组的干预都取得了明显的效果，但在词汇指认和词汇命名两个维度上，实验组的儿童表现得更好，这种表现与注意力的增强相关，而且实验组儿童表现出了对教学工具更高的兴趣。初步研究成果表明，增强现实应用是极具潜力的孤独症儿童认知干预材料。 关键词：自闭症；增强现实；词语认知
【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2019）08—0086—07 【DOI】10.3969/j.issn.1009-8097.2019.08.012
一 问题的提出
孤独症（又称“自闭症”）是一种起源于儿童早期的神经发育障碍，核心症状为社会沟通和社会交往障碍，重复性刻板行为、兴趣和活动模式[1]。美国疾病防控中心的调查数据显示，每59名儿童中就有1名被诊断为孤独症[2]，孤独症儿童的家长群体面临沉重的心理压力和经济负担[3]。目前，孤独症无法治愈，但早期的诊断和干预有助于改善孤独症儿童的不良预后[4]。词语是语言发展的基础，对于社会交往和沟通也至关重要。在语言发展方面，孤独症儿童的个体差异性显著，其语言水平总体滞后于同龄的正常发展儿童。研究表明，孤独症儿童不能像同龄人一样灵活运用各种线索、技能或策略来学习词语[5]。
传统行为疗法主要通过塑造和强化等方式帮助儿童掌握词语，这种方法依赖于人力，成本昂贵且资源紧缺，简单的重复也易使儿童倦怠。计算机辅助教学有助于减轻教师负担，提高学习效果，近年来已被应用于孤独症儿童的评估与干预中[6][7]。一些研究验证了计算机辅助词语教学的有效性[8][9]，但也有研究认为传统图画书和iPad两种媒介对词汇理解的影响没有差异，相比之下，学习材料的多态性则对儿童理解词汇更加重要[10]。增强现实技术（Augmented Reality，AR）具有虚实结合的特点，能创造出超越现实的感官体验，已经被应用于孤独症的认知、社交、运动感知、假装游戏和日常活动的教学中。在认知干预方面，有研究表明，孤独症儿童在使用AR应用时表现出了积极的情绪和动机，注意力也有所提高[11]，孤独症大学生通过使用AR软件，能掌握科学词语[12]。AR可以有效改善孤独症儿童学习的动机和注意力，但AR在孤独症干预的循证实践研究方面尚处于初级阶段，主要表现为：①针对孤独症儿童认知干预的研究样本数量较少，且多采用单一被试的研究方法；②缺少随机对照研究排除存在混淆的变量，以辨别干预效果得益于AR还是电子设备。本研究采用随机对照试验探究AR对孤独症儿童词语认知干预的效果，研究的问题主要包括：①相比于传统的图片呈现方式，AR能否改善孤独症儿童的词汇认知效果；②词汇认知学习成果是否与干预过程中的注意力和模仿发音行为相关。
86
Vol.29 No.8 2019
二 研究方法
1 研究对象
本研究在武汉市某康复机构招募到49名被试儿童，根据以下标准进行筛选：①经医院按照DSM-IV标准诊断为孤独症，排除其它智力发育障碍；②年龄在3～10岁之间；③儿童具有基本的语言能力，能够理解简单指令；④用皮博迪图片词汇测验修订版（Peabody Picture Vocabulary Test-Revised，PPVT-R）测量被试儿童的言语智力水平，选取言语智力相匹配的儿童；⑤教师知情，并获得被试儿童父母的同意。基于此，本研究最终选定28名孤独症儿童参与研究，年龄在3岁1个月～9岁8个月之间，其中男孩20名，女孩8名。本研究将这28名孤独症儿童随机分为实验组和对照组，t检验结果显示：两组在年龄、PPVT分数上不存在显著差异（PPVT原始分：t=0.135，P=0.893），如表1所示。
表1 被试的年龄与PPVT得分
组别 实验组 对照组 人数 14 14 年龄 均值 4.1±1.14 3.9±1.73 范围 3～8 3～9 PPVT（原始分） 均值 28.23±16.45 27.08±25.97 范围 10～68 6～102 2 实验材料
在干预之前，本研究对每个儿童进行前测。测试材料是3类60种词汇卡片，如表2所示。
表2 前测材料
类型 果蔬类 词汇卡片 苹果、桃子、荔枝、樱桃、西瓜、椰子、橙子、猕猴桃、菠萝、草莓、葡萄、榴莲、芒果、梨子、火龙果、胡萝卜、黄瓜、蘑菇、茄子、辣椒、洋葱 猫、狗、老虎、狮子、袋鼠、猴子、鲨鱼、羊、老鼠、大象、企鹅、猪、长颈鹿、兔子、鸡、牛、狐狸、鳄鱼、蛇 跑车、拖拉机、警车消防车、马车、摩托车、叉车、面包车、油罐车、救护车、高铁、出租车、轮船飞机、公交车、自行车、拖头车、越野车、客机、方程式赛车 动物类 交通工具类
图1 实验组（左）和对照组（右）的实验材料
在干预中，实验组和对照组均使用安卓平板电脑，实验组使用AR软件，还可以与虚拟实体交互，通过点击触发虚拟实体的动画和声音，滑动屏幕旋转虚拟实体、移动位置；对照组则直接呈现2D图片，可以触摸屏幕上的图片，触发声音，并拿卡片与屏幕图像配对。两组使用的卡片图像无差别，主要差异在于呈现方式和交互方式上。为使儿童操作方便，平板电脑用支架
87
Vol.29 No.8 2019 固定在桌子上，并调整到适合儿童观看的高度，如图1所示。
3 实验设计和程序
本研究采用随机对照试验的方法，实验组和对照组分别使用AR卡片和2D卡片对孤独症儿童进行词语教学。自变量为两种不同的干预材料，因变量为儿童词语习得的结果（包括指认正确率和正确命名率）。为进一步探究材料类别与因变量的关系，本研究通过记录持续注意力时间和模仿发音次数，来探究认知理解效果是否受这些因素的影响。持续注意力是专注于某一事物的持续时间，它是掌握认知知识和其它技能的基础。孤独症儿童在持续注意力上有障碍，虽然Escobedo等[13]发现增强现实的干预材料能够提升儿童的持续注意力，而Carr等[14]的研究表明语音模仿对增强理解有积极影响，且计算机辅助的训练能提高孤独症儿童的模仿次数，但是这一效应对认知效果的影响尚未探究。各个研究变量的具体描述如表3所示。
表3 研究变量的描述
研究变量 中介变量 因变量 变量名 注意力时间 模仿发音次数 指认正确率 正确命名率 描述 被试的视线看向教学材料的时间 被试跟读平板电脑发音的次数 同时呈现3张卡片，被试指认正确的比率 被试能说出目标词汇卡片正确名称的概率 在干预前，本研究选出每名孩子的目标词语，具体过程如下：研究人员发出“指一指”、“找一找”口令，要求儿童识别目标卡片，不提供正误反馈；若连续三次指示正确，则记为已知词汇，然后在每名儿童的未知词汇中随机选择9个词语作为目标词语。干预是在康复机构的一间个别化训练室进行，训练室布置简洁，环境安静，每名儿童被带到房间后就坐，熟悉基本的操作。当儿童能够持续安坐5分钟熟练掌握操作方法后，进入干预阶段。在干预过程中，实验人员发出“点一点”、“摸一摸”等简单口令，引导孩子操作平板电脑和切换学习材料，当孩子口头模仿发音正确时，给予口头表扬。需指出的是，整个干预过程以儿童自主操作为主，实验人员只给予辅助。干预频次为一周一次，持续4次，每次干预时间控制在15～20分钟。
4 数据收集与处理 （1）数据收集
数据收集主要采用观察记录和视频录像两种方式。现场记录采用自行编制的记录表，主要用于记录每次干预日期、时长以及儿童的态度和行为表现。在征得家长同意的情况下，评估和干预过程全程录像，使用两台SONY摄像机记录每名被试儿童的表现和全部口头输出。此外，本研究使用问卷收集家长、老师反馈，评估被试儿童在配合度、注意力和情绪等方面的表现。
（2）数据处理
首先，对录像中涉及的变量进行编码分析。请2位未参与实验的评价员独立评分和编码，然后根据公式（1）计算2位评价员的内部一致性信度。
内部一致性信度=“评定一致”的数量／评定总数量 *100% （1）
其次，将编码好的数据录入SPSS 22.0进行统计分析，采用频数、百分比、均值和标准差描述儿童每次干预后的词语习得情况。然后，通过t检验（非参数用Wilcoxon秩和检验）分析两组被试的词语学习成果、持续注意时间和模仿发音次数的差异。最后，使用相关分析验证持续
88
Vol.29 No.8 2019 注意力时间、模仿发音与词语学习结果的相关性。
（3）干预忠诚度
本研究随机抽取干预期30%的视频录像进行分析，根据公式（2）计算干预忠诚度，所有被试的干预忠诚度都高于92.3%，平均值为94.1%，达到了《孤独症谱系障碍儿童、青少年及成人循证实践报告》中所提出的80%的干预忠诚度标准。
忠实度=实际步骤与预定步骤一致的步骤数量／总实验步骤数量*100% （2）
三 研究结果
1 词语习得结果
四次干预中两组儿童的词语习得成果如图2所示：两组儿童的词语习得正确个数均明显增加，实验组在指认、命名上的表现均优于对照组；两组儿童的指认正确个数均高于命名正确个数。
（a）四次干预中两组儿童的指认正确个数
图2 四次干预中两组儿童的词语习得成果
（b）四次干预中两组儿童的命名正确个数
配对样本t检验结果如表4所示，在最后的测试中，实验组在指认、命名上都稍高于对照组（P<0.05）；两组组内的指认正确个数高于命名正确个数，差异有统计学意义（实验组：t=3.188，P=0.009；对照组：t=7.138，P=0.000）。
表4 两组在最后一次测试的正确个数比较
实验组 对照组 6.62+0.87（N=13） t值 P值 df 指认 8.86±0.535（N=14） 8.29+0.825（N=14） 2.174 0.041 26 命名 7.92±1.31（N=12） 2.946 0.007 23 2 注意力和模仿发音次数 Wilcoxon秩和检验是一种非参数检验方法，它不对数据分布作特殊假设，因而能适用于各种复杂的数据分布情况。本研究采用Wilcoxon秩和检验方法，比较了两组注意力和模仿发音次数，结果如表5所示。可以看出，两组儿童的注意力差别有统计学意义（P<0.05），实验组儿童注意维持的时间更长。实验组与对照组儿童的模仿发音次数无明显差异（P>0.05）。
表5 两组注意力和模仿发音次数比较
实验组 对照组 z值 P值 持续注意力时间 0.93±0.06（N=14） 0.79±0.17（N=14） 模仿发音次数 -2.847 0.004 9.35±6.23（N=12） 10.42+8.86（N=13） -0.054 0.957 89
Vol.29 No.8 2019 3 相关分析
被试的注意力、模仿发音次数与其词语习得表现的相关分析结果如表6所示。可以看出，注意力维持的时长与词语认知表现存在正相关关系；其中，与指认正确数的相关系数为0.516（P=0.005<0.01），而与词语命名数的相关系数为0.479（P=0.0105<0.01）。此外，模仿发音与词语指认和词语命名测量结果无相关关系。
表6 被试的注意力、模仿发音次数与其词语习得表现的相关分析
词语指认 词语命名 模仿发音次数 注意力 注：**P<0.01。
词语指认 1.000 0.536** 0.155 0.516** 词语命名 1.000 0.372 0.479** 模仿发音次数 1.000 0.050 注意力 1.000 4 社会效度
实验组和对照组分别有10名、8名家长/老师参与了问卷调查。从调查统计结果可知，家长认为实验组儿童在配合度、兴趣和一般注意力、积极情绪方面都比对照组儿童得分更高，如图3所示。值得一提的是，实验组的两位家长提出了改进建议：一位家长认为应该增加干预材料的样例数，另一位家长则建议将词语学习放在具体的故事情境中。对于是否会使用实验中的材料，实验组的7名家长持肯定态度，理由包括：能吸引儿童、需要动手交互、能锻炼手眼协调能力；3名家长持否定态度，主要原因是他们认为电子设备对儿童的眼睛不利。对照组的5名家长持肯定态度，因为他们认为儿童对电子产品感兴趣，3名家长予以否定的原因也是健康隐患的问题。
图3 问卷调查统计结果
四 讨论和建议
本研究的结果表明，相比传统的图片教学，基于AR技术的卡片词汇教学方式效果更好，实验组儿童的图片指认能力和图片命名能力均高于对照组；AR技术更能激发孤独症儿童的学习兴趣，注意力维持时间更长。在词语习得的早期，婴幼儿依赖于事物自身所具有的感知觉线索学习词语，婴儿倾向于选择运动的物体而非静止的物体作为新词语的所指对象，这种现象也存在于学龄前儿童中[15]，视觉新异性偏好对婴幼儿习得词语有重要作用[16]。眼动的相关研究显示，孤独症儿童词语理解更容易受视觉干扰[17]。AR技术显示物体时具有视觉冲击力，以视听觉多重
90
Vol.29 No.8 2019 线索吸引孤独症儿童的关注，帮助其在声音与物体之间形成正确的联系。使用AR材料的一组儿童展现出了更好的注意力，且与词语习得的得分呈正相关，这与已有的研究结果类似，AR提高了儿童注意力和积极情绪，而儿童词语习得的成绩与注视目标物体的时间相关[18]。这说明增强现实材料可以提高孤独症儿童注视目标物体的时间，从而提高词语的习得成绩。研究结果中，模仿发音次数与词语认知测量结果无相关关系。而Luyster等[19]认为，模仿是ASD儿童表达语言能力的重要预测因子之一，这与本研究的结果相矛盾，其原因可能在于样本量不够大造成的偏差，或是研究中的被试在模仿发音时只是机械地跟读重复。
未来面向孤独症儿童的教育应用，可以加入制定个性化学习内容的功能，并允许孤独症儿童家长和老师相对快捷地创建材料。与其它技术手段一样，AR并不能激发所有儿童的兴趣。为了解决这个问题，教学者要考虑通过使用其它强化物来激励。对于家长担心的电子设备带来的健康问题，需要给予科学的引导。由于条件有限，本研究存在一些不足，如词汇类型有限，样本数据量有待提高，学习词汇未进行日常生活泛化等。基于此，后续研究需要注意以下几点：①扩展干预材料到其它词性，考察有效性，并进一步结合词汇使用的语境展开研究，考察被试在日常生活中的迁移表现；②扩大被试的年龄层次；③增加干预频次。 ———————— 参考文献
[1]杨友,金星明.美国《精神障碍诊断和统计手册》第五版对儿童孤独症谱系障碍诊治的影响[J]. 中国儿童保健杂志, 2015, (23): 1278-1280.
[2]Baio J, Wiggins L, Christensen D L, et al. Prevalence of autism spectrum disorder among children aged 8 years- autism and developmental disabilities monitoring network, 11 sites, United States, 2014[J]. MMWR Surveillance Summaries, 2018,(6):1-23.
[3]李凤.论自闭症儿童的家长心理压力与调适[J].现代教育技术,2010,(S1):68-70.
[4]Dawson G, Bernier R. A quarter century of progress on the early detection and treatment of autism spectrum disorder[J]. Development & Psychopathology, 2013,(2):1455-1472.
[5]荆伟,方俊明.自闭症谱系障碍儿童词语习得研究述评[J].中国特殊教育,2011,(10):53-58、21.
[6]陈靓影,王广帅,张坤,等.基于计算机游戏的自闭症谱系障碍儿童评估研究[J].电化教育研究,2017,(11):81-86、120. [7]陈靓影,王广帅,张坤.为提高孤独症儿童社会互动能力的人机交互学习活动设计与实现[J].电化教育研究,2017,(5):106-111、117.
[8].Moore M, Calvert S. Brief report: Vocabulary acquisition for children with autism: Teacher or computer instruction[J]. Journal of Autism & Developmental Disorders, 2000,(4):359-362.
[9]胡晓毅,范文静.重度孤独症儿童接收性语言的干预研究[J].中国特殊教育,2016,(12):26-32.
[10]Allen M L, Hartley C, Cain K. Do iPads promote symbolic understanding and word learning in children with autism?[J]. Frontiers in Psychology, 2015,6:138(1-9).
[11][13]Escobedo L, Tentori M, Quintana E, et al. Using augmented reality to help children with autism stay focused[J]. IEEE Pervasive Computing, 2014,(1):38-46.
[12]Mcmahon D D, Cihak D F, Wright R E, et al., Augmented reality for teaching science vocabulary to postsecondary education students with intellectual disabilities and autism[J]. Journal of Research on Technology in Education,
91
Vol.29 No.8 2019 2016,(1):38-56.
[14]Carr E G, Pridal C, Dores P A. Speech versus sign comprehension in autistic children: Analysis and prediction[J]. Journal of Experimental Child Psychology, 1984,(3):587-597.
[15]Houston-Price C, Plunkett K, Duffy H. The use of social and salience cues in early word learning[J]. Journal of Experimental Child Psychology, 2006,(1):27-55.
[16]Mather E, Plunkett K. The role of novelty in early word learning[J]. Cognitive Science, 2012,(7):1157-1177. [17]王梅,张海丛,张群,等.基于眼动的孤独症儿童词语理解特点的研究[J].中国康复理论与实践,2016,(3):252-256. [18]荆伟.自闭症谱系障碍儿童词语习得中“快速映射”能力的实验研究[D].上海:华东师范大学,2013:5-6.
[19]Luyster R J, Kadlec M B, Carter A, et al. Language assessment and development in toddlers with autism spectrum disorders[J]. Journal of Autism & Developmental Disorders, 2008,(8):1426-1438.
The Application Research of Augmented Reality Technology in the Intervention of Children with Autism
——Taking the Lexical Cognitive Intervention as an Example
CHEN Jing-ying1,2[Corresponding Author] ZHAO Jun-min1 WANG Guang-shuai1 ZHANG Kun1,2 (1. National Engineering Research Center for E-Learning, Central China Normal University, Wuhan, Hubei, China 430079;
2. National Engineering Laboratory for Educational Big Data, Wuhan Hubei, China 430079)
Abstract: The paper aimed to explore the application effects of augmented reality technology on improving the lexical cognitive ability of children with autism. According to results of the Peabody Picture Vocabulary Test, 28 autistic children between the ages of 3 and 9 were randomly divided into two groups with the same ability. The children in the experimental group received teaching based on augmented reality technology, while the control group received the traditional picture teaching. Results showed that the interventions in the both groups achieved significant results, while the children in the experimental group performed better in the two dimensions of vocabulary identification and vocabulary naming, and this performance was related to the enhancement of attention. It was also found that children in experimental group showed a higher interest in teaching tools. Preliminary results indicated that the application of augmented reality was highly promising cognitive intervention material for autistic children. Keywords: autistic disorder; augmented reality; vocabulary cognition ————————
*基金项目：本文为2016年度国家社会科学基金项目“人机交互干预中孤独症儿童心理状态研究”（项目编号：16BSH107）的阶段性研究成果。
作者简介：陈靓影，教授，博士，研究方向为教育信息技术、特殊儿童教育、人机交互、机器学习，邮箱为chenjy@mail.ccnu.edu.cn。 收稿日期：2019年2月22日
编辑：小西
92
因篇幅问题不能全部显示，请点此查看更多更全内容