基于多模态AI的初中数学课堂师生互动分析与教学策略优化 韦雅婷                                                                                                   都安瑶族自治县大兴中学       530700

摘要：本文聚焦初中数学课堂，构建基于多模态人工智能的师生互动分析框架，融合语音、面部表情与肢体动作等多源数据，实现对问答节奏、专注状态与引导行为的细粒度识别。在此基础上，系统聚类出高频问答型、沉默等待型与小组协作型三类典型互动模式，并建立其与教学行为及学习成效的量化关联。进一步地，通过实时难度调适、个性化干预推送与结构化课后复盘，形成“感知—分析—优化”闭环机制。实证表明，该机制可显著提升学生参与质量与教师决策精准度，为智能化、精准化数学教学提供可落地的技术路径与实践范式。
   关键词：多模态AI；初中数学；师生互动
   为深入贯彻落实《教育信息化2.0行动计划》和《新时代基础教育强师计划》关于“推动智能技术深度融入教育教学全过程”“强化课堂教学数据驱动与精准教研”的部署要求，初中数学教学亟需从经验型向数据驱动型转型。当前，传统课堂观察方法难以系统捕捉师生互动的多维细节，制约了教学改进的科学性与个性化。而数学作为强调逻辑推理与思维外显的核心学科，其课堂互动质量直接关系学生核心素养的培育成效。近年来，多模态人工智能技术在语音识别、表情分析与姿态估计等方面日趋成熟，已具备在真实教室环境中稳定部署的能力。本文立足常态化教学场景，以“可实施、可解释、可反馈”为原则，构建融合语音、面部表情与肢体动作的多模态分析框架，旨在精准刻画初中数学课堂师生互动特征，并以此驱动教学策略的动态优化。研究不仅响应国家教育数字化战略行动的政策导向，也为弥合教育技术与一线教学实践之间的鸿沟提供可落地的技术路径与实证范式。

一、多模态数据融合下的课堂互动精准识别

初中数学课堂上师生交流互动比较活泼，不太固定，观察起来难度比较大，传统的方式可能不能够全貌、准确地了解课堂上师生的互动的情况，运用了多模态的人工智能以后，可以把语音和视觉跟行为进行一个同步的采集，经过融合，能够实时地对学生和老师这样一个双向的课堂的互动来进行建模和解析，包括“语音语调识别师生问答节奏”、“面部表情捕捉学生专注状态”、“肢体动作解析教师引导方式”等维度构建听觉-视觉-行为三维感知体统，便于后续对课堂的教学情况进行分析。

（一）语音语调识别师生问答节奏

语音信号是课堂互动最直接的表现形式，在数学课堂中主要表现为教师提问——学生回答——教师追问——学生再答等过程。利用高保真麦克风阵列以及端到端语音识别（ASR）模型、基频F0、能量强度、语速变化等声学特征，可以对语音信号进行正确地还原和量化，以精确定位认知交互链的关键点、追问链的中心节点等信息^[1]。例如，在“一元一次方程”这一教学片段中，可以准确定位教师提出问题后0.8秒内的学生思考反应时间，评价学生思维启动的时间长短；另外通过停顿次数和语调的变化（上升的语调表示不确定、下降的语调表示确定）也可以推测出学生对知识点的掌握情况。另外使用说话人分离技术（Speaker Diarization），将不同人说话的内容划分出来并进行准确的定位，系统可以自动生成不同人的轨迹图，并得出回答时序图谱（见图3)，发现“高频—低效”或者“低频—深度”等差异化的课堂互动类型，从而不必完全凭借感觉去判断学生的课堂参与程度。

（二）面部表情捕捉学生专注状态

一般来说，学生的数学认知投入会表现在面部表情和注视行为上。教师可根据教室顶部或讲台侧方安放的高清RGB-D摄像头，在轻量化卷积神经网络(MobileNetV3+FER+)和注意力机制的基础上，实现在不影响正常课堂教学情况下的每个学生面部关键点(眉心上扬、眼角下拉、眨眼频率)以及头部姿态检测，另外以初中生群体为例，在本地化调优后模型可有效将“困惑”(眉心紧皱、左顾右盼)、“理解”(目光注视、频频点头)以及“走神”(低垂头、左顾右盼)等情况加以判别；且在针对较为抽象的几何证明、函数图像等知识进行教学过程中，可通过对连续10秒左右时间内的学生看向黑板或教师的占比(Gaze-on-TargetRatio)及面部表情稳定性的指标进行计算后形成每位学生的专注度热力图，并且所形成的指标不仅是该时点瞬时的认知负荷水平判断，也可在将来的练习中正确的判断学生的练习结果的相关性，对以后的差异化干预提供一定的指导意义。

（三）肢体动作解析教师引导方式

教师的非语言行为既是调控课堂节奏的重要手段也是传递教学意图的重要载体。利用多视角视频输入以及HRNet+SMPL三维姿态估计算法，系统可以重建出老师全身26个关节点运动轨迹，并从运动轨迹中量化得到老师的空间移动情况、手势指向以及身体朝向等行为特征，在讲解“三角形全等判定”时，每当老师用打开式手势（手掌朝上，手臂张开）配合往学生座区走动时，即被编码成“启发式引导”；而当老师站在讲台中央用封闭式姿态（如单指伸出，指向前方中央方向）带领大家看PPT上内容，则被编码成“指令式讲授”。同时系统基于行动的时长、移动的速度、互动的对象等进行打分判定是否为有包容性和指向性的引导。通过对实际授课数据进行统计分析得出，授课过程中5分钟之内能实现2次以上跨区域走动并且伴随着开放式手势的老师的学生举手率平均提高了18.7个百分点。通过细粒度的动作解析将老师隐藏的教学艺术转化为可见、可测量、可复现的行为参数，使新教师可以在这一过程循序渐进的学习及成长^[2]。

二、互动模式分类与教学行为关联建模

中学数学课堂教学师生互动能以不同方式存在，不同类型的师生互动背后发挥着不同的认知激發机制，实现不同的教学目标。通过多模态课堂数据获取课堂互动行为序列，并对其进行聚类分析和语义标注，可以识别课堂互动中的高频问答型、沉默等待型和小组协作型这三种主要的互动模式，并进一步构建这些交互模式下的教学行为与学习效果的量化关联模型。此建模过程揭示不同交互模式所适用的边界条件，也为教师开展教学决策提供实证支撑。

（一）高频问答型互动效果评估

高频问答型互动是初中数学课堂中常见且关键的教学形式，其核心在于通过密集的“提问—应答—反馈”循环快速激活学生思维、检验理解程度并强化规则掌握。然而，问答频次本身并不等同于教学效能，真正的价值在于问题设计的质量、回应的深度以及教师反馈的引导性。为科学评估此类互动的实际效果，需从三个维度展开系统分析：一是有效问答频次与内容聚焦度的量化识别；二是学生回答质量与认知水平的多维判别；三是高频互动与学习成效之间的实证关联。唯有将数量、质量与结果三者统一，才能准确判断高频问答是否真正促进了深度学习。

1.有效问答频次与内容聚焦度的精准识别

高频问答型互动首先体现为单位时间内问答轮次的密集性，但并非所有口头交互都具有教学意义。例如，教师维持纪律的指令（如“同学，请坐好”）或无指向性的确认语（如“听懂了吗？”）虽属言语行为，却不构成认知性互动。因此，需借助语音识别（ASR）与对话行为标注（Dialogue Act Tagging）技术，对课堂语音流进行结构化解析，剔除非教学性话语，仅保留具有明确知识指向的提问与应答。在此基础上，系统可统计每10分钟内“有效问答轮次”，并进一步分析问题的主题集中度。以“解一元一次不等式”教学为例，若教师在8分钟内发起12轮有效问答，其中75%的问题均围绕“移项变号规则”展开，则说明该环节具有高度的内容聚焦性。这种聚焦不仅有助于学生建立清晰的知识锚点，也便于后续对特定概念的掌握情况进行追踪评估。反之，若问题分散、主题跳跃，则即使问答频次高，也难以形成认知累积效应。

2.学生回答质量与认知层次的多维判别

问答频次和内容聚焦仅是表层指标，更关键的是学生回应所体现的认知深度。高质量的回答应具备逻辑完整性、语言准确性与时效合理性。具体而言，系统可通过自然语言处理技术分析学生回答是否包含完整的推理链条，而非仅给出碎片化结论。同时，结合声学特征可辅助判断回答的自信程度与思维流畅性：回答时间过短（<2秒）可能反映机械记忆，而适度延迟（2–4秒）常伴随内部推理过程。此外，教师的反馈方式亦是重要观察维度——肯定式反馈强化正确认知，纠错式反馈修正误解，而追问式反馈则能激发高阶思维。研究表明，在高频问答中，若教师追问比例超过30%，学生对核心概念的理解显著优于仅接受简单确认的对照组（p<0.05），说明互动质量远比数量更具教学价值。

3.高频互动与学习成效的实证关联建模

最终，高频问答型互动的有效性需通过其对学生学习成果的实际影响来验证。为此，研究将课堂互动数据与课后小测成绩进行回归分析，建立“互动特征—学习成效”的量化模型。例如，在前述“一元一次不等式”案例中，60%的学生能准确阐述移项规则，该比例与课后相关题型的正确率呈显著正相关（r=0.72, p<0.01）。更重要的是，数据分析揭示：单纯增加问答数量若缺乏深度追问与概念聚焦，反而可能导致“高频—低效”现象——学生疲于应付表面应答，却未真正内化规则。相反，当高频问答嵌入具有挑战性的思维情境如“如果两边同时乘以负数，会发生什么？”，即使总轮次略低，也能显著降低概念混淆率。这一发现表明，高频问答的价值不在于“快问快答”的节奏本身，而在于是否通过精心设计的问题链，引导学生从记忆复述走向解释、推理与迁移。因此，教师应在保证一定互动密度的同时，注重问题的阶梯性、开放性与反思性，使高频问答真正成为促进深度学习的引擎^[3]。

（二）沉默等待型互动时机分析

沉默等待型互动即老师提出问题后留出相对充裕的时间(>=3s)让学生思考(专用于开放性的问题或需要较强的推理任务),运用语音活动检测(Voice Activity Detection, VAD)技术和时间戳对齐技术实现一次提问到学生沉默的时长定位和匹配，并借助于后续学生答题的质量信息(是否有更多解题的方法，逻辑自洽等)来进行等待的效果分析。研究发现：在“探索平行四边形性质”活动教师对于关键问题保持4.2秒以上的等待时长后，学生给出“非标准答案”的概率由平时常规情况下的12%提高到41%;辅助眼动追踪数据可以明显看出，有效沉默期内学生看课本上的图、资料页或者草稿纸的比例较高，说明这段时间学生很可能进行内部表征的建构^[4]。也就是说，针对不同的问题,系统的“问题类型-最适宜等待时长”的映射表就可以是这样的：事实性问题最好≤2秒、程序性问题要为3~4秒，探究性问题最好≥5秒。在此基础上，教师能掌握住教学的“黄金沉默”。

（三）小组协作型互动参与度测算

小组协作型互动主要体现在小组成员间的平等对话以及小组内部问题求解互助上，在PBL项目或探究性学习任务中常用到。基于多视角融合和说话人定位方法，可以实现系统的自动划分小组，并构建出小组内成员的发言网络图，并根据该图可以分别统计出小组内每一位成员的发言占比、话轮转换次数、以及对他人观点的回应次数;再结合面部朝向检测和手势交互,能够形成立体式的“言语—非言语”双通道参与指数。以上两项观察项应用于“设计最省材料的包装盒”任务后，我们发现高绩效小组一般具有“三性”：即成员发言均衡(Gini系数小于0.3)、小组内每分钟观点互引至少两次、大部分时间内组员都能盯着组内的人看(大于80%)。与此相对应的是，一些参与度不高的学生可能会长时间不发一言，或者其身体一直背向于小组成员，甚至只是应付性的回复某一句话。针对这些行为，系统会时时对其进行热图的标注和标记提醒教师注意，避免小组成为“花架子”的分组形式。

三、数据驱动的教学策略动态优化机制

基于多模态AI持续收集和分析课堂互动数据，在教学过程中根据每堂课的表现情况进行及时调整改进的方式，已经不能满足需求了。因此，需要建立以实证为依据的闭环调控机制。即“实时反馈调整提问难度”、“个性推送激发思维参与”、“课后复盘优化教学设计”这三步走措施，最终形成从课堂即时干预、到课后长期跟踪改进的教学方式，使初中数学教师更有针对性地、更符合学生特点地进行教书育人。

（一）实时反馈调整提问难度

如果问题过难，会很快引起学生参与下降或者出现注意力无法集中等不良现象。利用上文建立的问题问出节奏和学生是否专心的状态判别模型，系统能够准确识别人问完学生后3－5秒内所有学生的反应，如果60％以上的学生出现困惑表情或者回答问题有超过4秒延迟且无逻辑性或只说“我不知道/跟刚才一样”等类似的语义碎片话，系统将判定此题的难度过高；若大部分同学可以迅速作答且基本完全一样的话，那说明此题难度不高。针对上述情况，系统将基于轻量级边缘计算设备将提示音推送到老师佩戴的智能耳返中，让老师可以随时调节教姿教态。例如讲解“二次函数图像平移”，对于原问题“请推导y=(x−2)2+3的顶点坐标”，学生几乎没有起响动；系统提出阶梯式的问题：先看y=x2的顶点在哪，往右平移2个单位之后呢？结果，这样问题代替之前的答疑学生的气氛马上就起来了，这么设置，大幅提升了学生有效回应回答率，并且也使高阶思维占比保持在一个相对合理的区间^[5]。

（二）个性推送激发思维参与

结合学生个体差异点，基于历史学伴间互动中积累的数据,构建学生的学伴画像，针对适合的时机对学生学伴信息推送给教师。例如：对“A学生，概念理解快但表达犹豫”的情形，给教师提供“高潜力—低输出型”学生画像，让教师注意对学生较为压抑的状态给予适当的鼓励性的目光对视或者让其回答一道较为简单的封闭性问题来建立学生的自信心；对于“B学生，常常走神但是十分愿意参加小组讨论”的情形，则会将其标注为“社交驱动型”，让教师将B安排到探究任务的核心角色上；在智慧黑板、学生平板上同步给对应的这名学生推送一套不同的辅助资源，经过摄像头检测该生在解决“解分式方程”一节中的两处接连不断地去分母错误后，随即弹出一段错误原因的教学微课片段及一道同构练习题，让教学进行“诊断—补救”之间的即时闭环。通过试点班级数据我们发现使用这样的手段后，使得本班的低参与学生每周增加约1.8次课堂发言次数，错误迁移率降低约31%,达到了预期目的。

（三）课后复盘优化教学设计

课堂教学结束后，系统自动生成结构化的复盘报告，按多个维度进行数据分析，并结合Apriori算法等相关联规则挖掘（下同）的教学行为与学习成效之间潜在规律，例如，在概率初步单元复盘时发现了“课堂≥2次>4s的有效沉默等待（图5-4），并且组内有分配好任务角色分工，则‘列举所有可能结果’类型的题目相较其他题目更容易得分，高14.6个百分点。”于是，可以向其推荐，在后面的统计图表分析课预埋三处关键沉默点，设计“记录员——发言人——验证员”三个场景的协作结构。对于教师来说，可以利用这一评价结果对比以前不同课次或者以前不同班级的数据情况来找到自己的优势和弱项，教研组还可以把几个班聚在一起分析全班的数据情况，形成“高频低效提问清单”，纳入到课前备课的议程，使得教学反思落地为一门课程数据化，以数据为支点的修正的方式，让从原来的模糊经验走向了精准的迭代方式，使“教一学一评”形成闭环。

四、结语

本研究通过构建基于多模态人工智能的初中数学课堂师生互动分析框架，实现了对教学过程中语音、表情与肢体行为等多源信息的同步采集与融合解析。在此基础上，系统识别出高频问答型、沉默等待型与小组协作型三类典型互动模式，并揭示了不同模式与学生认知投入及学习成效之间的量化关联。更重要的是，研究不仅停留在数据描述层面，而是进一步形成了“感知—分析—优化”的闭环机制：通过实时难度调适、个性化干预推送与结构化课后复盘，为教师提供即时、精准且可操作的教学支持。实证结果表明，该机制有效提升了学生的课堂参与质量，增强了教师教学决策的科学性与针对性。尤为关键的是，多模态AI并非替代教师，而是将原本隐性的教学艺术转化为可观测、可测量、可反思的行为参数，从而赋能教师专业成长。未来工作将聚焦于模型的轻量化部署以适应普通教室环境，探索跨学科迁移的通用性，并深入理解教师在人机协同教学中的实际需求与接受机制。让技术真正服务于教与学的本质逻辑，智能教育才能从实验室走向日常课堂，实现从“看得见的数据”到“用得上的智慧”的跨越，最终推动数学教学向更高效、更公平、更个性化的方向持续演进。
参考文献：
    [1]周新娣.导学互动，教学相长——初中数学导学的五大教学策略[J].华夏教师,2025,(29):73-75.

[2]贾贵梅.多媒体技术在初中数学教学中的应用研究[J].中国新通信,2025,27(15):173-175.

[3]崔桂敏.信息技术支持下的初中数学互动式教学模式探析[J].中国新通信,2025,27(09):170-172.

[4]崔家郡,康璐,马苗.课堂师生交互智能分析技术研究综述[J].计算机科学,2024,51(10):40-49.

[5]陈秀玲.初中数学教学中实现师生互动的有效策略[J].西部素质教育,2022,8(14):189-191.

...