小型语言模型在编程辅导中的基准测试

大型语言模型作为 AI 导师的潜力正受到广泛关注，然而在 K-12 教育环境中部署这些模型却面临隐私、成本和对专有模型依赖等挑战。小型语言模型（SLM）因其更低的计算需求和更强的可控性，被视为一种有前景的替代方案。然而，为特定教育场景选择合适的小型模型并非易事，尤其是当目标领域（如基于块的编程）在模型训练数据中几乎不存在时。

针对这一难题，研究人员推出了 CSTutorBench，这是一个专门用于评估语言模型在 VEX VR（一种基于块的机器人编程环境）中担任计算机科学导师能力的基准测试。该基准由 17 个场景化问题组成，这些问题基于已有的教学辅导和反馈研究，构建了一套教学法评分标准。评估过程采用人机协同的 LLM-as-judge 流程，即由人类专家参与指导，由大型语言模型作为裁判对模型回答进行打分，从而确保评估的准确性和可靠性。

初步测试涵盖了 11 个不同规模的模型，参数范围从 4B 到 120B。结果显示，这些模型在表面层面的标准上表现尚可，例如使用恰当的词汇和友好的语气。然而，在更深层的教学行为方面，模型普遍表现不佳，尤其是在避免直接泄露答案以及主动参与学生的调试历史分析这两个关键维度上。这表明，当前的小型语言模型在模拟真实教师的教学策略和互动模式方面仍有显著差距。

研究还发现，模型家族和指令调优方法比单纯的参数数量更能预测模型的辅导质量。例如，某些经过特定教育数据调优的较小模型，其教学表现甚至优于参数规模更大的通用模型。不过，由于测试的模型数量有限，这一结论的普遍性仍需进一步验证。此外，研究人员基于近期教育提示工程的研究成果，对提示词进行了针对性修订，结果发现 11 个模型中有 10 个的分数得到了提升，这证明了上下文特定和教学法驱动的提示优化对于提升 SLM 教育应用效果的重要性。

CSTutorBench 的提出填补了块编程教育领域缺乏针对性模型评估工具的空白。它强调了在部署 AI 导师时，不能仅仅依赖模型规模或通用基准得分，而必须结合具体的教育场景和教学法要求进行细致评估。这一基准有望为教育技术开发者和研究人员提供重要参考，帮助他们在隐私、成本和教学效果之间找到平衡，从而推动小型语言模型在 K-12 编程教育中的安全、有效应用。