MicroLLM Lab：浏览器内体验7款微型大语言模型

近日，一个名为 MicroLLM Lab 的在线实验平台在开发者社区引发关注。该平台允许用户直接在浏览器中加载并运行多达7款微型大语言模型（Tiny LLMs），无需依赖服务器或本地部署环境。这一项目的核心目标并非评估模型的文本创作能力，而是聚焦于其在客观任务上的表现，例如正则表达式匹配或精确词元输出等可量化指标。

MicroLLM Lab 的设计理念强调“失败即测量”——即使是参数量仅为1.35亿的小模型，其在特定任务中的失败也被视为有效数据，用于衡量模型的实际能力边界。用户可自由选择模型组合，随后平台会自动执行一系列标准化测试套件（test suite），并在本地浏览器中完成全部推理过程。所有性能数据，包括每项测试的运行时间（毫秒）、任务准确率（通过率）以及持续解码速度（tokens/s），均仅保存在用户设备上，保障隐私安全。

平台提供三类关键指标可视化：首先是“准确率（最新测试套件）”，反映模型在客观任务中的正确响应比例；其次是“平均生成速度（tokens/s）”，衡量模型在持续文本生成阶段的效率；最后是“测试套件总耗时（ms）”，体现整体运行开销。这些数据均基于用户当前设备的实际运行结果，确保评测的真实性和可复现性。

值得一提的是，MicroLLM Lab 还支持生成“可验证性能证书”。该证书包含用户设备硬件信息、峰值与持续 tokens/s 数据、模型准确率及测试详情，用户可下载保存或分享至社交平台，便于横向对比不同设备或模型的表现。此外，平台内置 JavaScript 编辑器，允许高级用户编写自定义基准测试脚本。这些脚本通过 eval() 在当前域中执行，并对模型输出文本进行逐项校验，极大提升了评测的灵活性与扩展性。

该项目不仅为研究人员提供了轻量级模型的快速验证环境，也为教育和演示场景提供了低门槛的交互入口。由于所有计算均在客户端完成，MicroLLM Lab 展示了 WebAssembly 与现代浏览器在承载 AI 推理任务方面的巨大潜力，也推动了边缘端 AI 评测工具的发展。