FinPerMA基准测试揭示大模型个性化记忆短板

随着大语言模型（LLM）代理越来越多地应用于金融咨询等高风险领域，一个关键问题浮出水面：这些代理能否在长时间跨度内维护并更新对用户的个性化认知？现有研究多聚焦于事实性记忆的保持，或依赖约束较弱的模型生成轨迹，对事件驱动的偏好适应能力关注不足。为此，一项名为FinPerMA的新基准应运而生，旨在系统性地评估LLM代理在真实纵向投资者轨迹下的个性化记忆表现。

FinPerMA的构建采用了独特的生成流程：将确定性、基于理论的影响规则与受控的LLM叙述相结合，并辅以自动化质量筛选。该基准特别设置了一个“冲击后检查点”，用以判断代理是否已将重大事件整合进其持久用户模型中。这种设计使得评估不仅关注记忆的准确性，更关注记忆的动态更新能力——即面对新信息时，代理能否及时调整对用户偏好的理解。

研究团队基于276个虚拟人物画像生成了2，994个测试问题，对七个前沿LLM及其多种记忆配置进行了全面测试。结果令人意外：即便是使用完整上下文配置的模型，整体准确率也未能超过约0.47，多项选择题的准确率更是仅徘徊在39%左右。这意味着，当前最先进的模型在个性化记忆任务上远未达到饱和状态，仍有巨大的提升空间。

进一步的归因分析揭示了一个重要现象：基于摘要的记忆系统往往能保留事实细节，却丢失了对于个性化至关重要的偏好信号。这导致一个反直觉的结果——简单的检索方法有时反而优于专门设计的记忆系统，尤其是在经历重大事件冲击之后，这种差距会更加明显。这一发现对现有记忆架构的设计提出了挑战，提示开发者需要重新权衡记忆的压缩方式与信息保留策略。

FinPerMA的发布为AI代理的个性化能力评估提供了新工具，也为未来研究指明了方向。研究者指出，要真正实现可靠的个性化服务，模型不仅需要记住用户说了什么，更要理解用户行为背后的动机与偏好变化。该基准的引入有望推动更多团队关注这一长期被忽视的维度，从而加速更智能、更贴心的AI助手的发展。