EXAONE金融时序模型突破传统注意力机制
「LG AI研究团队发布EXAONE Forecast for Finance金融时间序列基础模型,采用无注意力架构与线性时间算子,在FinVerse基准上三项评估均居首。该模型针对金融数据长序列、多通道、间歇性缺失等特性设计,覆盖六大资产类别,展现金融预测新范式。」
金融时间序列预测长期面临独特挑战:市场价格受多重因素交织影响,数据呈现高噪声、非平稳特征,且实际应用中常出现观测缺失。通用时间序列基础模型虽在零样本任务中表现优异,却因架构与预训练语料局限,难以直接迁移至金融场景。近日发布的EXAONE Forecast for Finance技术报告,展示了针对金融领域定制的专用时序基础模型,为破解上述难题提供了系统性解决方案。
该模型的核心创新在于架构层面的彻底革新。传统时间序列模型普遍依赖自注意力机制,其计算复杂度随序列长度和变量数量呈二次方增长,在处理金融领域中常见的长期、多通道面板数据时效率瓶颈明显。EXAONE Finance大胆弃用自注意力,转而采用两种简洁高效的线性时间复杂度算子:一维因果卷积负责时间维度混合,分组感知池化多层感知机负责变量维度混合。这种设计使模型能够以更低的算力成本处理更长序列与更多资产通道,同时刻保持对时间依赖关系的充分建模。
针对金融数据普遍存在的观测缺失问题,研究者引入了掩码上下文增强训练策略。在预训练阶段,模型会随机遭遇连续时间段的输入屏蔽,以此模拟真实市场中数据中断的情形。这一机制显著增强了模型对不完整数据的鲁棒性,使其面对间歇性观测面板时仍能维持稳定的预测效能。金融市场的交易记录常因停牌、流动性枯竭或数据源故障而出现缺口,这一设计直击行业痛点。
预训练语料的构建同样体现了金融专业性。EXAONE Finance不再局限于传统通用语料,而是在涵盖股票、外汇、大宗商品、加密资产、固定收益及宏观经济指标的大规模金融语料上进行训练。多资产类别的语料融合,使模型能够捕捉跨市场联动的复杂动态,而非仅关注单一市场波动。
评测结果充分验证了上述技术路线的有效性。在覆盖多元资产类别的金融预测基准FinVerse上,EXAONE Finance全面超越现有模型,在点预测精度、横截面资产排序及投资组合收益率三个递进层级的评估中均位列第一。尤其是投资组合层面的表现,意味着模型输出不仅具备统计意义上的准确性,还能切实转化为可观的经济回报——这对量化投资与风险管理实践具有重要意义。
从技术发展视角审视,EXAONE Finance的发布标志着时间序列基础模型正从通用型向行业垂直型演进。通用模型追求跨领域普适性,却常忽视金融数据的多重本质特性;而金融专用模型通过架构定制、数据定向与训练策略优化,在专业场景中实现了综合性能跃升。该模型采用的线性算子组合也为后续研究提供了可复用的架构参考——在保持高性能的同时降低推理成本,是行业落地的关键考量。
尽管报告未公开模型权重与详细实现,但其技术路线已经为金融时间序列建模开辟了重要新方向。未来,如何在更长预测跨度、更多类资产组合中持续验证模型边界,以及能否将此类架构推广至其他高噪声垂直领域,都值得持续关注。EXAONE Finance的突出表现,无疑将激励更多研究团队推进时间序列模型的行业专精化变革。
来源:Heooo AI工具导航