机密GPU推理性能基准测试：H100与Intel TDX

随着人工智能推理工作负载处理敏感输入或保护专有模型资产的需求日益增长，机密计算正成为实用的部署要求。然而，为GPU加速的大语言模型服务启用机密执行所带来的性能成本，仍取决于具体工作负载，且对运营至关重要。最新一项来自arXiv的基准研究，系统评估了在Intel TDX机密实例中，单块NVIDIA H100 80GB GPU上运行大语言模型时的性能表现，为业界提供了关键参考数据。

该研究选取了两款具有代表性的语言模型：Mistral-7B v0.1和Qwen3-30B-A3B。前者是参数规模为70亿的经典模型，后者则是采用混合专家架构、总参数量300亿但激活参数仅30亿的高效模型。评估维度覆盖了首令牌时间、端到端请求延迟、单请求令牌生成吞吐量、全局令牌吞吐量，以及在高并发场景下的闭环请求吞吐量。通过对比标准非机密执行模式与机密计算模式，研究者量化了机密技术带来的性能损耗。

在固定请求率的实验中，机密模式对性能的影响显著。对于Mistral-7B模型，平均首令牌时间增加了21.8%；对于Qwen3-30B-A3B模型，这一增幅达到27.8%。与此同时，全局令牌吞吐量分别下降了17.7%和21.1%。这表明，启用机密计算后，模型的首个输出响应会明显变慢，整体处理能力也受到可观影响。值得注意的是，不同模型对机密模式的敏感度存在差异，更大或更复杂的模型可能面临更高的相对开销。

在闭环并发实验中，研究者模拟了实际服务中不断涌入请求的场景。结果显示，机密模式下的吞吐量差距维持在11.5%至20.2%的范围内，说明即使在高负载下，机密GPU推理仍然能够保持可用的吞吐量。然而，一个关键发现是：对于较大的Qwen3-30B-A3B模型，在机密模式下其吞吐量达到饱和的并发数点更早出现。这意味着，当并发请求数量增加时，大模型在机密环境中会比标准环境更早地触及性能瓶颈，导致后续请求的延迟急剧上升或吞吐量停滞。

这项研究的结论对AI推理部署具有重要实践意义。首先，机密GPU推理并非不可用，在合理负载下仍能提供有竞争力的性能，尤其适合处理金融数据、医疗记录或企业私有模型等敏感场景。但其次，容量规划必须更加谨慎：不仅要考虑稳态吞吐量约15%-20%的损失，还必须关注大模型在机密模式下更早出现的饱和行为。这意味着，为了达到与标准环境相同的服务质量，部署机密推理时可能需要预留更多的GPU资源，或者采用更精细的请求调度策略。

从技术角度看，Intel TDX与NVIDIA H100的结合代表了当前机密计算在AI领域的前沿尝试。TDX通过硬件隔离提供CPU侧的内存加密和可信执行环境，而H100则通过机密GPU功能保护GPU内存中的数据和模型。两者的协同工作确保了从输入到输出的全链路机密性，但代价是额外的内存加密、上下文切换和通信开销。本研究的量化数据为开发者提供了明确的性能基线，有助于他们在安全性与效率之间做出权衡。

未来，随着机密计算硬件和软件栈的持续优化，例如更高效的加密引擎、更智能的批处理策略以及针对大模型推理的专用加速器特性，这些性能开销有望进一步缩小。但在此之前，研究者建议，任何计划采用机密GPU推理的组织都应基于自身工作负载进行类似基准测试，以准确评估影响并合理规划基础设施。