行业资讯

英伟达开源PAIR调度本地跨设备AI请求

Heooo 09月04日09时01分 3 阅读

「英伟达开源推出Personal AI Router(PAIR)测试版软件,用于在局域网内自动发现并调度空闲电脑处理本地AI请求,兼容M4以上Mac、RTX PC及DGX Spark设备,为Ollama和LM Studio提供统一入口。实测利用5个子智能体,加入DGX Spark与RTX 5090后平均时间从18分钟降至8分48秒。」

英伟达近日以开源测试版形式推出Personal AI Router(PAIR)软件,旨在为局域网内的本地AI请求提供智能调度能力。该软件可以在M4及更高版本的Mac设备、英伟达RTX PC和DGX Spark上运行,为Ollama、LM Studio等本地AI工具提供统一的请求入口,让用户在家庭或办公局域网内能够将多个独立的AI请求分配给空闲设备处理。

从产品定位来看,PAIR本质上是一个局域网内的本地AI请求调度器。它能够自动发现已加入网络的电脑,并将每项请求动态分配给当前可用的设备。值得注意的是,实际的模型推理仍然由目标设备上的Ollama或LM Studio完成,PAIR本身并不运行模型,因此用户无需为每一款AI应用分别配置每一台机器,极大简化了多设备环境下的部署与管理流程。

在调度机制方面,当某一台设备繁忙或不可用时,PAIR会将新的请求转向其他已配对的设备,确保任务能够持续执行。英伟达举例称,当AI智能体同时审阅多份文档时,可以将彼此独立的任务分别交给不同的计算机并行处理。这种机制面向并发负载的分担,并不意味着单个AI回复会因为加入更多电脑而自动变快,用户需要明确其适用场景。

英伟达的演示展示了实际效果:在Hermes环境中使用Ollama与Qwen 3.6 35B A3B模型,将任务拆分为5个AI子智能体后,RTX Spark笔记本单独运行的平均完成时间为18分钟;而在加入DGX Spark和RTX 5090设备之后,平均时间缩短至8分48秒,性能提升显著。

PAIR的开源发布为本地AI开发者和重度用户提供了一种更灵活的硬件利用方式,让不同品牌和计算优势的设备可以协作参与AI任务处理。随着本地模型的日益复杂,这类调度工具将有助于盘活现有的多设备算力资源,成为个人与中小型工作流中的实用基础设施。

# 英伟达 # PAIR # 本地AI

来源:Heooo AI工具导航