Osaurus开源LLM服务器:Mac本地AI新选择
开源项目

Osaurus开源LLM服务器:Mac本地AI新选择

Heooo 05月15日21时18分 3 阅读

「Osaurus是一款开源、仅支持Mac的LLM服务器,允许用户在本地或云端AI模型间灵活切换,同时将文件与工具保留在个人硬件上,提供安全、易用的AI体验。」

随着AI模型日益商品化,初创公司正竞相构建位于模型之上的软件层。在这一领域中,Osaurus作为一款开源、仅支持苹果设备的LLM服务器脱颖而出。它允许用户在本地或云端的不同AI模型之间自由切换,同时将文件、工具等个人数据保留在自己的硬件上,实现了灵活性与隐私保护的平衡。


Osaurus界面

Osaurus的诞生源于其联合创始人Terence Pae对桌面AI助手的构想。此前,Pae曾开发一款名为Dinoki的AI伴侣,被形容为“AI版的Clippy”。然而,Dinoki的用户提出了一个关键问题:如果使用AI仍需要支付Token费用(即AI公司按处理提示和生成响应次数收取的使用费),他们为何还要购买这款应用?这一质疑促使Pae深入思考本地运行AI的可能性。


“这就是Osaurus的起点,”曾任职于特斯拉和Netflix的软件工程师Pae在电话采访中向TechCrunch表示。他解释道,核心想法是尝试在本地运行AI助手。“你几乎可以在Mac上本地完成所有操作,比如浏览文件、访问浏览器、查看系统配置。我认为这能让Osaurus成为个人AI的理想选择。”Pae以开源项目的形式公开构建该工具,在开发过程中不断添加功能并修复漏洞。


Osaurus功能演示

如今,Osaurus能够灵活连接本地托管的AI模型或云端提供商(如OpenAI和Anthropic)。用户可自由选择使用的AI模型,同时将AI体验的其他方面——如模型的内存、文件或工具——保留在自己的硬件上。鉴于不同AI模型各有优势,这种架构使用户能够切换到最适合自身需求的模型。


这种结构使Osaurus成为一种“控制层”(harness),即通过单一界面连接不同AI模型、工具和工作流的控制层,类似于OpenClaw或Hermes等工具。然而,区别在于,这些工具通常面向熟悉终端操作的开发者,且有时(如OpenClaw)可能存在安全问题和漏洞隐患。而Osaurus则提供了消费者易于使用的界面,并通过在硬件隔离的虚拟沙箱中运行来应对安全担忧。这限制了AI的作用范围,确保计算机和数据的安全。


Osaurus安全沙箱

当然,在本地设备上运行AI模型仍处于早期阶段,因为它对资源消耗较大且高度依赖硬件。要运行本地模型,系统至少需要64GB内存;对于运行较大模型(如DeepSeek v4),Pae建议使用约128GB内存的系统。但Pae相信,随着时间的推移,本地AI的需求会逐渐降低。“我能看到它的潜力,因为每瓦特智能(即本地AI的衡量指标)正在显著提升。它有自己的创新曲线。去年,本地AI几乎无法完成完整的句子,但现在……”他暗示着技术的快速进步。


Osaurus的出现,为Mac用户提供了一种兼顾性能、隐私与灵活性的AI使用方式。随着本地AI能力的持续增强,这类工具或将成为个人计算的重要一环。


Osaurus本地运行

# Osaurus # LLM服务器 # Mac # 开源 # 本地AI # AI工具

来源:Heooo AI工具导航

📰

资讯不存在

该资讯可能已被删除或不存在

返回资讯列表