1
选择使用场景
2
选择模型规模
自定义B
个人开发 · 7B 参数量
7B 模型部署方案
个人开发 · 自动匹配最优配置
入门方案最低配置
GPU
1 × RTX 4090
显存 24GB
量化精度
INT4
4bit 精度
内存 RAM
32GB+
DDR4/DDR5 ECC
存储
50GB+ NVMe
模型文件 + 缓存
Context
4,096
tokens 序列长度
Batch
1
并发批次大小
显存占用率17%
推荐均衡配置
推荐方案
GPU
1 × RTX 4090
显存 24GB
量化精度
INT4
4bit 精度
内存 RAM
32GB+
DDR4/DDR5 ECC
存储
50GB+ NVMe
模型文件 + 缓存
Context
4,096
tokens 序列长度
Batch
1
并发批次大小
显存占用率17%
高性能旗舰配置
GPU
2 × RTX 4090
显存 48GB
量化精度
FP16
16bit 精度
内存 RAM
33GB+
DDR4/DDR5 ECC
存储
50GB+ NVMe
模型文件 + 缓存
Context
8,192
tokens 序列长度
Batch
2
并发批次大小
显存占用率46%
💡
个人部署推荐 Ollama 或 llama.cpp，INT4 量化可大幅降低显存需求，效果损失有限。