指南2026年3月10日•9 分钟阅读
如何在最便宜的GPU云上运行Llama 3
在云GPU上运行Llama 3，8B模型最低仅需$0.40/小时，70B模型仅需$2.50/小时。以下是在最便宜的服务商上进行设置的完整教程。
各模型GPU需求
| 模型 | 最低显存 | 推荐GPU | 最低价格/小时 |
|---|---|---|---|
| Llama 3 8B (FP16) | 16GB | RTX 4090 / A10G | $0.35 |
| Llama 3 8B (4-bit) | 6GB | RTX 3080 / A4000 | $0.20 |
| Llama 3 70B (FP16) | 140GB | 2x A100 80GB | $5.50 |
| Llama 3 70B (4-bit) | 40GB | A100 40GB | $1.20 |
最快设置：在Vast.ai上运行Llama 3 8B
总费用：~$0.35-0.50/hr
- 在vast.ai创建账户，筛选$0.50/hr以下的RTX 4090
- 选择PyTorch 2.x + CUDA 12.x模板
- 通过SSH连接，然后运行：
curl -fsSL https://ollama.ai/install.sh | sh - 启动：
ollama run llama3 - 8B模型（约4.7GB）下载后几分钟即可就绪
Share this article: