包含标签 "LLM" 的文章

• Feb 02, 2025 + 707 字

  昇腾 910B 通过 LMDeploy 部署 DeepSeek R1 Distill Qwen

  本方案可以实现多卡推理 DeepSeek R1 Distill Qwen 模型，全程操作没有使用容器，特别适合在 Batch System (e.g., Slurm, CraneSched) 下...

• May 15, 2024 + 3018 字

  在 MacBook 上实现「大语言模型自由」—以通义千问 7B 模型为例

  通过选择适合设备内存的模型，如 7B 或 14B 参数量的模型，并使用 llama.cpp 推理框架，用户可以在 MacBook Air 上运行 LLM（通义千问为例）。文章介绍了 ollama 和 llamafile 两种工具，还提供了实用的调试建议。此外，通过 Tailscale 和 Docker 实现远程访问和共享，用户可以在不同设备上灵活使用 LLM。