昇腾 910B 通过 LMDeploy 部署 DeepSeek R1 Distill Qwen
本方案可以实现多卡推理 DeepSeek R1 Distill Qwen 模型,全程操作没有使用容器,特别适合在 Batch System (e.g., Slurm, CraneSched) 下...
本方案可以实现多卡推理 DeepSeek R1 Distill Qwen 模型,全程操作没有使用容器,特别适合在 Batch System (e.g., Slurm, CraneSched) 下...
背景介绍日常开发中,经常需要远程操作 Linux 服务器,并在其中的容器里运行 X11 图形应用程序(如 xclock、matplotlib 等)。典型的操作场景为:从 Windows PC 上...
在 macOS 内置输入法和手机输入法上,输入汉字词汇会出现关联的 Emoji 候选项,因此使用 Emoji 非常方便。然而,Windows 自带的微软拼音输入法却不支持 Emoji 候选词。注...
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
前言Mac / Windows / Linux 桌面设备的互通一直是个问题。为了能用一套键鼠同时控制多台不同系统的设备,多年来有很多方案可以实现。比较经典的是 Synergy ,但该软件已经变成...