在 MacBook 上实现「大语言模型自由」—以通义千问 7B 模型为例
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
VisageFuture 智颜未来:AI + 赝复产业主要业务是:用 AI 技术对残缺的人脸进行建模和修补,然后使用 3D 打印技术打印人面部的假体。这个项目是我在 港科广 参加 红鸟挑战营 时...
最近遇到了一个项目,Go 1.19 版本不支持,所以只能更换旧版进行开发。查阅文档发现 Golang 是支持多版本共存的。下面讲一下方法。以下内容均 不需要 root 权限。检查环境变量首先,确...
Emulate RISC-V on QEMU for Windows x64注意:本文不会使用 WSL2 这种曲线救国的方案,只会使用 QEMU for Windows 运行 Debian on...
这是 UESTC 网络算法基础课程的 Project 2 实现。关于环境的搭建,请参考:Mininet + RYU SDN 开发环境搭建 - Nativus' Space (naiv.fun)代...