在 MacBook 上实现「大语言模型自由」—以通义千问 7B 模型为例
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
被这个问题困扰一段时间了,一直以为是 Docker 容器部署出了问题,没想到是个非常简单的错误。Typecho 把文章附件统一放在 Typecho\usr\uploads 文件夹下,但是这个文件...
最近发现了 Xray 这个新项目,结合之前的轮子,形成一个 Xray + Nginx + PostgreSQL + PHP + Typecho 的 docker-compose 快速部署方案...
思路来自:新 V2Ray 白话文指南:TCP + TLS + Web上文已经比较详细,本文作为回顾总结学习交流之用,相当于上文的补充和我个人遇到的问题的分享,限于个人水平,难免存在错讹之处,万望...