在 MacBook 上实现「大语言模型自由」—以通义千问 7B 模型为例
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
通过选择适合设备内存的模型,如 7B 或 14B 参数量的模型,并使用 llama.cpp 推理框架,用户可以在 MacBook Air 上运行 LLM(通义千问为例)。文章介绍了 ollama 和 llamafile 两种工具,还提供了实用的调试建议。此外,通过 Tailscale 和 Docker 实现远程访问和共享,用户可以在不同设备上灵活使用 LLM。
前言Mac / Windows / Linux 桌面设备的互通一直是个问题。为了能用一套键鼠同时控制多台不同系统的设备,多年来有很多方案可以实现。比较经典的是 Synergy ,但该软件已经变成...
当你抹掉 MacBook,进入 Recovery Mode 打算通过自带的 Install macOS Ventura 工具安装系统时,可能会发现安装异常缓慢,比如进度条长期卡在 2h30min...
网上关于 SSH 端口转发的文章有很多,但个人觉得都不够简单明了,甚至有些是错误的。因此在这里总结一下,供不时之需。首先需要明确,SSH 命令的用法还是以 Manpage 为准,参考:ssh(1...
在 Hyper-V 中安装 PVE,涉及到嵌套虚拟化的问题。特别需要注意 Hyper-V 虚拟机的 NAT 设置,若配置不正确会出现以下问题:在 Hyper-V 虚拟机中安装好 PVE,然后在 ...