598 字
3 分钟
关于配置本地AI的思路

注:安装过程尽量全程开着梯子,有些网站国内访问太慢了,或者干脆访问不了。但是下载的量又比较大,所以最好使用比较便宜的线路。

主要有三个最主要的东西:

  1. 模型文件本身(在https://huggingface.co/上下载到的东西)
  2. 运行模型的程序(Ollama或llama.cpp这种)
  3. 加速模型运行的硬件驱动(CUDA或Metal这种)

首先是关于“运行模型的程序”,比较有名的两个选择是Ollama和llama.cpp:

  • Ollama:简单好用一站式服务,我之前一直用这个,但是这个貌似前阵子开发者爆过雷,然后有人说这个运行速度太慢什么的(我不确定)。
  • llama.cpp:我目前使用的引擎,我当时选择的是通过源码安装的版本外加自己编译的CUDA库。

Ollama的安装和使用太简单了,网上教程一大堆,可以自己去找。

关于llama.cpp,这个的安装可以参考官网:https://llama.app/download/windows

安装Ollama和llama.cpp的同时应该会自动安装CUDA/Vulkan等硬件驱动,一般情况不需要手动安装。

安装好后可以自己去找自己想用的模型下载:https://huggingface.co/

模型要求:

  • 参数最好小于8b,不然8G显存塞不下
  • 必须是ggml格式的模型,有民间自己自制的ggml格式的模型,但最好可以去官方维护的仓库下找:https://huggingface.co/ggml-org/models
  • 模型的上下文设置最好限制在25000token左右,这个上下文已经是非常小的了(对比模型提供商的模型),但在8G的显存上已经几乎要塞满了。属于能用但不好用,如果给的输入比较多的话甚至只能用一两轮。
  • 最好选择有标明“Instruct”的模型,这种属于可以调用工具的模型。(不过现在大多数模型应该都支持调用工具了,在下载前问下ai即可)

还有一点,当本地模型加载了之后,8G的显存基本上都需要用来放模型,也就是说不能用其他对现存要求比较高的软件了,比如游戏就不大好打了,显存不够用。 除非每次使用的时候加载模型进显存,然后不用时移除。但这样太慢了。

关于配置本地AI的思路
https://thyrius.top/posts/config-local-ai/
作者
Thyrius
发布于
2026-10-26
许可协议
CC BY-NC-SA 4.0