跳至主要內容

03-Windows 本地部署 llama.cpp

AI悦创原创2025/3/9大约 2 分钟...约 635 字

1. 获取代码

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

2. CPU 构建

使用CMake构建 llama.cpp：

cmake -B build
cmake --build build --config Release

注意：你需要正确安装 Visual Studio Installer 中的生成工具，如果构建失败或者其它问题，需要重装“生成工具”或尝试“修复”。

实际截图

3. 下载大模型 gguf

自己去查找自己要下载的大模型，例如：https://huggingface.co/matrixportal/Llama-2-7b-chat-hf-Q4_K_M-GGUF

git clone git@hf.co:matrixportal/Llama-2-7b-chat-hf-Q4_K_M-GGUF

4. 运行大模型

huangjiabao@HUANGJIABAO D:\Coder\LargeModels\llama.cpp\build\bin\Release>.\llama-cli.exe -m ..\..\..\..\models\Llama-2-7b-chat-hf-Q4_K_M-GGUF\llama-2-7b-chat-hf-q4_k_m.gguf
  • 使用 llama-cli: llama.cpp\build\bin\Release 中的 \llama-cli.exe
  • gguf 模型路径：..\..\..\..\models\Llama-2-7b-chat-hf-Q4_K_M-GGUF\llama-2-7b-chat-hf-q4_k_m.gguf

欢迎关注我公众号：AI悦创，有更多更好玩的等你发现！

公众号：AI悦创【二维码】

AI悦创·编程一对一

AI悦创·推出辅导班啦，包括「Python 语言辅导班、C++ 辅导班、java 辅导班、算法/数据结构辅导班、少儿编程、pygame 游戏开发」，全部都是一对一教学：一对一辅导 + 一对一答疑 + 布置作业 + 项目实践等。当然，还有线下线上摄影课程、Photoshop、Premiere 一对一教学、QQ、微信在线，随时响应！微信：Jiabcdefh

C++ 信息奥赛题解，长期更新！长期招收一对一中小学信息奥赛集训，莆田、厦门地区有机会线下上门，其他地区线上。微信：Jiabcdefh

方法一：QQ

方法二：微信：Jiabcdefh

更新日志

2025/4/11 07:49
查看所有更新日志
  • 1c35a-去掉head于
  • aed17-启用编辑链接，提升文档的可用性和用户体验于
  • 8bc11-更新文档，将代码获取示例中的代码块标记从 git 修改为 bash于
  • f2a4a-更新文档，新增 Windows 本地部署 llama.cpp 的详细步骤和注意事项于
  • b31c9-新增文档，介绍 Windows 本地部署 llama.cpp 的步骤和注意事项；更新 DeepSeek 应用开发实用指南，增加功能调用和 ReAct 的智能化应用分析。于
  • 3c9ed-更新第39章文档，修改标题格式，优化参数与局部变量重名的描述于
  • fa3dc-新增第39章文档，包含Java体系课相关内容及辅导班信息于
  • ef13b-How to create DataFrame with feature importance from XGBClassifier made by GridSearchCV?于
  • cbb3a-update于
  • 610fe-remove password于
  • 76989-update于
  • 86c50-update于
  • 027da-first commit于

贡献者

AndersonHJBAI悦创