Ubuntu 26.04 on 远思码技术实验室

在 Ubuntu 26.04 LTS 上编译与部署 llama.cpp (支持 AMD ROCm 7.2 极致显存压榨)

Sun, 31 May 2026 19:00:00 +0800

在大模型算力本地化部署的浪潮中，llama.cpp 凭借其极致的 C/C++ 架构设计、内存流式加载以及广泛的硬件适配，成为了本地设备上高效推理大语言模型（LLM）的绝对核心。

本文将完整演练如何在最新的 Ubuntu 26.04 LTS 生产环境下，基于 AMD ROCm 7.2.3 架构底座，全流程从源码编译、优化并全局部署 llama.cpp。本指南特别针对消费级旗舰 APU 或配备大容量 UMA 共享显存（如 48GB 统一显存）的硬件环境进行深度硬件调度优化，助您在保障数据绝对私密的前提下，无缝打通从底层驱动到百亿参数企业级旗舰模型超长上下文推理的完整闭环。

1. 系统底座配置：ROCm 7.2.3 驱动安装

首先，我们需要为系统配置标准的 AMD GPU 官方软件源，并锁定版本优先级，以避免系统后续自动更新时产生包冲突。

1.1 添加官方 GPG 密钥与仓库

在终端中依次执行以下命令，完成软件源和优先级的配置：

# 更新基础系统包
sudo apt update && sudo apt upgrade -y
sudo apt install wget curl gnupg2 -y

# 创建安全密钥目录并拉取 AMD GPG key
sudo mkdir -p /etc/apt/keyrings
wget https://repo.radeon.com/rocm/rocm.gpg.key -O - | gpg --dearmor | sudo tee /etc/apt/keyrings/rocm.gpg > /dev/null

# 添加 ROCm 7.2.3 官方源（由于 26.04 刚发布，此处前向兼容 noble 分支）
sudo tee /etc/apt/sources.list.d/rocm.list << EOF
deb [arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] https://repo.radeon.com/rocm/apt/7.2.3 noble main
deb [arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] https://repo.radeon.com/graphics/7.2.3/ubuntu noble main
EOF

# 设置 APT 优先级锁定，确保 ROCm 官方包不被 Ubuntu 默认包覆盖
sudo tee /etc/apt/preferences.d/rocm-pin-600 << EOF
Package: *
Pin: release o=repo.radeon.com
Pin-Priority: 600
EOF

1.2 安装核心组件与硬件赋权

刷新软件源索引，并安装核心内核级加速模块（DKMS）与完整 ROCm 工具链。对于 APU/核显架构，必须获取底层的硬件访问权限：

sudo apt update

# 完整安装全套 ROCm 组件（推荐，内含完备的 SDK 开发包）
sudo apt install rocm amdgpu-dkms -y

# 将当前操作用户加入视频与渲染用户组
sudo usermod -a -G render,video $USER

重要提示： 用户组权限分配完毕后，请务必重启系统（或完全注销重新登录），使内核对当前用户的硬件调用赋权正式生效。

2. 避坑指北：解决 Ubuntu 26.04 底层动态链接库断层

由于 Ubuntu 26.04 将大量的底层核心系统库升级到了全新的主版本（例如 libxml2 迭代至 16），而许多预编译的深度学习组件或周边依赖在编译链接时仍会固执地寻找旧版的 libxml2.so.2。

为了规避程序运行时抛出 Shared object file not found 错误，我们需要在环境搭建之初，建立一个优雅的向后兼容软链接：

# 1. 确保系统级 libxml2 开发环境齐备
sudo apt install libxml2-16 libxml2-dev -y

# 2. 创建动态库软链接（解决老版本编译轮子依赖冲突的硬核操作）
sudo ln -s /usr/lib/x86_64-linux-gnu/libxml2.so.16 /usr/lib/x86_64-linux-gnu/libxml2.so.2

3. 环境加速：Hugging Face 镜像站配置

在本地部署大模型时，动辄数十 GB 的 GGUF 权重文件极其考验网络稳定性。配置国内镜像加速是跑满网络带宽、保障大文件下载零中断的标准最佳实践。

# 将环境变量写入 bash 配置文件使其永久有效
echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc
source ~/.bashrc

4. 源码编译与全局安装 llama.cpp

驱动与基础环境就绪后，我们开始通过 CMake 对 llama.cpp 进行原生构建，并指定开启针对 AMD 显卡的 HIP 后端加速。

4.1 克隆源码

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

4.2 针对特定 GPU 架构执行 CMake 构建

在此步骤中，请使用 rocminfo 确认您的具体硬件架构（例如集显 Radeon 890M 对应的架构代号通常为 gfx1150）。在配置 CMake 时，显式传入对应的 AMDGPU_TARGETS：

mkdir build && cd build

# 运行 CMake 配置，开启 HIP 加速，并指定硬件架构（以 gfx1150 和 gfx1200 为例）
cmake .. -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1150,gfx1200 

# 利用系统多核算力开始并行编译
make -j$(nproc)

4.3 全局系统级安装

编译完成后，为了避免在编写自动化脚本或跨目录调用时使用繁琐的相对路径，建议将其规范化地安装至全局环境变量：

# 将编译产物规范化安装至系统路径（如 /usr/local/bin）
sudo cmake --install .

安装成功后，在系统任意路径输入 llama-cli --version 即可验证环境就绪情况。

5. 拓展配置：构建全栈 Python AI 生态

除了基于 C++ 原生运行 llama.cpp，构建一套完整的本地算力节点还需要 Python 生态支持，这对于后续运行 Hugging Face transformers 原生推理、执行 GGUF 格式转换（如 convert_hf_to_gguf.py）至关重要。

# 升级基础包管理器
pip install --upgrade pip

# 从 PyTorch 官方源拉取适配 ROCm 7.2 的最新版深度学习加速库
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.2

5.1 显卡识别与大容量显存测试

配置完毕后，编写简短 Python 脚本验证硬件底座是否被打通：

import torch

print(f"PyTorch 核心版本: {torch.__version__}")
print(f"ROCm 硬件加速是否可用: {torch.cuda.is_available()}")

if torch.cuda.is_available():
    print(f"当前调度设备: {torch.cuda.get_device_name(0)}")
    # 针对大容量 UMA 共享显存配置，此处将输出系统实际划拨的显存尺寸

6. 极压榨实战：企业级高并发服务部署 (llama-server)

现在，我们将挑战大模型本地化部署的极限：在具备大容量共享显存（48GB UMA）的主机上，运行达到 35B 参数规模的旗舰大模型 Qwen 3.6 35B，并开启 128K (131072 Token) 的超长上下文窗口。

这是一个生产级、具备高安全策略的 llama-server 启动脚本：

# 创建并进入模型目录，使用 huggingface-cli 稳定拉取大模型权重
mkdir -p ../models && cd ../models

# 利用 CLI 客户端和镜像源高速下载特定 Qwen 3.6 35B 强力去无监督量化版本
huggingface-cli download   Qwen/Qwen-7B-Chat-GGUF   qwen-7b-chat-q4_k_m.gguf   --local-dir .   --local-dir-use-symlinks False

# 启动高并发、具备极致显存优化的 OpenAI 兼容 API 服务
llama-server   -m ./Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q8_K_P.gguf   --mmproj ./mmproj-*.gguf   --jinja   -c 131072   -ngl 99   --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0 --presence-penalty 0   --flash-attn   --cache-type-k q8_0 --cache-type-v q8_0   --api-key "你的实验室自定义安全密码"   --host 0.0.0.0 --port 8080

6.1 核心参数解析与“显存魔术”：

格式与多模态原生对齐：
- --mmproj：挂载多模态视觉投影矩阵文件，让 API 接口瞬间拥有解析图表、研报截图的视觉感知能力。
- --jinja：强制启用原生的 Jinja 模板引擎解析 Prompt 结构。这对于 Qwen 3.6 等新一代模型至关重要，能严丝合缝地还原训练阶段的特殊 Token，彻底杜绝多轮对话后角色混乱或逻辑飘移的问题。
显存极限压榨（在 48GB 内塞下 35B 模型 + 128K 上下文的核心秘诀）：
- -ngl 99：(--n-gpu-layers) 将模型的所有计算层全量卸载（Offload）到 GPU。由于我们有 48GB 的超大统一显存（UMA），设置 99 可以保证所有核心计算完全在 GPU 算力单元内闭环，杜绝 CPU 内存因频繁交换数据而产生的性能卡顿。
- --flash-attn：强制激活 Flash Attention（闪电注意力机制）。在处理超长文本（如吞入整篇金融长篇大作或历史回测日志）时，它能成倍降低注意力矩阵带来的显存开销，让显存需求曲线由传统的二次方变为线性。
- --cache-type-k q8_0 --cache-type-v q8_0：KV Cache 8-bit 量化。这是关键的显存魔术。在 128K 超长上下文的吞吐下，不加此参数的原始 KV 缓存会吞掉数十 GB 显存；开启 8-bit 量化后，KV 缓存的体积被原地压缩近 50%，配合 Q8 级别高精度模型，完美达成精度与显存空间的极致平衡。
边界安全与环境鉴权：
- --api-key：由于服务通过 0.0.0.0 监听局域网甚至公网，通过强制添加鉴权令牌（Bearer Token），为内部量化系统调用或接入前端（如 Open WebUI）提供坚固的安全防线。

总结

通过在最新的 Ubuntu 26.04 上借助 ROCm 7.2 构建 llama.cpp 全栈架构，我们成功在本地打通了从硬件驱动、动态库兼容性补丁、深度学习生态到生产级高并发 API 服务的全链条。

借助大容量统一显存（UMA）与 KV 缓存压缩、Flash Attention 等极限技术的化学反应，个人与实验室用极低的硬件开销，便能流畅驾驭百亿级、全功能的企业级模型。这不仅为前沿策略的回测、长文本长代码的本地深度离线解析夯实了算力底座，更把数据的“绝对控制权”与隐私壁垒牢牢锁在了本地。

远思码技术实验室 远思为径，码动价值。

Ubuntu 26.04 LTS 安装 Miniconda3 及 systemd 守护进程配置指南

Sun, 31 May 2026 16:22:00 +0800

远思为径，码动价值。欢迎来到远思码技术实验室的最新技术实践记录。

随着 Ubuntu 26.04 LTS 的正式发布，我们在更新主力算力平台后，底层开发环境的重新构建也提上了日程。在利用 Radeon 890M 核心显卡及 48GB UMA 统合内存进行本地量化策略开发与轻量级模型微调时，一个纯净且隔离性良好的 Python 环境至关重要。

本文将详细介绍如何在 Ubuntu 26.04 LTS 上从零安装 Miniconda3，并分享如何通过 systemd 将运行在 Conda 虚拟环境中的 Python 程序（如量化监控、自动化脚本或 Jupyter 服务）配置为系统守护进程。

一、环境准备与依赖更新

在开始安装之前，先同步系统的软件包索引并更新基础工具，确保后续操作顺利进行：

sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential curl wget git

二、下载与安装 Miniconda3

1. 下载最新版安装脚本

推荐直接从 Anaconda 官方源下载适用于 Linux x86_64 架构的 Miniconda3 安装脚本：

mkdir -p ~/downloads
cd ~/downloads
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2. 执行安装程序

运行下载好的 shell 脚本进行安装。在安装过程中，连续按回车浏览许可协议，并在提示时输入 yes 同意条款：

bash Miniconda3-latest-Linux-x86_64.sh

安装路径提示：默认会安装在 ~/miniconda3 下，直接回车确认即可。
初始化确认：当提示是否运行 conda init 时，建议输入 yes。这会自动修改你的 ~/.bashrc 文件，方便在打开终端时自动加载 Conda。

3. 激活与验证

为了让环境变量立即生效，刷新当前的终端会话：

source ~/.bashrc

此时终端提示符前通常会出现 (base) 字样。输入以下命令验证是否安装成功：

conda --version

如果正常输出 Conda 的版本号，则说明核心环境已就绪。为了防止每次开机终端默认直接进入 base 环境，可以运行以下命令关闭自动激活：

conda config --set auto_activate_base false

三、创建与管理虚拟环境

以构建一个专门用于自动化策略的 Python 3.11 环境为例：

# 创建名为 py311 的环境
conda create -n py311 python=3.11 -y

# 激活环境
conda activate py311

在虚拟环境中，你可以自由地通过 pip 或 conda 安装所需的依赖库，而不会对系统自带的 Python 产生任何污染。

四、使用 systemd 配置虚拟环境服务的守护进程

通常 Miniconda3 本身只是一个 environment 管理器，不需要常驻后台。但如果我们用 Conda 环境编写了一个长周期运行的 Python 自动化脚本、Jupyter Lab 或者后台 API 服务，就需要利用系统的 systemd 工具进行守护。

在配置 systemd 时，最关键的一点是必须指定虚拟环境中 Python 解释器的绝对路径，而不是全局的系统路径。

1. 查找虚拟环境的 Python 路径

首先激活你的目标环境，然后获取 Python 的绝对路径：

conda activate py311
which python

通常输出格式为：/home/你的用户名/miniconda3/envs/py311/bin/python。

2. 创建 systemd 服务文件

使用管理员权限创建全新的服务配置文件：

sudo nano /etc/systemd/system/my_python_service.service

3. 编写 Service 配置

将以下内容写入文件。请务必将 User、WorkingDirectory 以及 ExecStart 的路径替换为你本机的实际信息：

[Unit]
Description=Yuansima Lab Python Automation Service
After=network.target

[Service]
Type=simple
# 替换为运行该服务的 Linux 用户名和组
User=your_username
Group=your_group

# 设置程序运行的工作目录
WorkingDirectory=/home/your_username/projects/my_project

# 关键：使用 Conda 虚拟环境下的 Python 绝对路径来执行脚本
ExecStart=/home/your_username/miniconda3/envs/py311/bin/python main.py

# 崩溃后自动重启机制
Restart=on-failure
RestartSec=5

# 日志输出管理
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target

4. 加载并启动守护进程

保存并退出编辑器后，执行以下命令使配置生效并开启自启：

# 重载 systemd 配置
sudo systemctl daemon-reload

# 开启开机自启并立即运行服务
sudo systemctl enable --now my_python_service.service

5. 查看运行状态与日志

检查服务是否在后台成功拉起：

sudo systemctl status my_python_service.service

若状态显示为绿色的 active (running)，则表明守护进程已正常运转。如果后续程序出现报错，可以通过以下命令实时追踪 Python 脚本的输出日志：

journalctl -u my_python_service.service -f -n 50