前言
实验室有同学遇到了 FreeIPA 账号认证失败的问题,排查发现服务器此前发生过 OOM,导致 SSSD 等相关服务启动失败。修复认证问题后,正好三台服务器都处于空闲状态,便安排了这次系统升级。
服务器原来使用 Ubuntu 24.04,账号和 sudo 权限由 FreeIPA 统一管理,容器业务运行在 K3s 中,远程桌面通过 Guacamole 连接。考虑到 Ubuntu 26.04 LTS 已经发布了一段时间,稳定性应该相对成熟,我决定利用这次空闲期升级。为了保证升级可靠性,采用逐台升级、逐台验证的方式,避免批量升级导致多台服务器同时出现问题。
之前在 服务器操作指北(5)编译安装 openssh 9.3p1 with openssl3.1.0 中记录过 Ubuntu 20.04 升到 22.04 后,重新编译 OpenSSH、OpenSSL 的处理。这次除了系统升级,还涉及 FreeIPA 授权、GNOME 远程桌面和 K3s 容器,因此把 Ubuntu 24.04.5 升至 26.04.1 的过程和相关适配一起整理。
一、升级安排
这次升级涉及三台服务器,每台有两张 Tesla T4 和 InfiniBand 网卡,K3s 保留单控制节点架构。文中的主机、账号、域名和路径均为示例,数据盘挂载点统一写作 /srv/data。
| 节点 | 角色 | 升级时的主要影响 |
|---|---|---|
| host-a | K3s 控制节点,运行 FreeIPA、Gitea、Nextcloud 和主要监控服务 | API 和主要业务短暂停机,本地卷业务无法直接迁到其他节点 |
| host-b、host-c | K3s 工作节点,运行计算任务 | 暂停或转移该节点的任务,控制面继续运行 |
升级顺序为 host-c → host-b → host-a。每台先完成本节对应的停机准备,再执行第二节的系统升级,处理第三节中适用的软件问题,验证通过后才升级下一台。普通单机可以直接按第二节操作;集群节点需要先安排任务和业务停机。
sudo k3s kubectl 命令均在控制节点执行,宿主机命令在正在升级的那台机器执行。工作节点运行的是 k3s-agent,控制节点运行的是 k3s,本次不升级 K3s 本身。
1.1 工作节点维护
工作节点上除了普通用户进程,还有 KubeRay 管理的两个 RayCluster。维护前检查登录会话、进程、GPU 和 Ray 作业,确认没有计算任务运行,再暂停应用。模型常驻显存不一定正在推理,GPU 空闲时也可能有 CPU 任务。
在目标节点执行:
bash12345who w nvidia-smi systemctl --failed findmnt /srv/data
在控制节点检查调度情况。未安装 KubeRay 的集群跳过 RayCluster 查询和后面的暂停、恢复步骤:
bash1234sudo k3s kubectl get nodes -o wide sudo k3s kubectl get pods -A -o wide sudo k3s kubectl get rayclusters -A sudo k3s kubectl get pvc -A
RayCluster 的 Kubernetes 配置、Ray Serve 应用配置和容器内的文件需要分别保存。CR 能描述 head、worker 的资源和副本数,但手工向 Dashboard 提交的 Serve 配置未必在 CR 中;容器可写层里的程序和数据,也不会因为保留了 CR 就自动回来。
这次保存了两组 RayCluster 配置、Serve 应用配置和应用文件归档。下面的名称需要替换为自己的集群名:
bash123456789# 在控制节点执行,备份目录仅允许管理员访问 sudo install -d -m 700 /root/upgrade-backup sudo sh -c 'k3s kubectl get raycluster -n ray demo-ray -o yaml > /root/upgrade-backup/demo-ray.yaml' # 确认应用已备份且没有任务运行后,再暂停和排空节点 sudo k3s kubectl patch raycluster demo-ray -n ray \ --type merge -p '{"spec":{"suspend":true}}' sudo k3s kubectl cordon host-c.lab.example.com sudo k3s kubectl drain host-c.lab.example.com --ignore-daemonsets
如果 drain 提示本地临时数据或 PodDisruptionBudget 限制,应先检查相应工作负载。不要为了让命令通过直接加 --force 或删除本地数据。
完成节点维护后,在工作节点检查 systemctl status k3s-agent,在控制节点确认该节点恢复 Ready。随后解除 cordon;暂停过的 RayCluster 还要解除暂停并恢复 Serve 应用配置:
bash1234# 在控制节点执行;节点名称和 RayCluster 名称按实际替换 sudo k3s kubectl uncordon host-c.lab.example.com sudo k3s kubectl patch raycluster demo-ray -n ray \ --type merge -p '{"spec":{"suspend":false}}'
spec.suspend 暂停的是整个 RayCluster,可能影响其他节点上的同一应用;只做节点排空时,不应顺手暂停其他仍在使用的集群。本文的 Ray 命令仅适用于这两组已确认空闲、已经备份的应用。Serve 若由 Dashboard 提交,恢复时也需要使用原先的应用配置。
1.2 控制节点维护
轮到 host-a 前,另外保存了 Gitea、Nextcloud 的数据库与业务文件、FreeIPA 完整备份,以及 K3s 的 SQLite 数据库和配置。备份同步到另一台服务器并做了校验,没有在升级期间裁剪旧备份。
数据库使用自己的备份方式,文件归档与数据库备份处于同一个维护窗口;FreeIPA 使用其完整备份,K3s 则按当前使用的 SQLite 数据存储保存恢复材料。仅复制应用目录,无法代替这些备份。数据盘留在原位置,也不能代替备份。
对于本文使用的 SQLite,可以在维护窗口停止 K3s 后保存整个数据库目录及 token。以下是冷备份示例,执行期间控制面不可用;它只备份 K3s 状态,不包含业务卷中的数据库和文件:
bash1234567sudo install -d -m 700 /root/upgrade-backup sudo systemctl stop k3s sudo tar -czf /root/upgrade-backup/k3s-state.tar.gz \ -C /var/lib/rancher/k3s/server db token sudo tar -tzf /root/upgrade-backup/k3s-state.tar.gz >/dev/null sudo systemctl start k3s sudo k3s kubectl get --raw=/readyz
逐条确认归档和检查命令成功。若归档失败,先检查空间与错误日志,恢复 K3s 服务后再处理,不带着不完整备份进入系统升级。/etc/rancher/k3s/ 和 systemd 配置包含在后面的 /etc 归档中;另将 /var/lib/rancher/k3s/server/manifests/ 中自行维护的清单一起保存。完成后把受限备份复制到另一台主机并核对校验和。外部数据库或 embedded etcd 不能套用这组 SQLite 命令。
控制节点上还有固定本地卷的 Pod,工作节点没有对应数据。第一次重启前将控制节点 cordon 后,FreeIPA 重建时一直 Pending,恢复调度才重新启动。后面的重启保留了该节点的可调度状态,停机前确认备份,启动后检查服务恢复,没有强行把本地卷业务迁到其他机器。
这套集群使用 SQLite,控制节点重启期间没有第二个 API Server 接管。工作节点上已经运行的容器可能继续运行,但无法依靠控制面重新调度。FreeIPA 也运行在这台机器上,因此维护前必须确认本地管理员或 IPMI 控制台可用,不能把恢复入口完全依赖于域账号。
控制节点完成业务备份后安排整机停机,保留可调度状态,由系统正常停止和启动服务。重启后先在控制台检查数据盘和 K3s:
bash12345findmnt /srv/data systemctl status k3s sudo k3s kubectl get nodes sudo k3s kubectl get pods -A -o wide sudo k3s kubectl get pvc -A
如果该节点此前被 cordon,在确认数据盘挂载正常后执行 sudo k3s kubectl uncordon host-a.lab.example.com。FreeIPA 和数据库恢复后,再验证域用户登录及业务访问。按 K3s 备份说明,还要保存 /var/lib/rancher/k3s/server/token,与数据存储及配置文件一起放入受限备份。SQLite 备份应使用一致性备份方式,不能在服务写入时只复制一个数据库文件,也不适用 etcd snapshot 命令。
二、系统升级
以下流程在每台待升级的 Ubuntu 24.04 主机上执行。发行版升级包含交互确认,命令按段运行;每次重启后重新登录,再继续后面的步骤。
2.1 系统检查与备份
确认没有活动任务、备份目录有足够空间后,在目标节点保存 /etc、软件包清单、网卡地址、路由、磁盘挂载和硬件状态。备份内容可能包含主机 keytab、服务密码或私钥,不能放进公开仓库。
bash12345678sudo install -d -m 700 /root/upgrade-backup sudo tar -czf /root/upgrade-backup/etc-before.tar.gz /etc sudo sh -c 'dpkg-query -W > /root/upgrade-backup/packages.txt' sudo sh -c 'ip address > /root/upgrade-backup/ip-address.txt' sudo sh -c 'ip route show table all > /root/upgrade-backup/routes.txt' sudo sh -c 'findmnt > /root/upgrade-backup/mounts.txt' nvidia-smi ibstat
以上使用固定备份文件名,已有同名归档时应另选目录,避免覆盖上次维护材料。这份归档只用于配置恢复。需要整机回退时,应另做磁盘镜像或系统快照;跨发行版升级不能靠把 APT 源改回旧版本来降级。
还要保留 SSH 以外的入口,例如 IPMI 控制台。本次升级中 SSH 服务确实短暂停止过,后来恢复了 /run/sshd 并重新启动 SSH。遇到类似情况,应先在控制台执行 sshd -t、检查日志,确认是运行目录或服务状态问题,再处理,不要直接覆盖 SSH 配置。
备份还要复制到另一台机器,确认能够读取。升级前保留一个已验证可用的本地管理员入口;FreeIPA 用户在新版 sudo 下可能暂时无法提权,处理方式见第三节。后文的 root tmux 会话用于安装期间维护,主机重启后仍需重新登录。
bash123cat /etc/os-release df -h / /boot /srv/data sudo dpkg --audit
检查旧系统版本、根分区和启动分区剩余空间。dpkg --audit 应没有输出,已有的软件包错误应在发行版升级前处理。
2.2 软件源配置
服务器依靠 IPv6 访问外网。原来使用 CERNET 联合镜像入口,但当时分配到的吉林大学镜像出现 IPv6 HTTPS 超时,IPv4 则可以连接。换源前先直接验证目标文件:
bash123curl -6 -fL --connect-timeout 5 --max-time 20 \ -o /dev/null -w '%{http_code} %{remote_ip}\n' \ https://mirrors.tuna.tsinghua.edu.cn/ubuntu/dists/resolute/InRelease
清华、中科大、北外的索引测试均通过,第一台工作节点最终使用清华镜像。后续升级另外两台时,升级器没有识别清华源,改用了北外镜像;三台最终的索引下载都验证了 IPv6 连通性。升级前仍应使用 noble,由发行版升级器完成到 resolute 的转换,不要提前把全部源中的发行版名称替换掉。
Ubuntu 使用 deb822 源时,在 /etc/apt/sources.list.d/ubuntu.sources 中修改 URIs,保留原有组件和签名配置。第一台节点升级完成后的主要字段如下,另外两台的 URIs 使用 https://mirrors.bfsu.edu.cn/ubuntu/:
text12345Types: deb URIs: https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ Suites: resolute resolute-updates resolute-backports Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
安全更新另一个段落的 Suites 为 resolute-security。如果原文件分为多个段落,应逐段检查,不要遗漏安全源。
Docker 源也切到了清华的对应发行版仓库;Grafana 保留其独立软件源。修改源不会立即替换已安装的软件包,后续复查仍看到部分 Docker 包带有 ubuntu24.04~noble 后缀,对应的 resolute 包尚待维护窗口更新。旧 CUDA 源仍指向 ubuntu2404,本次将它禁用,没有把旧发行版仓库硬接到新系统上。已安装的 NVIDIA 驱动保留,重启后再验证。
软件源确认可达后,日常保持系统默认的双栈选择,不写入全局强制 IPv6 配置。
2.3 发行版升级
升级分为旧系统更新和发行版升级两个阶段,中间需要重启。发行版升级器会计算软件包变更、下载安装并询问配置处理方式,不能启动后就一直放着不管。本次只有旧系统补丁阶段采用非交互执行,后续 resolute 升级器仍使用文本交互界面。
先在待升级主机上更新 Ubuntu 24.04。以下保留交互确认,便于检查软件包删除和配置变更:
bash1234sudo apt update sudo apt full-upgrade sudo apt install tmux update-manager-core curl gnupg sudo dpkg --audit
实际维护时,旧系统补丁脚本使用 DEBIAN_FRONTEND=noninteractive、apt-get -y 和 --force-confold 保留已有配置。这里列出交互式命令,便于核对变更。逐条确认执行成功,dpkg --audit 没有异常后再重启。
确认旧系统的软件包更新完成后,单独执行第一次重启:
bash1sudo reboot
重连后确认系统、挂载和远程入口正常,再建立独立的 root tmux 会话:
bash12345cat /etc/os-release uname -r systemctl --failed findmnt /srv/data sudo tmux new -s release-upgrade
进入会话后执行 id -u,应返回 0。下面的升级器命令都在这个 root 会话中执行。常规入口是 do-release-upgrade,由它下载并调用升级器,操作说明见 Ubuntu 官方文档。本次直接下载镜像站上的官方 resolute 升级器,验签后运行。两种入口选一种,不需要先运行 do-release-upgrade,再重复执行解压出的升级器。
以北外镜像为例,先建立仅管理员可访问的工作目录,下载压缩包和对应签名:
bash1234567install -d -m 700 /root/upgrade-backup/upgrader cd /root/upgrade-backup/upgrader upgrade_url=https://mirrors.bfsu.edu.cn/ubuntu/dists/resolute-updates/main/dist-upgrader-all/current curl -fLO "$upgrade_url/resolute.tar.gz" && \ curl -fLO "$upgrade_url/resolute.tar.gz.gpg" && \ gpgv --keyring /usr/share/keyrings/ubuntu-archive-keyring.gpg \ resolute.tar.gz.gpg resolute.tar.gz
确认 gpgv 验签成功、退出码为 0 后再解压。下载失败或验签失败时停止,不跳过验证:
bash12345tar -xzf resolute.tar.gz export LC_ALL=C.UTF-8 ./resolute --frontend DistUpgradeViewText upgrade_rc=$? printf '%s\n' "$upgrade_rc" > /root/upgrade-backup/release-upgrade.exit
升级器启动后,需要查看软件包变更摘要,确认下载量、剩余磁盘空间及将被删除的软件包,再同意开始安装。第三方源可能被禁用,升级后要按新发行版支持情况逐项恢复,不把旧源直接全部打开。
安装期间的配置文件提示也需要处理。这次保留了 LDAP、auditd 和 Chrony 的已有配置;出现差异时先查看内容,不能统一回答“使用维护者版本”。NVIDIA 驱动还会涉及新内核的 DKMS 构建,应等安装过程结束并确认没有错误。最后的旧包清理本次暂时跳过,留待新系统和业务验证后再检查。结束时若提示立即重启,先选择暂不重启,回到 shell 检查退出码和安装状态。
tmux 用于保留升级会话,SSH 断开不会因此结束 tmux 内的进程,但它不能防止 SSH 服务本身停止。临时离开会话按 Ctrl+B 后按 D;需要回来时,在同一主机执行:
bash1sudo tmux attach -t release-upgrade
如果安装界面长时间没有变化,先回到该会话确认是否等待输入,不另外启动第二个 apt 或升级器。另一个终端可以查看日志:
bash123sudo tail -n 60 /var/log/dist-upgrade/main.log sudo tail -n 60 /var/log/dist-upgrade/apt.log sudo tail -n 60 /var/log/dist-upgrade/term.log
升级器结束后先检查退出码和软件包状态,再安排重启。本次三台发行版升级退出码均为 0,没有在升级脚本末尾直接串接自动重启:
bash12345# 在保留的 root 会话中执行 cat /root/upgrade-backup/release-upgrade.exit dpkg --audit sshd -t systemctl status ssh.socket ssh.service
确认退出码为 0、安装没有未处理错误,并且控制台恢复入口可用后,在 root 会话中执行第二次重启:
bash1reboot
重新连接后检查:
bash12345cat /etc/os-release uname -r systemctl --failed sudo dpkg --audit findmnt /srv/data
若升级后域用户无法执行 sudo,通过本地管理员、控制台或 sudo.ws 继续维护,按第三节处理集中授权。系统版本和新内核正常后,再恢复该节点的业务;本次最终为 Ubuntu 26.04.1、内核 7.0.0-43-generic。
2.4 SSH 监听恢复
后两台升级期间,软件包安装停止了 SSH 监听,其中一次又停在 LDAP 配置确认界面。K3s 节点仍然 Ready,新 SSH 连接却进不去。此时不能把连接失败当作升级已经停止,更不能直接重启机器。
这次在 tmux 中保留了升级终端。已有 root 会话可用时,通过另一个 tmux 窗口恢复 SSH socket;另一台则临时借助仍在线的 K3s 创建节点维护 Pod,恢复 SSH 后立即删除。维护 Pod 具有宿主机权限,只用于这次救援,日常仍应准备好 IPMI 控制台。
在保留的 root 终端或控制台检查:
bash1234567sshd -t systemctl status ssh.socket ssh.service journalctl -u ssh.socket -u ssh.service -b --no-pager # 若 sshd -t 明确提示缺少 /run/sshd,先恢复运行目录 install -d -m 0755 /run/sshd sshd -t && systemctl start ssh.socket ss -lntp | grep ':22 '
这里对应 Ubuntu 当前的 socket activation 配置;若安装环境仍由 ssh.service 直接监听,应按原有启动方式恢复。保持升级进程继续运行,处理完配置文件提示后,再从新的终端验证连接。LDAP、审计和时间同步等已有配置需要逐项比较,没有直接用新包配置覆盖。
2.5 OpenSSH 与 OpenSSL
以前的系统曾手工编译 OpenSSH 和 OpenSSL,升级后还需要确认实际运行的是哪一份。只看 dpkg-query 的版本不够:软件包已经安装,服务仍可能指向 /usr/local 下的旧程序,或者系统路径中的文件曾被手工安装覆盖。
在每台主机检查启动配置、运行进程和包文件:
bash12345678systemctl show ssh.service -p ExecStart for pid in $(pgrep -x sshd); do sudo readlink "/proc/$pid/exe" done command -v ssh sshd openssl dpkg-query -W openssh-server openssh-client openssl sudo dpkg -V openssh-server openssh-client openssl libssl3t64 ldd /usr/sbin/sshd | grep -E 'ssl|crypto'
本次三台运行的都是 /usr/sbin/sshd,OpenSSH 包版本为 1:10.2p1-2ubuntu3.8,OpenSSL 为 3.5.5-1ubuntu3.7。包文件校验没有差异,sshd 链接系统的 libcrypto.so.3,检查常见安装目录也没有找到旧手工版本。用户 Conda 环境中的 OpenSSL 属于各自的运行环境,保留即可。
这次沿用 APT 管理的版本,后续通过发行版安全更新维护,无需再按旧文章重新编译。遇到安全公告时核对 Ubuntu 包的完整版本号及修复状态,不能只比较上游版本号。已有 SSH 配置和 FreeIPA 的 PAM 认证继续保留,更新后用新的连接验证个人账号登录,再关闭维护会话。
三、软件适配
本节记录这套环境升级后实际遇到的问题。按已安装的软件和具体症状处理,不需要在每台 Ubuntu 主机上执行全部修复。
3.1 FreeIPA 与 sudo
升级后个人账号可以通过 SSH 登录,id 也能看到 FreeIPA 的管理员组,却不能执行 sudo。
先比较同一账号在两种 sudo 实现中的授权结果:
bash12345678sudo --version readlink -f /usr/bin/sudo grep '^sudoers:' /etc/nsswitch.conf id alice # 在本地管理员已提权的 root shell 中执行 sudo.ws -l -U alice sudo -l -U alice
当时系统默认是 sudo-rs 0.2.13。nsswitch.conf 中已有 sudoers: files sss,传统 sudo 能读到 (ALL : ALL) ALL,sudo-rs 却返回用户无权。
FreeIPA 用户认证与集中 sudo 规则读取是两条不同的链路。sudo-rs 能通过 PAM 验证域用户的密码,并不代表它能消费 SSSD 提供的 sudo 规则。上游较新的版本增加了实验性 @socket 接口,但对应的 SSSD 对接还不能直接用于这套部署,单独升级 sudo-rs 不能解决问题。上游讨论 中记录了这部分进展。
为保留 FreeIPA 集中授权,通过已有本地管理员使用 sudo.ws 切换实现;也可以在控制台的 root shell 中直接运行 update-alternatives:
bash1234sudo.ws update-alternatives --set sudo /usr/bin/sudo.ws readlink -f /usr/bin/sudo sudo visudo -c sudo -l -U alice
alternatives 会进入手动选择模式,相关的 visudo 和手册链接也随之切换。没有卸载 sudo-rs,也没有另外添加一份本地管理员组授权。
验证时重新用个人账号登录,清除旧凭据缓存后实际执行一次提权:
bash123sudo -k sudo id sudo -k
本次返回 uid=0(root),集中授权恢复。该规则需要输入个人密码;不能因为允许执行所有命令,就把它理解成免密规则。
SSSD 还遇到过 PAC 响应器重复启动的问题:主进程已负责启动 PAC,新的 sssd-pac.socket 又尝试管理它。确认日志和启动方式后,停用了重复 socket:
bash123sudo systemctl disable --now sssd-pac.socket sudo systemctl restart sssd systemctl status sssd
这一步针对本次实际冲突,不是所有 SSSD 升级都应执行的固定步骤。
3.2 K3s 运行时与服务
3.2.1 容器启动异常
控制节点升级后,K3s 能启动,节点也是 Ready,但 PostgreSQL、MariaDB 和 FreeIPA 没有正常恢复。数据库入口中的 gosu 在 sched_yield 中忙等,FreeIPA 的 journald、sd-mkuserns 也出现卡住的情况。
查看内核审计记录,发现同一容器内的信号和 ptrace 操作被拒绝,进程标签变成了下面这种叠加形式:
text1cri-containerd.apparmor.d//&unconfined
在宿主机检查 AppArmor 和运行时路径:
bash123456sudo journalctl -k -b --no-pager | grep 'apparmor="DENIED"' sudo aa-status sudo head -n 30 /etc/apparmor.d/runc sudo find /var/lib/rancher/k3s/data -path '*/bin/runc' -type f sysctl kernel.apparmor_restrict_unprivileged_unconfined sysctl kernel.apparmor_restrict_unprivileged_userns
本机 Ubuntu 的 runc profile 只匹配 /usr/bin/runc、/usr/sbin/runc,而 K3s 使用自己数据目录中的二进制。这条路径没有匹配到预期 profile,在新系统的限制下产生了异常的标签叠加。containerd 的上游问题记录也描述了同类现象。
3.2.2 runc 路径修正
最终在三台宿主机上扩展 Ubuntu 已有的 runc profile,只增加 K3s 的二进制路径,保留 profile 名称和其余规则。修改前先备份:
bash12sudo cp -a /etc/apparmor.d/runc /root/upgrade-backup/runc.apparmor.before sudoedit /etc/apparmor.d/runc
将原文件的 profile 声明行改为:
text1profile runc /{usr/{bin,sbin}/runc,var/lib/rancher/k3s/data/*/bin/runc} flags=(unconfined) {
这只是声明行,后面的 userns、路径规则、local include 和闭合括号均保留,不要用这一行覆盖整个文件。校验并重新加载:
bash12sudo apparmor_parser --skip-kernel-load /etc/apparmor.d/runc sudo apparmor_parser -r /etc/apparmor.d/runc
排查时尝试过单独定义 k3s-runc profile,但 containerd 的信号规则按 runc 名称授权,改名后又出现运行时信号被拒绝。因此撤掉了独立 profile,最终扩展原来的 runc。这里的 flags=(unconfined) 沿用 Ubuntu 对运行时的配置,业务容器仍使用 RuntimeDefault,没有把业务 Pod 改成 Unconfined,也没有关闭两个 AppArmor 内核限制。
新规则不会把已运行进程的标签自动改好。确认数据库和文件备份可用后,逐个重建受影响的业务、监控及入口 Pod,保留 PVC,每组恢复健康后再处理下一组。以 Gitea Deployment 为例,在控制节点逐项执行,并等待就绪:
bash12sudo k3s kubectl rollout restart deployment/gitea -n gitea sudo k3s kubectl rollout status deployment/gitea -n gitea --timeout=180s
超时后先看 Pod 事件和日志,排除数据盘、数据库或认证依赖问题,再继续处理。其他 Deployment 使用其真实名称;StatefulSet 按自身更新策略处理,不批量删除所有 Pod,也不删除 PVC。在新容器内检查标签:
bash1sudo k3s kubectl exec -n gitea deploy/gitea -- cat /proc/1/attr/current
本次新容器的结果为:
text1cri-containerd.apparmor.d (enforce)
最后再次整机重启控制节点,确认数据库、FreeIPA、Gitea、Nextcloud 和监控可以自动恢复。配置由系统原有 AppArmor 服务加载,没有添加定时修复脚本。以后更新 apparmor 软件包遇到配置合并提示时,需要核对这条 K3s 路径是否仍然保留。
3.2.3 Service 声明式配置
这项问题在升级检查中一并发现,与系统版本无关:控制节点的业务 Service 清单反复报告地址已分配,现有 Gitea、Nextcloud 网页却可以正常访问。
这份清单放在 /var/lib/rancher/k3s/server/manifests/ 下,由 K3s Addon 自动应用。清单中带着导出对象的固定 clusterIP、clusterIPs,已有 Service 又未被该 Addon 纳管。控制器尝试创建时,先遇到 IP 已分配错误,未能进入对象已存在时的接管流程。
最初补齐管理标记后恢复了应用,但后续维护没有继续依赖手工补标记。检查工作负载、ConfigMap 和路由,确认没有直接引用这两个 ClusterIP 后,从部署源中去掉固定 clusterIP、clusterIPs,保留 Service 名称、selector、端口及双栈策略,由 Kubernetes 分配地址。下面仅表示地址策略部分,原有 selector 和 ports 不应删掉:
yaml12345spec: ipFamilyPolicy: PreferDualStack ipFamilies: - IPv4 - IPv6
以示例清单 business-services.yaml 为例,在控制节点备份后编辑:
bash123sudo cp -a /var/lib/rancher/k3s/server/manifests/business-services.yaml \ /root/upgrade-backup/business-services.yaml.before sudoedit /var/lib/rancher/k3s/server/manifests/business-services.yaml
K3s 会自动应用目录内的变更,无需删除运行中的 Service。此次修改后,两者的 UID、地址和端口都没有变化。另建无后端临时 Service 验证自动接管,也不再需要补管理标记,测试结束后清理了临时资源。
维护时可以查看对应 Addon 的应用结果:
bash123sudo k3s kubectl get addons -n kube-system sudo k3s kubectl describe addon business-services -n kube-system sudo k3s kubectl get events -n kube-system --field-selector type=Warning
其中 business-services 是示例清单 business-services.yaml 对应的 Addon 名称。后续修改这份声明式清单,不再把导出的运行时分配字段写回源文件。K3s 的自动部署行为见官方 Addon 文档,地址字段见 Service 文档。这次只调整没有固定地址依赖的普通业务 Service,FreeIPA、Traefik 等外部入口的固定 VIP 另行保留。
3.3 GNOME 与 Guacamole
原先使用 XRDP 启动 GNOME Xorg 会话,升级后出现登录界面字体异常、无法进入桌面。新系统的 GNOME 50 已不再提供原有 Xorg 会话,这套组合不能原样沿用。
这次保留 GNOME,改用系统级原生 RDP。它与共享一个已经登录的桌面不同:先进入远程登录入口,再到 GDM 使用个人账号登录。官方的 多用户远程登录说明 对两层凭据有明确区分。
3.3.1 系统级远程登录
以下步骤在已安装 GNOME/GDM 的桌面节点执行;纯命令行服务器无需安装远程桌面。先保证 SSH 或控制台可用,安装组件并停止占用同一端口的 XRDP:
bash12sudo apt install gnome-remote-desktop sudo systemctl disable --now xrdp xrdp-sesman
已有证书时先保留备份,以下生成命令会覆盖同名文件。TLS 证书和私钥必须能被 gnome-remote-desktop 服务用户读取。以下使用独立自签名证书举例,实际可以换成内部受信任 CA 签发的证书:
bash1234567891011121314sudo install -d -m 700 -o gnome-remote-desktop -g gnome-remote-desktop \ /var/lib/gnome-remote-desktop/.local/share/gnome-remote-desktop sudo -u gnome-remote-desktop openssl req -x509 -newkey rsa:3072 \ -nodes -days 365 -subj '/CN=host-c.lab.example.com' \ -addext 'subjectAltName=DNS:host-c.lab.example.com' \ -keyout /var/lib/gnome-remote-desktop/.local/share/gnome-remote-desktop/tls.key \ -out /var/lib/gnome-remote-desktop/.local/share/gnome-remote-desktop/tls.crt sudo chmod 600 /var/lib/gnome-remote-desktop/.local/share/gnome-remote-desktop/tls.key sudo grdctl --system rdp set-tls-key /var/lib/gnome-remote-desktop/.local/share/gnome-remote-desktop/tls.key sudo grdctl --system rdp set-tls-cert /var/lib/gnome-remote-desktop/.local/share/gnome-remote-desktop/tls.crt sudo grdctl --system rdp set-credentials rdp-entry sudo grdctl --system rdp enable sudo systemctl enable --now gdm.service sudo systemctl enable --now gnome-remote-desktop.service
Ubuntu 上若 GDM 单元名称为 gdm3.service,按实际名称执行。已有 /etc/gdm3/custom.conf 若设置了 WaylandEnable=false,先备份并检查,GNOME 原生远程登录需要可用的 Wayland 会话;不要继续沿用为 XRDP 强制禁用 Wayland 的配置。
设置凭据时交互输入入口密码,不把密码写在命令参数或终端记录中。这个入口用户名不是 Linux 用户,也不需要在 FreeIPA 新建同名账号。
自动化配置时曾遇到一个坑:把用户名、密码两行一起写入标准输入,命令退出成功,实际凭据却没有正确保存。后来改为用户名作为参数、密码单独通过标准输入传入,再用真实 RDP 连接验证。因此配置后还需要实际登录一次。
启用后检查服务和端口,确认监听的是预期的 3389:
bash1234sudo grdctl --system status systemctl status gnome-remote-desktop.service sudo ss -lntp | grep ':3389 ' sudo journalctl -u gnome-remote-desktop.service -b --no-pager
服务器防火墙和中间路由需要允许实际 guacd 主机到达该端口。沿用已有受限规则,不为排障把 RDP 开放到所有公网来源。
3.3.2 Guacamole 连接与账号认证
Guacamole 的 RDP 连接改为使用上述入口账号,安全模式使用 NLA,目标仍为该主机的 TCP 3389 端口,沿用原有内网访问和转发规则。进入 GDM 后,再输入个人 FreeIPA 账号和密码。SSH 连接配置与这组入口凭据无关。
本次保留了原来的自签名证书及客户端忽略证书校验设置,因此并未实现 RDP 证书统一信任。若要严格校验,需要让客户端信任签发 CA,并使用与证书匹配的主机名。
GNOME 的命令行里虽然出现 Kerberos 选项,但 50.0 源码对 --system 模式明确拒绝该认证方式,不能据此认为 FreeIPA 入域后就可以去掉第一层入口凭据。对应实现 可以直接核对。
重启后通过 Guacamole 重新打开连接,已确认字体正常、可以进入桌面。SSH 也分别验证了直接连接和 Guacamole 连接;期间一次超时后来恢复,没有证据证明是缓存问题,也没有为此修改认证或 host key 校验。
3.3.3 Guacamole OSC 显示异常
升级后通过 Guacamole 打开 SSH,提示符前出现了 start=...;type=shell;machineid=...;cwd=...。原生 SSH 终端显示正常,账号也能正常执行命令。
这些内容来自 systemd 安装的 /etc/profile.d/80-systemd-osc-context.sh,用于向终端发送 OSC 3008 上下文。Guacamole 1.6.0 没有正确处理这段控制序列,把部分内容显示成了普通文本。可以先确认脚本来源,避免误改个人的 PS1:
bash12ls -l /etc/profile.d/80-systemd-osc-context.sh readlink -f /etc/profile.d/80-systemd-osc-context.sh
GUACAMOLE-2213 已记录这个问题,修复版本标记为 1.6.1 [staging]。这次没有改终端类型,也没有全局停用 systemd 的脚本,现有 Guacamole 仍为 1.6.0,因此连接验证通过后,提示符显示问题仍单独保留,等对应版本更新后复测。
3.4 Alloy 与 node-exporter
3.4.1 Alloy WAL 配置
Alloy 是原来就部署的日志采集组件,负责把系统与审计日志送到 Loki。升级后服务失败,原因是原有 loki.write WAL 配置需要 experimental 稳定性级别。
保留原有 WAL 配置,在 /etc/default/alloy 的 CUSTOM_ARGS 中追加参数,已有参数不要覆盖:
text1CUSTOM_ARGS="--stability.level=experimental"
bash123sudo systemctl restart alloy systemctl status alloy journalctl -u alloy -b --no-pager
服务显示 active 后,还需要在 Loki 查询该节点最近的日志,确认数据真正到达。测试时从业务 Pod 访问 Loki 被拒绝,后来确认符合既有 NetworkPolicy;宿主机采集和管理命名空间访问正常,不需要放宽策略。
3.4.2 node-exporter 启动依赖
node-exporter 绑定了指定管理地址,启动时该地址尚未配置完成,导致监听失败。增加 systemd drop-in:
bash1sudo systemctl edit prometheus-node-exporter.service
ini123456[Unit] Wants=network-online.target After=network-online.target [Service] RestartSec=10s
原服务已有失败重启策略,drop-in 只补充网络依赖和重试间隔。使用 NetworkManager 的节点,还要确认对应的 wait-online 服务确实启用,否则 network-online.target 本身并不能保证地址已经可用。
bash123systemctl is-enabled NetworkManager-wait-online.service sudo systemctl daemon-reload sudo systemctl restart prometheus-node-exporter
最终在 Prometheus 查询该节点的 up,确认结果为 1,同时检查 metrics-server 能获取节点资源指标。
四、升级验证
4.1 主机与集群状态
三台最终都运行 Ubuntu 26.04.1 和 7.0.0-43-generic,K3s 保持 v1.37.0+k3s1。工作节点验证通过后按第一节恢复调度,再测试应用。
每台主机执行:
bash123456uname -r systemctl --failed sudo dpkg --audit findmnt /srv/data nvidia-smi ibstat
在控制节点检查集群:
bash12345sudo k3s kubectl get --raw=/readyz sudo k3s kubectl get nodes -o wide sudo k3s kubectl get pods -A -o wide sudo k3s kubectl get pvc -A sudo k3s kubectl get events -A --field-selector type=Warning
FreeIPA 还要验证在线认证,避免只测到 SSSD 缓存。下面在每台已入域主机的 root shell 中使用独立票据文件,命令中的域名需要替换:
bash1234567cc=$(mktemp /tmp/ipa-check.XXXXXX) export KRB5CCNAME=FILE:$cc kinit -k -t /etc/krb5.keytab "host/$(hostname -f)" kvno ldap/ipa.lab.example.com kdestroy rm -f "$cc" unset KRB5CCNAME
第一台工作节点升级时,两组 Ray Serve 应用已恢复健康;最终验收时它们已不在部署清单中,因此没有列入下表的在运行服务。三台主机的在线票据申请均成功,个人账号的 SSH 和 sudo 也实际执行过。Guacamole SSH 分别验证了三台连接;GNOME 桌面则通过重新打开连接,确认能用个人账号进入桌面。
4.2 网络、业务与持久化
网络分宿主机和 Pod 两层测试。宿主机检查三节点管理 IPv4、内部 IPv6、IB 地址互通,再用 curl -6 验证公网下载。从每个节点的普通 Pod 分别访问三个 CoreDNS 的 IPv4/IPv6 地址、集群 API 和业务 Service,检查跨节点数据通路。测试结束后删除临时 Pod。
这次按实时 Service 和 EndpointSlice 清单,对有就绪端点的 TCP 服务进行检查,三台合计 333 项通过;另有 72 项内网 HTTPS 和 23 项经公网入口的检查通过。HTTPS 校验证书,FreeIPA 使用内部 CA。公网入口测试来自允许访问的网络,不代表管理页面向所有公网来源开放。
应用层的验证结果如下:
| 服务 | 验证内容与结果 |
|---|---|
| FreeIPA | ipactl status 全服务 RUNNING,三节点在线 Kerberos 认证正常 |
| Gitea | 个人账号 API 认证成功,healthz 的数据库和缓存检查通过,PostgreSQL 可执行查询 |
| Nextcloud | 维护模式关闭,无待升级数据库;LDAP 连接正常,个人账号 WebDAV 上传、下载内容校验及删除通过 |
| Portainer、Cockpit、IPMI、路由器及交换机 | 经统一 HTTPS 入口可以打开管理页面;本轮没有逐项执行后台管理功能 |
| Grafana、Prometheus、Loki | Grafana 数据库正常,三个主机 exporter 的 up 均为 1,Loki 持续收到三节点日志 |
| 持久化 | 10 个 PVC 均 Bound,实际卷路径位于数据盘,三台挂载正常 |
Gitea 没有向真实仓库写入测试提交;Nextcloud 使用独立临时文件,验证后删除。旧的 Completed/Error Pod 要与现用副本分开看,不能只凭历史实例状态判断服务仍然异常。
4.3 GPU 与 RDMA
系统升级阶段,三台的两张 Tesla T4 均可被 nvidia-smi 识别。第一台升级的工作节点驱动为 580.196.07,另外两台为 580.178.04,这一阶段只检查驱动能否随新内核加载,尚未统一版本。后续的驱动、CUDA、NCCL 维护及容器测试见 服务器操作指北(13)CUDA、NCCL 维护与 K3s GPU、RDMA 调度。
IB 第一端口均 Active、56 Gb/s,第二端口没有接线。除了链路状态,还用 ib_write_bw 做了三对节点的实际传输。在接收节点运行:
bash12timeout 25 ib_write_bw -d ibp227s0 -i 1 -p 18519 \ -s 65536 -n 1000 --report_gbits
发送节点加上接收节点的 IB 地址。以下 10.20.0.10 仅为示例,设备名也应先用 ibstat 确认:
bash12timeout 25 ib_write_bw -d ibp227s0 -i 1 -p 18519 \ -s 65536 -n 1000 --report_gbits 10.20.0.10
系统升级完成、CUDA 维护开始前的结果为:
| 方向 | 平均带宽 |
|---|---|
| host-a → host-b | 47.02 Gb/s |
| host-a → host-c | 49.70 Gb/s |
| host-b → host-c | 50.31 Gb/s |
三组双端退出码均为 0。工具提示 CPU 当前频率不同,没有为这次连通性检查修改电源策略。这是 RC Write、单 QP、64 KiB、1000 次的短测,没有验证长时间压力、CUDA 计算、GPUDirect RDMA 或容器内 RDMA 作业。
单控制节点和本地卷架构保持不变,控制节点停机仍会中断主要业务。后续维护需要继续检查 sudo-rs 的集中规则支持、Guacamole 的终端显示修复,以及 AppArmor 软件包更新时的配置合并。
参考
支付宝
微信