📌 隶属于架构蓝图: 生产级自托管基础设施全景 → L3: 全域可观测性、巡检闭环与自愈

排查群晖 2.5GbE 内网 14 MB/s 幽灵流量:跨节点媒体库的 Trickplay 踩坑实录

· 6 分钟 · 运维架构 synologynetworkingsmbjellyfinobservabilitylinux

突如其来的 14 MB/s 幽灵流量

当一台核心私有存储节点持续对外输出 14 MB/s(约 112 Mbps)的上传流量时,工程师的第一反应往往是:是否发生了未授权的数据外泄、云端镜像同步死循环,或是异常的定时任务?但在拥有多网卡多平面的生产架构中,粗粒度的总流量监控往往会掩盖局域网内部的总线流向。

在我管理的私有基础设施中,核心存储节点(Synology DS1821+)承载着多个计算节点的数据共享。某天系统监控突发磁盘高负载预警:存储池 1 的机械硬盘持续高频寻道,系统 1 分钟平均负载(Load Average)被推高到了 4.2 左右。

排查所有外部出站与数据同步服务,却发现一切正常:

然而群晖网络仪表盘上的总上传曲线却像一条直线般死死钉在 14 MB/s。显然,这股流量并没有流向公网。为了揪出幕后的真实消耗者,我必须绕过上层 Web 界面的模糊统计,深入 Linux 内核底层的网络与进程探针。

网卡差分采样与进程套接字锁定

对于拥有多张网卡或特定物理互联的私有节点,绝不能依赖单一的 total_tx_bytes 指标。必须按物理接口拆分吞吐量,并将网络套接字(Socket)与文件系统的文件描述符(FD)进行联动对齐。

+-------------------------------------------------------------+
|                核心存储节点 (Synology DS1821+)              |
|   ovs_eth0 (千兆公网网关: 192.168.1.1) -> 仅 0.89 MB/s TX    |
|   ovs_eth4 (2.5GbE 专用直连: 192.168.1.2) -> 高达 13.40 MB/s TX |
+-------------------------------------------------------------+
                               |
               专用 2.5GbE 局域网 SMB 协议通道 (:445)
                               |
                               v
+-------------------------------------------------------------+
|            计算节点 (Unraid Docker 容器宿主: 192.168.1.6)    |
|    Jellyfin 容器计划任务: "Generate Trickplay Images"        |
|    跨网络暴力读取视频: 已顺序扫描 17,370 部片源,产出 35GB 缓存 |
+-------------------------------------------------------------+

1. 物理网卡秒级差分分析

通过 SSH 登录存储宿主,在 3 秒窗口内对 /proc/net/dev 进行两次采样并计算差值,瞬间撕开了真相的面纱:

📄 /proc/net/dev 3 秒速率差分回显(18 行)
=== Network Interface Delta (3s) ===
  ovs_eth0        RX:   2.34 MB/s | TX (Upload):   0.89 MB/s
  eth0            RX:   2.40 MB/s | TX (Upload):   0.89 MB/s
  ovs_eth4        RX:   0.12 MB/s | TX (Upload):  12.84 MB/s
  eth4            RX:   0.13 MB/s | TX (Upload):  13.40 MB/s
  docker629ef00   RX:   0.67 MB/s | TX (Upload):   0.67 MB/s
  docker-284d72bd RX:   0.68 MB/s | TX (Upload):   0.68 MB/s

数据对比极其悬殊:

这证明带宽绝非泄露到了公网,而是持续流向了内部一条专用的 2.5GbE 节点直连通道。虽然 13.40 MB/s 仅占 2.5GbE 物理带宽(约 295 MB/s)的不到 5%,无法触发网卡满载告警,但它背后的高频随机读取却足以拖垮底层的机械磁盘阵列。该网卡的对端连接的是专门承载复杂计算的 Unraid 宿主机(192.168.1.6)。

2. 套接字逆向锁定:捕获 SMB 服务进程

锁定接口 IP 后,进一步查询活跃的 TCP 连接与占用进程:

sudo netstat -ntup | grep 192.168.1.2

终端迅速回显了占满发送队列的连接,Send-Q 缓冲区堆积了 38240 字节:

tcp 0 38240 192.168.1.2:445 192.168.1.6:41882 ESTABLISHED 31727/smbd

占用者是群晖核心的 Samba 服务进程 smbd(PID 31727)。紧接着检查该进程正在读写的文件描述符:

sudo ls -l /proc/31727/fd | grep -E '/volume[0-9]+'

回显显示,该进程正在极高频地轮替打开 /volume1/Media/ 目录下的多媒体资源:

对端计算节点正在以每秒数以十兆字节的速度,顺次遍历抓取存储节点上的全高清视频母带。

根因定位、即时平抑与架构反思

登录计算节点(192.168.1.6),所有拼图瞬间拼合:前不久刚将多媒体服务迁移到该节点的 Docker 容器(Jellyfin)中,该容器通过 SMB 挂载了存储节点的媒体共享。

罪魁祸首:不受节制的 Trickplay 关键帧后台抽取

新版 Jellyfin 默认启用了一项名为 Trickplay(播放快进缩略图预览) 的功能:系统后台调用 ffmpeg,对库内视频每隔 10 秒定位并抽取关键帧(I-Frame)图像,拼合成 320px 的雪碧图大图,方便用户在客户端进度条拖拽时实时看到画面浮窗。

在单盘 NVMe 直通环境下这项功能非常顺滑,但在跨网络 SMB 挂载环境下,它成了吞噬性能的黑洞:

靶向阻断与即刻平息

通过调用 Jellyfin 的计划任务 API,动态获取任务 GUID 并立即中止当前任务队列:

import json
import urllib.request

JELLYFIN_URL = "http://192.168.1.6:8096"
API_KEY = "REDACTED_API_KEY"
HEADERS = {"X-Emby-Token": API_KEY}

# 1. 动态解析任务 GUID
req_list = urllib.request.Request(f"{JELLYFIN_URL}/ScheduledTasks", headers=HEADERS)
with urllib.request.urlopen(req_list) as resp:
    tasks = json.loads(resp.read().decode())

trickplay_task_id = next(
    t["Id"] for t in tasks if t.get("Key") == "RefreshTrickplayImages" or "Trickplay" in t.get("Name", "")
)

# 2. 终止运行中的后台 Trickplay 提取任务
req_stop = urllib.request.Request(
    f"{JELLYFIN_URL}/ScheduledTasks/Running/{trickplay_task_id}",
    headers=HEADERS,
    method="DELETE",
)
with urllib.request.urlopen(req_stop) as resp:
    print(f"终止任务 {trickplay_task_id} — 状态码: {resp.status}")

调用成功后仅 2 秒:

随后,在媒体库核心配置中彻底关闭该项自发性扫描:

<EnableTrickplayImageExtraction>false</EnableTrickplayImageExtraction>
<ExtractTrickplayImagesDuringLibraryScan>false</ExtractTrickplayImagesDuringLibraryScan>

生产经验总结

  1. 分离式架构必须实施 I/O 门禁:在存储计算分离的私有架构中,严禁计算节点盲目对远程网络文件系统发起无节制的全量遍历。像缩略图抽取、智能搜刮这类重度 I/O 任务,要么限制在本地物理高速盘完成,要么必须施加严格的并发和网络限速。
  2. Prometheus 监控网卡必须物理隔离:千万不要使用汇总网卡指标(如 sum by (instance) (rate(node_network_transmit_bytes_total[5m])))去判断多网卡服务器的网络健康状况。在 Node Exporter 报警规则中,必须将 device="ovs_eth0"(公网与服务网关)与 device="ovs_eth4"(节点内网互联)的阈值彻底分离:
# 公网网关出口异常告警 (低阈值: > 8 MB/s 持续 5分钟)
rate(node_network_transmit_bytes_total{device="ovs_eth0"}[5m]) > 8 * 1024 * 1024

# 内部 2.5GbE 高速互联告警 (高阈值: > 180 MB/s 持续 15分钟)
rate(node_network_transmit_bytes_total{device="ovs_eth4"}[15m]) > 180 * 1024 * 1024
🛡️ 生产级基础设施与系统架构

服务器频繁异常重启、云账单过高,或缺一位能穿透内核日志的架构师?

真正的生产环境稳定性,靠的是穿透表象抓出根因。我独立管理着跨 3 台物理/云主机、162 个容器的高可用自托管生产网络。

Lee Teong Hoe

Lee Teong Hoe · Mr Hoelee

Full-stack developer & DevOps engineer based in Malaysia. I run my own production infrastructure and build web systems for small businesses — this blog is the living record.

Hiring? Profile & stack · Malaysian SME? Website design & development ↗ · All posts