最大的访客是我自己的部署检查

· 15 分钟 · 系统工程 nginx日志数据分析pythontypescriptseo爬虫

日志回答不了的那个数字

我维护的那套小工具站没有统计。没有脚本、没有 cookie、没有后端——构建闸门一旦在产物里发现第三方主机就把构建判失败,这是刻意的取向而不是疏忽:三十来个算税、开电子发票、处理 PDF、清洗电话号码的小工具,用它的人没有理由为此被画像。

这个取向留下一个真难回答的问题:有人在用吗? 不是为了虚荣,而是站点下一个决定要靠它。36 个工具、186 条路由、三种语言,花在其中一个上的每一小时,都是从其余三十五个那里挪过来的。没有数字,选哪一个就只是凭感觉。

答案早就在盘上了。整个站点由一个 nginx 容器提供服务,而 nginx 从容器创建那天起就把 combined 访问日志写到 stdout。没有埋点,没有同意横幅,浏览器里不需要动任何东西:

日志里有什么数量
6.6 天窗口内的日志行48,018
能解析出来的请求46,777
非静态资源、非爬虫文件的请求20,553

数字出来的顺序和我预想的相反:14,228 个是我自己部署后的检查,2,298 个是云端扫描器,1,883 个是声明自己的爬虫,692 个是找凭据的,202 个是可能来自人的。我自己的探活脚本,是人数的 70 倍。

把它变成一个站得住的访客数用了三次尝试,前两次错得值得写下来——那也正是任何小站点算自己流量的标准错法。下面这套方法就是最后产出这组数字的那一版,它写成可搬运的形式:一遍去掉不可能是人的东西,一遍按行为分类,再加一条规则,让每一个请求都落进一个有名字、加起来等于原始总数的桶。

正确之前的三次错答案

第一次:按 UA 过滤。 不在爬虫名单上的都算人。结果是 6.6 天里 11,930 个人——听着体面,对一个刚提交过 Search Console 的站点也算合理,而完全错。最大的单一贡献者是我自己的部署期活体检查:一个叫 live_check.py、UA 是 hoelee-tools-live-check 的脚本,每次部署后走完 186 条 sitemap 路由,外加周围的 headless Chrome 探针。它的名字不在爬虫名单上,于是这个站点最大的一股流量被客客气气地算成了读者。标出来之后,它们占了 14,228 个请求——全部流量的 30.4%,是真人流量的 70 倍。

第二次:把自家工具排掉。 这回是 3,750 个人,同样合理,同样错。那是云地址上穿着 Chrome UA 的扫描器。其中三个地址发来 1,172 个请求,1,140 个(97%)是本站从来没有过的路径的 404:/.env、service-account.json、gcp-credentials.json。UA 过滤看不见它们,因为 agent 字符串只是一句自称,而它们自称是浏览器。

第三次:把露馅的 agent 加进爬虫名单。 其中一条是裸的 Mozilla/5.0 前缀,理由听起来很站得住:以它开头、后面什么都不说的应该是脚本。可每一个真浏览器都以它开头。那一条把整周的受众静默判成机器人,把流量压成 六个人——一个产出又小又整齐、纯属虚构的数字,写进报告里还会像一条发现。

第三次的教训最有用:错在“好看”方向的分类器会被人怀疑,错在“难看”方向的分类器会被直接发出去。两者都不是测量。

三次失败,同一个字段。我得到的结论不是“写一份更好的名单”,而是:身份是错的问题,形状才是对的问题。

两遍的形状

第一遍是算术,不是判断。按构建产物的路径(/_astro/、图片、字体、source map)去掉静态资源,把状态码和路径从 combined 格式的日志行里解析出来。剩下的才是“有可能有人在要一个页面”的请求。

第二遍绝对不用 user-agent 去决定任何事。它按地址按小时聚合,然后按顺序问三个问题:这个地址有没有一阵错误爆发、有没有扫大量不同路径、是不是我特意标出来的那个地址。user-agent 只在之后用来给已经被行为分开的桶起个名字——把“声明自己是爬虫”和“披着浏览器的扫描器”分开是贴标签的一步,不是过滤的一步。

输出是一组固定的桶,它们加起来必须等于非资源总数。对不上就是分类器有 bug,这一轮直接失败,而不是打印一个看起来很合理的数字。

切掉静态资源比看上去更划算

我的日志里 46,777 个请求有 26,224 个是静态资源,占 56%。其中很大一部分来自一次页面加载:一个现代静态页面会拉自己的 HTML、几个带 hash 的分块、一两个字体和几张图。把它们算成流量会放大下游每一个比值;如果站点带 service worker,同一个资源还会每部署一次、每个客户端再走一遍。

最便宜的切法按路径前缀,不按扩展名,这一点值得说准,因为更直觉的写法就是看后缀。看后缀会把 /sitemap.xml 和 /robots.txt 留在“页面浏览”桶里——它们既不是资源也不是访客——又会漏掉一个返回数据的 .json 响应。按 /_astro/、品牌标识、favicon、robots 与 sitemap 文件、健康检查端点和 og- 图片这些前缀切,去掉的是大头,剩下的可以按路径一条条解释。要紧的是这个切法必须被写出来:最终表格里每个数字都是“通过了某条具名规则的请求数”,任何人重跑一遍都能复现这次切分。

抓出它们的规则

一个客户端的判定条件是:至少 10 个请求,并且满足下面之一——至少 5 个错误且 4xx 占请求数一半以上,或者一小时内至少 40 个不同路径。

const MIN_REQUESTS = 10;
const MIN_ERRORS = 5;
const ERROR_SHARE = 0.5;
const DISTINCT_PATHS_PER_HOUR = 40;

type Bucket = {
  ip: string;
  hour: string;        // "2026-11-06T09" —— 每个地址每小时一行
  requests: number;
  errors: number;      // 4xx 与 5xx
  paths: Set<string>;  // 只留 pathname,去掉查询串
};

function isScanner(b: Bucket): boolean {
  if (b.requests < MIN_REQUESTS) return false;
  const errorShare = b.errors / b.requests;
  const errorBurst = b.errors >= MIN_ERRORS && errorShare >= ERROR_SHARE;
  const pathSweep = b.paths.size >= DISTINCT_PATHS_PER_HOUR;
  return errorBurst || pathSweep;
}

这条规则里四件事是刻意的。

这两条问的都是客户端要了什么,而不是它自称是谁——这就是这一遍和前面三遍的区别。

站主自己是一个桶,不是一个减法

我自己的地址通过一个显式的 --owner-ip 参数传进来,落在输出里单独一行——这个窗口里是 1,250 个请求——和其他行一起打印。它从来不会被悄悄丢掉。

用这种笨办法的理由是可核查。一个偷偷把运营者流量删掉的分类器,想让剩下的数是多少就是多少,而读的人不重跑工具就没法核对算术。一张加起来等于原始非资源总数的桶表,一分钟就能手算核完。这也是运营者那个桶和部署检查那个桶必须分开的原因:前者是我在看站点,后者是一个脚本在确认站点。把两者合起来,就会掩盖掉“脚本比它服务的那个人大十一倍”这件事。

一份把不好看的行删掉的报告不叫报告。

没有日志栈的时候怎么读日志

日志在站点的容器里(nginx:1.29-alpine),而宿主机 SSH 拒密钥,所以进去的路是 Portainer API:一次 GET 取容器的日志库——nginx 的 access log 写到 stdout,保存它的是 Docker。它是只读的,这是唯一要紧的性质,而且一次就能拿回整个容器的生命周期。

解析器是一个针对 combined 格式的正则,加一个按地址和小时做 key 的 dict:

import re
from collections import defaultdict

# combined 格式,外加反代追加的 X-Forwarded-For:容器网络里的 $remote_addr 对分类毫无用处。
LINE = re.compile(
    r'(?P<ip>\d+\.\d+\.\d+\.\d+|-):?\S* \S+ \S+ \[(?P<ts>[^\]]+)\] '
    r'"(?P<method>[A-Z]+) (?P<path>\S+)[^"]*" (?P<status>\d{3}) \d+ '
    r'"[^"]*" "(?P<ua>[^"]*)"(?: "(?P<xff>[^"]*)")?'
)
# 资源按路径前缀切,不按后缀:带 hash 的包都在 /_astro/ 下,爬虫文件有固定名字;
# 用后缀判断会把 /sitemap.xml 和 /robots.txt 留进「页面浏览」里。
ASSET = re.compile(r'^/(_astro/|brand-mark\.svg|favicon|robots\.txt|sitemap|healthz|apple-touch|og-)')

buckets = defaultdict(lambda: {"requests": 0, "errors": 0, "paths": set()})

with open("access.log", encoding="utf-8", errors="replace") as fh:
    for line in fh:
        m = LINE.match(line)
        if not m:
            continue
        path = m["path"].split("?")[0]
        if ASSET.match(path):
            continue
        # "06/Nov/2026:09:41:02 +0000" -> "2026-11-06T09"
        hour = m["ts"].split(":")[0][7:11] + "-" + m["ts"].split("/")[1] + "T" + m["ts"].split(":")[1]
        b = buckets[(m["ip"], hour)]
        b["requests"] += 1
        b["paths"].add(path)
        if 400 <= int(m["status"]) < 500:
            b["errors"] += 1

小时那个 key 是最丑的一段,也是重写这套东西时最常错的地方:时间戳带的是服务器本地时区偏移,所以用 UTC 去算桶边界会让每个计数整体挪一小时,把客户端搬过边界。选一个偏移、写下来,绝对不要把本地时间的日志和 UTC 的窗口混进同一张表。

那一周实际有什么

桶页面请求是什么
probe14,228我自己的验证:每次部署后走 186 条路由的活体检查,加 CDP 探针
automated2,298云地址发出的浏览器 UA;其中 97% 的请求是 404
bot1,883自报的爬虫与链接预览抓取器
owner1,250我自己的连接:测试、截图、同一网络里的设备
scan692/.env、/.git/config、/xmlrpc.php、wp-login
human202剩下的全部,分布在 101 个地址上

6.6 天里 202 个页面请求,就是一天 30.7 个,而按天分布最诚实的读法是:目前还没有受众。28、45、20、50、31、22,最后一天只统计了 6。整周的外部引荐一共三个,全部是 https://www.google.com/。

有两个细节比总数更要紧。Google 从自己的地址段在一个六天大的站点上抓了 188 个页面,说明 sitemap 与 robots 文件正在被读——那是抓取,不是阅读。而排在“人”前三名的客户端是 Google 的地址加一个链接预览抓取器,所以连 202 都是偏高的。

这些数字支持的结论既不舒服也有用:漏斗的第一层已经建好、已经上线,而正在读它的人没有。漏斗不创造需求,它只是在需求出现之后不让需求漏掉。这些数字后来变成什么、又怎么改掉接下来一个月的工作,写在这次测量整理出的那篇案例里。

访问日志说不出来的事

那 202 个分散在 101 个地址上的请求,不是 202 个访客。这一节是让这篇文章保持诚实的那一节。

诚实的那句话是:“202 个请求无法归入已知类别,分散在 101 个地址上,其中三个是 Google”。这话不如标题好写,但它是真正的发现。

分类器自己还剩的错误

三个已知缺陷,写在这里,因为一个藏着缺口的数字比一个小一点但把缺口说清的数字更糟。

静态资源被当成页面在数。 排除名单覆盖了 /_astro/、robots.txt、sitemap 与品牌标识,但没有 /assets/。于是 portrait-280.webp 出现在“人的页面列表”里 14 次——真浏览器发来的响应式图片请求,被当成了页面浏览。真实页面请求更接近 175,而不是 202。

一部分找凭证的请求躲过了路径过滤。 扫描正则锚定在行首的 /.,于是 /dev/.env、/%2Fsettings、//wp、/wordpress 都作为人的页面浏览溜了进来,一周共 13 个请求。它们对结论毫无影响,但对面“这个数字能不能不加脚注地引用”影响一切。

站主的桶是一个静态地址。 家里那条连接的地址是显式传进去的,这既诚实也脆弱:在地址会变的连接上,这个桶会静默失效,那些请求并进人的计数里。它需要每次运行重新提供,而收集器的 JSON 只记聚合——任何地址都不写进任何被提交的文件,这是即使在内部报告里也值得守住的那一条隐私性质。

让下次可比的那些方法说明跟分类器本身一样重要:客户端地址取最后一个引号字段(反向代理设置的 X-Forwarded-For),不是容器网段地址;语言前缀从路径里剥出来、在路由旁边单独报;数据源是 Docker 日志接口,这意味着这份基线只在容器的日志存储还在的时候存在。真正的产物是那份 JSON 快照,不是日志。

爬虫最先猜 sitemap-index.xml

同一份日志,换一个问题:它同时也是“爬虫要了什么、没拿到什么”的记录。

站点的 sitemap 是手写在 /sitemap.xml 的——186 个 URL,每个四条 xhtml:link 备用链接——因为 Astro 的集成在不同语种 slug 不一致时会丢掉马来文。手写修好了内容,留下了文件名。爬虫(以及 Astro 自己的集成)最先猜的是 /sitemap-index.xml 和 /sitemap_index.xml,两个都返回 404,停在那里的客户端包括 DeepSeekBot、KimiBot、MoonshotBot、cohere-ai、Hunyuan、PerplexityBot、ExaSearchBot、IsonSearchBot、MJ12bot、ccrawl 和 AgentRegistryCrawler。

修法是一个文件。sitemapindex 允许引用 sitemap,所以这个别名是合规写法,不是跳转花招:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://tools.hoelee.com/sitemap.xml</loc>
  </sitemap>
</sitemapindex>

这七行里有两个决定值得照抄。

不带 <lastmod>。 真 sitemap 里的日期是合成的、稳定的,不是提交时间。把它们的最大值写进别名,等于把同一份虚构放进第二个地方;而相信索引、不看 sitemap 的爬虫,就是在相信一份猜测的副本。

别名有闸门,而且很严。 别名缺失、不是 sitemapindex、或者引用了不止那一份 sitemap,构建就失败。最后一条是让它能活下去的那条:很诱人的写法是把页面清单直接列进索引,那就造出了第二个事实来源,而没有任何测试拿它和第一个对比。两者第一次漂移的那天,站点会提供一份自相矛盾的 sitemap,谁都不会发现。

我会改的地方

先看行为,user-agent 只用来给已经分开的桶贴标签。我写的第一版把那个字符串当证据,得到 11,930 个“人”,全是我自己;第二版得到 3,750 个,全是一个扫描器家族;第三版得到 6 个——6 就是一个过滤器不再有任何意义时会说的话。

把桶打印出来,并断言它们加起来对得上。算术是唯一能抓住“分类器悄悄删掉运营者”的检查,而它抓住了我这次。

把数字做成能被拆开的,因为拆不开的指标没法被反驳。202 个人本身没有意义;202 个,其中 14 个是静态资源、13 个是找凭证的探测,来自 101 个地址,对照我自己 14,228 次探测才可以被反驳——而拆解它,正是上面那三个缺陷里三个被露出来的原因。

在写分类器的忽略名单之前,先看那些 404。十一种爬虫一直在要一个这个站点从来没有提供过的 sitemap 名字,而日志一直在记那些 404——我读日志是为了流量,它想告诉我的是发现性。为一个问题做的测量,只要桶够诚实,就会顺带回答另一个问题。

🛡️ 生产级基础设施与系统架构

服务器频繁异常重启、云账单过高,或缺一位能穿透内核日志的架构师?

真正的生产环境稳定性,靠的是穿透表象抓出根因。我独立管理着跨 3 台物理/云主机、162 个容器的高可用自托管生产网络。

Lee Teong Hoe

Lee Teong Hoe · Mr Hoelee

Full-stack developer & DevOps engineer based in Malaysia. I run my own production infrastructure and build web systems for small businesses — this blog is the living record.

Hiring? Profile & stack · Malaysian SME? Website design & development ↗ · All posts