最大的访客是我自己的部署检查
日志回答不了的那个数字
我维护的那套小工具站没有统计。没有脚本、没有 cookie、没有后端——构建闸门一旦在产物里发现第三方主机就把构建判失败,这是刻意的取向而不是疏忽:三十来个算税、开电子发票、处理 PDF、清洗电话号码的小工具,用它的人没有理由为此被画像。
这个取向留下一个真难回答的问题:有人在用吗? 不是为了虚荣,而是站点下一个决定要靠它。36 个工具、186 条路由、三种语言,花在其中一个上的每一小时,都是从其余三十五个那里挪过来的。没有数字,选哪一个就只是凭感觉。
答案早就在盘上了。整个站点由一个 nginx 容器提供服务,而 nginx 从容器创建那天起就把 combined 访问日志写到 stdout。没有埋点,没有同意横幅,浏览器里不需要动任何东西:
| 日志里有什么 | 数量 |
|---|---|
| 6.6 天窗口内的日志行 | 48,018 |
| 能解析出来的请求 | 46,777 |
| 非静态资源、非爬虫文件的请求 | 20,553 |
数字出来的顺序和我预想的相反:14,228 个是我自己部署后的检查,2,298 个是云端扫描器,1,883 个是声明自己的爬虫,692 个是找凭据的,202 个是可能来自人的。我自己的探活脚本,是人数的 70 倍。
把它变成一个站得住的访客数用了三次尝试,前两次错得值得写下来——那也正是任何小站点算自己流量的标准错法。下面这套方法就是最后产出这组数字的那一版,它写成可搬运的形式:一遍去掉不可能是人的东西,一遍按行为分类,再加一条规则,让每一个请求都落进一个有名字、加起来等于原始总数的桶。
正确之前的三次错答案
第一次:按 UA 过滤。 不在爬虫名单上的都算人。结果是 6.6 天里 11,930 个人——听着体面,对一个刚提交过 Search Console 的站点也算合理,而完全错。最大的单一贡献者是我自己的部署期活体检查:一个叫 live_check.py、UA 是 hoelee-tools-live-check 的脚本,每次部署后走完 186 条 sitemap 路由,外加周围的 headless Chrome 探针。它的名字不在爬虫名单上,于是这个站点最大的一股流量被客客气气地算成了读者。标出来之后,它们占了 14,228 个请求——全部流量的 30.4%,是真人流量的 70 倍。
第二次:把自家工具排掉。 这回是 3,750 个人,同样合理,同样错。那是云地址上穿着 Chrome UA 的扫描器。其中三个地址发来 1,172 个请求,1,140 个(97%)是本站从来没有过的路径的 404:/.env、service-account.json、gcp-credentials.json。UA 过滤看不见它们,因为 agent 字符串只是一句自称,而它们自称是浏览器。
第三次:把露馅的 agent 加进爬虫名单。 其中一条是裸的 Mozilla/5.0 前缀,理由听起来很站得住:以它开头、后面什么都不说的应该是脚本。可每一个真浏览器都以它开头。那一条把整周的受众静默判成机器人,把流量压成 六个人——一个产出又小又整齐、纯属虚构的数字,写进报告里还会像一条发现。
第三次的教训最有用:错在“好看”方向的分类器会被人怀疑,错在“难看”方向的分类器会被直接发出去。两者都不是测量。
三次失败,同一个字段。我得到的结论不是“写一份更好的名单”,而是:身份是错的问题,形状才是对的问题。
两遍的形状
第一遍是算术,不是判断。按构建产物的路径(/_astro/、图片、字体、source map)去掉静态资源,把状态码和路径从 combined 格式的日志行里解析出来。剩下的才是“有可能有人在要一个页面”的请求。
第二遍绝对不用 user-agent 去决定任何事。它按地址按小时聚合,然后按顺序问三个问题:这个地址有没有一阵错误爆发、有没有扫大量不同路径、是不是我特意标出来的那个地址。user-agent 只在之后用来给已经被行为分开的桶起个名字——把“声明自己是爬虫”和“披着浏览器的扫描器”分开是贴标签的一步,不是过滤的一步。
输出是一组固定的桶,它们加起来必须等于非资源总数。对不上就是分类器有 bug,这一轮直接失败,而不是打印一个看起来很合理的数字。
切掉静态资源比看上去更划算
我的日志里 46,777 个请求有 26,224 个是静态资源,占 56%。其中很大一部分来自一次页面加载:一个现代静态页面会拉自己的 HTML、几个带 hash 的分块、一两个字体和几张图。把它们算成流量会放大下游每一个比值;如果站点带 service worker,同一个资源还会每部署一次、每个客户端再走一遍。
最便宜的切法按路径前缀,不按扩展名,这一点值得说准,因为更直觉的写法就是看后缀。看后缀会把 /sitemap.xml 和 /robots.txt 留在“页面浏览”桶里——它们既不是资源也不是访客——又会漏掉一个返回数据的 .json 响应。按 /_astro/、品牌标识、favicon、robots 与 sitemap 文件、健康检查端点和 og- 图片这些前缀切,去掉的是大头,剩下的可以按路径一条条解释。要紧的是这个切法必须被写出来:最终表格里每个数字都是“通过了某条具名规则的请求数”,任何人重跑一遍都能复现这次切分。
抓出它们的规则
一个客户端的判定条件是:至少 10 个请求,并且满足下面之一——至少 5 个错误且 4xx 占请求数一半以上,或者一小时内至少 40 个不同路径。
const MIN_REQUESTS = 10;
const MIN_ERRORS = 5;
const ERROR_SHARE = 0.5;
const DISTINCT_PATHS_PER_HOUR = 40;
type Bucket = {
ip: string;
hour: string; // "2026-11-06T09" —— 每个地址每小时一行
requests: number;
errors: number; // 4xx 与 5xx
paths: Set<string>; // 只留 pathname,去掉查询串
};
function isScanner(b: Bucket): boolean {
if (b.requests < MIN_REQUESTS) return false;
const errorShare = b.errors / b.requests;
const errorBurst = b.errors >= MIN_ERRORS && errorShare >= ERROR_SHARE;
const pathSweep = b.paths.size >= DISTINCT_PATHS_PER_HOUR;
return errorBurst || pathSweep;
}
这条规则里四件事是刻意的。
- 按地址按小时,不是按地址按周。 整周总数从不进入判定。一个在四天里分散抓 60 个真实页面的爬虫不是扫站;一个在一小时内要 40 个不同路径的客户端是。
- 两条都要。 那个
.env扫描器过不了错误那条(1,172 个请求里 1,140 个是 404),也过不了扫路径那条。一个更安静的、专挑看起来合理的 URL 并且拿到 200 的扫描器,只会被扫路径那条抓住。 MIN_REQUESTS保护长尾。 没有下限,一个真实访客打错 URL 产生的单个 404 就是 100% 的错误率。10 个请求这个下限仍然低到能抓住一个慢慢试的探测器。- 40 条路径这个阈值,高于我测到的最忙一天——Google 的爬虫一天抓 60 个页面——所以正常的抓取日扫不过去。这是余量,不是证明:一个把 40 次抓取挤进一小时的渲染器会被判成扫描器,而这恰恰是行为判定只给桶起名字、不删除请求的原因。
这两条问的都是客户端要了什么,而不是它自称是谁——这就是这一遍和前面三遍的区别。
站主自己是一个桶,不是一个减法
我自己的地址通过一个显式的 --owner-ip 参数传进来,落在输出里单独一行——这个窗口里是 1,250 个请求——和其他行一起打印。它从来不会被悄悄丢掉。
用这种笨办法的理由是可核查。一个偷偷把运营者流量删掉的分类器,想让剩下的数是多少就是多少,而读的人不重跑工具就没法核对算术。一张加起来等于原始非资源总数的桶表,一分钟就能手算核完。这也是运营者那个桶和部署检查那个桶必须分开的原因:前者是我在看站点,后者是一个脚本在确认站点。把两者合起来,就会掩盖掉“脚本比它服务的那个人大十一倍”这件事。
一份把不好看的行删掉的报告不叫报告。
没有日志栈的时候怎么读日志
日志在站点的容器里(nginx:1.29-alpine),而宿主机 SSH 拒密钥,所以进去的路是 Portainer API:一次 GET 取容器的日志库——nginx 的 access log 写到 stdout,保存它的是 Docker。它是只读的,这是唯一要紧的性质,而且一次就能拿回整个容器的生命周期。
解析器是一个针对 combined 格式的正则,加一个按地址和小时做 key 的 dict:
import re
from collections import defaultdict
# combined 格式,外加反代追加的 X-Forwarded-For:容器网络里的 $remote_addr 对分类毫无用处。
LINE = re.compile(
r'(?P<ip>\d+\.\d+\.\d+\.\d+|-):?\S* \S+ \S+ \[(?P<ts>[^\]]+)\] '
r'"(?P<method>[A-Z]+) (?P<path>\S+)[^"]*" (?P<status>\d{3}) \d+ '
r'"[^"]*" "(?P<ua>[^"]*)"(?: "(?P<xff>[^"]*)")?'
)
# 资源按路径前缀切,不按后缀:带 hash 的包都在 /_astro/ 下,爬虫文件有固定名字;
# 用后缀判断会把 /sitemap.xml 和 /robots.txt 留进「页面浏览」里。
ASSET = re.compile(r'^/(_astro/|brand-mark\.svg|favicon|robots\.txt|sitemap|healthz|apple-touch|og-)')
buckets = defaultdict(lambda: {"requests": 0, "errors": 0, "paths": set()})
with open("access.log", encoding="utf-8", errors="replace") as fh:
for line in fh:
m = LINE.match(line)
if not m:
continue
path = m["path"].split("?")[0]
if ASSET.match(path):
continue
# "06/Nov/2026:09:41:02 +0000" -> "2026-11-06T09"
hour = m["ts"].split(":")[0][7:11] + "-" + m["ts"].split("/")[1] + "T" + m["ts"].split(":")[1]
b = buckets[(m["ip"], hour)]
b["requests"] += 1
b["paths"].add(path)
if 400 <= int(m["status"]) < 500:
b["errors"] += 1
小时那个 key 是最丑的一段,也是重写这套东西时最常错的地方:时间戳带的是服务器本地时区偏移,所以用 UTC 去算桶边界会让每个计数整体挪一小时,把客户端搬过边界。选一个偏移、写下来,绝对不要把本地时间的日志和 UTC 的窗口混进同一张表。
那一周实际有什么
| 桶 | 页面请求 | 是什么 |
|---|---|---|
probe | 14,228 | 我自己的验证:每次部署后走 186 条路由的活体检查,加 CDP 探针 |
automated | 2,298 | 云地址发出的浏览器 UA;其中 97% 的请求是 404 |
bot | 1,883 | 自报的爬虫与链接预览抓取器 |
owner | 1,250 | 我自己的连接:测试、截图、同一网络里的设备 |
scan | 692 | /.env、/.git/config、/xmlrpc.php、wp-login |
human | 202 | 剩下的全部,分布在 101 个地址上 |
6.6 天里 202 个页面请求,就是一天 30.7 个,而按天分布最诚实的读法是:目前还没有受众。28、45、20、50、31、22,最后一天只统计了 6。整周的外部引荐一共三个,全部是 https://www.google.com/。
有两个细节比总数更要紧。Google 从自己的地址段在一个六天大的站点上抓了 188 个页面,说明 sitemap 与 robots 文件正在被读——那是抓取,不是阅读。而排在“人”前三名的客户端是 Google 的地址加一个链接预览抓取器,所以连 202 都是偏高的。
这些数字支持的结论既不舒服也有用:漏斗的第一层已经建好、已经上线,而正在读它的人没有。漏斗不创造需求,它只是在需求出现之后不让需求漏掉。这些数字后来变成什么、又怎么改掉接下来一个月的工作,写在这次测量整理出的那篇案例里。
访问日志说不出来的事
那 202 个分散在 101 个地址上的请求,不是 202 个访客。这一节是让这篇文章保持诚实的那一节。
- 一个请求不是一个人。 那堆残留里有三个地址是 Google 的渲染爬虫,它在有计数的四天里抓了 11、44、16、60 个页面。它们进“人”这个桶,只是因为它既不扫路径也不出错,不是因为它是一个人。
- 没有 cookie 就没有会话。 站点什么都不设,所以同一个地址的两个请求没法证明是一次访问,而一个人在两台设备上就是两个地址。任何从这份日志里算出来的“独立访客”数字,都是把一个定义打扮成一次测量。
- NAT 会把人群藏起来。 一个地址可以是一间办公室、一所学校,或者一个移动运营商的网关。日志里看不出来。
- 仪器会改变它量到的东西。 我自己的部署检查占非资源流量的 69.2%。任何不看运营者那个桶、直接从原始总数得出的结论,得出的都是关于我那个探活脚本的结论。
诚实的那句话是:“202 个请求无法归入已知类别,分散在 101 个地址上,其中三个是 Google”。这话不如标题好写,但它是真正的发现。
分类器自己还剩的错误
三个已知缺陷,写在这里,因为一个藏着缺口的数字比一个小一点但把缺口说清的数字更糟。
静态资源被当成页面在数。 排除名单覆盖了 /_astro/、robots.txt、sitemap 与品牌标识,但没有 /assets/。于是 portrait-280.webp 出现在“人的页面列表”里 14 次——真浏览器发来的响应式图片请求,被当成了页面浏览。真实页面请求更接近 175,而不是 202。
一部分找凭证的请求躲过了路径过滤。 扫描正则锚定在行首的 /.,于是 /dev/.env、/%2Fsettings、//wp、/wordpress 都作为人的页面浏览溜了进来,一周共 13 个请求。它们对结论毫无影响,但对面“这个数字能不能不加脚注地引用”影响一切。
站主的桶是一个静态地址。 家里那条连接的地址是显式传进去的,这既诚实也脆弱:在地址会变的连接上,这个桶会静默失效,那些请求并进人的计数里。它需要每次运行重新提供,而收集器的 JSON 只记聚合——任何地址都不写进任何被提交的文件,这是即使在内部报告里也值得守住的那一条隐私性质。
让下次可比的那些方法说明跟分类器本身一样重要:客户端地址取最后一个引号字段(反向代理设置的 X-Forwarded-For),不是容器网段地址;语言前缀从路径里剥出来、在路由旁边单独报;数据源是 Docker 日志接口,这意味着这份基线只在容器的日志存储还在的时候存在。真正的产物是那份 JSON 快照,不是日志。
爬虫最先猜 sitemap-index.xml
同一份日志,换一个问题:它同时也是“爬虫要了什么、没拿到什么”的记录。
站点的 sitemap 是手写在 /sitemap.xml 的——186 个 URL,每个四条 xhtml:link 备用链接——因为 Astro 的集成在不同语种 slug 不一致时会丢掉马来文。手写修好了内容,留下了文件名。爬虫(以及 Astro 自己的集成)最先猜的是 /sitemap-index.xml 和 /sitemap_index.xml,两个都返回 404,停在那里的客户端包括 DeepSeekBot、KimiBot、MoonshotBot、cohere-ai、Hunyuan、PerplexityBot、ExaSearchBot、IsonSearchBot、MJ12bot、ccrawl 和 AgentRegistryCrawler。
修法是一个文件。sitemapindex 允许引用 sitemap,所以这个别名是合规写法,不是跳转花招:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://tools.hoelee.com/sitemap.xml</loc>
</sitemap>
</sitemapindex>
这七行里有两个决定值得照抄。
不带 <lastmod>。 真 sitemap 里的日期是合成的、稳定的,不是提交时间。把它们的最大值写进别名,等于把同一份虚构放进第二个地方;而相信索引、不看 sitemap 的爬虫,就是在相信一份猜测的副本。
别名有闸门,而且很严。 别名缺失、不是 sitemapindex、或者引用了不止那一份 sitemap,构建就失败。最后一条是让它能活下去的那条:很诱人的写法是把页面清单直接列进索引,那就造出了第二个事实来源,而没有任何测试拿它和第一个对比。两者第一次漂移的那天,站点会提供一份自相矛盾的 sitemap,谁都不会发现。
我会改的地方
先看行为,user-agent 只用来给已经分开的桶贴标签。我写的第一版把那个字符串当证据,得到 11,930 个“人”,全是我自己;第二版得到 3,750 个,全是一个扫描器家族;第三版得到 6 个——6 就是一个过滤器不再有任何意义时会说的话。
把桶打印出来,并断言它们加起来对得上。算术是唯一能抓住“分类器悄悄删掉运营者”的检查,而它抓住了我这次。
把数字做成能被拆开的,因为拆不开的指标没法被反驳。202 个人本身没有意义;202 个,其中 14 个是静态资源、13 个是找凭证的探测,来自 101 个地址,对照我自己 14,228 次探测才可以被反驳——而拆解它,正是上面那三个缺陷里三个被露出来的原因。
在写分类器的忽略名单之前,先看那些 404。十一种爬虫一直在要一个这个站点从来没有提供过的 sitemap 名字,而日志一直在记那些 404——我读日志是为了流量,它想告诉我的是发现性。为一个问题做的测量,只要桶够诚实,就会顺带回答另一个问题。
服务器频繁异常重启、云账单过高,或缺一位能穿透内核日志的架构师?
真正的生产环境稳定性,靠的是穿透表象抓出根因。我独立管理着跨 3 台物理/云主机、162 个容器的高可用自托管生产网络。