全网都在转的 AI 五步学习路线 —— 我真正在生产里跑的是哪几步
每隔几周就会有一张图在各个信息流里转一圈，到我这里的时候已经是翻译过的版本，发它的账号我也没关注。图里把「做大模型」这条路分成五步：先学基础 —— Transformer、神经网络、注意力机制，学到能看懂图就停；再学提示词工程，几天就能上手；然后学 RAG，让模型基于你自己的数据回答，而不是张口乱编；接着学 Agent，说是这个领域最大的风口；最后是微调，这里给的建议是预训练完全不用碰（那是大厂的事），把多模态微调练熟就行。每一步后面都挂着一个薪资数字，而正是最后那个数字让这张图到处流传。
我不是来跟这张图抬杠的。它没说错 —— 它是一份教学大纲。而大纲这种东西，在教室里完美无缺，一碰到真实系统就失效：它只告诉你学什么、按什么顺序学，从来不告诉你，几年之后你还在做的是其中哪几件事、有谁愿意为结果付钱。我自己跑这一类负载已经有一段时间了 —— 不是做研究，也不是训练模型，而是别人真的在用的服务。所以下面是一个诚实版本：每一步对着我今晚机器上实际在跑的东西逐条核对。
为什么这件事值得说
不信任那张图的理由，不在于条目本身错了，而在于路线图回答的是「该学什么」，而工作问的是「你能不能让东西跑起来」。这是两套不同的能力，而多数「五步学完 AI」的人就卡在这道缝里：他们能描述一条 RAG 流水线，但从来没有在晚上十一点被它搞崩过一次，也就没有在一晚上里真正搞懂检索、成本、数据接入和评估这四件事。
接下来我会把五个步骤逐一对应到我实际在跑的东西上，明说哪几步我从来没做过，最后给出如果重新来一次我会选的顺序。下面所有说法，都跑在一台装了 RTX 3060（12 GB）的台式机和一台 NAS 上。
第一步：基础 —— 够用就停
图里在这点上比多数工程师愿意承认的更对：把 Transformer 学到能看懂图，然后往前走。我的进度比这还早一点就停了。我可以认真聊注意力、token、上下文窗口、量化方式和 KV cache，因为这些正是我在一台 12 GB 显卡上真正会去拧的旋钮 —— 模型要装得下，回答还得快到在聊天窗口里能用。但你让我在白板上推反向传播，我做不到，我也不会相信自己凭记忆报出来的数字。
代价是什么：到目前为止，在要交付的系统里，我没为这件事付过代价。什么时候会付：等我需要训练一个模型的那天。如果你的目标是「给一家小企业把 AI 这套东西撑起来」，第一步是一份书单，不是一个学位 —— 而买本地显卡真正诚实的理由，不是 12 GB 的卡能打赢前沿模型（它打不赢），而是「自己跑一遍」能教你 API 永远教不了的东西。这个取舍我写在为什么我还是买了一张本地显卡里。
第二步：提示词 —— 天花板最低的一步
「几天就能上手」是准确的，而这正是它的问题。提示词是门槛最低的一步，也是最早被自动化掉的一步，所以大量的人停在这里，然后开始管自己叫 AI 工程师。真正的能力不是把指令写得更漂亮，而是判断什么任务根本不该存在指令。
如果一个任务只有一个正确答案、输入是确定的、输出形状也是已知的，那脚本更快、更便宜，而且不会编造。我不止一次把 agent 的提示词换成四十行 Python，并把理由写进了这里。提示词这一侧真正留下来的工作是接口设计：模型被允许看到什么、它的回答必须长成什么形状、你愿意把自己的多少上下文交出去，以及那张图从来不提的一件事 —— 你怎么知道它变差了。最后这件事就是评估，在我看来，它就是「演示」和「服务」之间的分界线。
第三步：RAG —— 难的那一半，跟检索没关系
大家都在引用的一句话是「把数据喂给模型，它就不乱说了」。我确实在跑这套东西：一个自建的记忆层，由 mem0、LiteLLM 和带 pgvector 的 PostgreSQL 17 组成，全部跑在自己的 NAS 上，记忆按 user_id 隔离，所以一个客户的记录不会跑到另一个客户的回答里 —— 整套栈都写在这里，包括容器怎么摆、以及它对外其实只是两个小小的 HTTP 调用。
教学版的 RAG 会跳过三件事，而每一件都花掉过我真实的时间：
- 数据接入是无聊的那一半，也是最容易坏的那一半。 检索质量拿走全部注意力，但真正的工作是把数据可靠地送进去。我最近一次推进自己语音转文字服务的东西，是桌面上的一个 57 秒视频 —— 它变成文字花了大约八秒，用的还是那张同时给手机和笔记本提供实时听写的 12 GB 显卡。正是这个速度让它从演示变成能用的服务，整条链路写在这里。
- 字节级的错误，看起来像模型的错误。 我第一次把同一个服务接到工作流工具上，拿到的是一个很干净的 502「conversion failed」。真正的原因是：multipart 上传里的文件部分少了
Content-Type，于是中间件把原始音频当成 UTF-8 文本解码，在我的任何一行代码跑起来之前就把它毁了。这个 bug 里没有一丝 AI 成分 —— 而它恰好就是那张五步图没办法帮你准备的失败。 - 检索不是一个模型问题。 回答错了，该问的是：正确的片段到底有没有被检索出来、它在切片时有没有被切坏、模型有没有拿到足够的空间去用它。对我来说，换更大的模型从来没有修好过一个检索 bug。
这一层下面其实只有两个调用，值得看一眼：
POST http://127.0.0.1:20015/memories # store a fact or a conversation, tagged by user_id
GET http://127.0.0.1:20015/search # semantic search, scoped to the same user_id没什么花活 —— 这正是重点。一个能用两行描述完的记忆层，才是你能调试的记忆层，而且它整条都留在本地。
第四步：Agent —— 机会是真的，但 Agent 是最小的一块
图里把它排在最值钱的位置，这点我同意：活儿确实在这里。我不同意的是「agent」这个词暗示的东西。一个 agent 是模型加循环加工具，而决定它能不能活得下去的，是围着它的那套检查，不是中间那个模型。我把这套做法写成过 loop engineering，而里面最让我不舒服的发现是：我大部分定时任务里根本没有 AI，偏偏就是这些任务从来没有需要我半夜起来救。模型负责的是判断力，系统的其余部分负责让这份判断力可以被信任。
我这边真正在跑的三件事，好让这句话不只是一句口号：
- 一个给我自己数字商品店用的 Telegram 客服 bot，按客户保存长期记忆，所以回头客在发第二条消息的时候不是陌生人。它写入的记忆层，就是第三步那套自建的 mem0。
- 一个定时任务，负责改我 Shopee 卖家后台的优惠券设置 —— 它是我最不性感但真有用的一类 agent：读当前状态、做决定、动手，然后汇报。它全部的价值都来自一个事实：它会去检查结果，而不是假设自己那一下点中了。
- 一次把二十家 VPS 服务商并行比一轮的调研，做法是把活拆给多个子 agent 分头跑。这个模式值得学，哪怕你根本不打算做「聊天机器人」：写法在这里。
第五步：微调 —— 我故意没做的一步
图里说预训练不用碰，这句是对的；但它接着说要去学多模态微调。对工作内容跟我类似的人来说，后半句我有异议。
我从来没有微调过任何模型。不是做不到，而是我跑这些服务这段时间里，没有任何一次失败是「模型行为」的失败。我的失败是检索失败、许可授权意外、字节级失败和运维失败 —— 一个报了成功、但它声称替换掉的文件根本没动的任务；一个对「到底换掉了哪个文件」撒谎的挂载点；一个真实模型名跟它宣传的不一样的 API。LoRA 修不了 schema 漂移。
我什么时候会去微调：任务足够窄且定义清楚；有成千上万条标注样本而不是几十条；推理账单或者延迟上限确实能被一个更小的调优模型解决；以及愿意自己维护一套评估集 —— 因为一个你无法测量的微调，就是一次你看不见的退化。而且真要做，我会先去租显卡，而不是买第二张 —— 训练是一次项目，不是一次装机。
如果重来一次，我会怎么做
如果让我拿着那张图从零开始，我不会按它的编号顺序走。我会按自己遇到的问题出现的顺序走，并且接受第一个真正的教训不会来自任何一门课：
- 把第一步当成一份能在公开文档里读完的书单，而不是一门课程。懂到足以解释「为什么量化会和上下文上限互相打架」就够了，除非有事情逼你往深处走。
- 第二步花一周，然后立刻把其中只有一个正确答案的部分自动化掉，剩下的注意力全部转到评估上 —— 那张图完全没提这件事。
- 把时间花在第三、第四步上，因为现在市面上几乎所有有人付钱的 AI 工作都在这里：把模型接到真实数据上，以及让围着它的循环变得可信。
- 第五步先放口袋里，等到某个具体问题点名它为止。微调是一门有前置条件的技术，不是楼梯上的一级。
还要注意那张路线图真正的遗漏：那不是一个步骤，而是这个工作的一半 —— 身份、存储、部署、成本、监控，以及出事的时候谁被叫醒。决定了团队能不能用你的，正是这一半，而这个博客写的也主要是这一半。
结果
那五步里有三步跑在一张桌面显卡和一台 NAS 上，诚实的成绩单是这样的：
- 一个 57 秒的视频变成文字大约八秒，用的还是那张同时提供实时听写的 12 GB 显卡 —— 而我把语音服务切成空闲时，显存从 4,906 MiB 掉到 1,321 MiB，因为一张常年占着的显卡，就是一张我别的什么都干不了的显卡。
- 记忆层两个小 HTTP 调用就给出答案，按用户隔离，后端是 NAS 上带 pgvector 的 PostgreSQL —— 是我的，不是某个厂商的。
- 维持这套栈活着的定时任务里，大部分根本不含模型，而它们恰好是整个系统里最可靠的部分。
- 第五步仍然是空的。我宁愿直说这件事，也不愿意把一份路线图注水填满。这个缺口是真的，而且是我选的。
如果那张五步图是教学大纲，这篇就是成绩单。大纲告诉你该学什么，成绩单是招聘方或者客户能真正核对的东西。
想让 AI 真正在你公司里跑起来？
我经营 Hoelee Enterprise，一家面向马来西亚中小企业做网站设计与开发的公司 —— 上面这些 AI 的东西，跑的就是我给客户搭的同一套基础设施。如果你想要一个基于你自己的数据、跑在你自己的硬件上、不挂按人头订阅费的模型，很欢迎聊聊：
- 📱 WhatsApp： +60 12-797 2969
- 📧 邮箱： [email protected]
- 🌐 网站： hoelee.com
如果你是招聘平台、DevOps 或 AI 基础设施岗位，同样的渠道也能找到我。
