收敛得这么漂亮,问题出在哪?——出在一个藏在定理里、从没被声明的前提:θ\ 得是固定的。收敛,只有在目标不动时才叫收敛。*
第三层:错的不是算法,是它对世界的假设 —— 世界不是平稳的
Robbins-Monro 收敛的全部合法性,压在一个词上:平稳(stationary)。目标 θ\* 得钉死不动,退火到零才对。
可世界是非平稳的。你要估的那个"真相"自己在移动:行业规则变了、你变了、对手变了、上一代的正确成了这一代的错误。
在一个移动靶上把 α 退到零,是可证明的灾难:增益先于目标死掉,你锁定在一个早已挪走的答案上,还以为自己命中靶心。
非平稳世界里的最优步长,恰恰不是零,而是一个保持恒定、离零有距离的小值(指数遗忘 / 恒增益卡尔曼)。代价是你永远有一点抖动(方差压不到零),换来的是能跟住一个动的目标。这就是收敛与跟踪的死结:
想彻底收敛,就跟不住变化;想跟住变化,就永远不能宣布"我到站了"。
这一层顺手拆了原版第三层的"对称陷阱"——α 拉满(≈1)也是死。为什么?因为 α=1 的记忆长度只有一个样本,它只在每个样本都来自全新世界(完全非平稳)时才最优。那是 漂流 里"喜新厌旧"的人:把每天当成世界元年,什么都留不下,在噪声里 决策与随机 地抖。
所以两种死法是同一个错误的两端:
- α→0:把非平稳世界误当平稳,收敛到一个不存在的答案。(老)
- α→1:把平稳世界误当全非平稳,永远不收敛,追新即噪声。(浮)
真实世界既不是平稳、也不是全乱,而是分段平稳:一段规则稳定的 regime,走着走着,"啪"地 跳变 到下一段。
第四层:年轻 = 一个还在工作的「换题探测器」
分段平稳世界里的最优学习器,早有名字:变点检测(change-point detection)。
它的逻辑是双层的:
- 段内:认定 regime 没变,把 α 压低,安心收敛、把好模型用透(exploit)。
- 段间:一旦侦测到 regime 断了,把 α 猛地打开,重估、换模型(explore),然后在新段里重新压低。
关键在怎么侦测。段内的预测误差,是一串零均值、方差已知的噪声;regime 一断,误差不再服从那个噪声模型——出现持续同号的偏差、或方差整体炸开。侦测它,是一种"对意外本身的意外":不是"我又猜错一次"(段内正常),是"我错的方式,我的旧模型已经解释不了了"。
于是"改模型 vs 改解释"有了它最底层的定义:
- 改模型 = 探测器在工作。把反常误差读成"regime 变了",重开 α。
- 改解释 = 探测器被关掉。把 regime 断裂硬塞回旧噪声模型——"这只是个例外""这次特殊""过阵子就回来了"——于是 α 焊死在零。
年轻不是 α 高,是探测器还带电:世界真断的时候,你认得出那是断,而不是把它归进"个例外"。
而探测器为什么会被关掉、而不只是自然衰减?因为侦测一次 regime 断裂,要付两笔硬账:
- 能量账:承认意外、重估模型,要花自由能——大脑抠门,默认把意外往"噪声"里塞最省。
- 存在账(最深):宣布 regime 断了,等于宣布"我这套自我赖以成立的世界,已经不在了"。regime 给你的回报越大,这句话越贵。所以最成功的人,探测器被夹得最死——不是他蠢,是对他而言,"换题"的代价是拆掉整个自己。
这就补上了第二层的复利:衰老不是无数次"懒得学",是无数次把一个真正的换题,成功地读成了噪声。每读一次,探测器的阈值就抬高一格,直到它对任何 regime 断裂都免疫。
终点:别数你改了几个信念,测你还敢不敢换题
不够。原版让你"主动喂预测误差",但这有个致命漏洞:段内的误差喂再多,也只是微调参数,不会重开 α。 读一百篇你所在 regime 内部的新观点、做一百件同一套游戏里的新任务——探测器纹丝不动。你在优化一道早已改题的考卷,还越答越顺。
所以自测要下沉到探测器这一层。别问"我改了几个信念",问:
我上一次侦测到的,是一个参数变了,还是一道题变了?
当反常数据来时,我的第一反应是改模型,还是加宽噪声带——把它划进"例外"?
三个"探测器已被夹死"的读数:
🔴 说不出上一次"游戏规则本身变了"是什么时候 —— 你只在段内微调,α 早退到零。
🔴 新数据来,第一动作是解释它为什么不算数 —— 加宽噪声带 = 关探测器。越顺滑的说辞越危险。
🔴 越成功的领域,越久没被证伪过 —— 那不是你对,是你把该领域的 α 焊死了。赢过的模型最该被重新审讯。
| 状态 | α 行为 | 真相 | 动作 |
| 新数据被旧模型解释掉 | 焊死在 0 | 收敛到一个已挪走的答案 | 找能断 regime 的证伪,不是段内新知 |
| 每阵风都改方向 | 恒 ≈1 | 把世界误当全非平稳,追新即噪声 | 段内压低 α,把好模型用透 |
| 只在舒适区喂误差 | 表面在动 | 微调参数,没重开 α | 去会改题的环境,不是会加料的环境 |
| 认得出 regime 断、且敢重估 | 探测器在线 | 真年轻 | 保持,且给下行兜底 |
对治只有一条:主动走进能"改题"的环境——会推翻你整套前提的人、你完全没有先验的领域、把你最成功的模型暴露给能证伪它的对手。段内的误差让你更精,只有换题级的误差能让你更年轻。
但换题级探测的代价是"承认整个自己所处的世界变了",这太重,没人扛得起裸奔的重估——所以它必须配 安全基地:下行有界(我错了,但我还在),才 license 得起把 regime 拿出来重新审讯。 探测器和安全基地是一套系统:兜底封住存在账,探测器才敢开机。
最后一句,狠一点——
衰老不是学习率归零。
是一台收敛得完美无缺的优化器,
在一道早已改了题的考卷上,
一路收敛到了满分。
改答案的人,只是在调参数——25 岁就把题锁死了,往后 50 年都在同一道题上刷更高的分。
改题的人,80 岁还在重开 α——因为他知道:没有一道题,是永远成立的。
年轻,从来不是"没皱纹",
是你的世界,还允许自己被重新出题。
(箭到底了。)