CACHE-UK：给 4-bit 量化模型反复改知识，退化降了 17%

把 LLM 量化到 4-bit 部署是不少团队控制成本的做法，但有一个隐藏代价：量化后的模型扛不住频繁的知识更新。金融监管规则变了，财报数据要修正——改一次还行，改第二次模型就开始混淆前后版本，再改一次，最早那批知识也丢了。论文给这个现象起了个名字：「量化稳定性危机」（quantization stability crisis）。

arXiv 上最近有一篇论文就是冲这个问题来的。CACHE-UK（Contextual Adaptive Continual Hybrid Editor for UK Finance）是一个面向量化金融 LLM 的记忆编辑框架，7 月 30 日提交，作者 Anubhav Lakra 和 Yue Feng。

三个模块，各盯一个瓶颈

CACHE-UK 三个组件，设计不绕弯子。

rank-1 LoRA 扰动机制把每次编辑限制在一个低秩适配器子空间中，不直接动主参数空间。改一个知识点时影响范围可控，不会大面积冲刷已有参数。

金融领域优先级模块给不同事实分配不同编辑权重。法规更新和公司名称变动，关键内容改得深，次要信息的扰动主动压低。

闭环稳定性控制器追踪一个叫「退化债务」（degradation debt）的累计指标，每次编辑记一笔账。债务累积到阈值，控制器介入，防止连续编辑引发灾难性遗忘。

串起来的效果：每次编辑有一套记账、缓冲、止损的操作流程。

实验结果，底线写清楚

实验底座是 4-bit 量化的 OpenLLaMA-3B 模型，训练数据来自 88,021 份英国金融文档。

CACHE-UK 在这组设定下把知识退化降低了 11%–17%，显著拖慢了退化速度。泛化成功率（test generalization rate）28%，比最强 baseline 高 6 个百分点。

论文自己也写了：「absolute generalization rates remain low」。28% 的泛化率，离实用还有距离。

CACHE-UK 解决的是一个工程问题——让量化模型在反复修改下多撑几轮。

一点判断

这篇论文最有价值的贡献是它把一个部署现场的隐性痛点清晰地摆到了论文里。LoRA 加权重加稳定性追踪——单个思路不算全新——但拼在一起指向了一个真实问题。做过量化部署、有知识更新需求的，改一个点崩一片，然后花几倍时间排查回退——这种场景不陌生。

CACHE-UK 给的是一个工程上可用的折中：让 4-bit 模型的编辑寿命从几次延长到几十次，同时用 degradation debt 这种可量化指标判断什么时候该停。

对做金融落地的团队来说，CACHE-UK 的实际效果是拖慢遗忘速度——在量化部署的成本压力和知识更新的频率压力之间，这可能是目前最务实的一个平衡尝试。