#model interpretability

研究人员提出了对比解码差异分析（CDD）方法，仅通过基础模型与微调模型之间的对数几率差异，无需权重或激活值访问，即可从大语言模型中恢复微调数据的原文。 该技术显著优于先前的白盒方法，在 SDF 基准上实现了高原文恢复得分，并且通过无需完全模型访问即可检测数据泄露，对机器学习安全性和可解释性具有重要意义。 CDD 在参数规模从 1B 到 32B 的多个模型家族中使用单一默认配置，在 20 个模型对中的 19 个上实现了 4 分或以上（满分 5 分）的原文恢复得分，而先前的激活差异透镜（ADL）方法尽管需要完全权重访问，但得分从未超过 3 分。