研究人员提出了对比解码差异分析（CDD）方法，仅通过基础模型与微调模型之间的对数几率差异，无需权重或激活值访问，即可从大语言模型中恢复微调数据的原文。 该技术显著优于先前的白盒方法，在 SDF 基准上实现了高原文恢复得分，并且通过无需完全模型访问即可检测数据泄露，对机器学习安全性和可解释性具有重要意义。 CDD 在参数规模从 1B 到 32B 的多个模型家族中使用单一默认配置，在 20 个模型对中的 19 个上实现了 4 分或以上（满分 5 分）的原文恢复得分，而先前的激活差异透镜（ADL）方法尽管需要完全权重访问，但得分从未超过 3 分。
背景
对比解码是一种通过对比弱模型和强模型的对数几率来改进文本生成的技术。模型差异分析指的是比较模型以隔离微调引入的变化。CDD 在仅能获取对数几率输出的灰盒设置中应用这些思想，以提取训练数据的原文。