LingBot-Vision:基于掩码边界建模的自监督预训练

reddit.com · ⭐️ 9/10 · 2026-07-06

LingBot-Vision 提出了掩码边界建模方法,由教师网络生成边界标记供学生重建,在 NYUv2 线性探测任务上以 1.1B 参数达到 0.296 RMSE 的最优结果,优于 DINOv3-7B 的 0.309。 这种新颖的自监督预训练方法在更少数据(1.61 亿张图像,而 DINOv3 约 5 亿张)下显著提升了深度估计性能,有望减少计算机视觉中对标注数据和大规模预训练的需求。 该方法采用师生框架,边界标记来自教师自身的预测,无需外部边缘检测器;掩码区域强制重建包含边界的区域。模型包含四种规模,权重以 Apache-2.0 许可证发布。

背景

自监督学习旨在从无标注数据中学习有用的表示。掩码建模(如 NLP 中的 BERT)预测输入中被掩码的部分。边界检测识别物体的边缘。LingBot-Vision 结合了这些:它掩码由教师预测的边界标记,从而让学生学会重建结构边界。

参考链接

社区讨论

Reddit 社区讨论了评估的严谨性,指出 0.013 RMSE 的差异可能源于探测超参数,并且缺乏与 ADIOS/AttMask 等硬掩码基线的对比实验。部分人质疑与 DINOv3 的比较是否定论,因为该方法仍然使用了 Gram 锚定技术。

阅读原文