mmpretrain中的下游微调任务
·
无监督预训练模型的微调任务
linear-coslr = Linear-probe + Cosine LR：只训练一个线性分类头（把 backbone 冻结），使用 cosine learning-rate 调度（通常 90 epoch）。用于评估预训练得到的特征表征质量（不改变 backbone 权重）。
coslr = 全量微调 (fine-tune) + Cosine LR：对整个模型进行微调/训练（包含 backbone），同样使用 cosine LR（但通常 epoch 更长、优化器/超参也不同）。用于把预训练特征调到下游任务上，性能明显高于只做 linear probe。
因此表里 vit-small 标注为 linear-coslr 表示报告的是 线性探针准确率（只训练头），而 vit-base-p16 标注为 coslr 则是 微调得到的最终 top-1。二者评估目标不同，结果不可直接等价比较（微调通常能显著提升精度，尤其是大型模型）。
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
7
0- 0
已为社区贡献2条内容
所有评论(0)