微软亚太研究院推出TinyMIM，利用知识蒸馏来优化小型ViT 一、研究动机 近年来，掩码建模（Masked Image Modeling, MIM）作为一种自监督训练方法，展示了其在大规模模型中的有效性。然而，研究发现，MIM在小型模型（如ViT-T 5M参数）上反而可能导致性能下降。特别是在ImageNet上，使用MAE训练的ViT-L相比于传统监督学习模型... 开放I2年前
