Fractal Generative Models 麻省理工推出的分形生成模型(Fractal Generative Models)是一种创新的图像生成技术,由麻省理工学院计算机科学与人工智能实验室与Google DeepMind团队共同研发。该模型基于分形理论,将生成过程抽象为可重用的“原子模块”,通过递归调用这些模块,构建出具有自相似特性的分形结... AI工具箱8个月前
微软亚太研究院推出TinyMIM,利用知识蒸馏来优化小型ViT 一、研究动机 近年来,掩码建模(Masked Image Modeling, MIM)作为一种自监督训练方法,展示了其在大规模模型中的有效性。然而,研究发现,MIM在小型模型(如ViT-T 5M参数)上反而可能导致性能下降。特别是在ImageNet上,使用MAE训练的ViT-L相比于传统监督学习模型... 开放I2年前