TikTok模型仅用32个token，图片重建与生成速度提升410倍！

通常情况下，扩散模型在图像生成领域表现出色，但在处理高分辨率图像时面临计算资源方面的挑战。为了解决这一问题，研究人员探索了将图像分解为离散token的方法。图像token化能够将图像转换为更易于处理的形式，从而简化计算过程，提高生成效率。图像token方法的目标是实现高质量的图像生成，同时降低计算成本。

最近，一种名为TiTok的技术被提出，它巧妙地利用了Transformer架构中的一个独特token化策略，该策略此前主要应用于自然语言处理领域。TiTok通过将图像分解为一系列离散的token，实现了在图像生成任务中的高效计算。具体来说，TiTok采用了一种特定的token化方法，将256×256像素的图像转换为32个token序列。值得注意的是，研究人员通过扩展模型规模（例如，使用DiT-XL/2模型和410像素）进一步提升了图像生成的质量，从而获得了令人印象深刻的结果。

TiTok的核心优势在于其高效的图像token化过程，它能够有效地提取图像的关键特征，并将其转换为紧凑的表示形式。例如，一个256x256x3的图像可以被转换为仅包含32个token的序列，这大大减少了计算负担，同时也保留了图像的重要信息。相比之下，传统的Transformer模型可能需要处理多达256到1024个token，这无疑增加了计算的复杂性。因此，TiTok能够以更低的计算成本实现高质量的图像生成。

实验结果表明，TiTok在图像生成任务中表现出色。例如，在ImageNet 256×256数据集上，TiTok取得了1.97的gFID评分，优于MaskGIT的4.21。这些数据表明，TiTok在生成高质量图像方面具有显著优势，能够生成更逼真、更清晰的图像。

在更高分辨率的ImageNet 512×512数据集上，TiTok也展现出了卓越的性能。例如，当token数量为64时，TiTok的表现优于目前最先进的扩散Transformer模型DiT-XL/2 (gFID 2.74 vs. 3.04)。此外，通过进一步优化模型，将token数量增加到74，TiTok的性能得到了进一步提升，达到了gFID 2.13，再次超越了DiT-XL/2 (gFID 3.04)。

总而言之，TiTok代表了一种有前景的图像生成方法，它通过高效的token化策略和强大的Transformer架构，实现了高质量、高效率的图像生成。这一技术在图像编辑、图像修复以及其他相关领域具有广泛的应用潜力。