Meta发布Chameleon多模态模型、JASCO文本生成音乐模型及AudioSeal音频水印技术

当前，Meta公司持续致力于在人工智能领域进行创新研究，尤其关注AI模型的开发与优化，旨在提升通用性和适应性。其研究涵盖了训练方法、模型架构、跨模态学习以及数据处理等多个关键方面。这些努力旨在推动人工智能技术的进步和应用。

Meta Chameleon（“变色龙”模型）

概括来说，Meta公司推出了一种名为 "Chameleon" 的新型混合专家模型，它能够同时处理文本和图像，旨在融合局部和全局推理能力，从而实现更强大的通用性能。

具体而言，这种混合型的专家模型能够根据不同的输入需求进行调整，Meta Chameleon 在文本和图像处理方面均表现出色。它可以无缝地适应各种任务，例如理解、生成以及跨模态任务。

补充说明：混合专家模型旨在利用不同的专家模块来处理不同的数据特征和模型任务，从而提升整体性能。

技术层面，Meta 公司已公开发布了其 Chameleon 7B 和 34B 模型的权重。由于这些模型的训练基于公开数据，因此可以应用于商业用途。值得一提的是，非商用 Chameleon 模型表现优异。

详细信息:https://top.aibase.com/tool/meta-chameleon

多Token预测

该创新方法，即 “多Token预测”，是在训练大型语言模型时采用的一种策略，它同时预测多个token，从而提高模型的训练效率和生成质量。

应用此项技术，可以使模型在特定时间内预测一系列连续的token，而非仅仅预测单个token。这种方法能够提升模型的并行处理能力，并改善生成文本的连贯性。

相较于传统的token预测方法，它能够加快模型的训练速度。通过实现token的并行预测，可以提高计算资源的利用率。事实上，该创新已被诸多公司/模型所采用。

详细信息: https://top.aibase.com/tool/multi-token-prediction

音频伴奏续写 “JASCO” 

近年来，伴随音频生成技术的发展（如MusicGen），持续优化音频生成模型，Meta的这一模型“根据互动式音轨接续生成音频的技术”(JASCO)能够扩展环境音和对话，旨在降低交互式音轨续写的难度。该研究显示，用户可以运用手动调整来控制声音效果的生成。

根据相关描述，该模型可以调整音轨并预测不同环境中应该呈现的效果。总之，它主要用于交互式音频编辑和互动环境中音频内容的生成。

JASCO通过学习大量的音轨数据，能够预测和补充声音的表现，改进了交互式音轨的开发过程。同样值得关注的是，目前该技术已被 MIT 的 AudioCraft 工具链采用，并以 CC-BY-NC 开源形式提供。

工具链接：https://top.aibase.com/tool/audiocraft

音频水印检测 “AudioSeal” 

为了应对日益增长的AI生成音频内容及潜在的版权问题，旨在验证某个音频内容是否由AI生成。AudioSeal 通过分析AI模型生成的音频中的独特模式来识别其真实性。

针对不同类别的音频攻击类型，AudioSeal 所采用的技术能够有效检测和验证音频内容。此外，它的处理速度快，经验证可在485毫秒内完成检测，适用于大规模内容审核与实时验证。

AudioSeal 是一项旨在支持数字内容溯源，减少未经授权使用生成式 AI 的有价值的工具。

详细信息:https://top.aibase.com/tool/audioseal

PRISM 数据集

近日，Meta公司发布了全新的PRISM数据集，该数据集包含了超过1500个由人工注释和评估的多语言场景，旨在促进大型语言模型的发展，提升生成内容的质量以及信息的准确性。

该数据集能够让不同语言背景的人员参与到LLM的训练过程中，其中21种语言由 LLM 的8,011 个预训练内容提供支持。

数据集链接:https://huggingface.co/datasets/HannahRoseKirk/prism-alignment

“DIG In” 工具

为了简化模型开发环节，旨在帮助开发者更容易地访问所需的数据信息。为此，Meta推出了一项重要举措，即一项包含各类数据集和支持工具的综合性平台项目。

为实现这一目标，Meta已构建了一个包含65,000个数据集和20TB数据的开放平台，涵盖了图像、文本、音频以及深度数据，旨在帮助开发者优化算法和模型。

 工具链接:https://top.aibase.com/tool/dig-in

总的来说，Meta在 AI 领域持续投入研发，致力于推进 AI 模型的创新和改进，为 AI 技术的应用和发展做出重要贡献。