Midjourney与NYU联手揭开创意文本新境界，多样性提升23%

Midjourney与纽约大学的研究人员合作开发一种创新方法，旨在提高语言模型生成创意文本的多样性，同时控制质量损失至最低程度。这项技术发表在最新研究论文中，其核心在于引入“偏差指标”到人工智能的训练过程中。该方法通过量化生成文本与相同提示下其他文本的差异来运作。研究人员利用嵌入文本及其成对余弦距离的计算来衡量这些差异，为系统提供了一种数学框架，用以理解文本多样性。这种新的训练方法可以评估大型语言模型（LLM）在响应上的差异，从而增加生成文本的多样性。

初步测试结果令人鼓舞，采用新训练方法的模型，生成文本的多样性提高了23%，而根据Reddit奖励系统评估，质量仅下降了5%。具体测试案例清晰展示了该方法的实际效果。当向标准GPT-4o模型发出提示“亲爱的，你为什么发抖?你现在是国王了”时，改进后的Llama-3.1-8B模型创作了风格迥异的故事，包括熊王子的黑暗幻想和水下超自然传说等多种题材，展示出更广泛的创意。人类测试人员的反馈也支持了这些发现，他们认为这些文本在保持质量的同时，呈现更丰富的多样性。

研究团队关注语义变化（不同的故事内容和情节）和文体变化（听起来不同作者的写作风格）两种多样性。尽管他们为每种类型开发了特定版本，实验结果显示，结合两者使用能取得最佳效果。在研究过程中，团队利用Reddit社区r/WritingPrompts中超过10万对提示-响应数据。他们发现，每个提示只需四个不同的响应就能显著增加模型多样性。此外，该系统通过使用精心挑选的训练样本或为不同响应设置最低质量标准来维持输出质量，在提高输出多样性方面比其他方法更具灵活性。

虽然前景光明，但一些问题仍需要进一步探索，比如验证方法对创作文本以外领域的适用性，以及在大型模型使用的在线训练环境中的有效性等。此外，用于衡量质量的Reddit点赞数系统存在局限性，未来可能需要更全面的评估方法。尽管存在这些未决问题，这项新技术有望彻底改变大型语言模型处理创意写作任务的方式，因为目前的模型常陷入重复性模式。研究人员表示，他们将在GitHub上分享代码，供其他研究人员和开发者参考。