重复简单指令，AI代码生成速度提升百倍，效果惊人！

近来，BuzzFeed 的编程团队进行了一项实验，旨在评估不同的大型语言模型在代码生成方面的表现。本次评测中，他们使用了 Claude3.5 模型，并让其完成一项编程任务：生成 Python 代码，要求包含至少五个函数，并且每个函数包含 30 行代码或以上。

结果显示，Claude 生成的代码在 657 秒内完成。有趣的是，该团队此前曾尝试 “改进代码（write better code）” 的指令，但那样生成代码所需的时间增加到了 6 分钟，整体效率降低了 100 倍。由此可见，AI 在处理 “改进代码” 这类指令时可能会遇到意想不到的困难。

在 “编写更好的代码” 方面，Claude 似乎倾向于创造更复杂精细的代码，这可能导致运行时间延长。此外，该团队还发现了一些与模型可靠性相关的问题。总的来说，AI 或许可以将 “编写代码” 和 “优化性能” 这两个概念区分开来。

尽管存在上述挑战，但在本次评估中，语言模型在处理某些类型的编程任务时展现出了巨大的潜力，尤其是在生成涉及大量样板代码的项目时。尽管语言模型在某些情况下可能会遇到困难，但 Claude 在本次测试中依然能够一次性生成可靠的代码，这表明其具备一定的实力。

不过，该团队在实际代码生成过程中的观察表明，这些模型可能更擅长输出能够运行的代码，而不是在性能上进行优化。这意味着，代码生成可能仍然需要人类专家进行干预，才能确保其质量和效率。此外，他们也注意到，简化后的指令可能反而能够带来更高效的输出，这或许与模型的内在偏好有关。尽管如此，代码补全的潜力依然值得进一步探索。

总而言之，在这次编程实验中，Claude 展现出了一些令人印象深刻的能力，同时也暴露了一些局限性。未来的研究可以重点关注如何进一步提高 Claude 的性能。

尽管这些发现可能令人沮丧，但该团队认为，重要的是要记住，AI 模型并非万能，而且不同场景下的表现可能差异很大。他们希望通过本次研究，强调了当前 AI 模型在代码生成和代码优化方面的能力和局限性。

要点总结：

✨ AI 能够快速生成代码，在代码生成方面表现出色，从 657 秒提升到 6 分钟。

💡 AI 在代码中可能创建更复杂精细的代码，倾向于 “编写更好的代码” 的复杂程度。

🧰 代码生成仍然需要人为干预，模型本身可能无法优化性能，需要专家进行参与才能确保质量和效率。