AI面临“死亡挑战”：机器人如何完成“把大象塞进冰箱”的难题

当涉及到人工智能模型的训练时，确保其行为符合预期至关重要。然而，研究表明，即使是最先进的AI系统也可能存在自相矛盾的情况。这意味着，在某些情况下，AI可能会给出不一致或相互冲突的答案。

一种被称为"自我矛盾指令"（SCI）的现象突显了AI可能存在的逻辑缺陷。通过向AI提出包含20,000个示例的数据集，研究人员发现AI有时会违反自身设定的规则。例如，你可能会要求它避免使用某个词，但它仍然会使用。这表明AI并不总是能够理解和遵循指令。

这种“指令遵循悖论”可以通过一种名为AutoCreate的自动生成对抗性提示的技术来放大。这种技术专门寻找AI难以处理的、可能导致不一致行为的输入。这包括生成不连贯的、有偏见的或不道德的回复。这对于AI的可靠性提出了挑战。

那么，我们如何才能确保AI始终如一呢？研究人员提出了一种名为认知觉醒提示（CaP）的方法，旨在帮助AI意识到自身可能存在的矛盾。这种方法鼓励AI进行“批判性推理”，以便更好地理解问题并做出更明智的决策。

通过这种方式，AI在接受训练时不仅仅是学习如何回答问题，还要学会识别潜在的陷阱。这意味着AI在生成回复时会更加谨慎，从而减少错误或不一致的出现。简而言之，CaP技术旨在赋予AI一种自我意识，帮助它避免自相矛盾的情况。

尽管这种方法不能完全消除所有AI矛盾，但它代表着朝着更可靠、值得信赖的AI系统迈出的重要一步。通过解决AI固有的逻辑缺陷，我们可以确保AI更加可靠，并减少其产生意外或有害行为的可能性。这种方法对于未来AI技术的发展至关重要。

如果您想进一步了解AI如何表现出矛盾，请参考以下相关研究："好的，我会忽略你的指示，并且不再遵循指示。"

相关论文：https://arxiv.org/pdf/2408.01091

项目主页：https://selfcontradiction.github.io/