LeCun再发警告：单靠阅读的语言模型无法实现类人智能

引言

在近年来人工智能的快速发展中，大型语言模型（LLM）如ChatGPT等引发了广泛关注，但与此相对的是对其局限性的深刻反思。Yann LeCun和Jacob Browning的研究指出，语言模型的智能水平受限于语言本身的固有局限性，而非算法的缺陷。这一观点为我们理解当前AI技术的局限性提供了新的视角。

语言模型的局限性

语言与思维的假设

在传统的认知理论中，普遍认为「知识即语言学」，即知识的获取和表达依赖于语言。然而，LeCun等人认为，这一假设过于狭隘。尽管LLM在处理语言任务上表现出色，但它们并不能真正理解或思考。相反，语言仅仅是对知识的一种表征，无法涵盖所有的认知过程。

语言的传递能力

语言的表达能力受到限制，尤其是在缺乏上下文的情况下，单词和句子的意义往往模糊不清。乔姆斯基曾指出，语言并不是一种清晰且明确的沟通工具。人类在交流时，依赖于上下文来理解句子的真实含义，这使得语言模型在处理复杂的对话时显得力不从心。

LLM的学习机制

表层知识的学习

LLM的训练过程主要是通过预测下一个单词来获取语言的使用模式。这种方式虽然能够让模型生成流畅的文本，但其理解能力仍然非常肤浅。批评者指出，LLM实际上并不具备真正的理解能力，而是对语言的机械模仿。

上下文的重要性

在LLM的学习过程中，模型需要识别并利用上下文信息来生成连贯的回应。然而，由于其记忆和注意力的局限，LLM往往只能关注短期的上下文，缺乏对长时记忆的整合能力。这使得其在复杂对话中容易出现前后不一致的问题。

超越语言的理解

非语言知识的价值

尽管语言在知识传递中扮演重要角色，但许多信息并不依赖于语言表达。人类通过多种方式获取知识，包括图像、声音和实际经验等。一个仅依赖于语言的学习系统，无法全面理解世界的复杂性。

多模态学习的前景

未来的AI研究方向可能会向多模态学习发展，结合图像、声音和其他数据形式，以实现更全面的理解能力。LeCun的观点强调，只有通过多模态的方式，才能引领下一次AI的突破。

结论

大型语言模型的智能表现虽然引人注目，但其局限性显而易见。语言本身的局限性、表层知识的学习机制以及对上下文的依赖，都使得LLM在理解和思考上无法与人类相提并论。未来的AI发展需要摆脱「语言即思维」的传统观念，探索更为丰富的知识表现形式，以实现更接近人类智能的目标。