图灵奖得主LeCun加盟估值28亿美元的Groq，英伟达或受挑战

Groq公司近日披露，截至2024年第一季度，其最大股东为贝莱德集团（BlackRock Inc.），该公司同时也是多家知名科技公司以及全球多家上市企业的重要投资方。

这家名为Groq的公司位于加利福尼亚州山景城，在近一个月前的4月23日，刚刚公开展示了其在人工智能推理计算领域的卓越性能。据了解，Groq的核心技术，旨在为人工智能工作负载提供闪电般的高效计算能力。

值得关注的是，Groq汇聚了一批行业顶尖人才，包括谷歌前员工、Tensor Processing Unit（TPU）的设计者Yann LeCun等资深专家。LeCun认为，Groq在加速高性能人工智能模型方面具有独特优势，并有望在芯片技术领域取得重要突破。

尤其引人注目的是，其推理性能的卓越表现。据悉，Groq凭借其强大的计算能力，能够显著降低大型语言模型的运行成本。这为加速AI应用的开发、优化复杂推理任务以及支持需要快速响应的实时应用场景提供了可能。

具体来说，Groq展示了一种前所未有的计算加速方法：通过简化大型语言模型（LLMs）的部署过程，提升性能并降低延迟，从而加速AI推理。

数据显示，Groq在特定任务上实现了惊人的速度。例如，Groq的推理引擎能够以高达每秒1256.54个token的速度处理数据，这一速度远超其他同类产品。这意味着，在处理包含800个token的典型提示时，Groq能够实现极低的延迟，从而显著提升用户体验。

Groq的CEO Jonathan Ross表示：“我们的芯片架构旨在赋能他人，帮助他们更高效地运行LLMs。我们希望通过提供卓越的性能，推动LLMs的广泛应用。”

当前，Groq平台能够流畅运行Meta的Llama3-8b-8192模型，同时也在对Llama3 70b以及谷歌的Gemma和Mistral等其他主流模型进行优化。Ross强调，这些模型只需进行少量调整即可在Groq的硬件上实现高效运行，无需进行大规模的重新设计。

在实际应用中，Groq不仅能够提升现有AI模型的性能，还能够激发创新。目前，无论是初创企业还是大型机构，都可以利用Groq提供的工具加速AI解决方案的开发，涵盖聊天机器人、代码生成、实时数据分析等多个领域。考虑到当前AI应用的广泛性，Groq无疑为各行各业带来了新的增长机遇。曾经，Groq成功地展示了语音识别的强大功能，运行了OpenAI的Whisper Large V3模型，并实现了卓越的转录质量和速度。

从技术层面来看，Groq采用了独特的张量流处理器（LPU）架构，而非传统的GPU。与依赖并行处理的GPU不同，LPU在处理LLM工作负载时表现出更高的效率和性能。Groq声称，其芯片架构在处理大规模AI计算任务时，能够提供比GPU更高的确定性和可预测性。最近，Groq宣布，其LPU Inference Engine在某些性能指标上已经超越了NVIDIA的H100 GPU，为AI计算领域带来了新的选择。今年16日发布的一项基准测试表明，Groq能够以28.2 tokens/秒的速度运行Llama 2 70B模型。相比之下，一些使用OpenAI平台的开发者报告称，他们在处理类似规模的模型时遇到了更高的延迟，这凸显了Groq在性能方面的优势。

对于未来技术发展方向，Groq认为速度是关键。在一次访谈中，Ross强调了提升AI应用速度的重要性。他认为，随着时间的推移，硬件创新将在Groq的AI发展道路上扮演关键角色。

总而言之，凭借其独特的芯片技术，Groq不仅在性能上取得了显著突破，还在成本效益方面为AI应用带来了新的可能性。无论是寻求加速AI解决方案的企业，还是致力于推动AI技术边界的研究者，都可以从Groq的创新中获益，推动人工智能技术的进步。

在最新的一次 VentureBeat 2024 Transform大会上，Ross分享了他对人工智能发展趋势的看法，并强调了Groq在推动AI技术创新方面所扮演的角色。

展望AI芯片的未来，Groq的目标是让更多人能够负担得起AI推理所需的计算资源。通过降低LLM等模型的运行成本，AI的潜力将得到进一步释放，为各行各业带来创新和效率的提升。他们坚信，在未来的技术发展中，AI芯片将在性能、成本和可用性方面取得更大的进步，从而惠及更多的人和组织。