亚马逊云：Amazon Bedrock 现已支持 Llama 3.1 系列模型

近期，亚马逊的云服务平台Amazon Bedrock新增了对Llama 3.1模型的支持，这是一款由Meta公司开发的开源、免费的人工智能模型。Llama 3.1模型提供8B、70B和405B三种不同参数规模的版本，可以在保证推理性能的同时，满足各种复杂程度的应用需求，为开发者提供了更多选择。

值得注意的是，Llama 3.1模型扩展了上下文窗口长度至128K，是Llama 3模型的16倍。更长的上下文窗口意味着模型可以处理更长的文本序列，从而在处理长文档（如法律文档、研究论文、财务报告、代码库、长篇故事、剧本和对话）时表现更出色，并提升信息检索能力。可用的模型包括：

• Llama 3.1 405B：这是一个预训练的大型语言模型，适合需要执行复杂推理和理解任务的应用场景，能够支持零样本学习、小样本学习、思维链推理、知识生成、代码生成、总结、翻译以及高级文本创作。

• Llama 3.1 70B：适用于需要强大性能、推理能力、文本生成、代码能力和知识掌握的应用，能够进行情感分析和分类、内容创作、问题解答以及语义搜索和信息提取。

• Llama 3.1 8B：适用于资源受限和延迟敏感的应用，能够执行命名实体识别、文本分类、问答和基础文本生成。

Meta公司通过了150多个安全测试用例来评估Llama 3.1的安全性，旨在为开发者提供更可靠的模型。与Llama 3相比，Llama 3.1在多项安全评估指标上有所提升。

通过Amazon Bedrock集成Llama 3.1的强大AI能力，开发者可以更加便捷地构建创新应用和服务，无需担心基础设施管理和模型部署等问题。

Amazon Bedrock Guardrails旨在帮助用户构建更加安全可靠的应用，支持自定义安全护栏，从而过滤掉不当内容，保护用户隐私和模型安全。

Amazon Bedrock上的模型可根据具体需求进行灵活调整，既可以完全托管也可以根据自身需求定制模型，为开发者提供了更大的灵活性。</