Anthropic 推出提示词缓存功能

Anthropic 公司为其 API 推出的提示词缓存功能。

什么是提示词缓存？

提示词缓存允许开发者在 API 调用之间缓存经常使用的上下文。这意味着你可以为 Claude 提供更多的背景知识和示例输出，同时大幅降低成本和延迟。

主要优势

1. 成本降低：对于长提示词，成本最高可降低 90%。

2. 延迟减少：对于长提示词，延迟最高可降低 85%。

适用场景

提示词缓存在以下情况下特别有效：

1. 对话代理：特别是对于有长指令或上传文档的长对话。

2. 编码助手：通过在提示中保留代码库的摘要版本，改善自动完成和代码库问答。

3. 大文档处理：在不增加响应延迟的情况下，在提示中包含完整的长篇材料，包括图像。

4. 详细指令集：共享广泛的指令、程序和示例列表，以微调 Claude 的响应。

5. 代理搜索和工具使用：增强涉及多轮工具调用和迭代变化的场景的性能。

6. 与书籍、论文、文档等长篇内容互动：将整个文档嵌入到提示中，让用户提问。