将提示迁移到新模型并在Amazon Bedrock上优化它们

本文介绍了Amazon Bedrock新推出的Advanced Prompt Optimization工具，它通过自动优化提示并比较多个模型的性能，解决手动迁移和优化提示的低效问题。

• 该工具可针对最多5个模型同时优化提示，支持模型迁移和同模型改进两种模式。
• 采用强化学习风格反馈循环，用户提供提示模板、示例输入、可选真实答案和评估指标，系统自动迭代优化。
• 输出包括优化前后的提示、评估分数、首次令牌时间(TTFT)和按需定价的推理成本估计。
• 三种评估模式：Lambda函数（精确指标如F1）、LLM-as-a-Judge（开放任务）、引导标准（品牌风格约束）。
• 如果省略评估字段，使用内置默认指标（准确性、答案完整性和写作风格）。

• Migrating prompts to new models on Amazon Bedrock, or optimizing them for your current model, is still one of the most manual parts of building a generative AI application.
• Today, Amazon Bedrock introduces Advanced Prompt Optimization , a tool that optimizes prompts for up to 5 models on Bedrock while comparing original and optimized performance.
• The optimizer sends your template and inputs to your chosen inference models. It evaluates responses against your metric and then rewrites the prompt. The loop repeats (evaluate, rewrite, evaluate), iteratively optimizing your prompt against your evaluation metric.