Signal YCurated AI News
更新于 11/5 20:4061 个信源

Orca Security 借 Amazon Bedrock 实现自然语言安全查询

企业 AI10/14 00:03AWS 机器学习博客查看原文 ↗
摘要

Orca Security 与 AWS 合作,在 Amazon Bedrock 上构建自然语言查询代理 Discovery AI,把安全分析师的口语化提问自动转换为其 Sonar 查询语言;相比最初「把全量 schema 塞进单个 prompt」的概念验证,改用 RAG 加多阶段模型编排的混合方案后,在生产规模上大幅降低了成本、token 消耗与延迟。

核心要点
  • Sonar 是 Orca 的领域专用查询系统,覆盖 900 多种云基础设施与应用模型,查询需指定精确模型名、跨云厂商导航父子层级,并从 18 个运算符(如 equals、contains)中筛选
  • 最初的概念验证把 900+ 模型定义、全部关系类型和大量示例查询一次性载入单一 prompt,交给当时最大的可用模型,输出质量不错但生产规模下暴露问题
  • 概念验证的三大代价:每个工作负载约 200 万输入 token 导致成本高企,端到端响应约 60 秒,复杂多模型嵌套查询常需额外修正才准确
  • 最终方案是 Bedrock 上的混合架构,将检索增强生成(RAG)与 schema 感知的查询构造结合,通过多阶段流水线把每个阶段分派给最合适的 Bedrock 模型
  • 量化结果:查询成本下降 90%,输入 token 下降 93%,延迟下降 75%,系统每天可处理数千次查询,响应时间约 15 秒
原文佐证
  • As a result, Orca reduced query costs by 90 percent, input tokens by 93 percent, and latency by 75 percent compared to the initial baseline.
  • Token consumption was inefficient, at roughly 2 million input tokens per workload, which drove up cost.
  • To address this, the Orca team designed and deployed a solution that handles thousands of queries per day at 15-second response times using Amazon Bedrock.
AI 洞察
这个案例的真正价值不在「用大模型做 NL2Query」,而在于它给出了一条可复制的企业落地路径:用检索加多阶段模型路由替代「全量上下文喂最强模型」,把成本与延迟压缩一到两个数量级,而不是等待模型本身变便宜。对安全、数据平台、BI 这类拥有复杂领域 DSL 的产品而言,自然语言查询层可能从差异化卖点变成标配交互,护城河会转移到 schema 建模与查询正确性校验上。同时它提醒业界:企业 AI 的瓶颈往往在上下文工程与编排,而非模型能力的绝对上限。