这一层承载什么
应用层是生产 AI 系统中绝大部分工程工作所在。基础模型只是众多组件之一。
上下文工程
输入的结构 —— 进入上下文窗口的是什么、以什么形式 —— 是输出质量的最大决定因素。检索、压缩、格式化、排序。此处的小改动产生巨大的下游效应。
检索架构
向量搜索、混合搜索、重排、文档上的图结构、元数据过滤。RAG 是一个类别,不是一种技术。正确的检索设计取决于应用需要什么,不取决于哪个向量数据库当红。
评估管线
没有 eval 的 AI 系统是演示。我们把 eval 基础设施视为与应用代码同等重要。离线 eval、在线 eval、回归 eval、每客户 eval。
工具使用与编排
现代应用通过基础模型调用工具。哪些工具、何时、以什么参数、工具失败时如何回退 —— 这些不是 prompt-engineering 问题,是系统设计问题。
Agentic 工作流
多步、多轮的规划、执行、恢复系统。难题不是“如何给 agent 更多能力” —— 而是“如何约束 agent 让它的能力保持正确”。
失败工程
Prompt 注入、越狱、自信的幻觉、上下文污染。我们把这些视为有预算的工程需求,不是事后想起的问题。