2.1 LLM Agent 基础架构之运维场景

插件工具的开发

故障诊断

工具执行

变更管理平台

LLM/Agent引擎

ToolServer

Fine Tunning

……

可观测平台

长：RAG

插件工具的调试

性能优化

短：prompt工程

行动

算法场景的运维

事前规划（流程）

LLM adapter

插件工具的管理

算法场景的分享

大模型微调

大模型基座

LLMOps

记忆管理

智能问答-oncall

变更辅助

算法场景任务部署

数据检索

运维平台

运维操作平台

参数：FT

事后反思

插件工具的运维

运维场景

Agent 的建设有比较常见架构，包括了重要的组成部分：行动，计划，记忆，工具，同时依赖大模型LLM的能力，角色和环境。各个组成部分根据功能分工，利用sop进行合理编排，形成不同领域或者特性的智能体，在线上环境中通过Agent的制定或者意图的识别，实现调用和执行。如下简单介绍一下各个组件常用的构建方法和落地时间。大模型是整个Agent的大脑，Agent的运行都需要大脑的反思能力和规划能力来自驱Agent的思考和运行，针对目前商用和开源的大模型的能力上看，在不同的场景和专业领域各有差异，在使用中可根据不同场景进行比对分析选择合适的模型和参数，并需要建立统一的适配器接口，达到方便进行模型调试比对的能力。同时，依赖LLMOps的功能实现模型的训练/微调，实现模型能力的调整和优化。计划规划，Agent一般对需要多次大模型的交互和工具调用来达到任务目标，整个过程需要通过大模型能力等方式来进行规划计划，其中最常用的方法是反思，通过大模型的批判和思考能力，对于问题，中间回答等进行反思来确定下一步工作，常见的方法如 ReAct，Self-Ask，ReWoo 等。这里的实践落地中，需要考虑运维的 SOP（Standard Operating Procedures）如何引入规划中，针对重复的有规范的任务，可通过专家经验生成流程驱动规划，针对无法匹配的任务，尝试推理生成规划，并能通过自学习来完善和丰富经验流程。另外，如在根因定位和故障排查等场景中，可通过启发式算法，搜索问题空间，如 ToT（Tree of Thought），GoT（Graph of Thought） 等。记忆管理，Agent 的记忆，最常见的是分长记忆和短记忆，长记忆最常用的方法是通过 RAG 的方式从外挂的知识库来获取知识，整个 RAG的过程可以使用固定的流程，更好的方式也使用Agent的规划和反思的能力，选择和调整检索的策略，来提升检索知识的有效性。短记忆，一般是通过 prompt 的方式，将会话的历史，指令，例子，要求等信息放入，让大模型进行回答，有很多相关的策略和方法，重要的是要控制token数，从生成大模型的主要机制上，整体的 token 数量一般是有限制的，根据注意力机制，prompt 中过多的语义也是会被遗忘的，可通过 chatGPT 等对 prompt 进行生成和压缩，将重要信息放到 prompt 的开头和结尾，通过引号等方式加重关键信息。工具执行，工具执行是大模型拓展到 Agent 的关键基础能力，很多大模型都通过针对性的预训练和微调将 function calling 的能力加入到模型本身中，通过模型的调用来实现工具调用的决策，当然通过 ReAct 的方式，调用通用大模型也是可行的。在运维领域，相关工具和能力不会在通用的训练数据中，因为领域知识的缺乏导致很多工具决策不够精准，可通过模型的微调，或者训练中小模型来达到精准的工具调用。环境交互，在 AIOps 的运维场景中，环境主要是通过工具来定义，通过工具的使用来实现 Agent 的对环境的感知，控制以及互动。在建设实践中，原有 AIOps 和运维平台中的相关平台和工具都是可以打包成工具，作为感知和操作的工具，如异常检测的模型，根因分析的工具，运维可观测的数据，日志，告警的信息等，Agent 智能体需要通过这些工具。

Agent

AIOps算法平台

LLM

工具的编排/管理

算力优化

计划Reflection/Selfcitics/Cot/Subgoadecompositior

算法场景的编排

插件工具的部署